hdfs是数据存储组件吗？

一、hdfs是数据存储组件吗？

hdfs是数据存储组件。HDFS 全称是 Hadoop Distribute File System，是Hadoop进行数据存储的核心组件，作为最底层的分布式存储服务存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。HDFS 支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。

二、hdfs是数据存储技术吗？

hdfs是数据存储技术。

Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。

三、hdfs在写数据是异步写吗？

HDFS（Hadoop Distributed File System）在写数据时是异步写的。HDFS 是一个分布式文件系统，它被设计用来存储大规模数据。在 HDFS 中，数据被分成块（block），每个块都有多个副本存储在不同的节点（node）上。当客户端向 HDFS 写入数据时，数据首先被写入到本地的数据缓存区（DataNode），然后 HDFS 会将数据异步地复制到其他副本节点。

这种异步写入的机制使得 HDFS 能够在高并发和高负载的情况下保持高性能。同时，它还提供了数据容错和恢复的功能，因为数据的多个副本可以保证数据的可靠性。但是，这也意味着 HDFS 不能保证数据的原子性，也就是说，如果某个客户端在写入数据时遇到故障，那么它写入的数据可能只有部分被成功存储。因此，在使用 HDFS 时，通常需要配合其他机制（比如 HBase）来实现数据的完整性和一致性。

四、hdfs是关系型数据库吗？

是的

HDFS，其实是Hadoop Distributed File System的简称，我们从命名就可以看出来，这真的是文件系统，而非数据库。

HDFS对需要存储的数据，进行写入和读出，通过统一的命名空间——“目录树”来定位文件。当收到数据存储请求时，HDFS将文件进行分块（Block），一批数据会被分成若干个Block，然后分配到集群当中的计算机进行存储；当需要提取这些数据时，再通过定位文件所在位置，找到需要的数据。

五、hdfs默认使用的数据校验算法是？

基于位运算的算法是非常慢的而且效率很低。因此，在实际使用中不推荐使用“计算法”来生成CRC校验码，而建议使用“查表法”来进行CRC校验码计算。

半查表法既计算又查表，表占用空间小，适合小文件或者数据包校验；全查表法是标准查表法；双8位表全查表法表量大，查询方便，适合大文件校验。

因此，如果你的磁盘文件体积一般，建议使用全查表法，如果比较大如安装包，建议使用双8位表全查表法。

六、数据仓库与hdfs的关系？

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构，存储用hdfs，计算用mapreduce

七、hdfs集群的元数据存储格式？

hdfs元数据存储格式有如下几种：

1.sequencefile，key—value格式

2.textfile，行式文本文件

3.rcfile，行列混合存储

4.orc，列式存储

5.parquet，列式存储

八、hdfs如何实现数据的分块和复制？

背景知识：

1、HDFS采用多副本方式对数据进行冗余存储，即一个数块的多个副本分布到不同的数据节点上。

2、集群内部发起写操作请求，把第一个副本放置在发起写操作请求的数据节点上，实现就近写入数据。

如果来自集群外部写操作请求，命名空间从集群中挑选一台磁盘不太满、CPU不太忙的数据节点，作为第一个副本存放地

3、第二个副本放置在与第一个副本不同机架上的数据节点上

4、第三个副本放置在与第一个副本相同机架上的其他节点

5、如果还有多个副本，继续从集群中随机选择数据节点进行存放 。

数据复制技术：

1、当客户端要往HDFS中写入一个文件时，该文件首先写入本地，并切分成若干文件块，每个文件块的大小由HDFS的设定值来决定。

2、每个数据块向名称节点发起写请求，名称节点会根据集群中数据节点的使用情况，选择一个数据节点列表返回给客户端。

3、第一个数据节点接受到4KB数据的时候，写入本地，并且向列表中的第二个数据节点发起连接请求，把自己已经接收到的数据和列表传送给第二个数据节点；

4、第二个数据节点接受到数据，写入本地，并且向列表中的第三个数据节点发起连接请求，以此类推，列表中的多个数据节点形成一条数据复制的流水线。

5、列表中最后一个数据节点写完，会沿着列表逆序发送数据写完毕信号。

九、hdfs的块为什么这么大？

HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。  如果块足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的大文件的时间取决于磁盘传输速率.

      我们来做一个速算，如果寻址时间约为10 ms,传输速率为100 MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100 MB.默认的块大小实际为128MB,但是很多情况下HDFS安装时使用更大的块。以后随着新古代磁盘驱动器传输速率的提升，块的大小会被设置得更大。

十、hdfs是参考什么实现的？

HDFS文件系统是基于微软交互协议实现的，也就是Interactive Protocol