HDFS – 可靠性
1、 DataNode可以失效;
DataNode会定时发送心跳到NameNode。如果*\#x5728;一段时间内NameNode没有收到DataNode的心跳消息,则认为其失效。此时NameNode就会将该节点的数据(从该节点的复制节点中获取)复制到另外的DataNode中
2、 数据可以毁坏;
无论是写入时还是硬盘本身的问题,只要数据有问题(读取时通过校验码来检测),都可以通过其他的复制节点读取,同时还会再复制一份到健康的节点中
3、 NameNode不可靠;
本文深入解析HDFS(Hadoop分布式文件系统)的三大可靠性机制:DataNode失效检测与数据复制、数据完整性校验与自动修复,以及NameNode的单点故障问题与高可用方案,确保大数据存储的稳定与安全。
1、 DataNode可以失效;
DataNode会定时发送心跳到NameNode。如果*\#x5728;一段时间内NameNode没有收到DataNode的心跳消息,则认为其失效。此时NameNode就会将该节点的数据(从该节点的复制节点中获取)复制到另外的DataNode中
2、 数据可以毁坏;
无论是写入时还是硬盘本身的问题,只要数据有问题(读取时通过校验码来检测),都可以通过其他的复制节点读取,同时还会再复制一份到健康的节点中
3、 NameNode不可靠;