当前位置: 首页 > >

HDFS知识点(四) ???HDFS元数据管理

发布时间:


元数据

? ? ? ?元数据就是 HDFS的目录结构以及每个文件的BLOCK信息(id、副本系数、block存放在哪个DataNode上)


?


元数据存在什么地方

? ? ? 对应配置 ${hadoop/tmp/dir}/name



在 name/current下,这些就是元数据



?


元数据存放在文件中


?


?


Secondary NameNode & checkpoint


? ? ? ? 一般情况下合并不会交给NameNode来操作的,因为客户端的所有请求都在NameNode上,如果再把合并的事情交给它,那么它的压力就太大了,所以就有secondnamenode。


? ? ? ? seconde namenode是namenode的一个小弟,专门来干合并的事情的。secondnamenode是一个新的进程


?


? ? ? ?secondarynamenode将namenode中的fsimage拿过来,然后反序列化到内存,然后将edits中记录的所有对于HDFS的操作更新到内存中,再产生新的fsimage,再用新的fsimage去更新namenode的fsimage


? ? ? ?这个过程叫做checkpoint


?


?


?




友情链接: