Hadoop HDFS和MapReduce测试
Hadoop的MapReduce应该是属于核心的编程框架,到目前为止我还不是特别懂,只能按照网上的步骤一点实践,就和学一门新语言第一个程序是HelloWorld一样。前文已经介绍了Hadoop的安装,这里就HDFS和MapReduce的测试。HDFS测试 在HDFS中新建一个文件夹,并把本地文件copy到HDFS新建的文件夹 cd hadoop路径 bin/hadoop dfs -mkdir...
View ArticleHadoop invalid shuffle port number
Hadoop2,yarn-site.xml 配置过程中,yarn.nodemanager.aux-services这一项值配置的时候配得不对,结果每次在reducer的时候就挂了,提示错误都是"ContainerLauncherImpl"失败,提示:* java.lang.IllegalStateException: Invalid shuffle port number -1 returned...
View ArticleGanglia监控Hadoop
$ vim hadoop-metrics2.properties #*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink # default sampling period, in seconds #*.period=10...
View ArticleHadoop slaves文件解析
slaves文件里面记录的是集群里所有DataNode的主机名,到底它是怎么作用的呢?slaves文件只作用在NameNode上面,比如我在slaves里面配置了host1 host2 host3...
View ArticleHadoop Volume 配置
volume的配置就是在 hdfs-site.xml 下<property> <name>dfs.datanode.data.dir</name> <value>/sda1,/sda/disk1</value> </property> 我今早是新加了一个volume,就是(所有机器都是) drwx------ 4 hadoop...
View ArticleHadoop HDFS 心跳时间
datenode以固定周期向namenode发送心跳,namenode如果在一段时间内没有收到心跳,就会标记datenode为宕机。 此段时间的计算公式是:timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 默认 heartbeat.recheck.interval...
View Article理解Hadoop HDFS写文件原理
这里做一个测试HDFS写文件的测试 NN : 192.168.1.1 DN1 : 192.168.1.2 DN2 : 192.168.1.3 DN3 : 192.168.1.4 Client : 192.168.1.1 $ll read.txt -rw-rw-r-- 1 hadoop hadoop 12 Apr 3 11:48 read.txt [...]
View ArticleHadoop HDFS Quota配置
hadoop HDFS有以下两种Quota Name Quotas : 限制某个目录下的文件数量 Space Quotas : 设置某个目录的空间大小 $hadoop fs -count -q /user/hadoop QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE...
View Article一致性hash在分布式系统中的应用
场景 如果要设计一套KV存储的系统,用户PUT一个key和value,存储到系统中,并且提供用户根据key来GET对应的value。要求随着用户规模变大,系统是可以水平扩展的,主要要解决以下几个问题。 系统是一个集群,包含很多节点,如何解决用户数据的存储问题?保证用户的数据尽可能平均分散到各个节点上。 如果用户量增长,需要对集群进行扩容,扩容完成后如何解决数据重新分布?保证不会出现热点数据节点。...
View Article
More Pages to Explore .....