Quantcast
Channel: firefoxbug - Hadoop
Browsing latest articles
Browse All 10 View Live

Hadoop安装

...

View Article



Hadoop HDFS和MapReduce测试

Hadoop的MapReduce应该是属于核心的编程框架,到目前为止我还不是特别懂,只能按照网上的步骤一点实践,就和学一门新语言第一个程序是HelloWorld一样。前文已经介绍了Hadoop的安装,这里就HDFS和MapReduce的测试。HDFS测试 在HDFS中新建一个文件夹,并把本地文件copy到HDFS新建的文件夹 cd hadoop路径 bin/hadoop dfs -mkdir...

View Article

Hadoop invalid shuffle port number

Hadoop2,yarn-site.xml 配置过程中,yarn.nodemanager.aux-services这一项值配置的时候配得不对,结果每次在reducer的时候就挂了,提示错误都是"ContainerLauncherImpl"失败,提示:* java.lang.IllegalStateException: Invalid shuffle port number -1 returned...

View Article

Image may be NSFW.
Clik here to view.

Ganglia监控Hadoop

$ vim hadoop-metrics2.properties #*.sink.file.class=org.apache.hadoop.metrics2.sink.FileSink # default sampling period, in seconds #*.period=10...

View Article

Hadoop slaves文件解析

slaves文件里面记录的是集群里所有DataNode的主机名,到底它是怎么作用的呢?slaves文件只作用在NameNode上面,比如我在slaves里面配置了host1 host2 host3...

View Article


Hadoop Volume 配置

volume的配置就是在 hdfs-site.xml 下<property> <name>dfs.datanode.data.dir</name> <value>/sda1,/sda/disk1</value> </property> 我今早是新加了一个volume,就是(所有机器都是) drwx------ 4 hadoop...

View Article

Hadoop HDFS 心跳时间

datenode以固定周期向namenode发送心跳,namenode如果在一段时间内没有收到心跳,就会标记datenode为宕机。 此段时间的计算公式是:timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 默认 heartbeat.recheck.interval...

View Article

理解Hadoop HDFS写文件原理

这里做一个测试HDFS写文件的测试 NN : 192.168.1.1 DN1 : 192.168.1.2 DN2 : 192.168.1.3 DN3 : 192.168.1.4 Client : 192.168.1.1 $ll read.txt -rw-rw-r-- 1 hadoop hadoop 12 Apr 3 11:48 read.txt [...]

View Article


Hadoop HDFS Quota配置

hadoop HDFS有以下两种Quota Name Quotas : 限制某个目录下的文件数量 Space Quotas : 设置某个目录的空间大小 $hadoop fs -count -q /user/hadoop QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE...

View Article


一致性hash在分布式系统中的应用

场景 如果要设计一套KV存储的系统,用户PUT一个key和value,存储到系统中,并且提供用户根据key来GET对应的value。要求随着用户规模变大,系统是可以水平扩展的,主要要解决以下几个问题。 系统是一个集群,包含很多节点,如何解决用户数据的存储问题?保证用户的数据尽可能平均分散到各个节点上。 如果用户量增长,需要对集群进行扩容,扩容完成后如何解决数据重新分布?保证不会出现热点数据节点。...

View Article
Browsing latest articles
Browse All 10 View Live




Latest Images

Vimeo 10.7.0 by Vimeo.com, Inc.

Vimeo 10.7.0 by Vimeo.com, Inc.

HANGAD

HANGAD

MAKAKAALAM

MAKAKAALAM

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Doodle Jump 3.11.30 by Lima Sky LLC

Vimeo 10.6.1 by Vimeo.com, Inc.

Vimeo 10.6.1 by Vimeo.com, Inc.

Vimeo 10.6.0 by Vimeo.com, Inc.

Vimeo 10.6.0 by Vimeo.com, Inc.

Re:

Re:

Re:

Re: