Hadoop

Hadoop

Hadoop 是一个实现了 MapReduce 计算模型的开源分布式并行编程框架。借助于 Hadoop,程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。

20866 FsShell
25378 Jps
23143 FsShell
17704 FsShell
16907 FsShell
23089 FsShell
21426 RunJar
24981 ResourceManager
21142 RunJar
18520 FsShell
20058 FsShell
19099 FsShell
22973 FsSh...

2018-06-19 •

启动时报错信息

根据提示,判断为start-dfs.sh脚本中报的错,但是看了下,里面没有绝对路径的,求大神解答

2015-12-28 •

原表中的数据为:
pin add add_count
*pp_306766045 127f6ec53f534944fece3088cfea1a87 5
*pp_306766045 498ed3a316d8849e6db9715fc842a42 ...

2014-07-24 •

我在看hadoop的书的时候,里面提到HDFS是以流的方式读取文件系统中的数据文件,请问除了流的方式,还有哪些方式?这些方式之间有啥区别和特点?

2014-04-23 •

我的需求是这样的:

比如有三个文件需要作为mapper输入处理:file01, file02和file03。

另外还有三个文件作为配置参数存放在本地:r1, r2和r3。

我的mapper程序需要对r1,r2和r3做处理并分别生成三个不同的处理实例,处理算法一样,只是参数不同,所以生成了不同的类实例如p1, p2和p3,然后我想让p1只处理file01...

2014-04-18 •

我现在有一个文件,前段是一些ASCII格式,后端是二进制数据(主要是二进制,也掺杂一些ASCII),我现在只想处理二进制数据,并把每4096字节作为一个记录,请问需要怎么做?

2014-04-16 •

ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://bfdbjc1:12000/user/jie.li...

2014-03-24 •

3个节点,通过job.setNumReducerTasks(5),运行后reducer个数仍然为1,但通过命令行方式运行有效。不知如何解决?
看到一个解决方案:已经解决,eclipse默认是localJobRunner启动,只有一个reducer,可以通过将配置目录加入classpath,和增加打包的函数实现到分布式上运行,就能启动多个reducer了。
没...

2014-03-13 •

报错细节如下:

  
FAILED: Hive Internal Error: java.lang.NullPointerException(null)
java.lang.NullPointerException
at org.apache.hadoop.hive.ql.parse.Se...

2013-11-19 •

在HBase官方文档中有这样一句话:
“除非运行在实现了持久化同步(sync)的HDFS上,HBase 将丢失所有数据。Hadoop 0.20.2, Hadoop 0.20.203.0,及 Hadoop 0.20.204.0 不具有上述特性。当前Hadoop仅在Hadoop 0.20.205.x 或更高版本--包含hadoop 1.0.0 --具有持久化sy...

2013-10-10 •

热点用户排行

话题状态

最近活动:很久很久以前
该话题下的问题共被浏览 113865 次