17、Hadoop 测试

本文详细解析Hadoop测试的三种核心方法:使用MRUnit进行Mapper和Reducer单元测试,配置LocalJobRunner进行本地单线程测试,以及利用MiniMRCluster、MiniYarnCluster和MiniDFSCluster搭建多线程测试环境,助你高效进行大数据应用开发与调试。

Hadoop 测试

MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行.

LocalJobRunner单线程运行, 且仅有一个 Reducer能够启动conf.set(“mapred.job.tracker”, “local”); conf.set(“fs.default.name”, “file:////&ququot;); FileSystem fs = FileSystem.getLocal(conf);

MiniMRCluster, MiniYarnCluster, MiniDFSCluster 多线程