Hadoop 测试

Hadoop 测试

MRUnit单元测试Mapper和Reducer类在内存上独立运行, PipelineMapReduceDriver单线程运行.

LocalJobRunner单线程运行, 且仅有一个 Reducer能够启动conf.set(“mapred.job.tracker”, “local”); conf.set(“fs.default.name”, “file:////”); FileSystem fs = FileSystem.getLocal(conf);

MiniMRCluster, MiniYarnCluster, MiniDFSCluster 多线程

作者:terry,如若转载,请注明出处:https://www.web176.com/hadoop/23021.html

(0)
打赏 支付宝 支付宝 微信 微信
terryterry
上一篇 2023年6月2日
下一篇 2023年6月2日

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注