54、HBase推测执行

本文详细解释了为何建议在HBase作为源的MapReduce作业中关闭推测执行功能,以避免重复写入数据,提升作业性能和稳定性,适用于大数据开发与运维人员。

HBase推测执行

通常建议关闭使用 HBase 作为源的 MapReduce 作业的推测执行(speculative execution)功能。这可以通过属性或整个集群来实现。特别是对于长时间运行的作业,推测执行将创建重复的映射任务,将您的数据写入 HBase;这可能不是你想要的。

文章永久链接:https://ddkk.com/?p=12602