节点文献

MapReduce模型下增量重复数据检测方法

免费订阅

【作者】 董富森杨波马坤王文华

【Author】 DONG Fusen;YANG Bo;MA Kun;WANG Wenhua;Shandong Provincial Key Laboratory of Network Based Intelligent Computing University of Jinan;

【机构】 济南大学山东省网络环境智能计算技术重点实验室

【摘要】 针对重复数据检测过程中增量数据重复值检测问题进行分析,在基本近邻排序算法基础上,提出增量近邻排序比较算法。该算法通过跳动窗口形式比较相邻数据,大大减少了数据比较次数;同时引入MapReduce模型对该算法加以改进以提高其海量数据处理的能力。实验表明,改进后的增量近邻排序比较算法在保证检则结果准确的前提下,能够有效提高增量数据重复检测的速度,并且算法具有较高的稳定性,更适应海量数据环境中重复数据检测任务。

【基金】 国家自然科学基金(61173078)
  • 【DOI】10.13349/j.cnki.jdxbn.2015.04.003
  • 【分类号】TP311.13
  • 【被引频次】3
  • 【下载频次】107
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: