节点文献

Storm环境下一种改进的任务调度策略

免费订阅

【作者】 刘月超于炯鲁亮

【Author】 LIU Yuechao;YU Jiong;LU Liang;College of Information Science and Engineering,Xinjiang University;College of Software,Xinjiang University;

【机构】 新疆大学信息科学与工程学院新疆大学软件学院

【摘要】 随着大数据业务的快速增长,针对大规模数据处理的实时计算变成了一种业务上的需求,缺少"实时的Hadoop系统"经成为整个大数据生态系统中的一个巨大缺失,Storm的出现很好地满足了这一需求.然而,Storm默认的round-robin资源调度,既不考虑内部组件的传输延迟时间,也不考虑节点间的传输延迟.因此,本文提出了Storm环境下一种改进的任务调度策略(Improved Storm Task Schedule Strategy,ISTS),该策略旨在提高通过最大限度地提高资源利用率和吞吐量同时最小化网络延迟.实验结果表明,使用ISTS进行任务调度时,可以同时满足软、硬资源限制以及最小化组件之间的网络传输距离.

【关键词】 大数据Storm数据处理调度
【基金】 国家自然科学基金项目(61462079,61262088,61562086,61363083,61562078)
【所属期刊栏目】 信息科学与技术 (2017年01期)
  • 【DOI】10.13568/j.cnki.651094.2017.01.017
  • 【分类号】TP311.13
  • 【被引频次】11
  • 【下载频次】162
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: