节点文献

Spark Streaming写入HBase的实现和优化

免费订阅

【作者】 陈晓朱志祥梁小江

【机构】 西安邮电大学陕西省信息化工程研究院

【摘要】 海量数据的实时处理不仅要求计算框架快速高效,同时要求流处理过程中产生的中间数据的存储过程同样高效,因此,可通过提高Spark Streaming对中间结果数据的处理速度来提升流处理效率。为提高Spark Streaming处理中间结果的效率,文中选择HBase作为中间数据存储系统,并通过分析Spark Streaming的架构及HBase的存储原理,给出了Spark Streaming向HBase写入数据的方法并进行优化。通过对Spark Streaming存储过程的优化,可以一定程度上提高实时数据的流处理效率。

【关键词】 Spark StreamingHBase大数据内存计算流处理
【所属期刊栏目】 学术研究_智能处理与应用 (2016年04期)
  • 【DOI】10.16667/j.issn.2095-1302.2016.04.031
  • 【分类号】TP311.13
  • 【被引频次】4
  • 【下载频次】291
节点文献中: 

本文链接的文献网络图示:

浏览历史:
下载历史: