基于开源 Hadoop 的矢量空间数据分布式处理研究

作者:尹 芳   出版商:长安大学 地球科学与资源学院   出版日期:2013 年 5 月
  摘要:为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoophdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。
相关数据
暂无相关数据!
相关文章
暂无相关文献!
声明:本站文献资源来源于网络,仅供学习交流使用,不得以任何形式用于商业用途,请于浏览后24小时内删除。如有疑问欢迎与我们联系,感谢您的支持。