X为了获得更好的用户体验,请使用火狐、谷歌、360浏览器极速模式或IE8及以上版本的浏览器
帮助中心 | 关于我们
欢迎来到栖霞区技术转移市场,请 登录 | 注册
尊敬的 , 欢迎光临!  [会员中心]  [退出登录]

双创栖霞

霞科行APP

成果 专家 平台 需求
当前位置: 首页 >  科技成果  > 详细页

[00304155]一种基于分布存储和并行计算的电网数据质量检测方法

交易价格: 面议

所属行业: 分析仪器

类型: 发明专利

技术成熟度: 正在研发

专利所属地:中国

专利号:CN201410647792.1

交易方式: 完全转让 许可转让 技术入股

联系人: 南京大学

进入空间

所在地:江苏南京市

服务承诺
产权明晰
资料保密
对所交付的所有资料进行保密
如实描述

技术详细介绍

本发明公开了一种基于分布存储和并行计算的电网数据质量检测方法,包括以下步骤:采用HBase存储原始数据记录;采用HBase对校验规则涉及到的字段建立查询索引;采用HBase对原始数据记录建立时间戳索引,以便支持增量数据质量校验和细时间粒度的数据质量校验;采用HDFS存储数据记录的辅助索引文件和操作日志文件,以便全量历史数据质量校验时能够快速加载校验数据,提升校验性能;采用基于MapReduce的校验规则并行化处理,通过规则并行化处理提升校验性能。本发明解决了现有的基于关系数据库系统的电网数据质量检测方法可扩展性差,校验延时大,系统性价比低的问题。
本发明公开了一种基于分布存储和并行计算的电网数据质量检测方法,包括以下步骤:采用HBase存储原始数据记录;采用HBase对校验规则涉及到的字段建立查询索引;采用HBase对原始数据记录建立时间戳索引,以便支持增量数据质量校验和细时间粒度的数据质量校验;采用HDFS存储数据记录的辅助索引文件和操作日志文件,以便全量历史数据质量校验时能够快速加载校验数据,提升校验性能;采用基于MapReduce的校验规则并行化处理,通过规则并行化处理提升校验性能。本发明解决了现有的基于关系数据库系统的电网数据质量检测方法可扩展性差,校验延时大,系统性价比低的问题。

推荐服务:

Copyright © 2018    南京市栖霞区科技成果转化服务中心    All Rights Reserved    苏ICP备19034144号-1

主办单位:南京市栖霞区科技成果转化服务中心        运营商:科易网