如果与你每天打交道的数据都是如下的调性,肯定不出一周你就会崩溃,做个一年可能有头秃风险。
数据格式不统一
数据冗余、缺少关联
数据不准确、不可靠
这个时候,你一定在渴望有个工具踏着七彩祥云而来,救你于水深火热之中。现在就有这样一款工具摆在你面前,你还不为所动吗?
他的名字叫做数据工厂(EsDataFactory),是一个集数据建模、数仓管理、数据ETL与一体的数仓工具,用于帮助政府和企业构建
数据仓库,完成数据融合,提升
数据质量,促进政府和企业由业务驱动到数据驱动的转型。比其它传统工具给予了更简捷、更智能、更多样的数据服务。
数据工厂解决方案
构建面向全业务领域的数据仓库
建立数据关系
消除数据冗余
给予数据服务
强化数据质量管理,给予准确可靠数据
基于规则、灵活可配
普及参与、持续推进
应用价值
数据工厂全面支持所有数据类实施项目
数据工厂广泛适用于所有数据类的实施场合:数据整合、数据迁移、数据同步、数据交换、数据仓库搭建、
数据清洗等。

完美兼容全业务领域的数据融合
全行业通用,全业务域整合。面向数仓的分层管理模式,全面兼容各行业各业务系统数据,完成各业务域系统的数据融合、数据关联、数据共享等应用场景。

适应业务系统数据处理
除了支持数据仓库处理外,数据工厂也能满足OLTP业务处理系统多用户高并发场景,无须担心死锁问题。
项目案例
借助数据工厂构建国家电网的一体化数据应用平台。
项目背景:
2011年1月,国家电网公司提出加快建设“三集五大”管理体系。国家电网办〔2011〕1号文发布了《关于建设“大规划、大建设、大运行、大检修、大营销”体系的意见》,进一步明确了“五大”体系建设工作要求。“大规划”是“五大”体系的重要组成部分,大规划体系中分为两个应用,规划计划管理信息应用和一体化电网规划设计应用。
其中,一体化电网规划设计平台已完成三期的项目建设,随着国家电网公司开展进入以集团化运作为特征、深化“四化”管理的新时期,电网开展进入以特高压和智能化为重要特征的新阶段,根据“大规划”体系建设要求,有必要在原有一体化电网规划设计平台(三期)建设的基础上,加快一体化电网规划设计应用的建设,提升数据维护展示的适应性和实用化水平、深化输电网计算分析功能、拓展配电网应用功能、加强电网开展诊断分析、优化成果管理,有利于解决各级电网规划力量分散、协调性不足、规划标准不统一、辅助设计工具缺乏等问题,有效提高规划设计工作效率和研究水平,提升电网规划设计研究水平和技术支撑能力。
项目概况:
一体化电网规划设计平台(四期)项目是在一期、二期、三期项目成果之上,根据“大规划”体系建设需求,依据开展部业务流程及管理变化,结合
i@Report数据采集工具、数据工厂(EsDataFactory)以及
亿信BI进行建设实施。一体化电网规划设计平台拓展覆盖电网规划等全部规划领域,贯穿各层级,打通各环节,建设涵盖规划信息库、输电网规划、配电网规划、电网开展诊断、输电网成果管理和配电网成果管理六大块业务需求的全业务数据中心,全面支撑电网公司规划设计业务。
过数据工厂完成项目数据中心的建设:
随着规划业务数据的不断完善,不同的
数据存储于多个业务系统中,数据分散、数据口径不统一的问题也逐步暴露,导致很难实现全业务系统、全角度的综合
数据分析。
为了建立统一的数据模型,将来源于不同业务系统中的数据规范化,保证数据一致性、准确性和可用性,平台按照分析应用主题,依托数据工厂(EsDataFactory)对数据进行ETL处理,将利用i@Report采集完成的数据、以及存储于各个规划业务系统的历史数据进行整合、清洗,设计如下的ETL过程:


ETL过程设计完成后,顺利获得ETL过程流的定义完成多个ETL过程的并行或者串行,最终按照周期进行定时调度。


数据工厂(EsDataFactory)多元化可视化建模、完整的数据处理流程帮助平台最终完成了面向于分析主题的数据中心的建设。
项目成果:
一体化电网规划设计平台(四期)建设借助i@Report快速搭建数据采集补录平台,并顺利获得数据工厂(EsDataFactory)完成个业务系统数据的整合清洗,在结合亿信BI实现大规划、大建设成果的集中展示。
利用“i+DF+BI”整体解决方案,完成了数据采集-->数据处理-->数据应用的一整套流程,提升了数据维护展示的适应性和实用化水平、深化了输电网计算分析功能、拓展了配电网应用功能、加强了电网开展诊断分析、优化了成果管理,提高了数据应用的整体效率,达到了项目建设的预期目标。
(部分内容来源网络,如有侵权请联系删除)