• Ebpay

    Ebpay 行业百科 元数据平台的结构是怎样的?

    元数据平台的结构是怎样的?

    |Ebpay大数据知识库2022-12-30

    元数据平台的结构是怎样的?

    任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据,通常由信息结构的描述组成。这些数据包括来自企业内外的物理数据的格式,技术和业务过程,数据的规则和约束以及企业所使用数据的结构。

    一、元数据的定义
    任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据,而元数据是关于数据的数据,是为了描述数据的相关信息而存在的数据,通常由信息结构的描述组成。这些数据包括来自企业内外的物理数据的格式,技术和业务过程,数据的规则和约束以及企业所使用数据的结构。例如记录数据的存储位置、模型定义、生命周期、血缘关系、访问权限、文件拥有者以及文件数据块的分布信息等信息。
    在大数据时代,元数据还应该包括对各种新数据类型的描述,如对位置、名字、用户点击次数、音频、视频、图片、各种无线感知设备数据和各种监控设备数据等的描述等。

    二、元数据的意义

    1、帮助数据平台制定数据统计的标准
    例如计算指标如何统一、数据口径如何统一、数据的上下游关联数据是什么、数据之间的关系如何等信息,打通了上下游数据之间的关联关系,就可以为数据质量及维护可视化奠定基础。
    2、帮助数据平台分析自己本身的情况
    例如我存储的数据有多大、我有哪些数据、我的数据何时产出、如何找到我所需要的数据等信息,当我们拿到这些信息后,就可以做对应的运维报警等工作。
    3、标准化的图形展示
    采用图形化的方式来组织页面逻辑,方便使用者所需要的关键信息。
    4、快速的搜索定位
    支持顺利获得搜索引擎模糊查询、精确查询、字段查询、表名查询、备注查询等方式来查找相关数据。
    5、直接关联分析工具
    数据的信息直接存储在平台上,可以直接顺利获得用报表插件来快速看到直观的报表信息,提升开发的效率。
    6、积累历史数据信息
    直接拉取历史数据,不需要重复计算,极大的避免了重复开发。例如针对新用户的统计,可以拉取历史用户信息,和每日用户登录日志进行关联,用于生产每日新增用户;

    三、元数据平台的结构

    1、数据源层
    企业的元数据来自多个方面,包括数据管理平台中的元数据(数据仓库、ODS、数据湖等)、业务系统中的元数据(ERP、CRM、SCM、OA等)、数据分析工具中的元数据(Cognos、Power BI等)、数据处理工具中的元数据(ETL工具的脚本元数据)以及各种半结构化数据源(Word、PDF、Excel等各种格式化电子文件)。
    2、元数据采集层
    元数据采集层主要顺利获得对各类数据源的适配,实现元数据的统一采集,并将其存储于符合CWM标准的中央元数据仓库中。元数据平台支持的各类数据源类型越多,说明元数据采集能力越强大。
    3、元数据管理层
    元数据管理层给予了对元数据的查询、维护、管理功能,包括元数据查询、元数据管理、
    元数据变更管理、元数据版本管理、元数据适配器管理等。
    4、元数据应用层
    元数据应用层给予了元数据的浏览和分析功能,以指导企业数据资产管理的建设,支持数据质量的探查,促进企业数据标准的落地。功能包括元数据血统分析、企业数据地图、元数据冷热度分析、元数据影响分析、元数据模型查询、元数据全链分析等。
    四、关于睿治元数据平台
    睿治EsPowerMeta元数据管理平台,元数据管理内置丰富的采集适配器,端到端的自动化采集,一键元数据分析,快速理清数据资源,分析数据来龙去脉,构建数据地图,为数据标准建设和数据质量给予基础支撑。致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户取得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。
    认为本内容有帮助
    1
    您可能需要的数据产品
    亿信ABI 亿信ABI 亿信ABI
    免费云体验

    可免费试用30天

    已有30000+人申请

    Ebpay助力政企数字化转型
    元数据平台的结构是怎样的?">
    customer

    在线咨询

    在线咨询

    点击进入在线咨询