嘉宾介绍
主题介绍
随着数据规模的不断增加,在数据管理方面也出现了一系列问题:比如僵尸数据、孤岛数据、非法数据、冗余数据等,给平台维护和管理带来了巨大的挑战。
针对数据管理的一系列问题,魅族数据研发团队通过不断的探索,建立起元数据管理体系,制定了数据质量标准规则及规范。
同时,在生产实践中,引入了元数据治理开源技术框架:Apache Atlas,经过调研消化吸收,整合其内核模块,作为魅族数据质量管理平台的基础功能,并扩展其元数据类型,将平台自定义元数据类型纳入管理;根据场景需要,制定灵活的元数据采集和上报方案,提供元数据检索和血缘关系查询等功能, 逐步实现对元数据的透明有效管理。
技术亮点:
数据管理与数据治理相关经验
元数据管理开源技术Apache Atlas
—— 点击加载更多 ——
收起