“无规矩不成方圆”,数据标准就是通过制定一套由管理制度、管控流程、技术工具共同组成的体系,来对数据定义、分类、格式、编码等标准化管理。通俗地讲,对企业来说,数据标准就是对数据类型、长度、归属部门等定义一套统一的规范,以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。
但是,数据标准实施起来,又往往很难。什么是标准,怎么进行标准分类,从什么地方开始实施,做什么基础工作,这些都需要有工作中的指南和细则,尤其是,从来没有一个理论上干净纯粹的环境是实施数据标准,以及数据标准工作似乎永远要和管理耐心和信心去赛跑。这里谈谈亿信华辰实践中的一些探索。
为什么需要数据标准
拿政府来说,公安和社保各自都有自己的人口信息管理,分别管理自己的业务形态,当区域政府要进行数据整合的时候,两个系统的人口信息都会进行存在一张“人口信息表“,其实这个就是政府在电子政务领域一直推崇的信息资源目录,其实也就是在建立数据标准。
那么要建立一个数据管理平台,统一存储各个委办局全部的交换信息时,“人口表”该如何创建?这就需要创建“人口基本信息标准”来整合政府内部不同部门业务系统产生的人口信息。
数据标准化的过程其实就是在数据管理平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。一个政府内部的数据标准化方式是如此,一个政府垂直部门在采集整个监管和服务行业数据时的数据标准化过程也是如此。例如,最高人民法院在向全国各省法院采集明细数据的XML接口,事实上就是法院基础数据标准;国务院或者发改委在向全国省、市、县区域政府采集政务信息系统共享明细数据的XML接口,事实上就是电子政务服务基础数据标准。
所以,数据治理的第一步就是要梳理清楚企业拥有哪些数据,并整合数据。而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。
数据标准的分类
一般可从三个维度去对数据标准进行分类:数据结构、数据内容来源、技术业务。
数据标准的分类
1、从数据结构角度进行的数据标准分类
结构化数据标准是针对结构化数据制定的标准,通常包括:信息项分类、类型、长度、定义、值域等。
非结构化数据标准是针对非结构化数据制定的标准,通常包括:文件名称、格式、分辨率等。
2、从数据内容来源进行的数据标准分类
基础类数据标准是指业务系统直接产生的明细数据和相关代码数据,保障业务活动相关数据的一致性和准确性。
派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据,例如:统计指标、实体标签等。
3、从技术业务角度进行的数据标准分类
业务数据标准是指为实现业务沟通而制定的标准,通常包括:业务定义和管理部门,业务主题等。
技术数据标准是指从信息技术的角度对数据标准的统一规范和定义,通常包括:数据类型、字段长度、精度、数据格式等
数据标准的建设流程
数据标准的制定和落实不是一个一蹴而就的过程,而是一个需要结合实际业务场景,通过分析总结,切实应用到数据管理中,并且根据反馈结果不断进行整改迭代的过程。数据标准的建设流程主要包括以下几个阶段:
数据标准的建设流程
1、分析业务场景
由于实际业务场景的复杂性和多变性,数据标准的制定也不是一成不变的。它需要有经验的实施人员和业务部门通力合作,对业务场景进行梳理和提炼,找到企业切实可行的标准规范,从而让数据标准更好的服务于企业。
2、标准制定
数据标准建设需要有相应的数据标准管理组织,负责数据标准的统一管理,承担数据标准的制定、维护、应用和监督等工作。制定标准时需要从实际出发,结合业界经验,先要梳理出数据标准建设的主体范围和实施计划。然后根据数据标准体系框架和分类,确定各分类数据标准模板,然后由相关人员依据相关国标、行标、技术业务需求等调研结果,进行数据标准的编制,形成数据标准初稿。数据标准初稿制定完成后需要对数据标准进行再次评审,在征求各方面意见后对数据标准进行修订和完善,形成正式的数据标准。
3、数据标准落地映射和落地评估
在数据标准制定完成后需要将标准真正应用到系统中去,而不是纸上谈兵。但是由于实际工作中存在系统无法改造的情况,因此需要确定数据标准的落地策略和落地范围,并制定落地映射方案。落地方案反映的是数据标准和系统数据的关联关系,通过数据标准对现有的系统数据进行评估落实,从而得到对现有系统的标准评估结果。
4、数据整改
在得到标准评估结果后,需要根据结果的反馈对系统数据进行整改。由于实际业务场景或其他因素的制约,数据整改并不是一次性的,而是要经过多次迭代,不断整改,从而得到符合企业预期的数据服务。企业也是在不断发展的,在这个过程中,系统数据也是在不断变更的。因此,数据整改也是随着企业的发展而不断适应和发展。
结论
亿信华辰数据标准化及质量管控方案
数据标准管理是企业数据治理的基础,没有标准化,更加谈不上数据质量。亿信华辰数据标准管理平台可帮助政企提供数据标准从制定、审批、修订、发布、执行、维护、停用和废止全生命周期的标准管理,全面管控各时期所有业务系统的标准化建设,实现标准的全面持续管理。通过为数据标准进行科学规范和统一定义,让数据有据可依,才能为政企数据质量保驾护航。