数据治理包括哪些方面
2024-05-16
1. 数据治理包括哪些方面
从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。 数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。 数据采集清洗：通过可视化的 ETL 工具（例如阿里的 DataX，Pentaho Data Integration）将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。 基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。 元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。 血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。 质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapReduce，HBase 等。 商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。 数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。
2. 数据治理包括哪些内容 csdn
摸家底阶段 内容：企业元数据梳理和采集 目标：构建企业数据资产库 建体系 内容：建立企业标准和质量提升体系 目标：提升数据质量 促应用 内容：自服务通道、构建企业知识图谱 目标：数据智能应用
3. 数据治理的价值体系包括哪些方面?
数据治理的价值体系包括： · 对数据的共同理解——数据治理为数据提供了一致的视图和通用术语，同时各个业务部门保留了适当的灵活性。 · 提高数据质量——数据治理创建了一个确保数据准确性、完整性和一致性的计划。 · 数据地图——数据治理提供了一种高级能力，可以了解与关键实体相关的所有数据的位置，这是数据集成所必需的。就像 GPS 可以代表物理景观并帮助人们在未知景观中找到方向一样，数据治理使数据资产变得可用并且更容易与业务成果联系起来。 · 每个客户和其他业务实体的360 度视图——数据治理建立了一个框架，以便企业可以就关键业务实体的“单一版本真相”达成一致，并在实体和业务活动之间创建适当的一致性级别。 · 一致的合规性— 数据治理提供了一个平台来满足政府法规的要求，例如欧盟通用数据保护条例 (GDPR)、美国 HIPAA（健康保险流通与责任法案）和行业要求，例如 PCI DSS（支付卡行业数据安全标准）。 · 改进数据管理——数据治理将人的维度带入高度自动化、数据驱动的世界。它建立了数据管理的行为准则和最佳实践，确保传统数据和技术领域（包括法律、安全和合规等领域）以外的问题和需求得到一致解决。
4. 企业数据治理措施包括哪些?
1.提高全面思想认识 毋庸置疑，数据是企业的宝贵资产，各企业已经意识到数据质量的重要性，但是并没有将数据治理提到战略高度，信息化建设的重点仍然是应用系统建设和运维。数据治理是一个系统工程，需要管理层、系统开发人员、系统使用人员、系统维护人员多方协作才能进行。 2.成立数据治理组织 健全的数据治理组织是全面开展数据治理工作的基础，数据治理组织应包括管理人员、业务人员和技术人员，缺一不可。数据治理组织可以设置三种角色，数据治理委员会、数据治理业务组、数据治理技术组。 3.建立数据标准体系 一般来说，信息化建设应遵循标准先行的原则，在应用系统建设初期就应该制定企业内部数据标准体系，保证各业务部门、各业务系统使用相同的数据标准，提高部门间、系统间数据共享能力，避免形成信息孤岛。
5. 数据治理8种方法
顾名思义，顶层设计法就是先做一个数据治理顶层设计的规划，然后按照规划执行即可。
做过咨询的彭友都知道，顶层设计、战略咨询都会根据战略目标拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径。
今年做什么，明年做什么，先做啥，后做啥，都规划的清清楚楚明明白白。
之后就按图索骥就行。大致的逻辑就像下图一样：
这样的好处很明显，先有面，再有线，最后是各个点状的项目，一点点的落实，效果自然没的说。
但是这样的方案是非常非常奢侈的，因为这种方案见效慢，对组织的要求非常非常高。耐得住性子的组织很少，通常都要快速见效。
基本上也只有一些政府单位和极少数的企业使用这种方式获得了数据治理的成功。
02****技术推动法**** 有敏感的朋友已经察觉出来了，这里叫“技术推动法”，而不是技术引领啥的。
其实这种方法是绝大多数企业采用的数据治理方法。要说原因么，其实很简单，因为数据治理项目大多是在信息部门立项和实施的。
既然是技术部门的事儿，那当然是技术部门推动了。讲真，我见过太多类似的事情，很少有效果很好的。
《华为数据之道》里说要“业务主导”，话是真没错，但几乎没有做到的。原因很简单，屁股决定脑袋。业务负责人的主责主业是搞业务，根本不会野不可能要主动做数据治理的事情。
技术驱动的套路没啥说的，就是针对数据问题，从技术层面进行解决。套路就是信息系统建设的逻辑，立个项，做调研，各种概要设计、详细设计，各种开发、集成、测试、部署，然后验收。
效果么，一般吧。因为大多是问题导向，频繁“打补丁”式的建设。到最后往往就是各种爆炸，报表爆炸，指标爆炸，数据问题爆炸。
然后开始上指标系统、数据质量系统，一个补丁贴一个补丁，到最后谁都不敢动了。
归根结底，就是因为数据的问题是一个系统性的，技术层面的原因只是其中之一而已。造成这种现象的原因就是业务参与度不够。
在企业，谁挣钱，谁的话语权就大。业务自然是利润中心，而技术一般都是成本中心。纯让技术去推动数据治理，就像是让儿子督促爸爸戒烟一样不靠谱。
03****应用牵引法****
如果说技术推动是小孩推车，那么应用牵引则是壮牛拉车得心应手啊。有应用在前面牵引，后面的各种事情就显得非常自然。
很多企业建数据体系都喜欢先弄一个大屏不是没有道理的。因为没有“用”的东西是没有价值的。
大屏虽然用户比较单一，实用价值比较低，但毕竟还是有使用场景的，比单纯没有使用场景的纯技术开发建设强的不是一星半点。
以数据应用为牵引，反向要求各链路的数据高质量供给，促进数据治理体系的建设，也是一个很好的选择。
但是这种方式做数据治理，始终还是会陷入到片面、局部胜利的结果。有应用的地方，数据质量就能得到治理，没有应用的数据质量就没人管了。
04****标准先行法****
讲真，标准现行法的真实案例我只遇到过极少数的几个
甲方在建业务系统的时候，把数据标准和业务系统绑定起来。所以他们在做信息化建设的时候，就已经把所有的数据标准都已经建立好了。
我过去的时候，发现数据治理真的就这么简单，完完全全就是一个纯技术活儿，不用考虑人的因素。
所有表都是按照统一的数据模型建设的，所有字段中的键值都在最新发布的数据字典里，甚至为某个“主数据”单独建了一套管理系统。
我过去就是按照标书里的要求，建库建表，开发ETL，把数据收上来，然后整个规则引擎，按照配置结果，自动计算数据质量，定期出数据质量报告。
其实为什么有那么多的数据质量问题？很简单，没有标准。没有标准就没有对错，自然就会乱到一塌糊涂！
标准有了，就能确定什么是对的，什么是错的。后面的执行、监测和控制就有了依据，数据质量才有保障。
05 监管驱动法
这个好理解，就是 强监管 。
强监管通常是上级单位发政策，下级单位执行。而且做不好，还会有惩罚。
银行、保险等强监管的行业就是跟着政策走的。不好好做数据治理，不按照EAST、1104的要求报送数据，罚单马上就来。
不要想着随便糊弄，有本事就造全套的假数据，假的跟真的一样的那种，表间勾稽关系无误，各个维度都找不到破绽的那种。
当然了，在企业内部其实也可以执行这种强监管的模式，但这需要“ 特权 ”。这个前提通常很难达到。
有种取巧的方法，就是 贯标 。比如现在国家在推的DCMM贯标。
贯标有一个特别的好处，就是把“贯标评级”列到组织年度目标中，这样就能在企业内部形成一个巨大的“ 势能 ”，形成强监管的态势。
当我们把“ DCMM贯标 ”这根大棒挥舞起来， 自然比某个部门或者某几个部门推动数据治理强太多了。
我们给某企业做DCMM贯标的时候，发现技术部门早就制定并颁发了数据安全的制度、流程。但是跟大多数企业一样，发完之后就成一纸空文了。业务觉得安全管控太费事了，压根就不执行。
现在不一样了，技术部门借着“贯标”的理由，要求业务贯彻执行之前发布的制度和流程。业务虽然不情不愿，但是贯标是企业级目标，大家不得不做，也就 半推半就的推行起来 了。
其实说到底，监管驱动法，就是在借势，借上级政策要求的势，借国家标准的势。用大势推动原本推不动的部门，疏通原本阻力大的流程。
06****质量控制法****
质量控制法其实是没有办法，也算是数据管理早期的雏形。因为说起来，数据管理理论体系往前追溯，其实是来 自于质量管理体系 。
ISO9000（质量管理标准体系）、TQM（全面质量管理体系）、CMMI（能力成熟度集成模型，不只是软件哦！），都属于通用管理体系。
ISO9000后发展出ISO8000（数据质量管理标准体系），TQM延展出TDQM（全面数据质量管理体系）。而CMMI协会也在2014年推出了DMM（企业数据管理能力成熟度模型）。这是数据领域质量管理体系。
中国则参考CMMI等一众数据管理体系，在2018年正式发布数据管理成熟度评估模型（DCMM）国家标准，这是后话了。
与其他行业情况一样，质量是绕不过去的关。不管是做业务的，还是搞技术的，相信各位彭友没少 为数据质量的问题挠头 。质量有问题，数据就没法用，甚至会影响错误决策。
于是，迫于各种数据质量问题，企业内外部才认真对待，逐步解决数据质量问题。
数据质量管控很明显，是问题导向。但是也不能头疼医头脚疼医脚，还得有个方法论。
一般来说得有一个具体的 需求 ，包括数据质量管控目标、评估标准、判定规则等等。
然后再以阶段性的目标和需求出发，从 事前防范 、 事中监控 、 事后核查 三方面进行质量管控，对各类数据问题予以解决。
在解决的时候，一般会立一个数据质量改进的 专项 ，从技术、流程、制度、机制等层面进行 改进 ，定期开展 评估 ，对数据质量问题及解决办法建立 知识库 ，便于之后遇到类似问题能快速定位和解决。
在这个过程中，以数据质量问题为 牵引 ，综合使用元数据、主数据、数据标准、制度规范等各类 手段 ， “建”以致用 ，自然就不会出现用不起来的情况了。
07****利益驱动法****
利益驱动法其实也很有意思。这是我偷偷观察并总结的招，而且这招貌似特别好用。
其实说白了，也没啥，就是一招：以 利益共享 为根本，以 “成就” 为导向，建立一个符合 部分核心人员****利益 的目标，然后推一下就行了。
具体的操作手法有很多，比如成功案例法、合作致胜法、评奖法、出书法、会议法等，还有互联网企业保命大法“开源法”。
08****项目建设法****
这个很容易理解，就是弄个数据治理项目，慢慢建设。
其实数据治理这件事情开展到现在，也已经形成了一整套非常完善的流程了，相关产品能力也已经非常全面了。
我之前参与的项目，基本上覆盖了数据全流程，什么数据咨询、数据采集、共享交换、数仓、数据标准、元数据、主数据、数据质量、数据可视化、数据分析等等。
目前效果比较好的，是咨询和实施结合起来做。
做个咨询，对数据现状进行盘点，全面掌握企业未来的战略和目前的现状，然后根据数据管理体系，做出差距分析，拟定具体执行的工作任务，根据时间进度安排，拆解并规划项目。
然后在实施项目中，先穿透一个场景，再慢慢从纵深和横向两个层面不断扩大战果，建元数据、主数据、指标体系、数据质量管理体系等等，不断夯实数据基建，为前端数据应用提供高质量数据供给。
6. 数据治理包括哪几个方面
数据治理包括以下几个方面： 1、数据集中存储与管理：为降低数据治理的难度、成本和复杂度，通过建立数据集中管理的制度减少数据复制和分散存储，提高数据的集中度和集成度。 2、数据存储有合理的期限和方式：数据存储有明确的生命周期管理，并且能够根据数据的重要性和数据用户的访问情况，在数据存储生命周期的不同阶段采用有针对性和差异化的存储策略。 3、数据进行统一的加工和整合：为了能够达到数据治理组织制定的数据标准和质量要求，数据需要采用统一的工具和规则进行处理和整合。 4、数据是易访问的：数据要能够非常方便的为数据用户获取和使用，但是要在满足数据治理要求的数据标准、数据质量和信息安全的情况下。 5、数据访问有安全控制：因为数据资产的重要性和可复制性，就必然要求数据的访问、获取和存储需要有安全的管控，避免企业的核心资产泄露，造成无法挽回的损失 简介： 数据治理是20世纪90年代兴起的概念，起初数据治理的主要目标是进行客户数据的清理、完善数据标注，确保组织数据的完整性。伴随着企业规模的不断扩大，数据技术管理的相关理论不断成熟和完善，企业数据治理的重要性也在业界达成了广泛的共识，即数据不但有价值而且还是企业有竞争价值的资产。 为了能够让数据一致、准确和及时的提供给数字化建设的使用者，让数据能够被使用者更容易理解，发挥数据资产的最大价值，企业需要对现有数据进行治理。
7. 数据治理的什么是数据治理
信息系统建设发展到一定阶段,数据资源将成为战略资产,而有效的数据治理才是数 据资产形成的必要条件。虽然以规范的方式来管理数据资产的理念已经被广泛接受和认可，但是光有理念是不够的，还需要组织架构、原则、过程和规则，以确保数据管理的各项职能得到正确的履行。以企业财务管理为例，会计负责管理企业的金融资产，遵守相关制度和规定，同时接受审计员的监督；审计员负责监管金融资产的管理活动。数据治理扮演的角色与审计员类似，其作用就是确保企业的数据资产得到正确有效的管理。由于切入视角和侧重点不同，业界给出的数据治理定义已经不下几十种，到目前为止还未形成一个统一标准的定义。ITSS WG1认为数据治理包含以下几方面内容（1）确保信息利益相关者的需要评估，以达成一致的企业目标，这些企业目标需要通过对信息资源的获取和管理实现；（2）确保有效助力业务的决策机制和方向；（3）确保绩效和合规进行监督。数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。数据治理的全过程数据治理其实是一种体系，是一个关注于信息系统执行层面的体系，这一体系的目的是整合IT与业务部门的知识和意见，通过一个类似于监督委员会或项目小组的虚拟组织对企业的信息化建设进行全方位的监管，这一组织的基础是企业高层的授权和业务部门与IT部门的建设性合作。从范围来讲，数据治理涵盖了从前端事务处理系统、后端业务数据库到终端的数据分析，从源头到终端再回到源头形成一个闭环负反馈系统（控制理论中趋稳的系统）。从目的来讲，数据治理就是要对数据的获取、处理、使用进行监管（监管就是我们在执行层面对信息系统的负反馈），而监管的职能主要通过以下五个方面的执行力来保证——发现、监督、控制、沟通、整合
8. 什么是数据治理？
从技术实施角度看，数据治理包含“理”“采”“存”“管”“用”这五个步骤，即业务和数据资源梳理、数据采集清洗、数据库设计和存储、数据管理、数据使用。 数据资源梳理：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。 数据采集清洗：通过可视化的 ETL 工具将数据从来源端经过抽取 (extract)、转换 (transform)、加载 (load) 至目的端的过程，目的是将散落和零乱的数据集中存储起来。 基础库主题库建设：一般情况下，可以将数据分为基础数据、业务主题数据和分析数据。基础数据一般指的是核心实体数据，或称主数据，例如智慧城市中的人口、法人、地理信息、信用、电子证照等数据。主题数据一般指的是某个业务主题数据，例如市场监督管理局的食品监管、质量监督检查、企业综合监管等数据。而分析数据指的是基于业务主题数据综合分析而得的分析结果数据，例如市场监督管理局的企业综合评价、产业区域分布、高危企业分布等。那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。 元数据管理：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。需要注意的是，元数据管理一般是对基础库和主题库中（即核心数据资产）的数据项属性的管理，而数据资源清单是对各类数据来源的数据项的管理。 血缘追踪：数据被业务场景使用时，发现数据错误，数据治理团队需要快速定位数据来源，修复数据错误。那么数据治理团队需要知道业务团队的数据来自于哪个核心库，核心库的数据又来自于哪个数据源头。我们的实践是在元数据和数据资源清单之间建立关联关系，且业务团队使用的数据项由元数据组合配置而来，这样，就建立了数据使用场景与数据源头之间的血缘关系。 数据资源目录：数据资源目录一般应用于数据共享的场景，例如政府部门之间的数据共享，数据资源目录是基于业务场景和行业规范而创建，同时依托于元数据和基础库主题而实现自动化的数据申请和使用。 质量管理：数据价值的成功发掘必须依托于高质量的数据，唯有准确、完整、一致的数据才有使用价值。因此，需要从多维度来分析数据的质量，例如：偏移量、非空检查、值域检查、规范性检查、重复性检查、关联关系检查、离群值检查、波动检查等等。需要注意的是，优秀的数据质量模型的设计必须依赖于对业务的深刻理解，在技术上也推荐使用大数据相关技术来保障检测性能和降低对业务系统的性能影响，例如 Hadoop，MapReduce，HBase 等。 商业智能（BI）：数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，像派可数据就属于专业的BI厂商。 数据共享交换：数据共享包括组织内部和组织之间的数据共享，共享方式也分为库表、文件和 API 接口三种共享方式，库表共享比较直接粗暴，文件共享方式通过 ETL 工具做一个反向的数据交换也就可以实现。我们比较推荐的是 API 接口共享方式，在这种方式下，能够让中心数据仓库保留数据所有权，把数据使用权通过 API 接口的形式进行了转移。API 接口共享可以使用 API 网关实现，常见的功能是自动化的接口生成、申请审核、限流、限并发、多用户隔离、调用统计、调用审计、黑白名单、调用监控、质量监控等等。
最新文章
热门文章
推荐阅读