很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
作者｜明明
为什么想开这个话题，一是因为目前业内数据产品也基本完成了从0-1的建设工作，但主要集中在数据生产加工和数据应用分析两侧，对于数据管治方向的建设多分散在了包括安全、指标元数据、SLA等在内的各个环节，缺乏统一的规划统筹，笔者认为，数据产品可以分为工具类数据产品、业务分析类数据产品和管控治理类数据产品三类，而工具类数据产品和业务分析数据产品市面上也开始趋近饱和，但管控治理类数据产品其实是更高能力要求的一个细分工种，既需要懂工具建设也需要懂数据分析，还需要具备跨多团队横向协调的项目推动能力和策略运营能力；二呢，笔者曾经就做过一次失败的大治理工作，也做过一次相对成功的安全治理工作，也参与过指标监控、安全工具等的建设，所以也想把这其中那的成功和失败的经验分享出来供大家参考。
根据笔者的研究，目前业内数据治理总结起来一共分为两类，一类是狭义的数据治理，是指数据指标口径一致性的治理，此类数据治理主要是解决指标口径的一致性，解决数据“不准”的问题，也由此引申出一些智能数仓、指标元数据工具，比如美团的起源、快手的盖亚、阿里的dataphin等等；另一类是指广义的数据治理，是指包括数据指标口径治理、数据安全治理、数据资源成本治理、数据资产元数据治理、数据产出治理等在内的大治理，此类数据治理是需要综合解决数据从采集加工到应用分析再到销毁全生命周期内的口径、成本、安全、合规和产出问题，在工具建设上，目前笔者看到的多是分散在数据安全、资产中心、SLA中心等不同的产品领域。
这次笔者就不卖关子了，直接抛观点，笔者认为，数据治理战略层面的设计总结就两点：
第一，数据治理是一个系统性工程。
数据治理主要面对三个问题，一是用户心智培养问题，二是组织保障问题，三是系统提效问题，所以，单纯从组织保障层面发力会面临效率和质量不高成本却奇高的问题，单纯从运营机制建设层面发力会面临缺乏组织和工具来落地策略的问题，单纯从建设工具发力会面临缺乏组织抓手且找不到核心使用用户，需求无法进入正向循环的问题。以上问题一句话总结就是靠组织无法长期有效，靠运营无法落地实施，靠工具又缺乏用户和需求持续跟进，因此，数据治理是一个需要组织保障、运营实施和工具建设三位一体跟进的工作。
第二，数据治理又是一个抓大放小的工程。
世界本质是一个熵增的过程，即任何事物本质是一个自发的由有序向无序发展的过程，这个既是人性也是客观规律，而数据治理本质是减熵的过程，是建立秩序，因此任何的治理本身是逆人性和逆客观规律的，需要源源不断投入能量（资源）才能维持熵值平衡。但问题就在于，人性天然有建设性和破坏性两面，想要秩序的存在并维持下去，本身就是需要投入非常大的建设精力和成本的，而且这个成本还不是一成不变的，它是随着公司资产的累加而增加的，也是会随着公司战略、制度和文化的革新变化而变化的，因此，数据治理工程中追求完美主义是不可取的，我们要学会分类分级，学会判断优先级，学会抓大放小，允许有序和无序的并存。
数据治理到底解决什么问题？或者说什么问题的存在才需要数据治理？首先，我们来场景化模拟下数据从诞生到销毁的一生中遇到的主要问题。
场景1：小明是A视频公司的策略产品经理，工作职责之一就是分析用户的特点和行为习惯，从而帮助算法工程师优化视频推荐策略，从而提高用户对视频APP的使用黏性。这天，小明抽样了部分用户浏览行为数据，发现部分用户单位时间内视频切换速率较高，停留时长较短，且点赞和关注数都较少，小明猜测是算法推荐的质量有问题，小明找了算法RD，算法RD却回复最近视频推荐的准召率（准确率和召回率）没有问题，并没有出现下降，肯定不是算法的问题，是视频内容质量的问题，或者是抽样数据的问题。小明很苦恼，为什么数据分析下来，小明觉得用户对视频的喜好度是不够高的，但研发说准召率却没问题，那问题出在哪？
场景2：小红是B咨询公司的新来的数据分析师，最近她接到一个任务，需要为客户的一个市场咨询报告提供数据分析支持，因此小红从业务经理那里了解完需求后，开始从公司数据库和第三方数据库获取数据，但事情却一波三折，就单单在业务数据分析的定义上就来回沟通了好几次，业务经理告诉小红她想知道a指标的数据，小红翻阅了前人关于a指标的统计口径记录发现，a指标居然有不下10个统计口径，诸如a1字段在x1维度下的聚合、a2字段在x2维度下的聚合等等，到底应该遵循哪个规范？结果咨询一堆同学，发现每一个口径都有特定的需求背景和定制化规则，这一通忙活。
场景3：小东是C公司的数据RD，最近他经常半夜被各种数据跑批任务延迟和失败告警给吵醒，原来是公司最近要迎接618，活动量的爆炸式增长导致业务数据量的爆炸式增长，而业务报表的数据统计逻辑和背后的数据源却没有及时优化，导致集群计算资源不足以支撑暴涨的需求而出现任务延迟或者失败的情况，这个情况又影响了业务报表的数据及时展示，影响了公司各业务KP邮件报表的及时性。
场景4：小阳是D公司的安全运营，最近公司上线了一个新业务，和已经上线的几家公司形成了假正经关系，然后他最近经常收到市场情报反馈，竞品公司能迅速感知到公司的投放数据和增长数据，到底是哪个环节出了问题，为什么竞品公司能这么快知道公司核心数据机密，这让他最近压力倍增？
分析以上问题，场景1其实是数据指标准确性的问题，场景2的问题主要是数据指标规范性和唯一性的问题，场景3主要是数据产出及时性的问题，而场景4是数据安全性的问题，以上，笔者认为都属于数据治理需要解决的问题。
综上，数据治理的目标主要是解决以下四方面的问题：
1.规范治理：解决数据完整性、规范性和唯一性问题
2.SLA治理：解决数据产出及时性问题
3.口径治理：解决数据指标准确性和口径一致性问题
4.安全治理：解决数据采集生产应用各环节中账号注册认证、权限管理、安全审计和隐私保护等安全治理问题
1. 成立数据治理委员会，提供立法和组织保障：
成立治理制度执委会，负责研究和出台相关治理制度和规范标准，目标是促成公司内各个业务团队达成共识，形成统一规范，避免信息孤岛
成立治理产品执委会，负责梳理数据各环节的需求处理流程和业务流转流程，负责各环节的治理工具建设，形成可执行方案，然后报制度执委会推行
成立治理技术执委会，负责数据各环节的技术定义、模型设计和口径维护，对数据资产的落库规范性和唯一性等负责
成立第三方治理审计监察组，负责治理效果的评估、badcase的运营跟进和事后追溯审计
2. 建设数据治理套件，提供工具保障：
建设资产治理中心，目标是为解决数据元信息的完整性、规范性、唯一性提供技术支持
建设SAL治理中心，目标是为解决数据生产加工任务产出的及时性和任务调度的运维提供技术支持
建设指标治理中心，目标是统一指标定义、指标生产和服务，解决指标口径一致性和服务的效率问题
建设安全治理之心，目标是为数据安全5A领域）（账号、认证、授权、审计、隐私保护）的问题提供技术支持
图1：数据治理流程保障规划示意图
思路：如上图所示，数据治理流程保障规划整体思路参考PDCA循环，即制定详细规范方案，然后去验证并解决问题，接着检查问题是否真实被根本解决，最后根据反馈再继续爹迭代方案，进入下一个循环。
机制：如上图所示，数据治理流程保障规划整体解决机制上分为三个部分，分别是事前预防，事中监控和事后处理。第一部分的目标是尽量将潜在问题在未爆发前就消灭掉；第二部分的目标是尽量将问题都找出来，减少影响范围；第三部分的目标是对暴露出的问题进行快速响应和解决，并总结经验。
整体流程：如上图所示，数据治理流程保障规划整体流程上将以解决数据质量六性问题（唯一性、规范性、完整性、准确性、及时性、安全性）为目标，按照“规范建设-质检审查-发现问题-评估问题-解决问题-验收问题”的闭环流程，贯穿整个事前、事中和事后的环节。
具体实施：如上图所示，数据治理流程保障规划的具体实施细则上，会重点依托易龙的“数据治理五大项目模块”，然后每个模块都按照“规范建设-质检审查-发现问题-评估问题-解决问题-验收问题”的闭环流程进行梳理和规划。
① 发现问题
召回率（覆盖率）100%
准确率100%
指标释义：
召回率（覆盖率）：召回率又叫覆盖率，是指所有真实存在的问题中，系统或者人工检测出的问题占比。例如一共100条数据，其中20条存在异常，系统报警显示有30条存在问题，事后被验证30条报警中真实存在问题的有10条，则召回率（覆盖率）=10/20*100%=50%。
准确率：是指所有被系统或者人工检测出的问题中，真实存在问题的占比。例如一共100条数据，其中20条存在异常，系统报警显示有30条存在问题，事后被验证30条报警中真实存在问题的有10条，则准确率=10/30*100%=33.3%。
注意： 理论上最理想的状态就是一次监控任务中，所有问题都被发现，且所有报警的数据中没有掺杂虚报情况，也就是召回率达到100%，准确率为100%。但是实际场景中，这样的理想情况几乎是不存在的！ 过度追求高召回率，监控规则一定会设置的异常简单，那往往会有很多正常的波动会被系统判定为“异常”；同理，过度追求高准确率，监控规则一定会设置的异常苛刻，那自然被报警的数据都是存在异常的，准确率100%，但是这样往往很多异常数据会被监控系统给漏掉，漏报率就会异常的高！
因此，优秀的监控系统都是根据实际场景一直在找寻召回率和准确率间的平衡点。
② 解决问题
响应时长：24小时内响应问题
定位问题：3天内完成问题的定位
解决问题：2周内彻底解决问题
③ 数据通道质量
丢失率<0.1%
重复率<0.1%
延迟率<0.5%
① 唯一性
指标、纬度、模型、库表、数据、报表的唯一
ID唯一
名称唯一
定义唯一
加工逻辑唯一
产出渠道唯一
相似的指标、纬度、模型、库表、报表做减法，减少冗余
② 规范性
流程规范
需求→评估→处理→测试→上线→验收环节严格执行
数据和流程double check
测试、试验验证数据质量和流程执行情况
日志、库表、模型、报表、代码有统一的设计和输出规范，信息齐全、分层合理、资源使用合理
③ 完整性
日志、库表的元信息完善，灰度测试阶段只有空值率、异常值占比、分区缺失等指标合格后方可上线发布
如图2和图3所示，对于重要级别的日志、指标、库表数据，除了粗粒度的质检外，还需要每天进行更加严格和科学的监控，以提前发现问题并推动解决：
图2：数据埋点质量监控报表
图3：数据指标准确性监控报表
① 完整性（是否缺失或不可用）
日志
丢失率
库表
丢失率
分区缺失
信息缺失（0、空值、NULL）
② 准确性
业务侧
相同指标不同报表间建立交叉验证
相同报表不同指标间建立逻辑验证
相同报表相同指标建立波动验证
技术侧
埋点间的交叉验证
多层库表间相同指标交叉验证
明细层和统计层建立数据量、行数、计算结果的比对验证
③ 及时性
日志上报
有效上传率
延迟率
资源使用
当前占用占比
剩余资源占比
任务调度
完成率
失败率
延迟率
① 监控分级
对业务的影响度
模型、库表、报表使用热度
作业耗时热度
故障分级
② 预警分级
蓝色预警
黄色预警
红色预警
③ 报警方式
电话
邮件
短信
企业微信
① 问题跟踪处理
问题分发（按业务、主题、部门等划分问题归属）
问题跟踪
问题原因追溯
问题解决排期
问题解决反馈
② 问题验收
业务验收
监控系统验收
③ 定责存档
事故等级划分
事故存档
图4：数据治理组织保障规划示意图
责任划分：以“规范建设-质检审查-发现问题-评估问题-解决问题-验收问题”的闭环流程为切入点，将“需求规划组、模型工程组、质检监控组、审计评估组、数仓工程组、应急响应组”分别配属到对应的环节中去，以提供流程执行的组织人力保障。
平台支持：重点建设埋点管理平台、元数据管理平台、质检监控平台、工单管理平台，为各流程环节中的组织人效提供帮助和支持。
具体实施：如上图所示，数据应用PM、数据平台PM和模型工程师将对整个数据治理组织和平台的健康高效运转负责，并对其向数据治理委员会汇报。
成立治理制度执委会，负责研究和出台相关治理制度和规范标准，目标是促成公司内各个业务团队达成共识，形成统一规范，避免信息孤岛
成立治理产品执委会，负责梳理数据各环节的需求处理流程和业务流转流程，负责各环节的治理工具建设，形成可执行方案，然后报制度执委会推行
成立治理技术执委会，负责数据各环节的技术定义、模型设计和口径维护，对数据资产的落库规范性和唯一性等负责
成立第三方治理审计监察组，负责治理效果的评估、badcase的运营跟进和事后追溯审计
成立需求规划小组，对所有业务需求的接待和规范负责
成立模型工程小组，对接数据应用PM，对数据从业务关联到技术侧的文档和规范负责
成立质检监控小组，对数据业务测试和技术测试的实施负责，对数据上报的质量筛查负责，对数据质量的监控负责
成立审计评估小组，对上报的问题评估定级负责，对问题的合理分发和处理进展负责
成立数仓工程小组，对数仓的规范建设负责，对问题的修复负责
成立应急响应小组，对紧急高优先级的需求快速高质量负责
数据治理项目规划地图横向一共分为机制、流程保障、细则、责任划分、工具平台和各个子项目模块（包括日志埋点模块、通道传输模块、内容规范模块、加工过程模块、语义定义模块）
数据治理项目机制划分为：事前预防——事中监控——事后处理
数据治理项目流程保障划分为：规范建设→质检审查→发现问题→评估问题→解决问题→验收问题
图5：数据治理项目规划地图
本期主要从数据治理的问题分析、治理目标和治理策略进行了阐述，下期起将重点介绍数据治理涉及的相关工具和平台建设，包括资产治理中心、SLA治理中心、安全治理中心和指标治理中心等，欢迎关注~
-END-
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)