很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
“填坑”是一个新人刚加入团队，或者是接手一个新业务，所以经常需要面对的事情。
“坑”的出现，与历史业务的发展，密切相关。通常体现在：业务快速变动、人员快速流动、系统化建设能力弱、强行上马面子工程等情况。虽然数据开发人员能够意识到数据仓库规范性的重要，但迫于日常的数据开发压力，往往只能匆忙的制订一份规范，在实际开发过过程中，往往又无法完全照搬落实，因此形成了一个“不成熟”的数据仓库体系。
这种数据仓库体系，最典型的特征，是找数据只能给表，无法通过规范自主查找；看逻辑只能问人，无法通过模型设计快速了解；问业务只能靠求，别人管不过来自己的事情了，哪有时间来管你？
但是！我们不能坐以待毙，面对“理想”与“现实”的差距，我们必须有一套成熟的应对方法，才能在纷乱的业务中，找到不变的哪条主线。
“对标！对标！再对标！”只有标杆有了，做事才能有章法，数据才能不错误。
这个标杆是什么？就是一个理想的数据仓库模板。
做过数据仓库的通过，基本上都了解，一个数据仓库从0到1的过程中，会经过三个阶段：
第一个阶段：简单报表 + 数据库阶段；
第二个阶段：数据集市 + 产品功能阶段；
第三个阶段：数据仓库 + 主题划分阶段。
而相对成熟的数据仓库，则有如下几个发展的方向：
数据产品，通过产品化方式来辅助决策，服务业务方；
数据运营，革新公司的运作方式，通过数据来运营业务，常见于电商行业；
实时数仓，通过前沿的数据技术，来革新数据使用方式，带来技术竞争力；
数据分析，通过配合分析师，贴近业务并发现问题，指导产品或业务迭代；
数据挖掘，通过算法的力量，来给业务带来智能化的色彩。
具体每个阶段就不展开描述了，但我们可以比较清楚的看出来，数据仓库是业务从混沌走向数字化的关键环节，是承上启下的枢纽，虽说没有数据仓库同样能够进行启下的工作，但是其投入与产出终会因投入产出不成正比而无法持续的进行下去。
数据仓库的建设，是一项系统化的工程，但核心点就在三处：
第一处，规范层，比如表命名规范、刷新策略规范、数据存储生命周期、字段命名规范、指标命名规范、时间维度规范、SQL编码规范，等等，旧的业务可以不改造，但新的业务必须按照新的规范来。
第二处，主题域，也可以根据主题域，再细分为数据域，当前很多大公司普遍开展比较广的业务范围，仅电商就包括B2C、C2C、B2B、B2B2C等多种不同的业务模式，每种模式都具有自己的特点。同时，ToB的企业服务市场也正在蓬勃发展，因此企业级市场又面临人力、行政、法务、场地、财务等多种不同的主题组合，因此找公司业务负责人聊一聊，先把公司的业务范围是什么、系统有哪些、数据库有多少分类、数据同步的方式如何，这些关键因素搞清楚，主题域才能够做到合理划分，避免后续大规模大范围的调整。
第三处，数据分层规范，通常情况下，数据是分为ODS/DWD/DWS/ADS四层，一致性维度放在DIM中。这里再强调一下各层不同的地方。
ODS：源系统数据接入的地方，也是数据仓库沉淀数据的核心，通常只存储、不改造；
DWD：数据明细层，可以遵循三范式关系模型，也可以按照维度建模针对事实表做设计，对生产数据进行各种经营分析口径的加工转换；
DWS：数据汇总层，主要是为了日常运营中快速反映各业务部门的数据需求，建立各种数据模型，对明细类数据进行分主题、分维度的聚合汇总；
ADS：数据出口层，面向需求做设计，是支撑需求和应用的数据重要出口，针对诸如行列转换、数据剪裁、数据加密等实际的业务场景；
DIM：一致性维度，不再赘述。
以上是一个理想数据仓库的“雏形”。
我们识别出了业务的问题，也有了建设的目标，下一步就是找策略、讲打法的阶段了。
首先，针对数据仓库的改造，要有一套清晰的主线逻辑，大致包括如下几个部分：
识别环境：包括外部环境和企业内部资产；
寻找问题：发现并标记当前业务中存在的问题；
整理业务：找熟悉公司业务的人，整理业务大图；
制定标准：按照理想数据仓库的规范，整理团队自己的标准；
建立流程：将日常的开发行为，不断的与规范进行对焦；
执行落地：通过监控、CodeReview等方法，强力落地；
总结思考：阶段性的总结问题，并进行改进。
接下来分阶段阐述：
识别环境：PMP中将项目的外部环境，定位了事业环境因素和组织过程资产，两大部分。针对事业环境因素，往往公司进行数仓建设时，都是在业务高速发展的大背景下开展的，数据开发与分析师团队，面对强大的业务需求压力，会寻求进行可靠的配合，识别团队中靠谱的人，进行合作并推动项目落地。针对组织过程资产，企业往往会有各种各样的业务，以及各种不同的文档，在数仓团队进行落地的过程中，是需要借鉴并参考大量的公司材料，整理团队自己的业务大图，同时尽可能的复用公司已有的技术工具，将精力更加聚焦在数据仓库本身的业务上。
寻找问题：数据仓库的建设，本质上“没有对错”之分，只有相对合理与否的区别，一个好的数据仓库工程师，一定能够发现很多问题，从问题中总结共性的问题出来。这些问题既不会因为公司壮大而消失，因此及时总结的问题，制定合理的应对方法，并将知识传承给新加入团队的人员，共同做大做强，是数据仓库走向成熟的标志之一。
整理业务：整理业务的“输出”，应该是部门业务大图、数据流程大图、数据仓库地图、数据文档集合等内容。我们梳理一个复杂的知识体系，往往要从“点、线、面”三个角度，来串起整体业务。点是指每次做项目的文档，详细记录的需求背景、需求详情以及数仓的设计思路；线是指我们的数据产品/分析专题/业务环节，将针对某个问题的分析或者剞劂思路展示出来；面是指业务大图、流程大图、数仓地图等不同角度看数据的方式，根据内容不同，提供给数据、业务、分析师等各方使用。“点、线、面”的方式，能够很好的消除信息不对称、数据查找、历史业务理解等问题。
制定标准：规范、主题域、数据分层，因为不同公司的业务千差万别，成熟的业务，如电商，已经走向了全面算法化、分析化的地步，但也有很多创新型的业务，能够建设出基本的数据仓库体系，就算是业务上的一大突破了。因此，虽然面上的事情是大体相同的，但是细节的调整，还是需要开发团队自己来斟酌衡量。
建立流程：数据开发的流程，分为代码提交时的CodeReview、数据上线前的自测、数据运行时的监控、项目交付前的测试、以及最终的业务验收。但很多时候，为了避免数据出问题，我们会定下许许多多繁琐的标准，这些标准会多多少少的拖累数据开发的进度。注意，不要矫枉过正，过份的追求规范，会影响日常的数仓建设进度。
执行落地：大多数情况下，团队都是按照项目制的方式，来组织相关的开发工作，因此除了PRD评审外，数据团队还应该有自己的技术评审，详细讲解业务的背景、E-R关系、模型设计方法、模型开发方式、数据规范与质量保障、数据出口、数据自测方式等内容，你可以不严格执行这些过程，但也一定不能完全忽视这些过程。
总结思考：没有什么规范是永恒的，同时也没有什么问题是不会新增的，定期 Review团队的工作过程，在周会、内部分享、外部合作等场景下交流经验，是很有助益的。
避免“新坑”，核心在人，抓手在新人的招聘。
我一直认为，每个人做的选择，在当时的情景看来，都是最合理的选择，无论旁人看起来如何的不靠谱。无他，趋利避害的人性使然。
每个人的职业生涯都有各种不同的选择，或为了一份大厂的经历、或为了一种轻松的生活、或为了一份赚钱的机会、或为了自己的人生理想。但技术人，由于其职业的特殊性，往往其职业发展都是相似的：【技术达人】 - 【独当一面】 - 【领域专家】 - 【团队Leader】 - 【部门领导】。只要认真工作5-7年，成为某个领域的专家，也就是P7的级别，并不难。但是再往后走，讲道理，绝大多数团队，不需要多个Leader，因此就非常讲究时运了。
因此，新人的加入，一定要看清楚加入的目的是什么、对于团队的诉求如何，毕竟我们不希望人员一直是流动的，因为再好的规范和方法，也是需要人来传承的，但团队流动性很高时，旧的坑即使填上了，新的坑也会不断的被挖出来。
这也是HR一直在强调：“我们在招聘自己的同事”，发动大家一同招聘的原因。
有道是：“谋事在人，成事在天”，我们年轻的时候，都有选择的权利，只是不论是年岁增长、还是职级晋升，往后的选择，会越来越少。这种选择，不仅仅是招聘一个新人的公司成本，也是职业发展的个人成本。
-END-
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)