APP推广合作
联系“鸟哥笔记小乔”
聊聊为什么埋点治理这么难?
2021-10-11 09:57:57

作者|图图


从做数据产品开始,自己的日常工作就被埋点占据了大部分,到后面做平台类数据产品之后发现埋点问题依旧占据很多精力且治理困难,写这篇文章也是跟大家讨论讨论自己做埋点治理的心得以及深入剖析下为什么埋点质量这么难保障。


做埋点时间长了,越来越觉得埋点并不像自己想象的那么简单,仅仅是开发在自己要统计的业务场景下写埋点代码打包上传统计数据就完成工作,从最开始的埋点需求规划再到最后数据上报只要有一个环节有坑就会影响数据准确性,而数据准确性估计是每个数据人工作中必须要面对的难题。下面简单聊聊自己遇到的坑,这些或许仅仅是表述了现象,至于导致此现象发生的本质相信就仁者见仁 智者见智了。

01 埋点需求混乱且缺少管控

产品和运营作为埋点需求的常见提出方,当新功能或活动上线时会提很多埋点需求,数据产品在这个环节如果对埋点需求没有明确的提需规范和把控,就会导致埋点需求爆炸,对于开发和维护成本都是压力,并且后续做数据分析的时候经常会发现数据不可用或数据不准确,那其实后续排查问题的成本非常大,所以数据产品一定要对埋点需求有全局把控。

1 明确埋点要统计哪些指标:

数据产品在评审埋点需求的时候很重要的一点就是:明确埋点要统计哪些指标。埋点统计是服务于指标的,如果对埋点需求没有管控放任提需,经过几个版本的迭代就会发现埋点维护很难,而且这样也能反推运营和产品思考自己到底关注哪些核心指标,对后期的数据统计和复盘都是有帮助的。

2 明确埋点提需规范:

埋点需求规范的价值是帮助业务方和数据产品拉齐对即将开发的埋点认知一致,所以在设计埋点提需规范时不仅仅要让业务方标明要统计哪些指标、事件如何规划、触发时机,最好能写出每个自定义参数的触发时机、参数打在哪个层级、是否需要透传等,对于刚起步做埋点治理的阶段可以先将精力focus在提需规范的设计和落实上,划重点:埋点提需规范越详细越好,可以帮忙拉齐各方对埋点的认知。

3 埋点需求评审会及设定需求接口人

埋点需求评审就不具体展开了,大体说就是将业务方、开发、测试、数据产品等组织起来对埋点需求进行评审。我想多说说需求接口人这个角色,进了大厂发现需求接口人很重要,没有接口人的话仅靠数据产品跟业务对接在大体量和复杂业务场景的公司里是不现实的,所以接口人的定位是埋点需求master甚至是数据需求master,划重点:建议接口人可以考虑经常对接埋点需求的业务或是有开发背景的业务方,这样沟通起来会方便一些。

02 埋点设计环节缺少整体性思考

规划埋点是数据产品的基本工作,但真正能做好埋点规划很难,我觉得这个环节的痛点在于:很难以全局视角规划埋点并且具有可扩展性,所以为了后续的可扩展性,我简单列几条可参考的tips:

1 埋点设计要具有简洁性:

这里的简洁性是指同类场景下的埋点是否能合并成一个埋点规划,比如“点击支付按钮”事件,该事件在很多页面都可以触发,那么就可以把这个事件规划为一个埋点,在不同的页面点击时将页面名称或页面ID作为参数传递,但这些还是比较初阶的埋点设计方案,当很多业务属性以参数形式传递时,如何管理及规划这些参数,让数据RD看到埋点日志时很容易就能理解这条埋点携带了哪些信息,那么就引出来我要讲的下一点:

2 埋点设计要具有规范性:

其实规范性这个词很宽泛,我们通篇也都在探讨如何基于埋点治理的痛点制定规范。上面讲到我们如何管理埋点日志里的参数,我觉得可以按照性质和层级给这些参数进行个简单划分:



公共参数:每条买点日志都要上报的参数,包含设备信息、上报时间、ip地址等信息(这里不具体讲,大家可以参考第三方数据分析工具如神策、GrowingIO等公共参数的采集),那么数据产品对于公共参数的设计和管理体现在要规划号公共参数并协调各个埋点端上报格式一致,降低数仓解析成本


私有参数:也叫自定义参数,每条买点在不同场景、不同操作、不同逻辑下会触发并传递不同参数,此类参数叫做私有参数。



这里的层级指的是埋点日志的json层级,如果能做好json层级的划分那么对于不同角色的RD可以按照自己关注的参数去解析,大大降低了解释成本。


公共信息层:如果读了上面的公共参数,那么会很好理解什么叫公共信息层:顾名思义就是存放公共参数层。


业务信息层:里面存放自定义参数,针对同类或同场景的采集信息可以抽象成一个对象,在对象里存放这些信息,例如上面提到的“点击支付按钮”事件,可以把页面信息存放到一个对象里、位置信息存放到一个对象里,下面举个巨简单的栗子:



策略信息层:里面存放为策略服务的参数,之所以把它单独划分一层是因为策略多变且灵活,最好还是规划在同一层级下管理。


透传信息层:这种后端透传前端的参数也建议单独规划,便于后续做链路追踪等应用。


当埋点设计形成了规范,那么其实也完成了埋点最难的高度抽象的部分,接下来就是基于抽象好的规范甚至是数据模型来复用到后续的埋点规划中,抽象的思路可以先关注重点场景:先设计核心指标有关的核心点位或者场景复杂的点位。

3 埋点设计要具有可扩展性:

埋点设计的可扩展性与上面的规范性密不可分,当规范建立好数据产品要思考是否具有较强的扩展性,还有后面规范的新增和变更该如何管理和维护。


要知道埋点不仅仅只是服务于指标统计,想要全面的规划埋点还要设计分析产品性能、使用体验的埋点,比如上报启动时间、崩溃事件、页面加载时间等事件。

03 埋点开发不规范

这个问题也很有意思,数据产品经常有个疑问:为什么我规划好了的埋点,实际开发或上线后根本不符合预期。这个环节共设计到两个角色:数据产品和埋点开发,那么到底是哪一方在沟通理解上出现了问题呢?


数据产品:技术背景较薄弱,针对不同开发环境和生态了解欠缺


埋点开发:了解开发逻辑,对于未明确的细节用惯用逻辑实现


大家发现了吗,当埋点场景复杂时,由于两个角色的侧重点不同很容易会出现gap,有人问有什么好的办法去规避吗?其实除了上面讲的,只能不同角色补齐自己的短板,还有就是两方一定要多沟通,埋点开发在埋点评审时要思考不同实现逻辑和异常场景是否会影响埋点上报,在开发埋点之前尽量把问题暴露出来。

04 埋点验收不够全面

埋点验收环节作为埋点上线的最后一道保障,也是很容易踩坑的。具体的现象不多说,只说如何在验收环节尽量不踩坑:


(1)验收是否多报


(2)验收是否少报


(3)验收是否缺参数上报


(4)验收上报参数是否符合预期


(5)验收上报为空日志的比例


(6)验收上报不符合预期日志的比例


除了上面的验收重点,验收方式一定要手动验证+平台自动化一起配合,最好能进行一遍回归测试,多方式进行验收。

05 欠缺埋点生命周期的管理

做埋点治理和数据治理的小伙伴应该深有体会,当缺少生命周期的管理一味放任熵增,后续治理的成本实在很高,所以埋点生命周期的管理必不可缺。简单来说要做好后续埋点梳理、埋点瘦身、埋点升级的工作,定期统计一段时间内低频上报的埋点和这些埋点相关指标、报表的访问量,以此为依据开展埋点生命周期管理工作。


说了这么多,越写越觉得想埋点想不踩坑对数据产品的要求实在很高,不仅要有需求管控能力、数据抽象能力,技术背景,还要有多部门协调能力和全局把控能力。所以本文也只能大体讲讲这些关键环节,但估计也是日常困扰大家比较多的问题了。


相信有此经历的小伙伴们看到文章应该很有共鸣,欢迎留言交流~如果有更好的想法欢迎一起讨论学习~

-END-

分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
一个数据人的自留地
数据人交流和学习的社区,关注我们,掌握专业数据知识、结识更多的数据小伙伴。
确认要消耗 0羽毛购买
聊聊为什么埋点治理这么难?吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接