随着Growth Hacking在中国的传播和兴起，作为增长黑客必杀技之一的A/B测试，也被越来越多的国内企业所接受和重视。然而，A/B测试看似简单，实则隐藏着许多沟沟坎坎，稍不注意就会导致试验结果偏离科学轨道。那么今天，我们就为大家一一细数那些年我们在A/B测试中踩过的坑。PS，文中包含大量真实案例，若能对号入座，请尽快修正试验方案。
轮流展现不同版本
对于广告主而言，找到最有价值的广告投放渠道，提升着陆页（landing page）的转化率，从而对整个广告投放流程进行优化，无疑是最核心的优化目标。采用A/B测试对不同版本的广告和着陆页进行测试，是一种很有效的优化手段。也就是将不同版本的广告和着陆页同时投放，根据它们各自的数据表现，就可以判定哪一版更好。
而目前最常见的做法是，将不同版本的广告进行轮流展示，比如谷歌Adwords系统中的测试功能，就是采用的这种方法。这种所谓的A/B测试（请注意，这种测试方法其实并不能被称为真正意义上的A/B测试），就让企业掉入了第一个陷阱。
举个不太恰当的例子，如此的测试方法就好比在电视上投放广告，分别选取了工作日的下午三点中和晚间黄金时段进行测试收集。由于轮流展示时的测试环境不尽相同，所面向的受众群体更是千差万别，因此最终试验结束后的数据结果必然会存在一定偏差，也就更不具有说服性了。
正确的做法是：不同版本需要并行（同时）上线，并且尽可能的降低所有版本的测试环境差别，才能得到精准的数据结果，从而做出可信的决策。
选择不同应用市场投放
在介绍这个误区之前，必须先解释一下什么是辛普森悖论。辛普森悖论是英国统计学家 E.H. 辛普森（E.H.Simpson）于1951年提出的悖论，即在某个条件下的两组数据，在分别讨论时都会满足某种性质，可是一旦合并起来进行考虑，却可能导致相反的结论。
什么样的情况会造成辛普森悖论呢？一个很典型的应用场景：为了验证新版本对于用户使用真实影响，很多企业会选择将不同版本打包，分别投放到不同的应用市场。当发现其中某版本的数据表现的最好，就决定将该版本全量上线。殊不知，当将全部应用市场整合起来进行统计，却发现这个版本的表现差强人意，对核心数据产生了不利影响。
这里有一个真实的案例，某产品计划在安卓客户端上线一个新功能，于是先将不同版本以小流量投放在多个应用市场（例如豌豆荚、91助手等）。一段时间之后，测试结果都指向了其中一个版本。但其实，这些不同应用市场的用户并不具有全用户代表性，所以如果盲目将试验选出的版本直接推送给全部用户，就很容易因为辛普森悖论而出现完全相反的结果。
因此，避免这一大陷阱的正确做法是：将流量进行科学地分割，保证试验组和对照组的用户特征一致，且都具有全局代表性。
试验结果不好就一竿子打死
上一个误区讲的是「以偏概全」，那么接下来我们要介绍的这个误区则是「以全概偏」，也叫做区群谬误。
在这个概念中，认为群体中的所有个体都有群体的性质。但如果仅基于群体的统计数据，就对其下属的个体性质作出推论，那么得出的结论往往是不准确的。换句话说，当我们做了一次A/B测试后，发现试验版本的数据结果并不理想，于是就认定所有的地区或渠道的效果都是负面的，那么我们就陷入了区群谬误的陷阱。
作为国际短租平台，搜索是Airbnb生态系统中很基础的一个组成部分。Airbnb曾经做过一个关于搜索页优化的A/B测试，新的版本更加强调了列出的图片，以及房屋所在位置（如下图所示）。
在等待了足够长的时间之后，试验结果显示新老版本的整体数据相差无几，似乎这次优化没有很好的效果。如果此时，Airbnb直接根据整体的数据表现放弃了这次优化，那么这个花费了很多精力设计的项目就会前功尽弃。
然而，Airbnb并没有借此放弃。相反，经过仔细研究，他们发现除了IE浏览器之外，新版在其他不同浏览器中的表现都很不错。当意识到新的设计制约了使用老版本IE的操作点击后（而这个明显为全局的结果造成了很消极的影响），Airbnb当即对其进行了修补。至此以后，IE恢复了和其他浏览器一样的展示结果，试验的整体数据增长了2%以上。
通过Airbnb的例子，我们能学到正确的做法是：在整体效果不太好的时候，不要一竿子打死，而需要从多个维度细分观察个体的情况，以避免区群谬误带来的决策偏差。
“好奇害死猫”
一个好的产品必须要能够激发用户的好奇心，并在用户的持续使用中对产品逐渐产生粘性，而不至于流失。但与此同时，我们需要时刻警惕好奇心理所带来的数据偏差。
从心理学的角度来说，好奇心是个体遇到新奇事物或处在新的外界条件下所产生的注意、操作、提问的心理倾向。应用到A/B测试的场景中，当一个产品推出了新的功能或主页，用户在早期出于好奇心理，发生了过多的试探性点击，从而推动了相关数据的增长。如果这时就以为用户更青睐于优化后的版本，直接全量上线，就很有可能忽视了用户的真实喜好。
所以，正确的做法是：适当延长试验的运行时间，观察试验数据的走势是否持久稳定，消除用户的好奇心给结果带来的偏差。
反复检验，区间一收敛就喊停
在反复检验中，我们提到了p-value的概念，它可以作为区间收敛结果显著的一个参考。通常情况下，p=0.05是常用的显著值。于是，我们会自然而然的认为当p达到这个值时，就可以得到显著的结果。不过事实真是这样吗？可以看看下面这个案例。
Airbnb还做过另一个试验，他们将搜索页上的价格过滤器的上限从300调大到了1000，想知道预订数是否会增加。他们监测了价格过滤器试验随时间变化的结果，发现p-value曲线在7天之后就达到了0.05，并且这时候的结论是试验版本在预订方面起到了很显著的效果，然而当他们继续运行试验的时候，却发现这个试验开始趋向于中立，最后得到的结果是两个版本差别不大。
为什么不应该在p-value达到0.05时就停止试验呢？Airbnb团队认为，用户预订需要花很长的时间，所以早期的转化在试验最开始时会有不太恰当的影响。他们给出的建议是，为了避免统计学上的错误，最好的实践方法就是基于样本的总量计算所需最小效果，并在开始试验之前就想好你要运行多久。
试验给出的p-value值是基于认为你设计的试验是已知样本和效应大小的，所以单纯使用p-value作为停止试验的准则是不太正确的。以及，如果你持续的监控试验的发展和p-value，就比较容易看到真实的效果。
以上，就是在做A/B测试时比较容易遇到的坑。还是文章开头说过的那句话，如果刚才说到的那些坑真实反映了你当前的状况，就请尽快修正测试方案，跳出陷阱才能得到更为科学可信的结果。当然，你也可以选择AppAdhoc A/B Testing，帮助你更加专业、快捷的实现A/B测试驱动的产品优化：） 。
原作者：王晔
文章来源：PMCAFF
本文系作者：
运营那些事儿
授权发表，鸟哥笔记平台仅提供信息存储空间服务。
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》
如对文章、图片、字体等版权有疑问，请点击
反馈举报
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)