每项重要的研究背后都离不开好的数据,是它们使分析成为可能。而每项不好的研究背后嘛……这个后面会说。人们常说“用数据说谎”,我要说往往数据的分析是没问题的,但这些分析却是建立在夸大或不实的数据之上。下面便是几个常见的“错进错出”案例。
选择偏倚
《纽约客》资深影评人宝琳•凯尔(Pauline Kael)据称曾经在理查德•尼克松(Richard Nixon)当选美国总统后评论:“尼克松不可能赢了竞选,我认识的人里面没一个投了他。”这句话很有可能是杜撰的,但却很好地说明了糟糕的样本(一群自由派朋友)会如何给更大的群体带来错误的偏见(全美国的投票结果)。而这也引出了我们应该问自己的问题:如何选择评估样本?如果要接受评估的群体的每一个成员没有均等的机会入选样本,那么最终得出的结论就将会有偏颇。以爱荷华州的民意测验为例,这是美国总统竞选中的一项惯例,在总统大选年的8月,也就是正式投票的前一个月,共和党的候选人会来到爱荷华州的埃姆斯市(Ames)笼络选民,选民每个人支付30美元投上一票以参与表决。爱荷华州的民意测验结果并不能告诉我们共和党候选人的未来。(该调查的预测在过去5次大选中只说对了3次共和党提名候选人的结果。)为什么?因为支付30美元投票参与这项民意测验的爱荷华州共和党选民跟爱荷华州的其他共和党选民不同,而爱荷华州的共和党选民又跟美国其他地区的共和党选民不同。
“尼克松不可能赢了竞选,我认识的人里面没一个投了他。”
选择偏倚还有其他很多种形式。在机场做消费者问卷调查很可能造成偏倚,因为坐飞机的人大体上会比一般人更富裕;而在90号洲际公路上做同样的调查问卷结果又会偏向另一端。而两项调查都有可能出现的偏倚则是那些愿意在公共场合接受问卷调查的人不同于那些不愿意被打扰的人。如果你在公共场合问100个人做一份简短的调查,其中只有60人愿意,那么这60个人跟剩下40个看都不看你一眼就走开的人在某些地方有着显著的不同。
发表偏倚
正面的结果比负面的更有可能得到发表,而这可能会混淆我们最终所见到的结论。假设你刚刚做完了一次严谨的追踪调查,得出结论认为玩视频游戏不能预防结肠癌。在这项调查中,你花了20年的时间跟踪访问了作为代表性样本的10万个美国人;这些人当中,长时间玩视频游戏的跟不玩儿视频游戏的罹患结肠癌的几率基本一致。我们假设你的研究方法完美无缺。但哪家医学期刊会发表你的研究结论呢?
大多数活动都不能预防结肠癌。
答案是没有。原因有二:第一,没有有力的科学理由认为玩儿视频游戏对结肠癌有什么影响,因此你研究这个的意义不明;其次,也是更重要的一点,某件事情不能预防结肠癌不是什么有趣的发现。毕竟,大多数东西都不能预防结肠癌。否定的结论尤其不性感,不论是在医疗领域还是其他。
而两相抵消,就对我们看到的研究(或者说看不到的)产生了偏倚。假设你的研究生同学经过另一项追踪调查得出了不同的结论,她发现玩视频游戏的人确实罹患结肠癌的几率较小。现在就有意思多了!医学期刊要的就是这样的论文,大众媒体、博客写手,还有视频游戏的制作商(他们巴不得在自己产品的包装上标注玩游戏有益身体健康),都在寻找这样的内容。要不了多久,全美国的虎妈们就会纷纷夺过自己孩子手里的书本,转而逼迫他们玩游戏来“保护”下一代免于癌症困扰了。
当然,统计学里反复强调的一个论点是,异乎寻常的事情时而发生,这只是概率问题。如果你进行100次调查,其中有一次很可能会出现纯属无稽的结果——就像玩视频游戏和结肠癌患病率低之间的数据关联。而问题在于:99次发现玩游戏跟患结肠癌无关的研究都得不到发表,因为它们没有意思,而那一次发现两者有关联的研究却被印刷出来,迎来了众多关注。偏倚的源头并不在于研究本身,但传达给公众的信息却是偏颇的。而研读视频游戏和癌症关联的研究者只能发现一篇论文,而这篇论文表明的却是玩视频游戏能预防癌症。实际上,100项研究里有99项都找不出二者之间有任何关联。
回忆偏倚
记忆是件奇妙的东西——尽管不能总算作优质数据的来源。人类天生就有冲动将现状理解成过去发生的事情合乎逻辑的结果,也就是因果关系。问题出在当我们试图去解释某些当前特别好或者特别糟糕的结果时,记忆就会变得“系统性的不堪一击”。例如一项研究饮食和癌症之间的关系的研究。1993年,一名哈佛大学的研究者构建了一组罹患乳腺癌的妇女和没有被诊断出癌症的年龄匹配组女性的数据。研究人员分别询问了这两组女性的早年饮食习惯。研究得出了清晰的结论:患有乳腺癌的妇女在年轻时有更显著的可能拥有高脂肪的饮食。
哈,不过,这实际上不是在研究饮食习惯对罹患癌症几率有什么影响。这项研究真正调查的是患上癌症如何影响了女性对自己早年饮食习惯的记忆。所有参与这项研究的女性都在多年以前,在任何人都没有被诊断患有癌症的时候,填写了关于其饮食习惯的调查问卷。研究的结果十分惊人,患有乳腺癌的妇女回想自己过去饮食摄入的脂肪的含量比她们实际消耗的要多得多;没有患癌症的女性则没有出现这种情况。
《纽约时报杂志》在描述这种记忆偏倚的隐秘本质时称:
“罹患乳腺癌不仅改变了一位女性的当下和未来;它连她的过去也改变了。患有乳腺癌的女性(无意识地)认为高脂饮食可能是她们患病的易感原因,并且(无意识地)认为自己过去有高脂的饮食习惯。对于任何了解这种耻辱病的历史的人而言,这一模式都熟悉得令人悲伤:和她们之前成千上万的女性一样,这些女性在她们自己的记忆里寻找原因,并将这个原因放置在记忆里。”
回忆偏倚是也是追踪研究往往偏向于横向研究(cross-sectional studies)的一个原因。在横向研究里,数据是同时采集的。在5岁的时候,参与者会被问及他对学校的态度。然后,再过13年,我们可以重访参与者,看他是否高中辍学。在横向研究中,所有的数据都在同一时间点采集,研究者必须询问18岁的高中辍学生他5岁时对学校有何看法,而这一信息固然便是不怎么可靠的。
存活者误差
假设一名高中校长报告说,学生中的一组特定人群在4年中(编注:美国高中有4年)考试成绩稳步上升。这批人高二的得分比他们在高一时的成绩好。高三那年的分数更好,高四达到了最好。我们假定不存在作弊的情况,也没有任何创造性地运用描述性的统计数据。无论用什么评价标准,这批学生每一年都比前一年做得更好:平均数、中位数、学生在年级水平的百分比等等。你会(A)提名这所学校的领导为“年度最佳校长”还是(B)要求提供更多的数据?
如果你有一屋子高矮不齐的人,强迫最矮的那个离开房间会使整个房间的平均身高上升,但这样做并不会使任何人的身高变高。
我的话就会选(B)。我嗅到了存活者误差的猫腻,这种情况下样本中去掉了一些或很多观测数据,以至于改变了整个剩下的观测结果,因而任何基于剩余观测数据所做的分析也受了影响。假设我们的校长真不是个好人:他学校里的学生啥也没学到;每年都有半数人辍学。不过,这在数学的考试分数上面看起来很是漂亮——但没有任何一名学生实际上考得更好。有理可测,学得最差的学生(也是考试分数最低的学生)最有可能辍学,那么考试分数的平均分会随着更多学生辍学而稳步上升。(如果你有一屋子高矮不齐的人,强迫最矮的那个离开房间会使整个房间的平均身高上升,但这样做并不会使任何人的身高变高。)
健康用户误差
每天按时吃维生素片的人更有可能身体健康——他们是每天都按时吃维生素的人!而至于维生素是否真的有益健康这又另当别论了。 想想这样一个思考实验。假设公共卫生官员颁布这样一条声明,所有的刚生了小孩儿的夫妻都能该把自己的孩子裹在紫色的睡衣里睡觉,因为这有助于刺激大脑的发育。20年后,追踪研究证实,幼年时期穿紫色睡衣确实与今后人生中取得成功有一个特别大的正相关。比方说,我们发现,98%考上哈佛大学的新生孩童时期都穿着紫色的睡衣(现在许多人仍然这样做),相比之下,马萨诸塞州监狱系统里的囚犯只有3%年幼时穿紫色睡衣。
紫色睡衣并不重要。
当然,紫色睡衣并不重要,但拥有那种会让孩子穿紫色睡衣的父母却十分重要。就算试图控制父母教育这样的因素,研究者仍然会面临那些执着于让孩子穿紫色睡衣和不穿的父母之间不可观测的差异。正如《纽约时报》健康专栏作家加里•陶布斯(Gary Taubes)解释说,“简单地说,问题就是踏踏实实做那些对他们有好处的事情——比如按医嘱服药或吃他们认为有益健康的食物——的人,跟那些不这样做的人有着根本上的不同。”这种效应有可能扰乱任何试图评估那些被视为有益健康的活动(比如每周运动或吃羽衣甘蓝)真实效果的研究。研究人员以为他们是在比较两种饮食习惯对健康的影响:吃羽衣甘蓝和不吃甘蓝。但事实上,假如治疗组和对照组不是随机分配的,那么他们在比较两种不同的人吃两种不同的饮食,治疗组和对照组的不同有两个方面,而不是仅仅一个。
如果说统计学家是侦探,那么数据就是线索。我的妻子在新罕布什尔郊区的高中教了一年书。她的一个学生因为闯入一家五金店盗窃工具而被逮捕归案,而警察之所以能破案是因为:(1)天刚刚下雪,从五金店到学生的家里的雪上有足迹;(2)在学生家里找到了被盗的工具。好线索帮了大忙。
就跟好数据一样。但首先,你得有好的数据,否则一切都是空。
作者:中国统计网
来源:中国统计网(ID:cntongji)
本文为作者授权鸟哥笔记发布,转载请联系作者并注明出处。
本文系作者:
运营那些事儿
授权发表,鸟哥笔记平台仅提供信息存储空间服务。
本文为作者独立观点,不代表鸟哥笔记立场,未经允许不得转载。
《鸟哥笔记版权及免责申明》
如对文章、图片、字体等版权有疑问,请点击
反馈举报
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
1)反对宪法所确定的基本原则;
2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
5)煽动民族仇恨、民族歧视,破坏民族团结;
6)破坏国家宗教政策,宣扬邪教和封建迷信;
7)散布谣言,扰乱社会秩序,破坏社会稳定;
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法规禁止的其他内容;
2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
1)轻蔑:贬低、轻视他人及其劳动成果;
2)诽谤:捏造、散布虚假事实,损害他人名誉;
3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
6)谩骂:以不文明的语言对他人进行负面评价;
7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
8)威胁:许诺以不良的后果来迫使他人服从自己的意志;
3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
2)单个帐号多次发布包含垃圾广告的内容;
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息,主要表现为:
1)包含自己或他人性经验的细节描述或露骨的感受描述;
2)涉及色情段子、两性笑话的低俗内容;
3)配图、头图中包含庸俗或挑逗性图片的内容;
4)带有性暗示、性挑逗等易使人产生性联想;
5)展现血腥、惊悚、残忍等致人身心不适;
6)炒作绯闻、丑闻、劣迹等;
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息,主要表现为:
1)可能存在事实性错误或者造谣等内容;
2)存在事实夸大、伪造虚假经历等误导他人的内容;
3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。
6. 传播封建迷信,主要表现为:
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
2)求推荐算命看相大师;
3)针对具体风水等问题进行求助或咨询;
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;
7. 文章标题党,主要表现为:
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
2)内容与标题之间存在严重不实或者原意扭曲;
3)使用夸张标题,内容与标题严重不符的。
8.「饭圈」乱象行为,主要表现为:
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序
9. 其他危害行为或内容,主要表现为:
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
2)不当评述自然灾害、重大事故等灾难的;
3)美化、粉饰侵略战争行为的;
4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)