一起训练吧

高占军

国家金融与发展实验室特聘高级研究员

哈佛大学访问学者

原中信证券董事总经理

关于大选民调，我们之前曾解剖了几个经典案例，包括2016年为什么希拉里在民调大幅领先的情况下却输掉了大选和2012年王牌盖洛普因何意外失手并从此退出了选举预测——这是民调行业近百年历史上的两次重大挫折，且一次比一次惨重。

更令人印象深刻的是，两次惨败的原因并不相同：希拉里被民调高估，是由于不同寻常的大比例选民晚决定、建模失误及“害羞的川粉”效应；而盖洛普失算，一是其甄别哪些选民不会投票的模型有瑕疵，二是调查对象覆盖的地域分布不均衡，三是缺乏种族和民族的代表性，四是只以登记在册的有线电话名单为基础生成样本的方式出了问题。

越深入分析这两个典型案例，便越能深刻地体会到其背后的复杂与纠结。但事情远不止此，我们今天还有更重要的故事要讲。

关于是否应禁止选举民调的历史争论

民调在很大程度上使用的是统计学的方法（如果使用正确的话！）：随机选取有代表性的样本，避免出现系统性偏差；样本的数量尽可能大，以提高准确性和减少误差；在一定的置信区间和误差边界内给出统计结果。

但民意究竟能否被统计出来？这是关于应否禁止选举民调的第一个争论。据说，不少统计学家持反对观点[1]。他们认为，即使调查过程使用的统计方法完全正确，结果也经常偏离实际：接受访问的人，有的不说实话，有的在选举前改变主意，有的尚未决定，而有的根本不出去投票。“现在”问选民“未来”他会投谁，这本身就潜藏着极大的不确定性。

第二个争论：选前民调可能会影响选民行为。如果民调显示结果一边倒，有些选民可能不出门投票，因为反正大局已定。这并非没有道理，比如2016年希拉里败选，不排除有积极的民调结果所带来的消极影响。

第三个争论：有些民调的发布可能相当于提前宣布竞选结果。比如有一类民调叫“出口调查”，即对已投票完毕正离开投票场所的选民进行调查。这类调查若操作正确，经常能够正确预测大选结果。正因如此，不少国家有法律明文禁止选前预测。比如法国、加拿大等，均禁止在选举前若干天内公布民调结果[2]。

这三个争论中的前两点对于本文所关注的主题而言，极为重要，且具有普遍性。但它们由来已久，并不对行业的存亡构成威胁。

可能颠覆整个行业的四大挑战

那么，什么会威胁生死存亡？

可能颠覆民调行业的根本因素看起来很简单，远不似想象中那么深奥神秘：一是手机使用占比的迅速增长，二是愿意回答民调的人数大为减少[3]。这“一增一减”所带来的影响是如此巨大和深远，无论怎样评估都不为过。由这两个基本因素直接或间接带来四大挑战。

挑战之一：手机用户占比骤增，导致民调效率下降，成本大涨，对此的折衷解决办法影响了调查质量。美国2005年使用手机的人占6%，2014年增至43%，且另有17%极可能使用手机。也就是说，如果在2014年只使用有线电话随机拨号进行民调，会错过约60%使用手机的人，错过的人数会是2008年的3倍。而皮尤研究中心的最新数据显示[4]，2020年使用智能手机的人数保守估计占比也超过80%。

当然，统计学家已经解决了这个问题，即通过使用“双层取样框架”，对有线和移动电话分别随机拨号取样。

但问题是，美国现有法律禁止使用自动拨号系统直接拨打移动电话，所以无法像有线电话那样，先自动拨号，待有人接听后再转为人工访谈。所以对移动电话必须人工拨打，耗时耗力。

这样做效率低自不待言，成本也极高。比如进行一个1000人的调查，通常需要人工拨打2万个电话，不仅得给民调人员付费，对每个接受访谈的人也要支付10美元。正因如此，很多民调机构为了节省费用进行了很多折衷的安排，因可能偏离正确的统计学方法，会极大影响调查的质量。

挑战之二：民调的回应率低。这导致成本进一步提高，更重要的是，让随机取样变得十分困难。美国民意研究协会前主席Cliff Zukin曾回忆道，他在1970年代进入民调行业时，回应率高达80%，而就算这样，也还担心缺失的20%会影响调查质量，并采取措施来弥补。数据显示，1997年皮尤研究中心的回应率为36%，2014年降到8%。这导致两个问题：一是因不能进行随机抽样，所以代表性差；二是成本上升。

挑战之三：成本上升后，有份量的民调减少，而科学性较低、未得到充分检验的民调技术充斥市场，低资质新机构大量渗入。

这导致进行高质量的民调费用昂贵。据统计，2016年的民调费用是2008年的两倍。但很多民调机构的预算却在削减，所以有份量的民调数量也大为减少。这为那些科学性较低、未得到充分检验的民调技术充斥市场打开了大门。如，不少机构转用互联网民调方法。

这可能产生的问题是覆盖误差。根据Edison Research进行的调查，年龄在18至29岁之间的人中有97％使用互联网，但仅占2014年选民的13％；65岁及65岁以上的老年人中约40％不使用互联网，但却在选民中占比22％。

更大的问题是无法从互联网上的调查者中选取有代表性的样本。统计学家还没有解决这个问题。所以，无法使用现有理论进行有效估计并给出误差边界。因为这个方法成本低，所以吸引了很多新机构进入民调市场以博取经济利益。“劣币驱逐良币”,这反而让真正对行业有深刻理解的民调机构在淡出市场。

挑战之四：如何识别“可能的选民”（likely voters）。这个问题正变得日益棘手。通常，60%的被调查者说会投票，但实际上投票的可能只有40%。民调机构必须猜测谁会投票，依据通常是受访者对若干个问题的回答，包括他们对选举的兴趣，对获胜者的关心程度，过去的投票历史以及他们在此次特定选举中投票的可能性。但不幸的是，这种猜测很难。盖洛普2012年很大程度上就是因此失手。而随着覆盖范围的缩小和回应率下降，预测变得更加困难。因此，民意测验的准确性逐渐从科学转向艺术。

勿将选举民调与非选举民调混为一谈

可能不少人会将选举民调与非选举民调等同，其实它们有重要区别。在众多类型的调查中，选举民调是独一无二的：不仅必须提供代表性的公众样本，还必须正确识别可能的选民，因为被调查者的态度不代表他将据此行动。与此相反，典型的非选举民调是能够针对全体选民的统计特征进行非常精确的基准调整的奢侈品，而选举民调则进一步要求对选民的情况进行有根据的估计[5]。

从这个角度观察，可为上文所讨论的争论与挑战问题提供一个很好的解释。

有无终极解决方案？

面对上述如此的严峻挑战，可有针对性的解决方案？看来还没有。正如美国民意研究协会前主席Cliff Zukin所说，过去的范式已经崩溃，还没有找到如何替换它的方法。这个问题无法在短期内解决，必须经历一段时间的试验，以了解有效的方法以及如何更好地实现目标。

为摆脱困境，有的民调机构已经开始进行多种尝试。

一种是不看单一的民调，而是综合评估所有民调的结果，甚至构建模型，在需要时还对参数进行某种调整。

很难说这种方式获得了多大成功。有一家著名的民调机构FiveThirtyEight，亦称作“538”，于2008年3月创立，名称来源于美国选举人团中选举人的数量，创建者为纳特·西尔弗（Nate Silver）。后多次被收购、转手，包括纽约时报和ESPN，现所有者为ABC新闻。它擅长预测候选人在各州获胜的概率。其预测方法是：分析诸多机构对各州选情所进行的大量民调，并适当参考一些全国性民调，通过设置一些调整参数来构建预测模型。

2012年大选，538正确预测到了全部50个州的胜者。但在2016年大选前夕，其预测希拉里获胜的概率为71%，却与实际结果大大偏离。

值得关注的是，今年该领域出现了一个“新”面孔，即著名的《经济学人》（The Economist），首次开始对美国大选进行统计预测。他们引入了哥伦比亚大学的政治科学家安德鲁·盖尔曼（Andrew Gelman）和梅林·海德曼斯（Merlin Heidemanns），在他们的协助下开发模型来计算各候选人获胜的概率。在其模型的构建中，综合运用了统计学和计量经济学的方法，同时不仅考虑各种民调结果，还加入了可能影响选民决定的“基本面的结构因素”。其最新的预测结果是：拜登获胜的概率是96%，获得选举人票的区间为259-415张；特朗普获胜的概率是4%，获得选举人票的区间为123-279张。因获得超过半数选举人票（２７０张或以上）即可当选总统，所以两人均有机会，虽然前者远大于后者。

《经济学人》很谦虚，或者说很清醒，强调说无论预测怎样，结果都不是能够最终保证的。

我们有机会在大选结束后来检验其新方法的有效性。

选举民调究竟是什么？

该到了收笔的时候了。此时，一个萦绕多时的问题不由浮上脑际：在连续写了多篇评论之后，你所理解的、心目中的选举民调究竟是什么呢？

它是科学，还是艺术？

它属于统计学、计量经济学、社会学还是政治科学？

它记录的是某一瞬间被访问者的态度，还是能够预测未来？

大概都是。但又不完全是。

或许，这正是选举民调魅力无穷、让人如此着迷的原因吧。

但真正的大戏才正要开场……

[1] 见《统计学的世界》，戴维.穆尔著，郑惟厚译，中信出版社，2003年9月。

[2] 见《统计学的世界》，戴维.穆尔著，郑惟厚译，中信出版社，2003年9月。

[3] Cliff Zukin. 2015. “What’s the Matter With Polling?”，2015年6月20日，《纽约时报》。见

[4] 见

[5] “An Evaluation of 2016 Election Polls in the U.S.”，May 2017. By Ad Hoc Committee on 2016 Election Polling，commissioned by the American Association for Public Opinion Research (AAPOR).

点击下方【阅读原文】查看原文

中国社会科学院国家金融与发展实验室设立于2005年，原名“中国社会科学院金融实验室”。这是中国第一个兼跨社会科学和自然科学的国家级金融智库。2015年6月，在吸收社科院若干其他新型智库型研究机构的基础上，更名为“国家金融与发展实验室”。2015年11月，被中国政府批准为首批25家国家高端智库之一。