这些年来,官方或者民间商业机构,不断搞一些调查报告出来,但几乎普遍现象是,这些调查一出笼,就是一片骂声,质疑声不断,有的判断甚至背离常识,比如中国老百姓的幸福指数。这是为什么?原因在于调查报告被人有意或无意操纵,形成有利于自己的事实。毕竟,学过概率论和统计学的人是少数,所以多数人看到报告上密密麻麻的数字,也不知其中猫腻而被蒙了。
一、指标
要调查一个事物,起码要设定几个指标,比如说社会偏见,那就要设定种族偏见、职业偏见等等一系列与之相关的特点。这样一来,不良调查者就可以根据自身的要求,来进行指标设定。
以争议最大的“幸福指数”为例,它采用是以下十个指标:比如足充裕体验指数(反映的是人们对自身所拥有的客观物质条件的心理体验),心理健康体验指数(反映的是人们在社会适应方面的心理体验),成长发展体验,社会信心体验,目标价值体验,自我接受体验,人际适应体验,身体健康体验,心态平衡体验,家庭氛围体验……
不知各位注意到没有,这些体验指数,一、都是根据“心理体验”来的,没有诸如家庭收入等客观可测的数据,二、这些指标都避开了对于社会可能的负面体验指标,比如对于政治问题的体验,所以幸福体验指数,说白了,本质上就是“说好话”的调查。
二、抽样和测量
从概率理论上说,只要样本数达到1000个,就可以将置信度和置信区间确定得很准确,最大标准误只有0.05,或者表述为“有95%的把握,结果在总参数值的正负5的区间内”,准确度就相当高了,美国大选的民意调查样本只有2000左右,预测大选结果基本上都准确的,样本到达2500个的话,标准误的概率最多就只有0.01了。
表面上好象准确度很高啊,其实里面有玄机,很多调查虽说是随机抽样或概率抽样,其实往往采用的是配额抽样,而配额抽样的抽样框,常常是过时的。抽样方式不正确,往往就就象盖洛普预测1948年美国大选杜威获胜一样,结果常常是不正确的。
做每个调查,都必须有适当的抽样方法,才能保证调查对象的特征跟总体对象的特征相吻合。总体上,只要样本够多,通过概率抽样的方式,比通过非概率抽样的方式更可信,更真实。
可以说,抽样质量决定抽样可不可信,然而很多公司或者调查员图省事,或者减少抽样数量却虚报大数,或者采用非概率抽样的方式,比如就近法、判断法抽样,走在街上随便问几句,结果常常有悖于真实情况。
所以在看一项调查报告的时候,一定要看它的抽样方法,才能自己得出准确或不准确的结论,但很多调查报告报道出来后,新闻却不报道调查的抽样方式,这是因为记者不懂得抽样方式的重要性更大于结果,最后也把老百姓给蒙了。
三、加权
加权主要用于定距测量和定比测量,比如说吧,你觉得你收入中有三个指标对你很重要:工资收入、奖金、外快三项内容,其中工资收入对你格外重要,那么你就给他加权,本来三个指标的分量是1:1:1,你特别给工资收入加权为2,变成2:1:1,这样工资在你收入体系中的重要性就明显比其他两个指标大了一倍。
加权是抽样调查中,最容易出猫腻的地方,一般来说,没有必要的和特殊的理由,都不会采用加权的办法。然而出于使调查结果向自己预想的结果倾斜,调查者往往会对通过加权的办法,增加对自己有利的指数的权量。比如某个网站在综合排名中,美誉度低而流量高,他就会想尽办法让调查公司把流量指标加权,美誉度降低,这样综合排名就上去了。
2000年美国新闻与世界报道的美国大学榜,上年排名第八的加州理工学院,窜升到第一位,排在哈佛、耶鲁、普林斯顿之前,原因就在于对于平均科研经费加权,结果就完全不一样。
四、离散趋势
在分析测量数据的时候,各类调查公司,常常会报出一些集中趋势的数据,比如平均数,这是最常见的,还有中位数和众数等(这些一般比较少)。
表面上看,平均数对于了解国家情况,也够准确的了。然而事实上并非如此,观测一个社会,不仅仅是观测一个社会的平均状况,更重要的是观测一个社会的分布不均匀状况,这样才有利于了解大家的态度、收入和生活情况。
比如说,一个国家国民收入20000元,这并没有价值,我们更需要的是知道,国民收入哪一部分掌握在哪些人手里,社会是不是贫富分化严重,这就要看离散趋势,要看哪些人并不在这个平均数上,多少看出社会财富的集中程度。
有离散数学基础的人,应知道标准差(又称方差)是一个测量离散很关键的函数,它能够准确地告知离散程度,以国民的收入为例,标准差就可以看出财富的分布是否均匀了,如果这个数字很大,就说明国民财富分布极不均匀,贫富失衡。同时,知道方差,还可以通过标准分数测量,哪些行业的薪酬水平,在社会上处于什么水平:
行业平均收入-国民平均收入
Z= --------------------------
标准差
Z如果等于1.4左右(印象中是这个数),那么这个行业的工资水平,就是10%的富人之列了。
有意思的是,一些政府统计部门有大型计算机,也早采用了SPSS软件进行统计分析,但在社会上公布时,故意不公报标准方差和离散数,这里面太值得琢磨了,怕大家看不懂吗,还是怕大家不愿意看?
五、怎么样看抽样?
抽样调查不是一种准确的科学,其结果只是反映了概率和趋势。但中国的调查里猫腻实在是太多,因此在看抽样一定要注意以下几个项:
1、指标是否准确,能否代表所想调查的变量。
2、样本是否够大,用什么方式抽样的,这才看得出这项调查的信度和效度。
3、有否故意加权,导致数据失真。
4、有否计算标准方差或其他离散数,还是故意漏了方差不报?
当然,这是主要的抽样猫腻所在,还不包括其它大的小的猫腻了,看明白了这些问题,我们看调查报告就不会被那些王八蛋调查所蒙了。