女士品茶-第23章
按键盘上方向键 ← 或 → 可快速上下翻页,按键盘上的 Enter 键可回到本书目录页,按键盘上方向键 ↑ 可回到本页顶部!
————未阅读完?加入书签已便下次继续阅读!
蛔纯鲆不岱⑸浠R虼耍挥腥四苋非械刂涝谔囟ǖ囊惶煊《鹊降子卸嗌偃丝凇 �
马哈拉诺比斯推断,如果能够收集到一个具有充分代表性的小样本,那么可以用它来估计总体的特征。在这一点上,我们有两种可能的方法:一是构造所谓的“判断样本”(judgment sample)。在判断样本中,所有关于总体的信息都被用来选择一个小的个体集合。这些个体分别代表总体的不同部分。有关多少人在看某一电视节目的尼尔森收视率排行榜(the Nielsen ratings),就是依据判断样本来排定的,尼尔森媒体研究所(Nielsen Media Research)根据社会经济状况和生活地区的差异,选择不同的家庭作为样本。
初看起来,判断样本似乎是获得大总体的代表性样本的好方法,但它有两个主要缺点。第一个是只有当我们确信对大总体具有充分的了解,可以将总体划分为能用一些个体来代表的几个子总体(specific subclasses)时,判断样本才具有代表性。既然我们希望通过样本来了解的问题,正是据以将大总体划分为几个匀质组(homogeneous groups)的依据,如果我们对大总体已经了解得这么清楚,可能就无需再进行抽样了。第二个问题更加麻烦,如果判断样本的估计结果是错的,我们无法知道该结果与真值到底相关多少。2000年夏天,有人就批评尼尔森媒体研究所抽取的样本中西班牙裔家庭太少,因而低估了西班牙语电视的观众人数。
马哈拉诺比斯的解决办法是采用随机样本(random sample)。我们采用随机原则从大总体中抽取个体,由随机样本得到的数据很可能会错,但是我们可以用数理统计学的理论确定该如何最优地抽取样本并测定数值,以确保长期来看我们的数据将比其它数据更接近真值。并且,我们知道随机抽样概率分布的数学形式,可以计算总体那些待估参数的置信区间。
可见,随机样本要优于使得样本或者是判断样本,当然,这并不是因为它会保证得到正确的结果,而是因为我们可以计算一个数值区间,以较高的概率保证真值落入这一区间内。
新政与抽样
抽样的数学理论在20世纪30年代得到了迅速发展,其中一部分应归功于由马哈拉诺比斯领导下的印度统计研究所;一部分应归功于20世纪30年代后期奈曼发表的两篇论文;还有一部分应归功于一群年轻而富有朝气的大学毕业生,他们在美国实施新政的早期汇集于华盛顿。正是在这群在联邦政府商务部和劳工部任职的年轻人,热心于新政,提出了关于如何从总体中抽取样本的许多实际问题,并成功地解决了这些问题。
在1932年到1939年间,拿到学士学位的青年男女在跨出大学校门时,很难找到工作。这一切都是经济大萧条所造成的。在纽约州扬克斯市(Yonkers)长大的玛格丽特?马丁(Margaret Martin),毕业于巴纳德学院(Bamard College),后来成为美国预算局(the U。 S。 Bureau of the Budget)的一名官员,他写道:
当我在1933年6月毕业时,根据找不到工作……我的一个朋友比我晚一年毕业,找到了一个工作,在B?奥特曼百货公司(B。 Altman department store)当售货员,一周工作48小时,可赚15美元,对此她已经感到非常庆幸了。即使是那样的工作,也很难找到。巴纳德学院有一位负责就业指导的工作人员,也就是弗洛伦斯?多蒂(Florence Doty)小姐,我跑到她那儿咨询有关去一年叫凯瑟琳?吉布斯(Katherine Gibbs)的秘书学校受训的可能性,我不知道从哪儿能弄到这笔钱,但是我想在那儿学到一技之长来养活自己。多蒂小姐……是一个不太好相处的人,许多同学都对她敬而远之……她只回答了我几句,“我绝不造成你去学秘书课程,如果你去学了打字,并且让别人知道你会打字,那你以后就再也不能干别的了,只能打字……你应该去找一个专业性的职位。”
最后,马丁在奥尔巴尼(Albany)找到了第一份工作,成了纽约州失业安置局(the New York State Division of Placement and Unemployment)研究与统计办公室(the office of research and statistics)的一名初级经济师,这个工作成了她上研究生的一块跳板。
一些刚刚毕业的年轻 人直接进了华盛顿的政府机构。莫里斯?汉森(Morris Hanson)于1933年从怀俄明大学(the University of Wyoming)经济学本科毕业,去了普查局(the Census Bureau)。他凭着本科时学的一些数学和匆匆读过的奈曼的几篇论文,着手设计全国第一次失业普查。内森?曼特尔(Nathan Mantel)从纽约城市学院(City College of New York)生物专业毕业,去了国家癌症研究所(the National Cancer Institute)。杰尔姆?科恩菲尔德(Jerome Cornfield)毕业于纽约城市学院的历史专业,进入劳工部(the Department of Labor)担任一名分析师。
那段时间,在政府工作倒是激动人心的,举国萧条,大部分正常的经济活动都停滞不前,可说是百废待举,华盛顿的新政府为此绞尽了脑汁。他们首先必须做的就是去了解整个国家到底已经糟糕到了什么程度,于是便着手对就业与经济活动开展各种调查。像这样试图准确地去判断这个国家到底是怎么了,在美国的历史上这还是第一次。很显然,这正是抽样调查发挥用武之地的时候。
这些干劲十足的年轻人首先要做的,就是说服那些不懂数学的人。劳工部在早些时候的一项调查显示,全国不到10%的人口占有将近40%的收入,这一结果受到了美国商会(the U。 S。 Chamber of merce)的公开指责,这怎么可能呢?调查人数还不到全国就业人口的0。5%,而且这些人还是用随机方式获得的!于是,商会自己也进行了调查,主要是征求会员们对收入占有情况的看法。最后,劳工部调查的结果被商会认为是不准确的,拒绝接受,理由是那只不过是一堆随机的数据。
1937年,政府想得到有关失业率的准确数据,同时国会授权在1937年进行失业普查。国会通过了议案,号召失业者填写登记卡,送到当地的邮局。那时,全国失业人口数估计在300万到1500万之间,仅有的较为可靠的数据是由纽约开展的几次随机调查所得到的。一群年轻的社会学家,在普查局的卡尔?戴德里克(Cal Dedrick)和弗雷德?斯蒂芬(Fred Stephan)带领下,认识到了可能会有许多失业者不填表,所得到的数据也可能包含着一些意想不到的错误。但他们还是决定,要在全国进行有史以来第一次严肃的随机调查。依据年轻的莫里斯?汉森对整个调查所作的规划设计,普查局从邮递线路中随机选取2%,那些线路上的邮递员各自把调查问卷分发到所在线路的每一个家庭。
即使按2%的比例抽样,普查局也被这样大量的调查问卷难住了。美国邮政服务局(the U。 S。 Postal Service)曾计划帮他们把问卷分类整理,并制作了一些原始的表格。问卷在最初设计时,还希望收集被调查人口统计和工作经历的详细资料,但是没有人知道该如何来处理这么大量的详细信息。别忘了,那时根本没有电脑,除了用“铅笔+纸张”绘制的表格之外,唯一可指望的就是手动的机械计算器。于是,汉森与耶日?奈曼取得了联系,当初他也是在奈曼的论文基础上完成了调查设计。用汉森的话说,奈曼指出,“我们不必知道或去探讨所有的细节,也不必弄清具体的关系如何”,只需为最重要的问题找到答案就行了。采纳了奈曼的建议,汉森和他的同事们抛弃了问卷中复杂而令人困惑的细节,只计算失业的人数。
在汉森的带领下,普查局作了一系列细致的分析,证实这种随机小样本调查的结论比起以前所用的判断样本要精确得多。最终,美国劳工统计局(the U。 S。 Bureau of Labor Statistics)和普查局都转入了以随机抽样为主要调查方式的新阶段。乔治?盖洛普(Gee Gallup)和路易斯?比恩(Louis Bean)又将这些方法引入了政治上的民意测验当中 。在1940年的普查当中,普查局还精心地设计了一些抽样调查计划。这时,普查局新来了一名年轻的统计学家,叫作威廉?赫维兹(William Hurwitz)。很快,汉森与赫维兹成了亲密的工作搭档和挚友,合作发表了一系列重要而有影响的论文,在1953年还合作出版了一本教科书《抽样调查方法和理论》(Sample Survey Method and Theory)(还有第三作者是威廉?马杜(William Madou))。汉森和赫维兹的论文与教科书在抽样调查领域里是如此的重要,并且极其频繁地被引用,以至于这一领域的许多人都认为有这么一个叫汉森?赫维兹(Hansen Hurwitz)的人。
杰尔姆?科恩菲尔德
新政期间,许多年轻人来到了华府,在政府机关和研究机构担任着重要的角色。不少人一直忙于发现新的数学与统计方法,根本顾不上去读研究生学位,最典型的要数杰尔姆?科恩菲尔德(Jerome Cornfield)了。科恩菲尔德在劳工统计局参与了最初的一些调查之后,来到了国家卫生研究所(the National Institutes of Health)。他和学界的领军人物合作发表了几篇论文,解决了个案控制研究(casecontrol studies)中的几个相关数学问题。他发表的科研论文内容广泛,涵盖了随机抽样理论、就业形态的经济学、鸡肉肿瘤问题、光合作用的问题以及环境毒素对人类健康的影响等诸多领域。他创立了许多统计方法,现在都已成为医学、毒物学、药理学和经济学等领域中统计分析的标准理论。
科恩菲尔德最重要的贡献之一,就是设计了弗拉明汉姆研究计划(the Framingham Study),并开展了初步的分析。这项始于1948年的计划最初是想以马萨诸塞州(Massachusetts)的弗拉明汉姆作为“典型小镇”(typical town),测定镇上每位居民有关健康状况的各种指标,然后对这些人进行多年的跟测。至今这项研究已经持续了50多年,期间曾发生过像“波林灾难”(Perils of Pauline)这样的事,因为政府减少预算开支,还常常试图降低对该计划的资助。但是现在这项研究已经成为分析饮食和生活方式对心脏病和癌症的长期影响的一份最主要资料。
为了分析弗拉明汉姆研究计划获得的头5年数据,科恩菲尔德碰到了几个基本问题,这些问题在以前的理论文献上还没有出现过。后来,他与普林斯顿大学的专业人员合作,一道把这些问题给解决了。其他人都沿着他所开创的理论发展方向继续写了不少论文,而科恩菲尔德为找到问题的解决办法而感到心满意足了。直到1967年,基于该项计划的第一篇医学论文发表了,他是其中的合作者之一。这篇论文研究了高胆固醇对得心脏病概率的影响问题。
1973年,我和J?科恩菲尔德同时参加一个会议,这是为国会某个专门委员会举办的系列听证会中的一场。某一天会议的间歇,有个电话找科恩菲尔德,原来是哥伦比亚大学的一位经济学家瓦西里?列昂惕夫(Wassily Leontief)打过来的,他说自己获得了诺贝尔经济学奖,并感谢科恩菲尔德在合作研究中所发挥的作用,正是他们的合作研究使他获得了这一奖项。他们的合作研究始于20世纪40年代后期,那时列昂惕夫曾跑去劳工统计局寻求帮助。
列昂惕夫认为,国民经济能划分为不同的部门,如农业、钢铁制造业、零售业,等等。每个部门都利用其它部门生产的原材料的服务,来生产某种原材料或服务,提供给其它部门,这种交叉关系能用数学中的矩阵形式来描述,常常被称为“投入——产出分析”(inputoutput analysis)。第二次世界大战后,当列昂惕夫刚刚对这一模型开始研究时,他曾到劳工统计局收集所需要的数据,劳工统计局指派了一名年轻的分析师协助他,这个人正是当时在那儿工作的杰尔姆?科恩菲尔德。
列昂惕夫可以将国民经济划分为几大部门,例如将所有制造业作为一个部门,也可以将各大部门进一步细分为若干个子部门。从数学原理上看,投入产出分析要求描述经济活动的矩阵必须存在唯一的逆矩阵,这意味着一旦获得了该矩阵,必须作为一个数学上“求逆矩阵”的去处。那时候,计算机并不普及,用手动式的计算器求逆矩阵非常的困难和繁琐。在我上研究生的时候,每个学生都必须练习求逆矩阵——我怀疑那简直是“净化灵魂”的一场仪式,记得当时求一个5*5阶矩阵,要花上好几天,大部分时间我是用来找错和�