统计：从计数到大数据（上）

鲜祖德

提要

统计无时不在，从结绳记事到今天的大数据，统计作为人们认识客观世界的工具，也在不断创新，统计学作为一门系统研究数据的学科，在不断丰富与完善。大数据时代来临，统计如何应对新的挑战与机遇？我们回顾历史，不忘初心，以开放的态度、创新的精神和不懈的努力，继续前进，让统计在大数据的舞台上，发挥更大的作用。

普遍的定义认为，统计学是关于数据的科学，研究如何收集数据，并科学地推断总体特征。普查作为最古老的数据收集方法，已经有数千年的历史，据记载，2200多年前的西汉时期，中国开展了第一次人口普查。17世纪中叶，统计学诞生，并在18、19世纪不断发展，特别是与研究不确定性的概率论的结合，产生了现代意义上的统计学：数理统计学。1895年提出抽样调查方法并在后来30多年完善后，作为一种更及时、更经济的数据收集方法，被广泛应用于经济、社会、科学等各个领域。可以说，20世纪期间，传统的普查与新产生的抽样调查，作为两大数据收集方法体系，共同应用于对社会经济发展的测量，发挥了重要作用。

21世纪大数据的出现，各种来源、各种形式的电子化数据的大爆发，静态的、定时的传统数据收集方法，面临新的、动态的、组合的大数据的挑战和机遇，统计思维和数据收集方法也将不断创新。从统计学诞生的300多年的历程看，统计学发展的历史就是统计思维和统计方法不断创新的历史，这种创新是围绕着关于数据的两大核心问题展开的：如何收集数据和如何分析数据。

本文通过回顾几个重要阶段的片断，思考统计创新是如何发生的，思考统计与大数据关系，特别是在大数据背景下，会给统计带来的八个方面的新变化。

1计数：统计的萌芽

在世界著名的科普著作《从一到无穷大》一书开头，讲述了一个发生在原始部落里的故事：两个匈牙利贵族决定做一次关于数的游戏­­­­­­­——谁说出了最大的数谁就赢，第一个贵族说出了他能想到的最大的数“3”，第二个贵族苦思冥想后，表示认输了，他想象不出比3更大的数。这个故事的真假无从考证，但可以说明在人们公认的以“结绳记事”为计数开始之前，数的大小概念已经产生。但由于还不能“计数”，甚至还不能将数的概念与10个指头相对应（这在今天相当于2岁孩子的水平），否则，第二个贵族会毫不犹豫地伸出双手说出10。

计数是从结绳记事开始的，当然也可以用其他如石头、木棍、贝壳等，或者在地上、壁上划痕线等方式。这些是在文字发明之前，人们使用的记事和计数的方法。人类最早的统计实际上是一种计数活动，这在《易系辞下》中有所记载，古代印加人也存有记载；从上古时代，就已经开始使用结绳的方法，“事大，大结其绳，事小，小结其绳，之多少，随物众寡”，也即根据事件的性质、规模或其数量的不同系不同的绳结，这种方法古老原始，却有效，对于古代人来说，这些大大小小的绳结、多多少少的划痕是他们回忆过去的唯一线索。随着生产活动、战争等的规模越来越大，结绳记事已经不能记事了，要么没有那么多绳，要么是对那些绳结的意义的解释（也就是今天的元数据的概念）需要更多的想象和更复杂的绳结，原始部落的首领们可以看到养了多少牛羊，甚至可以平均分配给每一个人，却无法记录下来。

有了文字后，计数才真正成为一种工具，反映客观经济活动及其数量关系。实际上，计数作为一种工具被人们接受后，原始的“普查”就诞生了，有多少人口，有多少土地，有多少俘虏，通过计数与汇总就可以心中有数。据考古发现，公元前3000年前，两河流域就已经有了这样的数据和汇总计算的符号。当然，这与其说是“普查”，更应该说是“计数”，但其产生的意义是非常重大的，就像恩格斯说的，“为了计数，不仅要有可以计数的对象，还要有一种在考察对象时，撇开对象的其他一切特性而仅仅考虑到数字的能力”，这也就是抽象的数字的概念，实物的多少与数的对应关系的确立，并建立了运算规则，为统计学的诞生与发展奠定了基础，这也是统计的萌芽，充分表明了客观世界就是一个“数及数的关系的和谐系统”。

2数的游戏：概率计算

关于数的游戏自古就有，而这些游戏主要就是赌博：不确定性带来的收益。不管是抽签、还是投掷钱币、掷骰子、斗纸牌，各种不同形式的以“不确定性”为基础的赌博，实际上都是“数”的游戏，这当然也开始引起了学者们的注意和研究。到了15世纪的欧洲，赌博游戏非常流行。最早研究赌博问题的是1477年出版的意大利诗人但丁的《神曲》一书的注释本，描述了投掷三颗骰子可能出现的各种点数问题。

从16世纪中叶开始，学者们开始研究赌博中的概率问题。意大利人加尔达偌（1501-1576）是一位数学家，也是一个精明的赌徒，他写的《机会游戏》一书，是在他去世近100年后才出版的。他计算了投掷2颗或者3颗骰子时，究竟有多少种可能性得出投掷的骰子面朝上的数字之和为某一数（比如10），这在当时对排列组合所知甚微的情况下，是非常难得的。意大利天文学家伽利略（1564-1642）研究了同样的问题大数据时代统计学，并写了一篇论文给出了圆满的解答，算出了所有点数的可能性，如在投掷三颗骰子时，出现的数字之和为9和10，各有6种不同的组合法。这个问题在今天是一个很简单的排列组合问题，但在当时，谁掌握了这一秘密，谁就可能成为更精明的赌徒。

到了17世纪中叶，两位法国大数学家帕斯卡（1623-1662）、费马（1601-1665）开始研究丢骰子赌博中的规律性问题。他们利用通信，几经研究，解决了著名的“得点问题”（也称“分赌术”问题），通过对这个问题的研究，早期概率的计算从简单计数进入了比较精确的计算阶段，这也被认为是概率论的起源。从此，更多的学者们开始研究概率及计算问题，从研究赌博开始的古典概率，在不确定性的科学研究上，逐步建立了一套科学完整的体系：概率论。

3统计学的诞生：让数据说话

统计学诞生的大背景是在15世纪，由于欧洲地中海沿岸商品经济的发展以及思想、技术的进步，从中世纪封建社会内部产生的资本主义及发展。资本主义商品经济的产生和发展，人们对数据的认识不仅仅是赌博游戏，而是对事物规律性的认识。之前，往往是满足“计数”的需要，记录历史，回答“干了什么”，而资本主义商品经济的发展则要满足“生产”的需要了，不仅要记录历史，还要预测未来，回答“要干什么”。除此之外，还有一些原因也促进了统计学的诞生：如为了商业的冒险行为，包括商业投机和航海商业，保险业的兴起等。

统计学的诞生及发展使人们对数据规律性的认识上了一个大台阶。作为统计学的起端，几乎同时发生了两个划时代的重大事件：一是格朗特（1620-1674）1662年发表的《关于死亡公报的自然和政治观察》（简称《观察》），二是威廉·配第（1623-1687）1672年发表的《政治算术》。这两部著作都被认为是统计学的鼻祖，他们各自研究的重点不同大数据时代统计学，后来的学者们往往站在不同的角度进行评价。

《观察》利用英国伦敦每周公布的死亡人数及相关人口资料，分析了60多年中居民死亡原因及与人口变动的关系，用了大量表格、演算，提出了人口男女性别的大数法则，编制了人口统计分析寿命表及人口推算方法等，这在今天看来，是统计工作的基础环节——统计汇总与描述性分析，但在当时，确是开创性地利用公布的有限数据，分析推断了伦敦人口的总体分布与特征。

威廉·配第的《政治算术》崇尚让数据说话，依据数据分析更广泛的社会、经济问题（不局限于人口分析），而不只是依靠思辨或空洞的推演，正如他自己所说：“与只使用比较级和最高级的词语以及单纯作思维论证相反，我采用数字、重量和尺度等术语来阐述我的观点。”他的儿子把该书献给国王时说：“书中论述了凡是政府事务以及有关君主荣誉、百姓幸福和国家昌盛的事项，都可以用算术的一般法则证实。这种方法，就是用一种普通的科学原理解释错综复杂的世界。”可以说，《政治算术》是把培根的实证科学思想和方法，通过数据的分析，运用到了广泛的社会经济领域。

威廉·配第对统计的贡献还在于强调典型调查作用，在数据分析中更多地使用分组法、平均数、相对数、统计推断等，他还先见地提出计算整个国家的国民收入与国民财富，并对英国国民收入进行详细估算。有了统计学带来的数据分析方法，就有了后来的经济学、社会学等，亚当斯密的《国富论》是1776年发表的，比《政治算术》晚了100多年。19世纪末20世纪初开始建立起来的数理统计理论和抽样调查方法的推广应用，更是广泛应用于自然科学、经济学和社会科学等。

4“统计时代”：杂乱无章数据背后的规律

19世纪初上半叶，统计学逐渐取代“国势学”、“政治算术”，作为近代文化发达的标志之一，就是统计开始大量于社会经济自然科学各个方面并形成了统计发展史的高潮，后来被称之为“统计时代”、“统计狂热时代”，一切让数据说话成为一种理念、一种时尚，就像今天谁不说大数据，谁就落伍了一样。

这个时代的中心人物是比利时统计学家、数学家、天文学家凯特勒（1796-1874）。他的主要贡献有：一是系统提出统计规律性研究，认为统计学不仅要记述各国的国情，研究社会现象的静态，而且要研究社会生活的动态，从而观察社会发展的规律。他提出要探索在纷繁杂乱的大量偶然性现象的背后所隐藏的必然规律

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！