概率的历史

Wafer Li ... 2016-10-14 复习
  • 复习
  • 概率论
大约 10 分钟

# 1. 起源

# 1.1 远古时期

概率和概率论起源于游戏之中。

在远古时期,就有古人用猪或者羊的距骨来玩投掷距骨的游戏。 由于距骨能投掷出四面,其很可能就是骰子的前身。 古埃及发掘出的陶器甚至还显示古埃及人就已经在玩一个叫做 "Hounds and Jackals" 的游戏,这与现在的印度游戏“蛇梯棋”(一个用骰子来决定步数 的棋类游戏)十分相像。[1]

但是直到中世纪甚至文化复兴时期,虽然当时有投注赔率和保险业保险费用的计算需要,但是仍然没有产生相应的方法论来计算赔率或者保险费用。[2]

# 1.2 概率论的创立

真正的数学意义上的概率论的创立是由卡当诺(Jerome Cardan)、帕斯卡(Blaise Pascal)、费马(Pierre de Fermat) 完成的。

卡当诺的 Games of Chance 一书写于 1564 年(但直到 1663 年才发表),他在书中描述了他对于丢骰子等赌博游戏的研究,其中他证明了利用期望结果和非期望结果的比值来定义赔率的有效性,这意味着一个事件的概率是该事件的发生次数和总可能结果的比值这一命题得到证明[3]。此书被认为是第一部概率论著作,对现代概率论的创立有着重要作用。

真正的数学意义上的概率论的创立源于帕斯卡受某位热衷于赌博的朋友的影响,同费马通信讨论了这一问题。[4]其具体问题是:基于赢得赌局的概率,两个提前结束游戏的玩家如何在给定现在赌局的情形下公平的分赌注。这一讨论中提到了期望这一重要的概念。

# 1.3 概率论的诞生

此后,在帕斯卡的影响下,惠更斯于 1657 年发表了 De ratiociniis in ludo aleae (英文译作 "On Reasoning in Games of Chance",中文一般译作《论赌博中的计算》),此书中结合了费马和帕斯卡的观点,在“点数分配”问题的研究中,提出了期望这一概念和其相关的理论。

《论赌博中的计算》一书的发表,标志着现代概率论的正式诞生。此书也被认为是现代概率论的第一本书。

# 2. 18 世纪时期

在 18 世纪时期,人们开始使用数学工具进行概率的计算,概率和概率论开始渐渐成为数学的一个重要分支,概率开始拥有了良好的数学基础。 通过数学工具的运用,一些较为复杂的概率模型得以得到计算。

18 世纪时期的著作中,1713 年发表的雅各布·伯努利(Jakob I. Bernoulli)的《猜度术》(Ars Conjectandi) 是 18 世纪概率论发展的里程碑。 书中不仅完善和拓展了惠更斯的期望值理论和公式,提出了伯努利实验和概率的古典概型,而且提出了伯努利数[5]和伯努利定理,这是大数定律[6]的最早形式。

惠更斯所提出的期望值公式为[7]

E=p0a0+p1a1++pnanp1+p2++pnE = \frac{p_0a_0 + p_1a_1 + \cdots + p_na_n}{p_1 + p_2 + \cdots + p_n}

伯努利通过假设 pip_i 是互不相容的事件的概率,因此这就意味上式的分母为 11,从而使得惠更斯的公式得到简化。

# 3. 19 世纪时期

时间来到 19 世纪,19 世纪的天文学发展使得统计学和概率学说的应用越发广泛,此时,概率论的研究方法也越来越多的应用到了统计学上。 同时,19 世纪的几个天才数学家也促进了概率论的长足发展。

# 3.1 高斯

其中之一便是高斯(Gauss),高斯在数学方面的天赋是独特的,被称为“数学界的狐狸”。他于 1801 年使用基于正态误差分布的最小二乘法成功计算出了谷神星小行星的轨道(该行星于 1801 年 12 月 31 日夜晚被再次发现),并于 1809 年经过完善了相关数学理论后,发表了这一计算方法。在这年发表的文章中,高斯通过论证

误差分布导出的极大似然估计 == 算术平均值

并证明了唯一满足这一性质的概率密度函数为

f(x)=12πσex22σ2f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^2}{2\sigma^2}}

这就是正态分布的概率密度函数。

但是高斯的数学证明部分并不完善,有种循环论证的味道:因为算术平均是优良的,所以误差符合正态分布;反过来,又基于正态分布来推导出最小二乘法和算术平均来说明其优良性。[8]

# 3.2 拉普拉斯

此时便轮到拉普拉斯出场了,拉普拉斯也是著名的数学家,他发现的拉普拉斯变换拉普拉斯方程在现今的图像处理等领域得到了广泛的运用。

拉普拉斯在看到高斯发表的文章后,通过结合中心极限定理,提出了元误差解释,证明了正态分布的正确性。并在《概率的分析理论》(Théorie analytique des probabilités) 一书中结合了类似矩母函数最小二乘法归纳概率假设检验等许多基本的统计学和概率论的理论。

同时,拉普拉斯也发现了形式为

f(x)=m2emxf(x) = \frac{m}{2}e^{-m|x|}

的概率密度分布函数,并在之后被命名为拉普拉斯分布

# 3.3 19 世纪末

到 19 世纪末为止,概率论与统计学的结合愈发紧密,在统计力学领域,波尔茨曼(Ludwig Eduard Boltzmann)和吉布斯(Josiah Willard Gibbs)利用概率论的方法,成功地解释了气体的性质,例如气体是随机运动的粒子。

有趣的是,概率学的历史作为一项独立的分支,在这个时期也建立了起来。 其标志便是托尔亨特(Isaac Todhunter)于 1865 年发表了其著名的著作 History of the Mathematical Theory of Probability from the Time of Pascal to that of Lagrange

# 4. 20 世纪时期

20 世纪时期,概率论和概率学说开始迅猛发展,公理体系建立起来,应用更为广泛,同时与其他科学领域的交叉也更为深入。

# 4.1 概率与统计

到了 20 世纪之后,由于统计学对假设检验的重视,概率论和统计学变得越发不可分割。现今,假设检验的统计方法已经广泛地应用到生物学,物理学和药物的临床试验等科学研究中。 假设检验需要检测样本概率的显著性水平,从而判断是否接受统计假设。

# 4.2 概率与物理学

随着 20 世纪物理学进入微观领域的研究,概率论的随机过程领域的研究也有所进展。例如为了描述布朗运动(液体中的悬浮颗粒的运动),马可罗夫过程被提出,随后应用范围不断拓宽,现今马可罗夫过程已经应用于统计、生物学和计算机互联网中。

# 4.3 概率与金融

同时,由于 20 世纪前期经济的发展和马可罗夫过程的提出,为描述股票的随机波动提供了复杂的概率模型,从而也促进了金融数学的发展,并由此产生了布莱克-舒尔模型(BS Model)、期权定价等一系列金融工具[9]

# 4.4 概率的解释

20 世纪同时也见证了关于“概率的解释”的争端,在 20 世纪中期,概率被倾向于解释为 大量重复试验的频率的趋近值

而在 20 世纪末期,贝叶斯概率的观点得到复兴,贝叶斯概率学派的观点倾向于将概率定义为概率是某人对一个命题的信任程度

两者的主要区别在于,频率学派主要以事件作为建模主体,而贝叶斯学派以观察者的知识作为概率的建模主体。观察者首先为事件赋予一个概率,并通过观察结果来校正概率。

例如扔 100 次硬币,20 次正面,80 次反面。频率学派认为扔第 101 次的概率为 0.5,而贝叶斯学派认为概率应为 0.8

# 4.5 概率公理

1933 年,安德雷·柯尔莫哥洛夫(Andrey Nikolaevich Kolmogorov) 提出了著名的概率公理,这解决了在具有无限的可能结果时的概率的数学处理问题。

# 4.6 概率与计算机科学

在 20 年代中后期,由于电子计算机的发明和核武器研制的需要,冯·诺伊曼,斯塔尼斯拉夫·乌拉姆和尼古拉斯·梅特罗波利斯提出了基于概率统计的蒙特卡洛方法。[10] 其中心观点是利用随机数通过计算机模拟计算得到随机过程。

在解决实际问题的时候应用蒙特卡洛方法主要有两部分工作:[11]

  1. 用蒙特卡洛方法模拟某一过程时,需要产生各种概率分布的随机变量。
  1. 用统计方法把模型的数字特征估计出来,从而得到实际问题的数值解。

# 5. 21 世纪后

在 21 世纪后,概率和概率论随着机器学习和神经网络等计算机技术的发展,应用范围越加宽广。

2006 年之后,雷米·库洛姆(Remi Coulom)提出了基于蒙特卡洛方法的蒙特卡洛搜索树算法。 随后,这一算法被广泛应用到计算机围棋领域。

2008 年,MoGo 在九路围棋中达到段位水平,2012 年 1 月,Zen 程序在19路围棋上以 3:1 击败二段棋手约翰·特朗普(John Tromp),2016 年 3 月 使用蒙特卡洛算法和深度学习的 AlphaGo 程序在五番棋比赛中以 4:1 击败韩国九段棋手李世乭,Goranking 跃居世界第二。


  1. F. N. David (1962), Games, Gods and Gambling (opens new window) ↩︎

  2. Franklin, Science of Conjecture, ch. 11. ↩︎

  3. P. Chance magazine (2012) Some laws and problems in classical probability and how Cardano anticipated them Gorrochum (opens new window) ↩︎

  4. O'Connor, J. J.; Robertson, E. F.. "The MacTutor History of Mathematics archive: Pierre de Fermat" http://www-groups.dcs.st-and.ac.uk/~history/Biographies/Fermat.html (opens new window) ↩︎

  5. 伯努利数最先由伯努利研究,棣莫弗以他的名字来命名,其计算公式为: j=0m(m+1j)Bj=0\sum_{j = 0}^{m}{m + 1 \choose j}B_j = 0 ↩︎

  6. 大数定律描述相当多次的重复实验的结果,其结果趋向于期望值 ↩︎

  7. https://en.wikipedia.org/wiki/Ars_Conjectandi ↩︎

  8. 靳志辉(2012 年 11 月 8 日) 正态分布的前世今生 (opens new window) ↩︎

  9. Bernstein, Against the Gods, ch. 18. ↩︎

  10. Metropolis, Nicholas; Stanislaw Ulam (1949) The Monte Carlo method (opens new window) ↩︎

  11. 蒙特卡洛方法 (opens new window) ↩︎