频率是数出来的，概率是算出来的，两个数常常不一样。可赌场按频率定赔率，保险公司按频率定保费，这些生意都做得下去。这一章说清这个放心从哪里来：先分清频率与概率的关系，再讲独立性和二项概型这两件常用工具，最后用切比雪夫不等式证明伯努利的大数律。伯努利从 1680 年代起写《推测术》，1705 年去世时没写完，书到 1713 年才出版，最后一章证的就是这件事。
一、频率与概率
把试验在相同条件下重复 \(n\) 次，记事件 \(A\) 发生的次数为 \(n_A\)，比值 \(f_n(A)=n_A/n\) 就叫 \(A\) 在这 \(n\) 次试验中出现的频率。它有三条性质：非负，不超过 1，互不相容的有限个事件的频率可以相加。这三条与概率的三条公理逐条对得上，所以频率看起来很像概率，赌桌、保单、户口册都在拿这个比值说话。
差别出在一个地方：频率跟着这 \(n\) 次试验的具体结果走，同一枚硬币抛 10 次可能给出 0.6，换 10 次可能给出 0.4，试验不做完你不知道它是多少；概率是事件本身带的数，硬币还没抛，它已经是 0.5 了。频率是随机的，概率是固定的，两者不在同一个层次上。
课本允许拿频率当概率的估计，凭的是一句话：试验次数很大时，频率会稳定在概率附近。这句话从 17 世纪的赌桌一直用到 20 世纪的保险业，人人都在信，可是没人证得出来，它只是一条经验。伯努利把这条经验做成了定理，他证出来的东西是：\(n\) 越大，频率与 \(p\) 的偏差超过某个给定界限的可能性越小。这句话里面没有「频率的极限等于 \(p\)」，18 世纪还没有极限这套语言，他只说偏差大到某个程度的概率可以小到「道德上的确定」。它的分量要等第五节用切比雪夫不等式重写一遍才看得清楚。
1713 年，巴塞尔
一部没写完就付印的《推测术》
「观察次数越多，频率偏离真实比例超过任意给定界限的可能性就越小。」
伯努利《推测术》第四部分第 5 章，1713 年（拉丁文，此处为译述）
伯努利 1680 年代动笔，1705 年去世，书由侄子尼古拉整理，1713 年在巴塞尔出版。他把最后一章这条定理叫「黄金定理」：在此之前，频率稳定只是从账本里看出来的经验，有了证明才第一次成为命题。
什么时候不能拿频率当概率
条件变了就不行。上午和下午的机器状态不同，两批数据就不是同一串伯努利试验，把频率混在一起算没有意义。次数太少也不行，抛 5 次出现 3 次正面，频率 0.6 与 0.5 的差距完全落在随机波动之内。
课本把这个用法写成概率的统计定义：试验次数很大时，取频率 \(f_n(A)\) 作为 \(P(A)\) 的近似值。它有短处，一是不说近似到什么程度，二是换一批试验数值就变；它的长处是不必事先知道样本空间长什么样，一枚不知道是否均匀的硬币，你只能靠数。
二、事件的独立性
两个事件一起发生的概率，一般不等于两个概率相乘。掷一枚骰子，\(A\) 是点数为偶数，\(B\) 是点数不超过 3，两个概率都是 \(1/2\)，而 \(AB\) 只含点数 2，概率是 \(1/6\)，比 \(1/4\) 小。也有刚好乘得起来的：\(A\) 是第一次掷出正面，\(B\) 是第二次掷出正面，掷两次硬币时 \(P(AB)=1/4\)，正好是两个 \(1/2\) 的积。后一种情形里，\(B\) 出不出，\(A\) 的机会都还是 \(1/2\)，\(B\) 没给 \(A\) 提供任何信息。
课本不去纠缠「影响」这种含糊的词，直接把乘法写成一个式子当定义。
定义（事件的独立性）
设 \(A\)、\(B\) 是两个事件，若满足 \(P(AB)=P(A)P(B)\)，则称事件 \(A\) 与事件 \(B\) 相互独立。
用乘法做定义有个好处：它不要求 \(P(B)\) 不为零，即使 \(B\) 是概率为零的事件，这个式子照样有意义。课本后面讲条件概率时会把两条路接通，那时你会发现，只要 \(P(B)>0\)，独立就等价于 \(P(A\mid B)=P(A)\)，这也是判独立最常用的形式。
定理（独立性的判定）
设 \(P(B)>0\)，则 \(P(AB)=P(A)P(B)\) 与 \(P(A\mid B)=P(A)\) 互为充要条件；同理，若 \(P(A)>0\)，二者也等价于 \(P(B\mid A)=P(B)\)。
由定义能立刻得到几条推论：\(A\) 与 \(B\) 独立时，\(A\) 与 \(\bar B\) 独立，\(\bar A\) 与 \(B\) 独立，\(\bar A\) 与 \(\bar B\) 也独立，理由是 \(P(A\bar B)=P(A)-P(AB)=P(A)[1-P(B)]\)。算「至少有一个发生」时这条最省事，把对立事件乘起来再拿 1 去减就行了。
两个事件不够用，三个事件要叫相互独立，光有两两相乘成立还不行，三个一起乘也得成立，这样一共要验四个式子。一般地，说 \(n\) 个事件相互独立，指的是其中任意 \(k\) 个（\(k\) 从 2 到 \(n\)）的积的概率都等于各自概率的积。
定义（\(n\) 个事件相互独立）
设 \(A_1,A_2,\dots,A_n\) 是 \(n\) 个事件，若对任意 \(k\)（\(2\le k\le n\)）和任意 \(k\) 个事件 \(A_{i_1},\dots,A_{i_k}\)，都有 \(P(A_{i_1}\cdots A_{i_k})=P(A_{i_1})\cdots P(A_{i_k})\)，则称 \(A_1,\dots,A_n\) 相互独立。只有 \(k=2\) 的式子全部成立时，称它们两两独立。
两两独立推不出相互独立，缺的那几条式子不自动成立。这一点在考试里出现得很多，判断三个事件是否相互独立，四个式子都要算一遍。
相互独立到底要验几个式子
从 \(n\) 个事件里挑 \(k\) 个，有 \(C_n^k\) 种挑法，把 \(k\) 从 2 加到 \(n\) 一共 \(2^n-n-1\) 个式子，\(n=3\) 时是 4 个。两两独立只验其中 3 个，少掉的就是三个一起乘的那一个，而它并不由前三个推出来，习题 C 3 有一个具体例子。
三、伯努利试验与二项概型
把独立和重复这两件事并在一起，就得到概率论里用得最多的一种模型。若一次试验只有两个可能结果 \(A\) 与 \(\bar A\)，\(A\) 发生的概率 \(p\) 在每次试验中都一样，各次试验的结果又相互独立，则称这一串试验为 \(n\) 重伯努利试验，\(A\) 发生叫成功。掷硬币、抽检产品、射击命中，凡是能归成「成与不成」并且可以重复做的，都往这个筐里放。
\(n\) 重伯努利试验里，成功次数取各个值的概率可以直接写出来。指定的 \(k\) 次成功、其余 \(n-k\) 次失败，由独立性知这一串结果的概率是 \(p^k(1-p)^{n-k}\)；\(n\) 个位置里挑哪 \(k\) 个成功，有 \(C_n^k\) 种挑法；这些结果互不相容，加起来就是公式。
定理（二项概率公式）
在 \(n\) 重伯努利试验中，成功恰发生 \(k\) 次的概率为 \(P_n(k)=C_n^k p^k q^{n-k}\)，其中 \(q=1-p\)，\(k=0,1,\dots,n\)。若随机变量 \(X\) 取这些值的概率如上式，称 \(X\) 服从参数为 \(n,p\) 的二项分布，记作 \(X\sim B(n,p)\)。
公式里两个因子分工明确：\(p^kq^{n-k}\) 管一条具体路径的概率，\(C_n^k\) 管这样的路径有几条。做题时先把「恰 \(k\) 次」翻成「在 \(n\) 个位置里挑 \(k\) 个」，公式就不容易记错。
这张图是大数律的图形版。\(n\) 变大，柱子的分布往 \(p\) 附近挤，宽度大约按 \(\sqrt n\) 缩短，而每根柱子变矮变窄，说明单个取值的概率在下降，靠得近的一群取值合起来才占掉几乎全部的概率。
四、切比雪夫不等式
要证明频率稳定，得有一个能把「偏离中心很远」的概率压下去的工具。1867 年切比雪夫给出了最省的一个：只要知道期望和方差，就能给任意随机变量偏离期望太远的概率封一个顶，分布长什么样都不问。
定理（切比雪夫不等式）
设随机变量 \(X\) 的期望 \(E(X)=\mu\) 与方差 \(D(X)\) 都存在，则对任意 \(\varepsilon>0\)，有 \(P\{|X-\mu|\ge\varepsilon\}\le\dfrac{D(X)}{\varepsilon^2}\)。
证明只要一行拆分。以离散型为例，把方差按偏差的大小分成两段求和，落在 \(|x_k-\mu|\ge\varepsilon\) 这一段的每一项都不小于 \(\varepsilon^2p_k\)，于是
\[ D(X)=\sum_k (x_k-\mu)^2p_k\ \ge\sum_{|x_k-\mu|\ge\varepsilon}(x_k-\mu)^2p_k\ \ge\ \varepsilon^2\!\!\sum_{|x_k-\mu|\ge\varepsilon}\!\!p_k=\varepsilon^2P\{|X-\mu|\ge\varepsilon\}, \]右边那个和就是要估的概率，两边同除 \(\varepsilon^2\) 即得。连续型把求和换成积分，一个符号都不用改。
它的用处有两头。理论上，它把「方差小」翻译成「大概率落在期望附近」，大数律的证明全靠这一句；实用上，它可以反过来定样本量：要求偏差不超过 \(\varepsilon\) 的概率至少 \(1-\delta\)，取 \(n\ge D(X)/(\varepsilon^2\delta)\) 就够了。
这个界为什么这么松
正态分布取 \(\varepsilon=2\sigma\) 时真概率约 0.045，切比雪夫给 0.25，差五倍多；取 \(3\sigma\) 时真概率 0.0027，界是 0.111。松的原因是它只知道方差一个数，却要对所有分布同时有效，碰到尾部特别厚的分布，这个界反而贴得住。
五、伯努利大数律
二项分布加上切比雪夫不等式，两样东西一拼，伯努利的定理就出来了。
定理（伯努利大数律）
设 \(n_A\) 是 \(n\) 重伯努利试验中事件 \(A\) 发生的次数，\(p\) 是 \(A\) 在每次试验中发生的概率，则对任意 \(\varepsilon>0\)，有 \(\lim_{n\to\infty}P\left\{\left|\dfrac{n_A}{n}-p\right|\ge\varepsilon\right\}=0\)，也就是 \(P\left\{\left|\dfrac{n_A}{n}-p\right|<\varepsilon\right\}\to1\)。
设 \(X\) 是单次试验中 \(A\) 发生的次数，则 \(n_A=\sum_{i=1}^n X_i\)，\(E(n_A)=np\)，\(D(n_A)=npq\)，于是频率的期望是 \(p\)，方差是 \(pq/n\)。因为 \(p(1-p)\le 1/4\)，方差不超过 \(1/(4n)\)。把切比雪夫不等式用在频率上，得 \(P\{|n_A/n-p|\ge\varepsilon\}\le\dfrac{1}{4n\varepsilon^2}\)，右边随 \(n\) 趋于零。
证明里最要紧的一步是 \(p(1-p)\le 1/4\)。有这个不等式，方差里就不含未知的 \(p\)，界只剩 \(1/(4n\varepsilon^2)\) 一个数，所以不管这枚硬币是否均匀、\(p\) 是多少，结论都成立。
这条定理说的是频率依概率收敛到 \(p\)：偏差超过 \(\varepsilon\) 的可能性随 \(n\) 一起消失。它没说每一次实验都会靠近 \(p\)，\(n\) 再大，也总有小概率出现一段连着的正面；它也没说 \(n\) 要取多大才够。前面提过切比雪夫给的是最保守的界，取 \(n=10000\)、\(\varepsilon=0.01\) 时它只保证 0.75，而实际概率已经接近 1，这个缺口要等正态逼近来填。
现在可以回答开头那个问题了。频率不等于概率，凭什么拿它估概率？答案在大数律这一头，不在定义那一头：定义只把频率和概率各自说清楚，大数律才说明两者在 \(n\) 大时挨得有多近，而且近到什么程度可以算出来。伯努利证出的就是这个「近」，他证的不是频率的极限等于 \(p\)，证的是偏差超过给定界限的概率趋于零。这两句话在 18 世纪分不清，今天分得很清楚，后一句叫依概率收敛。
伯努利原来的证明长什么样
他把 \(n\) 次试验里成功次数偏离 \(np\) 的程度分成若干段，对每一段用二项系数的单调性估上界，再逐段相加，最后说明只要 \(n\) 够大，总偏差的概率就能压到任意小。整段推理没有一个极限符号，用的是「道德上的确定性」这个说法。
1738 年，伦敦
棣莫弗补上伯努利缺的那一半
「伯努利先生证明了这种逼近一定会发生，却没有给出计算它的方法；第二版里我把这一项补上了。」
棣莫弗《机遇论》第二版序言，1738 年（据原文译述）
他补的是误差有多大。伯努利的界只说 \(n\) 大就小，小到多少、要多少 \(n\) 才够，得靠二项分布的正态逼近来算，那是第三章的内容。
怎么算
- 判独立先算数。算出 \(P(AB)\) 和 \(P(A)P(B)\) 再比，别凭「两件事看起来无关」下结论。
- 独立就敢连乘。串联系统可靠度是各件相乘，并联系统先算全坏的概率再拿 1 减。
- 先认模型再套公式。问一句是不是 \(n\) 重伯努利试验：结果只有两种、概率不变、各次独立，三条齐了才用 \(C_n^kp^kq^{n-k}\)。
- 「至少一个」用对立事件。\(1-q^n\) 比逐项相加快得多。
- 切比雪夫三步走。写出 \(E(X)\) 与 \(D(X)\)，选好 \(\varepsilon\)，代入 \(D(X)/\varepsilon^2\)，答案是一个上界，不是精确值。
- 估样本量反着用。由 \(D(X)/(n\varepsilon^2)\le\delta\) 解出 \(n\)，向上取整。
例题
例 1 某射手每次命中率为 0.6，独立射击 5 次。求恰好命中 3 次的概率，以及至少命中 1 次的概率。
这是 \(n=5\)、\(p=0.6\) 的伯努利试验，\(P\{X=3\}=C_5^3(0.6)^3(0.4)^2=10\times0.216\times0.16=0.3456\)。至少一次用对立事件：\(1-(0.4)^5=1-0.01024=0.98976\)。两问都假定各次独立，题面里的「独立」二字不能省。
例 2 甲、乙各自独立射击一次，命中率分别是 0.8 与 0.7。求目标被击中的概率。
设 \(A\)、\(B\) 为两人命中，目标被击中即 \(A\cup B\)。由独立，两人都脱靶的概率是 \(0.2\times0.3=0.06\)，所以 \(P(A\cup B)=1-0.06=0.94\)。用加法公式结果一样，只是要多算一项 \(P(AB)=0.56\)。
例 3 掷一枚均匀硬币 1000 次，用切比雪夫不等式估计正面频率与 0.5 相差不到 0.05 的概率下界。
频率的方差是 \(pq/n=0.25/1000=2.5\times10^{-4}\)，取 \(\varepsilon=0.05\)。由切比雪夫不等式，所求概率不小于 \(1-\dfrac{2.5\times10^{-4}}{0.0025}=1-0.1=0.9\)。实际的概率远高于 0.9，这个数只是保底。
习题
A 档 巩固定义与基本计算，每题五分钟内
1. 抛一枚硬币 200 次，正面出现 110 次。写出正面的频率，并说明它与 0.5 的差是不是错误。
看答案
频率是 \(110/200=0.55\)。这不是错误，频率本来就会随试验波动，大数律只保证 \(n\) 大时偏差大到某个程度的概率很小。
2. 已知 \(P(A)=0.5\)，\(P(B)=0.4\)，\(P(AB)=0.2\)。判断 \(A\) 与 \(B\) 是否独立。
看答案
\(P(A)P(B)=0.2=P(AB)\)，等式成立，两者独立。
3. \(P(A)=0.6\)，\(P(B)=0.5\)，\(A\) 与 \(B\) 独立，求 \(P(A\cup B)\)。
看答案
\(P(AB)=0.3\)，所以 \(P(A\cup B)=0.6+0.5-0.3=0.8\)。
4. \(X\sim B(10,0.3)\)，求 \(P\{X=3\}\)。
看答案
\(C_{10}^3(0.3)^3(0.7)^7=120\times0.027\times0.08235\approx0.2668\)。
5. \(E(X)=10\)，\(D(X)=4\)，用切比雪夫不等式估计 \(P\{|X-10|\ge4\}\) 的上界。
看答案
取 \(\varepsilon=4\)，上界是 \(4/16=0.25\)。
6. 三个事件相互独立，概率都是 0.5。求至少有一个发生的概率。
看答案
三个都不发生的概率是 \(0.5^3=0.125\)，所求为 \(1-0.125=0.875\)。
B 档 综合题，接近期末与考研难度
1. 设 \(P(A)>0\)，\(P(B)>0\)。若 \(A\) 与 \(B\) 互不相容，它们能独立吗？说明理由。
看答案
不能。互不相容时 \(P(AB)=0\)，而 \(P(A)P(B)>0\)，定义式不成立。两个概率都为正时，互斥与独立互相排斥。
2. 某系统由两个元件组成，各自工作的概率都是 0.9 且相互独立。分别求串联与并联时系统正常工作的概率。
看答案
串联要两个都工作：\(0.9\times0.9=0.81\)。并联只要一个工作：\(1-(0.1)^2=0.99\)。
3. 一批产品次品率 0.05，独立抽取 20 件。求恰有 1 件次品的概率，并求至少 1 件的概率。
看答案
\(P\{X=1\}=C_{20}^1(0.05)(0.95)^{19}\approx0.3774\)。至少 1 件是 \(1-(0.95)^{20}\approx0.6415\)。
4. 在 \(n=10000\) 重伯努利试验中，用切比雪夫不等式估计频率与 \(p\) 相差不到 0.01 的概率下界，并说明为什么可以不问 \(p\) 是多少。
看答案
方差不超过 \(1/(4n)=2.5\times10^{-5}\)，代入得下界 \(1-\dfrac{2.5\times10^{-5}}{10^{-4}}=0.75\)。因为 \(p(1-p)\le1/4\)，方差上界里没有 \(p\)。
C 档 拓展与历史原题
1.（伯努利，1713）用你手上的工具重述并证明黄金定理：对任意 \(\varepsilon>0\)，\(P\{|n_A/n-p|\ge\varepsilon\}\to0\)。说清伯努利当年缺的是哪一步。
看答案
写 \(n_A\sim B(n,p)\)，得 \(E(n_A/n)=p\)，\(D(n_A/n)=pq/n\le1/(4n)\)，代入切比雪夫不等式即可。他缺的是方差这个概念，只能靠组合估计逐段压界，结论相同。
2.（棣莫弗，1738）伯努利的界在 \(n=10000\)、\(\varepsilon=0.01\) 时只给 0.75。讨论这个界为什么不能当作实际误差的估计，棣莫弗用什么补上了它。
看答案
这个界对所有分布同时有效，用到的最坏情形未必发生在二项分布上，所以偏保守。棣莫弗用二项分布的正态逼近算出偏差的近似概率，把「会不会收敛」换成了「误差多大」。
3. 正四面体的四个面分别涂红、白、黑、红白黑三色，随机掷一次。记 \(A\) 为着地那面有红色，\(B\) 为有白色，\(C\) 为有黑色。验证三者两两独立但不相互独立。
看答案
四个面等可能，各事件的概率都是 \(1/2\)，两两交的概率都是 \(1/4\)，两两独立成立。三事件交只含一个面，概率 \(1/4\)，而 \(1/2\cdot1/2\cdot1/2=1/8\)，不相等。
思考题 不设标准答案，只给提示
1. 频率和概率，哪一个是你做实验能看到的，哪一个是理论里的？用一个具体例子说明两者的关系。
看提示
能看到的只有频率，概率要靠模型算出来或者靠大数律倒推。想想一枚不知道是否均匀的硬币，你能拿到什么数据，又想回答什么问题。
2. 大数律保证频率靠近 \(p\)，那它能不能保证下一次抛硬币一定出现正面？
看提示
不能。定理管的是一个概率序列的走向，不管单次结果。把「偏差超过 \(\varepsilon\) 的概率趋于零」和「偏差不会发生」分开想。
3. 实际问题里怎么判断两个事件独立？算不出来的时候你靠什么？
看提示
多数时候靠的是对产生机制的理解：两次抛掷互不相干，因为硬币没有记忆。算不出来又拿不准时，就只能收集数据去检验，那是第九章的事。
延伸阅读
- 浙江大学《概率论与数理统计》第四版，第一章 §3 与 §6、第五章 §1。本章的记号与例题口径以这本为准。
- 伯努利《推测术》（Ars Conjectandi，1713）第四部分。英译注本见 Edith Sylla 的译本，附有他原始证明的整理。
- 棣莫弗《机遇论》第二版（1738）序言，其中讨论频率稳定与正态逼近的段落，常被收在 Pearson 写的棣莫弗传记附录里。
- Feller《概率论及其应用导论》第一卷第 1 章与第 4 章，对「频率为什么可以当概率用」讲得比课本细。