前面几章算的都是没有情报时的概率，一枚硬币抛出去正面是 1/2，一副牌抽一张抽到黑桃是 1/4。现实里的问题常带着情报：这张牌已经看清是黑桃了，这个人已经进了初筛名单了。情报一进来，同一个事件的概率就得重算，这一章讲重算用的三条公式，以及什么时候根本不用重算。
一、条件概率
工厂里有 100 个人，40 个是女工，女工里 24 个戴眼镜，男工里还有 12 个戴眼镜。你在厂门口随手拦一个，他戴眼镜的概率是 \(36/100=0.36\)，这是无条件概率。要是先看清了这是个女工，问题就变成「女工里戴眼镜的占多少」，答案是 \(24/40=0.6\)。同一个事件，多了一句情报，数就从 0.36 变成 0.6。
这个新数在课本里写作 \(P(A\mid B)\)，读作在 \(B\) 发生的条件下 \(A\) 发生的概率。它和 \(P(AB)\) 只差一个分母：\(P(AB)\) 数的是在全体 100 人里既戴眼镜又是女工的比例，\(P(A\mid B)\) 数的是在 40 个女工里既戴眼镜又是女工的比例。所以把 \(P(AB)\) 除以 \(P(B)\)，分母恰好换成 \(B\) 那一块。
定义（条件概率）
设 \(A,B\) 是两个事件，且 \(P(B)>0\)，称 \[ P(A\mid B)=\frac{P(AB)}{P(B)} \] 为在事件 \(B\) 发生的条件下事件 \(A\) 发生的条件概率。
这样定义的道理，是把样本空间从 \(\Omega\) 缩到 \(B\) 这一块：\(B\) 既然已经发生，落在 \(B\) 外面的样本点全部作废，谁也不会再从那里抽到结果。麻烦在于 \(B\) 里各点的权重还得重新分配，因为 \(P(B)\) 一般不等于 1，而概率的总和必须凑成 1。除以 \(P(B)\) 做的就是这样一次按比例放大，放大之后 \(B\) 自己的概率变成 1，\(B\) 里头各块之间的比例一点没动。
条件概率满足概率的三条公理，因为它把同一套测度限制在 \(B\) 上接着用，非负、规范性、可加性原样继承下来。所以加法公式、减法公式、对立事件公式，在竖线右边加个 \(B\) 之后照样成立。
定义里为什么要专门写明 P(B) 大于零
分母是 \(P(B)\)，等于零就除不了。概率为零的事件在连续型场合并不罕见，一个点、一条线上的概率都可能是零，所以课本在定义里先把这种情况排除掉。真要用 \(P(A\mid B)\) 而 \(P(B)=0\) 时，只能另立定义或者绕开，常规题目里不会碰到。
二、乘法公式
把定义式两边同乘 \(P(B)\)，得到一个不用除法就能用的式子，课本把它叫乘法公式。它的用处是把分步进行的试验接成一条链：先发生什么、在这之后又发生什么，每一步的概率乘起来，就是整条路径的概率。
定理（乘法公式）
设 \(P(B)>0\)，则 \(P(AB)=P(B)P(A\mid B)\)；对称地，当 \(P(A)>0\) 时也有 \(P(AB)=P(A)P(B\mid A)\)。推广到 3 个事件，当 \(P(AB)>0\) 时 \[ P(ABC)=P(A)P(B\mid A)P(C\mid AB). \]
三个事件的情形值得停一下：最后一项是 \(P(C\mid AB)\)，条件里挂着两个事件，意思是 \(A\) 和 \(B\) 都已经发生的前提下 \(C\) 的概率。写成 \(P(C\mid B)\) 就错了，因为 \(A\) 发生与否会改变剩下的样本空间。这条链可以一路延长，每加一个事件，条件里就多挂一个。
不放回抽样是乘法公式的主场。一批 10 件产品里有 3 件次品，不放回地连抽两件，两件都是次品的概率算起来是 \(\frac{3}{10}\times\frac{2}{9}=\frac{1}{15}\)：第一次抽到次品的概率是 \(3/10\)，抽走一件次品之后剩 9 件里还有 2 件次品，第二次的概率是 \(2/9\)。放回抽样的话第二次仍是 \(3/10\)，两个因子相同，那属于下一节要讲的独立。
分步做的事，概率要乘；每一步用的分母，是走完前面所有步之后剩下那个样本空间的大小。
三、全概率公式
有一类问题，直接算 \(A\) 的概率算不出来，按原因分个类就都算得出来。拿供货说：要知道任取一件零件是次品的概率，先得看它出自哪个厂；两个厂的供货比例好查，各自的次品率也好查，把两种情况分别算完再加起来，答案就有了。全概率公式就是把这个动作写成式子。
写式子之前要先约定一件事：把样本空间切成若干块，任意两块不相交，合起来正好是全部，每一块的概率都大于零。这样的一组事件叫完备事件组，也叫样本空间的一个划分。分类要分得干净，不重不漏，公式才成立。
定理（全概率公式）
设 \(B_1,B_2,\dots,B_n\) 是样本空间的一个划分，且 \(P(B_i)>0\)，则对任意事件 \(A\) 有 \[ P(A)=\sum_{i=1}^{n}P(B_i)P(A\mid B_i). \]
式子看着长，做过的动作只有两下：先用 \(B_i\) 把 \(A\) 切成互不相交的几块 \(AB_1,AB_2,\dots,AB_n\)，再用加法公式把各块加起来，每一块则用乘法公式换成分步的乘积。所以全概率公式是顺着走的，从原因推到结果，把「各种来路」的贡献汇总成一个数。
这个公式算出来的分母，下一节原封不动地还要用一遍。全概率公式把结果的总概率算成一个和，贝叶斯公式问的是这个和里各项各占多大份额，两处共用同一个分母，分开背就会背重。
分类漏掉一块会怎样
漏掉的那一块里的 \(A\) 就没有人算，和会偏小；两块相交则相交部分的 \(AB_i\) 被加了两次，和会偏大。两种情况都让等式不成立。判断有没有分干净的办法很简单：把各块的 \(P(B_i)\) 加起来，看是不是 1。
四、贝叶斯公式
全概率公式往下走一步，就撞上本章最有用的那个问题：结果已经看到了，它是哪一个原因造成的。医生拿到一张阳性化验单，想知道这个人到底有没有病；质检看到一件次品，想知道它出自哪个厂。这时候条件的方向要反过来，已知的是 \(A\)，要求的是 \(P(B_i\mid A)\)。
定理（贝叶斯公式）
设 \(B_1,B_2,\dots,B_n\) 是样本空间的一个划分，\(P(A)>0\)，则 \[ P(B_i\mid A)=\frac{P(B_i)P(A\mid B_i)}{\sum_{j=1}^{n}P(B_j)P(A\mid B_j)},\quad i=1,2,\dots,n. \]
分子是刚刚那条加法公式里的第 \(i\) 项，分母是那条公式的整个和，也就是 \(P(A)\)。贝叶斯公式做的事就是把 \(A\) 的总概率按各原因的贡献拆成若干份，某一项占的份额就是那个原因的后验概率。\(P(B_i)\) 叫先验概率，是看结果之前对这个原因的判断；\(P(B_i\mid A)\) 叫后验概率，是看过结果之后修正过的判断；\(P(A\mid B_i)\) 是这个原因产生这个结果的本事，名字叫似然。
现在把开头那个检验算到底。某病的患病率是 0.5%，一种检验对病人有 95% 报阳性，对健康人有 96% 报阴性，也就是说健康人里有 4% 会被错报成阳性。某人做了一次，结果阳性，他真有病的概率是多少？
把 1000 个人摆出来数最清楚：1000 人里 5 个病人，这 5 个里有 \(5\times0.95=4.75\) 个报阳性；剩下 995 个健康人里有 \(995\times0.04=39.8\) 个被错报成阳性。阳性一共 \(4.75+39.8=44.55\) 人，其中真有病的只有 4.75 个，比例是 0.107。换成公式就是 \(\frac{0.005\times0.95}{0.005\times0.95+0.995\times0.04}=\frac{0.00475}{0.04455}=0.107\)，两个算法都是同一个分母。
结论是阳性的人里十个大约只有一个是真病人。这个数低得让人不舒服，原因却平淡：健康人的基数太大，4% 的错报率乘上 995 人，出来的数远大于病人那一小撮报出的 4.75 人。检验本身没错，出问题的是先验太小，0.005 这个起点把后验拖住了。
这也解释了复查的道理。第一次阳性的结果把先验从 0.005 抬到 0.107，第二张化验单就在这个新起点上再算一遍：\(\frac{0.107\times0.95}{0.107\times0.95+0.893\times0.04}\approx0.74\)。同一个检验，同一个结果，后验从一成跳到七成，换的只有先验。医生让你复查不是在拖时间，是在把先验换成后验再算一次。
P(A|B) 和 P(B|A) 为什么常常差得很远
前者是「有病的人里有多少报阳性」，后者是「报阳性的人里有多少真有病」。前一个数由检验仪器的性能决定，后一个数还被患病率拉着走。常见的错法是把两者当成同一个数，于是把「95% 的病人能查出来」读成「阳性的 95% 是病人」，一步就把 0.107 错当成 0.95。
1763 年，伦敦
普莱斯整理出来的遗稿
「已知某未知事件在若干次试验中出现与不出现的次数，求它单次出现的概率落在任意两个给定界限之间的机会。」
贝叶斯《论机会学说中一个问题的求解》，1763 年由普莱斯代为宣读，此处为译述
贝叶斯 1761 年去世，手稿由普莱斯整理并补了引言，1763 年在皇家学会宣读。他假设未知概率在 \([0,1]\) 上均匀分布，用几何方法算出了后验的分布，那是本章公式最早的一次完整使用。
1774 年，巴黎
拉普拉斯把公式当成推断工具
「每个原因的概率，等于该原因之下观察到这件事的概率乘上它自身的先验概率，再除以全部原因下这些乘积之和。」
拉普拉斯《论事件原因的概率》，1774 年，此处为译述
拉普拉斯不知道贝叶斯那篇论文，独立得到了同一个式子，随后用它处理天文观测误差、人口统计和法庭证据。20 世纪以后，贝叶斯方法从长期被冷落变成与频率学派并列的一派，争论的焦点一直是先验从哪里来。
五、事件的独立性
条件概率里有种特殊情形：\(B\) 发生之后 \(A\) 的概率一点没变，情报等于白给。写成式子就是 \(P(A\mid B)=P(A)\)，把它代入条件概率的定义，得到 \(P(AB)=P(A)P(B)\)。这个式子左右对称，也不必要求 \(P(B)>0\)，课本就拿它当独立的定义。
定义（相互独立）
设 \(A,B\) 是两个事件，若 \[ P(AB)=P(A)P(B), \] 则称事件 \(A\) 与 \(B\) 相互独立，简称 \(A,B\) 独立。
用乘法形式定义还有一层好处：\(P(B)=0\) 时条件概率没定义，独立性却照样说得清。判断两个事件独立多半不靠算，靠对机制的了解：两次抛掷互不相干，因为硬币没有记忆；两台机器的故障互不相干，因为零件不共用。
要注意独立和互不相容完全是两件事。互不相容说的是 \(AB\) 里一个样本点也没有，\(P(AB)=0\)；独立说的是 \(P(AB)\) 恰等于两个概率的乘积。两个概率都大于零的事件不可能既互不相容又相互独立，因为那时乘积大于零，而交的概率是零。
事件多了以后，独立要分层。3 个事件 \(A,B,C\) 相互独立，要求 4 个等式同时成立：两两的 3 个乘积式，加上 \(P(ABC)=P(A)P(B)P(C)\)。只满足前 3 个的叫两两独立。一般地，\(n\) 个事件相互独立要求任意 \(k\) 个（\(2\le k\le n\)）事件交的概率都等于各自概率的乘积，这样的等式一共有 \(2^{n}-n-1\) 个。
定义（n 个事件相互独立）
设 \(A_1,A_2,\dots,A_n\) 是 \(n\) 个事件，若对任意 \(k\)（\(2\le k\le n\)）和任意 \(k\) 个事件 \(A_{i_1},\dots,A_{i_k}\)，都有 \[ P(A_{i_1}A_{i_2}\cdots A_{i_k})=P(A_{i_1})P(A_{i_2})\cdots P(A_{i_k}), \] 则称这 \(n\) 个事件相互独立。若等式只对 \(k=2\) 成立，称它们两两独立。
相互独立一定两两独立，反过来不成立，这一点年年考。两两独立只查每一对之间的配合，管不到三个事件同时发生那一次。课本的反例是一颗四面体骰子，四个面分别涂红、白、黑和红白黑三色，记 \(A\) 为着地面带红，\(B\) 为带白，\(C\) 为带黑，三个事件的概率都是 \(1/2\)，两两交都是 \(1/4\)，三事件交只落在三色那一面，概率 \(1/4\)，而 \(1/2\times1/2\times1/2=1/8\)。
两两独立为什么不够用
两两独立能保证「任意两个事件同时发生」的概率算得对，三个一起发生却可能出错。用它去算「至少一个发生」时，三条边上的修正项都对，角落那一项会差。四面体那例子里，至少一个发生的概率是 1，套两两独立的式子只算出 \(1.5-0.75=0.75\)，缺的就是三面重叠那一块。
怎么算
- 先问情报是什么。题目里出现「已知……」「在……条件下」，多半要用条件概率，条件就是竖线右边那个事件。
- 写清分母。用条件概率之前，把 \(P(B)\) 先算出来写在纸上，分母错了整道题都错。
- 分步就相乘。做一件事要分几步，用乘法公式顺着乘，每个因子配当时的样本空间。
- 结果难算就分类。直接算 \(A\) 算不动，找一组不重不漏的划分，用全概率公式加总。
- 反向就上贝叶斯。知道结果问原因，分子取加法里那一项，分母直接用全概率公式的和，不要重算。
- 小概率先换人数。患病率、次品率低于 1% 时，把 1000 人或 10000 人摆出来数，比代公式不容易错。
- 独立要验乘法。题目说独立是条件，可以直接乘；要你判断独立，就回头算 \(P(AB)\) 与 \(P(A)P(B)\) 是不是相等。
写答案时把两件事写清楚：谁是条件，谁是被算的事件。贝叶斯公式的题建议按「先验、似然、分母、后验」四步列式，中间不跳步，跳步最容易把分子分母弄反。
例题
例 1 10 件产品中有 3 件次品，不放回地依次取 2 件。求两件都是次品的概率。
设 \(A_i\) 为第 \(i\) 次取到次品。\(P(A_1)=3/10\)，第一次拿掉一件次品后剩 9 件、其中 2 件次品，故 \(P(A_2\mid A_1)=2/9\)。由乘法公式 \(P(A_1A_2)=\frac{3}{10}\times\frac{2}{9}=\frac{1}{15}\approx0.067\)。
例 2 甲乙两厂供应同一批零件，甲厂占 60%，次品率 1%；乙厂占 40%，次品率 2%。任取一件，求它是次品的概率；已知它是次品，求它来自甲厂的概率。
记 \(B_1,B_2\) 为来自甲乙两厂，\(A\) 为次品。\(P(A)=0.6\times0.01+0.4\times0.02=0.014\)。再由贝叶斯公式 \(P(B_1\mid A)=\frac{0.006}{0.014}=\frac{3}{7}\approx0.429\)。分母就是前一问算出的 0.014。
例 3 设 \(P(A)=P(B)=P(C)=\frac12\)，三者两两独立，且 \(P(ABC)=0\)。求 \(P(A\cup B\cup C)\)，并说明三者是否相互独立。
两两交的概率都是 \(1/4\)，代入加法公式 \(P(A\cup B\cup C)=\frac32-\frac34+0=\frac34\)。若三者相互独立，三交应为 \(1/8\)，和是 \(\frac78\)，与实际不符，故不相互独立。
习题
A 档 巩固定义与基本计算，每题五分钟内
1. 已知 \(P(A)=0.4\)，\(P(B)=0.5\)，\(P(AB)=0.2\)。求 \(P(A\mid B)\)、\(P(B\mid A)\)，并判断 \(A\) 与 \(B\) 是否独立。
看答案
\(P(A\mid B)=0.2/0.5=0.4\)，\(P(B\mid A)=0.2/0.4=0.5\)。又 \(P(A)P(B)=0.2=P(AB)\)，故二者独立。
2. 10 件产品中 3 件次品，不放回取 2 件。求第二件是次品的概率（不管第一件是什么）。
看答案
用全概率公式，按第一件分：\(\frac{3}{10}\times\frac{2}{9}+\frac{7}{10}\times\frac{3}{9}=\frac{1}{15}+\frac{7}{30}=\frac{3}{10}\)。和不放回无关，答案就是 0.3。
3. 甲乙两厂供货 60% 与 40%，次品率 1% 与 2%。任取一件是次品的概率是多少？
看答案
\(0.6\times0.01+0.4\times0.02=0.006+0.008=0.014\)。
4. 条件同上，已知取到的是次品，求它来自乙厂的概率。
看答案
\(\frac{0.008}{0.014}=\frac{4}{7}\approx0.571\)。乙厂货少，次品率高一倍，后验反而占了优势。
5. 三个事件相互独立，概率分别为 0.5、0.4、0.3。求至少有一个发生的概率。
看答案
一个都不发生的概率是 \(0.5\times0.6\times0.7=0.21\)，所求为 \(1-0.21=0.79\)。
6. 某人射击命中率 0.8，各次相互独立。连射 3 次，求至少命中一次的概率。
看答案
三次全不中的概率是 \(0.2^3=0.008\)，所求为 \(1-0.008=0.992\)。
B 档 综合题，接近期末与考研难度
1. 已知 \(P(A\mid B)=0.6\)，\(P(B)=0.5\)，\(P(A)=0.4\)。求 \(P(B\mid A)\) 与 \(P(A\cup B)\)。
看答案
\(P(AB)=0.5\times0.6=0.3\)，故 \(P(B\mid A)=0.3/0.4=0.75\)，\(P(A\cup B)=0.4+0.5-0.3=0.6\)。
2. 某系统由三个元件组成，1 号与 3 号并联后再与 2 号串联，各元件正常工作的概率都是 0.9 且相互独立。求系统正常工作的概率。
看答案
并联部分正常工作概率为 \(1-0.1\times0.1=0.99\)，再与 2 号串联：\(0.99\times0.9=0.891\)。
3. 甲袋 2 白 3 黑，乙袋 1 白 3 黑。从甲袋任取一球放入乙袋，再从乙袋取一球。求取到白球的概率。
看答案
按放入的是白是黑分类：\(\frac25\times\frac25+\frac35\times\frac15=\frac{4}{25}+\frac{3}{25}=\frac{7}{25}=0.28\)。
4. 设 \(P(A)=P(B)=P(C)=\frac12\)，三者两两独立。若 \(P(ABC)=0\)，求 \(P(A\cup B\cup C)\)；若三者相互独立，这个概率又是多少？
看答案
前一种是 \(\frac32-\frac34+0=\frac34\)，后一种是 \(\frac32-\frac34+\frac18=\frac78\)。同一组两两独立的数据能给出两个不同的答案，可见两两独立不够。
C 档 拓展与历史原题
1.（贝叶斯，1763）设未知概率 \(p\) 的先验在 \([0,1]\) 上均匀，做了 \(n\) 次独立试验成功 \(x\) 次。求 \(p\) 的后验密度与后验均值。
看答案
后验密度正比于 \(p^{x}(1-p)^{n-x}\)，即 Beta\((x+1,n-x+1)\)。贝叶斯当年用几何方法算出的是 \(p\) 落在某区间内的概率，用的是同一个积分。
2. 某病患病率 0.1%，检验灵敏度 0.99，特异度 0.95。一次阳性之后真有病的概率是多少？同一人复查又阳性呢？
看答案
第一次为 \(\frac{0.001\times0.99}{0.001\times0.99+0.999\times0.05}\approx0.28\)，第二次以 0.28 为先验，得约 0.89。两次之间要求两次结果在给定病情下独立，这个条件常被忽略。
3.（蒙提霍尔）三扇门后有一辆车两只羊。你选了 1 号，主持人知道车在哪，打开有羊的 3 号，问你换不换 2 号。
看答案
不换中车的概率是 \(1/3\)，换门是 \(2/3\)。主持人开门这一步带进了信息，它把 2 号与 3 号合计的 \(2/3\) 全压到了没开的那扇门上。
思考题 不设标准答案，只给提示
1. \(P(A\mid B)\) 与 \(P(B\mid A)\) 可以差多远？用你自己生活里的一个例子说明。
看提示
想一个「条件很常见、结果却很少见」的场合，比如「带伞的人里下雨的比例」和「下雨时带伞的比例」。两个数由完全不同的东西决定。
2. 两两独立为什么不够用？一条只用两两独立的推理，可能在哪一步出错？
看提示
检查这条推理有没有把三个事件同时发生当成乘积。三个事件一起出事的时候，两两之间的配合管不到那一块重叠。
3. 完全没有先验知识时，贝叶斯公式还能用吗？
看提示
公式本身要求给先验，没有先验就没有输入。均匀先验是一种选择，可它也是一种主张。两个学派吵了一百年，吵的就是这一步。
延伸阅读
- 浙江大学《概率论与数理统计》第四版，第一章 §4 与 §5。本章的记号、例题口径与习题难度以这本为准。
- 贝叶斯《论机会学说中一个问题的求解》（1763），重印于 Biometrika 第 45 卷（1958），附巴纳德写的导读，把普莱斯的引言与原文分开排了。
- Stigler, The History of Statistics，第 3 章。讲清贝叶斯与拉普拉斯两人工作的关系，以及逆概率为什么在 19 世纪被冷落。
- Rosenhouse, The Monty Hall Problem，第 1 至 3 章。三门问题的各种变体，以及为什么连数学家也会答错。