二项概率 \(C_n^kp^kq^{n-k}\) 在 \(n\) 小的时候还能一个数一个数地算,\(n\) 上到 100,手算就只剩查表这一条路。1733 年棣莫弗找到一条曲线,能把整张表替掉,印出来以后几乎没人注意;1812 年拉普拉斯在《概率的分析理论》里重新算出它,顺手用在天文观测的误差上。这一章讲这条曲线的密度、标准化和查表,也讲它为什么会从二项分布里长出来。
一、二项概率算不动了
抛一枚硬币 100 次,问正面出现 56 次以上的概率。式子写出来只有一行,\(P=\sum_{k=56}^{100}C_{100}^k\left(\tfrac12\right)^{100}\),要算出数字,得把四十多个组合数挨个算出来相加,每一项还拖着 \(2^{-100}\) 这样的量。\(n\) 再往上走,比如抽检 1000 件产品问次品不超过 5 件的概率,这条手算的路就彻底断了。
有一片区域里公式能瘦下来:当 \(p\) 很小、\(n\) 很大、而乘积 \(np\) 稳在一个中等数上时,二项概率几乎只由 \(\lambda=np\) 决定,组合数那一大坨可以整块换掉。课本把这条结论叫泊松定理,它把查表的工作从一串组合数转到了指数函数上。
定理(泊松定理)
设 \(np_n\to\lambda>0\)(\(\lambda\) 为常数),则对任意固定的 \(k=0,1,2,\dots\),有 \(\lim\limits_{n\to\infty}C_n^kp_n^k(1-p_n)^{n-k}=\dfrac{\lambda^k}{k!}e^{-\lambda}\)。实际计算中 \(n\ge20\)、\(p\le0.05\) 时,直接取 \(P_n(k)\approx\dfrac{(np)^k}{k!}e^{-np}\)。
泊松近似管的是一类事:一页纸上的错字、一批零件里的次品、一小时里打进来的电话。这些事件单次发生的机会极小,\(n\) 次里能撞上几回主要看 \(\lambda\)。抛硬币的参数落在另一片地方,\(p=0.5\) 时 \(\lambda\) 会跟着 \(n\) 一路涨到 50、500,指数尾巴只往一边拖,而二项分布在 \(p=0.5\) 时两边一样长,两条曲线差得越来越远。
两个条件哪一个更要紧
\(p\) 小是前提,\(np\) 不过大是补充。经验判据是 \(n\ge20\) 且 \(p\le0.05\),或者 \(n\ge100\) 且 \(np\le10\)。抛 100 次硬币时 \(p=0.5\)、\(\lambda=50\),用泊松公式算出来的值与精确值差好几个数量级,因为泊松分布只有一条右边的尾巴。
二、柱顶连成一条曲线
把二项概率按 \(k\) 画成柱状图,\(n=10\) 时柱顶高低参差,看不出章法;\(n=20\) 时轮廓开始变圆;\(n=50\) 时柱顶几乎全落在一条光滑曲线上,中间高、两边低、左右对称。这条曲线的中心在 \(np\),两个拐点离中心约 \(\sqrt{npq}\),方程能从二项系数直接推出来,用的工具是斯特林公式。
为了把不同的 \(n\) 放在一起比,先把横轴的单位换掉:把 \(k\) 减掉中心 \(np\),再除以 \(\sqrt{npq}\)。换完之后,无论 \(n\) 是 10 还是 500,分布的中心都挪到原点,宽度都归一成 1,剩下要看的只是形状贴得多紧。
定理(棣莫弗-拉普拉斯局部极限定理)
设 \(X\sim B(n,p)\),\(0<p<1\),\(q=1-p\),记 \(x_k=\dfrac{k-np}{\sqrt{npq}}\),\(\varphi(x)=\dfrac{1}{\sqrt{2\pi}}e^{-x^2/2}\)。则当 \(n\to\infty\) 时,对 \(k\) 一致地有 \(\sqrt{npq}\,P_n(k)\to\varphi(x_k)\),即 \(P_n(k)\approx\dfrac{1}{\sqrt{2\pi npq}}\exp\left[-\dfrac{(k-np)^2}{2npq}\right]\)。
式子里两个因子分工不同。前面的系数 \(1/\sqrt{2\pi npq}\) 定高度,\(n\) 越大 \(npq\) 越大,系数越小,柱子被压得越矮;指数分母里的 \(2npq\) 定宽度,\(n\) 越大分布摊得越开。这两件事同时发生,柱子底下的总面积始终是 1,矮下去的那部分正好摊到了两边去。
图上能看出近似的成色:\(n=10\) 时柱顶离曲线有明显的缝,\(n=50\) 时缝细到要凑近看。误差的量级约是 \(1/\sqrt{n}\),\(n\) 增大 100 倍,近似才精确 10 倍,所以 \(n=30\) 上下的题目用这条定理是划算的,\(n=8\) 就不划算了。
柱子为什么连成钟形?成功次数是一串 0 与 1 的和,每个 0-1 量自己只有两根柱子,谈不上钟形。把它们加起来,走到中间值的路线最多,走到两头的路线最少,\(C_n^k\) 数的就是路线条数,钟形的轮廓由这些路线堆出来。加的次数越多,轮廓越贴近同一条曲线,二项分布只是这条规律最早被看见的地方。
常数 \(1/\sqrt{2\pi}\) 从哪来
密度曲线下的面积必须等于 1,否则它算出来的不是概率。直接算 \(\int_{-\infty}^{+\infty}e^{-x^2/2}\,dx\) 得到 \(\sqrt{2\pi}\),办法是把它平方,化成极坐标下的二重积分,角度那一路积出 \(2\pi\)。系数只能取 \(1/\sqrt{2\pi}\),这个数是被面积条件逼出来的,不带经验成分。
三、从一次成功到一段区间
局部定理给的是单个 \(k\) 的概率,可实际问的往往是一段:命中次数在 45 到 55 之间、误差不超过 2 毫米、次品不多于 5 件。这类概率是一串相邻的 \(P_n(k)\) 相加,柱子挨着柱子,加起来正好是曲线底下的一块面积。
定理(棣莫弗-拉普拉斯积分极限定理)
条件同上,对任意 \(a<b\)(\(a\) 可取 \(-\infty\),\(b\) 可取 \(+\infty\)),当 \(n\to\infty\) 时 \(P\left(a<\dfrac{X-np}{\sqrt{npq}}\le b\right)\to\Phi(b)-\Phi(a)\),其中 \(\Phi(x)=\dfrac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-t^2/2}\,dt\)。
从和到积分只差一步。标准化以后,相邻两根柱子之间的间距是 \(\Delta x=1/\sqrt{npq}\),柱高乘以柱宽就是面积,把一块块面积加起来就是黎曼和的样子,\(n\) 大时柱宽趋于零,和就变成积分。这条定理第一次把二项分布接到一条光滑曲线上,一般化之后的版本叫中心极限定理,放在第八章。
1733 年,伦敦
一篇印了几十本的小册子
「当项数很多时,二项式展开各项的比值,可以用一条连续曲线的纵坐标来逼近。」
棣莫弗《二项级数和的近似》,1733 年(拉丁文,此处为译述)
这本小册子是他自己印的,送出去以后没什么回音。1812 年拉普拉斯在《概率的分析理论》里独立得到同一条曲线,把它接到天文观测的误差上,钟形才进入日常计算。
算的时候有个小动作不能省:二项分布落在整数点上,曲线是连着的,两端的界要各往外挪半格再标准化,叫连续性修正。\(P(45\le X\le55)\) 换成 \(P(44.5<X<55.5)\) 去积,\(n\) 不特别大时这一步能把误差压掉一截。
半格为什么是 0.5
离散的 \(k\) 在曲线眼里占的是 \([k-0.5,k+0.5)\) 这一段,它的概率等于这一段上的面积。求 \(X\le55\) 时 55 这一格要整个算进去,上界就取 55.5;求 \(X\ge45\) 时下界取 44.5。连续型的概率在单个点上为零,端点归不归那一侧不影响答案。
高尔顿板把这件事做成了机械版。钉子一层层排成三角形,小球落下来每碰一颗钉子,向左或向右各一半机会,碰到第 \(i\) 层就算做了第 \(i\) 次伯努利试验。落到最底层第 \(k\) 格,说明 8 次里有 \(k\) 次向右,这样的路线有 \(C_8^k\) 条,每条的概率是 \(2^{-8}\),格子里的柱高就是二项概率。
四、正态分布的密度与标准化
前面反复用到的那条曲线有自己的名字与参数。它的密度写出来只有两个常数,一个管位置,一个管胖瘦,其他分布里那些零碎的项在这里全都不见了。
定义(正态分布)
若随机变量 \(X\) 的密度为 \(f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\),\(-\infty<x<+\infty\),其中 \(\mu\)、\(\sigma\)(\(\sigma>0\))为常数,则称 \(X\) 服从参数为 \(\mu,\sigma^2\) 的正态分布,记作 \(X\sim N(\mu,\sigma^2)\)。\(\mu=0\)、\(\sigma=1\) 时称标准正态分布,密度记作 \(\varphi(x)\),分布函数记作 \(\Phi(x)\)。
\(\mu\) 决定曲线落在哪儿,图形关于 \(x=\mu\) 对称,两边各占一半面积;\(\sigma\) 决定胖瘦,\(\sigma\) 小则塔尖高而窄,\(\sigma\) 大则矮而宽,可总面积一直是 1。曲线的两个拐点在 \(\mu\pm\sigma\),再往外的尾巴以 \(e^{-x^2}\) 的速度贴向横轴,永远碰不到。
这个密度积不出初等原函数,所以 \(N(\mu,\sigma^2)\) 的概率没法套现成的原函数来算。绕开的办法是换元,把任意一个正态搬到标准正态上,搬一次,后面的活全交给同一张表。
定理(正态分布的标准化)
设 \(X\sim N(\mu,\sigma^2)\),则 \(Z=\dfrac{X-\mu}{\sigma}\sim N(0,1)\),分布函数 \(F(x)=\Phi\left(\dfrac{x-\mu}{\sigma}\right)\),从而 \(P(a<X\le b)=\Phi\left(\dfrac{b-\mu}{\sigma}\right)-\Phi\left(\dfrac{a-\mu}{\sigma}\right)\)。
验证只要一行:\(P(Z\le z)=P(X\le\mu+\sigma z)=\int_{-\infty}^{\mu+\sigma z}f(x)\,dx\),令 \(t=(x-\mu)/\sigma\),积分换成 \(\int_{-\infty}^{z}\varphi(t)\,dt\),被积式里的 \(\sigma\) 被换元约掉,只剩下标准的那一份。这也说明了标准化为什么一劳永逸:所有正态分布是同一个分布拉伸平移出来的。
\(\mu\) 和 \(\sigma^2\) 为什么正好是期望与方差
算一遍 \(\int xf(x)\,dx\) 与 \(\int(x-\mu)^2f(x)\,dx\) 就知道。换元到标准正态后,前者是 \(\mu+\sigma\int t\varphi(t)\,dt=\mu\),后者是 \(\sigma^2\int t^2\varphi(t)\,dt=\sigma^2\),而 \(\int t^2\varphi(t)\,dt=1\)。两个参数的名字来自这两次积分,第七章会用矩的算法再算一遍。
五、误差为什么长成钟形
望远镜读数、天平称量、基线丈量,同一个量测很多次,读数不会一样。把读数点画在数轴上,靠近真值的密、离得远的稀,两边大致对称,形状跟上面那条曲线对得上。这种散布有来由:一次测量的误差由许多互不相干的小因素叠加而成,气温、刻度、人眼的分辨、仪器的零点漂移,每个因素单独看都很小,加在一起就成了中间高两边低的形状。
定理(误差的正态模型)
若测量误差 \(\varepsilon\) 由大量相互独立的微小因素叠加而成,其中每一个的影响都比总误差小得多,则 \(\varepsilon\) 近似服从 \(N(0,\sigma^2)\),\(\sigma\) 由这些因素的大小合成。课本把它当模型假设使用,它的分量来自中心极限定理。
1809 年,哥廷根
《天体运动论》里的误差律
「观测的误差若由无数互不相干的原因合成,每个原因只造成很小的偏差,则误差的分布就是这条曲线。」
高斯《天体运动论》第 177 节,1809 年(拉丁文,此处为译述)
高斯用它给最小二乘找理由:误差按正态分布时,最小二乘给出的那个值就是最可能的一个。拉普拉斯 1812 年在误差理论里把它推开,测地、天文、弹道都照着用。
\(\sigma\) 的大小于是成了仪器的精度指标。同一台仪器量 \(n\) 次取平均,平均值的标准差是 \(\sigma/\sqrt{n}\),想把精度提高一倍,测量次数要翻四倍。这笔账在第八章讲区间估计时会再算一遍,那时 \(\sigma\) 还要换成样本标准差。
怎么算
手上那张表长这样:最左一列是 \(z\) 的整数位与第一位小数,最上一行是第二位小数,行列交叉的那一格就是 \(\Phi(z)\)。查 1.96 时先找行首 1.9,再找列首 0.06,交点上是 0.9750;反过来找分位点时,在表里挑最接近给定概率的那一格,行首列首拼起来就是 \(z\)。
- 先标准化。把每个端点换成 \(z=\dfrac{x-\mu}{\sigma}\),除完保留两位小数,后面全靠这两位。
- 再查表。表里给的是 \(\Phi(z)\),\(z\) 只排到 0 到 3.99;\(z\) 为负时用对称性 \(\Phi(-z)=1-\Phi(z)\)。
- 区间相减。\(P(a<X<b)=\Phi(z_b)-\Phi(z_a)\),连续型在端点上的概率为零,开区间闭区间一个样。
- 反查分位点。给概率求 \(x\),先在表里找最接近的那个数,行首加列首得到 \(z\),再代回 \(x=\mu+\sigma z\)。
- 二项近似分三步。算 \(\mu=np\) 与 \(\sigma=\sqrt{npq}\),端点各向外挪 0.5,然后照上面四步走。
- 报数。概率报四位小数,反查出来的 \(z\) 报三位,够用了。
表里为什么只有正半轴
标准正态关于 0 对称,负半轴的面积正好等于 1 减去镜像点的面积,印两遍只是浪费纸。有的表给的是 \(\Phi(z)-0.5\) 或上分位点,用之前先看一眼表头,三种口径差着一个常数。表末的 \(z_{0.025}=1.96\) 与 \(z_{0.05}=1.645\) 是查得最多的两个数。
例题
例 1 设 \(X\sim B(100,0.5)\),用正态近似求 \(P(45\le X\le55)\),并与精确值 0.7287 比较。
\(\mu=np=50\),\(\sigma=\sqrt{npq}=5\)。两端各挪半格得 44.5 与 55.5,标准化为 \(-1.1\) 与 \(1.1\)。查表得 \(2\Phi(1.1)-1=2\times0.8643-1=0.7286\),与精确值只差 0.0001。
例 2 设 \(X\sim N(3,4)\),求 \(P(2<X<5)\) 与 \(P(|X-3|>2)\)。
\(\sigma=2\)。端点 2、5 标准化为 \(-0.5\) 与 \(1\),概率为 \(\Phi(1)-\Phi(-0.5)=0.8413-0.3085=0.5328\)。\(P(|X-3|>2)=P(|Z|>1)=2(1-\Phi(1))=0.3174\)。
例 3 某仪器的测量误差 \(\varepsilon\sim N(0,0.5^2)\)(毫米),求 95% 的误差落在其中的对称区间半宽 \(d\)。
要求 \(P(|\varepsilon|\le d)=0.95\),即 \(\Phi(d/0.5)=0.975\)。表里最接近 0.975 的是 \(\Phi(1.96)=0.9750\),故 \(d/0.5=1.96\),\(d\approx0.98\) 毫米。
习题
A 档 巩固定义与基本计算,每题五分钟内
1. 设 \(X\sim B(200,0.3)\),写出它的标准化变量,并求均值与标准差。
看答案
\(\mu=np=60\),\(\sigma=\sqrt{npq}=\sqrt{42}\approx6.48\),标准化变量是 \(Z=(X-60)/6.48\)。
2. \(n=1000\)、\(p=0.002\),用泊松近似求恰有 3 次成功的概率。
看答案
\(\lambda=np=2\),概率为 \(\dfrac{2^3}{3!}e^{-2}=\tfrac43\times0.1353\approx0.1804\)。
3. 查表求 \(\Phi(1.28)\)、\(\Phi(-0.65)\)、\(\Phi(2.05)\)。
看答案
依次是 0.8997、\(1-0.7422=0.2578\)、0.9798。
4. 设 \(X\sim N(0,1)\),求 \(P(-1.5<X<1.5)\) 与 \(P(X>1.96)\)。
看答案
前者为 \(2\Phi(1.5)-1=2\times0.9332-1=0.8664\);后者为 \(1-\Phi(1.96)=0.0250\)。
5. 设 \(X\sim N(10,4)\),求 \(P(X<12)\) 与 \(P(8<X<13)\)。
看答案
\(\sigma=2\)。\(12\) 对应 \(z=1\),概率 0.8413;\(8\) 与 \(13\) 对应 \(z=-1\) 与 \(1.5\),概率 \(0.9332-0.1587=0.7745\)。
6. \(X\sim B(400,0.5)\),用正态近似求 \(P(X\le210)\)。
看答案
\(\mu=200\),\(\sigma=10\)。上界取 210.5,\(z=1.05\),概率为 \(\Phi(1.05)=0.8531\)。
B 档 综合题,接近期末与考研难度
1. 1000 人参加考试,成绩近似 \(N(70,100)\),估计 80 分以上与 60 到 80 分之间各有多少人。
看答案
80 分对应 \(z=1\),比例 \(1-0.8413=0.1587\),约 159 人。60 到 80 分对应 \(z\) 从 \(-1\) 到 \(1\),比例 0.6826,约 683 人。
2. \(X\sim B(800,0.4)\),求 \(P(300\le X\le340)\)。
看答案
\(\mu=320\),\(\sigma=\sqrt{192}\approx13.86\)。修正后端点为 299.5 与 340.5,对应 \(z=\mp1.48\),概率 \(2\Phi(1.48)-1=0.861\)。
3. 测量误差 \(\varepsilon\sim N(0,4)\),独立测 9 次取平均,求平均误差绝对值小于 0.6 的概率。
看答案
\(\sigma=2\),平均值的标准差为 \(2/3\)。端点 \(\pm0.6\) 对应 \(z=\pm0.9\),概率 \(2\Phi(0.9)-1=0.6318\)。
4. 设 \(X\sim N(\mu,\sigma^2)\),已知 \(P(X<2)=0.3\)、\(P(X>6)=0.2\),求 \(\mu\) 与 \(\sigma\)。
看答案
两式给出 \((2-\mu)/\sigma=-0.524\) 与 \((6-\mu)/\sigma=0.842\)。相减得 \(4/\sigma=1.366\),\(\sigma\approx2.93\),回代得 \(\mu\approx3.54\)。
C 档 拓展与历史原题
1.(棣莫弗,1733)用 \(\ln n!=\sum_{k=1}^{n}\ln k\) 与 \(\int_1^n\ln x\,dx\) 的差,推出 \(n!\approx\sqrt{2\pi n}\,(n/e)^n\),并算 \(n=10\) 时与 3628800 的相对误差。
看答案
\(\int_1^n\ln x\,dx=n\ln n-n+1\),它与和式的差随 \(n\) 缓慢变化,配成 \(\tfrac12\ln(2\pi n)\) 就得到斯特林公式,常数来自瓦利斯积分。\(n=10\) 时近似值 3598695.6,相对误差 0.83%。棣莫弗给出了前几项,斯特林 1730 年补上整条式子。
2. 用正态近似算 \(B(100,0.5)\) 的 \(P(45\le X\le55)\),与精确值 0.7287 对比;再把 \(n\) 换成 400 重做一遍。
看答案
\(n=100\) 时近似 0.7286,误差 0.0001;\(n=400\) 时 \(\mu=200\)、\(\sigma=10\),端点 179.5 与 220.5 对应 \(z=\pm2.05\),得 0.9596,精确值 0.9598。误差随 \(n\) 增大而收窄,量级是 \(1/\sqrt{n}\)。
3. 8 层高尔顿板,求小球落在第 3 到第 5 格(含)的概率,并用正态近似核对。
看答案
精确值 \(\dfrac{56+70+56}{256}=\dfrac{182}{256}=0.7109\)。按 \(B(8,\tfrac12)\) 近似,\(\mu=4\)、\(\sigma=\sqrt2\),端点 2.5 与 5.5 对应 \(z=\pm1.06\),得 \(2\Phi(1.06)-1=0.7108\)。8 层这么小的板子也对得上,靠的是那半步修正。
思考题 不设标准答案,只给提示
1. 正态密度的原函数不是初等函数,课本为什么照样拿它算概率?
看提示
要的是区间上的面积,不必写出原函数。标准化把所有正态化到同一张 \(\Phi\) 表上,表由数值积分算出来;计算机普及以前,这张表就是正态分布全部可用的部分。
2. \(n\) 要多大,二项分布才算接近正态?
看提示
没有统一的下界,常用判据是 \(np>5\) 且 \(nq>5\),偏态越重要求越大。\(p=0.5\) 时 \(n=10\) 已能看出轮廓,\(p=0.05\) 时要几百次,可以拿 \(npq\) 大小先估一下。
3. 高尔顿板的钉子如果一侧比另一侧容易过,底层还是钟形吗?
看提示
还是钟形,中心挪到 \(np\),形状照样光滑。真正变样的是 \(p\) 贴近 0 或 1 的时候:对称没了,右边拖一条长尾巴,泊松分布接管。
延伸阅读
- 浙江大学《概率论与数理统计》第四版,第二章 §4 与 §5、第五章 §2。本章的记号与例题口径以这本为准。
- 棣莫弗《二项级数和的近似》(Approximatio ad summam terminorum binomii,1733),英译收在他《机遇论》1738 年第二版的附录里。
- 拉普拉斯《概率的分析理论》(Théorie analytique des probabilités,1812)第二卷,误差与最小二乘的章节。
- 高斯《天体运动论》(Theoria motus corporum coelestium,1809)第 175 至 177 节,误差正态律的原始陈述。