掷一枚均匀的骰子，没人知道下一次落在几点，可是押注的人、卖保险的人、抽查产品的人，开口都得先说出一个数。办法是把每个结果乘上它出现的概率，再全部加起来，得到的这个数叫数学期望。1657 年惠更斯在一本讲赌博的小册子里第一次把这套加法写成规则，此后三百年里，它一直是概率论中被算得最多的量。
一、期望：按概率称一遍的平均
平均数你早就会算，五个数加起来除以五，可骰子的六个面不会每次都出现一遍：掷 600 次，1 点大约来 100 次，6 点也大约 100 次，直接除以 6 等于假定每个面占一样的分量。要让来得多的结果说话大声一点，就得给每个取值配一个权重，而现成的权重就是概率。
定义（数学期望）
设离散型随机变量 \(X\) 的分布律为 \(P\{X=x_k\}=p_k\)，\(k=1,2,\dots\)。若级数 \(\sum_k x_kp_k\) 绝对收敛，就称它的和为 \(X\) 的数学期望，记作 \(E(X)=\sum_k x_kp_k\)。设连续型随机变量 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int_{-\infty}^{+\infty}xf(x)\,dx\) 绝对收敛，就称它为 \(X\) 的数学期望，记作 \(E(X)=\int_{-\infty}^{+\infty}xf(x)\,dx\)。
骰子的期望是 \((1+2+3+4+5+6)/6=3.5\)。这个数一次也掷不出来，它量的是大量重复之后的平均落点：掷 1000 次，点数的总和除以 1000 会靠近 3.5。押注的人盯着它，因为赌局重复得够多时，每局的收益会往这个数上靠，赔率定在它旁边，庄家才不亏。把它读成「应该得到 3.5 点」就错了，它管的是长期平均，掷一次照样可能出 1 点。
性质里最要紧的一条是加法：不管你手上有几个随机变量，期望都能一项一项拆开算。
定理（期望的线性性质）
设 \(E(X)\) 与 \(E(Y)\) 存在，\(a,b\) 为常数，则 \(E(aX+b)=aE(X)+b\)，且 \(E(X+Y)=E(X)+E(Y)\)。后一条对任意两个随机变量成立，不要求 \(X\) 与 \(Y\) 独立。
不要求独立，这一条省掉了大量工作，掷 10 次硬币时，正面次数 \(X\) 的期望可以这样算：把 \(X\) 写成 10 个指示变量之和，第 \(i\) 个变量在第 \(i\) 次出正面时取 1、否则取 0，每个的期望都是 \(1/2\)，加起来得 5。全程没有用到「一次结果影响下一次」这类条件，也没写过一个组合数。
1657 年，莱顿
惠更斯的《论赌博中的计算》
「若我以相等的机会得到 \(a\) 或 \(b\)，则我这一手的期望值等于 \((a+b)/2\)。」
惠更斯《论赌博中的计算》命题一（De Ratiociniis in Ludo Aleae），1657 年
这是期望的第一种写法，作者 28 岁，全书 14 个命题，把赌局定价的规则一条条摆出来。
往下推就得到他最有名的那句：赢的钱乘赢的概率，减去输的钱乘输的概率。这套减法今天写成 \(E(X)=\sum x_kp_k\)，负的 \(x_k\) 已经替他做完了。
「期望」这个名字是怎么来的
惠更斯用的拉丁词是 expectatio，意思是「指望」。帕斯卡与费马 1654 年的通信里谈的是「每一手值多少」，到了 18 世纪，这个词被固定成 expectation，中文译作期望。它算的是长期的指望，跟「希望这次掷出 4 点」没有关系。
二、函数的期望
实际计算里被问得更多的是 \(g(X)\) 的期望，比如 \(X^2\)、\(e^{X}\)、\(\max(X,3)\)。按理说该先求出 \(g(X)\) 的分布，再按定义算一遍，可这一步经常很麻烦：\(X\) 是连续型时，求 \(X^2\) 的密度要解不等式、还要分段，下面这条定理把所有麻烦都省了。
定理（随机变量函数的期望）
设 \(Y=g(X)\)，\(g\) 为连续函数。若 \(X\) 为离散型，则 \(E(Y)=\sum_k g(x_k)p_k\)；若 \(X\) 为连续型，则 \(E(Y)=\int_{-\infty}^{+\infty}g(x)f(x)\,dx\)。前提是右端的级数或积分绝对收敛。
要算 \(g(X)\) 的期望，用不着先求 \(g(X)\) 的分布，在 \(X\) 自己的分布上直接算就行。
取 \(g(x)=x^2\)，就得到 \(E(X^2)=\int x^2f(x)\,dx\)。这个量在下一节会反复出现，方差公式里就有它。取 \(g(x)=|x-a|\)，得到的是绝对偏差的期望，也是衡量分散程度的一种办法，课本没用它，理由放在折叠块里。
期望一定要存在吗
定义里写了「绝对收敛」，这条不能省：柯西分布的密度是 \(\frac{1}{\pi(1+x^2)}\)，积分 \(\int|x|f(x)\,dx\) 发散，于是它的期望不存在。这时若硬把 \(\int xf(x)\,dx\) 当成 0 来用，会得出荒谬的结论：两个独立的柯西变量取平均，结果仍是柯西分布，并不会更集中，考研题目一般只问期望存在的场合。
三、方差与标准差
期望只交代了落点，没有交代散得多开。两个班的平均分都是 70，一个班挤在 65 到 75 之间，另一个班从 40 到 100 分都有，平均分一样，「随便抽一个学生考多少」的把握却完全不同。要量化这个差别，得看每个取值离 \(E(X)\) 有多远，再把远近按概率平均一遍。
远近有正有负，直接平均会互相抵消，考 100 的和考 40 的一配，偏差就归零了。课本把偏差先平方再平均：\(E[(X-E(X))^2]\)，这个数叫方差，记作 \(D(X)\)。平方抹掉了符号，也把远处的偏离放大，1 分的偏差与 10 分的偏差在数值上差 100 倍，「散得开」就被放大了出来。
代价是单位跟着平方：身高以厘米计时，方差读作平方厘米，没人能说清「方差 36 平方厘米」到底散得多开。把方差开根号，单位退回到厘米，这个数叫标准差，记作 \(\sigma(X)\)，于是平均数 170 厘米、标准差 6 厘米可以直接相减相除。课本两个都留：做推导用方差，平方好处理；报结果用标准差，单位对得上。
定理（方差的计算公式）
\(D(X)=E(X^2)-[E(X)]^2\)。并且 \(D(X)\ge0\)，\(D(aX+b)=a^2D(X)\)，其中 \(a,b\) 为常数。
推导只用一行代数：把定义里的平方展开，\(E[(X-E(X))^2]=E[X^2-2XE(X)+(E(X))^2]\)，中间一项里的 \(E(X)\) 是常数，可以提到期望外面，于是得 \(E(X^2)-2[E(X)]^2+[E(X)]^2\)。合并同类项就是上面的公式，算方差时走这条路，比按定义逐项减均值再平方快得多。
1867 年切比雪夫看出了方差的一个用处：它不只是一个描述分散程度的数，还能给出偏差概率的上界。对任何期望为 \(\mu\)、方差为 \(\sigma^2\) 的随机变量，不管分布长什么样，都有 \(P\{|X-\mu|\ge\varepsilon\}\le\sigma^2/\varepsilon^2\)。方差越小，大偏差的概率被压得越低，分布的形状完全不必知道。
1867 年，圣彼得堡
切比雪夫的一页不等式
「若随机变量的数学期望与方差都存在，则它偏离期望超过给定界限的概率，不超过方差与界限平方之比。」
切比雪夫 1867 年提交圣彼得堡科学院的论文
这条不等式把两个数变成了工具：只要知道期望和方差，就能对偏差概率下判断，不必知道分布律。
它后来成了大数定律的证明工具，也是数理统计里置信区间最早的样子。下一章讲大数定律时还要用到它。
方差为什么用平方，不用绝对值
\(E|X-E(X)|\) 也叫平均绝对偏差，同样量分散程度，还不放大远处的偏离。课本不选它，原因是平方可导、可拆、可用展开式，处理和的方差时能一项项分开算，绝对值在这几件事上都不配合，课本因此挑了平方。
四、常见分布的数字特征
课本把这些结果列成一张表，考试要默写，做题时也最省时间。下面按分布排列，\(E\) 与 \(D\) 各一栏。
- 0-1 分布\(B(1,p)\)：\(E(X)=p\)，\(D(X)=p(1-p)\)。
- 二项分布\(B(n,p)\)：\(E(X)=np\)，\(D(X)=np(1-p)\)。
- 泊松分布\(P(\lambda)\)：\(E(X)=\lambda\)，\(D(X)=\lambda\)。
- 几何分布\(G(p)\)，记首次成功所需的试验次数：\(E(X)=1/p\)，\(D(X)=(1-p)/p^2\)。
- 均匀分布\(U(a,b)\)：\(E(X)=\frac{a+b}{2}\)，\(D(X)=\frac{(b-a)^2}{12}\)。
- 指数分布\(E(\lambda)\)：\(E(X)=1/\lambda\)，\(D(X)=1/\lambda^2\)。
- 正态分布\(N(\mu,\sigma^2)\)：\(E(X)=\mu\)，\(D(X)=\sigma^2\)。
这张表里有几处呼应值得记住。二项分布是 \(n\) 个独立 0-1 变量之和，期望与方差都跟着乘 \(n\)，与线性性质里说的 \(E(X+Y)=E(X)+E(Y)\) 一致。泊松分布的期望与方差相等，都等于 \(\lambda\)，这是它最好认的特征，数据算出来均值方差差得很远，就不该往泊松上套。正态分布的两个参数 \(\mu,\sigma^2\) 就是期望与方差，名字和内容完全对上。均匀分布的方差里那个 12，来自区间长度的平方除以 12，量纲正好是平方。
五、协方差与相关系数
身高和体重一起变大，气温和暖气费一起变小，这类「一起变」的关系，两个单独的期望都说不出来，得看两个偏离是否同向。把两个偏离相乘再取期望，同向时乘积为正，反向时为负，这个数叫协方差。
定义（协方差与相关系数）
称 \(Cov(X,Y)=E[(X-E(X))(Y-E(Y))]\) 为 \(X\) 与 \(Y\) 的协方差，也记作 \(\sigma_{XY}\)。若 \(D(X)>0\)，\(D(Y)>0\)，称 \(\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\) 为 \(X\) 与 \(Y\) 的相关系数。
协方差有个毛病：它带单位，身高用厘米、体重用千克，协方差的单位是厘米乘千克，把身高改成米，数值立刻缩小 100 倍，于是没法用它比较两组变量谁的关系更紧。除以两个标准差，单位约掉，剩下的 \(\rho\) 是一个纯数，落在 -1 与 1 之间，强弱才有统一的口径。
定理（相关系数的范围与含义）
\(|\rho_{XY}|\le1\)。\(|\rho_{XY}|=1\) 的充要条件是存在常数 \(a,b\)（\(a\ne0\)），使 \(P\{Y=aX+b\}=1\)。\(\rho_{XY}>0\) 时称正相关，\(\rho_{XY}<0\) 时称负相关，\(\rho_{XY}=0\) 时称 \(X\) 与 \(Y\) 不相关。
这个数只量直线趋势：取到 1，说明全部质量落在一条直线上，\(Y\) 被 \(X\) 线性决定；取到 0，只说明没有直线趋势，别的关系照样可能存在，把 4 组点画出来最容易看清这件事。
协方差还有一条好用的拆分公式：\(Cov(X,Y)=E(XY)-E(X)E(Y)\)。右边三项都能从联合分布直接算，比按定义减均值快。若 \(X\) 与 \(Y\) 独立，则 \(E(XY)=E(X)E(Y)\)，协方差为 0，相关系数也为 0。反方向不成立，也就是说不相关推不出独立，反例放在下面的折叠块里。
不相关却不独立，能举出例子吗
设 \(X\) 在 \((-1,1)\) 上均匀分布，取 \(Y=X^2\)。这时 \(E(XY)=E(X^3)=0\)，\(E(X)=0\)，协方差为 0，两者不相关；可 \(Y\) 完全由 \(X\) 定出来，显然不独立。二维正态是例外：它的协方差矩阵非对角元为 0 时，联合密度拆成两个正态密度相乘，于是不相关与独立等价。
六、二维的公式与矩
两笔钱合在一起，波动不能简单相加，\(D(X+Y)\) 里多出一项 \(2Cov(X,Y)\)：两个量同向涨落，和的波动更大；反向涨落，一部分波动互相抵消。
定理（二维随机变量的方差公式）
\(D(X\pm Y)=D(X)+D(Y)\pm2Cov(X,Y)\)。更一般地，\(D\Big(\sum_{i=1}^{n}a_iX_i\Big)=\sum_{i=1}^{n}a_i^2D(X_i)+2\sum_{1\le i<j\le n}a_ia_jCov(X_i,X_j)\)。若 \(X_1,\dots,X_n\) 两两独立，交叉项全为 0，和的方差等于方差之和。
把投资分到两只走势相反的股票上，组合的方差比任何一只都小，这就是这条公式在实务里的用法。它也解释了为什么抽样时「多抽几个」能提高精度：\(n\) 个独立同分布的量取平均，方差是原来的 \(1/n\)。
二维变量自己的函数也有同样的算法，只是把一重积分换成二重：\(E(g(X,Y))=\iint g(x,y)f(x,y)\,dx\,dy\)。求 \(E(XY)\)、\(E(X^2Y)\) 这类量都靠它，离散型就把积分换成对联合分布律的二重求和。
定义（矩与矩母函数）
称 \(E(X^k)\) 为 \(X\) 的 \(k\) 阶原点矩，\(E[(X-E(X))^k]\) 为 \(k\) 阶中心矩。期望是一阶原点矩，方差是二阶中心矩。若 \(E(e^{tX})\) 在 \(t=0\) 附近存在，称 \(M(t)=E(e^{tX})\) 为 \(X\) 的矩母函数，它在 0 点的 \(k\) 阶导数等于 \(E(X^k)\)。
矩母函数把整个分布的矩打包进一个函数，处理独立和时特别顺手：独立变量相加，矩母函数相乘。课本只要求知道定义和这条性质，具体求导与反演的技巧放到数理统计里再练。
怎么算
- 先认类型。离散求和、连续积分，判断错了两边都白算。分布律写成表，密度写成式子，再动手。
- 能看对称就先看对称。均匀、正态、关于某点对称的分布，期望一眼写出，用不着积分。
- 方差走捷径。先算 \(E(X)\) 与 \(E(X^2)\)，再用 \(E(X^2)-[E(X)]^2\)，比按定义逐项减均值省一半步骤。
- 线性组合先拆开。碰到 \(E(aX+bY+c)\) 直接用线性性质，别去求联合分布；方差则要额外补上 \(2Cov\) 这一项。
- 相关系数分三步。先由联合分布算 \(E(X)\)、\(E(Y)\)、\(E(XY)\)，再得协方差，最后除以两个标准差，顺序别乱。
例题
例 1 设 \(X\) 的分布律为 \(P\{X=-1\}=0.2\)，\(P\{X=0\}=0.3\)，\(P\{X=1\}=0.4\)，\(P\{X=2\}=0.1\)。求 \(E(X)\) 与 \(D(X)\)。
按定义加权：\(E(X)=-0.2+0+0.4+0.2=0.4\)。再算 \(E(X^2)=0.2+0+0.4+0.4=1\)。相减得 \(D(X)=1-0.16=0.84\)，标准差约 0.917。
例 2 设 \(X\) 的密度为 \(f(x)=2x\)（\(0<x<1\)），其余为 0。求 \(E(X)\)、\(D(X)\) 与标准差。
\(E(X)=\int_0^1 2x^2dx=\frac23\)，\(E(X^2)=\int_0^1 2x^3dx=\frac12\)。故 \(D(X)=\frac1{18}\)，标准差 \(1/(3\sqrt2)\)，约 0.236。
例 3 \((X,Y)\) 的联合分布律为 \(P\{0,0\}=0.2\)，\(P\{0,1\}=0.3\)，\(P\{1,0\}=0.4\)，\(P\{1,1\}=0.1\)。求 \(Cov(X,Y)\) 与 \(\rho_{XY}\)。
边缘得 \(E(X)=0.5\)，\(E(Y)=0.4\)，\(E(XY)=0.1\)，故 \(Cov=-0.1\)。两个方差是 0.25 与 0.24，于是 \(\rho=-0.1/\sqrt{0.06}\approx-0.41\)，负相关。
习题
A 档 巩固定义与基本计算，每题五分钟内
1. 掷一枚均匀骰子，求点数 \(X\) 的 \(E(X)\) 与 \(D(X)\)。
看答案
\(E(X)=3.5\)。\(E(X^2)=\frac{91}{6}\)，所以 \(D(X)=\frac{91}{6}-\frac{49}{4}=\frac{35}{12}\approx2.917\)。
2. 设 \(P\{X=-2\}=0.1\)，\(P\{X=0\}=0.5\)，\(P\{X=3\}=0.4\)，求 \(E(X)\) 与 \(D(X)\)。
看答案
\(E(X)=-0.2+0+1.2=1\)；\(E(X^2)=0.4+0+3.6=4\)；\(D(X)=4-1=3\)。
3. \(X\) 在 \((0,2)\) 上均匀分布，求 \(E(X)\)、\(D(X)\) 与标准差。
看答案
由对称性 \(E(X)=1\)；\(E(X^2)=\int_0^2\frac{x^2}{2}dx=\frac{4}{3}\)；\(D(X)=\frac13\)，标准差约 0.577。
4. 设 \(X\sim E(2)\)（指数分布，参数 \(\lambda=2\)），求 \(E(X)\) 与 \(D(X)\)。
看答案
\(E(X)=1/\lambda=0.5\)，\(D(X)=1/\lambda^2=0.25\)，标准差也是 0.5。
5. 已知 \(E(X)=2\)，\(D(X)=3\)，求 \(E(3X+1)\) 与 \(D(2X-1)\)。
看答案
\(E(3X+1)=3\times2+1=7\)；\(D(2X-1)=4D(X)=12\)。常数项不影响方差。
6. 设 \(X\sim B(10,0.3)\)，求 \(E(X)\)、\(D(X)\)。
看答案
\(E(X)=np=3\)，\(D(X)=np(1-p)=10\times0.3\times0.7=2.1\)。
B 档 综合题，接近期末与考研难度
1. 设 \(X\) 的密度为 \(f(x)=Ax(1-x)\)（\(0<x<1\)），求 \(A\)、\(E(X)\)、\(D(X)\)。
看答案
归一得 \(A\int_0^1x(1-x)dx=A/6=1\)，故 \(A=6\)。\(E(X)=6(\frac13-\frac14)=\frac12\)；\(E(X^2)=6(\frac14-\frac15)=\frac{3}{10}\)，于是 \(D(X)=\frac{3}{10}-\frac14=\frac{1}{20}\)。
2. \(X,Y\) 相互独立，\(E(X)=1\)，\(E(Y)=2\)，\(D(X)=2\)，\(D(Y)=3\)。求 \(E(2X-Y+1)\) 与 \(D(2X-Y)\)。
看答案
\(E(2X-Y+1)=2-2+1=1\)。独立使协方差为 0，故 \(D(2X-Y)=4D(X)+D(Y)=8+3=11\)。
3. \((X,Y)\) 的联合分布律为 \(P\{0,0\}=0.3\)，\(P\{0,1\}=0.2\)，\(P\{1,0\}=0.2\)，\(P\{1,1\}=0.3\)。求 \(Cov(X,Y)\) 与 \(\rho_{XY}\)。
看答案
\(E(X)=E(Y)=0.5\)，\(E(XY)=0.3\)，\(Cov=0.05\)。两个方差都是 0.25，所以 \(\rho=0.05/0.25=0.2\)。
4. 已知 \(D(X)=4\)，\(D(Y)=9\)，\(\rho_{XY}=0.5\)，求 \(D(X+Y)\) 与 \(D(X-Y)\)。
看答案
先求协方差 \(Cov=\rho\sqrt{D(X)}\sqrt{D(Y)}=0.5\times2\times3=3\)。于是 \(D(X+Y)=4+9+6=19\)，\(D(X-Y)=4+9-6=7\)。
C 档 拓展与历史原题
1.（惠更斯，1657）甲、乙各押 32 枚金币，先赢满 3 局者取走 64 枚。中断时甲已赢 2 局、乙赢 1 局，各局胜负机会各半。按惠更斯的算法，甲应分多少？
看答案
按期望分：甲再赢一局就拿 64 枚，概率 \(1/2\)；这一局输掉则双方各 2 局，仍有一半机会拿 64 枚。故甲应得 \(\frac12\cdot64+\frac12\cdot\frac12\cdot64=48\) 枚，乙得 16 枚。
2.（切比雪夫，1867）设 \(E(X)=10\)，\(D(X)=4\)，用切比雪夫不等式估计 \(P\{|X-10|\ge5\}\) 的上界，并说明方差变小时上界怎么变。
看答案
取 \(\varepsilon=5\)，得 \(P\{|X-10|\ge5\}\le4/25=0.16\)。上界只通过 \(\sigma^2/\varepsilon^2\) 依赖方差，所以方差减半，上界也减半，不必知道 \(X\) 服从什么分布。
3.（二维正态）设 \((X,Y)\) 服从二维正态，协方差矩阵为 \(\begin{pmatrix}4&3\\3&9\end{pmatrix}\)。求 \(\rho_{XY}\) 并判断 \(X,Y\) 是否独立；若把 3 改成 7 会出现什么问题？
看答案
由 \(\sigma_X=2\)，\(\sigma_Y=3\) 得 \(\rho=3/6=0.5\)，不为 0，故不独立。协方差矩阵要求 \(\sigma_{XY}^2\le\sigma_X^2\sigma_Y^2\)，改成 7 就超出 36，矩阵不再正定，密度函数无从写起。
思考题 不设标准答案，只给提示
1. 骰子的期望是 3.5，这个数有什么资格被称为「该得的点数」？
看提示
拿不到 3.5 点，正说明它管的是重复之后的平均数。试着算：掷 \(n\) 次的总点数除以 \(n\)，\(n\) 增大时它为什么往 3.5 靠？下一章的大数定律给的就是这句话的证明。
2. 方差和标准差都在量「散得多开」，为什么课本两个都要留？
看提示
想想单位：身高的方差单位是平方厘米，标准差是厘米。前者在推导里好拆好算，后者能直接和均值相减比较。什么时候用哪个，看你要回答的是「差多少」还是「算起来方便」。
3. 两个变量相关系数为 0，能不能说它们之间没有关系？
看提示
把 \(Y=X^2\)、\(X\) 在 \((-1,1)\) 上均匀的情形算一遍，协方差确实是 0。关系明明存在，只是不沿直线走。再想想：什么样的分布里，不相关才等价于独立？
延伸阅读
- 盛骤、谢式千、潘承毅《概率论与数理统计》第四版，第四章。本章记号与例题口径以这本为准。
- 惠更斯《论赌博中的计算》（1657），收于 1920 年荷兰版《惠更斯全集》第 14 卷，前 14 个命题就是期望的公理。
- 莫里斯·克莱因《古今数学思想》第二册，第 16 章关于概率论起源的部分。
- William Feller《概率论及其应用导论》第二卷，第 9 章讲矩与矩母函数，例子比课本多。