高尔顿 1886 年把 900 多对父子的身高画在同一张图上,发现高个子父亲的儿子平均矮一点,矮个子父亲的儿子平均高一点,他把这条斜率小于 1 的直线叫回归线。他手上只有一堆数据,没有总体的参数。这一章接着往下讲:总体不知道,只抓一把样本,用样本去猜总体的参数,判断关于总体的一句话能不能信,给每个说法配上把握。
一、总体、样本、统计量
要报一批灯泡的平均寿命,不能全测,测完灯泡也没了;要问全国成年男性的平均身高,也不能一个个去量。两件事形状相同:想知道的数写在总体上,手上只有一部分数据。统计里把研究对象的全体叫总体,其中每一个叫个体,从总体里按机会抽出 \(n\) 个个体组成样本,\(n\) 叫样本容量。抽之前不知道抽到哪几个,所以样本写成 \(X_1,\dots,X_n\),是一组随机变量;抽完记在纸上的数 \(x_1,\dots,x_n\) 叫样本值。
推断的全部动作都从这个区分出发。样本随机,凡是用样本算出来的量也跟着随机,它自己就有分布,这个分布叫抽样分布,后面第五、六节的区间与检验全靠它。
定义(总体、样本、统计量)
设 \(X_1,\dots,X_n\) 是来自总体 \(X\) 的样本。不含任何未知参数的样本函数 \(g(X_1,\dots,X_n)\) 叫统计量。常用的有几个:样本均值 \(\bar X=\dfrac{1}{n}\sum_{i=1}^{n}X_i\),样本方差 \(S^2=\dfrac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar X)^2\),样本标准差 \(S\),样本 \(k\) 阶原点矩 \(A_k=\dfrac{1}{n}\sum_{i=1}^{n}X_i^k\)。
「不含未知参数」这条限制很硬:\(\bar X\) 能算,式子里只有样本,\((X_1-\mu)/\sigma\) 算不出来,\(\mu\) 与 \(\sigma\) 正是缺的那两个数。构造区间和检验统计量,第一步都是把带参数的量改造成统计量,手法是第六章的标准化,扣掉期望再除以标准差。
总体是固定的,样本是随机的。统计量随样本变,所以你给出的每个关于总体的判断,都只能配一个概率来说。
样本方差为什么除以 n−1
除以 \(n\) 的写法记作 \(S_0^2\),它的期望是 \(\frac{n-1}{n}\sigma^2\),平均偏小,样本越少偏得越狠。除以 \(n-1\) 之后 \(E(S^2)=\sigma^2\),代价是它不再等于「偏差平方的平均值」。\(n\) 大于 30 时两种算法差不到 5%,小样本上看得出来。
二、三个抽样分布
正态总体下,样本均值的分布最好算:它还是正态,方差缩成 \(\sigma^2/n\),这一点第八章已经给了。难办的是方差那一头,\(\sum (X_i-\bar X)^2\) 服从什么分布、两个方差相除又服从什么分布,都写不成初等函数,1910 年代以后统计学家干脆给它们起了名字,做成表,用到时查。
定理(χ²、t、F 的构造)
一、χ² 分布:设 \(X_1,\dots,X_n\) 相互独立,都服从 \(N(0,1)\),则 \(X_1^2+\dots+X_n^2\sim\chi^2(n)\);若 \(X_i\sim N(\mu,\sigma^2)\),则 \(\sum_{i=1}^{n}\left(\dfrac{X_i-\mu}{\sigma}\right)^2\sim\chi^2(n)\),且 \(\dfrac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)\)。
二、t 分布:设 \(X\sim N(0,1)\),\(Y\sim\chi^2(n)\),\(X\) 与 \(Y\) 独立,则 \(t=\dfrac{X}{\sqrt{Y/n}}\sim t(n)\)。
三、F 分布:设 \(U\sim\chi^2(n_1)\),\(V\sim\chi^2(n_2)\),两者独立,则 \(F=\dfrac{U/n_1}{V/n_2}\sim F(n_1,n_2)\)。
三段构造共用同一个零件:标准正态。平方一个,得到 χ² 的一份,凑够 \(n\) 份,自由度就是 \(n\);拿一个标准正态去比一个开过方的 χ²,分母上的 \(\sqrt{Y/n}\) 把尺度扣掉,剩下的 t 只跟自由度有关;两个 χ² 各自除掉自己的自由度再相除,尺度也摆平了,得到 F。分母上除自由度不多余,它让 F 的取值不随两个总体方差的大小漂移。
三张图的形状各记一句:χ² 从原点起步,先升后落,右边拖着长尾,自由度越大越胖,超过 45 就接近正态;t 与正态几乎重合,只是肩膀低一点、尾巴厚一点,\(n\) 大到 45 时 0.975 分位点降到 2.01,正态是 1.96;F 只取正值,同样右偏,检验时只查右尾,要用左尾就翻倒数 \(F_{1-\alpha}(n_1,n_2)=1/F_{\alpha}(n_2,n_1)\)。
自由度到底是什么
自由度数的是一组数里能自由变动的个数。\(n\) 个偏差 \(X_i-\bar X\) 加起来必须是零,知道其中 \(n-1\) 个,最后一个就被定死了,所以平方和里独立的只有 \(n-1\) 份。χ² 里的自由度同理:没有约束就是 \(n\) 份,扣掉一个约束就少一份。
三、点估计:矩法与极大似然
分布的形状定了,比如认定灯泡寿命服从指数分布、某段路上的事故数服从泊松分布,剩下的活就是给参数定一个数:用样本算出来的那个式子叫估计量,记作 \(\hat\theta\),把数代进去得到的叫估计值。
矩估计的做法是让样本矩等于总体矩,有几个参数就列几个方程:泊松分布 \(E(X)=\lambda\),于是 \(\hat\lambda=\bar x\);正态的两个参数照抄,\(\hat\mu=\bar x\),\(\hat\sigma^2=\frac{1}{n}\sum (x_i-\bar x)^2\),这里分母取 \(n\),\(S^2\) 取的是 \(n-1\),前者是二阶中心矩,后者才是无偏的版本。
极大似然换一个角度问:这组数已经看见了,参数取什么值,「看见这组数」这件事最可能发生。把每个样本点的概率或密度连乘起来,得到似然函数,再挑出让 L 最大的那个参数。连乘不好求导,取对数变成连加,最大值的位置不挪。
定理(极大似然估计的步骤)
一、写出似然函数 \(L(\theta)=\prod_{i=1}^{n}f(x_i;\theta)\),离散情形把密度换成概率 \(p(x_i;\theta)\)。
二、取对数,\(\ln L(\theta)=\sum_{i=1}^{n}\ln f(x_i;\theta)\),连乘变成连加。
三、对每个参数求偏导,令其为零,解似然方程 \(\dfrac{\partial \ln L}{\partial \theta}=0\)。
四、方程无解或解落在边界时,回到 \(L\) 本身找最大点。若 \(\hat\theta\) 是 \(\theta\) 的极大似然估计,则 \(g(\hat\theta)\) 也是 \(g(\theta)\) 的极大似然估计。
极大似然算出来的东西不一定漂亮:均匀分布 \(U(0,\theta)\) 的似然是 \(1/\theta^n\),随 \(\theta\) 单调下降,求导永远不为零,最大值落在边界 \(\hat\theta=\max x_i\) 上,只有回头看 \(L\) 本身才拿得到,这类题考试常出。
1922 年,伦敦
把样本压成一个估计量
「the method of maximum likelihood」
费希尔《理论统计的数学基础》,《皇家学会哲学汇刊 A 辑》第 222 卷
皮尔逊 1900 年为拟合优度检验造出 χ² 分布,二十二年后费希尔在同一份刊物上把估计问题整理成一套方法:写似然函数,取对数,求导置零。这条步骤今天印在每本教材上,名字也是他起的。1925 年他把这套办法写进《供研究者用的统计方法》,回归与方差分析跟着一起传开。
四、估计量的三条标准
同一个参数常常有好几个估计量,挑哪个得有个说法。课本给三条标准,一条比一条强:平均来说不偏,方差够小,样本多了会靠拢。
定义(无偏性、有效性、一致性)
设 \(\hat\theta\) 是参数 \(\theta\) 的估计量。若对一切 \(\theta\) 有 \(E(\hat\theta)=\theta\),称 \(\hat\theta\) 是无偏的。若 \(\hat\theta_1\) 与 \(\hat\theta_2\) 都无偏,且 \(D(\hat\theta_1)\le D(\hat\theta_2)\),称前者更有效。若对任意 \(\varepsilon>0\) 有 \(\lim_{n\to\infty}P\{|\hat\theta-\theta|<\varepsilon\}=1\),称 \(\hat\theta\) 是一致的。
用这三条量一遍,差别立刻出来:\(\bar X\) 无偏,方差 \(\sigma^2/n\);\(S^2\) 无偏,分母取 \(n-1\) 的来历就在这里;用 \(M=\max X_i\) 估计均匀分布的 \(\theta\),期望是 \(\frac{n}{n+1}\theta\),系统偏小,\(n\) 大了才补回来。有效性只在两个都无偏的估计量之间比,正态均值上 \(\bar X\) 的方差比样本中位数小,课本因此说它有效。
一致性最弱也最要紧,它保证数据多起来答案会靠近真值,用的是第八章的依概率收敛。大数律已经把 \(\bar X\) 的一致性给了出来,前面见过的估计量大多一致;\(M\) 也一致,只是 \(\max X_i\) 挤向 \(\theta\) 的速度不快。
五、区间估计
点估计给一个数,落在真值上的机会几乎为零,改给一段范围再配一个把握,信息就实在了。做法分三步:先找一个含 \(\theta\) 但分布已知的量,把它的分布从中间切掉两小块,剩下的部分写成不等式,再解出 \(\theta\) 的范围。这样的量叫枢轴量,式子里可以含参数,分布里不能含。
定理(正态均值、方差与比例的置信区间)
设样本来自 \(N(\mu,\sigma^2)\),置信水平为 \(1-\alpha\),样本均值为 \(\bar x\),样本方差为 \(S^2\)。
一、\(\sigma\) 已知时 \(\mu\) 的置信区间:\(\left[\bar x-z_{\alpha/2}\dfrac{\sigma}{\sqrt n},\ \bar x+z_{\alpha/2}\dfrac{\sigma}{\sqrt n}\right]\);
二、\(\sigma\) 未知时 \(\mu\) 的置信区间:\(\left[\bar x-t_{\alpha/2}(n-1)\dfrac{S}{\sqrt n},\ \bar x+t_{\alpha/2}(n-1)\dfrac{S}{\sqrt n}\right]\);
三、\(\sigma^2\) 的置信区间:\(\left[\dfrac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\ \dfrac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)}\right]\);
四、比例 \(p\) 的置信区间(\(n\) 较大):\(\hat p\pm z_{\alpha/2}\sqrt{\dfrac{\hat p(1-\hat p)}{n}}\),其中 \(\hat p\) 是样本频率。单侧区间把 \(\alpha/2\) 换成 \(\alpha\),一侧端点换成 0 或 1。
0.95 这个数说的是办法,不是某一次算出来的结果:真值 \(\mu\) 固定,落在哪里不随机,随机的是样本,是每次算出的两个端点。重复抽 100 次得到 100 个区间,大约 95 个盖住 \(\mu\),谁也说不出没盖住的那 5 个是哪几个。算完之后区间定了,\(\mu\) 也定了,盖住与否成了事实,「真值落在这个区间里的概率是 0.95」这句读法就站不住,能说的是这套做法有 95% 的把握盖住真值。
95% 属于做法,不属于这一次的结果。重复抽样,大约 95% 的区间会盖住真值,剩下那几个谁也不知道是哪几个。
σ 未知时为什么不能拿 S 顶上去查正态表
\(S\) 自己也是随机的,用它顶掉 \(\sigma\) 会让比值多出一层波动,尾部比正态厚。t 分布就是为这件事准备的,它的分位点比 \(z\) 大一点,样本越少大得越多。\(n\) 大于 45 时两者差不到 0.05。
六、假设检验与两类错误
有人拿来一句话:这批灯泡的平均寿命是 1000 小时。数据在手得表个态,课本的做法是先接受这句话,叫原假设 \(H_0\),再看手上的样本在这个前提下有多离谱,离谱到一定程度就拒绝它。判断离谱要事先划一条线,线外那块区域叫拒绝域,它的概率记作 \(\alpha\),叫显著性水平,这个数在动手之前定,看完数据再改就成了凑答案。
表态两种,事实两种,凑成四种情形,错的那两种各有名字。\(H_0\) 本来对却被拒绝,叫第一类错误,弃真,概率不超过 \(\alpha\);\(H_0\) 本来错却被留下,叫第二类错误,取伪,概率记作 \(\beta\)。\(\alpha\) 由自己定,\(\beta\) 由 \(\alpha\)、样本量、真假两个分布隔开多远一起决定,四个量牵着走,动一个另外三个跟着变。
定理(奈曼-皮尔逊引理)
设总体的密度为 \(f(x;\theta)\),要检验 \(H_0:\theta=\theta_0\) 对 \(H_1:\theta=\theta_1\)。给定 \(\alpha\in(0,1)\),在一切犯第一类错误的概率不超过 \(\alpha\) 的检验中,凡拒绝域具有形状
\[ \Lambda=\frac{L(\theta_1)}{L(\theta_0)}=\frac{\prod_{i=1}^{n}f(x_i;\theta_1)}{\prod_{i=1}^{n}f(x_i;\theta_0)}\ge c \]
的检验,其犯第二类错误的概率最小,其中常数 \(c\) 由 \(\alpha\) 定出。这样的检验叫水平为 \(\alpha\) 的一致最大功效检验。
引理把两种错误的关系说成一句话:给定 \(\alpha\) 之后,似然比检验已经是最好的,别的检验不可能在同样的 \(\alpha\) 下把 \(\beta\) 压得更低。\(\alpha\) 与 \(\beta\) 此消彼长,想把两边一起压下去只剩一条路,加样本量,样本一多,两条曲线各自变瘦,重叠的那块就薄了。
定理(单正态总体的均值与方差检验)
设样本来自 \(N(\mu,\sigma^2)\),显著性水平为 \(\alpha\)。
一、\(\sigma\) 已知,检验 \(\mu=\mu_0\):取 \(U=\dfrac{\bar x-\mu_0}{\sigma/\sqrt n}\),\(H_0\) 成立时 \(U\sim N(0,1)\),拒绝域为 \(|U|\ge z_{\alpha/2}\)。
二、\(\sigma\) 未知,检验 \(\mu=\mu_0\):取 \(T=\dfrac{\bar x-\mu_0}{S/\sqrt n}\),\(H_0\) 成立时 \(T\sim t(n-1)\),拒绝域为 \(|T|\ge t_{\alpha/2}(n-1)\)。
三、检验 \(\sigma^2=\sigma_0^2\):取 \(\chi^2=\dfrac{(n-1)S^2}{\sigma_0^2}\),\(H_0\) 成立时 \(\chi^2\sim\chi^2(n-1)\),拒绝域为 \(\chi^2\ge\chi^2_{\alpha/2}(n-1)\) 或 \(\chi^2\le\chi^2_{1-\alpha/2}(n-1)\)。
单侧检验把 \(\alpha/2\) 换成 \(\alpha\),把绝对值拆成一边:\(U\ge z_\alpha\),或 \(U\le -z_\alpha\)。
双侧检验与区间估计是一件事的两种说法。\(|T|<t_{\alpha/2}(n-1)\) 时不拒绝 \(\mu_0\),这话与「\(\mu_0\) 落在 \(\mu\) 的置信区间里」完全等价。同一组数据不会给出两套矛盾的答案。
p 值到底在量什么
p 值是「假如 \(H_0\) 成立,出现比手上这组样本更极端的结果的概率」。它小于 \(\alpha\) 就拒绝。它量的是数据与 \(H_0\) 顶得多厉害,不量 \(H_0\) 为真的概率,也不量这个差别在现实里重不重要。
1933 年,伦敦
一条引理把检验分了类
「On the Problem of the Most Efficient Tests of Statistical Hypotheses」
奈曼与皮尔逊,载《皇家学会哲学汇刊 A 辑》第 231 卷
这篇长文把「假设」写成一对相反的命题,把判断规则写成拒绝域,把犯错分成弃真与取伪两类,再用一条引理说清两者的取舍。今天课本里的 \(\alpha\)、\(\beta\)、功效、一致最大功效检验,记号多半来自这里。
七、一元线性回归
两个变量一起看,最省事的模型是一条直线 \(y=a+bx\):最小二乘挑 \(a\) 与 \(b\),让竖直偏差的平方和 \(Q(a,b)=\sum (y_i-a-bx_i)^2\) 最小,平方为了让正负偏差不互相抵消,也让离群点付更重的代价。对两个参数各求一次偏导,令其为零,得到两个正规方程,解出来就是下面这一组。
定理(最小二乘估计与相关系数检验)
记 \(l_{xx}=\sum (x_i-\bar x)^2\),\(l_{yy}=\sum (y_i-\bar y)^2\),\(l_{xy}=\sum (x_i-\bar x)(y_i-\bar y)\)。最小二乘估计为
\[ \hat b=\frac{l_{xy}}{l_{xx}},\qquad \hat a=\bar y-\hat b\,\bar x, \]
回归直线必过点 \((\bar x,\bar y)\)。样本相关系数 \(r=\dfrac{l_{xy}}{\sqrt{l_{xx}\,l_{yy}}}\),且 \(|\hat b|\) 与 \(|r|\) 同时变大变小。检验 \(H_0:\rho=0\)(\(x\) 与 \(y\) 没有线性关系)时,若 \(H_0\) 成立,
\[ t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2), \]
拒绝域为 \(|t|\ge t_{\alpha/2}(n-2)\)。
高尔顿画的就是这条线,父子身高算出来的 \(\hat b\) 小于 1,父亲比平均高出一截,儿子平均只高出一小截,他管这个现象叫向平庸回归。名字留了下来,今天凡是拿一条线去拟合两组数据都叫回归,哪怕那条线并不比 45 度更平。
相关系数只量直线趋势,量不到弯曲:一组点排成整齐的抛物线,\(r\) 也可能接近零;把 \(r\) 很大读成因果,就超出了这个数能管的事。
怎么算
- 先分清三样东西。哪个是总体,哪个是样本,哪个是待估参数;参数一旦被当成已知,题目就变质了。
- 点估计两条路。矩法列方程最快;极大似然按四步走,连乘取对数再求导,边界情形回头看 L 本身。
- 区间先找枢轴量。σ 已知用 z,σ 未知用 t,问方差用 χ²,问比例在大样本下用 z 加样本频率。
- 检验四步。写 \(H_0\) 与 \(H_1\),选统计量,定拒绝域,落结论。σ 已知用 U,σ 未知用 T,问方差用 χ²。
- 查表认自由度。t 与 χ² 是 \(n-1\),F 有两个自由度;F 的左尾用倒数翻,t 的双侧用 \(\alpha/2\)。
- 答案写三件事。数值、单位、把握或 \(\alpha\);只报一个数、不报把握的答案算没答完。
例题
例 1 设总体服从参数为 \(\lambda\) 的泊松分布,\(x_1,\dots,x_n\) 是样本值,求 \(\lambda\) 的矩估计与极大似然估计。
矩估计令 \(\bar x=E(X)=\lambda\),得 \(\hat\lambda=\bar x\)。似然函数 \(L=\prod \lambda^{x_i}e^{-\lambda}/x_i!\),取对数得 \(n\bar x\ln\lambda-n\lambda-\sum\ln x_i!\),对 \(\lambda\) 求导置零得 \(\bar x/\lambda-1=0\),所以 \(\hat\lambda=\bar x\)。两条路在这道题上撞到一起。
例 2 某批零件长度服从正态分布,抽 16 件测得 \(\bar x=20.0\) 毫米、\(S=0.4\) 毫米,求平均长度 95% 的置信区间;若已知 \(\sigma=0.4\),区间变成多少。
\(\sigma\) 未知用 t,\(t_{0.025}(15)=2.131\),半宽 \(2.131\times 0.4/4=0.213\),区间 \([19.79,20.21]\)。把 \(\sigma\) 当成已知,临界值换成 1.96,半宽 0.196,区间 \([19.80,20.20]\),窄了 0.017 毫米。
例 3 某机器灌装标称 500 克,历史标准差 8 克,抽 25 袋测得 \(\bar x=496\) 克,取 \(\alpha=0.05\),判断这批是否偏轻。
\(U=\dfrac{496-500}{8/\sqrt{25}}=-2.5\),双侧临界值 1.96,\(|U|=2.5\) 落进拒绝域,判断这批偏轻。若一开始就写单侧 \(H_1:\mu<500\),临界值是 1.645,结论相同,p 值约 0.006。
习题
A 档 巩固定义与基本计算,每题五分钟内
1. 从一批 2000 只灯泡中抽 20 只测寿命。指出总体、个体、样本、样本容量各是什么。
看答案
总体是这 2000 只灯泡的寿命全体,个体是每只灯泡的寿命,样本是抽出的 20 只的寿命,样本容量 20。
2. 下列哪些是统计量:\(\bar X\)、\(\dfrac{\bar X-\mu}{\sigma}\)、\(S^2\)、\(\max X_i\)、\(\dfrac{1}{n}\sum X_i^2\)。
看答案
除第二个之外都是。第二个含未知参数 \(\mu\) 与 \(\sigma\),是枢轴量,不能直接算出来。
3. 设 \(X_1,\dots,X_9\) 独立同分布 \(N(0,1)\),写出 \(X_1^2+\dots+X_9^2\) 与 \(\dfrac{X_1}{\sqrt{(X_2^2+\dots+X_9^2)/8}}\) 的分布。
看答案
前者是 \(\chi^2(9)\)。后者正是 \(X/\sqrt{Y/n}\) 的形状,\(Y\) 是 8 个标准正态的平方和,所以服从 \(t(8)\)。
4. 用矩估计求均匀分布 \(U(0,\theta)\) 中 \(\theta\) 的估计量。
看答案
\(E(X)=\theta/2\),令 \(\bar X=\theta/2\),得 \(\hat\theta=2\bar X\)。
5. 样本值 3.2、3.6、3.0、3.4、3.8,算样本均值与样本方差。
看答案
\(\bar x=3.4\),偏差平方和 \(0.04+0.04+0.16+0+0.16=0.40\),\(S^2=0.40/4=0.10\)。
6. 正态总体抽 \(n=10\),\(S^2=4\),求 \(\sigma^2\) 的 95% 置信区间(\(\chi^2_{0.025}(9)=19.02\),\(\chi^2_{0.975}(9)=2.70\))。
看答案
区间是 \(\left[\dfrac{9\times 4}{19.02},\dfrac{9\times 4}{2.70}\right]\),即 \([1.89,13.33]\)。区间很宽,因为 \(n\) 只有 10。
B 档 综合题,接近期末与考研难度
1. 设总体密度为 \(f(x)=\frac{1}{\theta}e^{-x/\theta}\)(\(x>0\)),求 \(\theta\) 的极大似然估计,并说明它是否无偏。
看答案
\(\ln L=-n\ln\theta-\frac{1}{\theta}\sum x_i\),求导置零得 \(\hat\theta=\bar X\)。\(E(\bar X)=\theta\),所以无偏;\(D(\hat\theta)=\theta^2/n\) 随 \(n\) 趋于零,也一致。
2. 正态总体抽 \(n=25\),\(\bar x=10.2\),\(S=2.0\),求 \(\mu\) 的 95% 置信区间(\(t_{0.025}(24)=2.064\))。
看答案
半宽 \(2.064\times 2.0/5=0.826\),区间 \([9.37,11.03]\)。
3. 设 \(\sigma=2\),\(n=16\),检验 \(H_0:\mu=10\) 对 \(H_1:\mu=11\),拒绝域取 \(\bar X>10.8\),求两类错误的概率。
看答案
\(\sigma/\sqrt n=0.5\)。\(\alpha=1-\Phi(1.6)=0.055\),\(\beta=\Phi((10.8-11)/0.5)=\Phi(-0.4)=0.345\)。
4. 10 组数据算得 \(l_{xx}=60\),\(l_{yy}=49\),\(l_{xy}=42\)。求回归系数、相关系数,并在 \(\alpha=0.05\) 下检验线性关系是否显著(\(t_{0.025}(8)=2.306\))。
看答案
\(\hat b=0.7\),\(r=42/\sqrt{60\times 49}=0.775\),\(t=\dfrac{0.775\sqrt 8}{\sqrt{1-0.600}}=3.47\),超过 2.306,线性关系显著。
C 档 拓展与历史原题
1.(费希尔,1922)设总体密度为 \(f(x;\theta)=\theta x^{\theta-1}\)(\(0<x<1\),\(\theta>0\)),用极大似然求 \(\theta\) 的估计量。
看答案
\(\ln L=n\ln\theta+(\theta-1)\sum\ln x_i\),求导得 \(\dfrac{n}{\theta}+\sum\ln x_i=0\),所以 \(\hat\theta=-\dfrac{n}{\sum \ln x_i}\)。费希尔 1922 年那篇文章正是拿这类单调密度做例子的。
2.(奈曼-皮尔逊,1933)设单个观测 \(X\) 服从密度 \(\lambda e^{-\lambda x}\)(\(x>0\)),检验 \(H_0:\lambda=\lambda_0\) 对 \(H_1:\lambda=\lambda_1\),其中 \(\lambda_1>\lambda_0\)。写出似然比检验的拒绝域形状。
看答案
\(\Lambda=\dfrac{\lambda_1}{\lambda_0}e^{-(\lambda_1-\lambda_0)x}\) 随 \(x\) 减小而变大,所以拒绝域形如 \(x<k\)。\(\lambda\) 大时小观测更常见,拒绝域落在左边合情合理。
3.(高尔顿,1886)父子身高:父亲均值 68 英寸,儿子均值 69 英寸,\(l_{xx}=400\),\(l_{yy}=300\),\(l_{xy}=240\)。求回归直线与相关系数,并估父亲 72 英寸时儿子的平均身高。
看答案
\(\hat b=0.6\),\(\hat a=69-0.6\times 68=28.2\),直线是 \(y=28.2+0.6x\),\(r=240/\sqrt{400\times 300}=0.693\)。父亲 72 英寸时儿子平均 71.4 英寸,比父亲矮 0.6 英寸,斜率小于 1 就是向均值回归。
思考题 不设标准答案,只给提示
1.「\(\mu\) 落在这个区间里的概率是 0.95」这句话错在哪里,什么立场下它又能算对?
看提示
抽完以后区间与 \(\mu\) 都定了,谈概率没有位置。把 \(\mu\) 看成随机变量、给它一个先验分布,再按贝叶斯办法算后验概率,这句话才成立,那时得到的是可信区间。
2. 检验拒绝 \(H_0\),能不能说 \(H_0\) 是假的?不拒绝,能不能说 \(H_0\) 成立?
看提示
两种说法都过头。拒绝只说明样本与 \(H_0\) 的冲突超过了 \(\alpha\) 这条线,还会犯第一类错误;不拒绝只说明证据不够,可能是样本太小、\(\beta\) 太大,数据没有提供否定的力量。
3. 高尔顿的回归线斜率小于 1,与「高个子的儿子一定矮」差在哪里?
看提示
回归线说的是平均。父亲 72 英寸,儿子平均 71.4 英寸,个体仍然有高有低,散点围着直线上下摆。把平均的规律安到每个个体头上,是最常见的一种误读。
延伸阅读
- 盛骤、谢式千、潘承毅《概率论与数理统计》第四版,第六章至第九章。本章记号、分位点写法与例题口径都照这本。
- R. A. Fisher, Statistical Methods for Research Workers, 1925,第 1 至 4 章。极大似然、回归与相关系数检验的原始写法。
- E. L. Lehmann, Fisher, Neyman, and the Creation of Classical Statistics, Springer, 2011。1900 至 1933 年那场关于估计与检验的争论。
- 陈希孺《数理统计学简史》,湖南教育出版社,2002。χ²、t、F 三个分布各自的来历与命名经过。