2.6 KiB
定理 6.4.2
设总体概率函数是 ( p(x; \theta) )，样本为 ( x_1, x_2, \dots, x_n )，
( T = T(x_1, \dots, x_n) ) 是 (\theta) 的充分统计量。
若 (\hat{\theta} = \hat{\theta}(x_1, \dots, x_n)) 是 (\theta) 的任一无偏估计，
令
[
\tilde{\theta} = E(\hat{\theta} \mid T),
]
则：
- (\tilde{\theta}) 也是 (\theta) 的无偏估计；
- (\mathrm{Var}(\tilde{\theta}) \le \mathrm{Var}(\hat{\theta}))，等号成立当且仅当 (\hat{\theta} = \tilde{\theta}) 几乎必然。
1. 证明 (\tilde{\theta}) 是统计量且无偏
由于 (T) 是充分统计量，条件分布不依赖于 (\theta)，所以 (\tilde{\theta} = E(\hat{\theta}|T)) 与 (\theta) 无关，是一个统计量。
由重期望公式：
[ E(\tilde{\theta}) = E[E(\hat{\theta}|T)] = E(\hat{\theta}) = \theta ] 所以 (\tilde{\theta}) 是 (\theta) 的无偏估计。
2. 证明方差不等式
考虑方差分解：
[ \begin{aligned} Var(\hat{\theta}) &= E[(\hat{\theta} - \theta)^2] \ &= E[(\hat{\theta} - \tilde{\theta} + \tilde{\theta} - \theta)^2] \ &= E[(\hat{\theta} - \tilde{\theta})^2] + E[(\tilde{\theta} - \theta)^2] + 2E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)] \end{aligned} ]
3. 证明交叉项为零
由重期望公式（tower property, 随机变量的期望，等于它的条件期望的期望）
[ E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)] = E{E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)|T]} \ ]
以及在条件期望 (E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)|T]) 中：
- (\tilde{\theta} - \theta) 是 (T) 的函数（因为 (\tilde{\theta}) 是 (T) 的函数）
- 在给定 (T) 的条件下，(\tilde{\theta} - \theta) 是一个确定的数值（不是随机变量）
因此：
[ \begin{aligned} E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)] &= E{E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)|T]} \ &= E{(\tilde{\theta} - \theta) \cdot E[(\hat{\theta} - \tilde{\theta})|T]} \end{aligned} ]
由于 (\tilde{\theta} = E(\hat{\theta}|T))，所以：
[ E[(\hat{\theta} - \tilde{\theta})|T] = E(\hat{\theta}|T) - \tilde{\theta} = \tilde{\theta} - \tilde{\theta} = 0 ]
因此：
[ E[(\hat{\theta} - \tilde{\theta})(\tilde{\theta} - \theta)] = 0 ]
4. 最终结果
代入得：
[ \begin{aligned} Var(\hat{\theta}) &= E[(\hat{\theta} - \tilde{\theta})^2] + Var(\tilde{\theta}) \ &\geq Var(\tilde{\theta}) \end{aligned} ]
等号成立当且仅当 (E[(\hat{\theta} - \tilde{\theta})^2] = 0)，即 (\hat{\theta} = \tilde{\theta}) 几乎必然。