4.8 KiB
定理6.4.1
设 ( X = (X_1, \dots, X_n) ) 是来自某总体的样本，
(\hat{\theta} = \hat{\theta}(X)) 是 (\theta) 的无偏估计，且 (\mathrm{Var}(\hat{\theta}) < \infty)。
则 (\hat{\theta}) 是 (\theta) 的 UMVUE 的充要条件是：
对任意满足
[
E_\theta[\varphi(X)] = 0, \quad \mathrm{Var}_\theta(\varphi(X)) < \infty, \quad \forall \theta \in \Theta
]
的随机变量 (\varphi(X))，都有
[ \mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0, \quad \forall \theta \in \Theta. ]
证明结构
证明分为两部分：
- 充分性：若 (\hat{\theta}) 与所有零均值有限方差的 (\varphi) 不相关，则 (\hat{\theta}) 是 UMVUE。
- 必要性：若 (\hat{\theta}) 是 UMVUE，则它与所有零均值有限方差的 (\varphi) 不相关。
1. 充分性证明
思路
要证：(\forall) 无偏估计 (\tilde{\theta})，有 (\mathrm{Var}(\tilde{\theta}) \ge \mathrm{Var}(\hat{\theta}))。
步骤：
- 任取另一个无偏估计 (\tilde{\theta})，令
[ \varphi = \tilde{\theta} - \hat{\theta}. ] 因为 (E[\tilde{\theta}] = \theta)，(E[\hat{\theta}] = \theta)，所以
[ E[\varphi] = 0. ] 且 (\mathrm{Var}(\varphi) < \infty)（因为 (\tilde{\theta})、(\hat{\theta}) 方差有限）。
-
由已知条件：(\mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0)。
-
计算 (\tilde{\theta}) 的方差：
[ \tilde{\theta} = \hat{\theta} + \varphi. ] 于是：
[ \mathrm{Var}(\tilde{\theta}) = \mathrm{Var}(\hat{\theta} + \varphi) = \mathrm{Var}(\hat{\theta}) + \mathrm{Var}(\varphi) + 2\mathrm{Cov}(\hat{\theta}, \varphi). ] 因为协方差为 0，所以：
[ \mathrm{Var}(\tilde{\theta}) = \mathrm{Var}(\hat{\theta}) + \mathrm{Var}(\varphi) \ge \mathrm{Var}(\hat{\theta}). ] 等号成立当且仅当 (\mathrm{Var}(\varphi) = 0)，即 (\varphi) 几乎处处为常数 0，从而 (\tilde{\theta} = \hat{\theta}) a.s.
- 结论：(\hat{\theta}) 的方差一致最小，所以它是 UMVUE。
2. 必要性证明
思路
用反证法：假设 (\hat{\theta}) 是 UMVUE，但存在某个 (\theta_0 \in \Theta) 和某个零均值有限方差的 (\varphi(X))，使得
[
\mathrm{Cov}_{\theta_0}(\hat{\theta}, \varphi) = a \neq 0.
]
我们要构造一个新的无偏估计，它在 (\theta_0) 处方差比 (\hat{\theta}) 更小，矛盾。
步骤：
-
设 (a = \mathrm{Cov}{\theta_0}(\hat{\theta}, \varphi) \neq 0)，且 (E{\theta_0}[\varphi] = 0)，(\mathrm{Var}_{\theta_0}(\varphi) < \infty)。
-
取
[ b = -\frac{a}{\mathrm{Var}_{\theta_0}(\varphi)}. ] 注意 (b \neq 0)。
- 构造新估计量：
[ \tilde{\theta} = \hat{\theta} + b\varphi. ] 验证无偏性：
[ E_\theta[\tilde{\theta}] = E_\theta[\hat{\theta}] + bE_\theta[\varphi] = \theta + b\cdot 0 = \theta, \quad \forall \theta. ] 所以 (\tilde{\theta}) 是无偏估计。
- 计算在 (\theta_0) 处的方差：
[ \mathrm{Var}{\theta_0}(\tilde{\theta}) = \mathrm{Var}{\theta_0}(\hat{\theta} + b\varphi) ]
[ = \mathrm{Var}{\theta_0}(\hat{\theta}) + b^2 \mathrm{Var}{\theta_0}(\varphi) + 2b,\mathrm{Cov}_{\theta_0}(\hat{\theta}, \varphi). ] 代入 (b) 和 (a)：
[ b^2 \mathrm{Var}{\theta_0}(\varphi) = \frac{a^2}{[\mathrm{Var}{\theta_0}(\varphi)]^2} \cdot \mathrm{Var}{\theta_0}(\varphi) = \frac{a^2}{\mathrm{Var}{\theta_0}(\varphi)}, ]
[ 2b,a = 2\left(-\frac{a}{\mathrm{Var}{\theta_0}(\varphi)}\right) a = -\frac{2a^2}{\mathrm{Var}{\theta_0}(\varphi)}. ] 所以：
[ \mathrm{Var}{\theta_0}(\tilde{\theta}) = \mathrm{Var}{\theta_0}(\hat{\theta}) + \frac{a^2}{\mathrm{Var}{\theta_0}(\varphi)} - \frac{2a^2}{\mathrm{Var}{\theta_0}(\varphi)} ]
[ = \mathrm{Var}{\theta_0}(\hat{\theta}) - \frac{a^2}{\mathrm{Var}{\theta_0}(\varphi)}. ] 因为 (a \neq 0)，所以 (\frac{a^2}{\mathrm{Var}_{\theta_0}(\varphi)} > 0)，于是：
[ \mathrm{Var}{\theta_0}(\tilde{\theta}) < \mathrm{Var}{\theta_0}(\hat{\theta}). ]
- 这与 (\hat{\theta}) 是 UMVUE 矛盾！
因此假设不成立，必须有 (\mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0) 对所有 (\theta) 成立。
直观理解
- 充分性：如果 (\hat{\theta}) 与所有“零均值扰动” (\varphi) 不相关，那么你无法通过加上一个零均值的随机项来减少方差（因为方差只会增加）。
- 必要性：如果存在某个零均值的 (\varphi) 与 (\hat{\theta}) 相关（协方差非零），那么可以适当组合 (\hat{\theta}) 与 (\varphi) 得到一个方差更小的无偏估计，矛盾。