diff --git a/P288 定理6.4.1.md b/P288 定理6.4.1.md new file mode 100644 index 0000000..d85d347 --- /dev/null +++ b/P288 定理6.4.1.md @@ -0,0 +1,166 @@ +## **定理6.4.1** + +设 \( X = (X_1, \dots, X_n) \) 是来自某总体的样本, +\(\hat{\theta} = \hat{\theta}(X)\) 是 \(\theta\) 的无偏估计,且 \(\mathrm{Var}(\hat{\theta}) < \infty\)。 +则 \(\hat{\theta}\) 是 \(\theta\) 的 **UMVUE** 的充要条件是: + +对任意满足 + + \[ +E_\theta[\varphi(X)] = 0, \quad \mathrm{Var}_\theta(\varphi(X)) < \infty, \quad \forall \theta \in \Theta +\] +的随机变量 \(\varphi(X)\),都有 + + \[ +\mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0, \quad \forall \theta \in \Theta. +\] + +--- + +## **证明结构** + +证明分为两部分: + +1. **充分性**:若 \(\hat{\theta}\) 与所有零均值有限方差的 \(\varphi\) 不相关,则 \(\hat{\theta}\) 是 UMVUE。 +2. **必要性**:若 \(\hat{\theta}\) 是 UMVUE,则它与所有零均值有限方差的 \(\varphi\) 不相关。 + +--- + +## **1. 充分性证明** + +### 思路 +要证:\(\forall\) 无偏估计 \(\tilde{\theta}\),有 \(\mathrm{Var}(\tilde{\theta}) \ge \mathrm{Var}(\hat{\theta})\)。 + +**步骤:** + +1. 任取另一个无偏估计 \(\tilde{\theta}\),令 + + + \[ + \varphi = \tilde{\theta} - \hat{\theta}. + \] + 因为 \(E[\tilde{\theta}] = \theta\),\(E[\hat{\theta}] = \theta\),所以 + + + \[ + E[\varphi] = 0. + \] + 且 \(\mathrm{Var}(\varphi) < \infty\)(因为 \(\tilde{\theta}\)、\(\hat{\theta}\) 方差有限)。 + +2. 由已知条件:\(\mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0\)。 + +3. 计算 \(\tilde{\theta}\) 的方差: + + + \[ + \tilde{\theta} = \hat{\theta} + \varphi. + \] + 于是: + + + \[ + \mathrm{Var}(\tilde{\theta}) = \mathrm{Var}(\hat{\theta} + \varphi) + = \mathrm{Var}(\hat{\theta}) + \mathrm{Var}(\varphi) + 2\mathrm{Cov}(\hat{\theta}, \varphi). + \] + 因为协方差为 0,所以: + + + \[ + \mathrm{Var}(\tilde{\theta}) = \mathrm{Var}(\hat{\theta}) + \mathrm{Var}(\varphi) \ge \mathrm{Var}(\hat{\theta}). + \] + 等号成立当且仅当 \(\mathrm{Var}(\varphi) = 0\),即 \(\varphi\) 几乎处处为常数 0,从而 \(\tilde{\theta} = \hat{\theta}\) a.s. + +4. 结论:\(\hat{\theta}\) 的方差一致最小,所以它是 UMVUE。 + +--- + +## **2. 必要性证明** + +### 思路 +用反证法:假设 \(\hat{\theta}\) 是 UMVUE,但存在某个 \(\theta_0 \in \Theta\) 和某个零均值有限方差的 \(\varphi(X)\),使得 + + + \[ +\mathrm{Cov}_{\theta_0}(\hat{\theta}, \varphi) = a \neq 0. +\] +我们要构造一个新的无偏估计,它在 \(\theta_0\) 处方差比 \(\hat{\theta}\) 更小,矛盾。 + +**步骤:** + +1. 设 \(a = \mathrm{Cov}_{\theta_0}(\hat{\theta}, \varphi) \neq 0\),且 \(E_{\theta_0}[\varphi] = 0\),\(\mathrm{Var}_{\theta_0}(\varphi) < \infty\)。 + +2. 取 + + + \[ + b = -\frac{a}{\mathrm{Var}_{\theta_0}(\varphi)}. + \] + 注意 \(b \neq 0\)。 + +3. 构造新估计量: + + + \[ + \tilde{\theta} = \hat{\theta} + b\varphi. + \] + 验证无偏性: + + + \[ + E_\theta[\tilde{\theta}] = E_\theta[\hat{\theta}] + bE_\theta[\varphi] = \theta + b\cdot 0 = \theta, \quad \forall \theta. + \] + 所以 \(\tilde{\theta}\) 是无偏估计。 + +4. 计算在 \(\theta_0\) 处的方差: + + + \[ + \mathrm{Var}_{\theta_0}(\tilde{\theta}) + = \mathrm{Var}_{\theta_0}(\hat{\theta} + b\varphi) + \] + + + \[ + = \mathrm{Var}_{\theta_0}(\hat{\theta}) + b^2 \mathrm{Var}_{\theta_0}(\varphi) + 2b\,\mathrm{Cov}_{\theta_0}(\hat{\theta}, \varphi). + \] + 代入 \(b\) 和 \(a\): + + + \[ + b^2 \mathrm{Var}_{\theta_0}(\varphi) = \frac{a^2}{[\mathrm{Var}_{\theta_0}(\varphi)]^2} \cdot \mathrm{Var}_{\theta_0}(\varphi) = \frac{a^2}{\mathrm{Var}_{\theta_0}(\varphi)}, + \] + + + \[ + 2b\,a = 2\left(-\frac{a}{\mathrm{Var}_{\theta_0}(\varphi)}\right) a = -\frac{2a^2}{\mathrm{Var}_{\theta_0}(\varphi)}. + \] + 所以: + + + \[ + \mathrm{Var}_{\theta_0}(\tilde{\theta}) + = \mathrm{Var}_{\theta_0}(\hat{\theta}) + \frac{a^2}{\mathrm{Var}_{\theta_0}(\varphi)} - \frac{2a^2}{\mathrm{Var}_{\theta_0}(\varphi)} + \] + + + \[ + = \mathrm{Var}_{\theta_0}(\hat{\theta}) - \frac{a^2}{\mathrm{Var}_{\theta_0}(\varphi)}. + \] + 因为 \(a \neq 0\),所以 \(\frac{a^2}{\mathrm{Var}_{\theta_0}(\varphi)} > 0\),于是: + + + \[ + \mathrm{Var}_{\theta_0}(\tilde{\theta}) < \mathrm{Var}_{\theta_0}(\hat{\theta}). + \] + +5. 这与 \(\hat{\theta}\) 是 UMVUE 矛盾! + 因此假设不成立,必须有 \(\mathrm{Cov}_\theta(\hat{\theta}, \varphi) = 0\) 对所有 \(\theta\) 成立。 + +--- + +## **直观理解** + +- 充分性:如果 \(\hat{\theta}\) 与所有“零均值扰动” \(\varphi\) 不相关,那么你无法通过加上一个零均值的随机项来减少方差(因为方差只会增加)。 +- 必要性:如果存在某个零均值的 \(\varphi\) 与 \(\hat{\theta}\) 相关(协方差非零),那么可以适当组合 \(\hat{\theta}\) 与 \(\varphi\) 得到一个方差更小的无偏估计,矛盾。 + +---