P291 定理6.4.3 克拉默-拉奥不等式

P291 定理6.4.3(克拉默-拉奥不等式).md

@@ -0,0 +1,191 @@
+## 克拉默-拉奥不等式（Cramér–Rao inequality）
+
+- 总体分布密度函数（连续情形）为 \( p(x; \theta) \)，\(\theta\) 是未知参数。
+- 样本 \( x_1, x_2, \dots, x_n \) 独立同分布来自该总体。
+- 记联合密度为  
+
+ \[
+L(\mathbf{x};\theta) = \prod_{i=1}^n p(x_i; \theta).
+\]
+- 设 \( T = T(x_1,\dots,x_n) \) 是 \( g(\theta) \) 的一个无偏估计，即  
+
+ \[
+E_\theta[T] = g(\theta), \quad \forall \theta.
+\]
+- 记  
+
+ \[
+Z = \frac{\partial}{\partial \theta} \ln L(\mathbf{x};\theta) 
+= \sum_{i=1}^n \frac{\partial}{\partial \theta} \ln p(x_i; \theta).
+\]
+
+- 对无偏估计量 \(T\)，  微商可在积分号下进行。
+   
+ \[
+   g(\theta) = E_\theta[T] = \int T(\mathbf{x}) L(\mathbf{x};\theta) \, d\mathbf{x}
+   \]
+   
+\[
+g'(\theta) = \int T(\mathbf{x}) \, \frac{\partial}{\partial\theta} \ln L(\mathbf{x};\theta) \, L(\mathbf{x};\theta) \, d\mathbf{x}.
+\]
+
+- 记单个观测的 **Fisher 信息量** 为  
+
+ \[
+I(\theta) = E\left[ \left( \frac{\partial}{\partial\theta} \ln p(x;\theta) \right)^2 \right].
+\]
+
+- 由于独立同分布，样本的 Fisher 信息量为 \( n I(\theta) \)。
+
+有以下不等式成立 
+
+ \[
+\mathrm{Var}_\theta(T) \ge \frac{[g'(\theta)]^2}{n I(\theta)},
+\]
+其中等号成立当且仅当存在某个不依赖于样本、只依赖于 \(\theta\) 的函数 \( A(\theta) \) 使得
+
+ \[
+T(\mathbf{x}) - g(\theta) = A(\theta) \cdot \frac{\partial}{\partial\theta} \ln L(\mathbf{x};\theta)
+\]
+几乎处处成立（在概率分布 \(P_\theta\) 下）。
+
+---
+
+## 2. 一些预备结果
+
+### 2.1 \( E[Z] = 0 \)
+
+对单个观测，有  
+
+ \[
+\int p(x; \theta) \, dx = 1.
+\]
+假设可在积分号下求导：
+
+ \[
+0 = \frac{\partial}{\partial\theta} \int p(x; \theta) \, dx 
+= \int \frac{\partial p(x; \theta)}{\partial\theta} \, dx.
+\]
+
+我们对 \(\theta\) 求偏导，应用链式法则：
+
+ \[
+\frac{\partial}{\partial \theta} \ln p(x; \theta) = \frac{1}{p(x; \theta)} \cdot \frac{\partial p(x; \theta)}{\partial \theta}
+\]  
+
+重新排列等式，得:
+
+ \[
+\frac{\partial p}{\partial\theta} = p \cdot \frac{\partial \ln p}{\partial\theta},
+\]
+所以  
+
+ \[
+0 = \int \frac{\partial \ln p(x;\theta)}{\partial\theta} \, p(x;\theta) \, dx 
+= E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right].
+\]
+因此  
+
+ \[
+E[Z] = \sum_{i=1}^n E\left[ \frac{\partial}{\partial\theta} \ln p(x_i;\theta) \right] = 0.
+\]
+
+---
+
+### 2.2 \( \mathrm{Var}(Z) = n I(\theta) \)
+
+由于 \( E[Z] = 0 \)，  
+
+ \[
+\mathrm{Var}(Z) = E[Z^2].
+\]
+而  
+
+ \[
+Z = \sum_{i=1}^n \frac{\partial}{\partial\theta} \ln p(x_i;\theta),
+\]
+各项独立且同分布，均值为 0，所以  
+
+ \[
+\mathrm{Var}(Z) = \sum_{i=1}^n \mathrm{Var}\left( \frac{\partial}{\partial\theta} \ln p(x_i;\theta) \right) 
+= n \, E\left[ \left( \frac{\partial}{\partial\theta} \ln p(x;\theta) \right)^2 \right] 
+= n I(\theta).
+\]
+
+---
+
+## 3. 无偏估计的条件求导
+
+已知  
+
+ \[
+g(\theta) = E[T] = \int T(\mathbf{x}) \, L(\mathbf{x};\theta) \, d\mathbf{x}.
+\]
+假设可在积分号下对 \(\theta\) 求导：
+
+ \[
+g'(\theta) = \int T(\mathbf{x}) \, \frac{\partial L(\mathbf{x};\theta)}{\partial\theta} \, d\mathbf{x}.
+\]
+但  
+
+ \[
+\frac{\partial L}{\partial\theta} = L \cdot \frac{\partial \ln L}{\partial\theta} = L \cdot Z,
+\]
+所以  
+
+ \[
+g'(\theta) = \int T(\mathbf{x}) \, Z \, L(\mathbf{x};\theta) \, d\mathbf{x} 
+= E[T Z].
+\]
+
+---
+
+## 4. 协方差与施瓦茨不等式
+
+因为 \( E[Z] = 0 \)，  
+
+ \[
+\mathrm{Cov}(T, Z) = E[T Z] - E[T] E[Z] = E[T Z] - g(\theta) \cdot 0 = E[T Z] = g'(\theta).
+\]
+另一方面，  
+
+ \[
+\mathrm{Cov}(T, Z) = E\big[ (T - g(\theta)) (Z - 0) \big].
+\]
+由柯西-施瓦茨不等式：
+
+ \[
+[\mathrm{Cov}(T, Z)]^2 \le \mathrm{Var}(T) \cdot \mathrm{Var}(Z).
+\]
+代入：
+
+ \[
+[g'(\theta)]^2 \le \mathrm{Var}(T) \cdot n I(\theta).
+\]
+因此  
+
+ \[
+\mathrm{Var}(T) \ge \frac{[g'(\theta)]^2}{n I(\theta)}.
+\]
+这就是克拉默-拉奥不等式。
+
+---
+
+## 5. 对 \(\theta\) 本身的无偏估计的特殊情形
+
+若 \( g(\theta) = \theta \)，则 \( g'(\theta) = 1 \)，于是  
+
+ \[
+\mathrm{Var}(\hat{\theta}) \ge \frac{1}{n I(\theta)}.
+\]
+
+---
+
+## 6. 有效估计
+
+如果等号成立，说明 \( T - g(\theta) \) 与 \( Z \) 成比例（由柯西-施瓦茨取等条件），即存在函数 \( A(\theta) \) 使得  
+
+ \[
+T - g(\theta) = A(\theta) \cdot Z,
+\]
+这通常意味着 \( T \) 是充分统计量且达到了信息下界，此时称 \( T \) 是 **有效估计（efficient estimator）**，它也是 **一致最小方差无偏估计（UMVUE）**。