P291 例6.4.5

P291 例6.4.4.md

@@ -68,7 +68,7 @@ I(\theta) = E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right]^2
  \[
 \frac{\partial}{\partial\lambda} \sum_{x=0}^\infty f(x, \lambda) = \sum_{x=0}^\infty \frac{\partial}{\partial\lambda} f(x, \lambda)
 \]
-需要验证以下条件（类比连续情形的控制收敛定理）：
+需要验证以下条件：
 
 1. 对每个固定的 \(x\)，\(f(x, \lambda)\) 关于 \(\lambda\) 可微
 2. 级数 \(\sum_{x=0}^\infty f(x, \lambda)\) 收敛（至少对考虑的 \(\lambda\)）

P291 例6.4.5.md

@@ -0,0 +1,162 @@
+## 例6.4.5 指数分布的费希尔信息量
+
+指数分布的概率密度函数为  
+
+ \[
+p(x; \theta) = \frac{1}{\theta} e^{-x / \theta}, \quad x > 0, \ \theta > 0.
+\]  
+参数空间 \(\Theta = (0, \infty)\)。
+
+---
+
+## 2. 验证正则条件
+
+### 条件 (1)：参数空间是开区间
+
+\(\Theta = (0, \infty)\) 是开区间 ✅
+
+---
+
+### 条件 (2)：支撑与 \(\theta\) 无关
+
+支撑 \(S = (0, \infty)\)，与 \(\theta\) 无关 ✅
+
+---
+
+### 条件 (3)：导数 \(\frac{\partial}{\partial\theta} p(x;\theta)\) 存在
+
+
+ \[
+p(x; \theta) = \theta^{-1} e^{-x / \theta}.
+\]  
+对 \(\theta\) 求导（用链式法则）：
+
+
+ \[
+\frac{\partial}{\partial\theta} p(x; \theta) 
+= -\theta^{-2} e^{-x / \theta} + \theta^{-1} e^{-x / \theta} \cdot \frac{x}{\theta^2}.
+\]  
+
+ \[
+= e^{-x / \theta} \left[ -\frac{1}{\theta^2} + \frac{x}{\theta^3} \right]
+= \frac{e^{-x / \theta}}{\theta^3} (x - \theta).
+\]  
+对一切 \(\theta > 0\) 都存在 ✅
+
+---
+
+### 条件 (4)：积分与微分可交换
+
+**积分号下求导定理**要求：
+
+1. 对每个 \(x\)，\(f(x,\theta)\) 关于 \(\theta\) 可微
+2. 积分 \(\int_0^\infty f(x,\theta)dx\) 收敛
+3. 积分 \(\int_0^\infty \frac{\partial}{\partial\theta}f(x,\theta)dx\) 在 \(\theta\) 的区间上**一致收敛**
+
+对于指数分布情形逐个分析以上条件是否成立
+
+ \[
+f(x,\theta) = \frac{1}{\theta} e^{-x/\theta}, \quad x > 0, \ \theta > 0
+\]
+取 \(I = (0,\infty)\)。
+
+**条件 1：可微性**
+
+
+ \[
+\frac{\partial}{\partial\theta}f(x,\theta) = \frac{e^{-x/\theta}}{\theta^3}(x - \theta)
+\]
+在 \(I\) 上存在且连续。
+
+**条件 2：积分收敛**
+
+
+ \[
+\int_0^\infty f(x,\theta)dx = \int_0^\infty \frac{1}{\theta} e^{-x/\theta}dx = 1
+\]
+收敛。
+
+**条件 3：导数的积分一致收敛**
+
+要证明对任意闭区间 \([a,b] \subset (0,\infty)\)，
+
+ \[
+G(\theta) = \int_0^\infty \frac{e^{-x/\theta}}{\theta^3}(x - \theta)dx
+\]
+在 \([a,b]\) 上一致收敛。
+
+用 **Weierstrass M-判别法**（对含参变量广义积分）：
+
+
+ \[
+\left| \frac{e^{-x/\theta}}{\theta^3}(x - \theta) \right| 
+\le \frac{e^{-x/b}}{a^3}(x + b) \\
+\quad \text{（因为 $\theta \ge a \Rightarrow \theta^3 \ge a^3$，$\theta \le b \Rightarrow e^{-x/\theta} \le e^{-x/b}$，且 $|x-\theta| \le x+b$）}
+\]
+
+令
+
+ \[
+M(x) = \frac{e^{-x/b}}{a^3}(x + b)
+\]
+
+检查 \(\int_0^\infty M(x)dx\) 是否收敛：
+
+
+ \[
+\int_0^\infty e^{-x/b} x dx = b^2
+\]
+
+ \[
+\int_0^\infty e^{-x/b} b dx = b^2
+\]
+所以：
+
+ \[
+\int_0^\infty M(x)dx = \frac{1}{a^3}(b^2 + b^2) = \frac{2b^2}{a^3} < \infty
+\]
+
+因此由 **M-判别法**，\(\int_0^\infty \frac{\partial}{\partial\theta}f(x,\theta)dx\) 在 \([a,b]\) 上一致收敛。
+
+积分与微分可交换 ✅
+
+---
+
+### 条件 (5)：期望 \(E\left[ \frac{\partial}{\partial\theta} \ln p \right]^2\) 存在
+
+先求对数似然导数：
+
+ \[
+\ln p(x; \theta) = -\ln\theta - \frac{x}{\theta}.
+\]  
+
+ \[
+\frac{\partial}{\partial\theta} \ln p(x; \theta) 
+= -\frac{1}{\theta} + \frac{x}{\theta^2}
+= \frac{x - \theta}{\theta^2}.
+\]  
+于是：
+
+ \[
+E\left[ \frac{\partial}{\partial\theta} \ln p(X; \theta) \right]^2
+= E\left[ \frac{X - \theta}{\theta^2} \right]^2
+= \frac{1}{\theta^4} E[(X - \theta)^2].
+\]  
+指数分布 \(E[X] = \theta\)，\(\text{Var}(X) = \theta^2\)，所以：
+
+ \[
+E[(X - \theta)^2] = \text{Var}(X) = \theta^2.
+\]  
+因此：
+
+ \[
+I(\theta) = \frac{1}{\theta^4} \cdot \theta^2 = \frac{1}{\theta^2}.
+\]  
+对 \(\theta > 0\) 存在 ✅
+
+
+费希尔信息量  
+
+ \[
+I(\theta) = \frac{1}{\theta^2}.
+\]