3.4 KiB
例6.4.5 指数分布的费希尔信息量
指数分布的概率密度函数为
[
p(x; \theta) = \frac{1}{\theta} e^{-x / \theta}, \quad x > 0, \ \theta > 0.
]
参数空间 (\Theta = (0, \infty))。
2. 验证正则条件
条件 (1)：参数空间是开区间
(\Theta = (0, \infty)) 是开区间 ✅
条件 (2)：支撑与 (\theta) 无关
支撑 (S = (0, \infty))，与 (\theta) 无关 ✅
条件 (3)：导数 (\frac{\partial}{\partial\theta} p(x;\theta)) 存在
[
p(x; \theta) = \theta^{-1} e^{-x / \theta}.
]
对 (\theta) 求导（用链式法则）：
[ \frac{\partial}{\partial\theta} p(x; \theta) = -\theta^{-2} e^{-x / \theta} + \theta^{-1} e^{-x / \theta} \cdot \frac{x}{\theta^2}. ]
[
= e^{-x / \theta} \left[ -\frac{1}{\theta^2} + \frac{x}{\theta^3} \right]
= \frac{e^{-x / \theta}}{\theta^3} (x - \theta).
]
对一切 (\theta > 0) 都存在 ✅
条件 (4)：积分与微分可交换
积分号下求导定理要求：
- 对每个 (x)，(f(x,\theta)) 关于 (\theta) 可微
- 积分 (\int_0^\infty f(x,\theta)dx) 收敛
- 积分 (\int_0^\infty \frac{\partial}{\partial\theta}f(x,\theta)dx) 在 (\theta) 的区间上一致收敛
对于指数分布情形逐个分析以上条件是否成立
[ f(x,\theta) = \frac{1}{\theta} e^{-x/\theta}, \quad x > 0, \ \theta > 0 ] 取 (I = (0,\infty))。
条件 1：可微性
[ \frac{\partial}{\partial\theta}f(x,\theta) = \frac{e^{-x/\theta}}{\theta^3}(x - \theta) ] 在 (I) 上存在且连续。
条件 2：积分收敛
[ \int_0^\infty f(x,\theta)dx = \int_0^\infty \frac{1}{\theta} e^{-x/\theta}dx = 1 ] 收敛。
条件 3：导数的积分一致收敛
要证明对任意闭区间 ([a,b] \subset (0,\infty))，
[ G(\theta) = \int_0^\infty \frac{e^{-x/\theta}}{\theta^3}(x - \theta)dx ] 在 ([a,b]) 上一致收敛。
用 Weierstrass M-判别法（对含参变量广义积分）：
[ \left| \frac{e^{-x/\theta}}{\theta^3}(x - \theta) \right| \le \frac{e^{-x/b}}{a^3}(x + b) \ \quad \text{（因为 $\theta \ge a \Rightarrow \theta^3 \ge a^3$，$\theta \le b \Rightarrow e^{-x/\theta} \le e^{-x/b}$，且 $|x-\theta| \le x+b$）} ]
令
[ M(x) = \frac{e^{-x/b}}{a^3}(x + b) ]
检查 (\int_0^\infty M(x)dx) 是否收敛：
[ \int_0^\infty e^{-x/b} x dx = b^2 ]
[ \int_0^\infty e^{-x/b} b dx = b^2 ] 所以：
[ \int_0^\infty M(x)dx = \frac{1}{a^3}(b^2 + b^2) = \frac{2b^2}{a^3} < \infty ]
因此由 M-判别法，(\int_0^\infty \frac{\partial}{\partial\theta}f(x,\theta)dx) 在 ([a,b]) 上一致收敛。
积分与微分可交换 ✅
条件 (5)：期望 (E\left[ \frac{\partial}{\partial\theta} \ln p \right]^2) 存在
先求对数似然导数：
[ \ln p(x; \theta) = -\ln\theta - \frac{x}{\theta}. ]
[
\frac{\partial}{\partial\theta} \ln p(x; \theta)
= -\frac{1}{\theta} + \frac{x}{\theta^2}
= \frac{x - \theta}{\theta^2}.
]
于是：
[
E\left[ \frac{\partial}{\partial\theta} \ln p(X; \theta) \right]^2
= E\left[ \frac{X - \theta}{\theta^2} \right]^2
= \frac{1}{\theta^4} E[(X - \theta)^2].
]
指数分布 (E[X] = \theta)，(\text{Var}(X) = \theta^2)，所以：
[
E[(X - \theta)^2] = \text{Var}(X) = \theta^2.
]
因此：
[
I(\theta) = \frac{1}{\theta^4} \cdot \theta^2 = \frac{1}{\theta^2}.
]
对 (\theta > 0) 存在 ✅
费希尔信息量
[ I(\theta) = \frac{1}{\theta^2}. ]