5.0 KiB
例 6.4.4 泊松分布 (P(\lambda)) 的费希尔信息量
概率质量函数：
[ p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x = 0, 1, 2, \dots ] 参数 (\lambda > 0)。
定义 6.4.3 费希尔信息量
[
I(\theta) = E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right]^2
]
要求概率函数 ( p(x;\theta) ) 满足 5 个正则条件：
- 参数空间 (\Theta) 是直线上的开区间。
- 支撑 (S = {x: p(x;\theta) > 0}) 与 (\theta) 无关。
- 导数 (\frac{\partial}{\partial\theta} p(x;\theta)) 对一切 (\theta\in\Theta) 存在。
- 积分与微分可交换次序：
[ \frac{\partial}{\partial\theta} \int p(x;\theta) , dx = \int \frac{\partial}{\partial\theta} p(x;\theta) , dx ] 5. 期望 (E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right]^2) 存在。
条件 (1)：参数空间是开区间
参数空间 (\Theta = (0, +\infty))，是直线上的开区间 ✅
条件 (2)：支撑与 (\theta) 无关
支撑 (S = {0, 1, 2, \dots})，不依赖于 (\lambda) ✅
条件 (3)：导数存在
[ \frac{\partial}{\partial\lambda} p(x; \lambda) = \frac{\partial}{\partial\lambda} \left( \frac{\lambda^x e^{-\lambda}}{x!} \right) ] 利用乘积法则：
[ = \frac{1}{x!} \left[ x \lambda^{x-1} e^{-\lambda} + \lambda^x (- e^{-\lambda}) \right] ]
[ = \frac{e^{-\lambda} \lambda^{x-1}}{x!} (x - \lambda) ] 这对所有 (\lambda > 0) 都存在 ✅
条件 (4)：积分与微分可交换
对于级数 (\sum_{x=0}^\infty f(x, \lambda))，要保证：
[ \frac{\partial}{\partial\lambda} \sum_{x=0}^\infty f(x, \lambda) = \sum_{x=0}^\infty \frac{\partial}{\partial\lambda} f(x, \lambda) ] 需要验证以下条件：
- 对每个固定的 (x)，(f(x, \lambda)) 关于 (\lambda) 可微
- 级数 (\sum_{x=0}^\infty f(x, \lambda)) 收敛（至少对考虑的 (\lambda)）
- 级数 (\sum_{x=0}^\infty \frac{\partial}{\partial\lambda} f(x, \lambda)) 一致收敛（在 (\lambda) 的某个邻域内）
或者更实用的是：存在函数 (g(x)) 使得
[ \left|\frac{\partial}{\partial\lambda} f(x, \lambda)\right| \le g(x), \quad \sum_{x=0}^\infty g(x) < \infty ] 且对每个 (x)，(\frac{\partial}{\partial\lambda} f(x, \lambda)) 存在。(由勒贝格控制收敛定理可得)
对泊松分布应用该条件
令 (f(x, \lambda) = p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!})
我们已经计算：
[ \frac{\partial}{\partial\lambda} f(x, \lambda) = \frac{e^{-\lambda} \lambda^{x-1}}{x!} (x - \lambda) ]
寻找控制函数 (g(x))
考虑 (\lambda \in [a, b])，其中 (0 < a < b < \infty)。
[ \left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| = \frac{e^{-\lambda} \lambda^{x-1}}{x!} |x - \lambda| ] 由于 (\lambda \in [a, b])，有 (e^{-\lambda} \le e^{-a})，且 (\lambda^{x-1} \le b^{x-1})（当 (x \ge 1) 时）。
所以：
[ \left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| \le \frac{e^{-a} b^{x-1}}{x!} |x - \lambda| ]
再控制 (|x - \lambda|)：对固定 (x)，(|x - \lambda| \le x + b)（因为 (\lambda \le b)）。
因此：
[ \left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| \le \frac{e^{-a} b^{x-1}}{x!} (x + b) = e^{-a} \left( \frac{x b^{x-1}}{x!} + \frac{b^x}{x!} \right) ]
验证 (\sum g(x) < \infty)
第一项：
[ \sum_{x=1}^\infty \frac{x b^{x-1}}{x!} = \sum_{x=1}^\infty \frac{b^{x-1}}{(x-1)!} = e^b ] 第二项：
[ \sum_{x=0}^\infty \frac{b^x}{x!} = e^b ] 所以：
[ \sum_{x=0}^\infty g(x) \le e^{-a} (e^b + e^b) = 2e^{b-a} < \infty ]
所以交换成立 ✅
条件 (5)：验证期望存在并计算费希尔信息量
泊松分布的概率函数
[ p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x = 0, 1, 2, \dots ] 其中 (\lambda > 0)。
计算对数似然函数
[ \ln p(x; \lambda) = \ln\left( \frac{\lambda^x e^{-\lambda}}{x!} \right) ]
[ = x \ln \lambda - \lambda - \ln(x!) ]
计算得分函数（一阶导数）
[ \frac{\partial}{\partial \lambda} \ln p(x; \lambda) = \frac{\partial}{\partial \lambda} \big[ x \ln \lambda - \lambda - \ln(x!) \big] ]
[ = \frac{x}{\lambda} - 1 ] 这个函数在统计学中称为 得分函数（score function），记作 ( S(\lambda) )。
费希尔信息量的定义
定义（6.4.3）：
[ I(\lambda) = E\left[ \left( \frac{\partial}{\partial \lambda} \ln p(X; \lambda) \right)^2 \right] ] 代入得分函数：
[ I(\lambda) = E\left[ \left( \frac{X}{\lambda} - 1 \right)^2 \right] ]
[ = E\left[ \left( \frac{X - \lambda}{\lambda} \right)^2 \right] ]
[ = \frac{1}{\lambda^2} E\left[ (X - \lambda)^2 \right] ]
计算期望
因为 (X \sim P(\lambda))，所以：
[ E[X] = \lambda, \quad \text{Var}(X) = \lambda ]
于是：
[ E\left[ (X - \lambda)^2 \right] = \text{Var}(X) = \lambda ]
因此：
[ I(\lambda) = \frac{1}{\lambda^2} \cdot \lambda = \frac{1}{\lambda} ]
对 (\lambda > 0)，该期望存在 ✅