P291 例6.4.4

P291 例6.4.4.md

@@ -0,0 +1,221 @@
+
+##  例 6.4.4 泊松分布 \(P(\lambda)\) 的费希尔信息量
+
+概率质量函数：
+
+ \[
+p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x = 0, 1, 2, \dots
+\]
+参数 \(\lambda > 0\)。
+
+
+
+## **定义 6.4.3** 费希尔信息量  
+
+ \[
+I(\theta) = E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right]^2
+\]  
+要求概率函数 \( p(x;\theta) \) 满足 5 个正则条件：
+
+1. 参数空间 \(\Theta\) 是直线上的开区间。
+2. 支撑 \(S = \{x: p(x;\theta) > 0\}\) 与 \(\theta\) 无关。
+3. 导数 \(\frac{\partial}{\partial\theta} p(x;\theta)\) 对一切 \(\theta\in\Theta\) 存在。
+4. 积分与微分可交换次序：
+   
+ \[
+   \frac{\partial}{\partial\theta} \int p(x;\theta) \, dx = \int \frac{\partial}{\partial\theta} p(x;\theta) \, dx
+   \]
+5. 期望 \(E\left[ \frac{\partial}{\partial\theta} \ln p(x;\theta) \right]^2\) 存在。
+
+---
+
+### 条件 (1)：参数空间是开区间
+
+参数空间 \(\Theta = (0, +\infty)\)，是直线上的开区间 ✅
+
+---
+
+### 条件 (2)：支撑与 \(\theta\) 无关
+
+支撑 \(S = \{0, 1, 2, \dots\}\)，不依赖于 \(\lambda\) ✅
+
+---
+
+### 条件 (3)：导数存在
+
+
+ \[
+\frac{\partial}{\partial\lambda} p(x; \lambda) 
+= \frac{\partial}{\partial\lambda} \left( \frac{\lambda^x e^{-\lambda}}{x!} \right)
+\]
+利用乘积法则：
+
+ \[
+= \frac{1}{x!} \left[ x \lambda^{x-1} e^{-\lambda} + \lambda^x (- e^{-\lambda}) \right]
+\]
+
+ \[
+= \frac{e^{-\lambda} \lambda^{x-1}}{x!} (x - \lambda)
+\]
+这对所有 \(\lambda > 0\) 都存在 ✅
+
+---
+
+### 条件 (4)：积分与微分可交换
+
+对于级数 \(\sum_{x=0}^\infty f(x, \lambda)\)，要保证：
+
+ \[
+\frac{\partial}{\partial\lambda} \sum_{x=0}^\infty f(x, \lambda) = \sum_{x=0}^\infty \frac{\partial}{\partial\lambda} f(x, \lambda)
+\]
+需要验证以下条件（类比连续情形的控制收敛定理）：
+
+1. 对每个固定的 \(x\)，\(f(x, \lambda)\) 关于 \(\lambda\) 可微
+2. 级数 \(\sum_{x=0}^\infty f(x, \lambda)\) 收敛（至少对考虑的 \(\lambda\)）
+3. 级数 \(\sum_{x=0}^\infty \frac{\partial}{\partial\lambda} f(x, \lambda)\) **一致收敛**（在 \(\lambda\) 的某个邻域内）
+
+或者更实用的是：存在函数 \(g(x)\) 使得
+
+ \[
+\left|\frac{\partial}{\partial\lambda} f(x, \lambda)\right| \le g(x), \quad \sum_{x=0}^\infty g(x) < \infty
+\]
+且对每个 \(x\)，\(\frac{\partial}{\partial\lambda} f(x, \lambda)\) 存在。(由勒贝格控制收敛定理可得)
+
+**对泊松分布应用该条件**
+
+令 \(f(x, \lambda) = p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}\)
+
+我们已经计算：
+
+ \[
+\frac{\partial}{\partial\lambda} f(x, \lambda) = \frac{e^{-\lambda} \lambda^{x-1}}{x!} (x - \lambda)
+\]
+
+**寻找控制函数 \(g(x)\)**
+
+考虑 \(\lambda \in [a, b]\)，其中 \(0 < a < b < \infty\)。
+
+
+ \[
+\left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| 
+= \frac{e^{-\lambda} \lambda^{x-1}}{x!} |x - \lambda|
+\]
+由于 \(\lambda \in [a, b]\)，有 \(e^{-\lambda} \le e^{-a}\)，且 \(\lambda^{x-1} \le b^{x-1}\)（当 \(x \ge 1\) 时）。
+
+所以：
+
+ \[
+\left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| 
+\le \frac{e^{-a} b^{x-1}}{x!} |x - \lambda|
+\]
+
+再控制 \(|x - \lambda|\)：对固定 \(x\)，\(|x - \lambda| \le x + b\)（因为 \(\lambda \le b\)）。
+
+因此：
+
+ \[
+\left| \frac{\partial}{\partial\lambda} f(x, \lambda) \right| 
+\le \frac{e^{-a} b^{x-1}}{x!} (x + b)
+= e^{-a} \left( \frac{x b^{x-1}}{x!} + \frac{b^x}{x!} \right)
+\]
+
+**验证 \(\sum g(x) < \infty\)**
+
+第一项：
+
+ \[
+\sum_{x=1}^\infty \frac{x b^{x-1}}{x!} = \sum_{x=1}^\infty \frac{b^{x-1}}{(x-1)!} = e^b
+\]
+第二项：
+
+ \[
+\sum_{x=0}^\infty \frac{b^x}{x!} = e^b
+\]
+所以：
+
+ \[
+\sum_{x=0}^\infty g(x) \le e^{-a} (e^b + e^b) = 2e^{b-a} < \infty
+\]
+
+
+
+所以交换成立 ✅
+
+---
+
+### 条件 (5)：验证期望存在并计算费希尔信息量
+
+**泊松分布的概率函数**
+
+\[
+p(x; \lambda) = \frac{\lambda^x e^{-\lambda}}{x!}, \quad x = 0, 1, 2, \dots
+\]
+其中 \(\lambda > 0\)。
+
+**计算对数似然函数**
+
+\[
+\ln p(x; \lambda) = \ln\left( \frac{\lambda^x e^{-\lambda}}{x!} \right)
+\]
+
+\[
+= x \ln \lambda - \lambda - \ln(x!)
+\]
+
+
+**计算得分函数（一阶导数）**
+
+\[
+\frac{\partial}{\partial \lambda} \ln p(x; \lambda) 
+= \frac{\partial}{\partial \lambda} \big[ x \ln \lambda - \lambda - \ln(x!) \big]
+\]
+
+\[
+= \frac{x}{\lambda} - 1
+\]
+这个函数在统计学中称为 **得分函数（score function）**，记作 \( S(\lambda) \)。
+
+**费希尔信息量的定义**
+
+定义（6.4.3）：
+
+\[
+I(\lambda) = E\left[ \left( \frac{\partial}{\partial \lambda} \ln p(X; \lambda) \right)^2 \right]
+\]
+代入得分函数：
+
+\[
+I(\lambda) = E\left[ \left( \frac{X}{\lambda} - 1 \right)^2 \right]
+\]
+
+\[
+= E\left[ \left( \frac{X - \lambda}{\lambda} \right)^2 \right]
+\]
+
+\[
+= \frac{1}{\lambda^2} E\left[ (X - \lambda)^2 \right]
+\]
+
+**计算期望**
+
+因为 \(X \sim P(\lambda)\)，所以：
+
+\[
+E[X] = \lambda, \quad \text{Var}(X) = \lambda
+\]
+
+于是：
+
+\[
+E\left[ (X - \lambda)^2 \right] = \text{Var}(X) = \lambda
+\]
+
+因此：
+
+\[
+I(\lambda) = \frac{1}{\lambda^2} \cdot \lambda = \frac{1}{\lambda}
+\]
+
+对 \(\lambda > 0\)，该期望存在 ✅
+
+