本記事で紹介すること
本記事では，統計検定1級や準1級などで出題範囲になっている下記についてご紹介します．
- 指数型分布族の概要
- 指数型分布族の性質
指数型分布族の概要
指数型分布族の定義
今回扱う指数型分布族の密度関数は，以下の形式とします．
\(y_1,…,y_n\)を独立な確率変数とし，\(y_i\)が
$$f(y_i|\theta_i, \phi) = \exp\left(\frac{y_i\theta_i – b(\theta_i)}{\phi} – c(y_i, \phi)\right)$$
なる形の指数型分布族に従うとする．
引用元：久保川「現代数理統計学の基礎」(link)
本記事では，\(\theta_i\)を正準母数(canonical parameter)，\(\phi\)を散らばり母数(dispersion parameter)と呼び，指数型分布族の確率密度関数(probability density function, pdf)の台(support)を\(A\)と表すこととします．また，最尤推定を行う際に，指数型分布族の密度関数の対数を取ることも多いので，そちらも以下のように定義しておきます．
\begin{align}L &:=\log f(y_i|\theta_i, \phi) = \frac{y_i\theta_i – b(\theta_i)}{\phi} – c(y_i, \phi)\\ \frac{\partial L}{\partial \theta_i}&= \frac{y_i – b'(\theta_i)}{\phi}\\ \frac{\partial^2 L}{\partial \theta_i^2}&= \frac{b^{”}(\theta_i)}{\phi}\end{align}
上記で表現した指数型分布族には，正規分布や，二項分布，ポアソン分布，指数分布，ガンマ分布etc. など様々な分布が含まれます．
指数型分布族の性質
今回ご紹介するのは，以下の4つの性質です．
以下では，微分と積分の順序交換が可能であると仮定します．
- 性質1：
$$E\left(\frac{\partial L}{\partial \theta_i}\right) = 0$$ - 性質2：
$$E\left(\frac{\partial^2 L}{\partial \theta_i^2}\right) = -E\left[\left(\frac{\partial L}{\partial \theta_i}\right)^2\right]$$ - 性質3：
$$E[Y_i] = b'(\theta_i)$$ - 性質4：
$$V[Y_i] = \phi b^{”}(\theta_i)$$ - 性質5：
$$m(t):=E[e^{tY_i}]=exp\left[\frac{1}{\phi}\{b(\theta_i + t\phi) – b(\theta_i)\}\right]$$
性質3~5に関しては，2015年の統計検定1級(統計応用(理工学))の問3に関連する問題が出題されていましたね．それでは一つずつ証明していきましょう．
- 性質1の証明
確率密度関数(probability density function, pdf)は全区間で積分すると1になることから，
$$\begin{align}\int_A f(y_i|\theta_i, \phi) dy_i = 1\end{align}$$
が成立する．この時，両辺を\(\theta_i\)で微分すると，\(\frac{d}{d\theta_i}1 = 0\)であるから，$$\begin{align}0 &= \frac{d}{d\theta_i}\int_Af(y_i|\theta_i, \phi) dy_i\\ &=\int_A \frac{d}{d\theta_i} f(y_i|\theta_i, \phi) dy_i \\ &= \int_A \left\{\frac{y_i – b'(\theta_i)}{\phi}\right\} f(y_i|\theta_i, \phi) dy_i\\ &= \int_A \frac{\partial L}{\partial \theta_i} f(y_i|\theta_i, \phi) dy_i\\ &= E\left[\frac{\partial L}{\partial \theta_i}\right]\end{align}$$ - 性質2の証明
性質1の証明と同様にして，
$$\begin{align} 0 &= \frac{d^2}{d\theta_i^2}\int_Af(y_i|\theta_i, \phi) dy_i\\ &= \int_A \frac{d^2}{d\theta_i^2} f(y_i|\theta_i, \phi) dy_i\\ &= \int_A \frac{d}{d\theta_i}\left(\left\{\frac{y_i – b'(\theta_i)}{\phi}\right\} f(y_i|\theta_i, \phi) \right)dy_i\\ &= \int_A \left(\left\{\frac{- b^{”}(\theta_i)}{\phi}\right\} f(y_i|\theta_i, \phi) \right) + \left(\left\{\frac{y_i – b'(\theta_i)}{\phi}\right\}^2 f(y_i|\theta_i, \phi)\right)dy_i\\ &= \int_A \left(\left\{\frac{- b^{”}(\theta_i)}{\phi}\right\} f(y_i|\theta_i, \phi) \right)dy_i + \int_A\left(\left\{\frac{y_i – b'(\theta_i)}{\phi}\right\}^2 f(y_i|\theta_i, \phi)\right)dy_i\\ &= E\left[\frac{\partial^2 L}{\partial \theta_i^2}\right] + E\left[\left(\frac{\partial L}{\partial \theta_i}\right)^2\right]\\ &\Rightarrow E\left(\frac{\partial^2 L}{\partial \theta_i^2}\right) = -E\left[\left(\frac{\partial L}{\partial \theta_i}\right)^2\right]\end{align}$$ - 性質3の証明
性質1を変形することで証明できる．
$$\begin{align}0 &= E\left[\frac{\partial L}{\partial \theta_i}\right]\\ &= E\left[\left\{\frac{Y_i – b'(\theta_i)}{\phi}\right\}\right] = \frac{1}{\phi}(E[Y_i] – b'(\theta))\\&\Rightarrow E[Y_i] = b'(\theta_i)\end{align}$$ - 性質4の証明
性質2を変形することで証明できる．
$$\begin{align}0 &= E\left(\frac{\partial^2 L}{\partial \theta_i^2}\right) + E\left[\left(\frac{\partial L}{\partial \theta_i}\right)^2\right] \\ &= E\left[-\frac{b^{”}(\theta_i)}{\phi}\right] + E\left[\frac{1}{\phi^2}(Y_i – b'(\theta_i)^2)\right]\\ &\Rightarrow 0 = \phi b^{”}(\theta_i) + E[(Y_i – E[Y_i])^2] \\ &\Rightarrow V[Y_i] = \phi b^{”}(\theta_i)\end{align}$$ - 性質5の証明
定義通りに計算し，pdfの定義域全体での積分\(=1\)を利用すればokです．
$$\begin{align}m(t) &= E[e^{tY_i}] = \int_A e^{ty_i} f(y_i|\theta_i, \phi) dy_i\\ &= \int_A exp\left(ty_i + \frac{y_i\theta_i – b(\theta_i)}{\phi} – c(y_i, \phi)\right)dy_i\\ &= \int_Aexp\left\{\frac{(\theta_i + t\phi)y_i}{\phi} + \frac{b(\theta_i + t\phi)}{\phi} – \frac{b(\theta_i + t\phi)}{\phi} – \frac{b(\theta_i)}{\phi} + c(y_i, \phi) \right\}dy_i\\ &= \int_Aexp\left\{\frac{(\theta_i + t\phi)y_i – b(\theta_i + t\phi)}{\phi} + \frac{b(\theta_i + t\phi)-b(\theta_i)}{\phi} + c(y_i, \phi) \right\}dy_i \\ &= exp\left(\frac{b(\theta_i + t\phi)-b(\theta_i)}{\phi}\right)\int_A exp\left\{\frac{(\theta_i + t\phi)y_i – b(\theta_i + t\phi)}{\phi} + c(y_i, \phi) \right\}dy_i\\ &= exp\left(\frac{1}{\phi}(b(\theta_i + t\phi)-b(\theta_i))\right)\end{align}$$
性質5で指数型分布族のモーメント母関数が求まるので，性質3,4に関してはモーメント母関数を用いても導出できます（これが，2015年の統計検定1級(統計応用(理工学))の問3で問われていました）．
まとめ
本記事では，統計検定1級や準1級などで出題範囲になっている下記についてご紹介しました．
- 指数型分布族の概要
- 指数型分布族の性質
について説明しました．ここで紹介した内容は一般化線形モデルにも強く関連する内容であるため，一般化線形モデルを学習する際の参考にもなると思われます．
References
- 稲垣「数理統計学」
- 久保川「現代数理統計学の基礎」
- 統計学実践ワークブック
コメント