本記事で紹介すること
本記事では，以下を紹介します．．
- 指数型分布族の具体例(正規分布，二項分布，ポアソン分布，指数分布)
指数型分布族の性質についてはあまり記載しないため，気になる方は，過去記事(【統計検定対策】指数型分布族（その1）)をご参照ください．
指数型分布族の概要
指数型分布族の定義（再掲）
今回扱う指数型分布族の密度関数は，以下の形式とします．
\(y_1,…,y_n\)を独立な確率変数とし，\(y_i\)が
$$f(y_i|\theta_i, \phi) = \exp\left(\frac{y_i\theta_i – b(\theta_i)}{\phi} – c(y_i, \phi)\right)$$
なる形の指数型分布族に従うとする．
引用元：久保川「現代数理統計学の基礎」(link)
指数型分布族の性質については，過去の記事(【統計検定対策】指数型分布族（その1）)をご参照ください．
指数型分布族の具体例(正規分布，二項分布，ポアソン分布，指数分布)
正規分布
正規分布\(N(\mu, \sigma^2)\)の確率密度関数(probability density function, pdf)は以下の様に定義されます．
$$f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\sigma^2}}exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)$$
正規分布の期待値，分散は，それぞれ
$$\begin{align}E[X]&= \mu\\ V[X] &= \sigma^2\end{align}$$
です．
あるpdfが指数型分布族に属するpdfであるということを示すためには，変形して，
$$f(y_i|\theta_i, \phi) = \exp\left(\frac{y_i\theta_i – b(\theta_i)}{\phi} – c(y_i, \phi)\right)$$
の形に帰着すればokです．正規分布も変形してみましょう．
$$\begin{align}f(x|\mu, \sigma^2) &= exp\left(-\frac{1}{2}\log(2\pi\sigma^2 )-\frac{1}{2\sigma^2}(x-\mu)^2\right)\\ &= exp\left(-\frac{1}{2}\log(2\pi\sigma^2 )-\frac{1}{2\sigma^2}(x^2-2\mu x + \mu^2)\right)\\ &= exp\left(\frac{x\mu – \mu^2/2}{\sigma^2} + \frac{x^2}{2\sigma^2}-\frac{1}{2}\log(2\pi\sigma^2)\right)\end{align}$$
以上で，
$$\begin{align}\theta_i &= \mu\\ b(\theta_i) &= \frac{\mu^2}{2}\\ \phi &= \sigma^2 \\ c(x, \phi) &= \frac{x^2}{2\sigma^2}-\frac{1}{2}\log(2\pi\sigma^2)\end{align}$$
と置くことで，指数型分布族に属することがわかります．
二項分布(特にベルヌーイ分布)
二項分布(特にベルヌーイ分布)\(Bin(1, p)\)のpdfは以下の様に定義されます．
$$f(x|p) = p^x(1-p)^{1-x}\ (x=0,1)$$
二項分布\(Bin(1,p)\)の期待値，分散は，それぞれ
$$\begin{align}E[X] &= p\\V[X]&=p(1-p)\end{align}$$
です．
これも変形してみましょう．
$$\begin{align}f(x|p) &= exp\left(x log p + (1-x) log (1-p)\right)\\ &= exp\left(log(1-p) + x log \frac{p}{1-p}\right)\\ &= exp\left(\frac{x log \frac{p}{1-p} + log(1-p)}{1}\right)\end{align}$$
ここで，\(\theta_i = log(p/(1-p))\)と置き，
$$\frac{1}{1-p} = \frac{(1-p) + p}{1-p} = 1 + \frac{p}{1-p} = 1 + e^{\theta_i}$$
\(log(1/(1-p))\)が\(\theta_i\)の関数として表せることに着目すると，
$$\begin{align}\theta_i &= log\frac{p}{1-p} =log\frac{\mu}{1-\mu}\\ b(\theta_i)&= -log(1-e^{\theta_i})\\ \phi &= 1\\ c(x, \phi) &= 0\end{align}$$
と置き換えることで，指数型分布族に属することがわかります．
ポアソン分布
ポアソン分布\(Po(\lambda)\)のpdfは以下の様に定義されます．
$$f(x|\lambda) = e^{-\lambda}\frac{\lambda^x}{x!},\ (\lambda > 0,\ x = 0,1,2,…)$$
ポアソン分布の期待値，分散は，それぞれ，
$$\begin{align}E[X] &= \lambda \\ V[X] &= \lambda \end{align}$$
です．
これも変形してみましょう．
$$\begin{align}f(x|\lambda) &= exp\left(-\lambda + xlog \lambda – log(x!)\right)\\ &= exp\left((x \log \lambda – e^{log\lambda}) – log(x!)\right)\end{align}$$
ここで，
$$\begin{align}\theta_i &= log\lambda = log\mu \\ b(\theta_i) &= e^{\theta_i}\\ \phi &= 1\\ c(x, \phi) &= log(x!)\end{align}$$
と置くことで，指数型分布族に属することがわかります．
指数分布
指数分布\(Exp(1/\beta)\)のpdfは以下の様に定義されます．
$$f(x|\beta) = \beta e^{-\beta x},\ (\beta>0,\ x\ge 0)$$
指数分布の期待値，分散は，それぞれ
$$\begin{align}E[X]&=\frac{1}{\beta}\\ V[X] &= \frac{1}{\beta^2}\end{align}$$
です．
例のごとく，これも変形してみましょう．
$$\begin{align}f(x|\beta) &= exp\left(log\beta – \beta x\right)\end{align}$$
ここで，
$$\begin{align}\theta_i &= -\beta = -\frac{1}{\mu}\\ b(\theta_i) &= -log(-\theta_i)\\ \phi &= 1 \\ c(x, \phi) &= 0\end{align}$$
と置くことで，指数型分布族に属することがわかります．
まとめ
本記事では，以下を紹介しました．
- 指数型分布族の具体例(正規分布，二項分布，ポアソン分布，指数分布)
具体例を見ることで，指数型分布族．．．？はて？という状態から，「お，指数型分布族くんじゃん！」って状態になりますね．
References
- 稲垣「数理統計学」
- 久保川「現代数理統計学の基礎」
- 統計学実践ワークブック
コメント