期待値と極限の交換

数学 漸近理論 確率論


更新作業中

背景

確率論や統計漸近理論では、期待値に関する収束を議論することが多い。この時に多用されるのが、期待値と極限の交換。証明には測度論が必要。まずは証明をスルーして使い方を理解する。

単調収束定理（monotone convergence theorem）

定義

非負値確率変数列$\{ X_n\}_{n \in \mathbb{N}}$がほとんど確実に単調増加列であるとする（$0 \leq X_n \leq X_{n+1} \ a.s.$）。このとき
\displaystyle \lim_{n\to\infty} E [X_n] = E [\lim_{n\to\infty} X_n ]
が成立。

証明

未整理

説明

概収束極限$\lim_{n\to\infty} X_n$は発散しても成立する。その場合、その期待値$E[\lim_{n\to\infty} X_n]$も発散する。一方、$\lim_{n\to\infty} E[X_n] \le \infty$であれば、$E[\lim_{n\to\infty} X_n] = E[X] \le \infty$である。

補足

この定理は単調増加する非負値確率変数について成り立つ性質であるが、①単調減少する負値確率変数列はマイナスをつけた確率変数を考え、②非負でない下に有界な単調増加する確率変数列は、$l \in \mathbb{R}$なる実数$l$が存在し、$l \leq X_n \leq X_{n+1} \ a.s.$が成り立つので、$Y_n = X_n - l$なる確率変数列を考えれば、非負の単調増加列になるので、単調収束定理が使える。

ファトゥの補題

定義

非負値確率変数列$X_n \ge 0 \ a.s.$に対して、
\displaystyle E[\lim_{n\to\infty} \inf X_n ] \leq \lim_{n\to\infty} \inf E[X_n]

証明

$Yn \equiv \inf_{k \geq n} X_k$とおくと、$\{ Y_n \}$は非負値単調増加な確率変数列であり、任意の$k \geq n$に対して$Y_n \leq X_k$である。$\{ Y_n \}$に対し単調収束定理を適用すると、
\displaystyle E[\lim_{n\to\infty} \inf X_n] = E[\lim_{n\to\infty} Y_n ] = \lim_{n\to\infty} E[Y_n] \leq \lim_{n\to\infty} (\inf_{k \geq n} E[X_k]) = \lim_{n\to\infty} \inf E[X_n]
ここで、任意の$k \geq n$に対して$Y_n \leq X_k$であるので、$E[Y_n] \leq E[X_k]$、さらには$E[Y_n] \leq \inf_{k \geq n} E[X_k]$であることを用いた。

補足

ファトゥの補題も単調収束定理と同様、非負値確率変数列から下に有界な確率変数列に拡張可

ルベーグの優収束定理

定義

確率変数列$\{X_n\}$が概収束し（$X_n \rightarrow X \ a.s.$）、あるnによらない可積分な確率変数Yが存在して、$\sup_{n \in \mathbb{B}} |X_n| \leq Y \ a.s.$を満たすとする。このとき、以下が成立。
\displaystyle \lim_{n\to\infty} E[X_n] = E[\lim_{n\to\infty} X_n] = E[X] \le \infty

証明

\begin{aligned}
&E[Y] - E[\lim_{n\to\infty} \sup X_n] \\
&= E[Y] + E[\lim_{n\to\infty} \inf (-X_n)] \ (\because \sup_{n \in \mathbb{N}} X_n = - \inf_{n \in \mathbb{N}} (-X_n) ) \\
&= E[\lim_{n\to\infty} \inf (Y - X_n)] \\
&\leq \lim_{n\to\infty} \inf E[Y - X_n] \ (\because Y-X_n \geq 0 \ a.s.) \\
&= E[Y] -\lim_{n\to\infty} \sup E[X_n]
\end{aligned}
$E[Y]$を消去すると、
\displaystyle \lim_{n\to\infty} \sup E[X_n] \leq E[\lim_{n\to\infty} \sup X_n] = E[X] = E[\lim_{n\to\infty} \inf X_n] \leq \lim_{n\to\infty} \inf E[X_n] \ \ (\because ファトゥの補題)
よって、
$\lim_{n\to\infty} E[X_n] = E[X]$　　　　　　　　　　　　$\Box$

補足

Yとして正の定数をとれるとき、有界収束定理といわれる

期待値と微分の交換

定義

$\mathcal{T} \subset \mathbb{R}$に対し、関数$F : \mathcal{T} \times \mathbb{R} \rightarrow \mathbb{R}$は$\mathcal{T}$上1階偏微分可能とし、確率変数Xに対して$E[ F(t,X) ] \le \infty (t \in \mathcal{T})$とする。このとき、ある可積分な確率変数Yが存在して、
\displaystyle \sup_{t \in \mathcal{T}} | \frac{\partial}{\partial t}F(t,X) | \leq Y \ a.s.
を満たせば、以下が成立する。
\displaystyle \frac{d}{dt}E[F(t,X)] = E\left[\frac{\partial}{\partial t}F(t,X)\right], \ t \in \mathcal{T}

証明

微分の定義より、
\displaystyle \frac{d}{dt}E[F(t,X)] = \lim_{h\to 0} E\left[ \frac{F(t,+h,X) - F(t,X)}{h}\right]
平均値の定理より、ある$\theta \in (0,1)$が存在して、
\displaystyle \left| \frac{F(t,+h,X) - F(t,X)}{h} \right| = \left| \frac{\partial}{\partial t} F(t+\theta h, X) \right| \leq Y \ a.s.
したがって、ルベーグの優収束定理より
\displaystyle \frac{d}{dt}E[F(t,X)] = \lim_{h\to 0} E\left[ \frac{F(t,+h,X) - F(t,X)}{h}\right] = E[\frac{\partial}{\partial t} F(t,X)
]

理論例

定理：特性関数がn階連続微分可能であり、それを行ったものがn次モーメントに等しい

実数値確率変数Xが自然数$n \in \mathbb{N}$に対して$E[|X^n|] \le \infty$を満たせば、特性関数$\phi_X$は$\mathbb{R}$上n階連続的微分可能であり、
\displaystyle (-i)^n \phi_X^{(n)} (0) = E[X^n] \le \infty

($\because$)
特性関数$\phi_X(t) \equiv E [e^{it^T X}], \ t \in \mathbb{R}$であるから、任意の$n \in \mathbb{N}$に対して
\displaystyle \sup_{t \in \mathbb{R}} \left| \frac{\partial^n}{\partial t^n} e^{itX} \right| = \sup_{t \in \mathbb{R}} | (iX)^n e^{itX} | \leq |X|^n
最後の不等式には$|e^{itX}| \leq 1$であることを用いた。この$|X|^n$は仮定よりtによらず可積分であるから、$\phi_X$は$\mathbb{R}$上でn階微分可能であり、期待値とn階微分の交換ができるので、
\displaystyle \phi_X^{(n)}(t) = E\left[ \frac{\partial^n}{\partial t^n} e^{itX} \right] = E [ (iX)^n e^{itX} ]
よって、\displaystyle (-i)^n \phi_X^{(n)} (0) = E[X^n] \le \infty
また、ルベーグの優収束定理より期待値と極限の交換が可能であるので、$\phi_X$のn階微分の連続性に関して、
\displaystyle \lim_{h\to 0} \phi_X^{(n)}(t+h) = E\left[\lim_{h\to 0} (iX)^n e^{i(t+h)X} \right] = E[(iX)^n e^{itX}] = \phi_X^{(n)}(t)
よって、$\phi_X^{(n)(t)}$は$\mathbb{R}$上で連続、すなわち$\phi_X$は$\mathbb{R}$上でn階連続的微分可能である。