イェンセンの不等式
定理
$g : \mathbb{R} \rightarrow \mathbb{R}$凸関数で確率変数Xに対し、$E[X]$および$E[g(X)]$が存在するならば、$g(E[X]) \leq E[g(X)]$
証明
$g(x)$が凸関数（下に凸を想定）であるならば、任意の点cにおいて接線$h(x) = \alpha x + \beta$が存在し、$g(c) = h(c)$かつすべてのxに対して$g(x) \geq h(x)$を満たす。このcとして$E[X]$をとれば、
$E[g(X)] \geq E[h(X)] = \alpha E[X] + \beta = h(E[X]) = g(E[X]) \ (\because c=E[X])$
説明
$E[g(X)]$は計算が困難になるときがあるが、$E[X]$が求められるなら、その後で$g(E[X])$に変換するのは容易である。これにより$E[g(X)]$の下限を与えることができる。
補足
そのまま多次元入力の凸関数$g(\textbf{X})$に拡張可
$E[g(\textbf{X})] \geq g(E[\textbf{X}])$
例
1. $f(x) = e^x$のとき、これは下に凸なので、イェンセンの不等式
$E[e^x] \geq e^{E[x]}$
2. $f(x) = \log x$のとき
$\log x$は上に凸なので、$-\log x$に関してイェンセンの不等式より
$E[-\log x] \geq -\log E[X]$、整理して$E[\log x] \leq \log E[X]$
1．の例において、任意の可測関数$h(x)$を用いて、確率変数$X$の代わりに確率変数$h(X)$を考えても成立するので、
$E[e^{h(x)}] \geq e^{E[h(x)]}$
これより、例えば$X_1,X_2,\dots,X_n$が独立でXと同じ確率分布に従う確率変数とするとき、任意の可測関数$f(x)(\ge0)$について
