確率

数学 確率論


確率空間と確率の基本性質

確率は事象に対して考える。事象とは起こりうる結果の全体である標本空間の要素（標本点，根元事象）を含む標本空間のある種の部分集合として記述される。

定義：完全加法族と事象
$\Omega$を標本空間として空でないとするとき、その部分集合のある族が以下の条件を満たすとき完全加法族という。

1. $\Omega \in \mathcal{F}$

2. $A \in \mathcal{F}$ならば$A$の補集合$A^c(=\Omega - A) \in \mathcal{F}$

3. $A_1,A_2,\dots \in \mathcal{F}$ならば、$\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$

この結果、事象とは完全加法族の元として定義され、「事象Aが起こる」とは、Aに属する標本点が出現することをいう。


定義：確率測度
空でない標本空間$\Omega$とその完全加法族$\mathcal{F}$があって、$\mathcal{F}$の上の実数値集合関数（集合に作用する関数）$P : \mathcal{F} \ni A \rightarrow \mathbb{R} \ni P(A)$が以下の条件を満たすとき、$P$を$\Omega$上の（あるいは$\mathcal{F}$上の）確率測度あるいは確率という。

1. すべての$A \in \mathcal{F}$について$P(A) \geq 0$

2. $A_1,A_2,\dots \in \mathcal{F}, A_i \cap A_j = \emptyset \ \ (i \neq j)$ならば、
\displaystyle P\left( \bigcup_{i=1}^{\infty} Ai \right) = \sum_{i=1}^{\infty} P(A_i)

3. $P(\Omega) = 1$

  • 確率測度は確率分布、あるいは単に分布という。また、標本点$\omega$がどのような頻度で選ばれるかという法則を表すので、確率法則とも呼ばれる。
  • 2の性質を完全加法性という（この加法性が確率の測度としての面での本質である⇒測度論）。
  • 組$(\Omega, \mathcal{F},P)$を確率空間あるいは確率モデルという。
  • 上の3つの性質を確率の公理という（本来頻度論的確率で自然に満足していた性質を満たすようなものを確率の公理と考えたうえでそれを満たすものを逆に確率と呼ぶ様に拡張した）

確率の基本的性質

このように（たった3つの）条件で定義された確率測度だが、当然成り立ってほしい以下の性質を自然に満足する。確率空間は$(\Omega,\mathcal{F},P)$とする。

1. 空集合の確率は0
$P(\emptyset) = 0$

($\because$)
$\Omega,\emptyset, \emptyset,\dots$は互いに排反なので、Pの完全加法性より
$P(\Omega) = P(\Omega + \emptyset + \emptyset + \cdots) = P(\Omega) + P(\emptyset) + \cdots$
Pの条件より$P(\Omega) = 1$なので、$P(\emptyset) + P(\emptyset) + \cdots = 0$
よって、$P(\emptyset) = 0$

2. 有限加法性
$A_i \in \mathcal{F}(i=1,\dots,n)$が互いに排反であるとき、
\displaystyle P(\sum_{i=1}^n A_i) = n\sum_{i=1}P(A_i)

($\because$)
$A_{n+1} = \emptyset, A_{n+2} = \emptyset,\dots$とすると、$A_1,A_2,\dots$は互いに排反であるから、Pの完全加法性より
\displaystyle P(\sum_{i=1}^{n} A_i) = P(\sum_{i=1}^{n} A_i + \sum_{i=n+1}^{\infty} A_i) = P(\sum_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} P(A_i) = \sum_{i=1}^{n} P(A_i)
より題意が示された。

3.単調性と差法可能性
事象A,Bが$A \subset B$であれば
3.1 単調性：$P(A) \le P(B)$
3.2 差法可能性：$P(B-A) = P(B) - P(A)$

($\because$)
$B=A+(B-A)$で$B$と$B-A$は互いに排反なので、Pの完全加法性より
$P(B) = P(B-A) + P(A)$
これを変形すれば、$P(B-A) = P(B) - P(A)$
また、$P(B-A)\geq0$より$P(A) \le P(B)$

系. すべての事象Aについて$0 \leq P(A) \leq 1$

($\because$)
$\emptyset \subset A \subset \Omega$であり、Pの単調性と$P(\emptyset)=0$で$P(\Omega)=1$より示せる。

系.すべての事象Aについて$P(A^c) = 1-P(A)$

($\because$)
$\Omega = A + A^c$であり、$A$と$A^c$は互いに排反なのでPの有限加法性と$P(\Omega)=1$より、示せる。

4. 完全劣加法性（ブールの不等式、Union bound）
$A_i \in \mathcal{F} (i=1,2,\dots)$に対して
\displaystyle P(\bigcup_{i=1}^{\infty} A_i) \leq \sum_{i=1}^{\infty} P(A_i)

($\because$)
$B_1=A_1$、$B_i = A_i - \bigcup_{j=1}^{i-1}A_j (i\geq2)$とおくと、$B_1,B_2,\cdots$は互いに排反なので、Pの完全加法性より$P(\bigcup_{i=1}^{\infty}A_i) = P(\bigcup_{i=1}^{\infty}B_i) = \sum_{i=1}^{\infty}P(B_i)$。また$B_i \subset A_i$よりPの単調性より$P(B_i) \leq P(A_i)$であるので、題意が示せる。

系. 有限劣加法性
$A_i \in \mathcal{F} (i=1,2,\dots)$に対して
\displaystyle P(\bigcup_{i=1}^{n} A_i) \leq \sum_{i=1}^{n} P(A_i)

($\because$)
4の性質とPの有限加法性を用いればよい。

5. 加法則
$A,B \in \mathcal{F}$ならば
$P(A \cup B) = P(A) + P(B) -P(A \cap B)$

($\because$)
$A \cup B = (A-B)+(B-A)+(A \cap B) $より、$P(A \cup B) = P(A-B) + P(B-A) + P(A \cap B)$、また$P(A)= P(A-B) +P(A \cap B)$、$P(B) = P(B-A) + P(A \cap B)$であるので、題意が示せる。

これは、数学的帰納法によりn個の和集合に一般化可能。

離散型確率空間と確率測度の構成

定義：離散型確率空間
確率空間$(\Omega,\mathcal{F},P)$において、標本空間が加算個の標本点からなり（これを離散型標本空間という）、$\mathcal{F} = 2^{\Omega}$である場合、$(\Omega,\mathcal{F},P)$を離散型確率空間という。とくに$\Omega$が有限個の標本点からなる場合、有限標本空間とよぶ。

確率測度の構成
離散型確率空間の場合、根元事象$\{\omega_i\}(i=1,\dots,n)$の確率$p_i = P(\{\omega_i\})$と置くことで、任意の事象Aの確率は、$\{\omega_1\},\{\omega_2\},\dots$は互いに排反なので、
\displaystyle P(A) = \sum_{\omega_i \in A}p_i
で与えることができる。
逆に、実数列$\{p_i\}$が与えられ、これが
\displaystyle p_i \geq 0, \ \sum_{i=1}^{\infty}p_i = 1
を満足するなら、$p_i = P(\{\omega_i\})$よりPを与えることができる（Pの要件を満足する）。
このとき$p_i$は確率関数や確率質量関数と呼ばれる。

ボレル集合族

離散型確率空間は理解しやすいが、離散も連続も含む一般的な場合には標本空間としては$\mathcal{R}$が用いられる。この完全加法族としては、極端に制限の強いもの（自明な完全加法族$(\emptyset, \Omega)$）でも、極端に制約の緩いもの（べき集合$2^{\Omega} \equiv \{\Omegaのすべての部分集合\}$）でもなく、その間のようなものが使われる。これは$2^{\Omega}$の上には自然な確率測度を作れないからである（離散型標本空間であればそれでも問題ない）。そこで使われるのがボレル集合族である。

準備：ある族を含む最小の完全加法族
$\Omega$の部分集合からなる任意の族$\mathcal{F}_0$があるとき、これを含む最小の完全加法族が存在する。それはこれを含む完全加法族の全体\{ \sigma (\mathcal{F}_0)\} の共通部分 \sigma (\mathcal{F}_0) = \bigcap_{\sigma (\mathcal{F}_0)} \sigma (\mathcal{F}_0) で表される。この最小の完全加法族を改めて\sigma (\mathcal{F}_0)と表すとする。

定義：ボレル集合族
$\mathbb{R}^n$において、$-\infty \leq a_i \leq b_i \leq \infty \ (i=1,2,\dots,n)$について
$I = (a_1,b_1] \times (a_2,b_2] \times \cdots \times (a_n,b_n] = \{ (x_1,\dots,x_n) | a_i \leq x_i \leq b_i \ (i=1,\dots,n) \}$
なる形の集合Iを区間と呼び、このような区間の全体を$\mathcal{J}_n$とする。このとき、$\mathbb{R}^n$において$\mathcal{J}_n$を含む最小の完全加法族が存在する。これをボレル集合族$\mathcal{B}_n$と呼ぶ。

ボレル集合族の具体的な全体像は抽象的だが、開区間、閉区間、n次元球、1点のみから成る集合、加算個の点からなる集合などが含まれる。