第１回基礎ゼミ参考資料
Last modified 11, April, 2016
様々な収束の定義
まず，$\mathbb{R}^k$上の確率ベクトル$X=(X_1,...,X_k)$を考える．さらにその分布関数を$x\mapsto P(X\leq x)$と定義する．
$X_n$が$X$に分布収束するとは，$x\mapsto P(X\leq x)$が連続となるような任意の$x$に対して， $$ P(X_n \leq x) \rightarrow P(X\leq x) $$
が成り立つことをいう．$X_n \rightsquigarrow X$と書く．
$X_n$が$X$に確率収束するとは，任意の$\epsilon >0$に対して，
$$ P(d(X_n,X)>\epsilon) \rightarrow 0 $$
が成り立つことをいう．$X_n \xrightarrow{P} X$と書く．
$X_n$が$X$に概収束するとは， $$ P(\lim d(X_n,X)= 0) =1 $$
が成り立つことをいう．$X_n \xrightarrow{as} X$と書く．
強さでいうと，概収束$\geq$ 確率収束 $\geq$ 分布収束である（2章の後半で示される）．
Ex2.1 後に示すことの紹介なので省略．
Portmanteau's Lemma(ポートマントーの補題)
任意の確率ベクトル $X_n$ と $X$ に対して以下の7つのstatementは同値である．
- $x \mapsto P(X \leq x)$の任意の連続点において$P(X_n \leq x) \rightarrow P(X\leq x)$.
- 任意の有界連続関数 $f$ に対して $Ef(X_n) \rightarrow Ef(X)$.
- 任意の有界リプシッツ連続関数 $f$ に対して $Ef(X_n) \rightarrow Ef(X)$.
- 任意の非負連続関数$f$に対して，$\liminf Ef(X_n) \geq Ef(X)$.
- 任意の開集合$G$に対して，$\liminf P(X_n \in G)\geq P(X\in G)$.
- 任意の閉集合$F$に対して，$\limsup P(X_n \in F)\leq P(X\in F)$.
- $P(X\in \delta B) =0$となるような任意のボレル集合$B$に対して，$P(X_n \in B) \rightarrow P(X\in B)$.
動機付け
分布収束の同値上条件を与える定理であり，基本的には他の定理の証明の道具として用いられる．
証明
$(1) \Rightarrow (2)$, $(2) \Rightarrow (3)$, $(3) \Rightarrow (5)$, $(5) \Leftrightarrow (6)$, $(5)+(6) \Rightarrow (7)$, $(7)\Rightarrow (1)$, $(2) \Leftrightarrow (4)$の順で示す．
$(1) \Rightarrow (2)$.
示すべきことは$|Ef(X_n) - Ef(X)|$の上界が$n$を十分大きくとれば任意の$\epsilon$で抑えられることである．
はじめに，$X$の分布関数は連続であると仮定する．（一般の$X$でも問題ないことはのちに示す．）
(1)より任意の（超）長方形$I$に対して， $$ P(X_n \in I) \rightarrow P(X \in I) $$ が明らかに成り立つ．そこで$P(X \not\in I)\leq \epsilon$を満たすように十分大きくコンパクトな長方形$I$をとる．すると連続関数$f$はコンパクト集合$I$上で一様連続であるという有名事実が使える．
$f$が$I$上一様連続であるので，$f$が各$I_j$内で高々$\epsilon$しか異ならないような長方形$I$の分割$\cup_j I_j$を考えることができる．
次に期待値の収束を示すために3つの不等式を用意する．これらを用いて三角不等式を作ることで題意は示せる．
まず，各$I_j$から点$x_j$をとり，$f_\epsilon = \sum_j f(x_j) 1_{I_j}$と定義する．すると \begin{aligned} |f - f_\epsilon| &< \sup_x |f(x) - f_\epsilon (x)| \\ &= \sup_x |f(x) -f(x_j)| \\ &\leq \epsilon. \end{aligned} ここで$f$の値域が$[-1,1]$であるとしても一般性を失わない． これらを用いて以下の三つが成り立つ． \begin{eqnarray} |Ef(X_n) - Ef_\epsilon (X_n)| &\leq& \epsilon + P(X_n \not\in I), \\ |Ef(X) - Ef_\epsilon (X_n)| &\leq& \epsilon + P(X \not\in I) < \epsilon, \\ |Ef_\epsilon(X) - Ef_\epsilon (X_n)| &\leq& \sum_j|P(X_n \in I_j)-P(X \in I_j)||f(x_j)| \rightarrow 0. \end{eqnarray}
まずこれら３つを証明する． 一つ目．
\begin{eqnarray} |Ef(X_n) - Ef_\epsilon (X_n)| &=& |\int_{Rk}f-f_\epsilon dP(X_n)| \\ &\leq& |\int_{I}f-f_\epsilon dP(X_n)|+|\int_{Ic}f-f_\epsilon dP(X_n)| \\ &\leq& \int_{I}|f-f_\epsilon| dP(X_n)+|\int_{Ic}f dP(X_n)| \\ \end{eqnarray}
ここで，$I$上で$|f - f_\epsilon| \leq \epsilon$であることと，$f \leq 1$であることを用いれば，$|Ef(X_n) - Ef_\epsilon (X_n)| \leq \epsilon + P(X_n \not\in I)$である．$n$を十分大きくとれば，結局$2\epsilon$で抑えられることもわかる．
二つ目は全く同様にできる．
三つの不等式は，
\begin{eqnarray} |Ef_\epsilon(X) - Ef_\epsilon (X_n)| &=& |\int_{Rk} \sum_j f(x_j)1_{I_j}dP(X) - \int_{Rk} \sum_j f(x_j)1_{I_j}dP(X_n)| \\ &=& |\sum_j f(x_j) \int_{Rk} 1_{I_j}dP(X) - \sum_j f(x_j)\int_{Rk} 1_{I_j}dP(X_n)| \\ &=& |\sum_j f(x_j) P(X\in I_j) - \sum_j f(x_j)P(X_n \in I_j)| \\ &\leq& \sum_j |P(X\in I_j) -P(X_n\in I_j)||f(x_j)| \\ &\rightarrow& 0. \end{eqnarray}
結局，
\begin{eqnarray} |Ef(X_n) - Ef(X)| &=& |Ef(X_n)-Ef_{\epsilon}(X_n)+ Ef_{\epsilon}(X_n) -Ef_{\epsilon}(X) + Ef_{\epsilon}(X) - Ef(X)| \\ &\leq& |Ef(X_n)-Ef_{\epsilon}(X_n)|+ |Ef_{\epsilon}(X_n) -Ef_{\epsilon}(X)| +| Ef_{\epsilon}(X) - Ef(X)| \\ &\leq & 5\epsilon. \end{eqnarray}
よって，$X$の分布を連続とした場合は示せた．
次に$X$の分布関数が連続でない場合でも大丈夫なことを示さなければならない． まず，分布関数の不連続点は高々加算個である( Frodaの定理)．従って長方形$I$を$P(X \in \delta)=0$となるようにとれる．よって分布関数が不連続であっても同様の議論ができる．
$(2) \Rightarrow (3)$はリプシッツ連続な関数は連続関数であることより自明.
$(3) \Rightarrow (5)$を示す．
任意の開集合$G$に対して，$0\leq f_m \uparrow 1_G$となるようなリプシッツ連続な関数列$f_m$が存在する．たとえば， $$ f_m(x) = \inf \{md(x,G^c),1\} $$ は1でバウンドされる$m$リプシッツな関数である(証明)．
ここで，$X_n \in G^c$のとき，$f_m(X_n)=0$であるので， \begin{eqnarray} Ef_m(X_n) &\leq& 1\cdot P(X_n\in G) \\ &=& P(X_n\in G). \end{eqnarray}
よって，
\begin{eqnarray}
\liminf P(X_n\in G) &\geq& \liminf Ef_m(X_n) \\
&\geq& Ef_m(X). \ \ (\because (3))
\end{eqnarray}
単調収束定理より，$\lim_{m\rightarrow \infty}Ef_m(X) = E 1_G = P(X\in G)$.
よって示せた．
次に，$(5) \Leftrightarrow (6)$. これは補集合をとれば明らか．
$(5)+(6) \Rightarrow (7)$の証明．
まず，ボレル集合$B$の内部を$\mathring{B}$, 閉包を$\bar{B}$とかく．内部は開集合，閉包は閉集合であることから(5)及び(6)を用いて，
\begin{eqnarray} P(X\in \mathring{B}) \leq \liminf P(X_n\in \mathring{B}) \leq \limsup P(X_n\in \bar{B}) \leq P(X\in \bar{B}) \end{eqnarray} が成り立つ．
$P(X\in \delta B)= P(X\in \bar{B})-P(X\in\mathring{B}) = 0$であるとき，上式は全て同じ値をとる．よって$P(X_n \in B) \rightarrow P(X\in B)$.
次に$(7)\Rightarrow (1)$を示す．
連続点$x$に対して，$(-\infty,x]$をとると，これはボレル集合であり，$P(X \in \delta (-\infty,x]) = 0$より，(7)が使えて，
$$P(X_n\leq x)\rightarrow P(X \leq x) $$ OK.
$(2) \Rightarrow (4)$.
$M>0$を任意にとり，$f_M(x) := \inf \{f(x),M\}$とする．このとき，$f_M$は有界かつ連続であり，$f_M \leq f$. よって任意の$n \in \mathbb{N}$に対して， $$E f_M(X_n) \leq Ef(X_n)$$.
(2)より左辺は$Ef_M(X)$に収束する．よって
$$E f_M(X) \leq \liminf Ef(X_n)$$.
さらに，$f_M$は$M$に関して単調増加であるので，単調収束定理が使えて， $$Ef(X) \leq \liminf Ef(X_n)$$.
よって示せた．
$(4) \Rightarrow (2)$.
$f$は有界かつ連続な関数とする．このとき，$f+||f||_{\infty}$, $||f||_{\infty}-f$は，非負値連続関数である．ただし，$||f||_{\infty} = \sup_{x\in \mathbb{R}^k}|f(x)|$である．よって(4)が使えて，
\begin{eqnarray} \liminf [Ef(X_n) + ||f||_{\infty}] &\geq& E f(X)+ ||f||_{\infty} \\ \liminf [||f||_{\infty}- Ef(X_n)] &\geq& ||f||_{\infty} - Ef(X). \end{eqnarray}
合わせると，
\begin{eqnarray} \limsup Ef(X_n) \leq Ef(X) \leq \liminf Ef(X_n) \end{eqnarray}
これらは全て等しく，$\lim Ef(X_n) = Ef(X)$であり，(2)が成り立つことが分かる．
以上により一通り示せたことになる．
次の結果は基本的であるが非常に有用であり，ポートマントーの補題が証明の中で用いられる．
Continuous mapping theorem (連続写像の定理).
$g: \mathbb{R}^k \mapsto \mathbb{R}^m$は$P(X\in C)=1$となるような集合$C$の任意の点で連続であるとする．このとき，
- $X_n \rightsquigarrow X$ $\Rightarrow$ $g(X_n) \rightsquigarrow g(X)$,
- $X_n \xrightarrow{P} X$ $\Rightarrow$ $g(X_n) \xrightarrow{P} g(X)$,
- $X_n \xrightarrow{as} X$ $\Rightarrow$ $g(X_n) \xrightarrow{as} g(X)$
が成り立つ．
証明
(1).
まず，任意の閉集合$F$に対して，以下が成り立つ．
$$ g^{-1}(F) \subset \overline{g^{-1}(F)} \subset g^{-1}(F) \cup C^c $$
一つ目の包含関係は明らか．二つ目を示す．任意の$F$に対して，$x_m \rightarrow x$かつ$g(x_m)\in F$を満たすような関数列${x_m}$を考える．
ここで，定義より$x_m \in g^{-1}(F)$. さらに閉包は閉集合であることより$x \in \overline{g^{-1}(F)}$.
このとき$x$には次の二通りの場合がある．
- $x\in C$の場合
- このとき，$x$は$g$の連続点である．$g(x_k) \rightarrow g(x)$である． さらに$F$は閉集合であるので$g(x)\in F$．よって$x\in g^{-1}(F)$.
- $x\in C^c$の場合
よって二つ目の包含関係が示せた．
\begin{eqnarray} \limsup P(g(X_n)\in F) &\leq& \limsup P(X_n\in \overline{g^{-1}(F)}) \ \ \mbox{(自明)} \\ &\leq& P(X\in \overline{g^{-1}(F)}) \ \ \mbox{(ポートマント(6))} \\ &=& P(X\in g^{-1}(F)) \ \ \mbox{($P(X\in C^c)=0$)} \\\ &=& P(g(X)\in F). \end{eqnarray}
よってポートマントー(6)から，題意が示せた．
(2).
任意に$\epsilon$を固定する．各$\delta>0$に対して，$B_{\delta}$を次のように定義する．
\begin{eqnarray} B_{\delta} :=\{x\in \mathbb{R}^k: \exists y\in \mathbb{R}^k,d(x,y)<\delta, d(g(x),g(y))>\epsilon \}. \end{eqnarray}
このとき，$X\not\in B_{\delta}$かつ$d(g(X_n),g(X))>\epsilon$であるとすれば，$d(X_n,X)\geq \delta$ということになる．よって，
\begin{eqnarray} P(d(g(X_n),g(X))\geq \epsilon) \leq P(X\in B_{\delta}) + P(d(X_n,X)\geq \delta). \end{eqnarray}
あとは右辺が$n\rightarrow 0$で0に収束することをいえばよい．2項目は$X_n$が$X$に確率収束することよりOK. 1項目は$g$が$C$で連続であることより，$B_{\delta} \cap C \downarrow \phi$なので$\delta \downarrow 0$で0に収束する．以上により示せた．
(3). 明らか．
確率変数$X$がtight(緊密)であるとは
任意の$\epsilon>0$に対して，$P(||X||>M)<\epsilon$を満たすような定数$M$が存在するとき，確率ペクトル$X$はtight(緊密)であるという．さらに，確率ベクトル集合$\{ X_{\alpha}: \alpha \in A\}$で，全ての$X_\alpha$に対して，同じ$M$を選べるとき，$\{ X_{\alpha}: \alpha \in A\}$はuniformly tight(一様緊密)であるという．すなわち任意の$\epsilon$に対して
\begin{eqnarray} \sup_{\alpha}P(||X_{\alpha}||>M)<\epsilon \end{eqnarray} を満たすような$M$が存在するということである．（確率有界, bounded in probabilityともいう）
Prohorov's Theorem (プロホロフの定理)
$X_n$は$\mathbb{R}^k$上の確率ベクトルであるとする．このとき以下が成り立つ．
- $X_n \rightsquigarrow X$ $\Rightarrow$ ${X_n}$はuniformly tight.
- ${X_n}$がuniformly tight $\Rightarrow$ ある$X$に対して，$X_{n_j} \rightsquigarrow X(j \rightarrow \infty)$となるような確率ベクトル列が存在する．
この定理の証明は次回．
Sources
- A. W. Van Der Vaart, Asymptotic Statistics, Cambridge University Press
Special Thanks
- Mr. Ryunosuke TANABE