M1基礎ゼミ 4/25 資料
Last modified 30, April, 2016
Characteristic Functions
定義（Characteristic Functions）
確率ベクトル$X$の特性関数を以下で定義する． \begin{eqnarray} t \mapsto Ee^{it^TX}, \ \ t\in \mathbb{R}^k. \end{eqnarray}
Levy's continuity theorem
$X_n$, $X$は$\mathbb{R}^k$上の確率ベクトルとする．このとき，以下の２つは同値である．
- $X_n \rightsquigarrow X$.
- 任意の$t\in \mathbb{R}^k$に対して，$E e^{it^TX_n}\rightarrow Ee^{it^TX}$.
さらに，各点で$E e^{it^TX_n}$が$0$で連続な関数$\phi(t)$に収束するとき，$\phi$は$X_n \rightsquigarrow X$となるような$X$の特性関数である．
(Proof) まず，$(1)\Rightarrow (2)$を示す．各$t$に対して，$x \mapsto e^{it^Tx}$は明らかに連続であり，$|e^{it^Tx}| = \sqrt{\cos^2t^Tx + \sin^2t^Tx}=1$より有界である．
よってポートマントーの補題(ii)より，$E e^{it^TX_n}\rightarrow Ee^{it^TX}$となり示せた．
次に$(2)\Rightarrow (1)$を示す．これは後半のstoatementを示せば十分である．なぜなら，特性関数は$0$で連続であり，$E e^{it^TX_n}$の収束先が$Ee^{it^TX}$であるとすれば，$X_n \rightsquigarrow X$が成り立つからである．
まず，$X_n$は確率有界，i.e \begin{eqnarray} \sup_n P(||X_n|| > \epsilon) < M \end{eqnarray} が成り立つと仮定する．（この仮定が外せることはのちに示す）．Prohorovの補題より${X_n}$のある部分列${X_{n_k}}$が与えられたとき，さらにその部分列${X_{n_{k_j}}}$を選んであるベクトル$Y$に弱収束するように出来る．このとき，先ほど示した結果より$Ee^{it^TX_{n_{k_j}}} \rightarrow Ee^{it^TY}$となる．
極限の一意性により，$\phi(t) = Ee^{it^TY}$である．もし部分列の取り方によって，弱収束極限として$Z$が現れたとしても，$\phi(t) = Ee^{it^TZ}$である．
特性関数により分布は一意に定まるので（Lemma 2.15で示す），$X_n$の任意の部分列は$Y$に弱収束する．
よって$X_n$自身も$Y$に弱収束する．
次に$X_n$の確率有界性は$\phi(t)$が$0$で連続であることから導けることを示す．
$X_n$は一次元であるとして示す（確率ベクトルの各成分が確率有界であれば確率ベクトル自体も確率有界である）．任まず$x,\delta > 0$に対して，
\begin{eqnarray} 1_{|\delta x| > 2}\leq 2(1 - \frac{\sin (\delta x)}{\delta x}) = \frac{1}{\delta}\int_{-\delta}^{\delta} (1 - \cos(tx)))dt \end{eqnarray} が成り立つ．
$x$を$X_n$で置き換えて期待値をとると，
\begin{eqnarray} P(|X_n| > \frac{2}{\delta}) &\leq& \frac{1}{\delta}E\int_{-\delta}^{\delta} (1- \cos (tX_n))dt \\ &=& \frac{1}{\delta}E\int_{-\delta}^{\delta} Re(1 - e^{itX_n})dt \\ &=& \frac{1}{\delta}\int_{-\delta}^{\delta} Re(1 - Ee^{itX_n})dt \ \ \ \mbox{(フビニの定理)}\\ &\rightarrow & \frac{1}{\delta}\int_{-\delta}^{\delta} Re(1 - \phi(t))dt. \ \ \ \mbox{(優収束定理)} \end{eqnarray}
フビニの定理は非積分関数が明らかに可積分であることより使える．優収束定理も優関数として$g=2$などを考えれば使えることが分かる．
$\phi$は$0$で連続であるので，任意の$\epsilon$に対して，ある$\delta>0$が存在して，$|t| <\delta$で$|1-\phi(t)|<\epsilon$となる．この$\delta$に対して \begin{eqnarray} \frac{1}{\delta}\int_{-\delta}^{\delta} Re(1 - \phi(t))dt < 2\epsilon. \end{eqnarray}
よって，$n$を十分大きくとれば\begin{eqnarray} P(|X_n| >\frac{2}{\delta}) \leq 2\epsilon. \end{eqnarray}
よって$X_n$は一様緊密である．
Example(Normar distribution)
$N_{k}(\mu,\Sigma)$の特性関数は
\begin{eqnarray}
t \mapsto e^{it^T\mu - \frac{1}{2}t^T\Sigma t}
\end{eqnarray}
である．
(Proof) まず，一変量標準正規分布$N(0,1)$の特性関数が，$e^{-\frac{t^2}{2}}$となることを示す．
$X \sim N(0,1)$とすると \begin{eqnarray} E e^{itX} = \int_{-\infty}^{\infty} e^{itx}\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}x^2}dx = e^{-\frac{1}{2}t^2} \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-it)^{2}}dx \end{eqnarray} ここで，$R>0$として以下の４つの線分からなる閉曲線$C_R$を考える． \begin{eqnarray} C_{R,1}:-R\rightarrow R, \ \ C_{R,2}:R\rightarrow R-it, \ \ C_{R,3}:R-it\rightarrow -R-it, \ \ C_{R,4}:-R-it \rightarrow -R. \end{eqnarray}
ここで，$e^{-\frac{z^2}{2}}$は複素平面$C$で正則より，コーシーの積分定理から$\int_{C_R}e^{-\frac{z^2}{2}}dz=0$.
一方， \begin{eqnarray} \int_{C_R}e^{-\frac{z^2}{2}}dz = \sum_{n=1}^{4}\int_{C_{R,n}}e^{-\frac{z^2}{2}}dz \end{eqnarray} である．
各経路における積分をそれぞれ計算する．
まず，$C_{R,1}$では， \begin{eqnarray} \int_{C_{R,1}}e^{-\frac{z^2}{2}}dz = \int_{-R}^{R}e^{-\frac{x^2}{2}}dx \rightarrow \int_{-\infty}^{\infty}e^{-\frac{x^2}{2}}dx = \sqrt{2\pi}. \end{eqnarray}
$C_{R,2}$では，$z=R+iy$として$(dz=idy)$，
\begin{eqnarray} |\int_{C_{R,2}}e^{-\frac{z^2}{2}}dz | &=&|\int_{0}^{-t}e^{-\frac{(R+iy)^2}{2}}idy| \leq \int_{0}^{|t|}|e^{-\frac{(R^2-y^2)}{2}-iRy}i|dy \ &=& \int_{0}^{|t|}e^{-\frac{(R^2-y^2)}{2}}dy \leq |t| e^{-\frac{(R^2-t^2)}{2}} \rightarrow 0. \end{eqnarray}
$C_{R,4}$は, $z=-R+iy$として$C_{R,2}$と同様に計算すれば$R\rightarrow \infty$で$0$に収束することが分かる．
$C_{R,3}$は，$z=x-it$とすると，$dz = dx$より \begin{eqnarray} \int_{C_{R,3}}e^{-\frac{z^2}{2}}dz = \int_{R}^{-R}e^{-\frac{1}{2}(x-it)^2}dx = - \int_{-R}^{R}e^{-\frac{1}{2}(x-it)^2}dx \rightarrow - \int_{-\infty}^{\infty}e^{-\frac{1}{2}(x-it)^2}dx \end{eqnarray}
合わせると$\sqrt{2\pi} - \int_{-\infty}^{\infty}e^{-\frac{1}{2}(x-it)^2}dx = 0$.
よって， \begin{eqnarray} E e^{itX} = e^{-\frac{1}{2}t^2} \frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty} e^{-\frac{1}{2}(x-it)^{2}}dx = e^{-\frac{1}{2}t^2} \frac{1}{\sqrt{2\pi}}\sqrt{2\pi} = e^{-\frac{1}{2}t^2} \end{eqnarray} となることが示せた．
次に，正規分布$N(\mu,\sigma^2)$の特性関数は \begin{eqnarray} e^{i\mu t - \frac{1}{2}\sigma^2t^2} \end{eqnarray} となることを示す．
$X \sim N(\mu,\sigma^2)$とする．$Z=\frac{X - \mu}{\sigma}$と定義すると，$Z$は標準正規分布に従う． よって，$X=\sigma Z+ \mu$より，この特性関数は \begin{eqnarray} E e^{itX} = E e^{it(\sigma Z + \mu)} = e^{it\mu}Ee^{it\sigma Z}= e^{it\mu}e^{-\frac{1}{2}(\sigma t)^2} = e^{i\mu t -\frac{1}{2}\sigma^2t^2}. \end{eqnarray}
最後に多変量正規分布$N_{k}(\mu,\Sigma)$の特性関数が$e^{it^T\mu-\frac{1}{2}t^T\Sigma t}$であることを示す．
まず$Z \sim N_k(\mu,I)$して，$X:=\Sigma^{1/2}Z+\mu$と定義すれば$X\sim N_{k}(\mu,\Sigma)$である．確率ベクトルの特性関数の定義より
\begin{eqnarray} E e^{it^T X} &=& E e^{it^T(\Sigma^{1/2}Z+\mu)} \ &=& e^{it^T\mu} E e^{it^T \Sigma^{1/2}Z} . \end{eqnarray}
ここで，$t^T \Sigma^{1/2}Z$は
\begin{eqnarray} E[t^T \Sigma^{1/2}Z] &=& t^T \Sigma^{1/2}E[Z] = 0. \ V[t^T \Sigma^{1/2}Z] &=& t^T \Sigma^{1/2} V[Z] (t^T \Sigma^{1/2})^T \ &=& t^T \Sigma^{1/2} \Sigma^{1/2} t \ &=& t^T \Sigma t. \end{eqnarray}
より$N(0,t^T \Sigma t)$に従う．よって
\begin{eqnarray} E e^{it^T X} &=& e^{it^T\mu}e^{-\frac{1}{2}t^T\Sigma t} = e^{it^T\mu-\frac{1}{2}t^T\Sigma t}. \end{eqnarray}
Lemma 2.15
$\mathbb{R}^k$上の確率ベクトル$X$, $Y$について以下の２つは同値である．
- $X$, $Y$の分布が等しい．
- 任意の$t\in \mathbb{R}^k$で$Ee^{it^TX} = Ee^{it^TY}$が成り立つ．
(Proof) 任意の$\sigma >0, y \in \mathbb{R}^k$に対して， \begin{eqnarray} \int e^{-it^Ty}e^{-\frac{1}{2}t^Tt\sigma^2}Ee^{it^TX}dt &=& E\int e^{ it^T(X-y) } e^{-\frac{1}{2}t^Tt\sigma^2} dt \ \ \ \mbox{($\because$フビニの定理)} \nonumber \\ &=& E \int \exp [ -\frac{1}{2}\sigma^2 {t^Tt -\frac{2i}{\sigma^2}t^T(X-y) } ] dt \nonumber \\ &=& E \int \exp [ -\frac{1}{2}\sigma^2 ||t -\frac{i}{\sigma^2}(X-y) ||^2 -\frac{||X-y||^2}{2\sigma^2} ]dt \nonumber \ &=& \frac{(2\pi)^{k/2}}{\sigma^k}E e^{-\frac{1}{2}(X-y)^T(X-y)/\sigma^2}. \end{eqnarray}
実はこの最右辺は$(2\pi)^k$と$p_{X+\sigma Z}(y)$の密度を掛けたものになっている．このことを以下で示す．
まず，１行目でフビニの定理が使えることは以下のように$X$の密度関数を$f$として \begin{eqnarray} \int \int |e^{-it^T(x-y)}e^{-\frac{1}{2}t^Tt\sigma^2}f(x) |dx dt &=& \int \int e^{-\frac{1}{2}t^Tt\sigma^2} f(x) dxdt = \frac{(2\pi)^{k/2}}{\sigma^k}. \end{eqnarray} と可積分であることより分かる．
ここで，$X$と独立な$Z \sim N_{k}(0,I)$について，$X+ \sigma Z$の従う分布$p_{X+\sigma Z}(y)$を考える．畳み込み積分により，
\begin{eqnarray} p_{X+\sigma Z}(y) &=& \int f_X(x) f_Z(\frac{y-x}{\sigma})\frac{1}{\sigma^k}dx \ &=& \int f_X(x) \frac{1}{ (2\pi)^{k/2}} \exp[-\frac{1}{2\sigma^2}||y-x||^2 ] \frac{1}{\sigma^k} dx . \end{eqnarray}
$(2\pi)^k$と$p_{X+\sigma Z}(y)$の密度を掛けたものになっていることが分かる．よって$X$と$Y$の特性関数が等しいとき，$X+\sigma Z$と$Y+\sigma Z$の密度は等しくなり，任意の$\sigma >0$で分布は等しいことが分かる．
スラツキーの補題より，$X+\sigma Z \rightsquigarrow X$(as $\sigma \downarrow 0$). 同様に，$Y+\sigma Z \rightsquigarrow X$(as $\sigma \downarrow 0$)． 任意の$\sigma$で$X+\sigma Z$と$Y+\sigma Z$の分布は等しいので弱収束先の$X$, $Y$の分布も等しい．
Sources
- A. W. Van Der Vaart, Asymptotic Statistics, Cambridge University Press