確率変数の組の独立性

とあるエコノメのテキストに確率変数の組 $$(X_i,Y_i), i=1,2,...,n$$ が独立ならば $$X_j, j=1,2,...,n$$も独立である（大意），と書かれていた．

まあようするに確率変数のペア$(X_i,Y_i)$と$(X_j,Y_j)$が独立ならば，ペアの片方だけを取り出した $X_i$と$X_j$も独立である，ということなのだが，どうも釈然としない．

そもそも $$(X_i,Y_i), i=1,2,...,n$$ が独立であることの定義も書かれていない．

定義して確かめる

テキストに書いてないのだから，自分で定義してもよかろう，ということで1変数の$n$次元独立のアナロジーで，確率変数の順序対の独立を以下のように定義する．

定義（確率変数の組の独立性）

$$(X_i,Y_i), i=1,2,...,n$$ が独立であるとは順序対$(x_1,y_1), (x_2,y_2), ..., (x_n, y_n)$の同時分布について $$ f( (x_1,y_1), (x_2,y_2), ..., (x_n, y_n) )=f(x_1,y_1)f(x_2,y_2)\cdots f(x_n, y_n) $$ が成り立つことである．

なぜこのような定義が必要かと言えば，次のような理由である．上記の定義において$x$と$y$との間には依存関係があってもよい．よって$x$と$y$との間に推測したい関数関係を念頭に置いているが，データとして個人$i$の情報と個人$j$の情報とは無関連であるとき上記の定義が利用できる．

実際，説明変数が確率変数であるような回帰モデルを考える場合には，この仮定が必要である．

さて知りたいことは「 $(X_i,Y_i), i=1,2,...,n$が独立である$\Longrightarrow X_j, j=1,2,...,n$が独立である」が成立するかどうかである．

証明

仮定より $$ f( (x_1,y_1), (x_2,y_2), ..., (x_n, y_n) )=f(x_1,y_1)f(x_2,y_2)\cdots f(x_n, y_n) $$ が成立している．

左辺を$y_1, y_2, ..., y_n$で積分する． $$ \iint \cdots \int f( (x_1,y_1), (x_2,y_2), ..., (x_n, y_n) )dy_1 d y_2 \cdots d y_n=f( x_1,x_2, ..., x_n) $$ 次に右辺も$y_1, y_2, ..., y_n$で積分する． $$ \iint \cdots \int f(x_1,y_1)f(x_2,y_2)\cdots f(x_n, y_n)dy_1 d y_2 \cdots d y_n=f(x_1)f(x_2)\cdots f(x_n) $$

この二つは等しいから $$ f( x_1,x_2, ..., x_n)=f(x_1)f(x_2)\cdots f(x_n) $$ である．

このことはつまり， $$ X_j, j=1,2,...,n $$ が独立であることを意味する．

ふう．

これで安心して $$(X_i,Y_i), i=1,2,...,n$$ が独立であるとき $$ E[u_i|X_1,X_2,...,X_n]=E[u_i|X_i] $$ っていう仮定が使える．