健康統計の基礎・健康統計学 - 2011/6th/Regression の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 2011/6th/Regression へ行く。

TITLE:回帰
*回帰 (regression) [#o7f971ab]

データをもとに、ある変数（''従属変数''または''目的変数''）を
別の変数（''独立変数''または''説明変数''）で
予測する式を作るための統計的手法を、
「''回帰分析''」（regression analysis）といいます。

とくに、独立変数が1つだけの場合を''単回帰分析''といいます。
複数の独立変数で1つの従属変数を予測する場合は重回帰分析といいます。


**回帰直線 (regression line) [#ref46612]

***回帰直線 [#r027a082]
-散布図の各点 &mimetex(\normalsize (x_i, y_i)); が近くに分布するような直線を回帰直線という。
#mimetex(){{
y = ax + b
}}
--回帰係数（回帰直線の傾き）：&mimetex(\normalsize a); 
--回帰直線のy切片（'''x'''=0 のときのyの値）：&mimetex(\normalsize b); 
--独立変数（説明変数：予測に使う変数）：&mimetex(\normalsize x);
--従属変数（目的変数、基準変数：予測したい変数）：&mimetex(\normalsize y);

-なお、回帰式は必ず &mimetex(\normalsize (\bar{x}, \bar{y})); を通る

***最小二乗法（least squares method） [#ve4df718]
-観測値（または実測値） &mimetex(\normalsize y_i); と 推定値（または予測値） &mimetex(\normalsize \hat{y}); との差（残差 &mimetex(\normalsize \epsilon); ）の二乗が最小になるような &mimetex(\normalsize a); と &mimetex(\normalsize b);  を求める。
-観測値（または実測値） &mimetex(\normalsize y_i); と 推定値（または予測値） &mimetex(\normalsize \hat{y}_i); との差（残差 &mimetex(\normalsize \epsilon); ）の2乗の和が最小になるような &mimetex(\normalsize a); と &mimetex(\normalsize b);  を求める。
--次の値が最小となるような、&mimetex(\normalsize a); と &mimetex(\normalsize b); を求める。
#mimetex(){{
\sum_{i=1}^n (y_i - \hat{y}_i)^2
}}
--残差の二乗 &mimetex(\normalsize \epsilon^2); を足したものを、残差平方和 &mimetex(\normalsize S_{\epsilon}); という 
#mimetex(){{
S_{\epsilon} = \sum \epsilon^2 = \sum_{i=1}^n (y_i - \hat{y}_i)^2
}}



**回帰式の計算 [#vc65a5ea]
-&mimetex(\normalsize x); を独立変数（横軸）、
&mimetex(\normalsize y); を従属変数（縦軸）としたときの回帰式
（ &mimetex(\normalsize y); への &mimetex(\normalsize x); からの回帰式）は
次のようになる。
#mimetex(){{
y = r \cdot \frac{s_y}{s_x} x + \left( \bar{y} - \frac{s_{xy} }{ {s_x}^2 } \cdot \bar{x} \right)
}}
--なお、回帰式を &mimetex(\normalsize y = ax + b); とすると、 &mimetex(\normalsize a); と &mimetex(\normalsize b); は次のようになる。 
#mimetex(){{
\begin{eqnarray}
a &=& r \cdot \frac{s_y}{s_x} = \frac{s_{xy} }{ {s_x}^2 } \\
b &=& \bar{y} - \frac{s_{xy} }{ {s_x}^2 } \cdot \bar{x} = \bar{y} - \bar{x} a
\end{eqnarray}
}}
--相関係数: &mimetex(\normalsize r); 
--2変数の標準偏差: &mimetex(\normalsize s_x); , &mimetex(\normalsize s_y); 
--2変数の共分散（偏差積和の平均）
#mimetex(){{
s_{xy} = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})
}}

-回帰式を変形すると、次のようになる。
#mimetex(){{
\begin{eqnarray}
y - \bar{y} &=& \frac{s_{xy} }{ {s_x}^2 } (x - \bar{x}) \\
&=& \frac{ S_{xy} }{ S_{xx} } (x - \bar{x})
\end{eqnarray}
}}
--2変数の平均値: &mimetex(\normalsize \bar{x}); , &mimetex(\normalsize \bar{y}); 
--2変数の偏差積和：&mimetex(\normalsize S_{xy});
#mimetex(){{
\normalsize\displaystyle S_{xy} = \sum_{i=1}^n d_x \cdot d_y = \sum_{i=1}^n (x_i - \bar{x}) (y_i - \bar{y})
}} 
--偏差平方和：&mimetex(\normalsize S_{xx});
#mimetex(){{
S_{xx} = \sum_{i=1}^n {d_x}^2 = \sum_{i=1}^n (x_i - \bar{x})^2
}} 


**標準誤差（standard error） [#a7ccecca]
-予測値と実測値のずれ（予測値  &mimetex(\normalsize \hat{y}); との誤差；残差 &mimetex(\normalsize \epsilon); ）について考える
#mimetex(){{
\hat{y} = a x_i + b + \epsilon
}}
-残差の標準偏差を、標準誤差 &mimetex(\normalsize s_{\epsilon}); という
#mimetex(){{
\begin{eqnarray}
s_{\epsilon} &=& \sqrt{ \frac{ \sum_{i=1}^{n} (y_i - \hat{y})^2 }{ n-2 } } \\
&=& \sqrt{ \frac{ S_{\epsilon} }{ n-2 }
\end{eqnarray}
}}
--&mimetex(\normalsize n-2); で割っているのは、2つの係数を推定したことによる自由度（後日説明）の修正のため

**決定係数（coefficient of determination） [#r5cbda2c]
-相関係数の二乗を決定係数（または寄与率）&mimetex(\normalsize R^2); という。
#mimetex(){{
\begin{eqnarray}
R^2 &=& \left( \frac{1}{n} \frac{ S_{xy} }{s_x s_y} \right)^2 \\
&=& \frac{ { S_{xy} }^2 }{n^2 \cdot { s_{x} }^2 { s_{y} }^2 } \\
&=& \frac{ { S_{xy} }^2 }{ \sum (x_i - \bar{x} )^2 \sum (y_i - \bar{y} )^2 } \\
&=& \frac{ { S_{xy} }^2 }{S_{xx} S_{yy} }
\end{eqnarray}
}}
-偏差平方和と残差平方和を使うと、次のように書くこともできる
#mimetex(){{
\begin{eqnarray}
R^2 &=& \frac{ S_{ \hat{y}\hat{y} } }{ S_{yy} } \\
&=& \frac{ \sum (\hat{y}_i - \bar{ \hat{y} } )^2 }{ \sum (y_i - \bar{y} )^2 } \\
&=& 1 - \frac{ S_e }{ S_{yy} }
\end{eqnarray}
}}
-決定係数は、0から1の値をとる。
#mimetex(){{
0 \leq R^2 \leq 1
}}
-推定（回帰式）の精度を表す指標である
--「従属変数 &mimetex(\normalsize y); の分散の何％を予測値 &mimetex(\normalsize \hat{y}); の分散が説明しているか」を示す
---別の言い方をすると、「説明変数が従属変数の何％にあたる部分に影響を与えているか（寄与しているか）」を示す
--だいたい、0.5以上であれば精度が高いといえる


**回帰の概念 [#j38548d8]
-予測値 &mimetex(\normalsize \hat{y}); と従属変数の平均  &mimetex(\normalsize \bar{y}); との差は、一般に独立変数  &mimetex(\normalsize x); とその平均 &mimetex(\normalsize \bar{x}); との差より小さくなる
--→予測値と平均の差 &mimetex(\normalsize ( \hat{y} - \bar{y}) ); との差は、独立変数と平均の差 &mimetex(\normalsize (x - \bar{x}) ); との差より小さくなる
--→予測値は独立変数に比べて平均に近づく
-統計学的な現象で、「回帰効果」や「平均への回帰」ともいう
--（例）1回目の試験の結果が偏っていた（とくに良い、悪いなど）人について、2回目の試験結果を調べると、その平均値は1回目の結果よりも1回目の全体の平均値に近くなる（時間的には逆で考えてもよい）
--（例）父親と子どもの身長を比較して、とくに身長の高い父親でも、とくに身長の低い父親からでも、子どもたちの身長は父親たちの身長より平均に近くなる
--（例）とくに身長の高い人たちの父親の身長は、子どもたちの身長よりも平均に近い（全体の身長の分布は、父親たちも子どもたちも同じ）