散布図の各点 が近くに分布するような直線
を回帰直線という。
すべての観測値と推定値との差が最小になるようにすることを、 最小二乗法という。
が最小となるような、aとbを求める。
を独立変数(横軸)、 を従属変数(縦軸)としたときの回帰式は次のようになる。
なお、
回帰式を変形すると、次のようになる。