回帰直線というのはY軸方向に最小二乗法を適用したもの

回帰直線というのは、すべての点の真ん中あたりをうまく通過しているのかと思いきや、
たしかに、Y軸方向に最小二乗法をとったもので、X軸方向には真ん中を通ってるわけではないよう。

というのも、あるデータセットに回帰直線を引いて、
X軸方向に上の方のデータを除去して、回帰直線を引き直した結果と、
Y軸方向に上の方のデータを除去して、回帰直線を引き直した結果と、
片方はずれるけど、片方はあまりずれない。。。(100回ほど試行した結果)

となると、X軸、Y軸どっちがどっちというのは大事なような気がしてきた。

たしかに、X軸、Y軸ひっくり返して、引き直した回帰直線のスロープは、元の逆数にならないなぁ。

数学的には切片とか含めて考えると、なんらかの意味で逆の関係になるのかもしれないけど、スロープという点だけみると逆でない。。

こんなことも知らなかった自分　orz

追記：
回帰係数が、Cov(x,y) / Var(x) (丸暗記) であると考えても当然か。
こういうのを導出できるようになるために、一度時間作って、線形代数やりたいなぁ。。