最小二乗法のまとめリンク

最小二乗法(最小自乗法、 Least Squares Fitting)について
調査したときのまとめリンク集

統計学の教科書では、
説明が薄くて数式がいまひとつすべて理解できなかった
また、二次関数など直線(一次関数)以外の当てはめについても
自分で考えるより、まず調査ということでしらべてみた。

Excelで計算できると書いてあるサイトが多いが
プログラマーとしては、プログラム処理したいので
正しい式と理解を得る必要がある。

-----------------------------------------------------
[日本語サイト]

菊地慶仁さん のサイトの説明
http://www.eli.hokkai-s-u.ac.jp/~kikuchi/ma2/chap08.html
ただし、二次関数などのときの計算は式もありよい。
もう少し丁寧な説明があると最高

広島大学 のサイトの説明
http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech32.html
とても良い。
ただし、二次関数などのときの計算は結果のみで
ちょっと信頼性の検証に手間がかかりそう。

ITエンジニアの数学 のサイトの説明
http://itmath.blog60.fc2.com/blog-entry-111.html
詳しい式の解説があるが、
式が省略されすぎており、
数学者のまとめ用でしかない。
Wikipediaよりは丁寧な説明である。
つまり、完璧ではあるが、
しばらく数学から離れているとまず理解できない。

Yahoo智慧袋 のサイトの説明
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1164087441
結果のみで、ちょっと信頼性の検証に手間がかかりそう。


中部大学? のサイトの説明
http://szksrv.isc.chubu.ac.jp/lms/lms1.html
直線(一次関数)のみの説明

-----------------------------------------------------
[英語サイト]

Toshinori Kimura さん のサイトの説明
http://www.toshi1224.info/physics/LSmethod.pdf
二次関数のときの計算式が丁寧に解説されており自分には最高


MIT のサイトの説明
http://web.mit.edu/10.001/Web/Course_Notes/Statistics_Notes/Correlation/node3.html
直線(一次関数)のみの説明

wolfram mathworld の説明
http://mathworld.wolfram.com/LeastSquaresFitting.html
直線(一次関数)のみの説明

Wikipedia のサイトの説明
http://en.wikipedia.org/wiki/Least_squares
数学者のまとめ用でしかない。
しかも実用にするには、多大な計算力が必要。

-----------------------------------------------------
[まとめ]

最小二乗法は、統計的にはきわめて重要である。

ところが、二次関数を当てはめるときは、
対象が二次関数であることを
確信できないと意味が無い。

あてはめ解法のキモは、
直線(一次関数)にしろ、二次関数にしろ、さらに高次の関数にしろ
最適化=誤差距離の最小化をはかるために、
未知数の方程式に関する偏微分法での極値探索である。

(この点が、統計学の教科書には記述がなかった。
また、始めに「偏微分法での極値探索」と書けばすむことを
偏微分記号をいきなり持ち出す説明法は
ほとほと理解するまでに苦労させられる。
つまり、できの悪い数学の説明は後ろからよむほうがいい)

したがって、線形計算になる場合(一次関数、二次関数、、、)は、
一次行列式に帰着し、行列式の解法でことたりる。

つまり、行列式(det)が0のときに注意が必要。

(この点(det=0)をどの資料も指摘していないところが、
 だれも二次関数以上でまともに利用していないことがわかる理由)