線形回帰の「ちょっと困ったこと」
線形回帰は、データにあるまっすぐな関係を見つけるのに便利でしたが、いくつか「ちょっと困ったこと」がありました。
- 使いすぎちゃう鉛筆（過学習）： データに完璧に線を合わせようとしすぎて、新しいデータに対してうまく予測できなくなることがあります。これは、まるでテストの過去問ばかりを完璧に覚えて、初めての問題に対応できなくなるのに似ています。
- たくさんの説明変数（特徴量）： 身長と体重だけでなく、年齢や運動時間、食事の量など、たくさんの要素（説明変数）が体重に関わっているかもしれません。説明変数が多すぎると、どの変数が本当に大切なのか分かりにくくなってしまいます。
そこで登場するのが「リッジ回帰」と「ラッソ回帰」です！
この2つは、線形回帰をちょっと賢くして、上の「困ったこと」を解決しようとする仲間みたいなものです。どちらも、線形回帰の計算方法に少し工夫を加えています。
1. リッジ回帰（お手柔らかペナルティ先生）
リッジ回帰は、「使いすぎちゃう鉛筆」の問題を解決しようとします。
- 考え方： 線を引くときに、データに完璧に合わせようとするのを少しだけ邪魔します。「そんなに頑張って完璧に合わせなくても、だいたいの傾向が分かれば良いんだよ」と、モデルに優しく注意するイメージです。
- どうやるの？： 線を決めるときに、線の傾き（専門用語では「重み」と言います）が大きくなりすぎないように、少しだけペナルティ（罰金みたいなもの）を加えます。
- 効果：
- 線がギザギザになったり、極端にデータに寄り添ったりするのを防ぎます。
- その結果、新しいデータに対しても、より安定した予測ができるようになります。
- たくさんの説明変数があっても、全ての変数を少しずつ考慮に入れます。ただし、どの変数が本当に重要かは、まだ少し分かりにくいかもしれません。
- 例えるなら： テストで高得点を取りたいけど、一夜漬けで完璧に覚えようとすると、すぐに忘れてしまいますよね。それよりも、毎日少しずつ勉強して、広く浅く理解する方が、応用問題にも対応できるようになるイメージです。リッジ回帰は、モデルが特定のデータにだけ過剰に適合するのを防ぎ、広い範囲のデータに対応できるようにします。
2. ラッソ回帰（スッキリ整理整頓先生）
ラッソ回帰は、「たくさんの説明変数」の問題を解決しようとします。
- 考え方： たくさんの説明変数の中で、本当に大切なものだけを選び取って、他の重要でない変数を無視しようとします。まるで、部屋の物を全部出して、本当に必要なものだけ残して、あとは捨てるようなイメージです。
- どうやるの？： 線を決めるときに、線の傾き（重み）が小さい変数に対して、もっと強いペナルティを加えます。すると、重要でない変数の重みはどんどん小さくなり、最終的にはほとんどゼロとみなされるようになります。
- 効果：
- 重要でない説明変数を自動的に見つけて、分析から除外してくれます。
- その結果、どの変数が予測に本当に影響を与えているのかが分かりやすくなります。
- モデルがシンプルになるので、理解しやすくなります。
- 例えるなら： たくさんの教科書やノートがあっても、テストに本当に必要なのはその一部だけですよね。ラッソ回帰は、まるで賢い先生が「この教科書とノートだけ勉強すれば大丈夫だよ」と教えてくれるように、重要な説明変数だけを選び出してくれます。
リッジ回帰とラッソ回帰の似ているところ・違うところ
- 似ているところ：
- どちらも線形回帰の仲間で、予測の精度を高めようとする方法です。
- どちらも「ペナルティ」という考え方を使って、モデルが複雑になりすぎるのを防ぎます。
- 違うところ：
- ペナルティの種類： リッジ回帰は重みが大きくなりすぎないように「優しく」ペナルティを与え、ラッソ回帰は重要でない変数の重みを「強く」ペナルティを与えてゼロにしようとします。
- 得意なこと： リッジ回帰は過学習を防ぐのが得意で、ラッソ回帰は重要な変数を選ぶのが得意です。
- 結果： リッジ回帰では全ての変数が少しずつ影響を持ちますが、ラッソ回帰では一部の変数だけが重要な影響を持つようになります。
どちらを使うか？
どちらの回帰が良いかは、データや解決したい問題によって変わります。
- もし、たくさんの説明変数があって、どれが重要か見当がつかない場合は ラッソ回帰 を試してみると、重要な変数が見つかるかもしれません。
- もし、説明変数はある程度絞られているけど、過学習が心配な場合は リッジ回帰 を試してみると、より安定した予測ができるかもしれません。
時には、この2つを組み合わせたような「Elastic Net（エラスティックネット）」という方法も使われます。
難しかったかもしれませんが、リッジ回帰とラッソ回帰は、線形回帰をもっと便利にするための賢い工夫だということです。