🧠 第1章：なぜ“学習データ”が最も重要なのか？
「モデルの精度を上げたい」と思ったとき、ほとんどの人がこう考えます：
・もっと良いアルゴリズムを使おう
・最新のモデルを試そう
・パラメータをチューニングしよう
しかし、これは順番が逆です。
✅ データ ＞ モデルの法則
精度の高い機械学習モデルを作るために最も影響力があるのは、使うモデルではなく“学習データそのもの”です。
例：同じモデルでもデータ次第で精度はこう変わる
ノイズだらけのデータ → 高性能モデルでも精度が出ない
正しく整えられたデータ → シンプルなモデルでも高精度が出る
つまり、データを制する者がコンペを制する／実務で成功するのです。
✅ 学習データが悪いと何が起きる？
・モデルが本質的なパターンを学べない（ゴミを学習）
・学習中の損失関数が不安定になる
・過学習やアンダーフィッティングが発生しやすい
・現実世界で再現性が取れないモデルになる
✅ データ前処理が疎かにされやすい理由
・学習済みモデルが便利すぎて、「そのまま突っ込んでしまう」
・前処理は地味で目立たない
・成果がすぐに見えにくい（地味な改善）
でも、逆に言えばここに力を入れることで、他の人と差がつくのです。
✅ 上級者がこっそりやっている“データ強化”とは？
・欠損値の補完ルールを変数単位で最適化
・日付・カテゴリ変数を意味のある特徴量に変換
・ノイズを除去して滑らかな分布を作る
・外れ値を検知・マスク・再学習する
・ラベルの再定義（誤ラベルを人手修正 or 半教師あり学習）
📘 第2章：特徴量設計で精度が激変する理由と手法
機械学習の世界では、「ゴミを入れればゴミが出る（Garbage In, Garbage Out）」という格言があります。
これは、どんなに優れたモデルでも、入力データ（特徴量）が悪ければ良い結果は出せないという意味です。
つまり、特徴量設計（Feature Engineering）は“精度に直結する最重要プロセス”なのです。
✅ 特徴量とは何か？なぜ重要なのか？
特徴量とは、「機械学習モデルに与えるデータの説明変数」のこと。
例えば、住宅価格予測のタスクなら「部屋数」「築年数」「駅からの距離」などが特徴量になります。
モデルの賢さは「どんなデータを学習させたか」で決まります。
逆に言えば、「良い特徴量」を作るだけで精度は飛躍的に上がるのです。
✅ 効果的な特徴量エンジニアリングの具体例
ここでは、精度向上に効果的な実践テクニックを紹介します。
① 数値の集約（Aggregation）
例：顧客IDごとの平均・合計・最大・標準偏差など
df_agg = df.groupby("customer_id")["purchase_amount"].agg(["mean", "std", "max"]).reset_index()
→ 顧客ごとの行動傾向がモデルにとって「意味のあるパターン」となります。
② 日付の分解・変換
例：年月日を「曜日」「月」「連休フラグ」「年始年末」などに分解
df["day_of_week"] = df["purchase_date"].dt.dayofweek→ 時系列データでの精度向上に効果大。
df["is_holiday_season"] = df["purchase_date"].dt.month.isin([12, 1]).astype(int)
③ カテゴリ変数のエンコーディング
One-Hot Encoding：少数カテゴリ向き（例：性別、曜日など）
Label Encoding：カテゴリに意味の順序がある場合（例：S, M, Lサイズなど）
Target Encoding：上級者向け、各カテゴリにおける目的変数の平均を使う（要リーク対策）
④ 比率や差分の生成
売上 ÷ 顧客数 → 顧客単価
今月の売上 − 前月の売上 → 売上変化量
ある変数 ÷ 平均値 → 相対スコア
→ 絶対値ではなく関係性で特徴量を作ると精度が上がることが多いです。
⑤ 重要な変数を見抜く方法
importances = model.feature_importances_
上位変数だけで再学習してスコアが維持されるか確認
シャッフルして精度が落ちるかを検証する「Permutation Importance」も有効
✅ 特徴量設計のポイントまとめ
・元データを“加工する”のが特徴量エンジニアリング
・意味のある情報に変換することが精度向上のカギ
・変数をやたらに増やすのではなく、意味を込めて作ることが大切
📘 第3章：ノイズ除去と外れ値処理の基礎と極意
モデルの精度を下げる最大の敵、それが「ノイズ」と「外れ値」です。
どんなに高度なアルゴリズムを使っても、学習データにゴミが混ざっていれば正しく学習できません。
この章では、データを“キレイにする”ための実践テクニックを紹介します。
✅ ノイズとは何か？なぜ厄介なのか？
ノイズとは、モデルにとって学習の邪魔になるような、ランダムな情報や間違ったデータです。
ノイズの例：
・入力ミス（例：身長1800cm、価格-500円など）
・センサーデータのブレや揺れ
・誤ラベル（分類タスクで本来とは違うクラスになっている）
ノイズを放置するとどうなる？
・学習が不安定になり、過学習やアンダーフィッティングが発生
・損失関数が収束しにくくなる
・評価指標が“ダマされる”（特に少数データの場合）
💡 学習中に損失が不自然に振れる時は、データにノイズがある可能性を疑おう。
✅ ノイズ除去テクニック
① 統計的な異常値検知（IQR法）Q1 = df["value"].quantile(0.25)
Q3 = df["value"].quantile(0.75)
IQR = Q3 - Q1
filtered_df = df[(df["value"] >= Q1 - 1.5 * IQR) & (df["value"] <= Q3 + 1.5 * IQR)]
→ 四分位範囲を外れたデータを除外・マスク
② 標準偏差を使った検出mean = df["value"].mean()
std = df["value"].std()
filtered_df = df[np.abs(df["value"] - mean) < 3 * std]
→ 通常範囲（±3σ）外をノイズとして扱う
③ 機械学習による外れ値スコア検出
Isolation Forest
Local Outlier Factor
One-Class SVM など
from sklearn.ensemble import IsolationForest
clf = IsolationForest(contamination=0.05)
df["outlier_score"] = clf.fit_predict(df[["feature1", "feature2"]])
→ -1判定のデータを除外 or フラグとして特徴量に追加
✅ 外れ値は削除だけじゃない！「扱い方」で差がつく
削除（trainから除く）：影響を排除したいとき
マスク（ラベルを無視）：教師信号だけ無視したいとき
特徴量化（外れ値フラグ）：逆に情報として使うことも有効
📌 難しい判断は「複数パターンを作ってCVスコアで比較」するのがベスト。
✅ ラベルノイズへの対処
分類タスクでは「誤ラベル」が最も危険。
いくつかの対処法は以下の通りです：
予測確率が低いデータを検出し、再確認
K-foldで再分類されたラベルと元ラベルがズレてる行を抽出
半教師あり学習やpseudo labelingで補完する
✅ ノイズ除去は“最後の一押し”ではなく“最初の必須処理”
モデルの改善より先に、まずノイズの整理
データの質が上がれば、単純なモデルでも精度が出る
特に実務では「ノイズの放置」は大事故の原因になる
📘 第4章：データ分割とクロスバリデーションの落とし穴
モデルの精度を高めるうえで、学習データとテストデータの分け方は非常に重要です。
ここを間違えると、「精度が高いのに、実運用では全然使えないモデル」になってしまいます。
この章では、初心者がつまずきやすいデータ分割とCV（クロスバリデーション）戦略の落とし穴を徹底解説します。
✅ なぜ「分け方」で精度が変わるのか？
データ分割の目的は、“未来を再現する”こと。
機械学習では、以下のようにデータを分けて使います：
・学習データ（train）：モデルの学習に使う
・検証データ（validation）：モデル評価に使う
・テストデータ（test）：提出や実運用に使う（手を触れてはいけない）
この分割が“未来と同じ条件”でできているかが、モデルの信頼性に直結します。
✅ よくあるNGなデータ分割例
❌ ランダムにシャッフルして分けた（時系列データで）
→ 未来の情報を含んだデータで学習してしまう「データリーク」状態に。
❌ 同一ユーザーのデータがtrainとvalidに混在
→ 類似パターンを学習してしまい、過剰に精度が高く見える（情報の重複）
❌ testデータの分布と違う条件で学習している
→ 実際の予測対象と違う分布で学習しているため、本番で精度が出ない
✅ 正しいデータ分割の考え方
- 時系列データ → 時系列に沿って分割（TimeSeriesSplit）
from sklearn.model_selection import TimeSeriesSplit
tscv = TimeSeriesSplit(n_splits=5) - グループごとに分割（GroupKFold）
from sklearn.model_selection import GroupKFold
gkf = GroupKFold(n_splits=5)
→ 同じユーザー・センサー・IDなど、同一性のあるグループ単位で分ける - StratifiedKFold（分類問題）
from sklearn.model_selection import StratifiedKFold
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
→ クラス分布のバランスを保ったまま分割できる
✅ クロスバリデーション（CV）の注意点
クロスバリデーションは、過学習を防ぎ、汎用性のあるモデルを作るために不可欠です。
しかし、以下のような落とし穴があります：
・random_stateを固定していない
・特徴量がtrain/testで分布ズレしている
・クロスバリデーションで良くても、submitスコアが悪い（＝リーク疑い）
💡 スコアが「Public LBでは良いけど、Privateで大きく落ちる」ときは、CV設定を見直しましょう。
✅ 分割のコツまとめ
ケース｜ おすすめ手法
時系列｜ TimeSeriesSplit, Purged K-Fold
ユーザー分類｜ GroupKFold
クラス分類｜ StratifiedKFold
ノイズやリークが疑われる｜ 分布チェック + シャッフル除去
📘 第5章：現場でも通用する「精度を上げる前処理」実践Tipsまとめ
ここまで、学習データの精度を劇的に向上させるためのテクニックを体系的に解説してきました。
最終章では、明日からすぐ実践できる“前処理のコツ”をリスト形式でまとめます。
✅ 1. 前処理フローを「テンプレート化」せよ
高精度モデルを作る人は、前処理のルーティンを持っています。
🔁 汎用的な前処理ステップ例：
１．欠損値の補完（中央値・カテゴリ“Unknown”など）
２．外れ値の検出・除外・マスク処理
３．カテゴリ変数のエンコーディング（One-Hot／Label／Targetなど）
４．数値変数のスケーリング（StandardScaler / MinMaxScaler）
５．日付の分解・派生変数生成（曜日、月、連休など）
６．グルーピング集計（平均・最大・件数など）
７．特徴量の重要度による取捨選択
→ スクリプト化しておくことで、使い回しと改善が容易に。
✅ 2. EDAで“気になるパターン”を見逃すな
・欠損率が高すぎる列は削除 or 補完ルール見直し
・カテゴリの出現頻度が偏っていたら集約・統合を検討
・数値分布が極端（右肩上がり/左に偏り）なら対数変換やビニング処理を試す
📈 可視化（histplot / boxplot / countplot）で傾向を見抜く癖をつけよう。
✅ 3. “意味のある特徴量”は少数精鋭でいい
無意味な特徴量を増やしても、モデルの判断を混乱させるだけです。
・重要度の低い変数は削除してCVで精度比較
・モデルに不要な列（IDや無関係なメタ情報）は除外
・相関係数が極端に高い列は片方だけ残す
→ 特徴量数が多すぎると過学習や学習時間の悪化につながる
✅ 4. データの「分布ズレ」を常に意識する
学習用（train）と本番（test）で、データの分布が違うことはよくあります。
・CVで良いのにSubmitで悪い → 分布ズレの疑い大
・train[“feature”].hist() と test[“feature”].hist() でチェック
対処法：
・共通の分布に変換（正規化やビニング）
・不要な特徴量を削除（train/testで大きくズレる列）
✅ 5. チームや再利用を見据えた「整備されたコード」を書こう
良いデータ前処理は、「読める・再現できる・流用できる」の三拍子。
・処理ごとに関数化する
・データの変換履歴をログ出力する
・すべての前処理ステップをJupyterやPython Scriptに残しておく
📂 実務やKaggleでも、「わかりやすいコード」は再利用率と信頼性が跳ね上がります。
🎓 本記事まとめ：精度は“学習データ”で9割決まる！
項目｜精度への影響
特徴量設計｜ ★★★★★
ノイズ処理｜ ★★★★☆
分割手法｜ ★★★★☆
モデル選択｜ ★★★☆☆
チューニング｜ ★★☆☆☆
📌 結論：
精度が伸び悩んだら、モデルではなく「学習データ」を見直せ！
🔄 今後に活かすなら…
自分だけの前処理テンプレートを作る
KaggleやSignateで実際に試す
コメント