過学習とは
過学習とは、統計、機械学習において、データの傾向に沿うようにモデルを学習させた結果、学習時のデータに対してはよい精度を出すが、未知データに対しては同様の精度を出せないモデルが構築されてしまうことです。過学習になると、モデルを実運用することが難しくなってしまいます。
過学習は、特定のデータにモデルが過剰に適合（学習）してしまうことによって生じます。モデルを学習する際には、過学習の発生に注意しながら、データ、モデル、学習方法それぞれに対し、それを防ぐよう対処する必要があります。
過学習の確認
過学習が起きているかどうかを確認するためには、学習に使うひと塊のデータを、訓練用とテスト用に分割します。訓練用データで、モデルの学習を行い、テスト用データを疑似的な未知データとして、モデルの評価に使うという方法を行います。
モデルの評価には、通常は予測値と真値の乖離のような評価指標を誤差として定義して、その当てはまり具合を数値的に評価します。訓練用データでの学習における誤差を「訓練誤差」、テスト用データの場合を「汎化誤差」と呼び、一般的には、学習の進みを、訓練回数とその時点の誤差で表した学習曲線として確認します。学習初期では徐々に双方の誤差は小さくなります。しかし、ある時点から、訓練誤差（図中のtrain曲線）は減少を続けますが、汎化誤差（valid曲線）は、増加することがあります。これは、モデルが訓練データへ過剰に適合し始め、未知データであるテストデータでの性能が落ち始めていることを表しています。
ごく簡単な対処法として、このモデルの学習を時点T近辺で止めることで、過学習が抑えられたモデルを得ることができます。
過学習の原因
過学習が起きる原因としては、予測や分類をするうえで、訓練データ中の本質的でないノイズのようなデータにまで、過剰に「合う」ように学習が行われることや、多数の重み係数を少数のデータから決めようとすることが挙げられます。一旦、過学習の傾向が現れると、未知データに対する性能が落ちていくことが生じます。
具体的に過学習が起きる場面を、データ、学習方法、モデルという観点からまとめると以下のようになります。また、これら原因が重複することで、より大きな過学習の傾向を生じることがあります。
| データ |
|
|---|---|
| 学習方法 |
|
| モデル |
|
過学習を防ぐための方法
過学習への簡単な対処方法を紹介します。
データの個数や説明変数を調整する
学習における説明変数や特徴量として不要な情報や項目を事前に除去し、説明変数を減らすことで過学習を防ぐことができます。
交差検証や学習の早期終了を行う
データの一部をテスト用データに分割して、疑似的に未知データを作り出すことは過学習対策の基本です。この分割を複数パターン行うことで、データのさまざまな部分が未知データとなるように工夫する方法を「交差検証」と言います。データをk個に分割したり、状況により複雑な分割を行う場合もあります。学習の途中で、テスト用データに対する性能が向上しなくなった場合に、学習を打ち切ることで、過学習に至る前のモデルを得ることができます。
モデルの単純化
データの件数や項目数に対して、大量のパラメータ（補助の変数）があるようなモデルを利用する場合に過学習が起こることがあります。学習曲線などを見ながら過学習の状況をチェックし、モデルの複雑性を低減されることが求められます。
1つ目は、パラメータの調整により、モデルサイズを小さくする方法です。木系モデルでは、葉数や深さなどを、データのサイズに合わせて小さくなるように調整します。
2つ目は、正則化と呼ばれる方法です。寄与の大きくなる説明変数の数が増えることに対して、罰則のような効果を入れて学習を進めることで、学習プロセスのなかで説明変数を選別し、その数や寄与を小さくします。結果として、当初のアルゴリズムでありながら、モデルを小さくするような効果が働き、過学習を回避することができます。
3つ目は、アンサンブル学習です。学習時にモデルやデータの一部分のみを利用することで、小さいサイズのモデルを多数作り、アンサンブルとして統合する方法です。ランダムに一部のユニットを無効にしながら学習したり、ランダムにサンプリングしたデータからモデルを作る方法などがあります。本来大規模なモデルであるものでもサイズを小さくすることで、複雑性を落とすことができます。
これらの過学習を回避する方法は、データやモデルの条件により、効果が変わってきます。より単純なモデルなどの別のモデルを検討することも一つの選択肢であり、どのようなアプローチをとるかは、個別に判断する必要があります。
関連記事
「過学習」に関して動画でお伝えしています
このページを見ている人はこんな用語解説ページも見ています
「過学習」に関してこんなページも見られています
AI時代に求められる人材と組織の姿
第1回 “AI・ロボットで仕事がなくなる”のカラクリ。本当に仕事はなくなっているのか？
「日本の労働人口の49%の仕事がAI・ロボットで代替可能である」という推計が2015年にNRIから発表されました。
AI・ロボットで代替されやすい仕事の特徴、逆にされにくい仕事とはどのようなものか、今後どう仕事と向き合っていくかなどをお伝えします。
人手不足解消とビジネスチャンス拡大の切り札、小売業ロボット
～店舗をまるごと自動販売機化～
少子高齢化が世界一速いスピードで進む日本では、労働力不足が大きな社会問題となることが確実視されています。野村総合研究所（NRI）では、この問題を解決するソリューション開発の一環として、小売店を無人化するためのロボットの研究を続けています。その具体的な内容について、2～3年後の実用化を目指して研究開発を続けているAIソリューション開発部の廣戸健一郎、嶋田晴貴、加藤康史郎に話を聞きました。
2019年12月、人工知能学会のセマンティックウェブ・オントロジー研究会の主催による第2回「ナレッジグラフ推論チャレンジ」が行われました。このコンテストは、シャーロック・ホームズの5つの小説の犯人をAIで推論し、その根拠を検証するという内容でした。9チームが参加する中、野村総合研究所（NRI）は2年連続で最優秀賞を受賞しました。このコンテストに参加し、AIに関するソリューション開発に携わっているNRIの角田充弘、外園康智、NRIデジタルの田村光太郎に、AIの現状やビジネス利用におけるポイントについて聞きました。
TRAINAを支える自然言語処理技術と可能性
――AIによって変わるコンタクトセンター（後編）
人手不足が深刻なコンタクトセンターの業務負荷の削減や効率化を支援する野村総合研究所（NRI）のAI（人工知能）搭載システム「TRAINA（トレイナ）」。音声を聞き取って読解し、必要な情報を検索、助言、記録を残す、といった機能はどのように実現しているのでしょうか。AIによって変わるコンタクトセンターの現状と今後の可能性を3回に分けてご紹介するシリーズの最終回では、TRAINAの技術面の特徴や開発にかける思いを、長年開発に携わってきたNRIの北村雄騎と岡田智靖に聞きました。