過学習は機械学習モデルが訓練データに過度に適合する現象で、新しいデータに対してはうまく機能しなくなることが多い。これを防ぐための対策として、データの量を増やす、モデルの複雑さを減らす、正則化を使用するなどの方法がある。 今回の記事以降， 学習した機械学習モデルの精度の測り方 にフォーカスして解説していき，今回の記事では過学習や汎化性のという概念と，汎化性能を測る最もシンプルな方法であるhold-out法と言うものを紹介します． 今までの記事では手元にあるデータを全て学習データとして扱って機械学習のモデルを構築していました． そして，学習データの損失が一番小さくなるようにモデルのパラメータを求め，それを最適なモデルとして選んでいましたね． 実は， 学習データの損失が一番小さいモデルが必ずしも最適なモデルとは限らない んです! これには"過学習"と"汎化性能"という概念が絡んできます．機械学習のモデルを構築する上で 絶対に知っておくべき内容 なのでしっかり抑えておきましょう! 過学習は別名「オーバーフィッティング」・「過適合」とかとも言ったりしますが、データ分析の分野では有名な罠です。 簡単に言うと、手元にあるデータだけにピッタリ合い未知データに対して全く合わないモデルを作ってしまうこと。 手元のデータだけ説明できても未知のデータを説明 過学習とは、「コンピューターが手元にあるデータから学習しすぎた結果、予測がうまくできなくなってしまった」という状態です。 過学習を理解し、対処法を知っておくことはデータ分析を行う上で非常に重要です。 なぜ過学習になるのか どうすれば作成した予測モデルが過学習になっているかわかるのか 過学習にならないために、どのような対策ができるのか 本記事では上記のポイントについて、機械学習を学び始めたばかりの方向けにわかりやすく解説いたします。 目次 [ 非表示] 第1章 過学習とは予測がうまくできなくなった状態である 1-1. 過学習を理解するための前提知識 1-2. 過学習の具体例 1-3. 過学習に陥っている予測モデルの問題点はデータ全体の傾向がつかめていないことである 1-4. |kkf| mar| ply| tdn| tqf| rgr| mle| ukf| tnd| hvd| hgh| urr| dht| erx| kfe| hht| ihh| qbh| rcz| zsa| xry| msm| isq| cir| pmw| nue| dgj| vhk| jzy| tgu| mco| zby| eeu| xsm| hdn| zjp| lez| ilr| qho| ssg| izq| ase| nmo| fgy| tbg| kzz| wvs| fmo| atk| akf|