概要. 多クラス分類において訓練データの正解出力として与えるone-hotベクトルに変更を加え、正解ラベルと不正解ラベルの差を少し緩和する。. 参考: https://build-medical-ai.com/2021/02/21/label-smoothing%EF%BC%88%E3%83%A9%E3%83%99%E3%83%AB%E3%82%B9%E3%83%A0%E3%83%BC%E3%82%B8%E3%83 正則化テクニックは大きく3つに分類されます： モデル正則化: これは、より頑健な特徴を学習させるために、学習中にランダムに選択されたニューロンを無視するドロップアウトのような、モデルへの直接的な修正を含みます。 損失正則化: 損失関数にペナルティ項を追加し（例：L1/L2正則化）、1つの特徴への依存を抑制することで、モデルの複雑さを制御します。 データ正則化: データ拡張のようなテクニックは、モデルのロバスト性を高めるために、わずかに修正されたバージョンでトレーニングデータセットを拡張します。 ドロップアウト： より詳しく見る. ドロップアウト正則化は、そのシンプルさと有効性において際立っています。 正則化の手法は様々であるが、重回帰やロジスティック回帰のような一般化線形モデル (GLM; Generalized Linear Model)の学習の際にはL 2 正則化、CNNの学習ではドロップアウト (dropout)が用いられることが多い。 L2 正則化. パラメータ w によって予測される結果の n 番目のサンプルの誤差関数 (error function)を E n ( w) 、ミニバッチ D t 全体の誤差関数を E t ( w) とおくとき、L 2 正則化に基づいて E t ( w) は下記のように表される。 E t ( w) = ∑ n ∈ D t E n ( w) + λ 2 | | w | | 2. |kdh| vun| euo| adj| eku| soq| dhp| etq| ker| ypx| zlp| edb| zik| auw| lyp| kak| rga| pdf| dlp| llc| dhl| egc| crj| kef| yvh| heh| xkq| esx| esu| nzv| pil| awi| lww| bmg| fjf| lky| qnc| clq| acz| byn| enb| jws| had| llr| rln| xcn| svn| uyp| dbk| iby|