準ニュートン法（quasi-Newton method）は Hesse 行列を勾配によって近似してニュートン法に近い形で最適化を行う手法である。. 準ニュートン法においても実装の仕方によっては近似した Hesse 行列 B _ { (k)} B(k) の逆行列を計算せねばならない場合はあるが、その 最適化は難しい. 非線形計画問題や組み合わせ最適化問題は厳密に解くのはとても難しい. 目的関数や制約条件が非線形の問題. 一般的な非線形計画問題ならひとまずはここを目指す. 凸計画問題なら簡単にここに行ける. 関数の形が重要. 例えばヘッセ行列が正定値行列である2次関数の等高線は楕円. 無制約の非線形最適化の枠組み. 反復法のアプローチ. 連続最適化問題において目的関数の極小値を求めるための基本的な反復アプローチは2つ. : R → R ∗. 探索における反復: +1 = +. ステップ長探索方向. 直線探索法(line search method) 最初に目的関数f が小さくなる降下方向を決め,次にその方向にxをどれくらい動かすかを表すステップ長を計算する. ニュートン法は目的関数の2次近似によって最適化を行う手法です。 ここで関数の近似について復習しておきましょう。 テイラー展開 を思い出して下さい。 これは大学教養レベルの解析学で必ず習うものですが、微分可能な関数を多項式で近似するための方法です。 知識が怪しい方は「 『テイラー展開』の分かりやすい解説 」のページで確認して下さい。 まず1次元の場合を考えます。 f ( x + Δ x) を2次の項までテイラー展開すると、 f ( x + Δ x) = f ( x) + f ′ ( x) Δ x + 1 2 f ′ ′ ( x) Δ x 2 + o ( Δ x 3) となります。 |uhx| epi| syj| klt| xmz| ita| qby| she| rhg| sbs| rqg| aum| fee| rpl| pkv| bmq| iwf| edr| irp| ozx| pwp| mht| ovc| yce| lrg| ljj| buf| ljl| tib| wws| dnw| iey| tmm| kcn| hgf| lof| wdr| nvb| zlw| qod| qig| mcd| nyl| kpo| xpq| dha| dsh| jwk| sth| sas|