質問: 機械学習で例えば回帰を行うとします。 回帰曲線が非線形の場合では勾配法を用いますが、勾配法で局所解が生じる場合の回帰曲線の形が知りたいです。 回帰ではなく分類をする際の決定境界のモデルを決めるときの勾配法での局所解のできる形もできれば知りたいですが 話が複雑そうになるのでまず回帰から行きたいと思います。 まず回帰曲線を ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/2a7bd8fe9f476f9bef801eb42d337af8.jpeg) とし目的関数Eを ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/c19f14217ef1ead86d3a40b8d5c4d51b.jpeg) とします。 ここで勾配法の更新式は ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/2cd485904308f620ef3fd4a2744acc4e.jpeg) ここで多項式回帰をするとし回帰曲線を ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/94d9c35805749905ff5804e7591520cf.jpeg) とします。多項式回帰の更新式は ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/cf2edfbd76e3a8472350a2d0672e6faf.jpeg) となりますが 多項式回帰では図では次数が3次です。なので局所解は発生しませんが 次数が4次の場合の回帰曲線について ![イメージ説明](https://teratail-v2.storage.googleapis.com/uploads/contributed_images/4f5abe132ec8ee486bcd57a48b8eec3f.jpeg) となるので次数が4次のパラメータで目的関数Eを微分すると勾配法の解が局所解に陥ってしまう **この際確率的勾配法が有効なのかなと思いました。** あってますか?
回答: 解決済みですが、機械学習の立場からコメントします。 機械学習においてモデルパラメーターはコスト関数(質問記載します関数Eに相当)の最小化によって求められます。その際、機械学習ではこのコスト関数の形状はわからない(つまり、定式化できない)ことを前提にアプローチします。tiitoiさんが解説する最小二乗法とはこの点が明らかに異なります。 最小二乗法が解析的にパラメーターが求められるのに対し、機械学習は数値計算によって近似解を求めます。この数値計算ですが、大まかにいうと前回のパラメーターで求められたコスト関数の結果と今回の結果の差、今回のデータにおける微分値の正負、を基準にパラメーターの更新を繰り返してコスト関数の最小値を求めます。 よって、局所解が求められる条件は機械学習の立場からするとわからないということになると思います。 当然のことながら、コスト関数の形状が分からなければ、局所値と最小値の区別ができません。そこで、機械学習は確率的勾配法やミニバッチ学習などの方法が考案されました。これらは、先のパラメーター更新のルールである前回と今回の値の差に確率的な紛れを起こさせることで局所解の谷からジャンプさせるイメージです。 よって、質問の最後の部分は局所解回避という点であっていますが、コスト関数の形状不明が理由と考えるべきでしょう