転移学習

転移学習（てんいがくしゅう、）は、ある問題を解決する際に得た知識を蓄積し、関連する別の問題にそれを適用することに焦点を当てた機械学習の研究領域である。たとえば、乗用車を認識するために得た知識は、トラックを認識するためにも応用できるかもしれない。この研究領域は、に関する長い歴史を持つ心理学の文献と何かの関係をもつが、2つの分野の実用的な結びつきは限定的である。実用的な面では、過去に学習した仕事の情報を新たな仕事の学習のために再利用または転送することで、強化学習手段のサンプル効率を大幅に改善することができる可能性がある。
歴史.
1976年、Stevo BozinovskiとAnte Fulgosiは、ニューラルネットワークの学習における転移学習に明示的に取り組んだ論文を発表した。この論文では、転移学習の数学的および幾何学的モデルを示している。1981年には、コンピュータ端末の文字を表す画像のデータセットに対して、転移学習を適用してニューラルネットワークを学習させた研究が報告された。ポジティブとネガティブな両方の転移学習が実験的に実証された。
1993年、Lorien Prattは、機械学習における転移についての論文を発表し、識別性に基づく転移アルゴリズムを定式化した。
アンドリュー・ンは、NIPS 2016のチュートリアルで、転移学習は教師あり学習の次に機械学習の商業的成功の原動力になると述べ、その重要性を強調した。
定義.
転移学習の定義は、ドメインとタスクの観点から与えられる。ドメイン formula_1 は、特徴空間 formula_2 と周辺確率分布 formula_3 からなり、ここに formula_4 とする。特定のドメイン formula_5 が与えられた場合、タスクは、ラベル空間 formula_6 と、目標の予測関数 formula_7 の2つの要素から構成される。この関数 formula_8 は、新しいインスタンス formula_9 の対応するラベル formula_10 を予測するために用いられる。このタスクは、formula_11 で示され、formula_12、formula_13 のペア formula_14 からなる学習データから学習される。
ソースドメイン formula_15 と学習タスク formula_16 、ターゲットドメイン formula_17と学習タスクTformula_18 が与えられ、ここで formula_19、formula_20 の場合、転移学習の目的は、 formula_15 と formula_16 の知識を用いて、formula_17 の対象の予測関数 formula_24 の学習を改善することである。
応用.
やベイジアンネットワークにおける転移学習のアルゴリズムが利用可能である。また、転移学習は、癌（がん）の亜類型の発見、建物運用、、文書分類、文字認識、医療画像、スパムフィルタリングにも応用されている。
2020年に、脳波記録（EEG）波形の動きをジェスチャー認識領域から精神状態認識領域へ分類するときに、その物理的性質が似ていることから、筋肉からの電気筋運動記録（EMG）信号間で転移学習が可能であることが発見された。また、この関係は逆にも作用し、脳波記録が筋運動記録をさらに分類できることも示された。この実験では、ニューラルネットワークおよび畳み込みニューラルネットワークの精度が、最初のエポック（学習前、つまり標準的なランダムな重み分布との比較）と漸近（学習プロセスの終了）の両方で、転移学習によって向上することが分かった。すなわちアルゴリズムは別のドメインに触れさせることで改善された。さらに、事前学習されたモデルの最終使用者は、完全結合層の構造を変更することで、より優れた性能を得ることができる。
コードに関する機械学習の領域では、転移学習がセキュリティ上の脆弱性を自動的に修復するのに役立つことが示されている。