残差ネットワーク
2012年にImageNet用に開発されたAlexNetモデルは、8層の畳み込みニューラルネットワークだった。オックスフォード大学のVisual Geometry Group(VGG)が2014年に開発したニューラルネットワークは、3×3の畳み込み層を重ねることで19層の深さに近づいた。しかし、より多くの層を積み重ねることは、「劣化」問題と呼ばれる学習精度の速やかな低下につながった.
より深いネットワークが、より浅いネットワークに余分なレイヤーを積み重ねることで構築できるのであれば、より浅いネットワークよりも学習損失が大きくなることはないはずである。もし余分な層を同一性マッピングとして設定できれば、深いネットワークは浅いネットワークと同じ機能を表すことになる。オプティマイザは、パラメータ化された層に対して同一性マッピングに近づくことができないという仮説が成り立つ。
残差ニューラルネットワーク(別名:残差ネットワーク、ResNet)は、ウェイト層が層入力を参照して残差関数を学習する深層学習モデルである。残差ネットワークは、同一性マッピングを行うスキップ接続を持つネットワークであり、加算によってレイヤーの出力とマージされる。これは、強い正のバイアス重みによってゲートが開く「幹線道路ネットワーク」のように振る舞う。これにより、数十から数百のレイヤーを持つ深層モデルを容易に学習させることができ、より深く学習する際にはより高い精度に近づくことができる。同一性スキップ接続は、よく「残差接続」と呼ばれ、1997年のLSTMネットワーク、トランスフォーマー・モデル(BERT、ChatGPTなどのGPTモデルなど)、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムでも使用されている。
残差ネットワークは、何愷明、張翔宇、任少卿、孫剣によって開発され、ImageNet 2015コンペティションで優勝した。