残差ネットワーク
多層ニューラルネットワークモデルでは、ある数(例えば2層や3層)の積層層を持つサブネットワークを考える。このサブネットワークが実行する基本的な機能をH ( x ) に定義する。ここで x はこのサブネットワークへの入力である。残差学習のアイデアは、このサブネットワークを再パラメータ化し、パラメータ層に残差関数を表現させる。F ( x ) := H ( x ) - x . 出力 y は次のように表される:
y = F ( x ) + x {\displaystyle {\begin{aligned}y&=F(x)+x\end{aligned}}}