正規化線形関数

正規化線形関数（せいきかせんけいかんすう、あるいは単にとも）は、引数の正の部分として定義される活性化関数であり、次のように表される。
上式において、formula_2 はニューロンへの入力である。これはランプ関数（傾斜路関数）としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへ最初に導入された。2011年以前に広く使われていた活性化関数、例えば（これは確率論から発想を得ている。ロジスティック回帰を参照。）およびそのより実践的な機能的に同等な関数である双曲線正接関数と比較して、より深いネットワークのより良い訓練を可能にすることが2011年に初めて実証された。正規化線形関数は、2018年現在、ディープニューラルネットワークのための最も人気のある活性化関数である。
正規化線形関数を利用したユニットは正規化線形ユニット（rectified linear unit、ReLU）とも呼ばれる。
正規化線形ユニットはディープニューラルネットワークを用いたコンピュータビジョンや音声認識に応用されている。
ソフトプラス.
正規化線形関数に対する平滑化近似が解析関数
であり、ソフトプラス（softplus）関数またはSmoothReLU関数と呼ばれる。ソフトプラスの導関数はロジスティック関数formula_4である。ロジスティック関数は、正規化線形関数の導関数であるヘヴィサイドの階段関数の平滑化近似である。
単変数ソフトプラスの多変数一般化は、第一独立変数をゼロとした
である。LogSumExp関数自身は
であり、その勾配はソフトマックス関数である。第一独立変数がゼロのソフトマックスは、ロジスティック関数の多変数一般化である。LogSumExpとソフトマックスはどちらも機械学習に用いられる。
派生物.
ノイジーReLU.
正規化線形ユニットはガウス雑音を含むように拡張できる。これはnoisy（雑音のある）ReLUと呼ばれ、以下の式を与える。
Noisy ReLUはコンピュータビジョン問題のためのにおいて使用され、ある程度の成功を挙げている。
漏洩ReLU.
漏洩（リーキー、Leaky）ReLUは、ユニットがアクティブでない時に小さな正の勾配を許容する。
パラメトリックReLU.
パラメトリックReLU (PReLU) はさらにこの着想を発展させ、漏れの係数を他のニューラルネットワークのパラメータと同時に学習する。
formula_11について、これは
と等価であり、ゆえに「マックスアウト」ネットワークとの関連があることに留意すべきである。
ELU.
指数関数的線形ユニット（Exponential linear unit）は、学習を高速化するため、平均活性化をゼロに近づけようと試みる。ReLUよりも高い分類制度を得ることができると示されている。
formula_13
formula_14はチューニングされる、formula_15 は定数である。
Swish.
Swish関数、もしくはシグモイド重み付き線形ユニット (Sigmoid-weighted linear unit) はReLUに類似した曲線を描くが、その曲線は連続的であり無限階微分可能である。ReLU及び先述した派生形よりも高い分類精度を得ることができると示されている。
なお、ここでは formula_17 は以下の数式によって定義される標準シグモイド関数を表す。
Funnel Activation.
Funnel Activation、もしくはFReLUはコンピュータビジョンに特化した活性化関数であり、二次元の画像に対して適応することを前提として設計されたものである。性質上、Funnel Activationを一つの値を入力とする関数として表すことはできないが、記述の都合上以下の数式で表される。
なお、formula_20は他のニューラルネットワークのパラメータと同時に学習されるDepthwise 畳み込みモジュールである。
長所.
正規化線形関数は、複数のコンピュータビジョン課題を学習するために教師ありで訓練されたニューラル抽象ピラミッド (Neural Abstraction Pyramid) において特異的興奮と非特異的抑制を分離するために用いられた。2011年、非線形関数としての正規化線形関数の使用は、教師なし事前学習を必要とせずに教師ありディープニューラルネットワークの訓練を可能にすることが示されている。正規化線形ユニットは、シグモイド関数または類似の活性化関数と比較して、大きく複雑なデータセット上のディープニューラル構造のより速く、効率的な訓練を可能にする。