2011年、xavier glorotらは隠れ層の活性化関数としてmax(0,x)を使った方がtanhやソフトプラスよりも改善するということを発表した。