即管唔係應用於神經網絡，linnainmaa於1970年都發布咗自動微分嘅通用方法。即管存在有好大爭議，但一啲科學家認為呢個實質上係開發反向傳播算法嘅第一步。1973年，dreyfus根據誤差梯度照比例調整啲控制器嘅參數。