用下式进行求解：其中，formula_2为学习率，formula_3为代价函数。这一函数的选择与学习的类型（例如监督学习、无监督学习、增强学习）以及激活函数相关。例如，为了在一个多分类问题上进行监督学习，通常的选择是使用ReLU作为激活函数，而使用交叉熵作为代价函数。Softmax函数定义为formula_4，其中formula_5代表类别formula_6的概率，而formula_7和formula_8分别代表对单元formula_9和formula_10的输入。交叉熵定义为formula_11，其中