eural Networks, DNN）是一种判别模型，可以使用反向传播算法进行训练。权重更新可以使用下式进行求解：其中，formula_2为学习率，formula_3为代价函数。这一函数的选择与学习的类型（例如监督学习、无监督学习、增强学习）以及激活函数相关。例如，为了在一个多分类问题上进行监督学习，通常的选择是使用ReLU作为激活函数，而使用交叉熵作为代价函数。Softmax函数定义为formula_4，其中formula_5代表类别formula_6的概率，而formula_7和formula_8