t-Term Memory）。 而有了隐藏状态序列，就可以对下一个出现的词语进行预测：这里的非线性方程formula_16可以是一个复杂的前馈神经网络，也可以是简单的非线性方程（但有可能因此无法适应复杂的条件而得不到任何有用结果）。给出的概率可以用监督学习的方法优化内部参数来给出翻译，也可以训练后用来给可能的备选词语，用计算其第j个备选词formula_17出现在下一位置的概率，给它们排序。排序后用于其它翻译系统，可以提升翻译质量。
解码器.更复杂的情况下循环神经网络还可以结合