似第一編碼器一樣，第一解碼器捉輸出序迾啲詞嵌入同位置資訊作為輸入。由於transformer唔應使用當前抑或未來嘅輸出嚟預測輸出，所以必須部分屏蔽走個輸出序迾，嚟避免呢種反向資訊流。最後一個解碼器之後係最終嘅線性變換同埋softmax層，嚟生成出一個輸出概率對於啲詞彙。