似遞迴神經網絡一樣，transformers設計出嚟係攞嚟處理啲順序數據嘅，嚟去執行翻譯同文本摘要生成之類啲任務。之戥rnn唔同，transformer訓練嗰陣唔使照序處理啲順序數據，而可以憑關注機制幫輸入序迾嘅任意一位捇返啲上下文，啲可能離個位爭好遠嘅。