關注機制着添加到rnn之後就促進到性能嘅大幅提高。transformer嘅引入揭示唨噉樣一個事實，即關注機製本身就有好強大嘅功能，而且照序循環處理啲數據查實對於達到嗰種性能提升嚟講冇乜必要，之rnn加埋關注機制先得到嘅。