喺引入transformer之前，大多數最先進嘅nlp系統都依靠啲閘控rnn，譬如lstm同閘控遞迴單位，再加埋關注機制。transformer嘅構建唔使到rnn結構、純粹基於呢啲關注技術，講明僅衹使關注機制而毋需順序處理就足夠喺性能上比肩啲有埋關注機制嘅rnn。