Transformer係喺2017年推出嘅深度學習模型，攞關注機制（多頭、自關注）嚟求權重畀啲成批輸入數據入便嘅每個部份嘅，並藉此唔受順序限制噉去學識各部份對彼此啲影響嘅大細、啲可能會跨好幾重遠嘅，最終去生成返啱啲嘅數據。