研究表明，transformer入便嘅好多關注頭對啲關連拏褦嘅編碼方式，從人類角度嚟睇係理解得嘅。譬如，有一啲關注頭主要係𥄫定下一個單詞畀每隻標識，有一啲係主要從動詞導向到直接賓語。由於transformer模型有多個關注頭，所以佢哋有可能捕獲到好多拏褦嘅層次同埋類型，從表層到語義。