transformer啲基本構建塊係啲縮放點積關注單元。一條句子傳到transformer模型之後，會得出每隻標識之間嘅關注權重。一粒關注單元識幫上下文當中嘅每隻標識都生成埋啲詞嵌入，入便啲資訊唔單之涉及隻標識本身、仲涉及埋一個嚟自其他啲相關標識嘅加權組合、其中個加權係由關注權重決定。