一粒關注單元識幫上下文當中嘅每隻標識都生成埋啲詞嵌入（embeddings）入便啲資訊唔單之涉及隻標識本身、仲涉及埋一個嚟自其他啲相關標識嘅加權組合、其中個加權係由關注權重決定。