Transformer (機械学習モデル)
各エンコーダは、セルフ・アテンション機構および point-wise フィードフォワードサブレイヤ(FFサブレイヤ)の2コンポーネントで構成されている。セルフ・アテンション機構は、前のエンコーダからの一連の入力エンコーディングを取り込み、それらの相互の関連性を重み付けして、一連の出力エンコーディングを生成する。次にFFサブレイヤは、各出力エンコーディングを個別にさらに処理する。これらの出力エンコーディングは、最終的に、デコーダに加えて次のエンコーダへの入力として渡される。
最初のエンコーダは、エンコードではなく、位置情報と入力シーケンスの埋め込みを入力として受け取る。他の部位では位置情報を使用しないため、位置情報は Transformer がシーケンスの順序を使用する上で必須である。
Transformer は一般に、半教師あり学習(教師なし学習による事前学習とその後の教師あり学習によるファインチューニング)を受ける。 ラベル付けされたトレーニングデータの可用性は限られているため、事前学習はファインチューニングよりもはるかに大きなデータセットに対して行われることが多い。事前学習およびファインチューニングのタスクは以下のようなものである。
次の文の予測
質問応答
読解
感情分析
言い換え