Transformer (機械学習モデル)
Transformer(トランスフォーマー)は、2017年6月12日にGoogleの研究者等が発表した深層学習モデルであり、主に自然言語処理 (NLP)の分野で使用される。
自然言語などの時系列データを扱って翻訳やテキスト要約などのタスクを行うべく設計されているのは回帰型ニューラルネットワーク (RNN)と同様だが、Transformer の場合、時系列データを逐次処理する必要がないという特徴がある。たとえば、入力データが自然言語の文である場合、文頭から文末までの順に処理する必要がない。このため、Transformer では 回帰型ニューラルネットワークよりもはるかに多くの並列化が可能になり、トレーニング時間が短縮される。
その導入以来、Transformer モデルは自然言語処理の多くの問題に取り組む上で広く選択されており、 Long Short-term Memory(LSTM)などの古い回帰型ニューラルネットワークモデルに取って代わった。Transformer モデルはトレーニング中の並列化を容易にするため、より大きなデータセットでのトレーニングを可能にした。このことが、 BERT (Bidirectional Encoder Representations from Transformers)や GPT (Generative Pre-trained Transformers)などの事前トレーニング済みシステムの開発につながった。これらは、巨大な一般言語データセットでトレーニングされており、特定の言語タスクにファインチューニングできる。
( W Q , W K , W V ) {\displaystyle \left(W_{Q},W_{K},W_{V}\right)} 行列の 1 セットがアテンションヘッドと呼ばれ、Transformer モデルの各層には複数のアテンションヘッドがある。1つのアテンションヘッドは各トークンに関連するトークンに注意を向けるが、複数のアテンションヘッドがあると、モデルは様々な定義の「関連性」に対して同様の操作を行うことができる。トランスフォーマーの多くのアテンションヘッドは、人間が解釈可能な関連性関係をエンコードしていることが研究によって示された。たとえば、主に次の単語に注意を向けるアテンションヘッド、主に動詞から直接目的語に注意を向けるアテンションヘッドなどがある。 Transformer モデルには複数のアテンションヘッドがあるため、表層レベルからセマンティックまで、多くのレベルと関連性関係の型をとらえることができる。マルチヘッドアテンション層からの複数の出力は、連結されてフィードフォワードニューラルネットワーク層に渡される。
Transformer ベースのアーキテクチャのトレーニングは、特に長い文の場合、非常にコストがかかる可能性がある。代替アーキテクチャとして挙げられるReformer では、計算負荷 O ( L 2 ) {\displaystyle O(L^{2})} から O ( L ln  L ) {\displaystyle O(L\ln L)} へと減らす(ただし、 L {\displaystyle L} はシーケンス長)。Reformer は、局所性鋭敏型ハッシュと可逆層を使用する。