リカレントニューラルネットワーク (RNN) と畳み込みニューラルネットワーク (CNN) も、機械学習や深層学習のタスクで頻繁に使用されるニューラルネットワークです。以下では、トランスフォーマーとの関係を説明します。
トランスフォーマーと RNN
トランスフォーマーモデルと RNN はどちらもシーケンシャルデータの処理に使用されるアーキテクチャです。
RNN は、データシーケンスを周期的な反復処理で一度に 1 要素ずつ処理します。この処理は、入力層がシーケンスの最初の要素を受け取ることから始まります。その後、情報は隠れ層に渡され、そこで入力が処理され、出力が次のタイムステップに渡されます。この出力は、シーケンスの次の要素と組み合わされて、隠れ層にフィードバックされます。このサイクルはシーケンスの各要素で繰り返され、RNN はタイムステップごとに更新される隠れた状態ベクトルを維持します。このプロセスにより、RNN は過去の入力からの情報を効果的に記憶できます。
対照的に、トランスフォーマーはシーケンス全体を同時に処理します。この並列化により、RNN よりもトレーニング時間が大幅に短縮され、はるかに長いシーケンスを処理できるようになります。トランスフォーマーの自己注意機構は、モデルがデータシーケンス全体を同時に考察することも可能にします。これにより、再帰や隠れベクトルが不要になります。代わりに、位置エンコーディングを使用してシーケンス内の各要素の位置に関する情報を保持します。
トランスフォーマーは、離れた依存関係をより効果的に処理できるため、多くのアプリケーション、特に NLP タスクで RNN に大きく取って代わりました。また、RNN よりもスケーラビリティと効率性に優れています。RNN が依然としてとりわけ有用な状況として、離れた相互作用をキャプチャするよりもモデルサイズと計算効率が重要な場合があります。
トランスフォーマーと CNN
CNN は、空間階層と局所性が鍵となる画像などのグリッド式のデータ用に設計されています。畳み込み層を使用して入力全体にフィルターを適用し、これらのフィルター処理されたビューを通して局所的なパターンをキャプチャします。例えば、画像処理では、最初の層がエッジやテクスチャを検出し、深い層がシェイプやオブジェクトなどのより複雑な構造を認識する場合があります。
かつてトランスフォーマーは、主にシーケンシャルデータを処理するように設計されており、画像を処理できませんでした。現在、ビジョントランスフォーマーのモデルは画像をシーケンシャル形式に変換して処理しています。しかし、CNN は、多くの実用的なコンピュータビジョンアプリケーションにとって、依然として非常に効果的かつ効率的な選択肢となっています。