１１．論文調べ９　Scaling Transformer to 1M tokens and beyond with RMT 	RMTでTransformerを1Mトークン以上にスケールアップ

# 今日の論文です
論文調べ９日目です
今日もAIに関する論文でワクワクする内容でした。

## 手法
論文をperplexityで調べて、PDFをChatPDFに突っ込みます。
論文本文は英語版とDeepLで翻訳した日本語版を保存しときます。
ChatPDFが出した要約をまとめます。
要約の中のわからない単語や追加の質問などをChatGPTに聞きます。
これらをWordにまとめて保存、Qiitaに投稿します。

# 今日の論文
論文名：Scaling Transformer to 1M tokens and beyond with RMT
	RMTでTransformerを1Mトークン以上にスケールアップ
出典：DeepPavlov Artificial Intelligence Research Institute(AIRI) London Institute for Mathematical Sciences
https://arxiv.org/abs/2304.11062

# 論文内容
【アブストラクト】
　本技術報告は、自然言語処理において最も効果的なTransformerベースのモデルの一つであるBERTの文脈長を拡張するためのリカレントメモリの応用を紹介する。リカレントメモリTransformerアーキテクチャを活用することで、高い記憶検索精度を維持しながら、モデルの有効文脈長を前例のない200万トークンに増やすことに成功した。
　本手法では、ローカル情報とグローバル情報の両方を保存・処理することができ、再帰性を利用することで入力シーケンスのセグメント間の情報フローを実現しています。この手法は、自然言語理解・生成タスクにおける長期的な依存 関係の処理を強化し、メモリ集約型のアプリケーションにおける大規模なコンテキスト処理を可能にする大きな可能性を秘めていることが、実験によって証明された。

# 論文要約
　RMTでTransformerモデルを1Mトークン以上に拡張する方法についてのPDFファイルへようこそ！このファイルでは、リカレントメモリトランスフォーマー（RMT）が、トランスフォーマーモデルの最大入力サイズを大幅に超える、2×10^6トークンまでの情報を保持する方法について学びます。

## 要点
### １．リカレント・メモリー・トランスフォーマーとは何ですか？
A. RMT（Recurrent Memory Transformer）は、最大2×10^6トークンの情報を保持することができるトランスフォーマーモデルで、トランスフォーマーモデルの最大入力サイズとして報告されているものを大きく上回っています。RMTは、他の変換モデルと異なり、リカレントメモリ機構を採用しており、入力配列の埋め込みと出力配列の埋め込みに沿って記憶を渡すことができるようになっています。学習中、勾配は現在のセグメントからメモリを通して前のセグメントに流れます。このアプローチにより、RMTは非常に長いシーケンスを扱うことができ、100万トークンを超えるような様々な長さのタスクに対しても、必要な計算を線形にスケーリングしながらうまく外挿することができます。

### ２．RMTは、訓練済みのBERTモデルがタスク固有の情報を保存できるようにする方法と、このアプローチの利点は何ですか？
A. RMTは、訓練済みのBERTモデルにリカレントメモリを追加することで、タスク固有の情報を保存することを可能にします。このアプローチでは、入力配列の埋め込みと出力配列の埋め込みに沿って記憶を渡すことで、最大2×10^6トークンの情報をモデルに保持させることができます。これにより、RMTは512個のトークンを持つ複数のセグメントにタスク固有の情報を格納することができ、トランスフォーマーモデルで報告されている最大の入力サイズを大幅に上回る。

このアプローチの利点は、長いシーケンスを扱う際の2次的な複雑さを線形にすることで、大量のメモリを必要とせずに長いテキストにトランスフォーマーを適用することが可能になることである。さらに、十分に大きな入力で学習したモデルは、その能力を桁違いに長いテキストに外挿することができる。このアプローチは、言語モデリングなどの自然言語処理タスクにも応用できる可能性があり、一般的に使用されるトランスフォーマーの有効なコンテキストサイズを向上させることができます。

### ３．RMTの潜在的なアプリケーションと、自然言語処理タスクの改善にどのように使用される可能性がありますか？
A. RMTは、言語モデリング、機械翻訳、質問応答など、さまざまな自然言語処理タスクに応用できる可能性があります。RMTは、変換モデルが非常に長いシーケンスを、必要な計算の線形スケーリングで扱えるようにすることで、一般的に使用されるトランスフォーマーの有効なコンテキストサイズを改善し、複数のセグメントにわたってタスク固有の情報を保存できるようにすることができます。

例えば、言語モデリングでは、RMTを使用することで、より長いシーケンスからの情報をモデルに保持させることができ、より首尾一貫した、文脈に適したテキストを生成することができるようになる。機械翻訳では、RMTによって、より長い入力シーケンスを考慮できるようになるため、翻訳の精度が向上する。質問応答では、RMTによって、モデルがより長い文章を考慮することで、質問の文脈をよりよく理解することができるようになります。

全体として、RMTは、より長いシーケンスを扱い、よりタスク固有の情報を保持することを可能にすることによって、様々な自然言語処理タスクにおける変換モデルの性能を大幅に向上させる可能性がある。


## 重要単語
1.	トランスフォーマーモデル
2.	リカレントメモリ機構
3.	入力配列の埋め込みと出力配列の埋め込み
4.	勾配
5.	セグメント
6.	シーケンス
7.	線形
8.	BERT（Bidirectional Encoder Representations from Transformers)
9.	コンテキストサイズ

## ChatGPTに聞いてみた
1.	トランスフォーマーモデル：
•	ニューラルネットワークの一種で、自然言語処理や音声認識などのタスクで高い性能を発揮するモデル。
•	ATTENTIONメカニズムを利用し、文脈を考慮した情報処理を行う。
•	言語モデリングや翻訳、質問応答などのタスクで利用される。

2.	リカレントメモリ機構：
•	リカレントニューラルネットワーク（RNN）において、前の時刻の出力を次の時刻の入力にすることで、過去の情報を利用するメカニズム。
•	長期的な依存関係を扱うことができるが、長い系列を処理する場合には計算コストが高くなる問題がある。

3.	入力配列の埋め込みと出力配列の埋め込み：
•	ニューラルネットワークの入力として、単語や文字などの表現を数値ベクトルとして扱うために行われる処理。
•	入力配列の埋め込みでは、単語や文字の種類数を事前に決めて、それぞれに対応するベクトルを事前に定義する。
•	出力配列の埋め込みでは、ニューラルネットワークの最終的な出力を、人間が理解しやすい形に変換するために行われる処理。

4.	勾配：
•	ニューラルネットワークの学習において、誤差を最小化するために用いられる指標。
•	各パラメータに対する誤差の微分値を求めることで、勾配を求めることができる。
•	勾配降下法により、勾配を利用してパラメータの更新を行うことができる。

5.	セグメント：
•	自然言語処理において、文や文節などの単位を区切るために用いられる。
•	BERTなどのモデルでは、入力データを複数のセグメントに分割し、それぞれに対して異なる埋め込みを行うことで、文脈を考慮した処理を行っている。

6.	シーケンス：
•	自然言語処理において、文や文章などの単位を順序通りに並べたデータのこと。
•	シーケンスを扱うためには、リカレントニューラルネットワークなどのモデルが利用される。

7.	線形：
•	数学的には、一次関数のこと。
•	機械学習においては、線形モデルと呼ばれるモデルがある。
•	線形モデルでは、入力データとパラメータの線形結合を行い、それにバイアスを加えた値を出力する。

8.	BERT（BIDIRECTIONAL ENCODER REPRESENTATIONS FROM TRANSFORMERS）：
•	トランスフォーマーモデルを基にした自然言語処理のためのモデル。
•	文脈を考慮した処理を行うために、セグメントの概念を導入し、入力データを複数のセグメントに分割して処理する。
•	事前学習により、大量のデータから単語や文脈の表現を学習し、転移学習を利用して各種の自然言語処理タスクに適用することができる。

9.	コンテキストサイズ：
•	自然言語処理において、一度に扱う入力データの長さのこと。
•	コンテキストサイズが大きい場合、より長期的な依存関係を扱うことができるが、計算コストが高くなる。
•	BERTなどのモデルでは、コンテキストサイズをある程度制限することで、高速かつ効果的な処理を行っている。

# わかったこと
・扱える情報量が大幅に大きくなることで、より自然な処理が可能になるということが分かった。
・AIの能力がより人間にかなり近づいてきていることにワクワクした。

# まとめ
　AIの進化が加速する中で、どうやって生きるべきかはかなり悩ましい問題ですが、もうスタートしたものを止めることはできないので、何とか頑張るしかないですね。
　変化に遅れないように、これからもいろんなアプローチからかんばりましょう！