Attention関連。論文『Sparse Attentive Backtracking: Temporal Credit Assignment Through Reminding』の、つかみが面白いので読む。（まだ、読み始め）。

# 概要

以下の論文。
https://arxiv.org/pdf/1809.03702.pdf
『Sparse Attentive Backtracking: Temporal Credit Assignment Through Reminding』
　　　
Ke, Nan Rosemary, et al. "Sparse attentive backtracking: Temporal creditassignment through reminding." arXiv preprint arXiv:1809.03702 (2018).

読もうと思った。
<font color="blue">**概要の前半**</font>から面白いので、読む前だが、記事を書き始める。


# 面白いと思ったつかみ

概要において、

>リカレント・ニューラル・ネットワークを学習する最も一般的な方法である<font color="blue">**BPTT（Back-propagation through time）**</font>では、・・・。重要なのは、<font color="blue">**生物の脳は**</font>、非常に長い内部状態のシーケンス（数日、数ヶ月、数年を考えてください）に対して、<font color="blue">**そのような詳細な逆再生を行う可能性は低いということです。**</font>


# 概要
>Learning long-term dependencies in extended temporal sequences requires credit assignment to events far back in the past. The most common method for training recurrent neural networks, back-propagation through time (BPTT), requires credit information to be propagated backwards through every single step of the forward computation, potentially over thousands or millions of time steps. This becomes computationally expensive or even infeasible when used with long sequences. Importantly, biological brains are unlikely to perform such detailed reverse replay over very long sequences of internal states (consider days, months, or years.) However, humans are often reminded of past memories or mental states which are associated with the current mental state. We consider the hypothesis that such memory associations between past and present could be used for credit assignment through arbitrarily long sequences, propagating the credit assigned to the current state to the associated past state. Based on this principle, we study a novel algorithm which only back-propagates through a few of these temporal skip connections, realized by a learned attention mechanism that associates current states with relevant past states. We demonstrate in experiments that our method matches or outperforms regular BPTT and truncated BPTT in tasks involving particularly longterm dependencies, but without requiring the biologically implausible backward replay through the whole history of states. Additionally, we demonstrate that the proposed method transfers to longer sequences significantly better than LSTMs trained with BPTT and LSTMs trained with full self-attention.

DeepL訳(ママ)
>時間的に延長されたシーケンスの長期的な依存関係を学習するには，過去にさかのぼってイベントを信用する必要がある．リカレント・ニューラル・ネットワークを学習する最も一般的な方法であるBPTT（Back-propagation through time）では、信用情報を前方計算の各ステップに逆伝播させる必要があり、数千から数百万の時間ステップを要する可能性があります。これは、長いシーケンスで使用する場合には、計算コストが高くなり、実現できないこともあります。重要なのは、生物の脳は、非常に長い内部状態のシーケンス（数日、数ヶ月、数年を考えてください）に対して、そのような詳細な逆再生を行う可能性は低いということです。しかし、人間はしばしば、現在の精神状態に関連する過去の記憶や精神状態を思い出します。本研究では、このような過去と現在の記憶の関連付けを、任意の長さのシーケンスを介して、現在の状態に割り当てられたクレジットを関連する過去の状態に伝播させることで、クレジットの割り当てに利用できるのではないかという仮説を考える。この原理に基づいて、我々は、現在の状態と関連する過去の状態を関連付ける学習された注意メカニズムによって実現される、これらの時間的スキップ接続のうちのいくつかのみをバックプロパゲーションする新しいアルゴリズムを研究する。実験では、本研究の手法が、特に長期的な依存関係を伴う課題において、通常のBPTTや切断型BPTTと同等かそれ以上の性能を発揮することを実証した。ただし、生物学的にはありえないことだが、状態の履歴をすべて遡って再生する必要はない。さらに、提案した手法は、BPTTで学習したLSTMや完全な自己注意で学習したLSTMよりも、より長いシーケンスに移行することを実証した。

# 難しい内容でわからないので、契機を得るため、Transformerに言及している部分をみる

>The Transformer network (Vaswani et al., 2017) takes sequence processing using attention to its logical extreme – using attention only, not relying on RNNs at all. The attention mechanism is a softmax not over the sequence itself but over the outputs of the previous self-attention layer. In order to attend to multiple parts of the layer outputs simultaneously, the Transformer uses 8 small attention “heads” per layer (instead of a single large head) and combines the attention heads’ outputs by concatenation. No attempt is made to make the attention weights sparse, and the authors do not test their models on sequences of length greater than the intermediate representations of the Transformer model. With brains clearly involving a recurrent computation, this approach would seem to miss an important characteristic of biological credit assignment through time. Another implausible aspect of the Transformer architecture is the simultaneous access to (and linear combination of) all past memories (as opposed to a handful with SAB.)

DeepL翻訳
>Transformer network (Vaswani et al., 2017)は、注意を用いたシーケンス処理を論理的に極限まで進めたもので、RNNに全く頼らず、注意のみを用いています。注意メカニズムは、シーケンスそのものではなく、前の自己注意層の出力に対するソフトマックスです。層の出力の複数の部分に同時に注目するために、Transformerは、（1つの大きなヘッドの代わりに）層ごとに8つの小さな注目「ヘッド」を使用し、注目ヘッドの出力を連結して結合しています。注意の重みを疎にする試みはなされておらず、著者らは、Transformerモデルの中間表現よりも長さの長いシーケンスでモデルをテストしていません。脳が明らかに再帰的な計算を行っているのに、このアプローチは、時間経過による生物学的な信用割り当ての重要な特性を見逃しているように思われます。Transformerアーキテクチャのもう1つのありえない側面は、すべての過去の記憶への同時アクセス（およびその線形結合）です（SABでは一握りの記憶であるのに対して）。


# まとめ
特にありません。
まだ、読み始めです。