Top-Down Visual Attention From Analysis by Synthesis

# 1. 概要

本論文では、人間のような知的エージェントのTop-down Attentionの能力について検討している。この能力は、タスクに関連するオブジェクトにのみ集中することができ、モデルの汎化性能を向上させることができる。目標指向のTop-down signalに基づいて調整されたスパース再構成を最適化するビジョンの解析合成システムを提案している。また、解析合成ビジョントランスフォーマー（AbSViT）も提案している。このモデルは、Top-down Attentionを制御することが可能で、言語のタスクにおいて改善された性能を示した。さらに、AbSViTは分類や意味的セグメンテーションなどの様々なタスクでも性能向上が期待できる。

---

# 2. 新規性

クラシックな分析合成（Analysis-by-Sunthesis: AbS）ビジョンの観点からTop-Down Attentionを考慮している。以前の研究では、視覚的なattentionとsparseな再構成の間に機能的な同等性が示されている。また、目標指向のTop-down signalによって調節された類似の疎な再構成目的を最適化するAbS vision systemが、自然にTop-down attentionをシミュレートすることを示している。さらに、Analysis-by-Synthesis Vision Transfomer（AbSViT）を提案している。これは、AbSを変分近似し、制御可能なTop-down attentionを実現するTop-down調節型のViTモデルである。

---
# 3. 実現方法

## 3-1. Preliminaries: Attention as Sparse Reconstruction

Sparse Reconstruction（SR）モジュールは、辞書とsparseなコードを使用して入力を再構築する技術である。SRは、少ないテンプレートを使用して入力を再現し、sparsenessを促進することを目指す。SRは一次最適化を採用しており、活性化された要素を相互に抑制することで、コードをよりsparseに解析する。SRの構造は視覚的な注意のプロセスに類似しており、入力特徴をグループ化するために最も活性化されたオブジェクトを選択し、他の要素を抑制する。SRモジュールはSelf-Attention（SA）と同様の効果を持つが、さらに頑健である。興味深いことに、一定の制約の下でSAはSR問題を解くことができる。さらに、sparsenessを追加すると、SAは入力に依存する辞書を使用して疎な再構成を行うことができる。これにより、入力を効果的に再構築し、重要なオブジェクトを強調することができる。

## 3-2. Top-Down Attention from AbS 

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/c6c0387b-484e-a97d-94eb-adc0674278b2.png)

視覚の解析合成（Attention-based Set-function: AbS）の視点からTop-downのVisual Attentionを探究している。Hierarchical AbSは、画像生成プロセスをベイジアン推論として定式化し、階層的な生成プロセスに基づいて再構築目的を最適化する。Top-down Attentionは、Top-down signalによって調整されたスパースコードによってもたらされる。AbSは、Bottom-upとTop-downのsignalを組み合わせることで、Attentionの調整を実現する。このアプローチは、Top-down Attentionの追加により、オブジェクトの注目を強調することができる。異なるレイヤーで異なるオブジェクトを指示することにより、Top-down Attentionが実現される。このアプローチは、Self-AttentionのTop-downバージョンを構築する方法を提案している。

## 3.3 Analysis-by-Synthesis Vision Transformer

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/239d4331-eabc-1395-0eac-c06a935158d0.png)

Top-downのAttentionとAbSは関連していて、ViTを使用してTop-down attentionを実現する提案が行われている。具体的には、ネットワークの入力と各層の後の潜在表現を変分近似によって最適化し、最終的な潜在表現を得ることが目標である。注意すべき点として、スパース正則化や変換デコーダの共同トレーニング、生成的パワーと識別的パワーのトレードオフ、可変事前などが挙げられる。また、提案されたAbSViTはViTをベースにしており、画像をフィードフォワードエンコーダに通し、事前ベクトルで変調して再構築し、Top-downトークンも含めてSelf-Attentionを行う構造となっている。

---

# 4. 結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/bb37cf6e-08cd-0553-bde7-6d9532130af2.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/4604516a-d438-b9c2-1ef4-0e83cf2c3a6b.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/be4f96ad-f9e8-9180-bb9a-77829fd6bf97.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/ed164215-886c-7837-7aa3-3c5576fbedec.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/0cc49b37-9488-b88d-05e6-7bf572789f74.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/6ea6277b-9fd5-6185-1e0f-4bf5734cf92d.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3479168/ade24b81-f51e-b0ba-d3b8-b6300c1b7d8a.png)

AbSViTの多対象シーンで制御可能なトップダウンのアテンションの実現、VQAやゼロショット画像検索などのVision-LanguageタスクでのAbSViTのテスト、また、ImageNet分類とモデルの堅牢性についてのテストを実施している。AbSViTは制御可能なをTop-down Attentionを実現し、Vision-Languageタスク、画像分類、頑健性の向上においてベースラインよりも優れた結果を示すことを示した。

---
Paper URL: 
https://openaccess.thecvf.com/content/CVPR2023/papers/Shi_Top-Down_Visual_Attention_From_Analysis_by_Synthesis_CVPR_2023_paper.pdf

last updates: Aug 7, 2023