NLPとVision-and-Languageの基礎・最新動向 (2)NTT⼈間情報研究所

⻄⽥京介，⻄⽥光甫，⽥中涼太，⻫藤いつみ
2023年3⽉8⽇
DEIM2023 第15回データ⼯学と情報マネジメントに関するフォーラム
チュートリアル講演

講師紹介
⻄⽥京介

専⾨︓機械読解（質問応答），Vision-and-Language
NLP’18 最優秀賞, ’19優秀賞 (筆頭), ’21最優秀賞, ’20’22優秀賞 (共著)，DBSJ上林奨励賞(2017)など．MS MARCO投稿時⾸位獲得．JSAI’22, NLP’19など 招待講演．

⻄⽥光甫

専⾨︓⾃然⾔語理解・説明
NLP’22 優秀賞，NLP’20 若⼿奨励賞 (筆頭), HotpotQA, FEVERにて投稿時⾸位獲
得．

⽥中涼太

専⾨︓視覚的機械読解
NLP’21最優秀賞，NLP’22若⼿奨励賞，ICDAR 2021 Infographics VQA runnersup（筆頭）, AI王ワークショップ’21 招待講演．

⻫藤いつみ

専⾨︓⽂書要約（※本⽇⽋席）

JSAI’20優秀賞，NLP’19最優秀ポスター（筆頭）, ⾔語処理セミナー’20 招待講演．

⽬次
1. 深層学習による⾃然⾔語処理技術の基礎 (40min)
⻄⽥京介

タスクとモデルの分類，Transformerとセルフアテンション，
BERTとGPT-3，⼤規模⾔語モデル（LLM）に関する知⾒2. ⼤規模⾔語モデルの⾰新 (40min)
⻄⽥光甫

InstructionチューニングとRLHF，ChatGPT，
ChatGPTの評価と⾔語モデルの今後の課題
質疑応答 (10min)

3. Vision-and-Languageへの派⽣ (40min)
⻄⽥京介

Vision Transformer，視覚・⾔語の基盤モデルCLIP，
CLIP+LLMによるモデル︓Flamingo，KOSMOS-1など

4. ⽂書や画⾯の理解 (40min)
⽥中涼太

処理・タスク・モデルの紹介，
⽂書画像理解の発展︓SlideVQA，LiLT，Pix2Struct，ReAcTなど
質疑応答 (10min)⾃然⾔語処理から
Vision-and-Languageへ

Vision-and-Languageとは••画像処理と⾃然⾔語処理の融合領域
TransformerやBERTの成功が，視覚と⾔語を結びつけた理解にも派⽣し，急速に発展している“DALL-E 2”によりテキストから⽣成された画像[Ramesh(OpenAI)+,2022/04/13]

vibrant portrait
painting of Salvador
Dalí with a robotic
half face“Flamingo”による画像の内容に基づく対話[Alayrac(Deepmind)+,2022/04/29]

a shiba inu wearing aberet and black
turtleneck

https://cdn.openai.com/papers/dall-e-2.pdf

https://arxiv.org/abs/2204.14198

5

Vision-and-Languageの主なタスク•

⾃然⾔語処理と同様に，理解／⽣成で⼤別可能
視覚・⾔語の融合理解

視覚・⾔語の融合理解に基づく⽣成

画像・⾔語のマッチング（検索）Document VQA (回答⽣成型)

チョコレートシロップが掛かった
ワッフル2つとアイス

Score: 0.98
VQA (回答選択型）
ベッドの上に
⼦供は何⼈いますか︖

1/2/3/…

ソーシャルメディアの利⽤率は︖

16% (100-84)
ロボットナビゲーション
階段を登り，次にピアノの横を．．．

forward,left, …, stop

Image-to-text ／ Text-to-image
ベレー帽とタートルネックを着た柴⽝6

（初期の）V&L事前学習⽅法の概要
1.
2.
3.

Webなどから⼤量の画像とキャプションのペアを収集
画像を系列データとして捉えて，テキストの単語系列と併せてTransformerエンコーダに⼊⼒
⽳埋め・マッチングタスクなどで事前学習
本当に存在する
画像とキャプションのペアか︖

各トークンの
⽳埋め問題
⼥性?

True?

Web
⼤量に収集

Transformerエンコーダ

店内でオレンジ
ジュースをカップに注いでいる⼥性
https://cocodataset.org/#explore?id=306267

系列化

[CLS]

…

[SEP] 店内 で オレンジ … [MASK]
⼥性

7

画像を系列データとして扱う••

Faster R-CNN [Ren+, NIPS15]などの物体検出技術により画像からオブジェクトを検出し画像からオブジェクト（およびそのベクトル表現）を検出し，1つの系列に並べる
VQAなどのタスクではオブジェクトの種類や個数が問われる事が多いため，初期のV&Lモデルではこのアプローチが⼀般的であった…
N個のオブジェクトの特徴ベクトル系列
画像

https://arxiv.org/abs/1908.03557

ℝ!×#

8

事前学習タスク: Masked Language/Region Modeling••

BERTと同様に単語をマスクして⽳埋め問題を解く
画像側のトークンをマスクした⽳埋め問題（特徴量の再現やオブジェク
トのクラス分類）を解く場合もあり

⼥性

Transformerエンコーダ[CLS]… [MASK] [SEP] 店内 で オレンジ…

[MASK]
⼥性
9

事前学習タスク: Image-Text Matching••

データセットの中にあるペア（正例）とランダムサンプリングで作った負例のペアを⾒分けるタスク
このタスクも⼤量にデータを⽤意できる

Matching/
Not-matchingTransformerエンコーダ

[CLS]

…

[SEP] ⾺に 跨って …… いる 少年
ランダムに⼊れ替え

10

VinVL [Zhang(Microsoft)+, CVPR’21]••

物体検出を1848クラス/524属性まで強化した事前学習モデル
さらに，検出された物体の名前（タグ）を同時に⼊⼒することで，⾔語・画像を結びつけた事前学習を強化
マッチングタスク

トークン⽳埋め単語系列

https://openaccess.thecvf.com/content/CVPR2021/html/Zhang_VinVL_Revisitin
g_Visual_Representations_in_Vision-Language_Models_CVPR_2021_paper.html

タグ系列

物体系列

11

物体検出による画像表現抽出の限界•

物体検出器がカバーする概念の広さと検出精度にV&Lモデルの性能が⼤きく依存してしまう
è 物体検出に依存しない，汎⽤の画像エンコーダが得られないか︖

商⽤の物体検出APIの結果
⾷器

⾷品

オブジェクト検出なし

⾷器
⾷器

フォーク

⾷品や⾷器の細かい違いが認識できていない
マットやコーヒーについて認識漏れ

各種Webサービスのアイコンを
認識できず

12

パッチ／グリッド⽅式による系列化••

パッチ︓画像を⼩さい領域に分割して埋め込みトークン化
グリッド︓画像をそのまま⼊⼒しグリッド毎の特徴量を出⼒
画像特徴（パッチ数）

Transformer

画像特徴（グリッド数）

CNN

パッチごとに線形変換

パッチ分割

13

Vision Transformer (ViT) [Dosovitskiy(Google)+, ICLR’21]•••

画像パッチを単語とみなすパラメータ数632MのTransformerエンコーダ
3億枚以上の画像分類で事前学習し，画像分類タスクで最⾼精度を達成
ただし，従来のCNNを圧倒する程の精度では無かった
è⾃然⾔語を⽤いない画像分類タスクでの事前学習に限界がある︖
クラス
分類

位置は1D
線形変換
!

ℝ(" #$)×'

14x14あるいは16x16 分割
https://arxiv.org/abs/2010.11929

パッチ
!

ℝ" #$
14

CLIPの対照学習アプローチ

CLIP [Radford(OpenAI)+, 2021/01, ICML’21]•

Webから収集した4億件の画像とテキスト（画像の説明⽂）のペアから事前学習された視覚・⾔語の基盤モデル•

画像エンコーダとテキストエンコーダが独⽴に⼊⼒をベクトル化•

正しい画像とテキストのペアの内積が⼤きくなるように対照学習
Transformer

各テキストのベクトル

Vision Transformer
やCNN
正しいペアの内積を⼤きくするよう
に学習
各画像の
ベクトル
https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language_Supervision.pdf

16CLIP [Radford(OpenAI)+, 2021/01, ICML’21]
通常の画像分類

固定のクラスベクトル集合（学習パラメータ）
正解のクラスベクトルとの内積が⾼くなるように学習

CLIP（Contrastive Language-Image Pre-training）

テキストエンコーダが出⼒
した任意のテキストの表現関係するテキスト表現との内積が⼤きくなるように
両⽅のエンコーダを学習
https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language_Supervision.pdf

17

CLIP [Radford(OpenAI)+, 2021/01, ICML’21]•

事前学習後は，追加の学習無し（zero-shot）で任意のテキスト候補の中から画像にマッチするものを選ぶことが可能

https://cdn.openai.com/papers/Learning_Transferable_Visual_Models_From_Natural_Language_Supervision.pdf

18

Zero-shot分類の例•

従来の画像分類や物体検出ではカバーできていない概念も理解✔ワカモレ✔TVスタジオ✔⾶⾏機✔癌化リンパ節(正常リンパ節)✘キツネリス(オオヤマネコ)

✔⿃

✘笑顔
(怒り)
https://cdn.openai.com/papers/Learning_Transferable_Visual_
Models_From_Natural_Language_Supervision.pdf

✔バレーの
スパイク

✔カンガルー
19

CLIPは何が凄いのか(1)••

これまでの画像分類や物体検出で事前学習された画像エンコーダは，視覚と「有限個の記号」の結びつけであった
CLIPにより，視覚と「任意の⾔語」を結びつけた理解が⾰新的に進み，最近の急速なモデルの進化につながった
画像分類・物体検出の場合

Class: 11
画像エンコーダはこのクラスが何を意味しているのか理解していない

CLIPの場合“赤、黄、白、黒などで鮮やかに彩られた美しい小鳥が木に止まっている”
⾔語と結びつけた理解は様々な概念の共通理解に通づる
https://salient-imagenet.cs.umd.edu/explore/class_11/feature_520.html

20

CLIPは何が凄いのか(2)••従来のImageNetデータセットでは，25,000⼈が1,400万枚の画像に対して22,000クラスをWordNetの名詞と紐付けてアノテーション
CLIPはWebから収集したデータを⽤いて，（ノイズはあるが）⽐較的低コストで遥かに広い概念を⾔語と結びつけて学習可能
ImageNetの ”Tench”（コイ科の淡⽔⿂）カテゴリの写真の例
本来不要な男性も含めてTenchが学習されてしまう
CLIP: 「釣り上げたTenchを抱えている男性」と学習

ImageNetの ”Siberian Husky”カテゴリの写真の例
⽝の数や動作については無考慮
CLIP: 「3匹のシベリアンハ
スキーが芝⽣に座る」と学習
https://salient-imagenet.cs.umd.edu/explore/class_0/feature_686.html
https://salient-imagenet.cs.umd.edu/explore/class_250/feature_829.html

21

CLIPは何が凄いのか(3)••

初期のV&Lモデルでも画像とテキストのマッチングの学習は⾏っていたが，画像とテキストを同時に⼊⼒するので学習効率を上げにくい
CLIPではエンコーダが分離されているので対照学習を⾏い易い（⼀度に多くのペアの類似度を計算可能）– テキスト検索においては”In-batch Negatives”として知られるテクニック[Karpukhin, EMNLP’20]

画像とテキストを同時に⼊⼒する
クロスエンコーダタイプ

https://cdn.openai.com/papers/Learning_Transferable_Visual_
Models_From_Natural_Language_Supervision.pdf

エンコーダが分離されていれば，B件のペアに対して
B^2の組み合わせの学習が可能

22

CLIPが可能にした技術

StyleCLIP [Patashnik+, ICCV’21]••

CLIP空間上のテキストの変化⽅向を，StyleGAN [Karras+, CVPR’20] 空間に画像チャネル毎に射影し，⾃然⾔語による画像編集を可能にした
各空間における画像の変化の関係を予め前処理として獲得しておくこと
で，画像編集時は学習なしで編集可能

A surprised female face射影

A female face

CLIP空間https://openaccess.thecvf.com/content/ICCV2021/papers/Patashnik_StyleCL
IP_Text-Driven_Manipulation_of_StyleGAN_Imagery_ICCV_2021_paper.pdf

Style空間24

VQGAN+CLIP [Crowson(EleutherAI)+, 2021/07]••

VQGAN [Esser+, CVPR’21] で⽣成した画像がCLIP空間でターゲットテキス
トと類似するように潜在変数（Z-vector）を最適化する“AIアート”としてSNS・ニュースサイト等で話題に
blue whales swimming through neon city

an astronautin the styleof van Gogh
学習パラメータ
Z-vector

VQGAN
Decoder

CLIP

類似度のlossで学習

https://twitter.com/ak92501/status/1413360535685435396

https://arxiv.org/abs/2204.08583

25

DALL-E 2 [Ramesh(OpenAI)+,2022/04/13]••

CLIP＋拡散モデル [Ho+, NeurIPS’20] によるテキストからの画像⽣成(1) CLIPのテキスト表現→画像表現を⽣成するpriorと，2) CLIPの画像表現→画像を⽣成するdecoderにて画像を⽣成
テキスト表現拡散モデル等
https://cdn.openai.com/papers/dall-e-2.pdf

画像表現

拡散モデル

26

ViLD [Gu(Google)+, ICLR’22]•

学習時に，物体検出モデルの出⼒する領域の画像表現を，CLIP空間の画像表現に近づける（蒸留）ようにすることで，任意のテキスト（”open
vocabulary”）で物体検出可能なモデル
CLIPのテキストエンコーダで任意のテキストクラスを指定可能
Blue toy

Toy duck

Green toy

物体検出器
の出⼒

CLIPの画像
エンコーダの出⼒に近づける

https://arxiv.org/abs/2104.13921

Toy duck27

Wav2Clip [Wu(Descript)+, ICASSP’22]••

視覚・⾔語で学習したCLIPを動画データを⽤いて⾳と結びつける
VQGAN+CLIPを利⽤して，⾳声に関連する画像を⽣成することが可能

https://arxiv.org/abs/2110.11499
https://descriptinc.github.io/lyrebird-wav2clip/

28

CLIPasso [Vinker(EPFL)+, SIGGRAPH’22]•

画像からスケッチに変換．元画像とスケッチ画像がCLIP空間（画像エンコーダのみ利⽤）上で近くなるように，n本の曲線を最適化していく

初期化に利⽤https://clipasso.github.io/clipasso/

最適化されるn本のベジェ曲線
パラメータ29

MotionCLIP [Tevet(Tel Aviv U.)+, ECCV’22]••

運動（モーションキャプチャの系列）のオートエンコーダの潜在変数を
CLIP空間の⾔語・視覚と結びつけて学習
モーションの⽣成，任意の運動の認識，運動の合成などが可能に

https://www.ecva.net/papers/eccv_2022/pa
pers_ECCV/papers/136820349.pdf

30

Text2Mesh [Michel(Chicago U)+, CVPR’22]•

3Dオブジェクト（メッシュ）とテキスト指⽰を受け取ると⾊や形状を⽣成してくれるモデル

Iron Man

https://openaccess.thecvf.com/content/CVPR2022/html/Michel_Text2Mesh_Text-Driven_Neural_Stylization_for_Meshes_CVPR_2022_paper.html

31

AvatarCLIP [Hong(Nanyang Technological U)+, ACM Trans. Graph.(2022)]••

⾔語から3Dオブジェクトおよびモーションを⽣成する
オブジェクトの形状やテクスチャ，ポーズなどを2D画像としてCLIP loss
を使って⽣成https://dl.acm.org/doi/abs/10.1145/3528223.3530094

32

CLIPの画像エンコーダ＋
⼤規模⾔語モデルの発展

Flamingo [Alayac(DeepMind)+, 2022/04/29]••

例⽰として「画像とテキスト」を与えてテキストを⽣成
追加の学習無しで汎⽤なタスクを解くことが可能

https://arxiv.org/abs/2204.14198

34

Flamingo [Alayac(DeepMind)+, 2022/04/29]•

CLPの⽅式で学習した画像エンコーダ（433M）と，事前学習済みの⼤規
模⾔語モデル（70B）から構成．それぞれは固定し，適応⽤のネットワー
クを（194M／10B）を追加することで結合
出⼒︓テキスト

固定⻑の
ベクトル
系列へ変換

⾔語モデル
（Chinchilla）

画像
エンコーダ
（CLIP）

FFN+クロスアテンションhttps://arxiv.org/abs/2204.14198

⼊⼒︓画像（複数枚可），テキスト

35Flamingo [Alayac(DeepMind)+, 2022/04/29]•

動画に基づく質問応答の例

https://arxiv.org/abs/2204.14198

36

Flamingo [Alayac(DeepMind)+, 2022/04/29]•

画像に関する対話の例

知識を
⽤いた対話
常識＆視覚
情報に関する対話

https://arxiv.org/abs/2204.14198

37

BLIP-2 [Li(Salesforce)+, 2023/01]••

CLIPのImage Encoderと⼤規模⾔語モデルを固定して，画像からLLMへ⼊⼒する「視覚的なプロンプト」を出⼒する適応⽤モジュールを追加し，2段階の事前学習を⾏う
VQAなど⼀部ベンチマークではFlamingoを上回る性能

https://arxiv.org/abs/2301.12597

38

BLIP-2 [Li(Salesforce)+, 2023/01]•••

第⼀段階︓Image Encoderを改善する
既存のCLIP（固定）のImage Encoderを直接LLM（固定）につなげるのではなく，接続⽤ネットワークとしてQ-Formerを利⽤する
Q-Formerは再度CLIPの対照学習を⾏うイメージだが，Image-encoderへの⼊⼒は”Learned Queries”となる

https://arxiv.org/abs/2301.12597

39

BLIP-2 [Li(Salesforce)+, 2023/01]•••

第⼆段階︓LLMをQ-Formerの出⼒に適応させる
Q-Formerの画像エンコーダ部分が”Learned Queries”に対する出⼒を，LLMへ⼊⼒し，対応するテキスト出⼒を得る
どちらも<画像,キャプション>の組で学習するが，LLMの能⼒により画像に基づく対話が可能になる

https://arxiv.org/abs/2301.12597

40

BLIP-2 [Li(Salesforce)+, 2023/01]

https://arxiv.org/abs/2301.12597

41

FROMAGe [Koh(CMU)+, 2023/01]•••

Image EncoderとLLMを線形層だけで接続し，画像キャプショニングと対照学習でシンプルに学習[RET]トークンを画像表現と⼀致させることでテキストと画像の両⽅をLLMが⽣成可能になる
CLIP ViT-L/14とOPT 6.7Bを接続して画像に対する対話や検索を実現

42

FROMAGe [Koh(CMU)+, 2023/01]•

FROMAGeはテキスト→画像検索ができるので，モデルが対話中に適切な画像を選択して対話することが可能

43

KOSMOS-1 [Huang(Microsoft)+, 2023/02]•••

画像⼊⼒を受け付け可能なマルチモーダルLLM（パラメータ数1.6B）
CLIPのImage Encoder（ViT-L/14）の最終層以外を固定して画像をテキス
トと合わせて⼊⼒する
⾔語コーパス，画像キャプション，画像-テキストの綴じ込み（interleaved）データで学習

https://arxiv.org/abs/2302.14045

44

KOSMOS-1 [Huang(Microsoft)+, 2023/02]

https://arxiv.org/abs/2302.14045

45

ここまでのまとめ••

Vision-and-Languageタスクも理解・⽣成に⼤別される
BERT以降，画像を物体検出して系列化し，⾔語の系列と合わせてTransformerでモデリングする⽅式の検討が進んできた•

2021/01の対照学習を⽤いるCLIPにより，画像分類や物体検出に依存した事前学習の限界を越え，視覚と⾔語の融合が⼤きく進んだ
近年では，画像・テキスト検索のみならず，テキストからの画像⽣成，
3dオブジェクト・モーション⽣成など，様々なタスクでCLIPの導⼊が進
んでいる

•

•

CLIPの優れた画像エンコーダと⼤規模⾔語モデルを結合する取り組みも活発化してきている46

⽬次
1. 深層学習による⾃然⾔語処理技術の基礎 (40min)
⻄⽥京介

タスクとモデルの分類，Transformerとセルフアテンション，
BERTとGPT-3，⼤規模⾔語モデル（LLM）に関する知⾒2. ⼤規模⾔語モデルの⾰新 (40min)
⻄⽥光甫

InstructionチューニングとRLHF，ChatGPT，
ChatGPTの評価と⾔語モデルの今後の課題
質疑応答 (10min)

3. Vision-and-Languageへの派⽣ (40min)
⻄⽥京介

Vision Transformer，視覚・⾔語の基盤モデルCLIP，
CLIP+LLMによるモデル︓Flamingo，KOSMOS-1など

4. ⽂書や画⾯の理解 (40min)
⽥中涼太

処理・タスク・モデルの紹介，
⽂書画像理解の発展︓SlideVQA，LiLT，Pix2Struct，ReAcTなど
質疑応答 (10min)テキストの読解から視覚的な⽂書読解へ我々はどういった⽂書を扱っているのか︖
フォーム

https://guillaumejaume.github.io/FUNSD/

レシート

インフォグラフィック

https://rrc.cvc.uab.es/?ch=13&com=tasks

Webページ

https://rrc.cvc.uab.es/?ch=17

スライド

など．．

https://en.wikinews.org/wiki/2007_Ig_Nobel_Prize_winners_announced

49

テキストベースの限界• BERTをはじめとする従来の読解モデルは，我々が普段扱う⽂書が持つ視覚的な情報を⾃然⾔語と併せて理解できない
図・表やグラフ，⽂字の⾒た⽬，配置等の視覚的な情報を読み取ることができない

⽂書中のテキスト
情報のみを扱う

⾔語処理AI

テキスト抽出(OCR)

HTMLやPDF形式等の⽂書 (契約書やマニュアル等)

フレッツ光ネクスト（FTTHアクセスサービス） ファミリー・スーパーハ
イスピード隼 上限料⾦ 5610円/⽉ 4730円/⽉「光はじめ割」(1・2年⽬)※1適⽤時<解約⾦
あ り > 基 本 料 ⾦ 2530円/⽉ 3 2 0 M B 基 本 料 ⾦
従量料 ⾦ 2530円/⽉ 30 . 8 円 / 10 M B 1030 M B
1329MB 基本料⾦ 5610円/⽉ 利⽤量/⽉ 「光はじめ割」について本割引を解約された場合は解約⾦（⼀律11,000円）が必要です。ただし、割引適⽤期間の満了⽉とその翌⽉、翌々⽉に解約される場合は、本割引の解約⾦は発⽣しません。その他、解約⾦に関しましては、こちらをご確認ください。1ヵ⽉の利⽤量の合計のうち、10MB未満の利⽤量は、10MB単位の切り上げにて計算します。

テキストデータ

50

⽂書を”視覚的に”読み解くAIを⽬指して••⼈間が⾒る⽂書の情報をそのまま理解可能なAIの実現を⽬指す
⾔語情報，レイアウト，図やグラフ・表など多岐に渡る理解が必要
動画を毎⽇1時間は⾒るのですが，ライトプ
ランの料⾦は⽉額幾らになりますか︖

上限料⾦の税込⽉額5,800円になります

ライトプラン 利⽤料⾦イメージ

このページに答えがありそうだな

上限料⾦ (税込)

5,800 円/⽉

⽉額利⽤料

基本料⾦ (税込)

2段階

2,500 円/⽉

定額プラン

200MB

使った分だけ
利⽤料が増えます
1,000MB1,200MB

回線利⽤量

200MB の⽬安

1,000MB の⽬安

ホームページ閲覧とメールが中⼼
2⽇に1回，30分程度インターネット利⽤

ホームページ閲覧とメールに加え，動画閲
覧を⽉に1時間程度
2⽇に1回，1時間程度インターネット利⽤

動画を毎⽇⾒るな
ら1200MB/⽉は確実に超えそう51

⽂書画像理解における⼀般的な解法
1.
2.
3.
4.

⽂書レイアウト解析: 関⼼領域の検出および分類
OCR: テキスト領域の検出とテキストの認識
その他: 読み順予測，⼀般物体認識など
⽂書画像読解: ⽂書表現の獲得・理解⽂書レイアウト解析

1.

OCR

2.

画像，OCRテキスト，レイアウト (座標) etc.

2007 Ig Nobel Prize winners
announced The winners of the2007 Ig Nobel have been announced.
The awards, given out every early
October since 1991 by the Annals of
Improbable Research, are a parody of
the Nobel Prize, which are awards
given out in several fields. The awards
are given to achievements that, "firstmake people laugh, and then makethem think."

前処理
⾏わない/⼀部のみ⾏う
ケースがある

読み順検出 etc.

3.

2007 Ig Nobel have been announced.
The awards, given out every early
並び替え
October since 1991 by
the Annals of
Improbable Research, are a parody of
the Nobel Prize, which are awards
given out in several fields. 2007 Ig
Nobel Prize winners announced The
winners of the The awards are given
to achievements that, "first makepeople laugh, and then make themthink."

4.

⽂書画像読解52

1. ⽂書レイアウト解析• ⽂書画像内の関⼼領域を検出および分類するタスク– CNNベースのFaster-RCNNが⼀般的に⽤いられる• 正解領域やラベルが⾃動的に⼊⼿可能なデータ (LaTeXソース
やXML/HTMLを基に⼊⼿可能) を扱うことが多い
XML

XMLのパースにより得られたデータ

ResNetなどのCNNが⽤いられる

Faster-RCNNを⽤いたレイアウト解析[Soto(Upton)+, EMNLP19]https://aclanthology.org/D19-1348/

Publaynet [Xu(IBM)+, ICDAR19]
https://arxiv.org/abs/1908.07836

53

2. OCR (光学⽂字認識)• テキスト領域の検出および領域内のテキストを認識– OCRはオープンツールを使うことが⼀般的．フリーで使えるものとしては，Tesseractが有名– 回転・湾曲・⼿書き⽂字，低資源⾔語の認識精度は⽐較的低い
テキスト
2007,

Ig， Nobel， Prize， Winners， announced

テキスト領域: Bounding box

https://github.com/tesseract-ocr/tesseract54

3. その他: 読み順予測 [Wang(UCS)+, EMNLP21]• OCRで出⼒される系列を，⼈間が読むような系列順に修正– 通常，OCR系列はLeft-to-right Top-to-downで出⼒されるのため，
複数カラムやテキストが複雑に配置されている場合，読み順を誤る

OCR

2

1

読み順
予測

4

3

5

ReadingBank dataset
https://aclanthology.org/2021.emnlp-main.389/

55

3. その他: ⼀般物体認識• ⽂書に含まれる⼀般物体 (写真中の物体やアイコンなど) の領域検出とカテゴリを認識– ⽂書レイアウト解析と同様にFaster-RCNNなどの物体検出器を⽤いて，領域と意味を出⼒– 近年の⽂書画像QAデータセットは，⼀般物体についても問われる

ひまわりの種ハムスター

Webページのスクショに対する⼀般物体検出

インフォグラフィックに対するアイコン検出
http://visdata.mit.edu/

56

⽂書画像理解における⼀般的な解法
1.
2.
3.
4.

⽂書レイアウト解析: 関⼼領域の検出および分類
OCR: テキスト領域の検出とテキストの認識
その他: 読み順予測，⼀般物体認識など
⽂書画像読解: ⽂書表現の獲得・理解⽂書レイアウト解析

1.

OCR

2.

画像，OCRテキスト，レイアウト (座標) etc.

2007 Ig Nobel Prize winners
announced The winners of the2007 Ig Nobel have been announced.
The awards, given out every early
October since 1991 by the Annals of
Improbable Research, are a parody of
the Nobel Prize, which are awards
given out in several fields. The awards
are given to achievements that, "firstmake people laugh, and then makethem think."

前処理
⾏わない/⼀部のみ⾏う
ケースがある

読み順検出 etc.

3.

2007 Ig Nobel have been announced.
The awards, given out every early
並び替え
October since 1991 by
the Annals of
Improbable Research, are a parody of
the Nobel Prize, which are awards
given out in several fields. 2007 Ig
Nobel Prize winners announced The
winners of the The awards are given
to achievements that, "first makepeople laugh, and then make themthink."

4.

⽂書画像読解57

⽂書画像読解タスク

シーケンスラベリング [Jaume(ETH)+, ICDAR-OST’19]• ⽂書画像中の全てのテキスト領域に対して，KeyやValueとな
るラベルなどを付与するタスク– 例: Key=Supplier, Value=AUDIENCE STUDIES

https://guillaumejaume.github.io/FUNSD/

59

情報抽出 [Park(NAVER)+, NeurIPS workshop’19]• ⽂書画像から特定の情報 (menu, priceなど) を抽出するタスク– 例: menu=BLACK PAPPER MEATBALL

https://github.com/clovaai/cord

60

⽂書画像分類 [Adam(Ryerson Univ.)+, ICDAR’15]• ⽂書画像を複数のクラスに仕分けるタスク– RVL-CDIPでは，16クラス，40万サンプル⽤意されている– 最新のモデルだと，95%程度の精度で識別可能

https://www.cs.cmu.edu/~aharley/rvl-cdip/

61

視覚的読解• ⽂書画像に関する質問に対して，回答テキストを⽂書内のテキストから抽出 or ⾃由な形式で⽣成するタスク– ⼀般物体 (アイコンなど) や図表理解，算術演算が課題

https://arxiv.org/abs/2007.00398

https://arxiv.org/abs/2101.11272

https://arxiv.org/abs/2104.12756

62

VisualMRC [Tanaka & Nishida(NTT)+ , AAAI’21, NLP’21最優秀賞]••

Webページのスクリーンショットに基づく視覚的読解
レイアウト理解と⽣成型機械読解を統合した問題設定とモデルの提案
約10,000枚の画像を収集

全ての領域をアノテー
ション︓
9つの意味クラスに分類

約30,000件の⽣成型QAを作成

https://arxiv.org/abs/2101.11272

https://github.com/nttmdlabnlp/VisualMRC

63

SlideVQA [Tanaka(NTT)+, AAAI’23]• 複数枚の画像集合 (プレゼン資料) に跨る質問応答タスク• 演算が必要な回答に対して，演算過程（算術式）を⼈⼿で付与• 画像選択と質問応答タスクを統合的に解くモデルを提案(12%のジャーナリストが居る地域 (=West) とEastのcompetition mediaの%差分は︖)
https://arxiv.org/abs/2301.04883

https://github.com/nttmdlab-nlp/SlideVQA

64

画⾯指⽰遂⾏• モバイル/PC画⾯に対して，⾃然⾔語による指⽰を⾏い，エージェ
ントが画⾯操作を⾏う• 画⾯遷移を伴う指⽰遂⾏データセットが多く取り組まれており，
指⽰が実⾏可能か否かを問うタスクも存在する

キーボードとマウスの操作
を⾏い，⽬的のタスクを遂⾏

MiniWob++: Webブラウザに対する指⽰遂⾏タスク [Peter(DeepMind)+, ICML’22]
https://proceedings.mlr.press/v162/humphreys22a/humphreys22a.pdf

操作が実⾏できな場合は，Follow-up質問を出⼒

MOTIF: モバイルアプリに対する
指⽰遂⾏タスク[Burns(Boston Univ.)+, ECCV’22]
https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136680304.pdf

65

画⾯指⽰遂⾏ + 対話••

モバイル/PC画⾯に対して，⾃然⾔語による指⽰ (対話) を⾏い，画⾯操
作と返答を返す⼤規模な事前学習データを取集することが困難→ 汎⽤的な画⾯に対する理解・操作が課題

WebTOD: GUIを⽤いたタスク指向対話のコンセプト [Lee(NAVER)+, arXiv’22]
https://arxiv.org/abs/2212.10504

Meta-GUI: モバイルGUIに対するタスク指向対話 [Sun(X-LANCE)+, EMNLP’22]
https://aclanthology.org/2022.emnlp-main.449.pdf

66

⽂書画像読解モデル

DocVQAにおける性能の推移
⽂書レイアウト理解を問うDocVQAにおいて，⼈間のスコアに迫るモデルが登場

•

0.981

human

0.9
*Pre-trainデータ*Devデータ
を独⾃に取集を学習に使⽤
0.839
0.835

0.847
0.835

TILT

StructualLM

LaytouLMv2

02
/12
/20
21

05
/24
/20
21

01
/10
/20
22

0.834

0.832

UDOP

LaytouLMv3 ERNIE-Layout

0.8

0.726
0.7

LayoutLM
0.677
BERT

0.6

01
/05
/20
21

07
/19
/20
22

10
12
/14
/20
/20
/20
22
22

03
/08
/20
23

68

DocVQAにおける性能の推移
0.981

human

0.9
*Pre-trainデータ*Devデータ
を独⾃に取集を学習に使⽤
0.839
0.835
TILT

StructualLM

0.847
0.835
LaytouLMv2

0.834

0.832

UDOP

LaytouLMv3 ERNIE-Layout

0.8

⼊⼒をマルチモーダルにする
0.726
0.7

LayoutLM• レイアウト埋め込みの導⼊• Finetune時の画像情報の導⼊

0.677
BERT

0.6

01
/05
/20
21

02
/12
/20
21

05
/24
/20
21

01
/10
/20
22

07
/19
/20
22

10
12
/14
/20
/20
/20
22
22

03
/08
/20
23

69

LayoutLM [Xu(HIT)+, KDD’20]•

⼊⼒テキスト埋め込みに対して，テキスト領域の座標を学習可能なパラ
メータ (レイアウト埋め込み) として追加し，⽳埋め事前学習を実施•

Finetune時のみOCR画像特徴をLayoutLMの出⼒に⾜し合わせて，最終出⼒として使⽤する

レイアウト埋め込み
https://arxiv.org/abs/1912.13318

事前にOCRテキスト，座標，
画像特徴を獲得70

DocVQAにおける性能の推移
0.981

human

0.9
*Pre-trainデータ*Devデータ
を独⾃に取集を学習に使⽤
0.839
0.835
TILT

StructualLM

アーキテクチャと事前学習
タスクの改善0.835

LaytouLMv2

0.834

0.832

0.847
UDOP

LaytouLMv3 ERNIE-Layout

0.8• 事前学習時の画像情報の導⼊• Self-attentionの⼯夫• 事前学習タスクの⼯夫

0.726
0.7

LayoutLM
0.677
BERT

0.6

01
/05
/20
21

02
/12
/20
21

05
/24
/20
21

01
/10
/20
22

07
/19
/20
22

10
12
/14
/20
/20
/20
22
22

03
/08
/20
23

71

LayoutLMv3 [Huang(Sun Yat-sen Univ.)+, ACMM’22]• ⽂書画像をパッチ分割し，ViTを⽤いてエンコーティング• 座標間距離を考慮したレイアウト情報をSelf-attentionに導⼊• ⽳埋め復元と単語-パッチ対応付け学習により，OCRテキストと⽂書画像の対応を事前学習
OCRテキストと画像の対応付けレイアウト情報をSelf-attentionに導⼊

https://arxiv.org/abs/2204.08387

画像をパッチ化72

レイアウト情報を考慮したSelf-attention• テキストの座標間距離をSelf-attentionのバイアス項に追加– 座標間の距離を直接与えることで，座標の距離が近いものがKeyValueの関係性にあるなどの学習が効率的に進むKey
トークン数 × 𝑑!"

トークン数 × トークン数

𝑊%
Attention Map
𝑊#

距離バイアスQuerysoftmax
トークン数 × 𝑑&'(

𝑊$
Value

𝑊&'(

73

単語-パッチ対応付け学習 (WPA)• ⽂書画像のテキスト部分を⼀部マスクして，OCRテキストのどの部分がマスクされているかを予測することで，⽂書画像とOCRテキストの対応を学習
マスク

マスク

Multimodal Transformer+ レイアウトThemanplays soccer

with friends

画像内のテキストの⼀部を⿊塗りマスク

⽂書画像

OCRテキスト
74

DocVQAにおける性能の推移
0.981

human

0.9
*Pre-trainデータ*Devデータ
を独⾃に取集を学習に使⽤
0.839
0.835
TILT

StructualLM

出⼒をマルチモーダルにする
0.847

0.835
LaytouLMv2

0.834

0.832

UDOP

LaytouLMv3 ERNIE-Layout

0.8• 画像，テキスト，レイアウトの
出⼒を⾏う事前学習の導⼊• 教師あり事前学習の導⼊

0.726
0.7

LayoutLM
0.677
BERT

0.6

01
/05
/20
21

02
/12
/20
21

05
/24
/20
21

01
/10
/20
22

07
/19
/20
22

10
12
/14
/20
/20
/20
22
22

03
/08
/20
23

75

UDOP [Tang(UNC)+, arXiv’22]• Decoderで画像，テキスト，レイアウト (座標) の出⼒を⾏う
⾃⼰教師あり事前学習を実施• 情報抽出やQAタスクなどの5つのタスク全てを系列変換の枠組みで教師あり事前学習を実施• 9つの⽂書画像読解タスクでstate-of-the-artを達成

画像，テキスト，レイア
ウトの出⼒が可能
https://arxiv.org/abs/2212.02623

76マルチモーダル⾃⼰教師あり事前学習• Layout Modeling: スパン領域の座標を予測• Visual Text Recognition: スパンマスク領域のテキスト予測• Joint Text-Layout Recognition: スパンマスク領域のテキストと座標を予測• Masked Image Reconstruction: マスク領域の画像を予測
⾃⼰教師あり事前学習タスクの例

77

⽂字情報を⽤いたマスク画像復元• OCR⽂字情報を加えることで，⽂字レベルの詳細なマスク
画像復元を実現• Cross Attentionを⽤いて，OCR⽂字情報・OCRテキスト・⽂
書画像情報を参照
OCR⽂字情報

MAE (ImageNet-1Kで事前学習) をパラメータ初期値として使⽤

78

テキストによる⽂書画像編集が可能に• テキストを条件付けたマスク画像復元を事前学習に⾏なったことで，⾃然⾔語指⽰による⽂書画像編集が可能に
編集したい領域をマスクし，変更したい
テキストをモデルに⼊⼒

元画像

修正後の画像79

⽂書画像読解モデルの今後の⽅向性今後の⽅向性• 視覚要素の理解および算術演算の強化• マルチリンガル化• End-to-End⽂書理解• ⼤規模⾔語モデルの活⽤

81

視覚物体理解と算術演算• ⽂書読解モデルは⽂書内の視覚物体や算術演算を苦⼿としている [Tanaka+,21][Mathew+, 22].
ANLS
100

LayoutLMv2

Human

90
80
70
60
50
40
30
20
10
0
Visual Element

Numerical Reasoning

InfographicVQA [Mathew+, WACV’22]における評価結果
82IG-BERT [⽥中+ (NTT), NLP’22 若⼿奨励賞]•

InfographicVQAコンペティションにおいて，事前学習データ量を従来モ
デルの1/22に抑えつつ同程度のサイズのモデルの中で最も⾼い性能を達成し2位に⼊賞（18チーム337投稿中）

ポイント2: MLMによる対応付け学習

ポイント3: 簡易な演算を実施可能に40(100-60)

セグメント
位置情報
配置情報
トークン
ポイント1:アイコン⽤の物
体検出器を作成し，物体領域と意味ラベルを⼊⼒

https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/C1-3.pdf

83演算過程を考慮したデータ拡張•

演算の過程を学習可能な新たなデータ拡張⼿法を提案
1. ⽂書から数値データの抽出
60%

4.3%

3.6%

1

10

$6

2. 事前に⽤意した演算テンプレートに代⼊「60% + 4.3% = 64.3%」．
．
．

「100% - 60% = 40%」

3. 回答正解データと⼀致するならデータに加える
質問: 糖尿病を防げた事例の割合は︖
回答正解データ: 40%

100-60=40の演算が必要

https://www.anlp.jp/proceedings/annual_meeting/2022/pdf_dir/C1-3.pdf

100% - 60%
この演算過程テキスト
そのものを⽣成する84

マルチリンガル化の障壁• 多⾔語の⽂書画像 (請求書，契約書など) を⼤規模に収集するのは，⼤変– ⾔語によって，データ量の偏りが⽣じてしまいがち– 権利上・個⼈情報保護の観点で，Web上にあまり落ちていない• 仮説: ⾔語が変わっても，⽂書レイアウトは，普遍的な場合が多い [Wang(SCUT)+, ACL’22]→ 英語で⽂書レイアウトを事前学習して，他⾔語に転移可能か︖
英語

中国語

85

LiLT [Wang(SCUT)+, ACL’22]• Text FlowとLayout Flowのモジュールに分割– ⾔語に依存しないテキストとレイアウトの関係性をより効率的に学習• 多⾔語タスクにおいて，⼤量の多⾔語⽂書で学習したモデル
LayoutXLM [Xu,+ arxiv’21] を英語のみの事前学習データで上回る

https://aclanthology.org/2022.acl-long.534.pdf

https://github.com/jpWang/LiLT86前処理の無いEnd-to-End⽂書理解へ••前処理 (OCRや物体検出など）により，汎⽤的な視覚物体理解には限界
前処理が全体の処理時間の約半分を占めている，前処理の性能が後段タ
スクの性能に⼤きく影響，などの問題がある
30-49歳のTwitterユー
ザの割合は幾つですか︖

????

前処理

モデル

商⽤APIの物体検出結果: オブジェクト検出なし

⽂書画像読解のメモリ消費量と処理時間 [Kim(NAVER+, ECCVʼ22]
87

Donut [Kim(NAVER)+, ECCV’22]• OCRを事前学習で⾏うことで，前処理にOCRを⾏わずに済み，
⽂書画像単体の⼊⼒のみでも⼀定の効果を確認– 速度: OCRありモデルよりも推論速度が2~4倍⾼速– 精度: OCRありモデルと⽐べると，QAタスクの精度は劣っているものの，⽂書画像分類タスクではコンパラの精度．画像全体の雰囲気を掴
むことには成功しているものの，⽂脈理解には改善の余地が⾒られる
テキスト検出は⾏わず，画像全体のテキスト認識を⾏う

https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136880493.pdf

88Pix2Struct [Lee(Google)+, arXiv’22]•••

Webページのスクリーンショット画像に対してマスクをし，元のHTML
ソースコードを予測
Altテキストもマスク対象にすることで，視覚要素 (アイコンや写真など)の理解を促進
2段階のカリキュラム事前学習を実施．1段階⽬の学習ではOCRを⾏い，2段階⽬にマスクHTMLソースコード予測を⾏う

OCR予測

マスクHTMLソースコード予測

https://arxiv.org/abs/2210.03347

画像内のテキストに対してマスク
を⾏う

89

89

⼤規模⾔語モデルの活⽤ [Wang(Utronto)+, CHI’22]•••

⼤規模⾔語モデル (LLM) に含まれる⼀般常識，事実知識などを活⽤指⽰⽂と例⽰ (HTML，推論の過程，出⼒，の組) をPromptとして巨⼤⾔語モデルに⼊⼒する
LLMの限られた⼊⼒⻑の中で，⻑いWebページは全て⼊⼒できない．
LLMに効率よく⽬的のタスクを認識させることが課題

https://arxiv.org/abs/2209.08655

90

ReAct [Yao(Princeton Univ.)+, ICLR’23]•••

LLMのコンテキスト内で推論と⾏動決定を融合する⼿法の提案
外部環境（Webページなど）との接続を⾏い，検索，クリック，スクロールなどを含めた⾏動決定を⾏うことも可能
画像情報を含む推論や⾏動決定は，今後の課題

https://openreview.net/pdf?id=WE_vluYUL-X

91

本パートのまとめ• 汎⽤的な⽂書を理解するためには，テキストベースでは限界があり，⽂書「画像」理解のアプローチが有望である• ⽂書画像のレイアウト理解において，⼈間の性能に近いモデルが登場している• 今後の⽅向性– 視覚要素の理解および算術演算の強化– Multilingual化– End-to-End⽂書理解– モデルの⼤規模化

92本講演のまとめ近年の ⾃然⾔語処理 および Vision-and-Language 分野に関して，基礎的な内容・最新動向・今後の展望について紹介しました．
1. モデルは汎⽤志向，タスクも理解／⽣成に⼤別される
2.
3.

4.

5.

セルフアテンションを⽤いる Transformer が主流に

• 系列データに強く，マルチモーダルの統⼀的なモデリングも可能

⾃⼰教師有り学習で⼤規模事前学習することが主流に• BERT︓ファインチューニングにより各タスクに適応• GPT-3︓プロンプトによる少量の例⽰で新タスクに適応

ChatGPTによりAIは「新時代」へ• ⾃然⾔語処理におけるBERT以来のパラダイム・シフト• ⼈の意図や感覚に適合した⾔語モデルへの発展

視覚と結びつけた⾔語理解の⼤きな発展• CLIPやFlamingoの成功は⼤きなマイルストンとなった• ⽂書や画⾯を⼈のように視覚的に読み取ることも可能に
93

参考⽂献
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

Aditya Ramesh et al.: Hierarchical Text-Conditional Image Generation with CLIP Latents. CoRR abs/2204.06125(2022)
Jean-Baptiste Alayrac et al.: Flamingo: a Visual Language Model for Few-Shot Learning. CoRR abs/2204.14198(2022)
Shaoqing Ren, Kaiming He, Ross B. Girshick, Jian Sun: Faster R-CNN: Towards Real-Time Object Detection with
Region Proposal Networks. NIPS 2015: 91-99
Liunian Harold Li et al.: VisualBERT: A Simple and Performant Baseline for Vision and Language. CoRR
abs/1908.03557 (2019)
Pengchuan Zhang et al: VinVL: Revisiting Visual Representations in Vision-Language Models. CVPR 2021: 55795588
Alexey Dosovitskiy et al.: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR 2021
Alec Radford et al.: Learning Transferable Visual Models From Natural Language Supervision. ICML 2021: 87488763
Vladimir Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering. EMNLP (1) 2020: 67696781
Or Patashnik et al.: StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery. ICCV 2021: 2065-2074
Katherine Crowson et al: VQGAN-CLIP: Open Domain Image Generation and Editing with Natural Language
Guidance. CoRR abs/2204.08583 (2022)
Jonathan Ho et al.: Denoising Diffusion Probabilistic Models. NeurIPS 2020
Ho-Hsiang Wu, Prem Seetharaman, Kundan Kumar, Juan Pablo Bello: Wav2CLIP: Learning Robust Audio
Representations from Clip. ICASSP 2022: 4563-4567
Xiuye Gu et al.: Zero-Shot Detection via Vision and Language Knowledge Distillation. ICLR 2022
Yael Vinker et al.: CLIPasso: Semantically-Aware Object Sketching. SIGGRAPH 2022.
Guy Tevet et al: MotionCLIP: Exposing Human Motion Generation to CLIP Space. CoRR abs/2203.08063 (2022)

94

参考⽂献
16. Oscar Michel et al.: Text2Mesh: Text-Driven Neural Stylization for Meshes. CVPR 2022: 13482-13492
17. Fangzhou Hong et al.: AvatarCLIP: zero-shot text-driven generation and animation of 3D avatars. ACM Trans.
Graph. 41(4): 161:1-161:19 (2022)
18. Junnan Li et al.: BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large
Language Models. CoRR abs/2301.12597 (2023)
19. Shaohan Huang et al.: Language Is Not All You Need: Aligning Perception with Language Models. CoRR
abs/2302.14045 (2023)
20. Carlos Soto and Shinjae Yoo: Visual Detection with Context for Document Layout Analysis. EMNLP/IJCNLP 2019
21. Xu Zhong et al.: PubLayNet: Largest Dataset Ever for Document Layout Analysis. ICDAR 201922. Zilong Wang et al.: LayoutReader: Pre-training of Text and Layout for Reading Order Detection. EMNLP 2021
23. Guillaume Jaume et al.: FUNSD: A Dataset for Form Understanding in Noisy Scanned Documents. OST@ICDAR
2019
24. Seunghyun Park et al.: CORD: A Consolidated Receipt Dataset for Post-OCR Parsing, Document Intelligence
Workshop @ NeurIPS 201925. Adam W. Harley et al.: Evaluation of deep convolutional nets for document image classification and retrieval.
ICDAR 2015
26. Minesh Mathew et al.: DocVQA: A Dataset for VQA on Document Images. WACV 2021
27. Ryota Tanaka et al: VisualMRC: Machine Reading Comprehension on Document Images. AAAI 2021
28. Minesh Mathew et al: InfographicVQA. WACV 2022
29. Ryota Tanaka et al.: SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images. AAAI 2023
30. Peter C. Humphreys et al.: A data-driven approach for learning to control computers. ICML 2022: 9466-9482

95

参考⽂献
31. Burns A et al.: A Dataset for Interactive Vision-Language Navigation with Unknown Command Feasibility.
ECCV2022
32. Sun L et al.: Towards Multi-modal Conversational Agents on Mobile GUI. EMNLP2022
33. Lee SW et al..: Can Current Task-oriented Dialogue Models Automate Real-world Scenarios in the Wild?.
arXiv:2212.10504.
34. Xu Y et al.: Layoutlm: Pre-training of text and layout for document image understanding. KDD2022
35. Xu Y et al. Layoutlmv2: Multi-modal pre-training for visually-rich document understanding. ACL2021
36. Huang Y et al.: Layoutlmv3: Pre-training for document ai with unified text and image masking. ACMM
2022
37. Li C et al.: Structurallm: Structural pre-training for form understanding. ACL21
38. Tang Z et al.: Unifying Vision, Text, and Layout for Universal Document Processing. arXiv:2212.02623
39. Peng Q et al. ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document
Understanding. Findings of EMNLP2022
40. ⽥中涼太 et al.︓テキストと視覚的に表現された情報の融合理解に基づくインフォグラフィク質問応答．
NLP2022
41. Kim G et al..: Ocr-free document understanding transformer. ECCV2022
42. Lee K et al.: Toutanova K.: Pix2Struct: Screenshot parsing as pretraining for visual language understanding.
arXiv:2210.03347.
43. Wang J et al..: Lilt: A simple yet effective language-independent layout transformer for structured
document understanding. ACL2022
44. Wang B et al.: Enabling Conversational Interaction with Mobile UI using Large Language Models. CHI2023
45. Yao S et al.: React: Synergizing reasoning and acting in language models. ICLR2023

96