大規模言語モデル時代の Vision and Language 研究におけるコミュニケーションの課題
品川政太朗 *
奈良先端科学技術大学院大学

LLM以前のコミュニケーション

エージェント

入力（画像、テキスト）

1 Vision and Language (V&L) 研究

出力（画像、テキスト）

V&L特化
モデルと今日までの発展
LLM以後のコミュニケーション

エージェント入力

Vision and Language (V&L) とは，視覚情報と言語

入力
LLM

出力

情報をいかに紐づけて問題解決を行えるかを問う研究分野である．たとえば，画像について機械のエージェント

入力に質問をして回答させる Visual Question Answering

出力

出力

V&L特化
モデル

マルチモーダルLLM

や，画像の説明文を生成する画像説明文生成，入力した
図 1 V&L エージェントの内部機構の変化

テキストに沿った画像を生成・編集するといったテキス
トによる画像生成・画像編集 ，入力テキストで指定された画像中の物体を特定する参照表現理解，入力テキストで視覚を持つエージェントに目的地を指定して，その通りに移動させる Vision and Language Navigation などがある．

V&L が研究される背景には，目に見えている情報を機械に把握できるようにさせたいという視覚情報理解と入力

出力

タスク例

画像

テキスト

画像説明文生成

テキスト

テキスト

画像付き質問応答，対話

テキスト

画像

テキストからの画像生成

画像 + テキスト

画像

テキストによる画像編集

表 1 V&L エージェントの入出力と典型的なタスク例

しての動機と，人間が日常的に利用している情報伝達手段である自然言語を機械に扱えるようにさせたいという発展により，大規模なデータセットで大規模なモデルを自然言語理解としての動機がある．ここで「理解」とは，学習することが可能になるにつれ，V&L でも様々なタス

もっぱら最初に挙げたような課題を，具体的な問題設定

クを一つのモデルで解くことが主流になってきている．

（以後タスクと呼ぶ）として定義してどの程度解くこと

この流れは，昨今話題になっている ChatGPT に象徴さができるかで評価される．

れる大規模言語モデル（Large Language Model; LLM）

V&L のタスクを解くためには，画像とテキストから研究とも共通する流れであり，GPT-4 のように，大規模それぞれ情報を抽出しつつ，それらを組み合わせて推論言語モデルに視覚が接続されることで様々な V&L タスすることが求められる．歴史的には記号接地問題と関わクに有効であることが明らかになってきた．

りが深く，多様な画像・テキストの対応関係の設計が人

このような大規模言語モデルの時代においては，人と手では困難であることから，技術的には深層学習が採用コミュニケーションを行う機械のエージェントが持つされている．2020 年頃までは，V&L の課題はタスクご内部機構の形態にも大きな変革をもたらしている．本稿とに独立に専用のデータセットを収集してタスクを解く

では，特に画像生成・画像編集を自然言語で対話的に行機械学習モデル（以後モデルと呼ぶ）を構築するといううという課題を通して，大規模言語モデル時代の V&L限定的な条件下での研究が主流であった．しかし，自然エージェントの内部機構がそれ以前の時代からどのよう言語処理における Transformer 製のモデルと計算機のに変化しており，大規模言語モデル時代において可能となったことと，何が新たな問題となってきているかにつ* sei.shinagawa@is.naist.jp

図 2 BingAI による画像生成結果：入力は著者による

図 3 BingAI による画像生成結果：入力は著者による「ジンギスカンの画像を生成してください」「料理の意味でのジンギスカンの画像を生成してください」

いて紹介する．
用している BingAI の Image Creator*1 のテキストから

2 LLM 登場以前の V&L 研究
まず，V&L タスクに共通する基本的な問題設定を説明するため，LLM 登場以前のエージェントの内部機構を図 1 の上図に示す．多くの V&L タスクでは，コミュニケーションの主体は人間の利用者一人とエージェント一体の二者間のコミュニケーションであると想定されの画像生成機能により，日本人の利用者がジンギスカンの画像を生成することを想定して以下の二つの文からの画像生成を考える．

(1)

ジンギスカンの画像を生成してください(2)

料理の意味でのジンギスカンの画像を生成してください

る．利用者は，画像やテキストを入力としてエージェン

まず，利用者が素直に考え得るのはおそらく (1) の文でトに送信し，エージェントはその入力に応じて画像やテあろう．しかし，生成結果は図 2 のように鎧を纏った壮キストを出力として利用者に送信する．この相互の送受健な男性の画像ばかりが出力される．この結果から，利信によってコミュニケーションを行う．エージェントの用者はこの画像生成モデルは「ジンギスカン」という文

内部モデルには目的の V&L タスクに特化して学習した字列を，その名前の由来と言われている人物，チンギス・モデル（V&L 特化モデル）を用意し，利用者には表 1 にハン（Genghis Khan）だと解釈して生成している*2 のだ

ように，モデルが行えるタスクに合わせて入力を行う．と気づくだろう．この結果を踏まえて，利用者が次に考たとえば，テキストから画像生成をしたければ，DALL-え得るのは (2) の文だろう．人名ではなく料理の画像がE Ramesh et al. (2022) や Stable Diﬀusion Rombach

欲しいのだと強調するわけである．これによる生成結果

et al. (2022) といった特化モデルを準備し，利用者はテは図 3 となった．最初の画像群よりは目的とする「ジンキストのみを入力することが許される．

ギスカンの画像」に近づいたと思われるが，モンゴルのこのコミュニケーション形態の問題点は，人間の利用者側がどのような入力を行うとどのような出力が得

民族衣装風の人物が生成されていたり，ありえそうだが余分な情報が勝手に追加される現象が確認できる．

られるかについて熟達している必要があり，熟達する

上記の問題は，モデルが大規模なデータセットで学習まで人間の利用者に試行錯誤を強いるという点である．

する上で世界的に大多数の常識（「ジンギスカン」と聞DALL-E や Stable Diﬀusion などの昨今の画像生成モいて料理を想像するのは日本人のみ）を学習する傾向に

デルは高精細な画像生成を行うことが可能になったが，これらのモデルでさえ，そのままでは上記の問題点を解決することは難しい．たとえば，内部で DALL-E を使*1 https://www.bing.com/create*2 この事例の原因については，おそらく「ジンギスカン」を内部で「Genghis Khan」と英訳してから画像生成している可能性が高い．

et al. 2023) である．この方式の利点は四つある．一つ目は，V&L エージェントに適したプロンプトを利用者が考えなくて良い点，二つ目は，追加の学習なしで動作させることができる点，三つ目は，V&L 特化モデルだ
けでなく，実行コマンドに沿って動作する任意のアプリケーションを道具として利用できる点 (Wu et al. 2023)，
四つ目は，LLM のプロンプトを工夫することで，どのような順で何の道具を使って処理を行うか，行動計画を立てられる点 (You et al. 2023) である．
図 4 対話による画像編集

先ほどの BingAI の例で GPT-4 を仲介者とする例を挙げる．まず最初に「ジンギスカンを知っていますか」あるという点だけでなく，そもそも入力テキストが情報と GPT-4 に入力し，GPT-4 にジンギスカンについて説不足（例：「ジンギスカンの画像」だけでは具体性に欠け明させることで，生成したい画像の情報について一通りる）である点が挙げられる．しかし，十分な情報を入力生成させる．続いて，目的に合わせて取捨選択を促し，させるのは利用者にとっては労力がかかるため望ましく必要十分に情報が揃ったと利用者が判断した時点でプロない．

ンプト（LLM や V&L モデルに入力される指示文）をこのような問題に対して，著者はテキストによる画像作成させる．最後にそのプロンプトを先ほどと同様に編集を提案 (Shinagawa et al. 2017, 2018) し，それをさBingAI に入力する．その結果，図 5 のような生成結果らに対話の問題に拡張することで解決を図ろうとしてきを得ることができる．これは我々の考えるジンギスカンた (Shinagawa et al. 2020)（図 4）．この対話による画像のイメージに近い画像と言えるのではないだろうか．こ

編集エージェントは，画像編集モデルの内部機構を用いのように，LLM を仲介者とすることで，利用者のテキスて，画像編集がうまくいくかどうかの確信度を計算し，ト入力の負担を減らすことが可能になる．ただし，LLM確信度が低い場合は聞き返すという対話を行うことがでは利用者の指示に対して対話を行うか，どの道具を選択きる．画像生成の問題を編集とする利点は，生成画像のして何の実行コマンドを与えるべきかを正しく判断し実履歴を保持することで，望みの画像に近づけるために単行できる必要があるため，道具の数が増えたり，タスク純な編集操作を段階的に適用することが可能となる点でが複雑になるに従い LLM のプロンプト設計が複雑かつある．対話の問題とする理由は，画像編集においても，長大化して難しくなる問題がある．

モデルが苦手にしている操作入力や情報の不足（例：「黄もう一つは，LLM に画像の特徴抽出器を結合して視覚色にして」という編集指示文は画像中の全体か，ある物情報を取り込めるようにする方式である (OpenAI 2023;

体を指定しているかを述べていない）が原理的に起こり

Li et al. 2023; Zhu et al. 2023)．この方式のモデルはマ得るため，エージェントが必要に応じて自主的に利用者

ルチモーダル LLM と呼ばれる．GPT-4 (OpenAI 2023)に確認をとるなど，利用者の意図を確かめて情報不足をはモデルの全容が不明であるが，同じ方式であると言わ埋める機能が必要だからである．

れている．画像化された特許の図表や物理試験の問題を取り込むと中身を理解しているような出力を行うとい3 LLM とマルチモーダル LLM の影
響と新しい問題点
LLM 登場以後の V&L では，LLM をエージェントの内部機構に導入するにあたって主に二種類の方式が採用されている*3 （図 1 の下図）．一つは LLM が利用者とV&L 特化モデルの仲介者として働き，利用者の代わりに特化モデルへの入力を行う方式 (Wu et al. 2023; You*3 両方の方式を兼ね備える場合も考えられる．

う報告や，世界地図を模したように並べられた鶏のから揚げに「Sometimes I just look at pictures of the earth

from space and I marvel at how beautiful it all is」とテキストが記されている画像を見て，鶏のから揚げが宇宙から見た地球だと見立てているユーモアがあることを説明することができるという報告がある．GPT-4 に近いことを再現しようとする研究も盛んに進んでいる．たとえば，公開されている LLM に画像特徴抽出器を接続し，接続部分のみを学習データで微調整する方法が行われている (Li et al. 2023; Zhu et al. 2023)．画像特徴抽た．LLM 以前では人間の利用者が試行錯誤を繰り返して V&L エージェントが受け入れ可能な入力を行うことを強制されていたが，LLM が仲介者となることで，長大なプロンプトを入力する必要性が無くなるなど，利用者側の労力は軽減される可能性が高いと見込まれる．さらに，視覚情報の特徴抽出器を加えることでより性能の向上が可能である．
現状の LLM による V&L エージェントは汎用的に多くのタスクに適用して良い性能を達成しているが，その出力には偏りがあるため，最終的には大小さまざまなコミュニティの文化的背景や嗜好などに合わせて適応したエージェントとなることが望ましい．それは現状のアプ
図 5 BingAI による画像生成結果：入力は GPT-4 作

ローチの延長でどの程度達成可能なのか，データの品質成のプロンプトによる「ラウンド形状の鉄製のジンギをどう定義し，それはどの程度の量で必要なのか，まだスカン鍋の中には，新鮮な羊肉のスライスが豪快に焼不明な点も多く，調査していく必要がある．

かれています．肉は鍋の中心に集中して配置され，周囲には色とりどりの野菜が並んでいます．キャベツ，もやし，ニラなどが明るく色づき，炙り出された香ばしい香りが広がります．鍋の下には炭火が輝き，焼かれる食材を照らしています．手前には冷えたビールのグラスが置かれ，背景には楽しそうに話す人々のぼんやりとした姿が見えます．」

出器を接続する方式の利点は，画像の特徴抽出を LLMに合わせて調整できるため，単純に各種の性能が向上する点と，テキストからの画像生成を画像編集にする利点と同様で，LLM が行った操作後の画像をフィードバックとして取り込めるため，操作によって想定外の画像が得られた場合でも対応できる可能性がある点である．ただし，対話を伴うより複雑なタスクに拡張するという点
では，複雑なタスクを行える対話データをどのように収集できるかという課題がある．現状は LLM でテキストのみの対話データを擬似的に生成して学習に用いる方法 (Liu et al. 2023) が有望とみられているが，LLM のテ
キスト生成には内容の偏りや，指定した出力形式を人間よりも無視する傾向がある点 (Wu et al. 2023) が指摘されており，どのように高品質の対話データを集めるかという点が新しい問題意識として挙がっている．

4

おわりに：今後の V&L エージェン
トの展望
ここまで，既存の V&L エージェントがどのような流れで発展し，どのような課題を抱えているかを紹介し

参考文献
Li, J., D. Li, S. Savarese, & S. Hoi. 2023. BLIP-2: Bootstrapping
Language-Image Pre-training with Frozen Image Encoders andLarge Language Models. arXiv.
Liu, H., C. Li, Q. Wu, & Y. J. Lee. 2023. Visual Instruction Tuning.
arXiv.
OpenAI. 2023. GPT-4 Technical Report. arXiv.
Ramesh, A., P. Dhariwal, A. Nichol, C. Chu, & M. Chen. 2022. Hierarchical Text-Conditional Image Generation with CLIP Latents.
arXiv.
Rombach, R., A. Blattmann, D. Lorenz, P. Esser, & B. Ommer. 2022.
High-Resolution Image Synthesis With Latent Diﬀusion Models. In CVPR. 10684–10695.
Shinagawa, S., K. Yoshino, S. Sakti, Y. Suzuki, & S. Nakamura.
2017. Interactive Image Manipulation with Natural Language
Instruction Commands. NIPS2017 ViGIL workshop.
Shinagawa, S., K. Yoshino, S. Sakti, Y. Suzuki, & S. Nakamura. 2018.
Interactive Avatar Image Manipulation with Unconstrained
Natural Language Instruction using Source Image Masking.
MIRU.
Shinagawa, S., K. Yoshino, S. H. Alavi, K. Georgila, D. Traum,S. Sakti, & S. Nakamura. 2020. An Interactive Image Editing System Using an Uncertainty-Based Conﬁrmation Strategy. IEEE
Access 8: 98471–98480.
Wu, C., S. Yin, W. Qi, X. Wang, Z. Tang, & N. Duan. 2023. Visual
ChatGPT: Talking, Drawing and Editing with Visual Foundation
Models. arXiv.
Wu, T., H. Zhu, M. Albayrak et al. 2023. LLMs as Workers in
Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs. arXiv.
You, H., R. Sun, Z. Wang, L. Chen, G. Wang, H. A. Ayyubi, K.-W.
Chang, & S.-F. Chang. 2023. IdealGPT: Iteratively Decomposing
Vision and Language Reasoning via Large Language Models.
arXiv.
Zhu, D., J. Chen, X. Shen, X. Li, & M. Elhoseiny. 2023. MiniGPT4: Enhancing Vision-Language Understanding with AdvancedLarge Language Models. arXiv.