CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

第 26 回 画像の認識・理解シンポジウム

CLIP におけるテキストの構文情報理解による画像識別能力の向上
李 相明1,a)

品川 政太朗1,b)

中村 哲1,c)

概要
テキストからの画像生成モデルがよりユーザの意図に沿った画像生成を行えることを目指して，テキストの特徴抽出やリランキングに利用される CLIP に構文情報の理解を促すことで CLIP の画像識別性能が向上するかを検証す
る．実験では，CLIP のテキスト入力を構文情報とすることで，テキストが同じでも構文構造が異なる画像を CLIPが識別できるように学習できることを示し，構文情報がCLIP の識別にどのように寄与するかを分析により明らかにする．

1. はじめにテキスト入力から画像を生成するモデルに求められる重要な能力は，テキスト入力を行うユーザの意図に沿った画像を生成できることである．しかし，この入力テキストは

図 1

構文情報の入力による曖昧性の解消

自然言語の自由記述形式であり，人間のユーザに多様に表現が許されるため，しばしば人間にも理解が難しい曖昧な本研究では，テキストの代わりに構文解析後の構文木テキスト—ユーザの意図する画像の候補として異なる複数（構文情報の付与されたテキスト）を入力とすることで，の画像が考えられるテキスト—が入力されることがある．

ユーザの意図に沿って生成すべき画像を区別して生成で本研究は，このような曖昧なテキスト入力に対して，画像きる可能性を検討する．具体的には，テキストの特徴抽出生成モデルからユーザに，より意図に合わせた画像をユー器としてよく用いられている Contrastive Language Imageザに提示できるような方法論を確立することを目指して

Pre-training (CLIP) [1] のテキスト入力を構文木入力に変いる．

更した場合に，テキストが同じで構文木の異なる 2 枚の画曖昧性には様々な種類があるが，本研究はその中でも構像をより高精度に識別できることを実験により示す．CLIP造的曖昧性に注目する．構造的曖昧性とは，あるテキストは代表的なテキストからの画像生成モデルである Stableが複数の構文解析結果を持ち，一つに定められないこと

Diﬀusion [2] のテキストエンコーダに用いられており，こを意味する曖昧性である．たとえば，“Danny approachesのテキストエンコーダに構文木の利用することで CLIP の

the chair with a bag” というテキストは「ダニーがカバン識別能力の向上が確認できれば，テキストからの画像生成を持っている」場合と「カバンが椅子の上にある」場合のの性能を改善したり，生成後の画像を選別することに役立

2 種類の解釈が可能である．これらの差は，図 1 のようにつと期待される．ただし，構文木を入力とした画像生成モ

テキストを構文木で表現することで区別することが可能に

デルの構築と評価，および生成後の画像の選別は本研究でなる．

は行っておらず，今後の課題とする．

1a)
b)
c)

奈良先端科学技術大学院大学
lee.sangmyeong.lo3@is.naist.jp
sei.shinagawa@is.naist.jp
s-nakamura@is.naist.jp

2. 関連研究2.1 テキストからの画像生成と CLIP
テキストからの画像生成モデルには，テキストに含まれ1

第 26 回 画像の認識・理解シンポジウム

る情報を十分に反映してテキストに沿った画像を生成する

構文情報によって CLIP のテキストエンコーダがより良いことが望まれる．したがって，テキストの特徴量抽出を行特徴抽出器となるか，つまり，同一のテキストで表現されうエンコーダの性能も重要である．テキストからの画像生る 2 枚の画像を識別できるかを検証する．

成モデルの一つである Stable Diﬀusion [2] は，近年のテキストからの画像生成研究において標準的に用いられるモデルである．Stable Diﬀusion Model のテキストのエンコー

3. 方法
3.1 タスク設定

ダには CLIP [1] が用いられており，対応する画像とテキ本研究のタスクは，構造的曖昧性を持つ同一のテキストストの埋め込みを対照学習により類似させる手法である．

で表現される異なる画像を，構文情報を付与した木構造でしかし，CLIP を用いたモデルはテキストの構造（品詞やある構文木の入力で識別することを目的とする．通常の修飾関係など）を生成画像に反映することが難しいというCLIP では M 組の画像とテキストをそれぞれ CLIP の画像報告がある [8]．この原因の一つとして考えられる可能性

エンコーダ，テキストエンコーダに入力して特徴抽出し，には，CLIP が雑多な画像とテキストにより訓練を行ってM 個の画像と M 個のテキストの間で対応する組を正例といることが考えられる．本研究では，CLIP にテキストをして対照学習を行う．これに対して，本研究ではテキスト直接入力するのではなく，構文情報に変換して入力する枠の代わりに構文木を入力として対照学習を行う．ただし学組みを提案し，より詳細に画像を弁別できるエンコーダが習時及び評価時では，同一のテキストかつ異なる構文木を作成できるかを検証する．

持つ 2 枚の画像を CLIP が識別できるか評価するため，この条件を満たす 2 組のサンプルは必ず同一のミニバッチ内

2.2 テキストからの画像生成におけるテキストの構造的曖昧性解消にて学習と評価を行う．つまり，ミニバッチサイズは 2 の倍数となる．

テキストからの画像生成において，テキストの構造的曖昧性に注目した研究は少ない．Mehrabi らの研究 [3] では，3.2 構文木の表現

曖昧なテキスト入力に対して，システムが曖昧性を解決す構文木は構造を持つため，構文木を特徴抽出する方法がるための質問を生成して曖昧性を解消する．ユーザが質問必要である．本研究では，CLIP の学習済みテキストエンに回答したあと，その回答を元のテキストに結合し，これコーダをそのまま構文木入力に適応できれば既存の学習済を再度画像生成モデルに入力して，よりユーザの意図にみ CLIP を効率的に利用できると考え，構文木を線形化して沿った画像を生成する．しかし，この手法ではテキストのテキスト列として扱うアプローチを採用する．構文木を線曖昧性を検知する機能が備わっておらず，曖昧性の判断基形化するには，入力テキストを単語に分割し，Constituency

準も質問生成モデルに依存する．一方，本研究ではテキス

Parsing を適用することで行う．Constituency Parsing はトの構造的曖昧性のみに焦点を絞り，テキストを構文情報単語への品詞付与だけでなく，括弧を使いトークン間の連結に変換することで，テキストの構造的曖昧性は複数の構文関係を示すことができる．図 2 の例は “Danny approached木の候補という形で表現できる．これにより，曖昧性解消

the green chair with a yellow bag.” という同一の文を持は，その構文木による生成画像のリランキングや構文木かち，異なる画像（左）と構文木（右）を持つ 2 組の事例をらの画像生成を行ってユーザに提示し，どの構文木がユー示している．ただし，構文木は見やすさのため，適宜改行ザの解釈に沿っているか選択してもらうことで行うことがを挟んで表示している．Constituency Parsing による構文期待できる．

木はテキストのみでは表現できない構造的曖昧性による意味の差を表現することができる．

2.3 構文情報と画像の統合
画像と構文情報を結び付ける研究はこれまでにも存在す
る．Shi ら [4] は画像とテキストを入力とし，画像に対応す

3.3 CLIP
提案手法は CLIP を，既存のテキストのみ入力パラダイる正しい構文情報を出力する手法を提案している．Christie

ムに比べてテキストの構文木を入力として ﬁne-tuning をら [5] は構造的に曖昧なテキストと画像を入力とし，「画像行う．学習の全体像は既存のベースラインの CLIP と同じのセグメンテーション」と「テキストの構文情報」を出力

く，M 個の画像ーテキストペアを各々の画像とテキストのし，尤も類似度の高い組を紐づけることで文の曖昧性の解エンコーダに入力し，正例と負例に分けておいて正例同士消を図っている．これらの先行研究は画像と構文情報を結で埋め込みが類似するように進める（図 3）．

び付けることの有効性を示しているといえる．本研究ではCLIP は画像とテキストの埋め込みベクトル間の類似度

構文情報をテキストからの画像生成における構造的曖昧性を Cosine 類似度を用いて計算する．Cosine 類似度はベク解消に効果的に利用することを目指し，テキストからの画トルの内積を，各ベクトルの大きさで分けることで計算像生成に標準的に用いられる CLIP に構文情報を導入し，されるが，CLIP はそのベクトルの大きさを学習可能なス2

第 26 回 画像の認識・理解シンポジウムを正しく予測できるかを評価する．
テキストのみの入力に対する構文情報入力の妥当性の検証には Huggingface の CLIP-ViT-B/32*1 を利用した．また，バッチサイズを 2 から 4 に増やした場合に性能が向上するかについても比較を行う．バッチサイズを 4 に増やす
ことは，同じテキストの 2 組だけではなく異なるテキスト間の 2 組も一緒に対照学習に加える点で異なる学習効果が期待される．
実験 2：構文情報の影響の分析
図 2“Danny approached the green chair with a yellow bag.”によって表現される，異なる構文木と画像の組

本実験は Transformer-MM-Explainability [7] を用いて，画像の識別における構文情報の各トークンの寄与度を分析する．この手法は，Layer-wise relevance propagation をベースとして入力の寄与度を算出する手法であり，入力となる画像とテキストによる複数のモダリティ画像やテキストだけの Self-Attention に加えてモダリティ間の Co-Attention を考慮し，各トークンの寄与度を評価することができる．分析にはテストセットのサイズ 2 のミニバッチを入力し，画像側と構文情報側で識別に寄与する部分の可視化を通して分析を行う．

5. 結果
実験 1 におけるベースライン手法と提案手法および派生
図 3

構文木を入力として用いる CLIP モデルの学習手法の性能を表 1 に示す．Encoder はモデルの構成，batchsize 4 はバッチサイズが 4 であるか，syntax は構文情報をケーリング値で置き換える．M 個のペアが入力されると入力としているかを表す．

類似度は画像とテキストを各々行と列とする M ×M の行列になり，学習損失は類似度と，正例と負例を示すラベルとの交差エントロピーで得られる．つまり，本研究では，CLIP の入力を構文木とする以外は CLIP と同様の方法でモデル

batch size 4syntax

正解率

HF CLIP--50.00HF CLIP-!

76.24

HF CLIP!
!
83.66
表 1 ベースライン及び提案手法（派生）の性能評価学習する．

4. 実験

Huggingface の CLIP (HF CLIP) を採用した，バッチサ

実験 1：構文木入力はテキスト入力よりも CLIP の画像識

イズ 2 とテキストのみの入力を受けるベースラインと，同別性能を向上させるかじ設定で構文情報を入力とした手法のを比べた結果，構文テキストを入力する CLIP をベースラインとして，構文情報入力の提案手法がベースラインを上回ることが確認さ

木を入力として学習した CLIP との比較を行い，構文木入れた．そして，バッチサイズ 4 の場合はバッチサイズ 2 の力による CLIP の画像識別性能を検証する．データセット

結果を上回る正解率を得られた．には Language and Vision Ambiguities（LAVA） [6] を用

構文情報入力である提案手法は，構造的曖昧性を持つテいる．このデータセットはテキストの構造的曖昧性解消にキストが表す画像を識別することにおいてテキスト入力で利用できるデータセットで，図 2 に示したように，あるテあるベースラインを上回る結果となった．このことから，キストに対して（テキスト，構文木 A，画像 A）（テキス

CLIP は構文情報を入力することで，テキストのままでは識ト，構文木 B，画像 B）の 2 組の事例が与えられている．

別が難しい画像に対する識別性能が向上するといえる．ま訓練時はこの 2 組でミニバッチサイズ 2 のミニバッチを構た，CLIP の学習済みテキストエンコーダは構文情報に適成して対照学習による ﬁne-tuning を行う．ミニバッチを応することが可能であり，構文情報で単純に ﬁne-tuning を4 とする場合は，異なる 2 つのテキストによる 4 組のミニ行っても大きな問題がないことが示唆された．また，バッバッチにより学習を行う．評価時はミニバッチサイズを 2チサイズを増やすことによりテキスト間でも対照学習を行として構文木 A（構文木 B）から対応する画像 A（画像 B）*1

openai/clip-vit-base-patch323

第 26 回 画像の認識・理解シンポジウム

図 4

画像の識別に寄与する画像領域の可視化

図 5

失敗した識別の可視化（上：成功例，下：失敗例）

えるようにして負例を増やすことは学習の安定化に寄与し，バッチサイズ 2 に比べて向上された結果を出せたといえる．
実験 2 では実験 1 での識別に寄与する要因について分bag” という，形容詞（yellow）が囲う範囲により生じる曖析を行った．図 4 と図 5 は分析の一例で，それぞれ画像側昧性を表す文を共有する識別の成功例と失敗例で，上が（左図）と構文情報側（右図）の寄与度を表している．モデ「椅子とカバンの両方が黄色である」という解釈を持つ成ルは batch size 2 の HF CLIP モデルを利用した．

功例で，下が「椅子だけが黄色いである」という解釈を持上下 2 組の事例に対応するテキストは “Andrei left theつ失敗例になる．成功例を見ると，椅子とカバンが黄色い

green chair with a green bag” で共通している．このテキという情報が画像領域とテキスト領域の両方に正しく注目

ストの解釈には「緑のカバンを持つアンドレーが緑の椅子がされているのがわかる．しかし失敗例の場合は，カバンから離れている」（図 4 上），「アンドレーが緑のカバンがが黄色いではないという核心情報が画像領域には現れていある緑の椅子から離れている」（図 4 下）の二種類の解釈

るが，テキスト領域では注目の割り当てが失敗している．

が考えられ，図 4 の上下の事例はそれぞれの解釈に対応しこれは，モデルが画像に現れている「緑のカバン」が構文ている．そして図 4 に示されているように，CLIP の画像情報と類似していないと判断し，バッグ自体に注目を当て

Encoder は画像の中でカバンの位置に一番注目することがず識別に失敗したと思われる．この例の構文情報は図 4 の分かる．これは CLIP の対照学習の特性上，二つの画像の場合と同じく，“(np (np” が両方の構文木の違いで，一側差異であるカバンの位置に注目が当てられたといえる．

が “))))” のトークンを持っているが，今回はどっちも識別

図 4 の右側は，構文情報トークンの寄与度を示す．本分に寄与しないことが分かった．全体のデータが物体に色が析に望むときの仮説は，画像側と同じく二つの構文情報間必須的につくのが過半数で，過学習のせいで色の指定のなの差異に注目が当てられることだった（図 4 の中の赤い四い物体についた学習が足りなかったと示唆される．

角形）．しかし，実際の結果は仮説と異なり，二つの注目すべき結果が得られた．一つ目は，構文情報で高い寄与度を

6. まとめ示す部分は，入力テキストに対して構造的曖昧性が生じて本研究は，CLIP の入力文の構造的曖昧性による画像識いる名詞であることである（この場合は Bag）
．曖昧性の対別の難しさを，テキスト入力の代わりに構文情報を入力と象であることは画像側と一緒であるものの，両方の構文情して使う手法を提案し，テキストのみでは識別が難しい画報に共通する要素で，差異ではない．CLIP が対照学習で像を識別できる可能性を示した．CLIP は最新の画像生成あり，対応する画像とテキスト間を類似させることを目指

モデルをはじめとした多くの Vision and Language タスク

すため，画像側で顕著に注目される曖昧性の対象にテキスのテキストエンコーダとして利用されていることから，本ト側も注意が向くように学習されるのだと思われる．二つ研究での知見が識別を超えて画像生成の発展に寄与するこ

目は，構文情報両方の差異に注目が当てられるものの，そとが期待される．ただし，寄与度の分析では，画像の識別の対象は仮説として期待した通りではないことである．本に寄与する情報は構文構造自体よりも異なる構文構造によ

実験で二つ目の画像–テキストペアを識別することに “))))”

り出現する異なるトークンが寄与している可能性が示唆さのトークンが多く現れた．この理由としては，今回での予れた．今後，構文構造の処理形式の工夫を検討する必要が測した寄与要素である “(np (np” は，(赤い四角形) トークある．

ナイザーに通させると “(np” と “(np” に分けられ，差異が無くなるが，“))))” のトークンは二つ目の文のみで現れるトークンであるためモデルの過学習を導いたと思われる．
図 5 は “Andrei and Danny moved the yellow chair and7. 謝辞
本研究は JSPS 科研費 JP21K17806 の助成を受けたものである．

4

第 26 回 画像の認識・理解シンポジウム

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

A. Radford et al., Learning Transferable Visual Models
From Natural Language Supervision, International Conference on Machine Learning (ICLR), February 2021.
R. Rombach et al., High-Resolution Image Synthesis withLatent Diﬀusion Models, 2022 IEEE/CVF Conference
on Computer Vision and Pattern Recognition (CVPR),
10674-10685, 2021.
N. Mehrabi et al., Is the Elephant Flying? Resolving Ambiguities in Text-to-Image Generative Models,
ArXiv:abs/2211.12503, 2022.
F. Shi et al., Visually Grounded Neural Syntax Acquisition, Annual Meeting of the Association for Computational Linguistics (ACL), 2019.
G. A. Christie et al., Resolving Language and Vision
Ambiguities Together: Joint Segmentation & Prepositional Attachment Resolution in Captioned Scenes,
ArXiv:abs/1604.02125, 2016.
Y. Berzak et al., Do You See What I Mean? Visual Resolution of Linguistic Ambiguities, International Conferenceon Empirical Methods in Natural Language Processing(EMNLP), 2015.
H. Chefer et al., Generic Attention-model Explainability
for Interpreting Bi-Modal and Encoder-Decoder Transformers, 2021 IEEE/CVF International Conference on
Computer Vision (ICCV), 387-396, 2021.
A. Ramesh et al., Hierarchical Text-Conditional Image
Generation with CLIP Latents, ArXiv:abs/2204.06125,
2022.

5