Hol-CCG 構文解析と拡散モデルの統合による構文構造を陽に考慮した画像生成

山木良輔 1

品川政太朗 2 持橋大地 3 谷口忠大 1
1 立命館大学
2 奈良先端科学技術大学院大学 3 統計数理研究所{yamaki.ryosuke, taniguchi}@em.ci.ritsumei.ac.jp
sei.shinagawa@is.naist.jp daichi@ism.ac.jp

概要“A man enters the room with flowers.”
名詞句修飾
動詞句修飾

近年，拡散モデルに基づくテキスト画像生成モデ
ルは高度な画像生成を実現している．しかし，構文的曖昧性を有するテキストに対して，特定の構文的解釈に対応する画像を選択的に生成するという点において課題がある．そこで本研究では，テキストが有する構文構造を分散表現として計算可能な構文解

図 1: 構文的曖昧性を有するテキストに対する画像生成の例．

析モデルである Hol-CCG [1] と，画像生成モデルである Stable Diﬀusion [2] を統合し，特定の構文的解釈的解釈に応じて生成すべき画像が大きく異なる．例に対応する画像を選択的に生成可能なモデルを提案する．

えば，図 1 に示すように，“A man enters the room with1

はじめにﬂowers.” という文は，前置詞句 “with ﬂowers” が動詞句と名詞句のいずれを修飾するのかによって，「花を持った男性が部屋に入る」または「花が存在するテキストの内容に沿った画像を生成するテキスト部屋に男性が入る」という二つの構文的解釈が可能

画像生成において，画像生成モデルはテキストに含である．そして，これらの解釈を画像にする場合，まれる意味的情報だけでなく，構文的情報も合わせ画像中の物体同士 (A man, the room, ﬂowers) は異なるて理解することが求められる．例えば，入力される関係性を有するべきである．

テキストに構文的曖昧性が存在する場合，複数存在する構文的解釈の中から，特定の解釈に対応する画本研究では，テキストが有する構文構造を構文解析手法によって分散表現に変換し，それらを画像を選択的に生成することが必要となる．このよう像生成モデルが使用する言語特徴量とすることで，に，テキストが有する構文的情報に基づいた画像生

特定の構文的解釈に対応する画像を選択的に生成が可能なモデルの実現は，工学的に有用であると成するためのモデルを提案する．具体的には，埋同時に，自然言語の構文構造と実世界情報の関係性め込み空間上で組み合わせ範疇文法 (Combinatoryを計算論的に捉えるという観点からも重要である．
本研究では，構文解析モデルと拡散モデルに基づく

Categorial Grammar; CCG) [4] に基づく構文解析を行

テキスト画像生成モデルを統合することで，構文的Stable Diﬀusion [2] を統合することによって，テキス

曖昧性を有するテキストに対して特定の構文的解釈トが有する構文構造を分散表現に変換し，それらのに対応する画像を選択的に生成可能なモデルを提案

情報を元に特定の構文的解釈に対応する画像を選択する．

的に生成する．

う モ デ ル で あ る Holographic CCG (Hol-CCG) [1] と

近年，拡散モデルに基づくテキスト画像生成モデ

実験では，Hol-CCG が計算するテキストの構文構

ルが高度な画像生成を実現している [3, 2]．ただし，造に関する情報を含んだ分散表現を，画像生成に使構文的曖昧性を有するテキストに関しては，各構文用するモデルと使用しないモデルの比較により，本提案モデルの有効性を示す．

1

先行研究: TIED

20111NP

Span Existence
Discriminator

曖昧性を持つテキストに関する画像生成に

S

S\NP S\NP

Phrase Category
Classiﬁer(S\NP)/ (S\NP)/
S\NP (S\NP) (S\NP) N NP/N

Word Category
Classiﬁer

関 し て，Mehrabi ら は Text-to-ImagE Disambiguation
framework (TIED) [5] を提案している．

Holographic composi�onTIED では曖昧性を有するテキストに対して，曖昧性を解消するための質問を GPT-2 [6] などの言語モデルによって生成し，質問に対するユーザの回答を元のテキストに付与することで，曖昧性が解消さDeep Contextualized Encoderれた新たなテキストを作成する．そして，この曖昧“My sister loves to eat”

性が解消されたテキストを画像生成モデルに入力することによって，特定の解釈に基づく画像の生成を

図 2: Hol-CCG [1] のモデル概要図．入力文はテキス実現しようとしている．

トエンコーダによって単語分散表現へと変換され，

3

準備

3.1

Stable Diﬀusion

近年の拡散モデル [7] の顕著な発展により，写実性の高い画像の生成が実現されている [3, 2]．拡散

それらの分散表現は句構造に従って句の分散表現へと再帰的に合成される．

トに対して，各構文構造 (構文的解釈) に応じた句の分散表現を Hol-CCG によって計算し，これらの分モデルでは，ランダムなノイズに対して段階的にノ散表現を画像生成の際の言語特徴量として用いるこイズを除去する過程を繰り返すことによって，画像とで，特定の構文的解釈に対応する画像を選択的にの生成を実現する．ここで，拡散モデルのノイズを生成するモデルを提案する．

除去する過程において，テキスト情報を付与するこ

提案モデルとでテキストの内容に沿った画像の生成が可能と4なる．

4.1 モデル概要：Hol-CCG と Stable Diﬀusion の統合本研究では，これらのテキスト画像生成モデルの中でも特に Stable Diﬀusion [2] を使用する．Stable

本研究では，Hol-CCG と Stable Diﬀusion を統合すDiﬀusion では，画像の潜在空間上でノイズ除去をることによって，構文的曖昧性を有するテキストに行い，得られた画像特徴量を VAE [8] のデコーダによって画像に復号することで画像の生成を行う．

対して特定の構文的解釈に対応する画像を選択的に3.2

図 3 に示す．

Hol-CCG生成するモデルを提案する．本提案モデルの概要を本モデルでは，まず事前学習済みの CLIP [10] に筆者らは CCG [4] に基づく構文解析モデルとしよってテキスト中の各単語及びテキスト全体に対すて Holographic CCG (Hol-CCG) [1] を提案している．

る分散表現を得る．そして，Hol-CCG によってこれ

図 2 に Hol-CCG のモデル概要を示す．Hol-CCG はらの単語分散表現を構文構造に従って再帰的に合Span-based Parsing [9] に基づく句構造解析アルゴリ

成し，構文構造に関する情報を含む句の分散表現をズムによって，テキストが有する尤もらしい句構造得る．これらの単語・句・テキスト全体の分散表現
は，Stable Diﬀusion に与えられ，特定の構文的解釈を探索する．ここで，Hol-CCG は句構造の探索と同時に，テキストが有する構文構造を明示的に反映に基づいた画像を生成するために使用される．

した句の分散表現を計算することができる．また，
Hol-CCG では分散表現を計算するための演算自身に4.2モデルの学習は学習が必要となるパラメータが存在しないことが提案モデルの学習はテキストエンコーダの学習と特徴であり，大規模かつ複雑なデータセットに対しても適用可能である．

Stable Diﬀusion の学習の 2 段階に大別される．なお，

そこで本研究では，構文的曖昧性を有するテキス

実験時に使用したハイパーパラメータ等に関して
は，付録 A に記す．

phrasefeature

Hol-CCGwordfeature

各構文木及びそれらに対応する画像が格納されている．本データセットに対する前処理の内容に関して

Stablesentence Diffusion
featureCLIP((A man) (enters ((the room) (with flowers))))

図 3: 提案モデルの概要図．入力テキストは CLIP には付録 B に記す．

5.2

モデル比較条件

以下の 2 つの比較条件を設けることで，提案モデルの有効性を検証した．

よって各単語とテキスト全体の分散表現へと変換される．単語分散表現は Hol-CCG によって句の分散表現へと再帰的に合成され，これらの分散表現をStable Diﬀusion に与えることで画像を生成する．

(1) テキストエンコーダの学習の有無

4.2 節で述べた通り，事前学習済み CLIP と HolCCG を結合したテキストエンコーダを学習することで，意味的情報と構文的情報を含んだ分散表現をテキストエンコーダの学習
まず，第１段階目として，テキストを分散表現に計算することが可能となる．ここで，テキストエン変換するテキストエンコーダ部分の学習を行う．前

コーダが構文的情報を捉えることの有効性を検証するために，テキストエンコーダをファインチューニ

述の通り，本モデルのテキストエンコーダは事前学ングするか否かという比較条件を設けた．

習済みの CLIP と Hol-CCG によって構成される．これら 2 つのモデルを結合した状態で以下の誤差関数(L𝑓 𝑖𝑛𝑒−𝑡𝑢𝑛𝑖𝑛𝑔 ) を最小化するように誤差逆伝播法によ(2) 句の分散表現の使用の有無

Stable Diﬀusion は Hol-CCG が計算した句の分散表るファインチューニングを行う．

現を画像生成時の言語特徴量として使用すること

L𝑓 𝑖𝑛𝑒−𝑡𝑢𝑛𝑖𝑛𝑔 = L𝑐𝑜𝑛𝑡𝑟 𝑎𝑠𝑡𝑖𝑣𝑒 + L𝑤𝑜𝑟 𝑑 + L𝑝ℎ𝑟 𝑎𝑠𝑒 + L𝑠 𝑝𝑎𝑛

で，特定の構文的解釈に対応する画像を生成するこ

ここで，L𝑐𝑜𝑛𝑡𝑟 𝑎𝑠𝑡𝑖𝑣𝑒 は CLIP の対照学習に基づくとが可能となる．ここで，Hol-CCG が計算する句の誤差，L𝑤𝑜𝑟 𝑑 , L𝑝ℎ𝑟 𝑎𝑠𝑒 , L𝑠 𝑝𝑎𝑛 は Hol-CCG の学習に使用される CCG のカテゴリ分類に基づく誤差をそれぞれ表す．これらの誤差の詳細については元論分散表現を画像生成時の言語特徴量として使用する

文 [10, 1] を参照されたい．L𝑓 𝑖𝑛𝑒−𝑡𝑢𝑛𝑖𝑛𝑔 を最小化す

5.3

るようにテキストエンコーダのファインチューニングを行うことで，意味的情報と構文的情報の両者を分散表現に含めることが可能となる．
Stable Diﬀusion の学習

次に，Stable Diﬀusion の学習を行う．Stable Diﬀusion がノイズを段階的に除去する際に，ノイズ除去後の潜在変数と元の潜在変数との間の平均二乗誤差を計算し，この誤差を最小化するようにモデルの学習を行う．これにより，Stable Diﬀusion はテキストエンコーダから受け取った分散表現に含まれる構文構造に関する情報を元に，特定の構文的解釈に対応する画像を生成することが可能となる．

ことの有効性を検証するために，句の分散表現を画像生成に使用するか否かという比較条件を設けた．

評価方法

実験結果に関して，VQA による自動評価と人手による評価の 2 種類の評価を行った．
VQA による自動評価

各モデルによって生成された画像が指定された構文的解釈に対応したものになっているかを自動的に評価するために，Mehrabi らが提案した VQA による自動評価手法 [5] を採用した．本評価手法では，生成された各画像が指定された構文的解釈に対応している場合に，その答えが “Yes” となるような質問文を用意する．そして，質問文と生成された画像の組に対して VQA が “Yes” と回答した割合を評価指標として使用する．本評価手法の詳細に関しては，元5実験

論文 [5] を参照されたい．

5.1

データセット

人手評価
人手による評価では，各モデルによって生成されデータセットには LAVA Corpus [11] を使用した．
本データセットには構文的曖昧性を含むテキストとた 20 組の画像とそれぞれに対応する質問文を 19 名

1.0
0.9

0.772

0.8
0.7

Accuracy

Accuracy

1.0
0.9

0.638

0.678

0.671

0.671

0.6

0.929
0.842

0.903

0.821

0.8
0.668

0.7
0.6
0.5

0.5
Baseline Proposed Proposed Proposed(1)(2)(1)+(2)

Baseline Proposed Proposed Proposed(1)(2)(1)+(2)TIED(a) VQA による自動評価の結果．

TIED(b) 人手評価の結果．

図 4: VQA 及び人手による評価の結果．
Baseline

Proposed(1)

Proposed(2)

Proposed(1)+(2)

TIED

図 5: “Danny left the chair with a green bag.” に対する生成画像の例．上段は「Danny が bag を持っている」解釈，下段は「bag が chair に置かれている」解釈にそれぞれ対応する．の実験参加者に提示し，VQA による自動評価と同を同時に適用することがモデルの学習に対して悪影様のプロセスを実行する．すなわち，各実験参加者は提示された画像の内容に基づいて，質問文に対す響を与えている可能性を示唆している．
また，図 5 に実際に生成された画像の例を示す．

る回答を “Yes” か “No” から選択する．そして，実験

これより，提案モデルの内，比較条件 (2) のみを適参加者による質問文への回答が “Yes” となった割合

用したモデルは，各構文的解釈に対応する画像を選を各モデルごとに比較した．

択的に生成できていることが分かる．

6

結果・考察

以上より，特定の構文的解釈に対応する画像を選択的に生成するという本研究の目的に関して，

図 4 に VQA による自動評価及び人手評価の結果

Hol-CCG が計算した句の分散表現を画像生成時の特を示す．なお，グラフ中の値は指定された構文的解徴量として使用することは有効であるといえる．

釈に対して各モデルが生成した画像の Accuracy を表している．まず，VQA による自動評価に関して

7

おわりには，5.2 節で示した比較条件の (1)・(2) をいずれも適本研究では，構文解析モデルである Hol-CCG と用しなかった Baseline モデルが最低の性能となってStable Diﬀusion を統合することで，構文的曖昧性をおり，提案モデルの方が高い性能を発揮している．

持つテキストに関して，特定の構文的解釈に対応す

また，比較条件 (1)・(2) の一方もしくは両者を適用したモデル間での性能差はほとんど見られない．

る画像を選択的に生成するためのテキスト画像生成モデルを提案した．実験より，Hol-CCG がテキスト人手による評価に関しては，(2) の比較条件のみに対して計算する句の分散表現を画像生成に使用すを適用した場合に最も性能が高くなっており，TIEDることの有効性を示す結果が得られた．今後の展望を上回る性能を発揮している．ただし，比較条件としては，より大規模なデータセットを使用した提(1)・(2) を両方とも適用したモデルの性能が他のモ案モデルの有効性の検証や，構文的曖昧性の種類ごデルに比べて著しく低くなっており，これらの条件とでのより詳細な結果の分析などが挙げられる．

謝辞
本研究は JSPS 科研費 JP23H04835 の助成を受けたものです．

参考文献[1] Ryosuke Yamaki, Tadahiro Taniguchi, and Daichi Mochihashi. Holographic CCG parsing. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Associationfor Computational Linguistics (Volume 1: Long Papers), pp. 262–276, Toronto, Canada, July 2023. Associ-ation for Computational Linguistics.
[2] Robin Rombach, Andreas Blattmann, Dominik Lorenz,Patrick Esser, and Björn Ommer. High-resolution imagesynthesis with latent diﬀusion models. In Proceedingsof the IEEE/CVF conference on computer vision andpattern recognition, pp. 10684–10695, 2022.

[3] Chitwan Saharia, William Chan, Saurabh Saxena, LalaLi, Jay Whang, Emily L Denton, Kamyar Ghasemipour,Raphael Gontijo Lopes, Burcu Karagol Ayan, Tim Salimans, et al. Photorealistic text-to-image diﬀusion models
with deep language understanding. Advances in Neural
Information Processing Systems, Vol. 35, pp. 36479–36494, 2022.
[4] Mark Steedman. The syntactic process. MIT press,
2001.
[5] Ninareh Mehrabi, Palash Goyal, Apurv Verma, Jwala
Dhamala, Varun Kumar, Qian Hu, Kai-Wei Chang,Richard Zemel, Aram Galstyan, and Rahul Gupta. Resolving ambiguities in text-to-image generative models. In
Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki,
editors, Proceedings of the 61st Annual Meeting ofthe Association for Computational Linguistics (Volume 1: Long Papers), pp. 14367–14388, Toronto,

[6]

[7]

[8]
[9]Canada, July 2023. Association for Computational Linguistics.
Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,Dario Amodei, Ilya Sutskever, et al. Language models areunsupervised multitask learners. OpenAI blog, Vol. 1,No. 8, p. 9, 2019.
Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. Advances in neural information processing systems, Vol. 33, pp. 6840–6851,
2020.
Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.
Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal
span-based neural constituency parser. In Regina Barzilay
and Min-Yen Kan, editors, Proceedings of the 55th Annual Meeting of the Association for Computational
Linguistics (Volume 1: Long Papers), pp. 818–827,Vancouver, Canada, July 2017. Association for Computational Linguistics.
[10] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry,
Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learn-ing transferable visual models from natural language supervision. In International conference on machine learning, pp. 8748–8763. PMLR, 2021.
[11] Yevgeni Berzak, Andrei Barbu, Daniel Harari, Boris Katz,and Shimon Ullman. Do you see what I mean? visualresolution of linguistic ambiguities. In Lluı́s Màrquez,Chris Callison-Burch, and Jian Su, editors, Proceedings of the 2015 Conference on Empirical Methods in
Natural Language Processing, pp. 1477–1487, Lisbon,

Portugal, September 2015. Association for ComputationalLinguistics.
[12] Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In 7th International Conference on
Learning Representations, ICLR 2019, New Orleans,LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[13] Josh Achiam, Steven Adler, Sandhini Agarwal, Lama
Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo
Almeida, Janko Altenschmidt, Sam Altman, Shyamal
Anadkat, et al. Gpt-4 technical report. arXiv preprint
arXiv:2303.08774, 2023.

表 1: テキストエンコーダの学習時に使用したハイパーパラメータ．
Hyperparameters
Pretreined CLIP
Optimizer
Max Training Epochs
Batch Size
Learning RateValues
openai/clip-vit-large-patch14
Adam [12]
1004
1e-5

表 2: Stable Diﬀusion の学習時に使用したハイパーパ
ラメータ．
Hyperparameters
Pretreined Stable Diﬀusion
Optimizer
Max Training Steps
Batch Size
Learning Rate
Denoising Steps

Values
CompVis/stable-diﬀusion-v1-4
Adam [12]
50000
11e-5
100

モデルの学習に関するハイパー
パラメータ

A

提案モデルの学習時に使用した事前学習済みモデ
ル及びハイパーパラメータを表 1, 2 にそれぞれ示す．なお，実験には NVIDIA A100 GPU [80GB] を 1台使用した．

B

データセットの前処理
本研究における実験では LAVA Corpus [11] に対して以下の 2 つの前処理を適用し，データセット全体を 9:1 の割合で学習用と評価用のサブセットに分割して使用した．
1. 構文木の変換：LAVA Corpus では構文的曖昧性を有するテキストの各構文的解釈に対してPCFG による構文木のアノテーションが付与されている．これらの PCFG によるアノテーションを CCG によるものに変換する．
2. 評 価 用 質 問 文 の 作 成：VQA に よ る 自 動 評 価
で使用するための質問文を各テキストの各構文的解釈に関して作成する．例えば，“Dannyapproached the chair with a yellow bag” というテキストに対して「Danny が bag を持っている」という解釈をする場合，“Is the man carrying ayellow bag?” という質問文を作成し，同じテキストに対して「bag が chair に置かれている」という解釈をする場合，“Is the chair accompaniedby a yellow bag?” という質問文を作成する．なお，これらの質問文の作成には GPT-4 [13] を使用した．