構文解析と画像生成の統合による機能語の言語理解
山木良輔 1 谷口忠大 1 持橋大地 2
1 立命館大学 2 統計数理研究所{yamaki.ryosuke,taniguchi}@em.ci.ritsumei.ac.jp daichi@ism.ac.jp“A ball in a box”

“A ball next to a box”

ミュニケーションが期待される人工知能は，このような機能語に関してもその意味を理解可能であることが望ましい [5]．例えば，“Place a ball next to a box.”のような指示をロボットに与えたときに，ゴール状

図 1: Stable Diﬀusion が生成した画像の例.

概要
近年の大規模言語モデルと拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している一方で，前置詞などの機能語に関しては，それらの意味を正しく捉えられていないことが指摘されている [1]．本研究ではこの問題に対して，CCG に基づく構文解析モデルとテキスト画像生成モデルを統合することで，テキスト中の物体同士の関係性を明示的に捉えた画像生成を可能にし，機能語のような文法的関係を正しく捉える言語理解を実現する.

1

はじめに自然言語における機能語と実世界情報の対応関係を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である．本研究では，構文態として図 1 の右側の画像をロボットが想起してしまうと，適切な行動を期待することはできない．
そ こ で，本 研 究 で は こ の よ う な 機 能 語 の 言 語
理 解 を 実 現 す る た め の 方 法 と し て，自 然 言 語 の統語的情報をテキスト画像生成モデルに取り入れ る 手 法 を 提 案 す る．具 体 的 に は，組 み 合 わ せ
範疇文法 (Combinatory Categorial Grammar: CCG) [6]に 基 づ く 構 文 解 析 モ デ ル で あ る Holographic CCG(Hol-CCG) [7] をテキスト画像生成モデルにおけるテキストエンコーダとして採用し，Hol-CCG が出力する統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する．これにより，機能語が示す文中の物体同士の関係性を画像情報と対応付けることが可能となり，結果的に機能語の言語理解が可能になると考える．
実験より，テキストから得られる句の分散表現・解析とテキスト画像生成モデルを統合し，機能語が統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験持つ言語情報を画像情報として表出させることで，では機能語が示す物体同士の位置関係に主眼を置い実世界情報と紐づいた機能語の言語理解の実現を目ているため，生成画像の写実性は本研究の論点から指す．

外れていることに注意されたい．

近年の大規模言語モデルと拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している [2, 3, 4]．一方で言語理解の観点からは，“in” や“on” などの文法的機能に関しては，その意味を正しく捉えられていないことが指摘されている [1]．例
えば，図 1 に示すように，Stable Diﬀusion [4] は “ball”
や “box” といった内容語に関しては，これらの物体が出現する画像を生成している一方で，“in” や “nextto” といった異なる前置詞 (機能語) に関しては，どちらも “in” の意味に対応する画像を生成しており，これらの意味を捉えられていない．
実世界上において，自然言語を用いた人間とのコ

2

関連研究

2.1

Hol-CCG

本研究では，テキスト画像生成モデルにおけるテキストエンコーダとして筆者らが以前に提案したCCG に基づく構文解析モデルである, Hol-CCG [7]を使用する．Hol-CCG は潜在空間上での単語及び句の分散表現同士の再帰的合成によって，それらの間に存在する階層関係及び依存関係を明示的に考慮した分散表現を計算することが可能であり，機能語が表現する内容語同士の関係性を画像生成に反映すAttentional Multimodal Similarity Model (DAMSM) モ

S

NP

ジュールにおいて，テキストと画像間での対応関係

S\NPを評価することで，入力テキストに対して意味的にN“sister”
NP/N

“My”

合致するような画像を生成する．

“eat”(S\NP)/(S\NP)

3

提案手法

“loves” “to”

3.1

手法概要：Hol-CCG と AttnGAN の統合: holographic composition

本研究では，AttnGAN のテキストエンコーダとし

図 2: Hol-CCG のモデル概要図．
るという本研究の目的に適した特性を有している．て Hol-CCG を用いることで，テキスト画像生成に統語的情報を取り入れる手法を提案する．提案手法

Hol-CCG はテキスト画像生成モデルに与えられた入の概略を図 3 に示す．

力文の構文構造を解析し，それに応じた単語・句・文の分散表現を出力する．そして，これらの分散表

よって，単語・句・文の統語的・意味的な情報を含現を画像生成の際の言語特徴量として用いる．

む分散表現を出力する．そして，AttnGAN はこれら

まず，Hol-CCG が入力文を構文解析することに

Hol-CCG のモデル概要を図 2 に示す． Hol-CCGの分散表現を言語特徴量として画像を生成する．よで は，ま ず 入 力 文 を RoBERTa [8] な ど の Masked

り具体的には, GAN の隠れ層の状態を更新する際Language Model に通すことで，文中の各単語の分散に単語及び句の分散表現との間での Attention の計表現を得る．そして，得られた単語分散表現を巡回算を行う．ここで，単語の分散表現のみではなく，相関 [9] によって再帰的に合成することによって，句の分散表現も取り入れていることが本手法の重要句および文の分散表現を計算する．巡回相関の演算箇所であり，これによって，複数の単語間に存在すは次式で定義される．

る階層的な依存関係の情報を画像生成過程に取り[c] 𝑘 = [a ★ b] 𝑘 =𝑑−1∑

𝑎 𝑖 𝑏 (𝑘+𝑖) mod 𝑑(1)𝑖=0

ここで，★ は巡回相関の演算子，a, b は合成前の分散表現，c は合成後の分散表現である．例えば，図 2中の例の場合，最終的な文の分散表現 v0:5 は次のような再帰的な演算によって計算される．
v0:5 = (v0:1 ★ v1:2 ) ★ (v2:3 ★ (v3:4 ★ v4:5 ))込む．さらに，元々の AttnGAN と同様に，最終的に生成された画像は DAMSM モジュールにおいてテキストとの意味的な対応関係が評価される．この評価過程においても，単語・文の分散表現に加えて句の分散表現が言語特徴量として用いられる．

3.2

モデルの学習(2)

本提案手法では，AttnGAN の生成器・識別器の学

また，分散表現を合成する過程において，Span-習に先立って，テキスト及び画像エンコーダの事

based Parsing [10] に基づく句構造解析アルゴリズム

前学習を行う．この事前学習の方法は基本的にはによって，入力文が持つ尤もらしい句構造を探索す

AttnGAN を踏襲しており，統語的情報及び句の分散る．これによって，入力文が持つ構文的曖昧性を解表現を取り込めるように拡張を行った．まず，元々消しつつ，文を構成する単語・句・文の意味的・統の AttnGAN における DAMSM モジュールの学習に関する損失関数 L𝐷 𝐴𝑀𝑆 𝑀 を句の表現が取り込める語的な情報を含んだ分散表現を構成することができる. Hol-CCG では分散表現を再帰的に合成する演算
自身には学習が必要となるパラメータが存在しないことが特徴であり，本モデルは大規模かつ複雑なデータセットに対しても適用可能である．

2.2

AttnGAN

本研究では，テキスト画像生成モデルとして Attentional GAN (AttnGAN) [11] を使用する．AttnGAN
は Attention 機構によって入力文中の各単語の情報を画像生成に取り込むモデルである．また，Deepものに拡張した方法について説明する．

L𝐷 𝐴𝑀𝑆 𝑀 = L𝑤𝑜𝑟 𝑑 + L𝑝ℎ𝑟 𝑎𝑠𝑒 + L𝑠𝑒𝑛𝑡𝑒𝑛𝑐𝑒(3)上式における L𝑝ℎ𝑟 𝑎𝑠𝑒 は句の分散表現を DAMSM モジュールに取り込むために，筆者らが新たに導入した項である．ここで，L𝐷 𝐴𝑀𝑆 𝑀 を構成する各項はそれぞれ，単語・句・文の分散表現と画像の特徴量を用いて，テキストと画像間での対応関係を評価するためのものである．例えば，𝑀 個の画像情報とテキ𝑀 に関して，Lスト情報のペア {(𝑄 𝑖 , 𝐷 𝑖 )}𝑖=1
𝑤𝑜𝑟 𝑑 は次word/phrasefeatures

Hol-CCGA cat is standing next to a laptop

図 3: 提案手法概略図 (AttnGAN の元論文 [11] 中のモデル概略図におけるテキストエンコーダ部分を Hol-CCGによる構文解析に置換)．の通りに定義される．
𝑀∑L𝑤𝑜𝑟 𝑑 = − {log 𝑃(𝑄 𝑖 |𝐷 𝑖 ) + log 𝑃(𝐷 𝑖 |𝑄 𝑖 )}る．詳細に関しては AttnGAN の元論文 [11] を参照
されたい．
(4)𝑖=1

なお，𝑃(𝑄 𝑖 |𝐷 𝑖 ), 𝑃(𝐷 𝑖 |𝑄 𝑖 ) を計算する過程に関しては 本 稿 で は 割 愛 す る が，詳 細 は AttnGAN の 元 論
文 [11] を参照されたい．また，L𝑝ℎ𝑟 𝑎𝑠𝑒 , L𝑠𝑒𝑛𝑡𝑒𝑛𝑐𝑒 の4

実験

4.1

データセット

本研究では，2 つの性質の異なるデータセットを用いて実験を行った．

計算過程は L𝑤𝑜𝑟 𝑑 と同様である．

テキスト画像生成分野で一般的に用いら次に，統語的情報を取り入れるために行った拡張に関して説明する．AttnGAN が画像生成に用いる単れている Common Objects in Context (COCO [12]) を語・句・文の特徴量に統語的情報を取り入れるにあ客観的な評価・比較のために用いた．

たり，本提案手法では CCG カテゴリの情報を利用する．CCG カテゴリは構文解析の結果として文中本研究では、AttnGAN を画像生成モデルとして採用したが、COCO (日常生活のあらゆるの単語や句に対して割り当てられるものであり，多場面の画像を含む) の画像を高品質に生成するこくの統語的情報を含んでいる．そのため，テキストとが難しいことから、機能語の言語理解に関するエンコーダの事前学習において，テキストエンコー主観的な評価を行うには不適切であると考えた．

ダが出力する単語・句・文の分散表現から，それら

そ の た め、本 研 究 で は Compositional Language andに対応する CCG カテゴリが正しく予測されるよう

Elementary Visual Reasoning (CLEVR [13]) データセッ

COCO

CLEVRな損失関数を定義することで，分散表現中に統語的トを用い、3 個以下の物体を含む画像についてアノ情報が取り込まれるようにする．具体的には，次のテーション情報から自動的にキャプションを生成ような L𝑠𝑦𝑛𝑡 𝑎𝑥 を定義する．

し，実験に使用した．

L𝑠𝑦𝑛𝑡 𝑎𝑥 = L𝑤𝑜𝑟 𝑑−𝑠𝑦𝑛 + L𝑝ℎ𝑟 𝑎𝑠𝑒−𝑠𝑦𝑛 + L𝑠 𝑝𝑎𝑛−𝑠𝑦𝑛 (5)4.2

ベースライン手法

ここで，L𝑤𝑜𝑟 𝑑−𝑠𝑦𝑛 , L𝑝ℎ𝑟 𝑎𝑠𝑒−𝑠𝑦𝑛 はそれぞれ単語・句に対する CCG カテゴリの割り当て誤差，L𝑠 𝑝𝑎𝑛−𝑠𝑦𝑛

ベ ー ス ラ イ ン １ AttnGAN の テ キ ス ト エ ン
コ ー ダ に RoBERTa [8] を 用 い た モ デ ル を，提 案

は特定の区間に含まれる単語列が句を構成するか否かの判別誤差である．詳細に関しては Hol-CCG [7]手法において統語的情報が付与されることののモデル学習方法を参照されたい．

い る．こ の モ デ ル で は テ キ ス ト 入 力 に 対 し て

上記の L𝐷 𝐴𝑀𝑆 𝑀 と L𝑠𝑦𝑛𝑡 𝑎𝑥 の合計をエンコーダの事前学習の損失関数 L𝑝𝑟 𝑒𝑡𝑟 𝑎𝑖𝑛 とする．

L𝑝𝑟 𝑒𝑡𝑟 𝑎𝑖𝑛 = L𝐷 𝐴𝑀𝑆 𝑀 + L𝑠𝑦𝑛𝑡 𝑎𝑥

有効性を検証するための比較対象として用RoBERTa が出力する [CLS] トークンと各サブワー
ド の 分 散 表 現 を 言 語 特 徴 量 と し て AttnGAN に(6)

また，エンコーダの学習完了後に行われる GANの生成器と識別器の敵対的学習に関しては元々のAttnGAN と同一であるため，本稿では説明を割愛す

与 え 画 像 を 生 成 す る．事 前 学 習 の 損 失 関 数 は

L𝐷 𝐴𝑀𝑆 𝑀 = L𝑤𝑜𝑟 𝑑 + L𝑠𝑒𝑛𝑡𝑒𝑛𝑐𝑒 , L𝑝𝑟 𝑒𝑡𝑟 𝑎𝑖𝑛 = L𝐷 𝐴𝑀𝑆 𝑀となる．

実画像

表 1: COCO データセットにおける客観評価の結果.
手法
AttnGAN [11]AttnGAN + VICTR [14]ベースライン 1
ベースライン 2
提案手法

ベースライン２

FID↓
35.49
29.26
60.76
39.55
31.29

R-prec↑85.4786.39
87.07
93.59
93.12

提案手法において句の分散表現を画像生成に用いないモデルを 2 つ目のベースライン手法とする．このモデルとの比較によって，提案手法において句の分散表現を画像生成に取り入れることの有効性を検証する．事前学習の損失関数は

L𝐷 𝐴𝑀𝑆 𝑀 = L𝑤𝑜𝑟 𝑑 + L𝑠𝑒𝑛𝑡𝑒𝑛𝑐𝑒 , L𝑠𝑦𝑛𝑡 𝑎𝑥 = L𝑤𝑜𝑟 𝑑−𝑠𝑦𝑛となる．

4.3

評価方法

客観評価

Fréchet Inception Distance (FID1）) と R-precision (R-prec2）) を評価指標として用いた．
主観評価

ベースライン 1 ベースライン 2

提案手法

図 4: CLEVR に お け る 生 成 画 像 例 (入 力 テ キ ス
ト：“large yellow sphere is to the left front of small blue
cylinder, and large yellow sphere is to the left behind ofsmall green sphere”). 提 案 手 法 が “yellow sphere” と“blue cylinder” の位置関係 (“to the left front of”) を最も正確に反映している．
主観評価

各手法によって生成された画像が実験参加者によって選択された割合はそれぞれ，ベースライン 1: 39.1%，ベースライン 2: 18.1%，提案手法:42.8%となった．実験参加者に提示した画像の一例を図 4 に示す．図の例の様に，提案手法がベースライン手法に比べて，入力テキストが説明する物体同16 名の実験参加者に各手法によって士の位置関係をより正確に捉えた画像を生成してい生成された 20 組の画像を提示し，各実験参加者はテキストが示す物体同士の位置関係との合致度が最る例が複数見られた．一方で，ベースライン 1 と提案手法の画像が選択された割合が僅差であることも高い画像を選択する．そして各手法によって生成を踏まえると，大域的には手法間の差は小さいと考された画像が選択された割合を比較した．

えられ，提案手法の有効性は十分には示されていな

5

結果・考察
客観評価

客観評価の結果・比較を表 1 に示す．

なお，VICTR [14] は AttnGAN のテキストエンコー
ダ部分にシーングラフから抽出された物体同士の位置関係の情報を明示的に取り入れている点から，本研究との関連があるため比較手法として取り上げた．結果より，提案手法は FID においてベースライン手法に比べて高い性能を発揮している．ただし，いと考える．そのため，入力するテキストの複雑度や GAN の学習におけるハイパーパラメータの設定などにさらなる改良が必要であると考えている．な
お，ベースライン 2 の画像が選択された割合は他の2 つの手法に比べて著しく低く，この手法においては GAN の学習に失敗している可能性があることには注意されたい．

6

おわりに

ベースライン手法 1 は他の 2 つのモデルに比べて著本研究では構文解析とテキスト画像生成モデルをしく高い FID を示しているため，GAN の学習の不統合することによって自然言語における機能語の言安定性のために学習に失敗している可能性があることには注意されたい．また，既存手法との FID にお語理解を実現するための手法を提案した．入力テキ

ける比較に関しては，提案手法は AttnGAN の性能味的情報を含んだ単語や句の分散表現を画像生成にを上回り，VICTR に競合する性能を発揮している．

活用することで，機能語が示す物体同士の関係性をなお，提案手法では GAN の学習段階におけるハイ画像情報と対応付けた画像の生成に取り組んだ．実

パーパラメータの設定を改善することで，さらなる験より，提案手法の有効性を示唆する客観的な結果性能向上が見込まれる．以上より，提案手法においが得られた．て句の分散表現及び統語的情報をテキスト画像生成に取り込むことの有効性が示唆される．
1） 実画像と生成画像の特徴量空間上での分布の距離を測る指標であり，値が小さいほど生成画像が高品質とみなす．
2） 画像特徴量とテキスト特徴量の類似度を評価する指標であり，値が 100 に近いほど生成画像が入力テキストの条件に合致しているとみなす．

ストに対して構文解析モデルが出力する統語的・意

今 後 の 展 望 と し て は，画 像 生 成 部 分 を Stable
Diﬀusion [4] などの拡散モデルベースのものに置換し，より高品質な画像の生成を可能にすることや，物体同士の位置関係に関する表現以外の前置詞・機能語に関して，より詳細な実験・評価を行うことなどが挙げられる．

謝辞
本研究は，JST，ムーンショット型研究開発事業，JPMJMS2033 の支援を受けたものです．

参考文献[1] Colin Conwell and Tomer Ullman. Testing relational
understanding in text-guided image generation. arXiv
preprint arXiv:2208.00005, 2022.
[2] Chitwan Saharia, William Chan, Saurabh Saxena, LalaLi, Jay Whang, Emily Denton, Seyed Kamyar Seyed
Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi,Rapha Gontijo Lopes, et al. Photorealistic text-to-image
diﬀusion models with deep language understanding. arXiv
preprint arXiv:2205.11487, 2022.
[3] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey
Chu, and Mark Chen. Hierarchical text-conditional
image generation with clip latents. arXiv preprint
arXiv:2204.06125, 2022.
[4] Robin Rombach, Andreas Blattmann, Dominik Lorenz,Patrick Esser, and Björn Ommer. High-resolution image
synthesis with latent diﬀusion models. In Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 10684–10695, 2022.
[5] Amir Aly, Tadahiro Taniguchi, and Daichi Mochihashi. Abayesian approach to phrase understanding through crosssituational learning. In International Workshop on Visually Grounded Interaction and Language (ViGIL), in Conjunction with the 32nd Conference on Neural Information
Processing Systems (NeurIPS), 2018., 2018.
[6] Mark Steedman. The Syntactic Process, Vol. 24. MITpress Cambridge, MA, 2000.
[7] 山木良輔, 谷口忠大, 持橋大地. Holographic Embeddings による CCG 構文解析. 言語処理学会第 28 回年次大会 (NLP2022), 2022. 若手奨励賞受賞.
[8] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, MandarJoshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly
Optimized BERT Pretraining Approach. arXiv preprint
arXiv:1907.11692, 2019.
[9] Tony A Plate. Holographic reduced representations. IEEE
Transactions on Neural networks, Vol. 6, No. 3, pp. 623–641, 1995.
[10] Mitchell Stern, Jacob Andreas, and Dan Klein. A minimal span-based neural constituency parser. arXiv preprint
arXiv:1705.03919, 2017.
[11] Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang,
Zhe Gan, Xiaolei Huang, and Xiaodong He. Attngan:
Fine-grained text to image generation with attentional generative adversarial networks. In Proceedings of the IEEE
conference on computer vision and pattern recognition,
pp. 1316–1324, 2018.
[12] Tsung-Yi Lin, Michael Maire, Serge Belongie, JamesHays, Pietro Perona, Deva Ramanan, Piotr Dollár, andC Lawrence Zitnick. Microsoft coco: Common objects incontext. In European conference on computer vision, pp.
740–755. Springer, 2014.

[13] Justin Johnson, Bharath Hariharan, Laurens Van
Der Maaten, Li Fei-Fei, C Lawrence Zitnick, and Ross
Girshick. Clevr: A diagnostic dataset for compositional
language and elementary visual reasoning. In Proceedingsof the IEEE conference on computer vision and patternrecognition, pp. 2901–2910, 2017.
[14] Caren Han, Siqu Long, Siwen Luo, Kunze Wang, andJosiah Poon. Victr: Visual information captured text representation for text-to-vision multimodal tasks. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 3107–3117, 2020.