言語処理学会 第30回年次大会 発表論文集（2024年3月）

日本語 Winoground データセットの自動構築
清水博文 河原大輔
早稲田大学理工学術院
bowen1205@toki.waseda.jp dkw@waseda.jp

概要
人間レベルの推論ができるマルチモーダルモデルの開発・評価のために、多くのマルチモーダルデータセットが構築されている。本研究では、その中でも視覚・言語の高度な理解を必要とする Winogroundデ ー タ セ ッ ト の 自 動 構 築 手 法 を 提 案 し、日 本 語
Winoground データセットを構築する。このデータセットにより日本語の視覚・言語モデルの評価が可能になったが、自動構築による生成データセットの質に関してはさらなる改良が必要である。

1

はじめに人間レベルの推論を行う情報処理モデルの研究が注目を浴びている中、視覚・言語の高度な理解が可能なマルチモーダルモデルの研究が進展している。
視覚・言語モデルを評価するタスクの一つである
Visual Reasoning は画像内の物体認識を行ったうえで、複雑な推論が必要となるタスクである。Visual
Reasoning タスクに分類される Winoground [1] は、2枚の画像と 2 つのキャプションを結びつけるタスクとなっている。2 つのキャプションで使用される単語は同じだが、並び替えることにより意味が異なっている。そのため、Winoground データセットは視覚・言語の理解能力が必要な高難易度タスクであり、多くのモデルが苦戦している。Winoground はマルチモーダルタスクとして価値のあるデータセットであるが、完全に人手によって構築されているためデータ数が少ないことが問題点としてあげられる。
本研究では、大規模言語モデルと画像生成モデルを利用した Winoground データセットの自動構築手法を提案する。実験では日本語の Winoground データセットを構築し評価を行う。その結果、日本語の視覚・言語モデルも Winoground を解くのが困難であることを確認した。しかし、自動構築したデータセットはオリジナルの Winoground に比べ、低品質なデータが多く存在していることが判明し、デー(a) スケートボードに乗る人 (b) スケートボードに乗る犬を追う犬を追う人

図 1: 日本語 Winoground の例

タセット自動構築における問題点や大規模言語モデルの弱点が浮き彫りになった。構築した日本語
Winoground データセットは公開予定である。

2

関連研究

2.1

Winoground

視覚と言語の理解を必要とするデータセットは多く存在する。画像に適したテキストを検索するタス
クの Image-Text Retrieval、画像に関する質問文に回答するタスクの Visual Question Answering、画像に関する説明文を生成する Image Captioning などである。
Image-Text Retrieval タ ス ク の 一 つ で あ る
Winoground デ ー タ セ ッ ト は、2 枚 の 画 像 と 2 つのキャプションをそれぞれ結びつけるタスクとなっており、400 セットから構成される。2 つのキャプションは英語で記述され、同じ単語が使われているが、単語の順番が入れ替えられており意味が異なっている。また、キャプション内の単語の入れ替え方によって Object・Relation・Both の 3 種類のタグがつけられている。Winoground を用いたモデルの評価指標として Image Score, Text Score, Group Scoreの三種類が提案されている。様々な視覚・言語モデルを評価したところ、人間の正答率は 90%前後であるのに対し、モデルの正答率は最高でも 40%に満たなかったことが報告されている。そのためWinoground は、マルチモーダルモデルの画像・言語― 1523 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2: 日本語 Winoground 構築のフローチャート

理解能力が要求される高難易度のデータセットとされている。

2.2

構築手法

3

本研究ではオリジナルの英語 Winoground データ

Few-shot 学習セットを日本語に翻訳するとともに、新規のデー

GPT-4 [2] のような大規模言語モデルが発展し、自タを GPT-4 および DALL-E 3 により自動生成する。

然言語生成の精度が向上している。大規模言語モデWinoground の条件に適したキャプションを大規模ルを利用し特定のタスクを学習する手法として、推言語モデル GPT-4 の Few-shot 学習を主に用いて生論時にタスクの説明文と少量の例を与えることで特定のタスクに適応する Few-shot 学習が提案され成し、2 枚の画像は画像生成モデル DALL-E 3 を用いて生成する。適切なキャプションを直接生成するている。ファインチューニングによる手法は大量のことは難しいため、テンプレート作成と穴埋めによデータを用いて追加訓練を行い、モデルのパラメーる拡張の二段階で構築する。テンプレート作成ではタを微調整するため、データセット収集や学習におデータセットのキャプションパターンの増強を目的いてコストがかかる。Few-shot 学習は、必要とされとし、穴埋めによる拡張ではデータセットの数を増るデータ量が少なく簡単に実装でき過学習を起こさやす目的で行う。基本的には英語でキャプションのない利点がある。

生成を行い、最後に日本語化する。

2.3画像生成モデル

3.1

テンプレート作成

画 像 生 成 モ デ ル の 主 な 手 法 と し て GAN [3] や自動構築における一段階目はキャプションパター

VAE [4] が使われていたが、拡散モデル [5] を用いたンの増強を目的としており、バリエーション生成、手法の研究が進展している。拡散モデルとは、デーフィルタリング、テンプレート生成・拡張の 3 ス

タにノイズを付与されていく過程を学習することにテップで行う。

より、ノイズデータからノイズ除去を行い画像生成する手法である。Stable Diﬀusion [6] や DALL-E 2 [7]3.1.1で使用されており、テキストに沿った高解像度の画バリエーション生成
Winoground の条件に沿ったキャプションのペア像の生成が可能である。また、DALL-E 3 [8] は GPT

を GPT-4 の 3-shot で生成する。タグごとに生成を行によって拡張されたプロンプトを学習することで、い、shot で使用する例はオリジナルの Winoground にDALL-E 2 よりも高い精度の画像生成を可能としておいて同じタグが付与されているキャプションからいる。

ランダムに選択する。予備実験にて 3-shot、5-shot、― 1524 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1: バリエーション生成用プロンプト

role

表 3: 語句の穴埋め用プロンプト

contentrole content

system You are a generative AI.
usersystem You are a generative AI.
user This is a ﬁll-in-the-blank question. {question}
Answer two noun phrases that could ﬁll eachother’s [blank]. Answer 10 sets of nounphrases. Generated Answers:

Generate one caption pair that have diﬀerent
meanings and are realistic and feasible. Thetwo captions are using the same words. Noexplanation is needed. {fewshot} Generated
caption pair:

表 4: 拡張後フィルタリング用プロンプト

role content
表 2: 生成後フィルタリング用プロンプト

rolesystem You are able to understand the meaning of English sentences.

content

user caption: {caption2} Is this caption realistic andfeasible?

system You are an expert in English grammar.
user

caption: {caption2} Is this given sentencegrammatically correct? Just answer in 1 word,
yes or no.

system You are able to understand the meaning of English sentences.
user

system You are a photographer.
user caption: {caption2} Is it possible to take aphoto as per the caption?
system You are an illustrator.

caption1: {caption1} caption2: {caption2} Do
the two captions have diﬀerent meaning? Just
answer in 1 word, yes or no.

user caption: {caption2} Is it possible to illustrate
as per the caption?

3.2

穴埋めによる拡張

10-shot を比べたところ、3-shot が生成単語の偏りが自動構築における二段階目の穴埋めによる拡張少なかったため採用する。付録 A.1 に shot 数ごとのは、データセットの量を増やすことを目的としてお生成文の例を示す。生成におけるプロンプトを表 1

り、語句の穴埋め、フィルタリングの 2 ステップでに示す。

行う。

3.1.2

フィルタリング

語句の穴埋め

3.2.1

GPT-4 の Winoground 生成の傾向として、一文目作成したテンプレートから GPT-4 を用いてデーは意味の通るキャプションであっても、二文目は単タ拡張を行う。拡張におけるプロンプトを表 3 に示語が入れ替わっただけの意味が通らないキャプショす。一つのテンプレートあたり 10 セットの語句ペンになっていることが多い。そのため、GPT-4 を用アを出力するように設定する。

いて二文目が自然で意味が通る文かの確認を二回行い、さらに生成した二つのキャプションが異なる意味であるかの確認を行う。フィルタリングにおけるプロンプトを表 2 に示す。この手順により、入れフィルタリング

3.2.2

3.1.2 節と同様に、自然なキャプションであるかの替えても同じ意味になるキャプションペア（例えばフィルタリングを行う。ここでは GPT-4 に簡易的なペルソナを与えることにより、画像として描写でき「彼は犬と猫を飼っている」「彼は猫と犬を飼っているかどうかのフィルタリングも同時に行う。付与する」のようなペア）が生成されないようにする。

るペルソナは「英語話者」「写真家」「イラストレータ」の三つとする。それぞれのプロンプトを表 4 に3.1.3

テンプレートの生成・拡張示す。

フィルタリングによって自然な文と判断されたキャプションペアにおいて、入れ替えられた単語の3.3日本語翻訳部分を穴埋め部分としてテンプレートを生成する。

これまでのステップで得られた、画像として描さらに、GPT-4 を用いて、穴ではない部分の単語を写可能で自然なキャプションについて、GPT-4 を用別の単語に置き換えることにより、テンプレートをいて日本語に機械翻訳する。ここで、オリジナル拡張する。の Winoground のキャプションの日本語翻訳も行う。

― 1525 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 5: 翻訳版および生成版 Winoground を用いたモデルの評価

翻訳版

生成版

翻訳版+生成版

モデル

言語

Text Image Group

Text Image Group

Text Image Group

人間

日本語

80.42

87.30

78.31

43.59

46.67

29.74

61.72

66.67

53.65

-25.00

25.00

16.67

25.00

25.00

16.67

25.00

25.00

16.67

rinna/japanese-clip-vit-b-16

日本語

22.22

4.76

2.12

21.54

6.15

2.05

21.88

5.47

2.08

rinna/japanese-cloob-vit-b-16

日本語

23.81

7.94

5.82

21.54

6.15

3.59

22.66

7.03

4.69

openai/clip-vit-base-patch32

英語

25.40

7.41

5.82

27.69

11.28

7.69

26.56

9.38

6.77

Salesforce/blip-itm-base-coco

英語

36.51

13.76

10.58

32.31

12.82

8.21

34.38

13.28

12.68

ランダム選択翻訳したキャプションが Winoground の条件に適しさらに、Yahoo!クラウドソーシングを用いて、人間ているか、さらにキャプションの意味が通じるかにによる評価も行った。

ついて GPT-4 で確認する。

評 価 指 標 は Winoground で 提 案 さ れ て い る Text
Score, Image Score, Group Score の三種類を用いる。

3.4

画像生成

これらの詳細は付録 A.3 に示す。

3.2 節で生成した英語のキャプションに基づいて画像を DALL-E 3 で生成する。3.2.2 節で行った画像

4.3

実験結果

描写可能性のチェックに基づいて、プロンプトに画結果を表 5 に示す。英語モデルにおいては Text像のスタイル（イラストまたは実写）を追加する。

Score がランダム選択を超えたが、Image Score およ生成した画像が日本語キャプションと合致していび Group Score は大きく下回った。一方、日本語モるかを Yahoo!クラウドソーシングで確認する。画デルではどの指標もランダム選択を超えることがで像とキャプションの合致度を 3, 2, 1, 0 の 4 段階のきない結果となった。人手評価においては、翻訳版中から選択するタスクを 5 人に実施し、平均スコにおける精度は 80%前後あるのに対し、拡張版におアが 2.0 を超えるデータを採用することで、日本語いては 50%に満たない精度となった。

Winoground データセットが完成する。

4実験

4.1

データセット4.4

考察

人手評価の結果から、生成版の Winoground は翻訳版よりも低品質なデータが多く存在していることがわかる。データセットを分析すると、二つのキャ

日本語 Winoground は 384 セットからなる。そのプションの意味がほぼ同じになってしまっているもう ち オ リ ジ ナ ル Winoground の 翻 訳 が 189 セ ッ トのが多く見つかった。付録 A.4 の (c,d) に生成され(「翻訳版」と呼ぶ)、3 節の手法で生成したものがた低品質データの例を示す。3.1.2 節のフィルタリ

195 セット (「生成版」と呼ぶ) である。キャプショ

ングで同じ意味の文ペアの除外ができていないこと

ンは英語と日本語が含まれているが、オリジナルにに原因があるため、GPT-4 は細かな意味理解が苦手あるタグ付けは実施していない。

であることが示唆される。

4.2

実験設定

おわりに

5

日本語 Winoground を用いて、日本語と英語の視本研究では、日本語の Winoground データセット

覚・言語モデルの評価を行う。日本語モデルは CLIPを大規模言語モデルと画像生成モデルを用いて構築モデルの rinna/japanese-clip-vit-b-16 と CLOOB モデし、日本語と英語の視覚・言語モデルを評価した。

ルの rinna/japanese-cloob-vit-b-16 [9] を使用し、英語モデルは CLIP モデルの openai/clip-vit-base-patch32 [10]モデルの評価には使用できるものの、構築したデータセットには低品質なデータが多く含まれていること BLIP モデルの Salesforce/blip-itm-base-coco [11] をとが判明した。高品質なデータを大量に生成するた使用する。モデルは画像・キャプションペアのスコめには、自動構築の手順や言語生成におけるプロンアを計算し、スコアを比較することで評価を行う。

プトの改良が必要である。

― 1526 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した。

参考文献[1] Tristan Thrush, Ryan Jiang, Max Bartolo, Amanpreet
Singh, Adina Williams, Douwe Kiela, and Candace Ross.
Winoground: Probing vision and language models forvisio-linguistic compositionality. In CVPR, 2022.
[2] OpenAI.
Gpt-4 technical report.
ArXiv, Vol.
abs/2303.08774, , 2023.
[3] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, BingXu, David Warde-Farley, Sherjil Ozair, Aaron Courville,
and Yoshua Bengio. Generative adversarial nets. In
Z. Ghahramani, M. Welling, C. Cortes, N. Lawrence, andK.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 27. Curran Associates,Inc., 2014.
[4] Diederik P. Kingma and Max Welling. Auto-Encoding
Variational Bayes. In 2nd International Conference
on Learning Representations, ICLR 2014, Banﬀ, AB,Canada, April 14-16, 2014, Conference Track Proceedings, 2014.

[5] Jonathan Ho, Ajay Jain, and Pieter Abbeel.
Denoising diﬀusion probabilistic models. arXiv preprint
arxiv:2006.11239, 2020.
[6] Robin Rombach, Andreas Blattmann, Dominik Lorenz,Patrick Esser, and Björn Ommer. High-resolution image
synthesis with latent diﬀusion models, 2021.
[7] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey
Chu, and Mark Chen. Hierarchical text-conditional image
generation with clip latents, 2022.
[8] James Betker, Gabriel Goh, Li Jing, † TimBrooks, Jianfeng Wang, Linjie Li, † LongOuyang, † JuntangZhuang,† JoyceLee, † YufeiGuo, † WesamManassra, † PrafullaDhariwal, † CaseyChu, † YunxinJiao, Aditya Ramesh.
Improving image generation with better captions.
[9] シーン誠, 趙天雨, 沢田慶. 日本語における言語画像
事前学習モデルの構築と公開. In The 25th Meetingon Image Recognition and Understanding, 2022.
[10] Alec Radford, Jong Wook Kim, Chris Hallacy, AdityaRamesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry,Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen
Krueger, and Ilya Sutskever. Learning transferable visualmodels from natural language supervision, 2021.
[11] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi.
Blip: Bootstrapping language-image pre-training for uniﬁed vision-language understanding and generation, 2022.

― 1527 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ションは対応している。モデルは画像・キャプショ

A

付録

A.1

shot 数 に よ る 生 成 キ ャ プ シ ョ ン のンペアのスコア 𝑠(𝐶 · 𝐼) を 4 通り計算し、それぞれ違いスコアを比較することで評価を行う。Text Score は与えられた画像に対して、正しいキャプションを選shot 数を増やすと同じ単語が多く生成されてしま択できるかの指標 (式 (1)) であり、Image Score は与うので、本研究では N=3 を採用した。表 6 に shot

えられたキャプションに対して正しい画像を選択数ごとの生成キャプションの例を示す。なお、生成できるかの指標 (式 (2)) である。Group Score は 2 枚

キャプションはキャプションペアの一文目のみを表の画像と 2 つのキャプションを完璧にマッチング示している。

できるかどうかの指標 (式 (3)) であり、Text Score とImage Score によって決定される。

表 6: shot 数と生成キャプション

N-shot

生成キャプション
1 if 𝑠(𝐶0 , 𝐼0 ) > 𝑠(𝐶1 , 𝐼0 )
𝑓 (𝐶0 , 𝐼0 , 𝐶1 , 𝐼1 ) =and 𝑠(𝐶1 , 𝐼1 ) > 𝑠(𝐶0 , 𝐼1 ), 0 otherwise.
a doctor operating on a patienta dog sits on a man
3

Running shoes on the beach
the glass is half full of water
She can’t bear the children
ﬁreﬁghters rush to save the forest𝑔(𝐶0 , 𝐼0 , 𝐶1 , 𝐼1 ) =a cat sitting on a mat
5

Running through the parka man eating a crab




1



if 𝑠(𝐶0 , 𝐼0 ) > 𝑠(𝐶0 , 𝐼1 )0otherwise.

and 𝑠(𝐶1 , 𝐼1 ) > 𝑠(𝐶1 , 𝐼0 ),
1 if 𝑓 (𝐶0 , 𝐼0 , 𝐶1 , 𝐼1 )ℎ(𝐶0 , 𝐼0 , 𝐶1 , 𝐼1 ) =and 𝑔(𝐶0 , 𝐼0 , 𝐶1 , 𝐼1 ), 0 otherwise.
light upon the leaves
a cat sitting on a laptop
The cat is under the table with a hat
10 the light is under the bridge

A.4

the cat is chasing the mouse

(1)

(2)

(3)

生成版 Winoground の具体例

a light is hanging over the painting

A.2

ステップごとのデータ生成・除外数

バリエーション生成における文セット生成数のみを指定し、日本語キャプションの翻訳およびフィルタリングまでを自動で行っている。
• テンプレート作成(a) 模様のある白い猫がふわ (b) ふわふわの白い猫が模様
ふわのマットに座っていのあるマットに座っているる– バリエーション生成：500 セット (指定)– フィルタリング：159 セット– 穴埋め問題作成：291 セット• 穴埋めによる拡張– 穴埋め：2,910 セット– フィルタリング：775 セット• 日本語化– 翻訳&フィルタリング：306 セット

A.3

評価指標(c) 夜の森のホタル

2 枚の画像を 𝐼0 , 𝐼1 、 2 つのキャプションを 𝐶0 , 𝐶1(d) ホタルの森の夜

図 3: 高品質データ（a,b）と低品質データ (c,d)とする。なお、同じインデックスの画像とキャプ― 1528 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).