言語処理学会 第30回年次大会 発表論文集（2024年3月）

AmbiNLG: 自然言語生成のための指示テキストの曖昧性解消
丹羽 彩奈 磯 颯
Megagon Labs
{ayana,hayate}@megagon.ai
曖昧性
解消なし

概要
大規模言語モデル（Large Language Models; LLMs）の台頭により、自然言語を用いた指示で多岐にわたる言語処理タスクが実行可能になった。しかし、与えられた指示が曖昧性であるためにユーザーの意図と異なるテキストが生成されることがある。特に自然言語生成（Natural Language Generation; NLG）に見られる曖昧性は広範で、人間が曖昧でない指示を書くことは難しい。そこで本研究では、曖昧性解消ベ
ンチマークデータセット AmbiNLG の導入および自
動的かつ網羅的な曖昧性解消を行う。実験より、提案手法による複数の曖昧性の明示的・網羅的な曖昧性解消の有効性を示した。

1

はじめに

LLMs [1, 2], 特に ChatGPT 1）に代表されるような対話型 LLMs は、自然言語による指示を介して操作できるため、非専門家も扱える。しかし指示テキス
ト次第で LLMs の出力は大きく変動するため [3]、
所望のテキストを生成させるには適切な指示を探索するプロンプトエンジニアリングが必須である [4]。
特に自然言語は曖昧性という本質的な問題を抱えており [5, 6, 7]、ユーザーの指示が不明瞭である場合
出力結果を一意に定めることができず、結果に悪影響をもたらしえる。一方で、明瞭な指示文作成のためのプロンプトエンジニアリングは容易ではないた
め、自動で曖昧性を解消する手法が求められる。
曖昧性を解消する先行研究では、機械翻訳における多義語 [6] や質問応答における情報不足 [8] といった特定のタスク・曖昧性のみを対象としている。しかし、先行研究のような限定的な設定における曖昧性解消では十分ではないと考えられる。まず、LLM
は実社会での多様な NLG タスクで利用されているため、幅広い NLG タスクに対して解消すべき曖昧性カテゴリを洗い出し、それらを網羅的に解消する
1） https://openai.com/chatgpt

Summarize this article about animals!

This article delves into the relationship between humans
and animals, discussing how humans have utilized animals
as pets and workforce, and the impact animals have had on
human life. It also explores recent ………

Summarize this article about animals!
曖昧性
解消あり

+ Answer with 2 sentences.
+ Discuss “dog” 🐶+ Write in a conversational styleDogs, they're not just cute and friendly.
Experimental result says they also reducestress and boost happiness in our daily lives.

図 1 本研究が提案する曖昧性解消方針。指示テキストに曖昧性を解消するための補完テキストを追加する。

必要がある。加えて、NLG タスクの指示には曖昧になりえる要素が散在するという点も問題である。例
えば「Summarize this article.」という指示だけでは、要約の長さ、焦点を当てるべき記事の内容、段落構成などの情報が与えられておらず、ユーザーが真にどのような出力を求めているかはわからない。
これらの問題に対し、本研究では (1) 様々な NLG
タスクに対する指示テキストの曖昧性問題の体系化、(2) 様々な曖昧性の網羅的解消 を行う。まず既存の Super-natural instruction [9] データセットにおける曖昧性を人手で 6 つのカテゴリに体系化する。次に、データセット内の指示テキストに曖昧性カテゴ
リとその曖昧性を補完するための情報（補完テキスト）を自動付与することで曖昧性解消データセット
AmbiNLG を構築する。そして、元の指示テキストに補完テキストを連結することで曖昧性が解消された明瞭な指示テキストを作成する（図 1）。
実験の結果、曖昧性を解消した指示によってタスク性能が最大で 9.12 ポイント向上した。さらに、特定の曖昧性のみ解消した指示と網羅的に曖昧性を解消した指示を与えた場合を比較すると、後者の方がタスク性能がさらに 8.69%以上、さらに曖昧性を解消しない元の指示と比較して 17.21%改善した。こ― 1809 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

れらのことから、NLG タスクの指示の曖昧性はタ

指示付き NLG ベンチマークとして、Super-Natural

スクの性能を左右するため、網羅的に曖昧性を掘り

Instructions (SNI) [9] の NLG データから 500 事例を下げ分類し解消する必要があることがわかる。昧性

選択し、質問生成や要約、事実文生成、物語生成なを解消することは各タスクの性能向上の面で有効でど 29 タスク・196 種類のデータに対しアノテーショ

あること、また人手評価により実際に解消された曖ンを行った。

昧性の観点で出力結果が改善していることを確認
した。

2.3

アノテーション方法

AmbiNLG の ア ノ テ ー シ ョ ン に は、元 の 指 示 テ

2AmbiNLG データセット

2.1

指示テキストにおける曖昧性の体系化

キストと、入出力テキストを慎重に比較し、不足した情報を同定し、それをもとに穴埋めを行う必要 が あ り、非 常 に コ ス ト が か か る。本 研 究 で は、

まず、過去の NLG 研究の文献を参考に、NLG に

LLM-in-the-loop により効率的かつ高品質なデータ

おいて、指示が曖昧となり得る要素を体系的に整理作成を試みた [16, 17, 18]。以下に具体的な手順をした [10, 11, 12, 13, 14, 15]。さらに、元の指示にお示す。
手順 1. 学習データの作成

GPT-3.5 の ﬁne-tuning

いて特定のカテゴリに関する指定が曖昧であった
場合、それを補完する追加指示を行うためのテンプのための高品質な学習データを GPT-4 と人手作業

レートを開発した。以下に構築した曖昧性カテゴリで作成する。まず、各曖昧性カテゴリにつき事例とそれを解消するための指示テンプレートを示す。

を 100 件ずつランダムにサンプリングする。次に背景情報や外部知識等の文脈情報が与え

GPT-4 に入力テキストと出力テキスト、そして穴埋Context.）

め前のテンプレートを与え、正しく出力テキストを焦点を当てて欲しいトピックが明確に与生成するために必要な補完情報を穴埋めさせるこ

えられていない（Primarily discuss the followingとで、曖昧性補完テキストを生成する。最後に、人られていない（Additional information:
Theme

theme:

手で生成結果の確認を行い、品質の高い事例のみを）もたせるべき大域的な構造が明確に

Planning

ﬁne-tuning のための学習データとして選定した。な与 え ら れ て い な い（Please generate the output

お、選定基準は Appendix A に示した。

following the outline provided below: Outline: 1.

手順 2. GPT-3.5 によるデータ拡張

2.

入力文、指示テキスト、曖昧性カテゴリとテンプレートをモデル...）

Length

に入力し、その指示テキストの曖昧性を与えられた

Style

曖昧性カテゴリの観点で補完するようにテンプレー
トを穴埋めさせる。ここでは、GPT-3.5 を曖昧性カ

長さ情報（単語数や文数）が与えられていない（Answer withwords.）
もたせるべき文体やトーンが与えられていない（Write in a
Keyword

テゴリごとに別途 ﬁne-tuning し、学習済みのモデル

style.）

含めるべき単語やフレーズが与えられていない（Include

なお、補完テキストが出力テキストの直接的なin your response.）

リークにならないよう、テンプレートの穴埋め時になお、具体例は Appendix の表 4 に示した。

2.2

を全事例に対し適用した。

は出力テキストを明示的に含めないことを指示に含AmbiNLG データセットの構築めている。また、補完テキストと出力テキストとの先に定義した曖昧性カテゴリを基に、指示テキス
トの曖昧性とそれによる生成テキストへの影響を評価できるデータセット、AmbiNLG を構築した。具
体的には、既存の指示付き NLG ベンチマークの各
インスタンスに対して、各曖昧性カテゴリに対応する追加指示テンプレートを用いて、曖昧性を解消するための穴埋め作業を行い、その追加指示をした際の生成テキストを評価を可能とする。本研究では、単語の重複度合いを ROUGE（F 値）で評価したとこ
ろ、入力テキストと出力テキストのスコアと比較して同程度、あるいは大幅に減少したことから、今回の補完テキストはリークには当たらないと考えている。詳細は Appendix B に示した。
LLMs なしにデータ作成する曖昧性カテゴリ

出

力テキストから直接抽出できる Length と Keywordの補完テキストは、以下のように作成した。
Length― 1810 ―NLTK [19] を用いて、複文であれば文数、This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

単文であれば単語数を抽出した。
Keyword

曖昧である

Yake [20] を用いてキーワードの抽出し、重要度の高い Top-𝑛 のキーワードを採用した2）。

3

曖昧性分析

3.1

曖昧性解消データセットの分析方法

AmbiNLG データセットの補完テキストを元の指示に追加することで曖昧性を解消し、その挙動を性
能と曖昧性の観点から分析する。
曖昧性解消の評価¤全¤に¤ 解消されて曖昧性が 完いるか否かを判別することは難しい。そこで、補完
テキストを指示文に追加したときに、追加前と比¤り¤ 曖昧性が補完されるか、つまり相対的較して よ
な曖昧レベルの変動に着目することで曖昧性を評価する。具体的には、まず指示テキストを GPT-4 に与え、補完テキストを後から追加したときに追加前と比べて曖昧レベルが「増加」したか「減少」したか「不変」であるかの三値分類を行った。曖昧レベルの減少は、補完テキストが指示テキストの曖昧性補完に寄与したことを意味する。
本分析では、提案する補完テキストに加え、比較対象として別の事例・同じカテゴリの補完テキスト（Random）と 指示テキストから補完テキストと可能
3）
な限り単語数の近い文を抽出したもの（Overlap）の 2 種類も用いる4）。
タスク性能に対する曖昧性解消の効果

補完テキストを元の指示テキストに加えることで実際のタスクを解かせた際の性能が向上するかを調べる。これは、補完テキストの内容がタスクを解くうえで有用であることを示す。指標には、本研究が対象とする
多様な NLG タスクに対応するため、SNI [9] と同様に正解文との単語の重複度合いに基づく ROUGE-L
F1 スコア [21] を採用する。

3.2

明瞭である

Context-3.66 +1.78+5.86

Keyword-3.41 +1.66+9.12

LengthStyle-6.10 +0.72-6.18 -0.84

+3.20
-2.53

Theme

-7.35

-0.85

+3.23

Planning-16.10

-0.45

+8.33

表 1 曖昧レベルと性能の関係。性能は追加指示テキストを与えない場合との ROUGE スコアの差分それぞれを指示テキストに連結してタスクを解かせた時の性能を、判定された曖昧レベルごとに集計した結果を表 1 に示した。なお、数値は追加テキス
トなしの性能との差分の平均値である。わかりやすさのため、曖昧レベルが増加したものを「曖昧である」、減少したものを「明瞭である」と表記する。
これによると、ほぼ全ての曖昧性カテゴリで、「明瞭である」と判定されたテキストを追加すること
で、最大で 9.12 ポイント性能が向上する。逆に「曖昧である」と判定された追加テキストを使うとすべての曖昧性カテゴリにおいて性能は大きく低下し、最大で 16.1 ポイント悪化する。このように、指示テ
キストの曖昧性は確かに性能を悪影響を及ぼすこと、つまりその曖昧性を補完することが性能向上に有効であることがわかる。性能への影響の大きさは曖昧性カテゴリごとに異なり、曖昧性を解消することでほぼすべての曖昧性カテゴリで性能が大きく向上したが、Style では悪化した。理由としては、文体制御による単語選択に合わせて出力テキストの表層情報が変化することが挙げられる。
カテゴリごとの網羅的な曖昧性補完は必要か

提案手法は、NLG タスクに見られる様々な曖昧性を網羅するために、曖昧性カテゴリごとに別途補完テ
キストを生成させており、さらにそれらを併用できる。そこで、補完テキストを作成する際に明示的に曖昧性分析結果

曖昧性は性能に影響を与えるか

不変

カテゴリ名とその説明を与える場合と曖昧性カテゴ
本分析では、曖昧性補完テキスト、Random、Overlap のテキスト
2） キーワード数 𝑛 は、合計単語数が出力単語数の 40%以下を満たす最大数、あるいは最大で 4 とした。
3） 指示テキストが短い場合は、Template の長さに近くなるように指示テキストを複数回繰り返す
4） この曖昧性評価の性能は、Random や Overlap に対して全
カテゴリ平均で正答率 94%を超えることを確認している（詳細は Appendix B に記載した）。つまり、GPT-4 は情報量や系列長が増えることと曖昧性が解消されることを高精度で区別できている。

リを与えない場合5）、また全カテゴリの補完テキス
トを同時に連結する場合の性能を比較することで、カテゴリを明示的に、また網羅的に扱うことの重要性について調べる。
表 2 に示したように、明示的にカテゴリ名を与えない場合は、カテゴリ名を明示的に与えた場合に比べて性能が低く、補完テキストを追加しない場合と
5） ﬁne-tuning なしの GPT-3.5 を用いて、可能な限り提案手
法 と 近 い プ ロ ン プ ト を 用 い て、テ ン プ レ ー ト “Additional” を穴埋めさせた。
information:― 1811 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

0.88

0.96

0.82

0.92

0.98

0.94

G-Eval

4.49

4.77

4.60

4.65

4.34

4.65

4.93

LL

-

C

人手

0.0
A

Pln.

A
N
N
IN
G

Sty. The.

0.2

EM
E

Plain Con. Key. Len.

0.4

PL

表 2 異なる曖昧性解消方法による ROUGE スコア。値は曖昧性解消前との差分の平均値

TH

-

Y
LE

+17.21

ST

提案手法（全カテゴリ）

N
G
TH

-

LE

+0.70

O
N
TE
X
K
T
EY
W
O
R
D
S

+3.94 (-2.69/+8.52)

カテゴリ指定なし

図 2 各事例 5 回の試行での ROUGE スコアの変動係数。
1.0
0.872
0.826
0.799
0.774
0.761
0.8
0.597 0.564
0.555
0.6

A
IN

提案手法（カテゴリ別）(最小/最大)PL

ROUGE

表 3 カテゴリごとの補完テキストに従った事例の割合（人手）と指示全体に対する IF スコア（G-Eval）

な指示と明瞭な指示をそれぞれ与えた LLM から複大差ない。一方で、全てのカテゴリの補完テキス

求め、その変動係数を比較することで、指示の曖昧

トを同時に与えた場合は、与えない場合に比べて性が頑健性に与える影響を調べる。temperature=1.0、17.2%もの性能向上が見られた。以上の結果から、

top p=0.9 を採用し、ランダムにサンプリングした

曖昧性補完テキストを生成する際は補完させるべき観点を明確化すること、また複数のカテゴリを網羅

100 件の事例に対してそれぞれ 5 回ずつ推論させた
ときの ROUGE スコアの変動係数を図 2 に示した。

的に扱うことが有効であることが示された。このた参考値として、補完テキストなしの設定（Plain）でめには、本研究のようにデータを分析し、観測される曖昧性カテゴリを体系化することも必要である。

の値も示した。変動係数が大きいほど、出力結果の数の出力をサンプリングし、それらに対して性能をばらつきが大きいことを指す。

また、生成した結果が実際に指示に従ったもの

結果、ほぼすべての曖昧性カテゴリにおいて、曖かを人手評価および自動評価した。自動評価では、

昧性解消により変動係数が最大で 27.1 ポイント減少

GPT-4 に基づく NLG のための評価フレームワーク

し、出力性能のばらつきを抑制できることがわかっ

G-Eval [22] を採用した。人手評価では、補完テキス

た。そのため、曖昧な指示を用いた場合、モデル間トに従っている事例の割合を調べた 6）。G-Eval は、の性能比較においてそれらの優位関係が入れ替わり

各事例が補完テキストを追加した指示全体にどれだ得るため、頑健な比較のためには指示が明瞭である

け従ったかを表す Instruction Following（IF）スコアことを担保する必要がある。

を調べた。参考値として補完テキストなしの場合のスコアも示した。各曖昧性カテゴリごとに 50 件ラ

4

おわりに

に、人手評価では平均で 92%の事例で生成結果が曖

本研究では、自然言語生成（NLG）における指示
テキストの曖昧性解消手法の提案と、曖昧性解消が昧性補完テキストの指示に従っていることがわかっ

タスク性能に与える影響について調査した。既存のた。また自動評価でもほとんどの曖昧性カテゴリでPlain よりも指示テキスト全体に従えていることがベンチマークセットの指示に含まれる曖昧性を体系わかった。以上より、提案手法は曖昧性補完によっ

性カテゴリごとのテンプレートを用いて生成した。

てタスク性能を向上させられたと考えられる。

そして、その補完テキストを元の指示に追加するこンダムサンプリングした結果を表 3 に示したよう化し、その曖昧性を補完するためのテキストを曖昧

曖昧な指示をとで複数の曖昧性を網羅的に解消する手法を提案し与えられると、LLM 自身がその曖昧性を適切に補た。分析の結果、曖昧性解消は性能向上に重要であ完することを強いられる。しかしその補完方法にり、特に曖昧性の体系化および網羅性が重要である

よって出力が左右されるため、曖昧な指示は明瞭なことがわかった。今後の展望としては、データの曖指示と比べて性能にもばらつきが生じることで頑健昧性や曖昧性解消結果の人手評価や、複数モデルを性にも悪影響を与える可能性がある。そこで、曖昧用いた曖昧性解消能力の調査を行いたい。

曖昧性は頑健性に影響を与えるか

6） Keyword は指定したキーワードのいずれかが入っているか、Length は単語の場合は系列長× 0.4、文の場合は文数×0.2 の揺れまでを許容した。

― 1812 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
有益な助言をしていただいた大阪大学の荒瀬由紀
准教授に感謝いたします。

参考文献[1] Tom Brown et al. Language models are few-shot learners.
In NeurIPS, 2020.
[2] Jason Wei, Maarten Bosma, Vincent Zhao, Kelvin Guu,
Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai,and Quoc V Le. Finetuned language models are zero-shotlearners. In ICLR, 2022.
[3] Ryuto Koike, Masahiro Kaneko, and Naoaki Okazaki.
How you prompt matters! even task-oriented constraints
in instructions aﬀect llm-generated text detection. arXiv
preprint arXiv:2311.08369, 2023.
[4] Jules White, Quchen Fu, Sam Hays, Michael Sandborn, Carlos Olea, Henry Gilbert, Ashraf Elnashar, Jesse
Spencer-Smith, and Douglas C Schmidt. A prompt pattern catalog to enhance prompt engineering with chatgpt.
arXiv preprint arXiv:2302.11382, 2023.
[5] Yu Wang and Eugene Agichtein. Query ambiguity revisited: Clickthrough measures for distinguishing informational and ambiguous queries. In HLT, 2010.
[6] Jonathan Pilault, Xavier Garcia, Arthur Bražinskas, andOrhan Firat. Interactive-chain-prompting: Ambiguity resolution for crosslingual conditional generation with interaction. In IJCNLP-AACL, 2023.
[7] Zeqiu Wu, Ryu Parish, Hao Cheng, Sewon Min, Prithviraj
Ammanabrolu, Mari Ostendorf, and Hannaneh Hajishirzi.
InSCIt: Information-seeking conversations with mixedinitiative interactions. TACL, 2023.
[8] Sewon Min, Julian Michael, Hannaneh Hajishirzi, andLuke Zettlemoyer. AmbigQA: Answering ambiguous
open-domain questions. In EMNLP, 2020.
[9] Yizhong Wang et al. Super-NaturalInstructions: Generalization via declarative instructions on 1600+ NLP tasks.
In EMNLP, 2022.
[10] Ehud Reiter and Robert Dale. Building applied natural
language generation systems. NLE, Vol. 3, No. 1, pp.
57–87, 1997.
[11] David D. McDonald and James D. Pustejovsky. A computational theory of prose style for natural language generation. In EACL, 1985.
[12] Karen Kukich. Design of a knowledge-based report generator. In ACL, 1983.
[13] Regina Barzilay and Mirella Lapata. Modeling local coherence: An entity-based approach. In ACL, 2005.
[14] David Reitter, Frank Keller, and Johanna D. Moore. Computational modelling of structural priming in dialogue. In
NAACL, pp. 121–124. Association for Computational Linguistics, 2006.
[15] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In WNMT, 2018.
[16] Bosheng Ding, Chengwei Qin, Linlin Liu, Yew Ken Chia,
Boyang Li, Shaﬁq Joty, and Lidong Bing. Is GPT-3 a gooddata annotator? In ACL, July 2023.

[17] Fabrizio Gilardi, Meysam Alizadeh, and Maël Kubli. Chatgpt outperforms crowd-workers for text-annotation tasks.
PNAS, 2023.
[18] Haopeng Zhang, Hayate Iso, Sairam Gurajada, and Nikita
Bhutani. Xatu: A ﬁne-grained instruction-based benchmark for explainable text updates. arXiv, 2023.
[19] Steven Bird. NLTK: The Natural Language Toolkit. In
COLING-ACL, 2006.
[20] Ricardo Campos, Vı́tor Mangaravite, Arian Pasquali,
Alı́pio Jorge, Célia Nunes, and Adam Jatowt. Yake! keyword extraction from single documents using multiple local features. Information Sciences, Vol. 509, pp. 257–
289, 2020.
[21] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches
Out, 2004.
[22] Yang Liu, Dan Iter, Yichong Xu, Shuohang Wang,
Ruochen Xu, and Chenguang Zhu. G-eval: NLG evaluation using gpt-4 with better human alignment. In EMNLP,
2023.
[23] Albert Lu, Hongxin Zhang, Yanzhe Zhang, Xuezhi Wang,
and Diyi Yang. Bounding the capabilities of large language
models in open text generation with prompt constraints. In
Findings of the EACL, 2023.

― 1813 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

曖昧性

補完テキスト（下線部が穴埋めされた箇所を指す）

Context

Additional information: The main factors ofclimate change are natural phenomena andhuman activities.

Keyword

Include global warming in your response.

LengthAnswer with around 5 sentences.

Style

Write in a persuasive style.

Theme

Primarily discuss the following theme:
impact of human activities.

Planning

Please generate the output following the outline
provided below: Outline: 1.a brief deﬁnition, 2.
causes, ...

the

表 4 曖 昧 性 カ テ ゴ リ と “Write a summary about climatechange.” という指示に対する補完テキストの例

LengthContext

Theme

補完

1.10

1.08

23.14

入力

23.25

23.25

23.25

Style

Keyword Planning

補完

4.90

25.93

28.11

入力

23.25

25.36

31.41

表 5 補完テキストと入力テキストそれぞれの出力テキス
トとの ROUGE スコア
図3
1.00

各曖昧性カテゴリでの曖昧性評価の正答率

0.99

0.95

0.92

1.00
0.94

0.99
0.97

1.00
0.96

1.00

THEME

PLANNING

0.93

0.88

0.90
0.85
0.80
CONTEXT KEYWORD LENGTH

A

0.95

RANDOM

曖昧性解消データセット詳細

STYLE
OVERLAP

Style の穴埋めは、代表的性カテゴリごとの曖昧性評価の正答率をもとに、な項目や先行研究 [23] で用いられている分類7）へのGPT-4 がもつ曖 昧性の 判断能 力につ いて調 べる。

分類問題として行なった。Planning は、テキスト

Random が与えられた場合は、情報量が増えているの大域的な構造を対象としていることから、出力テが有用な情報ではなく曖昧性は解消できない。元のキストが 2 文以上から構成される事例にのみ適用し

指示テキストと内容が競合する場合は曖昧性レベル

た。また、Keyword はキーワード抽出器がキーワーが上昇することもある。また Overlap が与えられたドがあると判定した事例のみ対象とした。
選定基準は、(1) 内

場合は、情報量も増えておらず曖昧性は解消できな
い。そのため、曖昧レベルは同程度である。以上よ作成プロセスの詳細

人手によるデータ選定基準

容が適切である (2) 出力テキストが何かが明示する

り、各テキストを指示テキストに追加した際の曖昧記述を含まない (3) 出力テキストに対して明らかな性評価の正答率 𝑃 𝑅 、𝑃𝑂 は以下のように計算され間違いを含まない (4) 別の曖昧性カテゴリの記述をる。両正答率ともに、100%に近いほど良い。

含まない (5) 指示テキストや入力テキストと大きく減少・不変ラベルが振られた事例数
総事例数
不変ラベルが振られた事例数
𝑃𝑂 =
総事例数
𝑃𝑅 =

内容が重複しない ことである。

B

分析結果詳細(1)(2)

補完テキストによる出力テキストのリーク評価

各追加テキストの正答率を図 3 に示した。結果に補完テキストによる出力テキストのリークについて

よると、Random、Overlap に対してほとんどのカ評価するため、出力テキストとの単語の一致度合い

テゴリで正答率が 90%を超えた。全カテゴリ平均でを ROUGE で評価した結果を表 5 に示した。参考値

はそれぞれ 94%を超える。つまり、GPT-4 は曖昧性

として、入力テキストと出力テキストでのスコアもが補完された現象と情報量や系列長が増えた現象を示した。これによると、すべての曖昧性カテゴリにある程度明確に区別できていることが示唆される。

おいて補完テキストは入力テキストでのスコアと比較して同程度あるいは大幅に低い値であった。
GPT-4 は曖昧性を認識できるか

3.2 節の分析で用いた追加テキスト（Random、Overlap）の曖昧
7） ‘descriptive, expository, narrative, persuasive, directive, conversational, technical, journalistic, review, poetic, formal, informal,
optimistic, assertive, dramatic, humorous, sad, passive-aggressive,
worried, friendly, curious, encouraging, surprised, cooperative’― 1814 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).