言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルにおける日本語ゼロ照応解析能力の分析
野末慎之介 1

石月由紀子 1,2 松林優一郎 1,2 坂口慶祐 1,2
1 東北大学2 理化学研究所{nozue.shinnosuke.q5,yukiko.ishizuki.p7}@dc.tohoku.ac.jp{y.m,keisuke.sakaguchi}@tohoku.ac.jp

概要
GPT-4 に代表される大規模言語モデルは言語処理の様々な下流タスクで好成績を収めることが明らかになっているが，その能力が真に言語の基礎的理解能力に由来するものであるかは明らかではない．本
研究では，自然言語処理の基礎解析タスクの中でも困難なものの一つとされてきたゼロ照応解析タスクについて，大規模言語モデルの能力を評価する．実験の結果，GPT-4 はゼロ照応解析において十分な性能を発揮しないことが明らかになった．その原因を特定するための検証実験とエラー事例分析の結果から，ヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識の不足が原因であると示唆された．

1

はじめに日本語では述語の項が頻繁に省略される．そのような省略された項（𝜙）を同定するゼロ照応解析（図 1）は，最先端のモデルにおいても 𝐹1 値が 64%程度であり [1]，解析が困難なタスクの一つである．
一方で，GPT-4 [2] は，日本語理解能力を測るベン
チマークの JGLUE において大規模言語モデルの中で最高性能を示し，特定のタスクで追加学習された BERT[3] などのモデルを一部タスクで上回った[4, 5]．日本語の文章にはゼロ照応表現が多く含まれるため，日本語理解に優れた GPT-4 はゼロ照応解析においても高い性能を発揮する可能性がある．
本研究では，日本語理解に最も優れた大規模言語モデルのゼロ照応解析性能を明らかにすることを目的として，同タスクの主要なベンチマークデータである NAIST Text Corpus (NTC) 1.5 [6, 7] におけるGPT-4 の性能を評価した．実験の結果，GPT-4 の性能は最先端モデルと比較して大きく劣ることが明らかになった．さらにいくつかの詳細な実験とエラー事例の分析により原因の考察を行ったところ，

図 1 ゼロ照応解析の例．省略された項は 𝜙 で表される．
タスクでは，「向かう」のガ格に項があること，およびその照応先が「私」であることを推定している．

GPT-4 の解析性能は，ヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識の不足に起因することが示唆された．

日本語ゼロ照応解析

2

本研究のゼロ照応解析タスクは，主要なベンチマークコーパスである NTC 1.5 の仕様に従う．NTC
では，ゼロ照応解析は述語の項を同定する述語項構造解析タスクの一部として内包されている．また，項の特定に関しては，ガ格，ヲ格，ニ格の必須格の項のみがアノテーションされているため [6, 7]，本研究でも，これらの 3 つの格について評価を行う．
また，既存研究では一般に，述語と直接係り受けの関係にある項の解析を dep と呼び，ゼロ照応解析のうち，述語と項が同じ文内にある事例を intra，述語と項が別の文にある事例を inter，項が存在する
ものの，文書内に明示的に表出していない事例をexophora と呼び, 区別している [1, 8, 9]．本研究での解析性能評価もこの区分に従う．

3

手法

3.1

GPT-4 によるゼロ照応解析

本研究では，項を GPT-4 に生成させることによりゼロ照応解析タスクを実現する．入力するプロンプトでタスクの指示と複数文で構成された文脈を与え，述語の位置と格を指定する．出力の形式
は「〜」+ 格助詞（が, を, に いずれか 1 つ）+ 述語1）
1） 「食べる」のガ格を問題とする場合は「〜が食べる」― 297 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

とし，「〜」に入るフレーズを問う．出力されたフレーズの文脈における位置を特定し，その位置を解答として記録した．出力されたフレーズが文脈にない場合は exophora であるとみなし，そのフレーズが一人称を表すものであれば author，二人称を表すものであれば reader，この 2 つに当てはまらない場合は general としてその細分類を記録した．項が存在しないと判定した場合には「該当なし」と出力させた．また，共参照関係によって正解の項が文脈の複数の位置に含まれる場合はその全てを正解とした．

表 1 NTC 1.5 の評価セットにおける 𝐹1 値．太字は最良のスコアを示す．Konno らのスコアは論文より引用 [1]．
GPT-4 は評価セットの 1 割（2557 述語）で評価した結果であるため，厳密な比較はできない．
省略モデル

ALL

intra

inter exophoric DEP

Konno+[1] 64.18 72.67 48.41

65.40

94.50 83.65

zero-shot
5-shot

13.79
20.14

54.14 46.42
55.65 48.19

30.54 32.64 29.38
32.78 35.19 30.60

表 2 5-shot における格ごとの適合率，再現率，𝐹1 値.

プロンプトはタスク説明と文脈に分格

適合率

再現率

𝐹1 値

けられる．タスク説明では，タスクの指示，対象のガ格ヲ格
ニ格

65.12
35.46
8.39

63.61
83.09
74.55

64.36
50.32
15.05

プロンプト

述語の文脈における位置，1 つの格を指定した．タ
スクの指示として受身形の述語は能動形として考えるよう指定した．これは，NTC 1.5 のアノテーションが能動形を基準に作られているためである．文脈は、述語の文とその前方 3 文を合わせた 4 文とした．
文書において述語の前方が 3 文に満たない場合，後方から満たない行数文だけ抽出した．文書自体が 4文に満たない場合は文書の全文を抽出した．文脈内
では対象の述語を「**」で囲み，述語の位置を指定した．
few-shot 文 脈 内 学 習

5-shot の 設 定 で は dep，intra，inter，exophora の 4 つに，正解の項がない問題を加えた 5 つの例を見せることで文脈内学習を行った．5 つの例はそれぞれ訓練セットから引用した．zero-shot，5-shot のそれぞれのプロンプト例と出力例は付録の A に示す．

4は上述の通り，exophora の細分類であり，none は該当する項が存在しないことを表す．
実験設定

GPT-4 の評価は zero-shot と 5-shot で行った．使用した GPT-4 のバージョンとパラメータは付録の B に示す．
データセット分割

Konno ら [1] に倣い，データセットは Taira らの分割法 [10] に従って訓練・開発・評価セットの 3 つに分割した．GPT-4 のプロンプト
エンジニアリングには訓練・開発セットを用い，評価には評価セットを用いた．

4.1

結果

結果を表 1 に示す．ただし， GPT-4 の値は評価セットの 1 割の事例数で評価した段階で顕著にベースラインを下回っていたため，この時点で評価を実験
ベースラインモデル

ALL

本研究では NTC 1.5 における最先端モデルである Konno ら [1] のモデルをベースラインとする．Konno らは bert-base-japaneseを使用し，ゼロ照応解析を Cloze テスト形式の項の選択問題として定式化した. これは，系列の先頭に[CLS]，文の境界に [SEP] が挿入された複数の文から構成された系列 𝑋 について，その末尾に [MASK]+格助詞（が，を，に いずれか 1 つ）+ 述語2）で構成されるクエリフレーズを追加した系列 𝑋 ′ を入力とし，[MASK] に入るトークンを系列 𝑋 から選択させるというものである．トークンが系列 𝑋 中に存在しない
場合には，[CLS] が選択される．[CLS] が選択された場合は，4 つのカテゴリ author，reader，general，none から 1 つを選択させる．author，reader，general
2） 「食べる」のガ格を問題とする場合は「[MASK] が食べる」終了した，したがって，表の数字は評価セット内のランダムな 1 割の事例で算出したものである．
zero-shot, 5-shot のいずれも全項目でベースラインを大幅に下回った．その一方で，5-shot では，zero-shotと比較して全項目でスコアの改善が見られたことから，文脈内学習の効果はあるといえる．
GPT-4 の解析能力の低さををより詳細に分析するため，5-shot モデルの ４ カテゴリ全体におけるの格ごとのスコアを表 2 に示した．特にヲ格とニ格については，再現率と比較して適合率が著しく低いことが明らかになった．この理由をさらに詳しく分析するため，GPT-4 のエラーを，1. 正解の項があるが誤った項を出力，2. 正解の項があるが「該当なし」と出力，3. 正解の項がないが項を出力の 3 つに分類した（表 3）．分類の結果から，3 のパターンが最多のエラーであることが明らかになり，GPT-4 は，本― 298 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 3 GPT-4 が誤った事例の分類.
エラーの種類
正解の項あり表5

GPT-4 による述語の格フレーム理解度の検証結果．

zero-shot 5-shot

格助詞

適合率

再現率

𝐹1 値

1, 109 1, 075

ガ格ヲ格ニ格ALL

100.00
84.72
74.63
88.14

97.00
98.39
76.92
91.63

98.48
91.04
75.76
89.85

1. 誤った項を出力
2.「該当なし」と出力147

正解の項なし 3. 項を出力80

3, 652 3, 583

表 4 GPT-4 が誤った事例．太字は対象の述語を示し，中央の列は判別対象の格を示す．

格の適合率が低いことが，格フレーム知識と選択選

文脈

格

出力

好知識の不足に起因するかを検証する．

チェチェン共和国に隣接するグルジアで...

ヲ格チェチェン共和国を隣接する

6... 官房長官は「聞いていて涙が出た」...

ヲ格

涙を出る

... 白書は... と述べている。

ニ格

知識の検証
本実験は 2 段階で構成される．まず，入力プロン

プトで述語，語義，格をそれぞれ 1 つずつ指定し，「白書に述べる」

指定された語義に対して述語がその格をとるかどうかを「はい」か「いいえ」を出力させた．この出来存在しない格助詞を必要以上に回答するエラーを力を正解の格フレームで正誤判定し，格フレーム知多数引き起こしていることが分かった．次節ではこ識の理解度を測る．次に最初の問いに対する回答がの要因を特定をするために更に詳細な分析を行う．

「はい」である場合に，述語が対象の格をとる例を 35

文出力させた．出力のうち，例として自然な文章のエラー事例分析割合によって，選択選好知識の理解度を測る．プロ

上述した 3 のパターンの出力例を表 4 に示す．まず，1 行目と 2 行目の事例では，述語がどの文脈でもとり得ない格を判別できていない．1 行目の事例の「隣接する」はヲ格をとらない．また，2 行目の3）とい例では，「出る」は「内側から外へ移動する．
」

ンプトと出力の例は付録の D に示す．

6.1

実験設定

評価方法

格フレーム知識に対する評価には 𝐹1う語義で，「店を出る」のようにヲ格をとる場合も値を用いた．続いて，選択選好知識に対する評価は，人手評価により正解率を求めた．ただし，正解3）という語あるが，この文脈の「物が産出される．」

率の算出には最初の問いで正解ラベルが「はい」で義で使われる場合にはヲ格はとらない．このようある事例（以下，述語が対象の格をとる事例）のみに，述語がどの格をとり得るかは，その述語の性質を用いたが，エラー事例の分析には，正解ラベルがと語義によって決まる．述語がどの格をとる可能性「いいえ」である事例（以下，述語が対象の格をとらがあるか記録したものを格フレームといい，本研究ない事例）を含めた．

ではこの知識を格フレーム知識と呼ぶ．これらの事

データセットNTC 1.5 の評価セットからランダ

例から GPT-4 の格フレーム知識の不足が疑われる．

ムに抽出した 100 個の異なる述語を問題として扱っ

次に，3 行目の事例では，述語はとり得るが，対象た．正解となる述語の格フレームは，京都大学格フの文脈ではとらない格を判別できていない．通常，「述べる」のニ格には相手を表す言葉が入り，場を表定められた．京都大学格フレームは語義ごとに格フ

す言葉はデ格の項になる．しかし，この事例ではニレームが分類されているため，述語の語義を特定す格に「述べる」場を表す言葉として「白書」が入っることで適切な格フレームが定まる．そこで語義はている．このことから，GPT-4 はニ格とデ格でとる述語の文脈とスーパー大辞林を参照して特定した．
データセットの作成手順は付録の C に示す．

言葉の属性を混同していると推測される．この述語

レーム [11] に基づき，事前に著者ら 3 名によってが格によってどのような属性の言葉をとるかについての選好性を選択選好といい，本研究ではこの知識を選択選好知識と呼ぶ．このような事例から GPT-4の選択選好知識は不足していることが疑われる．

6.2

格フレーム知識の検証結果

結果を表 5 に示す．ガ格とヲ格の 𝐹1 値は 90%を超えており高いものといえるが，ニ格は他の格に比以上から 6 節では，4.1 節の実験におけるヲ格，ニべて 15%以上低く，相対的にニ格に関する格フレー

3） スーパー大辞林を参考に作成．

ム知識が不足しているといえる．

― 299 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

6.3

述語が誤っていることを示す．6.4 節から，GPT-4 が選択選好知識の検証結果

ヲ格やニ格に関する格フレームを誤る原因として，

正 解 率 は ガ 格 が 90.72%, ヲ 格 が 92.35%, ニ 格 が他の格でとるフレーズをヲ格やニ格でとるフレー

80.67%, 全体で 88.78%であった．ガ格，ヲ格に関すズだと誤認していることがいえる．また，ニ格におる選好選択知識の正解率が 90%以上である一方で，いては，ニ格に関連する係り受け関係を誤読してしニ格は他の格に比べて 10%以上正解率が低く，ニ格まっていることから，格フレームに関連する他の基に関する選好選択知識の理解度は相対的に低い．

礎的な知識も不足していることが示唆された．以上

6.4のことが原因となり表 4 の 1, 2 行目のようなエラー検証におけるエラー事例分析が起きていると考えられる．

まず述語が対象の格をとる事例における主な誤り

次に 6.3 節から，ニ格では約 20%の述語で項の選は，他の語義であればその格でとるが，指定した語好性に対する認識が誤っており，ニ格をとると正し義ではその格でとらないようなフレーズを答えた事く推測した場合でも文脈から誤った項を選択する

3）という語義例であった．例えば，「終わりにする．
」

可能性が他の格に比べて高いといえる．6.4 節より，の「閉じる」のヲ格では「生涯を閉じる」のように，終わりとなる対象を表す項をとる．しかし，GPT-4

その主な原因は語義ごとに異なる項の選好性を理解できていないことであるといえ，このような選択選は「ドアを閉じる」のような「開いていたものをふ好知識の不足により表 4 の 2 行目のようなエラーが3）という語義の例を生成してさがった状態にする．」起きると考えられる．

おり，一部の述語では語義によって項の選択選好性を識別できていない．

以上の議論から，GPT-4 にはヲ格とニ格に関する格フレーム知識と，ニ格に関する選択選好知識が不次に述語が対象の格をとらない事例における主な誤りは，述語が他の格のフレーズとしてとるもの足していることがヲ格とニ格におけるゼロ照応解析性能を下げていると考えられる．

を，述語がとらない格の項として答えた事例であっ最後に本実験とは直接関係しないが，データセッた．例えば「全壊する」という述語は「家」というト作成時に，NTC 1.5 上でニ格がアノテーションさ言葉に対してガ格をとり，いずれのフレーズに対しれていない事例を発見した．これは NTC 1.5 のポリてもヲ格をとらないが，「家を全壊する」というようシーによるものだと考えられる．今回抽出した述語な不自然な日本語が生成された．このことから，一のうち，ニ格がアノテーションされていない述語は部の述語では，その述語がとりうる格，およびその格に対する適切な選択選好性を理解できていないと89 個であるが，そのうち 16 個はこのような事例でいえる．特にヲ格においては，この事例がほとんどであった．また，ニ格では係り受け関係を理解して部は違うポリシーであれば正解になる可能性がある．しかしながら，そのよう事例を除いたとしてもいないような事例も見られた．例えば「非難する」

エラー数は依然多いため，エラーの根本的な原因をのニ格の例として「彼女は社長に非難するためのレ探索する試みには大きな意義があるといえる．

ターを送った．」という文が生成された．この「社長に」は「非難する」ではなく，「送った」のニ格であり，係り受け関係を誤読していることがわかる．

7

あった．そのため 4.1 節におけるエラーのうち，一おわりに8

本研究では GPT-4 を自然言語処理の基礎解析タス
クの 1 つであるゼロ照応解析で評価し，最先端モデ考察

ルに対して性能が著しく劣ることを明らかにした．

6 節の結果から 4.1 節の結果の原因を検討する．

さらにその原因を解明すべく，エラー事例分析によ

ただし，GPT-4 のガ格の格フレームと選択選好に対り格フレーム知識と選択選好知識の不足が原因であする理解度は高く，今回の仮説以外の原因がガ格にるという仮説を立て，実験を行った．実験の結果と対するゼロ照応解析性能に影響することが示唆され分析から，GPT-4 のヲ格とニ格に関する格フレームたため，本節ではヲ格とニ格について議論する．

知識と，ニ格に関する選択選好知識の不足により，ゼロ照応解析の性能を下げていると示唆された．

まず表 5 から，ヲ格とニ格の適合率が低さが明らかになった．これは GPT-4 がヲ格やニ格をとると認識している述語のうち，それぞれ約 15%と約 25%の― 300 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究の有意義なコメントをいただいた Tohoku
NLP Group の守屋彰二氏，塩野大輝氏，矢野一樹氏に感謝いたします．本研究は JSPS 科研費 21K21343の助成を受けたものです．

参考文献[1] Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, and Kentaro Inui. Pseudo zero pronoun resolution improves zero anaphora resolution. In Marie-FrancineMoens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau
Yih, editors, Proceedings of the 2021 Conference on
Empirical Methods in Natural Language Processing,pp. 3790–3806, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational
Linguistics.
[2] OpenAI. GPT-4 technical report. March 2023.
[3] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. Bert: Pre-training of deep bidirectional transformers for language understanding, 2019.
[4] Kentaro Kurihara, Daisuke Kawahara, and Tomohide Shibata. JGLUE: Japanese general language understanding
evaluation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp.
2957–2966, Marseille, France, June 2022. European Language Resources Association.
[5] 栗原健太郎, 河原大輔, 柴田知秀. Jglue: 日本語言語理解ベンチマーク. 言語処理学会第 28 回年次大会,2022.
[6] Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with PredicateArgument and coreference relations. In Proceedingsof the Linguistic Annotation Workshop, pp. 132–139,Prague, Czech Republic, June 2007. Association for Computational Linguistics.
[7] Ryu Iida, Mamoru Komachi, Naoya Inoue, Kentaro Inui,and Yuji Matsumoto. NAIST Text Corpus: Annotating

ciation for Computational Linguistics.
[10] Hirotoshi Taira, Sanae Fujita, and Masaaki Nagata. A
Japanese predicate argument structure analysis using decision lists. In Mirella Lapata and Hwee Tou Ng, editors, Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing, pp.
523–532, Honolulu, Hawaii, October 2008. Associationfor Computational Linguistics.
[11] 大輔河原, 禎夫黒橋. 高性能計算環境を用いた webからの大規模格フレーム構築. 情報処理学会研究
報告 = IPSJ SIG technical reports, Vol. 2006, No. 1, pp.
67–73, 01 2006.

Predicate- Argument and Coreference Relations inJapanese, pp. 1177–1196. Springer Netherlands, Dor-drecht, 2017.
[8] Tomohide Shibata and Sadao Kurohashi. Entity-centricjoint modeling of Japanese coreference resolution andpredicate argument structure analysis. In Iryna Gurevych
and Yusuke Miyao, editors, Proceedings of the 56th Annual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pp. 579–589,

Melbourne, Australia, July 2018. Association for Computational Linguistics.
[9] Masato Umakoshi, Yugo Murawaki, and Sadao Kurohashi.
Japanese zero anaphora resolution can beneﬁt from paralleltexts through neural transfer learning. In Marie-Francine
Moens, Xuanjing Huang, Lucia Specia, and Scott Wentau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 1920–1934,
Punta Cana, Dominican Republic, November 2021. Asso-― 301 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

ゼロ照応解析実験のプロンプト

表75-shot，zero-shot それぞれのプロンプト例とその出力を表 6 と表 8 に示す．
表 6 zero-shot に お け る プ ロ ン プ ト の 例．本 文 部 分 は9510ED-0016-951012044.ntc より抜粋．
プロンプト: 以下の文章内で、「**」で囲まれた「出し」という述語は、誰を、もしくは何を、出すか分かるでしょうか。もし、「〜を出す」に当てはまるフレーズがあれば、そのフレーズを「〜を出す」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を出す」の形で考えてください。「〜を出す」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。【本文】事件報告を受けた直後の大蔵省の事情聴取も、大和銀施設で食事、ビール付きで行われたという。
大蔵省は大和銀に対して、近く業務改善命令を出すという。業務改善命令は銀行法に基づく行政処分であり、都市銀行に発令するのは初めてのこととなる。一連の不正事件に照らせば当然であるが、大蔵省についても、国民は「業務改善命令」を**出し**たいところだ。答えは
出力: 「業務改善命令を出す」

B

GPT-4 のバージョンとパラメータ

本研究で使用したモデルのバージョンは gpt-4-0613，各
パラメータの値は temparature が 1.0，Top P が 0.8，Max
length が 100 であった．

C格フレーム知識問題の作成手順

以下の (1) から (5) までの操作を 100 回（100 述語分）完了するまで繰り返す. (1) 述語を NTC 1.5 の test からランダムに抽出．(2) 述語が「A は B だ」の B であるような場合と，抽出した述語の原型の表層形と同じ述語がすでに問題として作成されている場合は操作を終了して 1 に戻る．(3) 述語をスーパー大辞林で検索し，ガ格・ヲ格・ニ格のヒントが含まれていないような語釈を抽出し，問題の手がかりとなる部分は削除・改変する4）. この際，スーパー大辞林の検索でヒットしない場合操作を終了して 1に戻る．また，格フレームの手がかりとなる部分を削除する操作を加えると語釈が歪んでしまう場合は操作を終了して (1) に戻る．(4) 格フレームで述語を検索し，3 で抽出した語釈の場合の格フレームを特定し，正解を作成. この際，語が格フレームに収録されていない場合，もしくは語釈に適した格フレームがない場合は操作を終了して(1) に戻る．(5) ガ格・ヲ格・ニ格，それぞれを聞くプロンプトを作成. この手順は著者ら 3 名で行った．まず，1 名が一連の操作を行った後，(5) で作成した正解が妥当なものであるか 2 名が確認して適宜修正した．

D

知識検証のプロンプト

GPT-4 の格フレーム知識と選択選好知識を検証する際に使用したプロンプトとその出力例を表 7 に示す．

4） 例えば，「少ない」はスーパー大辞林において「数や量が小さい．」という語釈文であるが，「数や量が少ない」と置き換えても意味が変化しないため，「少ない」がガ格をとると推測できてしまう．このような手がかりは GPT-4 が本来持っている知識を引き出す問題としてノイズになるため削除した.

知識の検証実験に用いたプロンプト.

プロンプト: 「笑う」という述語が「に」という格助詞をとるかどうかを「はい」か「いいえ」で 答えてください。 「はい」の場合は具体例を 3 つ答えてください。 ただし、「笑う」は「あざける。嘲笑する。」という意味の場合を考えてください。 また、格助詞をとるとは、格助詞＋述語という表現ができることを表し、具体的には 「〜に笑う」という表現が日本語としてあり得るものかを聞きたいです。しかし、「先に」や「帰りに」といった時間を表す表現や、「〜ように」や「遠巻きに」といった様態を表す表現は「に」をとるとみなしません。
出力: はい1. 彼は彼女の失敗に笑った。
2. 私は彼の冗談に笑った
3. 私たちはその皮肉なコメントに笑った。

表85-shot におけるプロンプトの例．

プロンプト: 以下の文章内で、「**」で囲まれた「見て」という述語は、誰を、もしくは何を、見るか分かるでしょうか。もし、「〜を見る」に当てはまるフレーズがあれば、そのフレーズを「〜を見る」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を見る」の形で考えてください。「〜を見る」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】
この数字を**見て**ほしい。答えは数字を見る
以下の文章内で、「**」で囲まれた「知ら」という述語は、誰を、もしくは何を、知るか分かるでしょうか。もし、「〜を知る」に当てはまるフレーズがあれば、そのフレーズを「〜を知る」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を知る」の形で考えてください。「〜を知る」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】
日本の政府開発援助の総額が、世界最大級だとはよく**知ら**れている。答えは総額を知る
以下の文章内で、「**」で囲まれた「言えば」という述語は、誰を、もしくは何を、言うか分かるでしょうか。もし、「〜を言う」に当てはまるフレーズがあれば、そのフレーズを「〜を言う」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を言う」の形で考えてください。「〜を言う」という表現が不自然だった
り、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】「言うは銀、黙すは金」ということわざが英語にある。日本語流に**言えば**「言わぬは言うにまさる」。答えはことわざを言う
以下の文章内で、「**」で囲まれた「訂正し」という述語は、誰を、もしくは何を、訂正するか分かるでしょうか。もし、「〜を訂正する」に当てはまるフレーズがあれば、そのフレーズを「〜を訂正する」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を訂正する」の形で考えてください。「〜を訂正する」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】
おわびして**訂正し**ます。答えは誤りを訂正する
以下の文章内で、「**」で囲まれた「なる」という述語は、誰を、もしくは何を、なるか分かるでしょうか。もし、「〜をなる」に当てはまるフレーズがあれば、そのフレーズを「〜をなる」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜をなる」の形で考えてください。「〜をなる」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】
もう二十日近くに**なる**。答えは該当なし
以下の文章内で、「**」で囲まれた「出し」という述語は、誰を、もしくは何を、出すか分かるでしょうか。もし、「〜を出す」に当てはまるフレーズがあれば、そのフレーズを「〜を出す」という形式で答えてください。述語が受け身形の場合は、原型の述語に対する「〜を出す」の形で考えてください。「〜を出す」という表現が不自然だったり、具体的なフレーズがこの本文からでは推測できない場合は「該当なし」と答えてください。
【本文】
事件報告を受けた直後の大蔵省の事情聴取も、大和銀施設で食事、ビール付きで行われたという。大蔵省は大和銀に対して、近く業務改善命令を出すという。業務改善命令は銀行法に基づく行政処分であり、都市銀行に発令するのは初めてのこととなる。一連の不正事件に照らせば当然であるが、大蔵省についても、国民は「業務改善命令」を**出し**たいところだ。
答えは
出力: 業務改善命令を出す― 302 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).