HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-29

大規模言語モデルによる仮説推論のための対話的プロンプティング
Interactive Prompting for Hypothesis Exploration withLarge Language Models
中根慎哉 1
Shinya Nakane1

亀谷由隆 2 ∗Yoshitaka Kameya2

名城大学 理工学部 情報工学科
Dept. of Information Engineering, Faculty of Science and Technology, Meijo University
1,2

1,2

Abstract: In this study, we propose a prompting method that encourages large language models(LLMs) to explore hypotheses. Speciﬁcally, we consider C. S. Peirce’s logic theory of hypotheticalreasoning (the logic of inquiry) as a model of the thought process of a human reasoner whenreasoning about a hypothesis, and attempt to encourage LLMs to perform hypothetical reasoning
by providing them with a prompt template based on this theory. This method is inspired by
the Chain-of-Thought Prompting approach, which encourages LLMs to reason by providing themwith the thought processes of human reasoners as prompts. The results of our experiments using
GPT-4 suggested that the proposed prompting method increases the testability of the hypotheses
generated by the LLMs and helps continuous and appropriate hypothesis reasoning.

1

はじめに

近年, 大規模言語モデル（large language models, 以下 LLM）の性能を高めるプロンプティング手法が研究されている. Chain-of-Thought（CoT）プロンプティングはそのような中で開発された手法の一つであり, モデルの推論能力の増強を目的として提案された. タス
クの最終的な答えを導く中間推論ステップの生成をモデルに促す CoT プロンプティングは, 多くの推論タスクにおいて, 標準的なプロンプティングに比して, 規模の増加に伴う正確性向上の度合いをより著しいものにすることが明らかになった [1]. このことから, 人間が推論する際の思考過程の模倣をモデルに促すようなプロンプティング手法は, モデルが正常にこなすタスクの幅を拡大するとの見方が広がっている. そのような手法を包括的に調査した Huang & Chang [2] は, 経験的結果から, そのような手法が, 「LLM の算術タスクや記号推論タスクや常識推論タスクに対する正確性を（ときとして顕著に）高めることができる」としている.
本研究では, 推論の一つである仮説推論のためのプロンプティング手法を提案する. この手法は, 科学的仮説探究はアブダクション（仮説の発想）と演繹（仮説の分析）と帰納（仮説の実証）の三つの推論段階から∗ 連絡先： 名城大学 理工学部 情報工学科〒 468-8502 名古屋市天白区塩釜口一丁目 501 番地
E-mail: ykameya@meijo-u.ac.jpなるとした C. S. Peirce の理論 (the logic of inquiry)[3] を, 人間が仮説推論する際の思考過程のモデルとみなし, その模倣を言語モデルに促すものである. これによって適切な仮説を生成することができるか検証する.
また、生成された仮説から導かれる予測を正しいと言うために観察されるべきとモデルが主張する事柄が, 実際に観察されたか否かを追加のプロンプティングとして対話的に与えたとき, それらの事実を受けたモデルが適切に仮説推論を継続することができるか検証する.

2

提案手法

提案するプロンプティング手法は, Peirce による科学的仮説探究についての理論 [3] を人間が仮説推論する際の思考過程のモデルであると仮定して, その模倣を促すことによる効果を期待している.
Peirce の理論によると, 科学的探究は, 説明を要する事実の観察から始まり, 三つの推論段階へと続く. 第一段階のアブダクションは, 観察されたある事実が何故起こったかについての何らかの可能な説明を与える仮説を考え出す. 第二段階の演繹は, 仮説が真であるとした
とき, その仮説からどのような予測が必然的にまたは高い確率で導かれるかを示す. 第三段階の帰納は, 仮説から導出された諸予測がどれだけ経験的諸事実と一致すDŽĚĞů/ŶƉƵƚDŽĚĞůKƵƚƉƵƚ

ਰৣभਖःप௦इथऎटऔः͘
事実「陸地のずっと内側で⿂の化⽯が⾒つかった」
ਖϭ͗ऒभহৰ॑ହ৥घॊਠৰ৓दुढधुैखःෘହ॑અइथऎटऔः͘
ਖϮ͗ुखँऩञभෘହऋઌदँॊधघॊध͕ँऩञभෘହऊैन॒ऩ੒೾ऋ૑ே৓प;ँॊःमశଞप
⾼い確率でͿ଑ऊोऽघऊ͘列挙してください͘ෘହ͗哺乳類において⼤きい種ほど顔が⻑く、⼩さい種ほど顔が短くなる傾向は、体のサイズと代謝率、および環境への適応の違いに関連している可能性があります。⼤きな体を持つ哺乳類は⼀般に低い代謝率を持ち、それによって⻑い顔が効率的な呼吸や冷却システムを提供することができます。⼀⽅で、⼩さい哺乳類は⾼い代謝率を持ち、よりコンパクトな顔の構造が必要で、これは熱の保持や迅速な餌の摂取に有利です。さらに、⼤きな顔はセンサー機能（視覚、嗅覚、聴ಁ‫॑ك‬ਘ৲ख‫ؚ‬఑୫঻ृඃ੟॑ർੴघॊभपથ஍दँॉ‫ؚ‬ऒोमপ஑भᙥ໚థप્प੎ਏऩ્ඉ
です。⼀⽅、⼩型の哺乳類では、このようなセンサー機能の拡張は⽣存戦略としてそれほど重要दमऩःऒधऋँॉऽघ‫؛‬ਖϯ͗ँऩञभෘହऊै଑ऊोञ੒೾॑ਫखःध੉अञीपम͕जोझोनभेअऩহৰऋ৹ਪ‫௴؞‬௄औोोयःःदखॆअऊ͘અइथऎटऔः͘

図 4: 標準的な手法による仮説
図 1: 提案するプロンプティングの例.
ĚĚŝƚŝŽŶĂů/ŶƉƵƚ৹ਪभ੥ટ͕ਰৣभহৰऋ௴௄औोऽखञ͘‫؞‬जभ৉ୠऋऊणथ਷ୠटढञऒध॑ંघᇊ஋గಽृ͕⽔底環境の特徴を⽰す化⽯層は発⾒されなかった‫؞‬ૌுप਷ୠऋோ૔खथःञৎ਋म્৒औोऩऊढञ
・同じ地層から他の⽔⽣⽣物の化⽯が発⾒されなかったऒभऒध॑ਭऐथ͕ँऩञमਰৣभਕणभ৭උ࿔ऊै঳ण॑৭वऒधऋदऌऽघ͘
ϭ͗ෘହमਠৎਡदमਭઍऔोॊञी͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
Ϯ͗ෘହमমସ৓दऩःఊਫ॑૑ਏधघॊञी͕ఊਫ॑઱ख͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
ϯ͗ෘହम෻౯औोॊञी͕ৗखःෘହभਫ਼઒॑઩ीॊ͘

図 2: 仮説推論の継続を促す追加プロンプティングの例.

るか確かめる.
以上を踏まえ, 提案するプロンプティング手法の例を
図 1 に示す. まず説明を要するある事実を与え, その暫定的な答えである仮説の生成をモデルに促す. そして仮説から導出される予測の生成をモデルに促し, その予測を確証する為に必要な事実の生成をモデルに促す.
また Peirce によると, 帰納は繰り返されることで正当化される推論であるため, 提案手法では, モデルからの出力に対し, 図 2 に示すような追加プロンプティングを繰り返し対話的に与えることで帰納の正当性を保証することを目指した.
追加プロンプティングは, モデルに追加の事実を与える部分と, それを受けて仮説をどうするかという選択を促す部分からなる. モデルに与える選択肢は受容・修正・拒否の三つである.

3

実験 1：演繹と帰納を促すことによる影響の検証

3.1

実験方法

実験 1 では, 演繹と帰納の段階をモデルに促すことが, モデルの生成する仮説にどのような影響を与えるか検証する. 具体的には, 図 3 に示す, 提案手法から演繹DŽĚĞů/ŶƉƵƚਰৣभਖःप௦इथऎटऔः͘
事実「陸地のずっと内側で⿂の化⽯が⾒つかった」
ਖϭ͗ऒभহৰ॑ହ৥घॊਠৰ৓दुढधुैखःෘହ॑અइथऎटऔः͘

図 3: 標準的なプロンプティングの例.

DŽĚĞůKƵƚƉƵƚ
ෘହ͗哺乳類において、⼤きい種ほど顔が⻑く、⼩さい種ほど顔が短くなる傾向は、体のサイズと感ಁஓ઻भଦীधभঢ়બपेॊुभदघ‫؛‬পऌऩ৬॑੅णரदम‫ؚ‬࿀ृປऩनभ૎ಁஓ઻ऋेॉઁ෇
囲に分布し、その結果、顔の⻑さが増す傾向があります。これは、体の⼤きさに⽐例して感覚範囲॑ઁऑॊ૑ਏऋँॊञीदघ‫؛‬঳্‫ؚ‬৵औःரदम‫ؚ‬૎ಁஓ઻ऋेॉૐরखथଦ઼औो‫ؚ‬੥ટ৓प౿ऋಢऎऩॉऽघ‫؛‬ෘହऊै଑ऊोॊ੒೾͗
ϭ͘ ⼤型の哺乳類（例︓ゾウ、⾺）は、感覚器官が顔全体に広範囲に分布している。
Ϯ͘ ⼩型の哺乳類（例︓ネズミ、リス）は、感覚器官が顔の限定された部分に集中している。
ϯ͘ 体のサイズが異なる哺乳類間で、感覚器官の相対的な位置やサイズに顕著な違いが⾒られる。
௴௄औोॊसऌহৰ͗ϭ͘ প஑भᙥ໚థभ౿भଡୗ॑ถ಍पীෲख‫ؚ‬૎ಁஓ઻ऋઁ෇೧पীഘखथःॊऒध॑નੳघॊ‫؛‬Ϯ͘ ⼩型の哺乳類の顔の構造を分析し、感覚器官がより限定された領域に集中していることを確認すॊ‫؛‬ϯ͘ 異なるサイズの哺乳類を⽐較し、顔の⻑さと感覚器官の位置やサイズの関係を統計的に分析する。

図 5: 提案手法による仮説と帰納を促す問 2, 3 を除いたプロンプティングを標準的な手法として, 両手法によって生成される仮説にどのような差違が見られるか検証する.
Manning [4] は LLM のアプローチについて, 「この手法では, システムは極めて大量のテキストに触れるだけで, 言語や世界に関する膨大な知識を学習することができる」と述べ, LLM が世の中の一般的な知識を獲得しているという見方を示している. このような見方に示されているように, モデルに常識と呼ぶべきものが蓄えられているとすれば, それをバイパス的に用いることで, たとえ演繹と帰納を生成しない一度きりの仮説生成でも, 尤もらしい仮説を生成することは可能であるように思われる.
そのため, 説明を求める事実として, 「哺乳類は大きい種ほど顔が長く, 小さい種ほど顔が短くなる傾向がある」という最近説明がなされた事象 [5] を与え, 提案手法と標準的な手法のそれぞれによって, GPT-4 を用いて仮説生成を 8 回行った.

3.2

実験結果

それぞれの手法によって生成した仮説の一例を図 4, 5に示す. 提案手法によって生成された出力は仮説だけでなく, そこから導かれる予測と, その予測を正しいと言うために観察されるべきとする事柄も含むため, 仮説の部分を緑色のマーカーで示した.
Mitchell ら [5] は, このような傾向が見られる理由について, 哺乳類は一般に, 四足歩行を常とし, 手先を器用には用いることができないため, 顔を長くして口先の機能性を高める必要があるが, 大型種に比して顔まわりの筋肉量に限りがある小型種においては, 顔を短くして噛む力を高める必要の方が優先されるためである, と説明付けている. それに対し, 図 4 の標準的な手法による仮説では, 大型種について「代謝率が低いため, 顔を長くすることで表面積を増し冷却の効率を高める」「顔を長くすることで感覚機能（視覚や聴覚や嗅覚）が強化される」「呼吸効率を高める」, 小型種について「感覚機能の拡張が必要ない」「代謝率が高いため顔を短くすることで熱を保持する」という観点から説明している. 一方, 図 5 の提案手法による仮説では, 「身体の大きさ」の観点から説明している.
両手法によって生成された仮説は, 試行ごとに内容のばらつきが多く見られたが, それぞれ共通する特徴も見られた. 標準的な手法によって生成された仮説は一見尤もらしいが, 視点が一貫しておらず, 全体としてどのようなことを主張しているのかわかりにくい. その一方で, 提案手法によって生成された仮説は, 内容の尤もらしさにはさほど変化が見られないが, 主張していることが明確でわかりやすいものであった. この結果か
ら, GPT-4 の仮説推論性能は限られたものであることや, 提案手法はモデルの仮説推論性能自体は高めないものの, 生成する仮説の検証可能性を高めることなどが示唆された.

DŽĚĞůKƵƚƉƵƚ
ෘହ͗この地域はかつて海や湖といった⽔域だったが、地質学的な変化（例えば、地盤の隆起や気候変動による乾燥化）によって現在は内陸となった。この過程で、かつての⽔域に⽣息していた⿂の化⽯が埋もれ、今になって発⾒された。
ෘହऊै଑ऊोॊ੒೾͗ϭ͘ その地域の地質学的構造には、かつて⽔域であったことを⽰す証拠（例えば、堆積岩や古代の⽔ೲ୭୆॑ંघ৲લऩन‫ك‬ऋோ૔घॊ‫؛‬Ϯ͘ ৉ୠभਞ౜ఴृਲ਷૆भ૗৲पঢ়घॊॹ‫ॱش‬ऋ‫ؚ‬ऊणथ਷ୠऋோ૔खथःञৎ਋॑ંखथःॊ‫؛‬ϯ͘ 他の⽔⽣⽣物（⾙殻、⽔草、他の⿂類等）の化⽯も同様に発⾒される可能性が⾼い。
௴௄औोॊसऌহৰ͗ϭ͘ ৉ସ৹ਪपेॉ‫ؚ‬जभ৉ୠऋऊणथ਷ୠटढञऒध॑ંघᇊ஋గಽृ‫ؚ‬਷ೲ୭୆भ્ඉ॑ંघ৲
⽯層が発⾒される。
Ϯ͘ ਞ౜ఴृਲ਷૆भ૗৲पঢ়घॊଢ଼஢ऋ‫ؚ‬ૌுप਷ୠऋோ૔खथःञৎ਋્॑৒ख‫ؚ‬जभৎ਋ऋਠ
在の内陸地形に変わる前であることを⽰す。
ϯ͘ 同じ地層から他の⽔⽣⽣物の化⽯が発⾒され、それらが同じ時期に⽣息していたことが確認されॊ‫؛‬ĚĚŝƚŝŽŶĂů/ŶƉƵƚ৹ਪभ੥ટ͕ਰৣभহৰऋ௴௄औोऽखञ͘
‫؞‬जभ৉ୠऋऊणथ਷ୠटढञऒध॑ંघᇊ஋గಽृ͕⽔底環境の特徴を⽰す化⽯層は発⾒されなかった‫؞‬ૌுप਷ୠऋோ૔खथःञৎ਋म્৒औोऩऊढञ
・同じ地層から他の⽔⽣⽣物の化⽯が発⾒されなかったऒभऒध॑ਭऐथ͕ँऩञमਰৣभਕणभ৭උ࿔ऊै঳ण॑৭वऒधऋदऌऽघ͘
ϭ͗ෘହमਠৎਡदमਭઍऔोॊञी͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
Ϯ͗ෘହमমସ৓दऩःఊਫ॑૑ਏधघॊञी͕ఊਫ॑઱ख͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
ϯ͗ෘହम෻౯औोॊञी͕ৗखःෘହभਫ਼઒॑઩ीॊ͘
৭උ࿔ϭ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁৭උ࿔Ϯउेलϯ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ৗखःෘହ͗΀ऒऒपਖϭभ৚௦΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁DŽĚĞůKƵƚƉƵƚ΀ϯ͗ෘହम෻౯औोॊञी͕ৗखःෘହभਫ਼઒॑઩ीॊ΁ৗखःෘହ͗この⿂の化⽯は、他の地域から運ばれてきた可能性がある。地質学的な変化（例えば洪⽔や⼟砂崩れなど）や、⼈為的な活動（例えば古代の⼈々が⿂を狩猟し、運搬してきたなど）によって、⿂の化⽯が内陸部に移動した。
ෘହऊै଑ऊोॊ੒೾͗44.1

実験 2：仮説推論を適切に継続することが可能かどうかの検証
実験方法

実験 1 の結果を受けて, 実験 2 では, 提案手法によって GPT-4 が仮説推論を適切に推し進めることができるか検証する. 具体的には, まず GPT-4 が適切な仮説を安定的に生成できることが分かっている「陸地のずっと内側で魚の化石が見つかった」という仮想的な事実について提案手法によって仮説を生成させる. このとき, 仮説と共に生成される, 仮説から導かれる予測を正しいと言うために観察されるべきとモデルが主張する事柄が, 実際に観察されたか否かを図 2 に示したような追加のプロンプティングとして与えたとき, それを受けたモデルが自身の仮説を適切に受容・修正・拒否することができるかということを検証する.
また, 追加プロンプティングによる事柄の与え方は,モデルによる予測と反する事柄だけを観察された事実として与えた場合, モデルによる予測と一致する事柄だ
けを観察された事実として与えた場合, そして, モデルによる予測と一致する事柄と反する事柄の両方を観察された事実として与えた場合に分けて実験する.

ϭ͘ 化⽯が⾒つかった地層は、遠⽅の⽔域の地層と類似しているか、あるいは異なる地層の間に挟まोथःॊ‫؛‬Ϯ͘ ຂभ৲લभ৳ோ૾ଙऋ‫ؚ‬ઈဦपेॊ્ඉ‫ق‬୊௤ृ༂ራऩन‫ં॑ك‬खथःॊ‫؛‬ϯ͘ この地域の周辺に、同じ時期の⽔域が存在していた証拠が⾒つかる。
௴௄औोॊसऌহৰ͗
ϭ͘ 化⽯が発⾒された地層の地質学的な分析により、化⽯が他の場所から運ばれてきたことを⽰唆する証拠（異なる地層の組み合わせ、遠⽅の⽔域の特徴を⽰す砂や岩⽯など）が⾒つかる。
Ϯ͘ ৲લभถ಍ऩীෲपेॉ‫ؚ‬ઈဦभૌஙदেगञ૭ચਙभँॊ્ඉ‫ق‬༂ራृ୊௤‫ك‬ऋનੳऔोॊ‫؛‬ϯ͘ 地質学的、地理学的な調査により、この地域の近くに同じ時期の⽔域が存在していた可能性を⽰す証拠が⾒つかる。

図 6: 予測と反する事柄のみを与えた場合の推論の進行.

GPT-4 とのやり取りの例においては, モデルによる選択を赤色のマーカー, 生成された仮説を緑色のマーカー, そこから導かれた予測を正しいと言うために観察されるべきとする事柄と, それらが観察されたか否かを追加プロンプティングで与えた部分を黄色のマーカーで示す.

4.2

実験結果

図 6 に, モデルの予測を反する事柄のみを観察された事実として追加プロンプティングで与えた場合の推論の進行を示す. この場合, モデルは与えられた事柄を受けて自身の仮説を拒否し, そのたびに新しい仮説を生成して仮説推論を継続した. 推論が進むにつれて仮説の尤もらしさは減じられていくような印象を受けた.

DŽĚĞůKƵƚƉƵƚ

DŽĚĞůKƵƚƉƵƚ

ෘହ͗内陸で⿂の化⽯が⾒つかった事実は、過去にその地域が⽔域（海や湖など）であったという証拠です。数百万年前、その地域は海または⼤きな湖の⼀部で、⿂が豊富に⽣息していた可能性があります。地球の地質学的プロセスにより、その⽔域は徐々に陸地に変わり、現在の内陸地形になっञधઅइैोऽघ‫؛‬ෘହ͗この地域が以前は海や⼤きな湖の⼀部であったが、⻑い地質学的期間を経て陸地になった。過去の海洋や湖の存在は、堆積層の分析や地層の構造によって裏付けられる可能性がある。

ෘହऊै଑ऊोॊ੒೾͗ϭ͘ ⿂の化⽯が⾒つかった地層には、他の海洋⽣物や湖の⽣物の化⽯も含まれている可能性がある。
Ϯ͘ この地域の地質学的調査により、古い海洋や湖の底を⽰す堆積物や特徴的な地層が⾒つかる可能ਙऋँॊ‫؛‬ϯ͘ ৉ୠभ৉஄ृ৉ସऊै‫ؚ‬ऊणथभਲ഍଍ृູ഍଍भ඄ऋ௴௄दऌॊऊुखोऩः‫؛‬௴௄औोॊसऌহৰ͗

ϭ͘ 同じ地域で他の海洋⽣物や湖の⽣物の化⽯が⾒つかる可能性が⾼い。
Ϯ͘ 地層の分析から、その地域が過去に⽔域であったことを⽰す証拠（例えば、⽔⽣植物の化⽯、⽔中の堆積物など）が⾒つかるはずです。
ϯ͘ 地質学的調査により、過去にその地域が海や湖に接していたことを⽰す地形学的特徴（例えば、古代の海岸線、堆積物の層）が⾒つかる可能性がある。
௴௄औोॊसऌহৰ͗
ϭ͘ 同じ地層や近隣地域で他の海洋⽣物や湖の⽣物の化⽯が発⾒される。
Ϯ͘ ৉ಽभ৲લ੶ஈृᇊ஋੟भীෲऊै‫ؚ‬जभ৉ୠऋૌுप਷ୠदँढञऒध॑ંघ৥નऩ઒ುऋ੭ैोॊ‫؛‬ϯ͘ 地質学的な証拠（例えば、地形学的特徴、堆積物の層の分析）から、その地域がかつて⽔域であったことを裏付ける情報が得られる。

ෘହऊै଑ऊोॊ੒೾͗ϭ͘ 同じ地層から海藻や⾙殻、⿂以外の⽔⽣⽣物の化⽯が⾒つかること。
Ϯ͘ 地質学的調査によって、海洋や湖の堆積物や、その他の関連する地質学的特徴（例えば、波の作৷पेॊᇊ஋੟भಽ‫ك‬ऋનੳऔोॊऒध‫؛‬ϯ͘ ৉஄ীෲृ৉ସ৾৓઒ುपेढथ‫ؚ‬ऊणथभਲ഍଍ृູ഍଍ऋ௓৒औो‫ؚ‬जभ௓৒ऋਠ૔भ৉஄धତ়ਙ॑੅णऒध‫؛‬ĚĚŝƚŝŽŶĂů/ŶƉƵƚ৹ਪभ੥ટ͕ਰৣभহৰऋ௴௄औोऽखञ͘

ĚĚŝƚŝŽŶĂů/ŶƉƵƚ৹ਪभ੥ટ͕ਰৣभহৰऋ௴௄औोऽखञ͘
・同じ地層や近隣地域で他の海洋⽣物や湖の⽣物の化⽯が発⾒された。
‫؞‬৉ಽभ৲લ੶ஈृᇊ஋੟भীෲऊै‫ؚ‬जभ৉ୠऋૌுप਷ୠदँढञऒध॑ંघ৥નऩ઒ುऋ੭
ैोञ‫؛‬
・地質学的な証拠（例えば、地形学的特徴、堆積物の層の分析）から、その地域がかつて⽔域であったことを裏付ける情報が得られた。
ऒभऒध॑ਭऐथ͕ँऩञमਰৣभਕणभ৭උ࿔ऊै঳ण॑৭वऒधऋदऌऽघ͘ϭ͗ෘହमਠৎਡदमਭઍऔोॊञी͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘Ϯ͗ෘହमমସ৓दऩःఊਫ॑૑ਏधघॊञी͕ఊਫ॑઱ख͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
ϯ͗ෘହम෻౯औोॊञी͕ৗखःෘହभਫ਼઒॑઩ीॊ͘
৭උ࿔ϭ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁৭උ࿔Ϯउेलϯ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ৗखःෘହ͗΀ऒऒपਖϭभ৚௦΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁DŽĚĞůKƵƚƉƵƚ
΀৭॒ट৭උ࿔΁ϭ͗ෘହमਠৎਡदमਭઍऔोॊञी͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘
ෘହऊै଑ऊोॊ੒೾͗
ϭ͘ 追加の地層や地域で、さらに多様な海洋⽣物や湖の⽣物の化⽯が⾒つかる可能性がある。
Ϯ͘ ৉ಽभऔैऩॊীෲऊै‫ؚ‬जभ৉ୠऋ્৒भ৉ସৎ৻प਷ୠदँढञऒध॑ંघ‫ेؚ‬ॉถ಍ऩ઒
拠が発⾒される。
ϯ͘ ৉ସ৾৓৹ਪऋਤिपणो‫ؚ‬ૌுभ਷ୠभপऌऔृ஄૾‫ؚ‬েଙ௺भ્ඉपঢ়घॊेॉ఻৬৓ऩੲਾऋ৥ैऊपऩॊ‫؛‬௴௄औोॊसऌহৰ͗
ϭ͘ 同様の地層や他の近隣地域での追加的な化⽯の発⾒。
Ϯ͘ 地層の詳細な分析から、その地域が特定の時期にどのような⽔域であったか（例えば、深海、沿岸、湖沼等）を⽰す証拠の発⾒。
ϯ͘ ৉ସ৾৓৹ਪऊै‫ؚ‬ૌுभ਷ୠभ఻৬৓ऩ્ඉृেଙ௺पঢ়घॊੲਾभ৥ન৲‫؛‬• 同じ地層から海藻や⾙殻、⿂以外の⽔⽣⽣物の化⽯が⾒つかった。
• 地質学的調査によって、海洋や湖の堆積物や、その他の関連する地質学的特徴（例えば、波の作৷पेॊᇊ஋੟भಽ‫ك‬मનੳऔोऩऊढञ‫؛‬• ৉஄ীෲृ৉ସ৾৓઒ುपेढथ‫ؚ‬ऊणथभਲ഍଍ृູ഍଍ऋ௓৒औोऩऊढञ‫؛‬ऒभऒध॑ਭऐथ͕ँऩञमਰৣभਕणभ৭උ࿔ऊै঳ण॑৭वऒधऋदऌऽघ͘
ϭ͗ෘହमਠৎਡदमਭઍऔोॊञी͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘Ϯ͗ෘହमমସ৓दऩःఊਫ॑૑ਏधघॊञी͕ఊਫ॑઱ख͕ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ͘ϯ͗ෘହम෻౯औोॊञी͕ৗखःෘହभਫ਼઒॑઩ीॊ͘৭උ࿔ϭ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁৭උ࿔Ϯउेलϯ॑৭॒टৃ়भ৚௦भইज़‫ش‬ঐॵॺ॑ਰৣपંखऽघ͘΀৭॒ट৭උ࿔΁ৗखःෘହ͗΀ऒऒपਖϭभ৚௦΁ෘହऊै଑ऊोॊ੒೾͗΀ऒऒपਖϮभ৚௦΁௴௄औोॊसऌহৰ͗΀ऒऒपਖϯभ৚௦΁DŽĚĞůKƵƚƉƵƚ΀৭॒ट৭උ࿔΁͗Ϯ͗ෘହमমସ৓दऩःఊਫ॑૑ਏधघॊञी‫ؚ‬ఊਫ॑઱ख‫ؚ‬ਬऌਢऌऒभෘହभਫ਼઒॑ਢऐॊ‫؛‬ৗखःෘହ͗地域が以前に海洋や湖であったことを⽰す地質学的証拠が⾒つからなかったため、別भ૭ચਙधखथ‫ؚ‬ऒभ৉ୠपमऊणथཤ਷भఖਆृູऋோ૔ख‫ؚ‬जोऋਠ૔भ৉஄प૗৲खञऒध
を仮定する。これは河川や湖に由来する堆積物の特徴、例えば粗⼤な砂や砂利、河川の流れによるᇊ஋ಽभঃॱ‫ش‬থपेढथਫ਼઒औोअॊ‫؛‬ෘହऊै଑ऊोॊ੒೾͗
ϭ͘ ⿂の化⽯が発⾒された地層には、淡⽔⽣物の化⽯も含まれている可能性がある（例͗ཤ਷ຂ‫ؚ‬਷েᆦད‫ؚ‬ཤ਷ਙभ༏థऩन‫؛ك‬Ϯ͘ 地質学的調査では、河川や湖由来の特徴的な堆積物（例͗粗⼤な砂や砂利、河川由来の層状構ୗ‫ك‬ऋનੳऔोॊ૭ચਙऋँॊ‫؛‬ϯ͘ 地形分析や地質学的証拠から、古い河川の流れや湖の存在を⽰す特徴が⾒つかるかもしれない。
௴௄औोॊसऌহৰ͗
ϭ͘ 同じ地層から淡⽔性⽣物の化⽯が発⾒されること。
Ϯ͘ 地質学的調査により、河川や湖由来の堆積物の特徴（例͗粗⼤な砂や砂利、河川由来の層状構ୗ‫ك‬ऋનੳऔोॊऒध‫؛‬ϯ͘ 地形分析や地質学的証拠により、古い河川の流れや湖の存在が推定されること。

図 7: 予測と一致する事柄のみを与えた場合の推論の進行.

次に, 図 7 に, モデルの予測と一致する事柄のみを観察された事実として追加プロンプティングで与えた場合の推論の進行を示す. この場合, モデルは与えられた事柄を受けて自身の仮説を受容して, 仮説推論を継続した. 始めの出力で演繹した予測をより深く検証するような方向に推論を進めており, 一見仮説の尤もらしさは向上するようだったが, 自身の仮説が怪しくなることを避けているような印象を受けた.
最後に, 図 8 に, モデルの予測と一致する事柄と反する事柄の両方を観察された事実として追加プロンプ
ティングで与えた場合の推論の進行を示す. 与えられた事柄を受けて自身の仮説を修正したり拒否したりして, 仮説推論を継続した. また, どの場合でも, 演繹と帰納の段階では誤りらしい誤りは見られなかった.
この結果から, GPT-4 には自身の仮説が怪しくなる

図 8: 予測と一致する事柄と反する事柄の両方を与えた場合の推論の進行.

ような検証を避けようとする消極的な傾向があることが示唆された. また, 事実として与えられた事柄が総体として説明することが難しい事柄になっていくとき, 生成される仮説の尤もらしさが減じられていくことから,GPT-4 の仮説推論性能は限られたものであるということや, 提案手法はモデルの仮説推論性能自体は高めないということが再び示唆された. しかし, 演繹と帰納の段階では誤りらしい誤りは見られないことから, GPT-4は仮説推論を適切に継続できることが示唆された.

5

おわりに

本研究では, Peirce の理論に基づいたプロンプティング手法を提案した. 実験の結果, GPT-4 の仮説推論性能は限られたものであることや, 提案するプロンプティング手法はモデルの仮説推論性能自体は高めないものの, 生成する仮説の検証可能性を高め, 適切な仮説推論の継続を助けることが分かった.
今後の課題として, 仮説推論性能を高めるプロンプティング手法の開発や, モデルの仮説検証に対する消極的な姿勢を是正するプロンプティング手法の開発などが挙げられる.

参考文献[1] J. Wei et al.: Chain of Thought Prompting Elicits Reasoning in Large Language Models, Proc.
of NeurIPS, 2022.
[2] J. Huang and K. C. Chang: Towards Reasoningin Large Language Models: A Survey, Proc. ofACL, 2023.
[3] 米盛祐二: アブダクション, 勁草書房, 2007.
[4] C. D. Manning: Human Language Understanding & Reasoning, Daedalus, vol. 151, No. 2,pp. 127-138, 2022.
[5] D. R. Mitchell et al.: Facing the Facts: Adaptive Trade-oﬀs Alongbody Size Ranges Determine Mammaliancraniofacial Scaling, BiologicalReviews, 2023.