言語処理学会 第30回年次大会 発表論文集（2024年3月）

NeuBAROCO データセットによる大規模言語モデルの推論能力の検証森下 貴允 1

安東 里沙子 1

阿部 裕彦 1

小関 健太郎 1,2 峯島 宏次 1 岡田 光弘 1
2 東京大学{morishita,risakochaan,hirohiko-abe}@keio.jp kentaro.ozeki@gmail.com{minesima,okada}@abelard.flet.keio.ac.jp
1 慶應義塾大学

概要
この論文では、「現在の大規模言語モデルが論理推論をどれくらい正確に行うことができるのか」という問いを、特に大規模言語モデルが人間と同様の推論バイアスを示すかどうかという点に着目して探究する。論理推論として、論理学だけでなく認知科学の中で人間が自然に行う演繹推論の形式として広く研究されている三段論法に注目し、NeuBAROCOという三段論法データセットを導入する。このデー
タセットは、もともと三段論法を用いて人間の推論能力を評価する心理実験のために設計されたもの
で、英語と日本語の三段論法推論を含んでいる。現
在の代表的な大規模言語モデルで実験を行った結果、現行のモデルは人間と同様の推論バイアスを示
し、特に含意関係が含意でも矛盾でもない推論問題
で大きな改善の余地があることが示唆された。

1

はじめに

大規模言語モデル（Large Language Model, LLM）
が一定の成功を収め、社会の変化に直結するような基盤技術として期待が高まる一方で、それが従来のAI に期待されてきたような正確な推論を自然言語上でどれくらい行うことができるのかはいまだ明らかではない。この論文では、人間の自然な演繹推論の形式として広く研究されている三段論法に注目
し、LLM の推論能力を検証するための NeuBAROCO
データセットを導入する。このデータセットは、もともと三段論法を用いて人間の推論能力を評価する
心理実験のために設計されたもので [1]、これを転用して、LLM が人間と同様のエラー傾向、すなわ
ち、推論バイアスを示すかどうかを検証する。
推論の認知科学研究 [2, 3, 4] では、人間が様々な
推論バイアスを示すことが多様な実験を通して明らかにされているが、その知見を活用して機械学習モ
デルの評価にも利用できる推論データセットを構築する試みは十分に進展していない。NeuBAROCO
は、日本語と英語のパラレル推論データセットであり、各問題についてどのような推論バイアスが関連しているのか、詳細なタグが付与されている。またその一部には一連の心理実験 [5, 1] に基づいて、人間の正解率が対応付けられている。
以下では、言語処理での三段論法推論の関連研究を紹介し（2 節）、NeuBAROCO データセットの特徴について説明した上で（3 節）、このデータセットを用いて、代表的な LLM の推論能力を検証したベー
スライン実験の結果について報告する（4 節）。

2

背景

2.1

三段論法

自然言語推論 (Natural Language Inference, NLI) とは、前提文と結論文（仮説文とも呼ばれる）の間に含意関係が成り立つか否かを判定するタスクである。
本研究では、含意 (entailment)、矛盾 (contradiction)、
含意でも矛盾でもない、すなわち、中立 (neutral) という 3 つのラベルに分類する NLI タスクに着目する。三段論法とは、推論の中でも、2 つの前提と 1つの結論から成るものであり、前提と結論は表 1 の4 つの形の基本的な量化文から構成される。
タイプ 文
A
E
I
O
表1

すべての 𝑆 は 𝑃 である
どの 𝑆 も 𝑃 でないある 𝑆 は 𝑃 である
ある 𝑆 は 𝑃 でない

説明
全称肯定文
全称否定文
特称肯定文
特称否定文

三段論法を構成する 4 つのタイプの文

例えば、次の三段論法は含意の例であり、前提文(P1, P2) が真であれば結論文 (H) もまた真である。

― 931 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

P1: すべての A は B である
P2: すべての B は C であるすることを明らかにしている。これらの研究では、

H: すべての A は C である
次の例は、含意でも矛盾でもない中立の例である。
P1: すべての A は B である

ない場合、結論の文が意味のない単語から構成され

P2: すべての C は B である

か非妥当かを LLM に 2 択で判定させている。これ

H: すべての A は C である
三段論法は、形式的には単項述語論理で表現可能

らの実験では、結論の内容が信念に相反せず、推論な比較的単純な論理推論であるが、人間にとって難し、推論が非妥当な場合に、正解率が高いことが明

結論の内容が私たちの信念に相反する場合、相反しる場合に分類し、それぞれの場合で 2 つの前提と 1
つの結論の組み合わせが三段論法の推論として妥当が妥当な場合、あるいは、結論の内容が信念に相反しい推論であることが知られている [6]。どのようらかになっている。なお、Lampinen et al. [12] では、なタイプの三段論法が人間の推論エラーを引き起こ

LLM の生成する確率分布と人間の解答時の反応時しやすいか、つまり、推論バイアスを伴うかは認知間を確信度の尺度として比較している。LLM では、科学の分野で広く研究されている [2, 3, 4]。

結論の内容が信念に整合する場合に、確信度がより2.2高いことが明らかにされている。

関連研究

3

NeuBAROCO データセット

学習・評価用データセットとして、Dong et al. [7] やGubelmann et al. [8] では、WordNet 等の言語資源や独

3.1

BAROCO プロジェクト

自の単語リストを用い、三段論法のタイプに基づく

BAROCO と呼ばれ、大規模な被験者推論能力の研究

テンプレートベースの自動生成手法によってデータのために設計・開発された。BAROCO は、人間の推セットを構築している。Gubelmann et al. [8] のデー論バイアスを伴う典型例の一つであるいわゆる信念

三段論法に着目した機械学習・深層学習モデルの研究は近年盛んに行われている。三段論法推論の本研究の背景にある初期の三段論法問題集は

タセットは格ラベルおよび含意、矛盾、中立の 3 値

相反課題（3.2 節を参照）を含む。また、標準的なの正解ラベルを含むが、その他の情報は付加され言語的課題のほかに、空間的認知をテストするオイていない。Avicenna [9] は、クラウドソーシングに

ラー図課題も含み、これらの推論形式の相関及び双よって構築されたデータセットであり、2 つの文を生児法による遺伝要因と環境要因の調査に用いられ前提として何らかの三段論法の関係が成り立つかた [13, 1]。また、行動経済学の実験課題と組み合わどうかの 2 値の正解ラベル（成り立つ場合はさらにせた研究も行われている [5]。

結論の文）を含むが、格ラベルなどは含まれていな
い。これらはいずれも英語のデータセットである。

Ando et al. [14] は、本研究に先行する予備的な研究であり、BAROCO 問題集を LLM の評価に応用す

Wu et al. [10] は、SYLLOBASE というデータセッ

ることを目的として BAROCO 問題集の一部を転用

トを構築している。SYLLOBASE は、自然言語で書して、375 問の三段論法推論から構成される推論

かれた 5 種類のタイプの三段論法を含んでおり、既存の知識ベースから自動で作成された 50,000 の

データセット NeuBAROCO を導入した。各推論課題

データからなる。また、テストセットとして 1,000

与され、さらに後述の信念相反などの推論バイアス

データが人手でアノテーションされている。Wu etを引き起こす推論課題を含んでいる。本研究ではal. [10] では、zero-shot および few-shot の例示と、生Ando et al. [14] の NeuBAROCO 三段論法データセッ

成タスクと選択タスクが実施されている。生成タス

トをさらに整備・拡張し、同時に、被験者実験で一クでは、学習済みのモデルの正解率がより高い傾向

般的な 5 択選択課題を追加し、現在の代表的な LLMにあり、全体的に、結果の評価で使用する指標に応で評価実験を行う。

には、含意、矛盾、中立の 3 値のラベルが人手で付じてモデルの正解率が大きく異なっている。選択タ

データセットの概要

スクでは、全体の正解率は 70%程度で、定言三段論

3.2

法での正解率が低かった。
Dasgupta et al. [11] および Lampinen et al. [12] は、

オリジナルの BAROCO 問題集は、2 つの前提と、結論となりうる複数の選択肢で構成されている。

三段論法の結論の内容が推論の妥当性の判断に影響

BAROCO 問題集の各問題を NLI モデルの評価で一般― 932 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

的に使用される形式に変換することで NeuBAROCO

区別するため、「中立」とラベル付けされている推

データセットを構築した。NeuBAROCO は現在、870論のうち、前提に全称肯定文もしくは特称否定文が問の 3 択判定課題、すなわち、推論を含意・矛盾・含まれており、少なくとも一つの前提のタームを入中立に分類する課題を含む。その内訳は、含意に分れ替えて解釈した場合にラベルが中立から含意に変類される問題が 282 問、矛盾に分類される問題がわるような推論を、Conversion とラベル付けした。

204 問、中立に分類される問題が 384 問となっていタイプ

る。BAROCO 問題集はすべて日本語で書かれてい記号(170 件)

るが、NeuBAROCO データセットでは、それらの問
題を英語に翻訳し、日本語・英語の対訳推論コーパ

信念相反あり(244 件)スとして利用可能である。
NeuBAROCO データセットは、元の BAROCO 問題

信念相反なし(406 件)集の様式を踏襲し、2 つの前提と、結論となりうる 5
つの選択肢からなる 80 問の問題（5 択選択課題）を含む。各推論に対し、正解となる選択肢の番号がラベル付けされている。5 択選択課題の例を付録 A.3

Conversion(68 件)に示す。この問題の正解は 4 の選択肢である。

3.3

アノテーション

推論バイアスを伴うタイプの問題を分類するため、NeuBAROCO データセットの各推論を、記号、

表 2 NeuBAROCO データセットで記号、信念相反あり、
信念相反なし、Coversion とラベル付けされた推論の例

信念相反あり、信念相反なし、Conversion の 4 つの言語異なるタイプに分類してラベル付けを行った。それ

英語

ぞれの件数と例を表 2 に示す。
記号

すべてのタームが抽象的な記号（アルファベット）の文から構成されている場合、推論は「記号」とラベル付けされる。人間にとって、これらは信念に対して中立であると考えられる。
信念相反あり 前提もしくは結論の少なくとも一つが常識的な信念と一致しない場合、推論は「信念相反あり」とラベル付けされる。表 2 の例では、「すべての動物はトマトである」と「ある人間はトマトである」が常識に反する内容となっている。

例
P1: すべての A は B である
P2: すべての B は C である
C: すべての A は C である
P1: ある動物は人間である
P2: すべての動物はトマトである
C: ある人間はトマトである
P1: 太郎のある友人はポールの友人である
P2: ポールのすべての友人はドイツ人である
C: 太郎のある友人はドイツ人である(全称肯定文が含まれている例)
P1: すべての B は A である
P2: すべての B は C である
C: すべての A は C である(特称否定文が含まれている例)
P1: すべてのチンパンジーは動物である
P2: ある動物は霊長類でない
C: ある霊長類はチンパンジーでない

日本語
表3

モデル
GPT-3.5
GPT-4
GPT-3.5
GPT-4

正解率
48.75
83.75
36.25
95.00

5 択選択課題における各モデルの正解率 (%, n=80)

実験

4

LLM の推論能力の評価のため、NeuBAROCO デー
タセットを用いて以下の実験を行った。

4.1

実験設定

前提と結論のすべてで信念相反が2 種類の課題について、問題の解答方法の指示と、生じていない場合、推論は「信念相反なし」とラベ

本データセットから生成した問題 1 題を含むテキ

信念相反なしル付けされる。

ストを 1 回の試行の入力（プロンプト）として、問Conversion

三段論法の代表的な推論バイアスと題数分の試行における言語モデルの出力を収集し、して、Conversion error が知られている [2, 6]。例えば、表 2 の全称肯定文が含まれている例では、「す全体および分類ごとの正解率を尺度として評価した。実験には、OpenAI 社が API を提供する GPT-3.5

べての B は A である」を「すべての A は B である」

(gpt-3.5-turbo-1106) お よ び GPT-4 (gpt-4-0613)1）を 言と読み替えると、正解は「含意」となる。また、特語モデルとして用いた。解答の長さを制限するた

称否定文が含まれている例では、「ある動物は霊長

め、最大出力トークン長を 10 に設定し、その他の類でない」を「ある霊長類はチンパンジーでない」

ハイパーパラメータは既定値を用いた。

と解釈すれば、正解が「含意」となる。Conversion
error とはこのようにタームを誤って置換することと日本語の各言語で問題とプロンプトを生成した。

で起こるエラーのことである。このタイプの推論を

2 種類の課題はそれぞれ以下の形式であり、英語

1） https://platform.openai.com/docs/models/― 933 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

言語

モデル
GPT-3.5(few-shot)
GPT-4(few-shot)
GPT-3.5(few-shot)
GPT-4(few-shot)

英語

日本語

言語
英語
日本語

全体
51.61
48.39
69.89
75.29
38.16
40.23
70.11
79.31

含意
83.33
88.65
81.21
83.69
82.27
90.43
88.65
92.20

表4

3 択判定課題における各モデルの正解率 (%, n=870)

モデル
GPT-3.5
GPT-4
GPT-3.5
GPT-4

矛盾
40.20
27.45
89.71
87.75
46.57
33.82
95.59
89.22

中立
34.38
29.95
51.04
62.50
1.30
6.77
42.97
64.58

正解率
48.75
83.75
36.25
95.00

記号
55.29
47.06
77.65
80.00
38.82
39.41
70.59
83.53

信念相反なし
58.62
53.69
74.14
80.05
45.32
46.80
77.09
81.77

信念相反あり
36.07
38.11
55.74
63.93
25.82
31.15
59.84
74.18

Conversion
22.06
13.24
38.24
48.53
0.00
2.94
41.18
72.06

解ラベルが「含意」である問題の正解率は高い。一方、英語・日本語ともに、正解ラベルが「中立」である問題の正解率は他の正解ラベルでの正解率に比
べて GPT-3.5 および GPT-4 ともに低く、few-shot プ

表 5 5 択選択課題における各モデルの正解率 (%, n=80)

ロンプトを追加した GPT-4 でも 6 割台に留まる。

3 択判定課題

三段論法の大前提・小前提と仮説類される問題の正解率が多くのケースで全体正解率（結論の候補）を提示し、「含意」、
「矛盾」、
「どちら
でもない」のいずれかを一語で解答させる。この課を上回っている。また、GPT-4、GPT-3.5 とも、信念

題では、(i) 指示と問題のみを与えるパターン（例示が低いが、GPT-4 ではその差は少ない。Conversion

なし、zero-shot プロンプト）と、(ii) 正しい三段論法

error を引き起こす問題（Conversion タイプに分類さの例数例を指示と問題の間に挿入したパターン（例れる問題）の正解率は、ほとんどのケースで全体正示あり、few-shot プロンプト）の 2 パターンで実験を解率より顕著に低くなっている。

問題のタイプごとの正解率では、記号タイプに分相反ありの問題は信念相反なしの問題よりも正解率行った。パターン (i) のプロンプトの例を付録 A.1、パターン (ii) で挿入した例示を付録 A.2 に示す。

5 択選択課題

GPT-4 の正解率は英語で 83.75%、

三段論法の大前提・小前提を提示

日本語で 95.00%であり、GPT-3.5 をそれぞれ 35.00
ポイントと 58.75 ポイント上回り高い性能を示した。

し、結論の候補 4 つと「どれでもない」の 5 つの選

また、3 択判定課題、5 択選択課題のいずれにおい択肢から正しい選択肢の番号を解答させる。プロンても、GPT-4 は英語より日本語で正解率が高い傾向

プトの例を付録 A.3 に示す。

が見られた。5 択選択課題の正答率は、3 択判定課

5 択選択課題

4.2

題の含意のケースの正答率と同様に高い傾向を示し結果と分析ている。これは、5 択選択課題では基本的に前提文

3 択判定課題と 5 択選択課題の評価結果をそれぞれ表 4 と表 5 に示す。3 択判定課題について、以下と正解の結論文の関係は含意であり、中立の問題は含まれないことが影響していると考えられる。

では例示なし（zero-shot プロンプト）の場合について述べるが、GPT-4 では特に例示の追加（few-shot

おわりに

5

プロンプト）によって英語と日本語のいずれにもお

本稿では LLM の論理推論能力の検証のため、日いても全体正解率の向上が見られ、英語で 5.40 ポイ

本語・英語の三段論法からなる NeuBAROCO データ

ント、日本語で 9.20 ポイント高くなっている。

セットを導入した。ベースライン実験の結果、現状

3 択判定課題

英語では、GPT-4 が 69.89%の全体の LLM は含意ラベルが「中立」の問題、特に人間正解率で GPT-3.5 を 18.28 ポイント上回った。他方
で、正解ラベルが「中立」である問題の正解率は、の推論バイアスとして知られている Conversion error
を引き起こす問題に関して大きな改善の余地がある

GPT-3.5 から GPT-4 で向上しているものの、GPT-4ことが示唆された。オリジナルの BAROCO 問題集でも 51.04%と、他の正解ラベルでの正解率に比べて（5 択選択課題）では、各タイプの三段論法に対して30 から 40 ポイント程度低くなっている。

大規模な被験者実験による正答率が付与されてい日本語では、GPT-3.5 の全体正解率が 38.16%に留まっているが、GPT-4 では 70.11%と英語の場合と同る。人間の正答率との詳細な比較は今後の課題の一つである。

等以上に改善している。いずれのモデルでも、正― 934 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

5.1

謝辞

BAROCO 問題集の初期バージョンについて情報提供をいただいた敷島千鶴氏、佐藤有理氏に感謝します。本研究は、JST、CREST、JPMJCR2114、JSPS
科研費 JP21H00467、JP21K18339、JP21K00016 の助成を受けたものです。

Chan, Hannah R. Sheahan, Antonia Creswell, Dharshan
Kumaran, James L. McClelland, and Felix Hill. Language models show human-like content eﬀects on reasoning tasks, 2023.
[13] Chizuru Shikishima, Juko Ando, Pierre Grialou, Ryo Takemura, and Mitsuhiro Okada. A behavioural genetic studyof syllogism solving using linguistic and graphical representations: A preliminary report. In Images and reasoning: Interdisciplinary conference series on reasoning studies, Vol. 1, pp. 69–85. Keio University Press

参考文献[1] Chizuru Shikishima, Kai Hiraishi, Shinji Yamagata, Yutaro Sugimoto, Ryo Takemura, Koken Ozaki, Mitsuhiro
Okada, Tatsushi Toda, and Juko Ando. Is g an entity?
a Japanese twin study using syllogisms and intelligencetests. Intelligence, Vol. 37, No. 3, pp. 256–267, 2009.
[2] Jonathan St.B. T. Evans, Stephen E. Newstead, and Ruth
M. J. Byrne. Human Reasoning: The Psychology of
Deduction. Psychology Press, 1993.
[3] Ken Manktelow. Reasoning and Thinking. Psychology
press, 1999. K. マンクテロウ『思考と推論: 理性・判断・意思決定の心理学』 服部雅史・山祐嗣（監訳）,
北大路書房, 2015.
[4] Keith Stenning and Michiel Van Lambalgen. Human Reasoning and Cognitive Science. MIT Press, 2012.
[5] Chizuru Shikishima, Kai Hiraishi, Shinji Yamagata, Juko
Ando, and Mitsuhiro Okada. Genetic factors of individual
diﬀerences in decision making in economic behavior: A
Japanese twin study using the Allais problem. Frontiersin Psychology, Vol. 6, p. 1712, 2015.
[6] Bart Geurts. Reasoning with quantiﬁers. Cognition,
Vol. 86, No. 3, pp. 223–251, 2003.
[7] Tiansi Dong, Chengjiang Li, Christian Bauckhage, Juanzi
Li, Stefan Wrobel, and Armin B Cremers. Learning
syllogism with euler neural-networks. arXiv preprint
arXiv:2007.07320, 2020.
[8] Reto Gubelmann, Christina Niklaus, and Siegfried Handschuh. A philosophically-informed contribution to the generalization problem of neural natural language inference:
Shallow heuristics, bias, and the varieties of inference. In

Tokyo, 2005.
[14] Risako Ando, Takanobu Morishita, Hirohiko Abe, Koji
Mineshima, and Mitsuhiro Okada. Evaluating large language models with NeuBAROCO: Syllogistic reasoning
ability and human-like biases. In Stergios Chatzikyriakidis and Valeria de Paiva, editors, Proceedings ofthe 4th Natural Logic Meets Machine Learning Workshop, pp. 1–11, Nancy, France, June 2023. Association for

Computational Linguistics.

Proceedings of the 3rd Natural Logic Meets Machine
Learning Workshop (NALOMA III), pp. 38–50, 2022.

[9] Zeinab Aghahadi and Alireza Talebpour. Avicenna: achallenge dataset for natural language generation toward
commonsense syllogistic reasoning. Journal of Applied
Non-Classical Logics, Vol. 32, No. 1, pp. 55–71, 2022.
[10] Yongkang Wu, Meng Han, Yutao Zhu, Lei Li, Xinyu
Zhang, Ruofei Lai, Xiaoguang Li, Yuanhang Ren,
Zhicheng Dou, and Zhao Cao. Hence, socrates is mortal: A benchmark for natural language syllogistic reasoning. In Findings of the Association for Computational
Linguistics: ACL 2023, pp. 2347–2367, 2023.
[11] Ishita Dasgupta, Andrew K Lampinen, Stephanie CY
Chan, Antonia Creswell, Dharshan Kumaran, James L
McClelland, and Felix Hill. Language models show
human-like content eﬀects on reasoning. arXiv preprint
arXiv:2207.07051, 2022.
[12] Ishita Dasgupta, Andrew K. Lampinen, Stephanie C. Y.

― 935 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

付録

A.1

3 択判定課題のプロンプト例

A.2

A.3

Determine the correct logical relationship between the given

与えられた前提と仮説の正しい論理的関係を判定しなさ

premises and the hypothesis.

い。

- Answer “entailment” if the hypothesis follows logically from

- 仮説が前提から論理的に導かれる場合は「含意」と答

the premises.

えなさい。

- Answer “contradiction” if the premises and the hypothesis are- 前提と仮説が論理的に両立しない場合は「矛盾」と答

logically incompatible with each other.

えなさい。

- Answer “neither” if the relationship is neither “entailment”- その関係が「含意」でも「矛盾」でもない場合は「どnor “contradiction”.

ちらでもない」と答えなさい。

Your answer must be one word: “entailment”, “contradiction”,
or “neither”.

「含意」「矛盾」「どちらでもない」のいずれか一語で回答しなさい。

Premise 1: One friend of Taro is a friend of Paul.

前提 1: 太郎のある友人はポールの友人である。

Premise 2: All of Paul’s friends are German.

前提 2: ポールのすべての友人はドイツ人である。

Hypothesis: All of Taro’s friends are German.

仮説: 太郎のすべての友人はドイツ人である。

The answer is:

答えは:

Few-shot プロンプトで指示と課題の間に挿入した例示（3 択判定課題）
Premise 1: Some X are Y.

前提 1: ある X は Y である。

Premise 2: All Y are Z.

前提 2: すべての Y は Z である。

Hypothesis: All X are Z.

仮説: すべての X は Z である。

The answer is: neither

答えは: どちらでもない

Premise 1: Some X are Y.

前提 1: ある X は Y である。

Premise 2: All Y are Z.

前提 2: すべての Y は Z である。

Hypothesis: Some X are Z.

仮説: ある X は Z である。

The answer is: entailment

答えは: 含意

Premise 1: Some X are Y.
Premise 2: All Y are Z.

前提 1: ある X は Y である。
前提 2: すべての Y は Z である。

Hypothesis: No X are Z.

仮説: どの X も Z でない。

The answer is: contradiction

答えは: 矛盾

5 択選択課題のプロンプト例
Select one statement from the ﬁve options provided that logi-

各問題にある 2 つの前提の結論として成り立つ文を、5

cally follows as a conclusion from the two premises presented in

つの選択肢の中から 1 つだけ選んでください。番号で回

each problem. Answer by providing the number of your choice.

答してください。

Premise 1: All the rings in this box are Yuki’s rings.

前提 1: この箱の中のすべての指輪はユキの指輪である。

Premise 2: None of Yuki’s rings are gold rings.

前提 2: ユキのどの指輪も金の指輪でない。

1. All the rings inside this box are gold rings.

1. この箱の中のすべての指輪は金の指輪である。

2. Some of the rings inside this box is a gold ring.

2. この箱の中のある指輪は金の指輪である。

3. none of them.

3. どれでもない。

4. None of the rings in this box are gold rings.

4. この箱の中のどの指輪も金の指輪でない。

5. Some ring inside this box is not a gold ring.

5. この箱の中のある指輪は金の指輪でない。

The answer is:

答えは:― 936 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).