# 日本語数量表現コーパスと推論データセットの構築

小谷野華那 $\dagger$ - 谷中 曈 ${ }^{\dagger \dagger}$. 峯島 宏次 ${ }^{\dagger \dagger \dagger}$. 戸次 大介 $\dagger$
}

自然言語推論は, 前提文が真であるとき, 仮説文が真ならば含意, 偽ならば矛盾, ど ちらともいえないならば中立であると判定するタスクであり，言語理解の基礎をな すタスクの一つである。数量表現が現れる文間の推論では, 論理的含意と推意の間 で判定が異なることがある。また否定文や条件文などの文脈に数量表現が現れる推論では, 推論の向きが通常の文脈とは反転することが知られている. さらに日本語 の数量表現は出現形式が柔軟であり，様々な助数辞の種類や数量表現の用法がある. しかし, これらの意味論的・語用論的特徴に着目したコーパス, 及び, 数量表現の 理解を問うような推論データセットの構築は十分に進められていない. そこで本研究では, 既存の日本語ツリーバンクに含まれる文を用いて, 助数辞の種類, 数量表現の出現形式, 用法といった情報を付与したコーパスを構築する. その上で, この コーパスに基づき，日本語数量表現の推論データセットを構築する。また, 構築し た推論データセットを用いて, 事前学習済み言語モデルである日本語 BERT モデル が数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行った.実験の結果, 日本語 BERT モデルは, 様々な数量表現を含む推論の扱いについて課題があることを確認した。

キーワード : 数量表現, 日本語, 自然言語推論, 含意, 推意
## Constructing an Annotated Corpus and Inference Dataset for Japanese Numeral Expressions

\author{
Kana Koyano $^{\dagger}$, Hitomi Yanaka $^{\dagger \dagger}$, Koji Mineshima ${ }^{\dagger \dagger \dagger}$ and Daisuke Bekki ${ }^{\dagger}$
}

Natural language inference is a core natural language understanding task for determining whether a hypothesis is true (entailment), false (contradiction), or neither (neutral) when a set of premises is true. Logical entailment and implicature can differ when an inference contains numeral expressions. Embedding numeral expressions in contexts such as negation and conditionals can enable reversing the entailment relation between a premise and a hypothesis to that embedded in general contexts. Furthermore, numeral expressions in Japanese are characterized by the flexibility of quantifier positions, the variety of numeral suffixes, and their usages. However,

studies on developing annotated corpora focusing on these features and benchmark datasets for understanding Japanese numeral expressions have been limited. In this study, we developed a corpus that annotates each numeral expression in an existing phrase-structure-based Japanese treebank with its numeral suffix, position, and usage types. Furthermore, we constructed an inference dataset for numerical expressions based on our annotated corpus. Our inference dataset focused on inferences in which their entailment labels differ between logical entailment and implicature and contexts such as negations and conditionals where entailment labels can be reversed. Experiments were conducted using the constructed inference dataset to investigate the extent to which current standard pre-trained language models can handle inferences that require an understanding of numeral expressions. The results confirmed that the Japanese bidirectional encoder representation model cannot satisfactorily handle inferences involving various numeral expressions.

Key Words: Numeral Expressions, Japanese, Natural Language Inference, Entailment, Implicature

## 1 はじめに

日本語では数量表現が多様な形で現れる。例えば，以下の 3 つ文は, 形式は異なるが，いずれも同じ真理条件を持つ.

(1) 学生が 3 人いる.

(2) 3 人の学生がいる.

(3) 3 名の学生がいる.

(1) と (2)では, 文中において数量表現が現れる位置が異なっており, (2) と (3) では助数辞が異なっている。こうした数量表現の出現形式や助数辞の多様性は, 日本語の重要な特徴の一つであり，後述するように言語学での記述的・理論的研究が近年進んでいる. しかし, これまでのところ, これらの特徴に着目したコーパスの構築や, 言語学的な知見をふまえて日本語の数量表現の理解を問うようなデータセットの構築は，管見の限り行われていない.

自然言語理解の基礎をなすタスクの一つとして, 自然言語推論 (Natural Language Inference, NLI) がある (Cooper et al. 1994; Bowman et al. 2015). 自然言語推論は, 含意関係認識 (Recognizing Textual Entailment, RTE) とも呼ばれ，前提文が真であるとき，仮説文が必ず真なら含意 (ENTAILMENT)，必ず偽なら矛盾 (CONTRADICTION)，どちらでもないなら中立 (NEUTRAL) であることを判定するタスクである。自然言語推論では一般に意味論的推論の判定が想定されているが, 自然言語処理分野では近年, 意味論的推論だけでなく, 語用論的推論も研究の対象となっている (Jeretic et al. 2020).この 2 種類の推論は, 言語学の文献で議論されてきた含意
(entailment) と推意 (implicature) に対応する (Levinson 1983; Horn 1989; Levinson 2000). 例として，以下のような数量表現を含む前提文 $P$ と仮説文 $H$ のぺアについて考えよう.

(4) $P$ : 男性が道端に 4 人座っていた.

$H$ : 男性が道端に 5 人座っていた.

この $P$ に現れる数量表現 $\lceil 4$ 人」の解釈には, 「少なくとも 4 人座っていた」という解釈と, 「ちょうど 4 人座っていた」という 2 種類の解釈が存在する． $H$ に現れる数量表現 $\Gamma 5$ 人」についても同様である， 2 種類の解釈のうち, 前者は文の真理条件, 後者は協調の原理に基づく解釈であり, ここではそれぞれ意味論的解釈, 語用論的解釈 ${ }^{1}$ と呼ぶ， $P$ から $H$ のの推論は, 意味論的解釈のもとでは中立 (NEUTRAL) であるのに対し, 語用論的解釈のもとでは矛盾 (CONTRADICTION) となる。このように数量表現を含む前提文と仮説文のペアが与えられたとき，数量表現の解釈の仕方によって判定が異なることがあるため, 意味論的解釈と語用論的解釈を区別して考える必要がある。意味論的解釈に基づく推論を意味論的推論といい, 語用論的解釈に基づく推論を語用論的推論という.「含意ラベル」は意味論的推論の判定,「推意ラベル」は語用論的推論の判定を表し，それぞれ含意 (ENTAILMENT), 矛盾 (CONTRADICTION), 中立 (NEUTRAL)の 3 値をとる.

また，数量表現が否定文や条件節に現れる場合，通常の文脈に数量表現が現れる場合とは異なり，含意ラベルが変化することがある．表 1 の例では， $P$ から $H_{-}$の推論の含意ラべルは ENTAILMENT, $P$ から $H_{+}$への推論の含意ラベルは NEUTRAL である。つまり，「学生が 4 人以上いる（＝少なくとも 4 人いる)」は，「学生が 3 人以上いる」を含意するが，「学生が 5 人以上いる」を含意しない，一方，数量表現が否定文脈に現れる場合， $P$ から $H_{-} へ$ の推論の含意ラべルは NEUTRAL であるのに対し， $P$ から $H_{+}$の推論の含意ラベルは ENTAILMENT である。つまり,「学生が 4 人以上はいない」は「学生が 5 人以上はいない」を含意するが, 「学生が 3 人

表 1 否定文における含意ラベルの反転の例

以上はいない」を含意しない。このように，数量表現が否定文や条件節といった文脈に現れる場合（このような文脈は下方含意と呼ばれており， 4.2 節で詳細を述べる），推論の判定に影響を与えることがある.

本研究では, 助数辞の種類, 数量表現の出現形式, 用法をアノテーションした日本語の数量表現アノテーションコーパスを構築する．数量表現を含む文は， NPCMJ (NINJAL 2016) から抽出する。NPCMJ は，現代日本語の書き言葉と話し言葉に対して文の統語・意味解析情報が付与されているデータセットである。 さらに，作成した日本語数量表現アノテーションコーパスをもとに，含意ラベルと推意ラベルを付与した数量表現の推論データセットを構築する。本稿では, 数量表現コーパスおよび推論データセットの構築と, それを用いて現在の標準的な事前学習済み言語モデルの一つである日本語 BERT モデル (Devlin et al. 2019) が数量表現の理解を必要とする推論をどの程度扱えるかを調査する実験を行う．構築した数量表現コーパスおよび推論データセットは研究利用可能な形式で公開している².

## 2 関連研究

英語の自然言語推論の研究として, 数量表現を含む NLI テストセット (Naik et al. 2018) がある.この NLI テストセットには，含意関係を表すための 3 種類のラベル（含意，矛盾，中立） を付与した文ぺアが 2,532 件ずつ, 計 7,596 件の文ぺアが含まれている. 最近の研究 (Liu et al. 2019)において, この数量表現を含む NLI テストセットは，文ぺアが簡単なテンプレートに基づいて構築されているため, 大半の問題（全体の約 $82 \%$ ）はいくつかのヒューリスティクスで解くことができると指摘されている.

Jeretic et al. (2020)は, 含意, 前提, 推意という推論現象の違いに着目した英語の NLIデータセットを構築した。この NLI データセットには, Jo ate some of the cake から Jo didn't eat all of the cake が推意されるといった, 数量表現を含むいわゆるスカラー推意 (scalar implicature) による推論を含んでいる。しかし，この NLI データセットは前提文と仮説文のテンプレートから自動で構築されているため, 単純な文が多いという問題がある.

Cui et al. (2022) は，多言語で事前学習された言語モデルが，英語における様々な数量表現を含む一般化量化子のふるまいをどの程度捉えることができるかについて, 一般化量化子の理解に特化したベンチマークGQNLIを構築し, 調査を行った. GQNLIで言語モデルを評価した結果, 言語モデルの最高精度は $48 \%$ であり, 一般化量化子を捉えられていないことが NLI モデルや質問応答モデルの性能改善の課題の一つとなっていることを示した.

日本語の推論データセットとして, 形式意味論テストセットの JSeM (Kawazoe et al. 2017),
^{2}$ https://github.com/KanaKoyano/numeral-expressions-corpus
}
画像キャプションに基づく英語の推論データセットである SNLI (Bowman et al. 2015)の日本語版である JSNLI (吉越他 2020), 画像キャプションに基づく推論データセットであり, 仮説文に否定表現や受身などの多様な言語現象を含めた英語の推論データセットである SICK (Marelli et al. 2014)の日本語版である JSICK (Yanaka and Mineshima 2022), 旅行情報サイトの評判という実テキストからクラウドソーシングで構築された JRTEC (Hayashibe 2020) などがある. これらの日本語の推論データセットでは, 日本語の数量表現の統語的, 意味的な多様性に焦点を当てていない.

Narisawa et al. (2013)は，日本語の含意関係認識において数量表現が問題になる事例に焦点を当て分析を行い，数量表現の規格化のための実装と評価を行った. Narisawa らは，数量表現が出現する文ぺアを 7 つのカデリに分類し，正しく含意関係を判定するために必要な処理について述べている。

上記のように, これまでの日本語の推論データセット, 日本語数量表現のための実装では, 数量表現の分類や数詞の違い, 含意ラベルと推意ラベルの違いについて十分に考慮されているとはいえない，しかし次節でみるように，数量表現と数詞の分類は，それらが参与する推論の結果を左右する要因である。そこで本研究では, 日本語の数量表現の出現形式と用法, 助数辞の分類を整理し，整理した分類体系に基づいて実テキストに対して意味アノテーションを付与した数量表現コーパスを構築する。また，構築したコーパスを用いて含意ラベルと推意ラベルを付与した数量表現を含む推論データセットを構築する.

## 3 日本語数量表現の分類

## 3.1 アノテーションの手順

本研究では, NPCMJ 内の 126 文に含まれる 287 件の数量表現について, 言語学の素養のある大学院生 1 名がアノテーションを行った. NPCMJには，青空文庫，辞書，ニュースなどの様々なジャンルのデータが含まれている。複雑な文を扱った挑戦的な推論データセットを構築することを最終目的として，数量表現を 2 つ以上含む文をアノテーションの対象として抽出した。また，否定表現と条件節を含む文については数量表現を 1 つ以上含む文を抽出した。アノテーションしたデータの一部は, 専門家と議論を行いアノテーション結果が妥当であることを確認している.

タグ付け文中に現れる数量表現にくnum>タグを付与し, 助数辞の分類, 出現形式, 用法についてアノテーションを行った. 文中に複数の数量表現が現れる場合は，1つ目の数量表現に<num>夕グを付与したもの，2つ目の数量表現に<num>タグを付与したもののように，1つの数量表現に<num>タグを付与した文を複数作成し，各文の<num>タグが付与されている数量表現に対してアノテーションを行った. コーパスに含まれる助数辞, 出現形式, 用法の分類の例とアノテー

ション件数は, 表 2 に示す. 次の文は, 本研究で構築した数量表現コーパスに含まれる一文である。

(5) ちなみに金板の百人一首は<num>1 セット</num>で 80 万円である.

(5) で<num>タグが付与されている数量表現「1 セット」の助数辞タイプは「単位形成辞」, 出現形式タイプは $\lceil\mathrm{QCQ}$ 型」, 用法タイプは「Q を修飾する $\mathrm{Q}\rfloor$ となる. 次節以降で助数辞, 出現形式，用法の分類の詳細を述べる.

表 2 (a) 助数辞, (b) 出現形式, (c) 用法の分類の例とアノテーション件数

## 3.2 助数辞の分類

飯田 (2019), Iida (2021) は, 助数辞を分類辞, 単位形成辞, 計量辞の 3つのタイプに分類した. これに加えて, 時間や系列の中での順序を表す順序数辞 (奥津 1996) というクラスの数量表現も存在する. そこで本研究では, 飯田の 3 つのタイプの助数辞に順序数辞を加えた計 4 夕イプによる分類を提案し, 助数辞タイプのアノテーションを行う.

助数辞の分類の例を表 2 の (a) に示す. 分類辞には, 助数辞単体では使用されないもの, 複数の人やものに対して使用されるもの, 汎用的な助数辞が含まれる. 次の 2 文は分類辞の例である.

(6) ライオンが 2 頭いる.

(7) 靴を 1 足買った.

(6) の助数辞「頭」は「アタマ」という読み方で名詞として使用されるが, 「トウ」という読み方で単体で使用されることはないため，これは分類辞に該当する。(7)の「足」は左右合わせた 1 つの靴の組に対して使われる助数辞であり, これも分類辞である。また, 汎用的な助数辞は 「つ」や「個」があり，これも分類辞に含まれる.

単位形成辞は, 何らかの容器を表す普通名詞であり, 助数辞としてではなく単独で用いることが可能である。これらの名詞は，分類辞を持つ数量表現によって量化されることもある．次の文では，数量表現である「2 個」が普通名詞「箱」を量化している.

(8) 箱が 2 個ある.

単位形成辞は, 新しい形の容器が社会に普及すると, それが新たに単位形成辞に追加されるという特徴を持つ. 外来語である「パック」はまさにその例である.

計量辞は,「キロ」は重さや距離を表す単位,「メートル」は長さを表す単位など, 測定のための単位を表す助数辞である．計量辞は単位形成辞と同様に，いわゆる開いたクラスであり，新しい計量の単位が社会に普及するたびに, それが新たに計量辞に追加されるという特徴を持つ.順序数辞は，時間や順序を表す助数辞である。順序数辞を含む数量表現は，修飾する名詞が文中に現れないことが多く，むしろ数量表現自体が名詞としての役割を果たすといった特徴がある。日時を表す「年」「月」や，順序を表す「番」「位」が順序数辞の例である.

飯田は, 分類辞, 単位形成辞, 計量辞を分類するテストとして, 助数辞の後ろに「分」を付与するテストを挙げている. 次の文は分類辞「人」と，その後ろに「分」を付与した例である.

(9) 3 人の子供がいる.

(10) 3 人分の子供がいる.

分類辞に「分」を付与すると, そのままでは何を意味しているのかがわからないという特徴が

ある. (10) は子供が何に対して 3 人分いるのか, 十分な文脈が与えられない限り解釈が難しい.

単位形成辞は，元の文が真であれば「分」をつけたテスト文も真であるといえるが，その逆はいえないという特徴がある。次の文は単位形成辞「箱」の例である.

(11) 本が 3 箱ある.

(12) 本が 3 箱分ある.

(11) が真であれば，(12)も真であるといえる，しかし，（12)が真であったとしても，本が箱に入っているかどうかは分からないため, (11)が真であるということはできない.

計量辞は，元の文が真であれば「分」のついたテスト文も真であり，「分」がついたテスト文が真であれば元の文も真である，という特徴がある。次の文は計量辞「リットル」の例である.

（13）水が２リットルある.

(14) 水が 2 リットル分ある.

助数辞の分類は, 飯田の定義と言語的テストを踏まえれば，ほとんどのケースに対しては摇れがなく，一意的にアノテーションが可能であるが，表層形から一意に定まらず，文脈や用法によって分類が変わるものも存在する。例えば，「会議室は建物の 3 階にある」に現れる「階」 は順序数辞であるのに対し，「ここから 3 階のぼったところに会議室がある」に現れる「階」は計量辞である．前者は特定の位置を指しているのに対し，後者は 3 フロア分上の階に上がるという意味であり，会議室が 3 階に位置しているという意味ではない.

また, 助数辞のアノテーションの判断が摇れる例として，「升」がある。「升」は「マス」と 「ショウ」の 2 つ読みでそれぞれ助数辞となる. 次の例は, 数量表現コーパスに含まれる例である。

(15) 勿論, 私ひとりで【四升】吞みほしたわけでは無い.

(15)の「升」が呑んだ量を表しており，「ショウ」という読みであるとすると計量辞である。しかし, (15)は,「マス」という読みも可能であり,「升」が容器として用いられていると解釈すれば，単位形成辞と考えることもできる．本コーパスでは上記の例については前者の解釈でアノテーションし, 計量辞としている.

## 3.3 数量表現の出現形式

日本語百科事典 (矢澤 1988) では, 文中に現れる数量表現の形式を $\mathrm{Q} ノ \mathrm{NC}$ 型, $\mathrm{N} ノ \mathrm{QC}$ 型, NCQ 型, NQC 型の 4 つのタイプに分類している。岩田 (2013) は，この４タイプに加えて述部型, デ格型の 2 タイプを追加した. 本研究では，実テキスト上に現れる日本語の多様な数量表現を考慮して, これらの6 タイプに加えて, $\mathrm{QV}$ 型, $\mathrm{NvCQ}$ 型, $\mathrm{N}$ の脱落, $\mathrm{QCQ}$ 型, $(\mathrm{Q})$, イ

ディオム的という 6 タイプを追加した計 12 タイプによる分類を提案し, 出現形式タイプのアノテーションを行う． $\mathrm{N}, \mathrm{C}, \mathrm{Q}, \mathrm{V}, \mathrm{Nv}$ は，それぞれ普通名詞，格助詞，数量表現，動詞，サ変語幹を含むイベント名詞句を表す。数量表現の出現形式の例を表 $2(b)$ に示す.

次の文は, 日本語百科事典の 4 分類と岩田 (2013) が追加した 2 分類の例である.

(16) 【第 1 位 $\mathrm{Q}$ の雷神山古墳 $\mathrm{N}_{\mathrm{C}}$ 】名取川の南, 現在の名取市内にあり,【三つ ${ }_{\mathrm{Q}}$ の巨大古墳 $\mathrm{N}$ の至】間に多数の中小古墳が散らばっている.

(16) は本研究で構築した数量表現コーパスに含まれる $\mathrm{Q} ノ \mathrm{NC}$ 型の例であり,「3人の学生が」のように，数量表現 $\mathrm{Q}, 「 の 」$, 名詞 $\mathrm{N}$, 格助詞 $\mathrm{C}$ の順で並ぶタイプである. 「第 1 位の雷神山古墳は」と「二つの巨大古墳の」の 2 つが $\mathrm{Q} ノ \mathrm{NC}$ 型に該当する.

（17）現在の仙台市の推計人口は, 東北地方の中で最も多い約 107 万人で, 【宮城県民 ${ }_{\mathrm{N}}$ の $\underline{45.9 \%} \mathrm{Q}$ がC】居住する。

$\mathrm{N}$ ノ $\mathrm{QC}$ 型は, 「学生の 3 人が」のように, 名詞 $\mathrm{N}$, の, 数量表現 $\mathrm{Q}$, 格助詞 $\mathrm{C}$ の順で並ぶ夕イプであり，例として (17)が挙げられる.

（18）そこには，ユダヤ人のきよめのならわしに従って, それぞれ四, 五斗もはいる石の【水がめ $\mathrm{N}$ が $_{\mathrm{C}}$, 六つ $\mathrm{Q}$ 】置いてあった.

(18)は, $\mathrm{NCQ}$ 型の例であり,「学生が 3 人」のように, 名詞 $\mathrm{N}$, 格助詞 $\mathrm{C}$, 数量表現 $\mathrm{Q}$ の順で並ぶタイプである.

（19）科学者側の動きに合わせ, 文部科学省は 14 年度予算案に I L C の【調査検討費 $N 5000$ 万円 $\underline{Q}$ を्工力初めて計上した。

(19) は NQC 型の例であり,「学生 3 人が」のように, 名詞 $\mathrm{N}$, 数量表現 $\mathrm{Q}$, 格助詞 $\mathrm{C}$ の順で並ぶタイプである。

(20) 第一に，重すぎて，【二人 $\mathrm{Q}$ で】父親の帰ってくるまでに片づけことはできないだろう.

(20) はデ格型の例であり,「学生が 3 人で」のように, 数量表現 $\mathrm{Q}$, での順で並ぶタイプである。岩田 (2013)は, デ格型は, 数量の全体性・集合性を表すとしている。他の出現形式のタイプ, 例えば， $\mathrm{Q} ノ \mathrm{NC}$ 型も「3 人の学生が来た」のように，「来る」という行為を行った学生全体の数を表し（全体性）, 3 人の学生を要素とする集団として捉えられる（集合性）という特徴を持つ。デ格型は， $\mathrm{Q}$ ノ $\mathrm{NC}$ 型と異なり，「3人で来た」のように名詞 $\mathrm{N}$ を伴わずに全体性・集合性を表すことができるという特徴がある.

(21) ちなみに金板の百人一首は 1 セットで【80万円 $\mathrm{Q}$ である】.

(21) は述部型の例であり,「学生は 3 人だ」のように, 数量表現が述部に現れるタイプである.述部型もデ格型と同様に名詞を伴わずに使用できる。この 2 つ出現形式は, 話し言葉で頻出するタイプである。

岩田 (2013) は，頻度，時間，期間といった（動詞を修飾する）数量表現は研究対象としていない. 岩田 (2013) は，頻度を表す数量表現を含む文の例として，(22)や (23)を挙げ，このような数量表現の出現形式は $\mathrm{NCQ}$ 型しか存在しないと指摘している.

(22) 今年は東京へ 3 回行った

(23) 彼には 3 度会ったことがある

しかし，これらの数量表現は名詞を修飾しているのではなく，動詞（行った，会った）を修飾している。そのため, 本研究では，動詞を修飾する数量表現の出現形式として，QV 型を新たに追加した。さらに，名詞 $\mathrm{N}$ とイベント名詞句 $\mathrm{Nv}$ を区別するために， NvCQ 型を追加した

風になっておれば，決して四種類はやってみない

（24）は QV 型の例であり，数量表現 Q（十回）が動詞 V（測る）を修飾している。この例では数量表現と動詞の間に修飾表現が含まれているが, 間に修飾表現が入る場合も数量表現の後に動詞がくるという順番は変わらないため, QV 型に分類した. ${ }^{3}$

(25) は $\mathrm{NvCQ}$ 型の例である． Nv はサ変語幹を含むイベント名詞句であり， $\mathrm{NvCQ}$ 型は， Nvを修飾する数量表現 $\mathrm{Q}$ の出現形式である。(25)の「仕事」はサ変語幹であり，Qが Nvを行うのに要する期間を表している。実テキストに現れる日本語の数量表現には，数量表現が修飾する名詞が明記されていないものや，数量表現を修飾する数量表現がある. これらに対応する出現形式タイプとして，新たに $\mathrm{N}$ の脱落, $\mathrm{QCQ}$ 型を追加した.

(26) 見たところ，【100人吅】はいないようだ.

$\mathrm{N}$ の脱落という出現形式タイプは, 数量表現が修飾する名詞が文中に現れない場合を表す. (26) は何が 100 人なのかが文中に記載されていないため, このような場合は $\mathrm{N}$ の脱落という出現形式タイプを付与する.
$ も含まれる，時間副詞 $\mathrm{Q}$ と $\mathrm{Q}$ デの違いは，イベントの完了と未完了に関する推論の判定に影響を与え, 文法研究でも議論されている (Nakatani and Aoki 2015). 例えば，「3 時間書いた」は「2 時間書いた」を含意し，「4 時間は書いていない」を推意するが，「3 時間で書いた」は「2 時間では書き終わっていない」ことを含意する。本研究では $\mathrm{Q}$ とデは, 出現形式の違いという観点で分類しており, 前述のようなイベントの完了と未完了の推論の判定に影響を与える時間副詞の違いを分類体系に反映させることは今後の課題とする。
}

(27) は QCQ 型の例である，QCQ 型は数量表現を修飾する数量表現であり，この文では，「500 円」を修飾している「3枚」が QCQ 型に該当する，QCQ 型には「1時間 1000 円」のように格助詞 $\mathrm{C}$ が省略されているものも含まれる.

（28）始期は織田信長が足利義昭を奉じて京都に上洛した永禄 11 年【 1568 年 $)_{\mathrm{Q}} 】$ が有力であるが, 義昭が京都から放逐された元亀 4 年【(1573 年 ${ }_{\mathrm{Q}} \mathrm{Q}$, 安土城の築城が始まった天正 4 年【(1576 年 ${ }_{\mathrm{Q}}$ 】とする考えもある.

(28)は $(\mathrm{Q})$ の例である。(Q)という出現形式タイプは文中で ()の中に記載されている補足や注記の数量表現に対して付与する.

（29）その【一つ $\mathrm{Q}_{\mathrm{Q}} 】$ が， 2012 年 7 月, 欧州合同原子核研究所（スイス）で発見され, 世界的ニュースとなった「ヒッグス粒子」.

イデイオム的という出現形式タイプは, 数量表現の数詞を変える, もしくは数量詞接頭辞・接尾辞を付与すると容認不能になる数量表現に対して付与する。(29)の「一つ」は, 数詞を変更した場合も数量詞接頭辞・接尾辞を付与した場合も容認不能となるため, イデイオム的という出現形式タイプが付与されている.

## 3.4 数量表現の用法

数量表現の用法タイプは, 岩田 (2013) が扱っていた数量表現 Q の用法に加えて, 名詞 $\mathrm{N}$ を修飾する数量表現 $\mathrm{Q}$ に関する用法を 3 タイプ, 動詞 $\mathrm{V}$ を修飾する数量表現 $\mathrm{Q}$ に関する用法を 4 タイプ追加する。また，イベント名詞句 $\mathrm{Nv}$ を修飾する数量表現 $\mathrm{Q}$ ，数量表現 $\mathrm{Q}$ を修飾する $\mathrm{Q}$, イディオム的用法も追加し, 計 11 タイプの分類を提案する. 用法の例を表 $2(\mathrm{c})$ に示す.次の文は数量表現 $\mathrm{Q}$ が名詞 $\mathrm{N}$ を修飾する例である.

(30) 3 人の学生が来た.

（30）は Q が N のカテゴリー情報を表すものの例であり，数量表現 $\mathrm{Q} （ 3$ 人）の助数辞「人」が名詞 $N$ (学生) のカテゴリー情報を表している例である.

(31) 家族 3 人で旅行に行った.

(31) は Q が $\mathrm{N}$ 構成する要素の全体数を表すものの例である。この文に含まれる助数辞「人」 は (30)に含まれるものと同じであるが, 「人」は「家族」自体を数える助数辞ではなく, 家族という集合の構成する要素を数えているため，(30)には「Q が $\mathrm{N}$ のカテゴリー情報を表すもの」 を，(31)には「Qが $\mathrm{N}$ を構成する要素の全体数を表すもの」を付与している.

(32) その集団の 1 人が話している.

集合の要素に関する用法タイプとして， $\mathrm{Q}$ が $\mathrm{N}$ を構成する要素の一部を表すものもある。この用法の例は (32)であり, (31) とは異なり, 集合全体の要素数ではなく一部について表しているため，(31)には「Qが $\mathrm{N}$ を構成する要素の全体数を表すもの」を，(32)には「 $\mathrm{Q}$ が $\mathrm{N}$ を構成する要素の一部を表すもの」を付与している.

(33） 50 歳の男性がいる.

(33) は $\mathrm{Q}$ が $\mathrm{N}$ の属性や特徴を表すものの例である。（33) は他の 3 つの用法と異なり, 名詞 $\mathrm{N}$ の数についてではなく, $\mathrm{N}$ の特徴について述べる数量表現である.

数量表現 $\mathrm{Q}$ と動詞 $\mathrm{V}$ に関して, 出現形式の種類としては $\mathrm{QV}$ 型の 1 種類であるが，文中に現れる動詞とそれを修飾する数量表現の出現形式が同じであっても, 用法が異なる場合がある.数量表現 $\mathrm{Q}$ が動詞 $\mathrm{V}$ を修飾する用法としては，4夕イプある。次の文は数量表現 $\mathrm{Q}$ が動詞 $\mathrm{V}$ を修飾する例である。

(34) 東京に 2 回行く.

(34) はV が行われた回数を表す $\mathrm{Q}$ の例であり，「2 回」が「行く」が行われた回数を表している.

(35) 東京に 3 日滞在する.

(35) は V が行われた期間を表す $\mathrm{Q}$ の例である。（34) と出現形式は同じであるが，(35) では, 滞在した期間についての情報を $\mathrm{Q} （ 3$ 日）が担う.

(36) 東京に 9 時に到着する。

(36) は V が行われた時間を表す $\mathrm{Q}$ の例である。（36)では，到着する時点についての情報を $\mathrm{Q}$ (9時) が担う.

(37) 物価が $2 \%$ 増加する.

(37) は V の特徴を表す $\mathrm{Q}$ の例であり, $\mathrm{Q}(2 \%)$ は「増加する」という動詞 $\mathrm{V}$ がどの程度であったかという情報を担う。

## 4 数量表現の推論データセット

## 4.1 推論データセットの作り方

数量表現コーパスを用いて，数量に関する推論データセットを構築した. 前提文 $P$ は, 数量表現コーパスに含まれる文とした。仮説文 $H$ は，以下の手順 (a)～(c) に従い，すべて人手で作成した。
(a)（38）のように<num>タグが付与されている前提文の数量表現について，(39)のように意味を変えない最小の節を取り出す

(b) <num>タグが付与されている数詞の変更を行った文を作成する
- 前提文の数詞よりも大きい数を表す数詞に変更した文 $H_{+}$と小さい数を表す数詞に変更した文 $H_{-}$の 2 文を作成する
- 単純な文にならないように, 容認不能にならない範囲で構成素の変更（構成素の削除・置換・追加）を行う
- (38)のように「約」などの数量詞接頭辞・接尾辞がついている場合は, その数量詞接頭辞・接尾辞を削除する

(c) (b)で作成した 2 つの文 $H_{+}, H_{-}$の数量表現に対して, 原則として「以上」「以下」「ちょうど」をそれぞれ付与し，6つの仮説文を作成する
- 数量表現に合わせて, 必要に応じて付与する数量詞接頭辞・接尾辞を変更する

－ 順序数辞を持つ数量表現には，「以上」「以下」ではなく,「以降」「以前」を付与する

－＼cjkstart多様な数量詞接頭辞・接尾辞を含むデータセットを構築するため,「以上」 を「より大きい」に，「以下」を「より小さい」や「未満」に置き換えた仮説文も作成する

（38）仙台都市圏（広域行政圏）の推計人口は約<num>151万人</num>で...

(39) 仙台都市圈の推計人口は 160 万人以上である.

数詞の変更は, 数量表現に応じて増やす数, 減らす数を変更している．数詞の変更の範囲は,前提文に現れる数詞が 20 未満の場合は 5 以下とし，前提文に現れる数詞が 20 以上の場合は 5 以上としている．数詞の変更は，データセット内で同じ数詞ばかりが現れないように注意して行った. また, 助数辞タイプが計量辞の数量表現は, 小数部が許容されるため, 数詞が小数部をもつ仮説文も作成した。

数詞の変更や数量詞接頭辞・接尾辞の付与を行うと仮説文が容認不能となるもの, 出現形式がイデイオム的であるものは，推論データセットに含めていない.

推論データセットの各ペアに対して，言語学に素養のある 1 名の大学院生が含意ラベルと推意ラベルを付与した，推論データセットに含まれる含意ラベル，推意ラベルの一部は，専門家と議論を行いラベルが妥当であることを確認した。

## 4.2 下方含意文脈

本研究の推論データセットでは, 数量表現の単調性 (monotonicity) に関する推論を扱っている. $M$ が $N$ の下位概念である場合，通常は下位概念を含む文 $\varphi(M)$ は上位概念を含む文 $\varphi(N)$

 &  &  \\

表 3 推論データセットに含まれる文ぺアの例

を含意する。このような推論は上方含意 (upward entailing) な推論と呼ぶ．数量表現の場合, 例えば「200人」は「100人」の下位概念であるため，「会場に 200 人いる」という文が真であれば,「会場に 100 人いる」という文も真である。しかし, 否定文や条件文の前件といった下方含意文脈に数量表現が含まれると, 推論の向きが通常の文脈とは反転する場合があることが知られている，例えば，「会場には 100 人いなかった」という文は，「会場には 200 人いなかった」という文を含意する。

表 3 の最初の例は, upward entailing な前提文と仮説文のペアである. 2 番目と 3 番目の例は，それぞれ否定と条件文を含む下方含意 (downward entailing) な前提文と仮説文のぺアである. 本研究の推論データセットには, upward entailing な推論が 1,270 件, downward entailing な推論が 246 件含まれる。文中に否定表現や条件節が含まれていても，それらの下方含意文脈のスコープの外に数量表現が現れている場合は, upward entailing な推論が成立する。そのため, downward entailing な推論の件数は，否定表現，条件節を含む前提文と仮説文のぺアのうち, 下方含意文脈のスコープの内側に数量表現が含まれ，推論の向きが通常の文脈とは反転しているものの件数である. 現時点で, downward entailing な推論は 246 件と件数は少なく, このような推論を引き起こす表現が NPCMJコーパス内では稀であることを示している.

## 4.3 推論データセットの概要

本研究で作成した推論データセットは，1,516 件の前提文と仮説文のぺアを含む. 前提文と仮説文の例を表 3 に，推論データセットの統計情報を表 4 に示す。含意ラベルが NEUTRAL になるものについて, 推意ラべルは CONTRADICTIONになる場合があるため, 各ラベルの CONTRADICTION と NEUTRAL の件数は異なっている.

## 4.4 日本語 BERT の評価実験

## 4.4.1 実験設定

現在の標準的な事前学習済み言語モデルが数量表現の理解を必要とする推論をどの程度扱えるかを評価するため, 日本語 BERT (Devlin et al. 2019) (cl-tohoku/bert-base-japanese-wholeword-masking $)^{4}$ の評価実験を実施した。実験に用いた事前学習済み言語モデルの詳細を表 5 に示す.

実験では, JSICK (Yanaka and Mineshima 2022), JSNLI (吉越他 2020) という2つの標準的な日本語 NLI データセットを用いて，NLI タスクに関する BERT モデルのファインチューニングを行った，2節で紹介したように，JSICK は構成的推論に特化した英語の NLI データセットである SICK (Marelli et al. 2014)を人手で日本語に翻訳したデータセットであり, JSNLI はクラウドソーシングで構築された大規模な英語の NLI データセットである SNLI (Bowman et al. 2015) を機械翻訳で日本語に翻訳したデータセットである. JSICK と JSNLI の統計情報を表 6 に示す。また，ファインチューニングに用いたハイパーパラメータは, learning rate が 0.01 , batch size が 10 , epochs が 50, max length が 250 である. ハイパーパラメータは, ハイパーパラメータサーチをして最適なものを選んた。

## 4.4.2 実験結果と考察

日本語 BERT モデルを用いた評価実験の結果を表 7 に示す。全体的に, JSICK でファインチューニングした日本語 BERT モデルよりも JSNLI でファインチューニングした日本語 BERT

表 4 推論データセットの統計情報

表 5 事前学習済み言語モデルの詳細

表 6 学習データの統計情報
^{4}$ https://huggingface.co/cl-tohoku/bert-base-japanese
}

表 7 日本語 BERT モデルを用いた評価実験の結果（正答率）

モデルの方が正答率が高い傾向にあるが, いずれも $50 \%$ 未満だった. 特に, ENTAILMENT の正答率は 60\%以上であるのに対し, CONTRADICTION, NEUTRALの正答率はいずれも $40 \%$ 未満であり,既存の推論データセットでファインチューニングした場合, 日本語 BERT モデルは ENTAILMENT と予測する傾向がある。本研究で構築した推論データセットに含まれる ENTAILMENT の例は全体の $34 \%$ であのに対し, 日本語 BERT モデルは JSICK でファインチューニングした場合は 66\%, JSNLI でファインチューニングした場合は $60 \%$ の例で ENTAILMENT と予測している.

学習データによる違いについては, JSICKを使用した場合, CONTRADICTIONよりも NEUTRAL の方が正答率が高くなり, 反対に JSNLIを使用した場合は, CONTRADICTIONの方が NEUTRAL よりも正答率が高くなっている. 助数辞タイプ, 出現形式タイプ, 用法タイプによる正答率の違いは，表 8 に示す. 助数辞による正答率の違いとして，単位形成辞について，JSICKを学習データとしたときの日本語 BERT モデルの正答率が低い. 単位形成辞は, 表 2(a)にあるように他の助数辞よりも件数が少なく, JSICK においても, 単位形成辞に該当するデータが少ないため, 正答率が低くなった可能性がある，数量表現の出現形式による正答率の違いとして，デ格型について, JSICK を学習データとしたときの日本語 BERT モデルの正答率が低い. デ格型は，表 2(b) にあるように件数が少ない. JSICK と JSNLIにおいてもデ格型に該当するデータの件数が少なく, 加えて, JSICK は学習データ全体のサイズが小さいため, 正答率が低くなったと考えられる．数量表現の用法ごとの正答率の違いとして，JSNLIを学習データとしたときの日本語 BERT モデルの正答率は， $\mathrm{Q}$ が $\mathrm{N}$ の属性や特徴を表すものや，V が行われた時間を表す Q といった, 表 2(c) で件数が多いものが高い.

また, 学習データに本研究で構築した数量表現の推論データセットの一部を加えてファインチューニングを行い実験した．数量表現の推論データセットは $1: 1$ に分割し，半分を学習デー 夕に加え，半分をテストデータとして実験を行った。データセットを半分にしたときの統計情報を表 9 に示す。

表 10 は JSICK に数量表現の推論データセット (含意ラベル, 推意ラベル) をそれぞれ加えてファインチューニングを行った場合の実験結果である。含意ラベルを学習データに加えた場合は，テストデータは含意ラベル，推意ラベルを学習デー夕に加えた場合はテストデー夕は推意ラベルを付与したデータを使用した実験結果である。学習データに数量表現の推論データセットの一部を加えた場合, 含意ラベル，推意ラベルともに ENTAILMENT の正答率は下がったが，

表 8 (a) 助数辞, (b) 出現形式, (c) 用法ごとの正答率

CONTRADICTION の正答率は大きく上昇している. JSICKには表 6 に示すように CONTRADICTION の件数が少ないが, 本研究で構築した推論データセットは, 表 4 に示すように CONTRADICTION の件数が多いため, 日本語 BERT モデルが CONTRADICTION と予測することが多くなった可能性がある。

文ぺアに含まれる数量表現の助数辞タイプ, 出現形式タイプ, 用法タイプによる正答率の違いは，表 11 に示す. 全体として，含意ラベルを加えてファインチユーニングを行った場合の精度よりも推意ラベルを加えてファインチューニングを行った場合の精度のほうが高く, 表 8 の精度と比較して, どのタイプの精度も向上している. 特に, $\mathrm{NCQ}$ 型の精度が他のタイプよりも大きく向上しているが，これは表 9 にあるように $\mathrm{NQC}$ 型の件数が多いためと考えられる.

表 9 数量表現の推論データセットを学習データとテストデータに分けたときの統計情報

表 10 JSICK に数量表現の推論データセットの一部を追加しファインチューニングした場合の実験結果 (正答率)

表 11 JSICK に数量表現の推論データセットを追加しファインチューニングした場合の (a) 助数辞, (b)出現形式, (c) 用法の正答率

JSICK に含意ラベルのデータを追加してファインチューニングを行った場合に, 日本語 BERT が解けなかった文ぺアを表 12 に示す. 1 つ目の文ぺアの前提文に含まれる数量表現には数量詞接頭辞（約）が付与されている．前提文の数量表現「約 5 倍」が真であるとき仮説文の数量表現「ちょうど 5.5 倍」であるとは必ずしも限らない（5.2 倍などの可能性も考えられる）ため,正解ラベルは NEUTRAL となるが, 日本語 BERT は CONTRADICTION と予測している。このように，前提文の数量表現の数字よりも仮説文の数量表現の数字が大きく，前提文に数量詞接頭辞「約」, 仮説文に数量詞接頭辞「ちょうど」が含まれる場合, モデルは CONTRADICTION と予測する傾向が見られた，日本語 BERT モデルが間違ったラベルを予測した原因としては，前提文に数量詞接頭辞を含む文ぺアの件数が少ないことも考えられる.

2 目の文ぺアについて，前提文の $\lceil 90,231$ 人」は「ちょうど 90,231 人」であることを表すため, この文ぺアの正解ラベルは ENTAILMENT であるが，日本語 BERT モデルは CONTRADICTION と予測した。この文ぺアに出現する数量表現は「100,000人」と桁数が大きいため，学習データの中に同じような桁数が大きい数量表現を含む文ぺアが少ないことから，モデルは間違ったラベルを予測したと考えられる.

JSICK に推意ラベルのデータを追加してファインチューニングを行った場合に, 日本語 BERT モデルが解けなかった文ぺアを表 13 に示す。表 13 の1つ目の文ぺアは仮説文を作成する際に構成素の変更を行った例である。本研究では, 文ぺアのパターンが単純にならないように，構成素の変更を行うことでより難しい文ぺアを作成している。この文ぺアは, 前提文で括弧内に記述されている数量表現に関する推論であるが, 前提文には同じ助数辞 (本) を含む数量表現が複数出現するため, 日本語 BERT モデルが間違った予測をしたと考えられる。表 13 の 2 つ目の文ペアは否定表現を含む文ぺアである． 4.2 節にあるように，否定表現や条件節を含む downward entailing な推論は件数が少ないため, 学習データの不足から日本語 BERT モデルは推論結果を正しく予測できなかったと可能性がある.

 & NEUTRAL & CONTRADICTION \\

表 12 JSICK に含意ラベルのデータを追加してファインチューニングした日本語 BERT モデルが解けなかった文ぺアの例

表 13 JSICK に推意ラベルのデータを追加してファインチューニングした日本語 BERT モデルが解けなかった文ぺアの例

## 5 おわりに

本研究では, 日本語の数量表現コーパスを構築し, 助数辞の分類と数量表現の出現形式, その用法についてアノテーションを行った。また，構築した数量表現コーパスを用いて意味論的推論と語用論的推論のデータセットを作成した. 数量表現コーパスと推論データセットは, 数量表現の出現形式の柔軟性や助数辞の多様性といった日本語の特徴に着目して構築した. 数量表現の推論データセットの評価実験として, まず, 日本語 SNLI や日本語 SICK といった標準的な日本語の推論データセットでファインチューニングした日本語 BERT モデルを用いた評価実験を行った. 実験の結果, 構築した数量表現の推論データセットは, 現在の標準的な NLI モ゙ルルにとって十分に挑戦的な課題を提示していることを確認した. さらに, 学習デー夕に本研究で構築した推論データセットの一部を追加してファインチューニングした日本語 BERT モデルを評価した，その結果，精度向上が一定程度見られたものの, 依然として $50 \%$ 前後の正答率であり, 日本語 BERT モデルは, 数量表現を含む推論の扱いについて課題があることが示唆された.

今後の展望として, これまで英語における数量表現の分析で研究されてきた, より意味的に複雑な現象（確定性, 分配読み・集合読みの区別など）（Bunt 2020）と日本語の数量表現との関連を整理し，日本語の数量表現の分類体系を拡張することが考えられる．また，数量表現コーパスと推論データセットの効率的なアノテーション手法を検討するとともに, 拡張を続けていく.

## 謝 辞

本研究の一部は, JST さきがけ JPMJPR21C8, JSPS 科研費 JP20K19868, JST CREST JPMJCR20D2 の支援を受けたものである.

## 参考文献

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Bunt, H. (2020). "Annotation of Quantification: The Current State of ISO 24617-12." In Proceedings of the 16th Joint ACL - ISO Workshop on Interoperable Semantic Annotation, pp. 1-12.

Cooper, R., Crouch, R., van Eijck, J., Fox, C., van Genabith, J., Jaspers, J., Kamp, H., Pinkal, M., Poesio, M., Pulman, S., et al. (1994). "FraCaS-A Framework for Computational Semantics." Deliverable, D6.

Cui, R., Hershcovich, D., and Søgaard, A. (2022). "Generalized Quantifiers as a Source of Error in Multilingual NLU Benchmarks." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4875-4893.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 4171-4186.

Grice, P. (1989). Studies in the Way of Words. Harvard University Press. 清塚邦彦訳『論理と会話』勁草書房, 1998 年, [K. Kiyozuka (Trans.) (1998). Ronri to Kaiwa. Keiso Shobo.].

Hayashibe, Y. (2020). "Japanese Realistic Textual Entailment Corpus." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6827-6834.

Horn, L. R. (1989). A Natural History of Negation. University of Chicago Press.

飯田隆 (2019). 日本語と論理. NHK 出版. [T. Iida (2019). Nihongo to Ronri. NHK Publishing.].

Iida, T. (2021). "Japanese Semantics and the Mass/Count Distinction." In Lee, C., Kim, Y.-W., and Yi, B.-U. (Eds.), Numeral Classifiers and Classifier Languages, pp. 72-97. Routledge.

岩田一成 (2013). 日本語数量詞の諸相. くろしお出版. [K. Iwata (2013). Nihongo Suryosi no Syoso. Kuroshio Publishers.].

Jeretic, P., Warstadt, A., Bhooshan, S., and Williams, A. (2020). "Are Natural Language Inference Models IMPPRESsive? Learning IMPlicature and PRESupposition." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8690-8705.

Kawazoe, A., Tanaka, R., Mineshima, K., and Bekki, D. (2017). "An Inference Problem Set for Evaluating Semantic Theories and Semantic Processing Systems for Japanese." In Otake, M., Kurahashi, S., Ota, Y., Satoh, K., and Bekki, D. (Eds.), New Frontiers in Artificial Intelligence. JSAI-isAI 2015. Lecture Notes in Computer Science, Vol. 10091, pp. 58-65. Springer.

小谷野華那, 谷中瞳, 峯島宏次, 福田浩司, 橋爪宏典, 戸次大介 (2022). 供述調書に現れる数量表現の推論テストセットの構築. 言語処理学会第 28 回年次大会, pp. 1386-1390. [K. Koyano et al. (2022). Construction of an Inference Test Set for Numeral Expressions appearing in Incident Depositions. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1386-1390.].

Koyano, K., Yanaka, H., Mineshima, K., and Bekki, D. (2022). "Annotating Japanese Numeral Expressions for a Logical and Pragmatic Inference Dataset." In Proceedings of the 18th Joint ACL - ISO Workshop on Interoperable Semantic Annotation within LREC2022, pp. 127-132.

Levinson, S. C. (1983). Pragmatics. Cambridge University Press. 安井稔 ・奥田夏子訳『英語語用論』研究社出版, 1990 年, [M. Yasui and N. Okuda (Trans.) (1990). Eigo Goyoron. Kenkyusha Shuppan.].

Levinson, S. C. (2000). Presumptive Meanings: The Theory of Generalized Conversational Implicature. MIT Press.

Liu, N. F., Schwartz, R., and Smith, N. A. (2019). "Inoculation by Fine-Tuning: A Method for Analyzing Challenge Datasets." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Vol. 1, pp. 2171-2179.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014). "A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Naik, A., Ravichander, A., Sadeh, N., Rose, C., and Neubig, G. (2018). "Stress Test Evaluation for Natural Language Inference." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 2340-2353.

Nakatani, K. and Aoki, N. (2015). "A Judgment Study on Aspectual Diagnostics in Japanese." In Nagaya, N., Takemura, A., and Vance, T. (Eds.), Japanese/Korean Linsuitics, Vol. 22, pp. 55-70. Stanford, CA: CSLI Publications.

Narisawa, K., Watanabe, Y., Mizuno, J., Okazaki, N., and Inui, K. (2013). "Is a 204 cm Man Tall or Small? Acquisition of Numerical Common Sense from the Web." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 382-391.

NINJAL (2016). "NINJAL Parsed Corpus of Modern Japanese. (Version 1.0).". https://npcmj . ninjal.ac.jp/.

奥津敬一郎 (1996). 拾遺日本文法論. ひつじ書房. [K. Okutsu (1996). Syui Nihongo Bunporon. Hituzi Syobo.].

Yanaka, H. and Mineshima, K. (2022). "Compositional Evaluation on Japanese Textual Entailment and Similarity." Transactions of the Association for Computational Linguistics, 10, pp. 1266-1284.

矢澤真人 (1988). 数量の表現. 金田一春彦, 林大, 柴田武 (編), 日本語百科事典. 大修館書店. [M. Yazawa (1988). Suryo no Hyogen. H. Kindaichi et al. (Eds.) Nihongo Hyakka Ziten. Taishukan Publishing.].

吉越卓見, 河原大輔, 黒橋禎夫 (2020). 機械翻訳を用いた自然言語推論データセットの多言語化. 第 244 回自然言語処理研究会. [T. Yoshikoshi et al. (2020). Multilingualization of a

Natural Language Inference Dataset Using Machine Translation. IPSJ SIG Technical Report, 2020-NL-244.].

## 略歴

小谷野華那 : 2021 年お茶の水女子大学理学部情報科学科卒業. 2023 年お茶の水女子大学人間文化創成科学研究科理学専攻情報科学コース博士前期課程修了.現在，日本アイ・ビー・エム株式会社に所属.

谷中瞳：2018 年東京大学大学院工学系研究科博士課程修了. 工学博士. 同年，理化学研究所特別研究員を経て，2021 年より東京大学卓越研究員に採択され, 東京大学大学院情報理工学系研究科講師, 理化学研究所客員研究員. 主に自然言語推論に関する研究に従事.

羍島宏次：2013 年慶應義塾大学文学研究科博士課程修了. 博士 (哲学). 2014 年お茶の水女子大学シミュレーション科学教育研究センター特任講師, 2017 年同特任准教授を経て，2020 年より慶應義塾大学文学部准教授.

戸次大介：2000 年東京大学大学院理学系研究科情報科学専攻博士課程修了.理学博士. 2008 年お茶の水女子大学大学院人間文化創成科学研究科准教授, 2023 年より同大学基幹研究院自然科学系教授.