大学入試問題と文章の理解
University Entrance Exams and Text Understanding

名古屋大学大学院工学研究科教授

佐藤理史

京都大学大学院工学研究科電気工学第二専攻博士課程研究指導認定退学。博士（工学）。北陸先端科学技術大学院大学、京都大学を経て、2005 年より現職。

1 はじめに2013 年から 2016 年にかけて、「ロボットは東大に入れるか（東ロボ）」というプロジェクトに参加し、んで何を思うだろうか。

名古屋駅で 15 時すぎの「のぞみ」に乗った。東京に着いたのは真夜中近くだった。

センター試験の国語の問題の自動解法に取り組んだ。その経緯と研究内容は［1］［2］に記したが、「文章の読ほとんどの人は、「何が起きたのだろう」、あるいは、「新解とは結局のところ何なのか」という疑問が宿題として幹線にどんなトラブルが起きたのだろう」と思うに違い残った。自然言語処理の最終目標が「コンピュータに言ない。しかし、それは文章のどこにも書かれてない。こ葉を理解させること」にあるならば、それが何を意味し、のように、我々は無意識のうちに、「書かれた内容」かどのようにすれば可能となるかは、まだよくわかっていら「書かれていない内容」を推測しながら文章を読んでないと言わざるを得ない。

いる。

我々が取り組んだのはセンター試験の最初の大問 2

上記のようなプロセスを明らかにするために、どのよ問で、前者は評論、後者は小説を題材とした問題である

うな研究を行えばよいだろうか。そのような問題意識か（残りの 2 問は古文と漢文の問題）。いずれの大問も、ら取り組んでいるのが、本稿で紹介する 2 つの研究でその中核は読解問題とよばれる問題で、大問の冒頭に示ある。

された 3000 字から 3500 字程度の本文のある部分を参照し、その解釈を問う選択式問題（選択肢は 5 つ）である。評論の読解問題は、おおよそ 50% の正解率に達したが、小説の読解問題は、ほとんど歯が立たなかっ

2 熱化学方程式の文章題を解く
次のような問題を考えよう。

た。
この差は、評論の読解問題では「本文に書かれている水素、炭素（黒鉛）、プロパン C3H8 の燃焼熱は、ことが問われる」のに対し、小説の問題では「本文に書それぞれ 286kJ/mol、394kJ/mol、2219kJ/かれていないことが問われる」という違いによる。書かmol である。

れていることについては、文章を理解せずとも問題を解（A）プロパンの燃焼熱は？

く方法は色々あり、実際、機械的にかなり解ける。これ（B）プロパンの生成熱を求めよ。

に対して、文章に書かれていない（が、人間ならば常識的に想像できる）ことに答えるのは、容易ではない。
ここで、簡単な例を示そう。あなたは、次の文章を読320（A）は、与えられた問題文に書かれている内容を問う設問である。日本語の並列構造と「それぞれ」の文法

的機能を知っていれば、「2219kJ/mol」という答を

Q の値は、この式と問題文から得られる 3 つの式を連導くのはたやすい。

立して解くことによって求められる［3］。

一方、（B）の答「107kJ/mol」は問題文には存在さて、途中から言語（日本語）の話ではなく、化学のしない。しかし、その答は、問題文に示された情報と化話になったように思うかもしれないが、先程の新幹線の学の知識を組み合わせることによって導くことができ例を思い出してほしい。新幹線の例の文章を読んで「何る。実のところ、（A）は私が作問したが、（B）は高校が起きたのだろう」と思うのは、「名古屋から東京まで『のの化学の教科書に掲載されている練習問題である。念のぞみ』であれば 2 時間かからない」ということを知っために付け加えると、（B）は知識（事実）を問う問題ているからである。「15 時すぎに乗ったのに着いたのではない（これらの値は近似値であり、真の値ではない）。

は真夜中近く」という文章から読み取れる情報と、このこの設問では、問題文で与えられた情報を使って答を導知識により、「何かトラブルが起きたのだろう」と推測くことが求められている。

したのである。

「燃焼熱」とは、物質 1mol が完全燃焼するときの反文章から読みとれる情報を、読み手が持っている知識応熱であり、その熱化学反応式は、次のような形式となと照らし合わせて「書かれてない情報を導き出す」。こる。の点においては、新幹線の例も、熱化学計算の文章題も物質＋ a O2 ＝ b CO2 ＋ c H2O ＋ Q［kJ］

つまり、問題文は、以下の情報を読み手に提示している。

同じ構造をしている。そのプロセスは、新幹線の例ではいささか曖昧であるが、熱化学計算の問題では明快である。加えて、文章を正しく解釈できたかどうかを、答え

C ＋ O2 ＝ CO2 ＋ 394［kJ］合わせという形で確認できる。

C3H8 ＋ 5 O2 ＝ 3 CO2 ＋ 4 H2O ＋ 2219［kJ］

東ロボにおいて、機械的にはほとんど解けなかった教もちろん、問題文からこれらの情報（熱化学方程式）科は理科である。それは、問題を解くために、専門知識を引き出すためには、水素の元素記号が H で、標準状を使って問題文を解釈し、内部表現（上記の例では熱化態では気体 H2 であること、炭素の元素記号が C で、黒学方程式）を構築して、その表現上である種の推論を行

炭の標準状態が固体 C であること、そして、熱化学方う（上記の例では連立方程式を解く）必要があるからで程式の両辺の元素の数の比較により、係数が決定できるある。これを自在に行うことは、現在の技術ではまだまこと（連立方程式が解けること）が必要である。しかし、だ難しい。

それらを知っているものにとっては、問題文が上記の 3つの熱化学方程式を意味することは明快であり、これこそが、この問題を解くための問題文の解釈（理解）なのである。
一方、「生成熱」とは、化合物 1mol がその成分元素の単体から生成するときの反応熱であり、その一般式は、3 確率・期待値の文章題を解く
東ロボ終了後も、継続して取り組んでいる研究に、数学の確率・期待値の自動解法の研究がある［4］［5］。具体的には、次のような問題である。

次のような形式である。
物質の構成要素 ＝ 物質 ＋ Q［kJ］

1 から 9 までの数字が書かれた、計 9 枚のカード

物質がプロパン C3H8 の場合、構成要素は炭素 C と水がある。この中から、同時に 2 枚取り出す。

素 H2 なので、次のようになる。

（1）2 枚とも偶数である確率を求めよ。

a C ＋ b H2 ＝ C3H8 ＋ Q［kJ］
両辺の元素の数を比較して、係数の a と b を定めると、取り出したカードの数字の大きい方を得点とする。
（2）得点の期待値を求めよ。

最終的には以下のようになる。
3 C ＋ 4 H2 ＝ C3H8 ＋ Q［kJ］

数学は、東ロボでは最も注力され、比較的よく解けた

つまり、「プロパンの生成熱を求めよ」という問いは、科目であるが、確率・期待値の問題は、まったく解けな「この式の Q を求めよ」と要求しているのである。このかったといってよい。その理由は、確率・期待値の問題

YEAR BOOK 2O21 321

5

産業日本語関連

H2 ＋ 1/2 O2 ＝ H2O ＋ 286［kJ］

が、数学ソルバーの基本戦略（問題文を一階述語論理式同時に 2 枚取り出す」という試行の記述から、結果は「2に変換し、それを簡略化することによって答を導く）に枚のカード」（リストと呼ぶ）であり、その構成要素がフィットしないことにある。

「カード」（オブジェクトと呼ぶ）となる。一方、事象を確率・期待値の問題は、おおよそ 5 つの要素から構成される。

はリストに対する制約であり、「偶数である」はオブジェ（1）仮 想世界の記述：どんなオブジェクトがいくつあクトに対する制約である。つまり、「あるカード（オブジェるかクト）の数字が偶数であるかどうかを調べる」プログラ（2）試行の記述：標本空間はどのように規定されるか

ムと、「リストを構成するすべてのオブジェクトが、あ（3）確 率の計算指示：ある事象が起きる確率を求めるる条件を満たす」プログラムを組み合わせれば、「2 枚ことを要求する（4）属 性の定義：特定の事象や（試行の）結果に対する属性を定義する（5）期 待値の計算指示：ある数値属性の期待値を求めることを要求する
確率・期待値の特徴は、「1 から 9 までの数字が書かれた、計 9 枚のカードがある」のような記述で、あるとも偶数である」ことをチェックするプログラムを合成することができる。
このプログラム合成を実現するためには、おおよそ、以下のことを行えばよい［5］。
（1）条件記述に用いられる基本要素（「N 枚とも」、「偶数である」）を整理し、それらに対応する基本プログラムを用意する。

仮想世界が記述され、「この中から、同時に 2 枚取り出（2）条 件記述を基本要素に分解し、それぞれがどの階す」といった記述で、その仮想世界の中のオブジェクト層（リスト、オブジェクト）に対する制約となっの操作が記述される点にある。つまり、問題を解くためているかを、各種の手がかりを用いて決定する。には、文章に従って仮想世界を構築し、それを操作でき（3）その決定に基づき、プログラムを合成する。

なければならない。さらに付け加えるならば、その操作我々が作成したシステムの実行例を図 1 に示す。こで得られる特定の具体例だけでなく、その総体（可能なの例以外にも、「サイコロを 2 回振る。1 回目に 2 以下すべての具体例＝標本空間）が想像できなければならな

または 5 以上の目が出て、かつ 2 回目に奇数の目が出い。

る確率を求めよ」といった記述でも、正しく解釈できる。

実際に確率を求める際には、「2 枚とも偶数である（確確率・期待値問題で重要なポイントの一つは、前の文率）」とはどういう事象（標本空間の部分集合）であり、の解釈が、次の文の解釈に必要となる点にある。先に述かつ、その事象を作り出せなければならない。期待値のべた結果の構造は、試行の記述から読み取らなければな

計算では、得点の定義を問題文から読み取り、それを計らない（この部分は、まだ機械化できていない）。それ算できるようにしなければならない。

が読み取れて、はじめて事象を規定する条件記述が正しこのように、確率・期待値の文章題を解くためには、く解釈できるようになる。文章の解釈には、読み手が持っ文章解釈に関連する多くの問題を解く必要があるが、そている知識が関与するだけでなく、そこまでの文章からの中で我々が現在取り組んでいるのは、確率の計算指示読み取った情報が関与する。確率・期待値問題は、そのの解釈である。ここでは、標本空間は与えられるものとような機能が実現できるかどうかの試金石でもある。

し、計算指示中の事象を規定する条件記述「2 枚とも偶

熱化学計算問題の内部表現が熱化学方程式だったのに数である」を、標本空間（入力）から事象（出力）を求対し、確率・期待値問題の内部表現は（実行可能な）プめるプログラムに変換する。事象が求まれば、確率は、ログラムである。言い換えるならば、文章で書かれた内それぞれの集合の要素の数を使って、次の式で計算でき容を手続きとして解釈し、それを実行するプログラムにる。

翻訳することを行っている。確率の計算指示の解釈で確率＝事象の要素数 / 標本空間の要素数322

規定する条件記述「2 枚とも偶数である」の「2 枚とも」

行っていることは、広くは日本語で書かれた条件記述をプログラムへの変換で重要な役割を果たすのは、標本計算可能にする技術に分類されよう。こうした技術が確空間の要素である「結果」の構造である。「この中から、立されれば、コンピューターは、単なる命令（「電話を産業日本語関連

5

図１

条件記述を解釈してプログラムに変換し、確率の値を計算するかけて」）だけでなく、条件付き命令（「3 時になったら、ことである。そして、問題文をそのように理解しなけれ電話をかけて」）を受け付けることができるようになる。

ば、これらの問題は決して解けない。
「いやいや、これは大学入試問題の問題文だからで、4 文章の理解とは特殊な状況での文章の理解である」という反論があるかもしれない。確かに、使う知識は専門知識である。しかこれら 2 つの研究で実感したことは、「文章の理解はし、再度、新幹線の例を思い出してほしい。自分が持っ一様ではない」ということである。熱化学の問題文にはている知識を使って書かれていない情報を引き出すこと熱化学の問題としての理解があり、確率・期待値の問題は、我々が文章を読むときに自然に行っていることであ

文には、確率・期待値問題としての理解がある。その本り、入試問題固有の現象ではない。

質は、分野固有の知識（専門知識）を利用した文の解釈、ここ数年、自然言語処理は、ディープニューラルネッ

および、そこから得られる情報を専門知識と組み合わせト一色であり、2000 年頃には想像できないレベルで、ることにより、明示的に書かれていない情報を導き出す色々なタスクを実現できるようになってきた［6, 7, 8］。巨YEAR BOOK 2O21 323

大な言語モデルは、四則計算もあるレベルで実行できるという報告さえある。さらに、簡単な算数の文章題［9］を解くニューラルネットモデルも提案されている［10］。

Understanding.

arXiv: 1810.04805v2,2019.

本稿で紹介した 2 つの問題も、ニューラルネットで解［9］T. B. Brown et al. Language Models are Few-

くことは原理的には可能であろうが、現時点ではまだま

Shot Learners. arXiv:2005.14165v4, 2020.

だ難しそうである。
一方、クラッシックな記号処理で解くことができるのは、適切な内部表現が設定できる問題に限られる。熱化学計算問題が解けるのは、熱化学方程式という適切な内部表現が存在し、熱化学方程式に変換できれば、その後の処理を、方程式ソルバーに任せることができるからである。
それに対して、確率・期待値問題では、問題文をプログラムに変換する。実行可能なプログラムという内部表
現は、汎用性という点では申し分ない。文章で書かれた内容を実行可能なプログラムに変換する技術は、文章の理解という難問に挑むためのひとつの方向性を示唆しているように思う。

参考文献［1］佐藤理史．コンピュータが小説を書く日．日本経済
新聞出版社，2016.
［2］新 井 紀 子， 東 中 竜 一 郎， 人 工 知 能 プ ロ ジ ェ ク ト「ロボットは東大に入れるか」．東京大学出版会、
2018.
［3］経種直之，佐藤理史，小川浩平，宮田玲．熱化学計
算問題の段階的解釈に基づく熱化学方程式の立式．
言 語 処 理 学 会 第 27 回 年 次 大 会、pp.674-678,2021.
［4］神谷翼，松崎拓也，佐藤理史．数学確率文章題の自動解答システムの開発．言語処理学会第 21 回年次
大会発表論文集、pp.365-368, 2015.
［5］岩間純輝，佐藤理史，小川浩平，宮田玲．数学・確率問題を対象とした条件記述の自動解釈．言語処理学会第 27 回年次大会，pp.947-951, 2021.
［6］A. Radford et al. Improving Language
Understanding by Generative Pre-Training.
2018.
［7］A. Radford. et al. Language Models are
Unsupervised Multitask Learners. 2019.
［8］J. Devlin. et al. BERT: Pre-training of Deep324

Bidirectional Transformers for Language［10］J. Zhang et al. Graph-to-Tree Learning forSolving Math Word Problems. Proc. of ACL2020, pp. 3928-3937, 2020.

産業日本語関連

5YEAR BOOK 2O21 325