言語処理学会 第26回年次大会 発表論文集 (2020年3月)

運転免許試験自動解答における問題解説文の利用
的場 成紀 1

古賀 雅樹 1

吉村 優志 2

田邉 豊 2

小林 一郎 3

平 博順 1

大阪工業大学大学院 情報科学研究科
2
大阪工業大学 情報科学部
3
お茶の水女子大学 基幹研究院 自然科学系
1{m1m19a31, m1m19a13, e1b16102, e1b16045}@st.oit.ac.jp
koba@is.ocha.ac.jp
hirotoshi.taira@oit.ac.jp

1

はじめに

2

学科試験問題の概要

自動運転車が人間の定めた交通規則を守る必要が普通自動車免許の学科試験は，普通自動車を運転すあるように，ロボットの行動や計算機の処理があらかる際に必要となる交通規則や運転マナー，自動車に関じめ人間によって明文化された規則を遵守しているのする知識などが問われる試験である．試験問題は，文か，それとも違反しているのかを判断する規則適合判

章問題とイラスト問題の 2 種類があり，文章問題が 90

定技術は今後ますます重要になってくると考えられる．

問，イラスト問題が 5 問出題される．文章問題は，基我々は，普通自動車免許の学科試験で問われている交本的に問題文が単文で，問題文の説明が正しいか誤っ通規則を例として，高精度な規則適合判定技術の実現ているかを問う 2 択問題である．問題文に標識などのを目指している．

イラストを伴うこともある．一方，イラスト問題は運

これまで我々は，普通自動車免許の学科試験問題集

転者から見た車外の風景といったイラストが提示され，を用いて，訓練データとなる問題に基づき，テストデー

1 つのイラストに対して，危険予測などに関する小問3 問が出題される．この小問も説明が正しいか誤っているかの 2 択問題となっている．文章問題が 1 問につき 1 点，イラスト問題が大問 1 つにつき 2 点で合計100 点満点の試験である．実際の学科試験では，90 点以上正解で合格となる．

タの問題が解けるかどうかの分析を行ってきた [1]．また，従来の自動車免許試験の自動解答技術においてはテストデータと出現単語で構成された文ベクトルの類似度を利用して自動解答する技術が試みられている [2]．
本研究では，普通自動車免許の学科試験問題集における問題解説文に着目した．学科試験問題集における問題解説文では，問題を解く上での注意しなければい3

けないポイント，大事な知識，問題が不正解の場合は正解の場合の例文などが記載されており，短い文章の中に問題を解く上で重要な情報がコンパクトにまとめられていると考えられる．
本研究では，問題文に対する解説文から自動車免許試験の問題文の正誤を推論するテキスト含意認識問題とみなし，解説文を規則適合判定に有効に活用できないか，word2vec [3] を利用した手法と BERT [4] を利用した手法の 2 つを利用して検討を行った．

学科試験問題集における解説文
学科試験問題集は様々な種類のものが市販されている．本研究では，各問題に対して全て解説が付与されている問題集の一つとして，「ポケット版 普通免許試
験問題集」（学科試験問題研究所） [5] を使用し，実験を行った．試験問題の 9 割を占める文章問題について，本書の 2 章「試験によく出る重要問題」と 3 章の「ミスを防ぐひっかけ問題」の問題文と解説文を実験対象とした．
本書では大きく 12 種類のトピックに問題が分類されている．表 1 にこれらのトピックと 2 章，3 章における問題数の内訳を示す．また表 2 に問題文と解説文の例を示す．

― 121 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

用した．
表 1: トピック毎の問題数の内訳
トピック
番号123456789101112

トピック名
信号・標識・表示の意
味
運転する前の心得
運転の方法
歩行者の保護
安全な速度
追越しなど
交差点の通り方
駐車と停車
危険な場所などの運転
高速道路での走行
二輪車の運転方法
事故・故障・災害などのとき
計

また評価用データとして，表 1 に示した問題文と解問題数
2章 3章
計6154 115422619211912203218201042282020181125301919108454394137334562373920300296596

説文を用いた．データセットから，イラストを伴う問題を除いた上で，各トピック毎に問題セットを 10 分割した上で統合し，10 交差検定で正解率の評価を行った．イラストを伴う問題を除くと，問題文と解説文のセットは 511 組となった．そのうち，412 組を訓練デー
タ，59 問組をテストに分割して実験を行った．

実験結果

5.2

表 3 に 10 交差検定を行った結果を示す．
わずかではあるが全体としては BERT が word2vecよりも正解率が高かった．
表 4 は各トピック毎の正解数を表す．

本研究で用いた含意関係認識技術

4

また，BERT を用いて実験を行った時の訓練データに対する正解率の変化を図 5.2 に示す．

本研究では，学科試験問題の自動解答を行うために，解説文が成立するならば，問題文が成立するかを問う

0.75

含意関係認識問題とみなして，問題を解くこととした．
含意関係認識技術として，1)word2vec を用いた文ベ

0.7
正解率

クトルの類似度を利用する方法，2) BERT を使う方法を試した．

0.65

学習率

2.00E-05
3.00E-05
4.00E-05
5.00E-05

0.6

5

評価実験

5.1

実験設定

0.55
50

100 150 200 250 300 350 400 452
学習データ数

1) で使用した word2vec は，日本語 Wikipedia コー
パスから学習させたモデルを使用した．問題文と解説

図 1: BERT を用いたときの訓練データ数による正解率の変化

文はそれぞれ日本語形態素解析器 MeCab を用いて形態素に分割し，それらの形態素に対する word2vec の平均ベクトルを文ベクトルとした．問題文の文ベクトルと解説文の文ベクトルについて，cos 類似度を計算し，あらかじめ設定しておいた閾値を超えた場合には含意関係がある，そうでない場合に含意関係がないとして，問題文の正誤を判定した．

訓練データ数が非常に少ないため，BERT を用いた方法でも word2vec を用いた方法とそれほど正解率は変わらなかった．BERT を用いた場合の正解率は，訓練データを増やしていくと次第に上がっていき，200組以上の場合は，ある程度安定した値になった．

閾値は，訓練データにおいて 0.01 刻みでグリッドサーチし，訓練データにおける正解率が最も高かった

5.3

word2vec 手法における閾値の影響値を閾値として定めた．

2) の BERT を用いる方法では，BERT の含意関係

1) の word2vec を用いて文ベクトルを作成した方法

認識モードを使用し，事前学習モデルには，日本語で，類似度の閾値を変化させたときの影響について調Wikipedia に基づく事前学習モデル [6] を用いた．ま1

た，入力文に対する形態素解析には JUMAN++ を利べた．図 5.3 に閾値を 0.05 ずつ変化させたとき正解率の変化のグラフを示す．

1 http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++― 122 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 免許試験問題集における問題文と解説文の例
トピック
運転する前の心得

問題文
原動機付自転車に乗るときは、必ず自動車損害賠償責任保険か責任共済に加入する必要がある。

正誤○

歩行者の保護

安全地帯のない停留所で路面電車から人が乗り降りしている場合でも、路面電車との間に1.5 メートル以上の間隔があれば徐行して通行できる。
道路に面したガソリンスタンドに入るために歩道を横切る場合には、歩行者がいてもいなくても、その直前で一時停止しなければならない。
車を運転中に地震災害に関する警戒宣言が発せられたときは、車を置いて避難する場合、できるだけ道路外の場所に移動しておかなければならない。
幅の広い路側帯に駐車するときは、歩行者の通行のため、車に左側に 0.5 メートル以上の余地をあければ駐車することができる。

×

歩行者の保護

事故・故障・災害などのとき

駐車と停車

表 3: 10 交差検定による評価
手法
word2vec
BERT

○○

×

解説文
運転する前には、運転免許証と有効な自動車検査証、自動車損害賠償責任保険証明書または責任共済証明書を備えておかなければなりません。
安全地帯のないときには、乗り降りする人や道路を横断する人がいなくなるまで、路面電車の後方で停止して待たなければなりません。
道路に面した場所に出入りするため歩道や路側帯を横切る場合には、その直前で一時停止するとともに、歩行者の通行を妨げないようにします。
車を置いて避難するときは、できるだけ道路外の場所に移動しておかなければなりません。

路側帯に入って駐停車することができる場合には、車の左側に 0.75 メートル以上の余地をあけておかなければなりません。

0.75

正解率
0.62
0.64

0.7

正解率0.65

表 4: 各トピック毎の正解数
トピック番号

12
3456
78910
1112

word2vec の正解数
正解数/問題数
2章
3章
2/2
1/2
3/5
4/5
3/3
1/3
1/2
1/2
3/3
1/2
1/2
1/2
1/2
0/2
0/2
2/3
3/4
3/3
2/2
2/2
2/2
1/2
1/1
0/1

BERT の正解数
正解数/問題数
2章
3章
2/2
2/2
4/5
4/5
2/3
3/3
2/2
1/2
1/3
1/2
2/2
0/2
1/2
1/2
1/2
2/3
1/4
3/3
0/2
2/2
2/2
2/2
1/1
1/1

0.6
0.55
0.5
0.760.81

0.86

0.91

0.96

閾値

図 2: 閾値の正解率への影響

手法による正解した問題の違い

5.4

上記の 10 交差検定のうちの 1 回分（訓練データ 452組，テストデータ 59 組）を用いて，手法による正解した問題の違いを調べた．

閾値が低い場合は正解率がかなり低いが，閾値が0.95 を超えた時点で急に高い正解率が得られているこ

5.4.1

word2vec 手法が優位な問題とが分かる．今回の実験では，訓練データを使用して設定した閾値とテストデータにおける正解率が高くなword2vec 手法で解けて，BERT を用いた手法で解る閾値がほぼ一致し，訓練データを用いた閾値決定がけなかった問題を分析したところ，大きく分けて，適切であることが分かった．

• 訓練データに類似問題がなかった問題• 訓練データに類似問題があるが負例しかなかった問題― 123 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

• 計算処理が必要となる問題

6

おわりにの 3 つのタイプがあることが分かった．3 つ目の計算本研究では，普通自動車免許の学科試験問題集にお処理が必要となる問題の例を表 5 に示す．このようなける問題解説文を利用して，試験問題の自動解答を含意関係認識として解く方法を試みた．word2vec を用

表 5: 計算処理が必要となる問題の例

いた方法，BERT を用いた方法の 2 つの手法を試みた

問題文 (正解は×）
乗用定員は運転者を含まないで数え、12 歳未満のこどもを乗せる場合は、こども 2 人を大人 1 人として計算する。
解説
12 歳未満のこども 3 人を大人 2 人として計算します。もちろん、運転者も 1 人として数えます。

結果，それらの 2 つの手法に正解率の差はほとんどなかったものの，一定程度問題解説文が自動解答に利用できることが分かった．BERT を用いた方法については今回，訓練データの数が少なかったので，より大規模なデータで評価を行いたいと考えている．

計算処理が必要となる問題は，BERT を用いた方法では正解することができなかった．

謝辞
本研究は JSPS 科研費 18K11452 の助成を受けたも5.4.2のである．

BERT 手法が優位な問題

BERT で解けて，word2vec で解けなかった典型的な問題としては，表 6 に示すような，言い回しは異な

参考文献

るが，解説文と問題文が意味的に言い換えの関係にあ[1] 的場成紀, 古賀雅樹, 大塚基広, 小林一郎, 平博順.

る問題があった．

運転免許試験で使用される語彙と省略語句の分析.
人工知能学会全国大会論文集 一般社団法人 人工知

表 6: 解説文と問題文が言い換えの関係にある問題

能学会, pp. 1N4J904–1N4J904. 一般社団法人 人

問題文（正解は○）車を運転するときは、たえず前方に注意するとともに、ミラーなどにより周囲の交通の状況に目を配ることが大切であり、一点だけを注視した運転は避けなければならない。
解説一点だけを注視したり、ぼんやり見ているだけでなく、たえず前方に注意するとともに、ルームミラーやサイドミラーなどによって周囲の交通の状況に目を配ります。

5.4.3

工知能学会, 2019.

[2] 杉村皓太, 佐々木裕. 交通規則問題のための解答システムの構築. 言語処理学会第 19 回年次大会予稿集, pp. 790–793, 2013.

[3] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S
Corrado, and Jeﬀ Dean. Distributed representations of words and phrases and their composition-

どちらの手法でも不正解だった問題

ality. pp. 3111–3119, 2013.

BERT，word2vec の両方で解けなかった問題として，表 7 に示すような解説文が問題文の答えに対する[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep

補足説明となっている問題があった．

bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

表 7: 両方で解けなかった問題
問題文（正解は○）車が 60 キロメートル毎時でコンクリートの壁に激突した場合は、約 14 メートル（ビルの 5 階程度）の高さから落ちた場合と同じ程度の衝撃力になる。
解説文
衝撃力は速度と重力に応じて大きくなり、また、固い物にぶつかるときのように、衝撃の作用が短時間に行われるほど、その力は大きくなります。

[5] 学科試験問題研究所. ポケット版 普通免許試験
問題集. 永岡書店, 2015.

[6] 柴田知秀, 河原大輔, 黒橋禎夫. BERT による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会予稿集, pp. 205–208, 2019.

― 124 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.