# 交通に関する知識グラフを用いた運転免許試験問題の解法

相川渉 三輪誠 佐々木裕
豊田工業大学
\{sd18001, makoto-miwa,yutaka.sasaki\}@toyota-ti.ac.jp

## 概要

運転知識に基づいて運転免許試験問題を解くアプローチでは，運転に関する知識ベースを作成して， それに基づいて解答の判定を行う必要がある. 既存の手法では解答の判定が表記に依存したり，知識間の関係を考慮できていないという問題があった。そこで本研究では，交通教則文から抽出した運転知識を知識グラフに変換し，知識グラフの埋め込みモデルをベースとして，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を試みる。

## 1 はじめに

完全自動運転であるレベル 6 自動運転においては，自動運転システムが交通法規や交通マナーといった知識を持ち，それに基づいて，判断・推論を行う必要がある. 人間の運転に関する知識や判断・推論能力を評価するひとつの指標として，運転免許筆記試験があり，レベル 6 自動運転システムについても，運転免許試験問題を解かせることができればこの能力を同様に評価することができる.

運転に必要な知識は交通教則 [1] に記載されている. Savong らは交通教則から知識を構造化して取り出すための手法としてオントロジー形式のアノテー ションを提案し，交通教則にアノテーション [2]を行った.この形式でタグ付けされた情報は簡単に Resource Definition Framework (RDF) トリプルに変換することができ，この変換したトリプルは交通教則の知識の集合を表した知識べースとして利用できると期待される。

また，構造化された知識を用いて質問応答を行う手法も提案されている。鈴木ら [3] は質問文を問い合わせ言語に変換して知識べースに問い合わせることで解答を予測する。この手法では，同じ内容の質問でも表記が異なるとマッチングしないという問題点がある．鈴木ら [4] は Bidirectional Encoder

図 1 提案手法の概要

Representations from Transformers (BERT) モデルを基にオントロジー形式のアノテーションデータセットの知識を用いて解答を取得する。この手法は入力された質問文と学習文について用語単位のべクトルの平均を取り，それらの類似度から解答を予測する。 この手法は用語単位のベクトルを使って予測を行うため用語間の関係性を直接考慮できていないと考えられる。これを解決するために，取り出した知識ベースから知識グラフを作成して，知識グラフの埋め込みモデルを用いて質問応答を行うことが有効だと考えた

そこで本研究では，Savong ら [2] の交通関係アノテーションから取り出した交通教則の知識を表す RDFトリプルを対象に，知識グラフの埋め込みモデルを用いた質問応答システムへの利用可能性を調査する。

## 2 関連研究

交通教則に関するオントロジー形式関係 (OSRRoR) データセット [2] とは，交通教則 [1] に行ったオントロジー形式のアノテーションデータである.アノテーションの例を図 2 に示す.このアノテーションの特徴として，用語の一種として RDF スキーマに定義されている rdf:Property に対応する関係に関する用語（関係用語）を用意し，それぞれ rdfs:domain, rdfs:range に対応する domain と range の関係を関係用語と用語のタイプの間に結ぶことで用

(2)

(2) シートベルトは、正しく着用しましよう。

図 2 オントロジー形式のアノテーション

語間の関係を表現する. 図 2 では「は」に関係用語「Tool(T1)」を付与し, 「シートベルト」に付与されている用語のタイプ「SeatBelt」と「Tool」の間に range の関係を「Tool」と「着用」に付与されている用語のタイプ「Utilization」の間に domain の関係を繋げている.

## 3 提案手法

本研究では，交通教則へのオントロジー形式のアノテーションを知識ベースとして，知識グラフの埋め込みモデルを学習・利用することで，運転免許試験の解答を行う手法を提案する．手法の概要を図 1 に示す. まず，オントロジー形式のアノテーションを行った交通教則からトリプルを作成し，これを知識グラフの埋め込みモデルで学習する。次に学習したモデルに運転免許質問文に現れるトリプルを入力し, それぞれのトリプルの確率値を出す. 最後にそれらの確率值を統合して解答を出力する。

本研究で用いるオントロジー形式のアノテーションからトリプルを作成する方法を 3.1 節で, 作成したトリプルを用いたモデルの学習については 3.2 節で，学習したモデルを用いた解答の出力については 3.3 節で説明する.

## 3.1 トリプルの作成

オントロジー形式のアノテーションを行った交通教則からトリプルを作成する. トリプルは全てのアノテーションに対して以下のように作成して， 3 種類のトリプルのデータセットを作成する.

1. コーパス中の用語それぞれに対して，IDがそれぞれ一意になるように，個別の用語 IDを付与する. ここで言う用語は，関係用語も含んでおり，同じ用語でも言及箇所が異なれば異なる IDを付与する。

2. 用語 ID と用語の表層について「label」という関係を，用語 ID と用語のタイプに対して 「type」という関係を付けてトリプルを作成する. 図3では用語の ID「Vehicle11_1_T62」 と表層「自動車」に「label」という関係

図 3 「rel_id」での関係のつけ方

を付与して, (Vehicle11_1_T62,label, 自動車)というトリプルを作成する。また, 用語の ID「Vehicle11_1_T62」と用語のタイプ「Vehicle」に「type」という関係を付与して(Vehicle,type,Vehicle11_1_T62) というトリプルを作成する。「Keeping」や 「Keeping11_1_T102」，「管理」の方でも同様に行ってトリプルを作成する。

3. 関係とその関係に繋がる用語について 3 種類の方法でトリプルを作成する.

・図 3 で示すように用語 ID 間に関係を繋げてトリプル (Keeping11_1_T102,range,Vehicle11_1_T62) を作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを「rel_id」とする.

・用語のタイプと関係を繋げてトリプル (Keeping, range,Vehicle)を作成する。2で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_type」とする.

・用語 IDと関係タグ，用語のタイプと関係を繋げてそれぞれトリプルを作成する. 2 で作成したトリプルとこの方法によって作成したトリプルを合わせたデータセットを 「rel_both」とする.

運転免許質問文に関しても同様にトリプルを作成する。

## 3.2 モデルの学習

作成したトリプルを入力して，モデルが学習するまでの流れを以下に示す.

図 4 「rel_type」での関係のつけ方

図 5 「rel_both」での関係のつけ方

1. コーパスから作成したトリプルのデータセットと関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルを学習用データセットとして用意する。関係用語と用語間のつながりを除いた運転免許質問文から作成したトリプルも学習用データセットに加えるのは, コーパス中に存在しない用語が質問文に含まれると解答の推論が行えなくなるからである。

2. 使用する知識グラフの表現学習モデル（本研究では AmpliGraph の TransE [5], DistMult [6], HolE [7] を使用・比較する）とモデルのハイパーパラメタを決め，学習用データセットを入力として損失関数を最小化する.

3. トリプルを入力として確率値を出力するようにモデルを較正する．較正は Tabacof ら [8] の手法を用いて行った.

4. 学習に用いた全てのトリプルの確率値を求め,教則の知識をモデルが表現できるかを確認する. 具体的には，確率値が 0.9 を超えるトリプルがデータセット全体の 9 割を占めていれば交通教則の知識を表現できているとみなして 3.3表 1 データセットの統計

節で説明する解答の推論を行う。そうでなければ解答の推論は行わずに別のパラメタで学習を行う.

## 3.3 学習済みモデルを用いた推論

学習したモデルを用いて，質問の解答を以下のように行う。
1. 3.1 節で作成したトリプルから，それぞれの運転免許質問文に対応するトリプルの集合 $Q$ を取り出す。

2. 学習したモデルに $Q$ のトリプルを入力として,次のように解答を選択する。解答が○である確率 $P_{\text {True }} ， \mathrm{X}$ である確率 $P_{\text {False }}$ について，あるトリプル $(\mathrm{h}, \mathrm{r}, \mathrm{t})$ の確率を $p(h, r, t)(0 \leq p \leq 1)$ を用いて，式 (1) と式 (2) のように計算する. 求められた $P_{\text {True }}$ と $P_{\text {False }}$ を比較して， $P_{\text {True }}$ の方が大きければ○を， $P_{\text {False }}$ の方が大きければ× を解答する。

$
\begin{gathered}
P_{\text {True }}=\prod_{(h, r, t) \in Q} p(h, r, t) \\
P_{\text {False }}=\prod_{(h, r, t) \in Q}(1-p(h, r, t))
\end{gathered}
$

## 4 実験と考察

## 4.1 使用したデータセット

・オントロジー形式のアノテーションを行った交通教則

交通教則 [1] にオントロジー形式のアノテー ションを行ったデータから 3.1 節の方法で 3 種類のトリプルのデータセットを作成した。それぞれのデータセットの統計を表 1 に示す.

・運転免許試験の質問文

オントロジー形式のアノテーションを行った運転免許試験問題（正誤問題）100 問文のトリプルを作成した. ID 間の関係を結んでトリプルを作成した．質問毎のトリプル数の統計を表 2 に示す. 3.2 節で説明したように，質問文の表
表 2 質問毎のトリプル数の統計

層と ID 間・IDと type 間での関係（label, type） のトリプルのデータは訓練に用いた。このトリプルの数は 1,620 個であった.

## 4.2 結果と考察

自動車の運転に関する 100 問の問題（正解が正・誤となる問題それぞれ 50 問）をランダムに 5 分割し，グラフ埋め込みのパラメータチューニングを 5 分割交差検証で行って，それぞれの正解率を平均をスコアとした. 表 3 に結果を示す. 実験の結果から，エンティティタイプに関係を付ける知識グラフに対して，HolEを使用して「rel_type」のデータセットを使用したときの正解率が最も高くなった.関係のつけ方による正解率を比較してみると TransE と HolE は「rel_type」で，DistMult は「rel_id」で最も高い正解率を出しており，同じデータセットでも正解率はモデルに依存することがわかった. 1 番卜リプル数が多い「rel_both」の正解率がどのモデルにおいても正解率が最も高くならなかったことから正解率はトリプル数に依存しないことがわかった.「rel_id」のデータセットに用語のタイプ間の関係を繋いで作成したトリプルを加えたデータセットが「rel_both」になる. DistMultでは「rel_id」の方が「rel_both」よりも正解率が高くなったことから， DistMult においては用語のタイプ間の関係を繋いだことによって作成したトリプルが正解率を低下させることに影響していたと考えられる. TransE と HolE の場合では「rel_type」の方が「rel_both」よりも正解率が高かったため, 用語の ID 間で関係を繋いだことによって作成したトリプルが正解率を低下させることに影響しているのではないかと考えられる.表 3 モデルと関係の付け方による正解率

## 5 おわりに

本研究では，オントロジー形式でアノテーションされた交通教則から抽出した運転知識を知識グラフに変換し，知識グラフの埋め込みモデル構築し，問題文から作成したトリプルについてのリンク予測問題を解くことで運転免許試験問題を解く方法を提案した. 運転免許試験問題 100 問に対する 5 分割交差検証の結果， $62 \%$ の正解率を得ることができることが明らかになった. 正誤問題であるため，ベースラインは $50 \%$ であり， ベースラインからの改善は不十分であるが，知識ベースに対して SPARQL で照合するアプローチではほとんど照合に成功しないことから考えると，ソフトな知識のマッチングができている。また，各質問文から作られた各トリプルの確率も計算できているため，どの部分がどの程度正しいと判断されたのかを根拠として確認できる．今後は，本課題に合った新しい知識グラフの埋め込みモデルを考案し，運転免許問題の正解率を向上させていきたい.

## 謝辞

本研究の一部は JSPS 科研費 $20 K 11942$ の助成を受けた。

## 参考文献

[1] 国家公安委員会. 交通の方法に関する教則. 2019.

[2] Savong Bou, Naoki Suzuki, Makoto Miwa, and Yutaka Sasaki. Ontology-style relation annotation: A case study. In Proceedings of the 12th Language Resources and Evaluation Conference, pp.4867-4876, Marseille, France, May 2020. European Language Resources Association.

[3] 鈴木遼司, 三輪誠, 佐々木裕. 交通オントロジーを対象とした質問文の sparql クエリ変換. 言語処理学会第 21 回年次大会発表論文集, 2015.

[4] 鈴木直樹, Bou Savong, 三輪誠, 佐々木裕. オントロジー形式アノテーションを対象とした交通用語・関係抽出と正誤問題の回答. 言語処理学会第 26 回年次大会発表論文集, 2020.

[5] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, Vol. 26, , 2013.

[6] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575, 2014.

[7] Maximilian Nickel, Lorenzo Rosasco, and Tomaso Poggio. Holographic embeddings of knowledge graphs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Pedro Tabacof and Luca Costabello. Probability calibration for knowledge graph embedding models. In International Conference on Learning Representations, 2020.