運転指示文における時空間的意味構造の抽出への取り組み
理学専攻・情報科学コース

1

稲子 明里（指導教員：小林 一郎）

はじめに

4.1

CCG とは, カテゴリに対する関数適用により構文解析を行う語彙化文法の 1 つである. CCG のカテゴリは, 基底カテゴリと, それらを演算子 “\”, “/”で組み合わせて再帰的に定義される関数型カテゴリから成る.
本研究では規則の 1 つである関数適用規則: X/Y Y ⇒X Y, X\Y ⇒ X を用いる. (X と Y は任意のカテゴリ)
さらに, CCG で扱われている統語カテゴリを用いずに, SDC のタイプに従い E(EVENT), O(OBJECT),L(PLACE), P(PATH), S(STATE), V(VIEW) を基底カテゴリとして入力文を解析する. 構文解析手法には,Shift-Reduce 法を用いる. SHIFT と REDUCE-X をアクションとして適用した. (X は任意のカテゴリ) どちらのアクションも標準の定義に従う. 解の探索はビームサーチで行った. 候補のスコアは解析の処理過程において識別された各 REDUCE-X の対数尤度の和である. アクションを識別するモデルにはロジスティック回帰を適用した.

近年, 車の自動運転の実用化に向けた動きが活発化している. 車を運転できない人でも自動運転車を操作するために, より操作を容易にする手法の開発が期待されている. なかでも, 口頭指示による対話的な操作は, 車への意思疎通を行う手段として今後必要になることが予想される. そこで我々は, 自然言語で表現された自動運転車への操作指示内容と実世界との対応づけを目的とし, 操作指示内容を車の操作へと結びつける時空間意味記述の生成を目指す.

2

空間意味記述本研究で用いる空間意味記述 Spatial Description
Clause(SDC)[1] について説明する. SDC では, 空間的意味に従って文の言語要素を分類する. 自然言語は階層的な性質を持つため, SDC は木構造の形をしている. SDC の各言語要素は figure f, relation r, landmark
l の 3 つのフィールドのいずれかに属する. さらに, 各SDC は定義された意味タイプがタグ付けされていて,EVENT, OBJECT, PLACE, PATH の 4 つのタイプに分けられる. ここで, EVENT は実行される行動のシーケンス, OBJECT は人や車などの物体, PLACE
は場所を表し, PATH は経路や方向を示す.

34.2

空間意味記述の拡張

4.3

5

本提案手法は, 前処理として, 文における空間的意味の依存関係が構文木として表示できるような Combinatory Categorial Grammar(CCG)[2] ベースの文法を定義し, この構文木から時空間意味記述への変換を行うことを目指している. 図 1 に概要図を示す.
''($)*$!"#$%#&$
E$

6789$:;345<$(L\O)$

678$

9:;$(E\L)$

345$

5.19:;$

実験設定

対象データには, クラウドソーシングによって集められたコンビニエンスストアの駐車場での駐車シーンにおける 6,019 文の日本語の駐車指示コーパスを用いた. 駐車シーンにランドマークは 6 つ, 駐車可能なスペースは 2 つ含まれる.

)*+,$

PLACE$
OBJ$
678$

実験

駐車指示から SDC への変換に対する評価実験について述べる.

EVENT$

L$
O$/012$+,$-.$!"#$

変換規則

パーザによって解析された木を SDC に変換する方法について説明する. 変換は深さ 1 の部分木ごとに行い, 日本語の駐車指示コーパスを参照して得たヒューリスティックな知識に基づいた変換規則を用いる. この変換規則は条件に合致するかどうかに従って, 49 個存在する.

空間意味記述の生成%&'($リランキング

Shift-Reduce 法による構文解析では, 構文木のグローバルな構造は考慮されていない. 解候補に対して, それらの構文木のグローバルな構造を素性としてリランキングを行う. ロジスティック回帰による識別で導出される事後確率をスコアとしてとり, 最もスコアが高いものを解とする. 訓練データを作成する際は, 正解データを正クラス, 出力された解候補の中で正解データでない候補を負クラスとする.

従来の SDC では, ナビゲーションが目的であったた
め 4 つのタイプで十分であったが, 我々は自動車を操作するための多様な言語指示の中に現れる表現に対応するため, view v, condition c という新たなフィールドを追加する. ここで v は話者の視点とは違うところに明示的に設定されている場合にノードが持っている空間的な関係, c はノードが満たすべき条件を表す. さらに, VIEW, STATE という 2 つのタイプを追加する.
VIEW はある点から他の点への空間方向, STATE は状態や条件を表す.

4CCG 解析

5.2

345$

実験結果と考察

まず, リランキングを適用した場合と適用していない場合のコーパス全体での精度の結果を表 1 に示す.
「全体の正解率」は, すべてのデータのうち構文解析パターンが解と同じだった割合. 「構文解析できる正解率」は, すべてのデータのうち構文解析できた割合.
「構文解析できた正解率」は, 構文解析できたデータの

図 1: 本研究の概要図

1

して持つ形になる. また, イベントが 3 つ以上ある
場合には, PROCESS の下に, EVENT や PROCESSが入れ子構造になって合成される. TRANSITION もPROCESS と同様の構造を持つ. PROCESS として扱う２つのイベントまたは状態間の時間順序関係は,Allen の時区間論理 [3] に基づいている. さらに, 事象間の時間順序関係には, TempEval-2[4] と同様の定義
で AFTER, BEFORE, OVERLAP, OVERLAP-ORAFTER, OVERLAP-OR-BEFORE, VAGUE という6 種類の関係ラベルの内の 1 つを付与する. 事象間の時間順序関係を含む STDC を生成する場合は, 識別モデルを用いてクラス分類を行い, 時間順序関係ラベルの推定を行う. また, 時間的な順序関係を持つ複数のイベントから成る操作指示の中には, 時間表現が省略されている場合もある. そのような場合に対処するために, CCG の組み合わせ規則の１つである等位接続規則: X CONJ X ⇒ X を CCG 解析で用いる. ここで X は任意のカテゴリで, CONJ は “and”や “or”を意味する言葉のカテゴリとして使用される. 等位接続規則では, 同じカテゴリを持つ構成要素を合成することができるので, 操作指示において２つの EVENT 間の時間的な順序関係を意味する表現が省略されていても,EVENT のカテゴリ同士を合成することによって, 補完することが可能である.

中で正解だった割合を表す. リランキングを行ったことにより, 全体の精度が改善されたことがわかる. また構文解析できなかった文とパーザの出力の解候補中に正解が 1 つも入っていない文を抜けば, リランキングをした場合の精度は 0.943 となる. 次に, コーパス
表 1: パーザの精度
リラン

全体の構文解析

構文解析できた

キング

正解率

できた確率

文の正解率

なし

0.618

0.937

0.659

あり

0.847

0.937

0.904の駐車指示をパーザを用いて生成した構文木について,SDC への変換を行う実験結果について述べる. 表 2 はパーザから出力された構文木から SDC への変換精度を表している. 「全ての木」は, パーザから出力された全ての構文木を SDC に変換した場合の精度であり,「正解木」はパーザから出力された構文木の中で正解だった構文木のみを SDC に変換した場合の精度である. 精度においては, SDC の構造が正解データと完全に一致していたら正しいとみなす. 括弧内は実験データの数である. パーザから出力された構文木が正しい場合には, SDC に正しく変換できたことを示している.

7
表 2: 構文木から SDC への変換精度
全ての木正解木

0.847(6019)

6

おわりに

本研究では, SDC のタイプに VIEW や STATE を追加することで, 自動運転車への多様な操作指示を扱えるようにするための拡張を行った. また前処理として,文における空間的意味の依存関係が構文木として表示できるような CCG による文法を定義し, この構文木から SDC への変換を行う手法を提案した．さらに SDCに時間概念を取り入れ STDC に拡張することで, 時間が表されている指示や時間軸上にイベントが連なる指示を扱えるようにした. 今後の課題として, TIME やPROCESS, TRANSITION にあたる表現を含む操作指示を用いた評価実験の実施, 未知語処理の実装, イベント間の時間順序関係を推定する手法の考案が挙げられる.

1.0(5098)

時空間意味記述への拡張

Kollar ら [1] の研究では, 空間的な情報のみを対象にして, 自然言語から意味構造を生成していた. 一方,時間的な順序関係を持つ複数のイベントから成る自動運転車への操作指示を理解するためには, 空間意味記
述に時間概念を導入し, イベントの時間順序関係を同定することが不可欠と考える. そこで我々は, SDC に新たに time t というフィールドと TIME, PROCESS,TRANSITION という 3 つのタイプを追加することにより, 時空間意味記述 Spatial Temporal Description
Clause(STDC) への拡張を行った. これにより, 「11時になったら駅に向かって」のような時刻が含まれる操作指示や, 「目の前の車が出たらそこに停めて」のような時系列順にイベントが連なっている指示, 「前の車と並んで行くから, 車間距離を詰めて」のような依存関係を持つイベントが含まれる指示が扱えるようになる. ここで, t は時間概念を含んだイベント,TIME は時刻などの直接的な時間表現, PROCESS は連続するイベントまたは状態を合成したイベントを表す. TRANSITION はイベントや状態間の依存関係や因果関係を含むイベントを表し, 片方の状態やイベントがトリガーやゴールになる様な 2 つの状態やイベントの合成を行う. TIME は EVENT の入れ子となり,relation フィールドに属する時間表現を持つ. 時刻がEVENT によって参照される場合には, TIME の下に入れ子になる可能性が有る. PROCESS は, PROCESS
自体が landmark フィールドにイベントや状態を子と参考文献[1] T. Kollar, S. Tellex, D. Roy and N. Roy. ”Toward understanding natural language directions”.
In Proceedings of HRI, 2010.
[2] S.Tellex, T. Kollar, S. Dickerson, M. R. Walter, A. G. Banerjee, S. Teller and N. Roy. ”Understanding Natural Language Commands for
Robotic Navigation and Mobile Manipulation”.
In Proceedings of AAAI, 2011.
[3] James Allen. ”Maintaining knowledge about temporal intervals”. In Communications of the ACM,
1983
[4] M. Verhagen, R. Gaizaukas, F. Schilder, M, Hepple, G. Katz, and J. Pustejovsky. ”Semeval-2007
task 15: Tempeval temporal relation identification”. In Proceedings of the 4th International
Workshop on SemEval-2007., 2007.
2