(57)【要約】      （修正有）【課題】主語や目的語等が省略された文であっても、環境内に存在する物体と操作指示内容とを関連付け言語処理を行う。【解決手段】情報処理装置１は、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書ＤＢ１０と、外部オブジェクトの空間的相対関係のデータを取得する検出部２と、操作命令文を受け付ける入力部３と、辞書ＤＢ１０を参照して、省略されている文言も含めた操作命令文の階層構造を求める空間的意味構造解析部４と、階層構造でもって接続された複数の部分モデルを有し、各部分モデルが、文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、オブジェクトが文言に対応する度合いに関する第３の変数を有する確率モデルを生成する確率モデル生成部５と、検出部２にて検出された空間的相対関係のデータから確率値が最大のオブジェクトの空間的相対関係を決定する照合部６とを備える。【選択図】図１
2017107276.tif 000002
【特許請求の範囲】
【請求項１】
操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、
外部空間に存在するオブジェクトに関する空間的相対関係のデータを取得する検出部と、
ユーザから操作命令文の入力を受け付ける入力部と、
前記入力部にて入力された操作命令文に含まれる文言の階層構造を求めるとともに、前記辞書データベースを参照して前記操作命令文において省略されている文言も含めた階層構造を求める空間的意味構造解析部と、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、
前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、
前記操作命令文の解析結果を出力する出力部と、
を備える情報処理装置。
【請求項２】
前記確信度モデルは、確率モデルである請求項１に記載の情報処理装置。
【請求項３】
前記検出部は、検出されたオブジェクトの位置を地図情報に基づいて、自車両を基準とするローカル座標系に座標変換する請求項１または２に記載の情報処理装置。
【請求項４】
前記検出部は、オブジェクトの空間的位置関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出し、
前記空間的意味構造解析部は、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求める請求項１乃至３のいずれかに記載の情報処理装置。
【請求項５】
前記検出部は、オブジェクトの空間的位置関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出し、
前記空間的意味構造解析部は、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求める請求項１乃至４のいずれかに記載の情報処理装置。
【請求項６】
操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、
外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出する検出部と、
ユーザから操作命令文の入力を受け付ける入力部と、
前記辞書データベースを参照して、前記入力部にて入力された操作命令文の解析を行い、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求める空間的意味構造解析部と、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、
前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、
前記操作命令文の解析結果を出力する出力部と、
を備える情報処理装置。
【請求項７】
操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、
外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出する検出部と、
ユーザから操作命令文の入力を受け付ける入力部と、
前記辞書データベースを参照して、前記入力部にて入力された操作命令文の解析を行い、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求める空間的意味構造解析部と、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、
前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、
前記操作命令文の解析結果を出力する出力部と、
を備える情報処理装置。
【請求項８】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行う情報処理方法であって、
情報処理装置が、外部空間に存在するオブジェクトに関する空間的相対関係のデータを取得するステップと、
前記情報処理装置が、ユーザから操作命令文の入力を受け付けるステップと、
前記情報処理装置が、入力された操作命令文に含まれる文言の階層構造を求めるとともに、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して前記操作命令文において省略されている文言も含めた階層構造を求めるステップと、
前記情報処理装置が、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
前記情報処理装置が、検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記情報処理装置が、前記操作命令文の解析結果を出力するステップと、
を備える情報処理方法。
【請求項９】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行う情報処理方法であって、
情報処理装置が、外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出するステップと、
前記情報処理装置が、ユーザから操作命令文の入力を受け付けるステップと、
前記情報処理装置が、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して、ユーザにより入力された操作命令文の解析を行い、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求めるステップと、
前記情報処理装置が、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
前記情報処理装置が、検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記情報処理装置が、前記操作命令文の解析結果を出力するステップと、
を備える情報処理方法。
【請求項１０】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行う情報処理方法であって、
情報処理装置が、外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出するステップと、
前記情報処理装置が、ユーザから操作命令文の入力を受け付けるステップと、
前記情報処理装置が、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して、ユーザにより入力された操作命令文の解析を行い、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求めるステップと、
前記情報処理装置が、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
前記情報処理装置が、前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記情報処理装置が、前記操作命令文の解析結果を出力するステップと、
を備える情報処理方法。
【請求項１１】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行うためのプログラムであって、コンピュータに、
外部空間に存在するオブジェクトに関する空間的相対関係のデータを取得するステップと、
ユーザから操作命令文の入力を受け付けるステップと、
入力された操作命令文に含まれる文言の階層構造を求めるとともに、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して前記操作命令文において省略されている文言も含めた階層構造を求めるステップと、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記操作命令文の解析結果を出力するステップと、
を実行させるプログラム。
【請求項１２】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行うためのプログラムであって、コンピュータに、
外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出するステップと、
ユーザから操作命令文の入力を受け付けるステップと、
操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して、ユーザにより入力された操作命令文の解析を行い、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求めるステップと、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記操作命令文の解析結果を出力するステップと、
を実行させるプログラム。
【請求項１３】
外部空間に存在するオブジェクトに対する操作命令文の言語処理を行うためのプログラムであって、コンピュータに、
外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出するステップと、
ユーザから操作命令文の入力を受け付けるステップと、
操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースを参照して、ユーザにより入力された操作命令文の解析を行い、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求めるステップと、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成するステップと、
前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定するステップと、
前記操作命令文の解析結果を出力するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理を行う情報処理装置に関し、特に、空間内にある物体（オブジェクト）に関する操作指示内容を解析する情報処理装置に関する。
【背景技術】
【０００２】
従来から、ロボットに対して、空間内にある物体に関する操作指示を音声によって与えることが知られていた（特許文献１）。しかし、上記した従来技術では、物体の空間的な意味を抽出することはないため、物体間の相対位置の関係性や操作内容と物体との関係性を扱うことができない。
【０００３】
これに対し、空間的な意味情報を階層的な木構造で表現し、自然言語文からその中にある空間的な意味構造を確率的な手法によって抽出する技術についての先行研究がある（非特許文献１、非特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７０７８９号公報
【非特許文献】
【０００５】
【非特許文献１】T. Koller他「Towards Understanding Natural Language Directions」Proceedings of the 5th ACM/IEEE International Conference on Human-robot Interaction
【非特許文献２】S.Tellex他「Understanding Natural Language Commandsfor Robotic Navigation and Mobile Manipulation」In Proceedings of the National Conference on Artificial Intelligence (AAAI 2011).
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、普段の会話においては、主語や目的語等が省略されることもしばしばであるが、非特許文献１，２では、このような省略に対する解決手段を提供していない。特に、日本語の場合には、ゼロ代名詞と呼ばれる主語や目的語の省略が許されるため、こうした課題を解決することが求められている。
【０００７】
また、非特許文献１では、環境は建物内のような静的なものを想定している。非特許文献１に記載された技術では、静的な環境の中で、あらかじめ操作内容をロボットに教示しておく必要があるため、ドライブの環境のように動的に変化していく状況には適用できなかった。
【０００８】
例えば、自動運転などにおいて、ドライバが言葉で運転指示を出す環境を考えると、環境は常に動的に変化するため、非特許文献１に記載された技術を適用することはできず、もし適用できるとしても、静的でかつ既知という非常に限られた環境内でしか適用できないという問題がある。
【０００９】
そこで、本発明は、主語や目的語等が省略された文であっても、環境内に存在する物体と操作指示内容とを適切に関連付けて言語処理を行う情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、外部空間に存在するオブジェクトに関する空間的相対関係のデータを取得する検出部と、ユーザから操作命令文の入力を受け付ける入力部と、前記入力部にて入力された操作命令文に含まれる文言の階層構造を求めるとともに、前記辞書データベースを参照して前記操作命令文において省略されている文言も含めた階層構造を求める空間的意味構造解析部と、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、前記操作命令文の解析結果を出力する出力部とを備える。ここで、前記確信度モデルは、確率モデルであってもよいし、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）等の識別モデルであってもよい。
【００１１】
このように、辞書データベースを参照して操作命令文において省略されている文言も含めた階層構造を求めることで、外部オブジェクトの空間的相対関係の情報を用いて、省略されているであろう文言の候補を求めることができる。ここで、「文言」は、動詞、名詞句などであり、名詞プラス接置詞であってもよい。そして、検出された外部オブジェクトを第２の変数群に順次代入して、確信度モデルの確信度が最大となるオブジェクトの空間的相対関係を決定することで、主語や目的語等が省略された文であっても、環境内に存在するオブジェクトと操作命令とを適切に関連付けて言語処理を行うことができる。また、第２の変数群に代入する値が、外部に存在するオブジェクトによって絞り込まれるので、計算処理を軽減することができる。
【００１２】
本発明の情報処理装置において、前記検出部は、検出されたオブジェクトの位置を地図情報に基づいて、自車両を基準とするローカル座標系に座標変換してもよい。
【００１３】
このようにローカル座標系に座標変換することで、オブジェクトの位置を扱い易くなり、計算処理を軽減できる。
【００１４】
本発明の情報処理装置において、前記検出部は、オブジェクトの空間的位置関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出し、前記空間的意味構造解析部は、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求めてもよい。
【００１５】
また、本発明の情報処理装置において、前記検出部は、オブジェクトの空間的位置関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出し、前記空間的意味構造解析部は、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求めてもよい。
【００１６】
このように外部環境内において状態が変化しているオブジェクトを過去オブジェクトまたは未来オブジェクトとして扱うことにより、操作命令文に過去や未来のオブジェクトに関する命令が含まれているときであっても、適切に言語処理を行うことができる。
【００１７】
本発明の情報処理装置は、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、過去に取得した現在とは異なるオブジェクトの状態を過去オブジェクトとして検出する検出部と、ユーザから操作命令文の入力を受け付ける入力部と、前記辞書データベースを参照して、前記入力部にて入力された操作命令文の解析を行い、過去のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と過去のオブジェクトに関する文言とを区別して階層構造を求める空間的意味構造解析部と、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、前記操作命令文の解析結果を出力する出力部とを備える。
【００１８】
また、本発明の情報処理装置は、操作内容を表す動詞に共起する文言およびオブジェクトの空間的相対関係を記憶した辞書データベースと、外部空間に存在するオブジェクトに関する空間的相対関係の時系列データを取得し、オブジェクトの状態が変化している場合には、予測される未来のオブジェクトの状態を未来オブジェクトとして検出する検出部と、ユーザから操作命令文の入力を受け付ける入力部と、前記辞書データベースを参照して、前記入力部にて入力された操作命令文の解析を行い、未来のオブジェクトに関する文言が含まれている場合には、現在のオブジェクトに関する文言と未来のオブジェクトに関する文言とを区別して階層構造を求める空間的意味構造解析部と、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まる確信度モデルであって、前記各部分モデルが、前記文言に関する第１の変数、オブジェクトの空間的相対関係に関する第２の変数群、前記オブジェクトが前記文言に対応する度合いに関する第３の変数を有する確信度モデルを生成する確信度モデル生成部と、前記検出部にて検出されたオブジェクトの空間的相対関係のデータを前記第２の変数群に適用して前記複数の部分モデルの確信度の関数として求められる確信度を計算し、前記確信度が最大となるオブジェクトの空間的相対関係を決定する照合部と、前記操作命令文の解析結果を出力する出力部とを備える。
【００１９】
このように検出部では、空間的相対関係の時系列データに基づいて、オブジェクトの状態が変化している場合に、過去オブジェクト、未来オブジェクトを検出する一方で、空間的意味構造解析部では、操作命令文を解析して、現在のオブジェクトと、過去オブジェクト又は未来オブジェクトを区別して階層構造を求めるので、確信度の計算においては、過去オブジェクトを過去オブジェクトの部分モデルに、未来オブジェクトを未来オブジェクトの部分モデルに適用して、適切な言語処理解析を行える。
【００２０】
本発明の情報処理方法は、上記情報処理装置が実行する方法であり、本発明のプログラムは、上記情報処理装置が実行する方法を実現するためのプログラムである。
【発明の効果】
【００２１】
本発明は、主語や目的語等が省略された文であっても、環境内に存在する物体と操作指示内容とを適切に関連付けて言語処理を行うことができる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態の情報処理装置の構成を示す図である。
【図２】辞書データベースに記憶されたデータの例を示す図である。
【図３】運転シーンの例を示す図である。
【図４】操作命令文の構造解析結果の例を示す図である。
【図５】確率モデルの例を示す図である。
【図６】情報処理装置が外部オブジェクトの特徴量のデータを取得する動作を示す図である。
【図７】ドライバから操作命令がなされたときにその内容を解析する動作を示す図である。
【図８】（ａ）は駐車場の例を示す図である。（ｂ）駐車場に設定した座標系を示す図である。（ｃ）は座標系にオブジェクトの基本属性とオプション属性を関連付けたプライマリ環境オブジェクトの例を示す図である。
【図９】自車位置から駐車スペースまでのルートを規定したセカンダリ環境オブジェクトの例を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態の情報処理装置について図面を参照しながら説明する。本実施の形態では、情報処理装置は自動車に搭載される装置であることを前提とし、自動車の運転シーンにおいて、ドライバが指示した操作命令を解析する。
【００２４】
図１は、実施の形態の情報処理装置１の構成を示す図である。情報処理装置１は、外部の環境に関するデータを検出する検出部２と、ドライバからの操作命令を入力する入力部３と、入力された操作命令文の階層構造を解析する空間的意味構造解析部４と、階層構造に基づいて操作命令文の確率モデルを生成する確率モデル生成部５と、確率モデルに対して検出されたオブジェクトの空間的相対関係のデータを代入して確率値を求め、操作命令に係るオブジェクトを照合する照合部６と、照合部６での照合結果に基づいて操作命令の解析結果を出力する出力部７とを備えている。情報処理装置１は、ハードウェアとしては、電子制御ユニット（ＥＣＵ）によって構成される。このようなＥＣＵを制御するためのプログラムも本発明の範囲に含まれる。
【００２５】
情報処理装置１には、カメラ１１と測位装置１２が接続されている。カメラ１１は、車両の周辺を撮像し、撮像により得られた画像データを検出部２に送信する。測位装置１２は、自車両の位置を測位する装置であって、例えば、ＧＰＳ受信機でＧＰＳ衛星からの信号を受信して測位してもよいし、ジャイロ・加速度センサなどから得られるデータに基づいて現在位置を計算してもよい。
【００２６】
検出部２は、カメラ１１にて撮影されたカメラ画像を解析し、画像から、他車両、歩行者、路側物、駐車スペース、道路ペイント等のオブジェクトを抽出し、抽出したオブジェクトの空間的相対関係のデータを取得する。ここで、空間的相対関係のデータとは、空間に存在するオブジェクトどうしの位置関係であり、例えば、オブジェクトＡとオブジェクトＢが隣接しているとか、オブジェクトＡとオブジェクトＢの距離が○○ｍとか、オブジェクトＡはオブジェクトＢとオブジェクトＣとの間に存在する等の関係である。
【００２７】
検出部２は、オブジェクトの空間的相対関係のみならず、オブジェクトの属性のデータを取得してもよい。オブジェクトの属性とは、例えば、オブジェクトのタイプ、大きさ、色等である。検出部は、オブジェクトの空間的相対関係及び属性を環境データベース（以下、「環境ＤＢ」という）９に記憶する。本明細書では、オブジェクトの空間的相対関係と属性を合わせて、オブジェクトの特徴量という。
【００２８】
検出部２は、地図データベース（以下、「地図ＤＢ」という）８に接続されており、地図ＤＢ８から車両の現在位置周辺の地図データを読み出すことができる。検出部２は、カメラ画像から得られたオブジェクトの位置を、自車両を基準とする座標系に変換する。
【００２９】
また、検出部２は、オブジェクトのデータを経時的に検出し、例えば、オブジェクトが動いている等のようにオブジェクトの状態に変化があった場合には、環境ＤＢ９に過去オブジェクトとして記憶する。オブジェクトが、一定時間以上、同じ場所に滞留した場合には、その点に来た時刻、その場所から動いた時刻で、時系列をセグメンテーションし、３つの異なる過去オブジェクトに分割してもよいし、初期時刻から滞留していた場合には、滞留していた間と、動いた時刻の２つの過去オブジェクトに分割してもよい。
【００３０】
また、検出部２は、過去から現在までのオブジェクトの動きから、オブジェクトの将来の動きを予測し、環境ＤＢ９に未来オブジェクトとして記憶する。未来オブジェクトは所定の周期で、更新される。
【００３１】
例えば、駐車スペースに停車していた車両（オブジェクト）が出て行く場合には、現在移動中の車両が現在オブジェクトであり、過去に取得した駐車スペースに停車していた車両が過去オブジェクトである。また、現在の車両の動きから、車両が駐車場の出口に向かっていると予測できるときには、将来、駐車場の出口にいるであろう車両が未来オブジェクトである。このように、過去オブジェクト及び未来オブジェクトは、現在は存在しない仮想的なオブジェクトである。検出部２が検出して環境ＤＢ９に記憶されるオブジェクトの特徴量のデータの詳細は後述する。
【００３２】
入力部３は、音声を入力するマイクと音声認識部によって構成される。入力部３は、ドライバが発した音声をテキストデータに変換して空間的意味構造解析部４に渡す。
【００３３】
空間的意味構造解析部４は、入力部３より入力された操作命令文を単独で実質的な意味を有する形態素に分割し、分割された形態素どうしの階層構造を解析する。なお、入力された操作命令文が複文である場合には、単文に分割した上で、それぞれの単文の階層構造を解析する。
【００３４】
空間的意味構造解析部４は、「そこ」「あそこ」等の照応詞に対応する指示対象を特定する。また、日本語の場合には、聞き手が容易に推測できる語は頻繁に省略されるが、このようないわゆる「ゼロ代名詞」の文においては、空間的意味構造解析部４は、省略されている語が隠れていることを解析する。
【００３５】
また、空間的意味構造解析部４は、時制（現在、過去、未来）のモダリティ解析を行い、操作命令文に含まれているオブジェクトが、過去オブジェクト、（現在）オブジェクト、未来オブジェクトのいずれであるかを決める。例えば、「赤い車のあったところに停めて」という操作命令文の場合には、「赤い車」は、過去オブジェクトであると判定する。「前の車が停まったら、その隣りに駐車して」という操作命令文の場合には、「前の車」は、未来オブジェクトであると判定する。
【００３６】
図２は、辞書データベース（以下、「辞書ＤＢ」という）１０に記憶されたデータの例を示す図である。辞書ＤＢ１０は、運転シーンで用いられる動詞に関連付けて、その運転シーンで当該動詞と共起する名詞句のデータが記憶されていると共に、動詞と共起する特徴量（空間的相対関係／属性）のデータが記憶されている。例えば、「停める」という動詞に関連付けて、当該動詞に共起する名詞句として「駐車スペースに」「路側に」「入口の近くに」が記憶されている。
【００３７】
また、例えば、「停める」「駐車スペースに」との文言に関連付けて、「駐車スペース：Ｔｒｕｅ  前方：Ｔｒｕｅ  距離：［１，５］  上にある：｛｝」という特徴量が記憶されている。これは、操作文の中に「停める」に共起する「駐車スペース」という文言がある場合には、「駐車スペース」が「前方」に存在し（Ｔｒｕｅ）、その距離は１〜５ｍである（Ｔｒｕｅ）という空間的な特徴量が共起していることを示している。
【００３８】
動詞に共起する名詞句は、運転シーンで用いられる大量の操作命令文を教師データとして学習を行うことによって求める。また、特徴量のデータについても、運転シーンを撮影した大量の映像データを解析し、ドライバが発した操作命令文に含まれる動詞に共起する車の動きを検出して、辞書ＤＢ１０を生成する。
【００３９】
なお、辞書ＤＢ１０は、運転シーンに応じて、複数の辞書ＤＢを備えてもよい。例えば、駐車場で用いられる辞書ＤＢ、市街地で用いられる辞書ＤＢ、高速道路で用いられる辞書ＤＢというように複数の辞書ＤＢを有することにより、それぞれの運転シーンで用いられる文言を適切に解析できる。
【００４０】
確率モデル生成部５は、空間的意味構造解析部４にて解析された操作命令文の階層構造に基づいて、操作命令文の確率モデルを生成する。確率モデルは、複数のノードが階層構造でもって接続された構成を有しており、各ノードは、操作命令文にかかる文言を第１の確率変数λ、オブジェクトの特徴量のデータを第２の確率変数γ、文言とオブジェクトの特徴量が対応する度合いに関する第３の確率変数φを有する。
【００４１】
後述する図５では、図の便宜上、各ノードが有する第２の確率変数γを一つずつとしているが、実際には、一つの文言に対しては複数の特徴量が存在するのが通常なので、一つのノードは複数の第２の確率変数λを有する。第３の確率変数φは、第１の確率変数λの値と第２の確率変数γの値とが対応しているときに「１」（Ｔｒｕｅ）、対応していないときに「０」（Ｆａｌｓｅ）をとる。第１の確率変数λ、第２の確率変数γ、第３の確率変数φを有するノードが「部分モデル」を構成し、部分モデルが集まって確率モデルが構成されている。確率モデルの確率値は、各部分モデルの確率値の関数として求まる。ここでは、各部分モデルの確率値の積が確率モデル全体の確率値として求まる。
【００４２】
本実施の形態では、第１の確率変数λ、第２の確率変数γに対応する特徴量を求めることを目的としているので、確率変数φには「１」（Ｔｒｕｅ）を代入しておく。なお、辞書ＤＢ１０を学習する際には、確率変数φを変数として用いる。
【００４３】
図３は、以下に説明する運転シーンの例を示す図である。このシーンにおいて、ドライバから「自販機の横の赤い車が出て行ったら、そこに停めて」という操作命令が発せられた場合を考える。図３は、便宜上、白黒で記載しているが、駐車場に停車している３台の車両のうち、車体を黒く記載している２台の車両は赤い車であるとする。なお、点線で示した車両Ｃ１は、過去に駐車スペースに駐車していたが、現在は駐車スペースから出たことを示している。この例において、ドライバの操作命令文は、赤い車Ｃ１が出て行った後に、赤い車Ｃ１が停まっていた場所Ｐ１に停めることを意図しているが、赤い車Ｃ１が出て行った後に、赤い車Ｃ１は存在しないため、赤い車Ｃ２の隣りに停めるという命令であると誤判定する可能性があった。
【００４４】
図４は、「自販機の横の赤い車が出て行ったら、そこに停めて」という操作命令文の空間的意味構造解析結果を示す図である。「自販機の横の赤い車が出て行ったら、そこに停めて」という文は、「自販機の横の赤い車が出て行ったら」というランドマークＬと、「停めて」という動詞Ｖに分解される。ここで、「自販機の横の赤い車が出て行ったら」というランドマークＬは空間的記述句（Spatial Description Clause）であり、「自販機の横」というランドマークＬと、「出て行く」という動詞Ｖと、「赤い車」というオブジェクトＦに分解される。さらに、「自販機の横」というランドマークＬは空間的記述句であり、「自販機」というランドマークＬと、「横」という空間的関係ＳＲと、「ｐ赤い車」というオブジェクトＦに分解される。図３に示すシーンにおいて「ｐ赤い車」は現存しないが、赤い車が過去に自販機の横の駐車スペースＰ１に存在していたことを示す仮想的なオブジェクト（過去オブジェクト）である。
【００４５】
このように空間的意味構造解析部４は操作命令文を解析して、図４に示すような階層構造を求める。また、空間的意味構造解析部４は、「自販機の横の赤い車が出て行ったら、そこに停めて」という操作命令文のモダリティ解析を行い、仮定法の表現が含まれていることから、照応先に対応する過去オブジェクトを生成している。なお、仮定法の表現の場合に必ず過去オブジェクトというわけではなく、未来オブジェクトのこともあり得る。操作命令文のモダリティ解析は、公知の技術を用いて行うことが可能である。
【００４６】
図５は、図４に示す空間的意味構造解析結果に基づいて確率モデルを生成した例を示す図である。確率モデル生成部５は、図５に示すように過去オブジェクトξに対応するノードを含む確率モデルを生成する。各ノードは確率値を表わし、確率モデル全体の確率値は、各ノードの確率値を乗じることにより求めることができる。
【００４７】
照合部６は、確率モデルが有する確率変数に対して値を代入することで、確率モデル全体の確率値を計算し、確率モデル全体の確率値を最大にする確率変数を求める。照合部６は、検出した特徴量のデータを確率モデルに順次代入し、そのときの部分モデルの確率値を求める。第２の確率変数γに代入する値は、検出部２にて検出された特徴量のデータである。具体的には、空間的意味構造解析部４により、辞書ＤＢ１０に基づいて空間的意味構造解析を行う際に、操作命令文の文言に共起する特徴量のうち、共起関係が強い特徴量を候補として記憶しておき、照合を行う際には、記憶された特徴量のデータを用いる。
【００４８】
また、操作命令文において、指示詞やゼロ代名詞等によって文言が省略されている場合には、確率モデルの当該対象のノードの第１の確率変数λに対して文言を代入することで、部分モデルの確率値を求める。この際、第１の確率変数λに代入する値は、空間的意味構造解析部４が辞書ＤＢ１０に基づいて空間的意味構造解析を行って、文言が省略されていることを解析したときに、操作命令文の文言に共起する文言のうち、共起関係が強い文言を候補として記憶しておき、照合を行う際には、記憶された文言のデータを用いる。
【００４９】
照合部６は、部分モデルの確率値の積をとって、確率モデル全体の確率値を計算する。これにより、操作命令文において指示されたオブジェクトや省略された文言を適切に決定することができる。
【００５０】
出力部７は、照合部６にて求められたオブジェクトのデータに基づいて、操作命令文の解析結果を出力する。すなわち、照合部６にて対応するオブジェクトを確定することにより、操作命令文が外部空間内のオブジェクトに対してどのような操作を指示しているのかの解析結果が得られるので、その結果を出力する。
【００５１】
図６及び図７は、本実施の形態の情報処理装置１の動作を示すフローチャートである。図６は、情報処理装置１が外部オブジェクトの特徴量のデータを取得する動作を示し、図７は、ドライバから操作命令がなされたときにその内容を解析する動作を示す。図６に示す動作と図７に示す動作は並行して行われる。具体的には、図６に示す特徴量のデータの取得は常時行われており、ドライバから操作命令がなされたときに、図６に示す特徴量のデータの取得を行いつつ、図７に示す動作が行われる。
【００５２】
まず、外部オブジェクトの特徴量のデータの取得について説明する。図６に示すように、情報処理装置１は、カメラ１１にて撮影した画像を処理して外部オブジェクトを検出し（Ｓ１０）、検出した外部オブジェクトの位置を、自車両を基準としたローカル座標系に座標変換する（Ｓ１１）。ローカル座標系は、例えば、自車両を基準とし、自車両の進行方向を縦軸、進行方向を直交する方向を横軸とし、車両１台の大きさ、あるいはその半分を一目盛とする座標系である。そして、情報処理装置１は、ローカル座標系に変換された特徴量のデータを環境ＤＢ９に記憶する。
【００５３】
ここで、オブジェクトの特徴量について一例を挙げて説明する。ただし、特徴量の規定の仕方は、以下に説明する方式に限定されるものではない。
オブジェクトには、環境自体を規定するプライマリ環境オブジェクトと、環境の中での位置関係を規定するセカンダリ環境オブジェクトがある。プライマリ環境オブジェクトは、すべてのオブジェクトが備える属性である基本属性（ＩＤ、座標）と、一部のオブジェクトが備えるオプション属性（タイプ、色、大きさ等）を有する。
【００５４】
プライマリ環境オブジェクトの例としては、道路セグメント、駐車スペース、ランドマーク、自車、道路ペイント、他車、自動販売機、フェンス、道路ランプ、ポール、交通標識等があり、これらのローカル座標の位置を示すデータによって規定される。
【００５５】
また、プライマリ環境オブジェクトには、座標を持たないデータとして、イベントのデータがある。例えば、駐車、前進、後退、目標に向かって進む、左折、右折、車線変更等である。
【００５６】
セカンダリ環境オブジェクトも、基本属性（ＩＤ、プライマリ環境オブジェクトの組）と、オプション属性（タイプ等）を有する。セカンダリ環境オブジェクトの例としては、空き駐車スペース、位置関係（上、隣、間、正面、背面、横切る、右、左）、順序、駐車ルートがある。
【００５７】
図８（ａ）は駐車場の例を示す図、図８（ｂ）は図８（ａ）の駐車場に設定した座標系を示す図、図８（ｃ）は座標系にオブジェクトの基本属性とオプション属性を関連付けたプライマリ環境オブジェクトの例を示す図である。図８（ｃ）に示すように、ローカル座標系に関連付けて、駐車スペース、レーン、トラック、小トラック、グレイバン等のオブジェクトの特徴量のデータを有する。
【００５８】
図９は、自車位置から駐車スペースまでのルートを規定したセカンダリ環境オブジェクトの例を示す図である。例えば、「２」では、座標（２，０）から（１，０）（１，１）（１，２）を通って、座標（０，２）にある駐車スペースに入れるルートを規定している。
【００５９】
図８及び図９に示すように、ローカル座標系に、上で定義したプライマリ環境オブジェクト及びセカンダリ環境オブジェクトを与えることで、特徴量のデータを規定できる。以上、特徴量のデータについて説明した。情報処理装置１は、常時、外部環境をセンシングして外部オブジェクトを検出し、検出した外部オブジェクトの位置をローカル座標系に変換して、上記した特徴量のデータを抽出して記憶する。
【００６０】
図７を参照して、ドライバから操作命令文が入力されたときの動作について説明する。ドライバが音声により操作命令を行うと、情報処理装置１は、入力部３にて操作命令文の入力を受け付ける（Ｓ２０）。情報処理装置１は、入力された操作命令文を形態素に分割し、照応解析を行って、操作命令文に省略されている指示詞やゼロ代名詞を補う（Ｓ２１）。
【００６１】
続いて、情報処理装置１は、空間的意味構造解析を行い、分割により得られた形態素どうしの階層構造を解析し（Ｓ２２）、その解析結果に基づいて空間的意味を抽出し（Ｓ２３）、例えば図４に示すような階層構造を求める。次に、情報処理装置１は、操作命令文の階層構造に基づいて、例えば図５に示すような確率モデルを生成する（Ｓ２４）。
【００６２】
次に、情報処理装置１は、環境ＤＢ９から読み出したオブジェクトを確率モデルに順次代入して、確率モデル全体の確率値を求め、確率値が最大となったときに代入したオブジェクトを、操作命令文に対応するオブジェクトとして求める照合処理を行う（Ｓ２５）。そして、情報処理装置１は、操作命令文の解析結果を出力する（Ｓ２６）。以上、本実施の形態の情報処理装置１の構成及び動作について説明した。
【００６３】
本実施の形態では、空間的意味構造解析部４は、省略されている文言があることを解析し、これを前提とした確率モデルを生成する。これにより、操作命令文において省略された言葉を補う処理を適切に行うことができ、モニターなどの操作を扱うことなく、直感的に空間的な操作についての指示を与えることが可能になる。特に、日本語の場合には、英語と異なりゼロ代名詞と呼ばれる主語や目的語の省略が許されるため、まずそれらを特定しないと対応付け処理ができなかったが、本実施の形態によれば、適切な対応付け処理を行える。
【００６４】
また、本実施の形態では、空間的意味構造解析部４が、時制（現在、過去、未来）のモダリティ解析を行い、操作命令文に含まれているオブジェクトが、過去オブジェクト、（現在）オブジェクト、未来オブジェクトのいずれであるかを決める。その一方で、検出部２は、環境内のオブジェクトを検出した結果から、現在は存在しない仮想的な過去オブジェクト、未来オブジェクトのデータを記憶しておくので、操作命令文が過去又は未来のオブジェクトに関する操作を含んでいる場合であっても、適切に対応付け処理を行うことができる。これにより、環境が動的に変化する場合であっても、環境内のオブジェクトと操作命令文とを適切に関連付けて言語処理を行うことができる。また、確率変数に代入するのが、外部に存在するオブジェクトに絞り込まれるので、探索処理を軽減することができる。
【００６５】
以上、本発明の情報処理装置について、実施の形態を挙げて詳細に説明したが、本発明の情報処理装置は上記した実施の形態に限定されるものではない。
上記した実施の形態では、辞書ＤＢ１０には、動詞に関連付けて、その動詞に共起する名詞句のデータを記憶する例を挙げたが、接置詞によって分類した名詞を関連付けてもよい。名詞に接置詞の情報を付加することで、名詞の表層格（ガ格、ハ格、ヲ格、ニ格、カラ格、ヘ格、ト格、ヨリ格、デ格等）に応じて、動詞と名詞の共起関係の強いデータベースを生成できる。また、必ずしも、表層格の情報ではなく、辞書ＤＢは、動作主格、対象格、場所格などの深層格の情報によって、共起関係を規定してもよい。
【００６６】
上記した実施の形態では、文言とオブジェクトとの対応付けの確信度を計算するモデルとして、確率モデルを用いる例を挙げて説明したが、確信度モデルは確率モデルに限定されず、ニューラルネットワークの識別モデルや、ＳＶＭを用いてもよい。すなわち、各部分モデルをニューラルネットワークやＳＶＭで構成しておき、確信度モデル全体の確信度が各部分モデルの確信度の積として求まるように構成する。
【００６７】
上記した実施の形態では、空間的意味構造解析により操作命令文において省略された文言を求める処理と、過去オブジェクトや未来オブジェクトを用いて確率モデルを生成する処理の両方を含んだ例を挙げたが、上記２つの処理は必ずセットでなければならないというわけではなく、いずれか片方のみを実装した装置も本発明の範囲に含まれる。
【産業上の利用可能性】
【００６８】
本発明は、主語や目的語等が省略された文であっても、環境内に存在する物体と操作指示内容とを適切に関連付けて言語処理を行うことができ、言語解析処理に有用である。
【符号の説明】
【００６９】
１  情報処理装置
２  検出部
３  入力部
４  空間的意味構造解析部
５  確率モデル生成部
６  照合部
７  出力部
８  地図ＤＢ
９  環境ＤＢ
１０  辞書ＤＢ
１１  カメラ
１２  測位装置
【図１】
2017107276.tif 000003
【図２】
2017107276.tif 000004
【図３】
2017107276.tif 000005
【図４】
2017107276.tif 000006
【図５】
2017107276.tif 000007
【図６】
2017107276.tif 000008
【図７】
2017107276.tif 000009
【図８】
2017107276.tif 000010
【図９】
2017107276.tif 000011