(57)【要約】      （修正有）【課題】自然言語で表現された操作指示の内容を、実世界との対応づけを行うのに適したデータ構造に変換する情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置１は、構成素のカテゴリと意味的解釈を表現する情報とを記憶した辞書ＤＢ１５であって、カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書ＤＢ１５と、入力された文に対して形態素解析を行う形態素解析部２２と、辞書ＤＢ１５に記憶された情報を参照して、形態素解析部２２にて得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリとラムダ式を与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および文を表すラムダ式を生成する木構造生成部２３と、木構造のアトミックなカテゴリをノードとする階層構造を生成する階層構造生成部２４とを備える。【選択図】図１
2018124922.tif 000002
【特許請求の範囲】
【請求項１】
入力部から入力された文を処理する情報処理装置であって、
形態素または形態素のまとまりからなる構成素のカテゴリと、前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースと、
入力された文に対して形態素解析を行う形態素解析部と、
前記辞書データベースに記憶された情報を参照して、前記形態素解析部にて得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成する木構造生成部と、
前記木構造のアトミックなカテゴリをノードとする階層構造を生成する階層構造生成部と、
を備える情報処理装置。
【請求項２】
外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、
前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まるグラフであって、前記各部分モデルが、前記文の構成素に関する第１の変数群、物体の空間的位置関係に関する第２の変数群、及びグラウンディングの対応関係に関する第３の変数群を有するグラウンディンググラフを生成するグラウンディンググラフ生成部と、
前記検出部にて検出された物体の空間的位置関係のデータを前記グラウンディンググラフの前記第２の変数群に適用して、前記文で指している物体を特定する照合部と、
を備える請求項１に記載の情報処理装置。
【請求項３】
前記木構造生成部は、前記文の意味と背景知識を表す意味とに基づいて、入力された前記文が背景知識に照らして矛盾がないか否かを判定する請求項１又は２に記載の情報処理装置。
【請求項４】
前記辞書データベースは、前記カテゴリとして、視点位置に関するカテゴリを含む請求項１乃至３のいずれかに記載の情報処理装置。
【請求項５】
前記辞書データベースは、前記カテゴリとして、物体または空間の状態に関するカテゴリを含む請求項１乃至４のいずれかに記載の情報処理装置。
【請求項６】
前記辞書データベースは、前記カテゴリとして、パスに関するカテゴリを含む請求項１乃至５のいずれかに記載の情報処理装置。
【請求項７】
前記入力部より入力された文について、換言が必要な場合に換言処理を行う表現補正処理部を備える請求項１乃至６のいずれかに記載の情報処理装置。
【請求項８】
前記入力部より入力された文が複文である場合に、複数の単文への変換を行う表現処理部を備える請求項１乃至６のいずれかに記載の情報処理装置。
【請求項９】
前記木構造生成部は、背景知識を記憶した知識データベースに基づいて、前記文において省略されている文言を予測して、前記木構造を生成する請求項１乃至８のいずれかに記載の情報処理装置。
【請求項１０】
前記木構造生成部は、隣接するカテゴリが所定の関数適用規則に適合しない場合に、前記文において省略された文言があると判定し、省略された文言を予測する請求項１乃至９のいずれかに記載の情報処理装置。
【請求項１１】
前記照合部にて、前記グラウンディンググラフの前記第２の変数群に対応する物体が特定されない場合に、前記文において省略された文言があると判定し、省略された文言を予測する請求項２に記載の情報処理装置。
【請求項１２】
前記木構造生成部は、前記辞書データベースに記憶された構成素のデータに基づいて、あるいは、入力された文の文脈に基づいて、前記文に含まれている未知語の内容を予測し、木構造を生成する請求項１乃至１１のいずれかに記載の情報処理装置。
【請求項１３】
ユーザから入力された文を情報処理装置によって解析する方法であって、
前記情報処理装置が、ユーザから文の入力を受け付けるステップと、
前記情報処理装置が、入力された文に対して形態素解析を行うステップと、
前記情報処理装置が、形態素または形態素のまとまりからなる構成素のカテゴリと前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースに記憶された情報を参照して、形態素解析によって得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成するステップと、
前記情報処理装置が、前記木構造のアトミックなカテゴリをノードとする階層構造を生成するステップと、
を備える情報処理方法。
【請求項１４】
ユーザから入力された文を解析するプログラムであって、コンピュータに以下のステップを実行させるプログラム：
ユーザから文の入力を受け付けるステップ；
入力された文に対して形態素解析を行うステップ；
形態素または形態素のまとまりからなる構成素のカテゴリと、前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースに記憶された情報を参照して、形態素解析によって得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成するステップ；
前記木構造のアトミックなカテゴリをノードとする階層構造を生成するステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然言語処理を行う情報処理装置に関し、特に、空間内にある物体（オブジェクト）に関する操作指示内容を解析する情報処理装置に関する。
【背景技術】
【０００２】
従来から、ロボットに対して、空間内にある物体に関する操作指示を音声によって与えることが知られていた（特許文献１）。しかし、この技術では、物体の空間的な意味を抽出することはないため、物体間の相対位置の関係性や操作内容と物体との関係性を扱うことができなかった。
【０００３】
これに対し、空間的な意味情報を階層的な構造で表現し、自然言語文からその中にある空間的な意味構造を確率的な手法によって抽出する技術についての先行研究がある（非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７０７８９号公報
【非特許文献】
【０００５】
【非特許文献１】T. Koller他「Towards Understanding Natural Language Directions」Proceedings of the 5th ACM/IEEE International Conference on Human-robot Interaction
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１では、環境は建物内のような静的なものを想定している。非特許文献１に記載された技術では、静的な環境の中で、あらかじめ操作内容をロボットに教示しておく必要があるため、ドライブの環境のように動的に変化していく状況には適用できなかった。
【０００７】
例えば、自動運転などにおいて、ドライバが言葉で運転指示を出す環境を考えると、環境は常に動的に変化するため、非特許文献１に記載された技術を適用することはできず、もし適用できるとしても、静的でかつ既知という非常に限られた環境内でしか適用できないという問題がある。
【０００８】
本発明は、自然言語で表現された実世界における操作指示の内容を、実世界との対応づけ（グラウンディング）を行うのに適したデータ構造に変換する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、入力部から入力された文を処理する情報処理装置であって、形態素または形態素のまとまりからなる構成素のカテゴリと、前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースと、入力された文に対して形態素解析を行う形態素解析部と、前記辞書データベースに記憶された情報を参照して、前記形態素解析部にて得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成する木構造生成部と、前記木構造のアトミックなカテゴリをノードとする階層構造を生成する階層構造生成部とを備える。この構成により、階層構造を用いて、外部空間に存在する物体を特定（グラウンディング）することができる。なお、構成素の意味的解釈を表現する情報としては、ラムダ式などの論理式の集合、あるいはベクトルの集合を用いることができる。論理式の集合を用いた場合、構成素ごとの論理式は、複合論理式を生成する関数適用により合成することができる。ベクトルの集合を用いた場合、２つのベクトルから新たなベクトルを生成する関数を木構造の分岐に適用することで文全体のベクトルを合成することができる（recursive neural network）。
【００１０】
本発明の情報処理装置は、外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、前記階層構造でもって接続された複数の部分モデルを有し、各部分モデルの確信度の関数として確信度が求まるグラフであって、前記各部分モデルが、前記文の構成素に関する第１の変数群、物体の空間的位置関係に関する第２の変数群、及びグラウンディングの対応関係に関する第３の変数群を有するグラウンディンググラフを生成するグラウンディンググラフ生成部と、前記検出部にて検出された物体の空間的位置関係のデータを前記グラウンディンググラフの前記第２の変数群に適用して、前記文で指している物体を特定する照合部とを備えてもよい。この構成により、入力された文において指称されている外部空間に存在する物体を特定することができる。
【００１１】
本発明の情報処理装置において、前記木構造生成部は、前記文の意味と背景知識を表す意味とに基づいて、入力された前記文が背景知識に照らして矛盾がないか否かを判定してもよい。これにより、背景知識に基づいて表現の正当性を確認して、入力された文を、階層構造を生成可能な適切な表現にすることができる。例えば、構成素の意味的解釈の表現として論理式を用いた場合には、複合論理式の真・偽の値により矛盾がないか否かの判定を行える。構成素の意味的解釈を表現としてベクトルを用いた場合には、ベクトル間の角度についての閾値処理（閾値よりも小さいならば矛盾なしで、そうでないなら矛盾）や、ベクトルの所定の近傍領域の包含関係（一方が他に包含されていれば矛盾なしで、そうでないなら矛盾）などによって矛盾がないか否かの判定を行える。
【００１２】
本発明の情報処理装置において、前記辞書データベースは、前記カテゴリとして、視点位置に関するカテゴリを含んでもよい。例えば、「〇〇から見て左」等のように、発話者自らを視点としない文も存在する。本発明の構成によれば、このような視点の変化を伴う表現にも対応することができる。
【００１３】
本発明の情報処理装置において、前記辞書データベースは、前記カテゴリとして、物体または空間の状態に関するカテゴリを含んでもよい。この構成により、同じ物体や空間であっても、その状態が異なるものを適切に区別して認識することができる。
【００１４】
本発明の情報処理装置において、前記辞書データベースは、前記カテゴリとして、パスに関するカテゴリを含んでもよい。この構成により、多点間を結ぶ経路（パス）についての表現にも対応することができる。
【００１５】
本発明の情報処理装置は、前記入力部より入力された文について、換言が必要な場合に換言処理を行う表現補正処理部を備えてもよい。この構成により、木構造や階層構造を生成しやすい表現にできる。
【００１６】
本発明の情報処理装置は、前記入力部より入力された文が複文である場合に、複数の単文への変換を行う表現処理部を備えてもよい。この構成により、木構造や階層構造を生成しやすい表現にできる。
【００１７】
本発明の情報処理装置において、前記木構造生成部は、背景知識を記憶した知識データベースに基づいて、前記文において省略されている文言を予測して、前記木構造を生成してもよい。人の日常会話においては、しばしば、文の一部が省略される。特に日本語の場合には、ゼロ代名詞と呼ばれ、主語や目的語の省略が許容されている。本発明によれば、知識データベースに基づいて省略されている文言を予測することにより、一部が省略されて文にも対応することができる。
【００１８】
本発明の情報処理装置において、前記木構造生成部は、隣接するカテゴリが所定の関数適用規則に適合しない場合に、前記文において省略された文言があると判定し、省略された文言を予測してもよい。これにより、省略された文言があることを適切に認識し、省略された文言を予測することができる。
【００１９】
本発明の情報処理装置は、前記照合部にて、前記グラウンディンググラフの前記第２の変数群に対応する物体が特定されない場合に、前記文において省略された文言があると判定し、省略された文言を予測してもよい。これにより、省略された文言があることを適切に認識し、省略された文言を予測することができる。
【００２０】
本発明の情報処理装置において、前記木構造生成部は、前記辞書データベースに記憶された構成素のデータに基づいて、あるいは、入力された文の文脈に基づいて、前記文に含まれている未知語の内容を予測し、木構造を生成してもよい。この構成により、辞書データベースのカテゴリに含まれていない新しい名称を含む文に対しても適切に対応することができる。
【００２１】
本発明の情報処理方法は、ユーザから入力された文を情報処理装置によって解析する方法であって、前記情報処理装置が、ユーザから文の入力を受け付けるステップと、前記情報処理装置が、入力された文に対して形態素解析を行うステップと、前記情報処理装置が、形態素または形態素のまとまりからなる構成素のカテゴリと、前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースに記憶された情報を参照して、形態素解析によって得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成するステップと、前記情報処理装置が、前記木構造のアトミックなカテゴリをノードとする階層構造を生成するステップとを備える。
【００２２】
本発明のプログラムは、ユーザから入力された文を解析するプログラムであって、コンピュータに以下のステップを実行させる。すなわち、ユーザから文の入力を受け付けるステップ；入力された文に対して形態素解析を行うステップ；形態素または形態素のまとまりからなる構成素のカテゴリと、前記構成素の意味的解釈を表現する情報とを記憶した辞書データベースであって、前記カテゴリとして物体を示すカテゴリおよび空間的な場所を示すカテゴリを含む辞書データベースに記憶された情報を参照して、形態素解析によって得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリと意味的解釈とを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造および前記文の意味を生成するステップ；前記木構造のアトミックなカテゴリをノードとする階層構造を生成するステップ。
【発明の効果】
【００２３】
本発明によれば、入力された文の階層構造を表す論理式を生成することにより、外部空間に存在する物体を特定（グラウンディング）することができる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態の情報処理装置の構成を示す図である。
【図２】辞書ＤＢに記憶されたデータの例を示す図である。
【図３】学習用コーパスに記憶されたデータの例である。
【図４】木構造の例を示す図である。
【図５】ラムダ式の例を示す図である。
【図６】（ａ）空間的意味を表す階層化されたデータ構造の例を示す図である。（ｂ）グラウンディンググラフの例を示す図である。
【図７】情報処理装置が外部のオブジェクトとのその関係データを取得する動作を示す図である。
【図８】ドライバから操作文が入力されたときにその内容を解析する動作を示す図である。
【図９】本実施の形態の情報処理装置によって、実オブジェクトのグラウンディングを行う例を示す図である。
【図１０】木構造の例を示す図である。
【図１１】ラムダ式の例を示す図である。
【図１２】（ａ）空間的意味を表す階層化されたデータ構造の例を示す図である。（ｂ）グラウンディンググラフの例を示す図である。
【図１３】（ａ）複文を単文に分割する例を示す図である。（ｂ）木構造の例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態の情報処理装置について、図面を参照して説明する。以下に説明する実施の形態においては、情報処理装置１は、ユーザから入力された操作文を解析し、外部環境に存在する物体（オブジェクト）と操作文で指示されている内容との対応付け（グラウンディング）を行う。情報処理装置１は、例えば、車両に搭載して用いられ、車両の自動運転制御部に対して運転指示を与えるために、ユーザからの操作文の意味内容を解析する。なお、情報処理装置１の用途は、自動運転のための操作文の解析に限定されるものではなく、自然言語を用いたあらゆるインターフェースに用いられる。
【００２６】
情報処理装置１のハードウェアは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、モニタ、スピーカー、マイク等を備えるコンピュータ（例えば、ＥＣＵ）によって構成される。コンピュータには、外部環境のデータを取得するデバイスとして、カメラ３０や測位装置３１が接続されている。測位装置３１としては、例えば、ＧＰＳを用いることができる。また、ＧＰＳの測位情報と走行速度やタイヤの回転数等の情報を組み合わせて測位を行う装置を用いてもよい。なお、ここで示したのは一例であり、測位装置３１の具体的な構成は、上記具体例に限られるものではない。
【００２７】
情報処理装置１は、カメラ３０や測位装置３１からのデータを受信して、外部の物体等を検出する検出部１０を有している。検出部１０は、測位装置３１から入力された測位データと地図データベース（以下、「地図ＤＢ」という）１３とに基づいて、現在位置および現在位置周辺にある施設を特定する。また、検出部１０は、カメラ３０にて撮影された画像から周囲に存在する物体（以下、「実オブジェクト」ともいう）を検出すると共に、実オブジェクトどうしの位置関係のデータ（以下、「オブジェクト関係データ」という）を検出し、環境データベース（以下、「環境ＤＢ」という）１４に記憶する。ここで、実オブジェクトとは、例えば、車両、駐車スペースである。オブジェクト関係データとは、実オブジェクト間の関係であり、例えば、駐車スペースの占有関係である。
【００２８】
情報処理装置１は、ユーザから操作文の入力を受け付ける入力部１１と、入力された操作部を解析して実オブジェクトとのグラウンディングを行う演算処理部２０と、実オブジェクトにグラウンディングされた操作文の内容を出力する出力部１２とを有している。出力部１２は、図示しない自動運転制御部に接続され、操作内容に応じた車両の運転制御を行わせる。入力部１１の具体例は、マイクであり、出力部１２の具体例は、自動運転制御部に接続されるインターフェース用の端子である。なお、グラウンディングされた結果をユーザに対して出力する場合には、出力部１２としてスピーカーやディスプレイを用いることができる。なお、以上に示した具体例は、一例であり、入力部１１や出力部１２は、上記の具体例に限られるものではない。
【００２９】
演算処理部２０は、表現補正部２１と、形態素解析部２２と、木構造生成部２３と、階層構造生成部２４と、グラウンディンググラフ生成部２５と、照合部２６の機能を有している。演算処理が実行するこれらの機能は、情報処理装置１を構成するコンピュータによって、所定のプログラムを実行することにより実現される。
【００３０】
表現補正部２１は、入力された操作文の表現を補正する機能を有する。表現補正部２１は、入力された操作文に対してパターンマッチング等を行うことにより、所定のパターンに合致する場合に、操作文の換言を行ったり、省略語を補ったりする機能を有する。形態素解析部２２は、表現補正部２１にて補正された操作文に対して形態素解析を行う機能を有する。例えば、入力された操作文が「停めるのは、空いているスペースの一番右側」であった場合、表現補正部２１は、「停めるのは、〇〇」というパターンに当てはまることを検出し、「空いているスペースの一番右側に停めて」という操作文に換言する。これにより、操作文におけるイベントが明確になり、後の処理を適切に行うことができる。
【００３１】
木構造生成部２３は、辞書データベース（以下、「辞書ＤＢ」という）１５に記憶された情報を参照して、形態素解析部２２にて得られた形態素の一つまたは隣接する複数の形態素のまとまりからなる構成素に対してカテゴリを与え、隣接するカテゴリを所定の関数適用規則に従って組み合わせて当該カテゴリを階層的にまとめた木構造を生成する機能を有する。
【００３２】
図２は、辞書ＤＢ１５に記憶されたデータの例を示す図である。辞書ＤＢ１５には、形態素または形態素の組み合わせからなる構成素と、構成素に与えられたカテゴリと、構成素の意味と、当該カテゴリに該当する確率のデータが記憶されている。本実施の形態の情報処理装置１においては、カテゴリとしては、Ｏ（オブジェクト）、Ｌ（場所）、Ｓ（状態）、Ｖ（視点）、Ｅ（イベント）、Ｐ（パス）がある。
【００３３】
Ｏ（オブジェクト）は、構成素が物体であることを示し、図２に示す例では、「コンビニ」「車」がこれに該当する。Ｌ（場所）は、空間的な場所であることを示し、例えば、「の近くに」（図示せず）という構成素はこれに該当する。Ｓ（状態）は、状態を示す構成素であり、図２に示す例では、「いない」がこれに該当する。Ｖ（視点）は、視点を示し、図２に示す例では、「から見て」がこれに該当する。Ｅ（イベント）は、動作を示す構成素であり、例えば、「停めて」という構成素がこれに該当する。Ｐ（パス）は、多点間を結ぶ経路を示す表現であり、例えば、「の向こう側」や「出口の方へ」等がこれに該当する。
【００３４】
辞書ＤＢ１５のカテゴリには、当該構成素のカテゴリを示す情報に加え、当該構成素の前後に構成素がかかる場合には、前後の構成素のカテゴリの情報も有する。カテゴリに含まれる「￥」「／」は演算子であり、「￥」は構成素の左（つまり前）から別の構成素がかかることを示し、「／」は構成素の右（つまり後ろ）から別の構成素がかかることを示す。例えば、「Ｖ￥Ｏ」は、構成素がＶ（視点）の構成素であることを示すと共に、左からＯ（オブジェクト）がかかることを示している。従って、「から見て」は、「（オブジェクト）から見て」という組合せを作る構成素である。なお、本明細書では「￥」を用いたが、「／」の反対向きの記号が用いられることもある。
【００３５】
構成素の意味は、ラムダ式の集合によって表されている。このように構成素の意味がラムダ式によって表されているので、ラムダ式の関数適用規則を適用することにより隣接する構成素との合成を行うことができる。なお、本実施の形態では、構成素の意味を論理式の一つであるラムダ式で表現しているが、構成素の意味を表現する情報はラムダ式に限られず、例えば、ベクトルを用いることもできる。
【００３６】
辞書ＤＢ１５に記憶された確率のデータは、構成素に付与された各カテゴリが正確である確率である。この確率は、例えば、学習用コーパス１７に記憶された多数の文を解析することによって得られる。
【００３７】
図３（ａ）〜図３（ｃ）は、学習用コーパス１７に記憶されたデータの例である。図３（ａ）〜図３（ｃ）は、それぞれ異なる文を形態素に分割した例を示す。学習用コーパス１７には、文を構成する形態素と、それに対応する原形、品詞、カテゴリのデータが記憶されている。学習用コーパス１７は、図３（ａ）〜図３（ｃ）に示すような文を膨大に記憶しており、学習用コーパス１７に含まれる文において見られる品詞、カテゴリを分析することにより、構成素の想定され得るカテゴリについて確率を求めることができる。なお、連続する形態素のカテゴリが同じ場合には、一つの構成素として扱う。例えば、「一番」「右側」「に」のカテゴリは、いずれもＬ（場所）なので「一番右側に」を一つの構成素とし、これにＬ（場所）のカテゴリを与える。
【００３８】
木構造生成部２３は、形態素解析部２２にて得られた形態素に対して、シフトリデュースパーシング（Shift Reduce Parsing）を用いて、構成素およびそのカテゴリを決定する。具体的には、操作文の先頭から形態素をスタック（シフト）していき、辞書ＤＢ１５に対応する構成素が存在する場合には、スタックされた形態素をひとまとまりの構成素として取り出すという処理（リデュース）を繰り返し行う。
【００３９】
ここで、どの形態素をひとまとまりの構成素として取り出すかは、学習用コーパス１７内のデータによって識別器を学習させて判別する。例えば、ロジスティック回帰で各操作についての確率値を計算し、確率値が高いものを選択する。また、パース中は確率値が高いパース結果の上位Ｎ件を保持しながら処理（ビームサーチ）を行う。パースが完了した際、上位Ｎ件のパース候補のうち、最も確率値が高いものをパース結果として出力してもよいし、さらに上位Ｎ位の候補について、確率値に加えて、リデュース回数、パース結果の木構造についての特徴量を元に、リランキングを行って、最も順位が高いものをパース結果として出力してもよい。木構造の特徴量としては、木構造に含まれるすべての部分木の出現回数などを用いる。また、リランキングには、ロジスティック回帰などの識別器を用いる。なお、この識別器も学習データを用いて学習する。
【００４０】
次に、木構造生成部２３は、隣接する構成素のカテゴリを所定の関数適用規則に従って組み合わせて、カテゴリを階層的にまとめた木構造を生成する。
【００４１】
図４は、「コンビニの前の、歩行者の近くにいない車の横に停めて」という操作文の構成素を木構造にまとめた例を示す図である。例えば、「コンビニ」（Ｏ）と「の前の」（（Ｏ／Ｏ）￥Ｏ）という隣接する２つの構成素についてみてみる。「の前の」のカテゴリは、「の前の」の構成素の前からＯ（オブジェクト）がかかることを示しているので、コンビニ（Ｏ）をかけて、カテゴリは（Ｏ／Ｏ）となる。「歩行者」（Ｏ）と「の近くに」（Ｌ￥Ｏ）についてみると、「の近くの」という構成素に対して前からＯ（オブジェクト）がかかるから、歩行者（Ｏ）をかけて、カテゴリは「Ｌ」となる。このように、隣接する構成素のカテゴリを所定の関数適用規則に従って組み合わせることで、図４に示すような木構造が生成される。
【００４２】
図５は、木構造の各ノードにおける論理式を示す図である。図５では、ラムダ式と呼ばれる表現記法である。図５の式（Ａ）は、図４に示す木構造の左側の「コンビニ」「の前の」を表すラムダ式であり、式（Ｂ）は「歩行者」「の近くに」「いない」「車」を表すラムダ式である。式（Ｃ）は、式（Ａ）と式（Ｂ）の適用である。式（Ｄ）は、式（Ｃ）で計算した「コンビニの前の、歩行者の近くにいない車」のラムダ式と、「の横に」を表すラムダ式との適用である。式（Ｅ）は、式（Ｄ）で計算した「コンビニの前の、歩行者の近くにいない車の横に」のラムダ式と、「停めて」を表すラムダ式との適用であり、式（Ｅ）によって、文がラムダ式で表現される。図５では、便宜上、図４の木構造とは逆に、上から下へとラムダ式の適用を書いている点に留意されたい。
【００４３】
なお、この木構造生成の過程で、所定の関数適用規則があてはまらない構成素がある場合には、構成素間に省略されている文言がある可能性がある。この場合、木構造生成部２３は、省略されている構成素を予測して補い、木構造を生成する。ここで、省略されている構成素を予測する方法としては、例えば、イベントの表現に関する背景知識を利用することが考えられる。例えば、「一番右側に停めて」という操作文が入力された場合を考える。背景知識として、停めることができるのは空いているスペースであることから、上記例の操作文は「一番右側の空いているスペースに停めて」と省略を補うことができる。
【００４４】
また、背景知識に加えて、人の一般的嗜好に関する知識を利用してもよい。例えば、「左側に停めて」という操作文が入力された場合を考える。背景知識としては、上記と同様に、停めることができるのは空いているスペースである。また、人の嗜好に関する知識として、可能なら近傍に何もない場所が良いとすると、上記例の操作文は、「左側の空いているスペースの真ん中に停めて」と省略を補うことができる。このように、背景知識や嗜好に関する知識を利用することにより、ユーザが発する操作文を適切な表現に修正し、操作文の木構造を生成することができる。
【００４５】
背景知識や人の嗜好に関する知識を利用する具体的な構成としては、操作文のラムダ式の中に、背景知識等を表現したラムダ式を導入し、そのラムダ式の真偽を判定する。その結果が真となるような操作文の意味解釈を与えるパーシング結果を、操作文の可能なパースの中から採用する。
【００４６】
ここでは、省略された文言を補う例として、背景知識を用いる例を挙げたが、省略した文言を補う方法は、背景知識を利用する方法には限られず、例えば、Ｎ−ｇｒａｍやパターンマッチングを用いて、省略語を予測して補うこととしてもよい。
【００４７】
なお、未知の構成素があった場合には、未知語のカテゴリ推定を行う。推定には、条件付き確率場（ＣＲＦ）などの系列ラベリングを利用する。推定されたカテゴリで処理をして、構文木の生成に失敗したら、すべての可能なカテゴリを当てはめて、構文木が生成できるものを候補とする。
【００４８】
階層構造生成部２４は、木構造生成部２３にて生成された木構造に基づいて、階層化されたデータ構造を生成する機能を有する。階層構造生成部２４は、木構造のルートから下位のノードへとアトミックなカテゴリを持つノードを辿って遷移し、遷移したノードのカテゴリに従って、空間的意味を表す階層化されたデータ構造の各ノードを生成する。階層構造生成部２４は、木構造のすべてのノード全体をパースすることにより、図６（ａ）に示すような、空間的意味を表す階層化されたデータ構造（空間的意味構造（Spatial Description Clause））を生成する。
【００４９】
グラウンディンググラフ生成部２５は、ユーザから入力された操作文の構成素を実オブジェクトの空間的位置関係に対応付けするグラウンディンググラフを生成する機能を有する。図６（ｂ）はグラウンディンググラフの例を示す図である。グラウンディンググラフは、複数の部分モデルからなる。各部分モデルは、入力された文の構成素を第１の変数群、オブジェクトの空間的位置関係に関する第２の変数群、及びグラウンディングの対応関係に関する第３の変数群を有し、これにより構成素と空間的位置関係とが合致する確信度が求まる。グラウンディンググラフは、階層構造全体の確信度が各部分モデルの確信度の関数として求まるグラフである。なお、図６（ｂ）のグラウンディンググラフにおいて、「状態」の下にある第３の変数が黒く塗り潰されているのは、「いない」という構成素を、「いる」という構成素が「偽（False）」である状態によって表現をしているからである。
【００５０】
照合部２６は、グラウンディンググラフに対して外部の実オブジェクトのデータを適用し、グラウンディンググラフの確信度に基づいて、操作文と実オブジェクトとの対応付けを行う。
【００５１】
図７及び図８は、本実施の形態の情報処理装置１の動作を示すフローチャートである。図７は、情報処理装置１が外部のオブジェクトとのその関係データを取得する動作を示し、図８は、ドライバから操作文が入力されたときにその内容を解析する動作を示す。図７に示す動作と図８に示す動作は並行して行われる。具体的には、図７に示す外部オブジェクトのデータの取得は常時行われており、ドライバから操作文が入力されたときに、図７に示す外部オブジェクトのデータを取得しつつ、図８に示す動作を行う。
【００５２】
まず、外部のオブジェクトのデータの取得について説明する。図７に示すように、情報処理装置１は、カメラ３０にて撮影した画像を処理して外部のオブジェクトを検出する（Ｓ１０）。また、情報処理装置１は、測位装置３１にて測位された現在位置のデータに基づいて、地図ＤＢ１３から現在位置周辺のＰＯＩを外部オブジェクトとして検出する。
【００５３】
情報処理装置１は、検出した外部オブジェクトの位置を、自車両を基準としたローカル座標系に座標変換する（Ｓ１１）。ローカル座標系は、例えば、自車両を基準とし、自車両の進行方向を縦軸、進行方向を直交する方向を横軸とし、車両１台の大きさ、あるいはその半分を一目盛とする座標系である。また、情報処理装置１は、検出されたオブジェクトどうしの関係データを取得する。そして、情報処理装置１は、ローカル座標系に変換されたオブジェクトおよびその関係データを環境ＤＢ１４に記憶する。
【００５４】
図８を参照して、ドライバから操作文が入力されたときの動作について説明する。ドライバが音声により操作命令を行うと、情報処理装置１は、入力部１１にて操作命令文の入力を受け付ける（Ｓ２０）。情報処理装置１は、入力された操作文に対し、パターンマッチングを行って、換言等の表現補正処理を行う（Ｓ２１）。続いて、情報処理装置１は、表現補正された操作文を形態素に分割する（Ｓ２２）。
【００５５】
次に、情報処理装置１の木構造生成部２３は、形態素解析によって得られた形態素に対して、シフトリデュースパーシングを行なって、構成素及びそのカテゴリを決定する。続いて、木構造生成部２３は、隣接する構成素のカテゴリを所定の関数適用規則に従って組み合わせて、カテゴリを階層的にまとめた木構造を生成する（Ｓ２３）。ここで、所定の関数適用規則にしたがって木構造を生成できない場合には（Ｓ２３で失敗）、操作文の表現補正処理の候補があるか否かを判定する（Ｓ２７）。表現補正処理の候補がある場合には（Ｓ２７であり）、表現補正処理（Ｓ２１）に戻る。表現補正処理の候補がない場合には（Ｓ２７でなし）、操作文の解析処理を終了する。この場合は、例えば、ユーザに、操作文の再入力を促す。
【００５６】
木構造生成部２３において、操作文の木構造を生成することができた場合（Ｓ２３で成功）、情報処理装置１の階層構造生成部２４は、木構造に基づいて、階層化されたデータ構造を生成する（Ｓ２４）。続いて、情報処理装置１のグラウンディンググラフ生成部２５は、ユーザから入力された操作文の構成素を実オブジェクトの空間的位置関係に対応付けするためのグラウンディンググラフを生成する（Ｓ２５）。
【００５７】
次に、情報処理装置１は、グラウンディンググラフに対して外部の実オブジェクトのデータを適用し、グラウンディンググラフの確信度に基づいて、操作文への実オブジェクトの対応付けを行う（Ｓ２６）。その結果、対応付けに失敗した場合には（Ｓ２６で失敗）、操作文の表現補正処理の候補があるか否かを判定する（Ｓ２７）。表現補正処理の候補がある場合には（Ｓ２７であり）、表現補正処理（Ｓ２１）に戻る。表現補正処理の候補がない場合には（Ｓ２７でなし）、操作文の解析処理を終了する。この場合も、例えば、ユーザに、操作文の再入力を促す。
【００５８】
ユーザが入力した操作文と実オブジェクトとの対応付けに成功した場合には（Ｓ２６で成功）、その対応付けに従って操作文の内容を解釈して、例えば、自動運転制御部に、操作内容を出力する（Ｓ２８）。以上、本発明の実施の形態の情報処理装置の構成および動作について説明した。
【００５９】
本実施の形態の情報処理装置１は、操作文の構成素のカテゴリを階層的にまとめた論理式を生成し、当該論理式と背景知識を表す論理式とに基づいて、入力された操作文が正しい表現か否かを判定するので、操作文に省略がある場合や未知語がある場合にも入力された操作文を適切な表現にすることができる。
【００６０】
本実施の形態の情報処理装置１は、ユーザから入力された操作文の構成素を実オブジェクトの空間的位置関係に対応付けするためのグラウンディンググラフに、外部環境にあるオブジェクトのデータを適用してその確信度を求めることで、操作文に実オブジェクトを対応付けすることができる。
【００６１】
図９は、本実施の形態の情報処理装置１によって、実オブジェクトのグラウンディングを行う例を示す図である。図９に示す例では、川の手前と向こう側にそれぞれ３つの駐車スペースがある。それぞれの一番右の駐車スペースＡ，Ｂが日陰になっている。ここで、ユーザが「日陰の駐車スペースに停めて」という操作命令を行ったとすると、日陰の駐車スペースＡ，Ｂが候補となる。車両の現在位置から駐車スペースＢには、川で遮られていて行くことができないというオブジェクト関係データを適用することにより、「日陰の駐車スペース」は、駐車スペースＡであることが対応付けられる。
【００６２】
本実施の形態の情報処理装置１は、構成素のカテゴリとして、Ｓ（状態）のカテゴリを有するので、同じ物体や空間であってもその状態が異なるものを適切に区別して認識することができる。また、構成素のカテゴリとして、Ｐ（パス）のカテゴリを有するので、多点間の経路を表す表現にも対応することができる。また、構成素のカテゴリとして、Ｖ（視点）を示すカテゴリを有するので、視点の変化を伴う表現にも対応することができる。
【００６３】
図１０は、Ｖ（視点）の変化を伴う操作文の例として、「コンビニからみて目の前に停めて」を示している。情報処理装置１が解析を行うことにより、この操作文は、「コンビニ」「からみて」「目の前に」「停めて」という構成素に分けられるが、このうち「からみて」という構成素が視点を示すカテゴリであり、この構成素の左からＯ（オブジェクト）がかかる。
【００６４】
この操作文は、図１０に示す木構造を有し、図１１に示すように、ラムダ式を書くことができる。図１２（ａ）に示すような空間的意味を表す階層化されたデータ構造に変換することができ、図１２（ｂ）に示すグラウンディンググラフが得られる。
【００６５】
上記した実施の形態では、表現補正部２１が、換言を行なったり、省略表現を補ったりする例について説明したが、表現補正部２１は、操作文が複文である場合に、複数の単文に分割する機能を有してもよい。図１３（ａ）は、複文を単文に分割する例を示す図である。図１３（ａ）に示す例では、操作文として、「赤い車の向こう側に行って、空いている所に停めて」という複文を「赤い車の向こう側に行って」と「空いている所に停めて」という２つの単文に分割している。そして、木構造生成部２３は、図１３（ｂ）に示すように、分割されたそれぞれの単文について、木構造を生成する。
【産業上の利用可能性】
【００６６】
本発明は、空間内にある物体に関する操作指示内容を解析する情報処理装置等として有用である。
【符号の説明】
【００６７】
１  情報処理装置
１０  検出部
１１  入力部
１２  出力部
１３  地図データベース
１４  環境データベース
１５  辞書データベース
１６  知識データベース
１７  学習用コーパス
２０  演算処理部
２１  表現補正部
２２  形態素解析部
２３  木構造生成部
２４  階層構造生成部
２５  グラウンディンググラフ生成部
２６  照合部
３０  カメラ
３１  測位装置
【図１】
2018124922.tif 000003
【図２】
2018124922.tif 000004
【図３】
2018124922.tif 000005
【図４】
2018124922.tif 000006
【図５】
2018124922.tif 000007
【図６】
2018124922.tif 000008
【図７】
2018124922.tif 000009
【図８】
2018124922.tif 000010
【図９】
2018124922.tif 000011
【図１０】
2018124922.tif 000012
【図１１】
2018124922.tif 000013
【図１２】
2018124922.tif 000014
【図１３】
2018124922.tif 000015