(57)【要約】      （修正有）【課題】自然言語で表現された実世界における操作指示内容と実世界とのグラウンディングを行う確率モデルのパラメタを効率良く学習すること。【解決手段】学習装置１は、外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部１０と、操作指示文入力部１１と、操作指示文からグラウンディング・グラフを生成するグラウンディング・グラフ生成部２１と、グラウンディング・グラフを複数の因子とそれぞれの因子の重みパラメタの積を含む算式で表す算式生成部２２と、検出部１０にて検出された物体に関する空間的位置関係の中で文の構成素に対応する正解データを与える正解データ入力部１２と、文の構成素を第１の変数に適用し、正解データを第２の変数に適用し、第３の変数に、第２の変数に適用した値が第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習する学習部２３とを備える。【選択図】図１
2020003966.tif 000002
【特許請求の範囲】
【請求項１】
外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、
ユーザから文の入力を受け付ける文入力部と、
複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するグラウンディング・グラフ生成部と、
前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表す算式生成部と、
前記検出部にて検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与える正解データ入力部と、
前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習する学習部と、
を備える学習装置。
【請求項２】
前記学習部は、前記グラウンディング・グラフの確信度が高くなるように、正解データが与えられていない前記第２の変数を推論して、前記重みパラメタの学習を行う請求項１に記載の学習装置。
【請求項３】
前記文の構成素とその上位概念の構成素とを対応付けて記憶した記憶部を有し、
前記グラウンディング・グラフ生成部は、前記記憶部を参照して、前記第３の変数に対応する上位概念の構成素がある場合には、前記第１の変数と前記第３の変数との間に、当該上位概念の構成素を第４の変数として有するグラウンディング・グラフを生成する請求項１または２に記載の学習装置。
【請求項４】
因子には、物体を修飾する述語オブジェクトを含む因子と、固有のオブジェクトのみからなる因子がある請求項１乃至３のいずれかに記載の学習装置。
【請求項５】
前記算式生成部は、それぞれの因子の重みパラメタの積を確率伝搬による近似計算で求めた規格化因子で除した算式で表す請求項１乃至４のいずれかに記載の学習装置。
【請求項６】
ユーザから入力された文を外部空間に存在する物体に関する空間的位置関係と対応付けるグラウンディング・グラフの重みパラメタを学習する方法であって、
外部空間に存在する物体に関する空間的位置関係のデータを取得するステップと、
ユーザから文の入力を受け付けるステップと、
複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するステップと、
前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表すステップと、
検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与えるステップと、
前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習するステップと、
を備える学習方法。
【請求項７】
ユーザから入力された文を外部空間に存在する物体に関する空間的位置関係と対応付けるグラウンディング・グラフの重みパラメタを学習させるためのプログラムであって、コンピュータに、
外部空間に存在する物体に関する空間的位置関係のデータを取得するステップと、
ユーザから文の入力を受け付けるステップと、
複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するステップと、
前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表すステップと、
検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与えるステップと、
前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習するステップと、
を実行させるプログラム。
【請求項８】
請求項１乃至５のいずれかに記載の学習装置で学習された重みパラメタを記憶した記憶部と、
外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、
ユーザから文の入力を受け付ける文入力部と、
複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するグラウンディング・グラフ生成部と、
前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式であって、前記記憶部に記憶された重みパラメタを適用した算式を生成する算式生成部と、
前記文の構成素を前記第１の変数に適用し、前記検出部にて検出された物体の空間的位置関係のデータを前記グラウンディング・グラフの前記第２の変数に適用して、前記文で指している物体を特定する照合部と、
を備える情報処理装置。
【請求項９】
前記文に物体の移動についての指示が含まれている場合に、前記照合部にて照合した結果に基づいて、物体を移動させるパスを生成するパス生成部を備え、
前記パス生成部にてパスを生成できない場合には、前記照合部による照合結果を却下する請求項８に記載の情報処理装置。
【請求項１０】
前記パス生成部は、前記物体の向きと、前記向きを切り替える切替え点を含むパスを生成し、
前記パス生成部にて生成されたパスの終点における物体の向きが、予め指定された物体の向きと異なる場合には、前記照合部による照合結果を却下する請求項９に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
自然言語で指示された空間における物体、それらの相対関係、及びそれらへの操作指示内容との対応付けを行う自然言語処理に関する。
【背景技術】
【０００２】
従来から、ロボットに対して、空間内にある物体に関する操作指示を音声によって与えることが知られていた（特許文献１）。特許文献１に記載された技術では、物体の空間的な意味を抽出しないので、物体間の相対位置の関係性や操作内容と物体との関係性を扱うことができなかったが、空間的な意味情報を階層的な構造で表現し、自然言語文からその中にある空間的な意味構造を確率的な手法によって抽出する技術についての先行研究もあった（非特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１７０７８９号公報
【非特許文献】
【０００４】
【非特許文献１】T. Kollar他「Towards Understanding Natural Language Directions」Proceedings of the 5th ACM/IEEE International Conference on Human-robot Interaction
【発明の概要】
【発明が解決しようとする課題】
【０００５】
確率的な手法によって空間的な意味構造を抽出するためには、あらかじめ確率モデルの学習を行っておく必要がある。上記した非特許文献１では、言語の独立性が仮定されており、言語要素ごとに因子化されていて、各因子のパラメタを独立に学習する。しかし、一般には因子間には相関があるため、それを考慮できる学習方法が求められていた。
【０００６】
本発明は、自然言語で表現された実世界における操作指示内容と実世界との対応づけ（グラウンディング）を行う確率モデルのパラメタを効率良く学習する学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の学習装置は、外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、ユーザから文の入力を受け付ける文入力部と、複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するグラウンディング・グラフ生成部と、前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表す算式生成部と、前記検出部にて検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与える正解データ入力部と、前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習する学習部とを備える。
【０００８】
グラウンディング・グラフは、対応付けを行うべき文によって構造が異なるため、それぞれのグラウンディング・グラフに対する教師データを大量に集めることは困難であるが、本発明の構成によれば、グラウンディング・グラフを構成する複数の因子のそれぞれの特徴量の重みパラメタを学習するので、グラウンディング・グラフの構造が異なっても適切に学習を行うことができる。なお、第２の変数において、物体の空間的位置関係には、物体としてユーザ自身を含んでもよい。
【０００９】
本発明の学習装置において、前記学習部は、前記グラウンディング・グラフの確信度が高くなるように、正解データが与えられていない前記第２の変数を推論して、前記重みパラメタの学習を行ってもよい。
【００１０】
この構成により、すべての第２の変数に正解データを与えなくても学習を行うことができる。例えば、入力された文が指示している正解のオブジェクトを与えることにより、文を構成する各因子の重みパラメタを学習することができる。
【００１１】
本発明の学習装置は、前記文の構成素とその上位概念の構成素とを対応付けて記憶した記憶部を有し、前記グラウンディング・グラフ生成部は、前記記憶部を参照して、前記第３の変数に対応する上位概念の構成素がある場合には、前記第１の変数と前記第３の変数との間に、当該上位概念の構成素を第４の変数として有するグラウンディング・グラフを生成してもよい。
【００１２】
このように文の構成素を上位概念の構成素で表すことで、表現の違いにかかわらず適切な学習を行なえる。例えば、「車両」「乗用車」の構成素の上位概念として「車」という構成素を第４の変数とすることにより、「車両」「乗用車」のいずれを含む文も同じ意味を有する教師データとして用い、適切に学習を行なえる。
【００１３】
本発明の学習装置において、因子には、物体を修飾する述語オブジェクトを含む因子（これを「Ａ型」と呼ぶ）と、固有のオブジェクトのみからなる因子（これを「Ｂ型」と呼ぶ）があってもよい。これにより、Ａ型とＢ型とで異なる特徴量を定義できる。また、Ｂ型の因子に結びつく言語情報は視点を必要とするが、それが明示的に示されていない場合には、ユーザ自身（自己オブジェクト）を表す第２の変数がリンクする。
【００１４】
本発明の学習装置において、前記算式生成部は、それぞれの因子の重みパラメタの積を確率伝搬による近似計算で求めた規格化因子で除した算式で表してもよい。これにより、学習を行う際の計算負荷を低減することができる。
【００１５】
本発明の学習方法は、ユーザから入力された文を外部空間に存在する物体に関する空間的位置関係と対応付けるグラウンディング・グラフの重みパラメタを学習する方法であって、外部空間に存在する物体に関する空間的位置関係のデータを取得するステップと、ユーザから文の入力を受け付けるステップと、複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するステップと、前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表すステップと、検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与えるステップと、前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習するステップとを備える。
【００１６】
本発明のプログラムは、ユーザから入力された文を外部空間に存在する物体に関する空間的位置関係と対応付けるグラウンディング・グラフの重みパラメタを学習させるためのプログラムであって、コンピュータに、外部空間に存在する物体に関する空間的位置関係のデータを取得するステップと、ユーザから文の入力を受け付けるステップと、複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するステップと、前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式で表すステップと、検出された物体に関する空間的位置関係の中で前記文の構成素に対応する正解データを与えるステップと、前記文の構成素を前記第１の変数に適用し、前記正解データを前記第２の変数に適用し、前記第３の変数に、前記第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習するステップとを実行させる。
【００１７】
本発明の情報処理装置は、上記学習装置を用いて学習された重みパラメタを記憶した記憶部と、外部空間に存在する物体に関する空間的位置関係のデータを取得する検出部と、ユーザから文の入力を受け付ける文入力部と、複数の因子を有し、各因子の確信度の関数として確信度が求まるグラフであって、前記各因子が、前記文の構成素に関する第１の変数、物体、場所及び視点（視点は基点と方向を有する）の少なくとも１つの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有するグラウンディング・グラフを生成するグラウンディング・グラフ生成部と、前記グラウンディング・グラフを複数の因子とそれぞれの特徴量とそれらに対する重みパラメタの積を含む算式であって、前記記憶部に記憶された重みパラメタを適用した算式を生成する算式生成部と、前記文の構成素を前記第１の変数に適用し、前記検出部にて検出された物体の空間的位置関係のデータを前記グラウンディング・グラフの前記第２の変数に適用して、前記文で指している物体を特定する照合部とを備える。
【００１８】
本発明の情報処理装置は、前記文に物体の移動についての指示が含まれている場合に、前記照合部にて照合した結果に基づいて、物体を移動させるパスを生成するパス生成部を備え、前記パス生成部にてパスを生成できない場合には、前記照合部による照合結果を却下してもよい。また、前記パス生成部は、前記物体の向きと、前記向きを切り替える切替え点を含むパスを生成し、前記パス生成部にて生成されたパスの終点における物体の向きが、予め指定された物体の向きと異なる場合には、前記照合部による照合結果を却下してもよい。
【００１９】
上記した学習装置では、物体を移動させるパスの要素を用いないで学習を行って重みパラメタを学習しているため、パスを引けないグラウンディング結果が得られる可能性がある。本発明によれば、文の推論を行う際に、パスを生成できるかどうかの観点で照合結果をチェックするので、パスを引けないようなグラウンディングを排除することができる。
【発明の効果】
【００２０】
本発明によれば、空間における物体の空間的位置関係とユーザから入力された文とを対応付けるために用いられるグラウンディング・グラフを適切に学習することができる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態の学習装置の構成を示す図である。
【図２】実施の形態の情報処理装置の構成を示す図である。
【図３】グラウンディング・グラフの一例を示す図である。
【図４】実施の形態の学習装置の動作を示す図である。
【図５】実施の形態の情報処理装置の動作を示す図である。
【図６】グラウンディング・グラフの一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態の学習装置および情報処理装置について、図面を参照して説明する。図１は学習装置の構成を示す図であり、図２は情報処理装置の構成を示す図である。
【００２３】
以下に説明する実施の形態においては、情報処理装置２は、ユーザから入力された操作文を解析し、外部環境に存在する物体（オブジェクト）と操作文で指示されている内容との対応付け（グラウンディング）を行う。情報処理装置２は、例えば、車両に搭載して用いられ、車両の自動運転制御部に対して運転指示を与えるために、ユーザからの操作文の意味内容を解析する。なお、情報処理装置２の用途は、自動運転のための操作文の解析に限定されるものではなく、自然言語を用いたあらゆるインターフェースに用いられる。学習装置１は、情報処理装置２によるグラウンディングに用いられるグラウンディング・グラフの学習を行う機能を有している。本実施の形態では、情報処理装置２が車両に搭載される例を挙げたが、情報処理装置２はクラウド等のリモートのサーバ上にあってもよい。
【００２４】
学習装置１および情報処理装置２のハードウェアは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、モニタ、スピーカー、マイク等を備えるコンピュータ（例えば、ＥＣＵ）によって構成される。コンピュータには、外部環境のデータを取得するデバイスとして、カメラ３０、ＬｉＤＡＲ３１、測位装置３２が接続されている。測位装置３２としては、例えば、ＧＰＳを用いることができる。また、ＧＰＳの測位情報と走行速度やタイヤの回転数等の情報を組み合わせて測位を行う装置を用いてもよい。なお、ここで示したのは一例であり、測位装置３２の具体的な構成は、上記具体例に限られるものではない。例えば、ＲＴＫ−ＧＮＳＳ測量を行ってもよい。また、ＬｉＤＡＲ３１の情報と２次元反射強度地図とのスキャンマッチングを組み合わせても測量を行ってもよい。
【００２５】
図１に示すように、学習装置１は、カメラ３０や測位装置３２からのデータを受信して、外部の物体等を検出する検出部１０を有している。検出部１０は、測位装置３２から入力された測位データと地図データベース（以下、「地図ＤＢ」という）１３とに基づいて、現在位置および現在位置周辺にある施設を特定する。また、検出部１０は、カメラ３０にて撮影された画像から周囲に存在する物体（以下、「実オブジェクト」ともいう）を検出すると共に、実オブジェクトどうしの位置関係をＬｉＤＡＲデータ（以下、「オブジェクト関係データ」という）から検出し、環境データベース（以下、「環境ＤＢ」という）１４に記憶する。ここで、実オブジェクトとは、例えば、車両、駐車スペースである。オブジェクト関係データとは、実オブジェクト間の関係であり、例えば、駐車スペースの占有関係である。
【００２６】
学習装置１は、ユーザから操作文の入力を受け付ける操作指示文入力部１１と、操作指示文にて指示されるオブジェクト関係データの正解データの入力を受け付ける正解データ入力部１２と、入力された操作文と正解データとに基づいて、グラウンディング・グラフの学習を行う演算処理部２０とを有している。
【００２７】
演算処理部２０は、グラウンディング・グラフ生成部２１と、算式生成部２２と、学習部２３と、確率伝搬部２４とを有している。グラウンディング・グラフ生成部２１は、操作指示文入力部１１にて入力された操作指示文を構成素に分解し、グラウンディング・グラフを生成する機能を有している。なお、操作文からグラウンディング・グラフを生成する方法は、例えば、本発明者らが「自動運転の言葉による指示を対象にした空間的意味表現の構造化への取り組み」The 31st Annual Conference of the Japanese Society for Artificial Intelligence, 2017で公表した方法を採用することができる。
【００２８】
図３は、グラウンディング・グラフの一例を示す図である。図３では、「コンビニの前の、歩行者の近くにいない車の横に停めて」という操作文に対するグラウンディング・グラフを示している。グラウンディング・グラフは、複数の因子からなる。図３では、因子の一例として、「歩行者」の構成素を含む因子を点線で囲んで示している。各因子は、入力された文の構成素を第１の変数、オブジェクトの空間的位置関係に関する第２の変数、及びグラウンディングの対応関係に関する第３の変数を有し、これにより構成素と空間的位置関係とが合致する確信度が求まる。グラウンディング・グラフの確信度は、各因子の確信度の関数として求まる。
【００２９】
なお、図３のグラウンディング・グラフにおいて、「状態」の下にある第３の変数が黒く塗り潰されているのは、「いない」という構成素を、「いる」という構成素が「偽（False）」である状態によって表現をしているからである。
【００３０】
算式生成部２２は、グラウンディング・グラフを表す算式として、複数の因子とそれぞれの因子の特徴量とそれらに対する重みパラメタの積を含む算式を生成する。学習部２３は、操作文の構成素を第１の変数に適用し、正解データを前記第２の変数に適用し、第３の変数に、第２の変数に適用した値が前記第１の変数に対応することを表す値を適用し、複数の因子のそれぞれの重みパラメタを学習する。学習の際には、第２の変数には正解データが入力されるので、第３の変数には、真（Ｔｒｕｅ）を表す値が適用される。
【００３１】
（グラウンディング・グラフの学習）
ここで、本実施の形態のグラウンディング・グラフの学習について説明する。グラウンディング・グラフは因子グラフによる確率モデルである。通常の因子グラフの学習では、全教師データに対して一つの共通した因子グラフを考え、その中の各因子について独立に定義されたパラメタをそれぞれ学習すれば良い。また、データごとに因子グラフが共通しているため、バッチ学習ができる。これに対し、グラウンディング・グラフでは、教師データごとに異なる因子グラフが対応する。例えば、「コンビニの前の、歩行者の近くにいない車の横に停めて」、「コンビニの前の空きスペースに停めて」では、文の構成素が異なり、グラウンディング・グラフの構造も異なる。
【００３２】
また、グラウンディング・グラフでは、パラメタは因子を跨って共通に定義可能な特徴量ごとに定義する。そのため、因子のパラメタ間には相関がある。例えば、上記の例では、グラウンディング・グラフの構造は異なるが、「コンビニ」や「の前の」の構成素に対応する因子は、二つの文で共通している。さらに、グラウンディング・グラフの場合には、その確率変数の値の範囲もデータごとに変化するという点で、動的に定義される確率モデルと考えることができる。
【００３３】
グラウンディング・グラフｇの確率は、次の式で与えられる。
【数１】
2020003966.tif 000003
【００３４】
ここで、λは、言語変数ノードであり、第１の変数に相当する。γは、オブジェクト変数ノードであり、第２の変数に相当する。オブジェクトは、述語オブジェクトと固有オブジェクトの２つのタイプに分類することができる。述語オブジェクトには、イベント、状態、属性が含まれ、固有オブジェクトには、物体、空間領域、過去物体、未来物体、視点、およびこれらが複合した物体、場所が含まれる。  
【００３５】
φは、グラウンディング・グラフ変数ノードであり、第３の変数に相当する。ｏ０は、操作主体のオブジェクトである。
【数２】
2020003966.tif 000004
は、規格化因子であり、分配関数と呼ばれることもある。規格化因子は、確率伝搬部２４が確率伝搬による近似計算によって計算する。
【００３６】
【数３】
2020003966.tif 000005
は、各因子の重みの積で、
【数４】
2020003966.tif 000006
で与えられる。
【００３７】
ＦＡ（ｇ），ＦＢ（ｇ）は、それぞれ因子グラフｇにおけるＡ型、Ｂ型の因子の集合を表す。Ａ型の因子とは、１つの述語オブジェクトとｎ個の固有オブジェクトとからなる因子であり、Ｂ型の因子とは、ｎ個の固有オブジェクトからなる因子である。Ｆ（ｇ）＝ＦＡ（ｇ）∪ＦＢ（ｇ）である。｛ｆμ｝，｛ｇν｝はそれぞれＡ型、Ｂ型の因子で定義される特徴量で、｛θμ｝，｛ζν｝はそれらに対応するパラメタである。本実施の形態の学習装置１は、｛θμ｝，｛ζν｝の学習を行う。
【００３８】
η（ｆ，λ）≧０は言語情報λと特徴量ｆとの関係の強さを与えるものであり、関係がない場合には０とし、関係がある場合には正の値（例えば、１）となるものとする。言語情報λが否定的な表現を含まない場合、σλ(φ)＝ｓｇｎ(λ)（２φ−１）であり、言語情報λが否定的な表現を含む場合には、符号が反転するという性質を持つものとする。ただし、φは、真の場合に１、偽の場合に−１である。 
【００３９】
本実施の形態にける学習は、（２）（３）などで定義される確率モデルのパラメタ
【数５】
2020003966.tif 000007
を実際に観測されたデータＤＮにおける対数尤度が最大化されるように決めることである。最大化には、最急勾配法によるアルゴリズムを利用することができる。このような考え方によって、確率モデルのパラメタを決定する方法は一般に最尤推定法と言われる。
【００４０】
グラウンディング・グラフはデータｄごとに異なるため、教師データＤＮからランダムに一つのデータｄを選択し、そのデータに関する対数尤度の（正の）最急勾配方向へパラメタを動かしていく確率的勾配法による尤度最大化を行うことになる。通常、尤度そのものの代わりに、対数を取った対数尤度を最大化するのが数値的には安定であり、かつ、この本実施の形態で考えているような指数型分布族に属する確率モデルにおいては、計算自体も一般に容易になるメリットがある。対数の単調性により、対数尤度を最大化することと、尤度を最大化することは同値である。また、データｄにおける言語情報λが与えられたものとして、その時の条件付き対数尤度が最大となるように、パラメタを決定する。式（２）（３）から条件付き対数尤度は、次のようになる。
【数６】
2020003966.tif 000008
【００４１】
指数型分布族の確率モデルでは、分配関数の対数が凸関数であることがわかり（対数関数の単調性から、凸関数の対数はまた凸関数であり、凸関数の和はまた凸関数であることに注意）、線形関数と凸関数との差は凹関数となるので、（４）から対数尤度
【数７】
2020003966.tif 000009
は凹関数であることが分かり、原理的には最適なパラメタを推定することができる。（４）式のパラメタθμに関する勾配は、以下のようになる。
【数８】
2020003966.tif 000010
【００４２】
同様に、（４）式のパラメタζνに関する勾配は、以下のようになる。
【数９】
2020003966.tif 000011
【００４３】
しかし、（５）（６）式の右辺第２項の総和計算は、一般に、計算が困難である。そのため、本実施の形態では、この部分を別の近似値で置き換え、近似する。ここで因子グラフ固有の近似として、確率伝搬法によって計算される信念νを利用することが行われる。（但し、グラウンディング・グラフが木構造の時には、両者は一致する。）つまり、（５）（６）式の右辺第２項のＰＧ（λ）を信念ｂＧ（λ）に置き換えて近似する（規格化されていない場合には、規格化を行うものとする）。次の式（７）（８）は、それぞれ、式（５）（６）の近似式を示す。
【数１０】
2020003966.tif 000012
【００４４】
このように計算された勾配を用いて、パラメタは次のように変化させて、収束するまで繰り返す。
【数１１】
2020003966.tif 000013
ここでΔは、十分に小さい正の数である。なお、Δは、反復処理の初期はやや大きめに設定し、徐々に０へ減衰させるようにしてもよい。
学習装置１の演算処理部２０は、上述したグラウンディング・グラフの学習を行う。
【００４５】
（情報処理装置）
次に、情報処理装置２について説明する。図２に示すように、情報処理装置２は、カメラ３０や測位装置３２からのデータを受信して、外部の物体等を検出する検出部１０を有している。検出部１０は、測位装置３２から入力された測位データと地図ＤＢ１３とに基づいて、現在位置および現在位置周辺にある施設を特定する。また、検出部１０は、カメラ３０にて撮影された画像から周囲に存在する物体（以下、「実オブジェクト」ともいう）を検出すると共に、実オブジェクトどうしの位置関係のデータ（以下、「オブジェクト関係データ」という）を検出し、環境データベース（以下、「環境ＤＢ」という）１４に記憶する。
【００４６】
情報処理装置２は、ユーザから操作文の入力を受け付ける操作指示文入力部１１と、入力された操作文を解析して実オブジェクトとのグラウンディングを行う演算処理部２０と、実オブジェクトにグラウンディングされた操作文の内容を出力する出力部１６とを有している。出力部１６は、図示しない自動運転制御部に接続され、操作内容に応じた車両の運転制御を行わせる。入力部１１の具体例は、マイクであり、出力部１６の具体例は、自動運転制御部に接続されるインターフェース用の端子である。なお、グラウンディングされた結果をユーザに対して出力する場合には、出力部１６としてスピーカーやディスプレイを用いることができる。なお、以上に示した具体例は、一例であり、入力部１１や出力部１６は、上記の具体例に限られるものではない。
【００４７】
グラウンディング・グラフ生成部２１と、算式生成部２２と、照合部２５と、パス生成部２６とを有している。グラウンディング・グラフ生成部２１は、操作指示文入力部１１にて入力された操作指示文を構成素に分解し、グラウンディング・グラフを生成する機能を有している。算式生成部２２は、グラウンディング・グラフを表す算式として、複数の因子とそれぞれの因子の重みパラメタの積を含む算式を生成する。算式に含まれる因子のパラメタθμ,ζνには、確率モデル記憶部１５に記憶された学習済みの重みパラメタを用いる。
【００４８】
照合部２５は、グラウンディング・グラフに対して外部の実オブジェクトのデータを適用し、グラウンディング・グラフの確信度に基づいて、操作文と実オブジェクトとの対応付けを行う。
【００４９】
パス生成部２６は、ユーザから入力された操作文が物体の移動の指示が含まれている場合に、照合結果に基づいて物体を移動させるパスを生成する機能を有する。この結果、パスを生成することができない場合には、照合結果を却下し、照合部２５による照合をやり直す。パス生成部２６は、物体の向きと、その向きを切り替える切替え点を含むパスを生成してもよい。これにより、パスの終点における物体の向きが予め指定された物体の向きと異なる場合には、照合部２５による照合結果を却下することができる。
【００５０】
図４は、学習装置１による重みパラメタの学習の動作を示す図である。学習装置１は、カメラ３０や測位装置３２からのデータを受信して、外部の物体等（オブジェクト）を検出する（Ｓ１０）。また、学習装置１は、ユーザから操作指示文の入力を受け付け（Ｓ１１）、入力された操作指示文のグラウンディング・グラフを作成する（Ｓ１２）。続いて、学習装置１は、グラウンディング・グラフを表す算式として、複数の因子とそれぞれの因子の重みパラメタの積を含む形で表した算式を生成する（Ｓ１３）。
【００５１】
続いて、学習装置１は、ユーザから正解データの入力を受け付ける（Ｓ１４）。正解データとは、操作指示文に含まれる各構成素が示すオブジェクト等のデータである。例えば、「コンビニの前の、歩行者の近くにいない車の横に停めて」という操作文の場合には、「コンビニ」とはどれで、「コンビニの前」とはどの辺りで、「歩行者」とはどれで、「歩行者の近く」とはどの辺りか、・・・等というデータである。
【００５２】
学習部２３は、入力された正解データを算式に適用して、グラウンディング・グラフを構成する各因子の重みパラメタの学習を行う（Ｓ１５）。学習装置１は、学習を終了したか判定する（Ｓ１６）。学習を終了したか否かの判定は、例えば、学習による重みパラメタの更新幅が一定の閾値に収まった場合や、所定数の教師データについて学習を行った場合等である。学習を終了しない場合には（Ｓ１６でＮＯ）、図４に示すフローの最初に戻って、重みパラメタの学習を行う。学習を終了すると判定された場合には（Ｓ１６でＹＥＳ）、重みパラメタの学習を終了し、学習装置１は、重みパラメタを記憶部１５に記憶する。
【００５３】
図５は、情報処理装置２によるグラウンディングの動作を示す図である。情報処理装置２は、カメラ３０や測位装置３２からのデータを受信して、外部の物体等（オブジェクト）を検出する（Ｓ２０）。また、情報処理装置２は、ユーザから操作指示文の入力を受け付け（Ｓ２１）、入力された操作指示文のグラウンディング・グラフを作成する（Ｓ２２）。続いて、情報処理装置２は、グラウンディング・グラフを表す算式として、複数の因子とそれぞれの因子の重みパラメタの積を含む形で表した算式を生成する（Ｓ２３）。
【００５４】
次に、情報処理装置２は、記憶部１５から重みパラメタのデータを読み出し、読み出した重みパラメタをグラウンディング・グラフの因子に適用する（Ｓ２４）。続いて、情報処理装置２は、グラウンディング・グラフに対して外部の実オブジェクトのデータを適用し、グラウンディング・グラフの確信度に基づいて、操作文と実オブジェクトとの対応付けを行う（Ｓ２５）。
【００５５】
続いて、情報処理装置２は、ユーザから入力された操作指示文が物体の移動を含むか否かを判定する（Ｓ２６）。操作指示が物体の移動を含まない場合には（Ｓ２６でＮＯ）、情報処理装置２は、グラウンディングの処理を終了する。操作指示文が物体の移動を含む場合には（Ｓ２６でＹＥＳ）、情報処理装置２は、グラウンディングした結果に基づいて、操作指示文に応じたパスを生成する（Ｓ２７）。そして、情報処理装置２は、生成されたパスが妥当であるか否かを判定する（Ｓ２８）。妥当なパスを生成できなかった場合には（Ｓ２８でＹＥＳ）、情報処理装置２は、照合結果を却下し、照合をやり直す（Ｓ２５）。妥当なパスを生成できた場合には（Ｓ２８でＹＥＳ）、情報処理装置２は、グラウンディング処理を終了する。
【００５６】
本実施の形態の学習装置１は、グラウンディング・グラフを構成する因子ごとに、重みパラメタを学習するので、ユーザからの操作文によってグラウンディング・グラフの構成は多種多様であるが、グラウンディング・グラフの学習を行うことができる。
【００５７】
以上、本発明の学習装置について実施の形態を挙げて詳細に説明したが、本発明の学習装置は、上記した実施の形態に限定されるものではない。グラウンディング・グラフ生成部２１は、操作文の構成素の上位概念のノードを含むグラウンディング・グラフを生成してもよい。図６は、上位概念のノードを含むグラウンディング・グラフの例を示す図である。
【００５８】
図６に示すグラウンディング・グラフでは、「コンビニ」という構成素に対して、＜店＞という上位概念のノードが接続されている。このように上位概念のノードを含むことにより、学習を効率的に行うことができる。例えば、「コンビニの前の、歩行者の近くにいる車の横に停めて」に代えて、「スーパーの前の、歩行者の近くにいる車の横に停めて」「本屋の前の、歩行者の近くにいる車の横に停めて」等の操作文の場合にも、「スーパー」「本屋」の上位概念も＜店＞なので、図６に示すグラウンディング・グラフの重みパラメタの学習を行うことができる。
【００５９】
但し、言語変数ノードと概念変数ノードとの間の因子（Ｃ型因子）が（３）式のＡ型因子、Ｂ型因子と同様に追加される。このＣ型因子に関する特徴量は言語と概念との間の共起関係を表し、例えば＜店＞という概念と「コンビニ」、「スーパー」、「本屋」とが共起するか否かを表すバイナリ特徴量などを用いることができる。また、これらの特徴量に対するパラメタは学習データから学習しても良いし、あらかじめ、言語情報と概念との共起関係を表す辞書あるいはコーパスに基づいて決定しておいても良い。後者の場合には、Ａ,Ｂ型因子における特徴量に対するパラメタの学習時には、Ｃ型因子における特徴量のパラメタは定数とする。言語情報が複数の形態素から成る場合には、形態素毎の共起関係あるいは形態素列との共起関係も考慮しても良い。
【００６０】
上記した実施の形態では、正解データ入力部１２は、操作文の構成素についての正解データを入力する例を挙げたが、操作文が表しているオブジェクトを正解データとして入力してもよい。例えば、「コンビニの前の、歩行者の近くにいる車の横に停めて」のように、駐車位置指示文に対するグラウンディングを学習するために、駐車位置のみをラベル付けする。この例では、「コンビニの前の、歩行者の近くにいる車の横」がどこを指しているかを正解データとして与える。そして、ラベル付けされた正解データから、誤差逆伝搬法によって、各構成素が示すオブジェクトを計算する。
【００６１】
このようにグラウンディング・グラフのすべての構成素にラベル付するのではなく、その一部のみにラベルを付与し、このラベルが付与された確率変数の値の予測が正しくできるようにする経験リスク最小化による学習方法によって、ラベリングのコストを下げることができる。なお、この方法では同じ駐車位置に対する様々な指示文を収集し、バッチ学習を行うことも可能である。
【００６２】
ここで、経験リスク最小化の学習方法について具体例を挙げて説明する。例えば、駐車位置指示文に対するグラウンディングを学習するためには、各指示文に対して、一つの正解の駐車位置ｏｌ１のみをラベル付けすればよい。ここで、すべてのデータにおいて、変数γ１が駐車位置を指していると約束している。
【００６３】
現在のグラウンディング・グラフのパラメタを用いて、与えられた指示文と環境情報から、確率伝搬を用いて、グラウンディング・グラフの各環境オブジェクト変数ノードの確率分布を求める。環境オブジェクト変数γ１は駐車位置を表す変数であり、この変数の確率が最も高くなる位置ｏ＊１を求める。ｏ＊１の値は、現在のパラメタの値
【数１２】
2020003966.tif 000014
に依存することに注意する。この時、経験リスクＲを次で定義する:
【数１３】
2020003966.tif 000015
ここで、ｒ（ｏ，ｏ´）は、値が異なる場合にペナルティーを与える損失関数である。
【００６４】
例えば、０−１ロス関数ｒ（ｏ，ｏ´）＝δｏ，ｏ´を用いることができる。（５）（６）式あるいは、（７）（８）式の代わりに、（１１）式を最小にするパラメタを勾配法によって求めることができる。この勾配の計算には、確率伝搬における繰り返し処理を展開し、誤差逆伝搬法によって、求めることができる。また、この各伝搬の層における微分の計算には、自動微分を用いることができる。もし（１５）式を微分ができない場合には、メトロポリス法などのモンテカルロ法により、最適なパラメタを探索する方法を利用してもよい。
【産業上の利用可能性】
【００６５】
本発明は、空間における物体の空間的位置関係とユーザから入力された文とを対応付けるために用いられるグラウンディング・グラフの学習方法として有用である。
【符号の説明】
【００６６】
１  学習装置
２  情報処理装置
１０  検出部
１１  操作指示入力部
１２  正解データ入力部
１３  地図ＤＢ
１４  環境ＤＢ
１５  確率モデル
１６  出力部
２０  演算処理部
２１  グラウンディング・グラフ生成部
２２  算式生成部
２３  学習部
２４  確率伝搬部
２５  照合部
２６  パス生成部
３０  カメラ
３１  ＬｉＤＡＲ
３２  測位装置
【図１】
2020003966.tif 000016
【図２】
2020003966.tif 000017
【図３】
2020003966.tif 000018
【図４】
2020003966.tif 000019
【図５】
2020003966.tif 000020
【図６】
2020003966.tif 000021