(57)【要約】【課題】学習していない未知の観測値を予測することのできる予測装置を提供する。【解決手段】予測装置１００は、対象の観測値を取得する観測部１０１と、観測値の時系列データから、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデル１０５の前記遷移確率及び前記確率分布を学習する学習部１０３と、所定の時刻よりも前の観測値の時系列データを使用し、前記遷移確率に基づいて前記所定の時刻の状態を予測し、前記確率分布に基づいて該状態に対応する前記所定の時刻の観測値を予測する予測部１０７と、を備えている。【選択図】図１
2015049726.tif 000002
【特許請求の範囲】
【請求項１】
観測対象の観測値を取得する観測部と、
観測値の時系列データから、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルの前記遷移確率及び前記確率分布を学習する学習部と、
所定の時刻よりも前の観測値の時系列データを使用し、前記遷移確率に基づいて前記所定の時刻の状態を予測し、前記確率分布に基づいて該状態に対応する前記所定の時刻の観測値を予測する予測部と、を備えた予測装置。
【請求項２】
前記予測部は、前記所定の時刻の状態及び該状態に対応した観測値の複数のサンプリング値を求め、該複数のサンプリング値の平均値を観測値の予測値とするように構成された請求項１に記載の予測装置。
【請求項３】
観測値は、観測対象の位置と速度とを含み、前記予測部は、該観測対象の位置の確率分布を使用して予測を行うように構成された請求項１または２に記載の予測装置。
【請求項４】
前記モデルが階層ディリクレ過程隠れマルコフモデルであり、前記学習部はギブスサンプリングによって学習を行うように構成された請求項１から３のいずれかに記載の予測装置。
【請求項５】
観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用して観測値を予測する予測方法であって、
観測対象の観測値を取得するステップと、
観測値の時系列データから、前記モデルの前記遷移確率及び前記確率分布を学習するステップと、
所定の時刻よりも前の観測値の時系列データを使用し、前記遷移確率に基づいて前記所定の時刻の状態を予測し、前記確率分布に基づいて該状態に対応する前記所定の時刻の観測値を予測するステップと、を含む予測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットなどに使用される、観測値の予測装置及び観測値の予測方法に関する。
【背景技術】
【０００２】
たとえば、ロボットが物体に動作を行いその結果物体が移動する場合に、ロボット自身の身体の時系列情報、及び視覚によって観測される物体の時系列情報から、ロボットの動作と物体の軌道との関連性を隠れマルコフモデルを使用して学習することで物理的な知識を獲得する方法が開発されている（たとえば、非特許文献１）。上記の方法を含む従来の方法は、学習した軌道を汎化し再現することによって軌道を生成する。したがって、従来の方法では、学習に含まれていないロボットの未知の動作から物体の未知の軌道を生成することはできない。すなわち、物体の軌道を観測対象と考えると、学習していない未知の観測値を予測することはできない。このように、従来、学習していない未知の観測値を予測することのできる予測装置及び予測方法は開発されていない。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】杉浦孔明、岩橋直人、柏岡秀紀、“物体操作タスクのためのペナルティ項付き尤度最大化によるＨＭＭ軌道生成，”計測自動制御学会システムインテグレーション部門講演会、pp.2305-2306, 2012
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、学習していない未知の観測値を予測することのできる予測装置及び予測方法は実用化できていなかった。そこで、学習していない未知の観測値を予測することのできる予測装置及び予測方法に対するニーズがある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による予測装置は、観測対象の観測値を取得する観測部と、観測値の時系列データから、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルの前記遷移確率及び前記確率分布を学習する学習部と、所定の時刻よりも前の観測値の時系列データを使用し、前記遷移確率に基づいて前記所定の時刻の状態を予測し、前記確率分布に基づいて該状態に対応する前記所定の時刻の観測値を予測する予測部と、を備えている。
【０００６】
本態様の予測装置によれば、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用することにより、学習していない未知の観測値を予測することができる。
【０００７】
本発明の第１の態様の第１の実施形態による予測装置において、前記予測部は、前記所定の時刻の状態及び該状態に対応した観測値の複数のサンプリング値を求め、該複数のサンプリング値の平均値を観測値の予測値とするように構成されている。
【０００８】
本実施形態によれば、複数のサンプリング値の平均値を観測値の予測値とすることにより簡単に予測値を求めることができる。
【０００９】
本発明の第１の態様の第２の実施形態による予測装置において、観測値は、観測対象の位置と速度とを含み、前記予測部は、該観測対象の位置の確率分布を使用して予測を行うように構成されている。
【００１０】
本実施形態によれば、動的制約を満たした物体の位置を生成することができるので、滑らかな物体の軌道を生成することができる。
【００１１】
本発明の第１の態様の第３の実施形態による予測装置において、前記モデルが階層ディリクレ過程隠れマルコフモデルであり、前記学習部はギブスサンプリングによって学習を行うように構成されている。
【００１２】
本実施形態によれば、状態数をあらかじめ決める必要がなく、学習データの複雑さに応じて最適な状態数が推定される。
【００１３】
本発明の第２の態様による予測方法は、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用して観測値を予測する予測方法であって、観測対象の観測値を取得するステップと、観測値の時系列データから、前記モデルの前記遷移確率及び前記確率分布を学習するステップと、所定の時刻よりも前の観測値の時系列データを使用し、前記遷移確率に基づいて前記所定の時刻の状態を予測し、前記確率分布に基づいて該状態に対応する前記所定の時刻の観測値を予測するステップと、を含む。
【００１４】
本態様の予測方法によれば、観測対象の状態を表すモデルであって、複数の状態間の遷移確率、及びそれぞれの状態に対応した、観測値の確率分布を含むモデルを使用することにより、学習していない未知の観測値を予測することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態による対象の観測値の予測装置の構成を示す図である。
【図２】モデルを説明するための図である。
【図３】学習部がモデルの学習を行う手順を説明するための流れ図である。
【図４】学習部による学習の概念を示す図である。
【図５】予測部による予測の手順を示す流れ図である。
【図６】観測が行われる時刻Tarm以前の状態と衝突後（時刻Tarm+1以降）の状態とを示す図である。
【図７】予測部による予測の概念を示す図である。
【図８】アームの軌道及び物体（球）の軌道を示す図である。
【図９】学習によって得られた６個の状態を示す図である。
【図１０】予測部によって生成された既知の軌道を示す図である。
【図１１】予測部によって生成された既知の軌道を示す図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の一実施形態による対象の観測値の予測装置１００の構成を示す図である。観測値の予測装置１００は、対象の観測値を取得する観測部１０１と、対象の状態及び対象の状態と観測値との関係を表現するモデル１０５と、観測値にしたがってモデル１０５の学習を行う学習部１０３と、モデル１０３を使用して将来の観測値を予測する予測部１０７と、を含む。モデル１０５は、たとえば、予測装置１００の記憶装置に格納されている。
【００１７】
一例として、ロボットがアームによって物体に対する動作を行う場合に、該アームと該物体を観察対象とする。たとえば、ロボットを正面から見た際の横方向をｘ軸、縦方向をｙ軸とし、ロボットの手先のｘ座標とｙ座標とそれらの差分の合計４次元をアームの情報（観測値）とし使用し、同様に物体のｘ座標とｙ座標とそれらの差分の合計４次元を物体の情報（観測値）として使用する。
【００１８】
観測部１０１は、撮像装置やロボットの種々のセンサを使用して、アーム及び物体の観測値を取得するように構成される。すなわち、観測部１０１は、観測対象（たとえば、物体）の観測値を取得し、必要に応じてその他のデータ（たとえば、ロボットのアームの位置情報）も取得する。
【００１９】
予測装置１００は、ロボットが物体に触れた際の自身の身体の動きと物体の動きを観測することで、それらの関係を学習し予測を行う。学習により、ロボットは、丸い物体は触れば転がるといったこと、より強い力で触れればより遠くまで転がるといったこと、また四角い物体や重い物体は転がりにくいといったことなどの「知識」を獲得することができる。もちろん、物体の動きは、物理シミュレーションを行えば高精度に予測することができる。しかし、物理シミュレーションには、物体の質量や摩擦係数など、直接観測することが困難なパラメータが必要となる。他方、人間は、そのようなパラメータを使用せずに、視覚から得られる情報から、経験を通して獲得した知識を用いることで、物体の動き（軌道）を予測することができる。したがって、ロボットにも、上述の予測装置１００による学習及び予測は重要である。
【００２０】
予測装置１００は、上述のように、アームの位置の時系列情報と、観測部１０１から得られる物体の位置の時系列情報を使用する。これまで、このような物体の軌道や、ロボットの動作などの学習には隠れマルコフモデル（Hidden Markov Model, HMM）が使用されてきた（杉浦孔明、岩橋直人、柏岡秀紀、“物体操作タスクのためのペナルティ項付き尤度最大化によるＨＭＭ軌道生成，”計測自動制御学会システムインテグレーション部門講演会、pp.2305-2306, 2012）。ＨＭＭでは予め状態数を与えなければならない。しかし、本実施形態においては、ロボットの動作や物体によって最適な状態数は異なるため、予め状態数を設定することは困難である。そこで、予測装置１００は、ＨＭＭに階層ディリクレ過程（Hierarchical Dirichlet Process, HDP)を導入した階層ディリクレ過程隠れマルコフモデル（ＨＤＰ−ＨＭＭ）を使用する（M.J. Beal, Z. Ghahramani, and C.E. Rasmussen, “The infinite hidden Markov model”, Advances in neural information processing systems, pp.577-584, 2001）。ＨＤＰ−ＨＭＭは、状態数をあらかじめ決めることなく、学習データの複雑さに応じて最適な状態数を推定可能なモデルである。本実施形態では、ＨＤＰ−ＨＭＭを、さらに、物体やロボット自身の動作（すなわち、アームの動き）といった複数の時系列情報を学習可能なMultimordalＨＤＰ−ＨＭＭ（ＭＨＤＰ−ＨＭＭ）へと拡張し、教師なしでロボット自身の動作と物体の軌道の学習を行う。
【００２１】
このように複数の情報をＭＨＤＰ−ＨＭＭにより学習することで、一つの情報から未観測の他の情報を確率的に予測することが可能となる。たとえば、実際にロボットは行動しなくとも、自身の行動のみから物体がどのように動くかを予測することができる。物体の軌道の予測は、得られた情報から未来の状態を予測し、その状態と対応した物体の軌道を生成することで実現できる。
【００２２】
図２は、モデル１０５を説明するための図である。モデル１０５は、ＨＭＭにディリクレ過程を導入し、無限の状態を持つモデルへと拡張し、さらに複数の対象の観測を仮定したＭＨＤＰ−ＨＭＭである。図２において、
【数１】
2015049726.tif 000003
が状態を表し、
【数２】
2015049726.tif 000004
と
【数３】
2015049726.tif 000005
が各状態から出力される観測値であり、ｙ１＊がロボットアームの情報、ｙ２＊が物体の情報である。各状態
【数４】
2015049726.tif 000006
は無限の状態
【数５】
2015049726.tif 000007
をとることが可能であり、πｋが状態kから各状態へ遷移する確率を表す。このπｋは、γをパラメータとするＧＥＭ分布（Stick Breaking Process）によって生成されたβ、及びαをパラメータとするDirichlet Process（ＤＰ）から生成される（持橋  大地、“最近のベイズ理論の進展と応用（III）ノンパラメトリックベイズ”http://www.ism.ac.jp/~daichi/paper/ieice10npbayes.pdf
上田  修巧、他１名、“ノンパラメトリックベイズモデル”http://www.kecl.ntt.co.jp/as/members/yamada/dpm_ueda_yamada2007.pdf
Yee Whye Teh、 他３名、 “Hierarchical Dirichlet Processes” http://www.cs.berkeley.edu/~jordan/papers/hdp.pdf）。
【数６】
2015049726.tif 000008
ここでα及びγについては、事前分布としてγ分布を仮定し、その事後確率からサンプリングしている（Yee Whye Teh、 他３名、 “Hierarchical Dirichlet Processes” http://www.cs.berkeley.edu/~jordan/papers/hdp.pdf ）。
【００２３】
時刻tの状態ｓｔは、t-1の状態ｓｔ−１と遷移確率πｋによって決定される。また、θ＊は、観測値ｙ＊ｔを生成する確率分布のパラメータであり、ここではガウス分布の平均と分散を仮定している。さらに、ガウス分布の事前分布として、ガウス―ウィシャート分布を仮定しており、そのパラメータがＨ＊である。すなわち、以下の関係が成立する。
【数７】
2015049726.tif 000009
Ｍは多項分布、式（４）のＰはガウス―ウィシャート分布、Ｎはガウス分布を表す。モデル１０５において、遷移確率πｋとガウス分布のパラメータθ＊ｋが学習によって求められる。
【００２４】
つぎに、モデル１０５の学習について説明する。学習はギブスサンプリングにより、各時刻ｔの状態ｓｔをサンプリングすることで実現する。ギブスサンプリングでは、ｓｔを除いた残りを条件とした以下の条件付き確率からｓｔをサンプリングする。
【数８】
2015049726.tif 000010
ただし、Ｙ１、Ｙ２はそれぞれ、全観測データの集合である。また、添字-tは時刻ｔの状態を除いた残りを意味する。すなわち、ｓ−ｔは、ｓｔを除いた全時刻の状態を表し、
Ｙ１，-ｔ、Ｙ２，-ｔは、それぞれＹ１、Ｙ２からｙ１ｔ、ｙ２ｔを除いた残りを表している。式（６）における
【数９】
2015049726.tif 000011
は、ヘイズ推定より以下の式で表せる。
【数１０】
2015049726.tif 000012
また、状態遷移確率である
【数１１】
2015049726.tif 000013
は、状態iからjへ遷移した回数をｎｉｊとして以下の式で表せる。
【数１２】
2015049726.tif 000014
ただし、Kは現在の状態数であり、k=K+1の場合には新たな状態を生成することを意味する。
【００２５】
式（６）は、式（７）によって表される空間的制約と状態遷移確率の式によって表される時間的制約を考慮している。
【００２６】
学習はランダムな初期値から始め、式（６）によるサンプリングを繰り返すことで遷移確率
【数１３】
2015049726.tif 000015
と、状態に対応した、観測値を出力する確率分布
【数１４】
2015049726.tif 000016
と、を得ることができる。また、本実施形態では、ハイパーパラメータα及びβもサンプリングするここで推定を行っている（Y.W. The, M.I. Jordan, M.J. Beal, and D.M. Blei, “Hierarchical Dirichlet processes,” Journal of the American Statistical Association, vol.101, no.101, no.476, pp.1566-1581, 2006）。
【００２７】
図３は、学習部１０３がモデル１０５の学習を行う手順を説明するための流れ図である。
【００２８】
ここで、状態ｓｔと対応したガウス分布の事後分布のパラメータをθ’ｓｔとする。すなわち、以下の式が成立する。
【数１５】
2015049726.tif 000017
さらに、観測データyを加えて事後分布のパラメータを更新することを
【数１６】
2015049726.tif 000018
と表記し、逆にyを除外して事後分布のパラメータを更新することを
【数１７】
2015049726.tif 000019
と表記する。
【００２９】
図３のステップＳ１０１０において、学習部１０３は、収束したかどうか判断する。収束したかどうかは具体的に尤度の変化によって判断する。収束した場合には処理を終了する。収束していない場合には、ステップＳ１０２０へ進む。
【００３０】
図３のステップＳ１０２０において、学習部１０３は、t=0として時刻を初期化する。
【００３１】
図３のステップＳ１０３０において、学習部１０３は、時刻が所定の時刻Tに達したかどうか判断する。時刻が所定の時刻Tに達していなければステップＳ１０４０へ進む。時刻が所定の時刻Tに達していればステップＳ１０１０へ戻る。
【００３２】
図３のステップＳ１０４０において、学習部１０３は、状態ｓｔからデータｙｔを除きパラメータを更新する。ステップＳ１０４０において、--は、１を減ずることを表す。
【００３３】
図３のステップＳ１０５０において、学習部１０３は、式（６）を使用して状態をサンプリングする。
【００３４】
図３のステップＳ１０６０において、学習部１０３は、状態ｓｔにデータｙｔを加えパラメータを更新する。ステップＳ１０６０において、++は、１を加えることを表す。
【００３５】
図３のステップＳ１０７０において、学習部１０３は、時間の経過にしたがって時刻を変更する。ステップＳ１０７０において、++は、時間の増加分を加算することを表す。ステップＳ１０７０の処理が終了した後、ステップＳ１０３０に戻る。
【００３６】
図４は、学習部１０３による学習の概念を示す図である。図４（ａ）は、時間と観測値との関係を示す図である。図４（ａ）の横軸は時間を表し、縦軸は観測値を表す。図４では、観測値ｙ１、ｙ２を１次元のｘで表している。図４（ｂ）は、状態ごとの確率分布を示す図である。図４（ｂ）の横軸は確率を表し、縦軸は観測値を表す。図４（ｂ）に概念的に示す、状態ごとの観測値の確率分布が学習により得られる。
【００３７】
つぎに、モデル１０５を使用した、物体の位置の予測について説明する。時刻t-1での物体の位置ｐ２，ｔ−１が与えられた場合、時刻tでの物体の位置ｐ２，ｔは、以下の式（8）により計算することができる。ただし、ここでは動的特徴として前時刻における位置との差分を考慮し、
【数１８】
2015049726.tif 000020
とする。
【数１９】
2015049726.tif 000021
ただし、
【数２０】
2015049726.tif 000022
は状態ｓｔと対応したガウス分布の分散と平均である。ここで、位置ｐ２，ｔ−１が既知であるとすると、式（８）は、位置ｐ２，ｔのみに依存した式へと変形することができる。
【数２１】
2015049726.tif 000023
ただし、
【数２２】
2015049726.tif 000024
とし、
【数２３】
2015049726.tif 000025
については以下の式が成立する。
【数２４】
2015049726.tif 000026
上記の平均と分散を持ったガウス分布からサンプリングを行うことで、動的制約を満たした物体の位置ｐ２，ｔを生成することができる。すなわち、以下の式が成立する。
【数２５】
2015049726.tif 000027
【００３８】
状態系列が既知であれば、式（１４）を使用して、逐次サンプリングを繰り返すことで軌道を生成することが可能である。しかし、物体に与える動作は必ずしも学習に含まれる軌道とは限らない。そこで、あいまいな状態での起動生成を考える。時刻t-1の状態
ｓｔ−１と、その時刻における物体の位置ｐ２，ｔ−１が与えられた場合、時刻tでの物体の位置ｐ２，ｔの期待値は以下の式で表せる。
【数２６】
2015049726.tif 000028
このようにして状態のあいまいな軌道を生成することができる。しかし、この積分計算を解析的に解くことは困難であるため、モンテカルロ法による近似を行う。まず、以下のサンプリングをＮ回繰り返し、時刻tでのＮ個のサンプリング
【数２７】
2015049726.tif 000029
を得る。
【数２８】
2015049726.tif 000030
ただし、式（１６）の
【数２９】
2015049726.tif 000031
は、状態遷移確率
【数３０】
2015049726.tif 000032
の一部を使用して以下のように求まる。
【数３１】
2015049726.tif 000033
式（１７）の
【数３２】
2015049726.tif 000034
は、動的制約を考慮した式（１４）を使用する。最終的に、Ｎ個のサンプリングの平均値を時刻tでの物体の位置の予測値とする。
【数３３】
2015049726.tif 000035
【００３９】
図５は、予測部１０７による予測の手順を示す流れ図である。
【００４０】
図６は、観測が行われる時刻Tarm以前の状態と衝突後（時刻Tarm+1以降）の状態とを示す図である。時刻Tarm+1以降において、式（１６）乃至式（１８）を使用して物体の軌道が予測される。
【００４１】
ここでは、時刻0-Tarmの間にアームの軌道のみが観測されたとして、時刻Tarmでの状態がkである確率Ｐ（ｓＴａｒｍ＝ｋ）と物体の初期値ｐ２，Ｔａｒｍが与えられたとして物体の軌道を生成する。時刻Tarmでの状態は、以下の式で表せる。
【数３４】
2015049726.tif 000036
【００４２】
図５のステップＳ２０１０において予測部１０３は、ｎを０とする。
【００４３】
図５のステップＳ２０２０において予測部１０３は、ｎが所定値Ｎ未満であるかどうか判断する。ｎが所定値Ｎ未満であればステップＳ２０３０に進む。ｎが所定値Ｎ未満でなければステップＳ２０５０に進む。
【００４４】
図５のステップＳ２０３０において予測部１０３は、以下の式にしたがって、サンプルsnの状態をＮ個サンプリングし、各サンプルの位置pnを初期化する。
【数３５】
2015049726.tif 000037
【００４５】
図５のステップＳ２０４０において予測部１０３は、ｎに１を加える。ステップＳ２０４０において++は、１を加えることを表す。ステップＳ２０４０の処理が終了した後、ステップＳ２０２０に戻る。
【００４６】
図５のステップＳ２０５０において予測部１０３は、時間を進行させる。
【００４７】
図５のステップＳ２０６０において予測部１０３は、ｎを０とする。
【００４８】
図５のステップＳ２０７０において予測部１０３は、ｎが所定値Ｎ未満であるかどうか判断する。ｎが所定値Ｎ未満であればステップＳ２０８０に進む。ｎが所定値Ｎ未満でなければステップＳ２１００に進む。
【００４９】
図５のステップＳ２０８０において予測部１０３は、以下の式にしたがって、新たな状態及び物体の位置をサンプリングする。
【数３６】
2015049726.tif 000038
ここで、式（２１）は式（１６）に対応し、式（２２）は式（１７）に対応する。
【００５０】
図５のステップＳ２０９０において予測部１０３は、ｎに１を加える。ステップＳ２０９０において++は、１を加えることを表す。ステップＳ２０９０の処理が終了した後、ステップＳ２０７０に戻る。
【００５１】
図５のステップＳ２１００において予測部１０３は、以下の式によって求めた全サンプルの平均を時刻ｔにおける物体の位置の予測値とする。
【数３７】
2015049726.tif 000039
【００５２】
図５のステップＳ２１１０において予測部１０３は、物体が停止しているかどうか判断する。具体的には、時刻t-１における物体の位置と時刻tにおける物体の位置の差が所定値ε以下であれば、物体が停止していると判断する。物体が停止していれば、処理を終了する。物体が停止していなければ、ステップＳ２１２０に進む。
【００５３】
図５のステップＳ２１２０において予測部１０３は、tに１（時間の増加分）を加える。ステップＳ２１２０において++は、１を加えることを表す。ステップＳ２１２０の処理が終了した後、ステップＳ２０６０に戻る。
【００５４】
図７は、予測部１０７による予測の概念を示す図である。図７（ａ）は、時間と観測値との関係を示す図である。図７（ａ）の横軸は時間を表し、縦軸は物体の位置の観測値を表す。また、実線は実際に観測された物体の位置の観測値を表し、点線は物体の位置の予測値を表す。図７では、観測値ｙ１、ｙ２を１次元のxで表している。図７（ｂ）は、物体の位置の観測値の確率分布を示す図である。図７（ｂ）の横軸は確率を表し、縦軸は物体の位置を表す。図７（ｂ）に示す確率分布を使用して点線は物体の位置の予測値（期待値）が得られる。
【００５５】
つぎに、本実施形態による予測装置１００のシミュレーション実験について説明する。ロボットのアームが物体に触れた際のアームの軌道及び物体の軌道はシミュレータにより求めた。シミュレータは、物理計算エンジンOpen Dynamic Engine （ＯＤＥ）により作成した（http://www.ode.org/）。ＯＤＥによれば、物体の衝突や摩擦などをシミュレーション可能であり、シミュレータ上の物体の位置や速度など様々な情報を取得することができる。
【００５６】
本実施形態では、物体として半径１０センチメータの球を想定し、ロボットが物体に対して、横から力を加える場合と、上から力を加える場合とについて、アームの軌道及び物体の軌道をＯＤＥにより取得した。
【００５７】
図８はアームの軌道及び物体（球）の軌道を示す図である。図８の横軸は水平方向の座標を表し、縦軸は鉛直方向の座標を表す。太い点線は、球に横から力を加える場合のアームの軌道を示す。アームを初期位置から物体の右へ移動させ、その後球に向かって左方向に動かしている。太い実線は、アームと衝突した後の球の軌道を示す。球は、左方向に移動している。細い点線は、球に上から力を加える場合のアームの軌道を示す。アームを初期位置から物体の上へ移動させ、その後球に向かって下方向に動かしている。細い実線は、アームと衝突した後の球の軌道を示す。球は、テーブル上に置かれているので、移動せずにその場に留まっている。
【００５８】
実際に、図８に示す軌道を、図３に示した手順によって学習した結果、状態数は６となった。
【００５９】
図９は、学習によって得られた６個の状態を示す図である。図９において、状態２は、物体との衝突と関係のない、アームの上方向への移動及び水平方向の移動である。状態０は、アームの左方向への移動及び球との接触である。状態４は、接触後において球の速度が速い状態であり、状態４から遷移した状態５は、接触後において球が減速し停止するまでの状態である。状態１は、アームの下方向への移動及び球との接触であり、状態１から遷移した状態３は、球及びアームがその場で停止続ける状態である。このように、モデル１０５を使用した学習により、ロボットの行動と物体の軌道が、意味のある状態へ分類されている。
【００６０】
つぎに、図５に示した手順によって物体の軌道を生成した。学習した軌道を正しく生成できるかを検証するために、アームを横から球に衝突させた場合として状態０から開始される軌道、及びアームを上から球に衝突させた場合として状態１から開始される軌道を生成した。
【００６１】
図１０は、予測部１０７によって生成された既知の軌道を示す図である。図１０（ａ）は、アームを横から球に衝突させた場合を説明するための図である。図１０（ｂ）は、アームを上から球に衝突させた場合を説明するための図である。ｘは、物体（球）の水平方向の座標である。図１０（ｃ）は、生成された軌道を示す図である。図１０（ｃ）の横軸は時間ステップを表し、縦軸は物体（球）の水平方向の座標ｘを表す。ｘは、球の移動距離と考えることができる。実線は、予測部１０７によって生成された軌道を示し、点線は、実際の軌道（シミュレーションによる軌道）を示す。予測部１０７によって生成された軌道は、実際の軌道とは完全には一致しなかったものの、アームを横から衝突させた場合は球が約０．８メートル移動すること、また、アームを上から衝突させた場合は球が動かずその場で静止していることが正しく予測できている。また、図１０（ｃ）において、予測された軌道では途中で状態が変化しているが、滑らかな軌道が生成されている。
【００６２】
つぎに、未知の軌道の予測として、物体に対してアームを斜めから衝突させた場合の軌道の予測を行った。
【００６３】
図１１は、予測部１０７によって生成された未知の軌道を示す図である。図１１（ａ）は、アームを斜めから球に衝突させた場合を説明するための図である。アームを横方向から水平方向に衝突させる場合の角度が０°であり、アームを上から鉛直方向に衝突させる場合の角度が９０°である。図１１（ｂ）は、生成された軌道を示す図である。図１１（ｂ）の横軸は時間ステップを表し、縦軸は物体（球）の水平方向の座標、すなわち、球の移動距離を表す。図１１（ｂ）によれば、アームの軌道が横方向（０°）に近いほど物体の距離が長くなり、アームの軌道が上下方向（９０°）に近いほど物体の移動距離は短くなる。このように、予測部１０７によって未知の軌道を予測できることが確認された。なお、図１１（ｂ）における軌道の「振動」はサンプリング回数Ｎを大きくすることで解消できる。
【００６４】
上記において、ｙ１がロボットアームの情報、ｙ２が物体（たとえば、ボール）の情報である場合を例として説明した。しかし、本発明は、当然にそれ以外の場合にも同様に適用できる。ここでは、本発明が適用可能な他の具体例について説明する。
【００６５】
最初に、物体と物体、人と人、車両と人、車両と車両などの関係に適用することが考えられる。それぞれの組の一方の位置と速度の４次元データをｙ１、もう一方の位置と速度の４次元データをｙ２とするとで、ｙ１とｙ２の関係が学習され、一方から他の情報を予測することが可能となる。たとえば、人(ｙ１)と人(ｙ２)がすれ違う場合を考えると、ｙ１が未知の左側に寄れば、ｙ２は反対側に移動するといったことや、ｙ１が未知の真ん中を直進し続ければ、ｙ２がどちらかに避ける可能性がある、といった様に人の行動を予測することができる。
【００６６】
つぎに、交差点における信号の色と車両の速度との関係に適用することが考えられる。この場合は、ｙ１を車両の位置と速度、ｙ２を信号の色として考える。信号の色は、赤・青・黄の３値を取る値となるので、θ２を多項分布のパラメータ、Ｈ２をディリクレ分布のパラメータとする。ｙ１の車両の位置と速度は、たとえば、交差点の中心を原点とした座標系で考える。これにより、本発明の方法でｙ１とｙ２の関係が学習され、たとえば、現在の車両の位置と速度(ｙ１)の時に、信号の色(ｙ２)が黄色に変化した場合の、その後の車両の位置と速度(ｙ１)を予測することができ、さらに本発明の方法で車両の軌道を予測することができる。また、信号の色(ｙ２)の変化するタイミングによって、車両の振る舞い(ｙ１)がどう変化するか、といったことも学習可能である。
【００６７】
さらに観測情報として、運転手の性別(ｙ３) 、車種(ｙ４)、運転手の年齢(ｙ５)などを付加することで、ｙ１乃至ｙ５の関係性を捉えることができる。この場合は、θ３乃至θ５は、それぞれの要素の数だけ事象を持つ多項分布のパラメータ、Ｈ３乃至Ｈ５はディリクレ事前分布のパラメータとなる。
【符号の説明】
【００６８】
１００…予測装置、１０１・・・観測部、１０３・・・学習部、１０５・・・モデル、１０７・・・予測部
【図１】
2015049726.tif 000040
【図２】
2015049726.tif 000041
【図３】
2015049726.tif 000042
【図４】
2015049726.tif 000043
【図５】
2015049726.tif 000044
【図６】
2015049726.tif 000045
【図７】
2015049726.tif 000046
【図８】
2015049726.tif 000047
【図９】
2015049726.tif 000048
【図１０】
2015049726.tif 000049
【図１１】
2015049726.tif 000050