【手続補正書】
【提出日】平成16年1月28日(2004.1.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体の行動を制御する行動制御装置であって、
感覚入力を取得する感覚入力取得手段と、
移動体の運動を推定する運動推定手段と、
感覚入力から、移動体の行動の目標となりうる目標物体を含む部分を分離する目標分離手段と、
前記分離された部分から目標物体を抽出する目標物体マッチング手段と、
目標物体の場所を取得する目標場所取得手段と、
目標物体の場所を基準に移動体を制御する行動コマンドを決定する行動決定手段と、を備える行動制御装置。
【請求項２】
運動推定手段は、
前記行動コマンドを出力する行動コマンド出力手段と、
移動体の行動結果を評価する行動評価手段と、
前記感覚入力と前記行動結果との関係を使用して移動体の運動を学習する学習手段と、
学習結果を記憶する記憶手段と、をさらに備える請求項１に記載の行動制御装置。
【請求項３】
前記学習結果は確率密度分布である請求項２に記載の行動制御装置。
【請求項４】
前記目標分離手段は感覚入力と推定された運動を比較することにより前記部分を分離する請求項１乃至３のいずれか１項に記載の行動制御装置。
【請求項５】
前記分離がオプティカルフローを利用して行われる請求項４に記載の行動制御装置。
【請求項６】
前記目標場所取得手段は目標物体の中心を前記目標物体の場所として定義し、
前記行動決定手段は移動体を前記目標物体の場所に向かって移動させる行動コマンドを出力する請求項１乃至５のいずれか１項に記載の行動制御装置。
【請求項７】
前記行動決定手段は、移動体と前記目標物体の場所との距離を算出し、該算出された距離を小さくするように行動コマンドを決定する請求項６に記載の行動制御装置。
【請求項８】
算出された距離が所定値以上である場合には前記目標分離手段が目標物体を含む前記部分を分離することを繰り返す請求項７に記載の行動制御装置。
【請求項９】
前記感覚入力取得手段は移動体の外部環境の画像を、感覚入力として取得する請求項１乃至８のいずれか１項に記載の行動制御装置。
【請求項１０】
前記目標物体マッチング手段は、感覚入力と予め定めたテンプレートとの間のパターンマッチングにより目標物体を抽出する請求項１乃至８のいずれか１項に記載の行動制御装置。
【請求項１１】
前記感覚入力取得手段は、移動体の運動を取得するジャイロスコープである請求項１乃至８のいずれか１項に記載の行動制御装置。
【請求項１２】
行動コマンドを使用して移動体の行動を制御する方法であって、
感化入力取得手段によって感覚入力を取得し、
運動推定手段によって移動体の運動を推定し、
目標分離手段によって感覚入力から、移動体の行動の目標となりうる目標物体を含む部分を分離し、
目標物体マッチング手段によって前記分離された部分から目標物体を抽出し、
目標場所取得手段によって目標物体の場所を取得し、
行動決定手段によって目標物体の場所を基準に移動体を制御する方法。
【請求項１３】
行動コマンドを使用して移動体の行動を制御するためのプログラムであって、
感化入力取得手段によって感覚入力を取得し、
運動推定手段によって移動体の運動を推定し、
目標分離手段によって感覚入力から、移動体の行動の目標となりうる目標物体を含む部分を分離し、
目標物体マッチング手段によって前記分離された部分から目標物体を抽出し、
目標場所取得手段によって目標物体の場所を取得し、
行動決定手段によって目標物体の場所を基準に移動体を制御するプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【発明の名称】行動制御装置および方法
【技術分野】
【０００１】
本発明は、移動体の制御装置及び制御方法に関し、より詳細には取得した画像から目標物体を認識し、認識した目標物体を基準として移動体の行動を高精度に制御する行動制御装置及び行動制御方法に関する。
【背景技術】
【０００２】
入力される画像に基づき移動体を高精度に制御するためには、制御システムは、移動体の行動の目標として、画像における物体を認識する必要がある。１つの方法は、制御システムが、オペレータが予め選択した訓練データを、認識に先立ち学習しておく方法がある。例えば、制御システムは、入力画像を探索し、そこから目標の特徴として指定された形や色を抽出する。その後、制御システムは、移動体が抽出された目標に向かって移動するように、指令（コマンド）を出力する。
【０００３】
しかし、オペレータは、目標の形や色等の特徴を制御システムへ詳細に教える必要があり、そのための準備が時間的にも作業的にも負担となる。また、入力画像から目標が消えると制御が中断してしまうため、このアプローチを実使用に適用するには問題がある。
【０００４】
別の方法として、目標のテンプレートを準備しておき、移動体の制御中に、このテンプレートを常に入力画像に適用して、目標の形状及び場所を詳細に探索するという方法がある。しかし、この場合は目標物体の形状及び場所をコンピュータが算出し続けねばならず、計算コストが非常に大きい。さらに、目標の探索の計算が局所解に陥ってしまう事態も起こり得る。
【０００５】
従って、移動体の行動制御を効率的かつ柔軟に行うには、目標を指定しておくような教師付きの学習方法でなく、移動体を自律的に移動させるのが好ましい。そのためには、目標を自律的に認識し、かつその位置を学習する方法が必要である。特開平８−１２６９８１号公報は、誤差が生じ目標が見つからないような場合でも、目標物体を自動的に探索する、ロボットシステムにおける画像位置認識方式を開示している。しかし、この方式では、作業前に、画像を認識するための作業対象面を複数の色で塗り分けておかなければならず、これにはかなり時間がかかる。
【０００６】
また特開平７−１３４６１７号公報には、室内空調設備を管理する自律移動ロボットの誘導方法が開示されている。当該方法によれば、画像処理を用いて誘導目標物体を検出し、ロボットが目標に向かって誘導される。しかしこの方法は、空調設備の吹き出し口を誘導目標物体としており、目標物体に一般性がない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従って本発明は、実用途において視覚情報に基づく移動体の自律的な制御を実現するために、多大な事前準備や計算コストを必要とすることなく、かつ目標物体が限定されることなく、実用途において、視覚情報に基づいて、移動体を自律制御する行動制御装置及び行動制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の１態様によれば、移動体の行動を制御する行動制御装置が提供される。行動制御装置は、感覚入力を取得する感覚入力取得手段と、移動体の運動を推定する運動推定手段と、を備える。行動制御装置は、感覚入力から、移動体の行動の目標となりうる目標物体を含む部分を分離する目標分離手段と、前記分離された部分から目標物体を抽出する目標物体マッチング手段と、をさらに備える。行動制御装置は、目標物体の場所を取得する目標場所取得手段と、目標物体の場所を基準に移動体を制御する行動コマンドを決定する行動決定手段と、をさらに備える。
【０００９】
行動制御装置は、運動推定に基づいて、画像などの感覚入力から、行動の目標物体を含む部分を大雑把に分離する。そして、行動制御装置は、当該部分から目標物体を特定し、目標物体の場所を取得し、移動体を当該場所へ移動させる行動コマンドを出力する。このように、目標物体の詳細な特徴は、予め決めておく必要がない。さらに、現在の行動に無関係な特徴が消去されるので、計算負荷は減少する。したがって、移動体用の高効率および高精度な制御が実現される。
【００１０】
ここで、「移動体」とは駆動機構を有し行動コマンドに従って移動する装置を指す。
【００１１】
感覚入力は、移動体の外部環境の画像でもよい。
【００１２】
運動推定手段は、前記行動コマンドを出力する行動コマンド出力手段と、移動体の行動結果を評価する行動評価手段と、を備える。運動推定手段は、前記感覚入力と前記行動結果との関係を使用して移動体の運動を学習する学習手段と、学習結果を記憶する記憶手段と、をさらに備える。
【００１３】
行動制御装置は、感覚入力と行動コマンドの間の関係を予め学習する。そして、行動制御装置は、行動制御段階で新たな特徴が取得されたときに、学習結果を更新する。学習結果は、確率密度分布として表現される。このように、行動制御段階における移動体の運動は高精度に推定することができる。
【００１４】
移動体の運動を推定する代わりに、ジャイロスコープを使用して移動体の運動を取得してもよい。
【００１５】
目標分離手段は、オプティカルフローなどを利用して、感覚入力と推定された運動を比較することにより当該部分を分離する。このように、行動制御装置は、目標物体を含む部分を大雑把に分離することができる。
【００１６】
目標場所取得手段は、目標物体の中心を目標物体の場所として定義し、行動決定手段は移動体を前記目標物体の場所に向かって移動させる行動コマンドを出力する。このように、移動体を安定して制御することができる。
【００１７】
行動決定手段は、移動体と目標物体の場所との距離を算出し、該算出された距離を小さくするように行動コマンドを決定する。この計算は非常に簡単であり、計算量を減少させるのに役立つ。
【００１８】
算出された距離が所定値以上である場合には、目標分離手段が目標物体を含む当該部分を分離することを繰り返す。
【００１９】
目標物体マッチング手段は、感覚入力と予め定めたテンプレートとの間のパターンマッチングにより目標物体を抽出する。このように、目標物体をより正確に抽出することができる。
【００２０】
他の実施形態および特徴は、添付図面と関連して以下の記載を参照することにより、明らかである。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の好ましい実施形態を説明する。
【００２２】
本発明の行動制御装置は、移動体を制御する基準となる目標物体を認識し、認識した目標物体に基づいて移動体の行動を制御する。行動制御装置は、駆動機構を持ち単体で移動可能な移動装置に搭載されて使用される。
【００２３】
構成
図１は、本発明の一実施例であるラジオコントロール(ＲＣ)ヘリコプター100を示す。ＲＣヘリコプター100は、機体101、メインロータ102、及びテールロータ103から構成されている。機体101には、ＣＣＤカメラ104、行動制御装置105、サーボモータ106が搭載されている。またテールロータ103の基部にはリンク機構107があり、ロッド108によりサーボモータ106と連結されている。ＲＣヘリコプター100は、メインロータ102及びテールロータ103の回転により空中に浮揚する。
【００２４】
ＣＣＤカメラ104は、ＲＣヘリコプターの前方の視野を撮像する。カメラによって撮像される領域は視覚空間109として図１に示されている。行動制御装置105は、ＣＣＤカメラ104によって撮影された画像に基づいて、行動制御の目標となりうる目標物体の場所110と（以下、単に「目標場所110」という）、視覚空間における自己の基準のポイントを自律的に認識する。目標場所110は、後述するように確率密度分布で表現され、視覚空間109においては図１に示すように楕円形で概念表示される。
【００２５】
ＲＣヘリコプター100は、ヨー方向（図１中、鉛直線の周りの矢印で示す方向）の制御のみができるように改造されている。従ってこの場合、「安定」とはＲＣヘリコプターの向けられた方向の振動が少ないことを意味している。
【００２６】
行動制御装置105は、ＣＣＤカメラ104によって撮像された画像（視覚空間109）の自己の基準のポイント（例えば、中心。以下、「運動中心（center of motion）」の頭文字であるＣＯＭ111という）を、目標場所110に向かって移動させるように行動コマンドを出力し、ＲＣヘリコプター100を安定に制御しようとする。行動コマンドは、サーボモータ106へ送られる。行動コマンドに応答して、サーボモータ106がロッド108を駆動すると、リンク機構が動作してテールロータ103のプロペラのピッチ角を変え、ＲＣヘリコプター100はヨー方向に回転する。
【００２７】
なお、上記の実施例においては簡単のために制御方向を、ＣＯＭが左右に移動するような１次元操作に限定して示しているが、本発明は二次元、三次元における位置制御にも応用できる。
【００２８】
本発明の行動制御装置を備える移動体の例としてＲＣヘリコプター100を説明したが、本発明の行動制御装置は、駆動機構を持ち単体で移動可能な任意の移動体に搭載することができる。さらに、移動体はＲＣヘリコプターのような飛行物に限定されるものではなく、例えば地上を移動する車両等も含む。移動体は、また、その一部のみが移動することができるものも含む。例えば、基部が固定されている産業用ロボットに本発明の行動制御装置を搭載して、操作目標を認識するようにすることもできる。
【００２９】
図２は、図１の行動制御装置105の構成を示す機能ブロック図である。行動制御装置105は、画像取得部202、行動コマンド出力部204、行動評価部206、学習部208、記憶部210、目標分離部212、マッチング部214、目標物体場所取得部216、及び行動決定部218から構成される。行動制御装置105は、例えば、本発明に従って作成されたプログラムを汎用コンピュータ上で走らせることでソフトウェア的に実現されるが、本発明の機能を有するハードウェアによって実現することもできる。
【００３０】
行動制御装置105は、入力の特徴（例えば、ＣＣＤカメラ104によって撮像された画像）と移動体の行動との関係の学習を最初に行う。これらの動作は、包括的に、「学習段階」という。学習段階を終了すると、行動制御装置は、取得した学習知識に基づいて取得した画像から自己の運動を推定することができる。さらに、行動制御装置は、自律的に、推定した運動を利用して画像内の目標場所を探索し、抽出する。最後に、行動制御装置は、目標場所に対して移動体の運動を制御する。これらの動作は、包括的に「行動制御段階」という。
【００３１】
なお、図２で示す行動制御装置105はＲＣヘリコプター100での使用に適応させて構成されたものであり、本発明の行動制御装置は搭載される移動体の特性に応じて種々の構成を取ることができることに留意すべきである。例えば、行動制御装置は、移動体の姿勢に応じた信号を発生するジャイロスコープ・センサーをさらに備えることができる。この場合、行動制御装置は、移動体の運動を推定するのにジャイロスコープ・センサーから発生する信号を使用し、目標場所の認識にのみ画像取得部202によって取得された感覚入力を使用する。
【００３２】
学習
学習の段階では、行動制御装置105は、移動体を移動させながら、画像ピックアップ装置によって撮像された入力画像の特徴と、行動コマンド出力部204からの行動コマンドに応じた行動結果との対応関係を学習する。行動制御装置は、つぎに、記憶部210に学習結果を蓄積していく。この学習により、行動制御装置は、後に説明する行動制御段階で入力画像に基づいて、移動体の運動を精度良く推定することが可能になる。
【００３３】
画像取得部202は、ＲＣヘリコプター100の前部に搭載されたＣＣＤカメラ104のような画像ピックアップ装置から所定の間隔ごとに画像を受け取る。つぎに、画像取得部202は、画像から感覚入力 Ii(t) (I=1,2,…) として特徴を抽出する。この特徴抽出は従来知られている任意の方法、例えばオプティカルフロー等によって実施されてもよい。抽出された特徴は、行動評価部206に送られる。
【００３４】
行動コマンド出力部204は、移動体の行動を指示する行動コマンド
【数１】
2004536400.tif 000001
を出力する。行動コマンドは、初期段階においての学習が未成熟な間は、予めランダムに選択されているコマンド列から読み出される。移動体がランダムに動く間に、行動制御装置105は、移動体の運動を推定するのに必要な知識を学習することができる。図１のＲＣヘリコプター100の場合、行動コマンドは、ヨー方向を変えるリンク機構107を駆動するサーボモータ106の駆動電流に対応する。行動コマンドは、サーボモータ106等の駆動機構と行動評価部206に送られる。感覚入力Ii(t) と行動コマンド
【数２】
2004536400.tif 000002
との間の関係は、以下のマッピングｆによって表される。
【００３５】
【数３】
2004536400.tif 000003
ここで、添え字ｉ(i=1,2,…)はｉ番目のデータであることを意味する。例えば、マッピングｆは、公知のフーリエ級数などを使用して、非線形近似変換として得られる。
【００３６】
代替的な実施形態において、行動コマンド出力部204は、外部装置からの信号を受け取り、信号に応じて行動コマンドを出力する。
【００３７】
行動評価部206は、強化学習によって所定の評価関数に基づいて、画像取得部202からの感覚入力 Ii(t) 及び行動コマンド
【数４】
2004536400.tif 000004
に応答した行動結果に応じた報酬を生成する。評価関数の例は、例えば行動コマンドにより制御される移動体が安定であれば報酬「１」を、不安定であれば報酬「２」を与えるような関数である。報酬が生成されると、行動評価部206は、報酬のタイプの数に等しい複数のコラム１，２，３…,を生成し、報酬のタイプに応じて行動コマンドを各コラムに分配する。以下において、コラム１に分配される行動コマンド
【数５】
2004536400.tif 000005
を
【数６】
2004536400.tif 000006
と表す。感覚入力 Ii(t) と行動コマンド
【数７】
2004536400.tif 000007
は学習部208に供給されて、両者間の対応関係の学習に用いられる。
【００３８】
評価関数の目的は、行動コマンドの分散を最小化することである。換言すると、
【数８】
2004536400.tif 000008
を満足する強化学習が評価関数を用いて実行される。行動コマンドの最小分散は、滑らかな制御のために減少させる必要がある。評価関数による学習によって、行動制御装置105は、不必要な感覚入力を除去し、重要な感覚入力を選択的に学習することができる。
【００３９】
各コラムにおいて、感覚入力と行動コマンドの両方は、行動コマンドに与えられる報酬のタイプに従って記憶される。
【００４０】
各コラム １,２,３,…,ｍは、行動コマンドのクラスタモデルに対応する。各コラムはジェネレーティブモデルｇΩl を計算するのに使用される。ここで、ｌは、適用される注意のクラスの数である。ジェネレーティブモデルは、学習によって生成される記憶モデルであり、統計学習における確率密度関数によって表現してもよい。ｇ(Ωl)をモデル化するために、ニューラルネットワークのような非線形推定を使用することができ、これによって確率密度分布Ｐ(Ｑ|Ωl)の推定を得ることができる。本実施形態においては、Ｐ(Ｑ|Ωl)は任意の確率密度分布を近似できるガウス混合モデルの形を有すると仮定する。図３はジェネレーティブモデルの数（水平軸）と最小分散（ミニマム・バリアンス）（鉛直軸）の間の関係を示す。
【００４１】
１つだけのコラムは、学習の収束を加速しない。その理由は、当該コラムに記憶された行動コマンドの正規分布カーブが鋭くなり、分散が小さくなるまでに多大の時間がかかるからである。移動体を安定に制御するために、モータ出力の正規分布の分散が小さくなるように学習する必要がある。本発明の１つの特徴は、複数のコラムが生成され、正規分布カーブが急速に小さくなることである。このような最小分散理論を利用した方法は、特開２００１−０２８７５８号に説明されている。
【００４２】
後で説明する学習プロセスは、学習部208において実行される。学習プロセスが完了した後、新たな感覚入力に対する行動コマンドの正規分布曲線の分散を最小にする行動コマンドを、統計学習方式により、コラムから選択し、移動体の急速な安定を達成してもよい。
【００４３】
以下、学習部208における学習プロセスを詳細に説明する。
【００４４】
学習部208は、同定マッピング変換を使用して、行動コマンドを含む各コラム１に１つずつ対応する注意のクラスΩlを計算する。この変換は、以下のマッピングｈによって表現される。
【００４５】
【数９】
2004536400.tif 000009
【００４６】
注意のクラスΩlとは、新たな感覚入力が与えられたときに、膨大な感覚入力の中から特定の感覚入力に特に注目することで効率の良い学習を行うためのものである。一般に感覚入力の量は、コンピュータの情報処理能力を大きく超えてしまう。そこで、注意のクラスΩlを使用して感覚入力に対して適当なフィルタリングを行うことにより、学習の効率を向上させる。したがって、学習部208は、感覚入力の選択された小さなサブセットを除いて、感覚入力を消去することができる。
【００４７】
学習が進むと、学習部208は、マッピングｆおよび／またはｈを１つずつ計算すること無しに、統計的確率を使用して感覚入力に対応する注意のクラスを直接に知ることができる。より具体的に、注意のクラスΩlの各々は、正規分布の確率密度関数を使用して、各コラムに記憶された行動コマンド
【数１０】
2004536400.tif 000010
をモデル化するためのパラメータである。確率密度関数を得るために、各コラムに記憶された行動コマンド
【数１１】
2004536400.tif 000011
に対して、平均 μl と共分散 Σl を計算する必要がある。この計算は、後で説明するＣＣＡ（Cluster Component Algorithm）を使用する教師無しの期待値最大化（Expectation Maximization, ＥＭ）アルゴリズムによって実行される。注意のクラスΩlは、各注意のクラスΩlに対して真の確率分布
【数１２】
2004536400.tif 000012
が存在するという仮定に基づいてモデル化されていることに留意すべきである。
【００４８】
獲得したパラメータを使用して、各注意のクラスΩlの確率密度関数を獲得することができる。獲得された確率密度関数は、感覚入力が与えられる前は、各注意のクラスの事前確率
【数１３】
2004536400.tif 000013
として使用される。換言すれば、各注意のクラスΩlは、確率密度関数
【数１４】
2004536400.tif 000014
のエレメントとして割り当てられる。
【００４９】
注意のクラスΩlが計算された後、学習部208は、ニューラルネットワークを用いた教師付学習によって、感覚入力と注意のクラスの間の関係を学習する。より具体的に、この学習は、注意のクラスΩlを教師信号として、階層的ニューラルネットワークを使用して、注意のクラスΩlおよび感覚入力 Ii(t) の条件付確率密度関数
【数１５】
2004536400.tif 000015
を獲得することによって実行される。注意のクラスは、合成関数ｈ・ｆによって計算することができることに留意すべきである。獲得された条件付確率密度関数
【数１６】
2004536400.tif 000016
は、感覚入力と注意のクラスの間の確率的な関係に対応する。
【００５０】
学習が終わった後、ＣＣＤカメラ104によって得られた新たな感覚入力は、行動制御装置105に供給される。学習部208は、ベイズの学習などの統計的学習方式を使用して、供給された感覚入力に対応する注意のクラスを選択する。この動作は、感覚入力 Ii(t) に関して注意のクラスΩlの条件付確率密度関数
【数１７】
2004536400.tif 000017
を計算することに対応する。上述のように、感覚入力および注意のクラスの確率密度関数は、階層的ニューラルネットワークによって既に推定されているので、新たに与えられる感覚入力は、特定の注意のクラスに直接割り当てることができる。換言すれば、ニューラルネットワークによる教師付学習が終わった後は、マッピングｆおよび／またはｈの計算は、感覚入力 Ii(t) に関して注意のクラスΩlを選択するために不要となる。
【００５１】
本実施形態において、ベイズの学習方式は、統計的学習方式として使用される。感覚入力 Ii(t) が与えられ、事前確率
【数１８】
2004536400.tif 000018
と条件付確率密度関数
【数１９】
2004536400.tif 000019
の両方が予め計算されていると仮定する。各注意のクラスに対する最大事後確率は、以下のベイズの法則によって計算される。
【００５２】
【数２０】
2004536400.tif 000020
【００５３】
【数２１】
2004536400.tif 000021
は、Ωlの「確信度」とも呼ばれ、感覚入力 Ii(t) が注意のクラスΩl(t) に属する確率である。ベイズの法則を使用して感覚入力 Ii(t) が注意のクラスΩlに属する確率を計算することは、確信度
【数２２】
2004536400.tif 000022
をヘイズの法則の持つ学習性（重み付け）により増していくことで、ある一つの注意のクラスΩlを選択的に特定可能であることを意味する。
【００５４】
供給された感覚入力 Ii(t) に対応して、注意のクラスΩlとして、最も高い確率（確信度）を有するクラスが選択される。このように、行動制御装置105は、ベイズの法則を使用し、かつ感覚入力 Ii(t) を対応する注意のクラスΩlへ割り当てるように、直接観察可能な感覚入力 Ii(t) から隠れたパラメータである注意のクラスΩlを獲得することができる。
【００５５】
学習部208は、選択された注意のクラスに対応するコラムに記憶された感覚入力にしたがって、行動コマンドをさらに探索し、その後、探索した行動コマンドを目標分離部212へ送る。
【００５６】
上述したように、ブロック（部）204乃至210を使用して、行動制御装置は、入力画像に基づいて、移動体の運動を正確に推定することができる。したがって、これらのブロック（部）は、特許請求の範囲において、包括的に「運動推定手段」という。
【００５７】
行動制御
行動制御段階においては、行動制御装置105は、入力画像に基づいて自己運動を推定し目標物体の場所（目標場所）を大雑把に分離する。続いて、行動制御装置は、目標物体としてメモリに予め記憶されているテンプレートと、パターンマッチングを実行し、より正確に目標場所を算出する。そして、行動制御装置は、目標場所と運動中心（ＣＯＭ）との距離に基づく行動コマンドを出力するように指示する。このプロセスを繰り返していくことにより、目標場所が精細化され、移動体は安定制御に到達する。換言すると、行動制御装置105は、自己運動推定に基づいて目標を分離し、何が目標物体となり得るかを把握する。
【００５８】
以下に、各部の機能を説明する。
【００５９】
目標分離部212は、移動体の行動基準となりうる目標物体を含む部分を、視覚空間から大雑把に分離抽出する。例えば、分離は、画像のオプティカルフローと推定された運動を比較することによってなされる。
【００６０】
目標物体マッチング部214は、テンプレートを用いて、目標物体をより高精度に抽出する。目標物体マッチング部214は、テンプレートと分離された部分とを比較し、当該部分が目標とされる物体であるか否か判断する。テンプレートは、予め準備しておく。複数の目標物体があるか、テンプレートとマッチする複数の物体がある場合には、最大のマッチング指標を有する物体が選択される。
【００６１】
目標場所取得部216は、目標物体の中心点を目標場所として定義する。
【００６２】
行動決定部218は、目標場所が定義された場合に、要求信号を行動コマンド出力部204に供給する。この要求信号を受け取ると、行動コマンド出力部204は、移動体の運動中心（ＣＯＭ）が目標物体の場所に重なるように行動コマンドを出力する。
【００６３】
自律的に行動コマンドを決定するためには、目標と非目標との分離が不可欠である。なぜならば、目標分離により分離された目標物体を、場所に向けて制御するように最適行動を選択するのに使用することができるからである。換言すると、実際の最適行動は選択的注意に基づいて運動中心（ＣＯＭ）を予測することによって選択される。これによって、行動制御装置が、取得画像内で正確に目標物体の場所を探索することが可能になる。図４は、目標分離部212によって分離認識された目標物体を示す図である。楕円401、402、403は、推定された運動に基づき算出された目標物体の場所となりうるクラスタであり、それぞれ正規分布Ω1、Ω2、Ω3で表される。これらは、画像の特徴情報から抽出される注意のクラスである。３つの正規分布モデルΩ1、Ω2、Ω3の混合分布は図４中の点線の楕円で表される。運動中心は視覚空間中の混合分布の中心として取得される。視覚空間中のそれぞれのガウス分布は、運動中心に基づいてクラスタリングされた行動空間をニューラルネットのような非線形マッピングによって視覚空間上に写像した結果、生成される。
【００６４】
ΩTL が目標場所、τが取得画像上で分離を実行できる領域を表すとすると、目標物体の場所は確率密度関数 Ｐ(ΩTL｜τ)によってモデル化される。目標物体の場所 ΩTL は基本的に不確定な量となるので、当該場所は行動制御ノイズ（すなわち確率密度分布における分散）を有していると仮定する。フィードバックプロセスを繰り返すことにより、目標場所のノイズ（すなわち分散）は低減していき、取り除かれる。本発明において、ノイズ（分散）の低減は、移動体の運動推定の正確さに左右される。
【００６５】
図５はその学習によって目標場所の範囲が改良されて（低減されて）いく様子を示す図である。学習部208は、例えばベイズの学習によって目標物体の場所（ＴＬ）の不確実な確率範囲（すなわち確率密度分布の分散）σを絞り込んでいく。
【００６６】
ＣＣＡ強化ＥＭアルゴリズム
以下ではＣＣＡ強化ＥＭアルゴリズムについて詳細に説明する。
【００６７】
ＥＭアルゴリズムは、観察されるデータが不完全なデータとみなされる場合に、最尤パラメータを推定する対話式のアルゴリズムである。観察されるデータが正規分布である場合に、パラメータθは、θ(μ，Σ) によって表現される。
【００６８】
本発明の一実施形態では、ＥＭアルゴリズム等のベイズのパラメータ推定によって特徴ベクトルのモデルを構築する。これはデータ構造を最も良く表現するクラスタの数を推定するのにも使用される。
【００６９】
ガウス混合モデルのパラメータを推定するアルゴリズムについて述べる。このアルゴリズムは、本質的に従来のクラスタリングに近いが、たとえクラスタが重なり合っている場合でも厳密にパラメータを推定できる点が異なる。そのために、訓練データのサンプルを使用してサブクラスの数及び訓練データからのパラメータを推定することによって、サブクラスの数及び各サブクラスのパラメータを決定する。
【００７０】
Ｙをガウス混合分布を用いてモデル化されるＭ次元の無作為のベクトルとし、このモデルはＫ個のサブクラスを持つと仮定する。ｋ番目のサブクラスを完全に特定するには以下のパラメータが必要となる。
【００７１】
πk：1つのピクセルがサブクラスｋを有する確率
μk：サブクラスｋについてのＭ次元スペクトラル平均ベクトル
Ｒk：サブクラスｋについてのＭ×Ｍスペクトラル共分散マトリックス
記号π、μ、Ｒはそれぞれ次式のパラメータセットを表す。
【００７２】
【数２３】
2004536400.tif 000023
【００７３】
従って、クラスのパラメータの完全セットはＫ及びθ＝(π,μ,Ｒ)で与えられる。パラメータは種々の仕方で制約されることに留意されたい。特に、Ｋは０より大きい整数であり、πk≧０かつΣπk＝１、及びdet(Ｒ)≧ε（εはアプリケーションに応じて選択される）である。Ｋ番目のモデルの許容されるθのセットをρで表す。
【００７４】
Ｙ1, Ｙ２,…,Ｙn を対象のクラスからサンプルしたＮマルチスペクトラルピクセルとする。さらに、そのピクセルのサブクラスが各ピクセルＹi について無作為の変数Ｘｎ によって与えられると仮定する。もちろん、Ωn は通常不明であり、かつ、問題を解析するのに有効であり得る。
【００７５】
各サブクラスを多変量ガウス分布であるとし、Ωn＝ｋのピクセルＹn についての確率密度関数が次式で与えられるとする。
【００７６】
【数２４】
2004536400.tif 000024
【００７７】
各サンプルのサブクラスΩn は不明であるので、所与のパラメータθについて、Ｙn の確率密度関数を計算するためには、以下の条件付確率の定義を適用する。
【００７８】
【数２５】
2004536400.tif 000025
【００７９】
全シーケンス
【数２６】
2004536400.tif 000026
の確率の対数をとると、次式のようになる。
【００８０】
【数２７】
2004536400.tif 000027
【００８１】
従って、目的は、パラメータＫ及びθ∈ρ(K)を推定することである。
【００８２】
ＭＤＬ推定子（Minimum Description Length Estimator）は、データサンプルｙn、及びパラメータベクトルθの双方を符号化するのに必要なビットの数を最小化するモデルの順序の発見を試みることによって機能する。ＭＤＬ基準は次式のように表現される。
【００８３】
【数２８】
2004536400.tif 000028
【００８４】
従って、ここでの目的は次のＭＤＬ基準を最小化することに帰着する。
【００８５】
【数２９】
2004536400.tif 000029
【００８６】
ＥＭアルゴリズムの更新式を導くために、次式(期待値ステップ)を計算する必要がある。
【００８７】
【数３０】
2004536400.tif 000030
ここで、Ｙ及びＸは無作為の変数
【数３１】
2004536400.tif 000031
それぞれのセットであり、ｙ及びｘはこれら無作為の物体の実現である。
従って以下が成り立つ。
【００８８】
【数３２】
2004536400.tif 000032
【００８９】
これは結果として有用な最適化法となる。なぜならＱ(θ;θ(i))の値を増加するθの任意の値はＭＤＬ基準を減少することを保証するからである。ＥＭアルゴリズムの目的は、ＭＤＬ関数の局所最低に達するまでθに関して最適化を繰り返すことである。
【００９０】
Ｑ関数は以下の方法で最適化される。
【数３３】
2004536400.tif 000033
この場合は次式のようになる。
【００９１】
【数３４】
2004536400.tif 000034
【００９２】
ＥＭ更新式は、以下のようになる。
【００９３】
【数３５】
2004536400.tif 000035
【００９４】
この解は以下のようになる。
【００９５】
【数３６】
2004536400.tif 000036
【００９６】
サブクラスＫの数は十分大きな値から開始し、徐々に減少していく。各Ｋの値に対して、ＭＤＬ関数が局所最大値に収束するまでＥＭアルゴリズムを適用する。最終的に、Ｋの値を簡単に選択でき、ＭＤＬ基準の最大値となる対応するパラメータを選択できる。
【００９７】
Ｋを効果的に減少させる有効な方法の１つは、２つのクラスのパラメータが等しくなるように、すなわちクラスｌ及びｍに対してel＝em となるように拘束することである。さらに、Ｅ＊及びＥ＊l,m を式１７の拘束されない解及び拘束された解とすると、次式のように距離関数を定義できる。
【００９８】
【数３７】
2004536400.tif 000037
但し、σmax(Ｒ)はＲの主固有値を表す。各ステップにおいて、クラスの距離を最小化する以下の２つの成分を計算する。
【００９９】
【数３８】
2004536400.tif 000038
【０１００】
これにより２つのクラスは合成され、サブクラスＫの数が減少する。
【０１０１】
行動制御装置のプロセス
学習段階および行動制御段階は、明確に分割することはできないが、両者は、以下に示す一例のように、同時に実行することができる。
【０１０２】
換言すれば、行動評価部206は、新たに供給された画像の特徴を、行動制御段階における先行する学習によって取得された知識に、反映させるべきか否かを判断する。さらに、行動評価部206は、画像から推定された運動を受け取る。先行する学習において学習されていない外部環境の変化が、画像取得部202によって取得されると、特徴は行動評価部206へ送られ、行動評価部206は、注意クラスの生成を指示する注意要求を出力する。これに応答して、学習部208は、注意クラスを生成する。このように、学習結果は常に更新され、したがって、運動推定の精度も向上する。
【０１０３】
ＲＣヘリコプターに搭載された本発明の行動制御装置について、実用途における制御プロセスを以下に説明する。図６は、当該プロセスのフローチャートである。このフローチャートは、図６中で２つの矩形の点線で示すような、２つのステップに分けることができる。つまり、左側コラムのcoarse step（粗いステップ）と右側コラムのfine step（細かなステップ）である。coarse stepでは、目標／非目標の大雑把な分離を行い、fine stepにおいて目標場所を次第に狭めて（改良して）いく。
【０１０４】
ステップ602で、まず全ての自己運動の注意のクラスΩl に対する確率密度分布Ｐ(Ωl)が一様であると仮定する。続いてステップ604で、学習等のためのデータを収集するために、移動体はランダムに運動する。本実施例では、５００の訓練データポイントと２００のテストポイントを生成するために、ＲＣヘリコプター100の安定のために収集されたデータセットを用いた。
【０１０５】
ステップ606で、確率密度分布Ωl を定義するパラメータθ(μ,Σ)を求めるためにＣＣＡ強化ＥＭアルゴリズムを実行する。本実施例では、最初に２０個のサブクラスが使用されたが、サブクラスの数は、ＣＣＡ強化ＥＭアルゴリズムによって収束し、最終的には図４に示すように３個まで減少した。
【０１０６】
ステップ608で、得られたθを用いて、Ｐ(Ｑ|Ωl)を算出する。ここで、Ｑは行動コマンドを表す。続いてステップ610で、特徴ベクトルＩと注意のクラス（Ω）の間の統計確率的関係をニューラルネットにより算出する。ステップ612で、移動体の運動をベイズの法則によって推定する。ステップ602から612は、学習段階に対応する。
【０１０７】
ステップ614で、得られた各確率密度関数を用いてガウス混合モデルを計算する。ガウス混合モデルに入っていない画像の部分は非目標として分離する。
【０１０８】
ステップ616で、テンプレートマッチングにより目標物体を認識し、目標場所の確率密度分布ΩTL を計算する。ステップ618で、この中心を目標場所と定義する。
【０１０９】
ステップ620で運動中心（ＣＯＭ）と目標場所（ＴＬ）との間の距離差Ｄを計算する。ステップ622では、目標場所から遠く離れているときは運動の幅を大きくし、逆に近いときには運動の幅を小さくする行動コマンドを出力する。図７は、出力される行動コマンドの一例を示す。図から分かるようにＤに応じて異なる出力値を採るマップをメモリに格納しておき、対応する値を検索してサーボモータに伝達する。
【０１１０】
ステップ624で、Ｄが許容誤差εより小さいか否かを判断する。Ｄがεより大きい場合は、目標場所の精度が不充分なのでステップ606に戻り、θを計算し直す。つまり、ある運動状態の推定を行うのに何個の混合ガウス関数を用いれば良いのかという正則化問題となる。ステップ606に戻るたびに混合ガウス関数の適用個数を増やすことによって、θを正確に推定し、結果的に目標物体の場所を正確に予測することができる。
【０１１１】
ステップ624でＤがεより小さい場合は、目標場所に対し十分な精度でヘリコプターが安定していることを示しており、このプロセスは終了する。所定値εの値を小さく設定することで、ヘリコプターの場所と安定してその場所に留まっている時間との両方を制御することができる。ステップ614乃至624は、行動制御段階に対応する。
【０１１２】
結果
図８乃至図１０は、ＲＣヘリコプターの制御状態を示す図である。ヘリコプターを安定するように制御している場合において、図中横軸は試行数を、縦軸は、運動中心（ＣＯＭ）と目標場所（ＴＬ）との間の距離を示している。図中の２本の点線は、制御の安定を判断するためのしきいεを表す。値εは図では0.1826に設定した。
【０１１３】
図８は、行動制御を開始した直後の制御のものである。この場合、まだ距離Ｄはε以下に収まらず、変動幅が大きく、したがって制御は不安定であると判断される。目標場所が狭まると、次第に変動幅は小さくなっていく(図９)。最終的に制御は、図１０に示すように安定となる。
【０１１４】
いくつかの好ましい実施形態を説明したが、本発明はこれらに限定されない。例えば、行動制御装置は、移動体に搭載されなくてもよい。この場合には、ＣＣＤカメラだけが移動体に搭載され、行動制御装置は別の場所に設置される。その際に、無線通信を介して、カメラと行動制御装置との間で情報が伝送される。
【産業上の利用可能性】
【０１１５】
本発明の一態様によれば、行動制御装置は、運動推定に基づいて、画像などの感覚入力から、行動の目標物体を含む目標域を大雑把に分離する。そして、行動制御装置は、目標域から目標物体を特定し、目標物体の場所を取得し、移動体を当該場所へ移動させる行動コマンドを出力する。このように、目標物体の詳細な特徴は、予め決めておく必要がない。さらに、現在の行動に無関係な特徴が消去されるので、計算負荷は減少する。したがって、移動体用の高効率および高精度な制御が実現される。
【０１１６】
本発明の別の態様によれば、行動制御装置は、感覚入力と行動コマンドの間の関係を予め学習する。そして、行動制御装置は、行動制御段階で新たな特徴が取得されたときに、学習結果を更新する。学習結果は、確率密度分布として表現される。このように、行動制御段階における移動体の運動は高精度に推定することができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の一実施形態による無線制御（ＲＣ）ヘリコプターを示す図である。
【図２】本発明による行動制御装置の構成の一例を示す機能ブロック図である。
【図３】ジェネレーティブモデルと最小分散との関係を表す図である。
【図４】目標分離手段によって認識された目標物体の概念図である。
【図５】学習によって目標物体の範囲が狭まる様子を示す図である。
【図６】ＲＣヘリコプターの制御ルーチンを示すフローチャートである。
【図７】目標場所と運動中心との距離を示す図である。
【図８】行動制御の初期段階における、移動体の不安定な制御状態を表す図である。
【図９】移動体の運動の変動幅が小さくなっていく途中の状態を表す図である。
【図１０】行動制御の最終段階における、移動体の安定した制御状態を表す図である。