(57)【要約】【課題】事前知識のない物体の画像を収集し、分類できる学習システムを提供する。【解決手段】学習システムは、カメラに接続されたフレームグラバと、物体をカメラの光軸に沿って平行移動させる移動プロセス１７８と、物体の画像があらかじめ決められた大きさの境界の範囲内にあり、その境界の範囲内でできるだけ大きくなるようにロボットの手の位置を決める位置決定プロセス１８０と、カメラの光軸に直交する２つの軸の回りで物体を回転させる回転プロセス１８４と、回転させた物体の画像を収集する画像収集プロセスと、収集した画像を使用してＳＶＭ分類器をトレーニングするトレーニングプロセス１８８とを含む。【選択図】        図７
2008257353.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラと、物体を保持し、回転させ、平行移動させることができる制御可能なマニピュレータとを用いて物体の視覚表現を学習するための学習システムであって、
前記ビデオカメラの出力を受けるように接続されたフレームグラバと、
前記マニピュレータが前記ビデオカメラの光軸に沿って前記マニピュレータによって保持された前記物体を平行移動させるように、前記マニピュレータを駆動するための平行移動手段と、
前記フレームグラバによって取込まれたフレーム内での前記物体の画像があらかじめ定められた大きさの境界の範囲内に位置し、かつ前記境界の範囲内でできるだけ大きくなるように、前記マニピュレータによって保持された前記物体の位置を決定するための手段と、
前記マニピュレータによって保持された前記物体が前記カメラの光軸と直交する２つの軸の回りで回転するように、前記マニピュレータを駆動するための回転手段と、
前記回転手段によって回転された前記物体の画像を収集するための画像収集手段とを含み、前記画像は前記物体の識別子に関連付けて記憶され、
前記学習システムはさらに、前記画像と前記物体の前記識別子とを用いて、前記物体を識別するように分類器をトレーニングするためのトレーニング手段を含む、学習システム。
【請求項２】
前記画像収集手段が
前記フレームを取込むための手段によって取込まれた前記フレームの範囲内で前記物体の領域を識別するための識別手段と、
あらかじめ定められた形状を、前記識別手段によって識別された前記物体の前記領域の外縁にフィットするための手段と、
前記あらかじめ定められた形状内で画像を抽出するための手段とを含む、請求項１に記載の学習システム。
【請求項３】
前記識別手段が
前記フレームグラバによって取込まれた前記フレームの範囲内の各画素が、背景、前記マニピュレータの画像の一部、前記物体の画像の一部、及びアウトライアに属す確率を計算するための手段と、
前記各画素について、前記各画素が前記物体の前記画像に属しているかどうかを決定するための手段とを含む、請求項２に記載の学習システム。
【請求項４】
前記回転手段が、前記マニピュレータによって保持された前記物体が前記光軸と直交する２つの軸の回りで回転するように、前記マニピュレータを駆動するための手段を含む、請求項１に記載の学習システム。
【請求項５】
前記分類器がサポートベクタマシンベースの分類器である、請求項１〜請求項４のいずれかに記載の学習システム。
【請求項６】
ビデオカメラと、前記ビデオカメラから出力されたフレームを取込むためのフレームグラバと、物体を保持し、回転させ、平行移動させることができる制御可能なマニピュレータとに接続されたコンピュータ上で実行されるコンピュータプログラムであって、前記コンピュータによって実行されると、前記コンピュータを、
前記マニピュレータが、前記ビデオカメラの光軸に沿って前記マニピュレータによって保持された前記物体を平行移動させるように、前記マニピュレータを駆動するための平行移動手段と、
前記フレームグラバによって取込まれたフレーム内での前記物体の画像が、あらかじめ定められた大きさの境界の範囲内に位置し、かつ前記境界の範囲内でできるだけ大きくなるように、前記マニピュレータによって保持された前記物体の位置を決定するための手段と、
前記マニピュレータによって保持された前記物体が前記ビデオカメラの光軸と直交する２つの軸回りで回転するように、前記マニピュレータを駆動するための回転手段と、
前記回転手段によって回転された前記物体の画像を収集するための画像収集手段として機能させ、前記画像は前記物体の識別子に関連づけて記憶され、
前記コンピュータプログラムはさらに、前記コンピュータを、前記画像と前記物体の前記識別子とを用いて、前記物体を識別するように分類器をトレーニングするためのトレーニング手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像の学習システムに関し、特に、物体についての事前知識なしに学習するために物体の画像を収集するための、ビデオカメラ及びマニピュレータを有する画像学習システムに関する。
【背景技術】
【０００２】
物体の認識は自律型ロボットにとって本質的に不可欠なものであるため、過去に多くの注目を集めてきた。現在成功している物体の認識システムの大部分は視野ベースであり、物体のスナップショットから好適な表現を構築する。初期のアプローチはさほどの前処理なしに物体について収集されたパターンを使用していたのであるが、現在の研究の大部分は局所的な画像の特徴を使用している。例えば、スケール不変特徴変換（ＳＩＦＴキー）（非特許文献５）、及びガボールジェット（非特許文献６）等である。
【０００３】
最近の研究では、ヒューマノイドロボット上での物体の認識が、中心視の仕組み（非特許文献１、非特許文献２）を使用することによって実質的に改良され得ることが示されている。図１は中心視システムを採用したヒューマノイドロボット３０を示した図である。図１を参照して、異なるレンズを備えた２つのカメラ４０がロボット３０の各々の目（全部で４つのカメラ）に設けられている。一方のカメラは中心視カメラであり、他方は辺縁視カメラである。中心視カメラはロボットの周囲のより狭い部分のより詳細な視界を提供する狭いレンズを備えている（図２（Ｂ）を参照）。辺縁視カメラはロボットの周囲をさらに含むが、詳細さでは劣る画像を与えるようなより広いレンズを備えている（図２（Ａ）を参照）。各々の目では、中心視カメラと辺縁視カメラは堅固に平行光軸で接続されている。各々の目のモーターシステムは２つの独立な自由度から成る。
【０００４】
先行技術のヒューマノイドロボット３０は手４２を備えた左腕４６を有し、それに対応する右側の腕と手との組を備えている。図１に示されるように、ロボット３０は物体を認識する能力を利用して、物体４４を手４２でつかむことができる。これは腕４６と手４２とが一種のマニピュレータを形成しているからである。
【０００５】
図１に示されている中心視システムは有用である。なぜなら、第１には、それらによってロボット３０は視野がより広く、画素の分布が疎である画像でロボットの周囲を監視したり探索したりすることが可能であり、それによって探索プロセスの能率を上げているからである。第２には、関心のある物体がいったん中心視に現れると、それらは同時に画素の分布が密で、さらなる詳細を含んでいる中心視の領域からさらなる情報を抽出することができるからである。
【０００６】
非特許文献３は、図１に示すように、１つの目につき２つのカメラを備えた中心視システムを開示しており、物体の色のテクスチャと形状とについての事前の粗い知識を使用して、人間によって操作された物体を有効に観測することによって認識の表現をどのように学習することができるかを示している。一言で言うと、非特許文献３で開示されているシステムはボトムアップの方法で物体のための表現を学習しようとしているのである。
【非特許文献１】Ａ．ウデ、Ｃ．Ｇ．アトキソン、及びＧ．チェン、「検出、追跡、認識及び行動のための辺縁視と中心視との組合せ」、インテリジェントロボット及びシステムに関するＩＥＥＥ／ＲＳＪ国際会議予稿集、ラスベガス、ネバダ、２００３年、２１７３−２１７８ページ。  （Ａ．  Ｕｄｅ，  Ｃ．  Ｇ．  Ａｔｋｅｓｏｎ，  ａｎｄ  Ｇ．  Ｃｈｅｎｇ，  ”Ｃｏｍｂｉｎｉｎｇ  ｐｅｒｉｐｈｅｒａｌ  ａｎｄ  ｆｏｖｅａｌ  ｈｕｍａｎｏｉｄ  ｖｉｓｉｏｎ  ｔｏ  ｄｅｔｅｃｔ，  ｐｕｒｓｕｅ，  ｒｅｃｏｇｎｉｚｅ  ａｎｄ  ａｃｔ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ／ＲＳＪ  Ｉｎｔ．  Ｃｏｎｆ．  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，  Ｌａｓ  Ｖｅｇａｓ，  Ｎｅｖａｄａ，  ２００３，  ｐｐ．  ２１７３  −  ２１７８．）
【非特許文献２】Ｍ．ビヨルクマン及びＤ．クラギッシュ、「物体の認識とポーズ推定のための中心視と辺縁視との結合」、ロボティクスとオートメーションに関するＩＥＥＥ会議予稿集、ニューオーリーンズ、ルイジアナ、２００４年、５１３５−５１４０ページ。  （Ｍ．  Ｂｊ¨ｏｒｋｍａｎ  ａｎｄ  Ｄ．  Ｋｒａｇｉ′ｃ，  ”Ｃｏｍｂｉｎａｔｉｏｎ  ｏｆ  ｆｏｖｅａｌ  ａｎｄ  ｐｅｒｉｐｈｅｒａｌ  ｖｉｓｉｏｎ  ｆｏｒ  ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，  Ｎｅｗ  Ｏｒｌｅａｎｓ，  Ｌｏｕｉｓｉａｎａ，  ２００４，  ｐｐ．  ５１３５  −  ５１４０．）
【非特許文献３】Ａ．ウデ、Ｃ．ガスケット、及びＧ．チェン、「１つの目について２個のカメラを持つ中心視システム」、ロボティクスとオートメーションに関するＩＥＥＥ国際会議予稿集、オーランド、フロリダ、２００６年、３４５７−３４６２ページ。  （Ａ．  Ｕｄｅ，  Ｃ．  Ｇａｓｋｅｔｔ，  ａｎｄ  Ｇ．  Ｃｈｅｎｇ，  ”Ｆｏｖｅａｔｅｄ  ｖｉｓｉｏｎ  ｓｙｓｔｅｍｓ  ｗｉｔｈ  ｔｗｏ  ｃａｍｅｒａｓ  ｐｅｒ  ｅｙｅ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｉｎｔ．  Ｃｏｎｆ．  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，  Ｏｒｌａｎｄｏ，  Ｆｌｏｒｉｄａ，  ２００６，  ｐｐ．  ３４５７  −  ３４６２．）
【非特許文献４】Ｐ．フィッツパトリック、「最初の接触：セグメンテーションのための活性視覚のアプローチ」、インテリジェントロボットとシステムとに関する２００３年ＩＥＥＥ／ＲＳＪ国際会議予稿集、ラスベガス、ネバダ、２００３年、２１６１−２１６６ページ。  （Ｐ．  Ｆｉｔｚｐａｔｒｉｃｋ，  ”Ｆｉｒｓｔ  ｃｏｎｔａｃｔ：  ａｎ  ａｃｔｉｖｅ  ｖｉｓｉｏｎ  ａｐｐｒｏａｃｈ  ｔｏ  ｓｅｇｍｅｎｔａｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ２００３  ＩＥＥＥ／ＲＳＪ  Ｉｎｔ．  Ｃｏｎｆ．  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，  Ｌａｓ  Ｖｅｇａｓ，  Ｎｅｖａｄａ，  ２００３，  ｐｐ．  ２１６１  −  ２１６６．）
【非特許文献５】Ｄ．Ｇ．ロウエ、「３次元の物体認識のための局地的特徴視覚のクラスタリング」、コンピュータビジョンと認識のためのＩＥＥＥ会議予稿集、カウアイ、ハワイ、２００１年、６８２−６８８ページ。  （Ｄ．  Ｇ．  Ｌｏｗｅ，  ”Ｌｏｃａｌ  ｆｅａｔｕｒｅ  ｖｉｅｗ  ｃｌｕｓｔｅｒｉｎｇ  ｆｏｒ  ３Ｄ  ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  Ｋａｕａｉ，  Ｈａｗａｉｉ，  ２００１，  ｐｐ．  ６８２  −  ６８８．）
【非特許文献６】Ｌ．ウィスコット、Ｊ．−Ｍ．フェラス、Ｎ．クリューガー、及びＣ．フォンデルマルスブルグ、「弾性バンチのグラフマッチングによる顔認識」、ＩＥＥＥ  トランザクション、パターン分析、機械知能、第１９巻、第７号、７７５−７７９ページ、１９９７年。  （Ｌ．  Ｗｉｓｋｏｔｔ，  Ｊ．−Ｍ．  Ｆｅｌｌｏｕｓ，  Ｎ．  Ｋｒ¨ｕｇｅｒ，  ａｎｄ  Ｃ．  ｖｏｎ  ｄｅｒ  Ｍａｌｓｂｕｒｇ，  ”Ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  ｅｌａｓｔｉｃ  ｂｕｎｃｈ  ｇｒａｐｈ  ｍａｔｃｈｉｎｇ，”  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．，  ｖｏｌ．  １９，  ｎｏ．  ７，  ｐｐ．  ７７５  −  ７７９，  １９９７．）
【非特許文献７】Ｓ．スリニバサン及びＫ．Ｌ．ボイヤー、「視覚ベースの固有空間を使用する頭のポーズ推定」、パターン認識に関する第１６番目の国際会議予稿集、ケベック、カナダ、２００２年、３０２−３０５ページ。  （Ｓ．  Ｓｒｉｎｉｖａｓａｎ  ａｎｄ  Ｋ．  Ｌ．  Ｂｏｙｅｒ，  ”Ｈｅａｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  ｖｉｅｗ  ｂａｓｅｄ  ｅｉｇｅｎｓｐａｃｅｓ，”  ｉｎ  Ｐｒｏｃ．  １６ｔｈ  Ｉｎｔ．  Ｃｏｎｆ．  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｖｏｌ．  ４，  Ｑｕｅｂｅｃ，  Ｃａｎａｄａ，  ２００２，  ｐｐ．  ３０２  −  ３０５．）
【非特許文献８】Ｃ．ガスケット、Ａ．ウデ、及びＧ．チェン、「終点の閉ループと学習された終点の開ループの視覚サーボ制御による手と目の調整」、ヒューマノイドロボティクス国際ジャーナル、第２巻、第２号、２０３−２２４ページ、２００５年。  （Ｃ．  Ｇａｓｋｅｔｔ，  Ａ．  Ｕｄｅ，  ａｎｄ  Ｇ．  Ｃｈｅｎｇ，  ”Ｈａｎｄ−ｅｙｅ  ｃｏｏｒｄｉｎａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｅｎｄｐｏｉｎｔ  ｃｌｏｓｅｄ−ｌｏｏｐ  ａｎｄ  ｌｅａｒｎｅｄ  ｅｎｄｐｏｉｎｔ  ｏｐｅｎ−ｌｏｏｐ  ｖｉｓｕａｌ  ｓｅｒｖｏ  ｃｏｎｔｒｏｌ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｈｕｍａｎｏｉｄ  Ｒｏｂｏｔｉｃｓ，  ｖｏｌ．  ２，  ｎｏ．  ２，  ｐｐ．  ２０３  −  ２２４，  ２００５．）
【非特許文献９】Ｄ．コマニッシュ、Ｖ．ラメシュ、及びＰ．メア、「カーネルベースの物体のトラッキング」、パターン分析と機械知能に関するＩＥＥＥトランザクション、第２５巻、第５号、５６４−５７７ページ、２００３年。  （Ｄ．  Ｃｏｍａｎｉｃｉｕ，  Ｖ．  Ｒａｍｅｓｈ，  ａｎｄ  Ｐ．  Ｍｅｅｒ，  ”Ｋｅｒｎｅｌ−ｂａｓｅｄ  ｏｂｊｅｃｔ  ｔｒａｃｋｉｎｇ，”  ＩＥＥＥ  Ｔｒａｎｓ．  Ｐａｔｔｅｒｎ  Ａｎａｌ．  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌ．，  ｖｏｌ．  ２５，  ｎｏ．  ５，  ｐｐ．  ５６４  −  ５７７，  ２００３．）
【非特許文献１０】Ｓ．Ｊ．マッケナ、Ｙ．ラージャ、及びＳ．ゴング、「適応的混合モデルを使用する色の物体のトラッキング」、画像と視覚とのコンピューティング、第１７巻、２２５−２３１ページ、１９９９年。  （Ｓ．  Ｊ．  ＭｃＫｅｎｎａ，  Ｙ．  Ｒａｊａ，  ａｎｄ  Ｓ．  Ｇｏｎｇ，  ”Ｔｒａｃｋｉｎｇ  ｃｏｌｏｕｒ  ｏｂｊｅｃｔｓ  ｕｓｉｎｇ  ａｄａｐｔｉｖｅ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌｓ，”  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，  ｖｏｌ．  １７，  ｐｐ．  ２２５  −  ２３１，  １９９９．）
【非特許文献１１】Ｔ．ヨアヒム、「大規模サポートベクタマシン学習の実用化」、カーネル法―サポートベクタ学習の進歩、Ｂ．シェルコップ、Ｃ．Ｊ．Ｃ．バーグス、Ａ．Ｊ．スモーラ、編、ケンブリッジ、ＭＡ：ＭＩＴプレス、１９９９年。  （Ｔ．  Ｊｏａｃｈｉｍｓ，  ”Ｍａｋｉｎｇ  ｌａｒｇｅ−ｓｃａｌｅ  ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ｐｒａｃｔｉｃａｌ，”  ｉｎ  Ａｄｖａｎｃｅｓ  ｉｎ  Ｋｅｒｎｅｌ  Ｍｅｔｈｏｄｓ  −Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｌｅａｒｎｉｎｇ，  Ｂ．  Ｓｃｈ¨ｏｌｋｏｐｆ，  Ｃ．  Ｊ．  Ｃ．  Ｂｕｒｇｅｓ，  ａｎｄ  Ａ．  Ｊ．  Ｓｍｏｌａ，  Ｅｄｓ．  Ｃａｍｂｒｉｄｇｅ，  ＭＡ：  ＭＩＴ  Ｐｒｅｓｓ，  １９９９．）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献３で提案されたシステムは、ヒューマノイド視覚という仕組での物体の認識で生じる多くの問題を扱っているが、ゼロから、すなわち物体について何も知らない状態から物体の認識のための完全な表現を学習するためにヒューマノイドロボットの能力を利用することは、ほとんど行なわれていなかった。特に、事前の知識なしに画像の中から物体を発見することは、ロボットにとっては難しい問題であり、純粋なボトムアップの方法で達成することは不可能ではないとしても大変厳しいことである。
【０００８】
受動的なコンピュータ視覚システムは、トップダウンのプロセスを導入することによってそれを解決しようと試みる。トップダウンのプロセスとは、初期に得られた特徴を関連付け、グループ化してより大きな集合体と組とを得るための助けとなる、物体についての知識を伝えるものである。特徴をグループ化することにより、単なる特徴を使用する場合よりも物体の構成要素を形成しやすいであろうと期待されている。処理階層においてより高いある水準では、早期指標の間の相互作用はシーン分解において最も大きくなり有意義な構成要素（物体）を生成するはずであり、そしてその有意義な構成要素をさらなるシーンの分析と解釈（認識）の目的のために使用することができる。
【０００９】
残念ながら、完全に一般的な方法で物体の探索を導くようなトップダウンプロセスを定式化することは容易ではない。統計的な学習のアプローチでは、例として与えられた画像からどのようにそのような画像の分解を生成するかを学習するのは困難であろうと考えられる。なぜなら、人間によって行なわれるような画像の分解は、人間が環境と相互に作用するときに得るような経験に依存するからである。この情報は画像から容易に得られるのではなく、むしろ人間の行動が外部の世界にどのように影響するかに関する経験から来るのである。そのような情報を受動的な学習プロセスにどのように持ってくることができるかは明確ではない。
【００１０】
ヒューマノイドロボットは、しかし、調べる行為を行ってその応答から学習することによって、因果関係を使用してその世界を探索するという潜在能力を有する。物体をつつくことが物体の境界のための視覚的な証拠を抽出するために使用可能であると示されており、これは分離に適している。目的は、初期の、粗い物体の分離の後のことである。すなわち、ロボットが物体をつかんだ後で物体の表現の学習を容易にするために何をすることができるか、について研究することである。操作なしに物体の表現を構築することは間違いなく可能である。さもなくば、家のような大きな物体をいかにして認識できるだろうか。しかし、操作が学習プロセスを大いに支援し高速化すると考られることも確かである。
【００１１】
したがって、この発明の目的の１つは、物体についていかなる事前知識もなしに物体の視覚表現を学習することができるような、学習システムとコンピュータプログラムとを提供することである。
【００１２】
この発明の別の目的は、目標となる物体を操作することによって、物体についていかなる事前知識もなしに物体の視覚表現を学習することができるような、学習システムとコンピュータプログラムとを提供することである。
【００１３】
この発明のまた別の目的は、物体についていかなる事前知識もなしに物体の分類を学習することができるような、学習システムとコンピュータプログラムとを提供することである。
【００１４】
この発明のさらなる目的は、目標となる物体を操作することによって、物体についてのいかなる事前知識もなしに物体の分類を学習することができるような、学習システムとコンピュータプログラムとを提供することである。
【課題を解決するための手段】
【００１５】
この発明の第１の局面によれば、ビデオカメラと、物体を保持し、回転させ、平行移動させることができる操作可能なマニピュレータとを用いて物体の視覚表現を学習するための学習システムは、ビデオカメラの出力を受けるように接続されたフレームグラバと、マニピュレータがビデオカメラの光軸に沿ってマニピュレータによって保持された物体を平行移動させるように、マニピュレータを駆動するための平行移動手段と、フレームグラバによって取込まれたフレーム内での物体の画像があらかじめ定められた大きさの境界の範囲内に位置し、かつ境界の範囲内でできるだけ大きくなるように、マニピュレータによって保持された物体の位置を決定するための手段と、マニピュレータによって保持された物体がカメラの光軸と直交する２つの軸回りで回転するように、マニピュレータを駆動するための回転手段と、回転手段によって回転された物体の画像を収集するための画像収集手段とを含み、画像は物体の識別子に関連付けて記憶され、学習システムはさらに、画像と物体の識別子とを用いて、物体の識別子を出力するように分類器をトレーニングするためのトレーニング手段を含む。
【００１６】
好ましくは、画像収集手段は、フレームグラバによって取込まれたフレームの範囲内で物体の領域を識別するための識別手段と、あらかじめ定められた形状を識別手段によって識別された物体の領域の外縁にフィットするための手段と、あらかじめ定められた形状内で画像を抽出するための手段とを含む。
【００１７】
さらに好ましくは、識別手段は、フレームグラバによって取込まれたフレームの範囲内の各画素が、背景、マニピュレータの画像の一部、物体の画像の一部、及びアウトライアに属す確率を計算するための手段と、各画素について、画素が物体の画像に属しているかどうかを決定するための手段とを含む。
【００１８】
さらに好ましくは、回転手段はマニピュレータによって保持された物体がビデオカメラの光軸と直交する２つの軸の回りで回転するように、マニピュレータを駆動するための手段を含む。
【００１９】
分類器はサポートベクタマシン（ＳＶＭ）ベースの分類器であってもよい。
【００２０】
この発明の第２の局面によれば、コンピュータプログラムは、ビデオカメラと、ビデオカメラから出力されたフレームを取込むためのフレームグラバと、物体を保持し、回転させ、平行移動させることができる制御可能なマニピュレータとに連結されたコンピュータ上で実行される。このコンピュータプログラムは、コンピュータによって実行されると、コンピュータを、マニピュレータがビデオカメラの光軸に沿ってマニピュレータによって保持された物体を平行移動させるように、マニピュレータを駆動させるための平行移動手段と、フレームグラバによって取込まれたフレーム内での物体の画像が、あらかじめ定められた大きさの境界の範囲内に位置し、かつ境界の範囲内でできるだけ大きくなるように、マニピュレータによって保持された物体の位置を決定するための手段と、マニピュレータによって保持された物体がビデオカメラの光軸と直交する２つの軸の回りで回転するように、マニピュレータを駆動するための回転手段と、回転手段によって回転された物体の画像を収集するための画像収集手段として機能させ、画像は物体の識別子に関連付けて記憶され、コンピュータプログラムはさらに、コンピュータを、画像と物体の識別子とを用いて、物体を識別するように分類器をトレーニングするためのトレーニング手段として機能させる。
【発明を実施するための最良の形態】
【００２１】
［アプローチとシステムの構成の概要］
図３はヒューマノイドロボットの制御ブロック５０の構成を示す図である。ヒューマノイドロボットは、ビデオカメラ５２及びそれぞれ手を有している右腕及び左腕を備え、これらはすべてアクチュエータによって操作可能であってその手が物体をつかみ、平行移動させ、回転させることができる。これ以降、ロボットの制御ブロック５０を単に「ロボット」と呼ぶ。ロボット５０は背景技術の部分で論じられたように、中心視カメラ（全部で４つのカメラ）を備えているが、この実施の形態では、本質的に１つのカメラだけが必要である。したがって、ロボット５０はただ１つのカメラ５２を有するものとして示されている。
【００２２】
なお、ロボット５０の外観は本質的には図１に示されているヒューマノイドロボット３０のそれと同じである。それは手４２を備えた腕４６を有し、手４２に置かれた物体をつかむ能力を持つ。
【００２３】
図３を参照して、ロボット５０は、カメラ５２からのビデオストリームの各フレームを取込むためのフレームグラバ６０と、物体の視覚表現を学習するためにロボット５０の種々の部分を制御するためのコントローラ６２と、カメラ５２、頭、両腕、及び手等を含むロボット５０の種々の部分を動作させるためのアクチュエータ６６のセットと、コントローラ６２からのパラメータに従ってアクチュエータ６６を駆動して、望ましい軌道に沿ってロボット５０の種々の部分を動作させるためのアクチュエータドライバ６４とを含む。
【００２４】
コントローラ６２は、フレームグラバ６０からのフレーム画像を受けて、物体の種々の画像の表現を収集しながら、制御された態様で物体をつかみ、物体を移動（操作）させるためにロボット５０の腕と手とを制御するオブジェクト操作プロセス８０と、オブジェクト操作プロセス８０によって収集された物体の画像を物体の識別子と関連付けて記憶するための物体画像記憶部８４と、オブジェクト操作プロセス８０によって計算された軌道に従ってアクチュエータ６６を駆動するためのパラメータを計算するためのアクチュエータパラメータ計算プロセス８２と、マルチクラスの物体の分類器として働くように、物体画像記憶部８４に蓄えられた物体の画像を使用してトレーニングするためのＳＶＭベースの分類器８６とを実現するようにプログラムされたプロセッサで実現される。
【００２５】
学習のための次の手順を設計した。これはオブジェクト操作プロセス８０によって実現され、ロボット５０が物体を操作する間に物体の外観の画像を抽出する。
【００２６】
１）学習の開始はユーザによって始められ、ユーザはロボット５０の手に新しい物体を置く。
【００２７】
２）ロボット５０は一旦物体を保持すると、その手を中心視カメラの視界から離れるように移動し、静止した背景の学習を始める。典型的には、オブジェクト操作プロセス８０は最初に５秒間かなり平滑化された画像中の画素の平均値を学習し、さらに続く５秒間で各画素の色の分散を学習する。
【００２８】
３）ロボット５０は物体の観察のためにその手を開始位置に移動させる。いったん開始位置に達すると、操作された物体の位置と範囲とを推定するための手順がオブジェクト操作プロセス８０で始まる。
【００２９】
４）ロボット５０は、物体を中心視の範囲内に維持しようとしながら、予め定められた直線軌道に沿って物体を移動（平行移動）させる。この段階では腕と手との自由度のみを使用する。その軌道に沿ってキャプチャされた各々の画像での物体の位置と範囲とを推定する。手が開始点に戻った後に、物体の外観を学習するために（推定された位置と大きさに関する）軌道上の最適な位置が決定される。
【００３０】
５）ロボット５０は、前のステップで決定された学習のために最適な位置に物体を移動させる。望ましい手の位置と向きに達すると、２自由度に沿って手を働かせることを始め、物体をデプス方向に回転する。物体を操作する間、物体の外観の画像を収集する。この段階は、手が２自由度のためのあらかじめ指定された動きの範囲をカバーし終ると終了する。
【００３１】
６）異なる設定で再びロボットの手に物体を置き、この手順を繰返す。
【００３２】
７）すべての物体がすべての関連のある配置で置かれ、かつすべての外観の画像が物体画像記憶部８４に収集され記憶されると、分類器８６は非線形マルチクラスＳＶＭに基づく方法を使用することによってトレーニングされる。マルチクラスＳＶＭについては、追って述べる。
【００３３】
上記の概要は幾らかの説明を必要とする。ロボットが自分で物体を手にとることが確かに将来のゴールの１つであるが、これはまだ実現されていない。物体の存在と位置についての仮説の自動生成のために非特許文献４と類似する手順が予想される。これに続いて未知の物体をつかむことが必要となるが、これはそれ自体が困難な仕事である。種々の設定で物体をロボットの手に置くようなユーザの代わりに、自動の様式では、ロボットは自分で物体をつかみなおすことが必要だろう。困難ではあるが、これは物体の姿勢を外観の画像に関連付けるための新しい可能性を開く。なぜならロボットは初期のポーズに関する物体の各々のポーズを推定するために自己受容的な情報を使用することができるからである。その場合にはポーズ推定のための標準的な視覚ベースのアプローチを使用することができる（非特許文献７を参照）。
【００３４】
ステップ２）で学習したような背景モデルは、物体の動き及び照明条件の変動のような要因のために、度々変化する。これは、しかし、ここではあまり関係がない。なぜなら、物体が十分に制御されているときは、ロボット５０は学習の間その環境の中で他に何も動かないことを保証しているからである。さらに、学習された背景モデルは短命であり、物体をつかみなおすたびに新たに学習される。
【００３５】
ステップ４）で述べられた、目に向かう方向及び離れる方向への試験的な移動は、物体の外観を学習するために好適な姿勢で物体を置くために必要とされる。この姿勢は物体が画像の中であまり小さく見えない程度に十分に目に近くなくてはならず、物体の投影が画像の外側にはみ出してしまわない程度に十分に遠くなくてはならない。
【００３６】
ここでの基準は、物体が中心視の視界の中でできるだけ大きく見えるべきであり、その一方で、画像の大きさが３２０×２４０画素である場合に、中心視の境界は画像の境界から少なくとも４０画素離れている必要があるというものである。これは図４の（Ａ）〜（Ｃ）に示されており、破線である内部の長方形１３０は画像の境界１２０から４０画素だけ離れた境界を示している。
【００３７】
図４（Ａ）を参照して、この場合、物体はカメラ５２に近すぎ、画像の境界１２０の中の画像１４０が大きすぎるので長方形１３０の範囲内ではない。対照的に物体がカメラ５２から遠すぎると、画像１４４は図４（Ｃ）に示されたように小さすぎるだろう。画像１４２が長方形１３０の範囲内でできるだけ大きいとき、物体は図４（Ｂ）に示されているように理想的な位置にある。
【００３８】
この基準に基づいた理想的な位置は、物体を中心視画像の中心に向かう直線に沿って移動させることによって決定される。
【００３９】
これを図５を参照して説明する。図５を参照して、学習プロセスにおいて、カメラ５２のレンズの軸１０６は固定された座標系１００のｘ軸と一致している。ｘ軸のほかに座標系はｙ軸とｚ軸とを含む。それらの軸は互いに直交し、座標系の原点で互いに交差する。開始位置はｘ軸上に定められている。物体１０２は背景の学習の後、初期位置に置かれる。双方向の矢印１０４によって示されているように、ロボット５０は物体１０２を座標系のｘ軸の方向に移動（平行移動）させて、物体１０２のための理想的な学習位置を見つける。
【００４０】
操作プロセスでは、物体１０２をデプス方向に回転させる。すなわち、それは図５の中の矢印１０８と１１０とによって示されているように、ｙ軸とｚ軸との回りで回転されるのであるが、座標系１００のｘ軸の回りでは回転されない。物体１０２をデプス方向に回転することによって、種々の角度からの物体１０２の画像をカメラ５２から見ることができるが、物体１０２をｘ軸回りで回転すると物体１０２の同じ表面ばかりがカメラ５２に向くことになる。
【００４１】
正確にキャリブレートされたヒューマノイドロボット上では、デカルト座標での直線軌道を簡単に設計することができる。正確なモデルが利用できない場合のために、非特許文献８で述べられている粗い開ループと、より正確な閉ループとの制御システムに基づいた自動の手順を開発した。辺縁視画像からの情報に基づいて物体を中心視の中心に置くために、中心視と辺縁視との間の関係を支配する中心視原則によってシステムを案内する（非特許文献３）。開発された技術によれば、開ループ制御システムによって設計されたように中心視の方向に向かう粗い直線軌道から始めることができ、その後閉ループ制御システムに基づいてその開ループ制御システムを改善することができる。この手順はその軌道上でいくつかの姿勢を生成し、これを補間して正確な関節空間の軌道を生成することで、結果としてデカルト空間内の直線運動が得られる。
【００４２】
トレーニングの目的のための物体の視界を抽出するために設計された操作の手順は認識にとって理想的な位置を決定するためにも使用することができる。ステップ１）〜５）を実行することによって物体のスナップショットをキャプチャする。このアプローチはスケーリングに対する不変性を容易にする。なぜなら、常にほぼ同じ距離から物体を観るからである。なお、正規化されたスナップショットとなるように変形するためのステップを実行することが依然として必要であるが、異なるスケールで物体の画像上のマッピングをした場合に導入されるような様々なデジタル化のための操作は大いに減少する。わずかに異なる視角から取られる物体のスナップショットに対する分類器の結果を監視することによって、分類器の信頼性をも改善することができる。なぜなら、分類器が正確であるときだけ、その結果が安定しているのが常であるからである。
【００４３】
［物体の発見］
この実施の形態の中心は、物体がロボット５０によって操作される間、画像から物体を識別するための能力である。この目的を達成するために、次のような画像プロセスをモデル化することが必要である。
【００４４】
−（プロセスΘｏによって表される）未知の物体、
−背景（Θｂ）、
−手（Θｈ）、
−場面の中の何らかの予期せぬ事象をモデル化したアウトライアプロセス（Θｔ）。
【００４５】
これらのプロセスΘｏ、Θｂ、Θｈ及びΘｔは、画素値が与えられるとその画素が物体の部分、背景、ロボット５０の手及びアウトライアである確率を推定する確率モデルである。その確率に従って、その画素が物体の部分、背景、ロボットの手又はアウトライアとして分類されることになる。
【００４６】
以下の式で表わされるガウシアンプロセスによって、静止した背景中の各画素の色強度をモデル化する。
【００４７】
【数１】
2008257353.tif 000003
これは各画素ｕにおいて、平均−Ｉｕ（ここで「−」の記号は式中文字の上に付されたものを示す）と共分散行列−Σｕと以下の関連の確率分布で特徴付けられる。
【００４８】
【数２】
2008257353.tif 000004
輝度の変化に対してある程度の頑健性を得るために、ここでは色合い及び彩度のどちらか又は以下の式で表わされる正規化されたＲＧＢの値によって、色強度を特徴付ける。
【００４９】
【数３】
2008257353.tif 000005
これら３つの値は独立ではないので、この実施の形態では正規化された赤色及び正規化された緑色だけを使用し、それによっていずれの色空間においても色を２次元の値にする。平均値と共分散とは、ロボット５０が物体を中心視に持ってくる直前に、背景の画素の統計量を集めることによって学習される。２つの色空間のどちらを使用しても、大きな違いは観測されなかったが、この点を確認するためにはさらなる実験が必要である。
【００５０】
画像中のロボットの手の位置が自己受容的な情報を使用して計算できるとしても、この情報は十分ではない。なぜなら、手のどの部分が目に見えており、どの部分が操作されている物体によって覆われているかを、前もって知ることができないからである。したがって、画像中の手の外観をモデル化することが必要となる。
【００５１】
手の外観のモデリングのために、色ヒストグラム（非特許文献９）及びガウス（混合）モデル（非特許文献１０）のような物体のトラッキング理論からの標準的なアプローチで実験をした。トラッキングとは異なり、関心は実際に手の位置を測定することにはなく、特定の画素が手に属する確率を推定することだけにある。色ヒストグラムとガウス混合モデルとは共にこの能力を提供する。ガウス混合モデルは次のように定義される。
【００５２】
【数４】
2008257353.tif 000006
この実施の形態では、１つの色によって手を特徴付けることができ、したがって手の外観をモデル化するために、ユニモーダルガウシアン（Ｋ＝１）を使用することができた。
【００５３】
動きのキューは確かにロボットの手と背景とから物体を抽出する上で助けにはなるが、そのようなキューだけでは物体の外観の抽出には十分ではない。ロボットが物体を保持しているとき、物体の動きはロボットの手の動きと同じである。したがって、動きのキューだけに基づいて物体と手とを区別することはできない。さらに、動きの推定は通常、差分法によって計算され、そのため比較的ノイズが多くなる。その結果、動きは他のキューのための補助としてだけ使用されるべきであり、画像からの物体のセグメンテーションのための唯一の特徴量として使用されるべきではない。
【００５４】
物体についての事前知識がないので、明らかに、実際に学習したいものであるその外観をモデル化することはできない。物体を操作するために使用する開ループ軌道は、しかし、明確に定義されており、その物体が画像中のどこにあるかは大体はわかっている。したがって、前のステップでの物体に属する画素の平均値−ｕと共分散−Σとを使用することによって、画像の画素が物体の範囲内にある確率をモデル化することができる。これは次の分布となる。
【００５５】
【数５】
2008257353.tif 000007
図６の（Ａ）〜（Ｄ）までは物体の外観抽出の例を示す図である。左から右へ向かって、図６は背景の学習のために使用している画像を（Ａ）で、背景の統計量の収集した物のために使用した画像を平滑化したものを（Ｂ）で、ロボットの手４２によって操作されている間の、楕円２５０によって表現される画像の物体の推定された範囲を（Ｃ）で、及び確率Ｐ（ｕ｜Θｂ）をしきい値処理し、クローズドなモルフォロジ演算を適用した後の物体の画素の、接続された要素の最大のものを含む２値化画像２５２を（Ｄ）で示す。
【００５６】
図６（Ｃ）において、楕円２５０の範囲内にある画像が物体の表現を学習するために使用される。図６（Ｄ）において、２値化画像２５２は説明の目的のためにだけ示したもので、計算には使用しない。この実施の形態のロボット５０が、楕円２５０を抽出するために、簡単な背景を必要とはしないことを示すために、その場面に追加の物体を置いている。
【００５７】
ロボットは軌道の中心と画像の中心とを通過する直線に沿って物体を移動させようと試みるので、物体の位置は常に画像の中心に近く、最初の小さな範囲で画像中で物体が中心合わせされていると仮定して外観の抽出を初期化することができる。その場合、楕円を物体の画像にフィットすることは容易な仕事である。
【００５８】
図２に示されているように、中心視の画像は手４２に加えて腕４６の他の部分を含むことがある。腕４６とシーン中に見えるかもしれない他の予期せぬ物体との見かけについて事前情報がないとき、アウトライアプロセスによってその画像中のそのような事象をモデル化することができる。このプロセスには画像中の画素の位置又はこの画素での色強度の値に関わらず、小さい一定の確率Ｐ（Θｔ）が割当てられている。このプロセスとオブジェクトプロセスΘ０との間の相互作用により、次のような結果となる。すなわち、バックグラウンド及び手と異なるテクスチャの領域は、もしもそれが物体の予想位置に近ければ対象物体として分類され、それ以外の場合にはアウトライアに分類される（式（７）を参照）。さらにモデルΘｏ、Θｂ及びΘｈによって計算された確率がすべて一定の確率Ｐ（Θｔ）より小さい時、画素をアウトライアとして分類する。
【００５９】
腕については、それを含む画像の部分は自己受容的な情報を使用して、計算から除外することができる。動的なヒューマノイドロボット上では、自己受容的な情報は画像中の腕の場所について粗い推定を提供するだけである。しかし、腕を含む画像の大部分を計算から除外するためには十分である。実験では、これとアウトライアプロセスとを組合せると、画像中の対象物体の範囲を推定するときに、腕をフィルタによって取除くのに十分であることが示された。
【００６０】
画像中のどの画素も互いに独立なプロセスΘ＝｛Θｂ，Θｈ，Θｏ，Θｔ｝（閉じた世界の仮定）の１つから生じるものと仮定すれば、色Ｉｕが、ある場所ｕで観測される確率を、全確率の法則を用いて次のように書くことができる。
【００６１】
【数６】
2008257353.tif 000008
ここでωｘはプロセスΘｘを観測する事前（混合）確率であり、ωｂ＋ωｈ＋ωｏ＋ωｔ＝１である。
【００６２】
未知の物体の現在の位置とその範囲とを推定することが必要である。それらは学習のための外観の画像を提供するだろう。これはプロセスΘ＝｛Θｂ，Θｈ，Θ０，Θｔ｝が与えられたときに画像Ｉを観測する確率を最大化することによって達成することができる。隣接する画像をプロセスに割当てる相関を無視することによって、画像Ｉを観測する全体の確率を次のように評価することができる。
【００６３】
【数７】
2008257353.tif 000009
背景と手の色の分布とは静止していると仮定しているので、物体の位置−ｕと、物体に属する画素の共分散−Σと、混合確率ωｂ、ωｈ、ωｏ、及びωｔとに関して（５）を最大化することができる。（５）を最大化する代わりに、以下の式で表わされる負の対数尤度を最小化することのほうが容易である。
【００６４】
【数８】
2008257353.tif 000010
ここでω＝（ωｂ，ωｈ，ωｏ，ωｔ）である。ラグランジュの乗数理論を使用すると、上記対数尤度がＥＭアルゴリズムによって最小化され得ることを示すことができる。
【００６５】
【数９】
2008257353.tif 000011
ただし、ｘ＝ｏ，ｈ，ｂ，ｔ、と書くと、ＥＭアルゴリズムは画素の確率（７）を推定する期待ステップと、確率Ｐ（Ｉｕ，ｕ｜Θｏ）＝Ｐ（Ｉｕ｜Θｏ）を用いて以下で示される物体の画素の平均値と共分散を推定する最大化ステップとから成る。
【００６６】
【数１０】
2008257353.tif 000012
確率Ｐ（Ｉｕ，ｕ｜Θｂ）及びＰ（Ｉｕ｜Θｈ）はＥＭプロセスを通して一定のままであり、したがって各々の画像のために一度だけ推定すればよい。このためビデオレート、すなわち３０ヘルツで物体の外観の抽出を実現することが容易になった。混合確率は一定と仮定することも、それらを以下のようにＥＭプロセスの一部として推定することもできる。
【００６７】
【数１１】
2008257353.tif 000013
ここでｎは画素の数であり、ｘ＝ｏ，ｈ，ｂ，ｔである。
【００６８】
［物体の表現の学習］
「物体の発見」の節で述べた物体の外観の抽出のための技術に関連して、オブジェクト操作プロセス８０の出力を使用している認識のための分類器８６（図３を参照）を、この実施の形態のロボット５０がどのように学習するかを示さなければならない。楕円２５０（図６（Ｃ）を参照）を推定した後、画像は一定の大きさのウィンドウ上に変換される。これはスケーリング及び平面上の回転に対する不変性を保証し、さらに互いに比較することができるような標準的な大きさの画像をも提供している。
【００６９】
最大の分類性能を保証するために、分類器８６にせよ、他の一般的な何らかの分類器にせよ、供給されたデータにはある種の前処理が必要であり、これは特に高次元の入力データにとって重要である。多くの現代の視覚ベースのアプローチは局地的な特徴の集まりによって視野を特徴付けている。複素ガボールカーネルを使用して画像中の局所的な構造が識別され、画像は最初にグレースケールに変換される。現在のところ、色ヒストグラムのような特徴は確かに有益ではあるけれども、この実施の形態では認識のために色を使用しない。ガボールカーネルは次のように与えられる。
【００７０】
【数１２】
2008257353.tif 000014
この実施の形態のシステムでは、画素の規則的な格子ＸＧ上のガボールジェットをサンプリングすることによって、特徴ベクタを構築する。各々の格子点では、ロボット５０はガボールジェットを計算し、それを特徴ベクタに加える。当然、格子点はどの画像でも同じ順序で分析されることが必要である。この実施の形態で使用される格子の大きさは６×６であり、変形された画像の大きさは、楕円の外の画素は除外して１６０×１２０であって、各々のガボールジェットの次元は４０である。この結果、１６０８０次元の特徴ベクタが得られる。これらの特徴ベクタはトレーニングのためにＳＶＭベースの分類器８６に供給される。
【００７１】
［非線形マルチクラスサポートベクタマシン］
さて、今度は非線形マルチクラスＳＶＭを使用する物体認識のための好適な分類器を探すという問題を扱う。非線形マルチクラスＳＶＭに基づく分類は次の決定関数を使用して実行される。
【００７２】
【数１３】
2008257353.tif 000015
ここで、ｘは分類されるべき入力特徴ベクタ（この実施の形態でのガボールジェットを収集したもの）であり、ｘｉはＳＶＭのトレーニングのために供給された特徴ベクタであり、τｉ，ｒ，ｂｒはＳＶＭのトレーニングによって推定された値であり、Ω＝｛１，．．．，Ｎ｝はクラスの識別子（この実施の形態での物体）である。τｉ，ｒ＝０での特徴ベクタｘｉはサポートベクタと呼ばれる。ＳＶＭのトレーニングは、Ｍｅｒｃｅｒの理論を満たす全てのカーネル関数Ｋについてその収束が保証されている、２次の最適化問題を解くことから成る。
【００７３】
ガボールジェット（１２）のための類似度尺度はガボールジェットから成る特徴ベクタの分類のためのカーネル関数の設計にとって良い動機付けを提供する。ＸＧをガボールジェットが計算される２つの正規化された画像の範囲内での全ての格子点の集合とし、ＪＸＧとＬＸＧとを２つの異なる画像の中ではあるが同じ格子点上で計算されたガボールジェットとする。好適なカーネル関数を次のように定義する。
【００７４】
【数１４】
2008257353.tif 000016
ここでＭはＸＧでの格子点の数である。この関数はＭｅｒｃｅｒの条件を満たし、したがって、サポートベクタの学習のために使用することができる。パラメータρは実験的に供給する必要がある。
【００７５】
［ソフトウェアによる実現］
上述のように、この実施の形態のロボット５０のコントローラ６２はコンピュータのハードウェアとその上で実行されるソフトウェアとで実現される。そのコンピュータは汎用プロセッサでもよい。そのソフトウェアは次のような制御の流れを有する。
【００７６】
図７はコントローラ６２を実現するソフトウェアの制御の流れを示すフロー図である。図７を参照して、このプログラムは、ユーザが物体を開始位置でロボットの手に置くまで待つステップ１７０と、物体を手に置いたときに実行される、背景だけが視界に残るようにロボットの視界から離れるように手を動かすステップ１７２と、ステップ１７２に続き、背景の確率モデルを学習するステップ１７４と、ステップ１７４に続き、物体を持っているロボットの手を開始位置に移動させるステップ１７６とを含む。
【００７７】
このプログラムはさらに、ロボットの手を直線軌道の中で動かしながら、操作している物体の位置と範囲とを推定するステップ１７８と、ステップ１７８に続き、物体の画像を収集するために物体の最適な位置を決定するステップ１８０と、ステップ１８０に続き、物体をステップ１８０で決定された最適な位置に移動させるステップ１８２とを含む。
【００７８】
プログラムはさらに、ステップ１８２に続き、物体を最適な位置にデプス方向に回転し、抽出し、収集し、物体画像記憶部８４でその画像を記憶するステップ１８４と、ステップ１８４に続き、物体のための画像収集プロセスが終了したかどうかを決定するステップ１８６とを含む。画像収集プロセスを終了すべき場合は、制御はステップ１８８に進み、そうでなければ、それはステップ１７０に戻り、物体が異なる姿勢で置かれるまで待つか、別の物体がロボットの手に置かれるまで待つ。
【００７９】
ステップ１８８では、分類器８６のトレーニングプロセスが物体画像記憶部８４に記憶された画像を使用して実行される。トレーニングが完了すると、そのプロセスは終わる。
【００８０】
ステップ１７０から１７８までの動作は比較的簡単であり、したがってここでは、詳細に記述しない。
【００８１】
図８はステップ１８０での動作の詳細を示す図である。図８を参照して、図７のステップ１８０で実行されるプログラムのルーチンは、図３で示されたフレームグラバ６０を利用してカメラ５２からのビデオの信号のフレームを取込むステップ２００と、確率モデルΘｏ、Θｂ、Θｈ、及びΘｔを利用して各画素の確率を計算するステップ２０２と、ステップ２０２に続き、確率に基づいて物体の画像に属する画素の領域を抽出するステップ２０４と、ステップ２０４に続き、推定された物体の画像領域に楕円をフィットし正規化することにより物体の画像の大きさを推定するステップ２０６と、ステップ２０６に続き、繰返しの終了条件が満たされたか否かを判断するステップ２０７とを含む。物体の画像の配置と大きさとが大きく変化しないとき又は繰返しの最大数に到達したとき、その繰返しは終了する。繰返しの終了条件が満たされない場合、制御はステップ２０２に戻り、そうでなければ、制御は繰返しを出て次のステップに進む。
【００８２】
プログラムは、さらに、現在の腕の姿勢が、前のいかなる腕の姿勢よりも図４に示す最適な大きさに近い物体の画像をもたらす場合、ロボットの関節の設定を記憶するステップ２０８と、ステップ２１０に続き、ロボットの手が開始点に戻るか否かを決定するステップ２１０と、ステップ２１０で手が開始点にないと決定されたときに実行され、物体を１ステップだけカメラ５２から遠くへ、又はカメラ５２に近く移動させるステップ２１２とを含む。ステップ２１２の後、制御はステップ２００に戻る。ステップ２１０で手が開始点にあると判断されると、制御はこのルーチンを出る。
【００８３】
図９は図７のステップ１８４の詳細なフロー図を示す図である。図９を参照して、このルーチンは、ステップ１８０で実行されたそれと類似しており、図３で示されるフレームグラバ６０を利用してカメラ５２からのビデオの信号のフレームを取込むステップ２３０と、確率モデルΘｏ、Θｂ、Θｈ、及びΘｔを利用して各画素の確率を計算するステップ２３２と、ステップ２３２に続き、その確率に基づいて物体の画像に属す画素の領域を抽出するステップ２３４と、ステップ２３４に続き、楕円を推定された物体の画像の領域にフィットさせ、正規化することによって物体の画像の大きさを推定するステップ２３６と、ステップ２３６に続き、繰返しの終了条件が満たされたか否かを判定するステップ２３７とを含む。物体の画像の配置と大きさが大きく変化しないか又は繰返しの最大数に到達したとき、その繰返しは終了する。その繰返しの終了条件を満たさなければ、制御はステップ２３２に戻り、そうでなければ制御はその繰返しを出て次のステップに進む。
【００８４】
ルーチンはさらに、ステップ２３６に続き、物体画像記憶部８４内でステップ２３６でフィットした楕円の範囲内の画像を物体の画像として抽出するステップ２３８と、ステップ２３８に続き、学習の段階を終了すべきか否かを決定するステップ２４０と、学習の段階を終了すべきでないと判定されたときに実行されて、物体をさらに操作するステップ２４２とを含む。ステップ２４２の後、制御はステップ２３０からステップ２４０の動作を繰返すためにステップ２３０に戻る。ステップ２４０で学習の段階を終了すべきと判定されると、制御はこのルーチンを出る。
【００８５】
［動作］
ロボット５０、特にロボット５０のコントローラ６２は次のように動作する。最初に、コントローラ６２のオブジェクト操作プロセス８０はユーザが物体をロボットの手に置くまで待つ。物体がロボットの手の上に置かれると、オブジェクト操作プロセス８０は物体をつかみ、ロボットの手をカメラ５２の視界から離れて移動させるので、背景だけが視界に残る。所望の軌道でロボットの手を移動するために必要なパラメータがオブジェクト操作プロセス８０からの目標軌道に従ってアクチュエータパラメータ計算プロセス８２によって計算され、アクチュエータドライバ６４に適用される。アクチュエータドライバ６４はそのパラメータに従ってアクチュエータ６６を駆動し、ロボットの手は望ましい軌道で移動することになる。
【００８６】
オブジェクト操作プロセス８０は、はじめに５秒間、背景のかなり平滑化した画像の画素の平均値を学習し、その後の５秒間で各画素での色の分散を学習する。
【００８７】
背景を学習した後、ロボット５０はその手を開始位置に移動させる。手が開始位置に到達すると、ロボット５０は中心視の範囲内に物体を維持しながら、図５中の双方向の矢印によって示される前もって決定された直線軌道に沿って物体を移動させようと試みる。軌道に沿ったキャプチャされた画像の各々の中の物体の位置と範囲とが推定される。手が開始位置に戻った後、物体の外観を学習するための軌道上の最適位置が決定される。
【００８８】
ロボット５０は学習のための最適位置に物体を移動させる。望ましい手の位置と向きとに到達した後、それは物体をデプス方向に回転し始める。物体を操作している間、物体の外観の画像を物体画像記憶部８４で収集し、記憶する。手が２つの自由度（ｙ軸とｚ軸との回りでの回転）のための動きのあらかじめ特定された範囲をカバーし終ると、この段階は終了する。
【００８９】
次に、物体が異なる設定で再びロボットの手に置かれ、この手順をこの物体のために繰返す。
【００９０】
上記の繰返しが物体のすべての設定で完了すると、別の物体がロボットの手に置かれ、同様の動作をこの新しい物体のために繰返す。収集された画像はそれぞれの物体の識別子でラベル付けされる。
【００９１】
すべての物体が適切なすべての設定で置かれ、かつすべての外観の画像が収集され、物体画像記憶部８４に記憶されると、分類器８６は非線形マルチクラスＳＶＭに基づく方法を用いてトレーニングされる。
【００９２】
動作の段階では、ユーザが物体をロボットの手に載せると、ロボット５０は学習の段階の動作としてほとんど同じ動作を繰返す。しかし、学習の段階とは異なり、物体の画像を収集した後、ロボット５０は画像の画素ＸＧの一定の格子の上でのガボールジェットをサンプリングし、ガボールジェットを計算し、それを特徴ベクタに加えることによって物体のための特徴ベクタを構築する。その特徴ベクタは分類器８６に与えられ、その後、分類器８６はその特徴ベクタに応じて物体の識別子を出力する。
【００９３】
［実験結果］
本実施の形態では、トレーニングと認識とのために画像を抽出することにおいて、「物体の発見」で述べられたベイズの技術と、「アプローチとシステムの構成の概要」の節で概略を述べた物体の操作とを組合せたものがどれだけ有効であるかを検査した。ロボットがその環境にどのように相互作用するかについて合理的な仮定であると信ずるところに基づいて、物体についての事前知識なしに物体の画像を収集することができた。シーン中の他の物体からある物体を識別するための手順は、ベイズのアプローチによってなされた仮定を満たす限りは、信頼できることが立証された。
【００９４】
提案されたアプローチが本当に物体の表現を学習するために使用され得ることを立証するために、画像の他の部分から物体を識別するために既知の色のテクスチャを使用したときに達成された分類の結果（非特許文献１）とそれとを比較した。ＳＶＭをトレーニングするために、１４個の異なる物体の１０４個の画像を収集した。それらの４つの外観の画像を提案されたアプローチを使用して抽出し、残りのものの画像はセグメンテーションのために色のテクスチャのモデルを適用して収集した。
【００９５】
１４個の物体のライブラリについて、回転及びスケールについて完全に不変である分類器をトレーニングするために、次元が１６０８０の１４５６の特徴ベクタを使った。非特許文献１１による非線形マルチクラスＳＶＭの実現例を使用し、これはユーザ定義のカーネルを許容するものである。その結果、「非線形マルチクラスサポートベクタマシン」の節で述べている特別に設計されたカーネルを使用することができた。
【００９６】
【表１】
2008257353.tif 000017
試験のために、ライブラリから物体の他の７７２８の外観の画像を収集した。テーブル１の結果は、この実施の形態によって収集された画像が、色のテクスチャの事前モデルを使用して収集した視界とまさしく同等に使用に適していることを立証している。この実施の形態の認識結果の方がわずかにより良好なほどであったが、これは視界を抽出するために色のテクスチャのセグメンテーションを用いた物体の分類率が比較的悪かったために引き起こされたものであった。この物体を除外したとき、認識率はほとんど同一となった。
【００９７】
［結論］
この実施の形態によれば、物体についての事前知識を何ら持たず、画像に人手によって改変を加えることがないような、ヒューマノイドロボットによる認識のための完全な物体の表現を学習する手順が提供される。知られている限り、この実施の形態のロボット５０は、もしそれが物体をつかむことができれば、その画像を全く自動的に収集することができるはじめてのヒューマノイドロボットである。その実験は構築されたモデルが３次元の中で大きさと回転とに対して全く不変であること、及びこの実施の形態が、実施の形態のシステム上で場面の残りの部分からの画像を認めるために物体の色のテクスチャについての事前知識を使用したより以前のシステムに匹敵する認識率を達成していることを示している。
【００９８】
特に照明条件がトレーニングと認識の段階とで異なるとき、ガボールジェットによって表現された画像の分類のためにこの実施の形態で開発された新しいカーネルはヒューマノイドロボット又はコントローラ６２に、より確実に画像の分類を可能にする。画像を収集するためのこの実施の形態は全く一般的であり、開発された分類の技術に制限されないということにも注目されたい。このアプローチは非特許文献５で提案されているＳＩＦＴキー＋ハフ変換のように、他に普及しているアプローチに適用可能であろう。
【００９９】
検討すべき問題の１つは向きによってトレーニング用の画像を編成するための自己受容的な情報の使用である。動的な情報が認識のために有用であり得ることが示されている。物体を制御するロボットは視覚ベースの動的な物体の認識のための必要な入力を提供することができる。さらに、そのような情報は認識の後で物体の向きを推定するために使用することができる。
【０１００】
上述の実施の形態は単なる例示であって制限的なものと解してはならない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【０１０１】
【図１】操作の間に物体を観測しているこの発明の１つの実施の形態に関連したヒューマノイドロボットを示す図である。
【図２】辺縁視と中心視とのカメラからの同時の視界を示す図である。
【図３】ロボット５０の機能のブロック図である。
【図４】物体を操作するための理想的な位置を探すカメラ５２からの視界を例示する図である。
【図５】学習の段階の間の物体の動きの軌道を例示する図である。
【図６】物体の外観の抽出の例を示す図である。
【図７】コントローラ６２を実現するソフトウェアの制御の流れを示すフロー図である。
【図８】図７のステップ１８０で動作の詳細なフロー図である。
【図９】図７のステップ１８４の詳細なフロー図である。
【符号の説明】
【０１０２】
３０，５０  ヒューマノイドロボット
４０，５２  カメラ
４２  ロボットの手
４４，１０２  物体
４６  ロボットの腕
６０  フレームグラバ
６２  コントローラ
６４  アクチュエータドライバ
６６  アクチュエータ
８０  オブジェクト操作プロセス
８２  アクチュエータパラメータ計算プロセス
８４  物体画像記憶部
８６  分類器
【図１】
2008257353.tif 000018
【図２】
2008257353.tif 000019
【図３】
2008257353.tif 000020
【図４】
2008257353.tif 000021
【図５】
2008257353.tif 000022
【図６】
2008257353.tif 000023
【図７】
2008257353.tif 000024
【図８】
2008257353.tif 000025
【図９】
2008257353.tif 000026
【外国語明細書】
2008257353000001.pdf
2008257353000002.pdf
2008257353000003.pdf
2008257353000004.pdf