(57)【要約】【課題】ロボットマニピュレータの運動計画、障害検出および診断、または画像ベースの視覚サーボ制御に使用することができる方法および装置を得る。【解決手段】方法および装置は、最初に特徴の座標を推定して透視特徴画像のシーケンスを生成することによって、移動カメラによってシーンから取得される画像シーケンス内で観測される特徴の奥行きを推定する。透視特徴画像のシーケンスに微分方程式のセットを適用して、カメラの直線速度および角速度のベクトルならびにカメラの焦点距離のみを使用して、奥行きに対する低次元動的状態推定量を形成する。カメラをロボットマニピュレータのエンドエフェクタ上に搭載することができる。カメラの速度は、ロボット関節符号化器の測定値および既知のロボット動力学によって求められる。【選択図】図１
2010231772.tif 000002
【特許請求の範囲】
【請求項１】
シーンから取得される画像シーケンス内で観測される特徴の奥行きを推定するための方法であって、該方法のステップを実行するためのプロセッサを備え、該方法は、
画像Ｉ（ｔ）の前記シーケンス内の前記特徴の座標を推定するステップであって、前記画像シーケンスは、前記シーンに対して既知の速度ｕ（ｔ）で移動しているカメラによって取得される、推定するステップと、
前記特徴から透視特徴画像ｙ（ｔ）のシーケンスを生成するステップと、
前記透視特徴画像ｙ（ｔ）のシーケンスに微分方程式のセットを適用するステップであって、前記カメラの直線速度および角速度の速度ベクトルｕ（ｔ）＝（ｕ１，ｕ２，ｕ３，ｕ４，ｕ５，ｕ６）ならびにカメラ焦点距離λのみを使用して、前記特徴の前記奥行きのための低次元動的状態推定量を形成する、適用するステップと、
を含む、方法。
【請求項２】
座標（Ｘ，Ｙ，Ｚ）にある各前記特徴は、速度
【数１】
2010231772.tif 000014
を有し、ここで、変数の上の「．」は、一次導関数を示し、Ｚは、前記特徴の奥行きである、請求項１に記載の方法。
【請求項３】
前記画像Ｉの各々を、
【数２】
2010231772.tif 000015
によって透視画像に変換することをさらに含む、請求項２に記載の方法。
【請求項４】
前記透視特徴画像ｙ（ｔ）の推定量ｄハットは、
【数３】
2010231772.tif 000016
であり、ここで、
【数４】
2010231772.tif 000017
であり、ここで、変数の上の「＾」は、推定値を示し、前記透視画像Ｉｐ（ｔ）に関する利得ベクトルＫｐは、０よりも大きい、請求項３に記載の方法。
【請求項５】
ｙ（ｔ）における前記特徴の前記推定量ｄハットは、
【数５】
2010231772.tif 000018
であり、ここで、
【数６】
2010231772.tif 000019
であり、ここで、変数の上の「＾」は、推定値を示し、前記透視画像Ｉｐ（ｔ）に関する利得ベクトルＫｐは、０よりも大きく、前記画像シーケンスに関する利得ベクトルＫＩも０よりも大きい、請求項３に記載の方法。
【請求項６】
前記奥行きは、
【数７】
2010231772.tif 000020
であり、また、
【数８】
2010231772.tif 000021
であり、ここで、Ｔは、ベクトル転置を示し、Ｋは、ローパスフィルタリングに関する利得であり、実質的に０よりも大きく、
【数９】
2010231772.tif 000022
である、請求項４または５に記載の方法。
【請求項７】
前記カメラは、ロボットマニピュレータのエンドエフェクタ上に配置され、該カメラの前記速度は、ロボット関節測定値から求められる、請求項１に記載の方法。
【請求項８】
前記ロボット関節測定値から位置ベクトルｑを求めること、および
前記位置ベクトルｑを微分することであって、関節速度ベクトルｑドットを得る、微分すること、
をさらに含み、ここで、前記速度は、
【数１０】
2010231772.tif 000023
であり、ここで、Ｊは、ロボットマニピュレータ動力学にとって既知のヤコビ行列である、請求項７に記載の方法。
【請求項９】
シーンから取得される画像シーケンス内で観測される特徴の奥行きを推定するための装置であって、
既知の速度ｕ（ｔ）で移動しているカメラによって取得される入力画像Ｉ（ｔ）から生成される透視画像ｙ（ｔ）のシーケンス内の前記特徴の座標を推定する手段と、
前記透視特徴画像ｙ（ｔ）のシーケンスに微分方程式のセットを適用する手段であって、前記カメラの直線速度および角速度の速度ベクトルｕ（ｔ）＝（ｕ１，ｕ２，ｕ３，ｕ４，ｕ５，ｕ６）ならびにカメラ焦点距離λを使用して、前記特徴の前記奥行きに対する低次元動的状態推定量を形成する、適用する手段と、
を備える、装置。
【請求項１０】
前記カメラを移動するように構成されるロボットマニピュレータと、
前記ロボットマニピュレータの関節の位置を求めるように構成される関節符号化器と、
前記位置を微分する手段であって、前記ロボットの関節の速度を得る、微分する手段と、
をさらに備え、前記関節の位置および前記関節の速度と共に既知のロボット動力学が使用されてカメラ速度が得られる、請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的にはコンピュータビジョンに関し、より詳細には、画像内の特徴奥行きを推定することに関する。
【背景技術】
【０００２】
コンピュータビジョンにおいて、画像内の特徴の奥行きを、モーションアプリケーションからの姿勢推定および構造に使用することができる。通常、これは、画像形成された物体の幾何モデル、またはステレオカメラによって取得される複数の画像を用いて行われる。本質的に、これは結果としてオフライン方法または静的方法となる。
【０００３】
特許文献１は、複数のカメラを使用する動的奥行き推定方法を記載している。
特許文献２は、概念的にはステレオ方法と類似している、画像シーケンスおよび局所的バンドル調整を使用する方法を記載している。
特許文献３は、単一の移動カメラのための奥行き推定方法を記載しており、この方法において、ビデオカメラは、因子２だけ各先行位置から異なる変位距離だけ連続位置に変位される。
【０００４】
特許文献４は、ビデオフレームを使用する奥行きおよび運動の推定に恒等システム行列（ｉｄｅｎｔｉｔｙ  ｓｙｓｔｅｍ  ｍａｔｒｉｘ）を用いる単純なダイナミクスを有する拡張カルマンフィルタを使用することを記載している。
特許文献５も、詳細な車両ダイナミクスモデルと共に拡張カルマンフィルタを使用して、この特定の用途のための移動カメラに関する動きから構造を推定する。
【０００５】
別の方法は、線形化ベースの近似である拡張カルマンフィルタとは対照的に、非線形状態推定および非線形観測器を使用する。非線形観測器を使用する手法は、全状態観測器を含む。全状態観測器は、広く一般に所望されているが、この問題における安定収束に関して設計するのがより困難である（非特許文献１を参照）。
別の方法は、低次元観測器およびスライディングモードタイプの観測器を使用する（非特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６，８４７，７２８号公報
【特許文献２】米国特許第６，９９６，２５４号公報
【特許文献３】米国特許第５，５７７，１３０号公報
【特許文献４】米国特許第５，５１１，１５３号公報
【特許文献５】米国特許第６，５３５，１１４号公報
【非特許文献】
【０００７】
【非特許文献１】Ｄｅ  Ｌｕｃａ他著「Ｏｎ−Ｌｉｎｅ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｆｅａｔｕｒｅ  Ｄｅｐｔｈ  ｆｏｒ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ｓｅｒｖｏｉｎｇ  Ｓｃｈｅｍｅｓ」（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，Ａｐｒｉｌ  ２００７
【非特許文献２】Ｄｉｘｏｎ他著「Ｒａｎｇｅ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｆｏｒ  Ｐｅｒｓｐｅｃｔｉｖｅ  Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｃｏｎｔｒｏｌ，４８（１２），２２３２−２２３８，２００３
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像形成された物体の幾何モデルを必要とすることなく、単一の移動カメラを使用して動的に奥行きを推定することが望ましい。これは、それぞれがそれぞれの画像フレームに対応する一連の推定奥行き値を有することが望ましいことを意味する。
【課題を解決するための手段】
【０００９】
この発明の実施の形態１は、既知の速度および焦点深度で移動しているカメラを使用して画像形成された特徴の奥行きを動的に推定するための方法および装置を提供する。本方法は、移動しているカメラの速度ベクトルおよびカメラ焦点距離を使用して、画像形成された特徴の奥行きのための低次元動的状態推定量に対する透視特徴画像のシーケンスに、微分方程式のセットを適用する。
【００１０】
この発明の実施の形態１では、カメラは、ロボットマニピュレータのエンドエフェクタ上に搭載される。カメラの速度は、ロボット関節符号化器の測定値および既知のロボット動力学によって求められる。
【発明の効果】
【００１１】
この発明は、ロボットマニピュレータの運動計画、障害検出および診断、または画像ベースの視覚サーボ制御に使用することができる。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による、移動カメラによって取得される画像内の奥行きを推定するための方法および装置のブロック図である。
【図２】この発明の実施の形態１による、ロボットマニピュレータ搭載型カメラを使用して奥行きを推定するための方法および装置のブロック図である。
【図３】実際の奥行きと推定奥行きとを比較するグラフである。
【図４】動的な実際の奥行きとリアルタイムの推定奥行きとを比較するグラフである。
【発明を実施するための形態】
【００１３】
実施の形態１．
奥行き推定
図１に示すように、較正された画像Ｉ（ｔ）１０１のシーケンス内の特徴の奥行き１０９を求めるための方法１２０、１３０および装置（プロセッサ）１５０は、シーン１０２から較正されたカメラ１１０によって取得される。カメラは、既知の焦点距離λ１０３と、各時間ステップｔに対する既知の速度ベクトルｕ（ｔ）１０４を有する。
【００１４】
本方法は、特徴検出１２０を実行して、特徴画像のシーケンスを生成する。特徴画像は、ピンホールカメラモデルを使用して２点透視特徴画像ｙ（ｔ）１０５に変換される。この２点透視特徴画像ｙ（ｔ）１０５は、３Ｄ特徴の座標と、それらの画像に対する射影との間の関係を記述する。
【００１５】
リアルタイム奥行き推定器１３０が透視特徴画像に適用されて、特徴の奥行き
【数１】
2010231772.tif 000003
が推定される。これらのステップは、プロセッサ１５０において実行される。
【００１６】
ロボット操作型カメラ
図２は、カメラ２０１がロボットマニピュレータ２０２上に配置されている実施の形態１を示す。ロボットマニピュレータは、ロボット関節符号化器２１０に接続されて、位置ベクトル２１１が求められる。この場合、カメラ速度ベクトルは、以下である。
【００１７】
【数２】
2010231772.tif 000004
【００１８】
また、位置ベクトルが微分されて、対応する速度ベクトルｑドット２２１が求められる。ここで、Ｊは、ロボットマニピュレータが知っているヤコビ行列である。ベクトルｑおよびｑドットは、ロボット関節の角度および角速度である。ベクトルｑおよびｑドットは、それぞれ、ロボット関節検知手段、たとえば符号化器２１０、およびフィルタリングされた微分手段２２０を通じて得られる。
【００１９】
ロボット動力学２３０は、カメラ速度ベクトルｕ（ｔ）１０４を推定し、このカメラ速度ベクトルｕ（ｔ）１０４は、奥行き推定器１３０によって使用されて、特徴奥行き１０９が推定される。
【００２０】
この実施の形態１をロボットマニピュレータの運動計画、障害検出および診断、または画像ベースの視覚サーボ制御に使用することができる。
【００２１】
特徴速度
移動カメラによって取得される画像シーケンス内の推定座標（Ｘ，Ｙ，Ｚ）にある固定３Ｄ特徴に関して、画像内で観測される特徴の見かけの速度は、以下である。
【００２２】
【数３】
2010231772.tif 000005
【００２３】
ここで、変数の上の「．」は、一次導関数を示し、ｕ１０４は、カメラの直線速度および角速度の６Ｄベクトル（ｕ１，ｕ２，ｕ３，ｕ４，ｕ５，ｕ６）である。
【００２４】
透視特徴画像
ピンホールモデルを使用して、各カメラ画像Ｉ（ｔ）１０１を、以下の式
【００２５】
【数４】
2010231772.tif 000006
【００２６】
によって、２点（ｙ１，ｙ２）透視特徴画像ｙ（ｔ）１０５に変換することができる。
【００２７】
特徴ダイナミクス
上記の式を再構成して、以下の式のように、一次導関数をとることによって特徴のダイナミクスを求めることができる。
【００２８】
【数５】
2010231772.tif 000007
【００２９】
上記のダイナミクスは、未知の特徴点奥行きＺを含み、この未知の特徴点奥行きＺは、或るタイプの外乱として処理することができる。Ｚのための低次元外乱奥行き推定量を下記で説明する。
【００３０】
微分方程式
上記の式を、以下のように再構成することができる。
【００３１】
【数６】
2010231772.tif 000008
【００３２】
ここで、ｄ０は、所定の変数であり、出力ベクトルは、ｙ＝［ｙ１，ｙ２］Ｔであり、Ｔは、転置演算子である。
【００３３】
奥行き推定量
実施の形態１では、
【数７】
2010231772.tif 000009
における特徴に対する推定量ｄハットは、以下である。
【００３４】
【数８】
2010231772.tif 000010
【００３５】
ここで、変数の上の「＾」は、推定値を示し、透視特徴画像に関する利得ベクトルＫｐは、０よりも大きく、ｄハットは、推定値である。
【００３６】
別の実施の形態１では、推定量は、以下である。
【００３７】
【数９】
2010231772.tif 000011
【００３８】
ここで、入力画像に関する利得ベクトルＫＩは、０よりも大きい。
【００３９】
双方の実施の形態１に関して、推定奥行きは、以下である。
【００４０】
【数１０】
2010231772.tif 000012
【００４１】
ここで、
【００４２】
【数１１】
2010231772.tif 000013
【００４３】
であり、また、Ｋは、ローパスフィルタリングに関する利得である。
【００４４】
実際の奥行きと推定奥行きとの比較
図３は、速度ベクトルｕ＝［−０．５，０，１，０，０，０］Ｔおよび（Ｘ，Ｙ，Ｚ）＝（２０，１０，２０）の初期位置について、実際の奥行き３０１と推定奥行き３０２とを比較している。図に示すように、推定値は、約０．０１５秒後に実際の奥行きに収束する。
【００４５】
図４は、速度ベクトルｕ＝［−０．５，０，１，０，ｓｉｎ（２０π），０］Ｔについて、実際の奥行き４０１と推定奥行き４０２とを比較しており、（Ｘ，Ｙ，Ｚ）＝（２０，１０，２０）が初期位置であり、図４は、急速に経時変化する回転および奥行き（たとえば約１０Ｈｚ／秒）を含む。これらの高度に動的な奥行きに関して図に示すように、推定値は、ほぼ即時に実際の奥行きに収束する。
【００４６】
この発明を、好ましい実施形態の例として説明してきたが、この発明の精神および範囲内で、他のさまざまな適合および変更を行うことが可能なことを理解されたい。したがって、添付の特許請求の範囲の目的は、この発明の真の精神および範囲内に入るすべての変形および変更を包含することである。
【図１】
2010231772.tif 000024
【図２】
2010231772.tif 000025
【図３】
2010231772.tif 000026
【図４】
2010231772.tif 000027
【外国語明細書】
2010231772.tif 000028
2010231772.tif 000029
2010231772.tif 000030
2010231772.tif 000031
2010231772.tif 000032
2010231772.tif 000033
2010231772.tif 000034
2010231772.tif 000035
2010231772.tif 000036
2010231772.tif 000037
2010231772.tif 000038
2010231772.tif 000039
2010231772.tif 000040
2010231772.tif 000041
2010231772.tif 000042
2010231772.tif 000043
2010231772.tif 000044