(57)【要約】      （修正有）【課題】カメラを搭載したロボットア−ムにより物体を把持するのに有効な方法を提供すること。【解決手段】連続するイメージ（７，１０）についての物体（８，１１）の位置の探査技術は、２つのイメージを撮影したカメラの移動と対応する単一移動量（Δｍ）により点（Ａ，Ｂ）及びイメージを最適にペアリングすることによって得られる。物体の位置はこうして演算しうる。実際にペアリングできる点は、それらが自動的に得られたとしても物体に属し、イメージのバックグラウンドはより少数の目立った点をしばしば有し、この移動量（Δｍ）とペアリングすることはあり得ない。【選択図】  図２
2006035416.tif 000002
【特許請求の範囲】
【請求項１】
ロボットアーム（１）の移動中、物体（４）を含み、該物体の周囲の状況の複数のイメージ（７，１０）を撮影するカメラ（２）を搭載した前記ロボットアームにより、前記物体を掴持する方法であって、前記物体の複数の点の位置に基づき前記ロボットアームに関する前記周囲の状況における前記物体の前記複数の点の座標を演算することにより、前記複数のイメージを使用して前記物体の位置を決定するステップを備える方法において、前記複数のイメージのうちの少なくとも２つから構成される一連のイメージにおいて、前記複数の点は、各イメージにおいてアルゴリズムにより自動的に選択されること、前記複数のイメージの一つについての前記選択された点（Ａ）と前記複数のイメージのうちの少なくとも一つの他のイメージについての前記選択された点（Ｂ）との全ての間の複数の移動量（Δｊｋ）は、演算されると共にポーリングされること、ほとんどの時間ポーリングした、移動量の一つ（Δｍ）は、選択され、前記物体に属する点に帰していること、前記物体の位置座標は、選択された移動量が観察されるイメージとイメージとの間の前記カメラの前記選択された移動量及び測定された移動量に基づいて演算されることを特徴とする掴持方法。
【請求項２】
前記移動量は、前記複数のイメージについての複数対の極座標により予測することを特徴とする請求項１に記載の掴持方法。
【請求項３】
前記移動量は、イメージとイメージとの間の前記カメラの前記測定された移動量から算出された限界以下にポーリングされていることを特徴とする請求項１又は２に記載の掴持方法。
【請求項４】
前記物体を構成するものとして表わされる、前記複数のイメージの単一部分の表示を含んでおり、前記選択された点のみが前記物体の前記単一部分に存在することを特徴とする請求項１〜３のうちのいずれか１項に記載の掴持方法。
【請求項５】
請求項１〜４のうちのいずれか１項に記載の方法の諸ステップを実行するための符号化手段から構成されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載したロボットアームで物体を掴持する方法に関するものである。
【背景技術】
【０００２】
カメラは、ロボットアームの移動中、到達すべき物体とその周囲の状況の複数のイメージを撮影し、ロボットアームを物体へと案内する。コンピュータは、該複数のイメージを使用して、物体を探し出しロボットアームの端部に関するその位置を決定すると共に、同端部を掴持すべき物体に至らせるためロボットアームに送られる指令を演算し、この指令をロボットアームに伝達するのに使用される。ロボットアームの端部にある掴持機器は、ロボットアームの移動の最後に閉じられて物体を掴持する。指令は、ロボットアームが移動するに連れて再演算されてもよく、そして新たなイメージが考慮に入れられる。
【０００３】
カメラの視野にある物体の特定の位置情報は、焦点距離、シャッターアングル、又はディストーションのようなカメラのパラメータが既知であれば、イメージ上のそれらの表示の位置から論理的に導き出しうることが知られている。しかし、この位置情報は、イメージのある点が周囲の状況の直線プロジェクションライン(straight projection line)に関係付けられていて、そのどの点においても調べている物体の表面が位置しているかも知れないので、不完全である。しかしながら、追加情報を使用して行なわれるリトロプロジェクション(retro-projection)演算がイメージにおける物体から決定される種々の点の位置によりカメラの前に位置した物体の位置を提供する、方法が存在する。コンピュータが物体上のこれらの点の相対位置を知っていれば、それは、カメラに関する物体の距離及び向き（orientation)をその方向に加えて決定することができる。実際に、物体上の相対位置が既知である反射又は色付きステッカーで構成されている物体について標識点が使用される。これらの点を同定すると共に、物体上のそれらの位置を決定することにより、処理コンピュータは、標識点に至るプロジェクションラインにより提供されるカメラに関する物体の距離及び向きをその方向に加えて推論する。これらのプロセスは、非常に効果的であるが、日常の物体を掴持するのには関係しておらず、該物体について、それらをマークするとは考えることができず、また、それらは、物体の好ましくない向きが標識点を隠すときに、役に立たなくなる。
【０００４】
別のよくあるプロセスは、オペレータによりコンピュータに指令される物体の位置を知ることからなる。カメラは、それがロボットアームの接近中にイメージのバックグラウンドから離れるようになるときに、物体の位置が徐々に調節されることを可能にする。しかしながら、このプロセスは、エラーに対して非常に敏感であり、物体には、その位置が明らかに表示されない場合、或いはそれがプロセス中に移動されれば、一般に到達することができない。
【０００５】
上述した従来技術には様々な関連技術があり、代表的に示すと、以下の特許文献１、特許文献２及び特許文献３がある。
【０００６】
【特許文献１】スミス・シー・イー(Smith C. E.)等の“物体の掴持のための視覚に基く制御技術の使用”システム、人間及びサイバネティックス、１９９５年２１世紀のインテリジェントシステム西暦１９９５年１０月２２〜２５日のカナダ国ブリティッシュコロンビア州ヴァンクーヴァーでのＩＥＥＥ国際会議、西暦１９９５年１０月２２日（１９９５−１０−２２）、米国ニューヨーク州ＩＥＥＥ第５巻、４４３４頁〜４４３９頁、ＸＰ０１０１９４８９１国際標準図書番号：０−７８０３−２５５９−１４４３４頁〜４４３９頁
【特許文献２】レンボールド・ディー(Rembold D.)等の“移動物体の検出及び取扱い”工業電子装置協会、１９９８年ＩＥＣＯＮ’９８.  西暦１９９８年８月３１日〜９月４日のＩＥＥＥドイツアーヘンの第２４回年次会議会報西暦１９９８年８月３１日（１９９８−０８−３１）、米国ニューヨーク州ＩＥＥＥ第３巻、１３３２頁〜１３３７頁、ＸＰ０１０３０８３０１国際標準図書番号：０−７８０３−４５０３−７１３３２頁〜１３３７頁
【特許文献３】バーシュカ・ディー(Burschka D)等の“ナビゲーション及びマッピングのための実時間視覚トラッキングの原理と実践”ロボット検知、西暦２００４年。ＲＯＳＥ  ２００４オーストラリア国グラーツの国際研究会西暦２００４年５月２４〜２５日、米国ニュージャージー州ピスカタウェイ、ＩＥＥＥ西暦２００４年５月２４日（２００４−０５−２４）、１頁〜８頁ＸＰ０１０７１２５５８国際標準図書番号：０−７８０３−８２９６−Ｘ１頁〜８頁
【発明の開示】
【０００７】
本発明の目的は、ロボットアーム及びカメラの移動中に、掴持されるべき物体の位置決定を改善することである。カメラからの少なくとも２つのイメージからなる一連のイメージにおいて、アルゴリズムを用いて複数の点が選択され、イメージの各々と、該イメージの各々の選択された複数の点及び前記イメージのその他の少なくとも１つから選択された複数の点の間の移動量が演算されると共にポーリングされ、ほとんどの時間ポーリングした、移動量の一つは、選択され、前記物体に属する点に帰しており、前記物体に属する前記点の座標は、選択された移動量と、該選択された移動量が観察されるイメージとイメージとの間の前記カメラの測定された移動量とに基づいて演算される
【０００８】
従って、物体の位置を知るプロセスはもはやなく、マッピングもなく、物体並びにその詳細の識別表示もなく、せいぜいひょっとすると、初期イメージに関する物体の簡単な表示があるだけで、その後、オペレータによる更なる介入なしにロボットアームがそれに向かって移動する。
【０００９】
本発明の特定の特徴は、図面に関する以下の詳細な説明を読むことによりもっと明らかとなろう。
【発明を実施するための最良の形態】
【００１０】
本発明の重要な一適用例は、障害者に対する支援である。指令するのに非常に限られた体力を必要とするに過ぎないロボットアームは、障害者を助けるために既に存在しているが、ロボットアームに指令するための上述した諸問題は、多くの場合、ロボットアームがそれらに課せられた仕事を遂行するのが緩慢であると言うことである。図１には、カメラ２を具備すると共にクランプ３で終端したロボットアーム１が例示されており、この場合、クランプ３はテーブル５の上に立てられて飲料容器４のような物体に到達しなければならない。オペレータは、ロボットアームに指令するためキーボードとスクリーンを有するコンピュータ６を自分の領域に持っている。
【００１１】
カメラ２は、その前に位置する周囲の状況のイメージを撮影し、それは、考察しているときに図２の左側に表わされている。周囲の状況のこのイメージは、リファレンス７を有すると共に、特に、物体８のイメージから構成されている。
【００１２】
本発明による位置決め方法が実施されている。この方法は、イメージ７上の特定数の点を選択することを含んでいる。既知の技術には、モラベツ（Moravec)式検出器、ハリス・スティーヴンズ（Harris and Stephens)式検出器及びスーザン（SUSAN)式フィルタがある。これらの技術は、イメージの１つの点から他の点への光のシャープな変化に基づいて、素子のエッジのようなイメージ７の特定の特徴を識別することを可能にするイメージ７の解析をしばしば含む。選択された点は、例えば、素子と素子との間の分離ラインとしうる。点の選択は、オペレータに左右されるのではなく、プログラムにのみ依存していること、そしてオペレータはこれを知らされていないことを指摘しておかねばならない。しかしながら、オペレータは、例えばフレーム９を特定しその外側では選択された点を放棄することにより、物体８のイメージを含む区域及び周囲の領域に、この第１のイメージ７について点の選択を制限することができる。最終的に選択された点は、数値索引１，２等が続く文字Ａにより表わされている。
【００１３】
ロボットアーム１の第１の移動が行われ、カメラ２が別のイメージ１０を撮影し、該イメージにおいて、物体のイメージはリファレンス１１を有している。点を選択するためのアルゴリズムが再び使用されて、文字Ｂ及び数値索引で表わされた点の新しい選択を行なう。説明を簡明にするため、物体８の古いイメージは、このイメージ１０上に不可視であるけれども、スーパーインポーズして示されるであろう。
【００１４】
次のステップは、カメラ２により撮影された古いイメージ７上の種々の点Ａの位置とこのイメージ１０上の種々の点Ｂの位置との間の移動をポーリングすることである。これらの移動は点Ａｊと点Ｂｋとの間のΔｊｋで表わされている。こうして、Ａ点の全て及びＢ点の全ては、イメージ７及び１０の撮影間のカメラ２の移動に依存する核的制約(epipolar constraint)と適合する移動のみを保持することを除き、移動単位でペアリングされる。試みていることは、Ａ点に対して、このＡ点が、これらイメージの平面におけるカメラ２の水平及び垂直移動（Ｘ及びＹ）の関係に基づいて予測できるカメラ２の移動に従って位置すると予想されるゾーンにある複数のＢ点とペアリングすることであり、なお、これは、ほかのどこかに存在するＢ点、特にイメージ１０上の正しくない方向にある又はずっと遠くにあるＢ点を無視することにより取り込まれる複数のイメージに関して、物体のイメージの移動の方向が予測されることを可能にする。
【００１５】
移動を予測するのに極座標を使用することは、複数のイメージ上のΔｊｋ移動の角度に基づく連続選択を可能とし、次いでΔｊｋ値に基づく別の選択を可能とる。
【００１６】
Ａ及びＢ点の全ての間の網羅的組合せを回避する別の手段は、無作為サンプリングにより得られるペアリング又はリラクゼーション法を使用することからなるであろう。
【００１７】
演算された網羅的制限におけるＡ点の全てとＢ点の全てとの間のΔｊｋ移動は、次いでポーリングされ、値が殆ど同一である移動は一緒にグループ化される。
【００１８】
次に、公差Ｘａ内のΔｊｋについての最も頻繁な移動のΔｍ値を探索する（図３）。この移動Δｍは、選択されたＡ及びＢ点の全てを必ずしもペアリングすることのない、２つのイメージ７及び１０間の物体８又は１１のイメージの移動であると仮定される。物体のイメージの移動を決定するためのこの純粋に統計的な規準は、特に、カメラ２により撮影されたイメージ７における物体９のイメージを指定する規準が適用されていれば、物体４が１つのイメージから別のイメージへと選択される最も多い点を有しており、従って、複数のイメージの主内容を所有している、という仮説に基づいている。しばしばバックグラウンド部分から構成されるイメージの残りは、カメラの移動が後続のイメージのためのイメージの複数のエッジに位置した複数の選択された点を強調表示するであろうときに、毎イメージ毎イメージ、ペアリングされることのできる比較的に少数の点を保有している。更に、物体２を別とすればペアリングすることができた複数の点の複数の組は異なる平面にあるので、それらは、イメージ７とイメージ７の間で異なる移動の影響下にあるであろうし、従って、移動の少数カテゴリーに入るであろう。また、この方法は、物体４が全体イメージとオーバーラップしていても或いはそれが部分的に隠されていても、良い結果をもたらすことも指摘しておかねばならないが、その理由は、物体４に属する特定の選択されたＡ又はＢ点を効果的にペアリングすることが可能ではなくても、それが当て嵌まるからである。物体１１のイメージの位置が後続のイメージ１０上にあると一旦想定されれば、選択されたΔｍ移動は、図４の記載に基づく以下の式により示されるように、カメラ２に関する物体４の位置の判断を行なうのに使用される。
【００１９】
次の関係を示すことができる。
Δｍ＝ＴｐΔｐ
ここで、
Δｍ及びＴｐはｍｍで表わされ、
Δｐは２つのイメージ間の物体のピクセル移動（次元なし）であり、
Ｔｐはカメラ２のイメージ上のピクセルの大きさを表わしている。従って、次のように物体４の座標を演算することができる。
Ｚ＝Ｆ（Ｄ／（ΔｐＴｐ）−１）
ここで、
Ｚは物体４の表面へのカメラ２の焦点距離であり、
Ｆはレンズの焦点距離（ｍｍ）であり、
Ｄは２つのイメージの撮影間のカメラ２の移動量（ｍｍ）であり、
ＴｐはＣＣＤセンサのピクセルの大きさ（ｍｍ）である。
【００２０】
次に、物体４の他の座標を推論することができる。
Ｘ＝ＸｐＴｐ（Ｚ＋Ｆ）／Ｆ
Ｙ＝ＹｐＴｐ（Ｚ＋Ｆ）／Ｆ
ここで、
Ｘはカメラインジケータにおける物体の横座標（ｍｍ）であり、
Ｙはカメラインジケータにおける物体の縦座標（ｍｍ）であり、
Ｘｐはイメージにおける物体の横座標（ピクセルであり、従って、次元なし）であり、
Ｙｐはイメージにおける物体の縦座標（ピクセルであり、従って、次元なし）である。
【００２１】
この方法は、３つ以上の一連のイメージに適用してもよい。各イメージは、先行のイメージ及び後続のイメージの１つの点とペアリングしうる、又はどの点ともペアリングしない特徴的な点を有している。点が一連のイメージの全てでのペアリングにより見付け出すことができれば、それが物体４に実際に属する可能性が高く、これは方法の信頼性を増す。
【００２２】
本発明は、物体４が方法中に若干移動しても依然として使用することができる。移動後に撮影されたイメージにおいて予期せぬ位置が見付け出され、その位置は次いで再演算される。
【００２３】
この方法はコンピュータ６に入っているプログラムによって使用され、これもまた本発明の一部である。このプログラムは、カメラ２のイメージを使用すると共に、情報の必要ディジタル処理及び符号化の手段によりロボットアーム１を駆動するのに必要な全ての手段を含んでいる。
【図面の簡単な説明】
【００２４】
【図１】方法の適用例における諸要素の全体図である。
【図２】イメージ上の物体を位置決めする方法を図解している。
【図３】毎イメージ毎イメージの物体の移動についての選択規準を説明している。
【図４】物体の位置についての演算モードを説明している。
【図１】
2006035416.tif 000003
【図２】
2006035416.tif 000004
【図３】
2006035416.tif 000005
【図４】
2006035416.tif 000006
【外国語明細書】
2006035416.tif 000007
2006035416.tif 000008
2006035416.tif 000009
2006035416.tif 000010
2006035416.tif 000011
2006035416.tif 000012
2006035416.tif 000013
2006035416.tif 000014
2006035416.tif 000015
2006035416.tif 000016
2006035416.tif 000017
2006035416.tif 000018
2006035416.tif 000019
2006035416.tif 000020
【図１】
2006035416.tif 000021
【図２】
2006035416.tif 000022
【図３】
2006035416.tif 000023
【図４】
2006035416.tif 000024