(57)【要約】１つ以上のイメージセンサを用いて、１つ以上の位置における対象物体の画像を取り込み、その結果得られた画像における対象物体の特徴を識別して、機械視覚、例えば、対象物体の三次元の姿勢推定を容易にするシステム及び方法。一組の式が、特徴間における距離、角度及び閉塞体積の不変性等の疎モデル情報を用いて立てられる。この組の式を解き、３Ｄ姿勢を推定し得る。位置の数は、イメージセンサの数、識別される特徴の数、及び／又は全ての特徴より少ない特徴間の既知の物理的関係の数に基づき、決定し得る。様々なイメージセンサ間及び／又は特徴とイメージセンサとの間の物理的関係に関する知識を用い得る。姿勢を用いて、ロボット経路を変換して、その経路を対象物体の現在位置と整合させ得る。
2008506953.tif 000002
【特許請求の範囲】
【請求項１】
物体の機械視覚に有用な方法であって、
複数のイメージセンサから、学習物体の第１視界の複数の画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像中で、学習物体の複数の特徴を識別する段階と、
複数の識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、
一組の方程式を自動的に計算して解く段階と、
が含まれる方法。
【請求項２】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階には、少なくとも２つの特徴間における少なくとも１つの不変の距離を用いる段階が含まれる方法。
【請求項３】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階には、特徴間の、又は特徴のうちの少なくとも１つによって閉塞された少なくとも１つの不変の面積を用いる段階が含まれる方法。
【請求項４】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階には、特徴間の、又は特徴のうちの少なくとも１つによって閉塞された少なくとも１つの不変の体積を用いる段階が含まれる方法。
【請求項５】
請求項１に記載の方法であって、更に、
一組の方程式及び未知数を提供するのに充分な、イメージセンサの数、識別される特徴の数、不変の物理的関係が関連付けられた特徴の数、特徴に関連付けられた不変の物理的関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、未知数の数は、方程式の数以下である前記段階と、
少なくとも１つのカメラによって、学習物体の前記数の各追加視界の少なくとも１つの画像を取り込む段階と、
学習物体の前記数の追加視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
が含まれる方法。
【請求項６】
請求項１に記載の方法であって、更に、
方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解くことによって、取得される追加視界の数を決定する段階であって、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である前記段階が含まれる方法。
【請求項７】
請求項１に記載の方法であって、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階には、
識別された全特徴より少ない特徴にパラメータを関連付ける段階であって、前記パラメータは、特徴と少なくとも１つの他の特徴との間、特徴と少なくとも１つのカメラとの間、又は、少なくとも１つのカメラと少なくとももう１つのカメラとの間のいずれかにおける不変の物理的関係を定義し、特徴の内の各特徴と少なくとも１つの他の特徴との間における不変の物理的関係は、実行前、パラメータを関連付ける際、未知である前記段階が含
まれる方法。
【請求項８】
請求項７に記載の方法であって、更に、
一組の方程式を同時に解き、それぞれのカメラ座標基準系における少なくとも幾つかの特徴の三次元の姿勢を決定する段階が含まれる方法。
【請求項９】
請求項８に記載の方法であって、更に、
実行時、少なくとも１つのイメージセンサによって、対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
少なくとも部分的に、それぞれのカメラ座標基準系における少なくとも幾つかの特徴の決定された三次元の姿勢に基づき、三次元の物体姿勢を決定する段階と、
が含まれる方法。
【請求項１０】
機械視覚システムにおいて、
学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、
プロセッサ判読可能媒体であって、
複数のイメージセンサから学習物体の第１視界の複数の画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、
一組の方程式を自動的に計算して解く段階と、
によって、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を容易にするための命令を記憶する前記プロセッサ判読可能媒体と、
少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、
が含まれる機械視覚システム。
【請求項１１】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、少なくとも２つの特徴間における少なくとも１つの不変の距離を用いることによって、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる機械視覚システム。
【請求項１２】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、特徴間において又は特徴の内の少なくとも１つによって閉塞された少なくとも１つの不変の面積を用いることによって、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる機械視覚システム。
【請求項１３】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、特徴間において又は特徴の内の少なくとも１つによって閉塞された少なくとも１つの不変の体積を用いることによって、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる機械視覚システム。
【請求項１４】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、一組の方程式及び未知数を提供するのに充分な、イメージセンサの数、識別される特徴の数、不
変の物理的関係が関連付けられた特徴の数、特徴に関連付けられた不変の物理的関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、未知数の数は、方程式の数以下である前記段階によって、物体に対する機械視覚を容易にする機械視覚システム。
【請求項１５】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解く段階であって、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である前記段階によって、物体に対する機械視覚を容易にする機械視覚システム。
【請求項１６】
物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚に有用な方法であって、
少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、
が実行前環境において含まれ、更に、
少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類に少なくとも部分的に基づき、取得される追加視界の数を決定する段階と、
少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、
第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、
が含まれる方法。
【請求項１７】
請求項１６に記載の方法であって、取得される複数の追加視界を決定する段階には、方程式をｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１計算して解く段階であって、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である前記段階が含まれる方法。
【請求項１８】
請求項１６に記載の方法であって、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階には、第１イメージセンサを基準にして第１位置及び第１方位の物体の画像を取り込む段階が含まれ、また、少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階には、第１イメージセンサを基準にして第２位置又は第２方位の内の少なくとも１つの物体の画像を取り込む段階が含まれる方法。    
【請求項１９】
請求項１６に記載の方法であって、第１視界の取り込まれた少なくとも１つの画像におけ
る学習物体の複数の特徴を識別する段階には、学習物体の複数の本来の構造的特徴又は学習物体に追加された複数の目印の内の少なくとも１つを識別する段階が含まれる方法。
【請求項２０】
請求項１６に記載の方法であって、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階には、それぞれのイメージセンサ座標系における取り込まれた画像のそれぞれの１つにおける各識別された特徴に対する姿勢を決定する段階が含まれる方法。
【請求項２１】
請求項１６に記載の方法であって、更に、
少なくとも１つのイメージセンサによって対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
各ローカルモデルの基準姿勢を計算して決定する段階と、
共通基準座標系における各ローカルモデルの姿勢を計算して決定する段階と、によって、
実行時環境において姿勢を推定する段階が含まれる方法。
【請求項２２】
請求項２１に記載の方法であって、実行時環境において姿勢を推定する段階は、更に、方程式の数が未知数の数以上である場合、一組の複数の方程式及び複数の未知数を同時に解くことによって、対象物体の姿勢と学習物体の姿勢との間における変換を計算して決定する段階による方法。
【請求項２３】
請求項１６に記載の方法であって、更に、
実行前環境において、少なくとも１つのイメージセンサを較正する段階が含まれる方法。
【請求項２４】
請求項２３に記載の方法であって、少なくとも１つのイメージセンサを較正する段階には、少なくとも１つのイメージセンサ用の一組の固有のパラメータを取得する段階が含まれる方法。
【請求項２５】
請求項２３に記載の方法であって、少なくとも１つのイメージセンサを較正する段階には、ロボット座標系を基準にして、少なくとも１つのイメージセンサの姿勢を決定する段階が含まれる方法。
【請求項２６】
機械視覚システムにおいて、
学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、
プロセッサ判読可能媒体であって、
少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、
によって、実行前環境において、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体であって、更に、
少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の
特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類に少なくとも部分的に基づき、取得される追加視界の数を決定する段階と、
少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、
第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、
によって、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体と、
少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、
が含まれる機械視覚システム。
【請求項２７】
請求項２６に記載の機械視覚システムであって、前記少なくとも１つのイメージセンサには、ビデオカメラ又はデジタルスチルカメラの内の１つが含まれる機械視覚システム。
【請求項２８】
請求項２６に記載の機械視覚システムであって、前記命令により、プロセッサは、方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解くことによって、取得される追加視界の数を決定し、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である機械視覚システム。
【請求項２９】
請求項２６に記載の機械視覚システムであって、前記命令により、プロセッサは、それぞれのイメージセンサ座標系における取り込まれた画像のそれぞれの１つにおける各識別された特徴に対する姿勢を決定することによって、前記数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する機械視覚システム。
【請求項３０】
請求項２６に記載の機械視覚システムであって、前記命令により、プロセッサは、
少なくとも１つのイメージセンサによって対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
各ローカルモデルの基準姿勢を計算して決定する段階と、
共通基準座標系における各ローカルモデルの姿勢を計算して決定する段階と、
対象物体の姿勢と学習物体の姿勢との間における変換を計算して決定する段階と、
によって、実行時環境において姿勢を推定することによって、更に機械視覚を容易にする機械視覚システム。
【請求項３１】
請求項３０に記載の機械視覚システムであって、前記命令により、プロセッサは、実行前環境において、少なくとも１つのイメージセンサを較正する段階によって、更に姿勢推定を容易にする機械視覚システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ロボット工学、検査又はモデル化に有用であると思われる機械視覚の分野に関する。
【背景技術】
【０００２】
産業用ロボットを使用した製造活動が益々多くなりつつある。盲目的運動再生機械として従来用いられてきたロボットは、今や、知能を有するセンサベースのソフトウェアの恩恵を受けて、それらの周辺環境の変化に順応しようとしている。特に、機械視覚の用途は、産業用ロボット工学において増加傾向にある。通常の視覚誘導ロボットシステムは、１つ以上のカメラに到達する１つ以上の画像を、ロボットの工具が作業を行う加工物の位置及び方位等の情報に分解する。
【０００３】
視覚誘導ロボットの初期の実施例は、本来、二次元空間において、限定された部分の姿勢情報しか提供してこなかったため、所定部位の動きは、平面に制約されていた。例えば、ラルッサ（ＬａＲｕｓｓａ）による米国特許第４，４３７，１１４号を参照されたい。しかしながら、多くのロボット用途において、ロボットは、三次元で対象加工物を位置特定し操作する必要がある。このニーズは、様々な三次元の誘導能力の提供に対する多くの試行の火付け役となった。多くの過去の事例では、このことには、いわゆる立体構成における対象物体の重なり合う領域を見る２つ以上のカメラを用いる必要があった。２つ以上の視点から見られる重なり合う画像又は視野は、多くの物体特徴を含む。各画像に対応する特徴の見かけの位置間の差、即ち、視差は、そのような特徴の三次元座標を計算するために利用され得る。例えば、バーク（Ｂｉｒｋ）らによる米国特許第４，１４６，９２４号及びビーマン（Ｂｉｅｍａｎ）らによる米国特許第５，９５９，４２５号を参照されたい。
【０００４】
立体ベースのシステムには多くの欠点が存在するので、産業用途には非実用的である。そのようなシステムにおける測定誤差は、画像特徴検出誤差に応じて急速に増大するが、これらのシステムも、カメラ対間における厳密な既知の幾何学的関係を必要とする。更に、本立体方法には、少なくとも２倍の数のカメラを用いることが必要であり、これによって、コスト、複雑さ及び較正に対する必要性が増大する。
【０００５】
多数のカメラで物体を位置特定する過去の試行では、縞模様、十字形等の様々な静止又は可動パターンを対象の物体に投光するレーザ光投光器と組み合わせたビデオカメラが利用されてきた。これらのシステムには、通常、共通の座標系に対して較正されなければならないレーザとカメラの組合せを伴い、また、加工する対象物体の幾何学的形状に関する特定の仮定を必要とする。例えば、ウツミ（Ｕｔｓｕｍｉ）による米国特許第５，１６０，９７７号を参照されたい。
【０００６】
そのような試行の欠点には、標準の出来合いのハードウェアを用いるのとは反対に、高価な専用のセンサに対する必要性、カメラ及びレーザを含むシステムの全要素間における厳密な幾何学的関係に関する知識に対する必要性、産業環境での動作時の損傷又は位置合わせ不良の受けやすさ、並びに、レーザ光源が人間のオペレータに近接して配備される場合、安全を脅かす潜在的な危険の可能性等が含まれる。
【０００７】
上記の考慮すべき事項に基づき、立体カメラ対の必要性や、構造化された光及び専用センサの使用に対する必要性を省く三次元のロボット誘導システムを考案することが望ましい。そのようなシステムは、精度を高め、セットアップや保守を簡素化し、ハードウェア
コストを低減する。
【０００８】
物体の３次元的姿勢を計算するために、単一のカメラを利用して物体の各領域／特徴を見る従来の方法が開発されてきた。例えば、マックギー（ＭｃＧｅｅ）による米国特許第４，９４２，５３９号及びエルス（Ｅｒｓｕ）による欧州特許第０９１１６０３Ｂ１号、を参照されたい。しかしながら、これらの及び同様な方法には、ロボット等の共通座標系に対する全てのカメラの較正が必要である。実際、そのような要件は、実現するには厄介で時間がかかり、また、自動化するのが困難である。これらの方法には、また、用いられる全物体特徴間の幾何学的な関係に関する事前知識が必要である。そのようなデータ用の１つのソースは、オブジェクトコンピュータ援用設計（ＣＡＤ）モデルである。しかしながら、そのようなデータファイルは、容易に利用可能でないことが多い。ＣＡＤデータが無い状態で、過去のシステムは、座標測定機械又はポインティングデバイスを装備したロボットを用いた直接的物体測定に依拠してきた。このプロセスは、異なる領域に特徴が分散された大きな物体の場合、特に、困難であり、誤差を生じ易い。
【特許文献１】米国特許第４，４３７，１１４号
【特許文献２】米国特許第４，１４６，９２４号
【特許文献３】米国特許第５，９５９，４２５号
【特許文献４】米国特許第５，１６０，９７７号
【特許文献５】米国特許第４，９４２，５３９号
【特許文献６】欧州特許第０９１１６０３Ｂ１号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、立体カメラ及びレーザに対する必要性を省くのに加えて、カメラ間較正に対する必要性及び全物体特徴間の幾何学的関係に関する事前知識に対する必要性も省く三次元のロボット誘導システムを開発することが極めて望ましい。
【課題を解決するための手段】
【００１０】
一態様において、物体の機械視覚に有用な方法には、複数のカメラから学習物体の第１視界の複数の画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、一組の方程式を自動的に計算して解く段階と、が含まれる。本方法は更に、一組の方程式及び未知数を提供するのに充分な、イメージセンサの数、識別される特徴の数、不変の物理的関係が関連付けられた特徴の数、特徴に関連付けられた不変の物理的関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定でき、ここで、未知数の数は、方程式の数以下である。不変の物理的関係が距離である場合、視界の数は、例えば、方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解くことによって決定され、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、及びｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である。
【００１１】
他の態様において、機械視覚システムには、学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、プロセッサ判読可能媒体であって、複数のカメラから学習物体の第１視界の複数の画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、
一組の方程式を自動的に計算して解く段階と、によって、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を容易にするための命令を記憶する前記プロセッサ判読可能媒体と、少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、が含まれる。
【００１２】
更に他の態様において、プロセッサ判読可能媒体は、プロセッサが、複数のカメラから学習物体の第１視界の複数の画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、幾つかの識別された特徴間の物理的関係の少なくとも１つの整合性を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、一組の方程式を自動的に計算して解く段階と、によって、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を容易にするための命令を記憶する。
【００１３】
更に他の態様において、物体の機械視覚に有用な方法には、複数のカメラから学習物体の第１視界の複数の画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、識別された全特徴より少ない特徴にパラメータを関連付ける段階であって、前記パラメータは、特徴と少なくとも１つの他の特徴との間、特徴と少なくとも１つのカメラとの間、又は、少なくとも１つのカメラと少なくとももう１つのカメラとの間のいずれかにおける不変の物理的関係を定義し、特徴の内の各特徴と少なくとも１つの他の特徴との間における不変の物理的関係は、実行前、パラメータを関連付ける際、未知である前記段階と、一組の方程式及び未知数を提供するのに充分な、カメラの数、識別される特徴の数、パラメータが関連付けられた特徴の数、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、未知数の数は、方程式の数以下である前記段階と、少なくとも１つのカメラによって、学習物体の前記数の各追加視界の少なくとも１つの画像を取り込む段階と、学習物体の前記数の追加視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、が含まれる。
【００１４】
更に他の態様において、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚に有用な方法には、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、が実行前環境において含まれ、更に、少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類に少なくとも部分的に基づき、取得される追加視界の数を決定する段階と、少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、が含まれる。
【００１５】
更に他の態様において、機械視覚システムには、学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、プロセッサ判読可能媒体であって、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、特徴と少なくとも１つの他の特徴との間、又は、特徴と
少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、によって、実行前環境において、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体であって、更に、少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類に少なくとも部分的に基づき、取得される追加視界の数を決定する段階と、少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、によって、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体と、少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、が含まれる。
【００１６】
更なる態様において、プロセッサ判読可能媒体は、プロセッサが、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける物理的関係を定義する識別された全特徴より少ない特徴にパラメータを関連付ける段階と、によって、実行前環境において、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を容易にするための命令を記憶し、更に、少なくとも１つの画像を取り込むイメージセンサの数及び識別された学習物体の特徴の数に少なくとも部分的に基づき、取得される追加視界の数を決定する段階と、少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、によって、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を容易にするための命令を記憶する。
【発明を実施するための最良の形態】
【００１７】
図面において、同じ参照番号は、同様な要素又は作用を特定する。図面における要素の大きさ及び相対的な位置は、必ずしも縮尺通りに描かれているとは限らない。例えば、様々な要素及び角度の形状は、一律の縮尺に従って描かれておらず、これらの要素には、図面の可読性を改善するために任意に拡大され配置されたものもある。更に、描かれたままの要素の特定の形状は、特定の要素の実際の形状に関する何らかの情報を伝達することを意図しておらず、また、図面中での認識を容易にするためにのみ選択されている。
【００１８】
以下の説明では、様々な開示した実施形態の完璧な理解を提供するために、ある程度具体的な詳細が記載されている。しかしながら、当業者は、実施形態が、これら具体的な詳細の１つ以上が無くても、又は、他の方法、構成要素、材料等で実施し得ることを認識されるであろう。他の例では、ロボットシステム、ロボット、計算処理システム、プロセッサ及び／又はイメージセンサに関連する公知の構造については、実施形態の説明が不必要に不明瞭になるのを回避するために、詳細に例示又は説明されていない。
【００１９】
文脈上要求されない限り、以下の明細書及び請求項全体において、単語“含まれる（ｃｏｍｐｒｉｓｅ）”及び“含まれる（ｃｏｍｐｒｉｓｅｓ）”及び“含まれる（ｃｏｍｐ
ｒｉｓｉｎｇ）”等のその派生語は、“に限定するものではないが、を含む”のように、オープンな包括的な意味で解釈されるものとする。
【００２０】
本明細書全体において、“１つの実施形態”又は“一実施形態”に対する参照は、その実施形態に関連して記述された特定の特徴、構造又は特性が、少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体の様々な箇所に“１つの実施形態において”又は“一実施形態において”という句が出現しても、必ずしも全てが同じ実施形態を参照しているとは限らない。更に、特定の特徴、構造、又は特性は、何らかの適切なやり方で、１つ以上の一実施形態において組み合わせ得る。
【００２１】
本明細書において提供された見出しは、単に便宜上のものであり、実施形態の範囲又は意味を説明するものではない。
機械視覚システム及び方法を本明細書に開示するが、これは、幾つかの実施形態において、三次元空間（“３Ｄ姿勢”）において、対象物体の位置及び方位を自動的に又は半自動的に決定するために用い得る。ロボットに関連する座標基準系等の外部座標系における対象物体の３Ｄ姿勢の決定は、物体特徴又は目標物を位置特定するために、カメラ等の１つ以上のイメージセンサを用いて行われる。各イメージセンサは、１つ以上の特徴を含む対象物体の異なる領域を観察可能であり、これによって、機械視覚システムは、部分的な閉塞及び個々のイメージセンサからの画像の欠落に対して極めて堅牢であり得る。特徴の見かけの位置は、画像特徴位置又はローカルモデルを決定するために用いられ、そして、これらは、ロボット座標基準系を基準として対象物体の回転及び平行移動を求めるために疎モデル情報と共に処理される。計算された物体３Ｄ姿勢を用いて、ロボット動作経路が対象物体の現在位置と整合するように、この経路を変換し得る。
【００２２】
少なくとも一実施形態において、本機械視覚システムは、以下の方法の幾つか又は全てを実現し得る。各イメージセンサ用の固有のパラメータを計算する段階と、外部座標系を基準として少なくとも１つのイメージセンサ（“基準カメラ”）の姿勢を計算する段階と、によってイメージセンサを較正すること。学習物体を第１‘影像位置’に配置して、第１影像位置において取られた画像の集合体を第１視界又は視界１と表現する一方で、学習物体の特定の領域に向けられた各イメージセンサを用いて、学習物体の画像を捕捉する又は取り込む段階と、画像に存在する可視の幾何学的特徴、例えば、線、等高線、円などを選択する段階と、疎モデル情報、言い換えると、幾つかの選択された特徴間の幾何学的物理的関係（例えば、距離、面積、体積等）を入力する段階と、によって物体特徴を学習させること。選択された特徴の数及び提供された疎モデル情報の程度に基づき、追加視界の数を演算する段階と、少なくとも２つの特徴を視野内に維持しつつ、１つの系として学習物体及び／又はイメージセンサを移動する段階と、追加視界の画像を取り込む段階と、学習物体を繰り返し移動し、決定された数の各追加視界に対する画像を取り込む段階と、によって、より多くの視界を取り込むことによって物体を学習させること。学習された特徴を全視界の画像から抽出する段階と、一組の方程式を解くことによって、それぞれのイメージセンサ座標系における３Ｄ特徴位置を演算する段階と、一組の方程式を解いた結果を用いて、物体３Ｄ姿勢を計算する段階と、によって３Ｄ物体位置を演算すること。
【００２３】
本明細書において用いるモデルベースの姿勢判断とは、１つ以上の影像位置から１つ以上のイメージセンサを用いて捕捉された又は取り込まれた物体の１つ以上の画像を用いて物体の３Ｄ姿勢を決定し、これによって、物体特徴の見かけの位置及び物体特徴間の関係に関する情報が、前記特徴の剛性の仮定、即ち、一定の物理的関係と共に利用されるための或る種類のアルゴリズムを意味する。一般的に、カメラとは、レンズ及びシャッタが装備された絞りを備える遮光室が含まれ、それを通して物体の画像が表面に投影され電気パルスに変換される装置を意味する。一般的に、物体とは、独特な特徴（即ち、物体特徴）を有する物を意味する。画像とは、所定の物理的な又は仮想の視点から捕捉された又は取
り込まれた対象の物体の物理的な又は見せかけの表現を意味する。影像位置は、物体及びイメージセンサの１つの相対的な位置であり、これによって、前者と後者との間の関係は、全てのイメージセンサによる撮像又は取り込みの間、一定のままである。物体が移動している場合、この効果は、高速影像及び照光手法を用いて達成し得る。一般的に、視界とは、所定の影像位置において取られた画像の集合を意味する。一般的に、物体特徴又は特徴とは、画像における物体の可視特性を意味する。例えば、物体上の孔の輪郭を示す円弧又は物体に付けられた人為的な目印の輪郭を示す可視の縁端部又は可視の特性から、例えば、数学的に生成された仮想特性又はレーザ光源等の光源と物体上の特徴との相互作用の結果。光線とは、イメージセンサの中心及び画像特徴及び対応する物体特徴を通過する線を意味する。
【００２４】
図１は、機械視覚システム１０及び加工物又は物体１２を示す。機械視覚システム１０には、少なくとも１つのロボット１４が含まれ、少なくともその一部は、物体１２を基準にして、選択的に配置し得る。機械視覚システム１０には、更に、制御システム１６を含み、これは、計算処理システム１８を含んでよく、また、信号経路２０によって制御信号を提供してロボット１４を制御する。信号経路２０は、パラレル又はシリアル通信のいずれかに適する任意の有線及び／又は無線通信媒体の形態を取り得る。制御システム１６には、更に、画像取り込みシステム２２を含むことができ、これには、１つ以上のイメージセンサ２４ａ、２４ｂ、２４ｃが含まれ、これらは、各々、物体１２の部位の画像を取り込むように配置されたそれぞれの視野（破線）２６ａ、２６ｂ、２６ｃを有する。
【００２５】
計算処理システム１８には、１つ以上のプロセッサ、メモリ、及びバスを含むコンピュータ２８を含み得る。計算処理システム１８には、更に、１つ以上の入出力装置、例えば、表示装置３０、キーボード３２、及びマウス３４等のポインティングデバイスを含み得る。メモリには、例えば、１つ以上の読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスク３６（図を簡単にするために、コンピュータ２８の外部に配置して示す）、１つ以上の着脱可能なメモリ３８、例えば、フロッピー（登録商標）ディスク、ＣＲ−ＲＯＭ、光ディスク、ウィンチェスタディスクドライブ等を含み得る。メモリは、詳細に後述するように、プロセッサの動作用の命令及びデータを静的に又は動的に記憶する。
【００２６】
イメージセンサ２４ａ、２４ｂ、２４ｃは、物体１２の二次元の画像を捕捉する又は取り込むことが可能な様々な形態のいずれかを取り得る。通常の用途では、イメージセンサ２４ａ、２４ｂ、２４ｃは、ビデオカメラ又はデジタルスチルカメラの形態を取る。イメージセンサ２４ａ、２４ｂ、２４ｃは、１つ以上の信号経路４０ａ、４０ｂ、４０ｃによって接続され、コンピュータ２８に画像データを供給する。信号経路４０ａ、４０ｂ、４０ｃは、任意の有線及び／又は無線通信媒体の形態を取り得る。
【００２７】
特に、イメージセンサ２４ａ、２４ｂ、２４ｃは、物体１２上の様々な特徴の画像を取り込むために配置される。従って、例えば、第１イメージセンサ２４ａは、特徴４２ａ、４２ｂ、４２ｃの画像を取り込み、第２イメージセンサ２４ｂは、特徴４２ｄ、４２ｅ、４２ｆの画像を取り込み、第３イメージセンサ２４ｃは、特徴４２ｇ、４２ｈ、４２ｉの画像を取り込む。ほとんどの用途において、イメージセンサ２４ａ、２４ｂ、２４ｃは、少なくとも幾つかの同じ特徴４２ａ−４２ｉが含まれる画像を取り込む。各イメージセンサ２４ａ−２４ｃの視野は、適切な数の部分的特徴が各視界において可視であるように選択される。特徴４２ａ−４２ｉは、物体１２に固有の視覚的に際立った特徴、例えば、長穴、孔、又は他の開口部、線、及び／又は縁端部であってよい。更に又は他の選択肢として、特徴４２ａ−４２ｉは、物体１２に置かれ、配置され、エッチングされ、又は刻印された視覚的に際立った特徴、例えば、機械視覚システム１０による認識のためだけに物体１２上に設けられたシール、ステッカ、又は長穴、孔又は他の開口部であってよい。
【００２８】
図示例において、ロボット１４は、可動アーム４４を有し、これは、物体１２を基準にして選択的に配置し得る。他の選択肢として、幾つかの実施形態において、ロボット１４又はロボット１４全体の複数部位は、物体を基準にして選択的に配置し得る。例えば、ロボット１４全体が、選択的に配置可能である場合、物体１２は、部屋を形成する壁等、ロボット１４が含まれる環境の形態を取り得る。そのような実施形態において、特徴４２ａ−４２ｉは、かなり標準的な特徴を有する何らかの共通の要素、例えば、コンセントカバーであってよい。他の選択肢として、機械視覚システム１０による認識のためだけに、印を環境に付けてよい。
【００２９】
図２Ａは、イメージセンサ２４ａ、２４ｂ、２４ｃが、学習物体１２ａの第１視界に対応するそれぞれの画像を取り込むことができるように、画像装置センサ２４ａ、２４ｂ、２４ｃを基準にして、第１姿勢（即ち、位置及び／又は方位）にある学習物体１２ａを示す。学習物体１２ａは、ロボット１４が扱っている、もしくは、相互に作用している実際の又は“対象の”物体と外観が同様又は同じであるべきである。
【００３０】
図３Ａは、第１イメージセンサ２４ａによって取り込まれた第１視界の画像４６ａ（図２Ａ）の内の１つを示す。複数の特徴４２ａ−４２ｃが、画像４６ａにおいて可視である。図２Ａに明示的に示した少数の特徴２４ａ−２４ｃは、長穴又は孔であるが、画像４６ａには、学習物体１２ａの縁端部及び／又は角部等の、他の特徴を含み得る。
【００３１】
図２Ｂは、イメージセンサ２４ａ、２４ｂ、２４ｃが、学習物体１２ａの第２視界に対応するそれぞれの画像を取り込むことができるように、画像装置センサ２４ａ、２４ｂ、２４ｃを基準にして、第２姿勢（即ち、位置及び／又は方位）にある学習物体１２ａを示す。
【００３２】
図３Ｂは、第１イメージセンサ２４ａによって取り込まれた第２視界の画像４６ｂ（図２Ｂ）の１つを示す。画像４６ａにおいて可視である特徴４２ａ−４２ｃの少なくとも幾つかは、画像４６ｂにおいても可視である。詳細に後述するように、機械視覚システム１０は、様々な姿勢において、学習物体１２ａの少なくとも１つのイメージセンサ２４ａ、２４ｂ、２４ｃによる少なくとも１つの画像を取り込み、優位点として、学習物体１２ａの多数の視界画像を生成し得る。
【００３３】
図４は、例示した一実施形態による、姿勢推定を容易にする際有用な高水準の方法１００を示す。方法１００又はその部分は、プロセッサによって、例えば、プロセッサ判読可能媒体３６、３８（図１）に記憶された命令に基づき実行し得る。
【００３４】
１０２において、イメージセンサ２４ａ−２４ｂは、較正される。較正は、実行時に先立って、セットアップ時に行われる。１０４において、機械視覚システム１０は、学習する。また、学習は、実行時に先立って、セットアップ時に行われる。オプションとして、計算処理システム１８は、１０６において、対象物体１２の姿勢（図２Ａ、２Ｂ、３Ａ、３Ｂ）を推定する。姿勢推定は、実行時、例えば、生産モードにおいて、セットアップに続き行われる。意図した動作中に対象物体の特徴を認識するのは、システムの動作時である。幾つかの実施形態において、機械視覚システム１０は、姿勢推定以外のタスク、例えば、検査又はモデル化に用い得る。較正、学習、及び姿勢推定については、図５−１１を参照して、各々詳細に後述する。
【００３５】
図５は、例示した一実施形態による、イメージセンサ２４ａ−２４ｃを較正する方法１０２を示す。１１０において、各イメージセンサ２４ａ−２４ｃ用の固有のパラメータが決定される。固有の較正は、全てのイメージセンサ２４ａ−２４ｃに対して行われ、焦点
距離、イメージセンサ中心及びひずみ率等の内部パラメータの決定を伴う。好適な較正アルゴリズムの説明及び計算される変数の説明は、２００４年１１月９日に発行され本発明の譲受人に譲渡された米国特許第６，８１６，７５５号及び係属出願連番第１０／６３４，８７４号に見出し得る。本方法は、固有の較正を実施するための他の多くの既知の手法のいずれかを用い得る。
【００３６】
幾つかの実施形態において、イメージセンサ２４ａ−２４ｃの固有の較正は、現場での据付前に実施し得る。そのような状況では、較正データは、記憶され、そして、各イメージセンサ２４ａ−２４ｃに提供される。通常の内部パラメータ、例えば、特定のカメラモデル−レンズ組合せに関連付けられたパラメータを特定のイメージセンサに用いることも可能である。
【００３７】
１１２において、外因性の較正は、イメージセンサ２４ａ−２４ｃの１つ以上の姿勢を決定することによって行い得る。例えば、イメージセンサの内の１つ２４ａは、ロボット座標系４５（図１）を基準として較正するが、他のイメージセンサ２４ｂ、２４ｃを較正しなくてもよい。外因性の較正によって、イメージセンサ座標基準系と外部座標系（例えば、ロボット座標基準システム）との間の関係（即ち、３Ｄ変換）は、例えば、演算によって決定される。少なくとも一実施形態において、外因性の較正は、少なくとも１つのイメージセンサ２４ａ−２４ｃに対して、好適な基準座標系、通常、ロボット１４のそれに合わせて行われる。好適な外因性の較正アルゴリズムの説明及び計算される変数の説明は、２００４年１１月９日に発行され本発明の譲受人に譲渡された米国特許第６，８１６，７５５号及び係属出願連番第１０／６３４，８７４号に見出し得る。本方法は、外因性の較正を実施するための他の多くの既知の手法のいずれかを用い得る。
【００３８】
幾つかの実施形態は、イメージセンサ（１つ以上）２４ａ−２４ｃの外因性の較正を、例えば、本方法が、ロボット座標系４５等の外部座標系を基準にして姿勢推定を実施することなく、包括的な物体モデルを生成するためだけに用いられる場合、省略し得る。
【００３９】
図６は、例示した一実施形態による学習物体１２（図１）特徴を基準にして機械視覚システム１０を学習させる方法１０４を示す。学習とは、プロセスを意味し、これによって、物体及びその属性が、機械視覚システム１０に導入される。学習プロセス時、学習物体１２ａの画像は、捕捉又は取り込まれ、様々な目標特徴が、選択されるが、それらの幾何学的な特性は、決定され記憶される。幾つかの実施形態では、画像を疎モデル情報と共に記憶し得るが、他の実施形態では、画像から抽出された特徴情報を疎モデル情報と共に記憶し得る。機械視覚システム１０の動作時、後者の情報は、実行時データと共に用いられ、対象物体１２の３Ｄ姿勢が演算される。学習において記憶されたデータは、‘学習セット’と呼称し得る。学習セットは、１つ以上の位置において、様々なイメージセンサ又はカメラ２４ａ−２４ｃによって捕捉又は取り込まれた学習物体１２ａの画像を解析することによって、構成される。  物体特徴学習プロセス時、学習物体１２の所定の視界における画像は、様々な特徴を選択するために用いられ、その幾つかに対して疎モデル情報が導入され、各視界の画像と共に記憶される。他の選択肢として、特徴情報は、画像から抽出して記憶し得るため、画像を記憶する必要がない。
【００４０】
１２０において、学習物体１２の第１視界（図１）が取り込まれ、特徴４２ａ−４２ｉが学習される。例えば、図１は、第１影像位置における学習物体１２（例えば、車体）を示す。各イメージセンサ２４ａ−２４ｃが、そのそれぞれの視野２６ａ−２６ｃの単一の画像を取り込む又は捕捉するように指示される時、学習物体１２は、静止している。各イメージセンサ２４ａ−２４ｃの視野２６ａ−２６ｃは、各視界において、１つ以上の物体特徴が可視であるように選択される。
【００４１】
姿勢判断に適する物体特徴４２ａ−４２ｉを選択するプロセスは、完全に自動のものから厳格にユーザ主導式のものにまで及ぶ。半自動の一実施形態において、取り込まれた画像は、表示装置３０（図１）上でグラフィカルユーザーインターフェイスを介して、ユーザに提示される。ユーザを支援するために、計算処理システム１８は、画像に対して或る程度の解析（例えば、画像の高コントラスト領域の強調表示）を実施して、特徴４２ａ−４２ｉとして用いられる適切な候補を指摘し得る。そして、この情報は、各イメージセンサ２４ａ−２４ｃからの画像に重ね合わせられ、ユーザに提示される。そして、ユーザは、画像に存在する可視の幾何学的特徴４２ａ−４２ｉの選択に進む。例えば、特徴４２ａ−４２ｉには、妥当で信頼性が高いと思われる線、縁端部、等高線、円、角部、中心等を含み得る。
【００４２】
幾つかの実施形態において、ユーザは、イメージセンサ２４ａ−２４ｃ当り１つ以上のローカルモデルを生成し得る。１つ以上の物体特徴４２ａ−４２ｉを各ローカルモデルに割り当て得る。そして、割り当てられた物体特徴４２ａ−４２ｉは、点や線等の一連の基本的な幾何学的エンティティ（“プリミティブ”）に分解される。他の選択肢として、特徴選択及びローカルモデル割当ては、予め設定された判断基準に基づき、計算処理システム１８によって自動的に行ない得る。
【００４３】
そのような実施形態において、様々なモデルベースの手法を用いて、ローカルモデルの３Ｄ姿勢を計算し得る。この姿勢を計算し得る自由度は、物体特徴を分解することによって取得されたプリミティブの総数、様々なプリミティブの比率、用いられた特定のモデルベースの方法に依存する。例えば、ローカルモデルは、単一の円形の特徴から構成し得る。この場合の円は、円周に沿って不変の点を選択することによって、多数の‘点’タイプのプリミティブに分解し得る。その結果得られたローカルモデルは、利用可能な画像解像度及び要求される精度に依存して、３乃至５の自由度を提供することが可能である。対照的に、正方形の物体特徴と円形の物体特徴を組み合わせることによって構築されたローカルモデルを立ち上げて、合計５つの点タイプのプリミティブ（例えば、円の中心から１つ及び正方形の４つの角部から４つ）を生成し得る。このローカルモデルは、それぞれのイメージセンサ２４ａ−２４ｃを基準として６つの全自由度の姿勢を提供することが可能である。本質的には、同じ物体特徴（１つ以上）（例えば、円形の特徴）は、他の特徴の利用可能性、並びに、物体の姿勢が計算される所望の自由度の点でのアプリケーション要件に基づき、プリミティブに様々に分解し得る。ローカルモデルの学習を完了するために、機械視覚システム１０は、それぞれのカメラ座標系（“ローカルモデル基準姿勢”）における（対応する自由度で）各ローカルモデルの現在の３Ｄ姿勢を計算し記憶する。例えば、単一の円形の特徴を用いて構築されたローカルモデルの場合、３乃至５の自由度を備えたモデルの３Ｄ姿勢は、ａ）円形の特徴を分解し、円の円周上の不変の点を選択することにより５以上の点プリミティブを提供する段階と、ｂ）本発明の譲受人に譲渡された米国特許第６，８１６，７５５号及び米国非仮特許出願連番第１０／６３４，８７４号に引用された単一カメラ（Ｓｉｎｇｌｅ＿Ｃａｍｅｒａ）３Ｄ法を用いて、カメラ座標系に対するローカルモデルの相対的な３Ｄ姿勢を計算する段階と、によって計算される。
【００４４】
図６において、所定の機械視覚システム１０の特定のパラメータ及び構成に依存して、学習には、２つ以上の位置で学習物体１２を影像すること（即ち、複数の影像位置で取り込まれる又は捕捉される複数の視界）が必要な場合がある。従って、１２１において、計算処理システム１８又はユーザは、画像が取り込まれる複数の追加視界を決定する。第１視界に加えて、追加視界の数は、後述するように決定されが、ここで、ｆは、特徴の数であり、ｍは、測定値（捕捉又は取り込み位置、視界）の数であり、ｒは、既知の光線（即ち、イメージセンサの中心から物体１２上の特徴までの距離が既知である場合）の数であり、ｃは、イメージセンサの数であり、ｋｄは、特徴間における既知の距離の数である。
【００４５】
ｃが、１以上であり、ｆが、４以上であり、ｒが、２以上であるか又はｋが、１以上のいずれかである場合、解が存在する。解は、また、３つの特徴の（即ち、ｆが３に等しい）場合で、ｒ＋ｋが３に等しく（例えば、｛ｒ＝３且つｋ＝０｝又は｛ｒ＝２且つｋ＝１｝又は｛ｒ＝１且つｋ＝２｝又は｛ｒ＝０且つｋ＝３｝）、また、ｍが、２以上であれば、可能である。また、角度の様な距離以外の不変の物理的関係を用いて一組の方程式を構築するならば、１つの既知の距離が、３つの特徴に対する一組の方程式を解く（即ち、姿勢を求める）のに充分であり得る。
【００４６】
場合によっては、特徴４２ａ−４２ｉを各イメージセンサ２４ａ−２４ｃの視野２６ａ−２６ｃ内に維持しつつ、１つ以上（ｍ）の異なる位置において、学習物体１２を移動することが、有用な場合があるが、ここで、ｍは、以下に述べる様に計算される。
【００４７】
一般的に、幾つかの又は全てのイメージセンサ２４ａ−２４ｃ間の関係が既知であると、
ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ−１））／（ｆ２−３ｆ）−１・・・（式０）
上式において、ｋ＞＝１、ｃ＞＝１、ｃｋ＞＝０。
【００４８】
ｃが１に等しいと、ｃｋは、０に等しい（即ち、単一のイメージセンサ２４ａだけがあることから、イメージセンサ２４ａ−２４ｃ間における物理的関係は、存在しない）。
全てのイメージセンサ２４ａ−２４ｃ間の関係が既知（即ち、ｃ＝ｃｋ＋１）であると、（式０）は、以下の通りになる。
【００４９】
ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ）／（ｆ２−３ｆ）−１、本式において、ｋ＞＝１。
双方の場合、上記、ｃが１以上、ｆが４以上、及び（ｒが２以上又はｋが１以上）が当てはまる。全ての方程式が、不変の物理的関係として距離だけを用いる場合、当てはまる。更に多くの不変の物理的関係が用いられる場合、これに伴って、ｍ（即ち、視界の数）は、減少する。
【００５０】
１２０における結果に基づき、イメージセンサ２４ａ−２４ｃを基準とした学習物体の姿勢が、オプションとして、１２２において変更され、学習物体１２の追加視界が取り込まれる。様々な影像位置に達するために、学習物体１２及び／又はイメージセンサ２４ａ−２４ｃは、互いに対して移動し得る。イメージセンサ２４ａ−２４ｃが移動されると、新しい位置におけるイメージセンサ２４ａ−２４ｃ間の関係は、求めるか、又は、他の位置と同じままである（“系として移動される”）べきである。一旦、新しい影像位置に達すると、新しい視界の画像が、取り込まれる。同じプロセスが、上記アルゴリズムによって示す回数だけ何回も繰り返され、所定のセットアップに対する学習を完了する。視界毎の画像は、学習の一部として記憶し得る。他の選択肢として、特徴情報は、画像から抽出して記憶してよく、これによって画像を記憶する必要がない。
【００５１】
１２４において、特徴は、学習物体１２の追加視界から抽出される。抽出については、図７を参照して、更に詳細に後述する。
１２６において、疎モデル情報が、計算処理システム１８に提供される。疎モデル情報は、物体特徴間又は単一の特徴の幾何学的な属性（例えば、円形特徴の直径）（これにより前者を計算し得る）間の幾何学的な物理的関係を、選択された全特徴より少ない特徴に対して記述する。疎モデル情報は、物体のＣＡＤモデルから直接測定又は計算して調達し得る。
【００５２】
１２８において、計算処理システム１８は、各イメージセンサ２４ａ−２４ｃに関連付けられたそれぞれの座標系における特徴の三次元の位置を演算し、ローカルモデルを生成
する。
【００５３】
図７は、例示した一実施形態により、特徴を抽出する方法１２４を示す。
１４０において、計算処理システム１８は、全ての視界から全ての画像が取り込まれた状態で始動する。１４２において、計算処理システム１８は、第１ループを実行し、視界（例えば、１乃至ｍ）を一度に１つ処理する。１４４において、計算処理システム１８は、第２ループを実行し、特定の視界からの各画像（例えば、１乃至ｃ）を一度に１つ処理する。１４６において、計算処理システム１８は、画像中において、現在の画像を取り込んだそれぞれのイメージセンサに対して以前学習された特徴の位置を特定する。１４８において、計算処理システム１８は、位置等の特徴情報を抽出する。１５０において、計算処理システム１８は、抽出された特徴情報を記憶する。特徴情報は、例えば、特定の画像における全特徴の画像又はイメージセンサ基準系におけるＸ及びＹ座標の索引付けされたリストとして記憶され、また、幾つかの実施形態では、追加の特徴情報、例えば、円の半径、楕円の中心点等を含み得る。
【００５４】
１５２において、計算処理システム１８は、現在の視界に対する追加の画像があるかどうか判断する。現在の視界に対する追加の画像がある場合、制御は、１４４に戻り、次の画像を処理する。現在の視界に対する追加の画像がない場合、制御は、１５４に移り、ここで、現在の視界に対する追加の画像は、追加視界があるかどうか判断する。追加視界がある場合、制御は、１４２に移り、次の視界を処理する。追加視界がない場合、制御は、１５６に移り、対象物体１２位置又は姿勢を演算する。
【００５５】
図８Ａ及び８Ｂは、各イメージセンサ２４ａ−２４ｃに関連付けられたそれぞれの座標系における特徴の三次元の位置を演算する方法１２８を示す。これは、例示した一実施形態により、ローカルモデルを生成するために用い得る。特に、方法１２８については、複数の各イメージセンサによって取り込まれた画像から抽出される情報、“カメラ１”と称される第１組の抽出された情報１６０ａ、及び“カメラｃ”２４ｃと称される第２組の抽出された情報１６０ｃ、を基にして述べる。方法１２８は、追加のイメージセンサ２４ａ−２４ｃによって取り込まれた画像から抽出された一組の情報に適用可能であり、これらの組の情報は、表記を簡単明瞭にするために、図８Ａ−８Ｂには明示的に示さない。
【００５６】
抽出された情報１６０ａ、１６０ｃの組には、それぞれのイメージセンサ２４ａ−２４ｃに対する、複数の各視界（例えば、視界１乃至ｍ）からの特徴情報のリスト、例えば、画像基準系座標系における特定の特徴４２ａ−４２ｉの座標を含み得る。特徴情報は、便宜的な命名法で表してよく、即ち、特徴情報を処理するためのソフトウェアプログラム、ルーチン又は機能において特定の情報を参照する際に用い得る。採用された命名法は、文字Ｆ、これに続く、特定の特徴を識別する上付き文字、特定の特徴を識別する第１下付き文字、及び特定のイメージセンサを識別する第２下付き文字によって特定の特徴を表す。また、特徴情報には、対応するイメージセンサ２４ａ−２４ｃの基準系における特徴のＸ、Ｙ座標を含み、更に、追加の情報を含み得る。
【００５７】
１６４において、計算処理システム１８は、１つの視界における各特徴４２ａ−４２ｉと他の全ての特徴４２ａ−４２ｉとの間の距離を、他の視界における同じ距離と等しくすることによって、非線形組の方程式を構築する。上記命名法を用いて、これは、数学的に以下の様に表し得る。
【００５８】
【数１】
2008506953.tif 000003
【００５９】
１２６において、疎モデル情報は、計算処理システム１８によって用いられる。疎モデル情報は、様々な形態、例えば、様々な特徴４２ａ−４２ｉ間、様々なイメージセンサ２４ａ−２４ｃ間、及び／又は様々な特徴４２ａ−４２ｉとイメージセンサ２４ａ−２４ｃとの間の距離を取り得る。１６８において、計算処理システム１８は、最小化アルゴリズムを用いて、全てではないにしても、少なくとも幾つかの特徴の三次元位置情報に対する一組の方程式を解く。１７０において、計算処理システム１８は、ＲＡＭ等の適切なプロセッサ判読可能媒体に三次元の位置情報を記憶する。
【００６０】
尚、イメージセンサ２４ａ−２４ｃ間の物理的関係が未知である場合、これらの関係は、方法１２８の一部として決定される。そのような場合、位置の数（ｍ）は、上述した一般的な事例に基づき決定される。幾つかの実施形態において、上述した方法を用いて、様々なイメージセンサの位置及び方位を、優位点として、機械視覚システムの据付けに対して自動化及び簡略化して決定し得る。
【００６１】
幾つかの実施形態において、計算処理システム１８は、ロボット座標系４５等の、外部座標系における対象物体１２の三次元の位置を決定する。そのようなプロセスの概要について述べ、これに続き、そのようなプロセスを実施するための複数の更に具体的な方法について議論する。
【００６２】
詳細に上述したように、計算処理システム１８は、各画像を検索して、各イメージセンサ２４ａ−２４ｃに対してできるだけ多くの学習された特徴を求める。他の選択肢として、計算処理システム１８は、以前記憶された特徴情報を用い得る。
【００６３】
画像座標系における特徴の位置は、従って、学習時記憶された疎モデル情報と共に用いられ、前節において説明されたアルゴリズムに基づき、非線形組の方程式を立て、そして、解くことによって、それぞれのイメージセンサ座標系における各特徴又は各ローカルモデルの姿勢が演算される。演算は、できるだけ又は望み通りに多くの自由度に対して行い得る。
【００６４】
特徴は、２つの視界（即ち、実行時及び学習視界）から選択され、特徴位置は、各イメージセンサ系から共通基準系に変換される。そして、これらの変換された位置は、３Ｄ物体姿勢を演算するために用いられる（図９参照）。
【００６５】
３Ｄ物体姿勢は、任意の数の既知の方法を用いて決定し得る。例えば、単一の円形の特徴を用いて構築されたローカルモデルの場合、現在のカメラを基準として３乃至５の自由度を備えたモデルの３Ｄ姿勢は、ａ）円形の特徴を分解し、円の円周上の不変の点を選択することにより５以上の点プリミティブを提供する段階と、ｂ）米国特許出願第１０／１５３，６８０号及び第１０／６３４，８７４号に引用された単一カメラ３Ｄ法を用いて、カメラ座標系に対してステップｂ）において生成されたローカルモデルの相対的な３Ｄ姿勢を計算する段階と、によって計算される。
【００６６】
ローカルモデルの概念が用いられる場合、学習時記憶されたそれぞれの各カメラ座標系におけるローカルモデル基準姿勢及び同じそれぞれの系における現在のローカルモデル姿
勢を用いて、基準カメラ座標系における学習時間及び実行時における各ローカルモデルの位置の計算は、上述したように演算し得る。このことを達成するために、本方法は、物体の剛性、及びその特徴間、従って、ローカルモデル間の幾何学的な関係の不変性を利用する。この特性は、ｎ方程式の組及びｍ未知数を形成することによって利用され、これによって、未知数は、学習及び実行時において、基準カメラ座標系におけるローカルモデルの姿勢要素から構成される。例えば、そのような組の方程式は、学習時及び実行時におけるローカルモデル間の距離に対する式を等しいとすることによって構成し得る。同様な組の方程式は、ローカルモデル間における相対的な距離ばかりでなく、前記ローカルモデルがそのような姿勢情報を提供する場合、それらの相対的な３Ｄ方位もまた等しいとすることによって構成し得る。
【００６７】
方程式の数（ｎ）及び未知数（ｍ）は、イメージセンサ又はカメラの数、ローカルモデルの数、各ローカルモデルによって提供された自由度の数、及び物体が影像され学習セットを完了すべき位置（影像位置）の数等、多数の因子によって影響される。以下の数式は、各因子がｍ及びｎの値に如何に影響を及ぼすか説明する。各特定の用途の場合、システムパラメータは、ｎ（以下の不等式の左辺）＞＝ｍ（以下の不等式の右辺）を提供し、解き得る一組の方程式になるように調整しなければならない。
【００６８】
【数２】
2008506953.tif 000004
【００６９】
上式において、
ｔ：学習セット＋１を完了するのに必要な影像位置の数
Ｃ：イメージセンサ又はカメラの数
Ｃｉ：ｉ番目のカメラ
Ｍｃｉ：ｉ番目のイメージセンサ又はカメラに対するローカルモデルの数
ｍｊｃｉ：ｉ番目のイメージセンサ又はカメラのｊ番目のモデル
Ｆｍｊｃｉ：ｉ番目のイメージセンサ又はカメラのｊ番目のモデルの自由度の数
例えば、４つのイメージセンサ又はカメラ（即ち、Ｃ＝４）から構成され、全てのｉに対して、イメージセンサ当り１つのローカルモデル（即ち、Ｍｃｉ＝１）を見て、各ローカルモデルが、３自由度姿勢（即ち、ｘ、ｙ、ｚ座標）を生成できる又は全てのｉ及びｊに対してＦｍｊｃｉ＝３であるシステムが与えられた場合、上記不等式を解き、見る位置の数ｔが得られ、２つ以上の見る位置（即ち、ｔ＞＝２）の要件の結果になる。言い換えると、上記パラメータが与えられた場合、２つの異なる位置において物体を見て（撮像して）、学習プロセスを完了する必要がある。
【００７０】
学習及び実行時の基準カメラ系におけるローカルモデルの姿勢は、基準カメラ座標系において、学習時と実行時との全物体の姿勢間の変換を計算するために、必要な情報を提供する。ここでそれに続く特定のステップは、各々によって提供されるローカルモデル及び自由度の数に依存する。例えば、３つのローカルモデルが存在し、各々、３つの自由度姿勢を提供する場合、学習時から実行時への前記物体変換を計算するタスクには、ローカルモデルの学習及び実行時姿勢に対応する２つの３Ｄ平面（系）に対するパラメータの計算、そして、これら平面間の変換の演算を伴う。非常に多くの数のローカルモデルが存在する他の場合、及び／又は幾つかの又は全てのローカルモデルがある程度の自由度を提供する場合、‘フィッティング’又は‘モーフィング’の更に手の込んだ手段を用いて、様々なローカルモデルからの冗長な姿勢データを調和し得る。
【００７１】
幾つかの実施形態において、機械視覚システム１０は、ロボット１４を誘導するために用い得る。幾つかのそのような実施形態において、学習プロセスは、対象物体１２に対するロボット１４の動作経路の学習も伴う。このタスクは、物体学習プロセスとは独立であり、また、学習プロセス全体の任意の点において着手し得る。経路は、人間のオペレータ又はユーザによって手動のロボット経路学習を通して、又はオブジェクトＣＡＤデータを用いて経路を生成し得るオフラインのロボット経路シミュレーション・ソフトウェアパッケージによって、生成し得る。経路生成は、学習プロセス全体の他の点において行い得る。
【００７２】
例えば、動作経路の学習には、学習物体１２ａが、ロボット経路学習が望まれる位置にある状態で、学習視界（即ち、ロボット学習視界）を取り込む段階を含み得る。実行時視界とロボット学習視界との間の３Ｄ変換は、各視界に対して計算された３Ｄ特徴位置を共通基準系に変換することによって決定し得る。これらの変換された位置を用いて、２つの視界間における物体姿勢の変換を演算し得る（図１０参照）。一旦、学習時間視界及び実行時視界からの物体の姿勢における動き又は差を記述する変換が決定されると、ロボット１４のコントローラに変換を送信して、意図した動作経路を調整し得る。ロボットコントローラは、計算処理システム１８によって、又はロボット１４と一体化している部分であってもなくてもよい別個のコントローラによって、実現し得る。オブジェクト３Ｄ姿勢データの通信を行うには、幾つかのオプションがある。これらには、‘３Ｄオフセット’、‘変換経路’及び‘オブジェクト系’法が含まれる。
【００７３】
３Ｄオフセット法では、計算処理システム１８は、演算された３Ｄ物体（ロボット座標系を基準として、学習時から実行時への）変換の要素をロボットコントローラに送信する。この変換は、その後、ロボットコントローラによって、意図した動作経路に適用される。
【００７４】
対照的に、変換経路法は、計算処理システム１８が、以前、学習において定義され、また、直接、アクセス可能なメモリ位置に記憶されたように、全ロボット経路に上記変換を適用する段階を伴う。この場合、修正された全経路が、適切な形態で、点又は他の幾何学的な定義として、ロボットコントローラに送信される。
【００７５】
オブジェクト系法は、オブジェクト姿勢データをロボットに送信するための更に便利なもう１つの方法である。この方法は、最初に、学習視界、即ち、物体基準系における物体３Ｄ姿勢をロボット１４に送信することによって機能する。そして、意図したロボット動作経路は、この系を基準として、物体が学習位置にある状態で、学習される。実行時、現在の物体系が、ロボットコントローラに送信され、そして、元の基準系の代わりに用いられる（図１０参照）。ロボットコントローラは、このメカニズムを用いて、その動作経路を調整する。
【００７６】
他の実施形態において、機械視覚システム１０は、ロボット１４を省略し得る。例えば、機械視覚システム１０は、どのようなロボット要素も制御することなく物体を検査するための検査システムの形態を取り得る。他の選択肢として又は更に、機械視覚システム１０は、疎モデル情報に基づき包括的な又は相対的に包括的なＣＡＤモデルを生成するモデル化システムの形態を取り得る。
【００７７】
図９は、第１の例示した実施形態による、対象物体１２の三次元の姿勢を演算する方法１０６ａを示す。
２００において、計算処理システム１８は、１７０において（図８Ａ）記憶された三次元の位置情報を用い、例えば、メモリから三次元の位置情報を検索する。２０２において
、計算処理システム１８は、所望の視界に対する特徴の位置をイメージセンサ基準座標系から共通基準系に変換する。２０４において、計算処理システム１８は、変換された２０２からの特徴位置を用いて、３Ｄ物体姿勢を決定する。
【００７８】
図１０は、他の例示した実施形態による、対象物体１２の三次元の姿勢を演算する方法１０６ｂを示す。方法１０６ｂは、見て動くやり方において、方法１０６ａ（図９）より、ロボット１４（図１）の誘導に適する場合がある。
【００７９】
２２０において、計算処理システム１８は、１７０（図８Ａ）において記憶された三次元の位置情報を用い、例えば、メモリから三次元の位置情報を検索する。２２２において、計算処理システム１８は、少なくとも３つの非共直線性特徴４２ａ−４２ｉを選択する。
【００８０】
２２４ａにおいて、計算処理システム１８は、物体１２が物体基準位置にあった視界からの選択された特徴を取る。２２４ｂにおいて、計算処理システム１８は、対象物体１２が現在の物体位置にあった視界からの選択された特徴を取る。
【００８１】
２２６、２２６ｂにおいて、計算処理システム１８は、選択された特徴の位置を各イメージセンサ座標系基準系から共通の座標系基準系に変換する。
２２８及び２２８ｂにおいて、計算処理システム１８は、変換された位置を用いて、物体基準系及び現在の物体系をそれぞれ構築する。
【００８２】
図１１は、更に他の例示した実施形態よる、対象物体１２の三次元の姿勢を演算する方法１０６ｃを示す。方法１０６ｃは、例えば、リアルタイムの又はほぼリアルタイムの環境において、移動する物体を追跡するために特に有用であり得る。方法１０６ｃの作用の多くは、方法１０６ｂの作用（図１０）と同様又は同じである。その結果、同じ参照番号を同様な又は同じ作用に用い、動作の重要な差異だけについて後述する。
【００８３】
方法１０６ｂとは対照的に、方法１０６ｃは、２２４ｃにおいて、以前の位置にある物体の視界から、選択された特徴を取る。これによって、リアルタイムの更新が可能である。
【００８４】
該当する方程式を含み、基礎となるアルゴリズムを簡単に説明すると、機械視覚システム１０及び方法の理解及び／又は実現に有用であろう。
機械視覚システム１０及び方法は、異なる物理的関係の恒常性又は不変性を利用して、一組の方程式を立て、これを解き、基準座標系を基準として、例えば、一般的な非線形最小化アルゴリズムを介して、対象物体の姿勢を決定し得る。恒常性又は不変性は、物体又は少なくともその一部が、剛性であるという仮定から生じる。一般的に、物理的関係は、対象物体上の様々な特徴間に存在する。機械視覚システム１０及び方法は、様々なイメージセンサ間及び／又は特徴とイメージセンサとの間における物理的関係等、他の物理的関係もまた用い得る。
【００８５】
特に、特徴４２ａ−４２ｉ間における距離、角度及び／又は閉塞された体積の不変性を用いて、一組の方程式を立て得る。しかしながら、他の追加の方程式は、他の一定の又は不変の特徴４２ａ−４２ｉ間における関係を利用することによって立て得る。以下のような例がある。
【００８６】
特徴座標：
−画像座標（画像から抽出）：ｘｉ、ｙｉ
−センサ座標（演算）：ｘｓ、ｙｓ、ｆ（焦点距離）（センサ面における特徴座標）
−カメラ空間座標（未知数）：ｘｃ、ｙｃ、ｚｃ
ピンホールカメラモデル関係：
【００８７】
【数３】
2008506953.tif 000005
（式１）  
【００８８】
【数４】
2008506953.tif 000006
（式２）  
【００８９】
例えば、異なる視界における特徴間の距離の不変性を利用し得る。２つの視界ｖ１及びｖ２に出現する２つの特徴ｆ１及びｆ２について考える。剛性の物体を仮定すると、ｆ１とｆ２との間の距離は、ｖ１からｖ２へは同じままであるべきである。この式は、以下のように表し得る。
【００９０】
【数５】
2008506953.tif 000007
（式３）  
【００９１】
（式１）及び（式２）を用いると、（式３）は、次のようになる。
【００９２】
【数６】
2008506953.tif 000008
（式４）  
【００９３】
特徴の各対は、ｍ視界に対してｔｍ＝ｍ・（ｍ−１）／２の式を生成する。合計ｎｆ特徴に対して、ｔｎｆ＝ｎｆ・（ｎｆ−１）／２の可能な対がある。従って、非線形系は、ｔ式＝ｔｎｆ・ｔｍの式及びｔ未知数＝ｎｆ・ｍの未知数を含む。
【００９４】
各既知の距離（ｄ）の場合、各視界の対応する式は、以下の通りである。
【００９５】
【数７】
2008506953.tif 000009
（式５）
【００９６】
従って、複数の既知の距離（ｋｄ）に対する方程式の総数は、以下の通りである。
【００９７】
【数８】
2008506953.tif 000010
（式６）  
【００９８】
各既知の光線及び画像装置座標系を基準とした特徴の対応するｚ座標（ｚｃ）の場合、未知数の数は、１だけ減少する。
同様に、機械視覚システム１０及び方法は、更に又は他の選択肢として、異なる視界における特徴間に形成された角度の不変性を利用し得る。例えば、２つの視界ｖ１及びｖ２から抽出された３つの特徴ｆ１、ｆ２及びｆ３について考える。ｆ１、ｆ２（Ａ）及びｆ２、ｆ３（Ｂ）によって生成されたベクトル間の角度は、ｖ１からｖ２と同じままであるべきである。この方程式は、以下のように表し得る。
【００９９】
【数９】
2008506953.tif 000011
（式７）  
【０１００】
１つの視界における角度方程式は、以下の通りである。
【０１０１】
【数１０】
2008506953.tif 000012
（式８）  
【０１０２】
特徴の各三重項は、ｔｍ＝ｍ・（ｍ−１）／２の方程式を生成する。合計ｎｆ特徴に対して、ｔｎｆａ＝ｎｆ・（ｎｆ−１）・（ｎｆ−２）／６の可能な三重項がある。従って、非線形系は、ｔ式＝ｔｎｆａ・ｔｍの方程式及びｔ未知数＝ｎｆ・ｍの未知数を含む。
【０１０３】
更に、機械視覚システム１０及び方法は、更に又は他の選択肢として、異なる視界にお
ける特徴間に生成された体積の不変性を利用し得る。例えば、２つの視界ｖ１及びｖ２から抽出された４つの非共平面性特徴ｆ１、ｆ２、ｆ３及びｆ４について考える。ｆ１、ｆ２、ｆ３、ｆ４によって生成された四面体の体積は、ｖ１からｖ２と同じままであるべきである。この方程式は、以下のように表し得る。
【０１０４】
【数１１】
2008506953.tif 000013
（式９）  
【０１０５】
１つの視界における体積方程式は、以下の通りである。
【０１０６】
【数１２】
2008506953.tif 000014
（式１０）  
【０１０７】
各四面体は、ｔｍ＝ｍ・（ｍ−１）／２の方程式を生成する。合計ｎｆ特徴に対して、ｔｎｆｖ＝ｎｆ・（ｎｆ−１）・（ｎｆ−２）・（ｎｆ−３）／２４の可能な四面体がある。従って、非線形系は、ｔ式＝ｔｎｆｖ・ｔｍの方程式及びｔ未知数＝ｎｆ・ｍの未知数を含む。
【０１０８】
上述した事例の他に、様々な他の特性、及び特徴間に閉塞された面積の不変性等の関係の不変性に基づき、同様な方程式を表し得る。
そして、物体の３Ｄ姿勢を計算するための非線形系が、様々な事例から方程式の集合を用いて生成される。解が存在するためには、少なくとも未知数と同じ数の方程式がある。例えば、そのような系は、事例ａからの方程式及びｂ及び／又はｃの組合せからの方程式を含み得る。
【０１０９】
方程式の系は、各視界において未知数として各特徴の‘Ｚｃ’座標を含む。Ｚｃは、他の選択肢として、他の未知数として表し得るが、この場合、この系は、これらについて解き得る。
【０１１０】
非線形系の方程式を解くための、レーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）、ガウス・ニュートン（Ｇａｕｓｓ−Ｎｅｗｔｏｎ）等の様々な方法を用いて、物体の姿勢について解き得る。
【０１１１】
２つ以上のイメージセンサを備えた機械視覚システム１０を用いる例は有用であり得る。イメージセンサｉから共通基準系への変換について考えると、以下の様になる。
【０１１２】
【数１３】
2008506953.tif 000015
【０１１３】
共通基準系における与えられた特徴の座標は、下式によって与えられる。
【０１１４】
【数１４】
2008506953.tif 000016
（式１１）  
【０１１５】
（式４）は、共通基準座標系において有効である。この場合、（式４）は、以下の様になる。
【０１１６】
【数１５】
2008506953.tif 000017
（式１２）  
【０１１７】
非線形系は、光線について、また、カメラ空間から基準系への変換について解き得る。基準系が、カメラの内の１つの座標系でなければ（この場合、変換は、恒等変換であったはずである）、（１つのカメラ座標系から基準系への）少なくとも１つの変換が既知であるべきである。
【０１１８】
特徴の各対は、ｔｍ＝ｍ・（ｍ−１）／２の式を生成する。合計ｎｆ特徴に対して、ｔｎｆ＝ｎｆ・（ｎｆ−１）／２の可能な対がある。
非線形系は、カメラから基準系への変換が既知であれば、ｔ式＝ｔｎｆ・ｔｍの式及びｔ未知数＝ｎｆ・ｍの未知数を含む。
【０１１９】
非線形系は、カメラから基準系への変換が既知であれば、ｔ式＝ｔｎｆ・ｔｍの式及びｔ未知数＝ｎｆ・ｍの未知数を含む。
角度又は体積について１つのイメージセンサの場合に上述したような等価な解法を、複数カメラの場合に拡張し得る。
【０１２０】
要約書において述べたことを含み、例示した実施形態の上記説明は、網羅的であるように又は開示した厳密な形態に本発明を限定するように意図されていない。具体的な実施形態及び例について、例示の目的のために、本明細書において述べたが、当業者によって認識されるように、本発明の精神及び範囲から逸脱することなく、様々な等価な修正を成し得る。本発明について、本明細書において提供された教示内容は、全体的に上述した代表的なロボット機械視覚システムに必ずしも限らず、検査、モデル化及び他の用途用の機械視覚システムに適用し得る。例えば、例は、不変の物理的関係又はパラメータとして、特徴間の距離を用いて示したが、本明細書における教示内容は、全般的に、角度、領域、体積等、他の不変の物理的関係の場合の用途に適する。
【０１２１】
例えば、上記の詳細な説明は、ブロック図、概略図、及び例の使用を介して、装置及び／又はプロセスの様々な実施形態について述べた。そのようなブロック図、概略図、及び例が、１つ以上の機能及び／又は動作を含む限り、そのようなブロック図、フローチャート、又は例における各機能及び／又は動作は、個別に及び／又は一括して、広範なハードウェア、ソフトウェア、ファームウェア、又は実質的にそれらの任意の組合せによって、実現し得ることを当業者は理解されるであろう。一実施形態において、本主題は、特定用途向け集積回路（ＡＳＩＣ）を介して実現し得る。しかしながら、当業者は、本明細書に開示する実施形態は、１つ以上のコンピュータ上で走る１つ以上のコンピュータプログラム（例えば、１つ以上のコンピュータシステム上で走る１つ以上のプログラムとして）として、１つ以上のコントローラ（例えば、マイクロコントローラ）上で走る１つ以上のプログラムとして、１つ以上のプロセッサ（例えば、マイクロプロセッサ）上で走る１つ以上のプログラムとして、ファームウェアとして、又は実質的にそれらの任意の組合せとして、標準の集積回路において、全て又は部分的に、同等に実現し得ることを、また、回路の設計及び／又はソフトウェア及び／又はファームウェア用コードの書き込みは、本開示に鑑みて、十分に当該分野の通常技術の１つの範囲内にあることを認識されるであろう。
【０１２２】
更に、当業者は、本明細書において教示されたメカニズムは、プログラムプロダクトとして、様々な形態で配信し得ることを、また、例示の実施形態は、実際に配信を実行するために用いられる特定の種類の信号担持媒体にかかわらず、同様に当てはまることを認識されるであろう。信号担持媒体の例には、これらに限定するものではないが、以下のものが含まれる。即ち、ロッピーディスク、ハードディスク、ＣＤＲＯＭ、デジタルテープ、及びコンピュータメモリ等の記録可能なタイプの媒体、並びにＴＤＭ又はＩＰベースの通信リンク（例えば、パケットリンク）を用いるデジタル及びアナログ通信リンク等の送信タイプの媒体が含まれる。
【０１２３】
上述した様々な実施形態を組み合わせて、更なる実施形態を提供し得る。本明細書において参照され、及び／又は、限定するものではないが、２００４年１１月９日に発行された米国特許第６，８１６，７５５号、係属中の米国非仮出願連番第１０／６３４，８７４号、２００４年７月１４日に出願した米国仮出願連番第６０／５８７，４８８号、を含む出願データシートにリスト化された全ての米国特許、米国特許出願公報、米国特許出願、外国特許、外国特許出願及び非特許公報は、それらの全体を本明細書において引用・参照する。必要ならば、本発明の態様は、様々な特許、出願及び公報のシステム、回路、及び概念を用いるために修正して、本発明の更なる実施形態を提供し得る。
【０１２４】
上記詳述した説明に鑑みて、これらの及び他の変更を本発明に対して成し得る。一般的に、上述した請求項において、用いられる用語は、明細書及び請求項に開示した特定の実施形態に本発明を限定するものと解釈すべきでなく、請求項に基づき動作される全ての機械視覚システム及び方法を含むと解釈すべきである。従って、本発明は、本開示によって限定されず、その代わり、その範囲は、上述した請求項によって全て決定される。
【図面の簡単な説明】
【０１２５】
【図１】例示した一実施形態による対象物体と相互に作用する機械視覚システムであり、計算処理システム、影像システム及びロボットを含む機械視覚システムを示す概略図。
【図２Ａ】例示した一実施形態による、第１位置に配置された学習物体と相互に作用する図１の機械視覚システムを示す概略図。
【図２Ｂ】例示した一実施形態による、第２位置に配置された図２Ａの学習物体と相互に作用する図１の機械視覚システムを示す概略図。
【図３Ａ】第１位置における学習物体の第１イメージセンサによって取り込まれた画像を示す図。
【図３】第２位置における学習物体の第１イメージセンサによって取り込まれた画像を示す図。
【図４】例示した一実施形態による、姿勢推定を含み得る機械視覚を容易にする高水準の方法を示すフロー図。
【図５】例示した一実施形態による、イメージセンサを較正する方法を示すフロー図。
【図６】例示した一実施形態による、機械視覚システムにおいて物体特徴を学習させる方法を示すフロー図。
【図７】例示した一実施形態による、捕捉された又は取り込まれた画像から特徴を抽出する方法を示すフロー図。
【図８Ａ】例示した一実施形態による、各イメージセンサに関連付けられたそれぞれの座標基準系において特徴の三次元の位置を演算する方法を示すフロー図。
【図８Ｂ】例示した一実施形態による、各イメージセンサに関連付けられたそれぞれの座標基準系において特徴の三次元の位置を演算する方法を示すフロー図。
【図９】例示した一実施形態による、対象物体の三次元の姿勢を演算する方法を示すフロー図。
【図１０】他の例示した実施形態による、対象物体の三次元の姿勢を演算する方法を示すフロー図。
【図１１】更に他の例示した実施形態による、対象物体の三次元の姿勢を演算する方法を示すフロー図。
【図１】
2008506953.tif 000018
【図２Ａ】
2008506953.tif 000019
【図２Ｂ】
2008506953.tif 000020
【図３Ａ】
2008506953.tif 000021
【図３Ｂ】
2008506953.tif 000022
【図４】
2008506953.tif 000023
【図５】
2008506953.tif 000024
【図６】
2008506953.tif 000025
【図７】
2008506953.tif 000026
【図８Ａ】
2008506953.tif 000027
【図８Ｂ】
2008506953.tif 000028
【図９】
2008506953.tif 000029
【図１０】
2008506953.tif 000030
【図１１】
2008506953.tif 000031
【手続補正書】
【提出日】平成18年10月12日(2006.10.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像情報を処理するための機械視覚システムを操作する方法であって、
複数のイメージセンサから、学習物体の第１視界の複数の画像を取り込んでシステムを学習する段階と、
第１視界の取り込まれた少なくとも１つの画像中で、学習物体の複数の特徴を識別する段階と、
複数の識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下であって、物理的関係の一定値は、少なくとも２つの特徴の間の不変の角度、特徴間に含まれる又は特徴のうちの少なくとも１つに含まれる不変の面積、又は特徴間に含まれる又は特徴のうちの少なくとも１つに含まれる不変の体積である、前記段階と、
一組の方程式を自動的に計算して解く段階と、
からなる方法。
【請求項２】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階には、少なくとも２つの特徴間における少なくとも１つの不変の角度を用いる段階が含まれる方法。
【請求項３】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階には、特徴間の、又は特徴のうちの少なくとも１つに含まれる少なくとも１つの不変の面積を用いる段階が含まれる方法。
【請求項４】
請求項１に記載の方法であって、複数の識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階には、特徴間の、又は特徴のうちの少なくとも１つに含まれる少なくとも１つの不変の体積を用いる段階が含まれる方法。
【請求項５】
請求項１に記載の方法であって、更に、
一組の方程式及び未知数を提供するのに充分な、イメージセンサの数、識別される特徴の数、不変の物理的関係が関連付けられた特徴の数、特徴に関連付けられた不変の物理的
関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、未知数の数は、方程式の数以下である前記段階と、
少なくとも１つのカメラによって、学習物体の前記数の各追加視界の少なくとも１つの画像を取り込む段階と、
学習物体の前記数の追加視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
が含まれる方法。
【請求項６】
請求項１に記載の方法であって、更に、
方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解くことによって、取得される追加視界の数を決定する段階であって、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である前記段階が含まれる方法。
【請求項７】
請求項１に記載の方法であって、幾つかの識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階には、
識別された全特徴より少ない特徴にパラメータを関連付ける段階であって、前記パラメータは、特徴と少なくとも１つの他の特徴との間、特徴と少なくとも１つのカメラとの間、又は、少なくとも１つのカメラと少なくとももう１つのカメラとの間のいずれかにおける不変の物理的関係を定義し、特徴の内の各特徴と少なくとも１つの他の特徴との間における不変の物理的関係は、実行前、パラメータを関連付ける際、未知である前記段階が含まれる方法。
【請求項８】
請求項７に記載の方法であって、更に、
一組の方程式を同時に解き、それぞれのカメラ座標基準系における少なくとも幾つかの特徴の三次元の姿勢を決定する段階が含まれる方法。
【請求項９】
請求項８に記載の方法であって、更に、
実行時、少なくとも１つのイメージセンサによって、対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
少なくとも部分的に、それぞれのカメラ座標基準系における少なくとも幾つかの特徴の決定された三次元の姿勢に基づき、三次元の物体姿勢を決定する段階と、
が含まれる方法。
【請求項１０】
機械視覚システムにおいて、
学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、
プロセッサ判読可能媒体であって、
複数のイメージセンサから学習物体の第１視界の複数の画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
幾つかの識別された特徴間の物理的角度、面積、または体積の関係の少なくとも１つの一定値を用いて一組の方程式を立てる段階であって、未知数の数は、一組の方程式における方程式の数以下である前記段階と、
一組の方程式を自動的に計算して解く段階と、
によって、物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を
容易にするための命令を記憶する前記プロセッサ判読可能媒体と、
少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、
が含まれる機械視覚システム。
【請求項１１】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、少なくとも２つの特徴間における少なくとも１つの不変の角度を用いることによって、幾つかの識別された特徴間の物理的角度、面積、または体積の関係の少なくとも１つの一定値を用いて一組の方程式を立てる機械視覚システム。
【請求項１２】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、特徴間において又は特徴の内の少なくとも１つに含まれる少なくとも１つの不変の面積を用いることによって、幾つかの識別された特徴間の物理的角度、面積、または体積の関係の少なくとも１つの一定値を用いて一組の方程式を立てる機械視覚システム。
【請求項１３】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、特徴間において又は特徴の内の少なくとも１つによって閉塞された少なくとも１つの不変の体積を用いることによって、幾つかの識別された特徴間の物理的関係の少なくとも１つの一定値を用いて一組の方程式を立てる機械視覚システム。
【請求項１４】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、一組の方程式及び未知数を提供するのに充分な、イメージセンサの数、識別される特徴の数、不変の物理的関係が関連付けられた特徴の数、特徴に関連付けられた不変の物理的関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、未知数の数は、方程式の数以下である前記段階によって、物体に対する機械視覚を容易にする機械視覚システム。
【請求項１５】
請求項１０に記載の機械視覚システムであって、前記命令により、プロセッサは、方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解く段階であって、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である前記段階によって、物体に対する機械視覚を容易にする機械視覚システム。
【請求項１６】
物体上の複数の特徴間における物理的関係が不変な物体に対する機械視覚を操作する方法であって、
少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、
が実行前環境において含まれ、更に、
少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、取得される追加視界の数の決定は、式  ｍ≧（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃ
ｋ））／（ｆ２−３ｆ）−１、であって、ｍは視界の数、ｆは特徴の数、ｋは一対の特徴間の既知の距離数、ｒは特徴と画像センサとの間に既知の距離を有する視線の数、ｃは画像センサの数、ｃｋは画像センサの基準系と共通基準系との間の既知の変換の数、である前記段階と、
少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、
第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、
が含まれる方法。
【請求項１７】
請求項１６に記載の方法であって、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階には、第１イメージセンサを基準にして第１位置及び第１方位の物体の画像を取り込む段階が含まれ、また、少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階には、第１イメージセンサを基準にして第２位置又は第２方位の内の少なくとも１つの物体の画像を取り込む段階が含まれる方法。
【請求項１８】
請求項１６に記載の方法であって、第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階には、学習物体の複数の本来の構造的特徴又は学習物体に追加された複数の目印の内の少なくとも１つを識別する段階が含まれる方法。
【請求項１９】
請求項１６に記載の方法であって、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階には、それぞれのイメージセンサ座標系における取り込まれた画像のそれぞれの１つにおける各識別された特徴に対する姿勢を決定する段階が含まれる方法。
【請求項２０】
請求項１６に記載の方法であって、更に、
少なくとも１つのイメージセンサによって対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
各ローカルモデルの基準姿勢を計算して決定する段階と、
共通基準座標系における各ローカルモデルの姿勢を計算して決定する段階と、によって、
実行時環境において姿勢を推定する段階が含まれる方法。
【請求項２１】
請求項２０に記載の方法であって、実行時環境において姿勢を推定する段階は、更に、方程式の数が未知数の数以上である場合、一組の複数の方程式及び複数の未知数を同時に解くことによって、対象物体の姿勢と学習物体の姿勢との間における変換を計算して決定する段階による方法。
【請求項２２】
請求項１６に記載の方法であって、更に、
実行前環境において、少なくとも１つのイメージセンサを較正する段階が含まれる方法。
【請求項２３】
請求項２２に記載の方法であって、少なくとも１つのイメージセンサを較正する段階には、少なくとも１つのイメージセンサ用の一組の固有のパラメータを取得する段階が含まれ
る方法。
【請求項２４】
請求項２２に記載の方法であって、少なくとも１つのイメージセンサを較正する段階には、ロボット座標系を基準にして、少なくとも１つのイメージセンサの姿勢を決定する段階が含まれる方法。
【請求項２５】
機械視覚システムにおいて、
学習物体及び対象物体の画像を取り込むように動作可能な少なくとも１つのイメージセンサと、
プロセッサ判読可能媒体であって、少なくとも１つのイメージセンサによって、学習物体の第１視界の少なくとも１つの画像を取り込む段階と、
第１視界の取り込まれた少なくとも１つの画像における学習物体の複数の特徴を識別する段階と、
特徴と少なくとも１つの他の特徴との間、又は、特徴と少なくとも１つのイメージセンサとの間のいずれかにおける不変の物理的関係を定義する識別された全特徴より少ない特徴に複数のパラメータを関連付ける段階と、
によって、実行前環境において、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体であって、更に、
少なくとも１つの画像を取り込むイメージセンサの数、識別された学習物体の特徴の数、パラメータが関連付けられた特徴の数、各パラメータに関連付けられた不変の物理的関係の種類、に少なくとも部分的に基づき、取得される追加視界の数を決定する段階であって、前記命令により、プロセッサは、方程式ｍ＞＝（ｆ２−ｆ−２ｋ−２ｒ＋６（ｃ−ｃｋ））／（ｆ２−３ｆ）−１を計算して解くことによって、取得される追加視界の数を決定し、本方程式において、ｍは、視界の数であり、ｆは、特徴の数であり、ｋは、一対の特徴間の既知の距離の数であり、ｒは、特徴とイメージセンサとの間の距離が既知の光線の数であり、ｃは、イメージセンサの数であり、ｃｋは、画像装置センサ基準系と共通基準系との間における既知の変換の数である、前記段階と、
少なくとも１つのイメージセンサによって、学習物体の第２視界の少なくとも１つの画像を取り込む段階と、
第２視界の取り込まれた少なくとも１つの画像における学習物体の前記数の少なくとも幾つかの特徴を識別する段階と、
実行前環境又は実行時環境の内の少なくとも１つにおいて、複数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する段階と、
によって、物体上の複数の特徴間における物理的関係が不変な物体に対する姿勢推定を容易にするための命令を記憶する前記プロセッサ判読可能媒体と、
少なくとも１つのイメージセンサから、取り込まれた画像を受信するように接続され、また、プロセッサ判読可能媒体に記憶された命令を実行するように動作可能なプロセッサと、
が含まれる機械視覚システム。
【請求項２６】
請求項２５に記載の機械視覚システムであって、前記少なくとも１つのイメージセンサには、ビデオカメラ又はデジタルスチルカメラの内の１つが含まれる機械視覚システム。
【請求項２７】
請求項２５に記載の機械視覚システムであって、前記命令により、プロセッサは、それぞれのイメージセンサ座標系における取り込まれた画像のそれぞれの１つにおける各識別された特徴に対する姿勢を決定することによって、前記数のそれぞれの各イメージセンサ座標系における識別された特徴を用いて、ローカルモデルを計算して決定する機械視覚システム。
【請求項２８】
請求項２５に記載の機械視覚システムであって、前記命令により、プロセッサは、
少なくとも１つのイメージセンサによって対象物体の視界の少なくとも１つの画像を取り込む段階と、
学習物体の視界の少なくとも１つの画像において以前識別された対象物体の視界の取り込まれた少なくとも１つの画像における少なくとも幾つかの特徴を識別する段階と、
各ローカルモデルの基準姿勢を計算して決定する段階と、
共通基準座標系における各ローカルモデルの姿勢を計算して決定する段階と、
対象物体の姿勢と学習物体の姿勢との間における変換を計算して決定する段階と、
によって、実行時環境において姿勢を推定することによって、更に機械視覚を容易にする機械視覚システム。
【請求項２９】
請求項２８に記載の機械視覚システムであって、前記命令により、プロセッサは、実行前環境において、少なくとも１つのイメージセンサを較正する段階によって、更に姿勢推定を容易にする機械視覚システム。
【国際調査報告】
2008506953.tif 000032
2008506953.tif 000033
2008506953.tif 000034
2008506953.tif 000035
2008506953.tif 000036