(57)【要約】【課題】３Ｄ測距と２Ｄテンプレートマッチングとにより、被写体の正確な認識を図る際に、計算量を削減し、比較的小規模な回路で処理時間の短縮を図る。【解決手段】撮影位置が異なる一対の被写体画像上の対応点を探索して３次元的な位置を計測する３Ｄ測距処理と、前記３Ｄ測距処理により得られた３次元的な位置により前記被写体画像のあおりを補正するあおり補正処理と、あおりが補正された前記被写体画像及び予め保持しているテンプレート画像の一致を検出する２Ｄテンプレートマッチング処理と、を行う画像処理方法であって、前記３Ｄ測距処理では、前記２Ｄテンプレートマッチング処理で比較対象として用いる前記テンプレート画像から少なくとも２つの端部位置の情報を得て、前記被写体画像の該端部位置の周辺範囲において対応点の探索を行う。【選択図】図１
2013254380.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置が異なる一対の被写体画像上の対応点を探索して３次元的な位置を計測する３Ｄ測距処理と、
前記３Ｄ測距処理により得られた３次元的な位置により前記被写体画像のあおりを補正するあおり補正処理と、
あおりが補正された前記被写体画像及び予め保持しているテンプレート画像の一致を検出する２Ｄテンプレートマッチング処理と、を行う画像処理方法であって、
前記３Ｄ測距処理では、前記２Ｄテンプレートマッチング処理で比較対象として用いる前記テンプレート画像から少なくとも２つの端部位置の情報を得て、前記被写体画像の該端部位置の周辺範囲において対応点の探索を行う、
ことを特徴とする画像処理方法。
【請求項２】
前記端部位置は、前記被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きい位置である、
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記端部位置は、前記テンプレート画像と共に予め保持されている情報により生成される、
ことを特徴とする請求項１−２に記載の画像処理方法。
【請求項４】
前記端部位置は、前記テンプレート画像のエッジを抽出して生成する、
ことを特徴とする請求項１−２に記載の画像処理方法。
【請求項５】
前記エッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行う、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記３Ｄ測距処理において、前記エッジに基づいて３以上の前記端部位置を指定する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記３Ｄ測距処理において、
前記テンプレート画像の重心位置を求め、
前記重心位置からの距離と前記エッジとに基づいて、前記端部位置を指定する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項８】
前記３Ｄ測距処理において、互いの距離が最も大きくなる位置を前記端部位置として指定する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項９】
前記３Ｄ測距処理において、スキャンにより画像を処理する際の先頭位置の画素と末端位置の画素に基づいて、前記端部位置を指定する、
ことを特徴とする請求項４に記載の画像処理方法。
【請求項１０】
前記３Ｄ測距処理では、前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記対応点を探索する、
ことを特徴とする請求項１−９のいずれか一項に記載の画像処理方法。 
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、３Ｄ測距処理により得られた３次元的な位置により被写体画像のあおりを補正して、テンプレート画像との一致を検出する２Ｄテンプレートマッチング処理を行う画像処理方法に関する。
【背景技術】
【０００２】
工業製品の開発や生産工程において、設計・開発・生産に関わるすべての情報を一元化して管理し、工程の効率化や期間の短縮をはかるため、コンピュータを使用した情報処理システムが活用されている。
【０００３】
この情報処理システムでは、ＣＡＤデータなどの図面データや、仕様書などの文書データからなる設計に関するデータの管理や、製品を構成する部品の構成データの管理と購買・資材システムとの連携、設計・生産のスケジュールの把握と効率化をはかるワークフロー管理などの機能が中心となって構成される。
【０００４】
そして、生産工程において、ステレオマッチング法による３Ｄ測距と、２Ｄテンプレートマッチングとによって、ロボットを制御してテーブル上に載置された部品をピッキングして組み付けるといった作業が可能になる。
【０００５】
ここで、ステレオマッチング法による３Ｄ測距とは、左右に配置された２台のカメラ（ステレオカメラ）で撮影された２枚１組の一対の画像を用いて、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する方法である。
【０００６】
また、２Ｄテンプレートマッチングとは、予め保持している対象物のテンプレート画像と撮影画像とを比較し、撮影した画像中から特定の被写体（対象物）を探し出す手法のことである。
【０００７】
なお、テーブル上の複数の対象物を、傾きが無い状態で真上から撮影することができれば、３Ｄ測距は不要で、２Ｄテンプレートマッチングだけで済む。しかし、実際には、部品が載置された向きや、カメラの撮影方向に、傾きが生じているため、２Ｄテンプレートマッチングの前処理として、上述したステレオマッチング法による３Ｄ測距が必要になる。
【０００８】
なお、３Ｄ測距を行う場合には、撮影画像あるいは被写体画像の全画素について、一対の画像間で相関度を計算する必要があり、計算量が膨大になり、処理時間もかかることが知られている。
【０００９】
そこで、３Ｄ測距における計算量を低減して処理時間を短縮する手法が、以下の特許文献に提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−５８２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
以上の特許文献１には、撮影画像中に距離の異なる複数の対象物が重なりつつ存在している場合に、各対象物のエッジを抽出することで、距離の異なる対象物を識別し、演算範囲を限定することで計算量を削減することが提案されている。
【００１２】
但し、この特許文献１の手法では、重なり合った対象物を識別して演算範囲を限定しているものの、本来の被写体画像の全画素について一対の画像間で相関度を計算することに変わりはなく、従来と比較して３Ｄ測距の計算量や処理時間が大幅に短縮されるものではない。
【００１３】
なお、撮影画像を振幅情報と位相情報とに分解して位相情報を用いて対応点を探索することで精度の高い３Ｄ測距処理が行えるＰＯＣ処理が提案されている。しかし、このＰＯＣ処理では、フーリエ変換が必要であり、高性能の演算装置が必要であり、また、処理時間も掛かるという問題を抱えている。その結果、全体として処理に時間が掛かることから、全体として高速な処理が望まれていた。
【００１４】
本願発明はこのような問題に鑑み、３Ｄ測距と２Ｄテンプレートマッチングとにより、被写体の正確な認識を図る際に、計算量を削減し、比較的小規模な回路で処理時間の短縮を図ることが可能な、画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的は、下記に記載する発明により達成される。
【００１６】
（１）この発明は、撮影位置が異なる一対の被写体画像上の対応点を探索して３次元的な位置を計測する３Ｄ測距処理と、前記３Ｄ測距処理により得られた３次元的な位置により前記被写体画像のあおりを補正するあおり補正処理と、あおりが補正された前記被写体画像及び予め保持しているテンプレート画像の一致を検出する２Ｄテンプレートマッチング処理と、を行う画像処理方法であって、前記３Ｄ測距処理では、前記２Ｄテンプレートマッチング処理で比較対象として用いる前記テンプレート画像から少なくとも２つの端部位置の情報を得て、前記被写体画像の該端部位置の周辺範囲において対応点の探索を行う、ことを特徴とする。
【００１７】
（２）この発明は、上記（１）において、前記端部位置は、前記被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きい位置である、ことを特徴とする。
【００１８】
（３）この発明は、上記（１）−（２）において、前記端部位置は、前記テンプレート画像と共に予め保持されている情報により生成される、ことを特徴とする。
【００１９】
（４）この発明は、上記（１）−（２）において、前記端部位置は、前記テンプレート画像のエッジを抽出して生成する、ことを特徴とする。
【００２０】
（５）この発明は、上記（４）において、前記エッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行う、ことを特徴とする。
【００２１】
（６）この発明は、上記（４）において、前記３Ｄ測距処理において、前記エッジに基づいて３以上の前記端部位置を指定する、ことを特徴とする。
【００２２】
（７）この発明は、上記（４）の前記３Ｄ測距処理において、前記テンプレート画像の重心位置を求め、前記重心位置からの距離と前記エッジとに基づいて、前記端部位置を指定する、ことを特徴とする。
【００２３】
（８）この発明は、上記（４）の前記３Ｄ測距処理において、互いの距離が最も大きくなる位置を前記端部位置として指定する、ことを特徴とする。
【００２４】
（９）この発明は、上記（４）の前記３Ｄ測距処理において、スキャンにより画像を処理する際の先頭位置の画素と末端位置の画素に基づいて、前記端部位置を指定することを特徴とする。
【００２５】
（１０）この発明は、上記（１）−（９）において、前記３Ｄ測距処理では、前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記対応点を探索する、ことを特徴とする。
【発明の効果】
【００２６】
この発明は、３Ｄ測距処理により被写体画像の３次元的な位置を計測し、３次元的な位置により被写体画像のあおりを補正し、あおりが補正された被写体画像及び予め保持しているテンプレート画像の一致を２Ｄテンプレートマッチング処理により検出する際に、被写体画像と比較すべきテンプレート画像を参照して少なくとも２つの端部位置の情報を得て、被写体画像の該端部位置の周辺範囲において３Ｄ測距処理で対応点を探索して３次元的な位置を計測するため、対応点探索の範囲が特定の範囲に狭まることにより、対応点探索のための計算量が大幅に低減され、精度を落とさずに、比較的小規模な回路で処理時間の短縮を図ることが可能になる。
【００２７】
なお、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きい位置とすることで、あおり補正の精度が高まる。
【００２８】
また、該テンプレート画像の端部位置に関連する情報をテンプレート画像と共に予め保持しておき、この予め保持されている端部位置に関連する情報により端部位置の情報を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００２９】
また、テンプレート画像のエッジを抽出して端部位置を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。なお、この際のエッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行うことが可能である。
【００３０】
また、端部位置として、テンプレート画像のエッジに基づいて３以上の複数の端部位置を指定する、ことを特徴とすることで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。例えば、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、３箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。
【００３１】
また、テンプレート画像の重心位置を求め、該重心位置からの距離とエッジとに基づいて、端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００３２】
また、テンプレート画像のエッジにおいて互いの距離が最も大きくなる位置を端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００３３】
また、テンプレート画像のエッジにおいて、スキャンにより画像を処理する際の先頭位置と末端位置とを端部位置として指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００３４】
また、フーリエ変換等によって、一対の撮影画像を振幅情報と位相情報とに分解し、位相情報を用いて対応点を探索する場合にも、対応点探索の範囲を効率的に狭めているため、処理時間の短縮を図ることが可能になる。
【図面の簡単な説明】
【００３５】
【図１】第１実施形態に係る処理を実行する装置の構成を示す構成図である。
【図２】第１実施形態に係る処理を実行する装置の主要部構成を示す構成図である。
【図３】比較例の制御フローを示すフローチャートである。
【図４】比較例の処理の様子を模式的に示す説明図である。
【図５】第１実施形態の制御フローを示すフローチャートである。
【図６】第１実施形態の処理の様子を模式的に示す説明図である。
【図７】第１実施形態の処理の様子を模式的に示す説明図である。
【図８】第１実施形態の処理の様子を模式的に示す説明図である。
【発明を実施するための形態】
【００３６】
以下、本発明を実施の形態を具体例に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。
【００３７】
〔Ａ〕構成：
図１は第１実施形態に係る画像処理方法を実現する画像処理システムあるいは情報処理システムの構成を示す構成図である。以下、画像処理システムと情報処理システムを総称して画像処理システムと呼ぶ。
【００３８】
この画像処理システムは、本実施形態の画像処理方法を実施する処理装置１００と、撮影位置が異なる一対の撮影画像をステレオマッチングのために生成する撮像ユニット１１０ａ及び１１０ｂと、処理装置１００での処理結果や各種状況を表示する表示部１２０と、処理装置１００に対して各種の設定等を入力するキーボードやポインティングデバイスを有する操作部１３０と、を備えて構成されている。
【００３９】
また、処理装置１００は、工業製品の開発や生産工程における画像処理システム等で使用されるもので、撮像ユニット１１０ａ，１１０ｂからの一対の撮影画像を受けて、ステレオマッチングによる前処理とテンプレートマッチングによる後処理とを実行する。
【００４０】
ここで、処理装置１００は、本実施形態の画像処理方法を実施する際の各種制御を行う制御部１０１と、ステレオマッチングによる前処理並びに該前処理により抽出された被写体画像及び予め保持しているテンプレート画像の一致を検出するテンプレートマッチングによる後処理とを行う画像処理部１０３と、テンプレートマッチングの際に被写体画像と比較するために用いられるテンプレート画像を予め記憶しておく記憶部１０５と、を有して構成される。
【００４１】
なお、処理装置１００での処理結果は、表示部１２０に表示されるほか、図示されないロボット等の生産装置にも送られる。また、撮像ユニット１１０ａ，１１０ｂは、それぞれ、撮像レンズ、撮像素子、Ａ−Ｄ変換器などを備えているものとする。
【００４２】
また、画像処理部１０３の詳細構成を図２に示す。画像処理部１０３は、３Ｄ測距処理部１０３１と、補正画像作成処理部１０３３と、２Ｄテンプレートマッチング処理部１０３５と、を備えて構成されている。
【００４３】
ここで、３Ｄ測距処理部１０３１は、後述する２Ｄテンプレートマッチング処理（後処理）の前段階の前処理として、３Ｄ測距処理を実行する。
【００４４】
なお、３Ｄ測距処理部１０３１は、３Ｄ測距処理を実行するためにステレオマッチング処理部１０３１ａを備えており、左右に配置された２台の撮像ユニット１１０ａ，１１０ｂ（ステレオカメラ）で撮影された２枚１組の一対の撮影画像を用いて、ステレオマッチング法による３Ｄ測距処理により、一方のカメラで撮影された画像が他方のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する。
【００４５】
なお、このステレオマッチング処理部１０３１ａにおけるステレオマッチング法の３Ｄ測距処理では、撮影画像を振幅情報と位相情報とに分解して、位相情報を用いて対応点を探索することにより精度の高い３Ｄ測距処理を行う。
【００４６】
また、３Ｄ測距処理部１０３１は、３Ｄ測距処理を限定的範囲で実行する際の端部位置を特定する端部位置特定部１０３１ｂを備えている。この端部位置特定部１０３１ｂは、２Ｄテンプレートマッチング処理で比較対象として用いるテンプレート画像から少なくとも２つの端部位置の情報を得て、３Ｄ測距処理において被写体画像の対応点の探索を行うべき端部位置の周辺範囲を特定する。
【００４７】
補正画像作成処理部１０３３は、３Ｄ測距処理部１０３１の計測結果と、撮像ユニット１１０ａ，１１０ｂからの撮影画像とを受けて、撮影画像に含まれる被写体について、あおり（撮影対象面の光軸に対する傾き）等の撮影時に生じている歪みが補正された状態の被写体画像を作成する。
【００４８】
２Ｄテンプレートマッチング処理部１０３５は、後処理として、記憶部１０５からの対象物のテンプレート画像と、補正画像作成処理部１０３３で作成された歪補正済みの撮影画像とを比較し、撮影画像中の特定の被写体（対象物）を探し出す。
【００４９】
〔Ｂ〕動作：
以下、図３と図５のフローチャート、図４と図６の説明図を参照して、従来動作と比較しつつ、第１実施形態の動作を説明する。
【００５０】
ここで、図３を参照して、第１実施形態に対応する従来例の動作を説明する。ここでは、従来例の動作について、図１相当の画像処理システムで実行されるものとする。
【００５１】
まず、撮像ユニット（ステレオカメラ）で撮影を行い、２枚１組の一対の撮影画像（図４（ａ），（ｂ））を得る（図３中のステップＳ１１）。
【００５２】
そして、ステレオマッチング法による３Ｄ測距処理により、一方のカメラで撮影された画像が他方のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置情報を生成する（図３中のステップＳ１２）。
【００５３】
この場合、一方の画像（図４（ｃ））のある画素（図４ｃ00）について、他方の画像（図４（ｄ））の被写体の全画素について、一対の画像間で相関度を計算して対応点を探索する。そして、このような処理を、一方の被写体の全範囲について順次繰り返して実行する。
【００５４】
その後、以上のステレオマッチング法の３Ｄ測距処理により得られた３次元位置情報に基づいて、撮影画像に含まれる被写体のあおり量（あおり度合い）を算出する（図３中のステップＳ１３）。
【００５５】
そして、算出されたあおり量に基づいて、撮像画像中の被写体について、あおり補正補正処理を行う（図３中のステップＳ１４）。
【００５６】
そして、あおり補正処理された被写体について、予め保持されているテンプレート画像との一致を検出する２Ｄテンプレートマッチング処理を行う（図３中のステップＳ１５）。
【００５７】
次に、図５を参照して、第１実施形態の動作を説明する。
【００５８】
まず、撮像ユニット（ステレオカメラ）１１０ａ，１１０ｂで撮影を行い、２枚１組の一対の撮影画像（図６（ａ），（ｂ））を得る（図５中のステップＳ１０１）。
【００５９】
なお、図６（ａ）は、例えば、撮像ユニット１１０ａ，１１０ｂ中の左側のカメラにより得られた撮影画像であり、Ｇtg_Lは撮影画像中の被写体画像であり、あおりによる歪を有した状態である。また、図６（ｂ）は、例えば、撮像ユニット１１０ａ，１１０ｂ中の右側のカメラにより得られた撮影画像であり、Ｇtg_Rは撮影画像中の被写体画像であり、あおりによる歪を有した状態である。
【００６０】
ここで、端部位置特定部１０３１ｂが、２Ｄテンプレートマッチング処理で比較対象として用いるテンプレート画像（図６（ｃ）中のＧtmp）のエッジ（図６（ｃ）の縦長長方形ｃ０）を抽出する（図５中のステップＳ１０２）。なお、この際のエッジの抽出は、探索ベースの手法、ゼロ交差法をベースとした手法、もしくは、キャニー法、のいずれかにより行うことが可能である。
【００６１】
そして、端部位置特定部１０３１ｂは、テンプレート画像のエッジ領域（図６（ｃ）のｃ０）を参照して、少なくとも２つの端部位置（図６（ｃ）のｃ１とｃ２等）を特定して位置情報を生成する（図５中のステップＳ１０３）。なお、この端部位置は、後述する３Ｄ測距処理で対応点を探索して３次元的な位置を計測する際の処理範囲を限定するためのものである。このため、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きく出やすい位置とする。
【００６２】
また、この端部位置は、テンプレート画像と共に予め記憶部１０５に保持されている情報により生成されるようにしてもよい。
【００６３】
なお、この端部位置については、端部位置特定部１０３１ｂがエッジから抽出する以外に、表示部１２０にテンプレート画像（図６（ｃ））を表示した状態で、操作部１３０からオペレータがポインティングデバイスを用いて端部位置（図６（ｃ）のｃ１とｃ２等）を特定するようにしても良い。
【００６４】
そして、端部位置特定部１０３１ｂは、この端部位置として、あおりの影響により３次元的な位置変化の影響が大きく出やすい位置として、最低２個だけでなく、３個以上の端部位置を指定しても良い。また、テンプレート画像の形状によって、端部位置の個数を増やしても良い。
【００６５】
また、端部位置特定部１０３１ｂは、テンプレート画像の重心位置を求め、該重心位置を中心として一端側と他端側のように、該重心位置からの互いの距離が大きくなるようにして、あおりの影響により３次元的な位置変化の影響が大きく出やすい位置として、エッジ上の範囲内で端部位置の位置情報を生成する。
【００６６】
なお、端部位置特定部１０３１ｂは、以上のようにして端部位置を特定して位置情報を生成する際には、複数の端部位置の互いの距離が最も大きくなる端部位置を指定することが望ましい。これにより、あおりの影響により３次元的な位置変化の影響が大きく出やすい位置となる。
【００６７】
そして、以上のようにテンプレート画像に基づいて、被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きい端部位置が特定された状態において、ステレオマッチング処理部１０３１ａは、被写体画像Ｇtg_LとＧtg_Rについて、の該端部位置の周辺範囲に限定して、３Ｄ測距処理で対応点を探索して３次元的な位置を計測する（図５中のステップＳ１０４）。
【００６８】
ここでは、端部が２つである場合を具体例にして説明する。まず、一方の画像中の被写体（図６（ｄ）のＧtg_L）の端部ｃ１付近のある画素（図６（ｄ）のｄ１）について、他方の画像中の被写体（図６（ｅ）のＧtg_R）では端部ｃ１付近の周辺範囲ｄ11，ｄ12について、一対の画像間で相関度を計算して対応点を探索する。例えば、ｃ１は５×５画素の２５画素、ｄ11やｄ12も５×５画素の２５画素、として、相関演算を行う。
【００６９】
また、一方の画像中の被写体（図６（ｄ）のＧtg_L）の端部ｃ２付近のある画素（図６（ｄ）のｄ２）について、他方の画像中の被写体（図６（ｅ）のＧtg_R）では端部ｃ２付近の周辺範囲ｄ21，ｄ22について、一対の画像間で相関度を計算して対応点を探索する。例えば、ｃ２は５×５画素の２５画素、ｄ21やｄ22も５×５画素の２５画素、として、相関演算を行う。
【００７０】
そして、３Ｄ測距処理部１０３１は、以上のようにして算出した被写体画像の３次元位置情報に基づいて、被写体のあおり度合いを算出する（図５中のステップＳ１０５）。
【００７１】
なお、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、３箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。
【００７２】
図７では、テンプレート画像Ｇtmp（図７中の一点鎖線）と被写体画像Ｇtg（被写体画像Ｇtg_Lと被写体画像Ｇtg_Rのいずれか一方（図７中の二点鎖線））とを重ね合わせた状態で示している。なお、テンプレート画像Ｇtmpは、あおりの全く生じていない被写体画像と考えてもよい。ここでは、テンプレート画像Ｇtmp（図７中の一点鎖線）に対して、被写体画像Ｇtg（図７中の二点鎖線）は、あおり中心軸（図７中の破線）を中心にθだけ傾いてあおりが発生した状態になっている。
【００７３】
ここで、３Ｄ測距処理部１０３１は、算出した三次元位置情報から、図８に示すように、あおりを生じている辺の長さＬと、あおりにより生じた奥行き方向の差Ｚとにより、あおり角θについて、θ＝arcsin（Ｚ／Ｌ）として算出する。
【００７４】
なお、複数の端部位置の互いの距離が最も大きくなる端部位置を指定したり、重心位置を中心として該重心位置からの互いの距離が大きくなるように端部位置を指定することで、この式のＬやＺが大きくなるため、あおり角θを求める際の精度が高まる。
【００７５】
以上のようにしてあおり度合いとしてあおり角θを算出した３Ｄ測距処理部１０３１は、三次元位置情報とあおり度合いの情報とを含む計測結果を、補正画像作成処理部１０３３に送信する。
【００７６】
補正画像作成処理部１０３３は、３Ｄ測距処理部１０３１の計測結果と、撮像ユニット１１０ａ，１１０ｂからの撮影画像とを受けて、撮影画像に含まれる被写体について、撮影時に生じているあおり角θが補正された状態の被写体画像を作成する（図５中のステップＳ１０６）。
【００７７】
そして、２Ｄテンプレートマッチング処理部１０３５において、あおり補正処理された被写体画像について、記憶部１０５に予め保持されているテンプレート画像との一致を検出する２Ｄテンプレートマッチング処理を行う（図５中のステップＳ１０７）。
【００７８】
以上の実施形態では、３Ｄ測距処理の後に２Ｄテンプレートマッチング処理を実行する際に、被写体画像と比較すべきテンプレート画像を参照して少なくとも２つの端部位置の情報を得て、被写体画像の該端部位置の周辺範囲において３Ｄ測距処理で対応点を探索して３次元的な位置を計測するため、対応点探索の範囲が特定の範囲に狭まることにより、対応点探索のための計算量が大幅に低減され、精度を落とさずに、比較的小規模な回路で処理時間の短縮を図ることが可能になる。
【００７９】
すなわち、従来は図４（ｃ），（ｄ）に示したように全画素で対応点の探索を実行するために高性能な処理装置を用いても大きな処理時間がかかっていたが、本実施形態では図６（ｄ），（ｅ）のように端部位置の周辺範囲のみで対応点の探索を実行するだけで良いために処理が大幅に軽減される。
【００８０】
以下、計算量について、具体例を挙げて説明する。例えば、画像サイズが1600画素×1200画素であるとき、従来手法によると、処理点数は400×150 = 60,000点となる。一方、本実施形態により、４端部周辺の32×16画素分に処理点数を限定した場合には、4×32×16 = 2,048点となる。すなわち、従来の60,000点に対して、本発明では2,048点まで削減できるため、計算量は約1/30となる。このため、精度を落とさずに比較的小規模な回路で処理時間の短縮を図ることが可能になる。
【００８１】
なお、以上の端部位置は、被写体画像の撮影により生じるあおりの影響により３次元的な位置変化の影響が大きい位置とすることで、あおり補正の精度が高まる。
【００８２】
また、該テンプレート画像の端部位置に関連する情報をテンプレート画像と共に予め保持しておき、この予め保持されている端部位置に関連する情報により端部位置の情報を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００８３】
また、テンプレート画像のエッジを抽出して端部位置を生成することで、対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００８４】
また、端部位置として、エッジに基づいて３以上の複数の端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。すなわち、被写体の形状が複雑である場合や、いずれの方向にあおりが生じるか不明の場合などは、３箇所以上の端部付近の周辺範囲について、一対の画像間で相関度を計算して対応点を探索することで、あおり度合いの算出の精度が高まる。
【００８５】
例えば、４箇所の端部位置の周辺範囲で対応点探索を行うことで、いずれの方向にあおりが生じていても対応することができ、かつ、従来の全画素の対応点探索に比較すれば処理の範囲は大幅に狭められている。
【００８６】
また、テンプレート画像の重心位置を求め、該重心位置からの距離とエッジとに基づいて、端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００８７】
また、テンプレート画像中において互いの距離が最も大きくなる位置を端部位置を指定することで、精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。
【００８８】
また、ラスタースキャン(Raster scan)により一定の方向に沿って画像を処理する際の先頭位置の画素と末端位置の画素とをテンプレート画像のエッジ上で求めて、これを端部位置として指定することも可能であり、この場合も精度を落とさずに対応点探索の範囲を効率的に狭めて処理時間の短縮を図ることが可能になる。同様に、１行ずつの処理を列方向に移動させるスキャンであっても、このスキャンにおいてテンプレート画像のエッジと最初に交差する画素と最後に交差する画素とを、端部位置として指定することも可能である。
【００８９】
また、フーリエ変換等が必要になるＰＯＣ処理を採用して、一対の撮影画像を振幅情報と位相情報とに分解し、位相情報を用いて対応点を探索する場合にも、対応点探索の範囲を効率的に狭めているため、処理時間の短縮を図りつつ精度を高めることが可能になる。
【００９０】
また、この実施形態により３Ｄ測距処理と２Ｄテンプレートマッチング処理との処理時間の短縮を図ることができるため、ロボット等の生産装置（図示せず）での動作時間に余裕が生じることになり、テーブル上に載置された部品のピッキングなどを従来よりも確実に実行できるようになる。すなわち、生産装置としても確実な動作により生産性を高めることが可能になる。
【符号の説明】
【００９１】
１００  処理装置
１０１  制御部
１０３  画像処理部
１０５  記憶部
１１０ａ，１１０ｂ  撮像ユニット
１２０  表示部
１３０  操作部
１０３１  ３Ｄ測距処理部
１０３３  補正画像作成処理部
１０３５  ２Ｄテンプレートマッチング処理部
１０３１ａ  ステレオマッチング処理部
１０３１ｂ  端部位置特定部 
【図１】
2013254380.tif 000003
【図２】
2013254380.tif 000004
【図３】
2013254380.tif 000005
【図４】
2013254380.tif 000006
【図５】
2013254380.tif 000007
【図６】
2013254380.tif 000008
【図７】
2013254380.tif 000009
【図８】
2013254380.tif 000010