(57)【要約】【課題】比較的小規模な回路で、高速に歪補正処理を実行する。【解決手段】撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法において、前記撮影画像のうちの一部の領域を切り出す切り出し処理と、前記切り出し処理により切り出された画像を参照して前記探索を行う探索処理とを実行する際に、前記切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成する（Ｓ１０１ａ）。【選択図】図５
2013254300.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法において、
前記撮影画像のうちの一部の領域を切り出す切り出し処理と、前記切り出し処理により切り出された画像を参照して前記探索を行う探索処理とを実行する際に、
前記切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成する、
ことを特徴とする画像処理方法。
【請求項２】
撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法において、
前記撮影画像のうちの一部の領域を切り出す切り出し処理と、前記切り出し処理により切り出された画像を参照して前記探索を行う探索処理とを実行する際に、
前記切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成し、
前記ルックアップテーブルは、前記切り出し処理において切り出された後の領域の座標として、前記画像中の歪みを補正する歪補正処理が施された状態の座標とする、
ことを特徴とする画像処理方法。
【請求項３】
前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記同一点を探索する、
ことを特徴とする請求項１−２に記載の画像処理方法。
【請求項４】
前記位相情報を用いた同一点の探索を実行する際に、前記切り出し処理において低解像度から高解像度に解像度を変えつつ繰り返して実行する、
ことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測して被写体画像を抽出するステレオマッチングによる前処理と、前記前処理により抽出された被写体画像と予め保持しているテンプレート画像との一致を検出するテンプレートマッチングによる後処理と、を有する画像処理方法であって、
前記前処理において、前記撮影画像の姿勢補正と前記撮影画像の歪曲収差補正とを同時に行うように、補正前後の座標を対応させるルックアップテーブルを生成する、
ことを特徴とする画像処理方法。
【請求項６】
前記姿勢補正は、前記撮影画像中の前記被写体の計測結果に基づいて決定される、
ことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記姿勢補正は、前記被写体を撮影時の光軸周りに回転させることで処理する、
ことを特徴とする請求項５−６に記載の画像処理方法。
【請求項８】
前記姿勢補正は、前記被写体を光軸から水平方向の軸周りに回転させることで補正する、
ことを特徴とする請求項５−６に記載の画像処理方法。
【請求項９】
前記歪補正処理は、
前記被写体を撮影する際の撮像ユニットへの入射角と、前記撮像ユニットでの撮影時に発生する歪曲収差の補正とを考慮した、前記撮像ユニットの撮像素子表面上の座標の関係をデータとして保有しており、
前記撮像ユニットにより得られる撮影画像を切り出す際の、前記撮像素子上の座標と切り出された後の画像の座標とを、歪補正を伴った状態で対応させるルックアップテーブルを生成する、
ことを特徴とする請求項１−８のいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法に関する。
【背景技術】
【０００２】
工業製品の開発や生産工程において、設計・開発・生産に関わるすべての情報を一元化して管理し、工程の効率化や期間の短縮をはかるためコンピュータを使用した情報システムが活用されている。
【０００３】
この情報システムでは、ＣＡＤデータなどの図面データや、仕様書などの文書データからなる設計に関するデータの管理や、製品を構成する部品の構成データの管理と購買・資材システムとの連携、設計・生産のスケジュールの把握と効率化をはかるワークフロー管理などの機能が中心となって構成される。
【０００４】
そして、生産工程において、ステレオマッチング法による３Ｄ測距と、２Ｄテンプレートマッチングとによって、ロボットを制御してテーブル上に載置された部品をピッキングして組み付けるといった作業が可能になる。
【０００５】
ここで、ステレオマッチング法による３Ｄ測距とは、左右に配置された２台のカメラ（ステレオカメラ）で撮影された２枚１組の一対の画像を用いて、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する方法である． 
また、２Ｄテンプレートマッチングとは、予め保持している対象物のテンプレート画像と撮影画像とを比較し、撮影した画像中から特定の被写体（対象物）を探し出す手法のことである。
【０００６】
なお、テーブル上の複数の対象物を、傾きも回転も無い状態で真上から撮影することができれば、３Ｄ測距は不要で、２Ｄテンプレートマッチングだけで済む。しかし、実際には、部品が載置された向きや、カメラの撮影方向に、傾きや回転が生じているため、２Ｄテンプレートマッチングの前処理として、上述したステレオマッチング法による３Ｄ測距が必要になる。
【０００７】
なお、実際には、３Ｄ測距の結果を用いて、撮影レンズにより生じる樽型や糸巻き型の歪曲収差を除去する歪補正や、撮影対象面と光軸とが垂直になっていない場合に発生するあおりを除去するあおり補正を行うことで、撮影画像がテンプレート画像と比較しうる状態になる。
【０００８】
これらに関連する技術は、以下の特許文献に記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−７１７４３号公報
【特許文献２】特開２０１０−１３３７１８号公報
【特許文献３】ＰＣＴ／ＪＰ／０６０１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
特許文献１には、撮影画像について３Ｄ測距による計測データに基づいて２Ｄの変換を行い、物体の検出とロボット制御とを行うロボットシステムが記載されている。
【００１１】
特許文献２には、撮影画像に基づく作業対象物についての位置検出が記載されており、画像の回転にアフィン変換を用いることが記載されている。
【００１２】
特許文献３には、撮影画像に対する各種の歪み補正のアルゴリズムが記載されている。
【００１３】
しかし、いずれの特許文献においても、３Ｄ測距と２Ｄテンプレートマッチングとの効率的な処理は記載されておらず、それぞれの処理を順番に処理する必要がある。また、撮影画像を振幅情報と位相情報とに分解し、位相情報を用いて同一点を探索することで、精度の高い３Ｄ測距処理が行えるＰＯＣ処理が提案されている。しかし、このＰＯＣ処理では、フーリエ変換が必要であり、高性能の演算装置が必要であり、また、処理時間も掛かるという問題を抱えている。その結果、全体として処理に時間が掛かることから、全体として高速な処理が望まれていた。
【００１４】
本願発明はこのような問題に鑑み、３Ｄ測距と２Ｄテンプレートマッチングとにより、被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的は、下記に記載する発明により達成される。
【００１６】
（１）この発明は、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法において、前記撮影画像のうちの一部の領域を切り出す切り出し処理と、前記切り出し処理により切り出された画像を参照して前記探索を行う探索処理とを実行する際に、前記切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成する、ことを特徴とする。
【００１７】
（２）この発明は、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する画像処理方法において、前記撮影画像のうちの一部の領域を切り出す切り出し処理と、前記切り出し処理により切り出された画像を参照して前記探索を行う探索処理とを実行する際に、前記切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成し、前記ルックアップテーブルは、前記切り出し処理において切り出された後の領域の座標として、前記画像中の歪みを補正する歪補正処理が施された状態の座標とする、ことを特徴とする。
【００１８】
（３）この発明は、上記（１）−（２）において、前記一対の撮影画像を振幅情報と位相情報とに分解し、前記位相情報を用いて前記同一点を探索する、ことを特徴とする。
【００１９】
（４）この発明は、上記（３）において、前記位相情報を用いた同一点の探索を実行する際に、前記切り出し処理において低解像度から高解像度に解像度を変えつつ繰り返して実行する、ことを特徴とする。
【００２０】
（５）この発明は、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測して被写体画像を抽出するステレオマッチングによる前処理と、前記前処理により抽出された被写体画像と予め保持しているテンプレート画像との一致を検出するテンプレートマッチングによる後処理と、を有する画像処理方法であって、前記前処理において、前記被写体の姿勢を検出し、前記あおりと前記回転と撮影時の歪曲収差とを解消するよう補正する歪補正処理を同時に行うように、座標を対応させるためのルックアップテーブルを生成する、ことを特徴とする。
【００２１】
（６）この発明は、上記（５）において、前記姿勢補正は、前記撮影画像中の前記被写体の計測結果に基づいて決定される、ことを特徴とする。
【００２２】
（７）この発明は、上記（５）−（６）において、前記姿勢補正は、前記被写体を撮影時の光軸周りに回転させることで処理する、ことを特徴とする。
【００２３】
（８）この発明は、上記（５）−（６）において、前記姿勢補正は、前記被写体を光軸から水平方向の軸周りに回転させることで補正する、ことを特徴とする。
【００２４】
（９）この発明は、上記（１）−（８）において、前記歪補正処理は、被写体を撮像ユニットにより撮影する際の入射角と、前記撮像ユニットでの撮影時に発生する歪曲収差の補正とを考慮した、前記撮像ユニットの撮像素子表面上の座標の関係をデータとして保有しており、前記撮像ユニットにより得られる撮影画像を切り出す際の、前記撮像素子上の座標と切り出された後の画像の座標とを、歪補正を伴った状態で対応させるルックアップテーブルを生成する、ことを特徴とする。
【発明の効果】
【００２５】
この発明では、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する際に、撮影画像のうちの一部の領域を切り出す切り出し処理と、切り出し処理により切り出された画像を参照して探索を行う探索処理とを実行する際に、切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成しており、このルックアップテーブルでは、切り出し処理において切り出された後の領域の座標として、画像中の歪みを補正する歪補正処理が施された状態の座標としている。これにより、縮小画像作成のための切り出し処理と、各種歪みを補正する歪補正処理とを同時に実行することになり、全体として高速な処理が可能になる。
【００２６】
また、この発明では、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測して被写体画像を抽出するステレオマッチングによる前処理と、前処理により抽出された被写体画像と予め保持しているテンプレート画像との一致を検出するテンプレートマッチングによる後処理と、を実行する際に、前処理において、被写体画像のあおりや回転を検出し、後処理において、姿勢（あおりや回転）補正と撮影時の歪曲収差補正とを同時に１つの歪補正処理として行うように、座標を対応させるためのルックアップテーブルを生成する。これにより、姿勢（あおりや回転）補正と歪曲収差補正とを同時に実行することになり、全体として高速な処理が可能になる。
【図面の簡単な説明】
【００２７】
【図１】第１実施形態に係る処理を実行する装置の構成を示す構成図である。
【図２】第１実施形態に係る処理を実行する装置の主要部構成を示す構成図である。
【図３】比較例の制御フローを示すフローチャートである。
【図４】比較例の処理の様子を模式的に示す説明図である。
【図５】第１実施形態の制御フローを示すフローチャートである。
【図６】第１実施形態の処理の様子を模式的に示す説明図である。
【図７】第２実施形態に係る処理を実行する装置の主要部構成を示す構成図である。
【図８】比較例の制御フローを示すフローチャートである。
【図９】比較例の処理の様子を模式的に示す説明図である。
【図１０】第２実施形態の制御フローを示すフローチャートである。
【図１１】第２実施形態の処理の様子を模式的に示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施の形態を具体例に基づいて説明するが、本発明は該実施の形態に示される具体例に限られるものではない。
【００２９】
〔Ａ〕第１実施形態の構成：
図１は第１実施形態に係る画像処理方法を実現する画像処理システムあるいは情報システムの構成を示す構成図である。以下、画像処理システムと情報処理システムを総称して画像処理システムと呼ぶ。
【００３０】
この画像処理システムは、本実施形態の画像処理方法を実施する処理装置１００と、撮影位置が異なる一対の撮影画像をステレオマッチングのために生成する撮像ユニット１１０ａ及び１１０ｂと、処理装置１００での処理結果や各種状況を表示する表示部１２０と、処理装置１００に対して各種の設定等を入力する操作部１３０と、を備えて構成されている。
【００３１】
また、処理装置１００は、工業製品の開発や生産工程においてコンピュータを用いた画像処理システム等で使用されるもので、撮像ユニット１１０ａ，１１０ｂからの一対の撮影画像を受けて、ステレオマッチングによる前処理とテンプレートマッチングによる後処理とを実行する。
【００３２】
ここで、処理装置１００は、本実施形態の画像処理方法を実施する際の各種制御を行う制御部１０１と、ステレオマッチングによる前処理並びに該前処理により抽出された被写体画像及び予め保持しているテンプレート画像の一致を検出するテンプレートマッチングによる後処理とを行う画像処理部１０３と、テンプレートマッチングの際に被写体画像と比較するために用いられるテンプレート画像を予め記憶しておく記憶部１０５と、を有して構成される。
【００３３】
なお、処理装置１００での処理結果は、表示部１２０に表示されるほか、図示されないロボット等の生産装置にも送られる。
【００３４】
また、画像処理部１０３の詳細構成を図２に示す。画像処理部１０３は、３Ｄ測距処理部１０３１と、２Ｄ姿勢計測部１０３２と、補正画像作成処理部１０３３と、２Ｄテンプレートマッチング処理部１０３９と、を備えて構成されている。
【００３５】
ここで、３Ｄ測距処理部１０３１は、後述する２Ｄテンプレートマッチング処理（後処理）の前段階の前処理として、左右に配置された２台のカメラ（ステレオカメラ）で撮影された２枚１組の一対の撮影画像を用いて、ステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する。
【００３６】
また、２Ｄ姿勢計測部１０３２は、被写体画像に含まれる被写体の回転やオフセットといった２次元の姿勢計測処理（２Ｄ姿勢計測処理）を既知の手法に従って行う。
【００３７】
補正画像作成処理部１０３３は、３Ｄ測距処理部１０３１の計測結果と２Ｄ姿勢計測部１０３２の計測結果とを受けて、被写体画像に含まれる被写体画像について、あおり（撮影対象面の光軸に対する傾き）、回転、オフセット等の撮影時に生じる歪みが補正された状態の撮影画像を作成する。
【００３８】
２Ｄテンプレートマッチング処理部１０３９は、後処理として、記憶部１０５からの対象物のテンプレート画像と、補正画像作成処理部１０３３で作成された撮影画像とを比較し、撮影画像中の特定の被写体（対象物）を探し出す。
【００３９】
また、３Ｄ測距処理部１０３１は、その内部に、撮影画像を振幅情報と位相情報とに分解して位相情報を用いて同一点を探索することにより精度の高い３Ｄ測距処理を行うＰＯＣ処理部１０３１ａを有する。
【００４０】
また、ＰＯＣ処理部１０３１ａは、その内部に、切り出し処理において低解像度から高解像度に解像度を変えつつ、位相情報を用いた同一点の探索を繰り返して実行する、ピラミッド処理部１０３１ｂを有する。
【００４１】
また、ピラミッド処理部１０３１ｂは、その内部に、切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成し、ルックアップテーブルは、切り出し処理において切り出された後の領域の座標として、撮影画像中の歪みを補正する歪補正処理が施された状態の座標とする、歪補正処理部１０３１ｃを有する。
【００４２】
〔Ｂ〕第１実施形態の動作：
以下、図３と図５のフローチャート、図４と図６の説明図を参照して、従来動作と比較しつつ、第１実施形態の動作を説明する。
【００４３】
まず、図３を参照して、第１実施形態に対応する従来例の動作を説明する。
【００４４】
撮像ユニットで得られた撮影画像（例えば、図４中のＧ１）について、既知の間引き処理等のダウンサイズ処理により、サイズが小さく低解像度のダウンサイズ画像Ｇ２、Ｇ３、Ｇ４を生成する（図３中のステップＳ１１ａ）。なお、以上のダウンサイズ画像の生成を、左右に配置された２台のカメラ（ステレオカメラ）で撮影された２枚１組の一対の撮影画像について行う。
【００４５】
そして、以上の一対の撮影画像から生成された各階層の画像で、ステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する（図３中のステップＳ１１ｂ）。
【００４６】
なお、この場合、各階層について、低解像度画像から高解像度画像に向かうＧ４，Ｇ３，Ｇ２，Ｇ１について、ｇａ，ｇｂ，ｇｃ，ｇｄのように、被写体を含む所定の領域を切り出してステレオマッチング法による３Ｄ測距処理を行う。なお、このステレオマッチング法による３Ｄ測距処理は前処理であり、撮影画像に含まれる歪曲収差等の歪が残った状態で処理を行っている。
【００４７】
その後、以上のステレオマッチングによる前処理で抽出された被写体画像について、歪曲収差補正等の各種の歪補正処理を行う（図３中のステップＳ１２）。この歪曲収差の補正は、撮像ユニットの光学系の特性に対応して実行すればよい。そして、歪補正処理された被写体画像について、予め保持されているテンプレート画像との一致を検出するテンプレートマッチング処理を行う（図３中のステップＳ１３）。
【００４８】
次に、図５を参照して、第１実施形態の動作を説明する。
【００４９】
撮像ユニット１１０ａ，１１０ｂで得られた撮影画像（例えば、図４中のＧ１）について、３Ｄ測距処理部１０３１内のＰＯＣ処理部１０３１ａが、撮影画像を振幅情報と位相情報とに分解して、位相情報を用いて同一点を探索することにより精度の高い３Ｄ測距処理を行う。
【００５０】
ここで、ＰＯＣ処理部１０３１ａ内部のピラミッド処理部１０３１ｂが、図４中のｇａ〜ｇｄのような切り出し処理において、低解像度から高解像度に解像度を変えつつ、位相情報を用いた同一点の探索を繰り返して実行する。
【００５１】
また、ピラミッド処理部１０３１ｂ内の歪補正処理部１０３１ｃが、以上のピラミッド処理での切り出し処理において、切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成し、ルックアップテーブルによる切り出し処理を行う。このルックアップテーブルは、切り出し処理において切り出された後の領域の座標として、撮影画像中の歪みを補正する歪補正処理が施された状態の座標とする。
【００５２】
すなわち、この第１実施形態では、３Ｄ測距処理におけるピラミッド処理のための切り出し処理を行いつつ、歪補正処理を並行して、前処理を実行する（図５中のステップＳ１０１ａ）。ここで、歪補正処理としては、撮影レンズにより生じる樽型や糸巻き型の歪曲収差を除去する歪補正、撮影対象面と光軸とが垂直になっていない場合に発生するあおりを除去するあおり補正、などが含まれる。従って、３Ｄ測距処理部１０３１における３Ｄ測距処理は、撮影画像から各種歪が除去された状態で実行されるため、処理の精度が従来よりも向上している。
【００５３】
そして、以上の歪補正を伴って生成された各階層の一対の画像で、ステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する（図５中のステップＳ１０１ｂ）。以上のように３Ｄ測距処理部１０３１において歪補正を伴ったピラミッド処理による３Ｄ測距処理により、被写体画像のあおり（撮影対象面の光軸に対する傾き）や３次元位置情報が計測結果として出力される。
【００５４】
そして、３Ｄ測距処理部１０３１での３Ｄ測距処理の計測結果である３次元位置情報と、２Ｄ姿勢計測部１０３２での２Ｄ姿勢計測処理の計測結果である２次元姿勢情報とを受けた補正画像作成処理部１０３３は、各種歪が補正された状態の撮影画像を作成し、２Ｄテンプレートマッチング処理部１０３９に送る。２Ｄテンプレートマッチング処理部１０３９では、後処理としてのテンプレートマッチング処理により、記憶部１０５からの対象物のテンプレート画像と、補正画像作成処理部１０３３で作成された撮影画像とを比較し、撮影画像中の特定の被写体（対象物）を探し出す（図５中のステップＳ１０２）。
【００５５】
以上の第１実施形態では、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測するステレオマッチングにより画像を処理する際に、撮影画像のうちの一部の領域を切り出す切り出し処理と、切り出し処理により切り出された画像を参照して探索を行う探索処理とを実行する際に、切り出し処理において切り出す前後の領域の座標を対応させるためのルックアップテーブルを生成しており、このルックアップテーブルでは、切り出し処理において切り出された後の領域の座標として、画像中の歪みを補正する歪補正処理が施された状態の座標としている。これにより、切り出し処理と、各種歪みを補正する歪補正処理とを同時に実行することになり、全体として高速な処理が可能になる。
【００５６】
以下、３Ｄ測距処理部１０３１において、３Ｄ測距処理におけるピラミッド処理のための切り出し処理を行いつつ、歪補正処理を並行して同時に実行する様子を、図６を参照して説明する。
【００５７】
この歪補正処理を伴う切り出し処理を行う座標変換については、例えば、本件出願の出願人の提案によるＷＯ２０１１／１５８３４４号公報などに記載された座標変換の手法を用いることができる。この座標変換の手法とは、ワールド座標系に設定された曲面若しくは複数の平面を連結した面からなる仮想投影面の画像データについて、ワールド座標系における座標を歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び撮像素子の画素データに基づいて算出する画像処理である。なお、この座標変換の手法は一例であり、他の手法を用いることも可能である。
【００５８】
図６（ａ）は撮像ユニット１１０ａ，１１０ｂにより得られる撮影画像の一例である。なお、図６（ａ）は図４における高解像度画像Ｇ１に相当する。
【００５９】
そして、ピラミッド処理において撮影画像から領域Ｏｂｊ（図６（ｂ）中のハッチング部分）を切り出す場合は、撮像ユニット１１０ａ，１１０ｂ（図６（ｃ）中のＣａ）による撮影範囲Ｖａｌｌ中に含まれる仮想投影面Ｖｏｂｊを指定した座標変換により行える。
【００６０】
この場合、ピラミッド処理による切り出し処理の大きさの変更は、図６（ｃ）においてはズーム処理により対処することができる。また、切り出し処理の位置の変更は、仮想投影面Ｖｏｂｊの位置変更あるいは、視点Ｃａの位置変更により対処することができる。
【００６１】
また、所望の領域の画像を切り出す座標変換を実行する際に、上述した各種歪（歪曲収差、あおり等）補正が実行されるように、歪補正のパラメータを含んだ状態の座標変換用ルックテーブルを作成する。この場合、被写体画像のあおりや回転の補正のパラメータと、レンズの歪曲収差補正のパラメータとに基づく歪み補正係数を用いて座標変換するよう、ルックアップテーブルを作成する。
【００６２】
すなわち、歪補正処理部１０３１ｃでは、設定された仮想投影面Ｖｏｂｊの位置やサイズに基づいて仮想投影面上の各座標のカメラ座標系への変換用ルックアップテーブルを作成し、当該ルックアップテーブルを用いて撮像ユニット１１０ａ，１１０ｂで撮影された画素データを処理する。これにより、歪補正処理部１０３１ｃは、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に、歪曲収差補正及び、仮想投影面Ｖｏｂｊの位置の計算にともなう回転、傾き（あおり）、平行移動、拡大、縮小が併せて行われる。
【００６３】
このような座標変換を実行することで、図６（ｄ）に示されるような、歪補正処理がされた状態で切り出された被写体画像が得られる。
【００６４】
〔Ｃ〕第２実施形態の構成：
第２実施形態に係る画像処理方法を実現する画像処理システム中の画像処理部１０３’の詳細構成を図７に示す。なお、第２実施形態が適用される画像処理システムについては、図１に示されたものを適用可能である。
【００６５】
この画像処理部１０３’は、３Ｄ測距処理部１０３５と、２Ｄ姿勢計測部１０３６と、補正画像作成処理部１０３７と、２Ｄテンプレートマッチング処理部１０３９と、を備えて構成されている。
【００６６】
ここで、３Ｄ測距処理部１０３５は、後述する２Ｄテンプレートマッチング処理（後処理）の前段階の前処理として、左右に配置された２台のカメラ（ステレオカメラ）で撮影された２枚１組の一対の撮影画像を用いて、ステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する。
【００６７】
また、２Ｄ姿勢計測部１０３６は、被写体画像に含まれる被写体の回転やオフセットといった２次元の姿勢計測処理（２Ｄ姿勢計測処理）を既知の手法に従って行う。
【００６８】
補正画像作成処理部１０３７は、３Ｄ測距処理部１０３５の計測結果と２Ｄ姿勢計測部１０３６の計測結果とを受けて、前処理として、被写体画像に含まれる被写体画像について、あおり（撮影対象面の光軸に対する傾き）、回転、オフセット等の撮影時に生じる歪みが補正された状態の撮影画像を作成する。
【００６９】
２Ｄテンプレートマッチング処理部１０３９は、以上の前処理に続く後処理として、記憶部１０５からの対象物のテンプレート画像と、補正画像作成処理部１０３７で作成された撮影画像とを比較し、撮影画像中の特定の被写体（対象物）を探し出す。
【００７０】
〔Ｄ〕第２実施形態の動作：
以下、図８と図１０のフローチャート、図９と図１１の説明図を参照して、従来動作と比較しつつ、第２実施形態の動作を説明する。
【００７１】
まず、図８を参照して、第２実施形態に対応する従来例の動作を説明する。なお、記憶部１０５には予め対象物のテンプレート画像（図９（ａ））が保持されている。
【００７２】
撮像ユニットで得られた撮影画像（図９（ｂ））について、既知のハフ変換等の手法により、２次元の姿勢、例えば、被写体画像の回転θを計測する（図８中のステップＳ２１）。なお、回転θの計測は既知の各種の手法を用いることができる。また、回転の基準としては、テンプレート画像を用いても良いし、予め設定されたアルゴリズム（長辺が水平など）を基準としても良い。
【００７３】
そして、撮像ユニットで得られた一対の撮影画像（図９（ｂ））について、ステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測し、被写体画像の３次元の姿勢（あおり等）を計測する（図８中のステップＳ２２）。
【００７４】
その後、以上のステレオマッチングによる前処理で抽出された被写体画像について、まず、既知のアフィン変換等の手法により、上述した回転やあおりを補正する（図８中のステップＳ２３）。ここで、図９（ｃ）があおり補正前の撮影画像、図９（ｄ）があおり補正後の撮影画像である。
【００７５】
次に、撮像ユニットの光学系に起因する歪曲収差補正等の各種の歪補正処理を行う（図８中のステップＳ２４）。この歪曲収差の補正は、撮像ユニットの光学系の特性に対応して実行すればよい。ここで、図９（ｄ）が歪曲収差補正前の撮影画像、図９（ｅ）が歪曲収差補正後の撮影画像である。
【００７６】
そして、歪補正処理された被写体画像（図９（ｅ））について、予め保持されているテンプレート画像（図９（ａ））との一致を検出するテンプレートマッチング処理を行う（図８中のステップＳ２５）。
【００７７】
以上の一連の処理では、回転とあおりの補正処理、歪補正処理と、２段階の補正処理を行っていた。
【００７８】
次に、図１０を参照して、第２実施形態の動作を説明する。
【００７９】
撮像ユニット１１０ａ，１１０ｂで得られた撮影画像の一方について、既知のハフ変換等の手法により、２Ｄ姿勢計測部１０３６は、被写体画像に含まれる被写体の２次元の姿勢、例えば、被写体画像の回転θを既知の手法に従って計測する（図１０中のステップＳ２０１）。なお、回転θの計測は既知の各種の手法を用いることができる。また、回転の基準としては、テンプレート画像を用いても良いし、予め設定されたアルゴリズム（長辺が水平など）を基準としても良い。
【００８０】
そして、撮像ユニット１１０ａ，１１０ｂで得られた一対の撮影画像について、３Ｄ測距処理部１０３５においてステレオマッチング法による３Ｄ測距処理により、左のカメラで撮影された画像が右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測し、被写体画像の３次元の姿勢（あおり等）を計測する（図１０中のステップＳ２０２）。なお、この３Ｄ測距処理として、必要に応じて、ＰＯＣ処理により撮影画像を振幅情報と位相情報とに分解して、位相情報を用いて同一点を探索することにより精度の高い３Ｄ測距処理を行っても良い。
【００８１】
以上のようにして、前処理として、２Ｄ姿勢計測部１０３６からは撮影画像中の被写体画像の回転等の２次元の姿勢情報が計測結果として出力され、３Ｄ測距処理部１０３５からは撮影画像中の被写体画像のあおりや３次元位置情報が計測結果として出力される。
【００８２】
そして、３Ｄ測距処理部１０３５での３Ｄ測距処理の計測結果であるあおりや３次元位置情報と、２Ｄ姿勢計測部１０３６での２Ｄ姿勢計測処理の計測結果である回転等の２次元姿勢情報とを受けた補正画像作成処理部１０３７は、従来例の処理とは異なり、姿勢補正（回転やあおりの補正）と、歪曲収差補正とを含んだ状態の１プロセスとしての歪補正処理を実行して、各種歪が補正された状態の撮影画像を作成し、２Ｄテンプレートマッチング処理部１０３９に送る。
【００８３】
２Ｄテンプレートマッチング処理部１０３９では、後処理としてのテンプレートマッチング処理により、記憶部１０５からの対象物のテンプレート画像と、補正画像作成処理部１０３７で作成された撮影画像とを比較し、撮影画像中の特定の被写体（対象物）を探し出す（図１０中のステップＳ２０４）。
【００８４】
以上の第２実施形態では、撮影位置が異なる一対の撮影画像上の同一点を探索して３次元的な位置を計測して被写体画像を抽出するステレオマッチングによる前処理と、前処理により抽出された被写体画像と予め保持しているテンプレート画像との一致を検出するテンプレートマッチングによる後処理とを実行する際に、前処理において、被写体画像の姿勢（あおりや回転）を検出し、姿勢（あおりや回転）補正と撮影時の歪曲収差補正とを同時に１つの歪補正処理として行うように、座標を対応させるためのルックアップテーブルを生成する。これにより、姿勢（あおりや回転）補正と歪曲収差補正とを１つの歪補正処理として同時に実行することになり、全体として高速な処理が可能になる。
【００８５】
以下、補正画像作成処理部１０３７において、姿勢（あおりや回転）補正と歪曲収差補正とを同時に１つの歪補正処理として実行する様子を、図１１を参照して説明する。
【００８６】
図１１において、視点Ｃａは撮像ユニット１１０ａ，１１０ｂの撮像位置を表しており、Ｖｏｂｊは被写体画像の撮影面に相当する仮想投影面である。そして、撮像ユニット１１０ａ，１１０ｂの撮影による被写体画像について、あおりや回転の補正を行う場合には、歪補正処理における仮想投影面Ｖｏｂｊに対する視点変換の機能を用いて行える。
【００８７】
このあおり補正と回転補正、歪曲収差補正を同時に行う歪補正処理については、例えば、本件出願の出願人の提案によるＷＯ２０１１／１５８３４４号公報などに記載された座標変換や視点変換の手法を用いることができる。この座標変換の手法とは、既に説明したように、ワールド座標系における座標を歪み補正係数を用いたカメラ座標系への変換を用いることができる。また、視点変換の手法とは、カメラ座標系の画像中心を回転中心（若しくは移動中心）として、仮想投影面の位置を変更する処理を採用することができる。なお、この座標変換や視点変換の手法は一例であり、他の手法を用いることも可能である。
【００８８】
図１１は、撮像ユニット１１０ａ，１１０ｂそれぞれの視点Ｃａを回転中心（若しくは移動中心）として、仮想投影面Ｖｏｂｊの位置（回転やあおりを含む）を変更する例である。
【００８９】
この図１１に示すように、視点Ｃａを回転中心として、Ｘ軸回りの回転がｐｉｔｃｈ（ピッチ、ｔｉｌｔ（チルト）ともいう）である。また、Ｙ軸回りの回転がｙａｗ（ヨー、ｐａｎ（パン）ともいう）である。また、Ｚ軸回りの回転がｒｏｌｌ（ロール）である。
【００９０】
この図１１において、Ｘ軸周りの回転（ピッチ）による視点変換で、仮想投影面Ｖｏｂｊ中の被写体を光軸から水平方向の軸周りにｒ方向に回転させることに等しくなり、Ｘ軸方向のあおりを補正することができる。Ｙ軸周りの回転（ヨー）による視点変換で、仮想投影面Ｖｏｂｊ中の被写体を光軸から垂直方向の軸周りにｙ方向に回転させることに等しくなり、Ｙ軸方向のあおりを補正することができる。また、Ｘ軸周りの回転（ロール）による視点変換で、被写体をｒ方向に回転させることに均区にあり、被写体の回転を補正することができる。すなわち以上の視点変換の機能により、撮影画像中の被写体画像の各種の姿勢補正が可能になる。
【００９１】
なお、図１１では視点変換として回転によるものを示したが、視点Ｃａの平行移動（図示せず）による仮想投影面Ｖｏｂｊの移動、視点Ｃａを回転中心として光軸をＸあるいはＹ方向に移動する（図示せず）ことによる仮想投影面Ｖｏｂｊの移動も可能であり、これらによる被写体画像の姿勢補正も可能である。
【００９２】
そして、以上の歪補正処理における視点変換によるあおりや回転の補正を実行すると同時に、撮像ユニット１１０ａ，１１０ｂの光学系に起因する歪曲収差補正が実行されるように、各種補正（あお・回転補正、歪曲収差補正）のパラメータを含んだ状態の座標変換用ルックテーブルを作成する。この場合、被写体画像のあおりや回転の補正の視点変換のパラメータと、レンズの歪曲収差補正のパラメータとに基づく歪み補正係数を用いて座標変換するよう、ルックアップテーブルを作成する。
【００９３】
すなわち、補正画像作成処理部１０３７では、設定された仮想投影面Ｖｏｂｊの位置やサイズに基づいて仮想投影面上の各座標のカメラ座標系への変換用ルックアップテーブルを作成し、当該ルックアップテーブルを用いて撮像ユニット１１０ａ，１１０ｂで撮影された画素データを処理する。これにより、補正画像作成処理部１０３７は、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に、歪曲収差補正及び、仮想投影面Ｖｏｂｊの位置の計算にともなう回転、傾き（あおり）、平行移動、拡大、縮小が併せて行われる。
【符号の説明】
【００９４】
１００  処理装置
１０１  制御部
１０３  画像処理部
１０５  記憶部
１１０ａ，１１０ｂ  撮像ユニット
１２０  表示部
１３０  操作部
１０３１  ３Ｄ測距処理部
１０３２  ２Ｄ姿勢計測部
１０３３  補正画像作成処理部
１０３５  ３Ｄ測距処理部
１０３６  ２Ｄ姿勢計測部
１０３７  補正画像作成処理部
１０３９  ２Ｄテンプレートマッチング処理部
【図１】
2013254300.tif 000003
【図２】
2013254300.tif 000004
【図３】
2013254300.tif 000005
【図４】
2013254300.tif 000006
【図５】
2013254300.tif 000007
【図７】
2013254300.tif 000008
【図８】
2013254300.tif 000009
【図９】
2013254300.tif 000010
【図１０】
2013254300.tif 000011
【図１１】
2013254300.tif 000012
【図６】
2013254300.tif 000013