(57)【要約】      （修正有）【課題】ステレオカメラの画像全域を高精度に校正する画像処理装置を提供する。【解決手段】第１取得部と第２取得部と第３取得部とを備える。第１取得部は、第１カメラと第２カメラを含むステレオカメラから第１距離だけ離れた第１被写体を第１カメラで撮像した第１撮像画像と、第１被写体を第２カメラで撮像した第２撮像画像とを取得する。第２取得部は、第１距離よりも短い第２距離だけステレオカメラから離れた第２被写体を第１カメラで撮像した第３撮像画像と、第２被写体を第２カメラで撮像した第４撮像画像とを取得する。補正パラメータ決定部は、第１カメラまたは第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については第１撮像画像および第２撮像画像に基づいて、撮像画像の中央領域以外の画像領域を示す第２画像領域については第３撮像画像および第４撮像画像に基づいて、撮像画像を補正するための補正パラメータを決定する。【選択図】図４
2015135317.tif 000002
【特許請求の範囲】
【請求項１】
第１カメラと第２カメラを含むステレオカメラから第１距離だけ離れた第１被写体を前記第１カメラで撮像することで得られた第１撮像画像と、前記第１被写体を前記第２カメラで撮像することで得られた第２撮像画像とを取得する第１取得部と、
前記第１距離よりも短い第２距離だけ前記ステレオカメラから離れた第２被写体を前記第１カメラで撮像することで得られた第３撮像画像と、前記第２被写体を前記第２カメラで撮像することで得られた第４撮像画像とを取得する第２取得部と、
前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については前記第１撮像画像および前記第２撮像画像に基づいて、前記撮像画像の中央領域以外の画像領域を示す第２画像領域については前記第３撮像画像および前記第４撮像画像に基づいて、前記撮像画像を補正するための補正パラメータを決定する補正パラメータ決定部と、を備える、
画像処理装置。
【請求項２】
前記補正パラメータ決定部は、
前記第１距離、前記第１撮像画像、前記第２撮像画像に基づき、前記第１撮像画像および前記第２撮像画像のうちの少なくとも一方について、前記第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する第１算出部と、
前記第２距離、前記第３撮像画像、前記第４撮像画像に基づき、前記第３撮像画像および前記第４撮像画像のうちの少なくとも一方について、前記第２画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、前記目標座標値を対応付けた第２対応データを算出する第２算出部と、
前記第１対応データと前記第２対応データとに基づいて、前記補正パラメータを算出する第３算出部と、を備える、
請求項１に記載の画像処理装置。
【請求項３】
前記第３算出部は、前記第１対応データおよび前記第２対応データの各々に含まれる座標値と前記目標座標値とがそれぞれ対応付けられた複数の組から、最小二乗法により、前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の座標値と前記目標座標値との関係を表す補正式の係数を、前記補正パラメータとして算出する、
請求項２に記載の画像処理装置。
【請求項４】
前記第３算出部は、前記第１対応データおよび前記第２対応データの各々に含まれる前記複数の組のうち、画像の中央に近い組ほど重みを高めて前記補正パラメータを求める、
請求項３に記載の画像処理装置。
【請求項５】
前記第３算出部は、前記第１画像領域と前記第２画像領域との境界付近の画像領域を示す第３画像領域に対応する組は使用しない、
請求項３に記載の画像処理装置。
【請求項６】
前記第３算出部は、前記第３画像領域の近傍の座標値の補正量の線形補間により、前記第３画像領域に対応する補正量を求める、
請求項５に記載の画像処理装置。
【請求項７】
前記第３算出部は、前記第３画像領域の近傍の座標値の補正量のスプライン補間により、前記第３画像領域に対応する補正量を求める、
請求項５に記載の画像処理装置。
【請求項８】
前記第１被写体および前記第２被写体の各々は、市松模様を示すパターンが形成された面を有する部材である、
請求項１乃至７のうちの何れか１項に記載の画像処理装置。
【請求項９】
第１カメラと第２カメラとを含むステレオカメラと、
前記ステレオカメラから第１距離だけ離れた第１被写体を前記第１カメラで撮像することで得られた第１撮像画像と、前記第１被写体を前記第２カメラで撮像することで得られた第２撮像画像とを取得する第１取得部と、
前記第１距離よりも短い第２距離だけ前記ステレオカメラから離れた第２被写体を前記第１カメラで撮像することにより得られた第３撮像画像と、前記第２被写体を前記第２カメラで撮像することで得られた第４撮像画像とを取得する第２取得部と、
前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については前記第１撮像画像および前記第２撮像画像に基づいて、前記撮像画像の中央領域以外の画像領域を示す第２画像領域については前記第３撮像画像および前記第４撮像画像に基づいて、前記撮像画像を補正するための補正パラメータを決定する補正パラメータ決定部と、を備える、
システム。
【請求項１０】
第１カメラと第２カメラを含むステレオカメラから第１距離だけ離れた第１被写体を前記第１カメラで撮像することで得られた第１撮像画像と、前記第１被写体を前記第２カメラで撮像することで得られた第２撮像画像とを取得する第１取得ステップと、
前記第１距離よりも短い第２距離だけ前記ステレオカメラから離れた第２被写体を前記第１カメラで撮像することで得られた第３撮像画像と、前記第２被写体を前記第２カメラで撮像することで得られた第４撮像画像とを取得する第２取得ステップと、
前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については前記第１撮像画像および前記第２撮像画像に基づいて、前記撮像画像の中央領域以外の画像領域を示す第２画像領域については前記第３撮像画像および前記第４撮像画像に基づいて、前記撮像画像を補正するための補正パラメータを決定する補正パラメータ決定ステップと、を含む、
画像処理方法。
【請求項１１】
コンピュータを、
第１カメラと第２カメラを含むステレオカメラから第１距離だけ離れた第１被写体を前記第１カメラで撮像することで得られた第１撮像画像と、前記第１被写体を前記第２カメラで撮像することで得られた第２撮像画像とを取得する第１取得手段と、
前記第１距離よりも短い第２距離だけ前記ステレオカメラから離れた第２被写体を前記第１カメラで撮像することで得られた第３撮像画像と、前記第２被写体を前記第２カメラで撮像することで得られた第４撮像画像とを取得する第２取得手段と、
前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については前記第１撮像画像および前記第２撮像画像に基づいて、前記撮像画像の中央領域以外の画像領域を示す第２画像領域については前記第３撮像画像および前記第４撮像画像に基づいて、前記撮像画像を補正するための補正パラメータを決定する補正パラメータ決定手段として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、一対の車載カメラ（ステレオカメラ）を用いたステレオ式監視装置が注目されている。例えば、車載カメラにより、車両前方の被写体までの距離を計測して、自動車を制御する技術が実用化されている。
【０００３】
三次元計測技術の一つであるステレオ法では、一方のカメラで撮像した画像（以下の説明では、「撮像画像」と称する場合がある）中の画素ブロックと相関を有する画素ブロックを、他方のカメラで撮像した画像において特定し、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。
【０００４】
したがって、精度の高い距離データを算出するためには、一対の画像（ステレオ画像）間には視差以外の位置的なずれが存在しないことが求められている。例えば特許文献１では、距離が既知である被写体(チャート)をカメラで撮影し、距離に応じた適正な視差になるように撮像画像の座標値を補正（校正）する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、被写体までの距離や傾きを厳密に合わせこむことが困難であるため、遠距離に被写体を設置して、校正環境のスペースを広くとる必要がある。これは車載用のカメラのように、画角が広いカメラほど顕著である。そのようなカメラでは、大きな被写体を遠距離から撮影することで画面の上および左右方向には被写体をおさめることはできるが、画面の下側には地面が映ってしまうため、崖のようなカメラの前に地面がないような環境を用意する必要がある。しかしながら、そのような環境を用意して校正を行うことは現実的には困難であるため、画像全域の校正を高精度に行うことは困難であるという問題がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、校正環境に関する制約を比較的受けずに画像全域の校正を高精度に行うことが可能な画像処理装置、システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、第１カメラと第２カメラを含むステレオカメラから第１距離だけ離れた第１被写体を前記第１カメラで撮像することで得られた第１撮像画像と、前記第１被写体を前記第２カメラで撮像することで得られた第２撮像画像とを取得する第１取得部と、前記第１距離よりも短い第２距離だけ前記ステレオカメラから離れた第２被写体を前記第１カメラで撮像することで得られた第３撮像画像と、前記第２被写体を前記第２カメラで撮像することで得られた第４撮像画像とを取得する第２取得部と、前記第１カメラまたは前記第２カメラによる撮像で得られる撮像画像の中央領域を示す第１画像領域については前記第１撮像画像および前記第２撮像画像に基づいて、前記撮像画像の中央領域以外の画像領域を示す第２画像領域については前記第３撮像画像および前記第４撮像画像に基づいて、前記撮像画像を補正するための補正パラメータを決定する補正パラメータ決定部と、を備える画像処理装置である。
【発明の効果】
【０００８】
本発明によれば、校正環境に関する制約を受けずに画像全域の校正を高精度に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態のシステムの構成の一例を示す図である。
【図２】図２は、検査用具の一例を説明するための図である。
【図３】図３は、第１検査用具を撮像した場合の撮像画像と、第２検査用具を撮像した場合の撮像画像とを示す図である。
【図４】図４は、補正パラメータ決定部の機能構成の一例を示す図である。
【図５】図５は、第１対応データの一例を示す図である。
【図６】図６は、第２対応データの一例を示す図である。
【図７】図７は、補正パラメータ決定部の動作例を示すフローチャートである。
【図８】図８は、撮像画像のうち、データセットを取得済みの領域を表した例を示す模式図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明に係る画像処理装置、システム、画像処理方法およびプログラムの実施形態を詳細に説明する。
【００１１】
図１は、本実施形態のシステム１の構成の一例を示す図である。図１に示すように、システム１は、ステレオカメラ１０と画像処理装置２０とを備える。
【００１２】
ステレオカメラ１０は、水平方向に所定の距離（基線長）Ｂを設けて配置された一対の第１カメラ１１ａおよび第２カメラ１１ｂを有している。なお、以下の説明では、ステレオカメラ１０に含まれるカメラの数は２つの場合を例に挙げて説明するが、これに限らず、例えばステレオカメラ１０に含まれるカメラの数は３つ以上であってもよい。
【００１３】
第１カメラ１１ａおよび第２カメラ１１ｂの各々は、撮像レンズ１２と撮像素子（例えばＣＣＤイメージセンサ）１３とを有し、撮像レンズ１２により結像された被写体の像が撮像素子１３の撮像面に撮像される。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。第１カメラ１１ａによる撮像で得られた画像（以下の説明では、「撮像画像」と称する場合がある）、および、第２カメラ１１ｂによる撮像で得られた撮像画像は、画像処理装置２０に入力される。
【００１４】
図１に示すように、画像処理装置２０は、補正パラメータ決定部３０と、補正パラメータ記録部４０と、第１補正部５０と、第２補正部６０と、出力部７０とを備える。
【００１５】
補正パラメータ決定部３０は、適正な視差が得られるよう、撮像画像の座標値を補正するための補正パラメータを決定する機能を有する。以下、補正パラメータ決定部３０の具体的な内容を説明する。
【００１６】
図２は、補正パラメータの決定に用いられる検査用具１００の一例を説明するための図である。図２（ａ）に示すように、検査用具１００は、第１検査用具１０１と第２検査用具１０２とから構成される。第１検査用具１０１は、ステレオカメラ１０の撮像方向側（前方側）に、第１距離Ｘ１だけ離れた位置に配置される。第２検査用具１０２は、ステレオカメラ１０の撮像方向側に、第１距離Ｘ１よりも短い第２距離Ｘ２だけ離れた位置に配置される。この例では、第１距離Ｘ１は５ｍ、第２距離Ｘ２は１ｍであるが、これに限られるものではない。なお、この例では、第１検査用具１０１は請求項の「第１被写体」に対応し、第２検査用具１０２は請求項の「第２被写体」に対応していると考えることができる。
【００１７】
本実施形態では、第１検査用具１０１および第２検査用具１０２の各々は、所定のパターンＰが形成された面を有する同一の部材である。図２（ｂ）は、第１検査用具１０１および第２検査用具１０２の正面図であり、第１検査用具１０１および第２検査用具１０２の各々は、市松模様を示すパターンＰが形成された面を有する。より具体的には、第１検査用具１０１および第２検査用具１０２の各々は、市松模様を示すパターンが表面に形成された板状の部材である。なお、「市松模様」とは、色が異なる２種類の矩形（正方形または長方形）を交互に並べた模様を表す。なお、この例では、第１検査用具１０１および第２検査用具１０２は、同一部材で構成されるが、これに限られるものではなく、例えば第１検査用具１０１の表面に形成されるパターンＰと、第２検査用具１０２の表面に形成されるパターンＰとが異なる形態であってもよい。
【００１８】
なお、第１検査用具１０１および第２検査用具１０２の各々に設けられたパターンＰは、図２（ｂ）に例示した市松模様に限らず、例えば複数の円を並べた（例えばマトリクス状に配列してもよい）円形パターンであってもよい。要するに、特徴点を抽出することが可能なパターンであればよい。本実施形態では、市松模様を構成する複数の矩形の各々の角の部分の濃淡変化が大きいので、この角の部分（以下の説明では、「格子点」と称する場合がある）を特徴点としているが、これに限られるものではない。
【００１９】
円形パターンでは円形の大きさを変化させることで相対的な位置を求めやすく、第１カメラ１１ａの撮像画像および第２カメラ１１ｂの撮像画像の各々における同一の被写体の対応点を検出しやすい。また、格子点のピッチは小さいほど対応点が多くなり、隣接するパターンの関係性から正確な位置情報を得ることができる。一方、格子点のピッチを小さくすると誤検出する可能性が高くなるため、市松模様のような規則的なパターンでなく、不規則な細かい模様のパターンを用いることもできる。また、画面全体の対応点の情報を取得するために、パターンＰはカメラの撮像範囲全体に含まれるよう、十分大きなサイズであることが好ましい。
【００２０】
この例では、第１検査用具１０１を撮像する場合は、第２検査用具１０２を撤去して、第１カメラ１１ａおよび第２カメラ１１ｂによる撮像を行う。図３（ａ）は、第１検査用具１０１を撮像した場合の撮像画像であり、図３（ｂ）は、第２検査用具１０２を撮像した場合の撮像画像である。図３（ａ）の例では、画像（撮像画像）の上側には天井、下側には床が映り込んでしまい、所定の距離での校正用データを取得することができない。一方、図３（ｂ）の例では、画像全域に被写体（第２検査用具１０２）が映り込んでいる。
【００２１】
ここで、校正の精度を高めるためには、なるべく遠距離からの撮像を行うことが好ましい。特に、画像の中央領域では、画像認識等を行うために精度が求められる場合が多い。そこで、本実施形態の補正パラメータ決定部３０は、第１カメラ１１ａまたは第２カメラ１１ｂによる撮像で得られる撮像画像の中央領域を示す第１画像領域については、遠距離に位置する第１検査用具１０１を撮像した場合の撮像画像（後述の第１撮像画像および第２撮像画像）に基づいて、撮像画像の中央領域以外の画像領域を示す第２画像領域については、近距離に位置する第２検査用具１０２を撮像した場合の撮像画像（後述の第３撮像画像および第４撮像画像）に基づいて、撮像画像を補正するための補正パラメータを決定（算出）する。以下、具体的に説明する。
【００２２】
図４は、補正パラメータ決定部３０の機能構成の一例を示す図である。図４に示すように、補正パラメータ決定部３０は、第１取得部３１と、第１算出部３２と、第２取得部３３と、第２算出部３４と、第３算出部３５とを備える。
【００２３】
第１取得部３１は、ステレオカメラ１０から第１距離Ｘ１（この例では５ｍ）だけ離れた第１検査用具１０１を第１カメラ１１ａで撮像することで得られた撮像画像（以下の説明では、「第１撮像画像」と称する場合がある）と、第１検査用具１０１を第２カメラ１１ｂで撮像することで得られた撮像画像（以下の説明では、「第２撮像画像」と称する）とを取得する。
【００２４】
第１算出部３２は、第１距離Ｘ１（この例では５ｍ）、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第１検査用具１０１が映り込んだ画像領域（本実施形態においては撮像画像の中央領域）を示す第１画像領域内の複数の特徴点（この例では、市松模様を示すパターンＰの格子点）と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。より具体的には以下のとおりである。図５は、本実施形態の第１対応データの一例を示す図である。
【００２５】
第１検査用具１０１を、第１カメラ１１ａおよび第２カメラ１１ｂの各々で撮像した場合、第１カメラ１１ａの位置と第２カメラ１１ｂの位置とは異なるので、第１撮像画像に映り込んだ第１検査用具１０１と、第２撮像画像に映り込んだ第１検査用具１０１とでは見え方に差がある（視差がある）。すなわち、第１検査用具１０１の同一の特徴点（任意の１つの格子点）に対応する第１撮像画像の位置および第２撮像画像の位置は視差分だけ離れる（ずれる）ことになる。図５の例では、市松模様を示すパターンＰに含まれる複数の格子点のうち、Ｎｏ．「１」で識別される格子点は、第１撮像画像においては座標値（ｘ，ｙ）＝（１００，４００）に対応し、第２撮像画像においては座標値（ｘ，ｙ）＝（１２４，４０２）に対応している。
【００２６】
図５の例では、第１距離Ｘ１＝５ｍでの理想ずれ量を（ｘ，ｙ）＝（２０，０）としている。このｘ＝２０（ｐｉｘ）は、既知のパラメータである基線長Ｂ（ｍｍ）、焦点距離ｆ（ｐｉｘ）、および、ステレオカメラ１０からの距離Ｚ（ｍｍ）を用いて、以下の式１により導くことができる。ここでは、Ｂ＝１００（ｍｍ）、ｆ＝１（ｐｉｘ）であるが、これに限られるものではない。なお、ｙ方向のずれは平行等位にするため、ずれ量＝０とする必要がある。
【数１】
2015135317.tif 000003
【００２７】
第１算出部３２は、第１撮像画像のうち上述の第１画像領域に含まれる（映り込んだ）複数の格子点ごとに、当該格子点に対応する第１撮像画像の座標値および第２撮像画像の座標値を特定するとともに理想ずれ量を求める。なお、同一の格子点に対応する第１撮像画像の座標値および第２撮像画像の座標値の各々を特定する手法（対応点探索方法）としては、公知の様々な技術（例えばＳＡＤ（Sum  Of  Absolute  Difference）やＰＯＣ（位相限定相関など）を利用可能である。その後、第１算出部３２は、第１画像領域に含まれる複数の格子点ごとに、理想的な座標値（理想の視差を得るための位置、以下、「目標座標値」と称する場合がある）を求める。図５の例では、Ｎｏ．「１」で識別される格子点では、実測のずれ、つまり、当該格子点に対応する第１撮像画像の座標値と第２撮像画像の座標値との差（ｘ，ｙ）＝（２４，２）に対して、理想ずれ量（ｘ，ｙ）＝（２０，０）となっており、その差（ｘ，ｙ）＝（−４，−２）だけ補正する必要がある。
【００２８】
ここでは、一例として、第１撮像画像および第２撮像画像の各々に対して補正量を均等に割り当てているが、これに限らず、例えば一方の画像を基準とし、他方の画像に対して補正量を割り当てる形態であってもよい。図５の例では、ｘ方向の「４」の補正量のうち、第１撮像画像に対して「２」の補正量を割り当て、第２撮像画像に対して「２」の補正量を割り当てている。具体的には、図５に示すように、Ｎｏ．「１」で識別される格子点に対応する第１撮像画像の座標値（補正前の座標値）に対して、目標座標値（補正後の座標値）ｘ’＝１０２（＝１００＋２）とし、当該格子点に対応する第２撮像画像の座標値（補正前の座標値）に対して、目標座標値（補正後の座標値）ｘ’＝１２２（＝１２４−２）とする。こうすることで、Ｎｏ．「１」で識別される格子点に対応する第１撮像画像の目標座標値と、当該格子点に対応する第２撮像画像の目標座標値との相対位置関係を、理想ずれ量を得ることが可能な相対位置関係とすることができる。ｙ方向についても同様に処理する。
【００２９】
以上のようにして、第１算出部３２は、Ｎｏ．「１」で識別される格子点に対応する第１撮像画像の座標値（ｘ，ｙ）と、目標座標値（ｘ’，ｙ’）との組（１組のデータセット）、および、当該格子点に対応する第２撮像画像の座標値（ｘ，ｙ）と、目標座標値（ｘ’，ｙ’）との組を生成する。同様にして、第１算出部３２は、複数の格子点ごとに、当該格子点に対応する座標値と目標座標値との組（以下の説明では、「データセット」と称する場合がある）を生成する。
【００３０】
以上より、本実施形態の第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像の各々について、上述の第１画像領域に映り込んだ複数の格子点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。なお、この例では、第１算出部３２は、第１撮像画像に対応する第１対応データと、第２撮像画像に対応する第１対応データとをそれぞれ算出しているが、これに限らず、例えば第１算出部３２は、第１撮像画像および第２撮像画像のうちの一方に対応する第１対応データのみを算出する形態であってもよい。
【００３１】
要するに、第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第１被写体（この例では第１検査用具１０１）が映り込んだ第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する形態であればよい。
【００３２】
図４に戻って説明を続ける。第２取得部３３は、第２検査用具１０２を第１カメラ１１ａで撮像することにより得られた第３撮像画像と、第２検査用具１０２を第２カメラ１１ｂで撮像することで得られた第４撮像画像とを取得する。なお、本実施形態では、上述の第１取得部３１および第２取得部３３を別体として記載するが、これに限らず、例えば第１取得部３１および第２取得部３２は同一の構成要素であってもよい。例えば、第１取得部３１および第２取得部３３のうちの一方が他方の機能も兼ねる形態であってもよい。
【００３３】
第２算出部３４は、第２距離Ｘ２（この例では１ｍ）、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２検査用具１０２が映り込んだ画像領域のうち、上述の第１画像領域に相当する部分以外の画像領域を示す第２画像領域（本実施形態においては撮像画像の中央領域以外の画像領域）内の複数の特徴点（この例では、市松模様を示すパターンＰの格子点）と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する。
【００３４】
第２対応データの算出方法は、基本的には上述の第１対応データの算出方法と同様である。本実施形態の第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像の各々について、上述の第２画像領域に映り込んだ複数の格子点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを生成する。図６は、第２算出部３４が算出した第２対応データの一例を示す図である。
【００３５】
この例では、第２算出部３４は、第３撮像画像に対応する第２対応データと、第４撮像画像に対応する第２対応データとをそれぞれ生成しているが、これに限らず、例えば第２算出部３４は、第３撮像画像および第４撮像画像のうちの一方に対応する第２対応データのみを生成する形態であってもよい。要するに、第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２被写体（この例では第２検査用具１０２）が映り込んだ画像領域のうち、第１画像領域に相当する部分以外の画像領域を示す第２画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する形態であればよい。
【００３６】
図４に戻って説明を続ける。第３算出部３５は、上述の第１対応データと上述の第２対応データとに基づいて、第１カメラ１１ａまたは第２カメラ１１ｂによる撮像で得られる撮像画像を補正するための補正パラメータを算出する。より具体的には、第３算出部３５は、上述の第１対応データおよび上述の第２対応データの各々に含まれる座標値と目標座標値とがそれぞれ対応付けられた複数の組から、最小二乗法により、第１カメラ１１ａまたは第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と目標座標値との関係を表す補正式の係数を、補正パラメータとして算出する。補正式は、例えば以下の式２で表すことができる。なお、補正式は、以下の式２のようなアフィン変換式に限定されるものではなく、他の形でも構わない。例えば、ｘ、ｙに関する２次項や３次以上の項を含む多項式を用いることもできる。
【数２】
2015135317.tif 000004
【００３７】
本実施形態では、第３算出部３５は、上述の第１撮像画像に対応する第１対応データに含まれる複数のデータセット（補正前の座標値（ｘ，ｙ）と目標座標値（ｘ’，ｙ’）との組）と、上述の第３撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第１カメラ１１ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第１補正式」と称する場合がある）の係数ａ〜ｆを算出する。また、第３算出部３５は、上述の第２撮像画像に対応する第１対応データに含まれる複数のデータセットと、上述の第４撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第２補正式」と称する場合がある）の係数ａ〜ｆを算出する。
【００３８】
なお、例えば第３算出部３５は、第１対応データおよび第２対応データの各々に含まれる複数のデータセットのうち、画像の中央に近いデータセットほど、重み付き最小二乗法における重みを高めて上記係数ａ〜ｆ（補正パラメータの一例）を求めてもよい。
【００３９】
以上のようにして、第３算出部３５は、第１カメラ１１ａによる撮像で得られる撮像画像の座標値と目標座標値との関係を表す第１補正式と、第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と目標値との関係を表す第２補正式とをそれぞれ求める。第３算出部３５は、以上のように算出した第１補正式および第２補正式を、図１に示す補正パラメータ記録部４０に記録しておく。以上が、図１および図３に示す補正パラメータ決定部３０の内容である。
【００４０】
次に、図７を用いて、補正パラメータ決定部３０の動作例を説明する。図７は、補正パラメータ決定部３０の動作例を示すフローチャートである。
【００４１】
まず、ユーザは、上述の第２検査用具１０２を撤去し、画像処理装置２０に対して遠距離撮影モードを指示する。この指示を受け付けた画像処理装置２０は、遠距離撮影モードであることを補正パラメータ決定部３０に対して通知し、この通知を契機として、上述の第１取得部３１および第１算出部３２が動作を開始する。また、ユーザは、第１カメラ１１ａおよび第２カメラ１１ｂの各々に対して撮像を指示する。この指示を受けた第１カメラ１１ａおよび第２カメラ１１ｂの各々は、上述の第１検査用具１０１を撮像する。これにより、第１検査用具１０１を第１カメラ１１ａで撮像することで得られた第１撮像画像と、第１検査用具１０１を第２カメラ１１ｂで撮像することで得られた第２撮像画像とが画像処理装置２０へ入力され、第１取得部３１は、第１撮像画像と第２撮像画像を取得する(ステップＳ１)。
【００４２】
次に、第１算出部３２は、ステップＳ１で取得された第１撮像画像および第２撮像画像と、既知の第１距離Ｘ１（この例では５ｍ）とに基づいて、第１撮像画像に対応する第１対応データと、第２撮像画像に対応する第１対応データとを算出する（ステップＳ２）。この第１対応データの算出方法は、上述したとおりである。
【００４３】
次に、ユーザは、撤去していた上述の第２検査用具１０２を元に戻し、画像処理装置２０に対して近距離撮影モードを指示する。この指示を受け付けた画像処理装置２０は、近距離撮影モードであることを補正パラメータ決定部３０に対して通知し、この通知を契機として、上述の第２取得部３３および第３算出部３４が動作を開始する。また、ユーザは、第１カメラ１１ａおよび第２カメラ１１ｂの各々に対して撮像を指示する。この指示を受けた第１カメラ１１ａおよび第２カメラ１１ｂの各々は、上述の第２検査用具１０２を撮像する。これにより、第２検査用具１０２を第１カメラ１１ａで撮像することで得られた第３撮像画像と、第２検査用具１０２を第２カメラ１１ｂで撮像することで得られた第４撮像画像とが画像処理装置２０へ入力され、第２取得部３３は、第３撮像画像と第４撮像画像を取得する(ステップＳ３)。
【００４４】
次に、第２算出部３４は、ステップＳ３で取得された第３撮像画像および第４撮像画像と、既知の第２距離Ｘ２（この例では１ｍ）とに基づいて、第３撮像画像に対応する第２対応データと、第４撮像画像に対応する第２対応データとを算出する（ステップＳ４）。この第２対応データの算出方法は、上述したとおりである。
【００４５】
次に、第３算出部３５は、ステップＳ２で算出された第１対応データと、ステップＳ４で算出された第２対応データとに基づいて補正パラメータを算出する（ステップＳ５）。上述したように、第３算出部３５は、第１撮像画像に対応する第１対応データと、第３撮像画像に対応する第２対応データとに基づいて、第１カメラ１１ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第１補正式の係数を、補正パラメータとして算出する。また、第３算出部３５は、第２撮像画像に対応する第１対応データと、第４撮像画像に対応する第２対応データとに基づいて、第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第２補正式の係数を、補正パラメータとして算出する。
【００４６】
そして、第３算出部３５は、ステップＳ５で算出した補正パラメータを補正パラメータ記録部４０に記録する（ステップＳ６）。
【００４７】
なお、例えばユーザが、上述の遠距離撮影モードの指示や近距離撮影モードの指示を行わない形態であってもよい。この形態においては、例えば第１カメラ１１ａ（第２カメラ１１ｂ）から時系列に入力される撮像画像を比較し、撮像画像に映り込んだパターンＰのサイズが大きい方を、近距離撮影モードの撮像で得られた第３撮像画像（第４撮像画像）であると判断する一方、パターンサイズＰが小さい方を、遠距離モードの撮像で得られた第１撮像画像（第２撮像画像）であると判断し、上記と同様にして、第１対応データ、第２対応データおよび補正パラメータを算出することが可能である。
【００４８】
図１に戻って説明を続ける。上述の第１補正式および第２補正式を保持する補正パラメータ記録部４０は、例えば不揮発性メモリで構成される。
【００４９】
第１補正部５０は、第１補正式を用いて、第１カメラ１１ａによる撮像で得られた撮像画像の座標値を補正する。以下の説明では、第１補正部５０による補正が行われた後の画像を「第１補正画像」と称する場合がある。
【００５０】
第２補正部６０は、第２補正式を用いて、第２カメラ１１ｂによる撮像で得られた撮像画像の座標値を補正する。以下の説明では、第２補正部６０による補正が行われた後の画像を「第２補正画像」と称する場合がある。
【００５１】
出力部７０は、上述の第１補正画像と、上述の第２補正画像とから視差を計算し、第１補正画像および第２補正画像のうち基準となる方の画像の各画素値の奥行き値（デプス）を示す視差画像（デプスマップ）を生成して出力する。本実施形態では、図７のフローに従って補正パラメータを決定（更新）することで、正確な視差画像を出力することができる。
【００５２】
本実施形態では、以上に説明した画像処理装置２０は、ＣＰＵ、ＲＯＭやＲＡＭ等の記憶装置、ステレオカメラ１０等と通信するための通信Ｉ／Ｆを含むコンピュータ装置で構成され、上述した画像処理装置２０の各部の機能（補正パラメータ決定部３０（第１取得部３１、第１算出部３２、第２取得部３３、第２算出部３４、第３算出部３５）、第１補正部５０、第２補正部６０、および、出力部７０）は、ＣＰＵが記憶装置に格納されたプログラムを実行することにより実現される。なお、これに限らず、例えば上述した画像処理装置２０の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）で実現されてもよい。また、上述の補正パラメータ記録部４０は、例えばＲＯＭや外部記憶装置（例えばＨＤＤ）等により実現することができる。
【００５３】
また、例えば上述した画像処理装置２０の各部の機能が、複数の装置に分散されて搭載される形態であってもよい。この場合、上述の補正パラメータ決定部３０が少なくとも搭載された装置が、請求項の「画像処理装置」に対応していると考えることができる。
【００５４】
以上に説明したように、本実施形態では、遠距離撮影モードの撮像で得られた第１撮像画像および第２撮像画像を用いて算出された第１対応データ（第１撮像画像または第２撮像画像のうち、第１検査用具１０１が映り込んだ画像領域を示す第１画像領域内の複数の格子点と１対１に対応する複数の座標値ごとに、目標座標値を対応付けた情報）と、近距離撮影モードの撮像で得られた第３撮像画像および第４撮像画像を用いて算出された第２対応データ（第３撮像画像または第４撮像画像内の第２検査用具１０２が映り込んだ画像領域のうち、第１画像領域以外の画像領域を示す第２画像領域内の複数の格子点と１対１に対応する複数の座標値ごとに、目標座標値を対応付けた情報）とに基づいて、撮像画像の座標値を補正するための補正パラメータを算出する。これにより、校正環境に関する制約を比較的受けずに撮像画像全域の校正を高精度に行うことができるという有利な効果を達成できる。
【００５５】
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００５６】
（変形例）
図８は、撮像画像の画像領域１２８０（ｐｉｘ）×９６０（ｐｉｘ）のうち、データセットを取得済みの領域を表した例を示す模式図である。ここで、上記補正式の係数の算出の際に、第１画像領域と第２画像領域との境界付近に対応するデータセットを使用すると、補正量にギャップがうまれ、急激に画像が変化してしまう可能性がある。そこで、例えば第３算出部３５は、第１画像領域と第２画像領域との境界付近の画像領域を示す第３画像領域に対応するデータセットは使用しない形態であってもよい。図８の例では、ｙ座標＝２５０付近のデータセットと、ｙ座標＝７５０付近のデータセットを削除している。
【００５７】
ただし、単にデータセットを取り除いてしまうと、最小二乗法を用いて補正式を導出した際、その領域（第３画像領域）で制限がかからないため、補正式の形によっては補正量が不必要に大きく変化してしまうおそれもある。そこで、例えば第３算出部３５は、第３画像領域の近傍の座標値の補正量の線形補間により、第３画像領域に対応する補正量を求めて補填してもよい。その後で最小二乗法により補正式を導出することで、第３画像領域での補正量の大きな変化を抑制することができる。
【００５８】
具体的には、例えば図８の上側の第３画像領域の近傍の第２画像領域の座標値（例えば図８のｙ＝２００付近の座標値）が、（ｘ，ｙ）＝（１００，２００）であり、当該第３画像領域の近傍の第１画像領域の座標値（例えばｙ＝３００付近の座標値）が、（ｘ，ｙ）＝（１００，３００）であるとする。また、（ｘ，ｙ）＝（１００，２００）における補正量が＋２、（ｘ，ｙ）＝（１００，３００）における補正量が＋４であるとする。この場合、ｙ＝２００の補正量が＋２、ｙ＝３００の補正量が＋４なので、その間を線形補間したときの補正すべき量（補正量）は、補正量＝２＋（４−２）／（３００−２００）×（ｙ−２００）＝０．０２ｙ−２として求めることができる。
【００５９】
また、例えば線形補間ではなく、第３算出部３５は、第３画像領域の近傍の座標値の補正量のスプライン補間により、第３画像領域に対応する補正量を求めることもできる。例えば第３算出部３５は、以下の式３のような３次式で間を補間することもできる。
【数３】
2015135317.tif 000005
【００６０】
上記式３におけるｇ〜ｊは多項式の係数であり、実測されたデータから導く。４つの係数を導くためには４点のデータが必要であるため、たとえば図８の上側の第２画像領域に対応する第２対応データから（ｘ，ｙ）＝（１００，１９９）と（１００，２００）のデータを選択し、第１画像領域に対応する第１対応データから（ｘ，ｙ）＝（１００，３００）と（１００，３０１)のデータを選択することで、４つの方程式ができるため、それを解くことで係数を求めることができる。
【００６１】
この例では、以上の４点のデータは、（ｘ，ｙ，補正量)＝（１００，１９９，４．１５）、（１００，２００，４．１）、（１００，３００，３．６）、（１００，３０１，３．５９）であり、最小二乗法により、例えば上記係数ｇ〜ｊが算出される。この例では、係数ｇ＝７．０９ｅ−７、ｈ＝−４．０８ｅ−４、ｉ＝６．３９ｅ−２、ｊ＝１．９８と算出される。ｘ＝１００の場合のｙ＝２０１〜２９９の補正すべき量は、上記係数を使用した式により求めることができ、データとして補填することができる。
【００６２】
ただし、上記４点のデータの値および間隔は上述の値に限られる必要はなく、任意に決めることができる。また、以上のように線形補間やスプライン補間などを用いて補填したデータを追加せずに、最小二乗法で補正式を導出しても問題はない。
【００６３】
（プログラム）
上述した実施形態の画像処理装置２０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【符号の説明】
【００６４】
１      システム
１０    ステレオカメラ
１１ａ  第１カメラ
１１ｂ  第２カメラ
２０    画像処理装置
３０    補正パラメータ決定部
３１    第１取得部
３２    第１算出部
３３    第２取得部
３４    第２算出部
３５    第３算出部
４０    補正パラメータ記録部
５０    第１補正部
６０    第２補正部
７０    出力部
１００  検査用具
１０１  第１検査用具
１０２  第２検査用具
【先行技術文献】
【特許文献】
【００６５】
【特許文献１】特開２００４−１３２８７０号公報
【図１】
2015135317.tif 000006
【図２】
2015135317.tif 000007
【図３】
2015135317.tif 000008
【図４】
2015135317.tif 000009
【図５】
2015135317.tif 000010
【図６】
2015135317.tif 000011
【図７】
2015135317.tif 000012
【図８】
2015135317.tif 000013