(57)【要約】【課題】画面内でのスポット形状の違いに基づく視差を補正することにより、より高精度な視差検出、すなわち、より高精度な距離検出を可能とする画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置は、複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備える。【選択図】図１
2013065179.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、
前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備えることを特徴とする画像処理装置。
【請求項２】
前記視差補正手段は、スポット形状に基づいて視差バイアス値を決定する視差バイアス値決定手段をさらに備え、前記視差バイアス値決定手段により決定された視差バイアス値を前記視差算出手段により算出された視差に加算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視差バイアス値決定手段は、画像面を領域分割し、特徴点の属する領域に応じた視差バイアス値を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
複数の視点から撮像した複数の画像を入力する入力ステップと、前記複数の画像間の視差を算出する視差算出ステップを備える画像処理方法であって、
前記視差算出ステップにより算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正ステップを備えることを特徴とする画像処理方法。
【請求項５】
前記視差補正ステップは、スポット形状に基づいて視差バイアス値を決定する視差バイアス値決定ステップをさらに備え、前記視差バイアス値決定ステップにより決定された視差バイアス値を前記視差算出ステップにより算出された視差に加算することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記視差バイアス値決定ステップは、画像面を領域分割し、特徴点の属する領域に応じた視差バイアス値を決定することを特徴とする請求項５に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラで撮影した画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
理想的なカメラであれば、点光源を被写体として撮影すれば、撮像面上の点光源像は輝点となるはずだが、現実のカメラでは、結像レンズ系のＭＴＦ特性などのため、撮影された点光源像は一定の広がりを持つ。この点光源像の広がりの分布形状を、ここではスポット形状と呼ぶ。スポット形状の例を図１０に示す。本図の左側は、縦横軸が画面上の縦横方向位置を表し、輝度分布を等高線で表したものである。また、本図の右側は、左側の図のＸ軸断面を表したものである。
【０００３】
一般に、スポット形状は図１０（ａ）のような釣鐘型の形状をとる。この形状を決定する要素としては、レンズ系設計、入射光の波長およびレンズ組み付け公差による個体差などがあり、また画面上の位置によっても変化する。一般に画面中央付近では、図１０（ａ）のような対称な形をとるが、光軸から離れるに従い、図１０（ｂ）のような非対称な形をとる場合が多い。
【０００４】
ここで、このようなスポット形状の変化が、ステレオカメラの視差検出に与える影響を考える。例えば、光学歪みやカメラ組み付け誤差は無いもの、あるいは完全に補正されているもの、およびスポット形状の違いだけを考慮すると仮定し、ステレオカメラ７０と３つの点光源被写体Ａ、Ｂ、Ｃを図１１のように配置して撮影した場合、被写体Ａ、Ｂはどちらも左カメラ７１の正面にあるが、Ａは遠方（無限遠）、Ｂはカメラ近傍にあることがわかる。また被写体Ｃは、右カメラ７２から見てＢと同じ方向の遠方にあることがわかる。
【０００５】
したがって、図１２に示すように、撮影される２枚のステレオ画像では、左カメラ画像８１では、Ａ、Ｂともに画面中央に写り（Ａ１、Ｂ１）、Ｃだけ左側に写ることとなる（Ｃ１）。一方、右カメラ画像８２では、Ａは画面中央に（Ａ２）、ＢとＣは画面左側に写ることとなる（Ｂ２、Ｃ２）。
【０００６】
図１３に、２種類のスポット形状の例を示す。ここでは理解を容易にするため、横方向の１次元のみを考え、図１２のような三角形型を仮定する。図１３（ａ）は左右対称型９１を示し、図１３（ｂ）は非対称型９２を示す。左カメラ７１、右カメラ７２とも、画面中央付近では（ａ）の対称型、画面左端付近では（ｂ）の非対称型のスポットを持つとする。すなわち、図１２で示したＡ１、Ｂ１、Ａ２は図１３（ａ）の、図１２で示したＣ１、Ｂ２、Ｃ２は図１３（ｂ）のスポット形状になるものとする。
【０００７】
次に、図１４に、２種類のスポット形状の自己、および相互相関の計算結果を示す。図１４に示すａ−ａが図１３（ａ）で示した対称型スポットの自己相関、図１４に示すｂ−ｂが図１３（ｂ）で示した非対象型スポットの自己相関、図１４に示すａ−ｂが２種類のスポットの相互相関を示す。図１４から、ａ−ａ、ｂ−ｂはｘ＝０で相関値が最小になるが、ａ−ｂの最小値はｘ＜０にあることがわかる。これは対称型スポットの相関９１と非対象型スポットの相関９２が最大になるのは、二つのスポットのピーク位置が一致する配置ではなく、図１５のように、ピーク位置がわずかに（ｄだけ）ずれた配置になることを示している。このズレ量ｄは非対象型スポットの重心位置とも異なっていることがわかる。
【０００８】
図１２のステレオ画像では、被写体Ａは左右の画像とも画面中央に写っているため、スポット形状は両方とも図１３（ａ）で示した対称型であり、視差の計測の過程では、図１４で示したａ−ａの形の相関係数が得られる。カメラ内部外部パラメータは完全に補正されていると仮定しているので、無限遠の被写体Ａの視差は０となる。同様に被写体Ｃは、スポット形状は両方とも図１３（ｂ）で示した非対称型であり、図１４で示したｂ−ｂの形の移動相関から、視差０と求められる。
【０００９】
ところが被写体Ｂの場合は、左カメラ画像８１ではスポット形状は図１３（ａ）で示した対称型となり、右カメラ画像８２では図１３（ｂ）で示した非対称型となるため、相関値を最小とする対応点位置は、二つのスポットのピーク位置の差から、図１５で示したｄの分だけずれた値が得られてしまう。
【００１０】
なお、図１４では相関関数を示したが、図１６（ａ）に、ステレオ視差演算でよく利用されるＳＡＤ（差分絶対値和）により演算された値を、図１６（ｂ）に、ＳＳＤ（差分二乗和）により演算された値を示す。図１３（ａ）で示した対称型スポットと図１３（ｂ）で示した非対称スポット間の差分最小値は、図１４と同様に０からずれた位置となっており、これらの評価値を利用した場合でも、計算される視差値は相関を利用した場合と同様の誤差を含むことがわかる。
【００１１】
そこで、上記のような対応点位置の座標の差として算出した視差をテーブル参照により補正する技術が特許文献１に開示されている。特許文献１に係る発明は、カメラの歪曲特性や、カメラ取り付け位置のばらつきを補正することを目的とし、画像位置を、歪曲や組み付け誤差の無い理想的な座標値に修正する手段を設けたものである。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、特許文献１に示されるような技術を利用して、例え歪曲特性やカメラ取り付け位置ずれなどを、スポットピーク位置やスポット重心位置を基準とした理想像位置に完全に補正したとしても、スポット形状の違いにより、視差演算の結果に誤差が生じてしまう。
【００１３】
そこで、本発明はこのような画面内でのスポット形状の違いに基づく視差を補正することにより、より高精度な視差検出、すなわちより高精度な距離検出を可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明の画像処理装置は、複数の視点から撮像した複数の画像を入力する入力手段と、前記複数の画像間の視差を算出する視差算出手段を備える画像処理装置であって、前記視差算出手段により算出された視差を、画像内の像位置に応じたスポット形状に基づいて補正する視差補正手段を備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、スポット形状の違いを考慮して視差を補正するので、高精度な視差演算を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態の画像処理装置を示すブロック図である。
【図２】本発明の第１実施形態に関し、スポット形状テーブルのための画像の領域分割を示す図である。
【図３】本発明の第１実施形態に関し、スポット形状計測装置の構成を示す概略図である。
【図４】本発明の第１実施形態に関し、レーザスポット撮影画像から積算した１次元輝度分布データを示す図である。
【図５】本発明の第１実施形態に関し、１／Ｎ画素単位での輝度分布データを示す図である。
【図６】本発明の第１実施形態に関し、相関バイアステーブルの例を示す図である。
【図７】本発明の実施形態に関し、画像処理を説明するフロー図である。
【図８】本発明の第２実施形態の画像処理装置を示すブロック図である。
【図９】本発明の第２実施形態に関し、標準スポット基準のバイアス値同士の差分による近似を示す図である。
【図１０】一般的なスポット形状として、（ａ）対称型スポット形状、（ｂ）非対称型スポット形状を示す図である。
【図１１】ステレオカメラと被写体の配置関係を示す図である。
【図１２】図１０において、左右カメラが撮影する被写体のステレオ画像を示す図である。
【図１３】１次元のみで捉えた、（ａ）対称型スポット形状、（ｂ）非対称型スポット形状を示す図である。
【図１４】図１３に示した（ａ）対称型スポット形状、（ｂ）非対称型スポット形状の自己／相互相関の計算結果を示す図である。
【図１５】図１３に示した（ａ）対称型スポット形状、（ｂ）非対称型スポット形状の相互相関が最大となる配置を示す図である。
【図１６】上記２種類（対称／非対称）のスポット形状の、（ａ）ＳＡＤ（差分絶対値和）、（ｂ）ＳＳＤ（差分二乗和）により演算された値を示す図である。
【発明を実施するための形態】
【００１７】
［第１実施形態］
本発明の第１実施形態の画像処理装置１について、図１〜図６を用いて説明する。図１は、本実施形態の画像処理装置１を示す概略ブロック図である。一般的な平行等位の２台１組からなるステレオカメラで撮影した二つの画像が、図の左側から図示しない入力手段を介して画像処理装置１へ入力される（入力される画像を、それぞれ基準画像、比較画像とする）。なお、ここでは各カメラでの撮影画像が持つ歪曲特性やカメラ２台の相対位置のずれ等は各カメラ内で補正されており、入力されるステレオ画像は水平なエピポーラ線を持つものとする。
【００１８】
まず、図１について、視差算出手段としての対応点探索部１１、視差補正手段としての相関バイアステーブル１２及び視差補正部１３について、以下順に説明する。なお、相関バイアステーブル１２は、視差補正手段がさらに備える視差バイアス値決定手段として機能するものである。
【００１９】
対応点探索部１１は、一般的なステレオカメラと同様に左右のカメラ画像の対応点を探索する。つまり、基準画像を領域分割し、（１）ラスタスキャン順に基準画像中の１領域を基準領域として選択する。（２）比較画像において、（１）で選択した基準領域と同じ位置からエピポーラ線上に一画素ずつ比較領域を移動しながら、基準領域と各比較領域の画素値の正規化相関を計算する。（３）相関係数が最も大きくなる比較領域の位置を対応点位置とする。
【００２０】
対応点探索部１１による上記処理においては、基準領域の中心の位置座標（基準点位置）、対応する比較領域の中心の位置座標（対応点位置）及び視差（二つのｘ軸座標の差）の３つの情報を基準領域ごとに出力するものである。なお、ここでは対応点位置として画素単位の座標値を求めるが、最大相関位置の近傍位置の相関値から補間演算により画素単位以下の精度で対応点位置を求めることもできる。また、相関係数の最大値の代わりに、差分絶対値和（ＳＡＤ）や差分二乗和（ＳＳＤ）の最小値を利用してもよい。
【００２１】
相関バイアステーブル１２は、予め計測した、画像面上の各位置でのスポット形状に応じた相関ピーク位置のずれ量を記録したテーブルである。その内容と設定方法は後述する。相関バイアステーブル１２は、基準点、および対応点の位置座標を入力し、その組み合わせでのずれ量（視差バイアス）を出力する。
【００２２】
視差補正部１３は、対応点探索部１１の出力する視差に、相関バイアステーブル１２の出力する視差バイアスを加算し、スポット形状の違いによる視差の誤差を補正する。
【００２３】
以下に、本実施形態について、スポット形状の計測からバイアス値の決定に至るまでの処理を説明する。相関バイアステーブル１２は、画像面内の位置情報から、その位置でのスポット形状に応じた視差補正値（バイアス値）を取得するために利用する。画像面を図２のように（ここでは横５×縦３に）領域分割し、領域ごとの代表スポット形状を計測し対応するバイアス値を記録しておく。
【００２４】
スポット形状の計測について、図３を用いて以下説明する。図３は、領域分割された画像面の各位置のスポット形状を計測するスポット形状計測装置２０の構成を示す概略図である。垂直軸及び水平軸の２軸回りのカメラ回転台２２にスポット形状計測カメラ２１を設置し、図の左方から図示しない発光装置により平行なレーザー光を入射する。このように設置し回転台の角度を調整することで、画像面上の任意の位置にレーザー光のスポットを形成することができる。
【００２５】
各領域の中央、例えば図２の領域：０のスポット形状を計測する場合には、図中Ａ点にレーザスポットが写るように回転台２２の角度を調整し画像を撮影する。ここでは、ｘ軸方向の視差を問題にしているので、得られた画像をｙ軸方向に積算し１次元のスポット形状を表す輝度分布データを作成する。図４に、レーザスポット撮影画像から１次元輝度分布データを計算した結果を示す。
【００２６】
図４の上段に、レーザスポット画像の一部であるレーザスポット画像３１から得られた１次元輝度分布データを示す。また、図４の中段に、この１次元輝度分布データを縦方向に積算した結果を縦方向積算結果３２として示す。さらに、図４の下段には、縦方向積算結果３２をグラフ３３として示す。
【００２７】
なお、図５に示すように１／Ｎ画素相当カメラを利用し水平回転軸廻りに回転させるごとに、Ｎ枚の画像を撮影してデータを並べ替えれば１／Ｎ画素単位でのスポット形状データを計測ことができる。なお、図５においては、１枚目の画像４１に対し、２枚目の画像４２は、１／２画素をずらして撮影したことによる１／２画素単位の輝度分布データを算出した結果をグラフ４３で表している。その他、多数の測定値の平均や、レンズ設計データによるスポット形状モデルフィッティングなど、一般的なデータ処理方法により計測データの精度を向上させることができる。
【００２８】
次に、バイアス値の決定について図６を用いて以下説明する。各領域で計測されたスポット形状同士の相互相関関数を計算し、二つの領域の組合せに対して補正量を記録しておく。図６は、その補正量を記録した相関バイアステーブル１２の例を示したものである。ここでは、縦軸が基準画像の領域番号、横軸が比較画像の領域番号を表し、各欄の数字が左右画像のスポット形状の相互相関のピーク位置のずれ量（画素単位）を示す。したがって、通常のステレオ対応点探索の結果得られる視差量に、この相関バイアステーブル１２の例から読み取ったバイアス値を加算することによりスポット形状の変化による視差量の誤差を補正することができる。
【００２９】
上述した、本実施形態の画像処理の流れについて図７を用いて説明する。まず、ステレオカメラで撮影された基準画像及び比較画像を入力する（ステップＳ1）。基準画像及び比較画像は上述したようにスポット形状として計測されたものを使用する。次に、基準画像と比較画像の視差を算出する（ステップＳ２）。つまり、この視差は上述した対応点探索部１１により出力される。さらに、左右画像のスポット形状の相互相関のピーク位置のずれ量であるバイアス値を相関バイアステーブル１２に記録する（ステップＳ３）。そして、ステップＳ２で得た視差量に、相関バイアステーブル１２から読み取ったバイアス値を加算する（ステップＳ４）。
【００３０】
なお、レンズ組み付け公差等によるカメラ個体差も含めて補正するために、カメラ個体ごとにスポット形状、視差バイアス値を計測し記録しておくものとする。ただしスポット形状分布はレンズ設計にのみに依存して、同じモデルのカメラ個体はすべて同じ特性を持つものとみなし、各個体の計測工程を省略して、１つの相関バイアステーブルを、同じモデルのすべてのカメラで利用することもできる。
【００３１】
［第２実施形態］
本発明の第２実施形態について、図８及び９を用いて説明する。図８は、第２実施形態の画像処理装置５０を示す概略ブロック図である。なお、第１実施形態と同様の構成については、その説明を省略する。第１実施形態と異なる点としては、第２実施形態の対応点探索部５1は入力画像１及び入力画像２の内容に応じ、基準点位置・対応点位置・視差のセットを出力するものである。
【００３２】
また、本実施形態のバイアステーブルは予め特徴点位置に応じた視差補正量を画面領域ごとに記録しておく。ここでは、第１実施形態の相関バイアステーブル１２とは異なり、二つの領域の組合せではなく一つの領域情報に対してひとつのバイアス値を対応づける１次元テーブルを二つ使う（第１バイアステーブル５２、第２バイアステーブル５３）。入力する対応点座標を含む領域に対応づけられた視差バイアス１、視差バイアス２をそれぞれ出力する。また、視差補正部５４は対応点探索部５１の出力する視差に視差バイアス１及び視差バイアス２を加算し補正する。
【００３３】
第２実施形態のバイアステーブルの設定について、図９を用いて説明する。まず、標準的なスポット形状として、例えばレンズ設計値からシミュレートされる理想的な画面中央の対称型スポット（標準スポット形状６１）を用意する。その上で、第１実施形態と同様に、実際のカメラの各画像領域でのスポット形状を計測し、計測されたスポット形状（Ｘタイプ６２、Ｙタイプ６３）と標準スポット形状６１との間の相関バイアス量を、その画像領域のバイアス値としてバイアステーブルに記録する。ただし、入力画像２用の第２バイアステーブル５３では、符号を反転して記録しておく。これにより、第２実施形態の視差補正部５４では、各スポット形状に対応したバイアス量の差分が視差に加算されることになる。
【００３４】
第２実施形態の第１バイアステーブル５２及び第２バイアステーブル５３では、標準スポット形状６１と各スポット形状（Ｘタイプ６２、Ｙタイプ６３）のバイアス値だけが利用され、形状の異なる非対称型スポット同士（Ｘタイプ６２とＹタイプ６３同士）の相関バイアス量は直接は計算されていない。ただし、図９に示す通り、一般にスポット形状の偏りが大きくなるほど（Ｙタイプの方がＸタイプより）バイアス値も大きくなる傾向がある（Ｖ0＞Ｖ1）ため、非対称型スポット同士の相関バイアス量は、標準スポットとのバイアス値（視差バイアス６５と視差バイアス６４）同士の差分Ｖ0-1（視差バイアス６６）として近似できる。
【００３５】
そのため第２実施形態では、第１実施形態のような２次元の相関バイアステーブルを利用しなくても、同じスポット形状同士の視差は補正量が０であり、スポット形状に違いが大きいほど補正量が大きくなるという、第１実施形態の補正に類似した効果が期待できる。なお、第２実施形態の画像処理の流れは上記の通りバイアス値の記録手法が異なるものであるが第１実施形態に準ずるものである。
【００３６】
本発明によれば、テーブル参照やバイアス値加算という手段を用いるので、簡単な構成で、スポット形状を考慮した視差補正を実現することができる。
【００３７】
なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。
【符号の説明】
【００３８】
１、５０    画像処理装置
１１、５１    対応点探索部
１２    相関バイアステーブル
１３、５４    視差補正部
２０    スポット形状計測装置
２１    スポット形状計測カメラ
２２    カメラ回転台
５２    第１バイアステーブル
５３    第２バイアステーブル
【先行技術文献】
【特許文献】
【００３９】
【特許文献１】特許第３２６１１１５号公報
【図１】
2013065179.tif 000003
【図２】
2013065179.tif 000004
【図３】
2013065179.tif 000005
【図４】
2013065179.tif 000006
【図５】
2013065179.tif 000007
【図６】
2013065179.tif 000008
【図７】
2013065179.tif 000009
【図８】
2013065179.tif 000010
【図９】
2013065179.tif 000011
【図１０】
2013065179.tif 000012
【図１１】
2013065179.tif 000013
【図１２】
2013065179.tif 000014
【図１３】
2013065179.tif 000015
【図１４】
2013065179.tif 000016
【図１５】
2013065179.tif 000017
【図１６】
2013065179.tif 000018