(57)【特許請求の範囲】
【請求項１】
ステレオカメラにおけるカメラ間の機械的位置ズレを自己診断して画像変換により機械的位置ズレを補正するステレオカメラの自己診断装置であって、
上記ステレオカメラで撮像した画像内における所定の領域であってステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の候補となる領域に含まれる領域の輝度変化量の分散が所定の下限閾値よりも大きい場合に、ステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の実行を許可する手段と、
上記元画像間の対応位置のズレを算出する処理の実行が許可されたとき、上記輝度変化量の分散が上記下限閾値よりも大きい領域が含まれるように上記元画像にズレ算出の領域を設定し、各領域間の対応位置のズレの分布を算出する手段と、
上記ズレの分布から上記ステレオカメラで撮像した画像の座標変換値を算出し、この座標変換値により上記ステレオカメラの機械的位置ズレを補正する手段とを備えたことを特徴とするステレオカメラの自己診断装置。
【請求項２】
上記ステレオカメラのシャッター速度を制御するシャッター制御手段を備え、
上記ズレを算出する範囲と上記シャッター制御手段によるシャッター速度制御のための輝度抽出範囲とを一致させることを特徴とする請求項１記載のステレオカメラの自己診断装置。
【請求項３】
上記ズレの分布をハフ変換によって直線近似する際、ハフ変換の投票面を最多投票範囲で再分割することにより粗から密へ順次拡大することを特徴とする請求項１又は請求項２記載のステレオカメラの自己診断装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラにおけるカメラ間の機械的位置ズレを自己診断して画像変換により機械的位置ズレを補正するステレオカメラの自己診断装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラ（ステレオカメラ）で対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、ステレオカメラから得られた２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、ステレオカメラの光学位置調整が重要となる。
【０００４】
このため、本出願人は、先に、特開平１０−１１５５０６号公報において、調整対象となるステレオカメラで撮像した既知の距離の調整用パターンの画像を処理して一致点を見出し、幾何学的な計算によって画像の並進ズレ量及び回転ズレ量を算出することで、アクチュエータを介してステレオカメラの位置ズレを精密に調整する技術を提案しており、また、特願平１０−６１５７８号では、メインカメラの水平ラインを両カメラの基線と平行になるようメインカメラを光軸回りに機械的に回転調整し、メインカメラの画像を基準としてサブカメラの画像をアフィン変換してステレオカメラとしての調整を行う技術を提案している。
【０００５】
【発明が解決しようとする課題】
しかしながら、組立出荷時に調整したステレオカメラは、実際のフィールドでの使用の過程で経年変化や運用時の振動衝撃等によって調整位置に狂いが生じることは避けられず、撮像対象面のテクスチャへの適応能力が徐々に低下し、撮像画像をステレオ処理して得られる距離情報の精度が悪化し、システム全体としての信頼性を低下させる要因となる。
【０００６】
本発明は上記事情に鑑みてなされたもので、システムに組み込んだ状態でステレオカメラの調整位置のズレを自己診断し、位置ズレを自動的に補正することのできるステレオカメラの自己診断装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、ステレオカメラにおけるカメラ間の機械的位置ズレを自己診断して画像変換により機械的位置ズレを補正するステレオカメラの自己診断装置であって、上記ステレオカメラで撮像した画像内における所定の領域であってステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の候補となる領域に含まれる領域の輝度変化量の分散が所定の下限閾値よりも大きい場合に、ステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の実行を許可する手段と、上記元画像間の対応位置のズレを算出する処理の実行が許可されたとき、上記輝度変化量の分散が上記下限閾値よりも大きい領域が含まれるように上記元画像にズレ算出の領域を設定し、各領域間の対応位置のズレの分布を算出する手段と、上記ズレの分布から上記ステレオカメラで撮像した画像の座標変換値を算出し、この座標変換値により上記ステレオカメラの機械的位置ズレを補正する手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記ステレオカメラのシャッター速度を制御するシャッター制御手段を備え、上記ズレを算出する範囲と上記シャッター制御手段によるシャッター速度制御のための輝度抽出範囲とを一致させることを特徴とする。
【０００９】
請求項３記載の発明は、請求項１記載の発明において、ズレの分布をハフ変換によって直線近似する際、ハフ変換の投票面を最多投票範囲で再分割することにより粗から密へ順次拡大することを特徴とする。
【００１０】
すなわち、請求項１記載の発明では、ステレオカメラで撮像した画像内における所定の領域であってステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の候補となる領域に含まれる領域の輝度変化量の分散が所定の下限閾値よりも大きい場合に、ステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の実行を許可し、輝度変化量の分散が下限閾値よりも大きい領域が含まれるように元画像にズレ算出の領域を設定し、各領域間の対応位置のズレの分布を算出する。そして、このズレの分布からステレオカメラで撮像した画像の座標変換値を算出し、この座標変換値でステレオカメラで撮像した画像を画像変換してステレオカメラの機械的位置ズレを補正する。
【００１１】
この場合、請求項２に記載したように、ステレオカメラのシャッター速度を制御するシャッター制御手段を備え、ズレを算出する範囲とシャッター制御手段によるシャッター速度制御のための輝度抽出範囲とを一致させることが望ましく、ズレ検出に最適な露光を得ることができる。
【００１２】
また、請求項３に記載したように、ズレの分布をハフ変換によって直線近似する際、ハフ変換の投票面を最多投票範囲で再分割することにより粗から密へ順次拡大することが望ましく、ハフ変換の投票面に要するメモリ量を低減することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１はカメラズレ自己診断ルーチンのフローチャート、図２はステレオカメラの自己診断に係わる画像処理系のブロック図、図３は輝度変化量の分散を求める領域を示す説明図、図４はシャッター制御の輝度抽出範囲を示す説明図、図５はシティブロック演算の領域を示す説明図、図６はハフ変換の投票平面を示す説明図、図７はズレ修正量の説明図である。
【００１４】
図２において、符号１は、互いに同期が取れ、且つシャッタースピード可変の２台１組のカメラ２，３からなるステレオカメラであり、一方のカメラ２をステレオ処理を行う際の基準画像を撮像するメインカメラ、他方のカメラ３をステレオ処理を行う際の比較画像を撮像するサブカメラとして、例えば自動車やヘリコプタ等の移動体に搭載され、対象風景を撮像した一対の画像から得られる三次元の距離情報に基づいて周囲環境や自己位置の認識処理等を行うシステムに採用される。
【００１５】
ステレオカメラ１は、撮像信号の入力処理を行う画像信号処理部１０を介してステレオ画像処理装置３０に接続されており、画像信号処理部１０には、カメラ２，３の各系統に対応して、各カメラ２，３からのアナログ撮像信号のゲイン・オフセット等を後段の入力レンジに合わせて調整するためのアナログインターフェース１１，１２、アナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換するＡ／Ｄコンバータ１３，１４等が備えられると共に、サブカメラ３側に、デジタル化された比較画像を一時的に記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された画像に対して画像の回転や平行移動等の幾何学的変換を行うアフィン変換回路１６が備えられている。
【００１６】
ステレオ画像処理装置３０は、加算器、差分器、絶対値演算回路等のステレオ処理のための各種回路やメモリ等から構成されるものであり、一対の元画像に対し、各画像の小領域毎にシティブロック距離を演算して互いの相関を求めることで対応する小領域を特定するステレオマッチング処理を行い、対象物までの距離に応じた視差による画素のズレを距離データとして画像化した距離画像を生成する。
【００１７】
本形態においては、画像信号処理部１０において、サブカメラ３側の系統にのみアフィン変換回路１６を備えることから、ステレオ処理の対象となる一対の元画像は、メインカメラ２で撮像した基準画像と、サブカメラ３で撮像した比較画像をアフィン変換した画像である。しかし、メインカメラ２側とサブカメラ３側との両方の系統にアフィン変換回路を備えても良く、その場合には、ステレオ処理の対象となる一対の元画像は、メインカメラ２で撮像した基準画像をアフィン変換した画像とサブカメラ３で撮像した比較画像をアフィン変換した画像となる。
【００１８】
ここで、ステレオカメラ１は、図示しないカメラステイに所定の基線長で取り付けられ、組立出荷時に、両カメラ２，３の位置関係が調整されて固定されている。このステレオカメラ１の出荷時の組立調整に関しては、本出願人は、先に特願平１０−６１５７８号において、メインカメラの水平ラインを両カメラの基線と平行になるようメインカメラを光軸回りに機械的に回転調整し、メインカメラの画像を基準としてサブカメラの画像をアフィン変換してステレオカメラとしての調整を行う技術を提案しており、この技術による組立調整や、その他の機械的な調整により、ステレオカメラ１の出荷時調整を行うことができる。
【００１９】
しかしながら、ステレオカメラ１を構成する両カメラ２，３には、経時変化や運用時の振動・衝撃等により、組立出荷時の状態に対して機械的な位置ズレが生じる。このため、実際のフィールドでの稼働状態では、撮像対象面のテクスチャへの適応能力や距離情報の精度が徐々に悪化し、また、機械的な位置調整と電気的な画像補正とを併用して組立調整を行った場合においても、出荷時にセットしたアフィン変換パラメータが実際の状況に適合しなくなる。いずれにしても、組立出荷時の調整に拘わらず、経時変化によってステレオカメラ１の調整位置が初期状態からずれることは避けられず、システム全体としての信頼性を低下させる要因となる。
【００２０】
このため、画像信号処理部１０には、電源投入直後のシステム実稼働前に、ステレオカメラ１の機械的な位置ズレを自己診断し、機械的な光学位置の僅かなズレを電気的に補正すべくアフィン変換回路１６の変換パラメータを修正・更新する自己診断部２０が接続されている。
【００２１】
自己診断部２０は、Ａ／Ｄコンバータ１３，１４からの各画像をストアする画像メモリ２１，２２、アフィン変換回路１６からの出力画像をストアする画像メモリ２３、これらの画像メモリ２１，２２，２３にストアされた画像に基づいてステレオカメラ１の位置ズレを自己診断し、アフィン変換回路１６の変換パラメータを修正・更新するＣＰＵ２４等から構成され、システムが実稼働に入る前の段階、例えば、無人ヘリコプター等の地上を撮像した画像をステレオ処理して高度を計測する高度計測システムでは、システム電源投入直後の離陸前で、機体がウォームアップ中に地上を撮像した静止画像を用いて自己診断を行う。尚、自己診断部２０は、ステレオ画像処理装置３０或いは認識処理装置の一部として構成するようにしても良い。
【００２２】
自己診断部２０における自己診断処理は、ステレオカメラ１の位置ズレ算出の実行可否を判定するための第１のアルゴリズム、ズレ量（シティブロック距離）を算出するための第２のアルゴリズム、及び、算出したズレ量を評価してアフィン変換パラメータを修正するための第３のアルゴリズムからなり、第１のアルゴリズムでは、露光量の異常や信号系統の断線、或いは撮像された被写体の輝度が均一である等の理由により、ステレオカメラ１で撮像した画像において輝度変化が少ない場合、位置ズレを算出しても誤検出が発生する確率が極端に高くなって信頼性を低下させることを考慮し、ズレ算出が確実に行える状況にあるか否かを、撮像画像中の輝度変化量の分散を用いて判定する。
【００２３】
また、第２のアルゴリズムでは、第１のアルゴリズムによってズレ算出が実行可と判断された場合、画像中のズレ検出対象外の範囲に極端に輝度の異なる画像が映り込んでも、ズレ検出領域に最適な露光が得られるよう、シャッタ制御を最適化した上で基準領域と比較領域との間のシティブロック距離を演算し、更にサブピクセル補間を行って１画素以下でのズレ量を求める。
【００２４】
第３のアルゴリズムでは、得られた各領域のズレ量からハフ変換によってズレ直線の仮のプロフィールを求め、更に、最小二乗法によってズレ直線の傾き及び切片を決定する。そして、ズレ直線の傾き及び切片からズレの回転量及び並進量を算出し、それらが妥当なものである場合、アフィン変換回路１６のレジスタに書き込んでズレ調整の修正を行う。
【００２５】
具体的には、以上の自己診断処理は、図１に示すカメラズレ自己診断ルーチンによって実施される。以下、カメラズレ自己診断ルーチンについて説明する。
【００２６】
カメラズレ自己診断ルーチンは、システムの電源が投入されて初期化された後、システムが実稼働状態となる前に最初に実行されるルーチンであり、先ず、ステップＳ１０１で、ズレ検出に適した画像範囲を選択するため、システム実稼働前の静止状態でステレオカメラ１によって撮像した画像を画像メモリ２１，２２から読み込み、画像中の輝度変化量の分散（以下、輝度分散）σ2が最大になる行ｊmaxを探索する。
【００２７】
すなわち、図３に示すように、画像中に複数列の短冊状のズレ検出候補領域を設定し、これらのズレ検出候補領域と、輝度分散σ2を求めようとする行ｊとが重なり合った複数の領域の中の一つの領域Ｎに注目すると、この領域Ｎが持つ輝度分散σ2Nは、領域Ｎの中央座標ｉの輝度をｂi、左右近傍の輝度を、それぞれｂi-1、ｂi+1としたときの平均値ｂave（＝(ｂi-1＋ｂi＋ｂi+1)／３）を用い、以下の（１）式により得ることができる。
σ2N＝（│ｂi-1−ｂave│＋│ｂi−ｂave│＋│ｂi+1−ｂave│)2…（１）
【００２８】
ズレ検出候補領域は、画像中に複数列に渡って設定されているため、重なり合った他の領域についても同様に輝度分散を計算すると、結局、注目した行ｊの輝度分散σ2(j)は、以下の（２）式で示すように各領域の輝度分散σ2Nの総和で与えられる。
σ2(j)＝Σσ2N    …（２）
【００２９】
そして、（２）式の総和の計算をズレ検出候補領域と重なり合う範囲の全ての行について行い、各行の輝度分散に、画像中央部に重みをつけた係数Ｋ(j)を乗算する。係数Ｋ(j)は、画像中央部のデータを用いてレンズ歪の影響を除去するための係数であり、係数Ｋ(j)によって重み付けした輝度分散の分布の中で、最大になる行をｊmaxとする。
【００３０】
次に、ステップＳ１０２へ進み、求めた輝度分散σ2を下限閾値と比較する。この下限閾値は、有効にズレ検出を行える輝度分散の下限値を、予めシミュレーション或いは実験等によって求めたものである。そして、輝度分散σ2が下限閾値以下の場合には、ズレ検出の信頼性が低くなると判断してステップＳ１０２からルーチンを抜けて処理を中断し、輝度分散σ2が下限閾値を越えている場合、ズレ検出実行可能と判断してステップＳ１０３へ進む。
【００３１】
ステップＳ１０３では、ズレ検出候補領域に最適な露光が得られるよう、図４に示すように、シャッター制御の輝度抽出範囲を通常の画像全体からズレ検出候補領域に制限し、シャッター時間を設定する。すなわち、ズレ検出を行う領域は画像中の限られた領域であり、画像全体を対象とした通常のシャッター制御では、不必要な映り込みや影等により適切なシャッター速度が得られない場合がある。このため、ズレ検出を行う領域を輝度分散σ2が最大の行ｊmaxを中心として上下に既定の幅を持つ領域に制限し、この輝度分散σ2によって決定した領域のみに対して輝度抽出を行ってシャッター速度を決定することで、ズレ検出に最適な輝度を得ることができる。
【００３２】
続くステップＳ１０４では、ステップＳ１０３で設定したシャッター速度により、ズレ検出に用いる１組の基準画像と比較画像とを再度ステレオカメラ１で撮像する。そして、ステップ１０５で、メインカメラ２で撮像した基準画像と、サブカメラ３で撮像した比較画像をアフィン変換した画像とを、それぞれ画像メモリ２１，２３から読み込み、これらの画像を元画像として、ズレ検出候補領域からシティブロック距離を演算する領域を設定し、領域毎のズレ検出とサブピクセル補間を行う。
【００３３】
尚、ステレオカメラ１の組立調整を機械的な調整のみによって実施し、初めて診断を開始する場合には、サブカメラ３で撮像した画像はアフィン変換回路１６で座標変換されずにスルーし、比較側の元画像となる。また、組立調整時にサブカメラ３の撮像画像に対するアフィン変換パラメータがアフィン変換回路１６のレジスタに書き込まれている場合、或いは、前回、診断が行われている場合には、現在のアフィン変換パラメータによって座標変換された画像が比較側の元画像となる。
【００３４】
すなわち、先ず、図５に示すように、ズレ検出候補領域に対し、輝度分散が最大の行ｊmaxを中心として基準側の元画像における基準領域を設定し、また、基準領域より必要な探索範囲分だけ大きく、且つ撮像対象までの距離から逆算される視差Ｄだけ水平方向（ｉ方向）にずらした位置に、比較側の元画像における比較領域を設定する。
【００３５】
次に、対になる基準領域と比較領域との間で比較開始座標を変化させながら、以下の（３）式に示すように、基準領域内の各画素の輝度データＫi,jと比較領域内の各画素の輝度データＨi,jとの差分の絶対値を総和してシティブロック距離Ｃを演算し、シティブロック距離Ｃが最小となる座標を仮の一致点（ｉM,ｊM）として取得する。
Ｃ＝Σ│Ｋi,j−Ｈi,j│      …（３）
【００３６】
更に、この仮の一致点（ｉM,ｊM）近傍のシティブロック距離の分布が極小点周りに対称形であるという前提に基づいて、仮の一致点の前後のシティブロック距離の差の大小関係から極小点の位置を特定し、直線近似によって極小点の座標を計算するサブピクセル補間を行うことにより、１画素以下の分解能でのサブピクセルの一致点（ｉS,ｊS）を推定する。
【００３７】
そして、以下の（４）式に示すように、領域を代表する座標点（ｉ0,ｊ0）とサブピクセルの一致点（ｉS,ｊS）との差を、該当領域のもつズレ量ｊ*として取得する。この処理を全ての領域について行い、座標ｉ0に対するズレ量ｊ*の分布を得る。尚、シティブロック距離値が予め設定した値より大きい場合（一致度が低い場合）には、その領域の検出結果を無効とする。
ｊ*＝ｊS−ｊ0    …（４）
【００３８】
その後、ステップＳ１０６へ進み、ズレ量分布が得られた領域の数が既定数以上あるか否かを調べる。そして、ズレ量分布が得られた領域数が既定領域数より少ない場合には、後段のズレ直線検出における信頼性が低下するため、ルーチンを抜けて処理を中断する。また、ズレ量分布が得られた領域の数が既定領域数以上の場合、ステップＳ１０７へ進んで、座標ｉ0に対するズレ量ｊ*の分布が直線ｊ*＝ａｉ0＋ｂを形成するものと仮定し、ハフ変換により仮のズレ直線を求めて係数ａh（傾き），ｂh（切片）を算出する。
【００３９】
この場合、通常のハフ変換では分解能を細かくすると使用メモリ量が増えてしまう。このため、本形態では、図６に示すように、当初、パラメータ空間における投票面の分割数を少なくして使用メモリ量を削減し、最も投票数の多かった範囲について再度、投票面を分割し直す。そして、投票数が既定値を越えている間は、最多投票領域を更に分割してハフ変換を繰り返し実行して有効な投票面を拡大してゆくようにしており、これにより、使用メモリ量を低減しつつ分解能を確保することができる。
【００４０】
以上のハフ変換によって仮のズレ直線を求めると、次にステップＳ１０８へ進み、仮のズレ直線を用いてノイズや突起物の検出等によって周囲と著しく異なる特異点を除去する。すなわち、仮のズレ直線の係数ａh，ｂhからズレ量の分布直線を設定して各領域についてのズレ量ｊ*'を計算し、このズレ量ｊ*'とシティブロック距離から求めたズレ量ｊ*との差が既定値以上の場合、一致点の誤検出として該当領域を無効にする。
【００４１】
その後、ステップＳ１０９へ進み、特異点を除いた有効領域の数が最小二乗法を適用するのに必要な既定領域数だけあるか否かを調べる。その結果、有効領域数が既定領域数より少ない場合にはルーチンを抜けて処理を中断し、有効領域数が既定領域数以上の場合、ステップＳ１１０へ進んで、各領域の座標ｉ0とズレ量ｊ*とから最小二乗法によりズレ直線の係数ａ（傾き），ｂ（切片）を決定する。
【００４２】
以上の処理で得られたズレ直線は、ステレオカメラ１が調整完了時の位置からずれて変化した場合、本来の視差に基づくズレ直線に対し、図７に示すように、水平方向に対する傾きと垂直方向のオフセットとを生じる。水平方向に対する傾きは比較画像を回転して修正すべき回転量であり、垂直方向のオフセットは比較画像を上下に移動させて修正すべき並進量である。
【００４３】
すなわち、以下の（５），（６）式に示すように、ズレ直線の係数ａ，ｂにより、比較画像に施す回転量Δαと上下並進量Δβとを求めることができ、ステレオカメラ１の位置ズレを修正せしめるアフィン変換パラメータα*，β*は、診断前のアフィン変換パラメータα，βに対し、回転量Δαと上下並進量Δβとを用い、以下の（７），（８）式によって得ることができる。
Δα＝ｔａｎ-1ａ    …（５）
Δβ＝−ｂ          …（６）
α*＝α−Δα       …（７）
β*＝β−Δβ       …（８）
【００４４】
次いで、ステップＳ１１１へ進み、回転量Δα及び上下並進量Δβが想定される最大の機械的ズレを修正可能な既定範囲内にあり、妥当な結果が得られているか否かを調べる。その結果、回転量Δα及び上下並進量Δβが既定範囲内にない場合にはルーチンを抜けて処理を中断し、既定範囲内にある場合、ステップＳ１１２へ進み、アフィン変換回路１６のレジスタに新たなアフィン変換パラメータα*，β*を書き込んで診断前のアフィン変換パラメータα，βを置き換える。
【００４５】
ステップＳ１１２でのアフィン変換パラメータの修正では、光学的な歪みの影響や撮像された画像の座標の縦横比の影響などにより、一度の修正では完全にステレオカメラ１の位置ズレを排除した画像を得ることはできない。このため、ステップＳ１１２からステップＳ１１３へ進み、以上の処理を既定回数だけ実行したか否かを調べる。
【００４６】
この既定回数は、アフィン変換パラメータをα*→α、β*→βと置換する処理を繰り返して真値付近に収束させ得る回数として予め設定された回数であり、既定回数だけ処理を実行していない場合には、ステップＳ１０４へ戻って、新たに基準画像及び比較画像を撮像して領域毎のズレ検出とサブピクセル補間とによりズレ直線を決定して回転量Δα及び上下並進量Δβを求め、アフィン変換パラメータの更新を続行する。そして、既定回数に達した場合、ステップＳ１１４へ進んでシャッター制御を全画像の輝度抽出による通常制御に切り換え、自己診断を終了する。
【００４７】
以後、システムが稼働状態に入り、メインカメラ２で撮像した画像とサブカメラ３で撮像した画像をアフィン変換回路１６で画像変換した画像とがステレオ画像処理装置３０に入力され、自己診断によってステレオカメラ１の機械的位置ズレを補正した元画像を対象としたステレオ処理が実行され、正確な三次元の距離情報が生成される。
【００４８】
これにより、システムに組み込んだ状態でステレオカメラ１の調整位置のズレを自己診断して自動的に補正することができ、ステレオカメラ１の位置精度を出荷調整時の精度に維持してシステムの信頼性を向上することができる。しかも、自己診断に際しては、ステレオカメラ１の撮像画像の輝度変化量の分散を用いて後段のズレ検出を行うか否かを判定するため、誤診断を防止して正確な診断を行うことができる。
【００４９】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、ステレオカメラで撮像した画像内における所定の領域であってステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の候補となる領域に含まれる領域の輝度変化量の分散が所定の下限閾値よりも大きい場合に、ステレオ処理の対象となる一対の元画像間の対応位置のズレを算出する処理の実行を許可し、輝度変化量の分散が下限閾値よりも大きい領域が含まれるように元画像にズレ算出の領域を設定し、各領域間の対応位置のズレの分布を算出する。そして、このズレの分布からステレオカメラで撮像した画像の座標変換値を算出し、この座標変換値でステレオカメラで撮像した画像を画像変換してステレオカメラの機械的位置ズレを補正するため、システムに組み込んだ状態でステレオカメラの調整位置のズレを自動的に補正することができ、ステレオカメラの位置精度を出荷調整時の精度に維持してシステムの信頼性を向上することができる。
【００５０】
しかも、自己診断に際しては、輝度変化量の分散が下限閾値よりも大きい領域が含まれるようにズレ算出の領域を設定するため、例えば、ステレオカメラを移動体に搭載し、移動体が実稼働する前の静止状態で撮像した画像を用いて診断を行う場合においても、ズレ検出に不得手なテクスチャの映り込みによる誤診断を防止して正確な診断を行うことができる。
【００５１】
この場合、請求項２記載の発明では、ズレを算出する範囲とシャッター制御手段によるシャッター速度制御のための輝度抽出範囲とを一致させるので、ズレ検出に最適な露光を得ることができる。また、請求項３記載の発明では、ズレの分布をハフ変換によって直線近似する際、ハフ変換の投票面を最多投票範囲で再分割することにより粗から密へ順次拡大するので、分解能を確保しつつハフ変換の投票面に要するメモリ量を低減することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】カメラズレ自己診断ルーチンのフローチャート
【図２】ステレオカメラの自己診断に係わる画像処理系のブロック図
【図３】輝度変化量の分散を求める領域を示す説明図
【図４】シャッター制御の輝度抽出範囲を示す説明図
【図５】シティブロック演算の領域を示す説明図
【図６】ハフ変換の投票平面を示す説明図
【図７】ズレ修正量の説明図
【符号の説明】
１  …ステレオカメラ
１６…アフィン変換回路
２０…自己診断部
σ2 …輝度変化量の分散
【図１】
0004285618.tif 000002
【図２】
0004285618.tif 000003
【図３】
0004285618.tif 000004
【図４】
0004285618.tif 000005
【図５】
0004285618.tif 000006
【図６】
0004285618.tif 000007
【図７】
0004285618.tif 000008