(57)【特許請求の範囲】
【請求項１】
ステレオ撮像のための一対のカメラを備えるステレオ撮像ユニットと、上記一対のカメラで撮像した画像を処理する画像処理ユニットとからなるステレオ画像処理システムであって、
上記ステレオ撮像ユニット内に、上記一対のカメラの互いの特性のバラツキを補正するために予め記憶したカメラ特性データと上記ステレオ撮像ユニットの個体を識別するための識別コードとを上記画像処理ユニットへ送信する手段を備え、
上記画像処理ユニット内に、上記ステレオ撮像ユニットから受信した上記カメラ特性データと上記識別コードとを記憶し、上記ステレオ撮像ユニットから送信された上記識別コードが既に記憶してある識別コードと一致するとき、上記画像処理ユニット内に記憶したカメラ特性データにより上記一対のカメラから出力される画像信号を補正し、上記ステレオ撮像ユニットから送信された上記識別コードが既に記憶してある識別コードと一致しないときには、上記ステレオ撮像ユニットから送信された上記カメラ特性データを記憶した後、記憶したカメラ特性データにより上記一対のカメラから出力される画像信号を補正する手段を備えたことを特徴とするステレオ画像処理システム。
【請求項２】
上記画像処理ユニット内に、上記一対のカメラから出力される２系統の画像信号を処理する回路の特性のバラツキを補正するための回路特性データを予め記憶し、該回路特性データ及び上記カメラ特性データにより、上記一対のカメラから出力される２系統の画像信号を補正することを特徴とする請求項１記載のステレオ画像処理システム。
【請求項３】
上記カメラ特性データは、上記一対のカメラにおける各イメージセンサの出力特性のバラツキを補正するデータを含むことを特徴とする請求項１又は２記載のステレオ画像処理システム。
【請求項４】
上記カメラ特性データは、ビデオ信号生成回路における回路特性のバラツキを補正するデータを含むことを特徴とする請求項１又は２記載のステレオ画像処理システム。
【請求項５】
上記回路特性データは、画像信号のゲインを変更するゲインコントロールアンプの制御データを含むことを特徴とする請求項２記載のステレオ画像処理システム。
【請求項６】
上記回路特性データは、画像信号のオフセットを変更する可変オフセット回路の制御データを含むことを特徴とする請求項２記載のステレオ画像処理システム。
【請求項７】
上記回路特性データは、画像信号の感度を変更するルックアップテーブルのデータを含むことを特徴とする請求項２記載のステレオ画像処理システム。
【請求項８】
上記回路特性データは、撮像画像内の領域による感度バラツキを補正するシェーディング補正テーブルのデータを含むことを特徴とする請求項２記載のステレオ画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオ撮像ユニットと、ステレオ撮像画像を処理する画像処理ユニットとを任意に組み合わせることのできるステレオ画像処理システムに関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、２台のカメラを一対とするステレオカメラで対象物を異なる位置から撮像し、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理では、２つの画像信号を順次シフトしながら重ね合わせて２つの画像信号が一致した位置を求めるようにしているため、２つの画像間には視差以外のズレがないことが望ましく、２つの撮像系統における光学特性や信号特性のバランスが確保されている必要がある。
【０００４】
すなわち、ステレオカメラを有する撮像ユニット側では、２つのカメラの光軸が平行で、レンズ焦点距離、レンズ歪み、無限遠点のズレ等に対処可能であり、互いのカメラのＣＣＤ等の撮像素子の感度、互いのカメラの信号処理回路の特性が２系統ともバランスしている必要がある。
【０００５】
また、各カメラから出力される信号を処理する画像処理ユニット側では、撮像信号を増幅するアンプのゲインやオフセット等が２系統ともバランスしている必要がある。
【０００６】
【発明が解決しようとする課題】
上述したような２つの撮像系における光学特性のバラツキや信号特性のバラツキは、撮像ユニット側、画像処理ユニット側で、それぞれ、ある程度トリミング調整されるが、それだけでは不十分なため、画像処理ユニット側では、撮像素子毎の感度をテーブル化しておいて補正するルックアップテーブル補正、撮像画像内の領域による感度を補正するシェーディング補正等を併用しており、従来、撮像ユニットと画像処理ユニットとは、一対一の組み合わせで調整を行って特性を合わせるようになっている。
【０００７】
このため、撮像ユニットと画像処理ユニットとを別々に生産することができず、製造工程に制約を生じて生産性を向上する上で支障となるばかりでなく、市場における補修等の際、例えば撮像ユニットのみをを補修すれば良い場合でも、必ず画像処理ユニット個体との組み合わせを維持する必要があることから、場合によっては、画像処理ユニット側のルックアップテーブル等を再設定しなけらばならず、極めて煩雑であった。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオ撮像ユニットとステレオ撮像画像を処理する画像処理ユニットとを任意に組み合わせて使用することのできるステレオ画像処理システムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、ステレオ撮像のための一対のカメラを備えるステレオ撮像ユニットと、上記一対のカメラで撮像した画像を処理する画像処理ユニットとからなるステレオ画像処理システムであって、上記ステレオ撮像ユニット内に、上記一対のカメラの互いの特性のバラツキを補正するために予め記憶したカメラ特性データと上記ステレオ撮像ユニットの個体を識別するための識別コードとを上記画像処理ユニットへ送信する手段を備え、上記画像処理ユニット内に、上記ステレオ撮像ユニットから受信した上記カメラ特性データと上記識別コードとを記憶し、上記ステレオ撮像ユニットから送信された上記識別コードが既に記憶してある識別コードと一致するとき、上記画像処理ユニット内に記憶したカメラ特性データにより上記一対のカメラから出力される画像信号を補正し、上記ステレオ撮像ユニットから送信された上記識別コードが既に記憶してある識別コードと一致しないときには、上記ステレオ撮像ユニットから送信された上記カメラ特性データを記憶した後、記憶したカメラ特性データにより上記一対のカメラから出力される画像信号を補正する手段を備えたことを特徴とする。
請求項２記載の発明は、請求項１記載の発明において、上記画像処理ユニット内に、上記一対のカメラから出力される２系統の画像信号を処理する回路の特性のバラツキを補正するための回路特性データを予め記憶し、該回路特性データ及び上記カメラ特性データにより、上記一対のカメラから出力される２系統の画像信号を補正することを特徴とする。
【００１０】
請求項３記載の発明は、請求項１又２記載の発明において、上記カメラ特性データは、上記一対のカメラにおける各イメージセンサの出力特性のバラツキを補正するデータを含むことを特徴とする。
【００１１】
請求項４記載の発明は、請求項１又は２記載の発明において、上記カメラ特性データは、ビデオ信号生成回路における回路特性のバラツキを補正するデータを含むことを特徴とする。
【００１２】
請求項５記載の発明は、請求項２記載の発明において、上記回路特性データは、画像信号のゲインを変更するゲインコントロールアンプの制御データを含むことを特徴とする。
【００１３】
請求項６記載の発明は、請求項２記載の発明において、上記回路特性データは、画像信号のオフセットを変更する可変オフセット回路の制御データを含むことを特徴とする。
【００１４】
請求項７記載の発明は、請求項２記載の発明において、上記回路特性データは、画像信号の感度を変更するルックアップテーブルのデータを含むことを特徴とする。
【００１５】
請求項８記載の発明は、請求項２記載の発明において、上記回路特性データは、撮像画像内の領域による感度バラツキを補正するシェーディング補正テーブルのデータを含むことを特徴とする。
【００１６】
すなわち、本発明では、ステレオ撮像ユニットからカメラ特性データと識別コードとを送信して画像処理ユニット内に予め記憶しておき、ステレオ撮像ユニットと画像処理ユニットとを組み合わせてステレオ画像処理システムとして作動させる場合に、ステレオ撮像ユニットから送信された識別コードが画像処理ユニット内に既に記憶してある識別コードと一致するときには、画像処理ユニット内に記憶したカメラ特性データにより一対のカメラから出力される画像信号を補正し、ステレオ撮像ユニットから送信された識別コードが既に記憶してある識別コードと一致しないときには、ステレオ撮像ユニットから送信されたカメラ特性データを記憶した後、記憶したカメラ特性データにより一対のカメラから出力される画像信号を補正する。
その際、画像処理ユニット内に、一対のカメラから出力される２系統の画像信号を処理する回路の特性のバラツキを補正するための回路特性データを予め記憶しておき、この回路特性データとカメラ特性データとにより一対のカメラから出力される２系統の画像信号を補正するようにしても良い。
【００１７】
ステレオ撮像ユニットに記憶されるカメラ特性データとしては、一対のカメラにおける各イメージセンサの出力特性のバラツキを補正するデータやビデオ信号生成回路における回路特性のバラツキを補正するデータ等が含まれ、一方、画像処理ユニットに記憶される回路特性データとしては、画像信号のゲインを変更するゲインコントロールアンプの制御データ、画像信号のオフセットを変更する可変オフセット回路の制御データ、画像信号の感度を変更するルックアップテーブルのデータ、撮像画像内の領域による感度バラツキを補正するシェーディング補正テーブルのデータ等が含まれる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、ステレオ画像処理システムの構成図である。
【００１９】
図１は、２台のＣＣＤカメラ１１，１５を含むステレオ撮像ユニット１０に画像処理ユニット５０を接続してなるステレオ画像処理システムであり、例えば、自動車などの車両に搭載され、２台のＣＣＤカメラ１１，１５で撮像した１組の画像を処理して車外の対象までの距離を求め、求めた距離の情報に基づいて道路形状の認識や立体物の認識等を行なう。
【００２０】
上記ステレオ撮像ユニット１０内の２台のＣＣＤカメラ１１，１５は、互いに同期が取れ、且つ、シャッタースピード可変のカメラであり、互いの光学系１２，１６の光軸が平行となるよう配置されている。一方のＣＣＤカメラ１１には、レンズからなる光学系１２で結像した像を電気信号に変換するイメージセンサとしてのＣＣＤ１３の他に、このＣＣＤ１３からの信号を増幅するアンプ、このアンプから出力される映像信号と同期信号とを合成した複合映像信号（ビデオ信号）を出力する同期信号合成器、ＣＣＤ１３やアンプを制御するタイミング信号を発生するタイミング信号発生器等からなるビデオ信号生成回路１４等が備えられている。他方のＣＣＤカメラ１５も同様の構成であり、光学系１６、ＣＣＤ１７、ビデオ信号生成回路１８等が備えられている。
【００２１】
さらに、上記ステレオ撮像ユニット１０には、２台のＣＣＤカメラ１１，１５の特性バラツキを補正するためのカメラ特性データをユニット製造段階で予め記憶させておく第１の不揮発性メモリとしてのフラッシュメモリ１９と、各ＣＣＤカメラのシャッター制御（露光調整）等を行うとともに、上記フラッシュメモリ１９からカメラ特性データを読み出し、上記画像処理ユニット５０へ送信するマイクロコンピュータ２０が備えられている。
【００２２】
上記フラッシュメモリ１９に記憶されるカメラ特性データとしては、２台のＣＣＤカメラ１１，１５の光学的位置のズレを画像変換（アフィン変換等による画像変換）によって補正するためのデータ、レンズ焦点距離や歪みの影響を抑制するための実画角補正のデータ、２つの画像の無限遠の対応点のズレの影響を補正するためのデータ、２台のＣＣＤカメラ１１，１５におけるＣＣＤ１３，１７の出力特性の相違を補正するためのデータ、各ビデオ信号生成回路１４，１８におけるアンプのゲイン等の回路特性の相違に起因する相互の信号のバラツキを補正するためのデータ等がある。
【００２３】
一方、上記画像処理ユニット５０には、上記ＣＣＤカメラ１１，１５からの２系統の画像信号を処理するため、各系統毎に、アナログ撮像画像を増幅して後段の入力レンジに合わせるための可変ゲインビデオアンプであるゲインコントロールアンプ（ＧＣＡ）５１，５２、２系統の画像信号のオフセット量を揃えるための可変オフセット回路５３，５４、アナログ画像を所定の輝度階調のデジタル画像に変換するＡ／Ｄコンバータ５５，５６が備えられている。
【００２４】
さらに、一方の系統、例えばＣＣＤカメラ１５側のＡ／Ｄコンバータ５６の後段には、画像信号の感度を変更するためのルックアップテーブル（ＬＵＴ）５７が接続され、このＬＵＴ５７の出力と他方の系統のＡ／Ｄコンバータ５５の出力とが、撮像画像内の領域による感度バラツキを補正するためのシェーディング補正テーブル５８に入力されるようになっている。尚、上記ＬＵＴ５７及び上記シェーディング補正テーブル５８は、本形態においては、ＲＡＭから構成されるものとする。また、ＬＵＴは、両系統それぞれに設けるようにしても良い。
【００２５】
上記シェーディング補正テーブル５８で補正された各系統の画像データは、それぞれ、画像メモリ５９，６０にストアされ、マイクロコンピュータ７０によって読み出される。このマイクロコンピュータ７０では、各系統の画像をステレオマッチングして基準側の画像と同じパターンを持つ領域箇所を比較側の画像から探して対象物までの距離に応じて生じる画素のズレ（＝視差）を求め、このズレ量から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得し、この３次元画像情報に基づいて道路形状の認識や立体物の認識等を行なう。
【００２６】
さらに、上記画像処理ユニット５０内には、ユニット製造段階で回路特性のバラツキを補正する回路特性データを予め記憶させておく第２の不揮発性メモリとしてのフラッシュメモリ７１が備えられている。このフラッシュメモリ７１に記憶される回路特性データは、特定のステレオ撮像ユニット１０を対象とせずに、ステレオ画像処理システムを構成する仕様上のカメラ特性及び個々の画像処理ユニット５０における回路特性を考慮したデータであり、上記ＧＣＡ５１，５２の制御データ、上記可変オフセット回路５３，５４の制御データ、上記ＬＵＴ５７へ与えるデータ、上記シェーディング補正テーブル５８へ与えるデータ等が記憶される。
【００２７】
以上の構成によるステレオ撮像ユニット１０と画像処理ユニット５０とは、互いの組み合わせが限定されることなく、ステレオ撮像ユニット１０と画像処理ユニット５０とを任意に組み合わせてビデオケーブル３０，３１、及び、シリアルケーブル３２で接続するのみで、ステレオ画像処理システムとしての作動が可能となる。
【００２８】
このステレオ撮像ユニット１０と画像処理ユニット５０との任意の組み合わせによるステレオ画像処理システムでは、まず、電源投入時にステレオ撮像ユニット１０内のマイクロコンピュータ２０によって固有のカメラ特性データがフラッシュメモリ１９から読み出され、シリアルケーブル３２を介して画像処理ユニット５０内のマイクロコンピュータ７０に送信される。
【００２９】
画像処理ユニット５０内のマイクロコンピュータ７０では、上記ステレオ撮像ユニット１０から受信したカメラ特性データと、フラッシュメモリ７１から読み出した回路特性データとを合わせ、ステレオ撮像ユニット１０内の２台のカメラの光学的位置ズレを補正するための画像変換データ、レンズ焦点距離や歪みの補正データ、無限遠の対応点のズレに対する補正データをセットするとともに、ＧＣＡ５１におけるゲイン決定の制御電圧データ、ＧＣＡ５２におけるゲイン決定の制御電圧データ、可変オフセット回路５３におけるオフセット決定の制御電圧データ、可変オフセット回路５４におけるオフセット決定の制御電圧データ、ＬＵＴ５７を構成するテーブルデータ、シェーディング補正テーブル５８を構成するテーブルデータを、実際に接続されたステレオ撮像ユニット１０固有の特性に合わせて設定し、ＧＣＡ５１，５２、可変オフセット回路５３，５４へ、内部のＤ／Ａコンバータ（図示せず）を介して制御電圧を出力するとともに、ＬＵＴ５７を構成するＲＡＭ、シェーディング補正テーブル５８を構成するＲＡＭへ、それぞれテーブルデータを転送し、初期設定を行う。
【００３０】
そして、以上の初期設定が済むとシステムの作動が許可状態となり、ステレオ撮像ユニット１０のＣＣＤカメラ１１，１５からの２系統のビデオ信号が、それぞれ、ビデオケーブル３０，３１を介して画像処理ユニット５０に伝送されると、画像処理ユニット５０では、ＧＣＡ５１，５２で、それぞれの制御電圧に応じて画像信号のゲインを調整して２系統の画像信号のゲインのバラツキを調整し、さらに、可変オフセット回路５３，５４で、それぞれの制御電圧に応じて２系統の画像信号のオフセット差を調整する。
【００３１】
各ＣＣＤカメラ１１，１５毎にゲイン・オフセットの整合が取られた画像信号は、それぞれＡ／Ｄコンバータ５５，５６に出力され、Ａ／Ｄコンバータ５５，５６では、マイクロコンピュータ７０内部のＤ／Ａコンバータから出力されるリファレンス電圧によって各系統のアナログ画像を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像に変換する。
【００３２】
さらに、一方の系統のデジタル画像データが次段のＬＵＴ５７へアドレスデータとして与えられ、各ＣＣＤカメラ１１，１５毎に更に厳密にゲイン及びオフセットが整合される。そして、他方のＡ／Ｄコンバータ５５のデータとＬＵＴ５７からのデータとがシェーディング補正テーブル５８にアドレスデータとして与えられ、各ＣＣＤカメラ１１，１５の光学系に発生するシェーディング現象による輝度低下が補正され、各画像メモリ５９，６０にストアされる。
【００３３】
マイクロコンピュータ７０では、各画像メモリ５０，６０にストアされた画像に対し、さらに、画像変換、実画角補正、無限遠の対応点のズレ補正等を行なって２台のカメラの光学特性のバラツキを補正し、補正した画像を用いてステレオマッチングを行ない、このステレオマッチングで得られた３次元画像情報から各種認識処理を行なう。尚、画像に対する補正やステレオ処理は、専用の回路で行なうようにしても良く、補正後の画像を各画像メモリ５９，６０にストアするようにしても良い。
【００３４】
これにより、ステレオ撮像ユニット１０と画像処理ユニット５０とを別々に生産することができ、生産性を大幅に向上することができる。また、市場においても、出荷時のステレオ撮像ユニット１０と画像処理ユニット５０との組み合わせに限定されることなく、ステレオ撮像ユニット１０あるいは画像処理ユニット５０を同等のものと交換しても２台のＣＣＤカメラ１１，１５の光学特性や信号特性のバランスが自動的に調整されるため、補修等の際の取り扱いを容易なものとすることができる。
【００３５】
尚、以上の実施の形態では、電源投入毎にステレオ撮像ユニット１０から画像処理ユニット５０へカメラ特性データを送信し、画像処理ユニット５０内に予め記憶している回路特性データと合わせて用いるようにしているが、必ずしも電源投入毎にデータの送受信を行う必要はなく、例えば、画像処理ユニット５０にカメラ特性データと回路特性データとを合わせたデータを記憶するフラッシュメモリを備えるとともに、ステレオ撮像ユニット１０に個体識別コードを記憶しておき、フラッシュメモリにカメラ特性データと回路特性データとを合わせたデータを書き込んだ後は、次の電源投入時にステレオ撮像ユニット１０の個体識別コードを参照し、個体識別コードに変更がなければフラッシュメモリのデータをそのまま使用するようにしても良い。
【００３６】
［付記］
１．ステレオ撮像のための一対のカメラを備えるステレオ撮像ユニットと、上記一対のカメラで撮像した画像を処理する画像処理ユニットとからなるステレオ画像処理システムであって、
上記ステレオ撮像ユニット内に、上記一対のカメラの互いの特性のバラツキを補正するためのカメラ特性データを予め記憶する第１の不揮発性メモリと、この第１の不揮発性メモリから上記カメラ特性データを読み出して上記画像処理ユニットへ送信する手段とを備え、
上記画像処理ユニット内に、上記一対のカメラから出力される２系統の画像信号を処理する回路の特性のバラツキを補正するための回路特性データを予め記憶する第２の不揮発性メモリと、この第２の不揮発性メモリから読み出した回路特性データ及び上記ステレオ撮像ユニットから受信したカメラ特性データにより、上記一対のカメラから出力される２系統の画像信号を補正する手段とを備えたことを特徴とするステレオ画像処理システム。
【００３７】
２．上記カメラ特性データは、上記一対のカメラの光学的位置のズレを補正するための画像変換データを含むことを特徴とする付記１記載のステレオ画像処理システム。
【００３８】
３．上記カメラ特性データは、レンズの焦点距離及び歪みの影響を補正するための実画角補正データを含むことを特徴とする付記１記載のステレオ画像処理システム。
【００３９】
４．上記カメラ特性データは、上記一対のカメラによる一対の画像の無限遠の対応点のズレを補正するためのデータを含むことを特徴とする付記１記載のステレオ画像処理システム。
【００４０】
【発明の効果】
以上説明したように本発明によれば、ステレオ撮像ユニットとステレオ撮像画像を処理する画像処理ユニットとを、一対一の関係でなく任意に組み合わせて使用可能なため、ステレオ撮像ユニットと画像処理ユニットとを別々に生産することができ、生産性を大幅に向上することができる。また、市場において、ステレオ撮像ユニットあるいは画像処理ユニットを同等のものと交換しても特性のバランスが自動的に調整されるため、補修等の際の取り扱いを容易なものとすることができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】ステレオ画像処理システムの構成図
【符号の説明】
１０…ステレオ撮像ユニット
１０…フラッシュメモリ（第１の不揮発性メモリ）
２０…マイクロコンピュータ
５０…画像処理ユニット
５１，５２…ゲインコントロールアンプ
５３，５４…可変オフセット回路
５７…ルックアップテーブル
５８…シェーディング補正テーブル
７０…マイクロコンピュータ
７１…フラッシュメモリ（第２の不揮発性メモリ）
【図１】
0004021026.tif 000002