(57)【要約】【課題】  変曲点を境に、異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、複数台の撮像装置間の画像の各種バラツキを的確に補正し、高速かつ正確なステレオ画像処理に適した撮像システムを提供すること。【解決手段】  複数台の撮像装置の画像の撮像タイミング、光電変換特性の変曲点、感度、温度特性等を合わせ込むことで、複数台の撮像装置間の画像の各種バラツキを的確に補正し、高速かつ正確なステレオ画像処理に適した撮像システムを提供することができる。【選択図】        図１
2007081806.tif 000002
【特許請求の範囲】
【請求項１】
変曲点を境に異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、
前記撮像装置は、撮像情報を送信する撮像情報送信手段を有し、
複数台の撮像装置の撮像情報送信手段によって送信された撮像情報に基づいて、複数台の撮像装置の撮像特性を制御する撮像制御手段を備えたことを特徴とする撮像システム。
【請求項２】
前記撮像システムは、立体画像、若しくは物体距離を得るシステムであることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記撮像情報は、前記撮像素子の撮像タイミングに関する情報であることを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記撮像情報は、前記撮像素子の光電変換特性に関する情報であることを特徴とする請求項１または２に記載の撮像システム。
【請求項５】
前記撮像情報は、前記撮像装置の光学特性に関する情報であることを特徴とする請求項１または２に記載の撮像システム。
【請求項６】
前記撮像情報は、前記撮像装置の温度特性に関する情報であることを特徴とする請求項１または２に記載の撮像システム。
【請求項７】
前記撮像制御手段は、前記複数台の撮像装置の前記撮像素子の光電変換特性を一致させる制御を行うことを特徴とする請求項１乃至６の何れか１項に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムに関し、特に、複数の異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムに関する。
【背景技術】
【０００２】
ステレオ画像を入力し、三次元計測や三次元物体認識、車載カメラ、交通監視、侵入者監視、人物の移動軌跡解析等を行う様々な画像処理手法が提案されている。これらの画像処理では、一般的に、入力されたステレオ画像の輝度の一致によって空間的な位置の対応を検出する。従って、ステレオ画像上の対応点が、同じ輝度で撮像されることが必要となる。
【０００３】
そこで、空間中に共通の背景を構成する平面を定め、この共通平面の基準画像中と比較画像中の位置から基準画像と比較画像の位置の対応を求め、基準画像と比較画像の対応する位置の画素の輝度値を比較して輝度値の補正量を算出し、画像の輝度値を補正する方法が提案されている（例えば、特許文献１参照）。
【０００４】
一方、本件出願人により、変曲点を境に線形と対数の光電変換特性（以後、リニアログ特性と言う）を持った広ダイナミックレンジの撮像素子（以後、リニアログセンサと言う）が提案されている（例えば、特許文献２参照）。対数の光電変換特性では、照明光の強度に関係なく、常に被写体輝度の比が一定の電圧差として出力されるため、画像処理で多く扱われる輝度比を、線形特性のように乗除算ではなく、演算の容易な加減算で扱うことができ、かつ、低照度時の特性を線形特性とすることで、対数特性の撮像素子の弱点である低照度時の感度が、一般の撮像素子と同等に改善されており、画像処理には最適な撮像素子である。
【０００５】
そこで、上述したステレオ画像を用いた三次元計測や三次元物体認識、車載カメラ、交通監視、侵入者監視、人物の移動軌跡解析等に、特許文献２で示したリニアログセンサを提供することが考えられている。
【特許文献１】特開２００２−２１６１２５号公報
【特許文献２】特開２００２−７７７３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、リニアログセンサをステレオ画像の撮像に用いる場合には、特許文献１に示されたような乗算による輝度値補正方法では、対数特性で撮像された領域の輝度値のズレを補正することができないし、変曲点、すなわち、線形特性と対数特性との境界点のバラツキも補正できない。また、ステレオ画像を入力とする画像処理においては、輝度の一致だけでなく、撮像タイミングや画像の大きさ（像倍率）等の一致も必要である。
【０００７】
本発明は、上記事情に鑑みてなされたもので、特許文献２に代表される、変曲点を境に、異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、複数台の撮像装置間の画像の各種バラツキを的確に補正し、高速かつ正確なステレオ画像処理に適した撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、下記構成により達成することができる。
【０００９】
（１）  変曲点を境に異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、
前記撮像装置は、撮像情報を送信する撮像情報送信手段を有し、
複数台の撮像装置の撮像情報送信手段によって送信された撮像情報に基づいて、複数台の撮像装置の撮像特性を制御する撮像制御手段を備えたことを特徴とする撮像システム。
【００１０】
（２）  前記撮像システムは、立体画像、若しくは物体距離を得るシステムであることを特徴とする（１）に記載の撮像システム。
【００１１】
（３）  前記撮像情報は、前記撮像素子の撮像タイミングに関する情報であることを特徴とする（１）または（２）に記載の撮像システム。
【００１２】
（４）  前記撮像情報は、前記撮像素子の光電変換特性に関する情報であることを特徴とする（１）または（２）に記載の撮像システム。
【００１３】
（５）  前記撮像情報は、前記撮像装置の光学特性に関する情報であることを特徴とする（１）または（２）に記載の撮像システム。
【００１４】
（６）  前記撮像情報は、前記撮像装置の温度特性に関する情報であることを特徴とする（１）または（２）に記載の撮像システム。
【００１５】
（７）  前記撮像制御手段は、前記複数台の撮像装置の前記撮像素子の光電変換特性を一致させる制御を行うことを特徴とする（１）乃至（６）の何れか１項に記載の撮像システム。
【発明の効果】
【００１６】
本発明によれば、変曲点を境に、異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、複数台の撮像装置間の画像の各種バラツキを的確に補正し、高速かつ正確なステレオ画像処理に適した撮像システムを提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づき本発明の実施の形態を説明する。
【００１８】
まず、本発明に係る撮像システムの一例について、図１を用いて説明する。
【００１９】
図１は、本発明におけるステレオ撮像システムの一例を示すブロック図（図１（ａ））と、ステレオ撮像システムの車載カメラへの応用例の模式図（図１（ｂ））である。ここでは、説明を簡単にするために、カメラを２台用いる基本的なステレオ撮像システムについて述べるが、例えば三次元人体計測システム等のように数十台のカメラを用いるシステムであっても、考え方は同じである。
【００２０】
図１（ａ）で、撮像システム１００は、本発明における撮像装置として機能する第１のカメラ２００と第２のカメラ３００の２台のカメラと、撮像システム全体の動作を制御する撮像制御手段１１０、ステレオ画像処理を行う画像処理手段１２０、および、ステレオ画像データあるいは画像処理出力の何れか一方または両方を記録する記録手段１３０等からなる。
【００２１】
第１のカメラ２００と第２のカメラ３００は、光軸２１１および３１１が基線長ｂだけ離れて配置され、撮像レンズ２１３および３１３によって結像された被写体像が、撮像素子２０１および３０１によって撮像され、画像データ２０７ａおよび３０７ａが、画像処理手段１２０に向けて出力される。
【００２２】
光軸２１１と３１１は、平行であってもよいし、適当な距離で交わるように設定されてもよいが、光軸２１１と３１１が作る面は、捩れのない平面であることが望ましい。第１のカメラ２００と第２のカメラ３００の内部の構成については、図３で詳述する。
【００２３】
撮像制御手段１１０は、第１および第２のカメラの撮像状態を示す第１の撮像情報２２１ａおよび第２の撮像情報３２１ａを受信し、第１および第２のカメラに撮像制御信号１１２および１１３を送信して、第１および第２のカメラの動作を制御する。また、画像処理手段１２０に画像処理制御信号１１１を送信することで、画像処理手段１２０の動作を制御し、画像処理手段１２０から、画像データ２０７ａと３０７ａ、および画像処理手段の画像処理出力１２１を受信し、記録手段１３０に、画像データ２０７ａと３０７ａ、および画像処理出力１２１の何れか一方または両方を、記録データ１１５として記録する。
【００２４】
例えば、図１（ｂ）で後述するような車載カメラにおける撮像では、カメラ自体が車体とともに移動し、また一般に被写体側も移動しているので、ステレオ撮像時に、カメラ毎に撮像タイミングが異なると、撮像されたステレオ画像が同じ場面を撮像したものでなくなるため、被写体の位置や大きさが異なった画像となり、ステレオ画像処理でよく用いられる画像の一致度が確認できない。従って、撮像制御手段１１０は、第１のカメラ２００と第２のカメラ３００の撮像のタイミングが同一となるように、第１および第２のカメラに撮像制御信号１１２および１１３を送信して、撮像素子２０１および３０１の撮像タイミングを同一に制御する。
【００２５】
画像処理手段１２０は、画像データ２０７ａと３０７ａを受信し、受信データに立体画像化や三次元距離測定等のステレオ画像処理を施し、画像処理出力１２１として出力する。
【００２６】
次に、図１（ｂ）で、自動車１０の車室内、例えばルームミラー近傍に、基線長離れて前方向きに水平に並べて取り付けられた第１および第２のカメラ２００および３００は、自動車１０の前方を撮像し、ステレオ画像を用いて前方の先行車や障害物等を検知する。また、同様に、自動車１０の車体後方に後ろ向きに取り付けられた第１および第２のカメラ２００および３００は、自動車１０の後方を撮像し、後方からの自動車あるいは車線変更時の後側方からの自動車を検知する。これらの第１および第２のカメラ２００および３００の光軸２１１および３１１は、地面２０と適当な距離（例えば１００ｍ）で交差するように設定することで、撮像画像中に空などの不要な部分が写り込む範囲を少なくする。
【００２７】
図２は、ステレオ撮像による、三角測量の原理を用いた距離測定方法を示す模式図である。光軸２１１と３１１が基線長ｂ離れて平行になるように設置された第１のカメラ２００と第２のカメラ３００の前方に、幅ｗの物体Ｏｂｊが距離ｄ離れて置かれている場合を考える。物体Ｏｂｊ上の一点Ｏｂｊ１の第１および第２のカメラの撮像素子２０１および３０１上の像は、光軸２１１および３１１からそれぞれａ１およびａ２離れた位置に結像される。物体Ｏｂｊ上の一点Ｏｂｊ１の光軸２１１および３１１からの距離をそれぞれｂ１、ｂ２、第１および第２のカメラのレンズ２１３および３１３の焦点距離をそれぞれｆ１、ｆ２とすると、
ｂ１／ｄ＝ａ１／ｆ１
ｂ２／ｄ＝ａ２／ｆ２
ｂ＝ｂ１＋ｂ２＝ｄ・（ａ１／ｆ１）＋ｄ・（ａ２／ｆ２）
＝ｄ・（ａ１／ｆ１＋ａ２／ｆ２）
よって、物体Ｏｂｊまでの距離ｄは、
ｄ＝ｂ／（ａ１／ｆ１＋ａ２／ｆ２）
で求められる。ここで、第１および第２のカメラのレンズ２１３および３１３の焦点距離ｆ１とｆ２が同じ（ｆ１＝ｆ２＝ｆ）であるとすると、
ｄ＝ｂ・ｆ／（ａ１＋ａ２）
となる。また、物体Ｏｂｊの幅ｗは、撮像素子２０１上の物体Ｏｂｊの像の幅をｗ１とすると、
ｗ／ｄ＝ｗ１／ｆ１
ｗ＝ｗ１・ｄ／ｆ１＝ｗ１・ｂ／ｆ１・（ａ１／ｆ１＋ａ２／ｆ２）
で求められる。ここで、第１および第２のカメラのレンズ２１３および３１３の焦点距離ｆ１とｆ２が同じ（ｆ１＝ｆ２＝ｆ）であるとすると、
ｗ＝ｗ１・ｂ／（ａ１＋ａ２）
となる。第１および第２のカメラのレンズ２１３および３１３の焦点距離ｆ１とｆ２が同じ場合には特に問題ないが、異なる場合には、撮像素子上の被写体像の大きさ（以後、像倍率と言う）が異なることになる。その場合、撮像されたステレオ画像が同じ範囲を撮像したものでなくなるため、被写体の位置や大きさが異なった画像となり、ステレオ画像処理でよく用いられる画像の一致度が確認できない。従って、像倍率が異なる場合には、例えばズームレンズのズーム値を補正して機械的に焦点距離を合わせ込むか、あるいは、例えば画像処理手段１２０で、撮像された画像データ３０７ａに像倍率に関する補正を施して、画像データ２０７ａと同じ像倍率の画像データに変換してから、ステレオ画像処理を行う必要がある。
【００２８】
以上に示したように、ステレオ撮像により、物体までの距離とその大きさを知ることができる。この原理を応用することで、三次元計測や三次元物体認識、車載カメラ、交通監視、侵入者監視、人物の移動軌跡解析等、様々な用途に応用が可能である。
【００２９】
続いて、第１および第２のカメラ２００および３００の内部の構成について、図３を用いて説明する。図３は、第１のカメラ２００の内部の構成を示すブロック図である。第２のカメラ３００については、以下の説明の２００番台の番号を３００番台に読み替えればよい。ただし、撮像制御手段１１０からの撮像制御信号は、第１のカメラへの撮像制御信号の番号は１１２、第２のカメラへの撮像制御信号の番号は１１３である。
【００３０】
被写体からの光は、レンズ２１３で撮像素子２０１上に結像され、撮像素子２０１で光電変換されて、撮像信号２０１ｋとしてアンプ２０３に入力され、アンプ２０３で増幅され、Ａ／Ｄ変換器（以後、Ａ／Ｄと言う）２０５でデジタルデータ化されて撮像回路２０７に入力され、撮像回路２０７で既定の信号処理が施されて、画像データ２０７ａとしてカメラ制御手段２２１およびインターフェース（以後、Ｉ／Ｆと言う）２３１を介して画像処理手段１２０に入力される。
【００３１】
また、撮像回路２０７は、カメラ制御手段２２１からのカメラ制御信号２２１ｂの制御下で、撮像素子制御信号２０７ｂにより撮像素子２０１の動作を、アンプ制御信号２０７ｃによりアンプ２０３の動作を、Ａ／Ｄ制御信号２０７ｄによりＡ／Ｄ２０５の動作を制御する。また、撮像回路２０７は、撮像素子２０１の撮像特性（電子シャッタ速度、光電変換特性等）を、撮像特性信号２０７ｅとしてカメラ制御手段２２１に送信する。温度検知回路２２２は、撮像素子２０１上あるいは撮像素子２０１の近傍に置かれ、撮像素子２０１の温度あるいは撮像素子２０１の近傍の温度を検知して、温度情報２２２ａをカメラ制御手段２２１に向けて出力する。
【００３２】
カメラ制御手段２２１は、第１のカメラの撮像特性を示す情報（例えば、レンズ２１３の焦点距離ｆ１、絞り２１７の絞り値、撮像素子２０１の撮像特性（電子シャッタ速度、光電変換特性等）、撮像素子２０１の温度等）を各部（例えば、レンズ制御部２１５、絞り制御部２１９、撮像回路２０７、温度検知回路２２２等）から収集し、Ｉ／Ｆを介して、第１の撮像情報２２１ａとして撮像制御手段１１０に出力する。一方、カメラ制御手段２２１は、Ｉ／Ｆを介して、撮像制御手段１１０からの撮像制御信号１１２を受信し、カメラ制御信号２２１ｂにより撮像回路２０７を介して、撮像素子２０１、アンプ２０３、Ａ／Ｄ２０５の各動作を制御するとともに、レンズ制御部２１５、絞り制御部２１９を介して、レンズ２１３のズームとフォーカス、および絞り２１７の絞り値を制御する。
【００３３】
第１のカメラ２００の絞り２１７と、第２のカメラ３００の絞り３１７の絞り値が異なると、撮像素子２０１と３０１に届く被写体からの光量が異なることになり、撮像素子の感度が異なることになるので、画像データ２０７ａと画像データ３０７ａの間の輝度のバラツキの要因となる。従って、絞り値が異なる場合には、例えば絞り制御部により絞りを制御して絞り値を機械的に合わせ込むか、あるいは、図７（ｂ）の説明で後述する方法によって撮像素子の感度を補正する等により、画像データ２０７ａと画像データ３０７ａの間の輝度のバラツキを補正する。
【００３４】
次に、本発明における撮像素子の実施の形態とその駆動方式について、図４乃至図６を用いて説明する。
【００３５】
図４は、撮像素子２０１（および３０１）を構成する各構成要素の配置の一例を示す模式図である。
【００３６】
撮像素子２０１は、撮像面２０１ａ上に、水平と垂直に配列された複数の画素２０１ｂと、垂直走査回路２０１ｃ、サンプルホールド回路２０１ｄ、出力回路２０１ｅ、出力アンプ２０１ｇ、水平走査回路２０１ｆ、タイミングジェネレータ（ＴＧ）２０１ｈ等の構成要素を備え、画素２０１ｂの各水平行毎の並びと垂直走査回路２０１ｃとは行選択線２０１ｉで結ばれ、画素２０１ｂの各垂直列毎の並びとサンプルホールド回路２０１ｄとは垂直信号線２０１ｊで結ばれている。
【００３７】
ここでは、サンプルホールド回路２０１ｄは、垂直信号線２０１ｊの一本につき図示しない２個のキャパシタを備えており、図６で後述する撮像素子２０１の駆動方式において、一方のキャパシタに画素のノイズ成分を保持し、他方のキャパシタに画素の（信号＋ノイズ）成分を保持し、その差分をとる、所謂ＣＤＳ（相関二重サンプリング）動作を行い、ノイズ除去を行う。
【００３８】
撮像素子２０１の撮像動作は、撮像回路２０７からの制御に従って、タイミングジェネレータ２０１ｈによって制御され、撮像素子２０１の出力である撮像信号２０１ｋは、アンプ２０３、Ａ／Ｄ２０５を介して、撮像回路２０７に入力される。
【００３９】
図５は、撮像素子２０１を構成する画素２０１ｂの回路の一例を示す回路図である。本回路は、リニアログ特性を有する。
【００４０】
画素２０１ｂは、埋め込み型フォトダイオードＰＤ（以後、ＰＤ部という）、ＮチャンネルＭＯＳＦＥＴ（金属酸化膜半導体電界効果トランジスタ：以下、トランジスタという）Ｑ１乃至Ｑ４から構成されている。トランジスタＱ１のドレインとＱ２のソースの接続部は、フローティングディフュージョンＦＤ（以後、ＦＤ部という）で構成されている。φＲＳＢ、φＲＳＴ、φＴＸ、φＶは、各トランジスタに対する信号（電位）を示し、ＶＤＤは電源、ＧＮＤは接地を示している。
【００４１】
ＰＤ部は光電変換手段であり、被写体からの入射光量に応じた光電流ＩＰＤを発生し、光電流ＩＰＤは、信号電荷ＱＰＤとしてＰＤ部の寄生容量ＣＰＤに蓄積される。実際には、ＰＤ部は、撮像の初期に高電位（φＲＳＢ）にリセットされ、リセットによりＰＤ部の寄生容量ＣＰＤに蓄積された電荷ＱＰＤを、光電流ＩＰＤで放電する動作を行う。ＰＤ部は埋め込み型構造となっており、光電変換された光電流ＩＰＤを直接取り出せないため、転送ゲートと呼ばれるトランジスタＱ１（以後、転送ゲートＱ１と言う）を介してＦＤ部に接続されている。
【００４２】
転送ゲートＱ１のゲート電位φＴＸが、図６（ａ）に示すように、中間電位Ｍに設定されると、転送ゲートＱ１のスレショルド電位をＶｔｈとすると、ＰＤ部の電位ＶＰＤが（Ｍ−Ｖｔｈ）に達するまでは、ＰＤ部の寄生容量ＣＰＤの電荷ＱＰＤは、光電流ＩＰＤにより線形特性で放電され（線形の光電変換特性）、ＰＤ部の電位ＶＰＤが（Ｍ−Ｖｔｈ）以下になると、転送ゲートＱ１のサブスレショルド特性により、ＰＤ部の電位ＶＰＤが光電流ＩＰＤを対数圧縮した電位となるように、対数特性で放電される（対数の光電変換特性）。従って、光電流ＩＰＤが小さい、すなわち被写体が暗い場合は線形の光電変換特性、光電流ＩＰＤが大きい、すなわち被写体が明るい場合は対数の光電変換特性となる。
【００４３】
転送ゲートＱ１のスレショルド電位Ｖｔｈは、画素毎にバラつく。つまり、各画素の転送ゲートＱ１のゲート電位φＴＸが中間電位Ｍに一律に設定されたとしても、ＰＤ部の光電変換特性が線形特性から対数特性に切り替わる点、すなわち変曲点が画素毎のスレショルド電位Ｖｔｈのバラツキによって異なることになり、変曲点のバラツキが発生する。
【００４４】
トランジスタＱ２はリセットゲートと呼ばれ（以後、リセットゲートＱ２と言う）、オンすることによってＦＤ部が既定の電位（φＲＳＢＨ）にリセットされる。リセットゲートＱ２のリセット動作時に、転送ゲートＱ１を同時にオンすることで、ＰＤ部も同時に既定の電位（φＲＳＢＨ）にリセットすることができる。
【００４５】
トランジスタＱ３は、ソースフォロワ増幅回路を構成するものであり、ＦＤ部の電位ＶＦＤに対する電流増幅を行うことで、出力インピーダンスを下げる働きをする。
【００４６】
トランジスタＱ４は、信号読み出し用のトランジスタであり、ゲートは、上述した行選択線２０１ｉに接続されており、垂直走査回路２０１ｃによって印加される信号φＶに応じてオン、オフされるスイッチとして動作する。トランジスタＱ４のソースは、垂直信号線２０１ｊに接続されており、トランジスタＱ４がオンされると、ＦＤ部の電位ＶＦＤがトランジスタＱ３で低インピーダンス化されて、画素出力ＶＯＵＴとして、垂直信号線２０１ｊへ導出される。
【００４７】
図６は、撮像素子の駆動方式の一例を示すタイミングチャートであり、図６（ａ）は、撮像動作の垂直ブランク（Ｖブランク）期間に、全画素同時に行われる撮像動作のタイミングチャート、図６（ｂ）は、撮像動作の水平ブランク（Ｈブランク）期間に、水平各行毎に順次行われる画像データとノイズデータの垂直および水平転送の動作のタイミングチャートである。
【００４８】
図６（ａ）で、φＲＳＢが既定の電位（ＶＲＳＢＨ）に設定され、タイミングＴ１１でφＲＳＴが高電位にされることでリセットゲートＱ２がオンされ、ＦＤ部の電位ＶＦＤがＶＲＳＢＨにリセット（初期化）される。同時に、φＴＸが高電位（Ｈ）にされることで転送ゲートＱ１がオンされ、ＰＤ部の寄生容量ＣＰＤがＶＲＳＢＨにリセットされる。これによって、ＰＤ部とＦＤ部が共にリセットされる。この時、ＦＤ部の電位ＶＦＤにはリセット動作に伴うリセットノイズＶＦＤｎｏｉｓｅが残ることがある。
【００４９】
タイミングＴ１２（撮像のタイミング）で、φＴＸが中間電位Ｍに設定されることで、ＰＤ部はリニアログ特性での撮像が可能な状態となり、被写体からの光がＰＤ部で光電変換されて、寄生容量ＣＰＤの電荷ＱＰＤが放電開始され、タイミングＴ１２の終わりまで動作が継続される。タイミングＴ１３でφＴＸが高電位にされることで、ＰＤ部の寄生容量ＣＰＤの電荷が信号電荷としてＦＤ部に完全転送される。以上が全画素同時に行われる撮像動作であり、撮像素子２０１の電子シャッタ動作のみで撮像が行われる。
【００５０】
図６（ｂ）で、タイミングＴ１４でφＶｎが高電位にされることで、トランジスタＱ４がオンされ、ＦＤ部の電位ＶＦＤ（ここでは水平ｎ行目の（信号＋ノイズ）データＳ／Ｎｎ）が画素２０１ｂの画素出力ＶＯＵＴとして垂直信号線２０１ｊに導出され、水平ｎ行目の全画素の画素出力ＶＯＵＴが、水平ｎ行目の（信号＋ノイズ）データＳ／Ｎｎとして、サンプルホールド回路２０１ｄの一方のキャパシタに保持される。
【００５１】
タイミングＴ１５で、水平ｎ行目のφＲＳＴ（φＲＳＴｎ）が高電位にされることで、水平ｎ行目のＦＤ部がＶＲＳＢＨにリセットされる。タイミングＴ１６で、水平ｎ行目のφＶ（φＶｎ）が高電位にされることで、水平ｎ行目の全画素の画素出力ＶＯＵＴが画像データ２０１ｋ（ここでは水平ｎ行目のリセットノイズデータＮｏｉｓｅｎ）としてサンプルホールド回路２０１ｄの他方のキャパシタに保持され、前述した水平ｎ行目の（信号＋ノイズ）データＳ／Ｎｎとの差分がとられて（所謂ＣＤＳ：相関二重サンプリング）、ノイズ成分の除去された画像信号成分ＳＩＧＮＡＬｎが生成され、水平転送信号φＨに従って、出力回路２０１ｅ、出力アンプ２０１ｇ、アンプ２０３、Ａ／Ｄ２０５を介して撮像信号２０１ｋ（ＳＩＧＮＡＬｎ）として撮像回路２０７に入力される。
【００５２】
次に、図４から図６に示した撮像素子２０１（および３０１）の光電変換特性のバラツキ補正について説明する。撮像素子２０１（および３０１）の光電変換特性は、撮像素子２０１（および３０１）を構成する画素２０１ｂ（および３０１ｂ）毎にバラツキを持つ。このバラツキは、撮像回路２０７（および３０７）での信号処理において、特定の画素を基準画素として、他の画素の特性を基準画素に合わせ込むバラツキ補正を施す。
【００５３】
さらに、撮像素子２０１と３０１の基準画素の光電変換特性の間にも、特性のバラツキが生じる。ステレオ画像処理を行うためには、このバラツキを補正する必要がある。その方法について、図７を用いて説明する。
【００５４】
図７は、撮像素子２０１と３０１の基準画素間の光電変換特性のバラツキを示す模式図で、図７（ａ）は、基準画素間の光電変換特性の変曲点バラツキを示し、図７（ｂ）は、基準画素間の光電変換特性の線形特性および対数特性での感度バラツキを示す光電変換特性のグラフである。グラフの横軸は被写体輝度（Ｂ）を対数軸で、縦軸は光電変換出力（ＶＰ）つまり撮像信号を線形軸でとってある。
【００５５】
図７（ａ）で、撮像素子２０１の基準画素の光電変換特性２０１１は、変曲点２０１３（被写体輝度＝Ｂｍ、光電変換出力＝Ｖｔｈｍ）よりも被写体輝度が暗い領域では線形特性を示し、変曲点２０１３よりも被写体輝度が明るいところでは対数特性を示す。撮像素子３０１についても同様であるが、図７（ａ）では、図５の説明で述べたように、撮像素子の画素を構成する転送ゲートＱ１のスレショルド電位Ｖｔｈのバラツキや、撮像素子２０１と３０１の温度差による温度特性により、撮像素子３０１の基準画素の光電変換特性３０１１の変曲点３０１３が、変曲点２０１３よりも低い点（被写体輝度＝Ｂｎ、光電変換出力＝Ｖｔｈｎ）で線形特性から対数特性に切り替わっており、対数特性の領域では、同じ被写体輝度での光電変換出力が光電変換特性２０１１より縦軸方向に平行移動された形（以後、オフセットと言う）となっており、オフセット値Ｖｏｓだけ低くなっている。
【００５６】
この場合には、以下の３つの場合に分けて、撮像素子３０１の撮像信号３０１ｋに変曲点バラツキを補正した撮像信号３０１１ｋを得る。
（１）被写体輝度がＢｎよりも暗い場合、つまり、
撮像素子３０１の撮像信号３０１ｋ≦Ｖｔｈｎ
の場合は、撮像素子３０１の撮像信号３０１ｋをそのまま撮像信号３０１１ｋとして用いる。
（２）被写体輝度がＢｎとＢｍの間、つまり、
Ｖｔｈｎ＜撮像素子３０１の撮像信号３０１ｋ＜（Ｖｔｈｍ−Ｖｏｓ）
の場合は、撮像素子３０１の撮像信号３０１ｋを、対数特性から線形特性に特性変換（図７（ａ）のＣｖ）した信号を、撮像信号３０１１ｋとして用いる。具体的には、例えば、対数特性を線形特性に変換するテーブルをルックアップテーブルの形で持ち、撮像信号３０１ｋの値から線形特性に変換された撮像信号を得る。
（３）被写体輝度がＢｍよりも明るい場合、つまり、
（Ｖｔｈｍ−Ｖｏｓ）≦撮像素子３０１の撮像信号３０１ｋ
の場合は、撮像素子３０１の撮像信号３０１ｋにオフセット値Ｖｏｓを加算した信号を、撮像信号３０１１ｋとして用いる。これによって、撮像素子３０１の基準画素の光電変換特性３０１１の変曲点バラツキを補正して、撮像素子２０１の基準画素の光電変換特性２０１１に合わせ込むことができる。
【００５７】
ここでは、撮像素子３０１の光電変換特性３０１１の変曲点が、撮像素子２０１の光電変換特性２０１１に比べて被写体輝度が暗い側にある場合について説明したが、逆に、明るい側にある場合は、ＢｍとＢｎおよびそれぞれに対応するＶｔｈｍとＶｔｈｎを入れ替え、オフセット値Ｖｏｓを負の数とし、場合分け（２）の特性変換Ｃｖを線形特性から対数特性への変換とすれば、考え方は同じである。また、撮像素子３０１の基準画素の光電変換特性３０１１を、撮像素子２０１の基準画素の光電変換特性２０１１に合わせ込むのではなくて、仮想の基準特性を設定し、撮像素子２０１の基準画素の光電変換特性２０１１と撮像素子３０１の基準画素の光電変換特性３０１１の両方を仮想の基準特性に合わせ込んでもよい。
【００５８】
次に、図７（ｂ）で、撮像素子３０１の基準画素の光電変換特性３０１１は、撮像素子２０１の基準画素の光電変換特性２０１１に比べて、変曲点３０１３（ＶＰ＝Ｖｔｈｎ）を与える被写体輝度Ｂｍは光電変換特性２０１１の変曲点２０１３（ＶＰ＝Ｖｔｈｍ）を与える被写体輝度と一致しているが、光電変換特性３０１１の線形特性領域３０１５が、光電変換特性２０１１の線形特性領域２０１５に比べて、同一被写体輝度での光電変換出力ＶＰが低い、つまり感度が低くなっている。
【００５９】
また、光電変換特性３０１１の対数特性領域３０１７も、光電変換特性２０１１の対数特性領域２０１７に比べてグラフの傾きが低い、つまり感度が低くなっている。感度バラツキの要因としては、画素のＰＤ部の感度差や、ソースフォロワ増幅回路を構成するトランジスタＱ３のゲインのバラツキ、撮像素子２０１と３０１の温度差による温度特性等が考えられる。
【００６０】
この場合には、線形特性領域と対数特性領域とに分けて、撮像素子３０１の撮像信号３０１ｋに感度バラツキを補正した撮像信号３０１１ｋを得る。
（線形特性領域）被写体輝度がＢｍよりも暗い場合、つまり、
撮像素子３０１の撮像信号３０１ｋ≦Ｖｔｈｎ
の場合は、撮像素子３０１の撮像信号３０１ｋに、線形特性領域での光電変換特性２０１１と３０１１の感度の比に相当するゲインＧ１を乗算した信号を、撮像信号３０１１ｋとして用いる。
（対数特性領域）被写体輝度がＢｍよりも明るい場合、つまり、
Ｖｔｈｎ＜撮像素子３０１の撮像信号３０１ｋ
の場合は、撮像素子３０１の撮像信号３０１ｋに、対数特性領域での光電変換特性２０１７と３０１７の傾きの比に相当するゲインＧ２を乗算した信号を、撮像信号３０１１ｋとして用いる。これによって、撮像素子３０１の基準画素の光電変換特性３０１１の感度バラツキを補正して、撮像素子２０１の基準画素の光電変換特性２０１１に合わせ込むことができる。
【００６１】
ここでは、撮像素子３０１の光電変換特性３０１１の感度が、撮像素子２０１の光電変換特性２０１１に比べて低い場合について説明したが、逆に、感度が高い場合も、ゲインＧ１およびＧ２が１以下の値になるだけで、考え方は同じである。また、撮像素子３０１の基準画素の光電変換特性３０１１を、撮像素子２０１の基準画素の光電変換特性２０１１に合わせ込むのではなくて、仮想の基準特性を設定し、撮像素子２０１の基準画素の光電変換特性２０１１と撮像素子３０１の基準画素の光電変換特性３０１１の両方を基準特性に合わせ込んでもよい。
【００６２】
変曲点バラツキと感度バラツキの両方が発生している場合は、バラツキの内容毎に分解して補正を行えばよい。
【００６３】
さらに、撮像素子の光電変換特性は、温度特性を持っている。ステレオ画像を用いて、例えば三次元画像の表示を行う場合には、画像の見え（コントラストや色等）が温度によって変化してはならないので、光電変換特性の温度補正を行う必要がある。これは、基本的には図７（ｂ）の感度補正と同じ考え方で、温度検知回路２２２の温度情報２２２ａに従って、基準温度の光電変換特性に合わせ込むように補正すればよい。
【００６４】
また、ステレオ画像を、例えば三次元計測等のデータ処理に用いる場合は、撮像素子２０１と３０１の温度が同じであれば温度特性の補正は必須ではないが、撮像素子２０１と３０１の温度が異なっている場合（例えば、一方のみが日向にあって温度が上昇している等）には、温度特性の補正が必要となる。方法は、上述した通り、図７（ｂ）の感度補正と同じ考え方で、温度検知回路２２２の温度情報２２２ａに従って、基準温度の光電変換特性に合わせ込むように補正すればよい。
【００６５】
以上に述べた、ステレオ画像を用いた三次元計測や三次元物体認識、車載カメラ、交通監視、侵入者監視、人物の移動軌跡解析等のためのステレオ画像処理に関しての各種補正について、図８を用いて、まとめて説明する。
【００６６】
図８は、図１に示した撮像制御手段１１０と画像処理手段１２０の、上述した各種補正に関わる機能の内部ブロック図である。図中、図１と同じ部分には同じ番号を付与した。
【００６７】
撮像制御手段１１０は、撮像タイミング同期部１１０１が備えられ、第１のカメラ２００と第２のカメラ３００に送信される撮像制御信号１１２と１１３中に、撮像同期信号を入れて送信することで、第１と第２のカメラの撮像タイミングを同期させる。その他、撮像制御信号１１２と１１３中に、焦点距離誤差や絞り値誤差の補正信号を入れてもよいが、本例では、焦点距離誤差や絞り値誤差は、画像処理手段１２０の中で補正することとする。
【００６８】
第１のカメラ２００の画像データ２０７ａと第２のカメラ３００の画像データ３０７ａは、画像処理手段１２０に入力される。本例では、画像データ２０７ａに３０７ａの誤差を合わせ込む方法で説明する。画像データ３０７ａは、撮像制御手段１１０からの画像処理制御信号１１１に従って、像倍率変換部１２０１で、像倍率が画像データ２０７ａの像倍率に一致するように像倍率変換され、変曲点補正部１２０３で、変曲点が画像データ２０７ａの変曲点に一致するように変曲点補正され、感度補正部１２０５で、感度が画像データ２０７ａの感度に一致するように感度補正される。
【００６９】
画像データ２０７ａは、温度補正部１２０７で撮像素子２０１の温度に従った温度補正が施されて、補正画像データ１２０７ａとなり、画像データ３０７ａに各種補正が施された画像データ１２０５ａは、温度補正部１２０９で、撮像素子３０１の温度に従った温度補正が施されて、補正画像データ１２０９ａとなり、これによって、第１のカメラ２００と第２のカメラ３００の画像データ２０７ａと３０７ａは、撮像タイミング、像倍率、変曲点、感度、温度特性等の各種誤差が補正されてステレオ画像処理に適した補正画像データ１２０７ａと１２０９ａとして、ステレオ画像処理部１２２１に入力され、例えば三次元計測等の所定のステレオ画像処理が施されて画像処理出力１２１として出力され、図１で説明したように、撮像制御手段１１０を経由して記録手段１３０に記録される。
【００７０】
以上に述べたように、本発明によれば、複数の異なる光電変換特性を有する撮像素子を搭載した撮像装置を複数台備えた撮像システムにおいて、複数台の撮像装置間の画像の各種バラツキを的確に補正し、高速かつ正確なステレオ画像処理に適した撮像システムを提供することができる。
【００７１】
尚、本発明に係る撮像システムを構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明におけるステレオ撮像システムの一例を示すブロック図（図１（ａ））と、ステレオ撮像システムの車載カメラへの応用例の模式図（図１（ｂ））である。
【図２】ステレオ撮像による、三角測量の原理を用いた距離測定方法を示す模式図である。
【図３】第１のカメラの内部の構成を示すブロック図である。
【図４】撮像素子を構成する各構成要素の配置の一例を示す模式図である。
【図５】撮像素子を構成する画素の回路の一例を示す回路図である。
【図６】撮像素子の駆動方式の動作を示すタイミングチャートである。
【図７】撮像素子の基準画素間の光電変換特性のバラツキと、補正方法を示すグラフの模式図である。
【図８】図１に示した撮像制御手段と画像処理手段の各種補正に関わる機能の内部ブロック図である。
【符号の説明】
【００７３】
１００  撮像システム
１１０  撮像制御手段
１２０  画像処理手段
１３０  記録手段
２００  第１のカメラ
２０１  （第１のカメラの）撮像素子
２０１ｂ  （第１のカメラの撮像素子の）画素
２０７  （第１のカメラの）撮像回路
２０７ａ  （第１のカメラの）画像データ
２１３  （第１のカメラの）レンズ
２１７  （第１のカメラの）絞り
２２１  （第１のカメラの）カメラ制御手段
２２１ａ  第１の撮像情報
２２２  （第１のカメラの）温度検知回路
２２２ａ  （第１のカメラの）温度情報
３００  第２のカメラ
３０１  （第２のカメラの）撮像素子
３０１ｂ  （第２のカメラの撮像素子の）画素
３０７  （第２のカメラの）撮像回路
３０７ａ  （第２のカメラの）画像データ
３１３  （第２のカメラの）レンズ
３１７  （第２のカメラの）絞り
３２１  （第２のカメラの）カメラ制御手段
３２１ａ  第２の撮像情報
３２２  （第２のカメラの）温度検知回路
３２２ａ  （第２のカメラの）温度情報
【図１】
2007081806.tif 000003
【図２】
2007081806.tif 000004
【図３】
2007081806.tif 000005
【図４】
2007081806.tif 000006
【図５】
2007081806.tif 000007
【図６】
2007081806.tif 000008
【図７】
2007081806.tif 000009
【図８】
2007081806.tif 000010