(57)【要約】【課題】多段階露光による撮像画像の広ダイナミックレンジ化を実現するのに好適な撮像装置を提供する。【解決手段】撮像装置１を、センサセルアレイ５６の全露光領域における通常露光時間で露光時の各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、高輝度領域における複数種類の露光時間で露光時の各画素のラインから非破壊読み出し方式で画素信号を読み出し、これら読み出した画素信号の画素データを出力する領域走査対応撮像処理系１０と、全露光領域画像データに基づき決定された高輝度領域の各画素からの複数種類の露光時間で露光時の各画素データに基づき広ダイナミックレンジの高輝度領域画像データを生成する映像処理系１２と、各種画像データを記憶するフレームメモリ１４とを含んだ構成とした。【選択図】図１
2007194687.tif 000002
【特許請求の範囲】
【請求項１】
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光時の電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光時の複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定する特定領域範囲決定手段と、
前記第１読出手段で読み出した電荷から構成される画素データと、前記第２読出手段で読み出した電荷から構成される画素データとに基づき撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴とする撮像装置。
【請求項２】
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光された複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の画素データの示す輝度値が、飽和しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記複数種類の画素データのうち非飽和の画素データに基づき前記特定領域の画像データを生成する特定領域画像データ生成手段と、
前記第１読出手段で読み出した電荷から構成される画素データと、前記特定領域画像データ生成手段で生成した特定領域の画像データとに基づき撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴とする撮像装置。
【請求項３】
前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定する特定領域範囲決定手段を備えることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記特定領域範囲決定手段は、前記第１読出手段で読み出した電荷から構成される画素データの示す輝度値と、所定の輝度閾値とを比較し、前記露光領域における前記所定輝度閾値以上となる画素データの情報に基づき、前記特定領域の範囲を決定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記露光領域における前記第１読出手段の前記電荷の読み出し位置を示す情報と、前記特定領域における前記第２読出手段の前記電荷の読出し開始位置を示す情報とに基づき、前記特定領域に対する前記電荷の読み出しタイミングを決定する基準信号を生成する基準信号生成手段を備え、
前記第２読出手段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定領域の各画素から電荷を読み出すことを特徴とする請求項２乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記特定領域画像データ生成手段は、前記判定手段の判定結果に基づき、前記複数種類の画素データのうち同じ画素位置の画素データについては、非飽和で且つ輝度値が最大値となる画素データを選択し、当該選択した画素データに基づき前記特定領域の画像データを生成することを特徴とする請求項２乃至請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２読出手段は、前記特定領域の各画素から、設定可能な最小露光時間で露光時の電荷を読み出し、
前記最小露光時間で露光時の電荷から構成される画素データと、前記特定領域の各画素から読み出された他の露光時間で露光時の電荷から構成される画素データとの差分値をそれぞれ算出し、当該差分値に基づき前記他の露光時間で露光時の画素データにそれぞれ対応する差分画素データを生成する差分画素データ生成手段を備え、
特定領域画像データ生成手段は、前記差分画素データを用いて前記特定領域の画像データを生成することを特徴とする請求項２乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記基準信号生成手段は、前記基準信号を、前記第１読出手段の前記電荷の読出し位置が、前記第２読出手段の前記電荷の読出し開始位置の１つ手前の位置となったとき、及び前記第２読出手段の前記電荷の読出し位置が、前記特定領域の最終読み出し位置となったときにアクティブとし、
前記基準信号がアクティブになったときに、前記特定領域の読み出し走査に用いるカウンタの値をクリアすることを特徴とする請求項５乃至請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記特定領域の各画素から読み出した前記複数種類の露光時間で露光時の各画素の電荷から構成される画素データの輝度レベルを補正する輝度レベル補正手段を備えることを特徴とする請求項２乃至請求項８のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置のセンサセル（光電変換素子）からの電荷の読み出し方式としては、破壊読み出し方式と非破壊読み出し方式とがある。
ここで、本明細書において、破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うもの、とする。
【０００３】
また、本明細書において、非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すもの、とする。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、それぞれ異なる露光時間で露光時の電荷の読み出しを何度でも行うことができる。従って、非破壊読み出し方式には、多段階露光を容易に実現することができるという利点がある。
【０００４】
また、従来、屋外の監視カメラシステムにおいて、夜間の監視のために、カメラの近くに光源を設置して、それにより特定監視領域に光を照射して、その領域に進入物があったかどうかを監視する方法が知られている。考え方としては、夜景を背景に、人物撮影をストロボをたいて行うことに近い。すなわち、光源に近い注目する被写体の反射光をカメラにより受光して、注目被写体画像を記録する。一方、遠景となる暗い背景の撮影は、ストロボ光が届かないので、露光時間を長くして撮影することで、背景画像を記録する。
【０００５】
前述の監視カメラシステムにおいては、遠景と特定領域（近景）の双方の画像が取得出来る方が望ましく、このようなコントラストの高い画像を撮像するために、ワイドダイナミックレンジカメラ(撮像素子)が使用されることがある。このワイドダイナミックレンジカメラを実現する為の撮像素子として、非破壊型撮像素子が提案されている。ワイドダイナミックレンジの非破壊型撮像素子に関する特許文献として、例えば、特許文献１に記載の撮像装置及び特許文献２に記載の固体撮像素子がある。
【０００６】
特許文献１に記載の撮像装置は、複数の各画素が増幅型の光電変換素子を備えた撮像装置において、露光時間の異なる複数の画素信号を読み出し、露光時間の長い一の画素信号の中から飽和画素信号を検出した場合に、該飽和画素信号を露光時間のより短い該画素の非飽和画素信号と置換することでワイドダイナミックレンジ化を実現するものである。
また、特許文献２に記載の固体撮像装置は、光電変換素子を画素として行列状に２次元に配列した受光部に対して、水平有効期間内でタイミングの異なる第１及び第２の読み出し信号を出力する垂直走査回路と、水平有効期間内で２度のスタート信号を入力する水平走査回路とを設け、２度の読み出し動作を水平走査期間内で時間をずらして行うようにして、垂直信号線を複数設けることなく、独立に取り出すように構成することでワイドダイナミックレンジ化を実現するものである。
【特許文献１】特開平５―２２６７０号公報
【特許文献２】特開平７―３８８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ここで、２段露光方式での広ダイナミックレンジ化における２つの露光時間（通常露光時間と短露光時間）について考える。Ｓ／Ｎの観点からは、通常露光時間と短露光時間との比は小さい方が良い。一方、ダイナミックレンジの観点からは、短露光時間において出力を飽和させないために、通常露光時間と短露光時間との比は大きい方が良い。２段露光方式で両者を実現することは難しく、多段階露光方式が望まれている。
【０００８】
しかしながら、上記特許文献１及び上記特許文献２の従来技術にあっては、２段階露光によるワイドダイナミックレンジ化を前提としており、多段階露光によるワイドダイナミックレンジ化については触れられていない。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、多段階露光による撮像画像の広ダイナミックレンジ化を実現するのに好適な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
〔形態１〕  上記目的を達成するために、形態１の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光時の電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光時の複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定する特定領域範囲決定手段と、
前記第１読出手段で読み出した電荷から構成される画素データと、前記第２読出手段で読み出した電荷から構成される画素データとに基づき撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴としている。
【００１０】
このような構成であれば、第１読出手段によって、前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光時の電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光時の複数種類の電荷を非破壊読み出し方式で読み出すことが可能であり、特定領域範囲決定手段によって、前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定することが可能である。
また、撮像画像データ出力手段によって、前記第１読出手段で読み出した電荷から構成される画素データと、前記第２読出手段で読み出した電荷から構成される画素データとに基づき撮像画像データを出力することが可能である。
【００１１】
つまり、第１読出手段によって、所定露光時間の露光で光電変換部における全露光領域の画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記全露光領域における一部の領域から構成される特定領域に対して、前記所定露光時間以下で且つそれぞれ異なる複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、特定領域範囲決定手段によって、第２読出手段が電荷を読み出す特定領域の範囲を自動的に決定することができる。例えば、被写体及び比較的暗い背景から構成される撮像対象を想定すると、被写体の存在する領域は背景に比べて輝度が高くなる（被写体と背景とに輝度差が発生する）ので、第１読出手段で読み出した所定露光時間の露光時の電荷から構成される画素データから、被写体の存在する領域を予測する（例えば、輝度値を所定輝度閾値と比較してその比較結果から予測する）ことが可能である。従って、例えば、比較的高輝度の画素データが集中する領域範囲を被写体の存在する領域範囲と予測して、この領域範囲を特定領域の範囲として決定するようにすることで、第１読出手段によって、当該暗い背景に対して露光領域全体の画素を、例えば、暗い背景内容を認識可能な撮像画像を得るのに十分な長さの長露光時間で露光して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された背景画像を得ることができる。一方、前記長露光時間による露光期間中において、前記決定された特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、４種類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、複数種類の露光時間で露光された特定領域の画像を得ることができる。これにより、十分に露光された背景画像（露光領域全体の画像）と、多段階露光された、被写体を含む特定領域の画像とを得ることができるので、背景と被写体とのコンストラストが高く、且つＳ／Ｎが良い撮像画像のデータを出力することができるという効果が得られる。また、第１所定露光時間で露光された電荷から構成される画素データに基づき特定領域の範囲を決定するようにしたので、高速に適切な領域範囲を特定領域として設定することができるという効果が得られる。
【００１２】
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、形態２の撮像装置において同じである。
【００１３】
〔形態２〕  一方、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを有する撮像素子を備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光された複数種類の電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の画素データの示す輝度値が、飽和しているか否かを判定する判定手段と、
前記判定手段の判定結果に基づき、前記複数種類の画素データのうち非飽和の画素データに基づき前記特定領域の画像データを生成する特定領域画像データ生成手段と、
前記第１読出手段で読み出した電荷から構成される画素データと、前記特定領域画像データ生成手段で生成した特定領域の画像データとに基づき撮像画像データを出力する撮像画像データ出力手段と、を備えることを特徴としている。
【００１４】
このような構成であれば、第１読出手段によって、前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、所定露光時間で露光時の電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段と同じ露光期間において、前記光電変換部の前記露光領域の一部である特定領域における前記光電変換素子の構成する各画素から、それぞれ異なる露光時間で露光時の複数種類の電荷を非破壊読み出し方式で読み出すことが可能である。
【００１５】
また、判定手段によって、前記第２読出手段で読み出された前記特定領域に対するそれぞれ露光時間の異なる電荷から構成される複数種類の画素データの示す輝度値が、飽和しているか否かを判定することが可能であり、特定領域画像データ生成手段によって、前記判定手段の判定結果に基づき、前記複数種類の画素データのうち非飽和の画素データに基づき前記特定領域の画像データを生成することが可能である。
【００１６】
また、撮像画像データ出力手段によって、前記第１読出手段で読み出した電荷から構成される画素データと、前記特定領域画像データ生成手段で生成した特定領域の画像データとに基づき撮像画像データを出力することが可能である。
つまり、第１読出手段によって、所定露光時間の露光で光電変換部における全露光領域の画素から電荷の破壊読み出しを行い、一方、所定露光時間の露光が行われている期間中に、第２読出手段によって、前記全露光領域における一部の領域から構成される特定領域に対して、前記所定露光時間以下で且つそれぞれ異なる複数種類の露光時間で露光された画素の電荷の非破壊読み出しを行うことができる。更に、判定手段及び特定領域画像データ生成手段によって、非飽和の画素データから特定領域画像データを生成することができる。
【００１７】
従って、例えば、被写体及び比較的暗い背景から構成される撮像対象に対して、第１読出手段によって、当該暗い背景に対して露光領域全体の画素を、例えば、暗い背景内容を認識可能な撮像画像を得るのに十分な長さの長露光時間で露光して、当該露光領域全体の各画素の電荷を読み出すことで長露光時間で露光された背景画像を得ることができる。一方、前記長露光時間による露光期間中において、前記被写体の領域を含むその周辺領域を特定領域として、当該特定領域の画素に対して、例えば、前記長露光時間よりも短い、複数種類（例えば、４種類など）の露光時間で順次露光される各画素から電荷を非破壊で順次読み出すことで、複数種類の露光時間で露光された特定領域の画像を得ることができる。更に、このようにして得られた、特定領域の画素データのうち、輝度値が非飽和の画素データに基づき特定領域の画像データを生成することができる。
【００１８】
これにより、十分に露光された背景画像（露光領域全体の画像）と、多段階露光され且つ非飽和の画素データから構成される、被写体を含む特定領域の画像とからなる撮像画像を構成することができるので、背景と被写体とのコンストラストが高く、且つＳ／Ｎの良い撮像画像のデータを出力することができるという効果が得られる。
【００１９】
〔形態３〕  更に、形態３の撮像装置は、形態２の撮像装置において、
前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定する特定領域範囲決定手段を備えることを特徴としている。
このような構成であれば、特定領域範囲決定手段によって、前記第１読出手段で読み出した電荷から構成される画素データに基づき、前記露光領域における前記特定領域の範囲を決定することが可能である。
【００２０】
例えば、被写体及び比較的暗い背景から構成される撮像対象を想定すると、被写体の存在する領域は背景に比べて輝度が高くなる（被写体と背景とに輝度差が発生する）ので、第１読出手段で読み出した所定露光時間の露光時の電荷から構成される画素データから、被写体の存在する領域を簡易に予測する（例えば、輝度値を所定輝度閾値と比較してその比較結果から予測する）ことが可能である。
従って、例えば、比較的高輝度の画素データが集中する領域を被写体が存在する領域範囲と予測して、これを特定領域の範囲に決定するようにすることで、高速に適切な領域範囲を特定領域として設定することができるという効果が得られる。
【００２１】
〔形態４〕  更に、形態４の撮像装置は、形態３の撮像装置において、
前記特定領域範囲決定手段は、前記第１読出手段で読み出した電荷から構成される画素データの示す輝度値と、所定の輝度閾値とを比較し、前記露光領域における前記所定輝度閾値以上となる画素データの情報に基づき、前記特定領域の範囲を決定することを特徴としている。
【００２２】
例えば、被写体及び比較的暗い背景から構成される撮像対象を想定すると、被写体の存在する領域は背景に比べて輝度が高くなる（被写体と背景とに輝度差が発生する）ので、第１読出手段で読み出した所定露光時間の露光時の電荷から構成される画素データから、被写体の存在する領域を簡易に予測する（例えば、輝度値を所定輝度閾値と比較してその比較結果から予測する）ことが可能である。
【００２３】
このような構成であれば、輝度値の高い画素データの集中している位置を簡易に知ることができるので、例えば、比較的高輝度の画素データが集中する領域を被写体が存在する領域範囲と予測して、これを自動的に特定領域の範囲に決定するようにすることが可能となる。
従って、人手をかけずに簡易に適切な領域範囲を特定領域として設定することができるという効果が得られる。
【００２４】
〔形態５〕  更に、形態５の撮像装置は、形態２乃至４のいずれか１の撮像装置において、
前記露光領域における前記第１読出手段の前記電荷の読み出し位置を示す情報と、前記特定領域における前記第２読出手段の前記電荷の読出し開始位置を示す情報とに基づき、前記特定領域に対する前記電荷の読み出しタイミングを決定する基準信号を生成する基準信号生成手段を備え、
前記第２読出手段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定領域の各画素から電荷を読み出すことを特徴としている。
【００２５】
このような構成であれば、基準信号生成手段によって、前記露光領域における前記第１読出手段の前記電荷の読み出し位置を示す情報と、前記特定領域における前記第２読出手段の前記電荷の読出し開始位置を示す情報とに基づき、前記特定領域に対する前記電荷の読み出しタイミングを決定することが可能であり、前記第２読出手段は、前記基準信号生成手段で生成された基準信号に基づき、前記特定領域の各画素から電荷を読み出すことが可能である。
従って、特定領域の画素からの電荷の読み出しタイミングを簡易に制御することができると共に、露光領域における任意の領域を特定領域として簡易に設定することができるという効果が得られる。
【００２６】
〔形態６〕  更に、形態６の撮像装置は、形態２乃至５のいずれか１の撮像装置において、
前記特定領域画像データ生成手段は、前記判定手段の判定結果に基づき、前記複数種類の画素データのうち同じ画素位置の画素データについては、非飽和で且つ輝度値が最大値となる画素データを選択し、当該選択した画素データに基づき前記特定領域の画像データを生成することを特徴としている。
【００２７】
このような構成であれば、複数種類の露光時間に対して読み出された画素データのうち、非飽和で且つ最も輝度値の高い画素データを用いて特定領域の画像データを生成することが可能となるので、高輝度領域においてＳ／Ｎが良くなることから、被写体が明瞭に撮像された特定領域の画像を得ることができるという効果が得られる。
【００２８】
〔形態７〕  更に、形態７の撮像装置は、形態２乃至６のいずれか１の撮像装置において、
前記第２読出手段は、前記特定領域の各画素から、設定可能な最小露光時間で露光時の電荷を読み出し、
前記最小露光時間で露光時の電荷から構成される画素データと、前記特定領域の各画素から読み出された他の露光時間で露光時の電荷から構成される画素データとの差分値をそれぞれ算出し、当該差分値に基づき前記他の露光時間で露光時の画素データにそれぞれ対応する差分画素データを生成する差分画素データ生成手段を備え、
特定領域画像データ生成手段は、前記差分画素データを用いて前記特定領域の画像データを生成することを特徴としている。
【００２９】
このような構成であれば、差分画素データ生成手段によって、前記最小露光時間で露光時の電荷から構成される画素データと、前記特定領域の各画素から読み出された他の露光時間で露光時の電荷から構成される画素データとの差分値をそれぞれ算出し、当該差分値に基づき前記他の露光時間で露光時の画素データにそれぞれ対応する差分画素データを生成することあ可能であり、特定領域画像データ生成手段は、前記差分画素データを用いて前記特定領域の画像データを生成することが可能である。
【００３０】
従って、最小露光時間で露光時の画素データは、暗時の画素データと等価となるので、このような画素データと各露光時間で露光時の画素データとの差分値からなる差分画素データを生成することで、各露光時間で露光時の画素データから特定領域の各画素が有する固定パターンノイズを除去することが可能である。
従って、非破壊読み出し方式で問題となる固定パターンノイズによる画像の画質劣化を防ぐ又は低減することができるという効果が得られる。
ここで、「固定パターンノイズ」には、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。
【００３１】
〔形態８〕  更に、形態８の撮像装置は、形態５乃至７のいずれか１の撮像装置において、
前記基準信号生成手段は、前記基準信号を、前記第１読出手段の前記電荷の読出し位置が、前記第２読出手段の前記電荷の読出し開始位置の１つ手前の位置となったとき、及び前記第２読出手段の前記電荷の読出し位置が、前記特定領域の最終読み出し位置となったときにアクティブとし、
前記基準信号がアクティブになったときに、前記特定領域の読み出し走査に用いるカウンタの値をクリアすることを特徴としている。
【００３２】
このような構成であれば、第１読出手段による電荷の破壊読み出しの直後に、第２読出手段による電荷の非破壊読み出しを行うことが可能である。
つまり、破壊読み出しによる電荷のリセット直後に、第２読出手段による電荷の非破壊読み出しを行うことができるので、複数種類の露光時間における電荷の読み出しを簡易に行うことができるという効果が得られる。特に、上記差分画素データを生成するときには、簡易に最小露光時間で露光時の電荷の読み出しを行うことができるという効果が得られる。
【００３３】
〔形態９〕  更に、形態９の撮像装置は、形態２乃至８のいずれか１の撮像装置において、
前記特定領域の各画素から読み出した前記複数種類の露光時間で露光時の各画素の電荷から構成される画素データの輝度レベルを補正する輝度レベル補正手段を備えることを特徴としている。
【００３４】
このような構成であれば、所定露光時間よりも短い露光時間で露光時の特定領域の画素データを、所定露光時間で露光時の画素データに換算（補正）することが可能となるので、線形性のある輝度レベルの画像を得ることができるという効果が得られる。
例えば、第１読出手段に対する所定露光時間の露光期間において、第２読出手段で複数種類の露光時間でそれぞれ露光された画素信号を取得したときに、第２読出手段では、所定露光時間よりも短い露光時間による露光を複数回行うことになるので、このようにして得られる第２画素データは、露光時間が短い分だけ、所定露光時間の画素データに対して輝度レベルが低くなってしまう。そのため、特定領域の画素データの輝度レベルを、例えば、複数種類の露光時間における各露光時間に応じてそれぞれ補正することで不足分の輝度レベルを補う必要がある。
【発明を実施するための最良の形態】
【００３５】
以下、本発明に係る撮像装置の実施の形態を、図面に基づいて説明する。図１〜図１３は、本発明に係る撮像装置１の実施の形態を示す図である。
この撮像装置１は、１フレーム期間（１回の露光期間）に、センサセルアレイの全露光領域に対する通常露光時間（ユーザ等によって任意に設定される時間）の露光による画像を撮像すると共に、映像処理系において、前記通常露光時間で露光時の画素データに基づき自動的に決定される、センサセルアレイの特定領域（露光領域の一部から構成）に対して、全露光領域に対する通常露光時間の露光と同じ１フレーム期間に、当該特定領域に対する複数種類の露光時間の露光による画像を撮像する機能を備えた撮像素子を有する撮像処理系を備える。つまり、特定領域に対しては、通常露光時間の露光時における画素信号の読み出し速度よりも高速に且つ複数回の画素信号の読み出しが行われる。そして、画素列毎に順次、光電変換された画素信号が出力される。また、本実施の形態において、撮像装置１は、輝度レベルが所定輝度閾値よりも高い画素データが集中する領域及びその周辺領域を高輝度領域とし、この高輝度領域を撮像するセンサセルアレイの領域を前記特定領域として自動的に設定する。以降は、特定領域を高輝度領域と称して説明を行う。
【００３６】
以下、図１に基づき、本発明に係る撮像装置１の概略構成を説明する。ここで、図１は、本発明に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、図１に示すように、通常露光時間の露光期間において、センサセルアレイ５６（後述）の全露光領域における通常露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、高輝度領域における複数種類の露光時間（本実施の形態においては、いずれも通常露光時間以下の時間で且つ重複無し）で露光された各画素のラインから非破壊読み出し方式によって各種類毎の画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する領域走査対応撮像処理系１０（以下、撮像処理系１０と称す）と、領域走査対応撮像処理系１０から出力された、全露光領域の各画素からの通常露光時間の露光に対応する画素データに基づき決定された高輝度領域の各画素からの複数種類の露光時間の露光にそれぞれ対応する画素データに基づき高輝度領域の画像（以下、高輝度領域画像という）を生成し、全露光領域の画素データ及び高輝度領域画像データから構成される撮像画像データを出力する映像処理系１２と、全露光領域画像データ、高輝度領域画像データ、高輝度領域基準画像データなどの各種画像データを記憶するフレームメモリ１４とを含んで構成される。
【００３７】
更に、図２〜図５に基づき、撮像処理系１０の内部構成を説明する。ここで、図２は、撮像処理系１０の内部構成を示すブロック図である。また、図３は、ＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、図４は、領域別走査対応型撮像素子１００の内部構成を示すブロック図である。また、図５は、走査ラインスキャナ５４の内部構成を示す図である。また、図６は、全露光領域及び高輝度領域の画素データの読み出しタイミングを示す図である。
【００３８】
図２に示すように、撮像処理系１０は、領域別走査対応型撮像素子１００と、第１のＡＦＥ１０２と、第２のＡＦＥ１０４とを含んで構成される。
領域別走査対応型撮像素子１００（以下、撮像素子１００と称す）は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１００は、映像処理系１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号）に基づいて、センサセルアレイ５６の全露光領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。また、後述する走査ラインスキャナ５４の生成する特定領域＿垂直同期信号に基づいて、センサセルアレイ５６の高輝度領域の各画素列に蓄積されている電荷群を電圧群に順次変換する。そして、高輝度領域に対する複数種類の露光時間で露光された電荷群を変換してなる電圧群は、第１水平転送部５８（後述）の有する、第１ラインメモリを含んで構成される第１出力チャンネル（以下、ＣＨ１と称す）を介して第１のＡＦＥ１０２に順次出力し、他方の全露光領域に対する通常露光時間で露光された電荷群を変換してなる電圧群は、第２水平転送部６０（後述）の有する、第２ラインメモリを含んで構成される第２出力チャンネル（以下、ＣＨ２と称す）を介して第２のＡＦＥ１０ｄに順次出力する。
【００３９】
また、本実施の形態においては、全露光領域に対して、ＣＨ２を介して破壊読み出し方式で各画素からの電荷の読み出しを行い、特定（高輝度）領域に対して、ＣＨ１を介して非破壊読み出し方式で各画素からの電荷の読み出しを行うことによって、電子シャッタ機能による１回の露光期間（通常露光時間）において、全露光領域における通常露光時間での露光時の電荷群と、高輝度領域における複数種類の露光時間で露光時の電荷群とをそれぞれ独立に読み出すようになっている。
【００４０】
第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、第１水平転送部６０のＣＨ２介して出力される全露光領域の通常露光時間に対応する電圧（アナログデータ）を、デジタルデータ（画素データ）に変換し、当該画素データを映像処理系１２の高輝度領域判定器１２ｄ（後述）及び全領域画像生成器１２ｃ（後述）にそれぞれ出力する。また、水平転送部５８のＣＨ１を介して出力される高輝度領域のそれぞれ異なる露光時間に対応する電圧（アナログデータ）を、デジタルデータ（画素データ）に変換し、当該画素データを映像処理系１２の高輝度領域画像生成器１２ｆ（後述）に出力する。
【００４１】
更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、差動増幅回路１０２ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、撮像素子１００からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路１０２ｂに出力する。
【００４２】
増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換器の入力レンジと整合するように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、画素データ（デジタルデータ）に変換して映像処理系１２へと出力する。
なお、第１のＡＦＥ１０２及び第２のＡＦＥ１０４は、同一の内部構成となるので、第２のＡＦＥ１０４に対する内部構成の説明は省略する。
【００４３】
更に、図４に基づき、撮像素子１００の内部構成を説明する。
撮像素子１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、第１水平転送部５８と、第２水平転送部６０とを含んで構成される。
基準タイミング発生器５０は、映像処理系１２のタイミング制御器１２ｂ（後述）からの垂直同期信号及び水平同期信号に基づき、基準タイミング信号を発生する。
【００４４】
駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。
走査ラインスキャナ５４は、映像処理系１２の通信器１２ａ（後述）からの開始ライン番号及び走査領域幅の情報に基づき、全露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、全露光領域及び特定（高輝度）領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号（２ライン分）を生成し、これら生成した選択信号を駆動パルス発生器５２に出力する。また、特定領域の垂直同期信号である特定領域＿垂直同期信号を生成して、これを駆動パルス発生器５２及び映像処理系１２のタイミング制御器１２ｂ（後述）に出力する。
【００４５】
センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、全露光領域における各画素を通常露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して第２水平転送部６０に順次出力する。一方、この通常露光時間の露光期間において、特定（高輝度）領域における複数種類の露光時間における各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して第１水平転送部５８に順次出力する。
【００４６】
第１水平転送部５８は、センサセルアレイ５６の特定（高輝度）領域における複数種類の露光時間にそれぞれ対応する画素信号データを、各画素のライン毎にＣＨ１の第１ラインメモリに記憶し、当該記憶した画素信号データを第１のＡＦＥ１０２に出力する。
第２水平転送部６０は、センサセルアレイ５６の全露光領域における通常露光時間に対応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にＣＨ２の第２ラインメモリＳ及び第２ラインメモリＮにそれぞれ記憶し、当該記憶した通常露光時間及びリセット直後の画素信号データを、不図示の差動増幅器６２に出力する。
【００４７】
差動増幅器６２は、通常露光時間及びリセット直後の画素信号データに対して減算処理を行い、当該減算処理後の画素信号を第２のＡＦＥ１０４に出力する。
更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５に示すように、全露光領域走査カウンタ５４ａと、全露光領域走査アドレスデコーダ５４ｂと、特定（高輝度）領域走査カウンタ５４ｃと、特定（高輝度）領域走査アドレスデコーダ５４ｄと、ＯＲロジック５４ｅとを含んで構成される。
【００４８】
全露光領域走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、全露光領域の画素のライン番号に対応しており、このライン番号は、全領域走査アドレスデコーダ５４ｂに出力される。
全露光領域走査アドレスデコーダ５４ｂは、全露光領域走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、各画素ラインの有効／無効を示す読み出しライン制御信号をＯＲロジック５４ｅに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。
【００４９】
特定（高輝度）領域走査カウンタ５４ｃは、基準タイミング発生器５０からの水平同期信号と、全露光領域走査カウンタ５４ａからのカウント値の情報と、センサ通信器１２ａからの開始ライン番号と走査領域幅を示す情報とに基づき、特定領域＿垂直同期信号を生成し、当該生成した特定領域＿垂直同期信号に基づきカウントアップ動作を繰り返す。ここで、カウンタの値は、特定（高輝度）領域の画素のライン番号に対応しており、このライン番号は、特定（高輝度）領域走査アドレスデコーダ５４ｄに出力される。また、特定領域＿垂直同期信号は、映像処理系１２のタイミング制御器１２ｂにも出力する。
【００５０】
特定（高輝度）領域走査アドレスデコーダ５４ｄは、特定（高輝度）領域走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、各画素ラインの有効／無効を示す読み出しライン制御信号をＯＲロジック５４ｅに出力する。
ＯＲロジック５４ｅは、全露光領域走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、特定（高輝度）領域走査アドレスデコーダ５４ｄからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、全露光領域に対する最終的な読み出しライン選択信号を生成すると共に、特定（高輝度）領域に対する最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。
【００５１】
更に、図６に基づき、全露光領域走査カウンタ５４ａ及び特定（高輝度）領域走査カウンタ５４ｃの動作について説明する。ここで、図６は、全露光領域走査カウンタ５４ａ及び特定（高輝度）領域走査カウンタ５４ｃの動作を示す図である。
図６に示すように、全露光領域走査カウンタ５４ａは、タイミング制御器１２ｂ（後述）からの垂直同期信号及び水平同期信号と同期して動作する。具体的には、垂直同期信号と同期してカウント値をリセットし、水平同期信号と同期してカウントアップ動作を繰り返す。図６の例では、説明の便宜上、露光領域の画素の総ライン数が、ライン番号１〜１６の１６本となっている。従って、全露光領域走査カウンタ５４ａは、垂直同期信号に同期してカウント値を「１」にクリアすると、水平同期信号に同期してカウント値を「１」ずつカウントアップしていき、ブランク期間も含めてカウント値「１８」までカウントアップ動作を繰り返す。
【００５２】
一方、特定（高輝度）領域走査カウンタ５４ｃは、全露光領域走査カウンタ５４ａに供給される水平同期信号に基づき、全露光領域走査カウンタ５４ａのカウント値を監視する。そして、全露光領域走査カウンタ５４ａのカウント値が、通信器１２ａから出力される特定（高輝度）領域の「開始ライン番号−１」の値となったときに特定領域＿垂直同期信号０１（不図示）をアクティブとし、これと同期して開始ライン番号をロードしカウントアップ動作を行う。また、カウントアップ動作により、カウント値が最大値（走査領域幅から決定される）になると再び開始ライン番号に戻る。そして、カウント値が最大値となる毎に特定領域＿垂直同期信号をアクティブとする。図６の例では、ライン番号４〜８が特定（高輝度）領域となっているので開始ライン番号は「４」となる。従って、全露光領域走査カウンタ５４ａのカウント値が「３」のときに特定領域＿垂直同期信号０１をアクティブとして開始ライン番号「４」をロードしカウントアップ動作を行う。そして、特定（高輝度）領域走査カウンタ５４ｃが走査領域幅を決めるライン番号の最大値である「８」となったときに、カウント値を「４」に戻すと共に特定領域＿垂直同期信号をアクティブとする。
【００５３】
このように、全露光領域走査カウンタ５４ａ及び特定（高輝度）領域走査カウンタ５４ｃを動作させることで、全露光領域に対する画素信号の読み出し及び蓄積電荷のリセットを行う走査による蓄積電荷のリセット直後から、特定（高輝度）領域に対する画素信号の読み出しを行うことができる。これにより、リセット直後の暗時の画素信号（高輝度領域基準画素データ（後述））を簡易に読み出すことができると共に、複数種類の露光時間で露光時の画素信号を効率よく読み出すことができる。
【００５４】
更に、図７に基づき、撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作について説明する。ここで、図７は、撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
図７に示すように、まず、センサセルアレイ５６の全露光領域（全走査領域）に対して、全露光領域における各画素のラインの通常露光時間で露光時の画素信号の読み出し及び当該画素信号の読み出し後に蓄積電荷のリセットを行う通常走査ライン（読み出しライン）Ｌ２を選択すると共に、センサセルアレイ５６の特定（高輝度）領域（特定走査領域）に対して、複数種類の露光時間で露光時の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライン）Ｌ１を選択する。そして、１回の露光期間（通常露光時間）において、全露光領域の画素のラインに対する通常露光時間で露光時の画素信号の読み出し及び蓄積電荷のリセットと、特定領域の画素のラインに対する複数種類の露光時間で露光時の画素信号の非破壊読み出しとをそれぞれ独立に実行する。
【００５５】
つまり、通常走査ラインＬ２及び高速走査ラインＬ１は、図７に示すように、全露光領域における画素のライン（例えば、第１〜第１８ライン）においては、これら画素のラインのいずれか１に通常露光時間分の電荷が蓄積されると、通常走査ラインＬ２が当該画素のラインの画素信号を読み出すと共に、その蓄積電荷をリセットするように選択される。また、蓄積電荷のリセットされた画素のラインは、通常走査ラインが他のラインを走査後に再び走査されたときに、丁度通常露光時間分の露光が行われているように走査タイミングが制御される。なお、全露光領域に対する画素のラインの走査は、各フレーム毎に全ライン（例えば、第１〜第１８ライン）をループしながら順次走査を行う。図７の例では、第１ライン（一番下のライン）から第１８ライン（一番上のライン）に向かって１ライン毎に順次走査を行い、走査が第１８ラインに到達すると１フレーム期間の走査が終了し、再び第１ラインから次フレームに対する同様の走査を行う。
【００５６】
一方、特定領域の画素のライン（例えば、第９〜第１２ライン）においては、通常走査ラインＬ２による蓄積電荷のリセット後に、通常露光時間分の電荷が蓄積される間に複数種類の露光時間の各露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインＬ１がそれぞれ選択される。これにより、通常走査ラインＬ２によって蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、高速走査ラインＬ１において複数種類の各露光時間の露光が行われた画素の画素信号の非破壊読み出しが露光時間の短い順に順次行われる。なお、特定（高輝度）領域に対する画素のラインの走査は、通常走査ラインの走査と同様に、特定領域の全ラインをループしながら順次走査を行う。但し、特定（高輝度）領域においては、通常露光時間の１フレームにおいて、複数種類の露光時間分だけループが繰り返されることになる。
【００５７】
なお、本実施の形態においては、図７に示すように、全露光領域に対する通常露光時間時の画素信号（アナログデータ）は、第２水平転送部６０のＣＨ２の第２ラインメモリＳに読み出され、一方、リセット直後の画素信号は、ＣＨ２の第２ラインメモリＮに読み出される。そして、これら読み出された画素信号は、図７に示すように、第２水平転送部６０の出力側に設けられた差動増幅回路６２に出力され、当該差動増幅回路６２において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第２のＡＦＥ１０４に出力されそこでデジタルデータ（画素データ）に変換される。一方、特定（高輝度）領域に対する複数種類の露光時間時の画素信号は、ＣＨ１の第１ラインメモリに読み出されて第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。
【００５８】
また、本実施の形態において、通常走査ラインＬ２の画素信号の読み出しと、高速走査ラインＬ１の画素信号の読み出しとがバッティングしたとき（例えば、双方が通常露光時間での読み出しを行うとき）には、例えば、水平同期信号によって設定される読み出し期間を２つの期間に分けて、一方の期間で通常走査ラインＬ２によりＣＨ２の第２ラインメモリに画素信号を読み出し、他方の期間で高速走査ラインＬ１によりＣＨ１の第１ラインメモリに画素信号を読み出すことで回避するようになっている。
【００５９】
更に、図８〜図１０に基づき、映像処理系１２の内部構成を説明する。ここで、図８は、映像処理系１２の内部構成を示すブロック図である。また、図９は、高輝度領域判定器１２ｄの内部構成を示す図である。また、図１０（ａ）は、高輝度領域画像生成器１２ｆの内部構成を示す図であり、（ｂ）は、画素データ判定・更新部７０の内部構成を示す図である。また、図１１は、特定（高輝度）領域の画素の蓄積電荷量（出力信号レベル）の増加の様子を示す図である。
【００６０】
映像処理系１２は、図８に示すように、センサ通信器１２ａと、タイミング制御器１２ｂと、全露光領域画像生成器１２ｃと、高輝度領域判定器１２ｄと、システム通信器１２ｅと、高輝度領域画像生成器１２ｆと、メモリアクセス調停器１２ｇと、出力読出器１２ｈとを含んで構成される。
センサ通信器１２ａは、撮像素子１００と映像処理系１２とが各種データの通信を行うための手段であり、システム通信器１２ｅを介して、外部システムコントローラ（不図示）から、センサセルアレイ５６の特定（高輝度）領域に対する開始ライン番号と走査領域幅の情報を受信し、当該受信した開始ライン番号と走査領域幅の情報を撮像素子１００の走査ラインスキャナ５４に送信する。
【００６１】
タイミング制御器１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号）を生成し、これを撮像素子１００の基準タイミング発生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、垂直同期信号から、撮像処理系１０のＣＨ２からそれぞれ出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号及び画素番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報を高輝度領域判定器１２ｄ及び全領域画像生成器１２ｃにそれぞれ出力する。また、タイミング制御器１２ｂは、水平同期信号、走査ラインスキャナ５４からの特定領域＿垂直同期信号から、撮像処理系１０のＣＨ１からそれぞれ出力される画素信号の、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、そのアドレス情報を生成し、当該アドレス情報を高輝度領域画像生成器１２ｆに出力する。
【００６２】
全露光領域画像生成器１２ｃは、撮像処理系１０の第２のＡＦＥ１０４から出力される全露光領域の通常露光時間で露光時の画素データを受信し、当該受信した画素データに対して、例えば黒レベル補正などを行い、当該補正処理後の画素データを高輝度領域判定器１２ｆ及びメモリアクセス調停器１２ｇにそれぞれ出力する。
高輝度領域判定器１２ｄは、全露光領域画像生成器１２ｃから出力される全露光領域の通常露光時間で露光時の画素データに基づき、画素の各ライン毎に高輝度判定処理を実行し、この判定結果をシステム通信器１２ｅを介して外部システムコントローラに送信する。
【００６３】
以下、図９に基づき、高輝度領域判定器１２ｄの内部構成及び詳細な動作を説明する。
高輝度領域判定器１２ｄは、図９に示すように、演算部８０と、判定結果メモリ８２と、読出し器８４とを含んで構成される。
演算部８０は、全露光領域画像生成器１２ｅからそれぞれ出力される全露光領域の画素データに基づき、各画素のライン毎に、各画素の画素データの示す輝度値と、所定の輝度閾値とを比較し、所定の輝度閾値以上の輝度値を有する画素データを高輝度画素データと判定し、この高輝度画素データの数が０個である画素のラインは高輝度部無しと判定して判定結果を「０」とし、高輝度画素データの数が５％以下の画素のラインは高輝度部やや有りと判定して判定結果を「１」とし、高輝度画素データの数が６％〜１９％の画素のラインは高輝度部有りと判定して判定結果を「２」とし、高輝度画素データの数が２０％以上の画素のラインは高輝度部大いに有りと判定して判定結果を「３」とする。そして、各画素のライン毎の判定結果を判定結果メモリ８２の各画素のラインに対応するアドレスのメモリ領域に格納する。
【００６４】
判定結果メモリ８２は、撮像素子１００の全露光領域の全画素のライン数分のアドレスに対応した格納領域を有し、その各々に上記判定結果を格納する。
読出し器８４は、判定結果メモリ８２に格納された判定結果を読み出し、当該読み出した判定結果をシステム通信器１２ｅを介して外部システムコントローラに送信する。
外部システムコントローラは、各ライン毎の判定結果から撮像素子１００の全露光領域における高輝度領域のライン位置及び範囲を判定し、この判定結果に基づき高輝度領域を決定し、当該決定した高輝度領域の開始ライン番号及び走査領域幅の情報をシステム通信器１２ｅを介して映像処理系１２に送信する。
【００６５】
システム通信器１２ｅは、外部システムコントローラと映像処理系（ＤＳＰ）１２とで各種データの送受信を行うための通信手段である。例えば、外部システムコントローラからの高輝度領域の開始ライン番号及び走査領域幅の情報等をシステム通信器１２ｅを介して受信する。
高輝度領域画像生成器１２ｆは、第１のＡＦＥ１０２を介して出力される高輝度領域の複数種類の露光時間で露光時の画素データの示す輝度値に基づき、当該輝度値が非飽和となる画素データを選択し、当該選択した画素データから高輝度領域の画像データを生成する。また、第１のＡＦＥ１０２を介して出力される最小露光時間で露光時の画素データ（リセット直後の画素データ）を、高輝度領域基準画像データとして、メモリアクセス調停部１２ｇを介してフレームメモリ１４に格納する。
【００６６】
以下、図１０及び図１１に基づき、高輝度領域画像生成器１２ｆの内部構成及び詳細な動作を説明する。
高輝度領域画像生成器１２ｆは、図１０（ａ）に示すように、画素データ判定・更新部７０と、画素信号生成部７２と、レベル補正部７４とを含んで構成される。
画素データ判定・更新部７０は、第１のＡＦＥ１０２を介して出力される高輝度領域の複数種類の露光時間で露光時の画素データが有効か無効かを判定し、有効と判定された画素データを更新処理に移行させ、無効と判定された画素データを更新させないようにするもので、図１０（ｂ）に示すように、画素データ判定部７０ａと、画素データ更新部７０ｂとを含んで構成される。
【００６７】
画素データ判定部７０ａは、高輝度領域の画素データの示す輝度値と、所定の輝度閾値とを比較し、当該比較結果に基づき当該画素データの示す輝度値が所定の輝度閾値（飽和値）より大きいか否かを判定する。そして、高輝度領域の画素データの示す輝度値が所定の輝度閾値より小さい場合は、当該画素データが非飽和である（有効）と判定し、当該画素データの示す輝度値が所定の輝度閾値以上の場合は、当該画素データが飽和している（無効）と判定する。
【００６８】
画素データ更新部７０ｂは、画素データ判定部７０ａの判定結果に応じて動作を変更するもので、当該画素データ判定部７０ａで「有効」と判定された画素データを更新データとして画素信号生成部７２に伝送し更新処理へと移行させるようにし、一方、「無効」と判定された画素データを画素信号生成部７２に伝送しないようにして（例えば、破棄して）更新処理へと移行させないようにする。そして、フレームメモリ１４に格納された同じ画素位置の画素データを高輝度領域の画素データとして確定する。
【００６９】
画素信号生成部７２は、画素データ更新部７０ｂから更新データとして送られてきた画素データと、フレームメモリ１４に格納された高輝度領域基準画像データの対応する画素データとの差分値を算出し、この差分値から構成される差分画素データをレベル補正部７４に伝送する。
レベル補正部７４は、複数種類の露光時間の各露光時間と、通常露光時間との比に応じて、画素信号生成部７２から受信した差分画素データの輝度レベルを補正する。そして、当該補正後の画素データをその画素データのアドレス及び書き込み命令と共にメモリアクセス調停器１２ｇに出力して、フレームメモリ１４に格納された高輝度領域画像データの前記アドレスに対応する画素データを更新する。これにより、通常露光時間以下において、ある露光時間以上では飽和してしまうような画素データを、これより短い露光時間において非飽和な画素データに置き換えることができる。
【００７０】
以下、図１１に基づき、高輝度領域の画素データの輝度レベルを補正する目的について説明する。
高輝度領域のある画素に着目すると、図１１に示すように、通常走査ラインＬ２によるリセット後に、時間の経過に応じて図示の増加量で電荷が蓄積される。高速走査ラインＬ１においては、通常露光時間の期間に複数回の電荷の読出しを非破壊で行う。非破壊のため、読み出すタイミングが露光時間を決める（以降、非破壊読み出しのタイミングと非破壊読出しにおける露光時間を同じ意味とする）。
【００７１】
さて、通常露光時間と、通常露光時間の１／１０の時間である短露光時間とにおける出力電荷（出力信号）を考える。短露光時間時の出力信号は、露光時間が通常露光時間の１／１０のために通常露光時間時の出力信号に対してＳ／Ｎは２０ｄＢ悪くなる。仮に短露光時間を通常露光時間の１／２にすると、短露光時間時の出力信号は、通常露光時間時の出力信号に対してＳ／Ｎは６ｄＢ悪くなる。つまり、Ｓ／Ｎの観点からは、通常露光時間と短露光時間との比は小さい方が良い。一方、ダイナミックレンジの観点からは、短露光時間において出力を飽和させないためにも、通常露光時間と短露光時間との比は大きい方が良い。
【００７２】
上記のような観点から、本実施の形態においては、高輝度領域の複数種類の露光時間に対する画素データと、高輝度領域の最小露光時間時（リセット直後）の画素データとの差分値から差分画素データを生成することで、複数種類の露光時間からなる画像を取得し（多段階露光）、ダイナミックレンジとＳ／Ｎとの双方が良好な画像を実現する。更に、差分処理により、各画素が有する固定パターンノイズが除去され、この固定パターンノイズの除去された画素データの輝度レベルを通常露光時間と短露光時間（複数種類の露光時間の各露光時間）との比率に応じて増加補正（増幅）する。つまり、図１１の例に示すように、センサセルアレイ５６の高輝度領域の各画素から（１）〜（３）のタイミングで３種類の露光時間時の画素データを取得したとする。ここで、（１）の露光時間と通常露光時間との比が１：４、（２）の露光時間と通常露光時間との比が１：２、（３）の露光時間と通常露光時間との比が３：４であるとする。この場合は、例えば、（１）のタイミングで取得した画素データから生成される差分画素データの輝度レベルを４倍、（２）のタイミングで取得した画素データから生成される差分画素データの輝度レベルを２倍、（３）のタイミングで取得した画素データから生成される差分画素データの輝度レベルを４／３倍する増加補正を行う。このように、ノイズ除去後の画素データの輝度レベルの補正を行うことで、露光時間の違いから発生するレベル差を補正することができ、高輝度領域の非飽和の画素データのＳ／Ｎを改善することが可能である。
【００７３】
なお、画素データ判定・更新部７０、画素信号生成部７２及びレベル補正部７４は、第１のＡＦＥ１０２から高輝度領域基準画像データに対応する画素データが入力されたときは、各部において何も処理を行わずにメモリアクセス調停器１２ｇにアドレス情報と共に出力する。また、高輝度領域からの基準画像データの取得及び格納処理は、電源投入後１回だけ行うなどすれば良く、毎フレーム毎に行う必要はない。
【００７４】
また、上記通常露光時間と短露光時間との比率に応じて輝度レベルの補正を行うために、例えば、複数種類の露光時間で読み出した画素データに対して、それぞれ露光時間の情報（あるいは、１フレームにおける何回目の読み出しかを示す情報）を付加する。例えば、１回目ならば最小露光時間時の画素データ、２回目なら上記（１）のタイミング、３回目なら上記（２）のタイミングといったように、この付加情報から通常露光時間と短露光時間との比率が解るようにする。
【００７５】
図８に戻って、メモリアクセス調停器１２ｇは、全露光領域画像生成器１２ｄ、高輝度領域画像生成器１２ｆ、及び出力読出器１２ｈからの画素データの書き込み・読み出し命令に基づき、フレームメモリ１４に格納された各画像データへアクセスする。つまり、３系統からのアクセス要求を調停し、フレームメモリ１４に対して、画素データの読み出し及び画素データの書き込みを行う。
【００７６】
出力読出器１２ｈは、外部の出力（表示）装置（不図示）からの同期信号（ピクセルクロック、水平同期信号、垂直同期信号）に同期して、フレームメモリ１４内の画像データを出力する。具体的には、まず、メモリアクセス調停器１２ｇに対して、高輝度領域画像データ及び全露光領域画像データの読み出し要求（アドレス情報含む）を行い、高輝度領域画像データ及び全露光領域画像データを取得する。そして、外部の出力装置に対して、当該出力装置からの同期信号に同期して、高輝度領域のときは高輝度領域画像データを出力し、それ以外の全露光領域のときは全露光領域画像データの対応する画素データを出力する。出力装置はこれらの出力データから撮像画像データを生成する。なお、この出力方法に限らず、出力読み出し器１２ｈにおいて、高輝度領域画像データと全露光領域画像データとを予め合成して撮像画像データを生成し、この撮像画像データを外部の出力装置に出力するようにしても良い。
【００７７】
次に、図１２及び図１３に基づき、本実施形態の撮像装置１の実際の動作を説明する。ここで、図１２は、撮像対象画像の一例を示す図である。また、図１３は、撮像画像に対する通常走査領域（全露光領域）及び高速走査領域（高輝度領域）を示す図である。
以下、図１２に示す、被写体である魚、当該魚以外の背景となる水草及び砂利等の入った水で満たされた水槽を撮像対象として撮像装置１の動作を説明する。
【００７８】
撮像装置１は、電源が投入されると、まず、図１２に示す撮像対象を、通常露光時間の露光により撮像したときの全露光領域の画素信号（アナログデータ）を読み出し、第２のＡＦＥ１０４を介して画素データ（デジタルデータ）に変換して、撮像処理系１２の全露光領域画像データ生成器１２ｃに出力する。ここで、通常露光時間は、例えば、不図示の露出時間制御装置（ＡＬＣ）などによって、図１２に示す撮像対象に対して、複数回の撮像の後に適切な露光時間へと調整された後の時間とする。
【００７９】
一方、全露光領域画像データ生成器１２ｃは、第２のＡＦＥ１０４からの全露光領域の画素データに対して黒レベル補正などを施し、補正後の画素データを、高輝度領域判定器１２ｄに出力すると共に、メモリアクセス調停器１２ｇに書き込み命令と共に出力する。
高輝度領域判定器１２ｄは、全露光領域画像データ生成器１２ｃからの全露光領域における通常露光時間で露光時の画素データを受信すると、各画素ライン毎に、各画素の画素データの示す輝度値と、所定の輝度閾値とを比較し、この比較結果に基づき、上記の判定結果「０」〜「３」を決定する。そして、この判定結果を、順次判定結果メモリ８２に格納する。全露光領域分の判定結果が格納されると、この格納された判定結果を読出し器８４で読み出し、システム通信器１２ｅを介して外部システムコントローラに送信する。
【００８０】
外部システムコントローラでは、上記判定結果に基づき、例えば、判定結果「２」以上の画素のラインが集中する領域を高輝度領域として決定し、この領域の開始ライン番号及び走査領域幅の情報を、システム通信器１２ｅを介して映像処理系１２に送信する。これにより、図１３に示すように、図１２に示す撮像対象に対して、高速走査領域（高輝度領域）が決定する。
【００８１】
ここでは、露光領域が６４０画素×４８０画素のサイズとし、外部システムコントローラにおいて、ライン番号１００〜３００の画素のラインの領域が高輝度領域として決定されたとする。従って、高輝度領域の開始ライン番号は「１００」、走査領域幅は「２００」となる。
システム通信器１２ｅは、外部システムコントローラから受信した高輝度領域の開始ライン番号「１００」及び走査領域幅「２００」の情報をセンサ通信器１２ａを介して撮像素子１００に送信する。
【００８２】
撮像素子１００では、高輝度領域の開始ライン番号及び走査領域幅を受信すると、タイミング制御器１２ｂからの駆動信号（ピクセルクロック、水平同期信号、垂直同期信号）に基づき、走査ラインスキャナ５４において、垂直同期信号及び水平同期信号に同期して全露光領域に対するリセットライン選択信号と、全露光領域に対する読み出しライン選択信号とを生成する。一方、特定（高輝度）領域走査カウンタ５４ｃは、水平同期信号及び開始ライン番号とに基づき、全露光領域走査カウンタ５４ａのカウント値を監視し、当該カウント値が「開始ライン番号−１」となったときに、特定領域＿垂直同期信号０１をアクティブにすると共に、開始ライン番号をロードする。つまり、特定（高輝度）領域走査カウンタ５４ｃは、特定領域＿垂直同期信号０１に同期して開始ライン番号「１００」をロードしカウントアップ動作を開始する。そして、特定（高輝度）領域走査カウンタ５４ｃのカウント値が「３００」となったときに、特定領域＿垂直同期信号をアクティブにすると共に、カウント値を「１００」に戻す。
【００８３】
ここでは、１フレーム（通常露光時間）の露光期間中に、図１１に示す（０）のタイミングで最小露光時間時の高輝度領域の画素信号を読み出し、図１１に示す（１）〜（３）のタイミングで高輝度領域から３種類の露光時間で露光時の画素信号をそれぞれ読み出すとする。この場合、特定（高輝度）領域走査カウンタ５４ｃは、１フレームの期間中において、高輝度領域のライン番号「１００」の画素のラインの蓄積電荷がリセットされた直後に、開始ライン番号「１００」から「３００」までのカウントアップ動作を行い、図１１に示す（０）のタイミングで各ラインの画素信号を読み出すように読み出しライン選択信号を順次生成し、駆動パルス発生器５２に出力する。そして、カウント値が「３００」になると、特定領域＿垂直同期信号をアクティブにすると共に、カウント値を「１００」に戻して、次は、図１１に示す（１）のタイミングで各ラインの画素信号を読み出すように読み出しライン選択信号を順次生成し、駆動パルス発生器５２に出力する。ここで、図１１に示す（０）のタイミングでの画素信号が得られれば、図１１に示す（１）〜（３）のタイミングでの画素信号の読み出しは、（１）〜（３）の各タイミングに合わせて行う必要があるため、特定（高輝度）領域走査カウンタ５４ｃのカウントアップ動作を各タイミングに合わせて制御する。
【００８４】
このようにして、図１１に示す（０）〜（３）の各タイミングに合わせて順次生成された読み出しライン選択信号は、駆動パルス生成器５２に順次出力され、駆動パルス発生器５２は、基準タイミング発生器からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に順次供給する。
【００８５】
センサセルアレイ５６は、駆動パル発生器５２からの駆動パルスに基づき、通常走査ラインＬ２及び高速走査ラインＬ１を走査して、全露光領域の各画素のラインから通常露光時間の露光により蓄積した電荷の破壊読み出し及び蓄積電荷のリセットを行い、一方、この破壊読み出し動作とは独立に、通常露光時間の露光期間において、高輝度領域の各画素のラインから複数種類の露光時間で露光時（図１１に示す（０）〜（３）のタイミング）の蓄積電荷の非破壊読み出しを行う。そして、高速走査ラインＬ１の走査によって読み出した電荷から構成される画素信号を第１水平転送部５８のＣＨ１を介して第１のＡＦＥ１０２に出力し、通常走査ラインＬ２の走査によって読み出した電荷から構成される画素信号を第２水平転送部６０のＣＨ２を介して第２のＡＦＥ１０４に出力する。
【００８６】
第１のＡＦＥ１０２は、ＣＨ１を介して順次出力される複数種類の露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成しこれを映像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力される通常露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる画素データを生成しこれを映像処理系１２に出力する。
【００８７】
映像処理系１２では、第１のＡＦＥ１０２から出力された高輝度領域の画素データを高輝度領域画像生成器１２ｆに入力し、第２のＡＦＥ１０４から出力された全露光領域の画素データを全露光領域画像生成器１２ｃに入力する。
高輝度領域画像生成器１２ｆは、画素データ判定部７０ａにおいて、高輝度領域の画素データの示す輝度値と、所定の輝度閾値とを比較し、当該比較結果に基づき当該画素データの示す輝度値が所定の輝度閾値（飽和値）より大きいか否かを判定する。そして、高輝度領域の画素データの示す輝度値が所定の輝度閾値より小さい場合は、当該画素データが非飽和である（有効）と判定し、当該画素データの示す輝度値が所定の輝度閾値以上の場合は、当該画素データが飽和している（無効）と判定する。画素データの有効／無効の判定結果は画素データ更新部７０ｂに出力する。画素データ更新部７０ｂは、画素データ判定部７０ａから入力された判定結果に基づき、「有効」と判定された画素データを更新データとして画素信号生成部７２に伝送し、「無効」と判定された画素データを破棄する。
【００８８】
画素信号生成部７２は、画素データ更新部７０ｂから更新データが送られてくると、この更新データと、フレームメモリ１４に格納された、当該更新データと同じ画素位置（アドレス）の高輝度領域基準画像データを構成する画素データとの差分値を算出し、この差分値から構成される差分画素データをレベル補正部７４に伝送する。前述したように、高輝度領域基準画像データを構成する高輝度領域基準画素データは、リセット直後に読み出された画素信号から生成されているので、その信号出力はほとんどがノイズ成分（固定パターンノイズ）で構成される。従って、この高輝度領域基準画素データを、他の露光時間時に読み出した画素信号から生成される高輝度領域画素データから減算することで、ノイズ成分を除去することができる。
【００８９】
一方、レベル補正部７４は、画素信号生成部７２から差分画素データが入力されると、この差分画素データに付加された露光時間の情報に基づき、この露光時間と、通常露光時間との比に応じて、差分画素データの輝度レベルを補正する。例えば、図１１に示す（１）のタイミングであれば、差分画素データの輝度レベルを４倍にする増加補正を行う。そして、当該補正後の画素データをその画素データのアドレス及び書き込み命令と共にメモリアクセス調停器１２ｇに出力する。
【００９０】
メモリアクセス調停器１２ｇは、レベル補正部７４から書き込み命令を受信すると、上記補正後の高輝度領域画素データを、フレームメモリ１４に格納された当該補正後の高輝度領域画素データのアドレスと同じアドレスの高輝度領域画素データに上書きする。この更新処理は、１フレーム（通常露光時間）の期間において、図１１に示す（１）〜（３）の露光時間に対して順次行われる。従って、画素データが非飽和（有効）であれば、同じ画素位置に対して露光時間の長いもの（出力レベルの高いもの）の方がそのフレームの最終的な更新データとなる。
【００９１】
上記全露光領域画像データの生成処理、上記高輝度領域画像データの生成（更新）処理を繰り返し行うことによって、フレームメモリ１４において、各フレームの全露光領域画像データ及び高輝度領域画像データが構成（生成）される。
出力読出器１２ｈは、このようにして、フレームメモリ１４内に構成された全露光領域画像データ及び高輝度領域画像データを、外部の出力（表示）装置からの出力タイミングに同期して、メモリアクセス調停器１２ｇを介して読み出し、この読み出した画像データを出力装置に出力する。具体的には、出力装置からのピクセルクロック、水平同期信号及び素直同期信号に基づき、読み出す画素データのアドレス番号を計数し、そのアドレス番号に応じた画素データを出力する。また、不図示の外部システムコントローラからの読み出し要求が高輝度領域画像データであれば、フレームメモリ１４内の高輝度領域画像データを、画素のライン毎に順次読み出して出力装置に出力し、外部からの読み出し要求が全露光領域画像データであれば、フレームメモリ１４内の全露光領域画像データを画素のライン毎に順次読み出して出力装置に出力する。
【００９２】
不図示の外部システムコントローラは、通常走査（通常露光時間の露光）で得られた画素データから構成される全露光領域画像データと、高速走査（複数種類の露光時間の露光）で得られた画素データから構成される高輝度領域画像データとを合成し、広ダイナミックレンジ撮像画像データを生成する。
このように、本実施の形態の撮像装置１では、１つの撮像素子において、撮像対象の全露光領域画像を通常露光時間（例えば、ＡＬＣによって算出された適切な露光時間）の露光で破壊読み出し方式により取得し、一方、この通常露光時間の露光期間において、撮像対象の高輝度領域（例えば、被写体の存在する領域）の画像を複数種類の露光時間の露光で非破壊読み出し方式によりそれぞれ取得する。そして、これら取得した全露光領域画像（高Ｓ／Ｎ）及び複数の高輝度領域画像を合成することで、Ｓ／Ｎが良く、広ダイナミックレンジの画像を生成することができる。すなわち、高輝度領域の画像部分は通常露光時間よりも短い露光時間（複数）で取得した画像により構成し、それ以外の画像部分は、通常露光時間で取得した画像により構成する。
【００９３】
また、高輝度領域画像データの生成においては、高輝度領域の複数種類の露光時間で撮像された撮像画素データに対して、飽和／非飽和の判定を行い、これらのうち非飽和の画素データのみを用いて高輝度領域の画像データを更新するようにしたので、Ｓ／Ｎが良く、広ダイナミックレンジの画像を生成することができる。これにより、コントラストの高い明瞭な画像を得ることが可能である。
【００９４】
また、高輝度領域の複数種類の露光時間で撮像された撮像画素データに対して、当該撮像画素データと、高輝度領域のリセット直後（最小露光時間で露光時）に読み出した画素信号より構成される画素データとの差分値からなる差分画素データを生成し、この差分画素データにより、高輝度領域の画像データを更新するようにしたので、撮像画素データから固定パターンノイズを除去することが可能である。これにより、前記固定パターンノイズが要因で発生する高輝度領域画像の画質劣化を低減することが可能である。
【００９５】
また、高輝度領域の差分画素データの輝度レベルを、これら各差分画素データの露光時間と、通常露光時間との比率に応じて増加補正するようにしたので、露光時間の違いによる輝度レベル差が要因の画質劣化を低減することが可能である。
上記実施の形態において、センサセルアレイ５６は、形態１又は２の光電変換部に対応し、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第２水平転送部６０によるセンサセルアレイ５６の全露光領域からの電荷の読み出し処理は、形態１、２、３、４、５、８及び９のいずれか１の第１読出手段に対応し、撮像処理系１０の領域別走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、第１水平転送部５８によるセンサセルアレイ５６の特定（高輝度）領域からの電荷の読み出し処理は、形態１、２、５、７、８及び９のいずれか１の第２読出手段に対応し、撮像処理系１０の走査ラインスキャナ５４における特定領域＿垂直同期信号の生成処理は、形態５又は８の基準信号生成手段に対応する。
【００９６】
また、上記実施の形態において、映像処理系１２における、全露光領域画像生成器１２ｃ、高輝度領域判定機１２ｄ、システムコントローラ１２ｅ及び外部システムコントローラによる高輝度領域の決定処理は、形態１、３及び４のいずれか１の特定領域範囲決定手段に対応し、タイミング制御器１２ｂ、高輝度領域画像生成器１２ｆ、メモリアクセス調停器１２ｇ及びフレームメモリ１４による高輝度領域画像データの生成処理（更新処理）は、形態２、６及び７のいずれか１の特定領域画像データ生成手段に対応し、高輝度領域画像生成器１２ｆにおける差分画素データの生成処理は、形態７の差分画素データ生成手段に対応し、高輝度領域画像生成器１２ｆにおける差分画素データの輝度レベルの増加補正処理は、形態９の輝度レベル補正手段に対応し、出力読出器１２ｇは、形態１又は２の撮像画像データ出力手段に対応する。
【００９７】
なお、上記実施の形態においては、出力読出器１２ｈにおいて、画像データの読み出しタイミングから、読み出す画素データのアドレス番号を計数し、高輝度領域画素データのアドレス番号であればフレームメモリ１４に記憶された高輝度領域画像データから該当アドレス番号の画素データを読み出してこれを出力装置に出力し、高輝度領域画像データ以外のアドレス番号であればフレームメモリ１４に記憶された全露光領域画像データから該当アドレス番号の画素データを読み出してこれを出力装置に出力して、２つの領域の画像データをそれぞれ別々に読み出して出力装置側で合成するようにしたが、これに限らず、予め映像処理系１２において、全露光領域画像データと高輝度領域画像データとを合成してから出力装置に出力するようにしても良い。
【００９８】
また、上記実施の形態においては、高輝度領域の決定処理を、電源投入後に１回だけ
行う例を説明したが、これに限らず、例えば、電源投入後に加え、各フレームの撮像処理毎に高輝度領域の判定処理を実行し、この判定結果に基づき高輝度領域の位置を常に監視し、高輝度領域の位置や範囲などが大きく変化したような場合に高輝度領域の再決定を行うようにしても良い。このようにすることで、高輝度領域の位置や範囲などが大きく変化したときに、これらに応じて高輝度領域の範囲を適切な範囲に変更することができる。
【００９９】
また、上記実施の形態においては、高輝度領域の決定処理を、外部システムコントローラを介して行うようにしたが、これに限らず、高輝度領域の決定処理を撮像装置１の内部で行う構成としても良い。
【図面の簡単な説明】
【０１００】
【図１】本発明に係る撮像装置１の概略構成を示すブロック図である。
【図２】撮像処理系１０の内部構成を示すブロック図である。
【図３】ＡＦＥ(Analog Front End)１０２の内部構成を示す図である。
【図４】領域別走査対応型撮像素子１００の内部構成を示すブロック図である。
【図５】走査ラインスキャナ５４の内部構成を示す図である。
【図６】全露光領域走査カウンタ５４ａ及び特定（高輝度）領域走査カウンタ５４ｃの動作を示す図である。
【図７】撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
【図８】映像処理系１２の内部構成を示すブロック図である。
【図９】高輝度領域判定器１２ｄの内部構成を示す図である。
【図１０】（ａ）は、高輝度領域画像生成器１２ｆの内部構成を示す図であり、（ｂ）は、画素データ判定・更新部７０の内部構成を示す図である。
【図１１】特定（高輝度）領域の画素の蓄積電荷量（出力信号レベル）の増加の様子を示す図である。撮像対象画像の一例を示す図である。
【図１２】撮像対象画像の一例を示す図である。
【図１３】撮像画像に対する通常走査領域（全露光領域）及び高速走査領域（高輝度領域）を示す図である。
【符号の説明】
【０１０１】
１は撮像装置、１０は撮像処理系、１２は映像処理系（ＤＳＰ）、１４はフレームメモリ、１００は領域別走査対応型撮像素子、１０２は第１のＡＦＥ、１０４は第２のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は第１水平転送部、６０は第２水平転送部、５４ａは全露光領域走査カウンタ、５４ｂは全露光領域走査アドレスデコーダ、５４ｃは特定（高輝度）領域走査カウンタ、５４ｄは特定（高輝度）領域走査アドレスデコーダ、５４ｅはＯＲロジック、１２ａはセンサ通信器、１２ｂはタイミング制御器、１２ｃは全露光領域画像生成器、１２ｄは高輝度領域判定器、１２ｅはシステム通信器、１２ｆは高輝度領域画像生成器、１２ｇはメモリアクセス調停器、１２ｈは出力読出器
【図１】
2007194687.tif 000003
【図２】
2007194687.tif 000004
【図３】
2007194687.tif 000005
【図４】
2007194687.tif 000006
【図５】
2007194687.tif 000007
【図６】
2007194687.tif 000008
【図７】
2007194687.tif 000009
【図８】
2007194687.tif 000010
【図９】
2007194687.tif 000011
【図１０】
2007194687.tif 000012
【図１１】
2007194687.tif 000013
【図１２】
2007194687.tif 000014
【図１３】
2007194687.tif 000015