(57)【要約】【課題】撮影シーンに応じて効率的に高ダイナミックレンジ化を図ること。【解決手段】モード選択部２４は、飽和判定部２２が判定した画像の飽和状態と、移動量算出部２３が算出した移動量に基づいて、通常撮影モード、多重露光モード、多重相関モード、多重露光＋多重相関モードの何れかのモードを選択する。制御部２はモード選択部２４が選択した撮影モードに従って固体撮像装置５に撮影を行わせる。【選択図】図１
2013121093.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ／デジタル変換する、又は予め定められた通常のアナログ／デジタル変換を行って画像信号を出力する変換手段と、
前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、
前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ／デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、
前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を１つの画像に合成する合成手段と、
前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、
を備えた撮像装置。
【請求項２】
前記モード選択手段は、前記判定手段によりダイナミックレンジを拡張する必要がないと判定された場合、予め定められた通常の撮影を行う通常モードを選択する請求項１に記載の撮像装置。
【請求項３】
被写体の明るさに応じて基準露光時間を設定する露光時間設定手段と、
前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、
を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものである請求項１又は２に記載の撮像装置。
【請求項４】
前記移動量が予め定められた量以下であるときに前記判定手段が明側にのみ拡張する必要があると判定した場合、前記モード選択手段は前記多重露光モードを選択する請求項３に記載の撮像装置。
【請求項５】
前記移動量が予め定められた量以下であるときに前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記撮像素子のフレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記多重相関モードを選択する請求項３又は４に記載の撮像装置。
【請求項６】
前記移動量が予め定められた量以下であるときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記組み合わせモードを選択する請求項３〜５の何れか一項に記載の撮像装置。
【請求項７】
前記移動量が予め定められた量より大きいときに前記判定手段が明側又は暗側の何れかに拡張する必要があると判定した場合、前記モード選択手段は前記多重相関モードを選択する請求項３〜６の何れか一項に記載の撮像装置。
【請求項８】
前記移動量が予め定められた量より大きいときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより小さい閾値より十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記閾値と近似している場合、前記モード選択手段は前記組み合わせモードを選択する請求項３〜７の何れか一項に記載の撮像装置。
【請求項９】
前記判定手段は、前記基準露光時間で撮影されたときの画像信号に含まれる画素値において、予め定められた最大値以上の画素値が予め定められた数以上あるときは明側にダイナミックレンジを拡張する必要があると判定し、予め定められた最小値以下の画素値が予め定められた数以上あるときは暗側にダイナミックレンジを拡張する必要があると判定するものである請求項１〜８の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラムＡＤＣ回路を備えた撮像装置における高ダイナミックレンジ化に関するものである。
【背景技術】
【０００２】
複数の画素がマトリクス状に配列された画素部と、画素部の各列に対応して設けられ、各画素が出力した画素信号を読み出してデジタルの画像信号を出力するカラムＡＤＣ（Analog to Digital Converter）を備えるＣＭＯＳイメージセンサが知られている。このＣＭＯＳイメージセンサを用いた撮像装置においては、近年の高画質化の要請に伴い、イメージセンサが取得した画像信号の輝度範囲、即ちダイナミックレンジの拡張が１つの大きなテーマとなっている。
【０００３】
また、折り返し積分技術（Folding Integration Technique）を用いた列並列ＣＭＳ（Correlated Multiple Sampling：相関多重サンプリング）回路をカラムＡＤＣに用いることによって、ダイナミックレンジを拡張する方法が知られている。言い換えると、画素が出力したリセット信号とシグナル信号を、折り返し積分技術を用いてそれぞれ複数回サンプリングして積分し、その差分を画像信号とすることによって、画像信号のＳＮ比を良くする（ダイナミックレンジを広げる）方法である。
【０００４】
そして、特許文献１には、異なる複数の露光時間で撮影した画像を合成する多重露光を採用することでダイナミックレンジを拡張する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３６３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
相関多重サンプリングを実施することで、低い出力レベルの画像信号から高ＳＮ比の信号が得られ、低輝度性能を向上させることでダイナミックレンジの拡大が実現できる。しかし、相関多重サンプリングの場合は低輝度性能を向上させるだけで、高輝度性能を高める高ダイナミックレンジ化はできない。
【０００７】
また、多重露光の場合は、フレーム時間内を分割するため、最大露光時間が短くなり、低輝度感度が悪化してしまう。露光時間を短くしない多重露光も非破壊読み出しを実現することで可能であるが、この動作を行うことでＳＮ比の低下や画素構造の複雑さを招いてしまう。
【０００８】
本発明の目的は、撮影シーンに応じて相関多重サンプリングまたは多重露光を行うことで効率的に高ダイナミックレンジ化を図る撮像装置を提供することである。
【課題を解決するための手段】
【０００９】
本発明による撮像装置は、撮像素子と、前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ／デジタル変換する、又は予め定められた通常のアナログ／デジタル変換を行って画像信号を出力する変換手段と、前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ／デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を１つの画像に合成する合成手段と、前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、を備える。
【００１０】
また、上記構成において、前記モード選択手段は、前記判定手段によりダイナミックレンジを拡張する必要がないと判定された場合、予め定められた通常の撮影を行う通常モードを選択することとしてもよい。
【００１１】
これらの構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。
【００１２】
また、上記構成において、被写体の明るさに応じて基準露光時間を設定する露光時間設定手段と、前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものであることが望ましい。
【００１３】
この構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、モード選択手段が判定結果に基づいて多重相関モード、多重露光モード、組み合わせモード、通常モードの何れかを選択すると共に、制御手段は被写体の移動量に合わせて撮影シーケンスを切り替えて撮影を行うため、撮影シーンに合わせた高ダイナミックレンジ化を図ることができる。
【００１４】
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側にのみ拡張する必要があると判定した場合、前記モード選択手段は前記多重露光モードを選択することが望ましい。
【００１５】
露光時間を短くすると、ダイナミックレンジが明側にシフトする。そこで、画像が明側のみに飽和している場合、多重露光モードとすることによって、通常撮影時に比べて明側のダイナミックレンジを拡張させることができる。ここで、多重露光とは、１フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を１つの画像に合成する撮影方法のことである。つまり、合成画像に基準露光時間より短い露光時間で撮影した画像が含まれるため、これらの画像を合成することで、合成後の画像のダイナミックレンジを明側に拡張することができる。
【００１６】
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記撮像素子のフレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。
【００１７】
画像が暗側のみに飽和しており、基準露光時間がフレームレートより十分小さい場合、多重露光モードとし、その際に多重露光に用いる最大露光時間を基準露光時間の所定倍数にする等、基準露光時間より長い露光時間を含んだ多重露光を行うことで暗側のダイナミックレンジを拡張させることができる。
【００１８】
一方、画像が暗側のみに飽和しており、基準露光時間がフレームレートと近似している場合、フレームレートが多重露光の最大露光時間の上限となるため、多重露光によるダイナミックレンジ拡張は期待できない。従って多重相関モードを用いることで、暗側のダイナミックレンジを拡張することができる。
【００１９】
また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。
【００２０】
明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートより十分小さい場合、基準露光時間を挟んだ最小露光時間及び最大露光時間を用いた多重露光モードとすることで、多重相関モードの実行によって発生する消費電流の増加、チップ温度の上昇による暗電流の増加等の問題を避けつつ、明側及び暗側のダイナミックレンジを拡張することができる。
【００２１】
明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートと近似している場合、多重露光だけではダイナミックレンジ拡張は期待できないため、組み合わせモードを用いることで暗側及び明側のダイナミックレンジを拡張することができる。
【００２２】
また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側又は暗側の何れかに拡張する必要があると判定した場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。
【００２３】
被写体の動きが速いとき（移動量が予め定められた量より大きいとき）に多重露光を行うと、多重露光している間に被写体が動いてしまうため、合成画像が乱れてしまう。従って、被写体の動きが速い時は多重相関モードによるダイナミックレンジ拡張が適している。
【００２４】
画像が明側にのみ飽和しているときは多重相関モードとし、このときの露光時間を基準露光時間より短くすることで、明側のダイナミックレンジを拡張することができる。画像が暗側にのみ飽和しているときも多重相関モードとし、基準露光時間にて撮影後に相関多重サンプリング処理を行うことで、通常撮影時に比べて暗側のダイナミックレンジを拡張することができる。
【００２５】
また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより小さい閾値より十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記閾値と近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。
【００２６】
明側及び暗側の両方に飽和しており、基準露光時間がフレームレートより小さい閾値より十分小さい場合、多重露光モードとし、その際に基準露光時間を挟んだ複数の露光時間で多重露光を行うことで明側及び暗側の両方のダイナミックレンジを拡張させることができる。
【００２７】
また、明側及び暗側の両方に飽和しており、基準露光時間が閾値と近似している場合、多重露光によるダイナミックレンジ拡張が期待できない。従って、組み合わせモードを用いる。ここで、フレームレートより小さい閾値とは、多重露光の際に用いられる最大露光時間をいう。一般的に、被写体の動きが速いときの最大露光時間はフレームレートの半分の値を用いる。
【００２８】
多重相関モードは複数回サンプリングを行うため、消費電力の増加、チップ温度が上昇して暗電流の増加し、その結果ノイズが増加してしまう。この問題を避けるため、モード選択手段は、被写体の動きが遅いときは多重露光モードを優先的に選択する。一方、被写体の動きが速いときは多重露光による画質悪化を避けるため、多重露光モードを優先的に選択する。
【００２９】
また、上記構成において、前記判定手段は、前記基準露光時間で撮影されたときの画像信号に含まれる画素値において、予め定められた最大値以上の画素値が予め定められた数以上あるときは明側にダイナミックレンジを拡張する必要があると判定し、予め定められた最小値以下の画素値が予め定められた数以上あるときは暗側にダイナミックレンジを拡張する必要があると判定するものであることが望ましい。
【００３０】
この構成によれば、画素値を用いることで判定手段はダイナミックレンジ拡張の必要性を簡単に判断することができる。
【発明の効果】
【００３１】
本発明によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。
【図面の簡単な説明】
【００３２】
【図１】撮像装置の構成を示したブロック図。
【図２】画素アレイ部を構成する画素ＧＣの一例を示した回路図。
【図３】画素ＧＣの動作を示すタイミングチャート。
【図４】折り返し積分技術を用いたＣＭＳ回路の回路図。
【図５】折り返し積分技術を用いたＣＭＳ回路の動作を示すタイミングチャート。
【図６】カラムＡＤＣの等価回路。
【図７】通常撮影、多重露光、多重相関、多重露光と多重相関を組み合わせた場合に得られるダイナミックレンジについて示した図。
【図８】撮影処理の流れを示したフローチャート。
【図９】被写体の動きが遅いときにメインルーチンから分岐して実行される第１ルーチンを示したフローチャート。
【図１０】図９の続きのフローチャート。
【図１１】被写体の動きが速いときにメインルーチンから分岐して実行される第２ルーチンを示したフローチャート。
【図１２】図１１の続きのフローチャート。
【発明を実施するための形態】
【００３３】
以下、本発明における撮像装置の実施の形態を説明する。図１は、撮像装置１の構成を示したブロック図である。撮像装置１は、制御部２と固体撮像装置５を備える。
【００３４】
固体撮像装置５には外部からＳＹＳＣＬＫ（例えば、５４ＭＨｚのクロック信号）が入力される。ＰＬＬ（Phase Locked Loop）回路５５はこのＳＹＳＣＬＫを取り込み、逓倍したクロック信号を出力する。タイミングジェネレータ（ＴＧ）５６はＰＬＬ回路５５にて逓倍されたクロック信号を取り込み、固体撮像装置５の構成要素の動作に必要なタイミング信号を生成する。またＴＧ５６は、タイミング信号を制御するレジスタを内部に有し、そのレジスタは外部から入力されるレジスタ制御信号によって読み書き可能となっている。
【００３５】
ローデコーダ５２は、垂直方向の走査回路と画素アレイ部（撮像素子）５１を駆動するドライバ回路から構成されており、画素制御信号を生成して画素アレイ部５１に出力する。画素アレイ部５１は画素ＧＣがマトリクス状に配置されており、画素ＧＣ内のＦＥＴがローデコーダ５２によって行毎に駆動され、その出力線は列方向に共通に接続され、カラムＡＤＣアレイ部５３に接続されている。
【００３６】
カラムＡＤＣアレイ部（変換手段）５３は、各列に折り返し積分技術を用いたＣＭＳ回路３１が形成され、画素アレイ部５１からの画素信号を相関多重サンプリング処理を用いてデジタル信号に変換する。カラムデコーダ５４は水平方向の走査回路であり、ＴＧ５６から出力されるタイミング信号に従ってＣＭＳ回路３１を順次選択する。
【００３７】
カラムデコーダ５４によって選択されたＣＭＳ回路３１は、変換後のデジタル信号を画像信号として全列共通の水平信号線に出力する。センスアンプ５８は、水平信号線に出力された各列の画像信号を増幅して出力する。シリアライザ６０は、センスアンプ５８が出力したパラレルの画像信号をシリアライズし、ＬＶＤＳ信号の規格に乗せて外部に出力する。以上の構成要素は１チップに集積化されており、固体撮像素子５を構成している。
【００３８】
制御部（制御手段）２は、ＣＰＵ（Central Processing Unit：中央処理装置）等によって構成され、固体撮像装置５へのレジスタ制御信号の出力、データ転送等を行って撮像装置１全体を制御するものである。制御部２は、ＡＥ（Auto Exposure；露光時間設定手段）部２１、飽和判定部（判定手段）２２、移動量算出部（移動量算出手段）２３、モード選択部（モード選択手段）２４及び画像合成部（合成手段）２５を有する。これらの構成要素の詳細には、後ほど説明する。
【００３９】
図２は、画素アレイ部５１を構成する画素ＧＣの一例を示した回路図である。１画素は光電変換素子（ＰＤ）、転送トランジスタ（ＴＸ）、リセットトランジスタ（ＲＳＴ）、増幅トランジスタ（ＳＦ）及び行選択トランジスタ（ＳＥＬ）を備える。ＦＤ（Floating Diffusion）は浮遊拡散層であり、ＰＤが蓄積した電荷を電圧に変換する部分である。ＦＤによって電圧に変換されたＰＤ電荷は、ＳＦとＳＥＬを介して垂直信号線Ｌ＿１に出力する。
【００４０】
図３は、画素ＧＣの動作を示すタイミングチャートである。時刻ｔ０は、前フレームの露光期間の終了を示している。また、露光期間中はφＲＳＴをハイレベルにして、ＦＤを常時ＰＶＤＤでリセットし、ＰＤから溢れ出る電荷を排出している。
【００４１】
時刻ｔ１において、φＲＳＴをローレベル、φＶＳＥＮをハイレベル、φＴＸをローレベルにすることで、ＦＤのリセットレベルがＳＦ及びＳＥＬを介してＣＭＳ回路３１へ画素リセット信号として出力される。
【００４２】
時刻ｔ２において、φＲＳＴ及びφＶＳＥＮをローレベル、φＴＸをハイレベルにすることで、ＰＤに蓄積された電荷がＦＤへ転送される。そして時刻ｔ３において、φＲＳＴ及びφＴＸをローレベル、φＶＳＥＮをハイレベルにすることで、ＦＤに転送された信号レベルがＳＦ及びＳＥＬを介してＣＭＳ回路３１へ画素シグナル信号として出力される。ＣＭＳ回路３１では、時刻ｔ１で出力された画素リセット信号（ノイズ）と時刻ｔ２で出力された画素シグナル信号（ノイズ＋シグナル）の差分を取って画像信号を得ている。
【００４３】
図４は、折り返し積分技術を用いたＣＭＳ回路３１の回路図であり、図５はそのタイミングチャートである。図４と図５を用いてＣＭＳ回路３１の回路動作について説明する。
【００４４】
まず、画素ＧＣのＲＳＴをオンにしてＦＤをリセットすると共に、φＲをオンにして積分器９１をリセットする。次に、ＲＳＴをオフにし、ＳＥＬをオンにすることでＶＦＤの電圧レベルが画素リセット信号としてＣＭＳ回路３１に出力される。続けてφ１をオンにしてコンデンサＣ１に画素リセット信号を取り込み、φ２をオンにしてコンデンサＣ１とコンデンサＣ２とを接続してコンデンサＣ１が取り込んだ画素リセット信号をコンデンサＣ２に転送する。
【００４５】
この時、積分器９１の出力ＶＳＣが変化するが、積分器９１の出力に比較器９２を接続することで、閾値ＶＴとＶＳＣが常に比較される構成とする。ＶＳＣがＶＴより大きい場合、ＶＳＣの出力飽和を防ぐために、比較器９２の後段に接続されたＬＯＧＩＣ９３がφＤ１をオンにする。これにより、コンデンサＣ１の参照電圧がＶＲＥＦＨに切り替えられる。つまり、積分器９１の入力が大きく引き下げられ、コンデンサＣ１からコンデンサＣ２に信号転送が行われてもＶＳＣのプラス側への飽和を防ぐことができる。
【００４６】
一方、ＶＳＣがＶＴより小さい場合、比較器９２の後段に接続されたＬＯＧＩＣ９３がφＤ２をオンにする。これにより、コンデンサＣ１の参照電圧がＶＲＥＦＬに切り替えられる。つまり、積分器９１の入力が大きく引き上げられ、コンデンサＣ１からコンデンサＣ２に信号転送が行われてもＶＳＣのマイナス側への飽和を防ぐことができる。
【００４７】
このように、画素リセット信号をコンデンサＣ１にＭ回（Ｍは２以上の整数）サンプリングし、コンデンサＣ１からコンデンサＣ２に電荷転送することによって積分していく。この間、積分器９１の出力を比較器９２に接続し、ＶＳＣとＶＴの比較結果に応じてＬＯＧＩＣ９３がコンデンサＣ１の参照電圧をＶＲＥＦＬ又はＶＲＥＦＨに切り替えることにより、ＶＳＣの出力飽和を抑制している。
【００４８】
次に、ＴＸをオンにして、ＰＤからＦＤへ電荷転送を行う。その後、ＳＥＬをオンにすることでＦＤの電圧レベルが画素シグナル信号として出力され、画素リセット信号の読み出しと同じように、コンデンサＣ１からコンデンサＣ２に電荷転送される。比較器９１はＶＳＣとＶＴを比較してＬＯＧＩＣ９３がコンデンサＣ１の参照電圧をＶＲＥＦＬ又はＶＲＥＦＨに切り替える。画素シグナル信号のサンプリングはＭ回行われる。
【００４９】
ＣＭＳ回路３１に入力する信号が大きければ大きいほど、ＶＳＣの出力飽和を防ぐためにＬＯＧＩＣ９３がＶＲＥＦＨを選択する回数が多くなる。つまり、比較器９１がＶＳＣ＞ＶＴと判断した回数（信号Ｄがハイになった回数＝ＬＯＧＩＣ９３がφＤ１をオンにしてＶＲＥＦＨを選択した回数）をＣＯＵＮＴＥＲ９４がカウントし、この結果が画素リセット信号及び画素シグナル信号のデジタル変換後の信号となる。
【００５０】
また、ＣＭＳ回路３１として、以下で説明する折り返し積分技術を利用したＣＭＳ回路と巡回型ＡＤＣとを組み合わせた回路を用いてもよい。具体的には、巡回型ＡＤＣ回路を利用してＣＭＳ処理を実現させている。つまり、図６は折り返し積分技術を利用したＣＭＳ回路と巡回型ＡＤＣを組み合わせた回路としているが、実際には巡回型ＡＤＣ回路だけで折り返し積分技術を用いたＣＭＳ回路としての機能も実現できるようになっている。
【００５１】
ＣＭＳ回路３１は、サンプリング／ホールド（Ｓ／Ｈ）回路１３１、加算器１３２、ＳＣ積分器１３３、１．５ｂＡＤＣ回路１３４、１．５ｂＤＡＣ回路１３５、加算回路１３６、レジスタ１３７及び１３８を有する。そして、図６の右側の回路図は、カラムＡＤＣ１３のフェーズ毎のブロック１３０の回路形態を示している。図６には記載されていないスイッチの接続がフェーズ毎に切り替わることによって、図６の右側に示したブロック１３０Ａ、１３０Ｂ及び１３０Ｃの形態に遷移する。
【００５２】
ＣＭＳ回路３１の回路動作としては、初めにサンプリング回数決定部１２１が決定した回数Ｍに従って相関多重サンプリング処理することによって画像信号の上位ビットを取得し、その後巡回型ＡＤＣ回路が下位ビットを決定する。
【００５３】
まず、画像信号の上位ビットを決めるＡＤ変換動作（折り返し積分技術を用いた相関多重サンプリング処理によるＡＤ変換）について説明する。この折り返し積分技術を用いた相関多重サンプリング処理によるアナログ／デジタル変換の際の回路形態は、図６の右側に示したブロック１３０Ａとブロック１３０Ｂが交互に遷移することで表すことができる。
【００５４】
カラムＡＤＣ１３におけるφＦＩＡＤＣがオン、φＣＡＤＣがオフとなることで、ブロック１３０は、図６の右側に示すブロック１３０Ａの回路形態となる。ブロック１３０Ａにおいて、画素ＧＣが出力する画素リセット信号又は画素シグナル信号がＶＩＮとして入力され、コンデンサＣ１が信号を取り込む。続いてブロック１３０Ｂの回路形態に移り、コンデンサＣ１の電荷がコンデンサＣ２に転送され、積分器１３３が積分動作を行う。
【００５５】
そして、再びブロック１３０Ａに戻り、１．５ｂＡＤＣ回路（比較器）１３４が積分器１３３の出力と参照電圧（±１／２ＶＲＥＦ）を比較する。続いてブロック１３０Ｂの回路形態に移り、１．５ｂＡＤＣ回路１３４の比較結果に基づいてＤＡＣ１３５が積分器１３３の出力が飽和しないようにコンデンサＣ１の参照電圧を切り換える。
【００５６】
この一連の動作を画素リセット信号及び画素シグナル信号についてＭ回（サンプリング回数決定部１２１が決定した回数）繰り返すことで相関多重サンプリング処理を実現し、ノイズ低減を図ることができる。そしてＡＤＤＥＲ１３６とＲＥＧＩＳＴＥＲ１３７によって構成されたＣＯＵＮＴＥＲが１．５ｂＡＤＣ回路１３４の出力Ｄ１がハイレベルになった回数（積分器１３３の出力が参照電圧（＋１／２ＶＲＥＦ）を超えた回数）をカウントすることによって、信号をデジタル変換したときの上位ビット群が決定される。
【００５７】
続いて、画像信号の下位ビットを決めるＡＤ変換動作（巡回型ＡＤＣ）について説明する。この巡回型ＡＤＣ回路を用いたアナログ／デジタル変換の際の回路形態は、図６の右側に示したブロック１３０Ｂとブロック１３０Ｃが交互に遷移することで表すことができる。下位ビットは、折り返し積分技術を用いた相関多重サンプリング処理によるＡＤ変換終了後の残差電圧を巡回型ＡＤＣによってＡ／Ｄ変換して求める。まずブロック１３０Ｃにおいて、コンデンサＣ２はアンプ１３３（ブロック１３０Ａ及び１３０Ｂでは積分器として使用）の入出力間で接続され、１．５ｂＡＤＣ１３４がアンプ１３３の出力と参照電圧（±１／４ＶＲＥＦ）を比較する。
【００５８】
続いてブロック１３０Ｂの回路形態に移り、コンデンサＣ１の一端がＤＡＣ１３５に接続され、他端がアンプ１３３の入力に接続される。１．５ｂＡＤＣ回路１３４の比較結果に基づいてＤＡＣ１３５が積分器１３３の出力が飽和しないようにコンデンサＣ１の参照電圧を切り換える。更に、ＤＡＣ１３５の出力に１．５ｂＡＤＣ１３４の比較結果を供給することで、元信号と前段ＡＤ変換結果との差分信号が生成され、次のサイクルでコンデンサＣ１に接続するアナログ電圧が決まる。再びブロック１３０Ｃに戻り、前のサイクルのアンプ１３３の出力は、入力側にフィードバックされて、次のサイクルのＡＤ変換が開始する。
【００５９】
この一連の動作が必要回数繰り返される。そして、ブロック１３０Ｃの出力Ｄ１及びＤ０と出力されるデジタルコード、１．５ｂＡＤＣ１３４への入力Ｖとの関係は次式のようになる。
【００６０】
【数１】
2013121093.tif 000003
【００６１】
即ち、１．５ｂＡＤＣ１３４は、入力Ｖを（１）−ＶＲＥＦから−ＶＲＥＦ／４、（２）−ＶＲＥＦ／４からＶＲＥＦ／４、（３）ＶＲＥＦ／４からＶＲＥＦの３領域に分割し、これらの領域に対して３値のＡ／Ｄ変換を行って−１、０、１のデジタルコードを割り当てて出力する。最初に出力されたデジタルコードが上位桁となる。
【００６２】
尚、図６に示すＣＭＳ回路３１の詳しい回路動作については、「ISSCC2011『An 80μ Vrms-Temporal-Noise 82dB-Dynamic Range CMOS Image Sensor with a 13-to-10b Variable-Resolution Column-Parallel Folding-Integration/Cyclic ADC』」を参考にされたい。更に、巡回型ＡＤＣの詳しい回路動作については、特開２００５−１３６５４０号公報を参考にされたい。
【００６３】
また、本実施の形態では、折り返し積分技術を利用したＣＭＳ回路に対して相性の良い巡回型ＡＤＣを用いてカラムＡＤＣ１３を構成した場合を例に説明するが、巡回型ＡＤＣに限定されるものではない。
【００６４】
図７は、通常撮影、多重露光、多重相関、多重露光と多重相関を組み合わせた場合に得られるダイナミックレンジについて示した図である。横軸は被写体輝度（ＢＶ）を示しており、ＢＶが大きくなるほど露出時間を短く制御する必要がある。図中で示した横棒（Ｄａ、Ｄ１〜Ｄ６）はダイナミックレンジの幅を示している。
【００６５】
図中、Ｄａは通常撮影を行ったときに得られた画像のダイナミックレンジを示している。通常撮影とは、被写体の明るさに基づいてＡＥ部２１が設定した基準露光時間Ｔａで画素アレイ部５１が取得した画素信号を、カラムＡＤＣアレイ部５３が予め定められた通常のＡ／Ｄ変換することによって画像を取得する撮影のことである。
【００６６】
多重露光とは、１フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を１つの画像に合成することでダイナミックレンジを拡張させる撮影方法のことである。Ｄ１は、露光時間Ｔ１＝Ｔａ／２のときのダイナミックレンジを示している。Ｄ１のレンジ幅はＤａと同じであるが、Ｄａと比べてＢＶは１段分（ΔＢＶ１）明側にシフトする。また、Ｄ２は、露光時間Ｔ２＝Ｔａ／１６（Ｔａ／２４）のときのダイナミックレンジを示している。Ｄ２のレンジ幅もＤａと同じであるが、Ｄａと比べてＢＶは４段分（ΔＢＶ２）明側にシフトする。
【００６７】
そして、露光時間Ｔ１及びＴ２で撮影された２つの画像を合成することで、合成後の画像のダイナミックレンジＤ３は２つの画像のダイナミックレンジＤ１及びＤ２の論理和となる。つまり、合成後の画像のダイナミックレンジＤ３はＤａに比べて明側に拡張する。しかし、暗側については、多重露光で用いられる最大露光時間が基準露光時間Ｔａより短くなるため、Ｄ３はＤａに比べて暗側の感度が悪化する。
【００６８】
Ｄ４は、多重相関のときのダイナミックレンジを示している。Ｄ４はＤａと比べてｌｏｇ２Ｍ段（ΔＢＶ３。Ｍはサンプリング回数）だけ暗側が拡張する。明側のダイナミックレンジはＤａと同じとなる。つまり、多重相関の場合、暗側にはダイナミックレンジが拡張するが、明側へは拡張されない。
【００６９】
多重露光と多重相関を組み合わせた場合について説明する。多重露光によって得られた各画像のうち、最も低いＢＶを持つ画像は最大露光時間（Ｔ１）で撮影されたときの画像である。従って、最大露光時間（Ｔ１）で撮影されたときの画素信号に対して相関多重サンプリング処理を行うことで、その画像の暗側のダイナミックレンジが拡張し（Ｄ５）、更に画像合成を行うことで、明側にもダイナミックレンジが拡張する（Ｄ６）。しかし、多重相関のみの場合に比べて、露光時間が短くなっている分、ダイナミックレンジの暗側拡張幅は少なくなる。
【００７０】
多重露光と多重相関を組み合わせることで、ダイナミックレンジが暗側、明側共に拡張されるため、高ダイナミックレンジ化が図れている。このため、多重露光と多重相関を組み合わせたモードが高ダイナミックレンジ化に適しているように思えるが、多重露光に関しては異なる複数の露光時間で複数回撮影するため、被写体の動きが速いと合成後の画像が乱れてしまう。また、多重相関の場合はサンプリング回数の分だけＡＤ変換回数が増加する。これは、消費電流の増加やチップ温度の上昇を招く。チップ温度が上昇すると暗電流が増加し、画像信号のＳＮ比に悪影響を及ぼす。
【００７１】
そこで、モード選択部２４が、撮影シーン情報取得部２１が取得した撮影シーンに基づいて、通常撮影、多重露光、多重相関、多重露光と多重相関の組み合わせの何れかを選択する。撮影シーンに応じたモード選択をすることで、消費電流の増加やチップ温度の上昇を防ぎつつ、高ダイナミックレンジ化を図ることができる。
【００７２】
図２に示す制御部２の各構成要素の説明を行う。ＡＥ部２１は被写体の明るさを算出して基準露光時間を設定する。即ち、ＡＥ部２１は自動露光を行う。
【００７３】
飽和判定部２２は、撮影により取得した画像信号を構成する画素値からその画像信号が示す画像の飽和状態から、画像のダイナミックレンジを暗側、明側に拡張する必要があるか否かを判定する。
【００７４】
具体的には、画素値の最大値が予め定められた値を超えている場合、その画像は明るい領域の信号再現がなされていないことを示す（白とび）。従って、飽和判定部２２は明側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より大きい画素値を持つ領域が所定面積以上ある（即ち、予め定められた値より大きい画素値を持つ画素が所定数以上ある）ときに明側に拡張する必要があると判断してもよい。
【００７５】
更に、画素値の最小値が予め定められた値より小さい場合、その画像は暗い領域の信号再現がなされていないことを示す（黒つぶれ）。従って、飽和判定部２２は暗側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より小さい画素値を持つ領域が所定面積以上ある（即ち、予め定められた値より小さい画素値を持つ画素が所定数以上ある）ときに暗側にダイナミックレンジを拡張する必要があると判断してもよい。
【００７６】
移動量算出部２３は、連続する複数の画像から、被写体の移動量を算出する。具体的には、移動量算出部２３は画像の中央に位置する物体、又は最も撮像装置１に近い物体を検出し、その物体を追尾することで移動量を求める。
【００７７】
モード選択部２４は、飽和判定部２２の判断結果に基づいて、多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせたモード、通常撮影の選択を行う。画像合成部２５は、多重露光によって異なる複数の露光時間で撮影された画像を１つの画像に合成する。
【００７８】
図８は、制御部２が実行する撮影処理の流れを示したフローチャートである。尚、図８は、撮影処理のメインルーチンであり、図９及び図１０は、被写体の動きが遅いときにメインルーチンから分岐して実行される第１ルーチンを示したフローチャートであり、図１１及び図１２は被写体の動きが速いときにメインルーチンから分岐して実行される第２ルーチンを示したフローチャートである。まず、図８〜図１０を用いて、被写体の動きが遅い場合の撮影処理の流れについて説明する。
【００７９】
（Ｉ）被写体の動きが遅い場合
まず、撮像装置１の待機時等に画素アレイ部５１は連続して複数の画像を撮影し、移動量算出部２３はその画像を用いて被写体の移動量を算出する（ステップＳ１１）。
【００８０】
移動量が閾値以下である場合（ステップＳ１２；ＹＥＳ）、制御部２は第１ルーチン（低速用撮影シーケンス）に移行する。ここで閾値とは、多重露光による画像合成を行っても画像が乱れない上限の移動量とする。
【００８１】
制御部２は、図９のステップＳ２１へ処理を移行する。ここで、モード選択部２４は、多重露光フラグと多重相関フラグをクリアする。多重露光フラグ及び多重相関フラグは、モード選択部２４が有するワーキングメモリ等（不図示）が記憶する変数である。そして、ＡＥ部２１は、基準露光時間Ｔａを算出する（ステップＳ２２）。
【００８２】
次に、モード選択部２４は、変数Ｔｍｉｎ及び変数Ｔｍａｘに、基準露光時間Ｔａの値を代入する（ステップＳ２３）。変数Ｔｍｉｎ及び変数Ｔｍａｘは、上記フラグと同様に、モード選択部２４が有するワーキングメモリが記憶する変数である。
【００８３】
そして、モード選択部２４は、基準露光時間Ｔａで画像を取り込ませる制御を固体撮像
装置１に対して行う（ステップＳ２４）。これにより、画素アレイ部５１は、基準露光時間Ｔａで撮影を行って画素信号を出力し、カラムＡＤＣアレイ部５３が画素信号に通常のＡ／Ｄ変換を施して画像信号を出力する。
【００８４】
次に、飽和判定部２２が出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断する。明側に拡張する必要がある場合（ステップＳ２５；ＹＥＳ）、モード選択部２４は基準露光時間Ｔａに対してＢＶを所定段数上げたときの露光時間を変数Ｔｍｉｎとして設定すると共に、多重露光フラグをセットする（ステップＳ２６）。
【００８５】
例えば、基準露光時間Ｔａで撮影したときの画像に対してＢＶを１段上げるには、Ｔａを半分にすればよく、即ち変数ＴｍｉｎをＴａ／２に設定する。また、基準露光時間Ｔａで撮影したときの画像に対してＢＶを２段上げるには、Ｔａを１／４にすればよく、即ち変数ＴｍｉｎをＴａ／２２に設定する。つまり、基準露光時間Ｔａで撮影したときの画像に対してＢＶをＮ段上げるには、露光時間をＴａ／２Ｎ１とすればよい（Ｎ１は１以上の整数）。従って、Ｔｍｉｎ＝Ｔａ／２Ｎ１に設定する。
【００８６】
ステップＳ２６におけるＮ１の設定方法について詳しく説明する。モード選択部２４はＮ１を変化させて、最大露光時間Ｔｍａｘ（＝Ｔａ）、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、更にその間の露光時間にて画素アレイ部５１に画像を取得させる。そして画像合成部２５は、出力された画像を合成する。
【００８７】
飽和判定部２２は合成画像の飽和状態を判断し、明側飽和状態が解消されるまでＮ１を変化させる。つまり、明側飽和状態が解消されない場合、モード選択部２４はＮ１を増加し、このときのＴｍｉｎを最小露光時間として再度多重露光を行なわせる。モード制御部２２は、このような処理を繰り返すことで、明側飽和状態を解消するための最適なＴｍｉｎを導き出す。
【００８８】
また、Ｎ１を変化させる処理を明側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で明側飽和状態が解消されたとき、そのときのＮ１を用いてＴｍｉｎを設定するようにしてもよい。繰り返しの中で明側飽和状態が解消されない場合は、明側飽和状態が最も緩和されたときのＮ１を用いてＴｍｉｎを設定する。また、Ｎ１を可変させる繰り返し処理は行わず、決められたＮ１を用いてＴｍｉｎを設定するようにしてもよい。
【００８９】
次に、飽和判定部２２が暗側にダイナミックレンジを拡張する必要がないと判断した場合（ステップＳ２７；ＮＯ）、制御部２はステップＳ３５へ処理を移行する。
【００９０】
暗側にダイナミックレンジを拡張する必要があり（ステップＳ２７；ＹＥＳ）、基準露光時間Ｔａが最大露光時間（固体撮像装置１のフレームレート。本実施の形態では１／３０秒とする）より十分小さい場合（ステップＳ２８；ＹＥＳ）、モード選択部２４は基準露光時間Ｔａで撮影したときの画像に対してＢＶを所定段数下げたときの露光時間を変数Ｔｍａｘとして設定する。
【００９１】
例えば、基準露光時間Ｔａで撮影したときの画像に対してＢＶを１段下げるには、Ｔａを２倍にすればよく、即ち変数ＴｍａｘをＴａ×２に設定する。また、基準露光時間Ｔａで撮影したときの画像に対してＢＶを２段下げるには、Ｔａを４倍にすればよく、即ち変数ＴｍａｘをＴａ×４に設定する。つまり、基準露光時間Ｔａで撮影したときの画像に対してＢＶをＮ段下げるには、露光時間をＴａ×２Ｎ２とすればよい（Ｎ２は１以上の整数）。従って、Ｔｍａｘ＝Ｔａ×２Ｎ２に設定する。
【００９２】
Ｎ２の設定方法について詳しく説明する。飽和判定部２２は合成画像の飽和状態を判断し、暗側飽和状態が解消されるまでＮ２を変化させる。つまり、暗側飽和状態が解消されない場合、モード選択部２４はＮ２を増加し、このときのＴｍａｘを最大露光時間として再度多重露光を行なわせる。モード制御部２２は、この処理を繰り返すことで、暗側飽和状態を解消するための最適なＴｍａｘを導き出す。
【００９３】
また、Ｎ２を変化させる処理を暗側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で暗側飽和状態が解消されたとき、そのときのＮ２を用いてＴｍａｘを設定するようにしてもよい。繰り返しの中で暗側飽和状態が解消されない場合は、暗側飽和状態が最も緩和されたときのＮ２を用いてＴｍａｘを設定する。また、Ｎ２を可変させる繰り返し処理は行わず、予め決められたＮ２を用いてＴｍａｘを設定するようにしてもよい。
【００９４】
ステップＳ２９の処理によって暗側飽和状態が解消された場合（ステップＳ３０；ＹＥＳ）、モード選択部２４は多重露光フラグをセットする（ステップＳ３１）。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
【００９５】
基準露光時間Ｔａが１／３０秒とあまり差がない場合（ステップＳ２８；ＮＯ）又はステップＳ２９の処理をもっても暗側飽和状態が解消されない場合（ステップＳ３０；ＮＯ）、モード選択部２４は多重露光フラグの状態を判別する（ステップＳ３６）。多重露光フラグがセットされていない場合（ステップＳ３６；ＮＯ）、モード選択部２４は変数Ｔｓを１／３０秒に設定し（ステップＳ３２）、多重相関フラグをセットする（ステップＳ３４）。ここで、変数Ｔｓとは、モード選択部２４が有するワーキングメモリが記憶する変数であり、相関多重サンプリングを行うときの露光時間を示す。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
【００９６】
多重露光フラグがセットされている場合（ステップＳ３６；ＹＥＳ）、モード選択部２４はＴｍａｘ及びＴｓを１／６０秒に設定し（ステップＳ３３）、多重相関フラグをセットする（ステップＳ３４）。そして、制御部２は選択された撮影モードで撮影を行い（ステップＳ３５）、第１ルーチンを終了する。
【００９７】
ここでステップＳ３５における選択されたモード別による撮影について説明する。多重露光フラグ及び多重相関フラグの何れもクリア状態である場合、制御部２は固体撮像装置５に対して通常撮影を行わせる。
【００９８】
多重露光フラグのみがセット状態である場合、制御部２は、画素アレイ部５１に最小露光時間をＴｍｉｎ、最大露光時間をＴｍａｘ、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に通常のＡ／Ｄ変換にて画像信号を出力させる制御を行う。そして、画像合成部２５が出力された画像信号の合成を行う。
【００９９】
多重相関フラグのみがセット状態である場合、制御部２は、画素アレイ部５１に露光時間Ｔｓで撮影させ、カラムＡＤＣアレイ部５３に相関多重サンプリング処理にて画像信号を出力させる制御を行う。
【０１００】
そして、多重露光フラグ及び多重相関フラグの両方がセット状態である場合、制御部２は、画素アレイ部５１に最小露光時間をＴｍｉｎ、最大露光時間をＴｍａｘ、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に最大露光時間Ｔｓ（＝Ｔｍａｘ）で撮影されたときの画素信号を相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号を通常のＡ／Ｄ変換にて画像信号を出力させる制御を行う。そして、画像合成部２５が出力された画像信号を合成する。
【０１０１】
以上の処理をまとめると、次のようになる。（１）明側及び暗側にもダイナミックレンジを拡張する必要がない場合は通常撮影を行う。
【０１０２】
（２）明側のみダイナミックレンジを拡張する必要がある場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ（＝Ｔａ）の多重露光を行う。露光時間Ｔａ／２Ｎ１の画像は通常撮影時の画像に比べてＢＶが明側にＮ１段分シフトするため、画像合成によって明側のダイナミックレンジが拡張され、明側の画像が再現されやすくなる。
（３）暗側のみダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２の式を用いてＴｍａｘを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Ｔｍｉｎ（＝Ｔａ）、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。露光時間Ｔａ×２Ｎ２の画像は通常撮影時の画像に比べてＢＶが暗側にＮ２段分シフトするため、画像合成によって暗側ダイナミックレンジが拡張され、暗側の画像が再現されやすくなる。
（４）暗側のみダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒と差がないとき、又は、暗側のみ画素値が飽和しており、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２として多重露光を行っても暗側飽和状態が解消されない場合は、画素アレイ部５１は露光時間Ｔｓ＝１／３０秒で撮影を行う。そして、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりＢＶがｌｏｇ２Ｍ段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。
【０１０３】
ここで、暗側のみダイナミックレンジを拡張する必要があるときに基準露光時間Ｔａと１／３０秒を比較する理由（図９におけるステップＳ２８）について説明する。多重露光で用いる最大露光時間の上限はフレームレート（１／３０秒）であるため、基準露光時間Ｔａと１／３０秒に差がない場合、最小露光時間Ｔｍｉｎ（明側飽和状態がないときはＴｍｉｎ＝Ｔａ）と十分間隔を置いた最大露光時間を設定することができない。つまり、多重露光によるダイナミックレンジの拡張は期待できないことから、多重相関によるダイナミックレンジ拡張を実施する。
【０１０４】
基準露光時間Ｔａと１／３０秒に十分差がある場合は、多重相関ではなく多重露光を用いることにより、多重相関の実行によって発生する消費電力増大、チップ温度上昇による暗電流の増加、処理負荷の増加等による悪影響を避けることができる。
（５）明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒より十分小さく、Ｔｍａｘ＝Ｔａ×２Ｎ２の式を用いてＴｍａｘを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。合成後の画像は通常撮影時の画像に比べて明側にＮ１段、暗側にＮ２段、それぞれＢＶが拡張される。
（６）明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Ｔａが１／３０秒と差がないとき、又は暗側のみに画素値が飽和しておりＴｍａｘ＝Ｔａ×２Ｎ２として多重露光を行っても暗側飽和状態が解消されない場合は、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝１／６０秒の多重露光を行う。尚、カラムＡＤＣアレイ部５３は、出力された画素信号のうち露光時間Ｔｓ（＝Ｔｍａｘ）で撮影されたときの画素信号については相関多重サンプリング処理を施し、露光時間Ｔｓ以外で撮影されたときの画素信号については通常のＡ／Ｄ変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。
【０１０５】
（ＩＩ）被写体の動きが早い場合
図１１及び図１２を用いて、被写体の動きが速いときの撮影処理の流れについて説明する。図８において、移動量算出部２３が被写体の移動量を算出した結果、移動量が閾値より大きい場合（ステップＳ１２；ＮＯ）、制御部２は第２ルーチン（高速用撮影シーケンス）に移行する。
【０１０６】
制御部２は、図１１のステップＳ４１へ処理を移行する。ここで、モード選択部２４は、多重露光フラグと多重相関フラグをクリアにし、ＡＥ部２１は、基準露光時間Ｔａを算出する（ステップＳ４２）。そして、モード選択部２４は、Ｔｍｉｎ、Ｔｍａｘ及びＴｓに、基準露光時間Ｔａの値を代入する（ステップＳ４３）。
【０１０７】
続いて、モード選択部２４は、設定された撮影モードに応じて固体撮像装置１に撮影を行わせる（ステップＳ４４）。最初の段階においては、多重露光フラグ及び多重相関フラグはクリア状態であるため、制御部２は固体撮像装置１に対して基準露光時間Ｔａでの通常撮影を行わせる。
【０１０８】
次に、モード選択部２４は、出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断する（ステップＳ４５）。ダイナミックレンジ拡張の必要がない場合（ステップＳ４５；ＹＥＳ）、制御部２はステップＳ４４へ処理を移行し、撮影を続行させる。
【０１０９】
一方、明側にダイナミックレンジ拡張の必要があり（ステップＳ４５；ＮＯ、ステップＳ４６；明側）、前回撮影時は明側にダイナミックレンジ拡張の必要がなかった場合（ステップＳ４７；ＮＯ）、モード選択部２４はＴｓをＴａ／２Ｎ１に設定し、多重相関フラグをセットすると共に多重露光フラグをクリアする（ステップＳ４８）。そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に露光時間Ｔｓ（＝Ｔａ／２Ｎ１）で撮影を行わせ、カラムＡＤＣアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。
【０１１０】
ステップＳ４６に戻り、明側にダイナミックレンジ拡張の必要があり（ステップＳ４６；暗側）、前回撮影時は暗側にダイナミックレンジ拡張の必要がなかった場合（ステップＳ４９；ＮＯ）、モード選択部２４は多重相関フラグをセットすると共に多重露光フラグをクリアする（ステップＳ５０）。そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に露光時間Ｔｓ（＝Ｔａ）で撮影を行わせ、カラムＡＤＣアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。
【０１１１】
ステップＳ４６に戻り、暗側及び明側の両方でダイナミックレンジ拡張の必要がある場合（ステップＳ４６；両方）、又は明側のみ拡張の必要があって前回撮影時も明側のみ拡張の必要があった場合（ステップＳ４７；ＹＥＳ）、又は暗側のみ拡張の必要があって前回撮影時も暗側のみ拡張の必要があった場合（ステップＳ４９；ＹＥＳ）、そしてＴａが多重露光に用いる最大露光時間である１／６０秒より十分小さいときは（ステップＳ５１；ＹＥＳ）、モード選択部２４はＴｍｉｎをＴａ／２Ｎ１、ＴｍａｘをＴａ×２Ｎ２に設定し、多重露光フラグをセットし、多重相関フラグをクリアする（ステップＳ５２）。
【０１１２】
そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に最小露光時間をＴｍｉｎ（＝Ｔａ／２Ｎ１）、最大露光時間をＴｍａｘ（＝Ｔａ×２Ｎ２）、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に通常のＡ／Ｄ変換を行わせる。そして画像合成部２５が出力された画像信号の合成を行う。
【０１１３】
ステップＳ５１に戻り、Ｔａが１／６０秒とあまり差がない場合（ステップＳ５１；ＮＯ）、モード選択部２４はＴｍｉｎをＴａ／２Ｎ１、Ｔｍａｘ及びＴｓを１／６０秒に設定し、多重露光フラグと多重相関フラグをセットする（ステップＳ５３）。
【０１１４】
そして撮影終了指示がない場合は（ステップＳ５５；ＮＯ）、制御部２はステップＳ４４へ処理を移行する。つまりステップＳ４４において、制御部２は画素アレイ部５１に最小露光時間をＴｍｉｎ（＝Ｔａ／２Ｎ１）、最大露光時間をＴｍａｘ（＝１／６０秒）、更にその間の露光時間にて撮影を行わせ、カラムＡＤＣアレイ部５３に露光時間Ｔｓ（＝Ｔｍａｘ）で撮影された時の画素信号に対して相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号に対して通常のＡ／Ｄ変換を行わせる。そして画像合成部２５が出力された画像信号の合成を行う。制御部２は、ステップＳ４４からステップＳ５５までの処理を撮影終了指示がなされるまで繰り返す。
【０１１５】
尚、被写体の動きが遅いとき、変数Ｎ１及びＮ２は、飽和状態が解消されるまでＮ１、Ｎ２を変化させる繰り返し処理を行って、最適なＮ１及びＮ２を導き出すとしたが、被写体の動きが速い場合は動画像の撮影である可能性が高い為、上記のような繰り返し処理を行うことで処理負荷が増大してしまう。従って、予め定められた値を用いてＮ１、Ｎ２を設定する。
【０１１６】
以上の処理をまとめると、次のようになる。（１）明側及び暗側の両方でダイナミックレンジ拡張の必要がある場合は通常撮影を行う。
【０１１７】
（２）明側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部５１がＴｓ＝Ｔａ／２Ｎ１で撮影を行い、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。ここで、相関多重サンプリング処理にて拡張されるビット分、露光時間の短縮を行うことで、得られた画像のダイナミックレンジが通常撮影時に比べて明側へシフトする。そしてその画像に相関多重サンプリング処理を施すことで、暗側のダイナミックレンジを露光時間の短縮前（つまり通常撮影時）の画像のダイナミックレンジと同じレベルに維持することができる。つまり、明側に拡張したダイナミックレンジを得ることができる。
【０１１８】
（３）暗側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部５１がＴｓ＝Ｔａで撮影を行い、カラムＡＤＣアレイ部５３が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりＢＶがｌｏｇ２Ｍ段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。
【０１１９】
被写体の動きが速い場合、ダイナミックレンジを拡張するには多重露光より多重相関が適しているが、多重相関ではダイナミックレンジの拡張幅に限度がある。従って、明側又は暗側の何れかのみにダイナミックレンジを拡張したいときは、多重相関を用いる。
【０１２０】
（４）明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にＴａが１／６０秒より十分小さいときは、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝Ｔａ×２Ｎ２の多重露光を行う。通常撮影時の画像に比べて、明側にＮ１段、暗側にＮ２段、それぞれＢＶが拡張される。
【０１２１】
（５）明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にＴａが１／６０秒と差がないときは、最小露光時間Ｔｍｉｎ＝Ｔａ／２Ｎ１、最大露光時間Ｔｍａｘ＝１／６０秒の多重露光を行う。尚、カラムＡＤＣアレイ部５３は、出力された画素信号のうちＴｓ＝１／６０秒で撮影されたときの画素信号については相関多重サンプリング処理を施し、Ｔｓ以外で撮影されたときの画素信号については通常のＡ／Ｄ変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。
【０１２２】
以上、説明したように、撮影シーンや被写体の動きの速さに応じて相関多重サンプリング又は／及び多重露光を行うことで効率的に高ダイナミックレンジ化を図ることができる。
【符号の説明】
【０１２３】
１      撮像装置
２      制御部
２１    ＡＥ部
２２    飽和判定部
２３    移動量算出部
２４    モード選択制御部
２５    画像合成部
３１    ＣＭＳ回路
５      固体撮像装置
５１    画素アレイ部
５３    カラムＡＤＣアレイ部
【図１】
2013121093.tif 000004
【図２】
2013121093.tif 000005
【図３】
2013121093.tif 000006
【図４】
2013121093.tif 000007
【図５】
2013121093.tif 000008
【図６】
2013121093.tif 000009
【図７】
2013121093.tif 000010
【図８】
2013121093.tif 000011
【図９】
2013121093.tif 000012
【図１０】
2013121093.tif 000013
【図１１】
2013121093.tif 000014
【図１２】
2013121093.tif 000015