(57)【要約】【課題】撮像装置において領域単位の露光時間設定を行った撮像処理を実現する装置、方法を提供する。【解決手段】撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御部と、撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御部を有し、電子シャッタ制御部は、画像領域単位で個別に設定した露光時間と、メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う。例えば行ブロック単位でメカニカルシャッタ動作時間から露光時間を減算して、露光開始時間としてのリセット時間を電子シャッタ動作時間として算出して領域単位の露光時間制御を実行する。【選択図】図１０
2012182657.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御部と、
前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御部を有し、
前記電子シャッタ制御部は、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う撮像装置。
【請求項２】
前記撮像装置は、
事前撮影画像から取得する画像領域単位の輝度情報に応じて、後続撮影画像の画像領域単位の露光時間を算出する露光時間演算部を有し、
前記電子シャッタ制御部は、
前記露光時間演算部の算出した画像領域単位の露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う請求項１に記載の撮像装置。
【請求項３】
前記露光時間演算部は、
事前撮影画像から取得する画像領域単位の輝度が低輝度である画像領域に対しては、後続撮影画像の露光時間を長時間とし、
事前撮影画像から取得する画像領域単位の輝度が高輝度である画像領域に対しては、後続撮影画像の露光時間を短時間とする画像領域単位の露光時間算出処理を実行する請求項２に記載の撮像装置。
【請求項４】
前記露光時間演算部は、
動画撮影時においては、撮影動画を構成する画像フレームの先行撮影画像フレームから取得する輝度情報に応じて、後続撮影画像フレームの画像領域単位の露光時間を算出する請求項２に記載の撮像装置。
【請求項５】
前記撮像装置は、
事前撮影画像に基づく輝度情報に応じて画像領域としての１以上の行から構成される行ブロック単位で露光時間を算出する露光時間演算部を有し、
前記電子シャッタ制御部は、
前記露光時間演算部の算出した行ブロック単位の露光時間と、前記メカニカルシャッタの行ブロック単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う構成であり、
行ブロック番号をｉ、
行ブロックｉの露光時間をＴｅｘｉ、
行ブロックｉのメカニカルシャッタ動作時間をＴｍｉ、
としたとき、行ブロックｉの露光開始時間：Ｔｒｉを、
Ｔｒｉ＝Ｔｍｉ−Ｔｅｘｉ
上記式に従って算出する請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、
事前撮影画像に基づく輝度情報に応じて画像領域としての１画素以上の画素から構成される行列ブロック単位で露光時間を算出する露光時間演算部を有し、
前記電子シャッタ制御部は、
前記露光時間演算部の算出した行列ブロック単位の露光時間と、前記メカニカルシャッタの行単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う構成であり、
行ブロック番号をｉ、列ブロック番号をｊ、
行列ブロックｉｊの露光時間をＴｅｘｉｊ、
行列ブロックｉｊのメカニカルシャッタ動作時間をＴｍｉ、
としたとき、行列ブロックｉｊの露光開始時間：Ｔｒｉｊを、
Ｔｒｉｊ＝Ｔｍｉ−Ｔｅｘｉｊ
上記式に従って算出する請求項１に記載の撮像装置。
【請求項７】
前記撮像素子は、画素値読み出し処理を行単位で順次実行する撮像素子であり、
前記メカニカルシャッタ制御部は、前記撮像素子の画素値読み出し処理に先行する時間に前記メカニカルシャッタを動作させて露光時間を終了させる制御を行う請求項１に記載の撮像装置。
【請求項８】
前記電子シャッタ制御部は、
前記撮像素子の画像領域単位で、撮像素子の各画素に蓄積された電荷をリセットするリセット信号を出力し、
各画像領域単位の露光時間を、前記リセット信号出力後から前記メカニカルシャッタの動作時間までの時間として設定して画像領域単位の露光時間制御を行う請求項１に記載の撮像装置。
【請求項９】
前記撮像装置は、さらに、
画像領域単位で異なる露光時間を設定した撮像処理によって撮像素子が出力する画像を入力し、該入力画像に対して露光時間の逆数に相当するゲインをかけて出力画像の画素値算出を行う信号処理部を有する請求項１に記載の撮像装置。
【請求項１０】
前記撮像装置は、さらに、
前記メカニカルシャッタを動作させずに撮影した第１画像と、前記メカニカルシャッタを動作させて撮影した第２画像の輝度比較を実行し、該輝度比較情報に基づいて、前記第２画像に対して設定した領域単位の算出露光時間と、実際に撮影された第２画像の領域単位の実露光時間との差分を算出し、算出した露光時間の差分を補償する画素値補正を実行する感度差補償部を有する請求項１に記載の撮像装置。
【請求項１１】
撮像装置において実行する撮像装置制御方法であり、
電子シャッタ制御部が、撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御ステップと、
メカニカルシャッタ制御部が、前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御ステップを実行し、
前記電子シャッタ制御ステップにおいて、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出するステップと、
算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行うステップを実行する撮像装置制御方法。
【請求項１２】
撮像装置において撮像処理を実行させるプログラムであり、
電子シャッタ制御部に、撮像素子の露光開始時間を電子シャッタ動作によって制御させる電子シャッタ制御ステップと、
メカニカルシャッタ制御部に、前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御させるメカニカルシャッタ制御ステップを実行し、
前記電子シャッタ制御ステップにおいて、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出するステップと、
算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行うステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、および撮像装置制御方法、並びにプログラムに関する。さらに詳細には、撮影画像の画素値読み出しを行順次読み出し処理として実行する撮像装置、および撮像装置制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
以下、背景技術として、露光制御処理に関する以下の２つの技術の概要について順次、説明する。
（１）フォーカルプレーンシャッタ動作と歪みの発生について
（２）露光時間制御（シャッタ制御）によるダイナミックレンジ拡大処理について
【０００３】
（１）フォーカルプレーンシャッタ動作と歪みの発生について
まず、フォーカルプレーンシャッタ動作と歪みの発生について説明する。
撮像装置における画像撮影処理のシャッタ動作方式として、撮像素子面の一方向から露光開始や露光終了を制御するシャッタ動作がある。このシャッタ動作は、フォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれる。例えば撮像素子の上位行から下位行に向けて露光開始や露光終了を制御すると、行間での露光時間が少しずつずれるという特徴を持つ。
【０００４】
図１を参照して、フォーカルプレーンシャッタ動作機能を持つ撮像素子の一例としてＣＭＯＳイメージセンサの構成と撮影処理例について説明する。
図１は、撮像素子（ＣＭＯＳイメージセンサ）１０１の一部構成を示す図である。撮像素子（ＣＭＯＳイメージセンサ）１０１は、垂直走査回路１０２、水平走査回路１０３、および、アレイ状に配置された複数の画素１０４から構成される。
【０００５】
画素１０４の内部では、被写体撮影に伴う露光処理によってフォトダイオードに電荷が蓄積される。
各画素のフォトダイオードに蓄積された電荷は、アンプトランジスタおよび転送トランジスタを介して垂直信号線１１３に出力される。垂直信号線１１３に出力された信号電流は、さらに水平走査回路１０３に供給されて、所定の信号処理が実行された後、信号出力線１１４を介して外部へ出力される。
【０００６】
垂直信号線１１３には、縦に並んだ各画素が共通に接続されているので、それぞれの画素の信号を独立に読み出すためには、垂直信号線１１３に対して、１度に１個の画素分の信号のみを出力するようにしなければならない。
【０００７】
すなわち、撮像素子（ＣＭＯＳイメージセンサ）１０１においては、図２（Ａ）に示されるように、例えば、一番下の行に並んだ画素１０４ｄのそれぞれから、最初に信号を読出し、次に、図２（Ｂ）に示されるように画素１０４ｃの行からの読み出しを行い、その後、順次、読み出しの行を変更して信号の読み出しを行うことで、各画素の信号を独立して読み出すことができるようになされている。これらの画素読み出しの制御信号は、例えば図１に示される垂直走査回路１０２に接続された水平リセット線１１１、水平選択線１１２から出力される。
【０００８】
撮像素子（ＣＭＯＳイメージセンサ）の構成画素１０４の各々は、蓄積された電荷の読み出し処理直後から、再び露光を開始する。すなわち、次の画像フレーム用の露光処理が開始される。
【０００９】
このように読み出し処理を行単位で順次、実行し、その直後から露光処理を開始すると、先頭行のフォトダイオード１０４ａと最終行のフォトダイオード１０４ｄとでは、露光の開始時刻および終了時刻が異なる、すなわち露光時間（または露光期間）にずれが発生する。
これが、いわゆるフォーカルプレーンシャッタ動作、あるいはローリングシャッタ動作と呼ばれるシャッタ動作の特徴である。
なお、図には１０４ａ〜１０４ｄの４行のみ示しているが、これは撮像素子の一部を示しているのみであり、実際の撮像素子には数１００〜数１０００行等、多数の行が設定され、各行単位で順次読み出しが実行される。
【００１０】
図３、および、図４を参照して、各行の露光の開始および終了タイミングと、電荷の読み出し開始タイミングの一例について説明する。
図３、図４とも時間軸を横軸、行を縦軸として示している。
例えば図３において、電荷読み出しのタイミングは、図に示す点線ライン１５１ａ，ａ、１５１ｂで示すように、行単位で時間ずれが発生する。
【００１１】
図３に示す複数の矩形ブロックは、ある１つの撮影画像フレームの露光時間を示しており、行または複数行からなる行ブロック単位の露光時間である。
先行撮影された画像フレームの読み出しライン１５１ａに示すタイミングの直後から露光処理が開始される。読み出しライン１５１ａに示すように、露光開始時間は、行単位で少しずつずれた時間となる。図に示すグラフにおいて、上側の行が先行して露光開始され、下側の行ほど遅れて露光が開始される。
最上行は時間（ｔ１）が露光開始時間であり、最下行は時間（ｔ２）が露光開始時間である。
【００１２】
図３に示す複数の矩形ブロックの右端が、露光画像の読み出し処理が実行されるタイミングであり、読み出しライン１５１ｂに示すタイミングで各行の画素の蓄積電荷が読み取られる。
この例では、露光終了時間≒読み出し処理時間であり、図３の読み出しライン１５１ｂに示すように、先頭行から順次、行ごとに各画素の読み出し処理が行われる。
最上行は時間（ｔ２）が露光終了時間であり、最下行は時間（ｔ３）が露光終了時間である。
なお、この例では、各行の露光開始と露光終了は、行単位で同じタイミングのずれが発生しているため、各行の露光時間は全て同じとなる。
【００１３】
図４には、動画撮影時の２つの連続撮影フレームの画像に対応する露光処理と読み出しタイミングを示している。
図４に示すように先行撮影フレームＮは、読み出しライン１５２ａ〜読み出しライン１５２ｂの期間が露光時間であり、読み出しライン１５２ｂに示すタイミングで、各行からの画素値読み出しが実行される。
後続撮影フレームＮ＋１は、読み出しライン１５２ｂ〜読み出しライン１５２ｃの期間が露光時間であり、読み出しライン１５２ｃに示すタイミングで、各行からの画素値読み出しが実行される。
【００１４】
図４に示す例では、先行撮影フレームＮは、
露光開始時間が、最上行は時間（ｔ１ａ）であり、最下行は時間（ｔ１ｂ）である。
露光終了時間が、最上行は時間（ｔ１ｂ）であり、最下行は時間（ｔ１ｃ）である。
後続撮影フレームＮ＋１は、
露光開始時間が、最上行は時間（ｔ２ａ）であり、最下行は時間（ｔ２ｂ）である。
露光終了時間が、最上行は時間（ｔ２ｂ）であり、最下行は時間（ｔ２ｃ）である。
【００１５】
図４に示す例では、例えば先行撮影フレームＮの最下行の露光時間と、後続撮影フレームＮ＋１の最上行の露光時間がほぼ同じ時間帯となってしまっている。すなわち、先行する画像フレームの下側の画像データと、後続フレームの上側の画像データがほぼ同じ時間帯の画像になってしまうという現象が発生する。
【００１６】
この結果、例えば、動きのある被写体を撮像した場合、あるいは、カメラ自体を露光中に移動して撮影するなどの撮影処理を行う場合、フォーカルプレーンシャッタ動作に起因する行間の露光時間のずれにより、画像に歪みが発生する。
【００１７】
画像歪みの例について図５を参照して説明する。
図５（Ａ）はカメラが停止している状態で撮影した場合の撮影例である。
図５（Ｂ）はカメラを横方向に移動させながら撮影した場合の撮影例である。
図５（Ａ）の画像には歪みが発生していないが、図５（Ｂ）に示す画像には歪みが発生している。
同様に、
図５（Ｃ）は車が停止している状態で撮影した場合の撮影例である。
図５（Ｄ）は車が動いている状態で撮影した場合の撮影例である。
図５（Ｃ）の画像には歪みが発生していないが、図５（Ｄ）に示す画像には歪みむが発生している。
【００１８】
このような歪みは、図３、図４を参照して説明した撮像素子の露光時間のずれ、すなわち、上端行から下端行で少しずつ露光時間が異なっているために発生する。この歪みの発生現象は、フォーカルプレーンシャッタ現象、または、ローリングシャッタ現象と称されている。
【００１９】
フォーカルプレーンシャッタ動作を行う撮像素子においても、撮像素子に届く光を機械的に遮光することにより、歪みのないまたは歪みを軽減した撮影画像を取得することが可能である。
【００２０】
銀塩カメラで使用されているメカニカルフォーカルプレーンシャッタ（以降、メカニカルシャッタ）を採用したデジタルカメラが知られている。つまり、露光開始を制御する先幕と露光終了を制御する後幕を遮光板としてのメカニカルシャッタによって行う構成である。この２つの幕の幅を調整して露光時間を制御する構成である。メカニカルシャッタの速度は、撮像素子のフォーカルプレーンシャッタ（センサの読み出し走査）より速く、歪みを軽減した撮影画像を取得できる。
【００２１】
特許文献１、２では、露光開始を制御する先幕として電子シャッタを利用し、露光終了を制御する後幕としてメカニカルシャッタ（遮光板）を利用した構成を開示している。後幕であるメカニカルシャッタの走行に合わせて、先幕である画素のリセット走査による電子シャッタを行なう。すなわち後幕であるメカニカルシャッタが閉じて画素が遮光された後に信号を読みだす方法である。
【００２２】
特許文献１では、動画撮影時には露光開始も露光終了も電子シャッタのみを利用し、静止画撮影時には、電子シャッタにより露光開始を制御してメカニカルシャッタにより露光終了を制御する構成を開示している。この構成によって動画撮影を可能とするとともに静止画撮影においても十分な精度のシャッタ動作を可能としている。
【００２３】
特許文献２では、電子シャッタにより露光開始を制御してメカニカルシャッタにより露光終了を制御することで、露光開始を制御するメカニカルシャッタを削減することが可能であるという効果について説明している。
【００２４】
これらの特許文献１，２に記載された構成では、露光時間、すなわち、露光の開始から終了までの時間は、すべての画素について同じ長さとする構成を開示しているのみである。
【００２５】
（２）露光時間制御（シャッタ制御）によるダイナミックレンジ拡大処理について
次に、露光時間制御（シャッタ制御）によるダイナミックレンジ拡大処理について説明する。
撮像素子の各画素に対する露光時間を制御して、撮影画像のダイナミックレンジを拡大することができる。
明るい被写体領域では露光時間を長くすると画素の蓄積電荷が飽和してしまい、正確な画素値が得られない。
一方、暗い被写体領域では、露光時間を長くした方が被写体輝度に対応する正確な画素値を得やすい。
【００２６】
そこで、被写体が明るい領域では露光時間を短く設定した画素の画素値を有効画素値として取得する。一方、被写体が暗い領域では、露光時間を長くした画素の画素値を有効画素値として取得する。ダイナミックレンジを拡大する一つの方法は、これらを組み合わせて出力画像を生成するものである。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理が実行される。
【００２７】
特許文献３、４および非特許文献１には、撮像素子の画素行ごとに異なる露光時間を設定して、撮影画像のダイナミックレンジを拡大する技術を開示している。例えば撮像素子の画素行の１行おきに短時間露光行と長時間露光行を設定する構成である。
【００２８】
例えば、特許文献３には、ＣＭＯＳイメージセンサの電子シャッタ動作を偶数行と奇数行で異なる動作をさせることによって高感度画素（長時間露光画素）と低感度画素（短時間露光画素）を設定し、被写体輝度に応じた画素値の組み合わせにより高ダイナミックレンジ画像の撮像を可能にした構成を開示している。
【００２９】
特許文献４は、２パターンの露光時間を１行ごと、あるいは、それ以上の複数行で設定し、電子シャッタ動作により変化させる構成を開示している。さらに特許文献４では、３パターンの露光時間を設定し、画面の部位の明るさに応じて行単位で設定する方法についても開示している。
【００３０】
また、非特許文献１は、さらに自由に行単位で任意の露光時間制御を行うことを可能とした構成について開示している。非特許文献１の手法は、行単位で画像の明るさに応じて個別の露光時間を設定することによって、ダイナミックレンジを拡大することを可能とした構成である。
【００３１】
これらの特許文献３，４、非特許文献１の構成は、電子シャッタを用いた構成によって領域単位の露光時間制御を実行するものである。
さらに、特許文献５は、電子シャッタにより、各画素に蓄積された電荷を一旦、リセットするリセット走査を１行ごとに交互に実行する２回処理、あるいは３行に１行の割合で３回実行する複数回のリセット処理を行い、かつメカニカルシャッタと電子シャッタの併用構成によって露光制御を行うことにより、行単位で予め設定した複数の異なる露光時間とした撮影を行うことで、ダイナミックレンジを拡大する構成を開示している。
【００３２】
しかしながら、上記の特許文献５では、行単位で予め複数の異なる露光時間を設定して撮影を行うものであり、被写体の輝度に応じた適応的な露光時間制御を行う構成とはなっていない。
【００３３】
（３）従来技術のまとめ
上述したように、フォーカルプレーンシャッタを利用した構成では、例えば行単位で露光期間のずれが発生し、このずれに起因する歪みが発生する。
また、領域単位の露光期間制御を行ってダイナミックレンジを拡大しようとする技術が知られているが、この構成においても、フォーカルプレーンシャッタを利用した場合には行単位の露光期間のずれを防止できず、このずれに起因する歪みが発生してしまう。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】特開平１１−４１５２３号公報
【特許文献２】特開２０００−１５２０５７号公報
【特許文献３】特開２００６−２５３８７６号公報
【特許文献４】特願２００６−５４２３３７号公報
【特許文献５】特開２００８−１１８５７３号公報
【非特許文献】
【００３５】
【非特許文献１】Ｊｅｎｗｅｉ  Ｇｕ  ｅｔ  ａｌ，  Ｃｏｄｅｄ  Ｒｏｌｌｉｎｇ  Ｓｈｕｔｔｅｒ  Ｐｈｏｔｏｇｒａｐｈｙ：  Ｆｌｅｘｉｂｌｅ  Ｓｐａｃｅ−Ｔｉｍｅ  Ｓａｍｐｌｉｎｇ，  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｐｈｏｔｏｇｒａｐｈｙ（ＩＣＣＰ），  ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【００３６】
上述したように、フォーカルプレーン動作を行う撮像素子では、動きのある被写体の撮影時などに撮影画像の歪みが発生してしまう。
本発明は例えば、このような状況に鑑みてなされたものであり、フォーカルプレーン動作を行う撮像素子において、撮影画像の歪みを抑制可能とした撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【００３７】
また、本発明の一実施例構成では、電子シャッタとメカニカルシャッタとを併用した構成において、被写体の明るさに応じて領域単位で適応的な露光時間制御を実現する撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【００３８】
また、本発明の一実施例構成においては、例えば、フォーカルプレーンシャッタ動作による画像撮影において、歪みを低減した広ダイナミックレンジの画像の撮影を可能とした撮像装置、および撮像装置制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００３９】
本発明の第１の側面は、
撮像素子と、
前記撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御部と、
前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御部を有し、
前記電子シャッタ制御部は、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う撮像装置にある。
【００４０】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、事前撮影画像から取得する画像領域単位の輝度情報に応じて、後続撮影画像の画像領域単位の露光時間を算出する露光時間演算部を有し、前記電子シャッタ制御部は、前記露光時間演算部の算出した画像領域単位の露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う。
【００４１】
さらに、本発明の撮像装置の一実施態様において、前記露光時間演算部は、事前撮影画像から取得する画像領域単位の輝度が低輝度である画像領域に対しては、後続撮影画像の露光時間を長時間とし、事前撮影画像から取得する画像領域単位の輝度が高輝度である画像領域に対しては、後続撮影画像の露光時間を短時間とする画像領域単位の露光時間算出処理を実行する。
【００４２】
さらに、本発明の撮像装置の一実施態様において、前記露光時間演算部は、動画撮影時においては、撮影動画を構成する画像フレームの先行撮影画像フレームから取得する輝度情報に応じて、後続撮影画像フレームの画像領域単位の露光時間を算出する。
【００４３】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、事前撮影画像に基づく輝度情報に応じて画像領域としての１以上の行から構成される行ブロック単位で露光時間を算出する露光時間演算部を有し、前記電子シャッタ制御部は、前記露光時間演算部の算出した行ブロック単位の露光時間と、前記メカニカルシャッタの行ブロック単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う構成であり、
行ブロック番号をｉ、
行ブロックｉの露光時間をＴｅｘｉ、
行ブロックｉのメカニカルシャッタ動作時間をＴｍｉ、
としたとき、行ブロックｉの露光開始時間：Ｔｒｉを、
Ｔｒｉ＝Ｔｍｉ−Ｔｅｘｉ
上記式に従って算出する。
【００４４】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、事前撮影画像に基づく輝度情報に応じて画像領域としての１画素以上の画素から構成される行列ブロック単位で露光時間を算出する露光時間演算部を有し、前記電子シャッタ制御部は、前記露光時間演算部の算出した行列ブロック単位の露光時間と、前記メカニカルシャッタの行単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う構成であり、
行ブロック番号をｉ、列ブロック番号をｊ、
行列ブロックｉｊの露光時間をＴｅｘｉｊ、
行列ブロックｉｊのメカニカルシャッタ動作時間をＴｍｉ、
としたとき、行列ブロックｉｊの露光開始時間：Ｔｒｉｊを、
Ｔｒｉｊ＝Ｔｍｉ−Ｔｅｘｉｊ
上記式に従って算出する。
【００４５】
さらに、本発明の撮像装置の一実施態様において、前記撮像素子は、画素値読み出し処理を行単位で順次実行する撮像素子であり、前記メカニカルシャッタ制御部は、前記撮像素子の画素値読み出し処理に先行する時間に前記メカニカルシャッタを動作させて露光時間を終了させる制御を行う。
【００４６】
さらに、本発明の撮像装置の一実施態様において、前記電子シャッタ制御部は、前記撮像素子の画像領域単位で、撮像素子の各画素に蓄積された電荷をリセットするリセット信号を出力し、各画像領域単位の露光時間を、前記リセット信号出力後から前記メカニカルシャッタの動作時間までの時間として設定して画像領域単位の露光時間制御を行う。
【００４７】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、画像領域単位で異なる露光時間を設定した撮像処理によって撮像素子が出力する画像を入力し、該入力画像に対して露光時間の逆数に相当するゲインをかけて出力画像の画素値算出を行う信号処理部を有する。
【００４８】
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記メカニカルシャッタを動作させずに撮影した第１画像と、前記メカニカルシャッタを動作させて撮影した第２画像の輝度比較を実行し、該輝度比較情報に基づいて、前記第２画像に対して設定した領域単位の算出露光時間と、実際に撮影された第２画像の領域単位の実露光時間との差分を算出し、算出した露光時間の差分を補償する画素値補正を実行する感度差補償部を有する。
【００４９】
さらに、本発明の第２の側面は、
撮像装置において実行する撮像装置制御方法であり、
電子シャッタ制御部が、撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御ステップと、
メカニカルシャッタ制御部が、前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御ステップを実行し、
前記電子シャッタ制御ステップにおいて、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出するステップと、
算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行うステップを実行する撮像装置制御方法にある。
【００５０】
さらに、本発明の第３の側面は、
撮像装置において撮像処理を実行させるプログラムであり、
電子シャッタ制御部に、撮像素子の露光開始時間を電子シャッタ動作によって制御させる電子シャッタ制御ステップと、
メカニカルシャッタ制御部に、前記撮像素子の露光終了時間をメカニカルシャッタ動作によって制御させるメカニカルシャッタ制御ステップを実行し、
前記電子シャッタ制御ステップにおいて、
画像領域単位で個別に設定した露光時間と、前記メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出するステップと、
算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行うステップを実行させるプログラムにある。
【００５１】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００５２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００５３】
本発明の一実施例によれば、撮像装置において領域単位の露光時間設定を行い、かつ画像歪みを低減した画像の撮影を実現する装置、方法が提供される。
具体的には、撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御部と、撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御部を有する。電子シャッタ制御部は、例えば行ブロック単位等の所定の画像領域単位で個別に設定した露光時間と、メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う。
例えば行ブロック単位でメカニカルシャッタ動作時間から露光時間を減算して、露光開始時間としてのリセット時間を電子シャッタ動作時間として算出して領域単位の露光時間制御を実行する。
【００５４】
この処理により、画像領域単位で任意の露光時間に設定した露光制御が可能となり、また、露光終了時間をメカニカルシャッタで行間の時間差を少なくすることが可能となり、例えば動被写体の撮影時に発生しやすい画像歪みを低減することが可能となる。
【図面の簡単な説明】
【００５５】
【図１】撮像素子の構成と撮像処理について説明する図である。
【図２】撮像素子の構成と撮像処理について説明する図である。
【図３】フォーカルプレーン動作による撮像処理シーケンスについて説明する図である。
【図４】フォーカルプレーン動作による撮像処理シーケンスについて説明する図である。
【図５】フォーカルプレーン動作による撮像処理における問題点としての画像歪みの発生例について説明する図である。
【図６】撮像装置の構成と処理について説明する図である。
【図７】メカニカルシャッタの構成と動作例について説明する図である。
【図８】領域単位の露光時間の設定処理例について説明する図である。
【図９】輝度画像と輝度統計量と、輝度情報に基づいて算出される領域単位の露光時間の算出処理例について説明する図である。
【図１０】撮像装置の実行する領域単位の露光時間制御の処理例について説明する図である。
【図１１】行列ブロック単位の露光制御処理について説明する図である。
【図１２】所定領域単位の露光時間制御例について説明する図である。
【図１３】所定領域単位の露光時間制御を行う撮像素子の領域区分例について説明する図である。
【図１４】感度差補償部を有する撮像装置の構成と処理について説明する図である。
【発明を実施するための形態】
【００５６】
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．撮像装置の構成例について
２．電子シャッタの利用による領域単位の露光時間制御の基本構成について
３．露光時間演算部における領域単位の露光時間算出処理について
４．メカニカルシャッタ動作を考慮した電子シャッタ制御による領域単位の露光時間制御処理について
５．その他の実施例について
６．メカニカルシャッタの動作変化に対応する補正処理について
【００５７】
［１．撮像装置の構成例について］
【００５８】
まず、撮像装置の一構成例について、図６を参照して説明する。
図６に示すように、撮像装置は、光学レンズ２０１、いわゆる遮光板によって構成されるメカニカルシャッタ２０２、ＣＭＯＳイメージセンサ等によって構成される撮像素子２０３、信号処理部２０４、露光時間演算部２０６、電子シャッタ制御部２０７、メカニカルシャッタ制御部２０８を有する。
【００５９】
なお、撮像装置は、動画や静止画を撮影可能な撮像装置であり、被写体輝度に応じた領域単位の露光時間制御を実現する。
例えば動画撮影時に、先行画像フレームにおいて領域単位の輝度情報を取得し、次の撮影フレームにおいて、この領域単位の計測輝度情報に基づいて領域単位の露光時間制御を行う。
静止画撮影時には、撮影画像の直前の撮影画像を利用して領域単位の輝度情報を取得し、撮影しようとする静止画の撮影時に、領域単位の計測輝度情報に基づく領域単位の露光時間制御を行う。
【００６０】
光学レンズ２０１を介した入射光は、メカニカルシャッタ２０２が開いている間は、撮像素子（ＣＭＯＳイメージセンサ）２０３に入射し、入射光に応じて撮像素子の各画素において電荷を蓄積し、蓄積電荷に基づく光電変換信号を画像データとして信号処理部２０４に出力する。
撮像素子（ＣＭＯＳイメージセンサ）２０３は、先に図１を参照して説明したと同様の構成を有する。なお、詳細については後述するが、撮像素子（ＣＭＯＳイメージセンサ）２０３は領域単位の露光時間制御が可能な構成を持つ。
【００６１】
信号処理部２０４では、入力画像に所定の画像処理、例えばホワイトバランス調整処理や、ガンマ補正処理などの画像処理を施して出力画像２０５を生成して出力する。また、信号処理部２０４では、撮影された画像の領域単位の露光時間を考慮して、各領域における露光時間の逆数のゲインをかけて出力画素値を調整する。これらの処理を行って出力画像２０５を生成する。
【００６２】
さらに、信号処理部２０４では、次の画像撮影時の領域単位の露光時間制御のための情報として、先行して撮影された画像の領域単位の輝度成分を算出し、露光時間演算部２０６に出力する。
【００６３】
露光時間演算部２０６は、例えば信号処理部２０４から入力する画像領域単位の輝度成分に基づいて、画像の領域単位の露光時間（シャッタ時間）を決定し、決定した領域単位の露光時間情報を電子シャッタ制御部２０７に出力する。
【００６４】
電子シャッタ制御部２０７は、露光時間演算部２０６が決定した領域単位の露光時間（シャッタ時間）と、予め既定されたメカニカルシャッタの動作タイミングに基づいて、露光開始（先幕）を制御する電子シャッタの動作タイミングを制御してＣＭＯＳイメージセンサ２０３の露光開始時間を制御する。
【００６５】
一方、メカニカルシャッタ制御部２０８は、撮像素子の画素読み出し処理に先行する予め既定されたタイミングで露光終了（後幕）を制御するメカニカルシャッタ２０２を動作させる。
【００６６】
メカニカルシャッタ２０２は、図７（Ａ）に示すように露光処理を終了させる後幕に相当するシャッタ幕（遮光板）を有しており、図７（Ｂ）に示すように、行方向に所定の速度で走行する。
図７（Ｂ）は縦軸が撮像素子の行、横軸が時間である。メカニカルシャッタ２０２の動作により、上側の行から順次、遮光され、最後に最下行が遮光される。
【００６７】
一例として、撮像素子のある１つの行、行Ｌ１では、時間Ｔ１以前の期間では、光が届いて画素に電荷が蓄積されるが、露光時間Ｔ１以後はメカニカルシャッタ２０２によって遮光され画素に対する電荷蓄積が停止する。
【００６８】
［２．電子シャッタの利用による領域単位の露光時間制御の基本構成について］
次に、電子シャッタの利用による領域単位の露光時間制御の基本構成について説明する。
撮像素子２０３は、所定の画素領域単位で異なる露光時間を設定可能なイメージセンサである。
一例として、行単位で異なる露光時間を設定可能とした露光制御構成について図８を参照して説明する。
なお、図８では、行単位の露光時間制御の基本的構成について説明するため、メカニカルシャッタ２０２は全記間で開状態（オープン）であるものとして説明する。
図８に示す複数の矩形ブロックは、行または複数行からなる行ブロック単位の露光時間を示している。
【００６９】
読み出しタイミングは、フォーカルプレーン動作に従って、従来通り、行ごとに順次読み出しを行う。図８に示すライン２１１が読み出しタイミングを示している。行単位の順次走査により、各行単位で一定時間ずれたタイミングでの読み出し処理が行われる。
【００７０】
このライン２１１で示される読み出し処理の直後から、即時、撮像素子の各画素に対する次の電荷蓄積が開始されるが、ライン２１１で示される読み出し処理後に蓄積される電荷をリセットするリセット走査を電子シャッタ動作によって実行する。
すなわち、電子シャッタ動作によって図８に示すリセット（Ｒ）信号を行単位で出力して露光開始タイミングを行ごとに制御する。
【００７１】
図８に示すリセット（Ｒ）信号は、電子シャッタ動作による信号であり、読み出し処理後に蓄積される電荷をリセットする。ライン２１１の読み出し処理後からリセット（Ｒ）信号までに画素に蓄積された電荷はリセットされる。
この結果、リセット（Ｒ）信号から次の読み出し信号ライン２１１までの期間（図に示す矩形ブロック）が画素値に相当する電荷の蓄積期間として設定されることになる。
【００７２】
図８に示すように、リセット信号（Ｒ）は、行単位または複数行からなる行ブロック単位で、異なるタイミングで出力可能であり、行単位または複数行からなる行ブロック単位で、異なる露光時間を設定することができる。
【００７３】
具体的には、被写体が明るい領域では露光時間を短く設定する。一方、被写体が暗い領域では、露光時間を長く設定する。これらを組み合わせて出力画像を生成することで、ダイナミックレンジの広い画像を出力することができる。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理が実行される。
【００７４】
なお、図８に示す例では、露光終了時間を制御する後幕としてのメカニカルシャッタについては省略して説明したが、露光終了時間を制御する後幕としてのメカニカルシャッタの利用構成については後述する。
【００７５】
撮像素子２０３により取得した画像信号は、信号処理部２０４に出力される。
信号処理部２０４では、例えば図８を参照して説明した行ごとの露光時間を考慮して、その逆数のゲインを乗算する処理を行う。この処理により、ダイナミックレンジの広く良好なＳ／Ｎの画像を取得することができる。
【００７６】
すなわち、被写体が明るい領域では露光時間を短く設定して得られた画素値を取得し、一方、被写体が暗い領域では、露光時間を長く設定して得られた画素値を取得して、これらを組み合わせて出力画像を生成する。この処理によってダイナミックレンジの広い画像を出力することができる。なお、最終的な画素値の出力に際しては、各露光時間に基づく画素値調整処理として、露光時間の逆数のゲインの乗算処理が実行される。
【００７７】
信号処理部２０４では、さらにホワイトバランス調整処理やガンマ補正処理等、従来と同様のカメラ信号処理を行い、出力画像２０５を得る。
【００７８】
さらに、信号処理部２０４は、前述したように、次の画像撮影時の領域単位の露光時間制御のための情報として、先行して撮影された画像の領域単位の輝度成分を算出し、露光時間演算部２０６に出力する。例えば図９（Ａ）に示すような輝度画像である。
【００７９】
［３．露光時間演算部における領域単位の露光時間算出処理について］
次に、露光時間演算部における領域単位の露光時間算出処理について説明する。
露光時間演算部２０６は、信号処理部２０４から画像領域単位の輝度情報を入力する。例えば図９（Ａ）に示す輝度画像を取得する。
図９（Ａ）に示す輝度画像は、撮影画像中の被写体の各画素の輝度情報によって構成されている。
なお、前述したように、静止画の撮影処理においては、ユーザによる撮影画像フレームの直前に事前撮影を行い、事前撮影フレームから輝度画像を取得する。取得した輝度情報を利用して次のユーザによる撮影画像フレームに対して領域単位の露光時間制御を行う。
【００８０】
また、動画撮影においては、先行撮影フレームの画像を使用して、図９（Ａ）に示すような輝度画像を取得する。すなわち、先行撮影画像フレームから輝度画像を取得し、この輝度情報を利用して後続する撮影画像に対する領域単位の露光時間制御を行う。
【００８１】
露光時間演算部２０６は、まず、信号処理部２０４から取得した輝度画像を図９（Ａ）示すように複数の行からなる行ブロックごとに分割する。
次に、図９（Ｂ）に示すような行ブロック単位の輝度統計量を算出する。図９（Ｂ）の縦軸は行であり、横軸は輝度統計量を表す。輝度統計量は各行ブロックの明るさを表す統計量である。例えばブロックの輝度平均値などが利用される。
図９（Ｂ）に示す例では、一番上の行ブロックが、最も高輝度の行ブロックであり、一番下の行ブロックが、最も低輝度の行ブロックである例である。
【００８２】
図９（Ｂ）に示す行ブロック単位の輝度統計量は、図９（Ａ）示す輝度画像に対応している。図９（Ａ）示す輝度画像の最も上の行ブロックは空のような明るい被写体であり、最上行ブロックの平均輝度は高い。一方、最も下の行ブロックは土のような暗い被写体であり、最下行ブロックの平均輝度は低い。
【００８３】
このように、露光時間演算部２０６は、図９（Ａ）に示す輝度画像を信号処理部２０４から取得して、図９（Ｂ）に示す領域単位（本実施例では行ブロック単位）の輝度統計量を生成する。
露光時間演算部２０６は、さらに、図９（Ｂ）に示す領域単位の輝度統計量に基づいて図９（Ｃ）に示すような領域単位（本例では行ブロック単位）で設定すべき露光時間を算出する。
【００８４】
なお、前述したように、この領域単位の露光時間は、静止画撮影においては、事前撮像画像に基づいて算出され、次にユーザの撮影する静止画に適用される。
動画撮影処理においては先行撮影画像に基づいて算出されて、次の撮影画像フレームに適用される。
【００８５】
露光時間演算部２０６は、露光時間の算出において以下のような処理を行う、
明るい領域、すなわち高輝度領域については短い露光時間を設定する、
暗い領域、すなわち低輝度領域については長い露光時間を設定する。
このような領域単位の露光時間の設定を実行することで、高輝度領域においては、画素値が飽和してしまうことを防止し、有効画素値をえることができる。また、低輝度領域についてはＳ／Ｎの高い画素値を取得することができる。
【００８６】
図９（Ｃ）に示すように、
最も高輝度の行ブロックである一番上の行ブロックの露光時間は短く設定し、
最も低輝度の行ブロックである一番下の行ブロックの露光時間は長く設定する。
この処理により、高輝度領域〜低輝度領域の各領域でＳ／Ｎが改善された画素値を取得することができ、ダイナミックレンジの広くＳ／Ｎの良い画像を撮影することが可能になる。
【００８７】
露光時間演算部２０６は、上述した処理により、領域単位（本例では行ブロック単位）の露光時間を決定し、決定した領域単位の露光時間情報を電子シャッタ制御部２０７に出力する。
【００８８】
［４．メカニカルシャッタ動作を考慮した電子シャッタ制御による領域単位の露光時間制御処理について］
次に、メカニカルシャッタ動作を考慮した電子シャッタ制御による領域単位の露光時間制御処理について説明する。
【００８９】
電子シャッタ制御部２０７は、領域単位の露光時間情報に基づいて、シャッタ制御を行う。具体的には、電子シャッタ制御部２０７による撮像素子（ＣＭＯＳイメージセンサ）２０３の露光開始時間の制御を実行する。
個の制御に際して、メカニカルシャッタ制御部２０８によって制御されるメカニカルシャッタ２０２の動作タイミングを考慮した処理を行う。
【００９０】
これらの制御の詳細について図１０を参照して説明する。
図１０（Ａ）は図９（Ｃ）に示した露光時間演算部２０６が算出した領域単位（本例では行ブロック単位）の露光時間の設定結果である。すなわち被写体の輝度に基づいて算出した領域単位の露光時間の設定情報である。
図１０（Ａ）に示す露光時間の設定例では、
最も高輝度の行ブロックである一番上の行ブロックの露光時間は短い設定であり、
最も低輝度の行ブロックである一番下の行ブロックの露光時間は長い設定である。
【００９１】
図１０（Ｂ）は、図１０（Ａ）に示す領域単位の露光時間の設定に応じた領域単位の露光時間制御を実行するためのシャッタ制御例を示す図である。
図１０（Ｂ）には、各行ブロックの代表の行の露光タイミングを表している。
なお、行ブロックは複数の行からなるが、説明を簡潔にするため、図１０（Ｂ）では、１つの行ブロックから１つの代表行のみを選択して、その代表行における露光タイミングを示している。以下の図１０に関する説明では、「行」は行ブロックの代表行を意味する。
【００９２】
図１０（Ｂ）は、縦軸が撮像素子の行、横軸が時間を示すグラフである。
リセット信号（Ｒ）は、各行の露光開始時間となる電子シャッタ動作タイミングである。
リセット信号（Ｒ）の入力前に各行の画素に蓄積された電荷はリセットされ、リセット信号（Ｒ）の入力後から、図１０（Ｂ）に示すメカニカルシャッタタイミング２２１までの期間に画素に蓄積された電荷が画素値として出力される。
メカニカルシャッタタイミング２２１以後は遮光期間であり、その後、読み出しタイミング２２２において行単位で、画素値の順次読み出し処理が実行される。すなわちフォーカルプレーン動作に従った画素値読み出し処理が実行される。
なお、撮像素子２０３の垂直走査回路は、図１０（Ｂ）に示すような各行ごとの電子シャッタのタイミングでリセットパルスを生成する回路を有している。
【００９３】
なお、図１０には、１つの画像フレームについての、
（ａ）リセット（Ｒ）信号入力
（ｂ）メカニカルシャッタ動作タイミング２２１
（ｃ）読み出しタイミング２２２、
を示しているが、例えば動画撮影時には、この（ａ），（ｂ），（ｃ）の処理がフレーム単位で繰り返し実行される。
【００９４】
図１０（Ａ）に示すように、先行撮影画像の領域単位の輝度に基づく露光時間の設定例は、
先頭の行ブロックの代表行（以下、先頭行と呼ぶ）の露光時間をＴｅｘ１、
最終の行ブロックの代表行（以下、最終行と呼ぶ）の露光時間をＴｅｘＮ、
が設定されている。
この領域単位の露光時間の設定は、先に、図９を参照して説明したように、露光時間演算部２０６が先行撮影画像の領域単位の輝度情報に基づいて算出した領域単位の露光時間である。
【００９５】
メカニカルシャッタ制御部２０８は、図１０（Ｂ）に示すように、イメージセンサの読み出し２２２より早く開始するように制御する。
【００９６】
電子シャッタ制御部２０７は、図１０（Ｂ）に示す領域単位の露光時間の設定に従って、領域単位のリセット信号（Ｒ）出力タイミングを制御する。すなわち、行単位で露光開始時間としてのリセット信号（Ｒ）の出力タイミングを決定して、撮像素子２０３に出力する。
この電子シャッタの動作タイミングは、図１０（Ｂ）に示す領域単位の露光時間の設定情報と、メカニカルシャッタ動作タイミング２２１に基づいて決定する。
【００９７】
図１０（Ｂ）に示すように、露光時間を終了させる後幕として機能するメカニカルシャッタタイミング２２１は、イメージセンサの読み出し２２２より早く開始するように制御する。メカニカルシャッタの走査速度は既知であり、図１０（Ｂ）に示すように、
先頭行のメカニカルシャッタの動作タイミングをＴｍ１、
最終行のメカニカルシャッタの動作タイミングをＴｍＮ、
で表す。
【００９８】
電子シャッタ制御部２０７では、これらの情報から、露光時間を開始させる先幕として機能するリセット信号（Ｒ）を出力する電子シャッタ動作タイミングを決定する。
例えば、図１０（Ｂ）に示すように、
先頭行の電子シャッタ動作タイミングをＴｒ１、
最終行の電子シャッタ動作タイミングをＴｒＮ、
とする。
【００９９】
電子シャッタ制御部２０７は、Ｔｒ１、ＴｒＮを、以下の式によって算出する。
Ｔｒ１＝Ｔｍ１−Ｔｅｘ１
ＴｒＮ＝ＴｍＮ−ＴｅｘＮ
ただし、
Ｔｍ１は、先頭行のメカニカルシャッタの動作タイミング
ＴｍＮは、最終行のメカニカルシャッタの動作タイミング
Ｔｅｘ１は、先頭行の露光時間、
ＴｅｘＮは、最終行の露光時間、
である。
【０１００】
上記式によって、
先頭行の電子シャッタ動作タイミング：Ｔｒ１、
最終行の電子シャッタ動作タイミング：ＴｒＮ、
これらを算出する。
【０１０１】
その他の行についても、同様の算出式に従って、電子シャッタ動作タイミング（リセット信号（Ｒ）出力タイミング）を算出する。
例えば、行ｉの電子シャッタタイミングＴｒｉは、
Ｔｒｉ＝Ｔｍｉ−Ｔｅｘｉ
上記式によって算出する。
ただし、
Ｔｍｉは、行ｉにおけるメカニカルシャッタの動作タイミング、
Ｔｅｘｉは、行ｉにおける露光時間、
である。
【０１０２】
このように、本実施例の撮像装置は、
露光終了時間を規定するメカニカルシャッタ動作タイミング２２１を、画素値の読み出しタイミング２２２に先行して設定する。さらに、
領域単位のメカニカルシャッタ動作タイミング２２１と、領域単位の露光時間設定情報（図１０（Ａ））に基づいて、領域単位で露光開始時間としての電子シャッタ動作タイミング（リセット信号（Ｒ）の出力タイミング）を決定する。
これらの処理を行うことで、図１０（Ｂ）に示すメカニカルシャッタ動作タイミング２２１の左側の矩形ブロックとして示す領域単位（本実施例では行ブロック単位）の露光時間設定を実現している。
【０１０３】
この領域単位の露光時間は、輝度測定を行った先行撮影画像に基づくものであり、被写体の明るさを反映した露光時間を設定したものである。
このように本実施例の構成では、領域単位の被写体輝度に基づく、領域単位の露光時間の設定処理が実現される。結果として、高輝度領域〜低輝度領域まで広範囲の輝度を持つ被写体を撮影した場合でも、高輝度領域での画素値飽和を防止し、低輝度領域でのノイズの少ない有効画素値の取得が可能となり、広ダイナミックレンジ画像を出力することが可能となる。なお、異なる露光時間の設定を行った場合には、前述したように信号処理部２０４において露光時間に応じたゲイン値による画素値調整を行って出力画像を生成する。
【０１０４】
さらに、本実施例の撮像装置では、図１０（Ｂ）に示すように、露光時間の終了を規定するメカニカルシャッタ動作タイミング２２１を読み出しタイミング２２２に先行して設定している。メカニカルシャッタ動作タイミング２２１において領域単位（本例では行ブロック単位）の露光終了時間が設定される。
図１０（Ｂ）に示すように、メカニカルシャッタ動作タイミング２２１の行間の時間遅れは、フオーカルプレーン動作として実行される読み出しタイミングの行間の時間遅れに比較して小さい。
【０１０５】
具体的には、例えば先頭行から最終行までのメカニカルシャッタの動作時間Ｔｍ（ａｌｌ）は、以下の式で算出される。
Ｔｍ（ａｌｌ）＝ＴｍＮ−Ｔｍ１
ただし、
Ｔｍ１は、先頭行のメカニカルシャッタの動作タイミング
ＴｍＮは、最終行のメカニカルシャッタの動作タイミング
である。
【０１０６】
一方、先頭行から最終行までの画素読み出し処理の動作時間Ｔｒｅａｄ（ａｌｌ）は、以下の式で算出される。
Ｔｒｅａｄ（ａｌｌ）＝ＴｒｅａｄＮ−Ｔｒｅａｄ１
ただし、
Ｔｒｅａｄ１は、先頭行の読み出しタイミング
ＴｒｅａｄＮは、最終行の読み出しタイミング
である。
【０１０７】
図１０（Ｂ）から理解されるように、
（ＴｍＮ−Ｔｍ１）＜（ＴｒｅａｄＮ−Ｔｒｅａｄ１）
である。すなわち、
Ｔｍ（ａｌｌ）＜Ｔｒｅａｄ（ａｌｌ）
である。
【０１０８】
すなわち、メカニカルシャッタを露光期間の終了時間の制御に用いることで、上端行から最終行までの露光期間終了時間の時間ずれを小さくすることが可能となる。
結果として、例えば動く被写体の撮影やカメラを移動させながら撮影する場合に、撮影画像の上端も下端もほぼ同一時間帯での被写体撮影が可能となり、図５を参照して説明したような歪みの発生のない、または抑制した高品質な画像を生成、出力することが可能となる。
【０１０９】
［５．その他の実施例について］
次に、本発明に係る撮像装置の他の構成例について説明する。
前述した実施例における撮像素子（ＣＭＯＳイメージセンサ）２０３は、露光時間制御単位を行単位、すなわち、図８に示すように行単位で任意の露光時間を制御可能とした構成である。
【０１１０】
しかし、露光時間の制御単位は、行単位に限らず、行以外の様々な撮像素子の領域単位に設定することが可能である。
例えば上述した本発明の手法と、先に説明した特許文献３、４、あるいは、非特許文献１に示される構成とを組み合わせることで、任意の領域ごとに異なる露光時間をとする制御を行うことも可能である。
【０１１１】
露光制御単位としては、行単位に限らす、画素ごと、あるいは複数の画素からなるブロックごとに制御する構成も可能である。例えば、図１０（ｂ）を参照して説明した露光開始時間を制御するリセット信号を画素ごと、あるいは画素ブロックごとに入力する構成とした撮像素子を用いることで、画素ごと、あるいは画素ブロックごとの露光時間設定が可能となる。
【０１１２】
例えば、図１１の様に行列単位でブロック分割し、行列ブロックごとに露光時間制御を行う構成が可能である。
露光時間演算部２０６は、信号処理部２０４から画像領域単位の輝度情報を入力する。例えば図１１（Ａ）に示す輝度画像を取得する。
図１１（Ａ）に示す輝度画像は、撮影画像中の被写体の各画素の輝度情報によって構成されている。
【０１１３】
露光時間演算部２０６は、まず、信号処理部２０４から取得した輝度画像を図１１（Ａ）示すように１以上の行と列からなる行列ブロック単位で分割する。
なお、行列ブロックの識別子を、
上からのブロック数に相当するブロックの行方向識別子：ｉ
左からのブロック数に相当するブロック列方向識別子：ｊ
これらを用いて、
行列ブロックｉｊとして示している。
行列ブロックｉｊは、上からｉ番目のブロック、左からｊ番目のブロックに対応する行列ブロックであることを示している。
【０１１４】
露光時間演算部２０６は、次に、図１１（Ｂ）に示すような行列ブロック単位の輝度統計量を算出する。図１１（Ｂ）の各軸は行、列、輝度統計量を表す。輝度統計量は各行列ブロックの明るさを表す統計量である。例えばブロックの輝度平均値などが利用される。
【０１１５】
このように、露光時間演算部２０６は、図１１（Ａ）に示す輝度画像を信号処理部２０４から取得して、図１１（Ｂ）に示す領域単位（本実施例では行列ブロック単位）の輝度統計量を生成する。
露光時間演算部２０６は、さらに、図１１（Ｂ）に示す領域単位の輝度統計量に基づいて図１１（Ｃ）に示すような領域単位（本例では行列ブロック単位）で設定すべき露光時間を算出する。
【０１１６】
なお、前述したように、この領域単位の露光時間は、静止画撮影においては、事前撮像画像に基づいて算出され、次にユーザの撮影する静止画に適用される。
動画撮影処理においては先行撮影画像に基づいて算出されて、次の撮影画像フレームに適用される。
【０１１７】
露光時間演算部２０６は、露光時間の算出において以下のような処理を行う、
明るい領域、すなわち高輝度領域については短い露光時間を設定する、
暗い領域、すなわち低輝度領域については長い露光時間を設定する。
このような領域単位の露光時間の設定を実行することで、高輝度領域においては、画素値が飽和してしまうことを防止し、有効画素値をえることができる。また、低輝度領域についてはＳ／Ｎの高い画素値を取得することができる。
【０１１８】
露光時間演算部２０６は、上述した処理により、領域単位（本例では行列ブロック単位）の露光時間を決定し、決定した領域単位の露光時間情報を電子シャッタ制御部２０７に出力する。
【０１１９】
電子シャッタ制御部２０７では、これらの情報から、露光時間を開始させる先幕として機能するリセット信号（Ｒ）を出力する電子シャッタ動作タイミングを行列ブロック単位で決定する。
この場合、フォーカルプレーンシャッタ動作、および、メカニカルシャッタ動作については、例えば、先に図１０を参照して説明したと同様、行単位での制御となるが、露光開始となるリセット動作については行方向、列方向について独立に制御する。
【０１２０】
行列ブロックｉｊの露光時間を開始させる先幕として機能するリセット信号（Ｒ）を出力する、行ｉ、列ｊの電子シャッタタイミングＴｒｉｊは、
Ｔｒｉｊ＝Ｔｍｉ−Ｔｅｘｉｊ
上記式によって算出する。
ただし、
Ｔｍｉは、行列ブロックｉｊにおけるメカニカルシャッタの動作タイミング、
Ｔｅｘｉｊは、行列ブロックｉｊにおける露光時間（図１１（ｃ）参照）、
である。
上記の露光時間制御によって、様々な画素集合である行列ブロック単位での露光時間制御が実現される。
【０１２１】
また、上述した実施例では、先行撮影した画像の輝度情報に基づいて、次の撮影画像に対する領域単位の露光時間を制御する構成例を説明したが、別の例として、図１２に示すように、異なる露光時間を周期的に制御する構成としてもよい。
【０１２２】
露光制御単位の設定例としては、例えば図１３に示すように、画素単位や、特定の画素周期、あるいは画素パターンなど、様々な領域単位で制御することが可能である。図１３は、所定領域単位の露光時間制御を行う撮像素子の領域区分例について説明する図である。
【０１２３】
図１３（ａ）は、２行単位で２つの露光時間の設定を行う例である。
図１３（ｂ）は、４画素単位で２つの露光時間の設定を行う例である。
図１３（ｃ）は、水平、垂直各３画素のライン単位で２つの露光時間の設定を行う例である。
このような様々な領域単位で、図１０（ｂ）を参照して説明したリセット信号出力を可能とした撮像素子を構成し、その撮像素子に対して、領域単位でリセット信号の出力を行う構成とすることで、行単位以外の様々な形状の領域単位での露光時間制御が可能となる。
【０１２４】
［６．メカニカルシャッタの動作変化に対応する補正処理について］
次に、メカニカルシャッタの動作変化に対応する補正処理構成を持つ実施例について説明する。
先に説明した実施例では、図７を参照して説明したように、メカニカルシャッタの走査速度は既知であり、その走査速度は変わらないものとして説明したが、経年やその他の電気的、機械的な特性の変化によって、メカニカルシャッタの走査速度が変化することが生じうる。
【０１２５】
そのような場合、先に図８を参照して説明した電子シャッタ（リセット信号（Ｒ））の出力タイミングの算出式を用いた処理を行うと、誤った露光時間の設定がなされることがある。
【０１２６】
具体的には、以下に示す露光時間演算部２０６において算出する電子シャッタタイミングＴｒｉの算出式、
Ｔｒｉ＝Ｔｍｉ−Ｔｅｘｉ
ただし、
Ｔｍｉは、行ｉにおけるメカニカルシャッタの動作タイミング、
Ｔｅｘｉは、行ｉにおける露光時間、
上記式を用いて、電子シャッタ（リセット信号（Ｒ））の出力タイミングを算出した場合、制御すべき露光時間（Ｔｅｘｉ）が得られなくなる可能性がある。
【０１２７】
すなわち、上記式において、
行ｉにおけるメカニカルシャッタの動作タイミングである［Ｔｍｉ］の変動に起因するエラーが発生する可能性がある。
【０１２８】
以下、このようなエラーの発生を防止するため、図１４に示すように信号処理部２０４内に感度差補償部を備えた構成例について説明する。
信号処理部２０４に構成される感度差補償部の処理例について説明する。
静止画撮影においては、露光時間演算部２０６は、事前撮像を行うことによってカメラ信号処理部２０４から輝度画像を取得する。
例えば、先に図９（ａ）を参照して説明した輝度画像である。
輝度情報を取得するための事前撮影の際には、電子シャッタ走査と読み出し走査によるフォーカルプレーンシャッタ動作のみによって画像を取得する。すなわち、メカニカルシャッタを露光期間の終了時間を規定するために用いずに輝度画像を得るための事前撮影を行う。
この事前撮影処理により、メカニカルシャッタの影響を受けずに輝度統計量を算出することができる。
【０１２９】
その後、本撮影として、前述した実施例の図１０を参照して説明した撮影処理、すなわち、
電子シャッタ（リセット信号（Ｒ））を用いて露光開始時間を制御し、
メカニカルシャッタを用いて、露光終了時間を制御して、
撮影画像を得る。
この本撮影の際には、露光時間演算部２０６において算出する電子シャッタタイミングＴｒｉの算出式、すなわち、
Ｔｒｉ＝Ｔｍｉ−Ｔｅｘｉ
上記式を用いて算出した電子シャッタタイミングＴｒｉに従ってリセット信号（Ｒ）が出力される。
【０１３０】
上記式における［Ｔｍｉ］の値、すなわち、行ｉにおけるメカニカルシャッタの動作タイミングが正しいものである場合、事前撮影開始から、本撮影終了の間、被写体が動いていないと仮定すると、事前撮影による画像から算出する輝度統計量と、本撮影による画像から算出する輝度統計量は、全く等しいはずである。
【０１３１】
しかし、例えば経年変化によって、メカニカルシャッタの走査速度が変化し、上記式における［Ｔｍｉ］の値、すなわち、行［ｉ］におけるメカニカルシャッタの動作タイミングが変化した場合は、上記式に従った制御を行うと、撮影処理時の実際の露光時間が、予定した露光時間［Ｔｅｘｉ］と異なる露光時間となる。
この結果、その領域の輝度統計量は、露光時間のずれの分だけ異なる値となる。
【０１３２】
この露光時間のずれによって、事前撮影画像と、本撮影画像の対応する画像領域の輝度差が生じる。
図１４に示す信号処理部２０４の感度差補償部は、この事前撮影画像と、本撮影画像の対応する画像領域の輝度差を算出して、メカニカルシャッタの動作タイミングのずれ、さらに、本画像撮影時における露光時間のずれを算出する。
さらに、これらの算出値から、正しい露光時間の設定がなされた場合の画素値を算出し、算出した画素値、すなわち、本来の露光時間が設定された場合の画素値を出力画像の画素値として設定する画像補正処理を行って出力画像を生成する。
【０１３３】
このように、画像補正を行うことで、メカニカルシャッタの動作に変化が生じた場合でも、正しい露光時間に応じた補正画素値を設定した出力画像を生成し出力することが可能となる。
【０１３４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３７】
以上、説明したように、本発明の一実施例によれば、撮像装置において領域単位の露光時間設定を行い、かつ画像歪みを低減した画像の撮影を実現する装置、方法が提供される。
具体的には、撮像素子の露光開始時間を電子シャッタ動作によって制御する電子シャッタ制御部と、撮像素子の露光終了時間をメカニカルシャッタ動作によって制御するメカニカルシャッタ制御部を有する。電子シャッタ制御部は、例えば行ブロック単位等の所定の画像領域単位で個別に設定した露光時間と、メカニカルシャッタの画像領域単位の動作時間に基づいて、画像領域単位の露光開始時間を算出し、算出した画像領域単位の露光開始時間に電子シャッタを動作させる制御を行う。
例えば行ブロック単位でメカニカルシャッタ動作時間から露光時間を減算して、露光開始時間としてのリセット時間を電子シャッタ動作時間として算出して領域単位の露光時間制御を実行する。
【０１３８】
この処理により、画像領域単位で任意の露光時間に設定した露光制御が可能となり、また、露光終了時間をメカニカルシャッタで行間の時間差を少なくすることが可能となり、例えば動被写体の撮影時に発生しやすい画像歪みを低減することが可能となる。
【符号の説明】
【０１３９】
１０１  撮像素子
１０２  垂直走査回路
１０３  水平走査回路
１０４  画素
１１１  水平リセット線
１１２  水平選択線
１１３  垂直信号線
１１４  信号出力線
２０１  光学レンズ
２０２  メカニカルシャッタ
２０３  撮像素子
２０４  信号処理部
２０５  出力画像
２０６  露光時間演算部
２０７  電子シャッタ制御部
２０８  メカニカルシャッタ制御部
【図１】
2012182657.tif 000003
【図２】
2012182657.tif 000004
【図５】
2012182657.tif 000005
【図６】
2012182657.tif 000006
【図７】
2012182657.tif 000007
【図１４】
2012182657.tif 000008
【図３】
2012182657.tif 000009
【図４】
2012182657.tif 000010
【図８】
2012182657.tif 000011
【図９】
2012182657.tif 000012
【図１０】
2012182657.tif 000013
【図１１】
2012182657.tif 000014
【図１２】
2012182657.tif 000015
【図１３】
2012182657.tif 000016