(57)【要約】      （修正有）【課題】露出を制御しながら静止画像の品位を向上する。【解決手段】撮像装置は、適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得る撮像装置であって、動きのない静止領域と、動きのある動き領域とを検出する検出手段と、前記Ｎフレームの画像の間で前記静止領域のデータを加算するとともに、動きがない場合に前記Ｍフレームの画像の間で前記動き領域のデータを加算する加算手段と、加算されなかった場合に前記動き領域のデータを前記Ｎ倍に増幅し、前記加算手段により前記Ｍフレームの画像の前記動き領域のデータが加算された場合に加算後の前記動き領域のデータをＮ／Ｍ倍に増幅する増幅手段と、加算された前記静止領域のデータと、増幅された前記動き領域のデータとを合成することにより、画像データを生成する生成手段とを備える。【選択図】図２
2009141702.tif 000002
【特許請求の範囲】
【請求項１】
適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得る撮像装置であって、
前記Ｎフレームの画像を通じて動きのない静止領域と、前記Ｎフレームの画像における少なくとも２フレームの画像間で動きのある動き領域とを検出する検出手段と、
前記Ｎフレームの画像の間で前記静止領域のデータを加算する加算手段と、
前記加算手段により前記動き領域のデータが加算されなかった場合に前記動き領域のデータを前記Ｎ倍に増幅する増幅手段と、
前記加算手段により加算された前記静止領域のデータと、前記増幅手段により増幅された前記動き領域のデータとを合成することにより、画像データを生成する生成手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
電荷蓄積時間に各画素で受けた光に応じた画像信号を生成する撮像手段と、
前記撮像手段が受ける光の量を調整する絞りと、
前記電荷蓄積時間と前記絞りの開度とを制御して、前記撮像手段の露光量を制御する露出制御手段と、
をさらに備え、
前記露出制御手段は、前記露光量が予め定められた露出値になるように、前記絞りの開度に応じた仮の電荷蓄積時間を求め、前記仮の電荷蓄積時間が第１の閾値を超えているか否かを判断し、前記仮の電荷蓄積時間が前記第１の閾値を超えている場合、前記仮の電荷蓄積時間を前記Ｎで分割した分割蓄積時間を前記電荷蓄積時間として前記撮像手段を制御し、
前記生成手段は、前記撮像手段により前記分割蓄積時間を前記電荷蓄積時間として生成された前記Ｎフレーム分の画像信号を受けて、仮の画像データを前記Ｎフレームについて生成し、
前記検出手段は、前記Ｎフレームの前記仮の画像データを比較して、前記Ｎフレームの画像に対する前記動き領域と前記静止領域とを検出し、
前記加算手段は、前記検出手段により検出された前記静止領域のデータを前記Ｎフレームの画像の間で加算し、
前記増幅手段は、前記検出手段により検出された前記動き領域のデータを前記Ｎ倍に増幅する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記ＮフレームのうちのＭ（Ｍは前記Ｎより小さい自然数）フレームの画像の前記動き領域において動きがないことを検出し、
前記加算手段は、前記Ｍフレームの画像の間で前記動き領域のデータを加算し、
前記増幅手段は、前記加算手段により前記Ｍフレームの画像の前記動き領域のデータが加算された場合に、加算された後の前記動き領域のデータをＮ／Ｍ倍に増幅する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
電荷蓄積時間に各画素で受けた光に応じた画像信号を生成する撮像手段と、
前記撮像手段が受ける光の量を調整する絞りと、
前記電荷蓄積時間と前記絞りの開度とを制御して、前記撮像手段の露光量を制御する露出制御手段と、
をさらに備え、
前記露出制御手段は、前記露光量が予め定められた露出値になるように、前記絞りの開度に応じた仮の電荷蓄積時間を求め、前記仮の電荷蓄積時間が第１の閾値を超えているか否か判断し、前記仮の電荷蓄積時間が前記第１の閾値を超えている場合、前記仮の電荷蓄積時間を前記Ｎで分割した分割蓄積時間を前記電荷蓄積時間として前記撮像手段を制御し、
前記生成手段は、前記撮像手段により前記分割蓄積時間を前記電荷蓄積時間として生成された前記Ｎフレーム分の画像信号を受けて、仮の画像データを前記Ｎフレームについて生成し、
前記検出手段は、前記Ｎフレームの前記仮の画像データを比較して、前記Ｎフレームの画像に対する前記動き領域と前記静止領域とを検出するとともに、前記ＮフレームのうちのＭフレームの画像の間で前記動き領域における動き量が第２の閾値未満であることを検出し、
前記加算手段は、前記検出手段により検出された前記静止領域のデータを前記Ｎフレームの画像の間で加算し、前記検出手段により動き量が前記第２の閾値未満であることが検出された前記動き領域のデータを前記Ｍフレームの画像の間で加算し、
前記増幅手段は、前記加算手段により加算された前記動き領域のデータをＮ／Ｍ倍に増幅する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記露出制御手段は、前記分割蓄積時間が、前記第１の閾値の半分以下に予め決められている基準の電荷蓄積時間になるように、前記Ｎを決定する
ことを特徴とする請求項２又は４に記載の撮像装置。
【請求項６】
前記撮像手段により前記仮の電荷蓄積時間で前記仮の画像データにおける動き領域が撮像された場合の輝度レベルになるように、前記増幅手段が動き領域のデータを増幅するための増幅率を決定する決定手段をさらに備えた
ことを特徴とする請求項２、４、及び５のいずれか１項に記載の撮像装置。
【請求項７】
適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得る撮像装置の制御方法であって、
前記Ｎフレームの画像を通じて動きのない静止領域と、前記Ｎフレームの画像における少なくとも２フレームの画像間で動きのある動き領域とを検出する検出ステップと、
前記Ｎフレームの画像の間で前記静止領域のデータを加算するとともに、前記ＮフレームのうちのＭ（Ｍは前記Ｎより小さい自然数）フレームの画像の前記動き領域において動きがない場合に前記Ｍフレームの画像の間で前記動き領域のデータを加算する加算ステップと、
前記加算ステップで前記動き領域のデータが加算されなかった場合に前記動き領域のデータを前記Ｎ倍に増幅し、前記加算ステップで前記Ｍフレームの画像の前記動き領域のデータが加算された場合に加算された後の前記動き領域のデータをＮ／Ｍ倍に増幅する増幅ステップと、
前記加算ステップで加算された前記静止領域のデータと、前記増幅ステップで増幅された前記動き領域のデータとを合成することにより、画像データを生成する生成ステップと、
を備えたことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
レンズと撮像センサとの間にメカニカルシャッターが設けられず絞りのみが設けられる撮像装置では、撮像センサによる電荷の電荷蓄積時間と絞りの開度とを制御することにより、露出が制御される。
【特許文献１】特開平２-１７９０８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような撮像装置では、絞りの開度が固定値に制御された状態において被写体の明るさが暗くなると、露出を適正な状態に制御するために、撮像センサによる電荷の電荷蓄積時間を長く（電子シャッターのシャッター速度を遅く）する必要がある。
【０００４】
電子シャッターのシャッター速度が遅くなると、被写体の動きや撮影者の手の動きによる被写体ブレや手ブレが発生しやすくなる。
【０００５】
本発明の目的は、露出を制御しながら静止画像の品位を向上できる撮像装置及び撮像装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第１側面に係る撮像装置は、適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得る撮像装置であって、前記Ｎフレームの画像を通じて動きのない静止領域と、前記Ｎフレームの画像における少なくとも２フレームの画像間で動きのある動き領域とを検出する検出手段と、前記Ｎフレームの画像の間で前記静止領域のデータを加算するとともに、前記ＮフレームのうちのＭ（Ｍは前記Ｎより小さい自然数）フレームの画像の前記動き領域において動きがない場合に前記Ｍフレームの画像の間で前記動き領域のデータを加算する加算手段と、前記加算手段により前記動き領域のデータが加算されなかった場合に前記動き領域のデータを前記Ｎ倍に増幅し、前記加算手段により前記Ｍフレームの画像の前記動き領域のデータが加算された場合に加算後の前記動き領域のデータをＮ／Ｍ倍に増幅する増幅手段と、前記加算手段により加算された前記静止領域のデータと、前記増幅手段により増幅された前記動き領域のデータとを合成することにより、画像データを生成する生成手段とを備えたことを特徴とする。
【０００７】
本発明の第２側面に係る撮像装置の制御方法は、適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得る撮像装置の制御方法であって、前記Ｎフレームの画像を通じて動きのない静止領域と、前記Ｎフレームの画像における少なくとも２フレームの画像間で動きのある動き領域とを検出する検出ステップと、前記Ｎフレームの画像の間で前記静止領域のデータを加算するとともに、前記ＮフレームのうちのＭ（Ｍは前記Ｎより小さい自然数）フレームの画像の前記動き領域において動きがない場合に前記Ｍフレームの画像の間で前記動き領域のデータを加算する加算ステップと、前記加算ステップで前記動き領域のデータが加算されなかった場合に前記動き領域のデータを前記Ｎ倍に増幅し、前記加算ステップで前記Ｍフレームの画像の前記動き領域のデータが加算された場合に加算後の前記動き領域のデータをＮ／Ｍ倍に増幅する増幅ステップと、前記加算ステップで加算された前記静止領域のデータと、前記増幅ステップで増幅された前記動き領域のデータとを合成することにより、画像データを生成する生成ステップとを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、露出を制御しながら静止画像の品位を向上できる。
【発明を実施するための最良の形態】
【０００９】
本発明の第１実施形態に係る撮像装置１を説明する。図１は、本発明の第１実施形態に係る撮像装置１の構成図である。
【００１０】
撮像装置１は、適正露出の画像を撮影するために必要なシャッター速度の１／Ｎ（Ｎは２のべき乗）のシャッター速度で連続的に撮影されたＮフレームの画像を用い、適正露出の画像を得るための装置である。撮像装置１は、例えば、スチル撮影機能を有するビデオカメラである。撮像装置１は、レンズ群１００、絞り１０１、撮像素子（撮像手段）１０２、ドライバ部１０３、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｎｄ）部１０４を備える。撮像装置１は、画像処理部１０５、フレームメモリ１０６、記録部１０７、及びＣＰＵ１０８を備える。
【００１１】
レンズ群１００は、入射した光を収束するとともに撮像素子１０２の撮像面に像を形成させる。レンズ群１００には、ＡＦ機構及びズーム機構が組み込まれている。
【００１２】
絞り１０１は、レンズ群１００と撮像素子１０２との間に設けられ、レンズ群１００から撮像素子１０２へ導かれる光の量を制限する。
【００１３】
撮像素子１０２は、複数の画素が配列された画素配列（撮像面）に形成された被写体の像を画像信号に変換する。画素配列の各画素は、光に応じた信号を蓄積して画像信号を生成する。撮像素子１０２は、その画像信号を画素配列から読み出して出力する。撮像素子１０２は、例えば、ＣＣＤやＣＭＯＳセンサである。
【００１４】
ドライバ部１０３は、撮像素子１０２を駆動するための駆動パルスを生成する。駆動信号は、例えば、垂直走査パルス、水平転送パルス、及び電子シャッターである。垂直走査パルスは、画素配列を垂直方向に走査して所定の行を選択するためのパルスである。水平転送パルスは、画素配列を水平方向に走査して各列の信号を順次に後段へ出力するためのパルスである。電子シャッターは、画素配列の各画素をリセットするためのパルスである。
【００１５】
ＡＦＥ部１０４は、撮像素子１０２から画像信号（アナログ信号）を受けて、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）処理、増幅処理、及びＡ／Ｄ変換等を行い、画像信号（デジタル信号）を生成する。
【００１６】
画像処理部１０５は、ＡＦＥ部１０４から画像信号（デジタル信号）を受けて、その画像信号にガンマ補正、輪郭強調処理、ホワイトバランス、カラーバランスなどの各種の画像処理を行い画像データを生成する。
【００１７】
画像処理部１０５は、生成部（生成手段）１０５ａ、画像比較部（検出手段）１０５ｂ、加算部（加算手段）１０５ｃ、増幅部（増幅手段）１０５ｄ、及び決定部（決定手段）１０５ｅを含む。生成部１０５ａは、撮像素子１０２からＡＦＥ部１０４経由で画像信号を受けて、画像データをフレーム単位で生成する。画像比較部１０５ｂは、画像データにおける動き領域と静止領域とを検出する。加算部１０５ｃは、画像データにおける少なくとも一部の領域のデータを他のフレームとの間で加算する。増幅部１０５ｄは、画像データにおける少なくとも一部の領域のデータを増幅する。決定部１０５ｅは、増幅部１０５ｄがデータを増幅するための増幅率を決定する。
【００１８】
フレームメモリ１０６は、画像処理部１０５から画像データを受けて、その画像データを一時的に記憶する。フレームメモリ１０６は、例えば、ＳＤＲＡＭである。
【００１９】
記録部１０７は、画像処理部１０５から画像データを受けて、その画像データを保存等のために記録する。記録部１０７は、例えば、ＤＶフォーマットで記録するための記録テープ、ＪＰＥＧフォーマットで記録するための記録カードである。
【００２０】
ＣＰＵ１０８は、絞り１０１、ドライバ部１０３、ＡＦＥ部１０４、及び画像処理部１０５に接続されており、絞り１０１、ドライバ部１０３、ＡＦＥ部１０４、及び画像処理部１０５を全体的に制御する。
【００２１】
ＣＰＵ１０８は、露出制御部（露出制御手段）１０８ａを含む。露出制御部１０８ａは、画像処理部１０５から画像データの輝度成分に関する情報を受ける。露出制御部１０８ａは、輝度成分に関する情報に応じて、ドライバ部１０３を介して撮像素子１０２の電荷蓄積時間を制御するとともに、絞り１０１の開度を制御する。これにより、露出制御部１０８ａは、撮像素子１０２の露光量を制御する。すなわち、露出制御部１０８ａは、被写体の明るさに応じて自動的に露光を制御するＡＥ（自動露出制御）処理を行う。
【００２２】
次に、静止画撮影の準備が行われる際における撮像装置１の動作を説明する。
【００２３】
まず、撮像装置１のＣＰＵ１０８は、電源ボタン（図示せず）がオンされたことを認識すると、動作モードを初期動作モードにセットする。ＣＰＵ１０８は、初期動作モードになったことに応じて、所定の初期動作を行うように各部を制御する。撮像装置１のＣＰＵ１０８は、初期動作を完了すると、動作モードを初期動作モードからモニタモードへ切り替える。モニタモードとは、撮像素子１０２により撮像された被写体の画像をＬＣＤなどの表示パネル（図示せず）に表示するモードである。
【００２４】
露出制御部１０８ａは、モニタモードになったことに応じて、撮像素子１０２の電荷蓄積時間と絞り１０１の開度とをそれぞれ所定の初期値に制御する。
【００２５】
撮像素子１０２は、レンズ群１００及び絞り１０１を通過した光を受けて、その光に応じた信号を初期値の電荷蓄積時間で蓄積して画像信号を生成する。その画像信号は、撮像素子１０２からＡＦＥ部１０４へ供給されて、ＡＦＥ部１０４でアナログ信号処理された後、画像処理部１０５へ供給される。画像処理部１０５は、供給された画像信号に応じた画像データを生成する。露出制御部１０８ａは、その画像データの輝度成分に関する情報を画像処理部１０５から受け取る。露出制御部１０８ａは、その画像データの輝度成分の情報に応じて、撮像素子１０２の電荷蓄積時間Ｔｅと絞り１０１の開度とを制御することにより、露出を制御する。
【００２６】
例えば、露出制御部１０８ａは、被写体が暗くなると、絞り１０１の開度が大きくなるように制御する。露出制御部１０８ａは、被写体がさらに暗くなりかつ絞り１０１の開度が最大になると、撮像素子１０２の電荷蓄積時間Ｔｅを長くなるように制御する。
【００２７】
このように、撮像素子１０２により繰り返し画像信号を生成して、その画像信号に対する画像データの輝度成分に応じて、撮像素子１０２の電荷蓄積時間（露光時間）と絞り１０１の開度（絞り値）とが適正な値になるように制御する。これにより、自動的に露出を制御するＡＥ処理を行う。
【００２８】
なお、露出制御部１０８ａは、さらに、画像データの輝度成分の情報に応じて、ＡＦＥ部１０４の増幅処理におけるゲインを制御することにより、露出を制御しても良い。
【００２９】
次に、静止画撮影が行われる際における撮像装置１の動作を、図２を用いて説明する。図２は、静止画撮影が行われる際の撮像装置１の動作を示すフローチャートである。
【００３０】
ステップＳ２００では、ユーザによりシャッターボタン（図示せず）が押されると、シャッターボタンが静止画撮影指令を受け付ける。ＣＰＵ１０８は、その静止画撮影指令をシャッターボタンから受け取り、静止画撮影指令に応じて動作モードをモニタモードから静止画撮影モードへ切り替える。
【００３１】
ステップＳ２０１では、露出制御部１０８ａが、撮像素子１０２の露光量が予め定められた露出値になるように、絞り１０１の開度に応じて、撮像素子１０２の仮の電荷蓄積時間Ｔｅｔｍｐを求める。例えば、露出制御部１０８ａは、絞り１０１の開度がモニタモードにおいて直前に制御した値であることに応じて、モニタモードにおいて直前に求めた電荷蓄積時間の値を仮の電荷蓄積時間Ｔｅｔｍｐとすることができる。
【００３２】
ステップＳ２０２では、露出制御部１０８ａが、仮の電荷蓄積時間Ｔｅｔｍｐと第１の閾値（最大露光時間）Ｔｍａｘとの比較を行い、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えているか否かを判断する。第１の閾値（最大露光時間）Ｔｍａｘは、所定の距離において所定の速度で移動する所定の大きさの被写体を所定の画角で撮像した場合に、被写体の画像において被写体ぶれや手ぶれが生じはじめることが肉眼で認識され始める時間である。この被写体ぶれや手ぶれは、被写体の動きや撮影者の手の動きによるものである。第１の閾値Ｔｍａｘは、予め実験又はシミュレーション等で求められる。
【００３３】
例えば、仮の電荷蓄積時間Ｔｅｔｍｐ＝１／５０［ｓ］、第１の閾値Ｔｍａｘ＝１／１００［ｓ］であるとすると、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていると判断する。
【００３４】
露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていると判断する場合、処理をステップＳ２０４へ進め、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていないと判断する場合、処理をステップＳ２０３へ進める。
【００３５】
ステップＳ２０３では、撮像装置１が、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていないことに応じて、通常撮影処理を行う。
【００３６】
すなわち、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐを制御用の電荷蓄積時間Ｔｅとして確定する。露出制御部１０８ａは、電荷蓄積時間Ｔｅで電荷蓄積動作を行うように、ドライバ部１０３経由で撮像素子１０２を制御する。撮像素子１０２は、レンズ群１００及び絞り１０１を通過した光を受けて、その光に応じた信号を初期値の電荷蓄積時間で蓄積して画像信号を生成する。その画像信号は、撮像素子１０２からＡＦＥ部１０４へ供給されて、ＡＦＥ部１０４でアナログ信号処理された後、画像処理部１０５へ供給される。画像処理部１０５は、供給された画像信号に応じた画像データを生成する。記録部１０７は、画像処理部１０５から画像データを受けて、その画像データを保存等のために記録する。
【００３７】
ステップＳ２０４では、撮像装置１が、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていることに応じて、複数露光撮影処理を行う。具体的には、撮像装置１は、ステップＳ２０５〜Ｓ２０９の処理を行う。
【００３８】
ステップＳ２０５では、露出制御部１０８ａが、取得すべき画像データのフレーム数（撮影すべきフレームの数）Ｎを決定する。すなわち、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐを基準の電荷蓄積時間（最小露光時間）Ｔｍｉｎで割った結果に基づいて、取得すべき画像データのフレーム数Ｎを決定する。基準の電荷蓄積時間（最小露光時間）Ｔｍｉｎは、取得すべき画像データのフレーム数Ｎを決定する際の基準となる時間であり、第１の閾値Ｔｍａｘの半分以下の値に予め決められている。
【００３９】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが基準の電荷蓄積時間Ｔｍｉｎで割り切れれば、その商を、取得すべき画像データのフレーム数Ｎとする。ここで、仮の電荷蓄積時間Ｔｅｔｍｐ＝１／５０［ｓ］、基準の電荷蓄積時間Ｔｍｉｎ＝１／２００［ｓ］であるとすると、露出制御部１０８ａは、Ｔｅｔｍｐ÷Ｔｍｉｎ＝１／５０÷１／２００＝４を、取得すべき画像データのフレーム数Ｎとする。
【００４０】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが基準の電荷蓄積時間Ｔｍｉｎで割り切れない場合、その商に１加えた値を、取得すべき画像データのフレーム数Ｎとする。
【００４１】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが基準の電荷蓄積時間Ｔｍｉｎで割り切れない場合、割り切れるように基準の電荷蓄積時間Ｔｍｉｎを短く調整する。露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐを調整後の基準の電荷蓄積時間Ｔｍｉｎで割った商を、取得すべき画像データのフレーム数Ｎとする。
【００４２】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが基準の電荷蓄積時間Ｔｍｉｎで割り切れない場合、絞り１０１の開度（及びＡＦＥ部１０４のゲイン）を制御することにより、割り切れるように仮の電荷蓄積時間Ｔｅｔｍｐを調整する。露出制御部１０８ａは、調整後の仮の電荷蓄積時間Ｔｅｔｍｐを基準の電荷蓄積時間Ｔｍｉｎで割った商を、取得すべき画像データのフレーム数Ｎとする。
【００４３】
ステップＳ２０６では、露出制御部１０８ａが、仮の電荷蓄積時間ＴｅｔｍｐをＮフレームの数で分割した分割蓄積時間Ｔｄで信号を蓄積するように撮像素子１０２を制御する。
【００４４】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐが基準の電荷蓄積時間Ｔｍｉｎで割り切れる場合又は割り切れるように調整した場合、基準の電荷蓄積時間Ｔｍｉｎを分割蓄積時間Ｔｄとする。
【００４５】
例えば、露出制御部１０８ａは、仮の電荷蓄積時間Ｔｅｔｍｐを基準の電荷蓄積時間Ｔｍｉｎで割った商に１加えた値を画像データのフレーム数Ｎとした場合、仮の電荷蓄積時間Ｔｅｔｍｐを画像データのフレーム数Ｎで割った値を分割蓄積時間Ｔｄとする。
【００４６】
ドライバ部１０３は、フレーム数Ｎと分割蓄積時間Ｔｄとの情報を露光制御部１０８ａから受け取り、図３で示すようなスタートパルスを生成する。図３は、ドライバ部１０３は、スタートパルスの立ち下がりタイミング３００に応じて、垂直走査パルスを生成するための値をカウントし始める。ドライバ部１０３は、垂直走査パルスを介して撮像素子１０２の画素配列の所定行を選択する。
【００４７】
ドライバ部１０３は、垂直走査パルスを介して選択している所定行の画素を、タイミング３０１〜３０２に電子シャッターによりリセットする。ドライバ部１０３は、タイミング３０２にリセットを解除し、分割蓄積期間Ｔｄ経過後のタイミング３０３までリセットを行わないことにより、垂直走査パルスを介して選択している所定行の画素に分割蓄積期間Ｔｄで電荷蓄積動作を行わせる。
【００４８】
同様に、ドライバ部１０３は、タイミング３０３〜３０４、タイミング３０５〜３０６、タイミング３０７〜３０８、及びタイミング３０７〜３０８において、電子シャッターをアクティブにして撮像素子１０２の画素配列の各画素をリセットする。ドライバ部１０３は、タイミング３０４〜３０５、タイミング３０６〜３０７、及びタイミング３０８〜３０９において、選択している所定行の画素に分割蓄積期間Ｔｄで電荷蓄積動作を行わせる。
【００４９】
また、ドライバ部１０３は、水平転送信号を介して、タイミング３０２〜３０３、タイミング３０４〜３０５、タイミング３０６〜３０７、及びタイミング３０８〜３０９で取得された画素信号を、順次に後段へ出力させる（図３参照）。
【００５０】
生成部１０５ａは、撮像素子１０２により分割蓄積時間Ｔｄで信号が蓄積されて生成されたＮフレーム分の画像信号をＡＦＥ部１０４経由で受けて、仮の画像データをＮフレームＡ〜Ｄについて順次に生成する（図３参照）。生成部１０５ａは、ＮフレームＡ〜Ｄの仮の画像データをフレームメモリ１０６に記憶する。
【００５１】
ステップＳ２０７では、画像比較部１０５ｂが、ＮフレームＡ〜Ｄの仮の画像データを比較して、ＮフレームＡ〜Ｄの画像における動き領域と静止領域とを検出する。そして、画像比較部１０５ｂは、検出した結果に基づいて、ＮフレームＡ〜Ｄにおける動き領域が存在するか否かを判断する。
【００５２】
例えば、画像比較部１０５ｂは、フレームＡとフレームＢとで仮の画像データを構成する画素毎の輝度レベルの差分を算出し、ある閾値以上の画素位置（Ｄｘｙ）を検出する。画像比較部１０５ｂは、検出された差分の大きい画素位置ＤｘｙがＸ方向またはＹ方向にある複数画素以上連続して存在する場合に、その領域を動き領域として検出する。また、画像比較部１０５ｂは、画像データにおいて動き領域以外の領域を静止領域として検出する。このようにして、画像比較部１０５ｂは、フレームＡの画像とフレームＢの画像とにおける動き領域と静止領域とを検出する。この場合、画像比較部１０５ｂは、Ｄｘｙが連続して分布するＸ位置の最大値及び最小値とＹ位置の最大値及び最小値とで囲まれる領域（例えば、図４に実線で示す領域４００，４０１）を仮の動き領域としてその位置を記憶する。
【００５３】
同様にして、画像比較部１０５ｂは、フレームＢとフレームＣとの仮の画像データを比較して、フレームＢの画像とフレームＣの画像とにおける仮の動き領域を検出する。画像比較部１０５ｂは、フレームＣとフレームＤとの仮の画像データを比較して、フレームＣの画像とフレームＤの画像とにおける仮の動き領域を検出する。
【００５４】
このようにして、画像比較部１０５ｂは、フレームＡ，Ｂの画像間、フレームＢ，Ｃの画像間、及びフレームＣ，Ｄの画像間の仮の動き領域の論理和を演算し、ＮフレームＡ〜Ｄの画像における（図４に破線で示す）動き領域５００，５０１等を検出する。また、画像比較部１０５ｂは、ＮフレームＡ〜Ｄにおける動き領域５００，５０１等以外の領域を静止領域として検出する。画像比較部１０５ｂは、ＮフレームＡ〜Ｄにおける動き領域を検出した場合、ＮフレームＡ〜Ｄの画像における動き領域が存在すると判断する。
【００５５】
なお、画像比較部１０５ｂは、各フレームの被写体領域を検出し、各フレームの被写体領域の位置の違いから、各フレームにおける動き領域と静止領域とを検出してもよい。
【００５６】
画像比較部１０５ｂは、ＮフレームＡ〜Ｄにおける動き領域が存在すると判断する場合、処理をステップＳ２０９へ進め、ＮフレームＡ〜Ｄにおける動き領域が存在しないと判断する場合、処理をステップＳ２０８へ進める。
【００５７】
ステップＳ２０８では、加算部１０５ｃが、ＮフレームＡ〜Ｄの仮の画像データを互いに加算することにより、画像データを生成する。
【００５８】
ステップＳ２０９では、加算部１０５ｃが、ＮフレームＡ〜Ｄにおける静止領域のデータを互いに加算する。これにより、加算された静止領域のデータは、撮像素子１０２により仮の電荷蓄積時間Ｔｅｔｍｐで仮の画像データにおける動き領域が撮像された場合の輝度レベルになる。
【００５９】
例えば、ＮフレームＡ〜Ｄのそれぞれの仮の画像データが分割蓄積時間Ｔｄ≒（仮の電荷蓄積時間Ｔｅｔｍｐ）／４で撮像して得られた場合を考える。この場合、各フレームＡ〜Ｄにおける静止領域の輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域の輝度レベルの１／４程度になる。それに対して、４つのフレームＡ〜Ｄの画像間で静止領域のデータを加算する（図５参照）ので、加算された静止領域のデータの輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域のデータの輝度レベルと同等になる。
【００６０】
一方、決定部１０５ｅは、撮像素子１０２により仮の電荷蓄積時間Ｔｅｔｍｐで仮の画像データにおける動き領域が撮像された場合の輝度レベルになるように、増幅部１０５ｄが動き領域のデータを増幅するための第１の増幅率を決定する。増幅部１０５ｄは、決定された第１の増幅率の情報を決定部１０５ｅから受け取る。増幅部１０５ｄは、ＮフレームＡ〜Ｄのいずれかにおける動き領域５００，５０１，・・・のデータに、決定部１０５ｅにより決定された第１の増幅率Ｎを乗じる（Ｎ倍に増幅する）。
【００６１】
例えば、ＮフレームＡ〜Ｄのそれぞれの仮の画像データが分割蓄積時間Ｔｄ≒（仮の電荷蓄積時間Ｔｅｔｍｐ）／４で撮像して得られた場合を考える。この場合、各フレームＡ〜Ｄにおける静止領域の輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域の輝度レベルの１／４程度になる。それに対して、決定部１０５ｅは、取得すべき画像データのフレーム数が「４」であることに応じて、第１の増幅率Ｎを「４」に決定する。増幅部１０５ｄは、ＮフレームＡ〜Ｄにおける動き領域５００，５０１，・・・から、合成する対象となるフレームＢにおける動き領域５００，５０１を選択する。増幅部１０５ｄは、選択したフレームＢにおける動き領域５００，５０１のデータを、第１の増幅率Ｎ＝「４」で増幅する。これにより、４倍に増幅された動き領域のデータの輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域のデータの輝度レベルと同等になる。
【００６２】
なお、増幅部１０５ｄは、合成する対象となる動き領域をフレームＢ以外のフレームから選択しても良く、複数の動き領域を互いに異なるフレームから選択しても良い。また、画像処理部１０５が各フレームの各動き領域に対してより高度な画像解析を行い、増幅部１０５ｄが、その結果を受けて、より動きの少ない動き領域を選択しても良い。
【００６３】
生成部１０５ａは、増幅部１０５ｄにより第１の増幅率で増幅されたフレームＢの動き領域５００，５０１のデータと、加算部１０５ｃにより加算された静止領域のデータとを合成することにより、画像データを生成する。
【００６４】
例えば、生成部１０５ａは、図５に示すように、仮の画像データに代えて、増幅部１０５ｄにより増幅された動き領域５００，５０１のデータと、加算部１０５ｃにより加算された静止領域のデータとを合成することにより、画像データを生成する。
【００６５】
以上のように、それぞれ分割蓄積時間で撮像することにより取得されたＮフレームの仮の画像データにおいて、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合と同等の輝度レベルが得られるように、加算又は増幅が行われる。これにより、分割蓄積時間で撮像した場合であっても、露出値が適正に調整された画像データを得ることができる。すなわち、所定の適正な露出値が得られるように、露出を制御することができる。
【００６６】
また、Ｎフレームにおける静止領域のデータを互いに加算するとともに、Ｎフレームのいずれかにおける動き領域のデータをＮ倍に増幅するので、静止領域の画質を向上することができるとともに動き領域の被写体ぶれや手ぶれを防ぐことができる。これにより、得られる静止画像の品位を向上できる。
【００６７】
したがって、露出を制御しながら静止画像の品位を向上できる。
【００６８】
次に、本発明の第２実施形態に係る撮像装置１ａを説明する。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。
【００６９】
撮像装置１ａは、その基本的な構成は第１実施形態と同様であるが、その動作が図６に示すように第１実施形態と異なる。図６は、静止画撮影が行われる際の第２実施形態に係る撮像装置１ａの動作を示すフローチャートである。
【００７０】
ステップＳ６０４では、撮像装置１ａが、仮の電荷蓄積時間Ｔｅｔｍｐが第１の閾値Ｔｍａｘを超えていることに応じて、複数露光撮影処理を行う。具体的には、撮像装置１ａは、ステップＳ２０５〜Ｓ６１１の処理を行う。
【００７１】
ステップＳ６１０では、画像比較部１０５ｂが、ＮフレームＡ〜ＤのうちのＭフレーム（ＭはＮより小さい自然数）の画像の動き領域において動き量が第２の閾値未満であることを検出する。すなわち、画像比較部１０５ｂが、ＮフレームＡ〜ＤのうちのＭフレームの画像の動き領域において動きがないことを検出する。
【００７２】
例えば、画像比較部１０５ｂは、フレームＡの動き領域７０７とフレームＢの動き領域７００とを比較することにより、動き領域７０７と動き領域７００との間の動き量が第２の閾値未満であることを検出する。すなわち、画像比較部１０５ｂは、ＮフレームＡ〜ＤにうちのＭフレームＡ，Ｂの動き領域７０７，７００において動き量が第２の閾値未満であることを検出する。
【００７３】
例えば、画像比較部１０５ｂは、フレームＣの動き領域７０４とフレームＤの動き領域７０６とを比較することにより、動き領域７０４と動き領域７０６との間の動き量が第２の閾値未満であることを検出する。すなわち、画像比較部１０５ｂは、ＮフレームＡ〜ＤのうちのＭフレームＣ，Ｄの動き領域７０４，７０６において動き量が第２の閾値未満であることを検出する。
【００７４】
ステップＳ６１１では、加算部１０５ｃが、ＮフレームＡ〜Ｄにおける静止領域のデータを互いに加算する。これにより、加算された静止領域のデータは、撮像素子１０２により仮の電荷蓄積時間Ｔｅｔｍｐで仮の画像データにおける動き領域が撮像された場合の輝度レベルになる。
【００７５】
また、加算部１０５ｃは、ステップＳ６１０で動き量が第２の閾値未満であると検出された動き領域のデータを、Ｍフレームの画像の間で加算する。
【００７６】
例えば、加算部１０５ｃは、フレームＡの動き領域７０７のデータとフレームＢの動き領域７００のデータとを加算する。すなわち、加算部１０５ｃは、ＭフレームＡ，Ｂにおける動き領域７０７，７００のデータを互いに加算する。
【００７７】
例えば、加算部１０５ｃは、フレームＣの動き領域７０４のデータとフレームＤの動き領域７０６のデータとを加算する。すなわち、加算部１０５ｃは、ＭフレームＣ，Ｄにおける動き領域７０４，７０６のデータを互いに加算する。
【００７８】
一方、決定部１０５ｅは、撮像素子１０２により仮の電荷蓄積時間Ｔｅｔｍｐで仮の画像データにおける動き領域が撮像された場合の輝度レベルになるように、増幅部１０５ｄが動き領域のデータを増幅するための増幅率（第２の増幅率；Ｎ／Ｍ）を決定する。増幅部１０５ｄは、第２の増幅率の情報を決定部１０５ｅから受け取る。増幅部１０５ｄは、加算部１０５ｃにより加算された動き領域のデータを、第２の増幅率Ｎ／Ｍで増幅する（Ｎ／Ｍ倍に増幅する）。
【００７９】
例えば、ＮフレームＡ〜Ｄのそれぞれの仮の画像データが分割蓄積時間Ｔｄ≒（仮の電荷蓄積時間Ｔｅｔｍｐ）／４で撮像して得られた場合を考える。この場合、各フレームＡ〜Ｄにおける静止領域の輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域の輝度レベルの１／４程度になる。それに対して、決定部１０５ｅは、取得すべき画像データのフレーム数が「４」であり、加算された画像データのフレーム数が「２」であることに応じて、増幅部１０５ｄが動き領域のデータに乗じるためのゲイン（第２の増幅率）を４÷２＝２に決定する。増幅部１０５ｄは、２フレームＡ，Ｂにおいて加算された動き領域７０７，７００のデータを第２の増幅率「２」で増幅する。また、増幅部１０５ｄは、２フレームＣ，Ｄにおいて加算された動き領域７０４，７０６のデータを第２の増幅率「２」で増幅する。これにより、加算されて増幅された動き領域のデータの輝度レベルは、仮の電荷蓄積時間Ｔｅｔｍｐで撮像された場合の静止領域のデータの輝度レベルと同等になる。
【００８０】
生成部１０５ａは、増幅部１０５ｄにより第２の増幅率Ｎ／Ｍで増幅された動き領域のデータと、加算部１０５ｃにより加算された静止領域のデータとを合成することにより、画像データを生成する。
【００８１】
例えば、生成部１０５ａは、図８に示すように、第２の増幅率Ｎ／Ｍでそれぞれ増幅された動き領域７０７，７００のデータ及び動き領域７０４，７０６のデータと、加算部１０５ｃによりＮフレームの画像の間で加算された静止領域のデータとを合成する。これにより、生成部１０５ａは、画像データを生成する。
【００８２】
以上のように、Ｎフレームの動き領域において、動きが少ない動き領域のデータどうしを加算して増幅するので、動き領域のブレ・ボケを防ぎながら動き領域の画質を向上できる。この結果、得られる静止画像の品位をさらに向上できる。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１実施形態に係る撮像装置１の構成図。
【図２】静止画撮影が行われる際の撮像装置１の動作を示すフローチャート。
【図３】ドライバ部が生成する駆動パルスを示すタイミングチャート。
【図４】取得される仮の画像データを示す図。
【図５】合成される画像データを示す図。
【図６】静止画撮影が行われる際の第２実施形態に係る撮像装置１ａの動作を示すフローチャート。
【図７】取得される仮の画像データを示す図。
【図８】合成される画像データを示す図。
【符号の説明】
【００８４】
１，１ａ  撮像装置
１０１  絞り
１０２  撮像素子
１０５ａ  生成部
１０５ｂ  画像比較部
１０５ｃ  加算部
１０５ｄ  増幅部
１０５ｅ  決定部
１０８ａ  露出制御部
【図１】
2009141702.tif 000003
【図２】
2009141702.tif 000004
【図３】
2009141702.tif 000005
【図４】
2009141702.tif 000006
【図５】
2009141702.tif 000007
【図６】
2009141702.tif 000008
【図７】
2009141702.tif 000009
【図８】
2009141702.tif 000010