(57)【特許請求の範囲】
【請求項１】
時分割露光して撮像することが可能な撮像装置において:
フラッシュが発光された直後に全画素が一斉に露光される一斉露光モードで第１の画像を撮像し，フラッシュが非発光状態において位置に応じて露光タイミングに時間差を有する逐次露光モードで第２の画像を撮像する撮像素子と；
前記撮像素子により前記一斉露光モードで撮像された第１の画像と，前記逐次露光モードで撮像された第２の画像とを合成する画像合成部と；
を備えることを特徴とする，撮像装置。
【請求項２】
前記撮像素子は，
前記一連の撮影動作の中で，前記逐次露光モードによる複数回の露光を実施して複数の画像を撮影し，
前記画像合成部は，
前記複数の画像に含まれる被写体の位置ズレを補正して，前記複数の画像を合成することを特徴とする，請求項１に記載の撮像装置。
【請求項３】
前記画像合成部は，
前記撮像素子によって画像が撮影される毎に，前記画像を重ね合わせて合成画像を生成し，
さらに，前記撮像装置は，
前記合成画像の露光量を検出する露光量検出部を備え，
前記撮像素子は，
前記合成画像の露光量が所定の輝度レベルに達した場合に，前記逐次露光モードによる撮影を停止することを特徴とする，請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像素子は，
撮影者による停止操作が実行されるまで，前記逐次露光モードによる撮影を繰り返すことを特徴とする，請求項１又は２に記載の撮像装置。
【請求項５】
時分割露光して撮像することが可能な撮像装置による撮像方法において:
フラッシュが発光された直後に全画素が一斉に露光される一斉露光モードで第１の画像を撮像し，フラッシュが非発光状態において位置に応じて露光タイミングに時間差を有する逐次露光モードで第２の画像を撮像する複合モード撮影過程と；
前記複合モード撮影過程において前記一斉露光モードで撮像された第１の画像と，前記逐次露光モードで撮像された第２の画像とを合成する画像合成過程と；
を含むことを特徴とする，撮像方法。
【請求項６】
前記複合モード撮影過程では，
前記一連の撮影動作の中で，前記逐次露光モードによる複数回の露光が実施されて複数の画像が撮影され，
前記画像合成過程では，
前記複数の画像に含まれる被写体の位置ズレが補正されて，前記複数の画像が合成されることを特徴とする，請求項５に記載の撮像方法。
【請求項７】
前記画像合成過程では，
前記撮像素子によって画像が撮影される毎に，前記画像が重ね合わされて合成画像が生成され，
さらに，前記撮像方法は，
前記合成画像の露光量を検出する露光量検出過程を含み，
前記複合モード撮影過程では，
前記合成画像の露光量が所定の輝度レベルに達した場合に，前記逐次露光モードによる撮影が停止されることを特徴とする，請求項５又は６に記載の撮像方法。
【請求項８】
前記複合モード撮影過程では，
撮影者による停止操作が実行されるまで，前記逐次露光モードによる撮影が繰り返されることを特徴とする，請求項５又は６に記載の撮像方法。
【請求項９】
前記撮像素子は、前記一斉露光モードで撮像する場合には第１の感度で撮像し、前記逐次露光モードで撮像する場合には前記第１の感度よりも高い第２の感度で撮像することを特徴とする、請求項１に記載の撮像装置。
【請求項１０】
前記復号モード撮影過程において、前記撮像装置は、前記一斉露光モードで撮像する場合には第１の感度で撮像し、前記逐次露光モードで撮像する場合には前記第１の感度よりも高い第２の感度で撮像することを特徴とする、請求項５に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像を撮影することが可能な撮像装置，及び撮像方法に関する。
【背景技術】
【０００２】
従来，手ブレを抑制する技術としては，撮像面に対するレンズの位置を手ブレ方向と反対方向にシフトすることにより，手ブレをキャンセルする光学的手ブレ補正方法が知られている。また，高速シャッターを用いて複数枚の画像を撮影し，被写体の特徴点を基準にして，各画像を合成することにより電子手ブレ補正を行う技術も知られている（例えば，特許文献１を参照）。特に，低速シャッターによる撮影が必要な低輝度シーンでは，この電子手ブレ補正機能が有効である。
【０００３】
【特許文献１】特開２００５−０８６４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のように，ローリング読み出しを行う撮像素子では，露光タイミングが垂直方向のライン毎に異なる。従って，撮像素子の上部と下部とに均一にフラッシュ光を露光させるには，全ラインを同時に露光しなくてはならない。その為には，低速シャッターを使用する方法，又は全ラインの電荷を一斉にリセットした後，フラッシュを発光させ，メカニカルシャッターを閉じる方法が選択される。しかし，長焦点の場合には，ブレが発生しやすくなる為，低速シャッターの選択は，好ましくない。また，フォーカルプレーン歪みが発生することも問題となる。
【０００５】
一方，全ラインの一斉リセットとメカニカルシャッターとを併用する方法は，人物等の前景の被写体を撮影するのに好適であるが，スローシンクロ撮影の場面において，電子手ブレ補正機能を有効にして，背景を撮影する場合には，総露光時間が長くなると共に，動作音が気になるという問題がある。
【０００６】
そこで，本発明は，上記問題に鑑みてなされたものであり，本発明の目的とするところは，低輝度シーンの撮影においても，手ブレ補正が可能な，新規かつ改良された撮像装置，及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために，本発明のある観点によれば，時分割露光して撮影された複数の画像を合成することにより，電子手ブレ補正することが可能な撮像装置が提供される。該撮像装置は，フラッシュが発光された直後，全画素が一斉に露光される一斉露光モードと，フラッシュが非発光状態においてライン毎に露光される逐次露光モードと，を有する撮像素子と；撮像素子により撮影された画像を重ね合わせる画像合成部と；を備える。また，撮像素子は，一連の撮影動作の中で，逐次露光モードと一斉露光モードとを組み合わせて撮影できることを特徴とする。
【０００８】
上記撮像装置が備える撮像素子は，フラッシュが発光された直後，全画素が一斉に露光される一斉露光モードと，フラッシュが非発光状態においてライン毎に露光される逐次露光モードと，を有する。また，撮像素子は，一連の撮影動作の中で，逐次露光モードと一斉露光モードとを組み合わせて撮影できる。さらに，上記画像合成部は，撮像素子により撮影された画像を重ね合わせる。かかる構成により，フラッシュを使用するような低輝度撮影の状況においても，時分割露光による手ブレ補正が可能になる。
【０００９】
撮像素子は，一連の撮影動作の中で，逐次露光モードによる複数回の露光を実施して複数の画像を撮影してもよい。また，画像合成部は，複数の画像に含まれる被写体の位置ズレを補正して，複数の画像を合成してもよい。かかる構成により，被写体の画像がブレることなく，露光量を適正にすることが可能である。
【００１０】
画像合成部は，撮像素子によって画像が撮影される毎に，画像を重ね合わせて合成画像を生成してもよい。さらに，撮像装置は，合成画像の露光量を検出する露光量検出部を備えてもよい。また，撮像素子は，検出された合成画像の露光量が所定の輝度レベルに達した場合に，逐次露光モードによる撮影を停止するとしてもよい。かかる構成により，露光量の自動調整が可能になり，容易に適正な露光量が得られる。
【００１１】
撮像素子は，撮影者による停止操作が実行されるまで，逐次露光モードによる撮影を繰り返してもよい。かかる構成により，露光量の手動調整が可能になり，撮影者の好みに応じた露光量に調整することができる。
【００１２】
また，上記課題を解決するために，本発明の別の観点によれば，時分割露光して撮影された複数の画像を合成することにより，電子手ブレ補正することが可能な撮像方法が提供される。また，該撮像方法は，フラッシュが発光された直後，全画素が一斉に露光される一斉露光モードと，フラッシュが非発光状態においてライン毎に露光される逐次露光モードと，により撮影される複合モード撮影過程と；複合モード撮影過程において撮影された画像が重ね合わされる画像合成過程と；を含み，複合モード撮影過程では，一連の撮影動作の中で，逐次露光モードと一斉露光モードとが組み合わされて撮影されることを特徴とする。
【００１３】
上記撮像方法が含む複合モード撮影過程では，フラッシュが発光された直後，全画素が一斉に露光される一斉露光モードと，フラッシュが非発光状態においてライン毎に露光される逐次露光モードと，により撮影される。また，複合モード撮影過程では，一連の撮影動作の中で，逐次露光モードと一斉露光モードとが組み合わされて撮影される。さらに，上記画像合成過程では，複合モード撮影過程において撮影された画像が重ね合わされる。かかる構成により，フラッシュを使用するような低輝度撮影の状況においても，時分割露光による手ブレ補正が可能になる。
【００１４】
複合モード撮影過程では，一連の撮影動作の中で，逐次露光モードによる複数回の露光が実施されて複数の画像が撮影されてもよい。また，画像合成過程では，複数の画像に含まれる被写体の位置ズレが補正されて，複数の画像が合成されてもよい。かかる構成により，被写体の画像がブレることなく，露光量を適正にすることが可能である。
【００１５】
画像合成過程では，撮像素子によって画像が撮影される毎に，画像が重ね合わされて合成画像が生成されてもよい。さらに，撮像方法は，合成画像の露光量を検出する露光量検出過程を含んでもよい。また，複合モード撮影過程では，合成画像の露光量が所定の輝度レベルに達した場合に，逐次露光モードによる撮影が停止されるとしてもよい。かかる構成により，露光量の自動調整が可能になり，容易に適正な露光量が得られる。
【００１６】
複合モード撮影過程では，撮影者による停止操作が実行されるまで，逐次露光モードによる撮影が繰り返されてもよい。かかる構成により，露光量の手動調整が可能になり，撮影者の好みに応じた露光量に調整することができる。
【００１７】
また，上記撮像装置は，例えば，受信した光の強度に応じて，光を受信した画素毎に電荷が蓄積される撮像素子と；撮像素子の列毎に，一の方向に沿って露光が開始され，所定の露光時間後に，露光を開始した位置から，一の方向に沿って蓄積された電荷が読み出されるローリングシャッターモードにより，時分割露光にて複数画像を撮影する逐次露光撮影部と；撮像素子の各画素に蓄積された電荷を一斉に除去する一斉リセット部と；撮像素子に入射する光を遮光する遮光板を開閉することにより，遮光状態と露光状態とを切り替えるメカニカルシャッターと；メカニカルシャッターの開帳と同時にフラッシュを発光するフラッシュ制御部と；一斉リセット部により，撮像素子に蓄積された電荷が除去された直後，撮像素子の全画素が同時に露光されるように，メカニカルシャッターを開帳し，所定の時間後に露光が終了すると同時に，撮像素子の各画素に蓄積された電荷が読み出されるグローバルシャッターモードにより，一の画像を撮影する一斉露光撮影部と；一斉露光撮影部により撮影された一斉露光画像のエッジ情報に基づいて，第１の特徴点を抽出する第１の特徴点抽出部と；逐次露光撮影部により撮影された各逐次露光画像のエッジ情報に基づいて，それぞれ，第２の特徴点を抽出する第２の特徴点抽出部と；第１の特徴点の位置と各第２の特徴点の位置とが一致するように，一斉露光画像と各逐次露光画像とを合成する画像合成部と；を備えていてもよい。なお，上記のローリングシャッターモードとは，逐次露光モードの具体的な一例であってもよく，上記のグローバルシャッターモードとは，一斉露光モードの具体的な一例であってもよい。また，ローリングシャッターモードを併用することで，シャッターレスにすることができる分，消費電力を節約することが可能になる。その結果，時分割露光により実質的な撮影枚数が増加しても，バッテリーの消費を抑制することが可能になる。
【００１８】
さらに，合成画像の主被写体輝度を検出する主被写体輝度検出部と；検出された主被写体輝度と所定の適正輝度とを比較して，合成画像の主被写体輝度が適正か否かを判断する適正輝度判断部と；主被写体輝度が適正でないと判断された場合に，逐次露光撮影部により，さらに一の逐次露光画像が撮影され，画像合成部により，合成画像と一の逐次露光画像とが合成されるように制御する撮像制御部と；を備えていてもよい。
【００１９】
さらに，合成画像の背景輝度を検出する背景輝度検出部と；検出された背景輝度と所定の適正背景輝度とを比較して，合成画像の背景輝度が適正か否かを判断する適正輝度判断部と；主被写体輝度が適正であると判断され，かつ，背景輝度が適正でないと判断された場合に，逐次露光撮影部により，さらに一の逐次露光画像が撮影され，画像合成部により，合成画像と一の逐次露光画像とが合成されるように制御する撮像制御部と；を備えていてもよい。
【００２０】
上記撮像制御部は，所定時間以上，シャッター釦が押下され続けた場合，例えば，シャッター釦が解放されるまで，逐次露光撮影部により，逐次露光画像が撮影され続けるように制御することができる。他の例としては，シャッター釦を二度押しした場合に逐次露光を終了するように構成してもよい。さらに，表示部を備え，逐次露光画像が撮影される毎に，合成画像が作成され，合成画像の露光レベルが表示部に表示されてもよい。
【発明の効果】
【００２１】
以上説明したように本発明によれば，スローシンクロ撮影においても，手ブレを抑制することが可能であると共に，主被写体と背景とに対する好適な露光レベルを調整できる。
【発明を実施するための最良の形態】
【００２２】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００２３】
（撮像装置の構成）
図１を参照しながら，本発明の実施形態に係る撮像装置の構成について説明する。
【００２４】
本発明の実施形態に係る撮像装置は，主に，光学系１０２と，ドライバ１０４，１０６，１０８と，タイミング制御部１１０と，ＣＭＯＳ１１２と，相関二重サンプリング回路（ＣＤＳ；Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）／増幅器（ＡＭＰ；Ａｍｐｌｉｆｉｅｒ）１１４と，Ａ／Ｄ変換部１１６と，画像入力制御部１１８と，ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２０と，操作部１２２と，画像信号処理部１２４と，ＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２６と，圧縮処理部１２８と，メモリ１３０と，表示部１３２と，ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）ドライバ１３４と，記録メディア制御部１３６と，記録メディア１３８と，キャパシタ１４０と，フラッシュ制御部１４２と，により構成される。
【００２５】
光学系１０２は，レンズを通して被写体をＣＭＯＳ１１２に結像させる。ドライバ１０４は，光学系１０２のズーム機構を駆動する。ドライバ１０６は，光学系１０２の絞り機構を駆動する。ドライバ１０８は，光学系１０２のフォーカス機構を駆動する。タイミング制御部１１０は，ＣＭＯＳ１１２を構成する各画素による露光期間の制御や電荷読出しの制御を行う。ＣＭＯＳ１１２は，光電変換が可能な素子により構成され，各素子が受け取った光に応じて電気信号を生成する。ＣＤＳ／ＡＭＰ１１４は，ＣＭＯＳ１１２から得られた電気信号に含まれる低周波ノイズを除去すると共に，電気信号を一定レベルまで増幅する。Ａ／Ｄ変換部１１６は，アナログの電気信号をデジタル信号に変換する。画像入力制御部１１８は，ＣＰＵ１２０からの動作指令を受けて，画像の入力に係るＣＭＯＳ１１２，ＣＤＳ／ＡＭＰ１１４，及びＡ／Ｄ変換部１１６の動作を制御する。操作部１２２は，電源スイッチ，モード切替手段，及びシャッター釦等から構成され，シャッター速度，及びＩＳＯ感度等の設定をユーザが行う為に用いられる。
【００２６】
ＶＲＡＭ１２６は，画像表示用のメモリであり，表示画像の書込みと表示部１３２への表示を同時に実行できるように，複数のチャネルを有するメモリにより構成される。圧縮処理部１２８は，入力画像データをＪＰＥＧ圧縮形式，又はＬＺＷ圧縮形式等の形式に圧縮処理する。メモリ１３０は，ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）等の半導体記憶素子により構成されていてもよく，時分割撮影された高速シャッター画像が保存される。また，画像信号処理部１２４により合成された合成画像が記録されてもよく，ＣＰＵ１２０の動作プログラムが保存されてもよい。
【００２７】
表示部１３２は，ＬＣＤ等の表示手段により構成され，ＶＲＡＭ１２６から読み出された画像が表示される。ＬＣＤドライバ１３４は，表示部１３２を駆動し，表示部１３２の出力を制御する。
【００２８】
記録メディア制御部１３６は，記録メディア１３８への画像データの書込み，又は記録メディア１３８に記録された画像データや設定情報等の読出しを制御する。記録メディア１３８は，光学式記憶媒体，光磁気ディスク，磁気ディスク，又は半導体記憶媒体等により構成され，撮影された画像データを記録することができる。また，記録メディア１３８は，当該撮像装置から着脱可能に構成されてもよい。キャパシタ１４０は，フラッシュの発光等に必要な電源容量を確保する為に，一時的に電流を蓄積する。フラッシュ制御部１４２は，フラッシュの発光制御を行う。特に，撮像素子の一斉リセット，及びメカニカルシャッターの開閉動作に連動した発光動作の制御を行う。
【００２９】
さらに，図２を参照すると，ＣＰＵ１２０は，逐次露光撮影部２００と，一斉リセット部２０２と，一斉露光撮影部２０４と，撮像制御部２０６と，適正輝度判断部２０８と，適正背景輝度判断部２１０と，を含む。つまり，ＣＰＵ１２０は，上記各部の機能を実現することが可能である。もちろん，上記各部が独立したハードウェアブロックにより構成されていてもよい。
【００３０】
逐次露光撮影部２００は，撮像素子のライン毎に，一の方向に沿って露光が開始され，所定の露光時間後に，露光を開始した位置から，一の方向に沿って蓄積された電荷が読み出されるローリングシャッターモードによりを撮影する。一斉リセット部２０２は，前記撮像素子の各画素に蓄積された電荷を一斉に除去する。一斉露光撮影部２０４は，前記一斉リセット部２０２により，前記撮像素子に蓄積された電荷が除去された直後，前記撮像素子の全画素が同時に露光されるように，前記メカニカルシャッターを開帳し，所定の時間後に前記露光が終了すると同時に，前記撮像素子の各画素に蓄積された電荷が読み出されるグローバルシャッターモードにより撮影する。
【００３１】
撮像制御部２０６は，逐次露光撮影部２００，一斉露光撮影部２０４，及び，後述の画像合成部３０６を制御し，逐次露光画像の撮影タイミングや一斉露光画像の撮影タイミングを制御する。また，合成画像に含まれる主被写体の輝度や背景の輝度に応じて，逐次露光撮影の継続を判断する。適正輝度判断部２０８は，撮影された画像から，検出された主被写体の輝度が，所定の主被写体輝度と比較して，適正であるか否かを判断する。適正背景輝度判断部２１０は，撮影された画像から，検出された背景輝度が，所定の背景輝度と比較して，適正であるか否かを判断する。
【００３２】
さらに，図３を参照すると，画像信号処理部１２４は，第１の特徴点抽出部３０２と，第２の特徴点抽出部３０４と，画像合成部３０６と，主被写体輝度検出部３０８と，背景輝度検出部３１０と，を含む。また，画像信号処理部１２４は，自動露光制御（ＡＥ；Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）により設定された露光量の評価値を算出すると共に，自動焦点制御（ＡＦ；Ａｕｔｏ−Ｆｏｃｕｓ）により設定された焦点距離の評価値を算出する。
【００３３】
第１の特徴点抽出部３０２は，一斉露光画像のエッジ情報に基づいて，第１の特徴点を抽出する。第２の特徴点抽出部３０４は，逐次露光画像のエッジ情報に基づいて，第２の特徴点を抽出する。各画像の各画素毎に輝度値が検出される場合，隣接する画素間の輝度値の差が大きい部分が，被写体のエッジ部分に該当すると考え，該差分値，又は微分値等の情報をエッジ情報として参照してもよい。画像合成部３０６は，撮影された一斉露光画像と逐次露光画像との合成画像を生成する。主被写体輝度検出部３０８は，合成画像に含まれる主被写体部の輝度を検出する。背景輝度検出部３１０は，合成画像の背景部の輝度を検出する。主被写体輝度検出部３０８，又は背景輝度検出部３１０は，合成画像の露光量を検出する露光量検出部の一部として具体的に機能するとしてもよい。もちろん，露光量検出部は，主被写体輝度と背景輝度とを共に参照し，全体の露光量の多少を判断する基準となる輝度値を算出するとしてもよい。例えば，平均値や中心値等であってもよい。
【００３４】
以上，本発明の実施形態に係る撮像装置の構成について説明した。以下では，該撮像装置による撮像方法について説明する。
【００３５】
まず，図４を参照しながら，一般的な撮像装置による露光制御方法について説明する。図４は，ローリングシャッターの露光タイミングの一例を示す概念図である。
【００３６】
ＶＤは，垂直転送期間を表す。また，縦軸は，撮像素子の垂直ライン位置に対応する。横軸は，経過時間を表す。ＴＳ，ＴＥ，ＬＳ，ＬＥを頂点とする並行四辺形により露光動作の情報が表現される。以下，該図を参照しながら，具体的に説明する。
【００３７】
通常，ローリングシャッターは，垂直ラインの上端（ＴＯＰ）から露光が開始され（ＴＳ），下端（ＬＡＳＴ）まで露光されると（ＬＳ），再度，上端から下端に向かって露光が開始される。また，露光開始から，所定の時間後に，撮像素子の各画素に蓄積された電荷が読み出される（ＴＥ〜ＬＥ）。このとき，各ラインにおける露光開始時刻と読み出し開始時刻との時間差が露光時間となる。さらに，該図は，露光中にフラッシュを発光した場合について示している。フラッシュの発光期間は，縦の二重線で表現されている。図のように，露光時間の短いローリングシャッターの場合には，フラッシュが発光されたとしても，ＴＯＰラインの露光期間が，フラッシュ発光期間から外れており，フラッシュを受光しておらず，読み出された画像データには，フラッシュ成分は含まれない。従って，全ラインでフラッシュを受光するには，露光期間を長く設定しなくてはならない。
【００３８】
そこで，撮像画素の全ラインでフラッシュを受光できるように，露光時間を長くしたローリングシャッターの露光タイミングの一例を図５に示す。露光時間を十分に長く確保し，フラッシュの発光タイミングを適当に制御することにより，全ラインがフラッシュを受光できることが示されている。しかし，このような露光時間の長い低速シャッターは，ブレが生じ易いため，好ましくない。
【００３９】
そこで，スローシンクロ撮影の場面では，図６に示すような，一斉リセットモードとメカニカルシャッターとを併用した，所謂，グローバルシャッターが好適である。つまり，ＴＯＰ行からＬＡＳＴ行まで一斉に電荷がリセットされた後，露光を開始するモードである。露光後の読み出しはＴＯＰ行から開始される為，画面垂直方向では，露光時間に差が発生する。しかし，メカニカルシャッターを併用して入射光を遮断することで，全ラインの露光期間を同一にすることができる。このように，一斉リセットモードとメカニカルシャッターとの併用により，フラッシュ発光期間より短くならない範囲までは，シャッター速度を高速にすることが可能になる。従って，全ラインを同時に露光することもできる。
【００４０】
一般に，手ブレが発生しやすくなるシャッター速度の目安は，３５ｍｍフィルムカメラの焦点距離に換算したときの焦点距離［ｍｍ］の逆数秒より長いとされている。例えば，焦点距離が２００ｍｍのときは１／２００秒である。また，撮影者がズーミングするにつれて，手ブレが発生しやすくなる為，高速のシャッター速度が求められる。従って，手ブレ軽減の目的からは，一斉リセットモードの方が，ローリングシャッターモードよりも有効である。一方，一斉リセットモードが不利な点としては，メカニカルシャッターを使用する為に動作音が発生することが挙げられる。また，一斉リセットモードでは，シャッターの閉状態から，完全に開ききるまで，次の露光が始められない。従って，図７に示すように，連続撮影した場合には，撮影毎にタイムラグが発生するという欠点もある。
【００４１】
そこで，本発明の一実施形態に係る撮像装置は，フラッシュ発光して，主被写体を撮影する場合にのみ，一斉リセットモードを使用し，フラッシュを発光しない背景撮影用には，ローリングシャッターを使用する。
【００４２】
まず，本実施形態に係る撮像装置の露光タイミングについて，図８を参照しながら説明する。図８は，本実施形態に係る撮像装置の露光タイミング例を示した概念図である。
【００４３】
本実施形態では，１回目に一斉リセットモードにより撮影を行った後，ローリングシャッターにより，複数の画像が撮影される。また，フラッシュは，メカニカルシャッターが開帳された直後に発光される。所定の露光時間が経過すると，メカニカルシャッターは閉じられ，撮像素子の上端ラインから，順次，蓄積された電荷が読み出される。このように，メカニカルシャッターを開閉するのは，１回目の撮影時だけであるから，動作音が気になることもない。また，ローリングシャッターによる撮影には，メカニカルシャッターを併用しない為，連続撮影においても，シャッターの開閉に伴うタイムラグが発生しない。さらに，フラッシュを発光するタイミングが，一斉リセットモードによる撮影の１回だけなので，ローリングシャッター撮影の際に，フラッシュの露光ムラが生じるといった心配もない。なお，図９に示すように，一斉リセットモードによる撮影を最後に行うことも可能である。また，ローリングシャッターのシャッター速度は，適正露光量を得られるシャッター速度よりも高速であり，該高速シャッター速度により撮影された所定数の画像を合成した合成画像の輝度が，適正露光された画像の輝度と同等になるように設定されてもよい。この高速シャッター速度による撮影画像を時分割画像と表現する場合もある。時分割露光による撮影とは，上述のような，高速シャッターによる撮影のことを意味するとしてもよい。
【００４４】
上述のように，本実施形態に係る撮像装置は，一斉リセットモードで前景画像を撮影し，ローリングシャッターによる連続撮影により，背景画像を撮影する。その後，撮影された画像毎に，各画像のエッジ情報に基づいて，特徴点を抽出する。さらに，該特徴点の位置が一致するように，一斉リセットモードで撮影された一の画像と，ローリングシャッターにより撮影された複数の画像とを合成する。ローリングシャッターによる連続撮影の枚数は，例えば，合成画像の輝度値に基づいて決定されるか，所定の枚数が設定されていてもよい。また，ユーザの操作により，適宜，調節されてもよい。
【００４５】
ローリングシャッターにより撮影された画像は，該撮影が実行される毎に，該画像の特徴点が検出され，特徴点の位置が一致するように，該撮影時点までに撮影された画像と合成される。従って，ローリングシャッターによる各撮影毎に，合成画像が生成されて，該合成画像の輝度値が，逐次，モニタリングされる。また，該輝度値が検出される毎に，モニタリングされる輝度値と，所定の適正輝度値とが比較され，連続撮影を続行するか否かの判断がなされる。参照される合成画像の輝度値は，例えば，主被写体部の輝度値であってもよいし，背景部を含めた全画像領域の輝度値であってもよい。ここで，輝度値は，例えば，対象領域内におけるピーク値であってもよいし，平均値であってもよい。以下では，撮影の都度，合成されて参照される上記合成画像のことをライブビュー画像と呼ぶことがある。
【００４６】
以上，本実施形態に係る撮像装置における露光タイミングについて説明した。次に，輝度値モニタリング機能について詳述する。
【００４７】
主被写体（例えば，人物）と背景との距離が離れているときは，背景にフラッシュ光が届かない。この場合，背景画像の輝度値のみをモニタリングしながら，撮像枚数を決定したとしても，合成画像の露光量は，ほぼ適正となる。逆に，主被写体と背景との距離が短い場合には，背景にフラッシュ光が届く為，一斉リセットモードにより撮影した主被写体画像と，背景画像とを合成したとき，主被写体部が露光オーバーの輝度レベルとなる可能性がある。
【００４８】
さらに，ライトアップされた観覧車を撮影した場合等，時々刻々と輝度が変化している状況では，モニタリングされた輝度値が，必ずしも的確に被写体の輝度を表しているとはいえない。また，主被写体と背景との双方に定常光が照明され，両者の輝度差が少ない場合には，背景用の露光中，主被写体に定常光成分が上乗せされ，合成画像の主被写体は，飛び気味の輝度レベルになる可能性もある。従って，撮影時の状況に応じた露出レベルの調整が求められる。
【００４９】
そこで，本実施形態に係る撮像装置の輝度値モニタリング機能について，図１０を参照しながら，具体的に説明する。図１０は，最初に一斉シャッターモードで撮影した後，ローリングシャッターを用いて露光量をモニタリングしながら，連続撮影を行う方法の一例を示した模式図である。
【００５０】
まず，ライブビュー画像の明度から算出された背景部の露出レベルをＢとする（式（１）を参照）。また，背景撮影するための，手ブレが発生しにくいシャッター速度をＴ（ｋ）とする。但し，ｋ＝０，１，．．．Ｎ−１（Ｎは自然数）である。撮影回数Ｎは，Ｎ回の露光を加算したときに，適正レベルの露光量となるように決定される。また，絞り値をＡ（固定値），一斉リセットモードにより撮影されたときの露光量をＥＦとする。
【００５１】
【数１】
0004823743.tif 000002
【００５２】
ここで，ＡＥ演算について説明する。ＡＥ演算は，合成した画像の輝度レベルをモニタリングしながら，将来の輝度レベルを予測する為に行われる。また，各画像が撮影されて合成される毎に，輝度レベルの確認が行われ，主被写体部と背景部とが，各々，過露光になっているか否かについて確認される。なお，ＡＥ演算は，最終ライン（下端）の露光直後に行われる読み出し動作後に実施される。図中では，ローリングシャッターによるｋ回目の撮影画像に対して実施されるＡＥ演算をＡＥ（ｋ）と表現した。
【００５３】
例えば，ＡＥ（１）に着目すると，１回目のローリングシャッター撮影に対するＡＥ演算を実行している際には，既に次の露光Ｔ（２）が開始されている。従って，シャッター速度Ｔ（２）の情報を織り込んだ輝度レベルの予測値が，所望の輝度レベルに達すると判断された場合には，Ｔ（３）の露光がキャンセルされる。その結果，安定した露出レベルの撮影を実現することができる。なお，ＡＥ（Ｎ−２）において，最終露光のシャッター速度Ｔ（Ｎ−１）を織り込んだ露光量の不足を判断すれば，露光回数増加にも対応可能である。
【００５４】
ところで，一斉リセットモードにより露光した後，フラッシュ光の反射光量を計測することにより，主被写体の位置や大きさが検出される。また，ローリングシャッターによる露光中のＡＥ演算においては，主被写体の輝度レベルにも注意する必要がある。従って，定常光成分が加算されることによって，主被写体の輝度値が大きくなり過ぎないようにモニタリングしなくてはならない。また，露光キャンセルの判断基準としては，主被写体部の輝度値が優先的に参照され，主被写体部の輝度値が適正である場合にのみ，背景部の輝度値が参照される。
【００５５】
図中の最下段は，加算された画像が，表示部（ＬＣＤ）に表示されるタイミングと輝度値とを表した概念図である。背景部の画像が加算されるのに伴い，表示画像が明るくなる。この様子は，ＬＣＤ上で観察することができる。また，撮影者がシャッター釦を所定時間以上，押下し続けた場合，撮像装置は，バルブ撮影モードに切り替わる。逆に，所定時間以内にシャッター釦を解除すると，ＡＥにより撮影される（Ｔ（０）〜Ｔ（Ｎ−１））。バルブ撮影モードでは，撮影者がＬＣＤに表示される合成画像の輝度レベルを観察しながら，露光終了タイミングを決定することができる。なお，バルブ撮影モードでは，シャッター釦を解除したときに露光が終了する。もちろん，予めバルブ撮影モードに設定しておくことも可能である。
【００５６】
ここでは，撮影時の感度設定については言及しなかったが，例えば，フラッシュを発光して，一斉リセットモードにより主被写体を撮影する場合と，ローリングシャッターモードにより背景を撮影する場合とを区別して，それぞれ，異なる感度設定で撮影してもよい。一例として，画質を重視しないことの多い背景撮影については，高感度で撮影し，主被写体の撮影については，より低い感度で撮影することも可能である。このようにすると，背景画像の撮影回数を減少させることが可能になり，全体として，高速に撮影することができる。また，場合によっては，背景撮影の回数が１回以下で済む場合もありうる。
【００５７】
以上，本実施形態に係る輝度モニタリング機能と，該輝度モニタリング機能により露光制御する方法について説明した。このように，撮影毎に輝度レベルをモニタリングし，検出された輝度レベルに応じて，撮影を継続するか否かの判断をすることで，合成画像の輝度レベルを適正に制御することができる。また，バルブ撮影モードでは，撮影者が表示部に表示された輝度レベルを確認しながら，露光量を調節することが可能である。
【００５８】
次に，図１１を参照しながら，本実施形態に係る撮像装置の動作フローについて説明する。図１１は，本実施形態に係る撮像過程を示すフローチャートである。
【００５９】
本実施形態に係る撮像装置は，手ブレ補正機能が有効であるか否かを判断し（Ｓ１０２），無効である場合には，通常のスローシンクロ撮影モードで撮影する（Ｓ１２２）。手ブレ補正機能が有効である場合には，グローバルシャッター（一斉リセットモード）による撮影（ＧＳ撮影）時のシャッター速度が設定される（Ｓ１０４）。また，ローリングシャッターによる撮影（ＲＳ撮影）時のシャッター速度が設定される（Ｓ１０４）。さらに，ＲＳ撮影時の撮影枚数ｒが設定される（Ｓ１０４）。
【００６０】
次に，設定されたＧＳ撮影時のシャッター速度に基づいて，ＧＳ撮影が行われる（Ｓ１０６）。つまり，一斉リセットモードにより撮影される。このときの露光量をＥ０とする。また，各画像の露光量を一時的に格納する仮露光量Ｓｕｍの値を，ＧＳ撮影による露光量Ｅ０により初期化する（Ｓ１０８）。
【００６１】
さらに，ｎ枚目（ｎ＝１〜ｒ）のＲＳ撮影を実行し（Ｓ１１２），ＲＳ撮影された各画像の露光量Ｔｎを記録する（Ｓ１１４）。さらに，記録された露光量Ｔｎを仮露光量Ｓｕｍに足し込む（Ｓ１１６）。これらの過程は，設定されたＲＳ撮影枚数分だけ繰り返される（Ｓ１１０，Ｓ１１８）。
【００６２】
さらに，ＧＳ撮影された一画像のエッジ情報から，第１の特徴点を検出すると共に，ＲＳ撮影された各画像のエッジ情報から，それぞれ，第２の特徴点が検出される（Ｓ１２０）。該第１の特徴点の位置と，該各第２の特徴点の位置とを一致させるように，各画像を合成する（Ｓ１２０）。以上の過程により，露光量が適正に調整された合成画像が生成される。
【００６３】
次に，本実施形態に係り，露光量を自動的に判断して，ＲＳ撮影を中断することが可能な，バルブ撮影モードを備えた撮像装置に係る撮像方法について説明する。図１２は，本実施形態に係る撮像過程を示すフローチャートである。
【００６４】
本実施形態に係る撮像装置は，手ブレ補正機能が有効であるか否かを判断し（Ｓ２０２），無効である場合には，通常のスローシンクロ撮影モードで撮影する（Ｓ２３０）。手ブレ補正機能が有効である場合には，グローバルシャッター（一斉リセットモード）による撮影（ＧＳ撮影）時のシャッター速度が設定される（Ｓ２０４）。また，ローリングシャッターによる撮影（ＲＳ撮影）時のシャッター速度が設定される（Ｓ２０４）。さらに，ＲＳ撮影時の撮影枚数ｒが設定される（Ｓ２０４）。
【００６５】
次に，設定されたＧＳ撮影時のシャッター速度に基づいて，ＧＳ撮影が行われる（Ｓ２０６）。つまり，一斉リセットモードにより撮影される。このときの露光量をＥ０とする。また，各画像の露光量を一時的に格納する仮露光量Ｓｕｍの値を，ＧＳ撮影による露光量Ｅ０により初期化する（Ｓ２０８）。
【００６６】
さらに，ｎ枚目（ｎ＝１〜ｒ）のＲＳ撮影を実行し（Ｓ２１２），ＲＳ撮影された各画像の露光量Ｔｎを記録する（Ｓ２１４）。さらに，記録された露光量Ｔｎを仮露光量Ｓｕｍに足し込む（Ｓ２１６）。さらに，ＧＳ撮影された一画像のエッジ情報から，第１の特徴点を検出すると共に，ＲＳ撮影された各画像のエッジ情報から，それぞれ，第２の特徴点が検出される（Ｓ２１８）。該第１の特徴点の位置と，該各第２の特徴点の位置とを一致させるように，各画像を合成する（Ｓ２１８）。その後，合成された画像を表示する（Ｓ２２０）。
【００６７】
さらに，合成された画像から，主被写体部の露光量を算出する（Ｓ２２２）。また，合成画像に含まれる背景部の露光量を算出する（Ｓ２２２）。その後，撮像装置は，シャッター釦が解放されたか否かを判断する（Ｓ２２４）。所定時間以内にシャッター釦が解放されれば処理を終了し，合成画像を確定する。逆に，所定時間以上，シャッター釦が押下された状態にある場合には，検出された主被写体の露光量，又は総露光量が適正であるか否かを判断する（Ｓ２２６）。主被写体の露光量，又は総露光量が適正でない場合には，さらに，ＲＳ撮影を続行する（Ｓ２１０，Ｓ２２８）。
【００６８】
一方，主被写体の露光量，又は総露光量が適正である場合には，処理を終了し，合成画像を確定する。上記の総露光量が適正であるか否かの判断では，まず，主被写体部の露光量が適正か否かが判断され，適正であると判断された場合に，背景部の露光量が適正であるか否かが判断される。従って，総露光量に関する適正判断は，主被写体部の露光量の適否が優先して判断され，その後，背景部の露光量の適否が判断される。その結果，主被写体部が適正になるまで，ＲＳ撮影が繰り返された上で，背景部の露光量が適正になるまで，ＲＳ撮影が繰り返される。この場合には，主被写体の露光量が適正露光量以上になる。以上の過程により，露光量が適正に調整された合成画像が生成される。
【００６９】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】同実施形態に係るＣＰＵの機能構成を示すブロック図である。
【図３】同実施形態に係る画像信号処理部の構成を示すブロック図である。
【図４】ローリングシャッターによる露光タイミングを示す概念図である。
【図５】ローリングシャッターによる露光タイミングを示す概念図である。
【図６】一斉リセットモードによる露光タイミングを示す概念図である。
【図７】一斉リセットモードによる連続露光タイミングを示す概念図である。
【図８】本発明の実施形態に係る撮像装置の露光タイミングを示す概念図である。
【図９】同実施形態に係る撮像装置の露光タイミングを示す概念図である。
【図１０】同実施形態に係る撮像装置の露光タイミングを示す概念図である。
【図１１】本発明の実施形態に係る撮像方法を示すフローチャートである。
【図１２】本発明の実施形態に係る撮像方法を示すフローチャートである。
【符号の説明】
【００７１】
１１２      ＣＭＯＳ（撮像素子）
１２０      ＣＰＵ
１２４      画像信号処理部
１４２      フラッシュ制御部
２００      逐次露光撮影部
２０２      一斉リセット部
２０４      一斉露光撮影部
２０６      撮像制御部
２０８      適正輝度判断部
２１０      適正背景輝度判断部
３０２      第１の特徴点抽出部
３０４      第２の特徴点抽出部
３０６      画像合成部
３０８      主被写体輝度検出部
３１０      背景輝度検出部
【図１】
0004823743.tif 000003
【図２】
0004823743.tif 000004
【図３】
0004823743.tif 000005
【図４】
0004823743.tif 000006
【図５】
0004823743.tif 000007
【図６】
0004823743.tif 000008
【図７】
0004823743.tif 000009
【図８】
0004823743.tif 000010
【図９】
0004823743.tif 000011
【図１０】
0004823743.tif 000012
【図１１】
0004823743.tif 000013
【図１２】
0004823743.tif 000014