(57)【要約】【課題】撮影シーンの明るさが急激に変化した場合でも、露光が適正な画像を取得することが可能な撮像装置及び撮像方法を提供すること。【解決手段】１フレーム毎の画像データを順次出力する撮影部１２０と、順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定し、１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し１組の画像セットのうち他の少なくとも２フレームの撮影を第２の露光条件に設定する露光条件設定部１６０と、第１の露光条件で撮影され出力された第１の画像データの露光量と、第２の露光条件で撮影され出力された第２の画像データの露光量を検出する露光量検出部１４０を有し、露光条件設定部は、任意の１組の画像セットの第１及び第２の露光条件を設定する際、１又は複数前の１組の画像セットにおける第１と第２の画像データの露光量に応じて第１及び第２の露光条件を設定する。【選択図】図２
2010136224.tif 000002
【特許請求の範囲】
【請求項１】
時間軸方向に１フレーム毎に撮影を行い１フレーム毎の画像データを順次出力する撮影部と、
前記順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定し、前記１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し、前記１組の画像セットのうち他の少なくとも２フレームの撮影を前記第１の露光条件と異なる第２の露光条件に設定する露光条件設定部と、
前記第１の露光条件で撮影され出力された第１の画像データの露光量と、前記第２の露光条件で撮影され出力された第２の画像データの露光量を検出する露光量検出部と、
を有し、
前記露光条件設定部は、任意の前記１組の画像セットの前記第１の露光条件及び前記第２の露光条件を設定する際、１又は複数前の前記１組の画像セットにおいて検出された前記第１の画像データの露光量と前記第２の画像データの露光量に応じて、前記第１の露光条件及び前記第２の露光条件を設定する、撮像装置。
【請求項２】
前記検出された露光量に応じて、前記１組の画像セットのうち少なくとも２フレームの画像データを合成して１フレームの合成画像データを生成し、前記１組の画像セットから１つの前記合成画像データを出力する画像合成部を更に有する、請求項１に記載の撮像装置。
【請求項３】
前記検出された露光量に応じて、前記１組の画像セットのうち少なくとも１フレームの画像データを選択し、選択された１フレームの画像データに基づいた１つの画像データを出力する画像選択部を更に有する、請求項１に記載の撮像装置。
【請求項４】
前記露光条件設定部は、前記第２の露光条件に設定する少なくとも２フレームの撮影のうち少なくとも１フレームの撮影を前記第１の露光条件より露光量が多い第３の露光条件に設定し、他の少なくとも１フレームの撮影を前記第１の露光条件より露光量が少ない第４の露光条件に設定する、請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記第３の露光条件及び前記第４の露光条件は、前記第１の露光条件に応じて決定される、請求項４に記載の撮像装置。
【請求項６】
前記１組の画像セットのうち前記第１の露光条件に設定するフレームの撮影が複数のフレームであるとき、それぞれの前記フレームに設定される前記第１の露光条件はそれぞれ異なる、請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
時間軸方向に１フレーム毎に撮影を行い１フレーム毎の画像データを順次出力するステップと、
前記順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定するステップと、
前記１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し、前記１組の画像セットのうち他の少なくとも２フレームの撮影を前記第１の露光条件と異なる第２の露光条件に設定するステップと、
前記第１の露光条件で撮影され出力された第１の画像データの露光量と、前記第２の露光条件で撮影され出力された第２の画像データの露光量を検出するステップと、
を有し、
任意の前記１組の画像セットの前記第１の露光条件及び前記第２の露光条件を設定するステップは、１又は複数前の前記１組の画像セットにおいて検出された前記第１の画像データの露光量と前記第２の画像データの露光量に応じて、前記第１の露光条件及び前記第２の露光条件を設定する、撮像方法。
【請求項８】
前記検出された露光量に応じて、前記１組の画像セットのうち少なくとも２フレームの画像データを合成して１フレームの合成画像データを生成するステップと、
前記１組の画像セットから１つの前記合成画像データを出力するステップと、
を更に有する、請求項７に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
撮像装置が撮影する被写体（撮影シーン）は、ダイナミックレンジ（被写体の最も明るい部分と最も暗い部分の比率）が広い場合がある。このとき、デジタルスチルカメラやビデオカメラ等の撮像装置に設けられた撮像素子が許容できるダイナミックレンジが狭いと、ダイナックレンジが広い被写体をそのまま撮影することができない。このとき、適正な露出にならないため、撮影された画像は、暗部が黒くつぶれたり、明部が白く飛んだりする。
【０００３】
そこで、１度の撮影で多重露光をすることによって、１枚のダイナミックレンジの広い画像を撮影する技術が開示されている。例えば、特許文献１には、高輝度部の撮影と低輝度部の撮影という２回の撮影をする撮像装置が開示されており、当該撮像装置は、高輝度部と低輝度部で異なる露光条件で撮影を行う。
【０００４】
また、特許文献２の技術は、本撮影の前に複数の露光条件によって被写体のダイナミックレンジに関する情報を合成し、合成した情報の輝度のヒストグラムから高輝度部と低輝度部にあるピークを検出する。そして、高輝度部と低輝度部にそれぞれに適した露光条件が設定されて本撮影が行われる。更に、特許文献３には、Ｎ回目以前の撮影結果からＮ＋１回目の撮影の露光条件候補を決定する技術が開示されている。
【０００５】
【特許文献１】特開平７−２９８１４２号公報
【特許文献２】特開２００２−１３５６４８号公報
【特許文献３】特開２００６−３３３２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の多重露光を使用した技術を用いたとしても、撮影シーンの明るさが急激に変化した場合、例えば、室内の撮影を行っていて窓から日光が急に室内に射した場合等では、撮像装置の露光条件が最適な値に追従するまで時間がかかった。即ち、撮像装置が最適な露光条件を検出するために、絞りやシャッターなどを少しずつ変化させる必要がある。その結果、撮影シーンの明るさが急激に変化すると、しばらくの間、露出オーバーで画像が白くなったり、露出アンダーで画像が黒くつぶれたりするという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影シーンの明るさが急激に変化した場合でも、露光が適正な画像を取得することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、時間軸方向に１フレーム毎に撮影を行い１フレーム毎の画像データを順次出力する撮影部と、順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定し、１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し、１組の画像セットのうち他の少なくとも２フレームの撮影を第１の露光条件と異なる第２の露光条件に設定する露光条件設定部と、第１の露光条件で撮影され出力された第１の画像データの露光量と、第２の露光条件で撮影され出力された第２の画像データの露光量を検出する露光量検出部を有し、露光条件設定部は、任意の１組の画像セットの第１の露光条件及び第２の露光条件を設定する際、１又は複数前の１組の画像セットにおいて検出された第１の画像データの露光量と第２の画像データの露光量に応じて、第１の露光条件及び第２の露光条件を設定する撮像装置が提供される。
【０００９】
上記検出された露光量に応じて、１組の画像セットのうち少なくとも２フレームの画像データを合成して１フレームの合成画像データを生成し、１組の画像セットから１つの合成画像データを出力する画像合成部を更に有してもよい。
【００１０】
上記検出された露光量に応じて、１組の画像セットのうち少なくとも１フレームの画像データを選択し、選択された１フレームの画像データに基づいた１つの画像データを出力する画像選択部を更に有してもよい。
【００１１】
上記露光条件設定部は、第２の露光条件に設定する少なくとも２フレームの撮影のうち少なくとも１フレームの撮影を第１の露光条件より露光量が多い第３の露光条件に設定し、他の少なくとも１フレームの撮影を第１の露光条件より露光量が少ない第４の露光条件に設定してもよい。
【００１２】
上記第３の露光条件及び第４の露光条件は、第１の露光条件に応じて決定されてもよい。
【００１３】
上記１組の画像セットのうち第１の露光条件に設定するフレームの撮影が複数のフレームであるとき、それぞれのフレームに設定される第１の露光条件はそれぞれ異なってもよい。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、時間軸方向に１フレーム毎に撮影を行い１フレーム毎の画像データを順次出力するステップと、順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定するステップと、１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し、１組の画像セットのうち他の少なくとも２フレームの撮影を第１の露光条件と異なる第２の露光条件に設定するステップと、第１の露光条件で撮影され出力された第１の画像データの露光量と、第２の露光条件で撮影され出力された第２の画像データの露光量を検出するステップを有し、任意の１組の画像セットの第１の露光条件及び第２の露光条件を設定するステップは、１又は複数前の１組の画像セットにおいて検出された第１の画像データの露光量と第２の画像データの露光量に応じて、第１の露光条件及び第２の露光条件を設定する撮像方法が提供される。
【００１５】
上記検出された露光量に応じて、１組の画像セットのうち少なくとも２フレームの画像データを合成して１フレームの合成画像データを生成するステップと、１組の画像セットから１つの合成画像データを出力するステップを更に有してもよい。
【発明の効果】
【００１６】
本発明によれば、撮影シーンの明るさが急激に変化した場合でも、露光が適正な画像を取得することができる。
【発明を実施するための最良の形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。なお、説明は、以下の順序で行う。
１．第１の実施形態
［第１の実施形態の構成］
［制御部１１３の構成］
［第１の実施形態の動作］
【００１８】
＜１．第１の実施形態＞
［第１の実施形態の構成］
本実施形態の撮像装置１００は、例えば、撮像レンズ１１４が交換可能、又は交換不可能双方におけるデジタルスチルカメラに限られない。撮像装置１００は、ビデオカメラ、カムコーダ、携帯電話機、ＰＤＡ（Personal  Digital  Assistants）などの撮像機能を持つ装置に適用可能である。また、パーソナルコンピュータなどに接続されるテレビ電話用又はゲームソフト用などの小型カメラによる撮像信号を処理する処理装置や記録装置にも本実施形態の撮像装置１００を適用することができる。
【００１９】
また、後述する撮像装置１００の各処理機能は、ハードウェアでもソフトウェアでも実装可能である。また、本明細書で記載する画像処理は、撮像装置１００の信号処理における入力データ（ＲＡＷデータ）のうちＲ，Ｇ，Ｂに対する処理である。以下、本実施形態ではベイヤ配列のＲＡＷデータを採用する場合について説明する。
【００２０】
まず、本実施形態に係る撮像装置１００の構成を説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。
【００２１】
図１に示す撮像装置１００は、記憶媒体に映像データを記録可能なビデオカメラである。
撮像装置１００は、例えば、イメージセンサ１０１と、前処理部１０２と、カメラ信号処理部１０３と、変換処理部１０４と、圧縮・伸張部１０５と、メモリ制御部１０６と、メモリ１０７と、表示処理部１０８と、圧縮・伸張部１０９と、記録デバイス制御部１１０と、記録デバイス１１１と、表示部１１２と、制御部１１３と、撮像レンズ１１４などを備えている。
【００２２】
撮像レンズ１１４は、被写体からの入射光を集光させ、後述のイメージセンサ１０１に被写体像を結像させるレンズ群である。
【００２３】
イメージセンサ１０１は、光学系（例えば、撮像レンズ１１４、赤外線除去フィルタ、光学的ローパスフィルタ等を含む。）を介して取り込まれた被写体からの入射光を光電変換によって電気信号に変換する。イメージセンサ１０１は、例えば、ＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)型の撮像素子が用いられる。ＣＭＯＳ型撮像素子の場合、フォトダイオード、行・列選択ＭＯＳトランジスタ、信号線等が２次元状に配列され、垂直走査回路、水平走査回路、ノイズ除去回路、タイミング発生回路等が形成される。なお、イメージセンサ１０１として、ＣＣＤ(Charge  Coupled  Device)を使用してもよい。
【００２４】
また、イメージセンサ１０１は、例えば、３０ｆｐｓ（フィールド／秒）のフレームレートで信号を読み出す。イメージセンサ１０１は、３０ｆｐｓ以上のフレームレート、例えば通常レートの４倍の１２０ｆｐｓで高速に信号を読み出してもよい。イメージセンサ１０１は、ＣＤＳ（Correlated  Double  Sampling）及びＡ／Ｄコンバータを内蔵し、イメージセンサ１０１から撮像データが出力される。
【００２５】
前処理部１０２は、イメージセンサ１０１から出力された撮像データに対して、シェーディング補正等の光学的な補正処理を行ってディジタル画像信号を出力する。
【００２６】
カメラ信号処理部１０３は、前処理部１０２からの撮像データに対して、同時化処理、ホワイトバランス補正、アパーチャ補正、ガンマ補正、ＹＣ生成等のカメラ信号処理を施す。
【００２７】
変換処理部１０４は、カメラ信号処理部１０３から受け取った画像信号を表示部１１２の表示に適合したフレームレート及び画面サイズに変換するための表示間引きとサイズ調整とを行う。なお、表示間引きは表示処理部１０８に出力するとき行う。表示間引きとは、撮像装置１００が高速撮像モードのときに、画像を映し出す表示装置の表示規格で規定されている単位時間当たりのフィールド数（例えば３０ｆｐｓ）に合うように、フィールドを間引くことである。
【００２８】
圧縮・伸張部１０５は、変換処理部１０４からの撮像データに対して、例えばＪＰＥＧ（Joint  Photographic  Experts  Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリ制御部１０６から供給された静止画像の符号化データに対して伸張復号化処理を行う。メモリ制御部１０６は、メモリ１０７に対する画像データの書き込み及び読み込みを制御する。メモリ１０７は、メモリ制御部１０６から受け取った画像データを一時的に保存するＦＩＦＯ（First  In  First  Out）方式のバッファメモリである。メモリ１０７は、例えば、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）などである。
【００２９】
表示処理部１０８は、変換処理部１０４又は圧縮・伸張部１０９から受け取った画像信号から、表示部１１２に表示させるための画像信号を生成して、画像信号を表示部１１２に送り、画像を表示させる。表示部１１２は、例えばＬＣＤ（Liquid  Crystal  Display）からなり、撮像中のカメラスルー画像や記録デバイス１１１に記録されたデータの画像などを表示する。
【００３０】
圧縮・伸張部１０９は、変換処理部１０４から受け取った画像データに対して、例えばＭＰＥＧ（Moving  Picture  Experts  Group）などの動画像の符号化方式で圧縮符号化処理を行う。また、記録デバイス１１１から供給された動画の符号化データに対して伸張復号化処理を行い、表示処理部１０８に出力する。表示部１１２は、表示処理部１０８から受け取った動画を表示する。
【００３１】
制御部１１３は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）などから構成されるマイクロコンピュータである。制御部１１３は、ＲＯＭなどに記憶されたプログラムを実行することにより、撮像装置１００の各構成要素を統括的に制御する。
【００３２】
［制御部１１３の構成］
次に、図２を参照して、本実施形態の撮像装置１００における制御部１１３について説明する。図２は、本実施形態に係る撮像装置１００の一部の構成を示すブロック図である。
【００３３】
本実施形態の撮像装置１００の制御部１１３は、例えば図２に示すように、画像保存部１３０と、画像合成部１４０と、画像処理部１５０と、露光条件設定部１６０等を有する。制御部１１３は、画像撮像部１２０から画像情報を受ける。画像撮像部１２０は、上述したイメージセンサ１０１、前処理部１０２、カメラ信号処理部１０３からなる機能ブロックである。画像撮像部１２０は撮影部の一例である。
【００３４】
画像保存部１３０は、画像撮像部１２０から受けた画像情報を一時的に保存する。画像合成部１４０は、画像保存部１３０から受けた複数枚分の画像情報を合成する。画像処理部１５０は、画像情報を表示可能な信号や圧縮や記録可能な信号に変換して、変換後の信号を変換処理部１０４、圧縮・伸張部１０５、メモリ制御部１０６、表示処理部１０８、圧縮・伸張部１０９などに送る。
【００３５】
露光条件設定部１６０は、順次出力された連続する少なくとも３フレームの画像データを１組の画像セットとして順次設定する。また、露光条件設定部１６０は、１組の画像セットのうち少なくとも１フレームの撮影を第１の露光条件に設定し、１組の画像セットのうち他の少なくとも２フレームの撮影を第１の露光条件と異なる第２の露光条件に設定する。
【００３６】
また、露光条件設定部１６０は、任意の１組の画像セットの第１の露光条件及び第２の露光条件を設定する際、１又は複数前の１組の画像セットにおいて検出された第１の画像データの露光量と第２の画像データの露光量に応じて、第１の露光条件及び第２の露光条件を設定する
【００３７】
露光条件設定部１６０は、第２の露光条件に設定する少なくとも２フレームの撮影のうち少なくとも１フレームの撮影を第１の露光条件より露光量が多い第３の露光条件に設定する。また、露光条件設定部１６０は、他の少なくとも１フレームの撮影を第１の露光条件より露光量が少ない第４の露光条件に設定してもよい。また、上記第３の露光条件及び第４の露光条件は、第１の露光条件に応じて決定されてもよい。上記１組の画像セットのうち第１の露光条件に設定するフレームの撮影が複数のフレームであるときは、それぞれのフレームに設定される第１の露光条件はそれぞれ異なってもよい。
【００３８】
画像合成部１４０は、露光量検出部の一例であり、第１の露光条件で撮影され出力された第１の画像データの露光量と、第２の露光条件で撮影され出力された第２の画像データの露光量を検出する。また、画像合成部１４０は、画像選択部の一例である画像選択処理部１４４を有している。画像選択処理部１４４は、上記検出された露光量に応じて、１組の画像セットのうち少なくとも１フレームの画像データを選択し、選択された１フレームの画像データに基づいた１つの画像データを出力する。なお、画像合成部１４０は、検出された露光量に応じて、１組の画像セットのうち少なくとも２フレームの画像データを合成して１フレームの合成画像データを生成し、１組の画像セットから１つの合成画像データを出力してもよい。時間軸方向に連続した複数の画像セットにおいて、１組の画像セットから画像データ又は合成画像データが１つずつ出力されることで、動画像を形成することができる。
【００３９】
［第１の実施形態の動作］
次に、図２を参照して、本実施形態の撮像装置１００の動作について説明する。
まず、画像撮像部１２０は、Ｎ枚のフレーム（Ｎ＞２）の画像データを１組の画像セット内に順次、出力する。１組の画像セットに出力されるフレーム数Ｎは、露光条件設定部１６０において設定される。
【００４０】
順次出力された複数枚分の画像情報は、一旦、後段の画像保存部１３０に送られ、保存される。そして、Ｎ枚分の画像情報又は画素情報が揃った段階で、画像情報が画像合成部１４０に出力される。画像合成部１４０は、画像保存部１３０から送られてきたＮ枚の画像情報を解析して、ダイナミックレンジが広い画像を作成し、後段の画像処理部１５０へ送る。同時に、画像合成部１４０は、Ｎ枚の画像の撮影状態などを露光条件設定部１６０に送る。露光条件設定部１６０は、Ｎ枚の画像の撮影状態などに基づいて、新たな露光条件を設定する。
【００４１】
以下では、本実施形態の撮像装置１００を用いて、Ｎ枚（Ｎ＞２）以上の多重露光を行う撮像装置１００における露光条件の設定法について記述する。実施例としてＮ＝４の場合について説明する。図４〜図９は、イメージセンサ１０１上のある１点の露光量の時間的変化を示すグラフである。
【００４２】
通常の撮影シーンにおいては、１枚か２枚の画像があれば、撮影シーンのダイナミックレンジをすべて再現できる。そこで、イメージセンサ１０１のダイナミックレンジが狭い場合は、本実施形態を適用して、図４のように、４枚のフレームを１組の画像セットとして、それぞれのフレームに所定のシャッタースピードを設定しておく。
【００４３】
図４は、具体例として、画像撮像部１２０が１２０ｆｐｓで画像を取得した後、画像合成部１４０が３０ｆｐｓで合成画像を出力する場合のイメージセンサ１０１の露光量の時間変化を示している。
【００４４】
１つの撮影シーンを撮影するのに４枚の画像を用いるので、それぞれの画像撮影の際の各フレームを時間順にＳ１，Ｓ２，Ｓ３，Ｓ４とする。ここでは、Ｓ２，Ｓ３を通常の撮影シーン撮影用の露光条件として設定しておく。そして、Ｓ１は撮影シーンが急激に明るくなった場合、Ｓ４は撮影シーンが急激に暗くなった場合に対応するための露光条件として設定する。そのため、Ｓ１はＳ２，Ｓ３よりもシャッタースピードが短く、Ｓ４はＳ２，Ｓ３よりもシャッタースピードが長い。
【００４５】
図４は、通常の撮影シーンを撮影している場合の例を示す。この場合、Ｓ２，Ｓ３は通常の撮影シーンを撮影するための適切な露光条件であるため、適度な露光量が得られている。一方、Ｓ１は明るい撮影シーン用の露光条件であるため、露光量が少なくなっている。また、Ｓ４は暗い撮影シーン用の露光条件であるため、露光量が飽和してしまっている。
【００４６】
ここで、撮影シーンのダイナミックレンジが狭い場合は、１枚の画像で撮影シーンのダイナミックレンジをすべて再現できる。このような場合は、Ｓ２とＳ３は同じシャッタースピードでよい。この場合、２枚の画像はまったく同じ撮影シーンが撮影されているので、２枚の画像を重ね合わせることで、Ｓ／Ｎの向上を図ることができる。即ち、画像内でノイズはランダムに発生するため、複数枚の画像を重ね合わせることでノイズを低減することができる。
【００４７】
通常の撮影シーンを撮影しているとき、撮影シーンが急に明るくなった場合は、露光条件を明るさに合わせて急に変化させることはできない。そのため、各画像の露光量は、例えば図５に示すようにＳ２〜Ｓ４はすべて飽和してしまう。しかし、Ｓ１はＳ２，Ｓ３よりもシャッタースピードが短い。そのため、Ｓ１では適切な露光量で撮影をすることができる。従って、１組の画像セットから出力する画像データとしては、Ｓ１の情報を選択すれば、適正な露光がされた画像が出力されるため問題がない。
【００４８】
反対に、通常の撮影シーンを撮影しているとき、撮影シーンが急に暗くなった場合も、露光条件を明るさに合わせて急に変化させることはできない。そのため、各画像の露光量は、例えば図６に示すようにＳ１〜Ｓ３は露光が不足してしまう。しかし、Ｓ４はＳ２，Ｓ３よりもシャッタースピードが長い。そのため、Ｓ４では適切な露光量で撮影をすることができる。従って、１組の画像セットから出力する画像データとしては、Ｓ４の情報を選択すれば、適正な露光がされた画像が出力されるため問題がない。
【００４９】
また、図４で示した場合と異なり、通常の撮影シーンのダイナミックレンジが１枚の画像で納まらなくなった場合には、図７に示すように、Ｓ２とＳ３のシャッタースピードを微調整して、いずれか一方を他方より長くしたり短くしたりする。これにより、Ｓ２とＳ３のシャッタースピードを同一にする場合より、撮影シーンのダイナミックレンジを広くカバーできるようになる。
【００５０】
なお、この場合、Ｓ２，Ｓ３の画像が近いシャッタースピードで撮影された場合は、両方の画像で適切な露光状態で撮影されている画素については、重ね合わせによってＳ／Ｎの向上を図ってもよい。
【００５１】
撮影シーンのダイナミックレンジがさらに広がった場合は、図８のように、Ｓ１からＳ３までの３枚のフレームを用いて撮影シーンを撮影してもよい。そして、Ｓ１からＳ３よりシャッタースピードが長いＳ４を用いて、撮影シーンが急に暗くなった場合へ備える。逆に、Ｓ２からＳ４までの３枚のフレームを用いて撮影シーンを撮影してもよい。そして、Ｓ２からＳ４よりシャッタースピードが短いＳ１を用いて、撮影シーンが急に明るくなった場合へ備える。Ｓ１からＳ３までの３枚のフレームを用いるか、Ｓ２からＳ４までの３枚のフレームを用いるかは、撮影シーンが全体的に明るいのか又は暗いのかを判定することで２つの方法を選択できる。
【００５２】
図８に示した例よりも更にダイナミックレンジが広がった場合は、Ｓ１からＳ４の４枚のフレームを用いて撮影シーンを撮影すればよい。
【００５３】
ここで、撮影シーンが、イメージセンサ１０１のダイナミックレンジの上限又は下限付近に画像の明るさが集中した場合の処理について説明する。ここでは、撮影シーンがイメージセンサ１０１のダイナミックレンジの下限付近に画像の明るさが集中した場合、つまり、画像全体が暗くなった場合についての説明を図９に示す。撮影シーンが暗くなった場合は、Ｓ２からＳ４までを同じシャッタースピードに設定する。そして、Ｓ２からＳ４までで得られたフレームを重ね合わせることで、Ｓ／Ｎの向上を図った１枚の画像を得ることができる。Ｓ２からＳ４以外のＳ１は撮影シーンが急激に明るくなった場合の備えとしての露光条件を設定しておく。撮影シーンが急激に明るくなると、Ｓ２〜Ｓ４は飽和してしまうが、Ｓ１が適切な露光となるため、１組の画像セットから適切な１枚の画像を得ることができる。
【００５４】
一方、図示しないが、撮影シーンが明るくなった場合は、Ｓ１からＳ３までを同じシャッタースピードに設定する。そして、Ｓ１からＳ３までで得られたフレームを重ね合わせることで、Ｓ／Ｎの向上を図った１枚の画像を得ることができる。Ｓ１からＳ３以外のＳ４は撮影シーンが急激に暗くなった場合の備えとしての露光条件を設定しておく。撮影シーンが急激に暗くなると、Ｓ１〜Ｓ３は露光不足になってしまうが、Ｓ４が適切な露光となるため、１組の画像セットから適切な１枚の画像を得ることができる。
【００５５】
次に、Ｓ１とＳ４の設定例について述べる。Ｓ１とＳ４には、撮影シーンの明暗の急激な変化に対応する露光条件が設定される。これにより、撮影シーンにおいて明暗の急激な変化があった場合でも、露光が適切な画像を撮影できる。
【００５６】
Ｓ１は明るい画像に対応するため設定される。従って、例えば撮像装置１００で設定できるもっとも短いシャッタースピードに設定する方法がある。しかし、撮影シーンによっては明るさの上限が既知である場合がある。そこで、明るさの上限値に対応した露光条件を手動で設定してもよい。また、適切な露光条件を基準として、Ｓ１のシャッタースピードは適切な露光条件のシャッタースピードの１／Ｘ倍（Ｘ＞１）というパラメータ（例えばＸは固定値で、Ｘ＝１０等の値）をあらかじめ与えておいてもよい。
【００５７】
Ｓ４についても同様に、撮像装置１００で設定できるもっとも長いシャッタースピードに設定してもよい。また、露光条件を手動で予め与えておいてもよい。あるいは、適切な露光条件を基準として、Ｓ４のシャッタースピードは適切な露光条件のＹ倍（Ｙ＞１）というパラメータ（例えばＹは固定値で、Ｙ＝１０等の値）を予め与えておいてもよい。
【００５８】
次に、実際に撮影シーンの明暗が急激に変化した場合の撮像装置１００の処理動作について述べる。
【００５９】
一例として、撮影シーン急激に暗くなった場合について説明する。通常の撮影シーンを撮影しているときに、撮影シーンが急激に暗くなると、それまで適切であったＳ２及びＳ３の画像は暗くなりすぎて露光が不足し破綻する。一方、撮影シーンが急激に暗くなった場合、Ｓ４が適切な露光になるので、Ｓ４による画像を採用することで見やすい撮影シーンを撮影できる。
【００６０】
そして、次回の画像撮影時には、Ｓ２，Ｓ３を、撮影シーンが暗くなったときのＳ４に近い値に設定する。また、次回の画像撮影時のＳ４は、さらに長いシャッタースピードに変更する。
【００６１】
次に、シャッタースピードの変更方法について、Ｓ１〜Ｓ４の画像合成方法の例と合わせて図２と図３を用いて説明する。図３は、本実施形態に係る撮像装置１００の一部の構成を示すブロック図である。
【００６２】
まず、図２に示すように画像撮像部１２０で取得された画像は、一旦、画像保存部１３０に蓄積される。これは、１組の画像セットに含まれる異なるシャッタースピードで撮影された４枚の画像の画像情報を同時に使用できるようにするためである。
【００６３】
そして、４枚分の画像情報が揃ったら、それらの画像情報は画像合成部１４０に送られる。画像合成部１４０では、図３に示される画像係数補正処理部１４２が、異なるシャッタースピードで撮影されたＳ１〜Ｓ４の画像に対して、シャッタースピードを逆数にして得られる係数に基づいて係数補正をする。当該係数は、例えば、シャッタースピードが短いものは値が大きくなり、シャッタースピードが長いものは値が小さくなる。このような係数が各画像の画素情報にかけられて補正される。画像係数補正処理部１４２は、補正された画像情報を画像選択処理部１４４に送られる。
【００６４】
次に、画像選択処理部１４４が、補正された４つの画像情報の値から適切な露光量を持つ１又は複数の画像情報を選択する。そして、画像選択処理部１４４は、選択した画像情報を画像処理部１５０へ出力する。ここで、複数個の画像情報が選択された場合は、その画像情報の値に対して平均処理などを施すことによって、画像選択処理部１４４が１つの値を出力する。なお、画像に付加されているノイズがランダムであるならば、平均処理を行うことで画像Ｓ／Ｎが改善される。
【００６５】
一方で、画像情報蓄積処理部１４６は、入力された４つの画像情報に関する露光関連情報を蓄積する。露光関連情報とは、例えば、次のようなものが考えられる。（１）画像選択処理部１４４においてＳ１〜Ｓ４のどれが選択されたか、（２）Ｓ１〜Ｓ４それぞれが有する値の分布等である。露光関連情報は、図２の露光条件設定部１６０に送られ、露光条件設定部１６０で使用される。
【００６６】
露光条件設定部１６０は、以後の１組の画像セットで使用されるＳ１〜Ｓ４のシャッタースピード（露光条件）を設定する。まず、（１）画像選択処理部１４４においてＳ１〜Ｓ４のどれが選択されたかによって、最も多く選択されたシャッタースピードを次回からの最適な露光条件として設定し、Ｓ２又はＳ３に配置する。そして、Ｓ１，Ｓ４を上述したような設定手段で決定する。また、（２）Ｓ１〜Ｓ４それぞれが有する値の分布を用いて、シャッタースピードの微調整を行う。例えば、Ｓ２の値の分布が暗い側に偏っていれば、Ｓ２のシャッタースピードを長くする。その時に、Ｓ２の明るい側が飽和すると予想されれば、Ｓ３のシャッター維持、あるいは短くすることで対応する。
【００６７】
なお、図４〜図９におけるＳ１〜Ｓ４の露光は、時間軸方向にシャッタースピードの短い順に表示したが、これらの序列に依存性はない。但し、Ｓ／Ｎの向上という観点から言えば、重ね合わせる２枚の画像（例えば１組の画像セット内のフレーム数Ｎ＝４の場合）は、時間差が無い方がよいので隣接して配置することが望ましい。
【００６８】
上述した実施形態では、１組の画像セット内のフレーム数Ｎ＝４である場合について主に説明したが、本発明はかかる例に限定されない。
例えば、１組の画像セット内のフレーム数Ｎ＝３のときは、適切な露光条件で撮像できる画像を１枚（１フレーム）にする。そして、その他の２つのフレームの露光条件は、シャッタースピードを適切な露光条件に比べて長くしたり短くしたりする。その結果、Ｓ／Ｎの向上は図れないが、明暗の急激な変化には対応できる。
【００６９】
また、１組の画像セット内のフレーム数Ｎ＞４の場合は、適切な露光条件で撮像する画像をＮ−２枚にすれば、更なるＳ／Ｎの向上を図ることができる。
【００７０】
以上、本実施形態によれば、連続した画像セットの出力が行われるとき、１組の画像セットにおいて３フレーム以上の多重露光を行う。それぞれフレームの露光条件を撮影シーンに応じて設定することで、撮影シーンの明るさが急激に変化した場合でも、瞬時に露光量の調整を図ることができる。また、互いにシャッタースピードが近いフレームの画像同士を重ね合わせることで、Ｓ／Ｎの向上を図ることもできる。
【００７１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施形態に係る撮像装置を示すブロック図である。
【図２】同実施形態に係る撮像装置の一部の構成を示すブロック図である。
【図３】同実施形態に係る撮像装置の一部の構成を示すブロック図である。
【図４】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【図５】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【図６】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【図７】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【図８】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【図９】イメージセンサ上のある１点の露光量の時間的変化を示すグラフである。
【符号の説明】
【００７３】
１００      撮像装置
１０１      イメージセンサ
１０２      前処理部
１０３      カメラ信号処理部
１０４      変換処理部
１０５、１０９      圧縮・伸張部
１０６      メモリ制御部
１０７      メモリ
１０８      表示処理部
１１０      記録デバイス制御部
１１１      記録デバイス
１１２      表示部
１１３      制御部
１１４      撮像レンズ
１２０      画像撮像部
１３０      画像保存部
１４０      画像合成部
１４２      画像係数補正処理部
１４４      画像選択処理部
１４６      画像情報蓄積処理部
１５０      画像処理部
１６０      露光条件設定部
【図１】
2010136224.tif 000003
【図２】
2010136224.tif 000004
【図３】
2010136224.tif 000005
【図４】
2010136224.tif 000006
【図５】
2010136224.tif 000007
【図６】
2010136224.tif 000008
【図７】
2010136224.tif 000009
【図８】
2010136224.tif 000010
【図９】
2010136224.tif 000011