(57)【要約】  【課題】  連続して複数回撮像を行う間に、複数回連続して撮像する間にフラッシュ発光した場合でも、高品質な撮像画像を生成できる撮像装置を提供する。  【解決手段】  カメラモジュール１０が撮像指示に応じて複数回連続して静止画を撮像する。フラッシュ発光部４６は、上記複数回の撮像のうち、例えば、最後の撮像においてのみ被写体に向けてフラッシュ発光する。【選択図】  図１
2006246362.tif 000002
【特許請求の範囲】
【請求項１】
シャッター開口により入射光を受光素子に結像して画像データを生成する撮像手段と、
前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、
前記シャッターを複数回連続して開口するように前記撮像手段を制御し、前記複数回の開口タイミングのうち２回目以降の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御する制御手段と、
前記発光手段が前記フラッシュ光を発光していない前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データと、前記発光手段が前記フラッシュ光を発光している前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データとを基に新たな画像データを生成する画像処理手段と
を有する撮像装置。
【請求項２】
前記シャッターの前記複数回の連続した開口タイミングで前記撮像手段が前記結像により生成した複数の前記画像データの動きベクトルを検出する動きベクトル検出手段
をさらに有し、
前記画像処理手段は、前記動きベクトル検出手段が検出した前記動きベクトルを基に、前記複数の画像データの位置ずれを補正した後に合成して前記新たな画像データを生成する
請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記発光手段が前記フラッシュ光を発光していない前記開口タイミングで前記撮像手段が前記結像により生成した複数の前記画像データを合成して得た合成画像データと、前記発光手段が前記フラッシュ光を発光している前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データとを基に前記新たな画像データを生成する
請求項１に記載の撮像装置。
【請求項４】
前記フラッシュ発光中に前記撮像手段が前記結像により生成した第１の前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記フラッシュ非発光中に前記撮像手段が前記結像により生成した第２の前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する補正手段
をさらに有し、
前記画像処理手段は、前記補正手段が補正により生成した前記第１の補正画像データと前記第２の補正画像データとを基に前記新たな画像データを生成する
請求項１に記載の撮像装置。
【請求項５】
前記補正手段は、前記第１の画像データのゲインを上げる前記第１の補正処理を行い、前記第２の画像データのゲインを下げる前記第２の補正処理を行う
請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、前記フラッシュ光を発光しないタイミングで前記シャッターを第１の時間だけ開口し、前記フラッシュ光を発光するタイミングで前記シャッターを第２の時間だけ開口するように、前記撮像手段を制御する
請求項１に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像手段の受光素子の受光感度を、前記フラッシュ光を発光するタイミングと、前記フラッシュ光を発光しないタイミングとで異なるように切り換える
請求項１に記載の撮像装置。
【請求項８】
前記制御手段は、前記フラッシュ光を発光するタイミングで前記撮像手段の前記シャッターにフォーカルプレーン動作を行わせる場合に、前記フラッシュ光をＦＰ発光するように前記発光手段を制御する
請求項１に記載の撮像装置。
【請求項９】
前記制御手段は、前記複数回の開口タイミングのうち最後の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御する
請求項１に記載の撮像装置。
【請求項１０】
ユーザによる１操作によって静止画撮像指示を入力する操作手段
をさらに有し、
前記制御手段は、前記操作手段が前記静止画撮像指示を入力すると、前記シャッターを複数回連続して開口するように前記撮像手段を制御する
請求項１に記載の撮像装置。
【請求項１１】
シャッター開口により入射光を受光素子に結像して画像データを生成する撮像手段と、
前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、
前記シャッターを複数回連続して開口するように前記撮像手段を制御し、前記複数回の開口タイミングのうち任意の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御する制御手段と、
前記フラッシュ発光中に前記撮像手段が前記結像により生成した第１の前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記フラッシュ非発光中に前記撮像手段が前記結像により生成した第２の前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する補正手段と、
前記補正手段が補正により生成した前記第１の補正画像データと前記第２の補正画像データとを基に新たな画像データを生成する画像処理手段と
を有する撮像装置。
【請求項１２】
シャッターを複数回連続して開口し、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、
フラッシュ光を被写体に照射しない状態で、前記シャッターを開口して画像データを生成する第１の工程と、
前記第１の工程に続いて、前記フラッシュ光を前記被写体に照射した状態で、前記シャッターを開口して画像データを生成する第２の工程と、
前記第１の工程の撮像で生成した画像データと、前記第２の工程の撮像で生成した画像データとを基に新たな画像データを生成する第３の工程と
を有する撮像方法。
【請求項１３】
シャッターを複数回連続して開口し、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、
フラッシュ光を被写体に照射しない状態で、前記シャッターを開口して画像データを生成する第１の工程と、
前記第１の工程に続いて、前記フラッシュ光を前記被写体に照射した状態で、前記シャッターを開口して画像データを生成する第２の工程と、
前記第１の工程で生成した前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記第２の工程で生成した前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する第３の工程と、
前記第３の工程で生成した前記第１の補正画像データと、前記第３の工程で生成した前記第２の補正画像データとを基に新たな画像データを生成する第４の工程と
を有する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラッシュを発光させて撮像を行う撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来、低照度下においてフラッシュ等の補助照明光を使用して撮影すると、図２に示すように、被写体が持つダイナミックレンジに比べて撮像素子のダイナミックレンジが不足するために、主要被写体は適正露出で撮影されるが背景等の低照度部が図３に示すように撮像素子のダイナミックレンジ外となり、該当領域が黒く潰れてしまう。
これを解決する手段として、人物が含まれる夜景等の低照度下での撮影において、シャッタースピード等は背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する、いわゆるスローシンクロ撮影が知られている。
しかし、一般的なスローシンクロ撮影では、人物が含まれる夜景等の低照度下での撮影において、シャッター時間を背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する。
このスローシンクロ撮影では、背景の照度にあわせてシャッター時間が設定されるために数秒程度の長時間シャッターによる撮影となり、背景のぶれを防止するために三脚等の固定手段を用いて撮影を行わないといわゆる手ぶれ等により背景の像が流れてしまう。
【特許文献１】特開２００５−３８３９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
シャッター速度が長くなる低照度下の撮影においては、例えば、特許文献１に開示されているように、適正露出となるシャッター速度より高速なシャッター速度で複数枚の写真を連続撮影し、それぞれの画像の手ぶれ等による移動量を演算、補正して1枚の画像に合成する、いわゆる電子式手ぶれ補正手段が知られている。
ところで、フラッシュライト等の補助照明光は一般に図４に示すような残光特性を持ち、自然光と異なる色温度特性を持つ。
そのため、特に残光時には自然光と補助照明光が入り混じって複雑な色温度特性となり、上記特許文献１に開示された撮像装置において、上記電子手ぶれ補正手段と組み合わせて使用すると、図５に示すように連続撮影中に被写体の照度や色温度が複雑に変化し、画像合成後に不自然な色合いの画像となりやすい。
【０００４】
本発明は、連続して複数回撮像を行う間に、複数回連続して撮像する間にフラッシュ発光した場合でも、高品質な撮像画像を生成できる撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の撮像装置は、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像手段と、前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、前記シャッターを複数回連続して開口するように前記撮像手段を制御し、前記複数回の開口タイミングのうち２回目以降の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御する制御手段と、前記発光手段が前記フラッシュ光を発光していない前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データと、前記発光手段が前記フラッシュ光を発光している前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データとを基に新たな画像データを生成する画像処理手段とを有する。
【０００６】
第２の観点の発明の撮像装置は、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像手段と、前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、前記シャッターを複数回連続して開口するように前記撮像手段を制御し、前記複数回の開口タイミングのうち任意の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御する制御手段と、前記フラッシュ発光中に前記撮像手段が前記結像により生成した第１の前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記フラッシュ非発光中に前記撮像手段が前記結像により生成した第２の前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する補正手段と、前記補正手段が補正により生成した前記第１の補正画像データと前記第２の補正画像データとを基に新たな画像データを生成する画像処理手段とを有する。
【０００７】
第３の観点の発明の撮像方法は、シャッターを複数回連続して開口し、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、フラッシュ光を被写体に照射しない状態で、前記シャッターを開口して画像データを生成する第１の工程と、前記第１の工程に続いて、前記フラッシュ光を前記被写体に照射した状態で、前記シャッターを開口して画像データを生成する第２の工程と、前記第１の工程の撮像で生成した画像データと、前記第２の工程の撮像で生成した画像データとを基に新たな画像データを生成する第３の工程とを有する。
【０００８】
第４の観点の発明の撮像方法は、シャッターを複数回連続して開口し、シャッター開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、フラッシュ光を被写体に照射しない状態で、前記シャッターを開口して画像データを生成する第１の工程と、前記第１の工程に続いて、前記フラッシュ光を前記被写体に照射した状態で、前記シャッターを開口して画像データを生成する第２の工程と、前記第１の工程で生成した前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記第２の工程で生成した前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する第３の工程と、前記第３の工程で生成した前記第１の補正画像データと、前記第３の工程で生成した前記第２の補正画像データとを基に新たな画像データを生成する第４の工程とを有する。
【発明の効果】
【０００９】
本発明によれば、連続して複数回撮像を行う間に、複数回連続して撮像する間にフラッシュ発光した場合でも、高品質な撮像画像を生成できる撮像装置および撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態に係わる撮影装置について説明する。
図１等に示すフラッシュ発光部４６，４６ｃが本発明の発光手段の一例であり、制御部４７，４７ｂ，４７ｃが本発明の制御手段の一例である。
また、動きベクトル検出部５５および画像合成部６０が、本発明の画像処理手段の一例である。
また、シャッター１３が、本発明のシャッターの一例であり、カメラモジュール１０が本発明の撮像手段の一例である。
【００１１】
＜第１実施形態＞
図１は、本発明の第１実施形態に係わる撮影装置１の全体構成図である。
図１に示すように、撮影装置１は、例えば、カメラモジュール１０、画像メモリ２０、露出制御部４０、操作部４５、フラッシュ発光部４６、制御部４７、動きベクトル検出部５５、画像合成部６０、画像保存部７０を有する。
撮影装置１において、露出制御部４０、制御部４７、動きベクトル検出部５５および画像合成部６０は、電子回路で実現してもよいし、プロセッサがプログラムを実行することで実現してもよい。
【００１２】
［カメラモジュール１０］
カメラモジュール１０は、例えば、レンズ１１、アイリス１２、シャッター１３、撮像素子１４、サンプリング回路１５、並びにＡ／Ｄ変換回路１６を有する。
レンズ１１は、撮像対象からの光を入射してアイリス１２に出射する。
アイリス１２は、レンズ１１から入射した光を絞ってシャッター１３に出射する。
シャッター１３は、露出制御部４０からの制御に基づいて、所定の時間（シャッター時間）だけ開口する。
シャッター１３は、開口時に、アイリス１２から入射した光を撮像素子１４に結像させる。
【００１３】
撮像素子１４は、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等を用いて構成され、シャッター１３を介して入射した被写体の光を結像（受光）する。
撮像素子１４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号をサンプリング回路１５に出力する。
撮像素子１４は、例えば、単板センサであり、サンプリング回路１５に出力する電気信号は、１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個の色信号（データ）である。
【００１４】
撮影装置１では、カメラブレが発生していても、より鮮明な画像を出力するために、シャッター１３は、露出制御部４０からの制御により、操作部４５のシャッターボタンが１回操作されると、自動的に、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）開口し、複数枚（以下では、Ｎ枚とする）撮像する。
撮影装置１は、例えば、１／３０秒間隔でＮ枚の画像を撮像する。
従って、撮像素子１４で撮像されたＮ枚の画像（入力画像）は、適正露出で撮像された画像より、暗いもの（適正露出未満で撮像されたもの）となっており、適正露出で撮像された画像のＭｋ分の１（＝１／Ｍｋ）（ｋ＝１〜Ｎ）の明るさである。なお、Ｍｋの値は、例えば、シャッタ速度により決定される。
【００１５】
サンプリング回路１５は、撮像素子１４から供給される画像信号（電気信号）のノイズ成分を、例えば、相関２重サンプリングにより除去し、Ａ／Ｄ変換回路１６に供給する。
Ａ／Ｄ変換回路１６は、サンプリング回路１５から入力した画像信号をA/D変換、即ち、サンプリングして量子化する。その後、Ａ／Ｄ変換回路１６は、内蔵するシフト回路によって、適正露出以下の暗い画像であるA/D変換後の画像データを、例えば、ｎビットシフトすることなどによってＭｋ倍することにより、適正露出と同一の明るさ（値）の画像データに変換し（ゲインアップし）、画像メモリ２０に書き込む。
【００１６】
［露出制御部４０］
露出制御部４０は、制御部４７から入力したシャッター時間信号が示す所定の時間間隔でＮ枚の画像の撮像を行うように、シャッター１３、撮像素子１４、サンプリング回路１５、Ａ／Ｄ変換回路１６および画像メモリ２０を制御する。
【００１７】
［操作部４５］
操作部４５は、例えば、シャッターボタン、フラッシュ発光の有無などを設定する設定ボタンなどの操作手段である。
【００１８】
［フラッシュ発光部４６］
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、フラッシュ発光する。
フラッシュ発光部４６は、カメラモジュール１０の撮像方向に向けてフラッシュ発光するように設置されている。
【００１９】
［制御部４７］
制御部４７は、被写体の明るさなどに合わせて、ユーザが設定した露出情報に基づいて、シャッター時間を決定し、そのシャッター時間を示すシャッター時間信号を露出制御部４０に出力する。
また、制御部４７は、例えば、正式な撮像の前にカメラモジュール１０が被写体を仮撮像し、その撮像結果を基に、上記シャッター時間を自動的に決定してもよい。上記仮撮像は、例えば、ユーザが操作部４５のシャッターボタンを半押しした場合に行われる。
また、制御部４７は、上記Ｎ枚の各撮像について上記シャッター時間を決定し、それを示すシャッター時間信号を露出制御部４０に出力する。
【００２０】
また、制御部４７は、上記決定したシャッター時間（露出情報）と、ユーザによる操作部４５に応じて設定された設定情報を基に、フラッシュ発光を行うか否かを判断する。
制御部４７は、フラッシュ発光を行うと判断した場合には、フラッシュ発光を行わない状態での撮影の適正シャッター時間、及び撮影枚数Ｌと、フラッシュ発光を行う状態での撮影の適正シャッター時間、及び撮影枚数Ｍとをそれぞれ計算する。
本実施形態では、Ｌ＋Ｍ＝Ｎとする。
【００２１】
制御部４７は、シャッター１３を連続してＮ回開口する各開口タイミングのうち、２回目以降の開口タイミングでフラッシュ発光を行うように、フラッシュ発光信号をフラッシュ発光部４６に出力する。
制御部４７は、例えば、図７に示すように、Ｎ回の開口タイミングのうち、最後の１回（Ｎ回目）の開口タイミングでのみ、フラッシュ発光信号をフラッシュ発光部４６に出力してフラッシュ発光を行わせる。
これにより、フラッシュ光の残光が撮影に影響を及ぼすのは図７に示すようにＮ枚目の撮影のみになり、Ｎ−１枚目までの撮影では一切フラッシュの残光特性の影響を受けることなく低輝度部の撮影を行うことが可能となるため、ホワイトバランス等の補正を施すのはＮ枚目の画像のみとなり、比較的簡単に画像合成前に補正を施すことが可能となる。
そのため、本実施例によれば、フラッシュ撮影と電子手ぶれ補正手段を併用することにより、三脚等の固定手段を用いることなく所謂スローシンクロ撮影を行うことができ、簡便に手ぶれを抑えた撮影結果を得ることが可能となる。
【００２２】
また、制御部４７は、既に取得した露出情報から不足光量を算出したり、仮撮像において予備フラッシュ発光を行い、その撮像結果を基に取得した露出情報を基に、フラッシュ発光光量を決定し、それをフラッシュ発光部４６に指定してもよい。
【００２３】
［動きベクトル検出部５５］
動きベクトル検出部５５は、一連の撮像によって画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
動きベクトル検出部５５は、例えば、「岡田、谷口、小野口、“時間評価型オプティカルフローの検出”、電子情報通信学会論文誌、Ｄ−ＩＩ  Ｎｏ．１、ｐｐ５２−６２、２００３年１月」に記載された時間評価型オプティカルフロー手法や、ブロックマッチング手法などに基づいて処理を行って動きベクトルＭＶを生成する。
【００２４】
［画像合成部６０］
画像合成部６０は、画像メモリ２０から一連の撮像によって得られたＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
メモリ８０は、フラッシュメモリやハードディスクなどの記録媒体である。
【００２５】
以下、図１に示す撮影装置１の動作例を説明する。
図６は、図１に示す撮影装置１の動作例を説明するためのフローチャートである。
ステップＳＴ１１：
制御部４７は、操作部４５によって設定された、フラッシュ要否、並びに露出情報などの設定情報を入力する。
また、制御部４７は、仮撮像が行われた場合に、その仮撮像の結果を基に露出情報を生成する。
【００２６】
ステップＳＴ１２：
制御部４７は、ステップＳＴ１１で入力した設定情報、並びにステップＳＴ１１で生成した露出情報などを基にフラッシュ発光を行うか否かを判断する。
制御部４７は、フラッシュ発光を行うと判断するとステップＳＴ１３に進み、そうでない場合にはステップＳＴ１４に進む。
【００２７】
ステップＳＴ１３：
制御部４７は、フラッシュ発光中の撮像の前に行うフラッシュ非発光中の撮像の回数Ｌと、そのときのシャッター時間（露出値）を決定する。
また、制御部４７は、フラッシュ発光中の撮像の回数Ｍと、そのときのシャッター時間（露出値）を決定する。
本実施形態では、例えば、Ｍ＝１とする。
【００２８】
ステップＳＴ１４：
制御部４７は、フラッシュ非発光で撮像を行う場合の撮像の回数Ｎと、そのときのシャッター時間（露出値）を決定する。
【００２９】
ステップＳＴ１５：
制御部４７は、ステップＳＴ１３あるいはＳＴ１４で決定されたフラッシュ非発光中での撮像回数ＬまたはＮとシャッター時間とを示すシャッター時間信号を露出制御部４０に出力する。
露出制御部４０は、制御部４７から入力したシャッター時間信号が示すシャッター時間を間隔として、当該信号が示す撮像回数ＬまたはＮだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像された画像データが画像メモリ２０に順に書き込まれる。
【００３０】
ステップＳＴ１６：
制御部４７は、ステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ１７に進み、そうでない場合にステップＳＴ１８に進む。
ステップＳＴ１７：
制御部４７は、フラッシュ発光信号をフラッシュ発光部４６に出力する。
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、被写体に向けてフラッシュを発光する。
また、フラッシュが発光が行われているタイミングで、制御部４７および露出制御部４０の制御によって、ステップＳＴ１３で決定されたシャッター時間を間隔として、決定された撮像回数Ｍだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像されたＭ個の画像データが画像メモリ２０に順に書き込まれる。
【００３１】
ステップＳＴ１８：
動きベクトル検出部５５は、ステップＳＴ１５，ＳＴ１７で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ１９：
画像合成部６０は、画像メモリ２０からステップＳＴ１５，ＳＴ１７で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
【００３２】
以上のように、撮影装置１によれば、図７に示すように、フラッシュ発光前に（Ｎ−１）回、撮像を行い、最後のＮ回目にフラッシュ発光して撮像を行う。
そのため、一連のＮ回の撮像において、フラッシュ発光の残光によって、フラッシュ非発光時に撮像して得られた画像データに不自然な色合い要素が生じることを適切に回避できる。
また、撮影装置１によれば、フラッシュ非発光時の撮像で得た複数の画像データを位置ずれを補正して合成することから、三脚などの固定手段を用いることなく、背景などの低輝度画像の露出不足を適切に補って生成できる。
また、撮影装置１によれば、フラッシュ発光時に撮像して得た画像データを、上記合成後の低輝度画像にさらに合成することから、フラッシュ光が達する距離にある前景を適切に表示する画像を生成できる。
【００３３】
＜第２実施形態＞
本実施形態では、図１に示す画像メモリ２０から読み出した画像データを補正処理を施した後に、画像合成部６０で合成する場合を説明する。
図８は、本発明の第２実施形態に係わる撮影装置１ａの構成図である。
図８に示すように、撮影装置１ａは、図１に示す撮影装置１において、画像メモリ２０と画像合成部６０との間に、画像補正部１０５を加えた構成を有している。
図９は、図８に示す撮影装置１ａの画像補正処理および合成処理を説明するためのフローチャートである。
図８において、図１と同じ符号を付した構成は基本的に第１実施形態で説明したものと同じである。
【００３４】
画像補正部１０５は、例えば、ユーザによってあらかじめ設定された撮影条件に応じて補正を行うか否かを判断する（図９のステップＳＴ３１）。
また、画像補正部１０５は、動きベクトル検出部５５が検出した動きベクトルＭＶを基に補正の要否を判断したり、制御部４７が生成あるいは取得した露出情報を基に補正の要否を判断してもよい。
画像補正部１０５は、補正を要すると判断すると、画像メモリ２０から読み出した画像データｉｍ１〜Ｎの補正処理を行い、その結果を画像合成部６０に出力する（ステップＳＴ３２）。
画像補正部１０５は、補正処理として、例えば画像データのゲイン調整、γカーブ特性調整、ホワイトバランス調整の任意の組み合わせの処理を行う。
画像補正部１０５は、例えば、撮影された画像データＮ枚のうち、フラッシュ発光を伴わずに撮影された画像データＬ枚に対しては全体に明るくなるゲイン補正を行い、また同時に低輝度部の階調性を重視したγカーブ補正を行う。
一方、画像補正部１０５は、フラッシュ発光を伴って撮影されたＭ枚に対しては、明るさの補正は行わずに中輝度部の階調性を重視したγカーブ補正、及びフラッシュ光源に適したホワイトバランス調整を行う。
すなわち、画像補正部１０５は、画像データ相互の関係に関わりなく、任意の補正を任意の画像データに対して行うことができる。
また、画像補正部１０５は、Ｌ枚のフラッシュ発光を伴わずに撮像した画像データを合成した後に補正処理を行い、また、Ｍ枚のフラッシュ発光を伴って撮像した画像データを合成した後に補正処理を行い。その後、画像補正部１０５は、補正後の各合成画像を合成してもよい。
【００３５】
画像補正部１０５は、例えば低輝度部の画像とフラッシュ撮影画像の双方にゲイン調整を施す場合、低輝度部の撮影画像は図１０に示すように低輝度領域に偏ったヒストグラム特性を持つ。図１０〜図１４のヒストグラムにおいて、横軸は輝度、縦軸は画素数を示している。
図１０の画像にゲインを上げる画像補正を施した場合、図１１に示すように低輝度領域が高輝度側に広がったヒストグラム特性となる。また、フラッシュ撮影画像は図１２に示すように高輝度領域に偏ったヒストグラム特性を持つ。これにゲインを下げる画像補正を施した場合、図１３に示すように高輝度領域が低輝度側に広がったヒストグラム特性を持つ。
【００３６】
画像合成部６０は、画像補正部１０５で補正された画像データｉｍ１〜Ｎを、動きベクトル検出部５５からの動きベクトルＭＶを基に位置ずれを補正した後に合成して画像データＩＭを生成する（図９に示すステップＳＴ３３）。
一方、画像補正部１０５は、図９に示すステップＳＴ３１で補正を要しないと判断すると、第１実施形態と同様の処理、すなわち、画像メモリ２０から読み出した画像データｉｍ１〜Ｎを合成して画像データＩＭを生成する。
これにより、画像合成部６０が生成した画像データＩＭは、図１４に示すような撮像素子のダイナミックレンジを有効に利用したヒストグラム特性となり、低輝度部とフラッシュ撮影画像のそれぞれで豊かな階調特性を持ちつつも撮像素子の持つダイナミックレンジ内に納まった画像を生成することが可能となる。
【００３７】
以上のように、本実施形態によれば、異なる条件にて撮影された各々の画像データを合成する前に各々に最適な画像補正を施すことが可能となり、画像認識等の複雑で高価な手段を用いることなく画像内の複数の被写体それぞれに最適な画像補正が施された写真を撮影することができる。
【００３８】
＜第３実施形態＞
本実施形態の撮影装置１ｂは、Ａ／Ｄ変換回路１６ｂおよび制御部４７ｂの処理を除いて、図１に示す撮影装置１と同じである。
図１５は、本実施形態の撮影装置１ｂの動作例を説明するためのフローチャートである。
ステップＳＴ４１：
図１に示す撮影装置１ｂの制御部４７ｂは、カメラモジュール１０から撮影対象の露出情報を入力し、ユーザが操作部４５を操作して設定した撮影条件情報を入力する。
ステップＳＴ４２：
制御部４７ｂは、ステップＳＴ４１で入力した露出情報および撮像条件情報を基に、例えば、シャッター時間やフラッシュ発光の要否などを第１実施形態と同様に決定する。
このとき、制御部４７ｂは、シャッター時間およびフラッシュ発光の要否を、第１実施形態で説明したＮ回の開口タイミング（撮像）の各々について決定する。
【００３９】
ステップＳＴ４３：
制御部４７ｂは、ステップＳＴ４２の決定事項に基づいて、Ｎ回の撮像のうち、初回の撮像を行う。
制御部４７ｂは、予め決めた条件に従って、フラッシュ発光を行う場合には、フラッシュ発光部４６にフラッシュ発光信号を出力する。
これにより、被写体の光が撮像素子１４に結像し、その結像結果に応じたアナログの画像信号がサンプリング回路１５に出力される。
そして、サンプリング回路１５は、入力したアナログの画像信号をサンプリングして、Ａ／Ｄ変換回路１６ｂにおいてデジタルの画像データに変換する。このとき、Ａ／Ｄ変換回路１６ｂは、制御部４７ｂからの感度制御信号を基に、上記変換したデジタルの画像データを、第１実施形態で説明したようにシフト処理などにより、ゲインアップあるいはゲインダウンする。これにより、撮像素子１４の実質的な受光感度が制御される。
Ａ／Ｄ変換回路１６ｂが生成した上記画像データは、画像メモリ２０に書き込まれる。
【００４０】
ステップＳＴ４４：
制御部４７ｂは、前述したＮ回の撮像が終了したか否かを判断し、終了したと判断するとステップＳＴ４７に進み、そうでない場合にはステップＳＴ４５に進む。
ステップＳＴ４５：
制御部４７ｂは、撮像素子１４の受光感度の変更を要するか否かを判断し、変更を要すると判断するとステップＳＴ４６に進み、そうでない場合には「ステップＳＴ４３に戻る。
制御部４７ｂは、予めユーザによって設定された撮影条件や、ステップＳＴ４１で取得した情報などを基に、受光感度の変更の要否を判断する。
【００４１】
ステップＳＴ４６：
制御部４７ｂは、例えば、フラッシュ発光を伴わない撮影を次に行う場合には撮像素子１４の受光感度を高く設定し（上記シフト処理のシフト量をゲインアップするように調整し）、フラッシュ発光を伴う撮影を次に行う場合には撮像素子１４の受光感度を低く設定することを決定する。これにより、Ｓ／Ｎ比の高い画像を得ることが可能になる。
【００４２】
ステップＳＴ４７：
動きベクトル検出部５５は、ステップＳＴ４３で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ４８：
画像合成部６０は、画像メモリ２０からステップＳＴ４３で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
【００４３】
以上のように、本実施形態によれば、連続撮影の実施中に撮像素子の感度設定を変更することが可能になり、様々な撮影条件への対応が可能になったり、任意の撮影条件下で撮像素子の能力を最大限に生かして撮影を行うことが可能になる。
【００４４】
＜第４実施形態＞
本実施形態の撮影装置１ｃは、フラッシュ発光部４６ｃおよび制御部４７ｃの処理を除いて、図１に示す撮影装置１と同じである。
フラッシュ発光部４６ｃは、ＦＰ発光機能を備えている。
ここで、ＦＰ発光は、フォーカルプレーンシャッターを採用している一眼レフにおいて、ストロボ同調速度以上のスピードに同調させる機能である。通常、シャッターの構造上ストロボ同調速度に上限がある。概ね1/60〜1/250程度であるが、それ以上のスピードではシャッターが全開にならないのでストロボの光がケラレてしまい、スリット状に暗い部分ができてしまうためである。
そこで、ストロボを長時間発光（正確には高速で多くの回数を発光させる）することにより、シャッターが開いて閉じるまでの時間をカバーさせ、全速同調を可能としている。
フラッシュ発光部４６ｃは、例えば、図１７に示すように、フラッシュを高速スイッチングでオン／オフすることで短時間発光を繰り返し、略一定の発光強度で閃光発光を持続する。
【００４５】
図１６は、本実施形態の撮影装置１ｃの動作例を説明するためのフローチャートである。
ステップＳＴ６１：
制御部４７ｃは、第１実施形態で説明した図６に示すステップＳＴ１５に続いて、当該ステップＳＴ６１を実行する。
制御部４７ｃは、図６に示すステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ６２に進み、そうでない場合にステップＳＴ６５に進む。
ステップＳＴ６２：
制御部４７ｃは、ＦＰ（フォーカルプレーン）発光の要否を判定する。
制御部４７ｃは、例えば、図６に示すステップＳＴ１３で決定されたシャッター速度がシャッター同調速度より高速の場合、あるいは図１に示す操作部４５をユーザが操作して設定した撮影条件で低速シンクロ撮影が指定されていた場合などに、ＦＰ発光を要すると判断する。
制御部４７ｃは、ＦＰ発光を要すると判断するとステップＳＴ６３に進み、そうでない場合にはステップＳＴ６４に進む。
【００４６】
ステップＳＴ６３：
制御部４７ｃは、ＦＰ発光を示す発光信号をフラッシュ発光部４６ｃに出力する。
これにより、フラッシュ発光部４６            ｃは、上記Ｎ回の撮像のうち、所定の撮像において、ＦＰ発光を行う。
制御部４７ｃは、例えば、図１８に示すように、上記Ｎ回の撮像のうちＮ回目でフラッシュ発光部４６ｃにＦＰ発光させる。このとき、Ｎ回目の撮像で、シャッター速度を例えば、１／２５０などの通常のフラッシュ発光時より高速にする。これにより、動きがある被写体でも略静止した状態で撮像できる。例えば、夜間に背景を写しつつ、その手前によある動きのある被写体をはっきり撮像できる。一方、Ｎ回目の撮像を１／３０などの低速のシャッター速度に設定した場合には、手前の動きがある被写体は流れているように撮像され、例えば、夜間に背景を写しつつ動きのある被写体を動感ある表現で撮像できる。
なお、制御部４７ｃは、上記Ｎ回の全ての撮像においてＦＰ発光するように、フラッシュ発光部４６ｃを制御してもよいし、上記Ｎ回の撮像のうち最後から数回の撮像において、ＦＰ発光をするようにフラッシュ発光部４６ｃを制御してもよい。
【００４７】
ステップＳＴ６４：
制御部４７ｃは、例えば、第１実施形態の図６に示すステップＳＴ１７と同様にフラッシュ発光信号をフラッシュ発光部４６ｃに出力する。
フラッシュ発光部４６ｃは、上記フラッシュ発光信号に応じて、フラッシュ発光を行う。また、フラッシュ発行中に第１実施形態と同様に被写体が撮像される。
【００４８】
ステップＳＴ６５：
動きベクトル検出部５５は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ６６：
画像合成部６０は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込んだＮ個の画像データを画像メモリ２０から読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
【００４９】
以上のように、本実施形態によれば、電子手ぶれ補正手段を併用した高速シンクロ撮影もしくは低速シンクロ撮影を行うことが可能となり、例えば回転している低照度下の物体を動感を残しつつ周辺の低輝度部も含まれた画像を撮影したり、高速に移動している物体を画像が流れることなく周辺の低輝度部も含めて撮影を行うことが可能になる。
【００５０】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した実施形態では、図７等に示すように、シャッターボタンの１回の操作によって、Ｎ回の連続した撮像を行い、その最後（Ｎ回目）にフラッシュ発光部４６をフラッシュ発光する場合を例示したが、フラッシュ発光は、２回目以降の撮像であれば、少なくともフラッシュ発光以前の撮像について、フラッシュ光の残光の影響を受けないという効果が得られる。
【図面の簡単な説明】
【００５１】
【図１】図１は、本発明の第１実施形態の撮影装置の構成図である。
【図２】図２は、比較例において、低照度下でフラッシュ使用時の被写体ヒストグラムを説明するための図である。
【図３】図３は、比較例において、低照度下でのフラッシュ使用時の撮像画像ヒストグラムを説明するための図である。
【図４】図４は、一般的なフラッシュ発光特性を説明するための図である。
【図５】図５は、比較例において、連続撮像中のフラッシュ残光特性を説明するための図である。
【図６】図６は、図１に示す撮影装置の動作例を説明するためのフローチャートである。
【図７】図７は、図１に示すフラッシュ発光部のフラッシュ発光タイミングを説明するための図である。
【図８】図８は、本発明の第２実施形態の撮影装置の構成図である。
【図９】図９は、図８に示す撮影装置の動作例を説明するためのフローチャートである。
【図１０】図１０は、低輝度被写体画像のヒストグラムを説明するための図である。
【図１１】図１１は、補正後の低輝度被写体画像のヒストグラムを説明するための図である。
【図１２】図１２は、フラッシュ発光撮像で得た画像のヒストグラムを説明するための図である。
【図１３】図１３は、フラッシュ発光撮像で得た補正後の画像のヒストグラムを説明するための図である。
【図１４】図１４は、図１１の補正後の画像と図１３の補正後の画像の合成画像を説明するための図である。
【図１５】図１５は、本発明の第３実施形態の撮影装置の動作例を説明するための図である。
【図１６】図１６は、本発明の第４実施形態の撮影装置の動作例を説明するための図である。
【図１７】図１７は、本発明の第４実施形態におけるＦＰ発光特性を説明するための図である。
【図１８】図１８は、本発明の第４実施形態における連続撮像中のＦＰ発光のタイミングを説明するための図である。
【符号の説明】
【００５２】
１０…カメラモジュール、１１…レンズ、１２…アイリス、１３…シャッター、１４…撮像素子、１５…サンプリング回路、１６，１６ａ…Ａ／Ｄ変換回路、２０…画像メモリ、４０…露出制御部、４５…操作部、４６，４６ｂ…フラッシュ発光部、４７ａ，４７ｂ，４７ｃ…制御部、５５…動きベクトル検出部、６０…画像合成部、７０…画像保存部、８０…メモリ
【図１】
2006246362.tif 000003
【図２】
2006246362.tif 000004
【図３】
2006246362.tif 000005
【図４】
2006246362.tif 000006
【図５】
2006246362.tif 000007
【図６】
2006246362.tif 000008
【図７】
2006246362.tif 000009
【図８】
2006246362.tif 000010
【図９】
2006246362.tif 000011
【図１０】
2006246362.tif 000012
【図１１】
2006246362.tif 000013
【図１２】
2006246362.tif 000014
【図１３】
2006246362.tif 000015
【図１４】
2006246362.tif 000016
【図１５】
2006246362.tif 000017
【図１６】
2006246362.tif 000018
【図１７】
2006246362.tif 000019
【図１８】
2006246362.tif 000020