(57)【要約】【課題】ぶれ低減優先の広ダイナミックレンジ画像または解像度優先の広ダイナミックレンジ画像を、状況に応じて適切に選択し取得すること。【解決手段】複数の画素群を有し、画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像が可能な撮像手段と、被写体の動き、本撮像装置の動き、被写界の明るさの変動、および、露光時間のうち少なくともひとつに基づいて、一回露光および複数回露光のうちいずれかを選択する選択手段と、一回露光の場合には前記複数枚の画素群別画像を合成することで広ダイナミックレンジ画像を生成し、複数回露光の場合には前記複数枚の高解像度画像を合成することで広ダイナミックレンジ画像を生成する画像合成手段を備える。【選択図】図７
2010239277.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素群を有し、前記画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像が可能な撮像手段と、
被写体の動き、本撮像装置の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに基づいて、前記一回露光および前記複数回露光のうちいずれかを選択する選択手段と、
前記撮像手段を制御して前記一回露光および前記複数回露光のうち前記選択手段にて選択された露光により撮像を行う撮像制御手段と、
前記一回露光の場合には前記複数枚の画素群別画像を合成することで広ダイナミックレンジ画像を生成し、前記複数回露光の場合には前記複数枚の高解像度画像を合成することで広ダイナミックレンジ画像を生成する画像合成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
撮影指示の入力を受け付ける撮影指示入力手段と、
前記撮影指示の入力前に前記撮像手段で生成される画像に基づいて、被写体の動きベクトルを検出する動きベクトル検出手段と、を備え、
前記選択手段は、前記被写体の動きベクトルの大小を判定し、前記被写体の動きベクトルが大きいと判定した場合には前記一回露光を選択し、前記被写体の動きベクトルが小さいと判定した場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動きベクトル検出手段は、前記撮影指示の入力前に前記撮像手段で生成される画像に基づいて本撮像装置の動きベクトルも検出し、
前記選択手段は、前記本撮像装置の動きベクトルの大小を判定し、前記本撮像装置の動きベクトルが大きいと判定した場合にも前記一回露光を選択することを特徴とする請求項２に記載の撮像装置。
【請求項４】
撮影指示の入力を受け付ける撮影指示入力手段と、
前記撮影指示の入力前に前記撮像手段で生成される画像にて人物を検出する人物検出手段と、を備え、
前記選択手段は、前記人物が検出された場合には前記一回露光を選択し、前記人物が検出されない場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項５】
被写体の動き、本撮像装置の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに係る撮影モードを設定可能な撮影モード設定手段を備え、
前記選択手段は、前記撮影モードに基づいて高解像度を優先するか否かを判定し、高解像度を優先する場合には前記複数回露光を選択し、高解像度を優先しない場合には前記一回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記選択手段は、前記撮像手段の露光時間を閾値と比較し、前記閾値よりも大きい場合には前記一回露光を選択し、前記閾値以下の場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項７】
被写体に向けて閃光を発光するフラッシュを備え、
前記選択手段は、前記フラッシュが発光する場合には前記一回露光を選択し、前記フラッシュが発光しない場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項８】
被写界の明るさを検出する明るさ検出手段を備え、
前記選択手段は、前記明るさ検出手段の検出結果に基づいて、被写界の明るさの変動量が大きいか小さいかを判定し、前記変動量が大きいと判定した場合には前記一回露光を選択し、前記変動量が小さいと判定した場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項９】
本撮像装置の動きを検出するセンサを備え、
前記選択手段は、前記センサの検出結果に基づいて、本撮像装置の動きの大小を判定し、本撮像装置の動きが大きいと判定した場合には前記一回露光を選択し、本撮像装置の動きが小さいと判定した場合には前記複数回露光を選択することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記撮像手段は、第１の画素群の格子間に第２の画素群を配置したハニカム配列の撮像素子を有することを特徴とする請求項１ないし９のうちいずれか１項に記載に撮像装置。
【請求項１１】
前記撮像手段は、多数の画素を２方向に一定間隔で正方格子状に配列した正方格子配列の撮像素子を有することを特徴とする請求項１ないし９のうちいずれか１項に記載に撮像装置。
【請求項１２】
複数の画素群を有し、前記画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像が可能な撮像手段を用いる撮像方法であって、
被写体の動き、前記撮像手段の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに基づいて、前記一回露光および前記複数回露光のうちいずれかを選択する選択ステップと、
前記撮像手段を制御して前記一回露光および前記複数回露光のうち前記選択ステップにて選択された露光により撮像を行う撮像ステップと、
前記一回露光の場合には前記複数枚の画素群別画像を合成することで広ダイナミックレンジ画像を生成し、前記複数回露光の場合には前記複数枚の高解像度画像を合成することで広ダイナミックレンジ画像を生成する画像合成ステップと、
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のダイナミックレンジを拡大する機能を備える撮像装置および撮像方法に関する。
【背景技術】
【０００２】
画像のダイナミックレンジを拡大する機能を備えた撮像装置が知られている。
【０００３】
特許文献１には、露光時間が異なる２枚の画像を連写して合成することで、ダイナミックレンジを拡大する構成が開示されている。
【０００４】
特許文献２には、第１の画素群および第２の画素群を有する撮像素子を用い、第１の画素群の露光時間と第２の画素群の露光時間とを異ならせて、第１の画素群により得られた第１の撮像画像と第２の画素群により得られた第２の撮像画像とを合成することで、ダイナミックレンジを拡大する構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１３８８６８号公報
【特許文献２】特開２００７−２３５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ダイナミックレンジの拡大に伴い、画像上のぶれが加算的に大きくなる問題や、撮像素子に配置された画素数に対し画像上の画素数が減少する問題がある。
【０００７】
特許文献１の構成では、被写体が動状態である場合、露光タイミングが異なる２枚の画像を合成することで、画像上の被写体ぶれや手ぶれが加算的に大きくなる。
【０００８】
特許文献２の構成では、撮像素子に配置された画素数に対し、画像上の画素数が半減する。
【０００９】
このような従来技術に対し、人は、無意識のうちに状況に応じて、ぶれ低減や解像度やダイナミックレンジを自在に制御している。例えば、注視物が静止体であれば細部まで見ようとする一方、注視物が動体であればその動きに目が追従することで、ぶれを低減して見ようとする。
【００１０】
画像上のぶれは、被写体の動き、装置の動き、被写界の明るさの変動などの要因があり、露光時間が長いほど大きくなる。
【００１１】
本発明はこのような事情に鑑みてなされたもので、ぶれ低減優先の広ダイナミックレンジ画像、または、高解像度優先の広ダイナミックレンジ画像を、状況に応じて適切に選択し取得する撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
前記目的を達成するために、本発明は、複数の画素群を有し、前記画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像が可能な撮像手段と、被写体の動き、本撮像装置の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに基づいて、前記一回露光および前記複数回露光のうちいずれかを選択する選択手段と、前記撮像手段を制御して前記一回露光および前記複数回露光のうち前記選択手段にて選択された露光により撮像を行う撮像制御手段と、前記一回露光の場合には前記複数枚の画素群別画像を合成することで広ダイナミックレンジ画像を生成し、前記複数回露光の場合には前記複数枚の高解像度画像を合成することで広ダイナミックレンジ画像を生成する画像合成手段と、を備えることを特徴とする撮像装置を提供する。
【００１３】
これによれば、ぶれ低減優先の広ダイナミックレンジ画像を得るか、高解像度優先の広ダイナミックレンジ画像を得るかを、状況に応じて適切に選択し取得する撮像装置を提供することができる。
【００１４】
また、本発明の一態様にて、撮影指示の入力を受け付ける撮影指示入力手段と、前記撮影指示の入力前に前記撮像手段で生成される画像に基づいて、被写体の動きベクトルを検出する動きベクトル検出手段と、を備え、前記選択手段は、前記被写体の動きベクトルの大小を判定し、前記被写体の動きベクトルが大きいと判定した場合には前記一回露光を選択し、前記被写体の動きベクトルが小さいと判定した場合には前記複数回露光を選択する。
【００１５】
これによれば、被写体の動きが大きい場合には、動体撮影として、ぶれ低減優先のダイナミックレンジ拡大が行われる一方で、被写体の動きが小さい場合には、静止体撮影として、高解像度優先のダイナミックレンジ拡大が行われる。
【００１６】
また、本発明の一態様にて、前記動きベクトル検出手段は、前記撮影指示の入力前に前記撮像手段で生成される画像に基づいて本撮像装置の動きベクトルも検出し、前記選択手段は、前記本撮像装置の動きベクトルの大小を判定し、前記本撮像装置の動きベクトルが大きいと判定した場合にも前記一回露光を選択する。
【００１７】
これによれば、手ぶれの大小に応じて、ぶれ低減優先のダイナミックレンジ拡大または高解像度優先のダイナミックレンジ拡大が適切に行われる。
【００１８】
また、本発明の一態様にて、撮影指示の入力を受け付ける撮影指示入力手段と、前記撮影指示の入力前に前記撮像手段で生成される画像にて人物を検出する人物検出手段と、を備え、前記選択手段は、前記人物が検出された場合には前記一回露光を選択し、前記人物が検出されない場合には前記複数回露光を選択する。
【００１９】
これによれば、人物が検出された場合には、動体撮影として、ぶれ低減優先のダイナミックレンジ拡大が行われる一方で、人物が検出されない場合には、静止体撮影として、高解像度優先のダイナミックレンジ拡大が行われる。
【００２０】
また、本発明の一態様にて、被写体の動き、本撮像装置の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに係る撮影モードを設定可能な撮影モード設定手段を備え、前記選択手段は、前記撮影モードに基づいて高解像度を優先するか否かを判定し、高解像度を優先する場合には前記複数回露光を選択し、高解像度を優先しない場合には前記一回露光を選択する。
【００２１】
これによれば、撮影モードの設定に応じて、ぶれ低減優先のダイナミックレンジ拡大または高解像度優先のダイナミックレンジ拡大が適切に行われる。
【００２２】
また、本発明の一態様にて、前記選択手段は、前記撮像手段の露光時間を閾値と比較し、前記閾値よりも大きい場合には前記一回露光を選択し、前記閾値以下の場合には前記複数回露光を選択する。
【００２３】
これによれば、露光時間（シャッタ速度）に応じて、ぶれ低減優先のダイナミックレンジ拡大または高解像度優先のダイナミックレンジ拡大が適切に行われる。
【００２４】
また、本発明の一態様にて、被写体に向けて閃光を発光するフラッシュを備え、前記選択手段は、前記フラッシュが発光する場合には前記一回露光を選択し、前記フラッシュが発光しない場合には前記複数回露光を選択する。
【００２５】
これによれば、フラッシュの発光により露光中に被写界の明るさが変動する場合には一回露光によりダイナミックレンジが拡大され、フラッシュの発光がなく露光中の被写界の明るさが変動しない場合には複数回露光によりダイナミックレンジが拡大される。
【００２６】
また、本発明の一態様にて、被写界の明るさを検出する明るさ検出手段を備え、前記選択手段は、前記明るさ検出手段の検出結果に基づいて、被写界の明るさの変動量が大きいか小さいかを判定し、前記変動量が大きいと判定した場合には前記一回露光を選択し、前記変動量が小さいと判定した場合には前記複数回露光を選択する。
【００２７】
これによれば、被写界の明るさの変動量が大きい場合には一回露光によりぶれやぼけが低減された広ダイナミックレンジ画像が得られ、被写界の明るさの変動量が小さい場合には複数回露光により高解像度の広ダイナミックレンジ画像が得られる。
【００２８】
また、本発明の一態様にて、本撮像装置の動きを検出するセンサを備え、前記選択手段は、前記センサの検出結果に基づいて、本撮像装置の動きの大小を判定し、本撮像装置の動きが大きいと判定した場合には前記一回露光を選択し、本撮像装置の動きが小さいと判定した場合には前記複数回露光を選択する。
【００２９】
これによれば、手ぶれの大小に応じて、ぶれ低減優先のダイナミックレンジ拡大または高解像度優先のダイナミックレンジ拡大が適切に行われる。
【００３０】
前記撮像手段は、第１の画素群の格子間に第２の画素群を配置したハニカム配列の撮像素子、および、多数の画素を２方向に一定間隔で正方格子状に配列した正方格子配列の撮像素子のいずれを有するものでもよい。
【００３１】
また、本発明は、複数の画素群を有し、前記画素群ごとに異なる露光時間で一回露光を行って複数枚の画素群別画像を生成する第１の撮像、および、前記複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で連続して複数回露光を行って複数枚の高解像度画像を生成する第２の撮像が可能な撮像手段を用いる撮像方法であって、被写体の動き、前記撮像手段の動き、被写界の明るさの変動、および、前記撮像手段の露光時間のうち少なくともひとつに基づいて、前記一回露光および前記複数回露光のうちいずれかを選択する選択ステップと、前記撮像手段を制御して前記一回露光および前記複数回露光のうち前記選択ステップにて選択された露光により撮像を行う撮像ステップと、前記一回露光の場合には前記複数枚の画素群別画像を合成することで広ダイナミックレンジ画像を生成し、前記複数回露光の場合には前記複数枚の高解像度画像を合成することで広ダイナミックレンジ画像を生成する画像合成ステップと、を備えることを特徴とする撮像方法を提供する。
【００３２】
これによれば、ぶれ低減優先の広ダイナミックレンジ画像を得るか、高解像度優先の広ダイナミックレンジ画像を得るかを、状況に応じて適切に選択し取得する撮像方法を提供することができる。
【発明の効果】
【００３３】
本発明によれば、ぶれ低減優先の広ダイナミックレンジ画像、または、高解像度優先の広ダイナミックレンジ画像を、状況に応じて適切に取得できる。
【図面の簡単な説明】
【００３４】
【図１】本発明を適用したデジタルカメラの正面図
【図２】本発明を適用したデジタルカメラの背面図
【図３】第１〜９実施形態におけるデジタルカメラの一例の全体構成図
【図４】撮像素子の構成例を模式的に示す平面図
【図５】一回露光での撮像制御のタイミングチャート
【図６】複数回露光での撮像制御のタイミングチャート
【図７】第１実施形態におけるＣＰＵの要部機能ブロック図
【図８】（Ａ）はオーバー露光の入出力特性図、（Ｂ）はアンダー露光の入出力特性図、（Ｃ）はダイナミックレンジ拡大の説明に用いる入出力特性図
【図９】第１実施形態における撮像処理の一例の流れを示すフローチャート
【図１０】第２実施形態におけるＣＰＵの要部機能ブロック図
【図１１】第２実施形態における撮像処理の一例の流れを示すフローチャート
【図１２】第３実施形態におけるＣＰＵの要部機能ブロック図
【図１３】第３実施形態における撮像処理の一例の流れを示すフローチャート
【図１４】第３実施形態における撮像処理の他の例の流れを示すフローチャート
【図１５】第４実施形態におけるＣＰＵの要部機能ブロック図
【図１６】第４実施形態における撮像処理の一例の流れを示すフローチャート
【図１７】第５実施形態におけるＣＰＵの要部機能ブロック図
【図１８】第５実施形態における撮像処理の一例の流れを示すフローチャート
【図１９】第６実施形態におけるＣＰＵの要部機能ブロック図
【図２０】第６実施形態における撮像処理の一例の流れを示すフローチャート
【図２１】第７実施形態におけるデジタルカメラの一例の全体構成図
【図２２】第７実施形態におけるＣＰＵの要部機能ブロック図
【図２３】第７実施形態における撮像処理例の流れを示すフローチャート
【図２４】複数の実施形態を組み合わせた撮像処理例の流れを示すフローチャート
【発明を実施するための形態】
【００３５】
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
【００３６】
図１は、本発明を適用したデジタルカメラ１００の正面図である。
【００３７】
カメラボディ８０（デジタルカメラ１００の本体）の正面には、レンズ鏡胴８１が配置されている。レンズ鏡胴８１には、撮影レンズ２４が内蔵されている。レンズ鏡胴８１は、沈胴機構で構成されており、カメラボディ８０に沈胴した状態から繰り出し可能である。また、カメラボディ８０には、非撮影時に撮影レンズ２４の前面を覆って撮影レンズ２４を外界から遮ることで撮影レンズ２４を保護するレンズカバー８２が設けられている。レンズカバー８２は、開閉自在な機構で構成されており、開状態で撮影レンズ２４の前面を覆い、閉状態で撮影レンズ２４の前面を外界に露出する。レンズ鏡胴８１の沈胴機構およびレンズカバーの開閉機構は、周知の機構であり、説明を省略する。
【００３８】
また、カメラボディ８０の正面には、フラッシュ６０、ＡＦ補助光ランプ６６、セルフタイマランプ６８等が配置されている。フラッシュ６０は、撮影用の閃光を発光する。例えば、キセノン管で構成される。ＬＥＤで構成してもよい。ＡＦ補助光ランプ６６は後述のＡＦのために発光するランプであり、セルフタイマランプ６８はセルフタイマ撮影を報知するためのランプである。
【００３９】
カメラボディ８０の上面には、中央部分にレリーズスイッチ８４が配置されたモードダイヤル８３（モード切替スイッチ）と、電源スイッチ８５とが配置されている。レリーズスイッチ８４は、二段ストローク式のハードウェアスイッチで構成されており、いわゆる「半押し」と「全押し」とが可能である。半押しにより撮影準備指示を入力し、全押しにより撮影指示を入力する。レリーズスイッチ８４を半押しすると、撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露光）、ＡＦ（Auto Focus：自動合焦）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）等、撮影前に行うべき処理を行う。レリーズスイッチ８４を全押しすると、撮影処理、すなわち、被写体の本撮像および撮像画像の記録を行う。モードダイヤル８３は、デジタルカメラ１００のモードを切り替えるスイッチである。
【００４０】
図２は、図１に示したデジタルカメラ１００の背面図である。なお、図１に示した構成要素には同じ符号を付してあり、説明を省略する。
【００４１】
デジタルカメラ１００の背面には、モニタ５０、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８が配置されている。
【００４２】
モニタ５０は、公知の表示デバイスを用いて構成することができるが、携帯機器用としては、一般に、ＬＣＤ（液晶表示デバイス）、有機ＥＬ（エレクトロルミネッセンス）表示デバイスなど、薄型の表示デバイスが用いられる。
【００４３】
十字キー８６は、上、下、左、右に操作することで、各種設定の指示入力が可能である。例えば、明るさ調整、セルフタイマ設定、マクロ撮影、フラッシュ発光等の指示を入力する。
【００４４】
メニュー／ＯＫキー８７は、メニュー画面を表示して設定情報の入力を受け付けるメニュー機能の呼び出しに用いられる。また、メニュー／ＯＫキー８７は、メニュー画面上に表示した選択内容の確定や、処理の実行指示の入力に用いられる。
【００４５】
ズームスイッチ８８は、撮影レンズ２４のズーム操作に用いられる。望遠を示す「Ｔ」（テレ）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の外側に繰り出して焦点距離が望遠側に設定される。広角を示す「Ｗ」（ワイド）側を押すと、押し続けている間、レンズ鏡胴８１がカメラボディ８０の内側に引き込んで焦点距離が広角側に設定される。
【００４６】
図３は、第１実施形態におけるデジタルカメラ１００の内部構成例を示すブロック図である。なお、図１および図２に示した要素には同じ符号を付してあり、説明を省略する。
【００４７】
図３において、デジタルカメラ１００は、画像を電子的に記録するカメラであり、ＣＰＵ（中央処理装置）１０、操作部１２、ＲＯＭ１４、ＳＤＲＡＭ１６、ＶＲＡＭ１８、ＥＥＰＲＯＭ２０、バス２２、撮影レンズ２４、撮像素子３０、タイミングジェネレータ３２、アナログ信号処理部３４、Ａ／Ｄ変換器３６、画像入力コントローラ３８、画像信号処理部４０、圧縮／伸張処理部４２、メディアインタフェース４４、メモリカード４６、モニタドライバ４８、モニタ５０、ＡＥ検出部５２、ＡＦ検出部５４、手振れ補正部５６、フラッシュドライバ５８、フラッシュ６０、電源制御部６２、バッテリ６４等を備えて構成されている。
【００４８】
ＣＰＵ１０は、デジタルカメラ１００の全体の動作を制御する制御手段として機能し、操作部１２からの入力に基づきプログラムに従ってデジタルカメラ１００の各部を制御する。また、ＣＰＵ１０は、デジタルカメラ１００の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ１００の各部は、バス２２を介してＣＰＵ１０と接続されている。
【００４９】
本実施形態のＣＰＵ１０は、ＡＥ制御、ＡＦ制御、動きベクトル検出、露光選択、画像合成、撮像制御、記録制御等の機能を有する。これらの各種機能については、後に詳説する。
【００５０】
操作部１２は、図１および図２に示した、モードダイヤル８３、レリーズスイッチ８４、電源スイッチ８５、十字キー８６、メニュー／ＯＫキー８７、ズームスイッチ８８等のハードウェアスイッチを含んで構成され、これらハードウェアスイッチの操作に応じた信号をＣＰＵ１０に出力する。デジタルカメラ１００は、被写体の本撮像および画像の記録を行う撮影モードに加えて、記録した画像を再生する再生モードを備えており、この撮影モードと再生モードとの切り替えが、モードダイヤル８３等によって行われる。なお、各種の詳細なモードの切り替えを行うため、モードダイヤル８３以外のモード切り替え用スイッチを設けてもよい。また、メニューによりモード切り替え可能である。
【００５１】
ＲＯＭ１４には、このＣＰＵ１０が実行するプログラム及び制御に必要な各種データ等が格納されている。ＳＤＲＡＭ１６は、ＣＰＵ１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＶＲＡＭ１８は、表示用の画像データ専用の一時記憶領域として利用される。また、ＥＥＰＲＯＭ２０には、ユーザ固有の各種設定情報等が格納される。
【００５２】
撮影レンズ２４は、ズームを行うズームレンズ２４ｚと、焦点合わせを行うフォーカスレンズ２４ｆと、光量調節を行うアイリス２４ｉと、メカニカルシャッタ２４ｓを含んで構成される。本例の撮影レンズ２４は、沈胴式であり、電源スイッチ８５によりデジタルカメラ１００の電源をオンすると、カメラボディから繰り出される。
【００５３】
ズームレンズ２４ｚは、ズームモータ２６ｚにより駆動されて、光軸上を移動する。これにより、撮像素子３０の受光面上に結像される被写体像が光学的に変倍される。ＣＰＵ１０は、ズームモータドライバ２８ｚを介してズームモータ２６ｚの駆動を制御することにより、ズームレンズ２４ｚの移動を制御し、光学的なズーム切り替えを行う。
【００５４】
フォーカスレンズ２４ｆは、フォーカスモータ２６ｆにより駆動されて、光軸上を前後移動する。これにより、焦点合わせが行われる。ＣＰＵ１０は、フォーカスモータドライバ２８ｆを介してフォーカスモータ２６ｆの駆動を制御することにより、フォーカスレンズ２４ｆの移動を制御し、焦点合わせを行う。
【００５５】
アイリス２４ｉは、例えば、アイリス絞りで構成され、アイリスモータ２６ｉにより駆動されて、その開口量（絞り値）が変化する。ＣＰＵ１０は、アイリスモータドライバ２８ｉを介してアイリスモータ２６ｉの駆動を制御することにより、アイリス２４ｉの開口量を制御し、撮像素子３０の受光面に入射する被写体光の光量を制御する。
【００５６】
メカニカルシャッタ２４ｓは、メカニカルシャッタモータ２６ｓにより駆動されて、後段の撮像素子３０の受光面への被写体光の入射と遮光とを切り替える。ＣＰＵ１０は、メカニカルシャッタモータドライバ２８ｓを介してメカニカルシャッタモータ２６ｓの駆動を制御することにより、メカニカルシャッタ２４ｓの開（入射）および閉（遮光）を制御する。
【００５７】
撮像素子３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。ＣＣＤの代わりに他の方式のイメージセンサ（例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。
【００５８】
撮像素子３０の受光面には、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色の色フィルタが取り付けられた多数の受光素子（以下「画素」ともいう）が配置されている。各画素は、例えばフォトダイオードによって構成されている。なお、３原色以外（例えば補色系）の組み合わせの色フィルタを用いることも可能である。
【００５９】
撮影レンズ２４を透過した被写体光は、撮像素子３０の受光面に結像される。撮像素子３０は、タイミングジェネレータ（ＴＧ）３２により駆動されて動作する。すなわち、タイミングジェネレータ３２から与えられる駆動パルスによって、各画素に蓄積された信号電荷を読み出し、ＲＧＢの画像信号として出力する。ＣＰＵ１０は、このタイミングジェネレータ３２の駆動を制御することにより、撮像素子３０の露光タイミング、露光時間（電荷蓄積時間、シャッタ速度）、画像信号の読み出しを制御する。
【００６０】
アナログ信号処理部３４は、撮像素子３０から出力されたアナログの画像信号に対して相関二重サンプリング処理を行い、増幅して出力する。
【００６１】
Ａ／Ｄ変換器３６は、アナログ信号処理部３４から出力されたアナログの画像信号をデジタルの画像信号に変換して出力する。
【００６２】
画像入力コントローラ３８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１０の制御の下、Ａ／Ｄ変換器３６から出力された１コマ分の画像信号を取り込んで、ＳＤＲＡＭ１６に格納する。
【００６３】
画像信号処理部４０は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納された画像信号を取り込み、所要の信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃｒ，Ｃｂ）とからなる画像信号（Ｙ／Ｃ信号）を生成して、ＶＲＡＭ１８に書き込む。
【００６４】
圧縮／伸張処理部４２は、ＣＰＵ１０による制御の下、画像信号（Ｙ／Ｃ信号）を取り込み、所定の圧縮処理を施して、圧縮画像データ（例えば、ＪＰＥＧ）を生成する。また、ＣＰＵ１０による制御の下、圧縮画像データを取り込み、所定の伸張処理を施して、非圧縮の画像信号（Ｙ／Ｃ信号）を生成する。
【００６５】
メディアインタフェース４４は、ＣＰＵ１０による制御の下、メモリカード４６にデータを読み／書きする。例えば、ＣＰＵ１０からの記録指示に応じて、撮影により得られた画像データをメモリカード４６に記録する。また、ＣＰＵ１０からの読み出し指示に応じて、メモリカード４６から該当する画像データを読み出す。メモリカード４６は、撮影装置本体に設けられたカードスロットに着脱自在に装填される。
【００６６】
モニタ５０は、再生モード時には記録済み画像の再生表示部として使用されるほか、撮影モード時には撮像素子３０で生成されて画像入力コントローラ３８によりＳＤＲＡＭ１６に取り込んだ画像を、時系列に連続したスルー画像として表示する。
【００６７】
モニタドライバ４８は、ＣＰＵ１０による制御の下、モニタ５０の表示を制御する。本例では、画像信号（Ｙ／Ｃ信号）をＶＲＡＭ１８から取り込み、表示用の信号形式に変換して、モニタ５０に出力する。
【００６８】
ＡＥ検出部５２は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な、撮像画像における被写界の明るさを示すＡＥ評価値（測光値）を算出し、ＣＰＵ１０に対し出力する。
【００６９】
ＡＦ検出部５４は、ＣＰＵ１０による制御の下、ＳＤＲＡＭ１６に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ制御に必要な、撮像画像のコントラストを示すＡＦ評価値（コントラスト値）を算出し、ＣＰＵ１０に対し出力する。本例のＡＦ検出部５４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、操作部１２により設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、そのフォーカスエリア内の絶対値データを積算する積算部を含み、積算部で積算されたフォーカスエリア内の絶対値データをＡＦ評価値としてＣＰＵ１０に出力する。
【００７０】
手ぶれ補正部５６は、ＣＰＵ１０からの指示に従い、手ぶれ補正を行う。
【００７１】
フラッシュドライバ５８は、ＣＰＵ１０による制御の下、フラッシュ６０を駆動する。すなわち、ＣＰＵ１０から指示された発光タイミング、発光量でフラッシュ６０を発光させる。
【００７２】
電源制御部６２は、ＣＰＵ１０からの指示に従い、装置本体に装填されたバッテリ６４からデジタルカメラ１００の各部への電源の供給を制御する。
【００７３】
なお、図３にて符号２４〜３６のデバイス（撮影レンズ２４、撮像素子３０、アナログ信号処理部３４およびＡ／Ｄ変換器３６を含む）により、撮像部２３が構成される。
【００７４】
図４は、撮像素子３０の構成例を模式的に示す平面図である。
【００７５】
撮像素子３０の受光面には、赤、緑、青の色フィルタがそれぞれ取り付けられた多数の画素（受光素子）が配置されている。図４にて、大文字のＲ、Ｇ、Ｂが付された画素のグループを以下「Ａ面画素群」といい、小文字のｒ、ｇ、ｂが付された画素のグループを以下「Ｂ面画素群」という。Ａ面画素群、Ｂ面画素群とも、赤、緑、青の３原色のフィルタがそれぞれ取り付けられた画素を含んでいる。これにより、Ａ面画素群だけ又はＢ面画素群だけで、フルカラー画像を生成することが可能である。また、本例の撮像素子３０は、赤（Ｒ、ｒ）、緑（Ｇ、ｇ）、青（Ｂ、ｂ）の同色の画素が斜め方向に２つ隣り合う。同一色の画素（例えばＲ画素とｒ画素）は、同一の形状および同一の飽和電荷量を有する。
【００７６】
本例の撮像素子３０は、Ａ面画素群（Ｒ、Ｇ、Ｂ画素群）が行方向および列方向に格子状に配置され、このＡ面画素群に対し、Ｂ面画素群（ｒ、ｇ、ｂ画素群）が行方向及び列方向に画素ピッチの半分（１／２画素ピッチ）ずらして格子状に配置されている。つまり、本例の撮像素子３０は、Ａ面画素群の格子間にＢ面画素群を配置したハニカム配列と呼ばれる画素配列を有している。
【００７７】
また、Ａ面画素およびＢ面画素には、それぞれ独立した垂直電荷転送路（８０Ａ、８０Ｂ）と読出電極（８２Ａ、８２Ｂ）が設けられており、Ａ面画素に蓄積された電荷とＢ面画素に蓄積された電荷は、それぞれ独立に読み出し及び転送を行うことが可能である。
【００７８】
本例の撮像素子３０は、Ａ面画素群およびＢ面画素群の各画素群ごとに異なる露光時間にて一回露光する撮像（画素群別撮像）と、Ａ面画素群とＢ面画素群とをひとつの高解像度画素群として一回ごとに異なる露光時間で複数回露光する撮像（高解像度撮像）とが可能である。
【００７９】
図５は、一回露光のタイミングチャート例である。時点ｔ１〜ｔ２にてオーバフロードレイン電圧ＶＯＤが高電圧となり、全画素の蓄積電荷は基板に引き抜かれ、時点ｔ２にて全画素の露光が開始する。時点ｔ３にてＢ面画素用の垂直駆動信号φＶＢの読み出しパルスにより、各Ｂ面画素から垂直電荷転送路８０Ｂに短露光時間ＴＳの蓄積電荷が読み出される。時点ｔ４にてＡ面画素用の垂直駆動信号φＶＡの読み出しパルスにより、各Ａ面画素から垂直電荷転送路８０Ａに長露光時間ＴＬの蓄積電荷が読み出される。時点ｔ５以後、垂直駆動信号φＶＡ、φＶＢにより電荷の垂直転送が行われるとともに、水平駆動信号φＨにより電荷の水平転送が行われる。このように本例では、Ａ面画素群とＢ面画素群とで同時に露光を開始し、Ｂ面画素群の露光終了後にＡ面画素群の露光を終了する。これにより、Ａ面画素群の長時間露光によるＡ面画像と、Ｂ面画素群の短時間露光によるＢ面画像とが得られる。
【００８０】
図６は、複数回露光のタイミングチャート例である。時点ｔ１１〜時点ｔ１２にてオーバフロードレイン電圧ＶＯＤが高電圧となり、全画素の蓄積電荷は基板に引き抜かれ、時点ｔ１２にて全画素で第一回目の露光が開始する。時点ｔ１３にて垂直駆動信号φＶＡ、φＶＢの読み出しパルスにより、各Ａ面画素および各Ｂ面画素からそれぞれ垂直電荷転送路８０Ａ、８０Ｂに長露光時間ＴＬの蓄積電荷が読み出され、全画素で第２回目の露光が開始する。時点ｔ１４にてメカニカルシャッタ制御信号ＭＣによりメカニカルシャッタ２４ｓを閉じて遮光する。時刻ｔ１５にて、垂直駆動信号φＶＡ、φＶＢにより、各Ａ面画素および各Ｂ面画素からそれぞれ垂直電荷転送路８０Ａ、８０Ｂに短露光時間ＴＳの蓄積電荷が読み出されて垂直転送が行われるとともに、水平駆動信号φＨにより電荷の水平転送が行われる。これにより画素群別画像（Ａ面画像、Ｂ面画像）よりも高解像度を有する高解像度画像を得ることができる。
【００８１】
なお、本発明にて、画素の形状は、図４に示す四角形状に限定されるものではない。例えば、六角形状や八角形状の画素であってもよい。また、本発明にて、画素配列はハニカム配列に特に限定されるものではない。例えば、多数の画素を行方向および列方向に一定間隔で正方格子形状に配列した正方格子配列とし、行方向および列方向のそれぞれにてＡ面画素とＢ面画素とを１つ置きに配置してもよい。
【００８２】
図７は、第１実施形態におけるＣＰＵ１０の要部機能ブロック図である。
【００８３】
ＡＥ制御部１０２は、ＡＥ検出部５２により算出されたＡＥ評価値に基づいて、自動露光（ＡＥ）制御を行う。
【００８４】
ＡＦ制御部１０４は、ＡＦ検出部５４により算出されたＡＦ評価値に基づいて、自動合焦（ＡＦ）制御を行う。
【００８５】
動きベクトル検出部１０６は、撮像素子３０で時系列に連続して生成される複数枚の撮像画像から、被写体の動きベクトルを検出する。また、動きベクトル検出部１０６は、被写体の動きベクトルとともに、カメラボディ８０の動きベクトルを、複数枚の撮像画像から検出する。
【００８６】
例えば、主要被写体が人等に特定されず任意である場合でも、被写体およびカメラボディ８０の動きベクトルを検出可能である。例えば、撮像画像の各分割領域毎に、複数枚の撮像画像間で動きベクトルを検出し、分割領域間で動きベクトル間の相関関係を求め、その相関関係に基づいて、各分割領域の動きベクトルが被写体の動き及びカメラボディ８０の動きのうち何れを示すか、または、加算されているかを判定することで、被写体の動きベクトル及びカメラボディ８０の動きベクトルを抽出することが可能である。
【００８７】
また、主要被写体が人物と特定されている場合、各撮像画像にて顔部分を検出し、複数枚の撮像画像間で顔部分の動きベクトルを検出し、これを被写体の動きベクトルとする態様がある。ここで、顔部分の周囲（または撮像画像の周辺部分）を背景と推定して、背景の動きベクトルを検出し、これを手ぶれを示すカメラボディ８０の動きベクトルと推定してもよい。
【００８８】
これら以外の方法を用いて被写体の動きベクトルおよびカメラボディ８０の動きベクトルを検出してもよいことは、勿論である。
【００８９】
画像合成部１１２は、露光時間が異なる複数枚の画像を合成することでダイナミックレンジを拡大する。画像合成部１１２の画像合成により生成された画像を、以下では「広ダイナミックレンジ画像」または「合成画像」という。
【００９０】
撮像制御部１１４は、撮像素子３０により画素群ごとに異なる露光時間で一回露光を行って、複数枚の画素群別画像を生成し、画像合成部１１２により複数枚の画素群別画像を合成する機能（ぶれ低減優先ダイナミックレンジ拡大機能）、および、撮像素子３０により複数の画素群をひとつの高解像度画素群として一回ごとに異なる露光時間で複数回露光を行って、複数枚の高解像度画像を生成し、画像合成部１１２により複数枚の高解像度画像を合成する機能（高解像度優先ダイナミックレンジ拡大機能）を有する。
【００９１】
また、本実施形態の画像合成部１１２は、動きベクトル検出部１０６にて検出されたカメラボディ８０の動きベクトルを用いて、画像合成を行う。
【００９２】
本実施形態の選択部１１６は、動きベクトル検出部１０６にて検出された動きベクトルの大きさの大小を判定し、動きベクトルが大きいと判定した場合には、一回露光を行うぶれ低減優先ダイナミックレンジ拡大機能を選択し、動きベクトルが小さいと判定した場合には、複数回露光を行う高解像度優先ダイナミックレンジ拡大機能を選択する。
【００９３】
本例の選択部１１６は、まず、レリーズスイッチ８４による撮影指示入力前の被写体の動きベクトルの大きさを閾値と比較することで、被写体が動状態であるか静止状態であるかを判定し、被写体が動状態であると判定した場合には一回露光を選択する。また、本例の選択部１１６は、レリーズスイッチ８４による撮影指示入力前のカメラボディ８０の動きベクトルの大きさを閾値と比較することで、カメラボディ８０が動状態であるか静止状態であるかを判定し、動状態であると判定した場合には一回露光を選択する。被写体の動きベクトルの大きさ、および、カメラボディ８０の動きベクトルの大きさのいずれもが閾値以下である場合には、被写体およびカメラボディ８０が静止状態であると判定して、複数回露光を選択する。
【００９４】
記録制御部１１８は、画像合成部１１２により生成された広ダイナミックレンジ画像を、メディアインタフェース４４を介してメモリカード４６に記録する。
【００９５】
図８（Ａ）〜（Ｃ）を用いて画像合成部１１２における画像合成について説明する。画像合成部１１２は、図８（Ａ）に示すオーバー露光の入出力特性２０１で撮像された画像（長時間露光画像）と、図８（Ｂ）に示すアンダー露光の入出力特性２０２で撮像された画像（短時間露光画像）とを加算する。オーバー露光では、入射光量が小さい低輝度領域にてダイナミックレンジが大きく、入射光量が大きい高輝度領域にて飽和する。アンダー露光では、高輝度領域でも飽和しない。なお、長時間露光画像と短時間露光画像とを単純加算すると、図８（Ｃ）に符号２０３で示す入出力特性で撮像されたと同じ画像となる。この入出力特性２０３は、滑らかでなく、また、飽和点Ｓを超えるため、本例では、γテーブルを用いた重み付け加算により、図８（Ｃ）に符号２０４で示す入出力特性で撮像されたと同じ画像を生成する。
【００９６】
図９は、第１実施形態における撮像処理の一例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【００９７】
レリーズスイッチ８４が半押しされると、ステップＳ１にて、ＡＥ制御部１０２により、ＡＥ処理を行う。ＡＥ処理では、ＡＥ検出部５２にて算出されたＡＥ評価値に基づいて、撮像画像における被写体の輝度（明るさ）を求め、露光時間および絞り値を決定する。例えば、プログラム線図を利用して決定する。
【００９８】
ステップＳ２にて、ＡＦ制御部１０４により、ＡＦ処理を行う。ＡＦ処理では、フォーカスモータドライバ２８ｆによりフォーカスレンズ２４ｆを至近距離に合焦した至近レンズ位置から無限遠に合焦した無限遠レンズ位置まで小刻みに移動させながら、ＡＦ検出部５４により撮像画像のコントラストを示すＡＦ評価値を算出し、フォーカスレンズ２４ｆをコントラストがピークとなるレンズ位置を合焦レンズ位置（主要被写体に合焦するフォーカスレンズ２４ｆの位置）と決定する焦点検出処理を行う。そして、決定した合焦レンズ位置にフォーカスレンズ２４ｆを移動させる。
【００９９】
なお、本例では、ＡＥ処理およびＡＦ処理をレリーズスイッチ８４の全押し前に行うが、ＡＥ処理およびＡＦ処理のうち少なくとも一方をレリーズスイッチ８４の全押し後に行ってもよい。
【０１００】
ステップＳ３にて、選択部１１６により、動きベクトルの大きさの大小を判定し、動きベクトルが大きいと判定した場合にはステップＳ４に進み、動きベクトルが小さいと判定した場合にはステップＳ５に進む。
【０１０１】
すなわち、被写体の動き、または、カメラボディ８０の動き（すなわち撮像部２３の動き）に因り、複数回露光して画像を合成した場合にぶれ（被写体ぶれや手ぶれ）が許容値よりも大きくなるか否かを判定する。本例では、動きベクトル検出部１０６によって検出された被写体の動きベクトルの大きさおよびカメラボディ８０の動きベクトルの大きさを、それぞれの規定値（閾値）と比較することで、複数回露光および画像合成におけるぶれの発生を判定する。つまり、被写体の動きベクトルの大きさが閾値よりも大きい場合、または、カメラボディ８０の動きベクトルの大きさが閾値よりも大きい場合には、一回露光を選択する。また、被写体の動きベクトルの大きさが閾値以下であり、且つ、カメラボディ８０の動きベクトルの大きさが閾値以下である場合には、複数回露光を選択する。一方の動きベクトルのみを用いて選択を行ってもよい。
【０１０２】
一回露光が選択された場合、レリーズスイッチ８４が全押しされると、ステップＳ４およびＳ６にて、撮像制御部１１４により撮像部２３を制御して、Ａ面画素群の露光時間をＢ面画素群の露光時間よりも長くして一回露光の撮像を行う。すなわち、ステップＳ４にて、図５を用いて説明したように各画素群（Ａ面画素群、Ｂ面画素群）ごとに異なる露光時間（ＴＳ、ＴＬ）で露光を行って電荷を蓄積し、ステップＳ６にて、画素群ごとに電荷を読み出す。撮像により得られたＡ面画像およびＢ面画像は、アナログ信号処理部３４によるアナログ信号処理およびＡ／Ｄ変換器３６によるＡ／Ｄ変換が施された後、画像入力コントローラ３８によりＳＤＲＡＭ１６に格納される。次に、ステップＳ７にて、画像合成部１１２によりＡ面画像とＢ面画像とを加算して合成することで、ダイナミックレンジ拡大を行う。これにより得られた通常解像度（例えば６Ｍピクセル）の広ダイナミックレンジ画像は、ＳＤＲＡＭ１６に格納される。
【０１０３】
複数回露光が選択された場合、レリーズスイッチ８４が全押しされると、ステップＳ５およびＳ６にて、撮像制御部１１４により撮像部２３を制御して、全画素群にて一回ごとに異なる露光時間で複数回露光の撮像を行う。すなわち、ステップＳ５にて、撮像素子３０により図６を用いて説明したように全画素群を一回ごとに異なる露光時間（ＴＳ、ＴＬ）で露光を行って電荷を蓄積し、ステップＳ６にて、各画素から露光ごとに電荷を読み出す。撮像により得られた２枚の高解像度の画像は、アナログ信号処理部３４によるアナログ信号処理およびＡ／Ｄ変換器３６によるＡ／Ｄ変換が施された後、画像入力コントローラ３８によりＳＤＲＡＭ１６に格納される。次に、ステップＳ７にて、画像合成部１１２により２枚の高解像度画像を加算して合成することで、ダイナミックレンジ拡大を行う。これにより得られた高解像度（例えば１２Ｍピクセル）の広ダイナミックレンジ画像はＳＤＲＡＭ１６に格納される。
【０１０４】
なお、被写体が静止体であっても、カメラボディ８０が動いた場合には、複数枚の撮像画像を合成すると、いわゆる手ぶれが加算的に大きくなる。そこで、高解像度画像の画像合成の際、カメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように画像を合成する。具体的には、一枚の高解像度画像に対し他の高解像度画像を画像処理により相対的にシフトした後、合成する。ここで、高解像度画像の相対的シフトは、カメラボディ８０の動きベクトルの逆ベクトルに相当する。
【０１０５】
ステップＳ８にて、画像信号処理部４０により所定の画像処理が施され、圧縮／伸張処理部４２により圧縮され、ステップＳ９にて記録制御部１１８によりメモリカード４６に記録される。
【０１０６】
なお、動きベクトルの大きさ判定をレリーズスイッチ８４半押し後の撮像画像に基づいて行う場合を例に説明したが、レリーズスイッチ８４半押し前のスルー画像に基づいて行ってもよい。
【０１０７】
また、動きベクトルの大小のみに基づいて露光選択を行う場合には特に限定されず、露光時間にも基づいて露光選択を行ってもよい。例えば、動きベクトル（被写体の動きベクトルおよび／またはカメラボディ８０の動きベクトル）の大きさが閾値よりも大きく、且つ、露光時間が許容値よりも大きい場合に、一回露光を選択し、それ以外の場合には複数回露光を選択する。例えば、複数回露光の露光時間（ＴＬ＋ＴＳ）と閾値（ぶれが許容される動きベクトルの大きさ）との対応関係を示すテーブル情報をＥＥＰＲＯＭ２０に予め記憶しておく。ＡＥ制御部１０２により露光時間（ＴＬ＋ＴＳ）を算出し、選択部１１６によりテーブル情報を参照して露光時間（ＴＬ＋ＴＳ）に対応する閾値を取得し、動きベクトルの大きさと閾値とを比較する。
【０１０８】
図１０は、第２実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７にて示した構成要素には同じ符号を付してあり、第１実施形態にて既に説明した内容は、その説明を省略する。
【０１０９】
顔検出部１０８は、被写体を連続して撮像して得られた撮像画像から、人の顔を検出する。なお、本例では、顔を検出する場合を例に説明するが、顔パーツ（目、口等）の検出のみを行う場合でもよいし、人物の全体を検出する場合でもよい。すなわち、人物を検出する構成であればよい。
【０１１０】
本実施形態の選択部１１６は、撮影指示入力前の撮像画像にて顔検出部１０８により顔が検出されたか否かを判定し、顔が検出された場合には一回露光を選択し、顔が検出されない場合には複数回露光を選択する。
【０１１１】
本実施形態では、人物を検出した場合には、動体撮影とみなして、撮影指示入力時に一回露光の撮像を行って複数枚の画素群別画像を合成する。その一方で、人物を検出しなかった場合には、静止体撮影とみなして、撮影指示入力時に複数回露光の撮像を行って複数枚の画素群別画像を合成する。
【０１１２】
図１１は、第２実施形態における撮像処理の一例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１１３】
ステップＳ１１〜Ｓ１２は、第１実施形態のＳ１〜Ｓ２と同様であり、説明を省略する。
【０１１４】
ステップＳ１３にて、選択部１１６により、顔検出部１０８で顔が検出されたか否かを判定し、顔が検出された場合にはステップＳ１４に進み、顔が検出されなかった場合にはステップＳ１５に進む。すなわち、人物が検出された場合には一回露光の撮像を選択し、人物が検出されない場合には複数回露光の撮像を選択する。
【０１１５】
ステップＳ１４〜Ｓ１９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１１６】
図１２は、第３実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７にて示した構成要素には同じ符号を付してあり、第１実施形態にて既に説明した内容は、その説明を省略する。
【０１１７】
本実施形態の選択部１１６は、被写体の動き、カメラボディ８０の動き、被写界の明るさの変動、および、撮像部２３の露光時間のうち少なくともひとつの変動に係る撮影モードに基づいて、画像のぶれ低減を優先するか高解像度を優先するかを判定し、ぶれ低減優先の場合には一回露光および画素群別画像の合成を選択し、高解像度優先の場合には複数回露光および高解像度画像の合成を選択する。
【０１１８】
図１３は、第３実施形態における撮像処理の一例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１１９】
ステップＳ２１〜Ｓ２２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１２０】
ステップＳ２３にて、撮影モードの判定として、ぶれ低減優先の広ダイナミックレンジモードであるか高解像度優先の広ダイナミックレンジモードであるかを判定する。ぶれ低減優先の広ダイナミックレンジモードである場合には一回露光を選択し、高解像度優先の広ダイナミックレンジモードである場合には複数回露光を選択する。
【０１２１】
ステップＳ２４〜Ｓ２９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１２２】
図１４は、第３実施形態における撮像処理の他の例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１２３】
ステップＳ３１〜Ｓ３２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１２４】
ステップＳ３３にて、撮影モードの判定として、被写界の撮影場面を示すシーンモードを判定する。ここで、撮影指示入力時にて被写体が動状態であるか静止状態であるかを判定する。例えばスポーツモードの場合には、動体撮影とみなして、一回露光を行って複数枚の画素群別画像を合成する。その一方で、風景モードの場合には、静止体撮影とみなして、複数回露光を行って複数枚の高解像度画像を合成する。
【０１２５】
ステップＳ３４〜Ｓ３９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１２６】
図１５は、第４実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７にて示した構成要素には同じ符号を付してあり、第１実施形態にて既に説明した内容は、その説明を省略する。
【０１２７】
本実施形態の選択部１１６は、シャッタ速度（露光時間）を閾値と比較し、一回露光および複数回露光のうちいずれを行うかを選択する。
【０１２８】
複数回露光では、図６のタイミングチャートにて、露光開始時点ｔ１２（本例では長時間露光の開始時点）から露光終了時点ｔ１４（本例では短時間露光の終了時点）までの時間ＴＨが、ぶれ発生の許容値Ｔｖ（例えば１／６０秒）以下である場合に、画像中のぶれが十分に許容される。ここで、本例では露光時間ＴＬ，ＴＳに対して垂直駆動信号φＶＡ，φＶＢのパルス幅は無視できるため、ＴＨ＝ＴＬ＋ＴＳと近似できる。つまり、ＴＬ＋ＴＳが、許容値Ｔｖ以下であれば複数回露光でも画像中のぶれが十分許容される一方で、許容値Ｔｖよりも大きい場合にはぶれが許容されない。
【０１２９】
そこで、ＴＬ＋ＴＳが許容値Ｔｖよりも大きい場合には、高解像度よりもぶれ低減を優先する。例えば、許容値Ｔｖが１／６０秒であって、ＴＳ＝１／２×ＴＬであるものとする。そうすると、ＴＬが１０ミリ秒（１／１００秒）の場合、ＴＬ＋ＴＳ（１５ミリ秒）が許容値Ｔｖよりも小さい（シャッタ速度が速い）。つまり、ぶれが複数回露光でも十分に許容されるので、複数回露光を選択することで高解像度を優先する。その一方で、ＴＬが２０ミリ秒の場合、ＴＬ＋ＴＳ（３０ミリ秒）が許容値Ｔｖよりも大きい（シャッタ速度が遅い）ので、一回露光を選択することでぶれ低減を優先する。
【０１３０】
なお、シャッタ速度（露光時間）と閾値との比較は、ＴＬ＋ＴＳを用いる場合には特に限定されず、例えばＴＬのみを用いて行ってもよい。
【０１３１】
図１６は、第４実施形態における撮像処理例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１３２】
ステップＳ４１〜Ｓ４２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１３３】
ステップＳ４３にて、撮像部２３のシャッタ速度（露光時間）を閾値と比較し、閾値よりも大きい場合（シャッタ速度が遅い場合）にはステップＳ４４に進み、閾値以下の場合（すなわちシャッタ速度が速い場合）にはステップＳ４５に進む。本例では、ステップＳ４１のＡＥ処理にて長時間露光時間ＴＬを算出し、ステップＳ４３にて長時間露光時間ＴＬを閾値（例えば１／１００秒）と比較する。複数回露光における合計の露光時間（ＴＬ＋ＴＳ）を閾値（例えば１／６０秒）と比較してもよい。
【０１３４】
ステップＳ４４〜Ｓ４９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１３５】
図１７は、第５実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７にて示した構成要素には同じ符号を付してあり、第１実施形態にて既に説明した内容は、その説明を省略する。
【０１３６】
本実施形態の選択部１１６は、撮影時にフラッシュ６０により発光するか否かに基づいて、一回露光撮影を行うか複数回露光撮影を行うかを決定する。
【０１３７】
図１８は、第５実施形態における撮像処理例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１３８】
ステップＳ５１〜Ｓ５２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１３９】
ステップＳ５３にて、露光中のフラッシュ発光の有無を判定し、発光有りの場合にはステップＳ５４に進み、発光無しの場合にはステップＳ５５に進む。
【０１４０】
ステップＳ５４〜Ｓ５９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１４１】
図１９は、第６実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７にて示した構成要素には同じ符号を付してあり、第１実施形態にて既に説明した内容は、その説明を省略する。
【０１４２】
本実施形態の選択部１１６は、ＡＥ検出部５２にて算出したＡＥ評価値に基づいて、レリーズスイッチ８４の全押しによる撮影指示入力前の撮像画像における被写界の明るさ（輝度）の変動量が大きいか小さいかを判定し、変動量が大きいと判定した場合には一回露光を選択し、変動量が小さいと判定した場合には複数回露光を選択する。
【０１４３】
図２０は、第６実施形態における撮像処理例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１４４】
ステップＳ６１〜Ｓ６２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１４５】
ステップＳ６３にて、ステップＳ６２にて算出したＡＥ評価値の変動量を閾値と比較し、閾値よりも大きい場合にはＳ６４に進み、閾値以下の場合にはステップＳ６５に進む。
【０１４６】
ステップＳ６４〜Ｓ６９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１４７】
本実施形態では、被写界の明るさ（輝度）の変動量が大きい場合、動体撮影と判定して、一回露光撮影を行う。
【０１４８】
図２１は、第７実施形態におけるデジタルカメラ１００の一例を示す全体構成図である。なお、図３に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
【０１４９】
図２１において、角速度センサ７０（ジャイロセンサ）は、カメラボディ８０の動きを検出する。
【０１５０】
図２２は、第実施形態におけるＣＰＵ１０の要部機能ブロック図である。なお、図７に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。
【０１５１】
本実施形態の画像合成部１１２は、角速度センサ７０の検出結果を用いて、複数枚の撮像画像を合成する。
【０１５２】
本実施形態の選択部１１６は、角速度センサ７０の検出結果に基づいて、露光中のカメラボディ８０の動きの大小を判定し、カメラボディ８０の動きが大きいと判定した場合には一回露光を選択し、カメラボディ８０の動きが小さいと判定した場合には複数回露光を選択する。
【０１５３】
なお、本発明は、角速度センサ７０の検出結果のみに基づいて一回露光および複数回露光のいずれを行うかを選択する場合には特に限定されない。選択部１１６は、例えば、動きベクトル検出部１０６にて検出された被写体ベクトル、および、ＡＥ制御部１０２にて算出された露光時間にも基づいて、選択するようにしてもよい。
【０１５４】
図２３は、第７実施形態における撮像処理例の流れを示すフローチャートである。本処理は図２２のＣＰＵ１０によりプログラムに従って実行される。
【０１５５】
ステップＳ７１〜Ｓ７２は、第１実施形態のステップＳ１〜Ｓ２と同様である。
【０１５６】
ステップＳ７３にて、選択部１１６は、角速度センサ７０（ジャイロセンサ）の検出結果に基づいて、露光中のカメラボディ８０の動きの大小を判定し、動きが大きいと判定した場合には一回露光を選択し、動きが小さいと判定した場合には複数回露光を選択する。
【０１５７】
例えば、角速度センサ７０を用いて手ぶれ量を求め、この手ぶれ量が閾値よりも大きい場合には露光中もカメラボディ８０の手ぶれ量が大きいと判定して一回露光を選択し、閾値以下の場合には複数回露光を選択する。
【０１５８】
更に、ＡＥ制御部１０２で算出したシャッタ速度（露光時間）を用いてもよい。例えば、複数回露光の露光時間（ＴＬ＋ＴＳ）と閾値（ぶれが許容される動き量）との対応関係を示すテーブル情報をＥＥＰＲＯＭ２０に予め記憶しておく。ＡＥ制御部１０２により露光時間（ＴＬ＋ＴＳ）を算出し、選択部１１６によりテーブル情報を参照して露光時間（ＴＬ＋ＴＳ）に対応する閾値を取得し、カメラボディ８０の動き量と閾値とを比較する。
【０１５９】
ステップＳ７４〜Ｓ７６は、第１実施形態におけるステップＳ４〜Ｓ６と同様である。
【０１６０】
ステップＳ７７にて、本実施形態では、高解像度画像を合成する際、角速度センサ７０の検出結果を用いて加算を行う。
【０１６１】
前述の第１実施形態では、動きベクトル検出部１０６により検出されたカメラボディ８０の動きベクトルを用いて、手ぶれ成分を加えないように画像合成を行ったが、本実施形態では、角速度センサ７０により検出されたカメラボディ８０の動きベクトルを用いることで、確実に手ぶれの加算を排除することが可能である。具体的には、一枚の高解像度画像に対し、他の高解像度画像を画像処理により相対的にシフトした後、合成する。ここで相対的シフトのベクトルは、角速度センサ７０により検出されたカメラボディ８０の動きベクトルの逆ベクトルに相当する。
【０１６２】
ステップＳ７８およびＳ７９は、第１実施形態におけるＳ８およびＳ９と同様である。
【０１６３】
以上説明した第１〜第７実施形態にて、画素群の数や、露光回数は特に限定されない。
【０１６４】
また、画像合成をＣＰＵ１０の演算により行う場合を例に説明したが、このような場合に特に限定されない。ハードウェア回路により、画像合成を行ってもよいことは、言うまでもない。
【０１６５】
また、第１実施形態にて、画像解析により電子的にカメラボディ８０の動きを検出する場合を例に説明し、第７実施形態にて、角速度センサ７０によりカメラボディ８０の動きを検出する場合を例に説明したが、画像解析とセンサとを併用してカメラボディ８０の動きを精度よく検出してもよいことは、勿論である。
【０１６６】
また、第７実施形態にて、カメラボディ８０の動きを検出するセンサとして、角速度センサ（ジャイロセンサ）を用いた場合を例に説明したが、角速度センサには特に限定されない。カメラボディ８０の動き量を検出可能なセンサであればよい。
【０１６７】
また、本発明の理解を容易にするために、第１実施形態から第７実施形態に分けて各種の露光選択態様を説明したが、これらの態様を組み合わせてもよいことは、勿論である。
【０１６８】
図２４は、各種の露光選択態様を組み合わせた撮像処理例の流れを示すフローチャートである。本処理はＣＰＵ１０によりプログラムに従って実行される。
【０１６９】
ステップＳ８１〜Ｓ８２は、第１実施形態のステップＳ１〜Ｓ２と同様であり、説明を省略する。
【０１７０】
ステップＳ８３にて、被写体の動き、カメラボディ８０の動き（すなわち撮像部２３の動き）、被写界の明るさの変動、および、露光時間に基づいて、一回露光で撮像するか複数回露光で撮像するかを選択する。
【０１７１】
被写体の動きについては、第１実施形態にて説明したように画像に基づいて検出する態様、第２実施形態にて説明したように人物検出により被写体の動きが有ると判定する態様、第３実施形態にて説明したように撮影モードに基づいて被写体の動きが有ると判定する態様等があり、いずれで行ってもよい。また、撮像画像および角速度センサ７０の検出結果の両方に基づいて被写体の動きを検出してもよい。また、被写界の明るさの変動量が大きい場合には被写体の動きが有ると判定してもよい。
【０１７２】
カメラボディ８０の動きについては、第１実施形態にて説明したように画像に基づいて検出する態様、第７実施形態にて説明したように角速度センサ７０の検出結果に基づいて検出する態様、画像および角速度センサ７０の検出結果の両方に基づいて検出する態様等があり、いずれで行ってもよい。
【０１７３】
また、被写体の動きであるかカメラボディ８０の動きであるかを区別しないで動きベクトルを検出してもよい。
【０１７４】
被写界の明るさの変動については、第５実施形態にて説明したようにＡＥ検出部５２による被写界の明るさの検出結果に基づいて変動量を算出する態様、第４実施形態にて説明したようにフラッシュ発光の有無で判定する態様等があり、いずれで行ってもよい。
【０１７５】
露光時間については、ＡＥ検出部５２による被写界の明るさの検出結果に基づいて決定する場合や、操作部１２の設定により決定する場合がある。
【０１７６】
本例では、被写体の動き、カメラボディ８０の動き、および、被写界の明るさの変動が小さい（または無い）と判定された場合には、複数回露光を選択する。また、複数回露光の露光開始から露光終了までの時間（ＴＬ＋ＴＳ）が閾値以下である場合にも、複数回露光を行う。それ以外の場合、つまり、被写体の動き、カメラボディ８０の動き、被写界の明るさの変動のうちいずれかの変動が大きい（または有る）と判定された、且つ、複数回露光の合計の露光時間（ＴＬ＋ＴＳ）が閾値よりも大きい場合には、一回露光を行選択する。
【０１７７】
ステップＳ８４〜Ｓ８９は、第１実施形態のステップＳ４〜Ｓ９と同様であり、説明を省略する。
【０１７８】
なお、本発明は、各実施形態にて説明したように、被写体の動き、カメラボディ８０の動き（すなわち撮像部２３の動き）、被写界の明るさの変動、および、露光時間のうちひとつに基づいて、一回露光または複数回露光を選択してもよい。また、これらのどのような組み合わせにより選択してもよいことは、言うまでもない。
【０１７９】
また、手ぶれ補正部５６の詳細な説明を省略したが、公知の技術を用いて手ぶれ補正を行うことができる。手ぶれ補正は、ハードウェアおよびソフトウェアのいずれで行ってもよい。例えば、手ぶれ量に応じて撮像素子３０や撮影レンズ２４を移動させる公知のハードウェアを用いることにより、手ぶれ補正を行うことができる。ハードウェア回路を用い、画像信号に対して手ぶれ補正を行ってもよい。また、被写体ぶれ補正についての説明を省略したが、公知の技術を用いて被写体ぶれ補正を行ってよいことは、言うまでもない。これらのぶれ補正の際に、動きベクトル検出部１０６により検出した動きベクトル、および、角速度センサ７０の検出結果のうち、少なくともいずれかを用いることができる。
【０１８０】
また、本明細書では、デジタルカメラを例に説明したが、本発明は、デジタルカメラには特に限定されず、カメラ付き携帯電話等、撮像機能を備えたあらゆる撮像装置に適用可能である。
【０１８１】
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１８２】
１０…ＣＰＵ、１２…操作部、１６…ＳＤＲＡＭ、２３…撮像部、２４…撮影レンズ、３０…撮像素子、３２…タイミングジェネレータ、３４…アナログ信号処理部、３６…Ａ／Ｄ変換器、３８…画像入力コントローラ、４４…メディアインタフェース、４６…メモリカード、５２…ＡＥ検出部、５４…ＡＦ検出部、７０…角速度センサ、８４…レリーズスイッチ、１００…デジタルカメラ、１０２…ＡＥ制御部、１０４…ＡＦ制御部、１０６…動きベクトル検出部、１０８…顔検出部、１１２…画像合成部、１１４…撮像制御部、１１６…選択部、１１８…記録制御部
【図１】
2010239277.tif 000003
【図２】
2010239277.tif 000004
【図３】
2010239277.tif 000005
【図４】
2010239277.tif 000006
【図５】
2010239277.tif 000007
【図６】
2010239277.tif 000008
【図７】
2010239277.tif 000009
【図８】
2010239277.tif 000010
【図９】
2010239277.tif 000011
【図１０】
2010239277.tif 000012
【図１１】
2010239277.tif 000013
【図１２】
2010239277.tif 000014
【図１３】
2010239277.tif 000015
【図１４】
2010239277.tif 000016
【図１５】
2010239277.tif 000017
【図１６】
2010239277.tif 000018
【図１７】
2010239277.tif 000019
【図１８】
2010239277.tif 000020
【図１９】
2010239277.tif 000021
【図２０】
2010239277.tif 000022
【図２１】
2010239277.tif 000023
【図２２】
2010239277.tif 000024
【図２３】
2010239277.tif 000025
【図２４】
2010239277.tif 000026