(57)【要約】【課題】露出条件の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する際、画像のノイズが高くても露出条件などの評価値の精度を良好に維持する。【解決手段】互いに露出条件が異なる複数の撮影画像Ｆｒ（ｎ）およびＦｒ（ｎ＋１）を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像ＨＤＲを得る際、露出条件のうちの特定の１つである高露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像｛Ｆｒ（ｎ−２）＋Ｆｒ（ｎ）｝を評価値算出用画像として得る。そして、露出条件を含む撮像装置の制御の際に用いられる制御用評価値が評価値算出用画像に応じて求められる。【選択図】図２
2014110598.tif 000002
【特許請求の範囲】
【請求項１】
露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置であって、
前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大手段と、
前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算手段と、
前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮影画像における被写体の明るさが所定の明るさ以上に明るいか否かを判定する判定手段を備え、
前記判定手段によって前記被写体の明るさが所定の明るさ以上に明るいと判定されると、前記評価値生成手段は、前記加算処理画像の代わりに、前記特定の１つの露出条件で撮影された撮影画像を前記評価値算出用画像とした用いることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、前記特定の１つの露出条件で撮影された撮影画像と前記所定の露出条件で撮影した際に得られる撮影画像とを比較して、そのゲインの増加量が所定の閾値以下であると、前記被写体の明るさが所定の明るさ以上に明るいと判定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像手段は、前記撮影画像を撮影する複数のフレームで前記特定の一つの撮影画像を連続して撮影することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記露出条件として所定の露出値よりも露出値が高い高露出条件と、前記所定の露出値よりも露出値が低い低露出条件とがあり、
前記特定の一つの露出条件として前記高露出条件を用いることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像手段は、前記ダイナミックレンジ拡大画像が出力される１フレームにおいて、前記高露出条件および前記低露出条件で撮影を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御用評価値は前記露出条件の他に少なくともホワイトバランス処理用のホワイトバランス係数、前記評価値算出用画像において被写体の所定の領域を検出した結果である領域検出情報、前記評価値算出用画像が撮影されたシーンを示すシーン判別情報を含むことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置の制御方法であって、
前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大ステップと、
前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算ステップと、
前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成ステップと、
を有することを特徴とする制御方法。
【請求項９】
露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大ステップと、
前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算ステップと、
前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、動画像の撮影の際にダイナミックレンジを拡大することのできる撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤまたはＣＭＯＳイメージセンサなどの固体撮像素子を用いたデジタルスチルカメラ又はデジタルビデオカメラなどの撮像装置が多数開発されている。
【０００３】
これら撮像装置において撮影画像におけるダイナミックレンジは、通常、固体撮像素子が有するダイナミックレンジに依存される。このため、逆光などのように、主被写体と背景との明暗差が大きい撮影条件では、主被写体を適正露出に調整しても、背景には所謂白とび又は黒つぶれなどが発生してしまう。
【０００４】
このような問題点に対処するため、複数枚の画像を合成してダイナミックレンジを拡大する手法が知られている（特許文献１参照）。この手法においては、画面の領域毎に、露出条件の異なる複数の撮影画像から被写体のコントラストが残存している部分を活用して画像処理を施し、撮影画像におけるダイナミックレンジを実質的に拡大している。
【０００５】
上記のようなダイナミックレンジの拡大は、従来、主に静止画像に対して行われていたが、撮像素子の読み出し速度の高速化に伴って、動画像に対してダイナミックレンジの拡大処理が行われている。
【０００６】
図７は、動画像においてダイナミックレンジを拡大する場合に露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【０００７】
図７において、出力同期信号は、複数の画像を合成した後に合成画像を出力するタイミングを示す同期信号であって、出力同期信号の周期が合成画像出力の際のフレームレートに対応する。撮影同期信号は、１フレームの撮影画像を撮影するタイミングを示す同期信号であって、この周期が画像撮影の際のフレームレートに対応する。図示の例では、撮影同期信号の周期は出力同期信号の周期の２倍である。
【０００８】
以下の説明では、２枚の撮影画像を合成して、１枚の合成画像とするものとし、２枚の撮影画像において１枚目を１ｓｔフレーム、２枚目を２ｎｄフレームと呼ぶことにする。そして、高露出画像をＨｉｇｈ、低露出画像をＬｏｗとし、合成画像（合成後出力画像）をＨＤＲとする。なお、撮影画像の各々は撮影開始からのフレームの数ｎを引数としてＦｒ（ｎ）で示す。また、露出条件を算出するための露出各種評価値算出用画像がＦｒ（ｎ）で示されている。
【０００９】
いま、時刻Ｔ１のタイミングで、露出条件算出回路（図示せず）は、高露出撮影画像である露出各種評価値算出用画像Ｆｒ（ｎ−２）に応じて算出された被写体の適正露出条件に基づいて、当該適正露出条件よりもプラス１段の高露出の条件（プラス１段高露出条件）を算出する。そして、撮像装置（図示せず）では当該プラス１段高露出条件で高露出画像（Ｈｉｇｈ）の撮影を行う。ここで、適正露出条件を算出する際には、例えば、画像の領域毎の輝度値が用いられる。
【００１０】
なお、撮影画像Ｆｒ（ｎ）は露出各種評価値算出用画像Ｆｒ（ｎ）として露出条件算出回路に入力されて、時刻Ｔ３のタイミングにおける露出条件算出に用いられる。
【００１１】
時刻Ｔ２のタイミングで、露出条件算出回路は上記の適正露出条件よりもマイナス１段の低露出の条件（マイナス１段低露出条件）を算出する。そして、撮像装置では、当該マイナス１段低露出条件で低露出画像（Ｌｏｗ）の撮影を行って、撮影画像Ｆｒ（ｎ＋１）を得る。
【００１２】
続いて、時刻Ｔ３のタイミングで、撮像装置では、２フレーム前に撮影した高露出画像Ｆｒ（ｎ）と１フレーム前に撮像した低露出画像Ｆｒ（ｎ＋１）とから生成されたダイナミックレンジ拡大画像を動画像として出力する。この際、露出条件算出回路は時刻Ｔ１の時と同様にして、露出各種評価値算出用画像Ｆｒ（ｎ）から算出された被写体の適正露出条件に基づいて、当該適正露出条件よりプラス１段の高露出の条件を算出する。そして、撮像装置では、この高露出条件で高露出画像の撮影を行って、撮像画像Ｆｒ（ｎ＋２）を取得する。
【００１３】
以下同様にして、撮影画像Ｆｒ（ｎ＋３）〜Ｆｒ（ｎ＋５）を得る。このようにして、動画像のフレームレートの２倍の速度で高露出および低露出の画像撮影を切り替える動作を繰り返して、ダイナミックレンジ拡大画像を生成する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開昭６３−３０６７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
ところが、上述のようにして、適正露出条件を算出するための高露出画像および低露出画像を用いると、被写体および露出条件によっては得られた画像が高ノイズとなってしまい、適正露出条件などの評価値の精度が落ちてしまうことがある。
【００１６】
従って、本発明の目的は、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する際、画像のノイズが高くても露出条件などの評価値の精度を良好に維持することのできる撮像装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記の目的を達成するため、本発明による撮像装置は、露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置であって、前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大手段と、前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算手段と、前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成手段と、を有することを特徴とする。
【００１８】
本発明による制御方法は、露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置の制御方法であって、前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大ステップと、前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算ステップと、前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成ステップと、を有することを特徴とする。
【００１９】
本発明による制御プログラムは、露出条件を異ならせて画像を撮影画像として連続して撮影する撮像手段を備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記撮像手段で得られた互いに露出条件が異なる複数の撮影画像を合成してダイナミックレンジが拡大されたダイナミックレンジ拡大画像を得るダイナミックレンジ拡大ステップと、前記露出条件のうちの特定の１つの露出条件で撮影された複数の撮影画像を加算平均処理して加算処理画像を評価値算出用画像として得る画像加算ステップと、前記露出条件を含む前記撮像装置の制御の際に用いられる制御用評価値を前記評価値算出用画像に応じて求める評価値生成ステップと、を実行させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する際、画像のノイズが高くても露出条件などの評価値の精度を良好に維持することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示す撮像装置において露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【図３】図１に示す撮像装置における撮影処理を説明するためのフローチャートである。
【図４】本発明の第２の実施形態による撮像装置における撮影処理を説明するためのフローチャートである。
【図５】本発明の第３の実施形態による撮像装置において露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【図６】本発明の第３の実施形態による撮像装置における撮影処理を説明するためのフローチャートである。
【図７】動画像においてダイナミックレンジを拡大する場合に露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００２３】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【００２４】
図示の撮像装置は、例えば、デジタルビデオカメラ（以下単にカメラと呼ぶ）であり、撮影レンズユニット（以下単に撮影レンズと呼ぶ）１１０を有している。この撮影レンズ１１０はフォーカスレンズおよびズームレンズなどの複数のレンズを有するとともに、絞り機構を備えている。レンズ制御部１１１はシステム制御回路１８０の制御下で、撮影レンズ１１０におけるフォーカス、ズーム、および絞りを制御する。
【００２５】
撮影レンズ１１０を通過した光学像（被写体像）は撮像素子１２０に結像される。図示の撮像素子１２０は、例えば、ＣＭＯＳイメージセンサであり、光電変換によって光学像に応じた電気信号（アナログ信号）を生成する。なお、撮像素子１２０では全画素から画素信号が読み出されるばかりでなく、特定の画素の画素信号について加算が行われ、さられには、特定の行又は列を間引いて画素信号を読み出すこともできる。
【００２６】
撮像素子駆動回路１２１は、システム制御回路１８０の制御下で撮像素子１２０を駆動する。撮像素子駆動回路１２１によって、撮像素子１２０は撮影時の露光時間および信号増幅量などが変更される。上記のアナログ信号はＡ／Ｄ変換によってデジタル信号（画像データ）に変換された後、ダイナミックレンジ拡大回路２００を備える画像処理回路１３０に入力される。
【００２７】
ダイナミックレンジ拡大回路２００は、後述するようにして、予めメモリ部１４０に保存された高露出画像データおよび低露出画像データを用いて、撮影の結果得られた画像データ（以下撮影画像と呼ぶ）からダイナミックレンジ拡大画像を生成する。ここで、ダイナミックレンジ拡大画像とは、合成前の各露出画像に比べてダイナミックレンジが拡大された画像を示す。また、本実施形態でダイナミックレンジが拡大されるとは、合成前の各露出画像に比べて、所定の明るさ（例えば明部、暗部）の被写体の階調が出るように合成が行われることを意味する。従って、合成の結果、例えば、８ビットの露出画像同士を合成して１６ビットの合成画像を生成する場合も含まれれば、合成後の画像も８ビットになるように合成されるものも含まれる。
【００２８】
図示のように、画像処理回路１３０は、露出条件算出回路２１０、ホワイトバランス係数算出回路２２０、顔検出回路２３０、シーン判別回路２４０、画像加算回路３００を有している。
【００２９】
露出条件算出回路２１０は、撮影画像に基づいて適正な露出を適正露出として、適正露出をシステム制御回路１８０に送る。ホワイトバランス係数算出回路２２０は撮影画像に応じて、画像処理を行う際に用いるホワイトバランス（ＷＢ）係数を算出し、当該ＷＢ係数をシステム制御回路１８０に送る。
【００３０】
顔検出回路２３０は撮影画像において被写体の顔領域を判別して、顔領域判別結果をシステム制御回路１８０に送る。この顔領域判別結果はＬＣＤ１５０に表示されたライブ画像における顔領域を枠表示する際に用いられる。さらに、顔領域判別結果は、顔領域を優先して露出制御、フォーカス制御、およびＷＢ処理を行う際に用いられる。つまり、顔領域判別結果はユーザーの撮影をアシストする際に用いられる。
【００３１】
なお、図示の例では、画像処理回路１３０は顔検出回路２３０のみを備えているが、例えば、人物検知又はペット検知などの検出回路を備えるようにしてもよい。
【００３２】
シーン判別回路２４０は撮影画像の構図、明るさ、および色合いに応じて予めメモリ部１４０に記憶されたシーンから撮影画像に最も近いシーンを判別する。そして、シーン判別回路２４０はシーン判別結果をシステム制御回路１８０に送る。シーン判別結果は、シーンに応じた露出条件、フォーカス制御、およびＷＢ処理を行う際、ユーザーの撮影をアシストする場合に用いられる。
【００３３】
画像加算回路３００は複数の撮影画像において画素の加算又は加算平均を行って、基準となる撮影画像よりもノイズが低減された加算画像又は加算平均画像を生成する。
【００３４】
なお、画像処理回路１３０は、撮影画像についてガンマ処理およびＷＢ処理などの各種信号処理を行う。この際、画像処理回路１３０は撮影画像をメモリ１４０との間で書き込み／読み出し処理する。また、画像処理回路１３０は撮影画像をＬＣＤ１５０に表示する。
【００３５】
画像処理回路１３０の出力である撮影画像は、画像変換回路１６０で圧縮処理されて、圧縮撮影画像としてメモリカード１７０に書き込まれる。また、画像変換回路１６０は、メモリカード１７０から読み出した圧縮撮影画像を伸長して画像処理回路１３０に出力する。
【００３６】
システム制御回路１８０は、画像処理回路１３０の出力を受けて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、およびフラッシュプリ発光（ＥＦ）処理などを行う。なお、システム制御回路１８０は、ＡＦ処理およびＡＥ処理の際には、レンズ制御部１１１および撮像素子駆動回路１２１を制御する。
【００３７】
システム制御回路１８０に接続された操作部１９０は、例えば、レリーズ釦およびモード切り換えダイヤルを有しており、ユーザーは撮影の際に操作部１９０を操作してシステム制御回路１８０に各種撮影のための指示を与える。
【００３８】
図２は、図１に示す撮像装置において露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【００３９】
図２において、出力同期信号、撮影同期信号、ＨＤＲ、およびＦｒ（ｎ）については図７と同様であり、各種評価値算出用画像Ｅｖａは露出処理、ＷＢ処理、顔検出、およびシーン判別などで用いられる。
【００４０】
図３は、図１に示す撮像装置における撮影処理を説明するためのフローチャートである。
【００４１】
図２および図３を参照して、いま、時刻Ｔ１において、システム制御回路１８０は、露出条件算出回路２１０から得られた適正露出条件（つまり、適正露出値）に応じて、適正露出条件よりも１段高い（つまり、プラス１段の）高露出条件（高露出値）を求めて、当該高露出条件をレンズ制御部１１１および撮像素子駆動回路１２０に設定する（ステップＳ２０１）。これによって、当該高露出条件で、１ｓｔフレームＦｒ（ｎ）の撮影が行われて、撮影画像がメモリ１４０に保存される（ステップＳ２０２）。
【００４２】
続いて、時刻Ｔ２において、システム制御回路１８０は適正露出条件よりも１段低い（つまり、マイナス１段の）低露出条件（低露出値）を求めて、当該低露出条件をレンズ制御部１１１および撮像素子駆動回路１２０に設定する（ステップＳ２０３）。これによって、低露出条件で、２ｎｄフレームＦｒ（ｎ＋１）の撮影を行われて、撮影画像がメモリ１４０に保存される（ステップＳ２０４）。
【００４３】
続いて、システム制御回路１８０の制御下で、画像加算回路３００は、メモリ１４０から高露出撮影画像Ｆｒ（ｎ）と、当該高露出撮影画像Ｆｒ（ｎ）よりも２フレーム前に同様にして撮影された高露出撮影画像Ｆｒ（ｎ−２）を読み込んで、加算平均処理を行って加算平均画像（加算処理画像ともいう）を生成する（ステップＳ２０５）。そして、画像加算回路３００は加算平均画像を各種評価値算出用画像Ｅｖａとしてメモリ部１４０に保存する。
【００４４】
次に、システム制御回路１８０の制御下で、画像処理回路１３０はメモリ部１４０から各種評価値算出用画像Ｅｖａを読み込んで各種評価値（制御用評価値ともいう）を算出する（ステップＳ２０６）。例えば、露出条件算出回路２１０は各種評価値算出用画像Ｅｖａに応じて適正露出条件を算出する。ホワイトバランス条件算出回路２２０は各種評価値算出用画像Ｅｖａに応じてホワイトバランス処理用の最適なホワイトバランス係数を算出する。
【００４５】
顔検出回路２３０は各種評価値算出用画像Ｅｖａから顔領域を検出して、顔検出結果である顔領域情報（領域検出情報）を得る。シーン判別回路２４０は予めメモリ部１４０に記憶されたシーンから各種評価値算出用画像Ｅｖａに最も近いシーンを判別して、シーン判別情報を得る。
【００４６】
続いて、時刻Ｔ３において、システム制御回路１８０の制御下で、ダイナミックレンジ拡大回路２００はメモリ部１４０から高露出画像Ｆｒ（ｎ）および低露出画像Ｆｒ（ｎ＋１）を読み出す。そして、ダイナミックレンジ拡大回路２００は高露出画像Ｆｒ（ｎ）および低露出画像Ｆｒ（ｎ＋１）を合成処理して、１フレームのダイナミックレンジ拡大画像ＨＤＲを生成する（ステップＳ２０７）。なお、高露出画像および低露出画像を用いてダイナミックレンジを拡大する合成処理手法について、特許文献１などに記載されているのでここでは説明を省略する。
【００４７】
続いて、システム制御回路１８０の制御下で、画像処理回路１３０は１フレームのダイナミック拡大画像ＨＤＲについて各画像処理を施した後、出力画像として画像変換回路１６０としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示する（ステップＳ２０８）。
【００４８】
そして、システム制御回路１８０は、撮影終了の指示があったか否かを判定する（ステップＳ２０９）。撮影終了の指示がないと（ステップＳ２０９において、ＮＯ）、システム制御回路１８０はステップＳ２０１の処理に戻って、同様にして次のフレームについて撮影処理を行う。つまり、高露出撮影画像Ｆｒ（ｎ＋２）と、当該高露出撮影画像Ｆｒ（ｎ＋２）よりも２フレーム前に同様にして撮影された高露出撮影画像Ｆｒ（ｎ）について加算平均処理が行われて、各種評価値算出用画像Ｅｖａが生成される。また、高露出画像Ｆｒ（ｎ＋２）および低露出画像Ｆｒ（ｎ＋３）が合成処理されて、１フレームのダイナミックレンジ拡大画像ＨＤＲが生成される。
【００４９】
一方、撮影終了の指示があると（ステップＳ２０９において、ＹＥＳ）、システム制御回路１８０は撮影処理を終了する。
【００５０】
このようにして、撮像装置では、図３で説明した処理を毎フレームについて行って、動画像の撮影および記録を行うことになる。
【００５１】
上述のように、本発明の第１の実施形態では、適正露出の算出などの各種評価値を算出する際、２枚の高露出画像を加算平均した加算平均画像（例えば、Ｆｒ（ｎ−２）＋Ｆｒ（ｎ））を各種評価値算出用画像Ｅｖａとして用いるようにしたので、この加算平均画像はノイズが抑えられる結果、各種評価値の精度を向上させることができる。
【００５２】
なお、上述の第１の実施形態では、説明の便宜上、高露出および低露出条件をそれぞれ適正露出条件からプラス１段およびマイナス１段としたが、高露出および低露出条件については適宜変更しても同様の効果が得ることができる。
【００５３】
さらに、第１の実施形態では、説明の便宜上、高露出画像のみを各種評価値の算出に用いるようにしたが、被写体の明るさなどによっては低露出画像を各種評価値の算出として用いるようにしてもよい。
【００５４】
また、本発明の第１の実施形態では、説明の便宜上、２枚の高露出画像を用いて加算平均画像を生成するようにしたが、複数の高露出画像を用いて加算平均画像を求めるようにすれば、同様にしてノイズを抑制することができる。
【００５５】
以上のように、本発明の第１の実施形態では、露出の異なる複数枚の撮影画像を合成してダイナミックレンジ拡大画像を生成する際、撮影画像のノイズの影響を低減して、露出およびＷＢ処理などに用いられる評価値の精度を良好に維持することができる。
【００５６】
［第２の実施形態］
次に、本発明の第２の実施形態による撮像装置の一例について説明する。なお、第２の実施形態による撮像装置の構成は、図１に示す撮像装置と同様であるので、説明を省略する。
【００５７】
第２の実施形態では、被写体が予め設定された明るさよりも暗い場合には、上述の第１の実施形態と同様に、各種評価値算出用画像として複数枚の高露出画像を加算平均した加算平均画像を用いる（図２参照）。一方、被写体が予め設定された明るさ以上に明るい場合には、１枚の高露出画像を各種評価値算出用画像として用いる（図７参照）。
【００５８】
図４は、本発明の第２の実施形態による撮像装置における撮影処理を説明するためのフローチャートである。なお、図４において、図３に示すステップと同一のステップについては同一の参照部号を付して説明を省略する。
【００５９】
図２、図４、および図７を参照して、ステップＳ２０４の処理の後、システム制御回路１８０は、ステップＳ５０１で算出した高露出条件と適正露出条件とに応じてそのゲインアップ量Ｇを求める。そして、システム制御回路１８０はゲインアップ量（ゲイン増加量）Ｇを予め定められた閾値Ｔｈと比較して、ゲインアップ量Ｇが閾値Ｔｈよりも大きいか否かを判定する（ステップＳ５０５）。ゲインアップ量Ｇが閾値Ｔｈ以下（閾値以下）であると（ステップＳ５０５において、ＮＯ）、システム制御回路１８０は画像処理回路１３０を制御して、ステップＳ２０２で得られた高露出撮影画像Ｆｒ（ｎ）を各種評価値算出用画像Ｅｖａとしてメモリ１４０に保存する（ステップＳ５０６）。
【００６０】
つまり、ステップＳ５０５において高露出撮影画像Ｆｒ（ｎ）はノイズが所定の値よりも低い低ノイズと判定されることになるので、画像加算回路３００による加算平均によってノイズを抑える必要がない。
【００６１】
一方、ゲインアップ量Ｇが閾値Ｔｈよりも大きいと（ステップＳ５０５において、ＹＥＳ）、システム制御回路１８０は、画像処理回路１３０を制御して、図２で説明したステップＳ２０５の処理を行う。つまり、ステップＳ５０５において高露出撮影画像Ｆｒ（ｎ）はノイズが所定の値以上である高ノイズであると判定されることになるので、画像加算回路３００による加算平均処理を行って、各種評価値算出用画像Ｅｖａを求めることになる。
【００６２】
上述のように、本発明の第２の実施形態では、ゲインアップ量に応じて各種評価値算出用画像Ｅｖａを選択するようにした結果、各種評価値の精度を向上させることができるばかりでなく、ゲインアップ量が少なくノイズを抑える必要がない場合には、加算平均を行わないので、加算処理の際に生じる被写体合成の誤差に起因する各種評価値の精度が低下する恐れを回避することができる。また、画像加算回路の処理による処理負荷および処理時間の増加と消費電力の増加を抑えることができる。
【００６３】
このように、本発明の第２の実施形態では、露出の異なる複数枚の撮影画像を合成してダイナミックレンジ拡大画像を生成する際、撮影画像のノイズの影響を低減して、露出およびＷＢ処理などに用いられる評価値の精度を良好に維持することができる。さらに、処理負荷および処理時間、そして、消費電力を低減することができる。
【００６４】
［第３の実施形態］
続いて、本発明の第３の実施形態による撮像装置の一例について説明する。なお、第３の実施形態による撮像装置の構成は、図１に示す撮像装置と同様であるので、説明を省略する。
【００６５】
第３の実施形態においては、後述するように、高露出画像および低露出画像を複数フレーム連続して撮影する。
【００６６】
図５は、本発明の第３の実施形態による撮像装置において露出条件が異なる複数の画像を取得する際の撮像素子の駆動を説明するためのタイミングチャートである。
【００６７】
図５において、出力同期信号、撮影同期信号、ＨＤＲ、およびＦｒ（ｎ）については図７と同様であり、各種評価値算出用画像Ｅｖａは露出処理、ＷＢ処理、顔検出、およびシーン判別などで用いられる。
【００６８】
図６は、本発明の第３の実施形態による撮像装置における撮影処理を説明するためのフローチャートである。
【００６９】
図５および図６を参照して、いま、時刻Ｔ１において、システム制御回路１８０は、露出条件算出回路２１０から得られた適正露出条件に応じて、適正露出条件よりもマイナス１段の低露出条件を求めて、当該低露出条件をレンズ制御部１１１および撮像素子駆動回路１２０に設定する（ステップＳ６０１）。これによって、当該低露出条件で、１ｓｔフレームＦｒ（ｎ）の撮影が行われて、撮影画像がメモリ１４０に保存される（ステップＳ６０２）。
【００７０】
続いて、時刻Ｔ２において、システム制御回路１８０は適正露出条件よりもプラス１段の高露出条件を求めて、当該高露出条件をレンズ制御部１１１および撮像素子駆動回路１２０に設定する（ステップＳ６０３）。これによって、高露出条件で、２ｎｄフレームＦｒ（ｎ＋１）の撮影を行われて、撮影画像がメモリ１４０に保存される（ステップＳ６０４）。
【００７１】
次に、時刻Ｔ３において、システム制御回路１８０の制御下で、ダイナミックレンジ拡大回路２００はメモリ部１４０から低露出画像Ｆｒ（ｎ）および高露出画像Ｆｒ（ｎ＋１）を読み出す。そして、ダイナミックレンジ拡大回路２００は低露出画像Ｆｒ（ｎ）および高露出画像Ｆｒ（ｎ＋１）を合成処理して、１フレームのダイナミックレンジ拡大画像ＨＤＲを生成する（ステップＳ６０５）。
【００７２】
続いて、システム制御回路１８０の制御下で、画像処理回路１３０は１フレームのダイナミック拡大画像ＨＤＲについて各画像処理を施した後、出力画像として画像変換回路１６０としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示する（ステップＳ６０６）。
【００７３】
さらに、時刻Ｔ３において、システム制御回路１８０は前述の高露出条件において１ｓｔフレームＦｒ（ｎ＋２）の撮影を行って、撮影画像をメモリ１４０に保存する（ステップＳ６０７）。そして、時刻Ｔ４において、システム制御回路１８０の制御下で、画像加算回路３００は、メモリ１４０から１フレーム前の高露出撮影画像Ｆｒ（ｎ＋１）と当該高露出撮影画像Ｆｒ（ｎ＋２）を読み込んで、加算平均処理を行って加算平均画像を生成する（ステップＳ６０８）。画像加算回路３００は当該加算平均画像を各種評価値算出用画像Ｅｖａとしてメモリ部１４０に保存する。
【００７４】
次に、システム制御回路１８０の制御下で、画像処理回路１３０はメモリ部１４０から各種評価値算出用画像Ｅｖａを読み込んで各種評価値を算出する（ステップＳ６０９）。この各種評価値として、例えば、適正露出条件、ホワイトバランス係数、顔領域情報を、およびシーン判別結果がある。
【００７５】
続いて、時刻Ｔ５において、システム制御回路１８０は適正露出条件よりマイナス１段の低露出条件を求めて、当該低露出条件をレンズ制御部１１１および撮像素子駆動回路１２０に設定する（ステップＳ６１０）。これによって、低露出条件で、１ｎｄフレームＦｒ（ｎ＋３）の撮影を行われて、撮影画像がメモリ１４０に保存される（ステップＳ６１１）。
【００７６】
システム制御回路１８０の制御下で、ダイナミックレンジ拡大回路２００はメモリ部１４０から高露出画像Ｆｒ（ｎ＋２）および低露出画像Ｆｒ（ｎ＋３）を読み出す。そして、ダイナミックレンジ拡大回路２００は高露出画像Ｆｒ（ｎ＋２）および低露出画像Ｆｒ（ｎ＋３）を合成処理して、１フレームのダイナミックレンジ拡大画像ＨＤＲを生成する（ステップＳ６１２）。
【００７７】
続いて、システム制御回路１８０の制御下で、画像処理回路１３０は１フレームのダイナミック拡大画像ＨＤＲについて各画像処理を施した後、出力画像として画像変換回路１６０としてメモリカード１７０に保存するとともにＬＣＤ１５０に表示する（ステップＳ６１３）。
【００７８】
そして、システム制御回路１８０は、撮影終了の指示があったか否かを判定する（ステップＳ６１４）。撮影終了の指示がないと（ステップＳ６１４において、ＮＯ）、システム制御回路１８０はステップＳ６０１の処理に戻って、同様にして次のフレームについて撮影処理を行う。一方、撮影終了の指示があると（ステップＳ６１４において、ＹＥＳ）、システム制御回路１８０は撮影処理を終了する。
【００７９】
このようにして、撮像装置では、図６で説明した処理を毎フレームについて行って、動画像の撮影および記録を行うことになる。
【００８０】
上述のように、本発明の第３の実施形態では、高露出画像および低露出画像の各々を複数のフレームに亘って連続して撮影して、露出の異なる複数枚の画像を合成してダイナミックレンジ拡大画像を生成する。また、各種評価値算出用画像を得る際、連続的に撮影された高露出画像同士を加算平均処理するようにしたので、高露出画像が撮影された時刻の差、つまり、時間差が短くなる。この結果、高露出画像を加算平均処理する際に動きのある被写体について合成による誤差を抑えることができる。
【００８１】
以上のように、本発明の第３の実施形態では、露出の異なる複数枚の撮影画像を合成してダイナミックレンジ拡大画像を生成する際、撮影画像のノイズの影響を低減して、露出およびＷＢ処理などに用いられる評価値の精度を良好に維持することができる。
【００８２】
上述の説明から明らかなように、図１に示す例においては、撮影レンズ１１０、撮像素子１２０、画像処理回路１３０、レンズ制御部１１１、および撮像素子駆動回路１２１が撮像手段として機能する。また、システム制御回路１８０およびダイナミックレンジ拡大回路２００がダイナミックレンジ拡大手段として機能し、画像佳作回路３００およびシステム制御回路１８０が画像加算手段として機能する。そして、露出条件算出回路２１０、ホワイトバランス条件算出回路２２０、顔検出回路２３０、シーン判別回路２４０、およびシステム制御回路１８０が評価値生成手段として機能する。なお、システム制御回路１８０は判定手段として機能する。
【００８３】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００８４】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００８５】
上記の制御方法および制御プログラムの各々は、少なくともダイナミックレンジ拡大ステップ、画像加算ステップ、および評価値生成ステップを有している。
【００８６】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８７】
１２０  撮像素子
１３０  画像処理回路
１６０  画像変換回路
１８０  システム制御回路
２００  ダイナミックレンジ拡大回路
２１０  露出条件算出回路
２２０  ホワイトバランス条件算出回路
２３０  顔検出回路
２４０  シーン判別回路
３００  画像加算回路
【図１】
2014110598.tif 000003
【図２】
2014110598.tif 000004
【図３】
2014110598.tif 000005
【図４】
2014110598.tif 000006
【図５】
2014110598.tif 000007
【図６】
2014110598.tif 000008
【図７】
2014110598.tif 000009