(57)【特許請求の範囲】
【請求項１】
露出を変更して連続的に撮影することによって複数枚の画像を取得する撮影モードを有する撮像装置において、
前記撮影モードの撮影で取得された複数枚の画像を画像セットとしたとき、当該画像セットのうちで所定の条件を満たす現在画像と、前記画像セットの撮影の前の撮影で取得された過去画像との類似度を判定し、前記類似度に応じた補正量を用いて、前記画像セットに含まれる複数枚の画像に対して画像処理を行うことを特徴とする撮像装置。
【請求項２】
前記前の撮影が前記撮影モードの撮影である場合、それぞれの撮影で取得された画像セットのうちで前記所定の条件を満たす画像間の類似度を判定し、前記類似度に応じた画像処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定の条件を満たす画像は、前記撮影モードの撮影で取得された画像セットのうちで適露出の撮影によって取得された画像であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記所定の条件を満たす画像は、前記撮影モードの撮影で取得された画像セットのうちで第１番目の撮影によって取得された画像であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項５】
前記画像処理は、ホワイトバランス処理、色変換処理、および階調変換処理のうち少なくとも１つであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮影モードは画像セットに含まれる複数枚の画像を合成するＨＤＲモードであり、
合成処理後の合成画像を現在画像とし、当該現在画像と過去画像の類似度に応じた補正量を用いて、前記画像処理の一部の処理を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記一部の処理は、階調変換処理であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
露出を変更して連続的に撮影することによって複数枚の画像を取得する撮影モードを有する撮像装置の制御方法において、
前記撮影モードの撮影で取得された複数枚の画像を画像セットとしたとき、当該画像セットのうちで所定の条件を満たす現在画像と、前記画像セットの撮影の前の撮影で取得された過去画像との類似度を判定し、前記類似度に応じた補正量を用いて、前記画像セットに含まれる複数枚の画像に対して画像処理を行うことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関し、特に、メモリなどに記録した画像データを画像処理する撮像装置に関する。
【背景技術】
【０００２】
一般に、デジタルカメラなどの撮像装置にはメモリなどに記録した画像データを画像処理するための画像処理装置が備えられている。また、デジタルカメラにおいては、連続して複数回の撮影を行って画像データを得て、これら画像データをメモリに記憶し、さらには、画像処理装置（画像処理機能）で複数の画像データを合成することが行われている。
【０００３】
複数回の撮影を行う撮影機能として、例えば、露出条件を変更させつつ複数枚の撮影を行う所謂ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）ブラケット撮影がある。また、さらに、複数の画像データを合成して１つの画像データを得る撮影機能として、例えば、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）撮影機能がある。ＨＤＲ撮影機能は、異なる露出で撮影した複数枚の画像を合成して高ダイナミックレンジの画像を得る機能である（特許文献１参照）。
【０００４】
一方、デジタルカメラにおいて、過去にメモリなどに記録した画像データについて明るさおよび色などのばらつきを抑制するため、連続撮影の結果得られた画像データの間で階調補正処理およびホワイトバランス処理などにおける補正量のばらつきを抑えるようにしたものがある。例えば、過去に取得した画像データ（以下過去コマという）と最新の画像データ（以下現在コマという）との類似度に応じて重みづけ行って、現在コマのホワイトバランスを決定する手法がある（特許文献２参照）。そして、ここでは、類似度の指標として、ホワイトバランスデータの差、画像データにおける輝度差、および撮影後の経過時間などが挙げられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２４７３６２号公報
【特許文献２】特開平１０−２９０４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述の特許文献２においては、画像データ（以下単に画像とも呼ぶ）毎の明るさおよび色などのばらつきを抑えることはできるものの、ＡＥブラケット撮影又はＨＤＲ撮影のように連続して複数回の撮影を行った際の画像処理については画像間の明るさおよび色のばらつきを抑えることが難しい。
【０００７】
例えば、ＡＥブラケット撮影では、適正露出、アンダー露出、およびオーバー露出の互いに異なる露出で撮影が行われる。ところが、適正露出およびアンダー露出などの異なる露出で得られた画像データにおいては、上記の類似度が低くなる。よって、過去コマにおける補正量が現在コマに引き継がれず、画像データ間で色および明るさなどにばらつきが発生してしまうことになる。
【０００８】
そこで、本発明の目的は、連続して複数回の撮影を行って得られた画像データを画像処理する際、画像データ間で明るさおよび色などのばらつきを抑えることができる撮像装置およびその制御方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明による撮像装置は、露出を変更して連続的に撮影することによって複数枚の画像を取得する撮影モードを有する撮像装置において、前記撮影モードの撮影で取得された複数枚の画像を画像セットとしたとき、当該画像セットのうちで所定の条件を満たす現在画像と、前記画像セットの撮影の前の撮影で取得された過去画像との類似度を判定し、前記類似度に応じた補正量を用いて、前記画像セットに含まれる複数枚の画像に対して画像処理を行うことを特徴とする。
【００１０】
本発明による制御方法は、露出を変更して連続的に撮影することによって複数枚の画像を取得する撮影モードを有する撮像装置の制御方法において、前記撮影モードの撮影で取得された複数枚の画像を画像セットとしたとき、当該画像セットのうちで所定の条件を満たす現在画像と、前記画像セットの撮影の前の撮影で取得された過去画像との類似度を判定し、前記類似度に応じた補正量を用いて、前記画像セットに含まれる複数枚の画像に対して画像処理を行うことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、連続して複数回の撮影を行って得られた画像データ（画像）を画像処理する際、画像データ間で明るさおよび色などのばらつきを抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の一例を示すブロック図である。
【図２】図１に示す類似度判定部による類似度判定を説明するためのフローチャートである。
【図３】図２で説明した過去コマおよび現在コマの差分と類似度との関係示す図である。
【図４】図１に示す撮像装置において画像データを補正する際に用いられる補正量の算出を説明するためのフローチャートである。
【図５】図４で説明した補正量算出処理を模式的に示す図であり、（ａ）は通常の撮影を連続的に繰り返した際の処理を示す図、（ｂ）は通常の撮影とＡＥＢ撮影とが混在する際の処理を示す図である。
【図６】本発明の第２の実施形態による撮像装置において、図１に示す合成処理部で行われるＨＤＲ合成を説明するための図である。
【図７】図１に示す合成処理部で行われるＨＤＲ合成を説明するための図であり、（ａ）はＨＤＲ合成においてオーバー画像の合成割合の一例を示す図、（ｂ）はＨＤＲ合成において適画像の合成割合の一例を示す図、（ｃ）はＨＤＲ合成においてアンダー画像の合成割合の一例を示す図である。
【図８】図１に示す撮像装置で行われるＨＤＲ合成の際の補正量算出を説明するためのフローチャートである。
【図９】図８で説明した補正量算出処理において、合成処理前の画像データに係る補正量算出と合成処理後の画像データに係る補正量算出を模式的に示す図である。
【図１０】本発明の第３の実施形態による撮像装置において、通常撮影とＡＥＢ撮影とが混在した場合の補正量の算出を模式的に示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
【００１５】
［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例を示すブロック図である。
【００１６】
図１において、撮像装置１０撮影レンズ（以下単にレンズと呼ぶ）１００備えており、シャッターボタン（図示せず）が押し下げられると、撮影レンズ１００から入射した光学像が絞り１０１およびシャッター１０２を通過して、撮像素子１０４に結像する。そして、撮像素子１０４は光学像に応じた電気信号（アナログ信号）を出力する。
【００１７】
このアナログ信号はＡ／Ｄ変換部１０５によってデジタル信号（以下ＲＡＷデータと呼ぶ）に変換される。そして、制御部１０６は当該ＲＡＷデータをメモリ１０７に格納する。露出制御部１０３は、制御部１０６の制御下でＲＡＷデータに基づいて測光値を求め、当該測光値に応じて絞り１０１およびシャッター１０２を制御して露出制御を行う。
【００１８】
ホワイトバランス（ＷＢ）処理部１０８はＲＡＷデータにおける白色領域を検出する。そして、ＷＢ処理部１０８は、前述の測光値および検出された白色領域に応じてＲＡＷデータ（つまり、画像データ）の色バランスを補正するオートホワイトバランス（ＡＷＢ）処理を実行する。
【００１９】
信号処理部１０９は、制御部１０６の制御下でＷＢ処理後の画像データに対して色マトリクス処理およびガンマ処理などの現像処理を行って、現像処理済み画像データとする。階調変換部１１０は、現像処理済み画像データ（以下ＹＵＶデータと呼ぶ）に対して階調変換処理を施して、階調変換画像データとする。
【００２０】
記録部１１１では制御部１０６の制御下で階調変換画像データを可搬メディア（図示せず）などに記録する。顔検出部１１３は、制御部１０６の制御下で上記のＲＡＷデータ又はＹＵＶデータから被写体の顔の位置を検出するとともに、その輝度、および色などに関する顔情報を取得する。ヒストグラム検出部１１４は、制御部１０６の制御下でＲＡＷデータ又はＹＵＶデータから、その明るさの分布状況を示すヒストグラム（度数分布表）を求める。合成処理部１１５（画像合成手段）は複数の画像データを合成して１つの画像データとする。
【００２１】
類似度判定部１１２は過去の撮影の結果得られた画像データ（以下過去コマと呼ぶ）と最新の画像データ（以下現在コマと呼ぶ）との類似度を予め定められた類似度判定基準に応じて判定する。
【００２２】
なお、ここでは、過去コマ（過去画像）および現在コマ（現在画像）は連続する撮影の結果得られたものであり、例えば、メモリ１０７に格納されている。
【００２３】
類似度の判定を行う際には、類似度判定部１１２は画像データ毎の測光値、ＷＢ処理部１０８において算出される色比、ヒストグラム、又は顔情報に基づいて類似度の判定を行う。そして、後述するように、類似度判定部１１２による類似度判定結果に基づいて、ＷＢ処理部１０８、信号処理部１０９、および階調変換部１１０における補正量が決定される。
【００２４】
ここで、過去コマと現在コマとの類似度判定処理について具体的に説明する。
【００２５】
図２は、図１に示す類似度判定部１１２による類似度判定を説明するためのフローチャートである。なお、類似度判定部１１２は制御部１０６の制御下で類似度判定を行う。
【００２６】
類似度判定が開始されると、類似度判定部はメモリ１０７に現在コマと類似度判定を行う過去コマが存在するか否かを判定する（ステップＳ１０１）。つまり、類似度判定部１０７は連続して撮影された複数の画像データがメモリに存在するか否かを判定することになる。
【００２７】
メモリ１０７に過去コマが存在しないと（ステップＳ１０１において、ＮＯ）、類似度判定部１１２は現在コマと過去コマとの類似度Ｓｉｍを”０”として（ステップＳ１０２）、類似度判定処理を終了する。
【００２８】
一方、メモリ１０７に過去コマが存在すると（ステップＳ１０１において、ＹＥＳ）、類似度判定部１１２は、過去コマに係る測光値と現在コマに係る測光値との差分（測光差分）から類似度Ｓ１（第１の類似度）を算出する（ステップＳ１０３）。測光値の差分を算出する際には、画像全体の平均値を用いるようにしてもよく、画像を複数の領域に分割して、領域毎に差分を求め、領域毎の差分の絶対値和を用いるようにしてもよい。
【００２９】
続いて、類似度判定部１１２は、過去コマの色比と現在コマの色比との差分（色比差分）に応じて類似度Ｓ２（第２の類似度）を算出する（ステップＳ２）。そして、類似度判定部１１２は過去コマのヒストグラムと現在コマのヒストグラムとの差分（ヒストグラム差分）から類似度Ｓ３（第３の類似度）を求める（ステップＳ１０５）。
【００３０】
さらに、類似度判定部１１２は過去コマにおける顔情報と現在コマにおける顔情報との差分（顔差分）から類似度Ｓ４（第４の類似度）を算出する（ステップＳ１０６）。そして、類似度判定部は類似度Ｓ１〜Ｓ４を乗算して過去コマと現在コマの最終的な類似度Ｓｉｍを求めて（ステップＳ１０７）、類似度判定処理を終了する。
【００３１】
図３は、図２で説明した過去コマおよび現在コマの差分と類似度との関係示す図である。
【００３２】
図３において、過去コマおよび現在コマの差分が予め定められた閾値ｄ１（第１の基準閾値）以下（第１の基準閾値以下）であると、類似度判定部１１２は類似度を”１”とする。また、類似度判定部１１２は、差分が閾値ｄ１よりも大きい閾値ｄ２（第２の基準閾値）以上（第２の基準閾値以上）であると、類似度を”０”とする。
【００３３】
差分が閾値ｄ１を超え閾値ｄ２未満の場合には、類似度は点（ｄ１、１）と点（ｄ２、０）を結ぶ直線上の値とする。つまり、類似度判定部１１２は差分が閾値ｄ１と閾値ｄ２との間にある場合には、差分が増加するにつれて類似度を逓減させる。
【００３４】
なお、閾値ｄ１およびｄ２は、ステップＳ１０３〜Ｓ１０６の類似度算出毎に変更する。つまり、測光値に係る差分、色比に係る差分、ヒストグラムに係る差分、そして、顔情報に係る差分では閾値ｄ１およびｄ２は異なる。
【００３５】
次に、図１に示す撮像装置において画像データを補正する際に用いられる補正量の算出について説明する。
【００３６】
図４は、図１に示す撮像装置において画像データを補正する際に用いられる補正量の算出を説明するためのフローチャートである。なお、補正量とは、撮影の結果得られた画像データに対して各種画像処理を行う際に用いられる補正値をいう。また、各種画像処理とは、例えば、画像データの色比の調整を行うホワイトバランス処理、画像データの階調を変更する階調変換処理、そして、画像データに対して特定色の色相および彩度を調整する色変換処理をいう。さらに、ここでは、画像データ毎に用いられる補正量のばらつきを抑えるために、図２で説明した類似度判定処理における判定結果が用いられる。
【００３７】
補正量の算出が開始されると、制御部１０６はＡＥブラケット（ＡＥＢ）撮影（自動露出ブラケット撮影）が行われたか否かを判定する（ステップＳ２０１）。ＡＢＥ撮影が行われると（ステップＳ２０１において、ＹＥＳ）、制御部１０６は適画像の撮影であるか否かを判定する（ステップＳ２０２）。
【００３８】
なお、ＡＥＢ撮影モード（自動露出ブラケット撮影モード）においては、露出を変更して撮影を行った結果得られる複数枚の画像が１セットされる。そして、この１セットの画像には適画像（予め規定された画像）、アンダー画像、およびオーバー画像がある。
【００３９】
ここで、適画像とは、露出を変更して３枚の撮影を行うＡＥＢ撮影において、中心の露出（適正露出：所定の露出）で撮影された画像のことをいう。そして、３枚の画像うち最も暗い露出で撮影された画像をアンダー画像と呼び、最も明るい露出で撮影された画像をオーバー画像と呼ぶ。
【００４０】
適画像でないと（ステップＳ２０２において、ＮＯ）、制御部１０６は適画像を画像処理する際に用いる補正量を最終的な補正量として（ステップＳ２０３）、補正量算出を終了する。
【００４１】
一方、適画像であると（ステップＳ２０２において、ＹＥＳ）、制御部１０６は通常撮影時の処理に移行して、現在コマ（現在画像）のみを用いて現在コマの補正量を算出する（ステップＳ２０４）。そして、制御部１０６は類似度判定部１１２を制御して、図２で説明した類似度判定処理を行って（ステップＳ２０５）、類似度Ｓｉｍを得る。
【００４２】
続いて、制御部１０６は類似度Ｓｉｍと所定の閾値（判定閾値）Ｔｈ１とを比較して、類似度Ｓｉｍが判定閾値未満であるか否かを判定する（ステップＳ２０６）。この閾値Ｔｈ１は、０＜Ｔｈ１＜１である。類似度Ｓｉｍが閾値Ｔｈ１以上（判定閾値以上）である場合には（ステップＳ２０６においてＮＯ）、制御部１０６は過去コマ（過去画像）と現在コマとの類似度が高いとして、過去コマに係る補正量を最終的な補正量（最終補正量）とする（ステップＳ２０７）。そして、制御部１０６は補正量算出を終了する。
【００４３】
類似度Ｓｉｍが閾値Ｔｈ１未満である場合には（ステップＳ２０６において、ＹＥＳ）制御部１０６は過去コマと現在コマとの類似度が低いとして、現在コマに係る補正量を最終補正量とする（ステップＳ２０８）。さらに、制御部１０６は現在コマに関する現在コマ情報を過去コマに関する過去コマ情報としてメモリ１０７に記憶し、次の撮影における類似度判定に用いるようにする（ステップＳ２０９：過去コマ更新）。そして、制御部１０６は補正量算出を終了する。
【００４４】
図５は、図４で説明した補正量算出処理を模式的に示す図である。そして、図５（ａ）は通常の撮影を連続的に繰り返した際の処理を示す図であり、図５（ｂ）は通常の撮影とＡＥＢ撮影とが混在する際の処理を示す図である。
【００４５】
図５（ａ）において、現在コマが１コマ目である場合には過去コマが存在しないので、この場合には、類似度Ｓｉｍは”０”とされる。そして、類似度Ｓｉｍ＜Ｔｉであるので、図４に示すステップＳ２０８において現在コマの補正量が最終補正量とされて、過去コマの更新が行われる。
【００４６】
続いて、現在コマの２コマ目と１コマ目（つまり、過去コマ）との類似度判定が行われる。図示の例では、類似度Ｓｉｍ＞閾値Ｔｈ１であるので、図４に示すステップＳ２０７において、過去コマ（１コマ目）の補正量が最終補正量とされる。この結果、現在コマの３コマ目は１コマ目と類似度判定が行われる。
【００４７】
３コマ目と１コマ目との類似度Ｓｉｍは、類似度Ｓｉｍ＞閾値Ｔｈ１であるので、過去コマ（ここでは、１コマ目）の補正量が最終補正量とされる。次に、現在コマの４コマ目と１コマ目（過去コマ）との類似度判定が行われる。図示の例では、類似度Ｓｉｍ＜閾値Ｔｈ１であるので、図４に示すステップＳ２０８において、現在コマ（ここでは４コマ目）の補正量が最終補正量とされる。
【００４８】
続いて、５コマ目と過去コマ（ここでは、４コマ目）との類似度判定が行われる。図示の例では、類似度Ｓｉｍ＞閾値Ｔｈ１であるので、図４に示すステップＳ２０７において、過去コマ（４コマ目）の補正量が最終補正量とされる。さらに、６コマ目と過去コマ（４コマ目）との類似度判定が行われる。ここでは、類似度Ｓｉｍ＜閾値Ｔｈ１であるので、図４に示すステップＳ２０８において、現在コマ（６コマ目）の補正量が最終補正量とされる。
【００４９】
次に、７コマ目と過去コマ（６コマ目）との類似度判定が行われる。ここでは、類似度Ｓｉｍ＞閾値Ｔｈ１であるので、過去コマ（６コマ目）の補正量が最終補正量とされる。同様にして、８コマ目と過去コマ（６コマ目）との類似度判定が行われて、過去コマ（６コマ目）の補正量が最終補正量とされる。
【００５０】
図５（ｂ）において、２コマ目までは通常撮影であるので、図５（ａ）で説明した処理と同様の処理が行われる。３コマ目〜５コマ目についてＡＥＢ撮影が行われる（３回の撮影が行われる）。
【００５１】
いま、３コマ目が適画像、４コマ目がアンダー画像、そして、５コマ目がオーバー画像であるとする。図示のように、過去コマ（１コマ目）と適画像（３コマ目）との類似度Ｓｉｍは、Ｓｉｍ＞Ｔｈ１であるので、図４に示すステップＳ２０７において、ＡＥＢ撮影（適画像）における補正量として１コマ目の補正量が引き継がれて最終補正量とされる。
【００５２】
なお、４コマ目（アンダー画像）および５コマ目（オーバー画像）については、図４に示すステップＳ２０３で適画像の補正量が適用されることになる。
【００５３】
続いて、６コマ目〜８コマ目についてＡＥＢ撮影が行われる。ここでは、過去コマ（１コマ目）と適画像（６コマ目）との類似度Ｓｉｍは、Ｓｉｍ＜Ｔｈ１であるので、ＡＥＢ撮影における補正量として、６コマ目から得られた補正量が最終補正量として適用され、６コマ目に係る補正量が過去コマの補正量としてメモリ１０７に記憶される。
【００５４】
以下同様にして補正量算出処理が行われて、９コマ目〜１２コマ目については、６コマ目の補正量が最終補正量とされ、１３コマ目および１４コマ目では、１３コマ目の補正量が最終補正量とされる。
【００５５】
このようにして、第１の実施形態では、通常撮影およびＡＥＢ撮影が混在する場合においても、連続撮影によって得られた画像を補正する際に、類似度に応じて補正量の引き継ぎを行うようにしたので、撮影画像間における明るさおよび色味のばらつきを抑えることができる。
【００５６】
なお、第１の実施形態では、図４に示すステップＳ２０７およびステップＳ２０８において、それぞれ過去コマの補正量又は現在コマの補正量を適用するようにしたが、類似度Ｓｉｍに応じて過去コマの補正量を用いて現在コマの補正量と重みづけ加算を行って、最終補正量を得るようにしてもよい。このようにすれば、補正量のばらつきをさらに抑えることができる。
【００５７】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例について説明する。
【００５８】
ここでは、第２の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。なお、第２の実施形態においては、合成処理部１１５の機能が第１の実施形態と異なる。
【００５９】
第１の実施形態で説明したように、合成処理部１１５は、撮影の結果得られた複数の画像データを１つの画像データ（合成画像）に合成する処理を行う。以下の説明では、合成処理部１１５は、互いに露出の異なる複数枚の画像を合成して１枚の広ダイナミックレンジの画像を得るＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）合成を行う。
【００６０】
図６は、本発明の第２の実施形態による撮像装置において、図１に示す合成処理部１１５で行われるＨＤＲ合成を説明するための図である。
【００６１】
図１に示す撮像装置１００においては、制御部１０６は露出制御部１０３を制御して露出を変化させて撮影を行う。これによって、互いに露出の異なる３枚の画像が適画像（ＲＡＷデータ）、アンダー画像（ＲＡＷデータ）、およびオーバー画像（ＲＡＷデータ）の順に取得される。これら３枚のＲＡＷデータは、信号処理部１０９においてそれぞれ適画像用ガンマ、アンダー画像用ガンマ、およびオーバー画像用ガンマによるガンマ変換処理などの信号処理が施される。
【００６２】
これによって、信号処理部１０９は適画像ＹＵＶデータ（Ｉ１）、アンダー画像ＹＵＶデータ（Ｉ２）、およびオーバー画像ＹＵＶデータ（Ｉ３）を生成する。そして、適画像ＹＵＶデータ（Ｉ１）、アンダー画像ＹＵＶデータ（Ｉ２）、およびオーバー画像ＹＵＶデータ（Ｉ３）は合成処理部１１５に与えられ、合成処理部１１５はこれら３枚のＹＵＶデータをＨＤＲ合成する。
【００６３】
図７は、図１に示す合成処理部１１５で行われるＨＤＲ合成を説明するための図である。そして、図７（ａ）はＨＤＲ合成においてオーバー画像の合成割合の一例を示す図であり、図７（ｂ）はＨＤＲ合成において適画像の合成割合の一例を示す図である。また、図７（ｃ）はＨＤＲ合成においてアンダー画像の合成割合の一例を示す図である。
【００６４】
図７において、横軸は輝度値（Ｙ）を示し、縦軸は合成割合を示している。ＨＤＲ合成においては、適画像ＹＵＶデータの輝度値Ｙに応じて３枚の画像の合成比が決定される。
【００６５】
いま、合成後ＹＵＶデータをＧ、適画像の合成割合をＭ（Ｙ）、アンダー画像の合成割合をＬ（Ｙ）、そして、オーバー画像の合成割合Ｏ（Ｙ）とする。この際、合成処理部１１５は次の式（１）および式（２）が成り立つように、合成後ＹＵＶデータＧの各座標における画素値を合成する。
【００６６】
Ｇ＝Ｉ１×Ｍ（Ｙ）＋Ｉ２×Ｌ（Ｙ）＋Ｉ３×Ｏ（Ｙ）      （１）
Ｍ（Ｙ）＋Ｌ（Ｙ）＋Ｏ（Ｙ）＝１      （２）
顔検出部１１３およびヒストグラム検出部１１４は合成後ＹＵＶデータＧに応じてそれぞれ顔検出およびヒストグラム検出を行って、顔情報およびヒストグラムを階調変換部１１０に与える。階調変換部１１０は、顔情報およびヒストグラムに基づいて合成後ＹＵＶデータに対して階調変換処理を行い、最終的なＹＵＶデータを出力する。そして、記録部１１１は制御部１０６の制御下でＹＵＶデータを可搬メディアなどに記録する。
【００６７】
図８は、図１に示す撮像装置１０で行われるＨＤＲ合成の際の補正量算出を説明するためのフローチャートである。
【００６８】
前述の第１の実施形態においては、ホワイトバランス処理、階調変換処理、および色変換処理などの画像処理に用いられる補正量を決定する例について説明したが、ここでは、合成前の画像データに対して行う処理と合成後の画像データに対して行う処理を分ける。
【００６９】
つまり、ホワイトバランス処理および色変換処理は合成前の画像データに行う処理とし、その補正量を”Ａ”とする。一方、階調変換処理は合成後の画像データに対して行う処理とし、その補正量を”Ｂ”とする。
【００７０】
補正量算出が開始されると、制御部１０６は変数ｉに０を代入する（ステップＳ３０１）。続いて、制御部１０６は処理対象の画像データが適画像であるか否かを判定する（ステップＳ３０２）。処理対象の画像データが適画像であると（ステップＳ３０２において、ＹＥＳ）、制御部１０６は現在コマ（つまり、適画像）に係る補正量Ａを算出する（ステップＳ３０３）。
【００７１】
続いて、制御部１０６は類似度判定部１１２を制御して、図２で説明したようにして、過去コマと現在コマとの類似度ＳｉｍＡを求める（ステップＳ３０４：類似度判定）。制御部１０６は類似度ＳｉｍＡが所定の閾値Ｔｈ１Ａ未満であるか否かを判定する（ステップＳ３０５）。なお、０＜Ｔｈ１Ａ＜１である。
【００７２】
類似度ＳｉｍＡが閾値Ｔｈ１Ａ未満である場合には（ステップＳ３０５において、ＹＥＳ）、制御部１０６は過去コマと現在コマとの類似度が低いとして、最終補正量Ａを現在コマの補正量Ａとする（ステップＳ３０６）。そして、制御部１０６は最終補正量Ａ（つまり、過去コマの補正量）として現在コマ情報の補正量Ａをメモリ１０７に記憶して、過去コマ更新を行う（ステップＳ３０７）。
【００７３】
続いて、制御部１０６は変数ｉが３以上であるか否かを判定する（ステップＳ３０８）。つまり、制御部１０６は合成前の３枚の画像について信号処理が完了したかを判定することになる。そして、ｉ＜３であると（ステップＳ３０８において、ＮＯ）、制御部１０６は変数ｉをインクリメント（ｉ＝ｉ＋１）して（ステップＳ３０９）、ステップＳ３０２の処理に戻る。
【００７４】
なお、ステップＳ３０５において、類似度ＳｉｍＡが閾値ｔｈ１Ａ≧であると（ステップＳ３０５において、ＮＯ）、制御部１０６は過去コマと現在コマとの類似度が高いとして、最終補正量Ａを過去コマの補正量Ａから引き継ぐ（最終補正量Ａを過去コマの補正量Ａとする：ステップＳ３１０）。そして、制御部１０６はステップＳ３０８の処理に進む。
【００７５】
また、ステップＳ３０２において、処理対象の画像データが適画像でないと（ステップＳ３０２において、ＮＯ）、制御部１０６は最終補正量Ａとして適画像の補正量Ａを適用して（ステップＳ３１１）、ステップＳ３０８の処理に進む。
【００７６】
続いて、制御部１０６は合成後の画像データに関して現在コマに係る補正量Ｂを算出する（ステップＳ３１２）。そして、制御部１０６は類似度判定部１１２を制御して過去コマと現在コマとの類似度ＳｉｍＢを求める（ステップＳ３１３：類似度判定）。
【００７７】
次に、制御部１０６は類似度ＳｉｍＢが所定の閾値Ｔｈ１Ｂ未満であるか否かを判定する（ステップＳ３１４）。なお、０＜ＴＨ１Ｂ＜１である。類似度ＳｉｍＢが閾値Ｔｈ１Ｂ以上である場合には（ステップＳ３１４において、ＮＯ）、制御部１０６は過去コマと現在コマとの類似度が高いとして、最終補正量Ｂを過去コマの補正量Ｂとする（ステップＳ３１５）。そして、制御部１０６は補正量算出を終了する。
【００７８】
一方、類似度ＳｉｍＢが閾値Ｔｈ１Ｂ未満である場合には（ステップＳ３１４において、ＹＥＳ）、制御部１０６は過去コマと現在コマとの類似度が低いとして、最終補正量Ｂを現在コマの補正量Ｂとする（ステップＳ３１６）。そして、制御部１０６は現在コマの補正量Ｂを過去コマの補正量Ｂとしてメモリ１０７に記憶して、過去コマ更新を行い（ステップＳ３１７）、補正量算出を終了する。
【００７９】
図９は、図８で説明した補正量算出処理において、合成処理前の画像データに係る補正量算出と合成処理後の画像データに係る補正量算出を模式的に示す図である。なお、図９では、通常撮影とＨＤＲ撮影とが混在する際の処理が示されている。
【００８０】
合成処理前の画像データでは、現在コマが１コマ目である場合には過去コマが存在しないので、この場合には、類似度Ｓｉｍは”０”とされる。そして、類似度Ｓｉｍ＜Ｔｉであるので、図９に示すステップＳ３０６において現在コマの補正量Ａが最終補正量Ａとされて、過去コマの更新が行われる。
【００８１】
続いて、ＨＤＲ撮影が行われて、２コマ目〜４コマ目が得られる。いま、２コマ目が適画像、３コマ目がアンダー画像、そして、５コマ目がオーバー画像であるとする。図示のように、過去コマ（１コマ目）と適画像（２コマ目）との類似度ＳｉｍＡは、ＳｉｍＡ＞Ｔｈ１Ａであるので、図８に示すステップＳ３１０において、ＨＤＲ撮影（適画像）における補正量Ａとして１コマ目の補正量Ａが引き継がれて最終補正量Ａとされる。
【００８２】
なお、３コマ目（アンダー画像）および４コマ目（オーバー画像）については、図８に示すステップＳ３１１で適画像の補正量Ａが適用されることになる。続いて、通常撮影が行われて、５コマ目が得られる。過去コマ（１コマ目）と５コマ目との類似度ＳｉｍＡは、ＳｉｍＡ＞Ｔｈ１Ａであるので、図８に示すステップＳ３１０において、５コマ目における補正量Ａとして１コマ目の補正量Ａが引き継がれて最終補正量Ａとされる。
【００８３】
続いて、６コマ目〜８コマ目についてＨＤＲ撮影が行われる。ここでは、過去コマ（１コマ目）と適画像（６コマ目）との類似度Ｓｉｍは、Ｓｉｍ＞Ｔｈ１であるので、ＨＤＲ撮影における補正量Ａとして、過去コマ（１コマ目）から得られた補正量Ａが最終補正量Ａとして適用される。
【００８４】
以下同様にして補正量算出処理が行われて、９コマ目〜１１コマ目（ＨＤＲ撮影）については、１コマ目の補正量Ａが最終補正量Ａとされ、１２コマ目（通常撮影）では、類似度ＳｉｍＡ＜Ｔｈ１Ａであるので、１２コマ目の補正量Ａが最終補正量Ａとされる。
【００８５】
合成処理後の画像データにおいては、現在コマが１コマ目である場合には過去コマが存在しないので、この場合には、類似度ＳｉｍＢは”０”とされる。そして、類似度ＳｉｍＢ＜Ｔｉ１Ｂであるので、図９に示すステップＳ３１６において現在コマの補正量Ｂが最終補正量Ｂとされて、過去コマの更新が行われる。
【００８６】
続いて、画像合成前の２コマ目〜４コマ目が合成された２コマ目では、過去コマ（１コマ目）と２コマ目との類似度ＳｉｍＢは、ＳｉｍＢ＜Ｔｈ１Ｂであるので、図８に示すステップＳ３１６において、合成後の２コマ目における補正量Ｂが最終補正量Ｂとされる。
【００８７】
５コマ目（通常撮影）と合成後の２コマ目との類似度ＳｉｍＢは、ＳｉｍＢ＜Ｔｈ１Ｂであるので、図８に示すステップＳ３１６において、現在コマである５コマ目における補正量Ｂが最終補正量Ｂとされる。
【００８８】
続いて、合成前の６コマ目〜８コマ目が合成された６コマ目と５コマ目との類似度ＳｉｍＢは、ＳｉｍＢ＞Ｔｈ１Ｂであるので、６コマ目における補正量Ｂとして、合成後の２コマ目から得られた補正量Ｂが最終補正量Ｂとして適用される。
【００８９】
以下同様にして補正量算出処理が行われて、９コマ目〜１１コマ目が合成された９コマ目では、９コマ目の補正量Ｂが最終補正量Ｂとされ、１２コマ目（通常撮影）では、類似度ＳｉｍＢ＜Ｔｈ１Ｂであるので、１２コマ目の補正量Ｂが最終補正量Ｂとされる。
【００９０】
このように、通常撮影からＨＤＲ撮影に切り替わった際には、通常撮影におけるコマと合成後のコマとはその類似度ＳｉｍＢが低くほぼゼロとなる。同様にＨＤＲ撮影からＲ通常撮影に切り替わった際においても、通常撮影におけるコマと合成後のコマとはその類似度ＳｉｍＢが低くほぼゼロとなる。つまり、通常撮影からＨＤＲ撮影に切り替わった際およびＨＤＲ撮影から通常撮影に切り替わった際には、その類似度ＳｉｍＢは閾値Ｔｈ１Ｂよりも低く、補正量Ｂは引き継がれない。
【００９１】
このようにして、第２の実施形態では、通常撮影およびＨＤＲ撮影が混在する場合においても、連続撮影によって得られた画像を補正する際に、類似度に応じて補正量の引き継ぎを行うようにしたので、撮影画像間における明るさおよび色味のばらつきを抑えることができる。
【００９２】
なお、第２の実施形態では、類似度に応じて１つの最終補正量Ｂをメモリに記憶するようにしたが、複数の最終補正量Ｂをメモリに記憶するようにしてもよい。例えば、通常撮影用の過去コマおよび最終補正量ＢとＨＤＲ撮影用の過去コマおよび最終補正量Ｂをメモリに記憶するようにすれば、通常撮影とＨＤＲ撮影と間で切り替えが発生した際、現在コマに対して通常撮影用又はＨＤＲ撮影用のいずれかを用いるようにすれば類似度ＳｉｍＢの判定を高精度に行うことができる。この結果、通常撮影とＨＤＲ撮影が混在していた場合でもより精度よく明るさおよび色味のばらつきを抑えることが可能になる。
【００９３】
また、第２の実施形態では、合成後のＹＵＶデータに対して階調変換処理を行うようにしているので、合成処理による階調の反転およびコントラストの低下を容易に防止することができるが、合成前の各画像データ（適画像、アンダー画像、およびオーバーが像）に対して階調変換処理を行うようにしてもよい。この場合においても、ＨＤＲ撮影と通常撮影とは異なる階調補正処理を行うので、類似判定の際には前述した類似度判定が用いられる。
【００９４】
また、本実施形態においても、各画像に対する補正量についてそれぞれ過去コマの補正量または現在コマの補正量を適用するようにしたが、類似度Ｓｉｍに応じて過去コマの補正量を用いて現在コマの補正量と重みづけ加算を行って、最終補正量を得るようにしてもよい。このようにすれば、補正量のばらつきをさらに抑えることができる。
【００９５】
［第３の実施形態］
次に、本発明の第３の実施形態による撮像装置の一例について説明する。
【００９６】
ここでは、第３の実施形態による撮像装置の構成は図１に示す撮像装置と同様である。なお、第３の実施形態においては、第１の実施形態と異なり、ＡＥＢ撮影において類似度判定の際に用いられる画像が適画像ではなく、常にＡＥＢ撮影における１コマ目の画像で用いられる。
【００９７】
ＡＥＢ撮影において、適画像、アンダー画像、およびオーバー画像の順で撮影が行われた場合には、適画像が１コマ目であるので、撮影順に画像処理を行うと、アンダー画像およびオーバー画像の補正量は第１の実施形態で説明したように適画像の補正量と同一となる。
【００９８】
一方、撮影の順をユーザが変更できる撮像装置では、ＡＥＢ撮影において必ずしも適画像が１コマ目になるとは限らない。よって、アンダー画像およびオーバー画像の補正量を適画像の補正量と同一にするためには、アンダー画像およびオーバー画像の処理の前に適画像の処理を完了させる必要がある。従って、例えば、適画像の撮影が３コマ目である場合には、３コマ目の処理が完了するまで１コマ目および２コマ目の画像処理を待機させる必要がある。
【００９９】
ところが、メモリ１０７の容量によっては、１コマ目および２コマ目をメモリ１０７に保持することができないことがある。このため、第３の実施形態では、撮影順に限らず、必ず１コマ目の画像（第１番目の画像）を類似度判定に用いる。
【０１００】
図１０は、本発明の第３の実施形態による撮像装置において、通常撮影とＡＥＢ撮影とが混在した場合の補正量の算出を模式的に示す図である。
【０１０１】
図１０において、２コマ目までは通常撮影であるので、図５（ａ）で説明した処理と同様の処理が行われる。３コマ目〜５コマ目についてＡＥＢ撮影が行われる（３回の撮影が行われる）。
【０１０２】
いま、３コマ目〜５コマ目のＡＥＢ撮影において、アンダー画像、オーバー画像、嫡よび画像の順序で撮影が行われたものとする。この場合、ＡＥＢ撮影の３コマ目であるアンダー画像は通常撮影における１コマ目と露出が大きく異なるので、類似度Ｓｉｍはほぼゼロとなる。このため、通常撮影の際の１コマ目の補正量は引き継がれず、図４に示すステップＳ２０６において、ＡＥＢ撮影における補正量として現在コマであるアンダー画像の補正量が最終補正量とされる。そして、アンダー画像（現在コマ）が過去コマとしてメモリ１０７に記憶されるとともに、その補正量がメモリ１０７に記憶される。
【０１０３】
続く２回目のＡＥＢ撮影においては、１回目のＡＥＢ撮影におけるアンダー画像と２回目のアンダー画像との類似度Ｓｉｍは、Ｓｉｍ＞Ｔｈ１となって、図４に示すステップＳ２０７において、２回目のＡＥＢ撮影における補正量として、３コマ目から得られた補正量が最終補正量として適用される。
【０１０４】
９コマ目は通常撮影であるので、ＡＥＢ撮影の６コマ目であるアンダー画像は通常撮影の９コマ目と露出が大きく異なるので、類似度Ｓｉｍはほぼゼロとなる。このため、ＡＥＢ撮影の際の３コマ目の補正量は引き継がれず、図４に示すステップＳ２０６において、通常撮影における補正量として現在コマである９コマ目の補正量が最終補正量とされる。
【０１０５】
以下同様にして補正量算出処理が行われて、ＡＥＢ撮影である１０コマ目〜１２コマ目については、１０コマ目の補正量が最終補正量とされ、通常撮影である１３コマ目では１３コマ目の補正量が最終補正量とされる。そして、１３コマ目に続く通常撮影の１４コマでは、１３コマ目の補正量が引き継がれて最終補正量とされる。
【０１０６】
このようにして、第３の実施形態においても、通常撮影およびＡＥＢ撮影が混在する場合において連続撮影によって得られた画像を補正する際に、類似度に応じて補正量の引き継ぎを行うようにしたので、撮影画像間における明るさおよび色味のばらつきを抑えることができる。
【０１０７】
また、本実施形態においても、各画像に対する補正量についてそれぞれ過去コマの補正量または現在コマの補正量を適用するようにしたが、類似度Ｓｉｍに応じて過去コマの補正量を用いて現在コマの補正量と重みづけ加算を行って、最終補正量を得るようにしてもよい。このようにすれば、補正量のばらつきをさらに抑えることができる。
【０１０９】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１０】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１３】
１０３  露出制御部
１０６  制御部
１０７  メモリ
１０８  ＷＢ処理部
１０９  信号処理部
１１０  階調変換部
１１２  類似度判定部
１１３  顔検出部
１１４  ヒストグラム検出部
１１５  合成処理部
【図１】
0005911340.tif 000002
【図２】
0005911340.tif 000003
【図３】
0005911340.tif 000004
【図４】
0005911340.tif 000005
【図５】
0005911340.tif 000006
【図６】
0005911340.tif 000007
【図７】
0005911340.tif 000008
【図８】
0005911340.tif 000009
【図９】
0005911340.tif 000010
【図１０】
0005911340.tif 000011