(57)【要約】      （修正有）【課題】画像中の主被写体の位置などに応じて、露光間ズームと同様の効果を得るための画像の生成方法、あるいは、生成の要否を切り替える。【解決手段】１枚の元画像から互いに補正率の異なる複数の画像を生成し元画像および複数の複数の画像を合成処理して合成画像を得る際、制御回路１０９は元画像において主被写体が元画像の所定の領域に存在するか否かを判定するとともに、所定の領域を除く他の領域において前記元画像が示す信号のばらつきが予め定められたばらつきを超えているか否かを判定する。そして、制御回路は主被写体の有無およびばらつき判定結果に応じて補正率、数の画像の枚数、および、合成処理の要否の少なくともいずれかを変更する。【選択図】図１
2015125467.tif 000002
【特許請求の範囲】
【請求項１】
１枚の元画像から互いに補正率の異なる複数の画像を生成して、前記元画像および前記複数の複数の画像を合成処理して合成画像を得る画像処理装置であって、
前記元画像において主被写体が前記元画像の所定の領域に存在するか否かを判定する第１の判定手段と、前記所定の領域を除く他の領域において前記元画像が示す信号のばらつきが予め定められたばらつきを超えているか否かを判定する第２の判定手段の少なくとも一方を備えた判定手段と、
前記判定手段による判定結果に応じて、前記補正率、前記複数の画像の枚数および前記合成処理の要否の少なくともいずれかを変更する変更手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記変更手段は、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示している場合には、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示していない場合よりも、前記補正率および前記複数の画像の枚数の少なくとも一方を大きくするように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更手段は、前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつき以下であることを示している場合には、前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつき以下であることを示していない場合よりも、前記補正率および前記複数の画像の枚数の少なくとも一方を大きくするように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変更手段は、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示し、かつ前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつきを以下であることを示している場合には、少なくともいずれかを示していない場合よりも、前記補正率および前記複数の画像の枚数の少なくとも一方を大きくするように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記変更手段は、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示している場合には、前記合成処理を行い、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示していない場合には、前記合成処理を行わないように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記変更手段は、前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつき以下であることを示している場合には、前記合成処理を行い、前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつき以下であることを示していない場合には、前記合成処理を行わないように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記変更手段は、前記第１の判定結果が前記所定の領域に前記主被写体が存在することを示し、かつ前記第２の判定結果が前記信号のばらつきが前記予め定められたばらつき以下であることを示している場合には、前記合成処理を行い、少なくともいずれかを示していない場合には、前記合成処理を行わないように変更することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記所定の領域は前記元画像においてその中心部に位置する領域であり、前記他の領域は前記元画像においてその周辺部に位置する領域であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の判定手段は、前記他の領域における前記信号の分散を求めて、当該信号の分散が所定の分散閾値を超えるか否かを判定することによって、前記信号のばらつきが予め定められたばらつきを超えているか否かを判定するようにしたことを特徴とする請求項１、３、４、６および７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記変更手段は、前記第２の判定手段によって前記信号の分散が所定の分散閾値を超えるとされた他の領域の数が所定の数以上である場合には、前記所定の数以上でない場合よりも、前記補正率および前記複数の画像の枚数の少なくとも一方を大きくするように変更することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記補正率は前記元画像の拡大率であり、
前記変更手段は、前記第２の判定手段によって前記信号の分散が所定の分散閾値を超えるとされた他の領域の数が所定の数以上である場合には、前記信号の分散が所定の分散閾値を超えるとされた他の領域の数が所定の数未満である場合よりも、像高比に応じた拡大率の差を大きくすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補正率は前記元画像の拡大率であり、
前記変更手段は、前記第１の判定結果が前記所定の領域に主被写体が存在することを示している場合には、前記第１の判定結果が前記所定の領域に主被写体が存在しないことを示している場合よりも、像高比に応じた拡大率の差を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記補正率は前記元画像の拡大率であり、
当該拡大率は前記元画像の中心から周辺部に進むにつれて大きくなることを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記合成画像の得る際、前記補正率の小さい画像の合成比率を前記補正率の大きい画像の合成比率よりも大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
１枚の元画像から互いに補正率の異なる複数の画像を生成して、前記元画像および前記複数の複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、
前記元画像において主被写体が前記元画像の所定の領域に存在するか否かを判定する第１の判定と、前記所定の領域を除く他の領域において前記元画像が示す信号のばらつきが予め定められたばらつきを超えているか否かを判定する第２の判定の少なくとも一方を行う判定ステップと、
前記判定ステップで得られた判定結果に応じて、前記補正率、前記複数の画像の枚数および前記合成処理の要否の少なくともいずれかを変更する変更ステップと、
を有することを特徴とする制御方法。
【請求項１６】
１枚の元画像から互いに補正率の異なる複数の画像を生成して、前記元画像および前記複数の複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記元画像において主被写体が前記元画像の所定の領域に存在するか否かを判定する第１の判定と、前記所定の領域を除く他の領域において前記元画像が示す信号のばらつきが予め定められたばらつきを超えているか否かを判定する第２の判定の少なくとも一方を行う判定ステップと、
前記第１の判定ステップで得られた第１の判定結果と前記第２の判定ステップで得られた第２の判定結果に応じて、前記補正率、前記複数の画像の枚数および前記合成処理の要否の少なくともいずれかを変更する変更ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、１枚の元画像に応じて、互いに補正率が異なる複数の画像を生成して、これら元画像と複数の画像とを合成処理して１枚の合成画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置において、１回の露光中に撮像光学系のズーム操作を行って、中央に位置する主被写体についてはあまりぼかさず、主被写体以外の背景を放射状に流した画像を生成する撮影手法が知られている。そして、この撮影手法は露光間ズームと呼ばれている。ところが、この露光間ズームを行うためには、露光時間および撮像光学系のズーム速度の設定が難しく、このため、撮影に非常に手間が掛る。
【０００３】
露光間ズームの際の手間を解消して、露光間ズームと同様の効果を得るため、例えば、１枚の元画像から互いに補正率の異なる複数の画像を生成して、これら複数の画像を合成して１枚の合成画像を出力する画像処理装置がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８７５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、露光間ズームと同様の効果を得るため、特許文献１に記載のように、１枚の元画像から互いに補正率の異なる複数の画像を生成して、これら複数の画像を合成処理する際、被写体の状態に関係なく一律に補正率および合成する画像の枚数を決定すると効果的な（つまり、露光間ズームと同様の効果を有する）画像を得られないことがある。
【０００６】
図６は、従来の画像処理装置において露光間ズームと同様の効果が得られない画像を説明するための図である。そして、図６（Ａ）は主被写体が周辺部に位置する画像を示す図であり、図６（Ｂ）は一様な被写体（例えば、白い壁）が周辺部に位置する画像を示す図である。
【０００７】
前述のように、露光間ズームと同様の効果を得るためには、画面の中央に位置する主被写体についてはあまりぼかさず、主被写体以外の背景を放射状に流す処理を行うことになる。
【０００８】
図６（Ａ）に示す例では、画面の中央部に主被写体６０１が存在せず、画面の周辺部に主被写体６０１が存在する。このような元画像について、互いに異なる補正率で元画像を処理して複数の画像を得て、これら元画像および複数の画像を合成処理すると、周辺部に位置する主被写体６０１に対して像が流れる効果が付与されることになる。そのため、主被写体６０１が大きくぼけてしまう。
【０００９】
一方、図６（Ｂ）に示す例では、画面の中央部に主被写体６０２が存在するものの、周辺部が一様な被写体である。このような元画像について、互いに異なる補正率で元画像を処理して複数の画像を得て、これら元画像および複数の画像を合成処理しても、周辺部における像の流れる効果はあまり得られない。
【００１０】
従って、本発明の目的は、画像中の主要被写体の位置などに応じて、露光間ズームと同様の効果を得るための画像の生成方法、あるいは生成の要否を切り替えることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するため、本発明による画像処理装置は、１枚の元画像から互いに補正率の異なる複数の画像を生成して、前記元画像および前記複数の複数の画像を合成処理して合成画像を得る画像処理装置であって、前記元画像において主被写体が前記元画像の所定の領域に存在するか否かを判定する第１の判定手段と、前記所定の領域を除く他の領域において前記元画像が示すＹＵＶ信号のばらつきが予め定められたばらつきを超えているか否かを判定する第２の判定手段の少なくとも一方を備えた判定手段と、前記判定手段による判定結果に応じて、前記補正率および前記複数の画像の枚数の少なくとも一方を変更する変更手段と、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、主画像中の主要被写体の位置などに応じて、露光間ズームと同様の効果を得るための画像の生成方法、あるいは生成の要否を切り替えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態による画像処理装置の一つである撮像装置の構成を示すブロック図である。
【図２】図２は、図１に示す画像処理回路から電子式ファインダーに出力されるＹＵＶ信号（画像）の一例を示す図である。
【図３】図１に示す制御回路で行われる補正率および合成枚数の決定処理を説明するためのフローチャートである。
【図４】図１の示すカメラにおいて４枚の画像を合成する際の像高比に対する拡大率の変化を説明するための図である。
【図５】図１の示すカメラにおいて４枚の画像の合成処理を説明するための図である。
【図６】従来の画像処理装置において露光間ズームと同様の効果が得られにくい画像を説明するための図であり、（Ａ）は主要被写体が周辺部に位置する画像を示す図、（Ｂ）は一様な被写体が周辺部に位置する画像を示す図である。
【発明を実施するための形態】
【００１４】
以下に、本発明の実施の形態による画像処理装置について図面を参照して説明する。
【００１５】
図１は、本発明の実施形態による画像処理装置の一つである撮像装置の構成を示すブロック図である。
【００１６】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、撮像光学系１０１を備えている。この撮像光学系１０１は複数のレンズからなるレンズ群を有しており、焦点位置およびズーム倍率を変更することができる。撮像光学系１０１の後段には撮像素子１０２が配置されており、撮像光学系１０１を通過した光学像（被写体像）は撮像素子１０２の受光面に結像する。
【００１７】
撮像素子１０２は光電変換によって、光学像に応じた電気信号（アナログ信号）を出力する。なお、撮像光学系１０１と撮像素子１０２とによって撮像ユニットが構成される。撮像素子１０２の出力であるアナログ信号はＡ／Ｄコンバータ１０３に与えられる。Ａ／Ｄコンバータ１０３は当該アナログ信号をＡ／Ｄ変換によってデジタル信号に変換する。そして、このデジタル信号は一時メモリ１０４に一旦格納される。
【００１８】
画像処理回路１０５は、一時メモリ１０４からデジタル信号を読み出して、当該デジタル信号に対して、例えば、ホワイトバランス、被写体判別、画像の拡大、および画像の合成などの画像処理を行って画像データを出力する。そして、記録回路１０７は、画像処理回路１０５の出力である画像データをＪＰＥＧなどのフォーマットに変換して、フォーマット変換後の画像データを記録する。
【００１９】
電子式ファインダー１０６は、小型液晶装置などを有し、画像処理回路１０５の出力である画像データに応じた画像を表示する。操作部１０８は、ユーザーがカメラに対して各種の指示を入力する際に用いられる。制御回路１０９はカメラ全体の制御を司り、例えば、操作部１０８で入力された指示に応じた制御を行う。
【００２０】
図１に示すカメラにおいて、操作部１０８に備えられた電源スイッチ（図示せず）がオンとされると、カメラに電源が供給される。そして、撮像光学系１０１を通過した光学像が撮像素子１０２に結像して、撮像素子１０２は光学像に応じたアナログ信号を出力する。そして、画像処理回路１０５はＡ／Ｄコンバータ１０３の出力であるデジタル信号について、前述の画像処理を行って画像データを生成する。
【００２１】
操作部１０８に備えられたシャッタースイッチ（図示せず：シャッタボタンともいう）が半押しされると、シャッタースイッチから第１のシャッタースイッチ信号ＳＷ１が制御回路１０９に与えられる。なお、第１のシャッタースイッチＳＷ１を受けるまで、制御回路１０９の制御下で上述の画像処理が繰り返されて、電子式ファインダー１０６に画像が表示される。
【００２２】
シャッタースイッチから第１のシャッタースイッチ信号ＳＷ１を受けると、制御回路１０９は、画像処理回路１０５の出力である画像データに応じて自動フォーカス（ＡＦ）制御および自動露出（ＡＥ）制御を行って撮影に最適なピントおよび露出設定条件を得る。
【００２３】
シャッタースイッチが全押しされると、シャッタースイッチから第２のシャッタースイッチ信号ＳＷ２が制御回路１０９に与えられる。これによって、制御回路１０９は本撮影処理を実行する。この本撮影処理においては、制御回路１０９の制御下で画像処理回路１０５はユーザーの設定に応じた画像処理を画像データに対して行う。その後、本撮影処理によって得られた画像データは記録回路１０７によってＪＰＥＧなどのフォーマットに変換されて記録される。
【００２４】
ここで、操作部１０８によって、露光間ズームと同様の効果を得る撮影モード（以下露光間ズーム撮影モードと呼ぶ）が設定されるとする。なお、露光間ズームとは、前述のように、１回の露光中に撮像光学系１０１のズーム操作を行って、中央に位置する主被写体についてはあまりぼかさず、主被写体以外の背景を放射状に流した画像を生成する撮影手法のことをいう。
【００２５】
露光間ズーム撮影モードが設定されていると、制御回路１０９の制御下で、画像処理回路１０５がデジタル信号に対してホワイトバランスなどの画像処理を行った後、制御回路１０９は当該画像データにおいて主被写体の判定を行う。つまり、制御回路１０５は、画像データにおける主被写体の有無を判定して、被写体判定結果を得る。
【００２６】
第１のシャッタースイッチ信号ＳＷ１を受けると、制御回路１０９は被写体判定結果に応じて画像データの補正率および合成枚数を決定する。そして、第２のシャッタースイッチ信号ＳＷ２を受けると、前述のように、制御回路１０９は本撮影処理を実行する。この際、制御回路１０９の制御下で、画像処理回路１０５は、補正率および合成枚数に応じて、撮影の結果得られた画像データを元画像データとして当該元画像データから複数の拡大画像データを生成する。そして、画像処理回路１０５はこれら拡大画像データを合成処理して合成画像データを得る。
【００２７】
ここで、図１に示す制御回路１０９で行われる主被写体判定について説明する。
【００２８】
図２は、図１に示す画像処理回路１０５から電子式ファインダー１０６に出力されるＹＵＶ信号（画像）の一例を示す図である。
【００２９】
主被写体判定を行う際、制御回路１０９は画像（つまり、画面）を、例えば、水平方向に３２、そして、垂直方向に２４のブロックに分割する。図２において、画面中心部（中心領域）２０１は露光間ズームと同様の効果を得る際に主被写体２０６の有無を判定するための領域である。ここでは、画面中心部２０１は水平方向に８、そして、垂直方向に６のブロックからなる。
【００３０】
なお、画像に主被写体２０６が存在するか否かの判定、つまり、主被写体の有無の判定を行う際には、制御回路１０９は輝度および色相が類似するブロックが予め設定された数以上あるか否かを判定する。
【００３１】
例えば、制御回路１０９は全ての色相を３６のグループ（色相グループ）に分けて、画面中心部２０１を構成するブロック毎の平均色相を求める。続いて、制御回路１０９は当該平均色相について同一の色相グループに属するグループ化して色相グループ領域を得る。そして、制御回路１０９は色相グループ領域の各々についてそのブロック数をカウントする。制御回路１０９はカウント数が予め設定された数以上の色相グループ領域が主被写体２０６の存在する可能性のある色相グループ領域であると判定する。
【００３２】
なお、彩度が低い場合には色相の判別が難しくなるので、この際には、ブロック毎の彩度を求めて、当該彩度が低いブロック（つまり、彩度が所定の閾値未満であるブロック）については平均色相の代わりに輝度を用いるようにしてもよい。
【００３３】
上述のようにして被写体判定を行う際には、制御回路１０９は画面の上下左右の端部に位置する周辺領域（画面周辺部）２０２〜２０５に含まれるいずれかのブロックと同等の輝度又は色相であるブロックについては主被写体ではなく背景の一部であると判定する。そして、制御回路１０９は画面中心部２０１において輝度又は色相が同程度であるブロックを予め設定された数以上含むグループが存在して、かつ当該グループに含まれるブロックが背景とは異なると判定すると、当該グループ（つまり、色相グループ領域）に主被写体が存在すると判定することになる。なお、顔検出機能を有しているならば、検出された顔領域が画面中心部２０１に存在するか否かを判定するようにしてもよい。
【００３４】
一方、画面周辺部２０２〜２０５においては、露光間ズームと同様な効果を得るため、制御回路１０９は画面周辺部２０２〜２０５において被写体（又は背景）におけるＹＵＶ信号のうちの輝度（Ｙ）信号のばらつき程度を判定する。ここでは、画面周辺部２０２〜２０５の各々は水平方向に４、そして、垂直方向に４のブロックからなる。
【００３５】
画像処理回路１０５は画面周辺部２０２〜２０５の各々について輝度信号の分散を求める。一様な被写体の場合には（つまり、ばらつきの程度が小さい被写体の場合には）、画像を複数合成しても重ね合わせの効果が少ない。そして、一様な被写体の場合には輝度信号の分散が小さくなる。
【００３６】
よって、制御回路１０９は、画面周辺部２０２〜２０５の各々について輝度信号の分散が所定の分散閾値以下であるか否かを判定する。そして、画像処理回路１０５は輝度信号の分散が所定の分散閾値以下である画面周辺部については一様な被写体であると判定する。
【００３７】
なお、輝度信号の代わりに、画像処理回路ＹＵＶ信号のうちの色差（ＵＶ）信号の分散を求めるようにしてもよい。さらには、制御回路１０９は画像をブロックに分割する前において画面周辺部２０２〜２０５に相当する領域で高周波成分を抽出して、当該高周波成分の積分値が所定の積分閾値以下であると、その画面周辺部は一様な被写体であると判定するようにしてもよい。なお、ここではＹＵＶ信号を用いて判定する構成を例にあげて説明を行ったが、ＹＵＶ信号に変換する前のＲＧＢからなるベイヤー配列の画像信号から分散を求めることで、画面周辺部が一様な被写体であるか否かを判定するようにしてもよい。
【００３８】
図３は、図１に示す制御回路１０９で行われる補正率および合成枚数の決定処理を説明するためのフローチャートである。
【００３９】
補正率および合成枚数の決定処理が開始されると、制御回路１０９はＹＵＶ信号が示す画面を水平方向に３２、そして、垂直方向に２４のブロックに分割した状態を示すブロック情報を得る（ステップＳ３０１）。続いて、制御回路１０９はブロック情報に応じて前述したようにして主被写体の有無を判定して被写体判定結果を得る。
【００４０】
制御回路１０９は被写体判定結果を参照して画像に主被写体が存在するか否かを判定する（ステップＳ３０２）。画像に主被写体が存在すると（ステップＳ３０２において、ＹＥＳ）、制御回路１０９は、主被写体の一部又は全体が図２に示す画面中心部（中心枠ともいう）２０１に存在するか否かを判定して第１の判定結果を得る（ステップＳ３０３）。
【００４１】
第１の判定結果によって主被写体が画面中心部２０１に存在すると（ステップＳ３０３において、ＹＥＳ）、制御回路１０９は画面周辺部２０２〜２０５（つまり、周辺領域）の各々についてその輝度信号の分散が所定の分散閾値を超えるか否かを判定する。そして、制御回路１０９は、輝度信号の分散が所定の分散閾値を超える画面周辺部（周辺領域）の数が所定の数以上であるか否かを判定して第２の判定結果を得る（ステップＳ３０４）。
【００４２】
第２の判定結果によって輝度信号の分散が所定の分散閾値を超える画面周辺部の数が所定の数以上であると（ステップＳ３０４において、ＹＥＳ）、制御回路１０９は画像合成による露光間ズームの効果は大きいとする（ステップＳ３０５）。
【００４３】
なお、上述の分散閾値および所定の数（つまり、領域数）は予め画像の補正率および合成枚数に応じた露光間ズーム効果に基づいて決定され、当該分散閾値および所定の領域数は制御回路１０９に備えられたメモリに格納されている。例えば、分散閾値は８ビットで”４００”、所定の領域数は”２”とされる。
【００４４】
輝度の分散が所定の分散閾値を超える画面周辺部の数が所定の数未満であると（ステップＳ３０４において、ＮＯ）、制御回路１０９は画像合成による露光間ズームの効果は小さいとする（ステップＳ３０６）。
【００４５】
例えば、露光間ズームの効果が大きくなると判定すると、制御回路１０９は補正率が互いに異なる画像の合成枚数を、露光間ズームの効果が小さい場合の合成枚数よりも多くする。この場合、互いに異なる補正率は同一とされる。
【００４６】
さらには、露光間ズームの効果が大きくなると判定すると、制御回路１０９は補正率を露光間ズームの効果が小さい場合の拡大率よりも大きくする。この場合、合成枚数は同一とされる。
【００４７】
また、露光間ズームの効果が大きくなると判定すると、制御回路１０９は補正率を露光間ズームの効果が小さい場合の補正率よりも大きくするとともに、合成枚数を第２の露光間ズームの効果が小さい場合の合成枚数よりも多くする。そして、ステップＳ３０５又はＳ３０６の処理の後、制御回路１０９は決定処理を終了する。
【００４８】
このように、露光間ズームと同様の効果が得やすいと判定された画像については、補正率および合成枚数の少なくとも一方の値を大きくすることで、露光間ズームの効果をより目立ちやすい合成画像を生成する。反対に、露光間ズームと同様の効果が得られにくいと判定された画像については、補正率および合成枚数の少なくとも一方の値を小さくすることで、主被写体のぼけが目立ちにくくなる合成画像を生成する。このように、被写体の状態に応じて、露光間ズームの効果を目立ちやすくした合成画像を生成するのか、あるいは、主被写体のぼけが目立ちにくくする合成画像を生成するのかを切り替えることで、見栄えの良い画像を生成することが可能となる。さらに、露光間ズームと同様の効果が得られにくいと判定された画像については、合成枚数を少なくすることで、画像処理の負荷を軽減することもできる。
【００４９】
ここで、元画像から複数の画像を得る際の補正率について説明する。
【００５０】
図４は、図１の示すカメラにおいて４枚の画像を合成する際の像高比に対する拡大率の変化を説明するための図である。
【００５１】
図４において、横軸は像高比を表し、縦軸は拡大率を表す。補正率４０１は最大の補正率を示し、補正率４０２は中間の補正率を示す。また、補正率４０３は最小の補正率を示す。そして、補正率４０１〜４０３の各々は像高比が大きくなるとその拡大率が大きくなる。なお、元画像について拡大処理が施されない。
【００５２】
露光間ズームと同様の効果を得る際には、前述のように、画面中心部２０１における主被写体の有無および画面周辺部における輝度信号の分散に応じて複数の補正率４０１〜４０３が決定される。そして、これら補正率４０１〜４０３によって、画像処理回路１０５はそれぞれ元画像を拡大処理して第１〜第３の画像を得て、元画像および第１〜第３の画像を合成処理して合成画像を得る。ここでは、前述のように、補正率４０１〜４０３の各々において、拡大率は画像の中心部よりも画像の周辺部の方が大きくなるように設定される。
【００５３】
このように、画像の周辺部において拡大率を画面中心部よりも大きくすることによって、一枚の合成画像によって周辺部における像の流れを強調することができる。また、補正率４０１〜４０３における拡大率の差で示すように、拡大率の差を拡大率が大きくなるにつれて大きくすると、画像の周辺部における像の流れを強調することができる。
【００５４】
次に、図１に示すカメラにおいて画像における主被写体に応じて画像合成処理を変更する手法について説明する。
【００５５】
図５は、図１の示すカメラにおいて４枚の画像の合成処理を説明するための図である。
【００５６】
図５において、画像５０１は、元画像５０４を最も大きい補正率（つまり、ここでは拡大率）で処理した後の画像であり、画像５０２は、元画像５０４を中間の拡大率で処理した後の画像である。そして、画像５０３は、元画像５０４を最も小さい拡大率で処理した後の画像である。画像処理回路１０５は、制御回路１０９の制御下でこれら画像５０１〜５０３および元画像５０４を合成処理して合成画像５０５を得る。
【００５７】
合成処理の際には、画像処理回路１０５は、まず画像５０１と画像５０２とを、画像５０１の比率”１”に対して画像５０２の比率を”２”として合成処理を行い第１の合成画像５０６を得る。続いて、画像処理回路１０５は第１の画像５０６と画像５０３とを、第１の合成画像５０６の比率”１”に対して画像５０３の比率を”２”として合成処理を行い第２の合成画像５０７を得る。
【００５８】
最後に、画像処理回路１０５は、第２の合成画像５０６と元画像５０４とを、第２の合成画像５０７の比率”１”に対して元画像５０４の比率を”２”として合成処理を行い最終的な合成画像５０５を得る。
【００５９】
上述のように、まず拡大率の最も大きな画像５０１と次に拡大率の大きな画像５０２とを合成処理する。この際、拡大率の小さい画像の合成比率を拡大率の大きい画像の合成比率よりも大きくする。拡大率の小さい画像の合成比率を拡大率の大きい画像の合成比率よりも大きくすることによって、画面中心部の主被写体における流れを目立ちにくくすることができる。さらに、拡大率の大きな画像の合成比率を小さくすることによって、画面周辺部における流れを強調することができる。
【００６０】
このように、本発明の実施の形態では、主被写体が画面中心部の領域に存在するか否かと周辺部のおける輝度信号のばらつき（分散）に応じて、画像合成を行う際の補正率（つまり、拡大率）および合成枚数の少なくとも一方を変更するようにした。
【００６１】
なお、上述の実施形態では、露光間ズームと同様の効果が得られにくいと判定された画像については、補正率および合成枚数の少なくとも一方の値を小さくする例を上げて説明を行ったが、これに限られるものではない。露光間ズームと同様の効果が得られにくいと判定された画像については、合成画像を生成せずに、元画像を出力するように構成してもよい。つまり、画像中の主要被写体の位置などに応じて、合成処理の要否を切り替えるようにしてもよい。
【００６２】
また、上述の実施形態では、主被写体の一部又は全体が画面中心部２０１に存在するか否かを判定と、画面周辺部２０２〜２０５の各々について輝度信号の分散が所定の分散閾値を超えるか否かを判定とを両方行ったが、いずれか一方のみでもよい。
【００６３】
さらに、上述の実施形態では、画像処理装置の一例としてデジタルカメラなどの撮像装置を例に挙げて説明したが、撮像装置以外の電子機器においても同様にして本発明を適用することができる。例えば、１枚の元画像を互いに異なる補正率（つまり、拡大率）で処理して得られた複数の画像を合成する処理を行うことのできる電子機器であれば、本発明を適用することができる。
【００６４】
具体的には、カメラによる撮影の結果得られた元画像をＰＣなどのコンピュータで処理するようにしても同様して、画像中の主要被写体の位置などに応じて露光間ズームと同様の効果を容易に付与することができる。
【００６５】
上述の説明から明らかなように、図１に示す例においては、画像処理回路１０５および制御回路１０９が第１の判定手段、第２の判定手段、および変更手段として機能する。
【００６６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６７】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００６８】
上記の制御方法および制御プログラムの各々は、少なくとも第１の判定ステップ、第２の判定ステップ、および変更ステップを有している。
【００６９】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７０】
１０１  撮像光学系
１０２  撮像素子
１０３  Ａ／Ｄコンバータ
１０４  一時メモリ
１０５  画像処理回路
１０６  電子式ファインダー
１０７  記録回路
１０８  操作部
１０９  制御回路
【図１】
2015125467.tif 000003
【図２】
2015125467.tif 000004
【図３】
2015125467.tif 000005
【図４】
2015125467.tif 000006
【図５】
2015125467.tif 000007
【図６】
2015125467.tif 000008