(57)【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段に、１回の画像生成指示に応じて、撮影パラメータを変更して複数の撮影を行う処理であるブラケット撮影を行わせる制御手段を有し、
前記制御手段は、
前記撮像手段によって予め撮像された画像の解析結果に応じて、複数の撮影パラメータの中から、前記ブラケット撮影で変更する撮影パラメータを選択し、
ユーザーによって指示された、画像処理の傾向を示すカテゴリに応じて、選択した前記撮影パラメータの値の変更可能な範囲を設定することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記カテゴリの指示に応じて、前記選択された撮影パラメータの値の変更可能な範囲の上限および下限の少なくともいずれかを変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記カテゴリに応じて、前記撮影パラメータの値の変更可能な範囲の中心の値を異ならせることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像された画像の解析結果に応じて、前記変更可能な範囲内で、前記ブラケット撮影で用いる撮影パラメータを設定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ブラケット撮影で変更する撮影パラメータは、露出量、フォーカス位置、ホワイトバランス係数、および、シャッタースピードの少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画像の解析結果には、前記画像に含まれる被写体が人物であるか否かの判定の結果、前記画像に含まれる被写体が動いているか否かの判定の結果、前記画像に含まれる複数の被写体の距離差の判定の結果、および、前記画像のコントラストの大きさの判定の結果の少なくともいずれかを含むことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記ブラケット撮影で生成された複数の画像を入力画像とし、前記入力画像に対して複数の加工処理を施して出力画像を生成する画像処理手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記制御手段は、前記入力画像の解析結果、および、前記カテゴリに応じて、前記複数の加工処理を選択することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、
予め用意されている加工処理のそれぞれに対して、前記入力画像の解析結果、および、前記カテゴリに応じた優先度を設定し、
設定した優先度に基づいて、前記予め用意されている加工処理の中から、前記複数の出力画像に施す前記複数の加工処理を選択することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御手段は、予め用意されている加工処理のそれぞれに対して、前記入力画像の解析結果、前記カテゴリ、および、乱数に応じた優先度を設定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
入力画像に対して複数の加工処理を施して複数の出力画像を生成する画像処理手段と、
前記複数の加工処理を設定する制御手段を有し、
前記制御手段は、
前記入力画像の解析結果、および、ユーザーによって指示されたカテゴリに応じた優先度を設定し、
設定した優先度に基づいて、予め用意されている加工処理の中から、前記複数の出力画像に施される前記複数の加工処理を選択することを特徴とする画像処理装置。
【請求項１２】
前記制御手段は、予め用意されている加工処理のそれぞれに対して、前記入力画像の解析結果、前記カテゴリ、および、乱数に応じた優先度を設定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
ユーザーによる、画像処理の傾向を示すカテゴリの指示を受け付ける工程と、
撮像手段によって予め撮像された画像を解析する工程と、
前記画像の解析結果に応じて、複数の撮影パラメータの中から撮影パラメータを選択する工程と、
前記撮像手段に、１回の画像生成指示に応じて、選択した撮影パラメータの値を変更して複数の撮影を行う処理であるブラケット撮影を行わせる工程を有し、
前記カテゴリに応じて、前記選択した前記撮影パラメータの値の変更可能な範囲を設定することを特徴とする撮像装置の制御方法。
【請求項１４】
ユーザーによるカテゴリの指示を受け付ける工程と、
入力画像に対して施す複数の加工処理を設定する工程と、
前記入力画像に対して前記複数の加工処理を施して複数の出力画像を生成する工程を有し、
前記複数の加工処理は、前記入力画像の解析結果、および、前記カテゴリに応じて設定された優先度に基づいて、予め用意されている加工処理の中から選択されることを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１３に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラムコードを記憶した、コンピュータが読み出し可能な記憶媒体。
【請求項１６】
請求項１４に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラムコードを記憶した、コンピュータが読み出し可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１回の画像生成指示に基づいて複数の画像を生成する撮像装置および画像処理装置に関する。
【背景技術】
【０００２】
同じ撮影シーンであっても、撮像装置の撮影条件（露出、ピント位置、ホワイトバランス（ＷＢ）など）の設定に応じて写真の表現は様々に変化する。このため、撮影シーンに最適な撮影条件をユーザーが選択することは簡単ではない。そこで、従来から、複数の被写体が混在するシーンやコントラストの高いシーンなど、撮影条件の設定が困難な撮影シーンをユーザーが撮影する場合に、露出、ピント位置、あるいはＷＢ設定などを変更しながらブラケット撮影を行う撮像装置が知られている。
【０００３】
特許文献１には、ブラケット撮影が可能なデジタルカメラが開示されている。特許文献１に開示されたデジタルカメラは、複数のパラメータに基づいて同一の被写体を撮影して複数の画像を生成し、複数の画像をパラメータの段階ごとに異なるタイミングで表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６７４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のようにブラケット撮影に関する機能を有効活用するには、ブラケット撮影を行う際に撮影シーンに応じて適切なパラメータを設定する必要がある。このため、ブラケット撮影の際には煩雑な設定動作や高度な知識が必要とされ、撮影シーンに適したブラケット撮影を行うことは困難である。
【０００６】
また、ブラケット撮影によって複数の画像を生成する以外にも、入力された同じ画像に対してパラメータを異ならせた複数の画像処理を行うことで複数の画像を生成することも考えられる。しかしながら、このように画像処理によってブラケット撮影と同様の効果を得ようとした場合であっても、適切なパラメータを設定するためには、煩雑な設定や高度な知識が必要となる。
【０００７】
そこで本発明は、煩雑な設定や高度な知識を必要とすることなく、１回の画像生成指示に基づいて複数の画像を得ることが可能な撮像装置や画像処理装置を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る撮像装置は、撮像手段と、前記撮像手段に、１回の画像生成指示に応じて、撮影パラメータを変更して複数の撮影を行う処理であるブラケット撮影を行わせる制御手段を有し、前記制御手段は、前記撮像手段によって予め撮像された画像の解析結果に応じて、複数の撮影パラメータの中から、前記ブラケット撮影で変更する撮影パラメータを選択し、ユーザーによって指示された、画像処理の傾向を示すカテゴリに応じて、選択した前記撮影パラメータの値の変更可能な範囲を設定することを特徴とする。
【０００９】
同様に上記課題を解決するため、本発明に係る画像処理装置は、入力画像に対して複数の加工処理を施して複数の出力画像を生成する画像処理手段と、前記複数の加工処理を設定する制御手段を有し、前記制御手段は、前記入力画像の解析結果、および、ユーザーによって指示されたカテゴリに応じた優先度を設定し、設定した優先度に基づいて、予め用意されている加工処理の中から、前記複数の出力画像に施される前記複数の加工処理を選択することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、煩雑な設定や高度な知識を必要とすることなく、１回の画像生成指示に基づいて複数の画像を得ることが可能な撮像装置や画像処理装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置のブロック図である。
【図２】ブラケット撮影処理のフローチャートである。
【図３】カテゴリを選択するためのユーザインターフェースの一例、および、特殊効果処理の強度を示すレベルを選択するためのユーザインターフェースの一例を示す図である。
【図４】パラメータを選択する処理のフローチャートである。
【図５】カテゴリごとの露出補正量の振り幅の上限および下限を示す図である。
【図６】ブラケット処理により生成される画像群の一例を示す図である。
【図７】ブラケット画像処理の中身を決定するフローチャートである。
【図８】特殊効果フィルタ処理のフローチャートである。
【図９】選択されたカテゴリと優先される特殊効果フィルタの組合せの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１３】
まず、図１を参照して、本実施形態における画像処理装置としての撮像装置の構成について説明する。図１は、撮像装置１００のブロック図である。撮像光学系１は、ズーム用レンズ１ａおよびフォーカスレンズ１ｂ（測距用レンズ）などの複数のレンズ群、および、絞り機構１ｃを備えている。
【００１４】
撮像素子２は、ＣＣＤやＣＭＯＳセンサなどで構成され、撮像光学系１を介して得られた被写体像（被写体像）に対して光電変換を行うことにより電気信号（アナログ信号）を生成する。撮像素子２には、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器が含まれている。また、撮像素子２の表面は、例えばベイヤー配列のようなＲＧＢのカラーフィルタにより覆われ、カラー撮影が可能に構成されている。被写体像が撮像素子２上で結像されると、画像データ（画像信号）が生成され、メモリ３に記憶される。メモリ３は、撮像素子２により生成された画像信号や各種画像処理に必要なデータを保持する。
【００１５】
画像処理回路４は、メモリ３に保持された画像信号に対して所定の画素補間処理や色変換処理などの各種の画像処理を行う。画像処理回路４は、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部５に撮影条件を通知する。また画像処理回路４は、画像の解析、フィルタ処理、合成処理などの機能を有し、後述するアルゴリズムに従って、撮影シーンに適したブラケット画像処理を選択する。
【００１６】
システム制御部５は、撮像装置１００の全体を制御する。システム制御部５は、画像処理回路４により決定された撮影条件で撮影を行うため、露光量制御部６、フォーカスレンズ制御部７、および、焦点距離制御部８を制御して、シャッター速度、絞り機構、フォーカスレンズ、および、ズームレンズの制御を統括する。
【００１７】
露光量制御部６は、撮像光学系１の絞り機構１ｃ、撮像素子２の露光時間および撮影感度を調整し、適切な露光量制御を行う。フォーカスレンズ制御部７は、撮像光学系１のフォーカスレンズ１ｂを制御する。焦点距離制御部８は、撮像光学系１のズーム用レンズ１ａを制御するものであり、システム制御部５の指示に基づいて焦点距離を変更する。
【００１８】
圧縮回路９は、メモリ３に保持された画像をＪＰＥＧ画像などに圧縮する。圧縮回路９により生成された画像（圧縮画像）は、記録媒体１０に記録される。表示部１１は、画像処理回路４により生成された撮影画像をメモリ３から読み出し、撮像装置１００に設けられたＬＣＤや外部モニタなどに表示する。
【００１９】
操作部材１２は、ボタンやタッチパネルで構成されており、ユーザーの指示を受け付ける。システム制御部５は、この操作部材１２を介して入力されたユーザーの指示に従って、撮影動作の変更を行う。
【００２０】
本実施形態において、撮像装置１００は、撮像素子２を有する撮像装置本体と撮像光学系１が一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体に着脱可能な撮像光学系を撮像装置本体に取り付けて構成される撮像システムにも適用可能である。
【００２１】
次に、図２を参照して、本実施形態の撮像装置１００により行われるブラケット撮影処理のアルゴリズムについて説明する。図２は、ブラケット撮影処理のフローチャートである。図２の各ステップは、主にシステム制御部５の指令に基づいて実行される。この撮像装置１００は、ユーザーから画像生成指示を１回受けるたびに、自動的に撮影パラメータおよび画像処理パラメータを異ならせて適用した複数の画像を生成する。なお、本実施形態における画像生成指示は、撮像装置１００が備えた不図示のレリーズボタンがユーザーによって全押しされたときの撮影指示が該当する。
【００２２】
まずステップＳ２００において、システム制御部５は、撮影シーンを解析（判定）する。撮影シーンの判定は、電子ビューファインダ（ＥＶＦ）への動画の表示中（撮影待機中）に行われる。具体的には、本実施形態において、撮影シーンを解析するため、まずはこの動画から、顔検出による人物検出や主要被写体検出などにより被写体を検出し、撮像装置１００または被写体の動きを検出する。システム制御部５は、動画から顔が検出されれば、被写体は人物であると判定し、動画から画面中央付近に面積が閾値以上であって、かつ、撮像装置からの距離が同一とみなせるエリアが検出されれば、被写体はモノであると判定する。また、電子ビューファインダ（ＥＶＦ）表示画像のヒスト解析を行い、フォーカススキャンを行う。システム制御部５は、これら被写体検出結果、動き検出結果、ヒスト解析結果、および、ＡＦ情報に基づいて、撮影シーンを判定する。ただし本実施形態はこれに限定されるものではなく、他の情報を利用して撮影シーンを判定してもよい。
【００２３】
次にステップＳ２０１において、操作部材１２を介して、ユーザーからカテゴリの指示を受けつける。ここでカテゴリとは、後述する特殊効果処理の傾向を指し示すものであり、ユーザーは操作部材１２を操作して、予め設定された複数のカテゴリの中から一つのカテゴリを選択する。
【００２４】
図３にカテゴリ分類とカテゴリ選択画面の例を示す。
【００２５】
図３（ａ）はオート、モノトーン、カラフル、バラエティ、ハイキー、および、ローキーの６つのカテゴリから、いずれかのカテゴリを選択可能なユーザインターフェース（以下ＵＩ）の一例を示している。このようにユーザーは自分の好みの画像処理の傾向を一つ選択することができ、画像処理回路４はユーザーの選択したカテゴリに応じて処理内容を変更し、選択されたカテゴリがユーザーに与えるイメージに合致した処理を優先的に実施する。
【００２６】
また図３（ｂ）は、特殊効果処理の強度を示すレベルとして表現した場合のＵＩ画面の一例を示している。ここで特殊効果処理のレベルとは、カメラが自動的に特殊効果やブラケット処理の内容を決定する際に、画像間での変化の大きさを示すものである。そしてこのレベル選択を変更することで、より変化の大きい画像、またはより変化の小さな画像を生成するように処理の内容を変化させるものである。例えば露出をブラケットする際の露出補正量の許容範囲をＬｅｖｅｌ０では正負それぞれにおいて１段としているのに対し、Ｌｅｖｅｌ４では正負それぞれにおいて４段とし、選択の幅を広げている。
【００２７】
続いてステップＳ２０２において、システム制御部５は、ステップＳ２００にて解析された撮影シーンに基づいて、適切なブラケットを選択する。すなわちシステム制御部５は、複数の種類のパラメータから、ブラケットを適用する一つのパラメータを選択する。これにより、撮影シーン解析結果に応じて、使用するブラケット撮影の種類が自動的に判定される。
【００２８】
本実施形態において、パラメータとしては、例えば、露出量を変更する露出ブラケット、フォーカス位置を変更するフォーカスブラケット、ホワイトバランス係数を変更するＷＢブラケットなどがある。また、パラメータとして、撮影時のシャッタースピードを変更するシャッタースピードブラケットや、シャッターを切るタイミングをずらすタイミングブラケットなどもある。このように、本実施形態では、撮影シーンに応じて複数の種類のパラメータの中から適切なパラメータが選択可能である。このためシステム制御部５は、複数種類のブラケット撮影の中から、いずれかのブラケット撮影を選択して行うことができる。
【００２９】
なお、ここではブラケットの種類ごとに変更するパラメータが異なる例を示したが、これに限られものではない。それぞれのブラケット撮影で複数のパラメータを変更するものであれば、複数のブラケット撮影間で、変更の対象となるパラメータが一部重複していても構わない。複数のブラケット撮影間で、パラメータの変更の仕方が異なっていればよい。
【００３０】
続いて、図４を参照して、露出ブラケット、フォーカスブラケット、および、シャッタースピードブラケットの機能（３種類のパラメータ）を有する撮像装置を例として、撮影シーンに適したパラメータを選択するアルゴリズムについて説明する。図４は、本実施形態におけるパラメータを選択するアルゴリズムのフローチャートの一例である。図４の各ステップは、主にシステム制御部５の指令に基づいて実行される。
【００３１】
まずステップＳ４００およびＳ４０１において、システム制御部５は、図２のステップＳ２００により得られた被写体検出結果に基づいて被写体判定を行う。被写体判定の結果、被写体が人、モノ、その他（風景シーンなど特定の被写体が存在しないシーン）の３種類の被写体のうちのいずれであるかを判定する。被写体が人の場合にはステップＳ４０２に進み、被写体がモノの場合にはステップＳ４０６に進む。また、被写体がその他の場合にはステップＳ４０９に進む。
【００３２】
ステップＳ４０２またはステップＳ４０６において、システム制御部５は、図２のステップＳ２００により得られた動き検出結果に基づいて動き判定を行う。動き判定の結果、撮影画角内に少なくとも一つの被写体が存在し、かつ手振れや被写体動き（動き）が生じている（すなわち撮像装置１００または被写体が動いている）と判定された場合、シャッタースピードブラケットを選択する。シャッタースピードブラケットでは、撮影時のシャッタースピードを変更して複数の撮影を実施し、被写体の動きの表現の違いや、手振れや被写体ブレによる撮影の失敗を回避することができる。なお、撮像装置１００または被写体の動きを検出する検出手段として、撮像装置１００に設けられたジャイロセンサを用い、ジャイロセンサの出力によって手振れを検出することができる。また、ＥＶＦ表示画像中の被写体をパターンマッチングなどで追尾し、その移動量を検出してもよい。
【００３３】
ステップＳ４０２またはステップＳ４０６において、被写体が静止していると判定された場合、ステップＳ４０３またはステップＳ４０７にそれぞれ進む。ステップＳ４０３またはステップＳ４０７において、システム制御部５は、図２のステップＳ２００により得られたフォーカススキャン結果（ＡＦ情報）に基づいてフォーカス判定を行う。本実施形態では、撮影画角内に含まれる被写体のそれぞれに関して、撮像装置１００から被写体までの距離、および、被写体から背景までの距離を推定する。複数の被写体が存在し、かつ、それらの距離が異なる位置関係にある場合（すなわち距離差が有る（大きい）場合）、それぞれの被写体にピントを合わせて撮影するフォーカスブラケット撮影を優先する。または、低コントラスト被写体や近接実写（マクロ）撮影時など、被写体のピント合わせが難しい撮影シーンにおいて、予め決められた複数のフォーカス位置でのフォーカスブラケット撮影を実施してもよい。
【００３４】
ステップＳ４０３にて距離差がある（大きい）場合、ステップＳ４０４に進む。一方、ステップＳ４０３にて距離差が無い（小さい）場合、ステップＳ４０５に進む。また、ステップＳ４０７にて距離差がある（大きい）場合、フォーカスブラケット撮影を選択する。一方、ステップＳ４０７にて距離差が無い（小さい）場合、ステップＳ４０８に進む。
【００３５】
ステップＳ４０４、Ｓ４０５、Ｓ４０８、または、Ｓ４０９において、システム制御部５は、図２のステップＳ１０３のヒスト解析結果に基づくヒスト判定を行う。本実施形態では、ＥＶＦ表示画像中の輝度のヒストグラムを生成し、そのヒストグラムの分布からコントラスト判定を行う。ここで、コントラストが大きく、露出設定が難しい撮影シーンであると判定された場合、露出を変更して複数の撮影を行う露出ブラケットを選択する。
【００３６】
一方、ステップＳ４０４にてコントラストが小さいと判定された場合、フォーカスブラケットを選択する。また、ステップＳ４０５、Ｓ４０８、または、Ｓ４０９にてコントラストが小さいと判定された場合、いずれのブラケット撮影も効果的でないとし、ブラケット撮影を行わない。このように、ブラケット撮影を行う必要はない撮影シーンであると判定した場合、通常の単写を行うことでブラケット撮影を行う場合と比較して撮影時間を短縮することが可能である。ただし、本実施形態はこれに限定されるものではなく、必ずいずれかのブラケット項目（例えば、露出ブラケット）が選択されるように構成してもよい。この場合、例えば予め定められたブラケット撮影を行うように構成される。
【００３７】
本実施形態において、撮影シーン判定手段が撮影シーンに含まれる少なくとも二つの被写体の間に所定の距離以上の距離差があると判定した場合、撮影手段はフォーカスブラケット撮影を行う。また、撮影シーン判定手段が撮影シーンのコントラストが所定のコントラストよりも高いコントラストであると判定した場合、撮影手段は露出ブラケット撮影を行う。また、撮影シーン判定手段が撮影シーンの被写体または撮像装置が動いていると判定した場合、撮影手段はシャッタースピードブラケット撮影または連写撮影を行う。
【００３８】
また本実施形態において、選択手段は、撮影シーンに含まれる被写体の種類に応じて、複数の種類のパラメータから選択される一つのパラメータを変更する。また撮影手段は、選択手段によるいずれの選択条件にも当てはまらない場合、単写または予め定められたブラケット撮影を行う。
【００３９】
また本実施形態において、フォーカスブラケット撮影および露出ブラケット撮影のいずれも可能な撮影シーンのとき、被写体が人の場合にはヒスト判定の結果に応じて露出ブラケット撮影を優先させる。一方、被写体がモノの場合には、フォーカスブラケット撮影を優先させる。ただし、本実施形態はこれに限定されるものではない。
【００４０】
このように、本実施形態の撮像装置１００は、図４を参照して説明したアルゴリズムに従って、撮影待機中に得られた撮影シーン（撮影シーン情報）に応じて、適切なパラメータ（適切なブラケットの種類）を自動的に判定することができる。なお、本実施形態における他の実施形態として、ブラケット項目の種類の組み合わせや判定条件を変更し、図４のアルゴリズムと異なる構成を採用してもよい。例えば、撮像装置１００または被写体が動いていると判定した場合、連写撮影を選択するように構成することができる。
【００４１】
このようにブラケット項目が決定されると、更にその項目の振り幅を決定する際に、ステップＳ２０１で選択されたカテゴリの結果を考慮する。以下にその処理の一例について説明する。
【００４２】
例えば露出ブラケットが選択された場合、露出補正量の振り幅は予め定められた範囲内に収まるように、被写体や背景の明るさのバランスを考慮して設定される。この振り幅の範囲、つまり露出補正量の変更可能な範囲は、選択されたカテゴリに応じて予め設定される。
【００４３】
図５に、カテゴリごとの露出補正量の振り幅の上限および下限を示す。カテゴリとしてオートもしくはカラフルが選択された場合には、適正な露出値を基準とすると、露出補正量の上限は＋２段、下限は−２段に設定される。カテゴリとしてモノトーンが選択された場合には、露出補正量の上限は＋３段、下限は−３段に設定される。これは、モノトーンのカテゴリで処理される画像は色味がない、もしくは色味が薄いため、画像間の輝度値の差を大きくしたほうがブラケット撮影で得られた複数の画像間の差を大きく見せやすくなるためである。カテゴリとしてバラエティが選択された場合には、露出補正量の上限は＋４段、下限は−４段に設定される。これは、バラエティは、ブラケット撮影で得られた画像間に大きな差をつけることを意図するためのカテゴリであるため、露出補正量の範囲も大きく設定される。
【００４４】
カテゴリとしてハイキーが選択された場合には、適正な露出値を下限とし、上限は＋４段に設定される。これは、ハイキーのカテゴリが画面全体の輝度が高い画像を意図するためのカテゴリであるため、露出ブラケットで得られる画像が高輝度側にシフトするように露出補正量が設定される。また、カテゴリとしてローキーが選択された場合には、適正な露出値を上限として、下限は−４段に設定される。これは、ローキーのカテゴリが画面全体の輝度が低い画像を意図するためのカテゴリであるため、露出ブラケットで得られる画像が低輝度側にシフトするように露出補正量が設定される。
【００４５】
このように、選択されたカテゴリに応じて、露出ブラケットの露出補正量の振り幅の範囲を変化させたり、露出補正量の振り幅の中心位置を適正な露出値からずらしたり、あるいはこれらを組み合わせた振り幅が設定される。
【００４６】
また、これは露出ブラケットが選択された場合に限らず、例えばシャッタースピードブラケットが選択された場合にも適用できる。例えば、カテゴリとしてバラエティが選択された場合には、適正なシャッタースピードを基準とすると、シャッタースピード補正量の上限は＋４段、下限は−４段に設定する。そして、それ以外のカテゴリが選択された場合には、シャッタースピード補正量の上限は＋２段、下限は負に２段に設定する。
【００４７】
このように、撮影対象となる被写体の状況が同じであっても、ユーザーが選択したカテゴリに応じて、ブラケット撮影で選択されるパラメータの組合せを異ならせている。こうすることで、ブラケット撮影で得られた各画像に対してユーザーの意図を反映させるだけでなく、ブラケット撮影で得られた複数の画像間の差異にも、ユーザーの意図を反映させることが可能になる。
【００４８】
そして、ステップＳ２０３に進み、システム制御部５は、ステップＳ２０２にて選択された一つのパラメータの値を変更させてブラケット撮影を行う。撮影された複数の画像データは、撮像装置１００のメモリ３に格納される。
【００４９】
続いてステップＳ２０４において、画像処理回路４は、複数の画像データに対して、ブラケット画像処理の中身を決定し、ステップＳ２０５で決定された条件に基づいてブラケット画像処理を行う。図６を参照して、ブラケット撮影画像に対して図２のステップＳ２０５における画像処理によるブラケットを行う方法について説明する。
【００５０】
図６は、ブラケット処理により生成される画像群の一例である。図６において、ブラケット１は、図２のステップＳ２０２にて選択されたパラメータ（ブラケットの種類）である。ブラケット１は、選択された１種類のパラメータに関してブラケット撮影を行い、Ｎ枚（ここでは、露出ブラケットであってＮ＝３）の画像を撮影する。図２のステップＳ２０３で行ったブラケット撮影が該当する。
【００５１】
図６のブラケット２、ブラケット３は、図２のステップＳ２０４における画像処理で行われるブラケット処理である。本実施形態では、ブラケット２として彩度、色相、輝度、およびシャープネスなどを変換する加工処理（特殊効果処理）、ブラケット３として画像の切り出しによってアスペクトを変換する処理（アスペクト変換処理）をそれぞれ設定している。これら特殊効果処理とアスペクト変換処理において、それぞれ３種類のバリエーション画像を生成している。
【００５２】
すなわち、ブラケット１（ブラケット撮影）によって、ＢｋｔＡ（−２段）、ＢｋｔＢ（０段）、ＢｋｔＣ（＋２段）の３種類の画像が生成される。ブラケット２（特殊効果）によって、Ｅｆｃ０、Ｅｆｃ１、Ｅｆｃ２の３種類の特殊効果処理が施された画像が生成される。ブラケット３（アスペクト変換）に関しては、Ａ０（４：３）、Ａ０ａ（１：１）、Ａ０ｂ（１６：９）の３種類の画像が生成される。このため本実施形態では、最終的に、１回の撮影に対して、３×３×３＝２７種類の画像を生成することができる。
【００５３】
このように画像処理回路４は、撮影手段で得られた撮影画像に対して、ブラケット撮影時とは異なる複数のパラメータの値を変更してブラケット画像処理を行うことにより、更に複数の画像を生成することが可能である。つまり、画像処理回路４は、ブラケット撮影で得られた画像を入力画像とし、この入力画像に加工処理を施すことで、入力画像よりも多くの出力画像を生成している。
【００５４】
ここで、加工処理としては、上述した処理以外にも、画像全体をぼかす処理、画像全体を歪ませる処理、画像全体のコントラストを強調する処理、あるいは、画像の収差を補正する処理など、様々な種類のものが存在する。そのため、前述の特殊効果やアスペクト変換などを含む画像処理の組み合わせのパターンは数多くのものが考えられ、これら全ての画像処理の組み合わせを適用してブラケット処理を行うと、大量の画像が生成されてしまうことになる。
【００５５】
そこで本実施形態においては、画像処理回路４は、ブラケット撮影で得られた複数の画像に対して、どの加工処理を用いてブラケット画像処理を行うかを自動的に選択する。この自動的にブラケット画像処理の組み合わせを選択する方法について説明する。尚、以下の説明では、ブラケット撮影（ブラケット１）として露出ブラケットを選択し、ブラケット画像処理（ブラケット２、３）として特殊効果フィルタ処理とアスペクト変換処理を用いる場合を例に挙げて述べる。なお、露出ブラケットでは上述のように３枚の画像が生成されるものとする。
【００５６】
図７は、ブラケット画像処理の中身を決定するフローチャートである。
【００５７】
まず、システム制御部５は、図７のステップＳ７００において、最終的に出力する画像の処理内容を決定する。例えばユーザーが必要とする画像の枚数をＭ枚とした時、システム制御部５は、図６に示す２７パターンの画像の中から、Ｍ枚分の画像を生成するための加工処理の中身（処理経路）を決定する（ここでは、Ｍ＝６とする）。
【００５８】
ここで、処理経路の決定方法は、予め決められたいくつかのパターンの中から、選択されたブラケットの種類や被写体判定の結果に応じて適した経路をＭ枚分選択することとする。例えばブラケット１が露出ブラケットである場合には、例露出オーバーの画像から生成した画像が多く用いられるようにＭ枚の処理経路が決定される。
【００５９】
なお、Ｍの値や処理経路の選択は、予めユーザーが自由に指定できるような構成としても良い。
【００６０】
次に、システム制御部５は、ステップＳ７０１において、画像に付加する特殊効果フィルタ処理の内容を決定する。特殊効果フィルタとは、画像全体あるいは一部分に対して、画像の色相、彩度、明度あるいはシャープネスを変換する処理を含む。以下に図８を用いてその詳細を説明する。
【００６１】
図８は、特殊効果フィルタ処理のフローチャートである。本実施形態において、撮像装置が備える特殊効果フィルタの種類はＰ種類とし、それぞれの使用確率である優先度は、フィルタ重みＷ［ｉ］（ｉ＝０、１、・・・、Ｐ）によって決定される。システム制御部５は、ステップＳ８００において、ブラケット１の種類に応じて、重みＷを変更する。例えば、ブラケット１が露出ブラケットであれば、明度を変更する特殊効果フィルタよりも色相や彩度を変更する特殊効果フィルタを優先する。つまり、ブラケット１で変更したパラメータとは別の影響を与えるパラメータを優先するように、各フィルタ重みＷ［ｉ］に対して重み付けを行う。具体的には、ブラケット１の種類に応じて、重み付けを変更するための係数ｐ１［ｉ］（ｉ＝０、１、・・・、Ｐ）が予め用意されており、重みＷ［ｉ］とこの係数ｐ１［ｉ］を以下の式（１）で表されるように乗算することで、新たな重みＷ［ｉ］を得る。
Ｗ［ｉ］＝Ｗ［ｉ］×ｐ１［ｉ］  …  （１）
【００６２】
システム制御部５は、ステップＳ８０１において、ステップＳ８００で得られた重みＷ［ｉ］に対して、さらに被写体判定の結果に応じて、新たな係数ｐ２［ｉ］（ｉ＝０、１、・・・、Ｐ）を以下の式（２）のように乗算することで、新たな重みＷ［ｉ］を得る。この係数ｐ２［ｉ］は、例えば以下のような条件を満たすように設定される。
【００６３】
（１）被写体が人の場合、セピア系やソフトフォーカス系の特殊効果フィルタを優先しつつ、肌色の色相を大きく変更するような特殊効果フィルタの重みを下げる。
Ｗ［ｉ］＝Ｗ［ｉ］×ｐ２［ｉ］  …  （２）
【００６４】
システム制御部５は、ステップＳ８０２において、ステップＳ８０１で得られた重みＷ［ｉ］に対して、さらに新たな係数ｐ３［ｉ］（ｉ＝０、１、・・・、Ｐ）を下記の式３に示すように乗算することで、新たな重みＷ［ｉ］を得る。この係数ｐ３［ｉ］は、撮影画像の色分布や輝度分布に応じて設定される。ブラケット１で撮影した画像データのそれぞれから輝度（Ｙ）、彩度（Ｃｈｒｏｍａ）および色相（Ｈｕｅ）のヒストグラムを生成し、その結果に応じて、新たな係数ｐ３［ｉ］（ｉ＝０、１、・・・、Ｐ）を設定する。Ｗ［ｉ］＝Ｗ［ｉ］×ｐ３［ｉ］  …  （３）
【００６５】
係数ｐ３［ｉ］は、例えば以下のような条件を満たすように設定される。
【００６６】
（２）輝度のヒストグラムから撮影画像のコントラストが低いと判断された場合には、コントラスト強調処理を行う特殊効果フィルタを優先する。
【００６７】
（３）黒つぶれや白とびの領域が多いと判断された場合には、露出値の異なる別の画像を合成してダイナミックレンジを拡大する特殊効果フィルタを優先する（ブラケット１で露出ブラケットが行われた場合のみ）。
【００６８】
（４）彩度のヒストグラムから撮影画像の彩度が高いと判断された場合には、彩度を強調する特殊効果フィルタを優先する。
【００６９】
（５）色相のヒストグラムから撮影画像に青の領域が多いと判断された場合には、青の彩度を強調する特殊効果フィルタを優先する。
【００７０】
システム制御部５は、ステップＳ８０３において、ステップＳ８０２で得られた重みＷ［ｉ］に対して、さらに新たな係数ｐ４［ｉ］（ｉ＝０、１、・・・、Ｐ）を下記の式４に示すように乗算することで、新たな重みＷ［ｉ］を得る。この係数ｐ４［ｉ］は、撮影画像内の被写体の距離分布に応じて設定されるものであり、例えば以下のような条件を満たすように設定される。
【００７１】
（６）被写体と背景の距離差が大きいと判断された場合には、背景をさらにぼかす（シャープネスを弱める）ための特殊効果フィルタを優先する。
Ｗ［ｉ］＝Ｗ［ｉ］×ｐ４［ｉ］  …  （４）
【００７２】
システム制御部５は、ステップＳ８０４において、ステップＳ８０３で得られた重みＷ［ｉ］に対して、さらに新たな係数ｐ５［ｉ］（ｉ＝０、１、・・・、Ｐ）を下記の式５に示すように乗算することで、新たな重みＷ［ｉ］を得る。
Ｗ［ｉ］＝Ｗ［ｉ］×ｐ５［ｉ］  …  （５）
【００７３】
この係数ｐ５［ｉ］は、図２のステップＳ２０１でユーザーによって選択されたカテゴリに応じて設定されるものであり、例えば以下のような条件を満たすように設定される。
【００７４】
（７）カテゴリとしてオートが選択されていた場合には、全ての特殊効果フィルタに対する重み付けは１となり、全ての特殊効果フィルタが均等に扱われる。
【００７５】
（８）カテゴリとしてモノトーンが選択されていた場合には、彩度を落とす特殊効果フィルタを優先し、反対に彩度を強調する特殊効果フィルタの係数ｐ５を０に設定する。
【００７６】
（９）カテゴリとしてカラフルが選択されていた場合には、彩度を強調する特殊効果フィルタを優先し、反対に彩度を落とす特殊効果フィルタの係数ｐ５を０に設定する。
【００７７】
（１０）カテゴリとしてバラエティが選択されていた場合には、画像の見た目に大きな影響を与える特殊効果フィルタを優先する。
【００７８】
（１１）カテゴリとしてハイキーもしくはローキーが選択されていた場合には、画面全体の輝度を変更する特殊効果フィルタを優先する。
【００７９】
図９（ａ）に、選択されたカテゴリと優先される特殊効果フィルタの組合せの例を示す。なお、ここでは選択されたカテゴリに応じて特殊効果フィルタの優先度を変える例について説明を行ったが、ここでは選択されたカテゴリに応じて同一の特殊効果フィルタにおける処理パラメータを変更するようにしてもよい。
【００８０】
なお、ユーザーがカラフルのカテゴリを選択したものの、画像の彩度が著しく低い場合には、ユーザーが選択したカテゴリに合った特殊効果フィルタを実施しても、画像にあまり変化が生じない場合もあり得る。このような場合には、図９（ａ）に示す特殊効果フィルタとは別に用意された、図９（ｂ）に示す補助的な特殊効果フィルタが適用される。ユーザーがカラフルのカテゴリを選択したものの、画像の彩度が著しく低い場合には、彩度を強調する代わりに、その画像に含まれる色の色相を変化させるという別の特殊効果フィルタを適用する。こうすることによって、生成されたそれぞれの画像自体に含まれる色は目立たなくとも、複数の画像間では色味に差が生じることとなり、画像群としてみた場合にユーザーの意図を反映させることが可能になる。
【００８１】
そして、システム制御部５は、ステップＳ８０５において、ステップＳ８０４で得られた重みＷ［ｉ］を元に、適用する特殊効果フィルタを決定する。その際、特殊効果フィルタの決定方法は、最終的な重みＷ［ｉ］の最も高いものから順にＭ個を選択しても良い。あるいは、システム制御部５は、ステップＳ８０４で得られた重みＷ［ｉ］に対して乱数を乗算することで新たな重みＷ［ｉ］を求め、この新たな重みＷ［ｉ］の最も高いものから順にＭ個を選択しても良い。この乱数は、選択される特殊効果フィルタが適度にばらつかせるようにするための値であるが、係数ｐ１乃至ｐ５よりも、重みＷ［ｉ］に与える影響が小さくなる範囲内で設定されることが望ましい。
【００８２】
上述したように、カテゴリとしてオートが選択された場合には、すべての特殊効果フィルタが選択対象となるのに対して、モノトーンが選択された場合には一部の特殊効果フィルタは選択対象外となる。また、カテゴリとしてオートが選択された場合には、係数ｐ５はすべての特殊効果フィルタにおいて均等な値が付与されるのに対して、カテゴリとしてそれ以外のものが選択された場合には、係数ｐ５はカテゴリに応じた値が付与される。このように、画像処理回路４による画像処理によるブラケットは、処理対象の画像が同一であっても、ユーザーが選択したカテゴリに応じて、選択される加工処理の中身の組合せが変化する。こうすることで、ブラケット画像処理で得られた各画像に対してユーザーの意図を反映させるだけでなく、ブラケット画像処理で得られた複数の画像間の差異にも、ユーザーの意図を反映させることが可能になる。
【００８３】
以上のように、画像それぞれに付加すべき特殊効果フィルタを、ブラケット撮影の種類や撮影画像の解析結果に応じて決定することができる。
【００８４】
図７に戻り、システム制御部５は、ステップＳ７０２において、アスペクト変換処理の内容を決定する。アスペクト変換処理後の画像のアスペクト比は、アスペクト変換前の画像サイズや被写体判定の結果に基づいて決定される。例えば、被写体が人物の場合は、３：４の縦長構図を優先し、被写体が風景の場合は、１６：９の横長の構図を優先する。あるいは、予め用意されたアスペクトの中からランダムに選択しても良い。
【００８５】
また、被写体判定の結果に基づいてトリミングサイズを決定する際に、小さく写っている被写体のサイズに応じてトリミング処理をしてしまうと、トリミング処理後の画像に含まれる画素数が少ないため、その画像を表示したときの解像感が劣化してしまう。そこで、一般的な自動トリミング処理では、トリミング可能なサイズの下限を設定し、その範囲内でトリミングを行うようにしている。
【００８６】
これに対し、本実施形態では、ユーザーがカテゴリとしてバラエティを選択している場合には、大胆なトリミング処理を許容するため、このトリミング可能なサイズの下限値をその他のカテゴリが選択されている場合よりも、小さく設定する。また、図３（ｂ）に示すように、ユーザーが特殊効果処理のレベルを変更した場合には、変更されたレベルに応じてトリミング可能なサイズの下限値を変更する。
【００８７】
そして、画像処理回路４は、図２のステップＳ２０５に進み、図７のステップＳ７０１で選択された特殊効果フィルタと、ステップＳ７０２で選択されたアスペクト比に基づいて、画像処理を実行し、Ｍ枚の画像を生成する。
【００８８】
以上に述べたように、撮影時は複数のブラケット撮影から最適に選択された１種類のブラケット撮影を行い、続いて画像処理によって特殊効果やアスペクト変換処理に関するブラケット処理を行う。こうすることで、１回の撮影で複数の画像を生成し、ユーザーに互いに異なる複数の画像表現を提示することができる。
【００８９】
なお、本実施形態では、特殊効果フィルタを適用する加工処理に対して優先度を付け、この加工処理の経路を決定してから、それぞれの経路に対するアスペクト変換処理を決定したが、これに限られるものではない。特殊効果フィルを適用する加工処理だけでなく、アスペクト変換処理まで含めたうえで、優先度を付け、これらの処理の経路を決定するようにしてもよい。また、ブラケット撮影で得られた複数の画像のうち、パラメータが適正値に設定された状態で生成された画像に対して、特殊効果処理もアスペクト変換処理も実行しない画像を一つ残すようにしてもよい。
【００９０】
画像処理回路４によるブラケット画像処理が完了すると、図２のステップＳ２０６に進む。ステップＳ２０６において、システム制御部５は、生成された画像（メモリ３に格納された画像）を表示部１１に表示する。このときユーザーは、生成された画像の中から記録したい画像を選択し、記録媒体１０に保存することができる。
【００９１】
以上のとおり、本実施形態の撮像装置は、撮影シーン解析結果に応じた適切なブラケット撮影を自動的に選択することにより、撮影失敗の確率を低減し、高確率でユーザーに所望の画像を提供することができる。また、撮影画像に対して特殊効果や画像切り出しなどの複数の画像処理を組み合わせることにより、異なる複数の画像表現を有する画像を簡易に取得することが可能である。このため本実施形態によれば、煩雑な設定や高度な知識を必要とせずに、撮影シーンに適したブラケット撮影が可能な装置を提供することができる。
【００９２】
また、本実施形形態では、ブラケット撮影、特殊効果フィルタの両方を用いて複数の画像を生成する例をあげて説明を行ったが、これはいずれか一方の処理だけでも構わない。よって、撮影機能がない画像処理装置であっても、同様の効果を得ることが可能である。この場合は、ユーザーがいずれかの画像を選択し、この画像に対してブラケット処理の実行を指示することで、自動的に画像処理パラメータを異ならせて適用した複数の画像を生成させることになる。この場合、レリーズボタンの全押しによる撮影指示に代えて、ユーザーが画像処理によるブラケット処理の実行を指示することが、ユーザーからの１回の画像生成指示に該当する。
【００９３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００９４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００９５】
１  撮像光学系
２  撮像素子
３  メモリ
４  画像処理回路
５  システム制御部
６  露光量制御部
７  フォーカスレンズ制御部
８  焦点距離制御部
９  圧縮回路
１０  記録媒体
１１  表示部
１２  操作部材
【図１】
0005859061.tif 000002
【図２】
0005859061.tif 000003
【図３】
0005859061.tif 000004
【図４】
0005859061.tif 000005
【図５】
0005859061.tif 000006
【図６】
0005859061.tif 000007
【図７】
0005859061.tif 000008
【図８】
0005859061.tif 000009
【図９】
0005859061.tif 000010