(57)【要約】      （修正有）【課題】リフォーカス処理の際に、ユーザに審美性の最も高い画像を初期画像として提示できるようにし、ユーザの負荷を軽減する画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】複数の焦点距離の候補を設定する設定手段と、複数の焦点距離の候補に合焦する複数の画像を生成する生成手段と、複数の画像について審美性を評価する評価手段と、評価された複数の画像の審美性に基づいて、複数の焦点距離の候補より焦点距離を選択する選択手段とを有し、複数の焦点距離範囲において画像を再構成し、その審美性を評価することにより、審美性の最も高くなる焦点距離範囲を取得する。【選択図】図２
2016103807.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像情報に対して複数の焦点距離範囲の候補を設定する設定手段と、
前記複数の焦点距離範囲の候補に合焦する複数の画像を生成する生成手段と、
前記複数の画像について審美性を評価する評価手段と、
前記評価された前記複数の画像の審美性に基づいて、前記複数の焦点距離範囲の候補より焦点距離範囲を選択する選択手段とを有することを特徴とする画像処理装置。
【請求項２】
前記評価手段は、訓練画像を用いて予め学習した識別器により前記複数の画像の審美性の評価値を求め、
前記選択手段は、前記審美性の評価値が最も高い画像に対応する焦点距離範囲を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記処理対象の画像情報を撮影したときの焦点距離範囲が含まれるように、前記複数の焦点距離範囲の候補を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記処理対象の画像情報に対して、前記選択された焦点距離範囲の画像に対する審美性の評価値を関連付けて記録する記録手段をさらに有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記選択された焦点距離範囲の画像の縮小画像を生成し、当該縮小画像を前記処理対象の画像情報に関連付けて記録する縮小処理手段をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記処理対象の画像情報に基づいて画像の再構成をする処理において、前記選択された焦点距離範囲の画像を初期画像として表示手段に表示させる制御手段をさらに有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、複数の画像情報を一覧で表示するときに、前記複数の画像情報それぞれに対応する縮小画像を表示させることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記処理対象の画像情報に対して審美性の評価値を対応させて表示させることを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記評価手段は、前記複数の画像について審美要因ごとに審美性を評価し、
前記選択手段は、前記審美要因ごとに、前記複数の画像の審美性に基づいて前記複数の焦点距離範囲の候補より１以上の焦点距離範囲を選択することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段により生成された全体が合焦している画像に対して、１以上の所定の物体の領域を検出する所定物体検出手段をさらに有し、
前記設定手段は、前記所定物体検出手段により検出された領域の焦点距離範囲が前記焦点距離範囲の候補に含まれるように、前記複数の焦点距離範囲の候補を設定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記生成手段により生成された全体が合焦している画像に対して、１以上の顕著性の高い顕著領域を検出する顕著領域検出手段をさらに有し、
前記設定手段は、前記顕著領域検出手段により検出された顕著領域の焦点距離範囲が前記焦点距離範囲の候補に含まれるように、前記複数の焦点距離範囲の候補を設定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記処理対象の画像情報に基づいて距離マップを生成するマップ生成手段と、
前記距離マップの距離値をクラスタリングすることにより複数の焦点距離範囲の候補を生成するクラスタリング手段とをさらに有し、
前記設定手段は距離マップにおいて出現頻度の高い距離を含む距離の範囲が前記焦点距離範囲の候補に含まれるように、前記複数の焦点距離範囲の候補を設定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１３】
前記生成手段により生成された複数の画像のシーンを判定するための判定手段をさらに有し、
前記選択手段は、前記評価された前記複数の画像の審美性に基づいて、前記判定された画像のシーンごとに複数の焦点距離範囲の候補より焦点距離範囲を選択することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１４】
処理対象の画像情報に対して複数の焦点距離範囲の候補を設定する設定ステップと、
前記複数の焦点距離範囲の候補に合焦する複数の画像を生成する生成ステップと、
前記複数の画像について審美性を評価する評価ステップと、
前記評価された前記複数の画像の審美性に基づいて、前記複数の焦点距離範囲の候補より焦点距離範囲を選択する選択ステップとを有することを特徴とする画像処理方法。
【請求項１５】
コンピュータを請求項１から１３のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影後の画像データの焦点位置を変更する画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来から、被写体を撮影した後で、そこで得られた画像情報から任意の焦点距離に合焦させた画像を生成する方法が知られている。このように撮影後に画像の焦点を変更することは、「リフォーカス」と呼ばれる。特許文献１には、撮影後に、所望の焦点距離範囲に合焦させた観賞用画像を生成する方法が記載されている。特許文献１に記載の方法では、パンフォーカス（画像中のすべてに合焦している状態）になるように設定した複数視点の画像を取得し、そこからパンフォーカス画像と距離画像を取得する。そして、ユーザが指定する焦点距離範囲から外れる部分に画像処理的なブラー処理を加えて被写体の前後にある部分をボケさせることにより、所望の領域に合焦させた画像を生成する。
【０００３】
なお、リフォーカスを実現する方法としては、上述の方法以外にも種々の手法が知られている。例えば、撮影時に、被写体から撮像器へ向かう光線の位置と方向の情報からなる光線空間情報を記録しておき、記録した光線が所定の焦点、絞りを持つ仮想の撮像系によって結像面に結像する画像をシミュレーションによって求める方法も知られている。また他にも、複数焦点で連続撮影した複数枚の画像を合成することで所望の焦点距離範囲にリフォーカスした画像を生成する方法、合焦領域をつなぎ合わせてパンフォーカス画像を生成する方法も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−４４５６４号公報
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ  Ｎｇ、他７名、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【非特許文献２】Ｒｉｔｅｎｄｒａ  Ｄａｔｔａ、他３名、「Ｓｔｕｄｙｉｎｇ  Ａｅｓｔｈｅｔｉｃｓ  ｉｎ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ａｐｐｒｏａｃｈ」、９ｔｈ  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｇｒａｚ，Ａｕｓｔｒｉａ，Ｍａｙ  ７−１３，２００６，Ｐｒｏｃｅｅｄｉｎｇｓ，Ｐａｒｔ  ＩＩＩ，ｐｐ２８８−３０１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したリフォーカスにより観賞用の画像を生成する方法においては、ユーザが所望の焦点距離または合焦させたい画像上の位置を決定する必要がある。しかし、多くの焦点距離または合焦位置の中から、適切な焦点距離または合焦位置を決める作業はユーザにとって大きな負荷であった。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、処理対象の画像情報に対して複数の焦点距離の候補を設定する設定手段と、前記複数の焦点距離の候補に合焦する複数の画像を生成する生成手段と、前記複数の画像について審美性を評価する評価手段と、前記評価された前記複数の画像の審美性に基づいて、前記複数の焦点距離の候補より焦点距離を選択する選択手段とを有することを特徴とする。
【発明の効果】
【０００８】
以上の構成によれば、本発明は、リフォーカスにより画像を生成する際のユーザの負荷を軽減することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に関わる画像処理装置のブロック図。
【図２】第１の実施形態に関わる画像処理のフローチャート。
【図３】第１の実施形態において候補画像情報を格納するテーブルを説明する図。
【図４】第１の実施形態において焦点距離範囲の分割例を説明する図。
【図５】第２の実施形態に関わる画像処理装置のブロック図。
【図６】第２の実施形態に焦点距離範囲候補の設定方法を示すフローチャート。
【図７】第２の実施形態において焦点距離範囲候補の設定方法を説明する図
【図８】第３の実施形態に関わる画像処理装置のブロック図。
【図９】第３の実施形態に焦点距離範囲候補の設定方法を示すフローチャート。
【図１０】第４の実施形態に関わる画像処理装置のブロック図。
【図１１】第４の実施形態に焦点距離範囲候補の設定方法を示すフローチャート。
【図１２】第４の実施形態において候補画像情報を格納するテーブルを説明する図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１１】
図１は、本実施形態に関わる画像処理装置の構成を説明する図であり、後述する本実施形態の画像処理のフローを実施するためのソフトウェアを実行する機能部を示している。図１に示す各機能部は、画像処理装置が有しているＣＰＵがＲＯＭまたはＲＡＭ等の格納手段に格納されている制御プログラムを実行することにより実現される。
【００１２】
本実施形態の画像処理装置は、処理対象となる画像を表す画像情報、後述する本実施形態の処理により取得される最高審美評価値、リフォーカス操作初期画像等のデータとその対象の画像とを関連付けて格納するための画像情報格納部１５０を有する。また、処理対象の画像に対して焦点距離範囲の候補を設定するための焦点距離範囲候補設定部１１０と、再構成画像生成部１１２を用い、読出した焦点距離範囲候補に合焦するように画像再構成（リフォーカス）を行うための候補画像生成部１１１とを有する。また、再構成した画像の審美性評価を行なうための審美性評価部１１３と、処理対象の画像に対する推奨焦点距離範囲を決定するための推奨焦点距離範囲決定部１１４とを有する。また、推奨焦点距離範囲に対応する画像データを縮小処理してサムネイル画像を生成するための画像縮小処理部１１５を有する。また、推奨焦点距離範囲により再構成した画像を設定するための操作初期値設定部１１６と、最高審美性評価値を処理対象の画像と関連付けて格納するための審美評価値記録部１１７とを有する。
【００１３】
以下、本実施形態の各機能部の詳細な処理について、図２を用いて説明する。図２は、本実施形態に関わる画像処理を示すフローチャートである。まず、ステップＳ２０１において、焦点距離範囲候補設定部１１０は、画像情報格納部１５０から処理対象となる画像の画像情報を読出して、これに対して焦点距離範囲の候補を１つ以上設定する。そして、設定した焦点距離範囲の候補を画像情報格納部１５０に格納する。また、焦点距離範囲候補設定部１１０は、複数ある焦点距離範囲の候補のいずれかを示すために用いるインデックス変数ｉを０に初期化する。なお、画像情報とは、例えば、被写体から撮像器へ向かう光線の位置と方向の情報からなる光線空間（ライトフィールド）情報等のデータである。
【００１４】
本実施形態において、焦点距離範囲候補設定部１１０は、最短焦点距離（ｎｅａｒ）から最長焦点距離（ｆａｒ）までの間を均等間隔にＮ個に分割して、焦点距離範囲の候補を設定する。図４は、カメラ４０１に近い焦点距離（ｎｅａｒ）４０２から遠い焦点距離（ｆａｒ）４０３までをＮ個の焦点距離範囲に均等分割している様子を示している。ここで一つの焦点距離範囲は、ある距離範囲の最短距離（手前側距離）と最長距離（奥側距離）の二つの値で表現されるが、ある一つの距離のみに合焦するよう設定する際には、二つの値を同じ値にすればよい。
【００１５】
本実施形態において、ｎｅａｒとｆａｒの値、分割数Ｎの値は、予め画像処理装置内の格納手段（メモリ）に格納されている。これらの値としては、事前に決められた値や、カメラと画像処理装置とを接続することによりカメラのレンズ情報が装置に取込まれることにより決定された値を用いることができる。たとえば、ｎｅａｒの値はリフォーカス処理によって合焦させることが可能な限界値またはレンズの最短焦点距離を設定することができる。また、ｆａｒの値はそれ以上離れた被写体すべてに合焦してしまう値を設定しても良い。距離情報によってリフォーカスを行う方式では距離値の最短、最長を設定しても良い。
【００１６】
なお、図４では焦点距離範囲それぞれが互いに重複しないよう設定されているが、一部が重複するよう設定してもよい。また、本実施形態では、焦点距離範囲が均等になるよう分割しているが、カメラ４０１から遠い焦点距離範囲ほど広くなるように設定してもよい。
【００１７】
次に、ステップＳ２０２において、候補画像生成部１１１は候補画像情報を生成する。このステップでは、候補画像生成部１１１が画像情報格納部１５０からｉ番目の焦点距離範囲候補を読出し、再構成画像生成部１１２を用いて読出した焦点距離範囲に合焦するように画像再構成（リフォーカス）処理を行い、画像を生成する。この画像を候補画像とする。画像再構成の処理は、公知技術を利用すればよいので詳細な説明は省略するが、例えば、非特許文献１に開示されるように、撮影時に光線空間情報を画像情報として記録しておき、シミュレーションによって所定の焦点で結像する画像を生成することができる。また、この方法に限らず、本実施形態の候補画像生成部１１１は他の周知技術を用いて画像情報から画像を再構成する。
【００１８】
そして、候補画像生成部１１１は、再構成された候補画像および使用された焦点距離範囲を画像情報格納部１５０に格納する。画像情報格納部１５０には、上記の一つの候補画像に関する情報以外にも、複数の候補画像に関する候補画像情報が格納される。図３に、複数の候補画像情報を格納するためのテーブルを示す。同図において、画像情報格納部１５０には、候補番号（ＩＤ）３０１、再構成された画像（候補画像）の画像データ３０２、再構成時の焦点距離範囲３０３、その再構成画像に対する審美性評価値３０４が格納される。なお、各画像に対する審美性評価値３０４は次のステップで決定され、画像情報格納部１５０のテーブルに格納されるようになっている。
【００１９】
ステップＳ２０３において、審美性評価部１１３は、ステップＳ２０２で再構成した画像を画像情報格納部１５０より読出し、各画像の審美性評価を行い、審美性評価値を算出する。そして、算出した審美性評価値は、画像情報格納部１５０に格納する。ここで、画像の審美性とは、人間が画像を見て感覚的に感じる美しさのことである。非特許文献２には、人間が審美性のスコアを付与した訓練画像を機械学習の技術によって識別器を予め学習処理し、未知の処理対象の画像に対して識別器により審美性スコアを推定する技術が開示されている。本実施形態の審美性評価部１１３も、非特許文献２と同様の手法により画像に対する審美性評価を行い、審美性評価値として審美性スコアを算出する。この審美性スコアは、その値が高いほどその画像の審美性が高いとする値である。なお、本実施形態では、審美性評価値として画像全体の総合的な審美性スコアを採用するが、例えば、構図の良さ、色の良さ等、審美性に関わる要因別に審美性スコアを算出してもよい。
【００２０】
ステップＳ２０４において、焦点距離範囲候補設定部１１０は、処理対象の画像に対して設定された全焦点距離範囲の候補について以上の処理が行われたかどうかを判定する。この判定の結果、ステップＳ２０２およびＳ２０３の処理が行われていない焦点距離範囲の候補があれば、ステップＳ２０５で変数ｉをインクリメントしたのち、処理はステップＳ２０２へ戻る。焦点距離範囲の候補の全てに対して上述の処理が行われていれば、処理はステップＳ２０６へ進む。
【００２１】
次に、ステップＳ２０６において、推奨焦点距離範囲決定部１１４は、画像情報格納部１５０に格納されている処理対象の画像に対する推奨焦点距離範囲を決定する。本実施形態の推奨焦点距離範囲決定部１１４は、画像情報格納部１５０のテーブルで審美性評価値（図３の３０４）が最も高い候補番号を抽出し、その候補番号に対応する焦点距離範囲３０３を読出して、これを推奨焦点距離範囲として決定する。そして、推奨焦点距離範囲決定部１１４は、決定した推奨焦点距離範囲を画像情報格納部１５０に格納するとともに、対応する審美性評価値を格納する。
【００２２】
次に、ステップＳ２０７において、画像縮小処理部１１５は、ステップＳ２０６で決定した推奨焦点距離範囲に対応する画像データ３０２を縮小処理し、画像情報格納部１５０に格納することにより処理対象の画像の縮小画像（サムネイル）として設定する。また、操作初期値設定部１１６は、推奨焦点距離範囲を画像情報格納部１５０に格納し、リフォーカス操作時の焦点距離範囲の初期値として設定する。さらに、操作初期値設定部１１６は、ステップＳ２０６で決定した候補番号に対応する画像データ３０２を画像情報格納部１５０に格納し、前記初期値によって再構成した画像として設定する。これらサムネイル、リフォーカス操作初期値、及びリフォーカス操作初期画像は、画像情報格納部１５０に格納された処理対象の画像と関連付けて格納される。そのために、本実施形態では、処理対象の画像のファイルフォーマットの一部に、サムネイル、リフォーカス操作初期値、及びリフォーカス操作初期画像を格納するフィールドが設けられている。
【００２３】
さらに、審美評価値記録部１１７は、最高審美性評価値を処理対象の画像と関連付けて格納する。この最高審美性評価値も、サムネイル等と同様に処理対象の画像のファイルフォーマットの一部に格納される。これにより、画像情報格納部１５０に格納されている処理対象の画像とサムネイル、リフォーカス操作初期値、リフォーカス操作初期画像、及び最高審美評価値との関連管理が容易になる。
【００２４】
以上の処理により算出された推奨焦点距離はリフォーカス操作初期値として記憶されており、画像処理装置内のリフォーカス処理部（不図示）によって読出される。そして、リフォーカス処理部は、読出したリフォーカス操作初期値をリフォーカス操作の初期値としてセットし、不図示の表示部にリフォーカス操作初期画像を表示する。このように、本実施形態では、審美性が高い焦点距離範囲で再構成（リフォーカス）された画像をデフォルトとして表示部に表示することができ、観賞用画像を作成する際のユーザの負荷を軽減することが可能になる。
【００２５】
また、リフォーカス操作初期画像が表示部に表示された後、ユーザが不図示の操作部（マウス、キーボード、ボタン等）を用いた操作によって焦点距離範囲を変更した際には、ステップＳ２０２においてその焦点距離範囲で再構成した画像を表示する。そして、リフォーカス処理部は、リフォーカス操作終了時にはリフォーカス操作初期値とリフォーカス操作初期画像を更新する。このように、事前に複数の焦点距離範囲の候補で再構成された画像を保持しておくことにより、ユーザを待たせることなく、各焦点距離範囲で再構成された画像を提示することができる。
【００２６】
さらに、画像情報格納部１５０に格納されている画像の一覧を表示したい際には、画像情報格納部１５０の各画像のサムネイルを読出して表示すればよい。この際、画像情報格納部１５０に格納されている各画像に関連付けられている最高審美性評価値によって順序づけて一覧表示することにより、例えば、審美性評価が高い順に一覧表示することも可能である。なお、リフォーカス操作初期画像やサムネイル一覧を表示する際に、それらの審美性評価値を併せて表示するようにしてもよい。また、ユーザが審美要因を指定することで、その審美要因が高い焦点距離範囲を推奨焦点距離範囲とするようにしてもよい。
【００２７】
また、最高審美性評価値が低い画像を削除候補としてユーザに提示する構成としたり、自動で削除する構成とすることもできる。この場合、最高審美性評価値が所定の閾値以下の画像を対象としたり、画像情報格納部１５０に格納されている各画像のうち最高審美性評価値の低い順に所定数の画像を削除対処とすればよい。
【００２８】
なお、リフォーカス処理を行うための表示部が本実施形態の画像処理装置と別体である場合には、リフォーカス処理部はリフォーカス処理を実行し、リフォーカス操作初期画像等のリフォーカス処理に係るデータの出力をする制御部として機能する。また、リフォーカス処理を本実施形態の画像処理装置とは別体の装置で行う場合には、サムネイル、リフォーカス操作初期値、リフォーカス操作初期画像、及び最高審美評価値を処理対象の画像データと関連付けて出力するようにすればよい。また、画像情報格納部１５０に格納されている再構成された各画像の画像データ３０２、再構成時の焦点距離範囲３０３等も併せて出力することにより、リフォーカス処理の際のユーザの作業負荷を軽減することができる。つまり、ユーザが操作によって焦点距離範囲を変更した場合にも、その焦点距離範囲で再構成した画像を素早く表示することができる。
【００２９】
また、本実施形態の画像処理装置がデジタルカメラ等の撮像装置として提供される場合には、再構成画像生成部１１２によって画像を再構成する構成に代えて、撮影時に焦点距離範囲候補に基づいて複数の焦点距離で撮影を行う構成としてもよい。そして、撮影により得られた各候補画像を画像情報格納部１５０に格納し、上述の説明と同様の処理を行うことで審美性が高い焦点距離範囲で撮影された画像を決定することができる。
【００３０】
また、本実施形態の上述の説明では、推奨焦点距離範囲決定部１１４は、最高審美性評価値に対応した焦点距離範囲を推奨焦点距離範囲として決定しているが、審美性評価値に基づいて１以上の焦点距離を選択する選択部として構成されていてもよい。例えば、審美性評価値が高い所定数の焦点距離範囲を選択し、リフォーカス処理部は、これら複数の焦点距離範囲により再構成した複数の画像を初期画像とし、並べて表示するようにしてもよい。
【００３１】
以上、本実施形態によれば、処理対象の画像に対して、複数の焦点距離範囲において画像を再構成し、その審美性を評価することにより、審美性スコアの最も高くなる焦点距離範囲を取得することができる。これにより、リフォーカス処理の際に、ユーザに審美性の最も高い画像を初期画像として提示できるようになり、リフォーカスにより画像を生成する際のユーザの負荷を軽減することが可能となる。
【００３２】
［第２の実施形態］
次に、本発明の第２の実施形態として、ユーザにより指定された物体カテゴリに基づき所定物体を検出し、検出した所定物体に対応する距離範囲を焦点距離範囲候補とする構成について説明する。
【００３３】
なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。図５は、本実施形態の画像処理装置のソフトウェア構成を示すブロック図である。第１の実施形態との相違点としては、本実施形態に係る画像処理装置は、所定物体検出部１１８と距離マップ生成部１１９を有している。そして、本実施形態では、焦点距離範囲候補の設定方法が第１の実施形態とは異なっている。その他の処理については、第１の実施形態と同様である。
【００３４】
図６は、本実施形態における焦点距離範囲候補の設定方法を示すフローチャートである。同図のフローチャートでは、まずステップＳ６０１において、画像情報に対して再構成画像生成部１１２を用いてパンフォーカスになるように画像を再構成し、生成したパンフォーカス画像を画像情報格納部１５０に格納する。
【００３５】
次に、ステップＳ６０２において、所定物体検出部１１８は、Ｓ６０１で生成したパンフォーカス画像に対して所定の物体領域を検出する。所定の物体とは、ユーザが事前に設定しておいた物体のカテゴリを指すものであり、例えば人間の顔、人体、動物、建物などである。また、所定物体検出部１１８は、複数種類、複数個の物体を検出できるものでもよい。また、所定物体の検出方法としては、画像領域を物体カテゴリ別に分割することにより所定の物体を検出するような方法でもよい。所定物体を指定するための情報は、ユーザにより事前に設定され、画像情報格納部１５０に格納されている。また、所定物体を検出するために所定物体検出部１１８を学習した際のデータも同様に画像情報格納部１５０に格納されている。取得画像から特定の物体を検出する技術は周知の技術であり、ここでは説明を省略する。本実施形態の画像処理は、特定の物体検出方法に限定されるものではない。
【００３６】
所定物体として検出された領域は、画像情報格納部１５０に格納される。検出領域のデータ表現は、矩形領域として位置・幅・高さの数値で表現してもよいし、自由形状としてマスク画像で表現してもよい。検出された物体が複数ある場合には、画像情報格納部１５０には複数の検出領域が格納される。
【００３７】
次に、ステップＳ６０３において、距離マップ生成部１１９は、処理対象の画像の画像情報から距離マップを生成し、画像情報格納部１５０に格納する。例えば、画像情報として光線空間情報を処理する場合、光線空間情報は複数視点情報と同等の情報を持っているので、ステレオ法などにより距離を算出することができる。作成する距離マップは、画像と同サイズの距離画像として表現すればよい。
【００３８】
次に、ステップＳ６０４において、焦点距離範囲候補設定部１１０は、検出領域に対する距離範囲を算出し、これを焦点距離範囲候補として画像情報格納部１５０に格納する。これは、ステップＳ６０３により作成した距離マップから検出領域に相当する部分の距離範囲（最短距離、最長距離）を求めるなどすればよい。最短距離、最長距離の差が所定の閾値以下であれば、両者を同じ値として処理してもよい。また、検出領域として複数の領域が格納される構成では、それに対応して複数の距離範囲が格納される。このとき、２つの距離範囲同士を比較して範囲の差（最短距離の差、最長距離の差）が所定の閾値以下ならば、ほぼ同じ範囲であるとして一つの範囲に統合してもよい。これは、検出される所定物体がほぼ同じ距離範囲に存在していた場合などが該当する。また、焦点距離範囲候補には、ｎｅａｒとｆａｒを加えてもよい。また、処理対象の画像の画像情報に撮影時焦点距離の合焦範囲が含まれていれば、これを加えても良い。これは、撮影の際、撮影者が画像情報取得時にファインダ内もしくはプレビュー画像などで被写体を認していた際に用いられた焦点距離である。
【００３９】
次に、ステップＳ６０５において、焦点距離範囲候補設定部１１０は、焦点距離範囲候補として格納されている焦点距離範囲候補の組み合わせを求め、焦点距離範囲候補として追加格納する。ここで、組み合わせとは、焦点距離候補それぞれの最短距離と、焦点距離候補それぞれの最長距離との組み合わせからなる焦点距離範囲である。なお、ステップＳ６０４により既に格納されている焦点距離範囲と同じ組み合わせは除外する。
【００４０】
図７は、本実施形態における焦点距離範囲候補の設定を説明する図である。図７に示すように、ここでは、焦点距離範囲候補設定部１１０により、第１、第２、第３の検出領域の距離範囲７０４、７０５、７０６が求められている。そして、焦点距離範囲候補設定部１１０により、第１、第２、第３の検出領域の距離範囲７０４、７０５、７０６に対応して、それぞれ第１、第２、第３の焦点距離範囲候補７０７、７０８、７０９が設定されている。また、上述のステップＳ６０５の処理により、焦点距離範囲候補の組合せも求められている。具体的には、焦点距離範囲候補設定部１１０は、第１の焦点距離範囲候補７０７の最短距離と第２の焦点距離範囲候補７０８の最長距離とに基づき、第４の焦点距離範囲候補７１０を設定する。同様に、第２の焦点距離範囲候補７０８と第３の焦点距離範囲候補７０９の組合せにより、第５の焦点距離範囲候補７１１が設定され、第１の焦点距離範囲候補７０７と第３の焦点距離範囲候補７０９の組合せにより、第６の焦点距離範囲候補７１２が設定されている。このようにして、図７の例では、６つの焦点距離範囲候補が設定される。
【００４１】
以上、本実施形態の構成では、所定の被写体に合焦する焦点距離が焦点距離候補として設定されることになる。また、複数の被写体がある場合、被写体に合焦する焦点距離範囲の全組合せが焦点距離範囲候補として設定される。そして、これらの組合せの中から、審美的に美しいと判定される画像に対応する焦点距離範囲が推奨焦点距離範囲として算出される。本実施形態は、単純に特定物体に合焦する距離範囲を焦点距離範囲候補に設定するのではなく、所定物体に対応する焦点距離範囲候補の中から、審美的に美しいと判定される被写体の組み合わせに合焦する焦点距離範囲を推奨焦点距離範囲として設定できる。
【００４２】
なお、上述の説明では、ユーザにより指定された物体カテゴリに基づき所定物体を検出し、検出した所定物体に対応する距離を焦点距離範囲候補とする例を示した。しかし、ユーザの指定を受け付けなくとも、例えば、画像の特徴量に基づいて顕著性の高い領域を判定し、その領域を上記説明の検出領域とすることも可能である。顕著性の高い領域を判定する手法は周知であり、その詳細は省略するが、例えば、空間周波数が高い領域を顕著領域として検出する方法などを用いることができる。この場合、本実施形態では、所定物体検出部１１８に代えて、顕著領域検出部（不図示）が空間周波数の高い領域を顕著領域として検出することになる。このような構成により、ユーザによる所定物体の事前指定や所定物体検出部１１８の学習などが不要になる。
【００４３】
また、所定物体を検出する処理に替わる更に別の構成として、画像の主被写体を検出する方法を用いるようにしてもよい。主被写体検出の方法とは、画像を見た人間が主被写体と感じる領域を推定する方法である。前記のような顕著領域であるだけでなく、領域の位置、形状、色、他の領域との関係などを鑑みて、主被写体らしい領域を推定する技術である。このような構成をとることにより、被写体らしいの領域の候補の中から主被写体らしくない領域を削除することができ、以降の処理を高速に行うことができる。
【００４４】
［第３の実施形態］
次に、本発明の第３の実施形態として、作成した距離マップの距離値をクラスタリングし、クラスタリングした各距離値の範囲を焦点距離範囲候補として設定して、推奨焦点距離範囲を求める構成について説明する。
【００４５】
なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。図８は、本実施形態の画像処理装置のソフトウェア構成を示すブロック図である。本実施形態に係る画像処理装置は、第２の実施形態と同様に距離マップ生成部１１９を有する。また、本実施形態に係る画像処理装置は、新たな構成として、距離マップの距離値をクラスタリングするためのクラスタリング部１２０を有している。そして、本実施形態においても、焦点距離範囲候補の設定方法が第１の実施形態とは異なっており、その他の処理については、第１の実施形態と同様である。
【００４６】
以下、本実施形態における焦点距離範囲候補の設定について説明する。図９は、本実施形態における焦点距離範囲候補設定部１１０の処理の流れを説明するフローチャートである。同図では、まずステップＳ９０１において、距離マップ生成部１１９が、処理対象の画像の画像情報から距離マップを生成し、画像情報格納部１５０に格納する。この処理は、第２の実施形態のステップＳ６０３と同様である。
【００４７】
次に、ステップＳ９０２において、クラスタリング部１２０は、ステップＳ９０１により作成した距離マップの距離値をクラスタリングし、各クラスタの最小値と最大値を距離値クラスタ範囲として画像情報格納部１５０に格納する。このとき、各クラスタに含まれるデータのうち平均値に近い所定数のデータだけを選び、その最大値、最小値を格納してもよい。所定数のデータとして、例えば、クラスタ中のデータの個数に１．０以下の値を掛けて得られる数のデータを選ぶようにすればよい。
【００４８】
クラスタリングの手法としては種々の方法が知られており、本実施形態のクラスタリング部１２０は特定のクラスタリング方法に限定されるものではない。例えば、本実施形態のクラスタリング部１２０は、ｋ−ｍｅａｎｓ法を用いることができる。ｋの値は、距離マップのヒストグラムを算出し、出現頻度の値が所定の閾値を超えている連続範囲の数などに設定すればよい。
【００４９】
次に、ステップＳ９０３において、焦点距離範囲候補設定部１１０は、距離値クラスタ範囲を焦点距離範囲候補として設定し、画像情報格納部１５０に格納する。距離値クラスタ範囲が複数ある場合、焦点距離範囲候補設定部１１０は複数の距離値クラスタ範囲を格納する。
【００５０】
次に、ステップＳ９０４において、焦点距離範囲候補設定部１１０は、焦点距離範囲候補として格納されている焦点距離範囲候補の組み合わせを求め、焦点距離範囲候補として追加格納する。これは、第２の実施形態のステップＳ６０５と同様の処理である。以上のようにして焦点距離範囲候補が設定されたあと、第１の実施形態と同様に、審美的に美しいと判定される画像に対応する焦点距離範囲が推奨焦点距離範囲として算出される。
【００５１】
以上、本実施形態の構成では、指定された物体カテゴリに基づいて所定物体を検出する所定物体検出部を備えなくとも、被写体が存在する距離範囲を焦点距離範囲候補として設定し、審美的に美しいと判定される距離範囲を推奨焦点距離範囲が算出できる。
【００５２】
［第４の実施形態］
次に、本発明の第４の実施形態として、処理対象の画像の審美性をシーン種別ごとに評価することにより、各シーンで審美性の最も高くなる焦点距離範囲を取得する構成について説明する。
【００５３】
なお、第１〜第３の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。図１０は、本実施形態の画像処理装置のソフトウェア構成を示すブロック図である。第１の実施形態との差異として、本実施形態に係る画像処理装置は、画像のシーン種別を判定するためのシーン種別判定部１２１を有している。
【００５４】
以下、本実施形態における焦点距離範囲候補の設定について説明する。図１１は、本実施形態における焦点距離範囲候補設定部１１０の処理の流れを説明するフローチャートである。同図における処理は、第１の実施形態におけるステップＳ２０６の処理に代わり実施される処理である。そのため、図１１に示す本実施形態の処理の前までに、第１の実施形態におけるステップＳ２０１〜Ｓ２０５の処理が行われており、画像情報格納部１５０には候補画像情報が既に格納されている。ただし、本実施形態における候補画像情報は、図３に示した第１の実施形態における候補画像情報とは内容が異なっている。
【００５５】
図１２は、本実施形態における候補画像情報のデータ内容を説明する図である。同図において、本実施形態の候補画像情報は、候補番号（ＩＤ）３０１、再構成された画像の画像データ３０２、再構成時の焦点距離範囲３０３、審美性評価値３０４に加えて、シーン種別ＩＤ１２０５を含む。Ｓ２０５までの処理により、候補番号（ＩＤ）３０１、画像データ３０２、焦点距離範囲３０３、審美性評価値３０４は取得できているが、シーン種別ＩＤ１２０５については、後述する図１１の処理フローにより求められる。
【００５６】
図１１に戻ると、まずステップＳ１１０１において、焦点距離範囲候補設定部１１０は、候補画像情報のデータＩＤを指し示すインデックス変数ｉを０にセットする。
【００５７】
次に、ステップＳ１１０２において、シーン種別判定部１２１は、画像情報格納部１５０の候補画像情報から画像データ３０２を読出し、画像のシーン種別を判定する。判定結果は、シーンの種別を表すＩＤの値として候補画像情報のシーン種別ＩＤ１２０５に格納する。シーン種別とは、例えば、ポートレイト、風景、夜景等である。画像のシーン種別を判別する方法は周知の技術であるので、ここでは詳しい説明は省略するが、シーン種別が分かっている学習用画像を用いて事前にシーン種別判定部を学習すればよい。
【００５８】
次に、ステップＳ１１０３において、全候補画像情報の全画像データに対して上記ステップＳ１１０２の処理が行われたかどうかを判定する。未だ処理の行われていない画像データがあればステップＳ１１０２に戻り、全画像データに対して処理が完了していればステップＳ１１０５に進む。
【００５９】
ステップＳ１１０５では、審美性評価部１１３がシーン種別ＩＤごとに審美評価値が最大になる焦点距離範囲を決定し、これを推奨焦点距離範囲として画像情報格納部１５０に格納する。このように、本実施形態の審美性評価部１１３は、第１の実施形態の構成とは異なり、シーン種別ごとの推奨焦点距離範囲を格納する。
【００６０】
次に、ステップＳ１１０６において、シーン種別ごとにサムネイル、リフォーカス操作初期値、リフォーカス操作初期画像が生成、決定されて、画像情報格納部１５０に格納される。この処理は、第１の実施形態のステップＳ２０７と同様の処理である。
【００６１】
以上の処理により、シーン種別ＩＤごとに算出された推奨焦点距離はリフォーカス操作初期値として記憶されており、画像処理装置内のリフォーカス処理部（不図示）によって読出される。まずユーザが不図示の操作部を用いてシーン種別を選択すると、リフォーカス処理部は、そのシーン種別に応じたリフォーカス操作初期値をリフォーカス操作の初期値としてセットし、不図示の表示部にリフォーカス操作初期画像を表示する。リフォーカス処理を行うと画像の絵柄が大きく変化するため、シーンの意味が変わってしまう場合もある。しかし、本実施形態の構成によって、ユーザが意図するシーンを逸脱しない範囲内で最も審美性が高い画像を初期画像として表示できるようになる。
【００６２】
さらに、画像情報格納部１５０に格納されている画像の一覧を表示したい際には、シーン種別ごとに最も審美性が高いと判定された画像のサムネイルを読出して表示すれば、ユーザは各シーンで最も審美性が高い画像を一覧で見比べることができる。
【００６３】
なお、上述の説明では、シーン種別判定部１２１が処理対象の画像を解析して画像のシーン種別を判定するようにしている。本実施形態はこれに限らず、撮影時にユーザが設定した撮影時シーンモード（ポートレートモード、風景モード等）を取得することにより、画像のシーン種別を判定するようにしてもよい。
【００６４】
以上、本実施形態によれば、処理対象の画像の審美性をシーン種別ごとに評価することにより、各シーンで審美性の最も高くなる焦点距離範囲を取得することができる。これにより、リフォーカス処理の際に、ユーザにより指定されたシーンの中で審美性の最も高い画像を初期画像として提示できるようになり、リフォーカスにより画像を生成する際のユーザの負荷を軽減することが可能となる。
【００６５】
［その他の実施形態］
なお、本発明は、以下の種々の形態に適用可能である。例えば、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明の趣旨は、種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれる。
【符号の説明】
【００６６】
１１０  焦点距離範囲候補設定部
１１１  候補画像生成部
１１２  再構成画像生成部
１１３  審美性評価部
１１４  推奨焦点距離範囲決定部
１１５  画像縮小処理部
１１６  操作初期値設定部
１１７  審美評価値記録部
１５０  画像情報格納部
【図１】
2016103807.tif 000003
【図２】
2016103807.tif 000004
【図３】
2016103807.tif 000005
【図４】
2016103807.tif 000006
【図５】
2016103807.tif 000007
【図６】
2016103807.tif 000008
【図７】
2016103807.tif 000009
【図８】
2016103807.tif 000010
【図９】
2016103807.tif 000011
【図１０】
2016103807.tif 000012
【図１１】
2016103807.tif 000013
【図１２】
2016103807.tif 000014