(57)【要約】【課題】  複数の画像から成る画像セットに加工処理を行う際、画像セット全体として適切なフィルターの選択を行えるようにする。【解決手段】  入力画像から抽出した画像情報と各入力画像および各加工画像の審美スコアとに基づいて、加工手段を適用する入力画像と、その加工手段の種類とを選択する。【選択図】  図３
2016170632.tif 000002
【特許請求の範囲】
【請求項１】
種類の異なる複数の加工手段により、画像セットに含まれる複数の入力画像に加工処理を行う画像処理装置であって、
前記複数の入力画像それぞれから画像情報を抽出する抽出手段と、
前記複数の入力画像、および当該複数の入力画像に前記複数の加工手段のそれぞれを適用して生成される複数の加工画像それぞれの審美性に係る評価値を推定する推定手段と、
前記抽出手段により抽出した画像情報と、前記推定手段により推定した複数の入力画像および複数の加工画像の審美性に係る評価値とに基づいて、前記画像セットから前記加工手段を適用する入力画像と、当該入力画像に対して適用する加工手段の種類とを選択する選択手段と、
を有することを特徴する画像処理装置。
【請求項２】
前記選択手段は、既に選択した入力画像の画像情報に基づいて、前記画像セットから前記加工手段を適用する入力画像を順次選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、既に選択した加工手段の種類に基づいて、前記適用する加工手段の種類を順次選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定手段は、前記複数の入力画像に前記複数の加工手段のそれぞれを適用して複数の加工画像を生成し、当該生成した複数の加工画像それぞれの審美性に係る評価値を予め学習した推定器により推定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記推定手段は、前記複数の入力画像それぞれについて、推定した審美性に係る評価値が最も高い加工画像を記憶手段に記憶させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像情報は、前記入力画像が撮影された時刻の情報、前記入力画像が撮影された場所の情報、前記入力画像のシーン判別結果、前記入力画像に写っている人物情報のいずれかを含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像セットから前記加工手段を適用する入力画像の枚数を調整するためのパラメータを設定するパラメータ設定手段を更に有し、
前記選択手段は、前記パラメータ設定手段により設定されたパラメータに基づいて、前記画像セットから前記加工手段を適用する入力画像を選択する枚数を調整することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像セットのテーマを設定するためのテーマ設定手段を更に有し、
前記選択手段は、前記テーマ設定手段により設定されたテーマに基づいて、前記複数の加工手段それぞれの選択のされやすさを異ならせることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
種類の異なる複数の加工手段により、画像セットに含まれる複数の入力画像に加工処理を行う画像処理方法であって、
前記複数の入力画像それぞれから画像情報を抽出する抽出ステップと、
前記複数の入力画像、および当該複数の入力画像に前記複数の加工手段のそれぞれを適用して生成される複数の加工画像それぞれの審美性に係る評価値を推定する推定ステップと、
前記抽出ステップにおいて抽出した画像情報と、前記推定ステップにおいて推定した複数の入力画像および複数の加工画像の審美性に係る評価値とに基づいて、前記画像セットから前記加工手段を適用する入力画像と、当該入力画像に対して適用する加工手段の種類とを選択する選択ステップと、
を有することを特徴する画像処理方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像から成る画像セットに対して加工処理を行う技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやスマートフォンの普及により、個人が大量の写真を保有するようになり、それに伴って写真の閲覧方法も変化している。多くの写真を効率的に閲覧するために、例えば、ピクチャーフレームの自動スライドショーによって閲覧したり、自動で写真を選択してアルバムを作成し閲覧したりすることが一般的に行われるようになってきている。
【０００３】
更に、写真セットのうち一部の写真に加工処理を施すことで閲覧者に意外性を与え、提示する写真群が単調にならないようにすることも知られている。ここでいう写真の加工処理とは、写真に特定のフィルターをかけることで元の写真と異なる画風の写真を作成する処理を指している。特に、フィルターの種類をユーザに選択させるのではなく自動で選択することで、スライドショーやアルバムを作成する際のユーザの負担を軽減する技術が知られている。
【０００４】
特許文献１には、各フィルターにシーンごとの重みを設定しておき、写真のシーン判定結果に応じてフィルターの選択されやすさを異ならせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１１５６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、写真セットの個々の写真に対して適切にフィルター選択が行えたとしても、写真セット全体としては適切なフィルター選択になっていない場合があった。例えば、写真セットに対して同一のフィルターばかりが選択されて似たような雰囲気の写真が作成される場合や、写真セットの大多数の写真に対して加工処理が行われ、オリジナルの写真セットから雰囲気の大きく異なる写真セットが作成されてしまう場合があった。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、種類の異なる複数の加工手段により、画像セットに含まれる複数の入力画像に加工処理を行う画像処理装置であって、前記複数の入力画像それぞれから画像情報を抽出する抽出手段と、前記複数の入力画像、および当該複数の入力画像に前記複数の加工手段のそれぞれを適用して生成される複数の加工画像それぞれの審美性に係る評価値を推定する推定手段と、前記抽出手段により抽出した画像情報と、前記推定手段により推定した複数の入力画像および複数の加工画像の審美性に係る評価値とに基づいて、前記画像セットから前記加工手段を適用する入力画像と、当該入力画像に対して適用する加工手段の種類とを選択する選択手段と、を有することを特徴する。
【発明の効果】
【０００８】
以上の構成によれば、本発明は、複数の写真（画像）から成る写真セット（画像セット）に加工処理を行う際、画像セット全体として適切なフィルターの選択が可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に関わる画像処理装置のフィルター種別と処理内容を示す図。
【図２】第１の実施形態に関わる画像処理装置のブロック図と処理のフローチャート。
【図３】第１の実施形態に関わる画像処理方法のフローチャート。
【図４】第１の実施形態に関わる審美スコア推定処理のフローチャート。
【図５】第１の実施形態に関わる画像／フィルター選択処理のフローチャート。
【図６】第１の実施形態に関わる画像セットバランス度の算出処理のフローチャート。
【図７】第１の実施形態に関わるフィルター類似度テーブルを説明する図。
【図８】第２の実施形態に関わる画像処理装置のブロック図。
【図９】第２の実施形態に関わるテーマ毎のフィルター重みと加工画像割合を示す図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。
【００１１】
本実施形態における「加工」または「加工処理」とは、ノイズ軽減やコントラスト調整のような画質向上のための「補正」とは異なり、入力画像を別の画風、カテゴリの画像に変えるための処理を指す。本実施形態の画像処理装置には、種類の異なる複数の加工手段（フィルター）による加工処理が予め設定されている。なお、以下の説明では、それぞれの加工処理を実行することを「フィルターをかける」とも記す。
【００１２】
図１は、本実施形態の画像処理装置に設定されているフィルター種別とその処理内容を示す。同図に示されるように、本実施形態の画像処理装置に予め設定されているフィルターには、例えばカラー写真を単色の写真にするモノクロフィルターや、魚眼レンズで撮影したかのような歪みを付加する魚眼フィルターなどがある。また、例えば、モノクロフィルターでは、入力画像を「白黒」、「青」、または「セピア」の色調の画像に変更させることができ、魚眼フィルターでは、効果の強弱を３段階で調整できるようになっている。
【００１３】
図２（ａ）は、本実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。ＣＰＵ１は、ＲＯＭ３またはＨＤ４に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置１００の機能及び後述するフローチャートに係る処理が実現される。ＲＡＭ２は、ＣＰＵ１がプログラムを実行する際に利用されるデータ等を記憶する。ＲＯＭ３は、画像処理装置１００が起動された際に読み込まれるブートプログラム等を記憶する。ＨＤ４は、本実施形態にかかるプログラム等を記憶する。なお、説明の簡略化のため省略してあるが、画像処理装置１００は、撮影手段（カメラ）との通信等を司るインターフェースに関するハードウェアを有し、カメラにより撮影された画像を取り込み、ＨＤ４に記憶することができる。
【００１４】
図２（ｂ）は、画像処理装置１００の機能構成（ソフトウェア構成）を示すブロック図である。画像情報抽出部１１０は、入力画像セット１１を入力として受取り、入力画像セット１１に含まれる各画像の画像情報の抽出を行う。画像情報抽出部１１０は、カメラから取り込まれＨＤ４に記憶されている入力画像セット１１を受取ることもできるし、画像処理装置１００に接続されているカメラから直接入力画像セット１１を受取ることもできる。画像セットパラメータ設定部１２０は、入力画像セットに対するパラメータを設定する。
【００１５】
審美スコア推定部１３０は、ＨＤ４に記憶されている審美推定器１０とフィルターセット１２を用いて、入力画像セット１１の各画像に対してフィルターセット１２に含まれる各フィルターを適用したときの審美スコアと、オリジナルの各画像の審美スコアを推定する。画像／フィルター選択部１４０は、画像セットパラメータ設定部１２０で設定したパラメータ情報及び審美スコア推定部１３０で算出した各画像の推定審美スコアに基づき、入力画像セット１１の中から加工処理する画像と適用するフィルターを選択する。加工画像出力部１５０は、画像／フィルター選択部１４０で選択された画像に対して、選択されたフィルターを適用して加工画像を作成し、加工画像を含む出力画像セット１３を出力する。
【００１６】
以下、図３に示す本実施形態による画像処理方法のフローチャートを参照しつつ、各機能部の処理の詳細について説明する。ステップＳ３０１において、画像情報抽出部１１０は、入力画像セット１１に含まれる複数の画像それぞれに対して画像情報の抽出を行う。本実施形態では、画像情報として、画像のＥＸＩＦデータから取得できる時刻情報やＧＰＳ情報、シーン種別、人物情報を取得する。シーン種別は、任意のシーン判別方法によって得られるシーン判別結果である。また、撮影時に撮影機器によって判別されたシーン判別結果を、シーン種別として利用するようにしてもよい。
【００１７】
人物情報は、画像中に存在する人物の個人識別情報である。人物情報は、入力画像セット１１に含まれる全画像から人物検出を行い、検出された人物群を顔情報、服装情報を利用してクラスタリングして人物別に分類することにより得ることが出来る。画像情報抽出部１１０は、人物の検出結果を表示装置に表示させ、入力装置等から入力されるユーザの確認結果に従って、検出した結果を修正するようにしてもよい。
【００１８】
また、テキストデータがタグとして画像に付加されている場合には、画像情報抽出部１１０が、それらタグに含まれる情報を取得するようにしてもよい。タグに含まれる情報は、その画像を撮影した場所の情報、シーン種別、人物情報を補完するために利用することができる。
【００１９】
次に、ステップＳ３０２において、画像セットパラメータ設定部１２０は、入力画像セット１１に対して所定のパラメータを設定する。本実施形態では、入力画像セット１１に含まれる画像のうち加工処理を行う画像の割合を調整するためのパラメータ（加工画像割合パラメータ）を設定する。パラメータの設定は、ユーザに数値を入力させ、その数値情報を取得することにより上記パラメータを設定してもよいし、「多め」、「普通」、「少なめ」といった定性的な選択肢からユーザに選択させて、その情報から上記パラメータを設定するようにしてもよい。
【００２０】
次に、ステップＳ３０３において、審美スコア推定部１３０は、審美推定器１０を用いて画像セット１１に含まれる全画像の審美スコアの算出を行う。審美スコアとは、人間がその画像を見て感覚的に感じる美しさを評価値として指標化したものである。審美推定器１０は、審美スコアを算出するための審美スコア推定辞書を保有しており、審美推定器１０に入力された画像に対して、入力されたオリジナル画像の審美スコア、および入力された画像に各フィルターを適用したときの各加工画像の審美スコアを算出する。
【００２１】
審美スコア推定辞書は、学習装置により事前に学習しておくことが可能であり、真値データを持つ学習画像群に基づいて作成される。真値データとは、その画像の審美スコアを表す実数値であり、予め人の手で設定される値である。図４（ａ）に、学習装置による審美スコア推定辞書の作成手順のフローチャートを示す。学習装置は、図２（ａ）で示した画像処理装置１００と同様のハードウェア構成を有し、ＣＰＵがＲＯＭ等に格納されているプログラムを実行することにより、図４（ａ）のフローチャートに従った処理が実行される。また、画像処理装置１００が学習装置の機能部を有するようにして、画像処理装置１００が審美スコア推定辞書の学習を行うようにしてもよい。
【００２２】
ステップＳ４１１では、学習画像群３１に対して特徴抽出処理を行う。このステップＳ４１１では、色特徴や構図特徴などの画像の審美性に寄与する特徴量が抽出される。色特徴の例としては、画像全体のＲＧＢの分布がある。これは、ＲＧＢ空間を４＊４＊４のブロックに分割し、画像の各画素におけるＲＧＢ値をＲＧＢ空間にプロットしたときの各ブロックの出現頻度を要素とする６４次元特徴量である。また、構図特徴の例としては、主被写体の位置を三分法に従って評価した指標がある。これは、画像から主被写体検出を行い、検出された主被写体中心から三分法の４交点までの距離を画像サイズで正規化した値を要素とする４次元特徴量である。このステップで抽出する特徴量は上記に限られるものではなく、画像の審美性に寄与する特徴量であれば任意の特徴量を選択できる。
【００２３】
ステップＳ４１２では、ステップＳ４１１で抽出した個々の学習画像における特徴量とその真値データを用いて学習を行い、審美スコア推定辞書３２を作成する。抽出した特徴量が複数種類存在する場合には、それらの特徴量全てを利用して学習してもよいし、特徴選択により所定数の特徴量のみを利用するようにしてもよい。学習に用いる識別器には、例えば、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  ＲｅｇｒｅｓｓｉｏｎやＲａｎｄｏｍｉｚｅｄ  Ｔｒｅｅなどの周知の識別器を用いることができる。画像処理装置１００は、ここで作成した審美スコア推定辞書をＨＤ４等に記憶し、この審美スコア推定辞書を用いることにより、入力画像に対してその審美スコアの推定を行うことができる。
【００２４】
ステップＳ３０３では、審美スコア推定部１３０が、審美推定器１０とフィルターセット１２とを用いて、入力画像セット１１の各画像に対して各フィルターを適用したときの審美スコアと、オリジナルの各画像の審美スコアを推定する。図４（ｂ）は、審美スコア推定部１３０により実行される審美スコアを推定する処理を示すフローチャートである。
【００２５】
ステップＳ４２１では、入力画像３４に対して予め定義されている各フィルター３３を適用して加工画像セットを作成する。Ｎ個のフィルターが用意されている場合には、入力画像３４のそれぞれに対してＮ枚の異なる加工画像が生成されることになる。
【００２６】
ステップＳ４２２では、入力画像３４およびステップＳ４２１で作成したＮ枚の加工画像に対してそれぞれ特徴抽出処理を行う。ここで抽出する特徴量は審美推定辞書作成処理におけるステップＳ４１１で抽出した特徴量と同様のものである。
【００２７】
ステップＳ４２３では、ステップＳ４２２で抽出した各画像の特徴量を、学習装置により学習された審美スコア推定辞書３２に入力することで各画像の推定審美スコアを算出する。
【００２８】
ステップＳ４２１からステップＳ４２３までの処理により、オリジナルの入力画像３４およびオリジナル画像に対して予め用意された各フィルターを適用した各加工画像の審美スコアが算出できる。入力画像セット１１に含まれる全ての画像に対して上記の処理を行うことで、全画像の審美スコアおよびフィルターセット１２に含まれる各フィルターを各画像に適用したときの加工画像の審美スコアを算出する。
【００２９】
なお、本実施形態では審美スコア算出に当たって入力画像ごとにフィルターセット１２に含まれる各フィルターを適用した加工画像を作成し、審美スコアを算出している。このとき、作成した加工画像をＨＤ４等に一時的に保存しておいてもよい。また、本実施形態で作成した審美スコア推定辞書は入力画像の審美スコアを推定し出力するものであるが、フィルターごとに対応する審美スコア推定辞書を作成してもよい。入力画像を対応するフィルターの審美スコア推定辞書に入力することで、入力画像毎にフィルターセット１２に含まれる全てのフィルターを適用した加工画像を作成することなく、各加工画像の推定審美スコアを算出することができる。このような構成によって、審美スコア算出処理を高速に実行することが可能となる。
【００３０】
次に、ステップＳ３０４において、画像／フィルター選択部１４０は、Ｓ３０１で抽出された画像情報、Ｓ３０２で設定されたパラメータ、およびＳ３０３で算出された審美スコアに基づいて、加工すべき画像および適用するフィルターの選択を行う。図５は、画像／フィルター選択部１４０により実行され、加工すべき画像および適用するフィルターの選択処理の手順を示すフローチャートである。
【００３１】
ステップＳ５０１において、画像／フィルター選択部１４０は、入力画像セット１１に含まれる全画像についてフィルター重みつき審美スコアの算出を行う。フィルター重みは、フィルター毎に設定される重み値であり、初期状態は重み０に設定されている。画像にフィルターを適用する際に、複数の画像に対して同種のフィルターばかりを適用してしまうと、画像セット中に似た雰囲気の画像が多数登場することになり、面白味のない画像セットになってしまう恐れがある。そこで、本実施形態では、一度適用されたフィルターはフィルター重みを下げることで、選択されにくくする。フィルター重みの更新処理については後述し、ここではフィルター重みつき審美スコアの算出について説明する。
【００３２】
ここで、画像ｉにフィルターｊを適用したときの、審美スコア推定部１３０で算出された加工画像の審美スコアを以下の数１とし、フィルターｊのフィルター重みを以下の数２とする。このとき、画像ｉにフィルターｊを適用したときのフィルター重みつき審美スコアは、以下の数３式で表される。
【００３３】
【数１】
2016170632.tif 000003
【数２】
2016170632.tif 000004
【数３】
2016170632.tif 000005
なお、ｊ＝０のときのフィルター重みつき審美スコアは、フィルターを適用しないオリジナル画像ｉの審美スコアとする。オリジナル画像のフィルター重みは０であり、オリジナル画像のフィルター重みつき審美スコアは、審美スコア推定部１３０で算出された審美スコアと等しくなる。ステップＳ５０１では、入力画像セット１１に含まれる全ての画像について、オリジナルの入力画像およびフィルターセット１２に含まれるＮ個のフィルターに対応したＮ個の加工画像のフィルター重みつき審美スコアを算出する。なお、フィルター重みつき審美スコアの算出方法は、前述の数３式を用いた方法に限られるものではなく、フィルター重みを用いて審美スコアを算出できればどのような算出式を用いても構わない。
【００３４】
次に、ステップＳ５０２において、画像／フィルター選択部１４０は、ステップＳ５０１で算出したフィルター重みつき審美スコアに画像重みを反映させて、総合スコアを算出する。画像重みは、画像ごとに設定されている重み値であり、フィルター重みと同様に、初期状態では重み０に設定されている。入力画像セットに含まれる画像のうち同じ時期の画像、同じ場所で撮影された画像、同じシーン種別の画像、または同一の人物が写った画像ばかりが加工画像として選択されると、画像セットの中で特定の種類の画像ばかり加工処理されることになる。そこで、本実施形態では、加工処理の対象として選択された画像に類似する他の画像の画像重みを下げることで、類似した画像が加工画像として選択されにくくする。画像重みの更新処理については後述し、ここでは総合スコアの算出手順について説明する。画像ｉにおける画像重みを以下の数４とすると、画像ｉにフィルターｊを適用したときの画像重みを反映させた総合スコアは以下の数５式で表される。
【００３５】
【数４】
2016170632.tif 000006
【数５】
2016170632.tif 000007
上記の手順により、入力画像セット１１に含まれる全ての画像について、オリジナルの入力画像およびフィルターセット１２に含まれるＮ個のフィルターに対応したＮ個の加工画像の総合スコアが算出される。総合スコアの算出の方法は、数５式を用いた上記の方法に限られるものではなく、画像重みを反映させて総合スコアを算出する方法であれば他の方法であってもよい。
【００３６】
次に、ステップＳ５０３において、画像／フィルター選択部１４０は、ステップＳ５０２で算出した総合スコアに基づいて各入力画像の総合スコア最大向上度を算出する。入力画像セット１１の画像の中からフィルターを適用させる画像を選択する際には、オリジナル画像に対して総合スコアが大きく向上する画像が優先的に選択されることが望ましい。そこで、このステップでは、以下の数６式を用いて、入力画像セット１１に含まれる全画像について、総合スコア最大向上度Ｒ＿ｉを算出する。
【００３７】
【数６】
2016170632.tif 000008
このように、本実施形態では、画像ｉの総合スコア最大向上度Ｒ＿ｉは、最も総合スコアが高くなるフィルターｊを適用させた加工画像の総合スコアとオリジナル画像の総合スコアの差として表わされる。
【００３８】
次に、ステップＳ５０４において、画像／フィルター選択部１４０は、ステップＳ５０３で算出した総合スコア最大向上度のうち、最も高い総合スコア最大向上度の正負を確認する。もし、その総合スコア最大向上度が０以下であるときには、入力画像セット１１に含まれる全ての画像は、フィルターを適用しない方が総合スコアが高くなるということである。このような場合には、加工画像の選択は行わず、このステップで画像／フィルター選択処理を終了する。一方、最も高い総合スコア最大向上度が０より大きい場合には、処理をステップＳ５０５に進める。
【００３９】
次に、ステップＳ５０５において、画像／フィルター選択部１４０は、総合スコア最大向上度が最も高い画像ｉ及びこの画像ｉに適用されるフィルター種別を加工画像リストに追加し、選択された画像ｉを入力画像セット１１から除外する。
【００４０】
次に、ステップＳ５０６において、画像／フィルター選択部１４０は、画像セットバランス度を算出する。入力画像セット１１に含まれる画像に対して加工処理を行う場合、個々の画像の審美性が高まるように加工を行うとともに、画像セット全体の印象がオリジナルの入力画像セット１１から大きく逸脱しないように加工画像の割合を適切に設定する必要がある。そこで、本実施形態では、画像セットバランス度を、加工画像セットの審美度、および加工画像セットとオリジナルの入力画像セットとの類似度に基づく指標として定義する。加工画像セットとは、これまでの処理によって加工画像として選択された画像に決定されたフィルターを適用した画像（加工画像）と、入力画像セット１１に含まれている画像とによって構成される画像セットである。画像セットバランス度は、画像セットに含まれる加工画像の割合が増加するにつれて減少するものである。本実施形態では、この画像セットバランス度に基づいて、加工処理を行う入力画像の枚数を決定し、加工画像の割合を制限する。
【００４１】
ここで、画像セットバランス度の詳細な算出方法について説明する。図６は、画像／フィルター選択部１４０により実行される、画像セットバランス度の算出処理を示すフローチャートである。ステップＳ６０１において、画像／フィルター選択部１４０は、画像セットの審美スコアＳ＿ｔｏｔａｌの算出を行う。本実施形態では、Ｓ＿ｔｏｔａｌを、入力画像セット１１に含まれている各入力画像の審美スコアと、加工画像として選択された各画像に決定されたフィルターを適用したときの（加工画像の状態での）審美スコアの平均値として定義する。なお、画像セットの審美スコアの算出には、審美スコア推定部１３０で算出した審美スコアを用い、フィルター重みや画像重みは考慮しない。入力画像セットに含まれる画像枚数をＮ枚とし、画像ｉで適用されるフィルター種をＪ＿ｉ（ただし、画像ｉが加工画像として選択されていない場合にはＪ＿ｉ＝０）とすると、画像セットの審美スコアＳ＿ｔｏｔａｌは、以下の数７式で表わされる。
【００４２】
【数７】
2016170632.tif 000009
なお、加工画像は、ステップＳ５０４において、その審美スコアがオリジナル画像より高くなるように選択されているため、Ｓ＿ｉ（Ｊ＿ｉ）＞Ｓ＿ｉ（０）であり、画像セットに含まれる加工画像の割合が高くなるほどＳ＿ｔｏｔａｌの値は増加する。
【００４３】
次に、ステップＳ６０２において、画像／フィルター選択部１４０は、入力画像セットＸと加工画像セットＸ´の類似度Ｓｉｍ（Ｘ，Ｘ´）の算出を行う。本実施形態のＳｉｍ（Ｘ，Ｘ´）は、入力画像セットＸと加工画像セットＸ´で対応する各画像同士の画像類似度の平均値として定義される。対応する画像同士の画像類似度は、加工画像セットの画像が入力画像のままである場合には１であり、加工画像の場合には周知の種々の画像間類似度算出手法を用いて求めることができる。例えば、フィルター適用前後の画像の画素値ヒストグラムを作成し、ビンの要素の総和が１になるように総画素数で正規化する。そして、このときの２つのヒストグラム間距離ｄを算出し、（１−ｄ）を２つの画像の類似度とする方法がある。なお、画像セットに含まれる加工画像の割合が高くなるほど、Ｓｉｍ（Ｘ，Ｘ´）は単調に減少する。
【００４４】
そして、ステップＳ６０３において、画像／フィルター選択部１４０は、加工画像セットバランス度Ｑを算出する。本実施形態の加工画像セットバランス度Ｑは、加工画像セットの審美スコアＳ＿ｔｏｔａｌおよび入力画像セットＸと加工画像セットＸ´の類似度Ｓｉｍ（Ｘ，Ｘ´）を用い、以下の数８式で定義される。
【００４５】
【数８】
2016170632.tif 000010
ただし、ｐ、ｑは予め設定されたＳ＿ｔｏｔａｌおよびＳｉｍ（Ｘ，Ｘ´）の重み係数である。図５のステップＳ５０６では、以上の処理によって、画像セットバランス度が算出される。
【００４６】
次に、図５のステップＳ５０７において、画像／フィルター選択部１４０は、ステップＳ５０６で算出された画像セットバランス度と閾値とを比較し、画像セットバランス度が閾値未満であれば処理を終了し、閾値以上であれば処理をステップＳ４０８に進める。前述の閾値は、予め設定された基準の閾値に対して、画像セットパラメータ設定部１２０によって設定された加工画像割合パラメータを適用することで決定される。本実施形態では、適切な画像セットバランス度の値に基づいて予め閾値が設定されおり、この基準の閾値に対して、画像セットパラメータ設定部１２０で設定された加工画像割合パラメータを適用して、ステップＳ５０７の処理に供される閾値が決定される。例えば、予め設定されている閾値をＴｈとするとき、加工画像割合パラメータとして「少なめ」が選択されていた場合にはＴｈ＝Ｔｈ−０．１に更新する。また、「多め」が選択されていた場合にはＴｈ＝Ｔｈ＋０．１に更新し、「普通」が選択されていた場合にはＴｈのままとし、ステップＳ５０７の処理に供される閾値を決定する。
【００４７】
次に、ステップＳ５０８において、画像／フィルター選択部１４０は、ステップＳ５０５で選択した入力画像ｉの情報に基づいて、入力画像セット１１に含まれる各画像の画像重みＩｗを更新する。本実施形態では、類似した画像ばかりに加工処理が施されないように、画像情報抽出部１１０が抽出した画像情報を用いて画像重みの更新を行う。画像の類似性を決める要素としては様々なものがあるが、本実施形態では、図３のステップＳ３０１により抽出した画像情報である（１）撮影時刻、（２）撮影場所、（３）シーン種別、（４）人物情報の４種類の情報を用いて画像重みＩｗの更新を行う。
【００４８】
（１）撮影時刻による画像重みＩｗ＿ｔｉｍｅ
同時刻に連続で撮影された画像が複数枚加工画像として選択されると、類似したような加工画像が多く生成される懸念があり、画像セット全体が単調になる可能性がある。また、長期間にわたって撮影された画像から成る画像セットである場合、バラエティに富んだ画像セットとなるように、加工画像はなるべく異なる時期の画像から選択される方が望ましい。そこで、本実施形態では、撮影時刻による重みづけを異なる時間レンジで行い、各レンジでの重みづけの結果を統合する。
【００４９】
具体的には、日レンジ、時間レンジ、分レンジ、秒レンジそれぞれで各入力画像に重みづけを設定する。撮影期間が１年間であれば更に月レンジを追加してもよく、撮影期間が２日間であれば時間レンジ、分レンジ、秒レンジだけを用いるなど、入力画像セットに含まれる画像の撮影期間に応じて重みづけを行うレンジを設定すればよい。そして、設定したレンジごとに、各画像の撮影日時と選択された画像ｉの撮影日時との差分に基づき、ガウシアン重みづけを行う。一例として、選択された画像ｉの撮影時刻が２０１４年８月２０日１４時２３分２５秒であった時の画像重みづけの手順を示す。２０１４年８月ｘ日ｙ時ｚ分ｗ秒に撮影された画像と選択画像ｉの撮影日時との差分は、各レンジにおいて以下の数９式で表わされる。
【００５０】
【数９】
2016170632.tif 000011
このとき、各レンジでのσをσ＿ｄａｙ、σ＿ｈｏｕｒ、σ＿ｍｉｎ、σ＿ｓｅｃとすると、入力画像セットの各画像の撮影時刻による画像重みＩｗ＿ｔｉｍｅは、以下の数１０式により定義される。
【００５１】
【数１０】
2016170632.tif 000012
（２）撮影場所による画像重みＩｗ＿ｐｌａｃｅ
バラエティに富んだ画像セットとするために、加工画像として選択される画像はできるだけ色々な場所で撮影されていることが望ましく、同一の場所あるいは類似した場所で撮影された画像が多数選択されるのは避けるべきである。本実施形態では、ステップＳ３０１で各画像から取得したＧＰＳ情報を参照して、画像セットに含まれる全画像の撮影位置間の距離を算出する。そして、選択された画像ｉとの撮影位置間距離に基づいて近距離、中距離、遠距離の３つのレンジそれぞれについてガウシアン重みを付加する。近距離、中距離、遠距離のレンジは画像セットに含まれる撮影場所の中で最も離れた距離に基づいて適宜設定される。例えば、近距離の単位を５０ｍ、中距離の単位を５００ｍ、遠距離の単位を５ｋｍのように設定され、選択された画像ｉとの距離がｄメートルであるときには各レンジにおける距離は、以下の数１１式として表わされる。
【００５２】
【数１１】
2016170632.tif 000013
【００５３】
ただし、［ｘ］はｘ以下の最大の整数である。このとき、各レンジでのσをσ＿ｓｈｏｒｔ、σ＿ｍｉｄ、σ＿ｌｏｎｇとすると、入力画像セットの各画像の撮影場所による画像重みＩｗ＿ｐｌａｃｅは、以下の数１２式により定義される。
【００５４】
【数１２】
2016170632.tif 000014
また、撮影場所のテキストデータがタグとして画像情報に含まれている場合には、選択された画像ｉと同一の撮影場所のタグを持つ画像に一律に重みを付加するようにしてもよい。
【００５５】
（３）シーン種別による画像重みＩｗ＿ｓｃｅｎｅ
バラエティに富んだ画像セットとするために、加工画像として選択される画像はできるだけ色々なシーンの画像であることが望ましく、特定のシーン種別の画像ばかりに加工処理がされないようにすべきである。本実施形態では、選択された画像ｉのシーン種別と同じシーン種別の画像に対してシーン重み係数ω＿ｓを加算し、これをシーン種別による画像重みＩｗ＿ｓｃｅｎｅと定義する。
【００５６】
例えば、選択された画像ｉのシーン種別がマクロであったとき、画像セットに含まれる画像のうちシーン種別がマクロである画像のシーン種別による重みＩｗ＿ｓｃｅｎｅをω＿ｓとする。なお、シーン種別間の類似度を予め設定しておき、選択された画像ｉとの類似度に基づいて類似した画像を選択し、その画像に重みづけを行うようにしてもよい。
【００５７】
（４）人物情報による画像重みＩｗ＿ｐｅｒｓｏｎ
画像セットに複数の人物が写っている場合には、特定の人物が写っている画像ばかりが加工画像として選択されない方がバラエティに富んだ画像セットとなり望ましい。本実施形態では、選択された画像ｉに写っている人物が含まれる画像に対して人物重み定数ω＿ｐを加算し、これを人物情報による画像重みＩｗ＿ｐｅｒｓｏｎと定義する。例えば、選択された画像ｉに人物Ａと人物Ｂが写っていた場合、画像セットに含まれる画像のうち、人物Ａが写っている画像のＩｗ＿ｐｅｒｓｏｎをω＿ｐとする。同様に、人物Ｂが写っている画像のＩｗ＿ｐｅｒｓｏｎもω＿ｐとし、人物Ａと人物Ｂの両方が写っている画像のＩｗ＿ｐｅｒｓｏｎは２ω＿ｐとする。また、写っている人物情報だけでなく、画像に含まれる人物の数に応じて重みを付加してもよい。例えば、画像に含まれる人数が大勢いる場合にはその重み値を低く設定することもできる。
【００５８】
画像／フィルター選択部１４０は、入力画像セット１１に含まれる全画像について、上述のようにして計算した（１）〜（４）の各情報による重みを以下の数１３式により統合し、各画像の画像重みＩｗとする。
【００５９】
【数１３】
2016170632.tif 000015
ただし、α＿ｉは画像によらず一定の画像重みに対する係数であり、β＿１、β＿２、β＿３、β＿４は（１）〜（４）の各情報による重みに対する係数である。α＿ｉを調整することで、類似した画像が選択される程度を調整することができる。また、β＿１〜β＿４を調整することで、（１）〜（４）の各情報による重みのうち、いずれの要素を重視するかを設定することができる。なお、画像重みＩｗを決定する要素は上記の４つに限られるものではなく、画像同士の類似性に関連する種々の要素を用いて画像重みＩｗの算出を行うことができる。
【００６０】
次に、ステップＳ４０９において、画像／フィルター選択部１４０は、ステップＳ４０５で選択されたフィルターｊに基づいてフィルター重みを更新する。本実施形態では、予め用意されたフィルター間の類似度を記述したフィルター類似度テーブルがＨＤ４に記憶されている。画像／フィルター選択部１４０は、これを参照して、選択されたフィルターｊと同一のフィルターまたは類似したフィルターのフィルター重みを下げるようにする。
【００６１】
図７は、本実施形態におけるフィルター類似度テーブルを示す。図７には、フィルター類似度テーブルの一部として、画像処理装置１００が備えるフィルターのうちの７種類のフィルター同士の類似度を示す。例えば、本実施形態では、ａ（１）：トイカメラ（標準）フィルターとｂ（１）：モノクロ（白黒）フィルターとの類似度は０．６である。
【００６２】
次に、フィルター重みの更新処理について説明する。本実施形態では、類似度の値を用いて各フィルターのフィルター重みを下げるようにしており、フィルターｊに対する類似度が高いほど、そのフィルター重みは小さな値となる。例えば、フィルターｊとしてｂ（２）：モノクロ（セピア）フィルターが選択された場合、ａ（１）：トイカメラ（標準）フィルターのフィルター重みは、−０．４α＿ｆに更新する。同様にして、ａ（２）：トイカメラ（暖色）フィルター、ｂ（１）：モノクロ（白黒）フィルター、ｂ（２）：モノクロ（セピア）フィルターのフィルター重みは、それぞれ−０．７α＿ｆ、−０．５α＿ｆ、−１．０α＿ｆに更新する。また、その他の３つのフィルターのフィルター重みは０のままとする。なお、α＿ｆはフィルター種によらず一定の値を持つフィルター重みに対する係数であり、この係数を調整することにより、類似のフィルターが選択される程度を調整することができる。
【００６３】
ステップＳ４０８およびステップＳ４０９の処理によって、入力画像セットに含まれる全画像の画像重み及びフィルターセットに含まれる全フィルターのフィルター重みの更新が完了する。ステップＳ４０９の処理が完了すると、処理はステップＳ４０１に戻り、Ｓ４０１及びＳ４０２において、更新されたフィルター重み、画像重みに基づいて総合スコアの算出が再度行われる。
【００６４】
なお、画像重みおよびフィルター重みの算出は加工画像が選択されるたびに実行されるが、その際、算出された２つの重みは数３式、数５式に従い、それまでの値に加算される。そのため、フィルター重みおよび画像重みは、それまでに加工画像として選択された画像、およびその加工に使用されるフィルターを反映した重みとなる。
【００６５】
以上により、画像／フィルター選択部１４０による画像／フィルター選択処理が完了する。本実施形態では、画像／フィルター選択処理における各処理を繰返し実行することにより、オリジナルの入力画像セット１１に対して適切な割合の画像を加工画像として決定でき、且つ選択した画像に対して審美性が向上するフィルターを選択することができる。
【００６６】
最後に、図３のステップＳ３０５において、加工画像出力部１５０は、画像／フィルター選択部１４０が作成した加工画像リストを参照して、選択された複数の入力画像それぞれに対して選択されたフィルターを適用して複数の加工画像を作成する。なお、ステップＳ３０３で審美スコア推定部１３０が審美スコアを算出する際に作成した加工画像をＨＤ４に保存しておき、このステップで流用するようにしてもよい。加工画像出力部１５０は、入力画像セット１１から加工処理を施した入力画像を除外するとともに、作成した加工画像を追加することにより、出力画像セット１３を作成し、これを出力する。
【００６７】
以上、本実施形態では、画像情報抽出部１１０が入力画像から画像情報を抽出し、また審美スコア推定部１３０が入力画像セットの各入力画像と各フィルターを適用させた各加工画像の審美スコアを推定する。そして、画像／フィルター選択部１４０が抽出した画像情報と推定した各入力画像および各加工画像の審美スコアとに基づいて、フィルターを適用する入力画像と、そのフィルターの種類とを選択する。このような構成によって、本実施形態では、画像セット全体として適切なフィルターの選択を行うことができる。
【００６８】
また、画像／フィルター選択部１４０は、フィルターを適用する入力画像と、そのフィルターの種類とを順次選択するにあたり、既に選択した入力画像に応じて画像重みを設定し、また既に選択したフィルターの種類に応じてフィルター重みを設定する。これにより、バラエティに富んだ加工画像を含む加工画像セットを作成することができる。
【００６９】
さらに、本実施形態では、ユーザ指示に応じて加工画像の割合を示す加工画像割合設定パラメータ（画像セットパラメータ）を設定するようにしたので、ユーザの希望に近いバランスでフィルターを適用する入力画像の枚数を調整できるようになる。
【００７０】
［第２の実施形態］
次に、第２の実施形態として、ユーザが設定した画像セットのテーマに基づいて、加工処理を行う画像を選択し、またその画像に適用するフィルターを選択する形態について説明する。なお、第１の実施形態で説明した構成と同一の構成については同一の符号を付し、その説明を省略する。
【００７１】
図８は、本実施形態の画像処理装置１００の機能構成（ソフトウェア構成）を示すブロック図である。本実施形態の画像処理装置１００が第１の実施形態と相違する点は、テーマ設定部１２５を更に有することである。また、本実施形態における処理のうち、第１の実施形態と相違する処理は、テーマ設定部１２５の処理、および画像／フィルター選択部１４０の処理であるため、以下では、この相違する処理の内容について説明を行う。
【００７２】
本実施形態では、ステップＳ３０２において、テーマ設定部１２５は、入力画像セット１１に対して１つ以上のテーマ情報を設定する。画像処理装置１００には、旅行、結婚式、飲み会などの複数のテーマが予め用意されており、テーマ設定部１２５はこの中から１つ以上のテーマを選択する。テーマは具体的なイベントに関係するものだけではなく、「柔らか」、「Ｆｕｎｎｙ」のような抽象的なテーマを設定できるようにしてもよい。テーマの設定は、画像処理装置１００に設けられた入力手段により、ユーザに１以上のテーマを選択、入力させ、そのテーマ情報を取得することにより設定することができる。または、画像情報抽出部１１０で抽出した画像情報から推定したテーマを設定するようにしてもよい。
【００７３】
本実施形態において、用意されている各テーマには、各フィルターに対する重み値と加工画像割合が対応付けられている。図９は、用意されたテーマとそのテーマに対応付けられた各フィルター重みと加工画像割合の一例を示す。ここでは、フィルター重みを０．０とし、選択されやすくするフィルターの重みを０．０よりも高く設定し、選択されにくくするフィルターの重みを０．０よりも低く設定する。
【００７４】
例えば、テーマが「旅行」に設定された場合には、雰囲気のある風景や建物の画像が多くなるように、ノスタルジックフィルターやトイカメラ風フィルターの重みが０．０よりも高く設定され、ソフトフィルターの重みが０．０よりも低く設定される。また、加工画像割合は「普通」に設定されている。一方、テーマが「Ｆｕｎｎｙ」に設定された場合には、独特な画風の画像が多くなるように、魚眼風フィルターやジオラマ風フィルター、極彩色フィルターの重みが０．０よりも高く設定される。また、加工画像割合は「多め」に設定される。なお、このようにテーマ毎に対応付けられているフィルター重みや加工画像割合は、ユーザからの入力に応じて修正できるようにしてもよい。
【００７５】
そして、本実施形態のステップＳ５０１では、画像／フィルター選択部１４０が、選択されたフィルターに対する類似度に加えて前述の設定したテーマに基づいて、フィルター重みつき審美スコアを算出する。具体的には、テーマｋが選択されたときのフィルターｊに対するテーマによる重みを以下の数１４とすると、本実施形態の画像ｉのフィルター重みつき審美スコアは、以下の数１５式で表わされる。
【００７６】
【数１４】
2016170632.tif 000016
【数１５】
2016170632.tif 000017
例えば、テーマとして「Ｆｕｎｎｙ」が選択された場合、ジオラマ風フィルターに対するテーマによる重みは＋２α＿ｔとなる。ただし、α＿ｔはテーマおよびフィルターの種類によらず一定の値を有する係数である。この係数を調整することにより、設定されたテーマによるフィルター選択への影響の程度を調整することができる。なお、テーマによる重み付けの方法はこれに限られるものではなく、出力する画像セットの形態や目的に応じて、選択されたテーマ情報を用いた色々な構成を採用することができる。例えば、テーマに応じて利用するフィルターの種類を制限するようにしてもよい。
【００７７】
以上、本実施形態では、予めテーマ毎にフィルター重みと加工画像割合を設定しておき、ユーザが設定した画像セットのテーマに基づいて、加工処理を行う画像とその画像に適用するフィルターを選択する構成とした。この構成により、ユーザの意図に沿った画像セットを作成することが可能となる。
【００７８】
［その他の実施形態］
第１の実施形態の画像セットパラメータ設定部１２０が設定する所定のパラメータとして、画像重みに関する情報を設定できるようにしてもよい。第１の実施形態では、同じ人物が含まれる画像ばかりが加工画像として選択されないよう、画像重みの算出にあたっては人物情報による重みを考慮している。しかしながら、例えば、子供の成長記録のアルバムを作成するような場合には、ユーザは自分の子供が写っている画像を多く選択したいと考える。そこで、画像／フィルター選択部１４０は、まず画像情報抽出部１１０により抽出された人物リストから、ユーザによって選択、入力された一人以上の人物情報を取得する。そして、この取得した人物情報に基づいて、選択された人物が写った画像が多く選択されるように画像重みを調整するようにしてもよい。同様に、撮影時刻、撮影場所についても、ユーザが選択する特定の範囲の日時あるいは場所の情報に基づいて、その選択された日時、場所で撮影された画像が選択されやすくなるように画像重みを調整することができる。
【００７９】
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００８０】
１００  画像処理装置
１１０  画像情報抽出部
１２０  画像セットパラメータ設定部
１３０  審美スコア推定部
１４０  画像／フィルター選択部
１５０  加工画像出力部
【図１】
2016170632.tif 000018
【図２】
2016170632.tif 000019
【図３】
2016170632.tif 000020
【図４】
2016170632.tif 000021
【図５】
2016170632.tif 000022
【図６】
2016170632.tif 000023
【図７】
2016170632.tif 000024
【図８】
2016170632.tif 000025
【図９】
2016170632.tif 000026