(57)【要約】【課題】選択した画像群が統一性及び多様性という相反する要件を満たす画像選択を可能にする。【解決手段】複数の画像の各画像を前景領域と背景領域とに分離する分離部と、前景領域の前景特徴量と背景領域の背景特徴量とを抽出する抽出部と、前景特徴量に基づいて複数の画像をクラスタリングする第１のクラスタリング部と、背景特徴量に基づいて複数の画像をクラスタリングする第２のクラスタリング部と、前景特徴量または背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する画像選択部とを備える。【選択図】  図１
2016085538.tif 000002
【特許請求の範囲】
【請求項１】
提案書請求項１、２
複数の画像の各画像を前景領域と背景領域とに分離する分離手段と、
前記前景領域の前景特徴量と前記背景領域の背景特徴量とを抽出する抽出手段と、
前記前景特徴量に基づいて前記複数の画像をクラスタリングする第１のクラスタリング手段と、
前記背景特徴量に基づいて前記複数の画像をクラスタリングする第２のクラスタリング手段と、
前記前景特徴量または前記背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する画像選択手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記他方の特徴量に基づいてクラスタリングされた各クラスタに含まれる各画像の重要度を算出する算出手段をさらに備え、
前記画像選択手段は、前記算出手段により算出された重要度に基づいて画像を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記算出手段は、前記他方の特徴量に基づいてクラスタリングされた各クラスタに含まれる各画像の前景領域が、当該各クラスタの全画像に含まれる割合を算出し、当該割合に応じて各画像の重要度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記算出手段は、各画像の露出値が適正範囲に収まっておりかつシャープネスが閾値以上であるか否かに基づいて各画像の重要度を算出することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記算出手段は、各画像の前景領域のボケ量に基づいて各画像の重要度を算出することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記前景領域は被写体であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
情報処理装置の制御方法であって、
分離手段が、複数の画像の各画像を前景領域と背景領域とに分離する工程と、
抽出手段が、前記前景領域の前景特徴量と前記背景領域の背景特徴量とを抽出する工程と、
第１のクラスタリング手段が、前記前景特徴量に基づいて前記複数の画像をクラスタリングする工程と、
第２のクラスタリング手段が、前記背景特徴量に基づいて前記複数の画像をクラスタリングする工程と、
画像選択手段が、前記前景特徴量または前記背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項８】
請求項７に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、大量の画像から適当な画像群を選択する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ機能付き携帯機器の普及に伴い、ユーザが撮影する画像数は以前と比較して大幅に増加している。これに伴い、ユーザが撮影した画像を利用する際に、大量の画像群から必要な画像を選択するための労力も増加している。この課題を解決するために様々な画像選択、分類、検索技術が提案されている。
【０００３】
特にフォトブックやフォトムービーなどの商材に使用する画像を選択する場合において、配置されている画像の共通点から作成者の画像選択の意図を感じるような統一性のある紙面を作成することが考えられる。画像の共通性として、背景の色調やランドマークが共通、前景とその位置、大きさ、さらに前景が人物である場合には表情・ポーズなどが共通などの類似した画像を選択することが挙げられる。
【０００４】
このための類似画像選択技術として、希望する画像の選択を容易にするために、画像を類似する画像毎に分類する技術が提案されている（特許文献１参照）。また、ユーザが指定した被写体に類似した前景を含む画像を検索する類似画像検索装置が提案されている（特許文献２参照）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３３０９４１号公報
【特許文献２】特開２０１２−５８９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように、単に類似したシーン毎に画像を分類する場合には、前景と背景を合わせた類似度の判定を行なっているため、同じような写真ばかりの選択、もしくは前景も背景も似ていないバラバラな印象の統一性のない画像選択しかできなかった。
【０００７】
また、特許文献２のように、被写体が類似した画像を検索する場合には、被写体が類似した統一性のある画像を得ることはできるものの、連写した写真のようにあまりに類似した画像が選択される場合がある。そのため、それを使ってフォトブックを作成すると変化に乏しく多様性が損なわれ、退屈な紙面になる可能性があった。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、選択した画像群が統一性及び多様性という相反する要件を満たす画像選択を可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の一態様による情報処理装置は以下の構成を備える。即ち、
複数の画像の各画像を前景領域と背景領域とに分離する分離手段と、
前記前景領域の前景特徴量と前記背景領域の背景特徴量とを抽出する抽出手段と、
前記前景特徴量に基づいて前記複数の画像をクラスタリングする第１のクラスタリング手段と、
前記背景特徴量に基づいて前記複数の画像をクラスタリングする第２のクラスタリング手段と、
前記前景特徴量または前記背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する画像選択手段と
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、選択した画像群が統一性及び多様性という相反する要件を満たす画像選択が可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図。
【図２】本発明の一実施形態に係る情報処理装置の機能構成の一例を表す構成図。
【図３】第１実施形態に係る情報処理装置が実施する画像選択処理の手順を示すフローチャート。
【図４】第１実施形態に係るクラスタリング結果のデータ構造の一例を示す概念図。
【図５】本発明の一実施形態に係る情報処理装置が実施する画像の重要度算出処理の手順を示すフローチャート。
【図６】第１実施形態に係る選択された画像リストのデータ構造の一例を示す概念図。
【図７】第２実施形態に係る情報処理装置が実施する画像選択処理の手順を示すフローチャート。
【図８】第２実施形態に係るクラスタリング結果のデータ構造の一例を示す概念図。
【図９】第２実施形態に係る選択された画像リストのデータ構造の一例を示す概念図。
【図１０】第１実施形態に係る画像選択の結果、選択された画像の一例を示す概念図。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
以下、前景あるいは背景のいずれか一方の類似性が高く、他方の類似性が低い画像群を自動的に選択する例を説明する。第１実施形態では、背景の共通性が高く、前景の多様性がある画像選択を行う例について説明する。より具体的には、背景の類似度が閾値以上の画像をクラスタリングし、該クラスタ内で被写体の類似度が低い画像を選択することで、背景による統一感を出しながら、同じような画像ばかりではない画像選択を行う。
【００１４】
一方、第２実施形態では、前景の共通性が高く、背景の多様性がある画像選択を行う例について説明する。より具体的には、被写体の類似度が閾値以上の画像をクラスタリングし、該クラスタ内で背景の類似度が低い画像を選択することで、被写体による統一感を出しながら、同じような画像ばかりではない画像選択を行う。
【００１５】
（第１実施形態）
＜１．情報処理装置のハードウェア構成＞
図１は、本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
【００１６】
図１において、１００はフォトブックやフォトムービーなどの商材に使用する画像を選択するための情報処理装置のハードウェア全体である。１０２は中央演算処理装置（以下、ＣＰＵ）であり、後述する各種処理のための演算および論理判定を行ない、データや命令をやり取りするためのシステムバス１０１に接続された各構成要素を制御する。本装置には、プログラムメモリとデータメモリとを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する処理手順を含むＣＰＵ１０２による制御のためのプログラムを格納する。該プログラムメモリはＲＯＭ１０３であっても良いし、記憶装置１０５等からプログラムがロードされるＲＡＭ１０４であっても良い。１０５は、画像データやプログラムを記憶しておくためのハードディスク等の記憶装置である。１０６は、ユーザが情報の入力あるいは操作を行なうためのマウス、キーボード、タブレット等の入力部である。１０７は、グラフィックコントローラ等の出力のための回路を含むディスプレイ等の出力部である。
【００１７】
＜２．情報処理装置の機能構成＞
図２は、本発明の一実施形態に係る情報処理装置１００の機能構成の一例を表す構成図である。図２において、２０１は、他の機能を使用して与えられた画像群から統一性と多様性のある画像群を選択するための画像選択部である。２０２は、指定された画像中の前景領域と背景領域とを分離するための前景・背景分離部である。２０３は、与えられた画像群に含まれる画像を背景の特徴量に基づいてクラスタリングするための背景特徴量による画像クラスタリング部である。
【００１８】
背景特徴量による画像クラスタリング部２０３は、色ヒストグラムのカルバック・ライブラー距離を算出してクラスタリングを行なうものとする。２０４は、指定された画像の背景の特徴量を抽出する背景特徴量抽出部である。背景の特徴量としては色ヒストグラムを使用する。
【００１９】
２０５は、与えられた画像群に含まれる画像を前景の特徴量に基づいてクラスタリングするための前景特徴量による画像クラスタリング部である。２０６は、指定された画像の前景の特徴量を抽出する前景特徴量抽出部である。前景の特徴量としては前景に含まれる各被写体の識別子が使用される。前景特徴量による画像クラスタリング部２０５は、被写体識別子とその組み合わせでクラスタを作成するものとする。
【００２０】
被写体の識別子については後述する。２０７は、背景特徴量による画像クラスタリング部２０３及び前景特徴量による画像クラスタリング部２０５のクラスタリング結果を、ＲＡＭ１０４あるいは記憶装置１０５に記憶するためのクラスタリング結果記憶部である。２０８は、画像の特徴量に基づいて画像の重要度を算出するための画像重要度算出部である。
【００２１】
＜３．情報処理装置による画像選択処理＞
次に、図３は、本実施形態に係る情報処理装置１００が実施する画像選択処理の手順を示すフローチャートである。
【００２２】
まず、情報処理装置１００は、画像選択の対象である画像群と、選択する画像数Ｎとを取得する（Ｓ３０１）。画像群は、記憶装置１０５に保持されている画像群の中からユーザが入力部１０６を用いて、Ｍｉｃｒｏｓｏｆｔ Ｅｘｐｌｏｒｅｒ（ｒ）のようなファイルブラウザにより指定するものとする。同様に、選択する画像数Ｎもユーザが入力部１０６であるキーボードあるいはマウスを用いて指定するものとする。
【００２３】
次に、前景・背景分離部２０２が、該画像群の各画像を前景領域と背景領域に分離する（Ｓ３０２）。ここで前景領域と背景領域との分離は、画像のExif情報に含まれるフォーカス点を前景領域内とし、その前景領域において隣接するピクセルと閾値以上輝度および色合いが変化した点を前景領域と背景領域の境界とすることにより分離するものとする。そして、背景特徴量抽出部２０４、前景特徴量抽出部２０６は、Ｓ３０２で分離された各画像の前景、背景の特徴量をそれぞれ抽出する（Ｓ３０３）。
【００２４】
その上で、背景特徴量による画像クラスタリング部２０３は、Ｓ３０３で抽出された各画像の背景領域の特徴量を用いて、Ｓ３０１で得た画像群に含まれる全画像を、Ｋ平均法を用いてクラスタリングする（Ｓ３０４）。そして、背景特徴量による画像クラスタリング部２０３は、Ｓ３０４で作成した背景の特徴量に基づくクラスタのうち、最初のクラスタを得る（Ｓ３０５）。
【００２５】
次に、前景特徴量による画像クラスタリング部２０５は、得たクラスタに含まれる画像を、前景特徴量でクラスタリングする（Ｓ３０６）。ここでも、クラスタリング手法にはＫ平均法を用いるものとする。
【００２６】
その後、情報処理装置１００は、Ｓ３０６で作成された前景の特徴量に基づくクラスタがＳ３０１で得た選択する画像数Ｎ以上あるか否かを判定する（Ｓ３０７）。該判定の結果、Ｓ３０６で作成された前景の特徴量に基づくクラスタが選択する画像数以上あるならば、画像重要度算出部２０８は、前景の特徴量に基づく各クラスタに含まれる各画像の重要度を算出する（Ｓ３０８）。各画像の重要度算出のフローについては図５を参照して後述する。
【００２７】
そして、情報処理装置１００は、Ｓ３０８で算出された重要度に基づいて各前景クラスタの最も重要度の高い画像を１枚ずつ選択する（Ｓ３０９）。そして、情報処理装置１００は、該選択された画像のうち、重要度が高い順にＳ３０１で得た選択する画像数Ｎ枚の画像リストを、ＲＡＭ１０４あるいは記憶装置１０５に記憶する（Ｓ３１０）。一方、Ｓ３０７の判定の結果、Ｓ３０６で作成された前景の特徴量に基づくクラスタが選択する画像数分ないならば、Ｓ３１１へ移行する。
【００２８】
次に、情報処理装置１００は、Ｓ３０４で作成された背景の特徴量に基づくクラスタがまだあるか否かを判定する（Ｓ３１１）。該判定の結果、まだあるならば次の背景の特徴量に基づくクラスタを得て（Ｓ３１４）、Ｓ３０６の処理に戻る。一方、Ｓ３１１の判定の結果、もう背景の特徴量に基づくクラスタがなければ、情報処理装置１００は、ＲＡＭ１０４あるいは記憶装置１０５に記憶している選択された画像のリストがあるか否かを判定する（Ｓ３１２）。
【００２９】
該判定の結果、記憶している選択された画像のリストがあるならば、画像選択部２０１は、該記憶した１つ以上の画像リストに含まれる画像の重要度の合計値が最も高い画像のリストを選択結果として返し（Ｓ３１３）、処理を終了する。一方、Ｓ３１１の判定の結果、ＲＡＭ１０４あるいは記憶装置１０５に記憶している選択された画像のリストがない場合には、情報処理装置１００は、選択結果がないことを返して（Ｓ３１５）、処理を終了する。
【００３０】
＜４．クラスタリング結果のデータ構造＞
図４は、本実施形態におけるクラスタリング結果のデータ構造の一例を示す概念図であり、図３のＳ３０６の処理によりすべての背景クラスタについて前景の特徴量でクラスタリングが終わった状態を示している。
【００３１】
図４において、４００はＲＡＭ１０４あるいは記憶装置１０５に保持されているクラスタリング結果全体である。４０１〜４０８の各行は１つの画像を表している。また、４１０の列は各画像のファイル名である。４２０は各画像の背景領域の特徴量である色ヒストグラムである。４３０は各画像の前景領域の特徴量である被写体識別子である。被写体識別子４３０は、顔認識技術および物体認識技術により、個々の被写体に対して割り当てられる。４４０は各画像が属している背景クラスタの識別子である。４５０は各画像が属している前景クラスタの識別子である。前景クラスタは、被写体識別子４３０とその組み合わせによって決定する。
【００３２】
図４において、画像４０１のファイル名はＩＭＧ００１.ｊｐｇで、ＩＤ００１の被写体を含んでおり、背景クラスタＢ００１、前景クラスタＦ０１１に含まれていることを表している。背景色ヒストグラムの類似度により、画像４０１，４０３，４０４，４０５は同じ背景クラスタＢ００１に含まれており、画像４０２，４０６は同じ背景クラスタＢ００２に、画像４０７,４０８は同じ背景クラスタＢ００３に含まれている。
【００３３】
また、背景クラスタＢ００１中の画像は、画像４０１，４０４が同じ前景クラスタＦ０１１に含まれており、画像４０３は前景クラスタＦ０１２、画像４０５は前景クラスタＦ０１３に含まれている。同様に、背景クラスタＢ００２中の画像は、画像４０２は前景クラスタＦ０２１、画像４０６は前景クラスタＦ０２２に含まれている。また、背景クラスタＢ００３中の画像は、画像４０７が前景クラスタＦ０３１、画像４０８は前景クラスタＦ０３２に含まれている。
【００３４】
＜５．情報処理装置による重要度算出処理＞
続いて、図５は、本発明の一実施形態に係る画像の重要度算出処理の手順を示すフローチャートである。図３のＳ３０８および後述の図７のＳ７０８において前景クラスタ内の画像数回呼び出され、同クラスタ内の全画像の重要度を算出する。
【００３５】
まず、画像重要度算出部２０８は、画像の重要度の初期値を設定する（Ｓ５０１）。本実施形態においては、初期値は０とする。次に、画像重要度算出部２０８は、画像の前景領域が全画像のどの程度の画像に含まれるかをクラスタリング結果のデータ構造を用いて算出・判定する（Ｓ５０２）。Ｓ５０２の判定の結果、画像の前景領域が全画像の５０％以上に含まれる場合には、重要度に１０加算する（Ｓ５０３）。
【００３６】
Ｓ５０２の判定の結果、画像の前景領域が全画像の３０％以上５０％未満に含まれる場合には、重要度に７加算する（Ｓ５０４）。Ｓ５０２の判定の結果、画像の前景領域が全画像の１０％以上３０％未満に含まれる場合には、重要度に３加算する（Ｓ５０５）。Ｓ５０２の判定の結果、画像の前景領域が全画像の１０％未満に含まれる場合には何も行なわない。
【００３７】
次に、画像重要度算出部２０８は、画像の露出値がアンダーでもオーバーでもなく適正範囲に収まっておりかつシャープネスが閾値以上であるかを判定する（Ｓ５０６）。ここで、露出値は画像の輝度情報に基づいて算出し、シャープネスは画像中のエッジを検出し、エッジピクセル間のコントラストにより算出するものとする。Ｓ５０６の判定の結果、露出値が適正範囲内であり、シャープネスが閾値以上である場合には、重要度に７加算し（Ｓ５０７）、そうでなければ何も行なわない。
【００３８】
次に、画像重要度算出部２０８は、画像のボケ量が閾値以上であるか否かを判定し（Ｓ５０８）、ボケ量が閾値以上であれば、重要度を２０減算し（Ｓ５０９）、そうでなければ何も行なわず、処理を終了する。ボケ量は画像に対してソーベルフィルタを適用することで微分画像を生成し、その微分画像から輝度勾配を得て、画像のエッジ部分における輝度勾配により算出するものとする。
【００３９】
なお、図５の例では、画像重要度算出部２０８は、画像の前景領域が全画像のうちに含まれる割合、画像の露出値、シャープネス、画像のボケ量を考慮して画像の重要度を算出したが、これらの少なくとも１つを用いて重要度を算出する構成であってもよい。
【００４０】
＜６．画像リストのデータ構造＞
図６は、本実施形態における選択された画像リストのデータ構造の一例を示す概念図である。該選択された画像リストのデータ構造は図３のＳ３１０で生成され、ＲＡＭ１０４あるいは記憶装置１０５に記憶されている。図６において各列は１つの画像データを表しており、左から順に重要度が高い。６０１，６１１，６２１，６３１，６４１は各画像のファイル名を表しており、６０２，６１２，６２２，６３２，６４２は各画像の重要度を表している。
【００４１】
各重要度は図５の画像の重要度算出処理により算出されたものである。したがって、最も重要度の高い画像のファイル名はＩＭＧ００１．ｊｐｇ、その重要度は１７であり、次に重要度の高い画像のファイル名はＩＭＧ００７．ｊｐｇ、その重要度は１４である。図３の処理において、このような画像リストが複数記憶され、リストに含まれる画像の重要度の合計値が最も高い選択された画像リストが選択結果として返される。
【００４２】
続いて、図１０は、本実施形態における画像選択の結果、選択された画像の一例を示す概念図である。図１０において、１００１，１００２，１００３はそれぞれ選択された画像を表す。１００１，１００２，１００３は背景の類似度が高く、前景である人物の組み合わせが異なっている。
【００４３】
本実施形態の処理によると、このように背景の共通性が高く且つ前景に多様性がある、統一感がありつつ同じような画像ばかりではない自動画像選択が可能となる。したがって、選択した画像群が統一性及び多様性という相反する要件を満たす画像選択が可能になる。
【００４４】
（第２実施形態）
第２実施形態では、前景の共通性が高く、背景の多様性がある画像選択を行う例について説明する。
【００４５】
＜情報処理装置による画像選択処理＞
図７は、本実施形態に係る情報処理装置１００が実施する画像選択処理の手順を示すフローチャートである。Ｓ７０１−Ｓ７０３の各処理は、第１実施形態の図３におけるＳ３０１−Ｓ３０３の各処理と同様であるため、説明を省略する。
【００４６】
前景特徴量による画像クラスタリング部２０５は、Ｓ７０３で抽出された各画像の前景領域の特徴量を用いて、Ｓ７０１で得た画像群に含まれる全画像を、Ｋ平均法を用いてクラスタリングする（Ｓ７０４）。そして、前景特徴量による画像クラスタリング部２０５は、Ｓ７０４で作成した前景の特徴量に基づくクラスタのうち、最初のクラスタを得る（Ｓ７０５）。
【００４７】
次に、背景特徴量による画像クラスタリング部２０３は、得たクラスタに含まれる画像を、背景特徴量でクラスタリングする（Ｓ７０６）。ここでも、クラスタリング手法にはＫ平均法を用いるものとする。
【００４８】
その後、情報処理装置１００は、Ｓ７０６で作成された背景の特徴量に基づくクラスタがＳ７０１で得た選択する画像数Ｎ以上あるか否かを判定する（Ｓ７０７）。該判定の結果、Ｓ７０６で作成された背景の特徴量に基づくクラスタが選択する画像数以上あるならば、画像重要度算出部２０８は、背景の特徴量に基づく各クラスタに含まれる各画像の重要度を算出する（Ｓ７０８）。各画像の重要度算出のフローについては図５と同様である。
【００４９】
そして、情報処理装置１００は、Ｓ７０８で算出した重要度に基づいて各背景クラスタの最も重要度の高い画像を１枚ずつ選択する（Ｓ７０９）。そして、情報処理装置１００は、該選択された画像のうち、重要度が高い順にＳ７０１で得た選択する画像数Ｎ枚の画像リストを、ＲＡＭ１０４あるいは記憶装置１０５に記憶する（Ｓ７１０）。一方、Ｓ７０７の判定の結果、Ｓ７０６で作成された背景の特徴量に基づくクラスタが選択する画像数分ないならば、Ｓ７１１のへ移行する。
【００５０】
次に、情報処理装置１００は、Ｓ７０４で作成された前景の特徴量に基づくクラスタがまだあるか否かを判定する（Ｓ７１１）。該判定の結果、まだあるならば次の前景の特徴量に基づくクラスタを得て（Ｓ７１４）、Ｓ７０６の処理に戻る。一方、Ｓ７１１の判定の結果、もう前景の特徴量に基づくクラスタがなければ、情報処理装置１００は、ＲＡＭ１０４あるいは記憶装置１０５に記憶している選択された画像のリストがあるか否かを判定する（Ｓ７１２）。
【００５１】
該判定の結果、記憶している選択された画像のリストがあるならば、画像選択部２０１は、該記憶した１つ以上の画像リストに含まれる画像の重要度の合計値が最も高い画像のリストを選択結果として返し（Ｓ７１３）、処理を終了する。一方、Ｓ７１１の判定の結果、ＲＡＭ１０４あるいは記憶装置１０５に記憶している選択された画像のリストがない場合には、情報処理装置１００は、選択結果がないことを返して（Ｓ７１５）、処理を終了する。
【００５２】
＜クラスタリング結果のデータ構造＞
図８は、本実施形態におけるクラスタリング結果のデータ構造の一例を示す概念図であり、図７のＳ７０６の処理によりすべての前景クラスタについて背景の特徴量でクラスタリングが終わった状態を示している。
【００５３】
図８において、８００はＲＡＭ１０４あるいは記憶装置１０５に保持されているクラスタリング結果全体である。８０１〜８０８の各行は１つの画像を表している。また、８１０の列は各画像のファイル名である。８２０は各画像の背景領域の特徴量である色ヒストグラムである。８３０は各画像の前景領域の特徴量である被写体識別子である。被写体識別子８３０は、顔認識技術および物体認識技術により、個々の被写体に対し割り当てられる。８４０は各画像が属している前景クラスタの識別子である。８５０は各画像が属している背景クラスタの識別子である。前景クラスタは、被写体識別子８３０とその組み合わせによって決定する。
【００５４】
図８において、画像８０１のファイル名はＩＭＧ００１．ｊｐｇで、ＩＤ００１の被写体を含んでおり、前景クラスタＦ００１、背景クラスタＢ０１１に含まれていることを表している。前景の被写体識別子とその組み合わせの一致度により、画像８０１，８０２，８０４，８０８は同じ前景クラスタＦ００１に含まれている。同様に、画像８０３は前景クラスタＦ００２に、画像８０５，８０７は同じ前景クラスタＦ００３に、画像８０６は前景クラスタＦ００４に含まれている。
【００５５】
また、前景クラスタＦ００１中の画像は、画像８０１，８０４が同じ背景クラスタＢ０１１に含まれており、画像８０２が背景クラスタＢ０１２、画像８０８が背景クラスタＢ０１３に含まれている。同様に、前景クラスタＦ００２中の画像８０３は背景クラスタＢ０２１に、前景クラスタＦ００３中の画像は、画像８０５が背景クラスタＢ０３１に、画像８０７が背景クラスタＢ０３２に含まれている。また、前景クラスタＦ００４中の画像８０６は背景クラスタＢ０４１に含まれている。
【００５６】
＜画像リストのデータ構造＞
図９は、本実施形態における選択された画像リストのデータ構造の一例を示す概念図である。該選択された画像リストのデータ構造は図７のＳ７１０で生成され、ＲＡＭ１０４あるいは記憶装置１０５に記憶されている。図９において各列は１つの画像データを表しており、左から順に重要度が高い。９０１，９１１，９２１，９３１，９４１は各画像のファイル名を表しており、９０２，９１２，９２２，９３２，９４２は各画像の重要度を表している。各重要度は図５の画像の重要度算出処理により算出されたものである。
【００５７】
したがって、最も重要度の高い画像のファイル名はＩＭＧ００１．ｊｐｇ、その重要度は１７であり、次に重要度の高い画像のファイル名はＩＭＧ００８．ｊｐｇ、その重要度は１０である。図７の処理において、このような画像リストが複数記憶され、リストに含まれる画像の重要度の合計値が最も高い選択された画像リストが選択結果として返される。
【００５８】
本実施形態の処理によると、このように前景の共通性が高く背景の多様性がある、統一感がありつつ同じような画像ばかりではない自動画像選択が可能となる。したがって、選択した画像群が統一性及び多様性という相反する要件を満たす画像選択が可能になる。
【００５９】
なお、上述の各実施形態において、画像選択の対象である画像群と選択する画像数は、ユーザが入力部１０６を用いて指定するものとしたが、フォトブック作成アプリケーションなどの外部プログラムからそれらの情報が渡されるように構成しても良い。また、クラスタリングの手法としてＫ平均法を使用したが、ウォード法、最短距離法などを用いても良い。前景領域と背景領域との分離には、輝度および色情報を利用したが、Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）アルゴリズムを使用して構築される距離マップを利用しても良い。
【００６０】
また、前景の特徴量として被写体識別子とその組み合わせを利用したが、顔の大きさ、向き、ポーズなどを併用しても良いし、色合いや形状を解析して多次元ベクトルを利用しても良い。背景の特徴量として色ヒストグラムを使用したが、画像の色,形状を解析した多次元ベクトルや、Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）特徴量を用いるように構成しても良い。また第２実施形態において、前景のクラスタリングの際に、ユーザが入力部を用いて、前景クラスタに使用する被写体を指定可能なように構成しても良い。
【００６１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６２】
１００：情報処理装置、２０１：画像選択部、２０２：前景・背景分離部、２０３：背景特徴量による画像クラスタリング部、２０４：背景特徴量抽出部、２０５：前景特徴量による画像クラスタリング部、２０６：前景特徴量抽出部、２０７：クラスタリング結果記憶部、２０８：画像重要度算出部
【図１】
2016085538.tif 000003
【図２】
2016085538.tif 000004
【図３】
2016085538.tif 000005
【図４】
2016085538.tif 000006
【図５】
2016085538.tif 000007
【図６】
2016085538.tif 000008
【図７】
2016085538.tif 000009
【図８】
2016085538.tif 000010
【図９】
2016085538.tif 000011
【図１０】
2016085538.tif 000012
【手続補正書】
【提出日】平成27年3月4日(2015.3.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画像の各画像を前景領域と背景領域とに分離する分離手段と、
前記前景領域の前景特徴量と前記背景領域の背景特徴量とを抽出する抽出手段と、
前記前景特徴量に基づいて前記複数の画像をクラスタリングする第１のクラスタリング手段と、
前記背景特徴量に基づいて前記複数の画像をクラスタリングする第２のクラスタリング手段と、
前記前景特徴量または前記背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する画像選択手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記他方の特徴量に基づいてクラスタリングされた各クラスタに含まれる各画像の重要度を算出する算出手段をさらに備え、
前記画像選択手段は、前記算出手段により算出された重要度に基づいて画像を選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記算出手段は、前記他方の特徴量に基づいてクラスタリングされた各クラスタに含まれる各画像の前景領域が、当該各クラスタの全画像に含まれる割合を算出し、当該割合に応じて各画像の重要度を算出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記算出手段は、各画像の露出値が適正範囲に収まっておりかつシャープネスが閾値以上であるか否かに基づいて各画像の重要度を算出することを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記算出手段は、各画像の前景領域のボケ量に基づいて各画像の重要度を算出することを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記前景領域は被写体であることを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
情報処理装置の制御方法であって、
分離手段が、複数の画像の各画像を前景領域と背景領域とに分離する工程と、
抽出手段が、前記前景領域の前景特徴量と前記背景領域の背景特徴量とを抽出する工程と、
第１のクラスタリング手段が、前記前景特徴量に基づいて前記複数の画像をクラスタリングする工程と、
第２のクラスタリング手段が、前記背景特徴量に基づいて前記複数の画像をクラスタリングする工程と、
画像選択手段が、前記前景特徴量または前記背景特徴量の一方の特徴量に基づいてクラスタリングされた各クラスタに含まれる画像群を他方の特徴量に基づいてさらにクラスタリングし、当該他方の特徴量に基づいてクラスタリングされた各クラスタから画像を選択する工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項８】
請求項７に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。