(57)【要約】【課題】検索の対象となる顔画像を取得しなくても、主要な顔を含む画像を容易に探すことができるようにする。【解決手段】複数の画像を表示部６に表示してユーザによる画像の選択を受け付ける。類似度算出部３４が、所定のタイミングにて複数の画像に含まれる顔同士の類似度を算出し、ラベリング部３６が、類似度に基づいて複数の画像に含まれる顔をラベリングする。主要顔特定部３８が、選択された画像に含まれる顔のラベリング結果に基づいて、複数の画像に含まれる少なくとも１つの主要顔を特定する。類似度算出部３４が、主要顔と選択された画像以外の他の画像との類似度である主要顔類似度を算出し、ソート部４０が、主要顔類似度が高い順に選択された画像以外の他の画像を再ソートし、再ソートされた順に画像を表示部６に表示する。【選択図】図２
2008217385.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像をソートする画像ソート装置において、
前記複数の画像を所定の順序にてソートするソート手段と、
前記複数の画像を表示する表示手段と、
前記表示された複数の画像から所望とされる複数の画像の選択を受け付ける選択手段と、
所定のタイミングにて、前記複数の画像に含まれる顔同士の類似度を算出する類似度算出手段と、
前記類似度に基づいて、前記複数の画像に含まれる顔をラベリングするラベリング手段と、
前記選択された画像に含まれる顔のラベリング結果に基づいて、少なくとも１つの主要顔を特定する主要顔特定手段とを備え、
前記類似度算出手段は、前記主要顔と前記選択された画像以外の他の画像との類似度である主要顔類似度を算出する手段であり、
前記ソート手段は、前記主要顔類似度が高い順に前記他の画像を再ソートし、該再ソートされた順に前記他の画像を前記表示手段に表示する手段であることを特徴とする画像ソート装置。
【請求項２】
複数の画像をソートする画像ソート方法において、
表示手段に表示された複数の画像から所望とされる複数の画像の選択を受け付け、
所定のタイミングにて、前記複数の画像に含まれる顔同士の類似度を算出し、
前記類似度に基づいて、前記複数の画像に含まれる顔をラベリングし、
前記選択された画像に含まれる顔のラベリング結果に基づいて、少なくとも１つの主要顔を特定し、
前記主要顔と前記選択された画像以外の他の画像との類似度である主要顔類似度を算出し、
前記主要顔類似度が高い順に前記他の画像を再ソートし、該再ソートされた順に前記他の画像を前記表示手段に表示することを特徴とする画像ソート方法。
【請求項３】
複数の画像をソートする画像ソート方法をコンピュータに実行させるためのプログラムにおいて、
表示手段に表示された複数の画像から所望とされる複数の画像の選択を受け付ける手順と、
所定のタイミングにて、前記複数の画像に含まれる顔同士の類似度を算出する手順と、
前記類似度に基づいて、前記複数の画像に含まれる顔をラベリングする手順と、
前記選択された画像に含まれる顔のラベリング結果に基づいて、少なくとも１つの主要顔を特定する手順と、
前記主要顔と前記選択された画像以外の他の画像との類似度である主要顔類似度を算出する手順と、
前記主要顔類似度が高い順に前記他の画像を再ソートし、該再ソートされた順に前記他の画像を前記表示手段に表示する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。しかしながら、撮影により取得した多数の画像からプリントを所望する画像を探す作業は大変面倒である。このため、検索の対象となる人物の顔画像を取得しておき、複数の画像からその顔画像を含む画像を検索するシステムが提案されている（特許文献１参照）。
【特許文献１】特開２００２−２４２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載された手法においては、検索の対象となる顔画像をあらかじめ取得する必要があるため、顔画像が取得されていない被写体を含む画像は検索を行うことができず、その結果、プリント等を行うための画像を探す作業が困難なものとなる。
【０００４】
本発明は上記事情に鑑みなされたものであり、検索の対象となる顔画像を取得しなくても、主要な顔を含む画像を容易に探すことができるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明による画像ソート装置は、複数の画像をソートする画像ソート装置において、
前記複数の画像を所定の順序にてソートするソート手段と、
前記複数の画像を表示する表示手段と、
前記表示された複数の画像から所望とされる複数の画像の選択を受け付ける選択手段と、
所定のタイミングにて、前記複数の画像に含まれる顔同士の類似度を算出する類似度算出手段と、
前記類似度に基づいて、前記複数の画像に含まれる顔をラベリングするラベリング手段と、
前記選択された画像に含まれる顔のラベリング結果に基づいて、少なくとも１つの主要顔を特定する主要顔特定手段とを備え、
前記類似度算出手段は、前記主要顔と前記選択された画像以外の他の画像との類似度である主要顔類似度を算出する手段であり、
前記ソート手段は、前記主要顔類似度が高い順に前記他の画像を再ソートし、該再ソートされた順に前記他の画像を前記表示手段に表示する手段であることを特徴とするものである。
【０００６】
本発明による画像ソート方法は、複数の画像をソートする画像ソート方法において、
表示手段に表示された複数の画像から所望とされる複数の画像の選択を受け付け、
所定のタイミングにて、前記複数の画像に含まれる顔同士の類似度を算出し、
前記類似度に基づいて、前記複数の画像に含まれる顔をラベリングし、
前記選択された画像に含まれる顔のラベリング結果に基づいて、少なくとも１つの主要顔を特定し、
前記主要顔と前記選択された画像以外の他の画像との類似度である主要顔類似度を算出し、
前記主要顔類似度が高い順に前記他の画像を再ソートし、該再ソートされた順に前記他の画像を前記表示手段に表示することを特徴とするものである。
【０００７】
なお、本発明による画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【０００８】
本発明によれば、表示された複数の画像から所望とされる複数の画像の選択が受け付けられ、所定のタイミングにて、複数の画像に含まれる顔同士の類似度が算出される。そして、類似度に基づいて複数の画像に含まれる顔がラベリングされる。このラベリングは、例えば類似度が所定値以上となった顔に対して同一のラベルを付与することにより行われる。次いで、選択された画像に含まれる顔のラベリング結果に基づいて、複数の画像に含まれる少なくとも１つの主要顔が特定される。そして、主要顔と選択された画像以外の他の画像との類似度である主要顔類似度が算出され、主要顔類似度が高い順に他の画像が再ソートされ、再ソートされた順に他の画像が表示される。
【０００９】
このため、検索の対象となる顔画像を取得しなくても、ユーザが選択した画像に含まれる主要顔を特定して画像をソートできるため、ユーザは、主要顔を含む画像をより見つけやすくなる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。
【００１１】
図２は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、画像のプリント注文を行うためのプリント注文プログラムおよび装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００１２】
また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、複数の画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。
【００１３】
また、プリント注文受付装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、類似度算出部３４と、ラベリング部３６と、主要顔特定部３８と、複数の画像をソートするソート部４０とを備える。
【００１４】
顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、各画像上における顔の位置を顔領域として検出する。
【００１５】
類似度算出部３４は、まず後述するタイミングにて、ハードディスク２４に保存された複数の画像のそれぞれに含まれる顔同士の類似度を算出する。そして、主要顔が特定された後、主要顔と後述する複数の画像以外の他の画像との類似度である主要顔類似度を算出する。
【００１６】
類似度算出部３４は、まず類似判定の基準となるいずれかの画像に含まれる所定の顔Ｔ０について、顔Ｔ０を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。
【００１７】
そして、検出した９個の特徴点があらかじめ定められた基準位置に近づくように、所定の顔Ｔ０に対して施すアフィン変換のパラメータを求め、所定の顔Ｔ０に対してアフィン変換を施して、正規化顔Ｔ１を取得する。
【００１８】
そして、正規化顔Ｔ１の画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｔ１における特徴量ＦＴ１を抽出する。ここで、特徴量空間は、下記のような学習により決定される。
【００１９】
各種表情および向きを有する多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を特徴量空間とする。
【００２０】
一方、類似度算出部３４は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる対象顔Ｐ０について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。
【００２１】
そして、所定の顔Ｔ０の特徴量ＦＴ１と対象顔Ｐ０の特徴量ＦＰ１とを比較して、所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ１を算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１を算出する。ここで、類似度Ｒ１は０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。
【００２２】
ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。
【００２３】
なお、特徴量空間において、特徴量ＦＴ１で規定される顔Ｔ０の座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐ０の座標との間のユークリッド距離をそのまま類似度Ｒ１として用いる方法等、他の類似度算出方法を用いてもよい。
【００２４】
そして、類似度算出部３４は、所定の顔Ｔ０を順次変更して、複数の画像に含まれる顔同士のすべての類似度Ｒ１を算出する。
【００２５】
一方、類似度算出部３４は、後述するように主要顔が特定された後に、上記と同様に主要顔と対象顔Ｐ０との類似度である主要顔類似度Ｒ２を算出する。
【００２６】
ラベリング部３６は、類似度算出部３４が算出した複数の画像に含まれる顔同士の類似度Ｒ１に基づいて、複数の画像に含まれる顔をラベリングする。具体的には、類似度Ｒ１が所定のしきい値Ｔｈ０（例えば０．９）以上となる顔同士を同一ラベルによりラベリングする。
【００２７】
主要顔特定部３８は、後述するように選択された画像に含まれる顔のラベリング結果に基づいて複数の画像に含まれる主要顔を特定する。
【００２８】
ソート部４０は、主要顔類似度Ｒ２が高い順に画像をソートする。
【００２９】
以下、本実施形態において行われる処理について説明する。図３は本実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部６にタッチして行うことによりＣＰＵ１２が処理を開始し、ソート部４０があらかじめ定められた所定の順序にて、ハードディスク２４に保存された画像をソートして表示部６に表示する（ステップＳＴ１）。なお、ソートの順序としては、本実施形態においては撮影日時順とするが、これに限定されるものではなく、ハードディスク２４に保存された複数の画像に含まれる顔の数が多い順に画像をソートしてもよい。そして、ＣＰＵ１２は表示された複数の画像からのユーザによる画像の選択を受け付ける（ステップＳＴ２）。
【００３０】
図４はソート結果の表示画面を示す図である。図４に示すようにソート結果の表示画面５０には、複数の画像のサムネイル画像をソート順に表示する表示エリア５１と、複数の画像が１画面に入りきらない場合に、表示エリア５１に表示される画像を切り替えるための矢印ボタン５２Ａ，５２Ｂが表示されている。
【００３１】
なお、ユーザは、表示エリア５１に表示された複数の画像を見て、例えばプリントしたい画像を表示部６にタッチすることにより選択することができる。なお、図４においては表示エリア５１に表示された８つの画像Ｇ１〜Ｇ８のうち、画像Ｇ１〜Ｇ４，画像Ｇ６，Ｇ７を選択したとすると、選択した画像Ｇ１〜Ｇ４，画像Ｇ６，Ｇ７に太枠が付与される。
【００３２】
次いで、ＣＰＵ１３は、ユーザがページボタン５２Ａ，５２Ｂにタッチすることにより、表示エリア５１に表示する画像を切り替える指示がなされたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、顔検出部３２が複数の画像から顔を検出し（ステップＳＴ４）、類似度算出部３４が、上記のように複数の画像に含まれる顔同士の類似度Ｒ１を算出し（ステップＳＴ５）、ラベリング部３６が類似度Ｒ１が所定のしきい値Ｔｈ０以上となる顔同士を同一ラベルによりラベリングする（ステップＳＴ６）。
【００３３】
図５はラベリング結果を示す図である。なお、図５においては図４に示す表示画面５０の表示エリア５１に表示された画像Ｇ１〜Ｇ８のラベリング結果を示す。図５に示すように、画像Ｇ１〜Ｇ８には９人の人物の顔が含まれており、顔同士の類似度Ｒ１に応じてそれぞれの顔にＡ〜Ｉのラベルが付与される。
【００３４】
そして、主要顔特定部３８が、選択された画像に含まれる顔のラベリング結果に基づいて、ハードディスク２４に保存された複数の画像に含まれる主要顔を特定する（ステップＳＴ７）。ここで、画像Ｇ１〜Ｇ８のうち、選択された画像Ｇ１〜Ｇ４，画像Ｇ６，Ｇ７に含まれる顔を見ると、顔Ａ，Ｂ，Ｃ，Ｄ，Ｅを含む画像は複数枚選択されている。顔Ｆ，Ｇ，Ｈ，Ｉを含む画像は１枚選択されている。顔Ｃ，Ｄ，Ｆについては選択されていない画像がある。主要顔特定部３８は、顔Ａ〜Ｉを含む画像の選択状況に基づいて、主要顔を特定する。具体的には、複数枚選択されている画像に含まれる顔のうち、選択されていない画像がある顔以外の顔を主要顔とする。これにより、顔Ａ，Ｂ，Ｃ，Ｄ，Ｅのうち顔Ｃ，Ｄ以外の顔Ａ，Ｂ，Ｅが主要顔に特定される。
【００３５】
なお、選択されていない画像がある顔がない場合には、複数枚選択されている画像に含まれる顔のうち、１枚のみ選択されている画像がある顔以外の顔を主要顔としてもよく、複数枚選択されている画像に含まれる顔がない場合、１枚のみ選択されている画像に含まれる顔のうち、選択されていない画像がある顔以外の顔を主要顔としてもよい。また、複数枚選択されている画像に含まれる顔を主要顔としてもよい。
【００３６】
次いで、類似度算出部３４が、主要顔Ａ，Ｂ，Ｅとハードディスク２４に保存された複数の画像のうち選択された画像以外の他の画像との類似度である主要顔類似度Ｒ２を算出する（ステップＳＴ８）。なお、主要顔類似度の算出は、類似度Ｒ１の算出において、所定の顔Ｔ０を主要顔Ａ，Ｂ，Ｅとして、他の画像に含まれるすべての顔との類似度を主要顔類似度Ｒ２として算出することにより行う。ここで、画像に複数の顔が含まれる場合、図６に示すように、それぞれの顔について例えば主要顔Ａとの類似度Ｒ１が算出されるが、複数の類似度Ｒ１のうち最も高い類似度Ｒ１を主要顔Ａとその画像との類似度Ｒ２′とする。例えば、図７に示すように、画像Ｇ０に４つの顔が含まれており、各顔と主要顔Ａとの類似度が図７に示すように０．９，０．７，０．６，０．２であった場合、主要顔Ａとその画像Ｇ０との類似度Ｒ２′は０．９として算出される。
【００３７】
ここで、本実施形態においては、主要顔は顔Ａ，Ｂ，Ｅの３つあるため、類似度算出部３４は、３つの主要顔Ａ，Ｂ，Ｅのそれぞれについての類似度Ｒ２′を算出し、その加算値を主要顔類似度Ｒ２として算出する。このため、顔Ａ，Ｂ，Ｅの３つの顔を含む画像は主要顔類似度Ｒ２は高い値となり、以下、顔Ａ，Ｂ，Ｅが含まれる数が少なくなるにつれて主要顔類似度Ｒ２の値も小さくなる。例えば、図８に示す画像Ｇ１１〜Ｇ１３において、画像Ｇ１１には顔Ａ、画像Ｇ１２には顔Ａ，Ｂ、画像Ｇ１３には顔Ａ，Ｂ，Ｅが含まれている場合、主要顔類似度Ｒ２は、Ｇ１３＞Ｇ１２＞Ｇ１１となる。
【００３８】
そして、ソート部４０が、主要顔類似度Ｒ２が高い順に選択された画像以外の画像を再ソートし（ステップＳＴ８）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ９）、処理を終了する。なお、主要顔類似度Ｒ２が同一の場合には撮影日時の昇順に画像をソートするものとする。また、すべてを類似度順に表示する必要はなく、例えば主要顔類似度Ｒ２が所定のしきい値Ｔｈ１を超える画像のみをソートして表示するようにしてもよい。
【００３９】
図９は主要顔類似度Ｒ２が高い順にソートした場合のソート結果の表示画面を示す図である。図９に示すように表示画面５３の表示エリア５４には、図４において選択された画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７がこの順序にて表示されている。なお、画像Ｇ１〜Ｇ４，画像Ｇ６，Ｇ７には選択されたことを示す太枠が付与されている。また、画像Ｇ１〜Ｇ４，画像Ｇ６，Ｇ７に加えて、例えば図８に示す３つの画像のうち、主要顔がより多く含まれる画像Ｇ１２，Ｇ１３がＧ１３，Ｇ１２の順序にて表示エリア５４に表示される。
【００４０】
ユーザは表示エリア５４に表示された画像からプリントする画像を選択する。そして、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。
【００４１】
このように、本実施形態においては、主要顔と選択された画像以外の他の画像との類似度である主要顔類似度Ｒ２を算出し、主要顔類似度Ｒ２が高い順に画像を再ソートして表示するようにしたため、上記特許文献１に記載された手法のように、検索の対象となる顔画像を取得しなくても、ユーザが選択した画像に含まれる主要顔を特定して画像をソートできるため、ユーザは、複数の画像から主要顔を含む画像をより見つけやすくなる。
【００４２】
なお、上記実施形態においては、表示エリア５１に表示する画像を切り替えるタイミングで再ソートを行っているが、ユーザが画像を選択する毎に選択した画像以外の他の画像について再ソートを行うようにしてもよい。また、ユーザが画像を選択後、再ソートの指示を行うことにより再ソートを行うようにしてもよい。
【００４３】
また、上記実施形態においては、ソートする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。
【００４４】
また、上記実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。
【００４５】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、類似度算出部３４、ラベリング部３６、主要顔特定部３８およびソート部４０に対応する手段として機能させ、図３に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態による画像ソート装置を適用したプリント注文受付装置の外観斜視図
【図２】本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図
【図３】本実施形態において行われる処理を示すフローチャート
【図４】ソート結果の表示画面を示す図
【図５】ラベリング結果を示す図
【図６】所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その１）
【図７】所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その２）
【図８】主要顔類似度の算出を説明するための図
【図９】主要顔類似度が高い順にソートした場合のソート結果の表示画面を示す図
【符号の説明】
【００４７】
１    プリント注文受付装置
２    メモリカード
４    カードスロット
６    表示部
８    プリンタ
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    プリンタインターフェース
３２    顔検出部
３４    類似度算出部
３６    ラベリング部
３８    主要顔特定部
４０    ソート部
【図１】
2008217385.tif 000003
【図２】
2008217385.tif 000004
【図３】
2008217385.tif 000005
【図４】
2008217385.tif 000006
【図５】
2008217385.tif 000007
【図６】
2008217385.tif 000008
【図７】
2008217385.tif 000009
【図８】
2008217385.tif 000010
【図９】
2008217385.tif 000011