(57)【要約】【課題】画像を選択する人の感性に合わせた画像を推薦することが可能な画像選択を支援する画像表示装置等を提供する。【解決手段】画像表示装置１の制御部７は、嗜好情報設定画面７０１を表示部１７に表示し、読み込んだ画像データ６０の画像のなかから、所望の人の顔、およびその優先順位と、その表情をユーザに指定させ、嗜好情報７０に格納する。制御部７は、画像データ６０の全画像に含まれる顔画像の特徴値を算出し、嗜好情報７０に格納された所望の人の顔を識別するとともに、各画像について、所望の人の顔の有無、所望の表情との類似度Ｅ、優先順位の値から各画像の推薦度Ｄを算出し、しきい値ＴＨより大きい推薦度Ｄの値を持つ画像を推薦画像９０として表示部１７に表示する。【選択図】図２
2013196417.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを記憶する第１の記憶部と、
所望の人の顔、および、前記所望の人の優先順位および前記所望の人の所望の表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定手段と、
前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出手段と、
前記特徴値算出手段により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別手段と、
前記識別手段により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出手段と、
前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出手段により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦手段と、
を具備することを特徴とする画像表示装置。
【請求項２】
第１の記憶部に記憶されている複数の画像データから、推薦画像データを抽出し表示する画像表示方法であって、
コンピュータが、
所望の人の顔、および、前記所望の人の優先順位および前記所望の人の欲しい表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定工程と、
前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出工程と、
前記特徴値算出工程により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別工程と、
前記識別工程により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出工程と、
前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出工程により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦工程と、
を実行することを特徴とする画像表示方法。
【請求項３】
コンピュータを、
複数の画像データを記憶する第１の記憶部と、
所望の人の顔、および、前記所望の人の優先順位および前記所望の人の所望の表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定手段と、
前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出手段と、
前記特徴値算出手段により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別手段と、
前記識別手段により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出手段と、
前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出手段により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦手段と、
を具備する画像表示装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像選択を支援する画像表示装置等に関するものである。
【背景技術】
【０００２】
デジタルカメラの性能向上、および、写真等を保存するためのメモリーカード等記録媒体の大容量低価格化が進み、多くの画像を撮影し、収集する傾向が増している。その結果、記録媒体に格納された多くの画像から、印刷等の目的に合わせた好みの画像をピックアップする作業が負担になる。
【０００３】
このため、良い画像を選択するための方法、良い画像を選択する方法が提案されている（例えば特許文献１、特許文献２）。
【０００４】
特許文献１は、撮像装置についての発明であり、予め好みの顔の特徴量を登録しておき、複数の画像を撮像し、撮像された複数の画像の中から、登録されている顔の特徴量に近い被写体を含む画像を判断し記録する撮像装置について提案している。
【０００５】
特許文献２は、複数の画像の検索、表示を迅速に行う技術について開示しており、画面中央に位置する被写体の顔の笑顔度に基づいて、画像を選択する方法を提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１１５４０６号公報
【特許文献２】特開２００９−２０５３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法は、撮像装置に設けられた技術であり、登録された好みの顔の画像以外の顔の画像は記録されないという問題がある。
また、特許文献２の方法は、笑顔の画像が良いという仮定に基づき、笑顔度の高い画像を選択するものであるが、良いと判断する表情は選択者によって異なり、必ずしも笑顔がよいわけではない。
【０００８】
図１４は、複数の画像から画像を選択する場合の例を示す図である。
図１４（a）のように、複数の被写体が撮影されている画像１〜１０（７３１〜７４０）から良いと思われる画像を選択する作業は思いのほか負担がかかる。
図１４（ｂ）は、笑顔を判断基準として選択した場合の例であり、被写体全員が笑顔の画像（画像８、画像９、画像１０）が選択される。
【０００９】
しかしながら、選択の基準は笑顔とは限らず、選択者によって異なり、特定の人が写っている画像を選択したいという場合もある。
図１４（ｃ）、（ｄ）は、特定の人の特定の表情を判断基準とする場合の例である。すなわち、特定の人（Ａ、Ｂ、Ｃ）が写っていることが望ましく、また、Ａの人は笑顔、Ｂの人は驚き、Ｃの人は真顔であるという条件に近い画像は、例えば、画像６、７、１０となり、図１４（ｂ）で選択された画像とは異なるものとなる。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、画像を選択する人の感性に合わせた画像を推薦することが可能な画像選択を支援する画像表示装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために、第１の発明は、複数の画像データを記憶する第１の記憶部と、所望の人の顔、および、前記所望の人の優先順位および前記所望の人の所望の表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定手段と、前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出手段と、前記特徴値算出手段により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別手段と、前記識別手段により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出手段と、前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出手段により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦手段と、を具備することを特徴とする画像表示装置である。
【００１２】
第１の発明によれば、顔指定手段により、ユーザが所望する人、および、その人の顔について所望する表情を指定することが可能になり、また、推薦手段により、第１の記憶部に記憶されている複数の画像データの中から、所望する人の所望する表情に近い顔が含まれる画像データを抽出することが可能になり、ユーザの嗜好に合う画像を推薦することが可能になる。
【００１３】
また、顔指定手段により、複数の人を優先順位をつけて指定することが可能になり、また、推薦手段により、当該優先順位に基づいて推薦度を算出することにより、優先順位の高い人の所望する表情に近い顔が多く含まれる画像データを抽出することが可能になり、更にユーザの嗜好に合った画像を推薦することが可能になる。
【００１４】
第２の発明は、第１の記憶部に記憶されている複数の画像データから、推薦画像データを抽出し表示する画像表示方法であって、コンピュータが、所望の人の顔、および、前記所望の人の優先順位および前記所望の人の欲しい表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定工程と、前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出工程と、前記特徴値算出工程により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別工程と、前記識別工程により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出工程と、前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出工程により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦工程と、を実行することを特徴とする画像表示方法である。
【００１５】
第２の発明によれば、顔指定工程により、ユーザが所望する人、および、その人の顔について所望する表情を優先順位を付けて指定することが可能であり、また、推薦工程により、優先順位の高い人の、所望する表情に近い顔が多く含まれる画像データを抽出し、ユーザの嗜好に合った画像を推薦することが可能になる。
【００１６】
第３の発明は、コンピュータを、複数の画像データを記憶する第１の記憶部と、所望の人の顔、および、前記所望の人の優先順位および前記所望の人の所望の表情を指定させ、前記所望の人の顔の特徴値とともに第２の記憶部に記憶する顔指定手段と、前記第１の記憶部に記憶されている前記画像データに含まれるすべての顔の特徴値および表情を算出する特徴値算出手段と、前記特徴値算出手段により算出された前記画像データに含まれる顔の特徴値と、前記第２の記憶部に記憶されている前記所望の人の顔の特徴値とを照合し、前記所望の人の顔であるか否かを識別する識別手段と、前記識別手段により、前記画像データに含まれる顔が、前記所望の人の顔であると識別された場合に、前記画像データに含まれる顔の表情と、前記所望の表情の差を算出する表情距離算出手段と、前記画像データごとに、前記所望の人の顔の有無、および、前記表情距離算出手段により算出された表情の差、および、前記優先順位を元に、前記画像データの推薦度を算出し、前記推薦度が所定の値以上の場合に前記画像データを推薦画像データとして推薦する推薦手段と、を具備する画像表示装置として機能させるためのプログラムである。
【００１７】
第３の発明によれば、優先順位の高い人の、所望する表情に近い顔が多く含まれる画像データを抽出し、ユーザの嗜好に合った画像を推薦することが可能になる。
【発明の効果】
【００１８】
本発明により、画像を選択する人の感性に合わせた画像を推薦することが可能な画像選択を支援する画像表示装置等を提供することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】画像表示装置１のハードウエア構成例を示すブロック図。
【図２】画像表示装置１の処理の流れを示すフローチャート。
【図３】ステップ１０２の処理を詳細に示すフローチャート。
【図４】嗜好情報設定画面例７０１を示す図。
【図５】ステップ１０３、ステップ１０４の処理を詳細に示すフローチャート。
【図６】対象被写体の特徴値７３を示す図。
【図７】全画像の顔についての特徴値６５を示す図。
【図８】被写体の画像一覧７１を示す図。
【図９】ステップ１０５の処理を詳細に示すフローチャート。
【図１０】ステップ５０７の処理を詳細に示すフローチャート。
【図１１】表情の距離テーブル８０を示す図。
【図１２】推薦画像の選択処理を説明する図。
【図１３】推薦画像決定後の画像一覧表示例８０１を示す図。
【図１４】従来の画像選択を説明する図。
【発明を実施するための形態】
【００２０】
以下、添付図面に基づいて、本発明に係る画像表示装置等の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２１】
図１は、画像表示装置１のハードウエア構成例を示すブロック図である。
画像表示装置１は、例えば、パーソナルコンピュータ等のコンピュータであってもよいし、また、利用者が持ち込んだ記録媒体に記録されているデジタルカメラの画像データをプリントすることができる画像プリントシステムであってもよい。
【００２２】
画像表示装置１は、制御部７、記憶部９、メディア入出力部１１、通信制御部１３、入力部１５、表示部１７、周辺機器Ｉ／Ｆ部１９等がバス２１を介して接続される。
【００２３】
制御部７は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、ＲＯＭ、記憶部９等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２１を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部９、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部７が各種処理を行うために使用するワークエリアを備える。
【００２４】
記憶部９は、ＨＤＤ（ハードディスクドライブ）であり、制御部７が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、アプリケーションプログラム、ファイル等が格納されている。
これらの各プログラムコードは、制御部７により必要に応じて読み出されてＲＡＭに移され、ＣＰＵにより各種の手段として実行される。
本発明の本実施形態に係る画像表示装置１を実行するためのプログラムやデータは、記憶部９に格納されており、必要に応じて制御部１に読み出されて実行される。
【００２５】
メディア入出力部１１は、記録媒体のデータの入出力を行うドライブ装置であり、例えば、フロッピー（登録商標）ディスクドライブ、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＭＯドライブ等のメディア入出力装置を有する。
通信制御部１３は、通信制御装置、通信ポート等を有し、ネットワーク４を介した通信を媒介する通信インタフェースであり、他のコンピュータ間との通信制御を行う。
【００２６】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１７は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）モニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
周辺機器Ｉ／Ｆ部１９は、周辺機器を接続するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート等である。
バス２１は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２７】
図２は、本発明に係る本実施形態の処理の流れを示すフローチャートである。
まず、画像表示装置１の制御部７は、画像データ６０を読み込み、記憶部９に格納する（ステップ１０１）。画像データ６０は、例えば、図１４（ａ）に示したように、複数の画像からなり、例えば、画像表示装置１のメディア入出力部１１を介してメモリーカード等から読み込む。あるいは、インターネット等のネットワークを介して他のコンピュータ装置から画像表示装置１の通信制御部１３を介して読み込むようにしてもよい。
【００２８】
次に、制御部７は、ユーザに嗜好情報を設定させる（ステップ１０２）。嗜好情報は、ユーザが画像を選択する際に所望する人と、その優先順位、当該人の顔の所望の表情である。ステップ１０２については後で詳述する。
次に、制御部７は、ステップ１０１で記憶部９に格納された画像データ６０について、各画像に含まれる顔の画像（顔画像）を解析する（ステップ１０３）。
ステップ１０３については後で詳述する。
【００２９】
次に、制御部７は、ステップ１０３の顔画像の解析結果を元に、各顔画像の識別を行い、ステップ１０２で嗜好情報として設定された顔を画像データ６０の各画像から識別する（ステップ１０４）。
ステップ１０４については後で詳述する。
【００３０】
次に、制御部７は、画像データ６０の複数の画像から、ステップ１０２でユーザに設定させたユーザの嗜好情報の顔画像に近い顔画像を含む画像を推薦画像として抽出する（ステップ１０５）。ステップ１０５の推薦画像の決定方法については後で詳述する。
制御部７は、ステップ１０５で決定された推薦画像を表示部１７に表示し（ステップ１０６）、処理を終了する。
【００３１】
次に、図１のステップ１０２（嗜好情報の設定）の処理について説明する。図３は、ステップ１０２の処理の流れを示すフローチャート、図４は、嗜好情報の設定画面例７０１である。
【００３２】
制御部７は、まず、図１のステップ１０１により記憶部９に格納された画像データ６０を表示部１７に顔部分を選択可能に表示する（ステップ２０１）。
図４（ｂ）に示すように、嗜好情報設定画面７０１の画像データ表示部７０３に、例えば、画像データ６０のサムネイルを表示する。
【００３３】
図４（ｂ）に示す例では、画像データ表示部７０３にサムネイル画像として画像１〜画像６（７３１〜７３６）が各画像１〜６に含まれる顔を選択可能に表示される。
顔の部分を選択可能に表示するためには、顔の位置および領域を抽出する必要があるが、顔の位置・領域の抽出は、公知の技術、例えば、特開２００５−１６５４４７に記載されている方法等を使用することが可能である。
【００３４】
図４（ｂ）の画像データ表示部７０３に示すように、制御部７は、公知の方法で抽出された各画像１〜６（７３１〜７３６）顔領域を例えば、矩形で囲んで表示し、この矩形にカーソル７１１を合わせてクリックすることにより、当該顔領域の顔を選択可能にする。
【００３５】
次に、制御部７は、ユーザに、欲しい被写体を、優先順位をつけて選択させる（ステップ２０２）。
例えば、図４（ａ）に示すように、ユーザが人Ａ、Ｂ、Ｃが写っている画像を所望しているとする。さらに、ユーザは、写っている人の優先順位を、人Ａ、Ｂ、Ｃの順に所望しているとする。
【００３６】
制御部７は、ユーザに、所望の人の顔に優先順位の順にカーソル７１１を合わせて選択させてもよいし、また、カーソル７１１を合わせた顔の領域を、嗜好情報設定画面７０１の左側の部分にある嗜好情報データ７１の被写体の部分の所望の優先順位の位置にドラッグさせるようにしてもよい。
以上の所望の顔の選択処理により、嗜好情報設定画面７０１の嗜好情報データ７１として所望の被写体が優先順位の順に選択され、表示される。
【００３７】
次に、制御部７は、選択された被写体について、ユーザに、所望の欲しい表情を選択させる（ステップ２０３）。
図４に示すように、ユーザが、所望の人Ａ、Ｂ、Ｃについて、所望の表情を選択させる。図４（ａ）に示すように、例えば、ユーザが、人Ａについては笑っている表情、人Ｂについては驚いている表情、人Ｃについては画像データ表示部７０３から選択された顔の表情を所望しているものとする。
【００３８】
制御部７は、図４（ｂ）に示すように、嗜好情報設定画面７０１の嗜好情報データ７１の部分に、欲しい表情を選択可能に表示する。例えば、「楽しい」、「悲しい」、「驚き」、「怒り」、「真顔」、および、「選択された表情」のなかから選択できるようにする。
ユーザは、選択したい表情にカーソルを合わせてクリックすればよい。
【００３９】
以上の所望の表情の選択処理により、例えば、図４（ｂ）に示すように、優先順位「１」の人Ａについては「楽しい」表情が、優先順位「２」の人Ｂについては「驚き」の表情が、優先順位「３」の人Ｃについては「選択された表情」が嗜好情報データ７１として選択される。
【００４０】
制御部は、嗜好情報設定画面７０１に、このほか、「登録」ボタン７０９、および、「その他の写真」ボタン７０５等が選択可能に表示する。
「登録」ボタン７０９を選択することにより、優先順位と被写体、欲しい表情からなる嗜好情報データ７１が記憶部９に嗜好情報７０として格納される。
また、「その他の写真」ボタン７０５は、画像データ表示部７０３に所望の人や所望の表情がない場合にユーザにより選択されることで、制御部７は、記憶部９に格納されているその他の画像データ６０のサムネイル画像を、画像１〜画像６（７３１〜７３６）と同様に、顔領域を選択可能に表示する。
【００４１】
以上に説明したステップ２０１〜２０３（図１のステップ１０２）の処理により、制御部７は、複数の所望の人の顔を、優先順位をつけて選択させ、さらに、各所望の人について、所望の表情を選択させることが可能になる。これにより、ユーザの嗜好によりあった画像の抽出を可能する。
【００４２】
次に、図１のステップ１０３（画像データの顔画像解析）の処理について説明する。図５（ａ）は、ステップ１０３の処理の流れを示すフローチャート、図６、図７は、顔画像解析結果である特徴値の例を示す図である。
【００４３】
まず、制御部７は、ステップ１０２で選択された被写体の顔画像を解析し、特徴値を算出し、対象被写体の特徴値７３として記憶部９の嗜好情報７０に格納する（ステップ３０１）。
すなわち、記憶部９の嗜好情報７０として格納された嗜好情報データ７１の、ユーザが選択した被写体（Ａ、Ｂ、Ｃ）の顔画像について特徴値を抽出する。
【００４４】
顔画像の特徴値は、例えば、顔領域座標、目の位置座標、鼻の位置座標、口の位置座標、性別、年代、笑顔の確度等の情報であり、例えば、特開２００９−２９４９２５号公報、特開２００５−１６５４４７号公報、特開２００７−３３６１２４号公報のほか、Ｆａｃｅ．ｃｏｍ社が一般公開している顔認識技術のＡＰＩ(Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ)などの公知の手法を用いればよく、例えば以下のようにすればよい。
【００４５】
まず、顔画像から顔領域検出部にて顔領域を検出し、さらに顔特徴抽出部にて顔の特徴情報を抽出する。また、あらかじめ男女別の幅広い年齢層の個人顔特徴情報を作成しておき、年齢と性別の情報と合わせて顔特徴保持部に保持し、顔特徴抽出部で抽出された顔特徴情報と顔特徴保持部内の個人顔特徴情報とを照合して類似度を求める。得られた類似度とそれに付属した年齢および性別の情報から当該人物の年齢と性別を判別すればよい。
【００４６】
また、笑顔の確度や表情は、口の曲がり具合、口角の上がり具合、目の大きさ、しわのより具合などにもとづいて定量化することができる。定量化された値にもとづいてあらかじめ設定されたしきい値との比較により、被写体像がどの程度笑っているかを判定することができる。
【００４７】
図６は、ステップ１０２で選択された被写体の顔画像の特徴値７３を示す図である。
ステップ３０１の被写体（Ａ、Ｂ、Ｃ）の顔画像の解析により、それぞれの被写体（Ａ、Ｂ、Ｃ）について、例えば、顔領域座標、目の位置座標、鼻の位置座標、口の位置座標、推定された年代、笑顔の確度（Ｓｍｉｌｉｎｇ）、性別（ｇｅｎｄｅｒ）等の特徴値が抽出され、記憶部９の嗜好情報７０に特徴値として格納される。
【００４８】
また、例えば、対象被写体１〜３（Ａ、Ｂ、Ｃ）の笑顔の確度（Ｓｍｉｌｉｎｇ）はそれぞれ、４３％、８５％、５０％等であり、笑顔の確度が高いほど、笑顔であることを示している。
【００４９】
ここで、対象被写体の特徴値７３の表情（ｍｏｏｄ）の値としては、嗜好情報の選択処理（図２のステップ１０２）でユーザが選択した「欲しい表情」を格納する。
図６（ｃ）は、欲しい表情の選択肢と、対象被写体の特徴値７３の表情（ｍｏｏｄ）の値の対応を示す表である。例えば、「楽しい」は「ｈａｐｐｙ」に、「驚き」は「ｓｕｒｐｒｉｓｅｄ」に、「選択された表情」は「選択画像の特徴値」に対応する。
【００５０】
図６（ａ）に示すように、対象被写体１（Ａ）の表情（ｍｏｏｄ）の値は、嗜好情報データ７１で「楽しい」が選択されているので「ｈａｐｐｙ」、対象被写体２（Ｂ）の表情（ｍｏｏｄ）の値は、嗜好情報データ７１で「驚き」が選択されているので「ｓｕｒｐｒｉｓｅｄ」、対象被写体２（Ｃ）の表情（ｍｏｏｄ）の値は、嗜好情報データ７１で「選択された表情」が選択されているので「選択画像の特徴値」となっている。
【００５１】
次に、制御部７は、記憶部９の画像データ６０に格納されている各画像に含まれる全顔画像について分析し、各顔画像の特徴値を抽出し、全画像の顔についての特徴値６５として記憶部９に格納する（ステップ３０２）。
顔画像の分析方法は、ステップ３０１と同様である。
【００５２】
図７は、全画像の顔についての特徴値６５の例を示す図である。
図７に示すように、全画像の顔についての特徴値６５は、画像ＩＤ、顔ＩＤ、性別（ｇｅｎｄｅｒ）、表情（ｍｏｏｄ）、笑顔の確度（ｓｍｉｌｉｎｇ）、顔領域座標、目の位置座標、鼻の位置座標、口の位置座標、推定される年代等である。
【００５３】
例えば、画像ＩＤが１の画像１には、５個の顔画像があるため、それぞれの顔に顔ＩＤ、Ｉｍｇ１−１、Ｉｍｇ１−２、・・・、Ｉｍｇ１−５が付され、それぞれの顔ＩＤについて、上記の抽出された特徴値が格納される。
以上のステップ３０１、３０２（図２のステップ１０３）により、ユーザにより選択された対象被写体の特徴値７３および全画像の顔についての特徴値６５が抽出され、記憶部９に格納される。
【００５４】
次に、図１のステップ１０４（個人の識別）の処理について説明する。図５（ｂ）は、ステップ１０４の処理の流れを示すフローチャート、図８は、個人の識別結果である被写体の画像一覧７５を示す図である。
【００５５】
制御部７は、ステップ１０３で抽出した全画像（画像ＩＤ１、２、・・・）の全顔画像（顔ＩＤ：Ｉｍｇ１−１、Ｉｍｇ１−２、・・・）の特徴値と、ユーザにより選択された対象被写体の特徴値７３を照合し、全顔画像の中から対象被写体に対応する顔を抽出し、被写体の画像一覧７５として記憶部９に格納する（ステップ４０１）。
【００５６】
画像データから顔情報を抽出して、予め登録された顔情報と照合する方法としては、例えば、非特許文献１（「顔画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、）１９９７年６月、山口、福井、前田）や、特開２００３−１４１５４２号公報などの公知の手法を用いればよい。
【００５７】
図８は、被写体の画像一覧７５の例を示す図である。
図８に示すように、ユーザにより選択された対象被写体１（人Ａ）は、ステップ４０１の識別の結果、画像２のＩｍｇ２-２、画像５のＩｍｇ５−１、画像６のＩｍｇ６−１、対象被写体２（人Ｂ）は、画像１のＩｍｇ１-２、画像６のＩｍｇ６−４、対象被写体３（人Ｃ）は、画像１のＩｍｇ１-１、画像２のＩｍｇ２−３、画像６のＩｍｇ６−２として含まれることを示している。
【００５８】
図８に示されているその他のデータ、すなわち、例えば、顔領域座標、目・鼻・口の位置座標、年代、ｇｅｎｄｅｒ（性別）、ｍｏｏｄ（表情）、ｓｍｉｌｉｎｇ（笑顔の確度）の値は、図５のステップ３０２で算出された全画像の顔についての特徴値６５の対応する顔情報の値である。
【００５９】
次に、図１のステップ１０５（推薦画像の決定）の処理について説明する。図９、図１０は、ステップ１０５の処理の流れを示すフローチャート、図１１、図１２は、推薦画像の決定方法を説明する図である。
【００６０】
推薦画像の決定処理（ステップ１０５）では、画像データ６０の全画像１、２、・・・について、優先順位のついた複数の対象被写体の所望の表情の顔画像がより多く含まれる画像を推薦画像として決定する処理である。
【００６１】
制御部７は、まず、画像ＩＤの変数ｎを１に初期化する（ステップ５０１）。また、制御部７は、画像ＩＤｎの画像について推薦画像を選択するために用いる推薦度Ｄ（ｎ）の値を０に初期化する（ステップ５０２）。
また、制御部７は、ユーザにより選択された対象被写体のＩＤを示す変数ｍに初期化する（ステップ５０３）。
【００６２】
次に、制御部７は、画像ｎに対象被写体ｍが存在するか否かを判定する（ステップ５０４）。そして、画像ｎに対象被写体ｍが存在する場合（ステップ５０４のＹｅｓ）には一時変数Ｇを１とし（ステップ５０５）、画像ｎに対象被写体ｍが存在しない場合（ステップ５０４のＮｏ）には一時変数Ｇを０とする（ステップ５０６）。
例えば、画像１について対象被写体１は存在しないのでＧ＝０となり、対象被写体２および対象被写体３は存在するのでＧ＝１となる。
【００６３】
画像ｎに対象被写体ｍが存在し、ステップ５０５でＧ＝１とした後、制御部７は、画像ｎに含まれる対象被写体ｍの表情と、嗜好情報７０の対象被写体の特徴値７３に含まれる表情（ｍｏｏｄ）の類似度Ｅを算出する（ステップ５０７）。
表情の類似度算出処理（ステップ５０７）の例として、図１０に、詳細な処理の流れを示すフローチャートを示す。
【００６４】
ステップ５０７の表情の類似度Ｅの算出方法は、嗜好情報７０として所望の表情を「選択画像の特徴値」としたか、その他の表情（「楽しい」、「悲しい」、「驚き」、「怒り」、「真顔」）としたかによって異なる。
まず、制御部７は、対象被写体の特徴値７３の「ｍｏｏｄ（表情）」の値が「選択画像の特徴値」か否かを判定する（ステップ６０１）。
図６に示した対象被写体の特徴値７３の例の場合、対象被写体３の「ｍｏｏｄ」の値が「選択画像の特徴値」であり、その他の対象被写体１および対象被写体２はそれ以外の表情である。
【００６５】
ステップ６０１がＮｏの場合、図１１の表情の類似度テーブル８０に従って表情の類似度Ｅを求める（ステップ６０２）。
図１１に示すように、表情の類似度テーブル８０によって、嗜好情報７０の表情設定と、画像ｎに含まれる顔画像のｍｏｏｄ（表情）の値に従って０〜５の値が表情の類似度Ｅとして与えられる。
【００６６】
例えば、嗜好情報７０の表情設定が「楽しい」で、画像ｎに含まれる顔画像のｍｏｏｄの値が「ｈａｐｐｙ」ならば表情の類似度Ｅ＝５となり、嗜好情報７０の表情設定が「楽しい」で、画像ｎに含まれる顔画像のｍｏｏｄの値が「ｎｕｅｔｒａｌ」ならば表情の類似度Ｅ＝３となる。
【００６７】
一方、ステップ６０１がＹｅｓの場合、例えば、笑顔の確度（Ｓｍｉｌｉｎｇ）の値を元に表情の類似度Ｅを算出する（ステップ６０３）。
図１２（ａ）は、ステップ６０３における表情の類似度Ｅの算出式の例である。
図１２（ａ）の式により、対象被写体ｍのＳｍｉｌｉｎｇの値と、画像ｎに含まれる顔画像のＳｍｉｌｉｎｇの値の差によって５〜０の値が算出される。差が大きいほど表情の類似度Ｅは０に近い値となる。
【００６８】
次に、制御部７は、嗜好情報７０の対象被写体ｍの優先順位の値から重みＷを決定する（ステップ５０８）。これは、優先順位の高い対象被写体ｍが画像ｎに含まれるほど推薦度Ｄ（ｎ）の値を大きくなるように設定されるものであり、例えば、図１２（ｂ）に示す式により重みＷの値を算出する。
図１２（ｂ）に示す重みＷの算出式によれば、優先順位が１番の対象被写体１の重みＷが３、優先順位が２番の対象被写体２の重みが２、優先順位が３番の対象被写体３の重みが１になる。
【００６９】
次に、制御部７は、ステップ５０５、５０６により求まった一時変数Ｇ、ステップ５０７で求まった表情の類似度Ｅ、および、ステップ５０８で求まった重みＷの値から、Ｇ×Ｅ×Ｗの値を一時変数Ｇの値とする（ステップ５０９）。
さらに、制御部７は、ステップ５０９で求めた一時変数Ｇの値を画像ｎの推薦度Ｄ（ｎ）の値に加算し、推薦度Ｄ（ｎ）とする（ステップ５１０）。
【００７０】
次に、制御部７は、対象被写体の変数ｍを１インクリメントし（ステップ５１１）、変数ｍの値が対象被写体数Ｍの値以下の場合（ステップ５１２のＹｅｓ）、ステップ５０４〜ステップ５１２の処理を繰り返す。これにより、画像ｎにＭ個の対象被写体のうちのどの対象被写体が含まれていて、その表情が、嗜好情報７０の表情の情報とどれだけ近いかを示す値が推薦度Ｄ（ｎ）として算出される。
【００７１】
ステップ５１２がＮｏの場合（Ｍ個の対象被写体についての推薦度Ｄ（ｎ）の計算が完了した場合）、推薦度Ｄ（ｎ）の値を所定のしきい値ＴＨの値と比較する（ステップ５１３）。
推薦度Ｄ（ｎ）≧しきい値ＴＨの場合（ステップ５１３のＹｅｓ）、画像ｎを推薦画像として保持する（ステップ５１４）。
【００７２】
ステップ５１４の処理後、および、推薦度Ｄ（ｎ）＜しきい値ＴＨの場合（ステップ５１３のＮｏ）、次の画像ｎ＋１の処理を行うため、ｎの値を１インクリメントし（ステップ５１５）、ｎの値が画像データ６０に含まれる全画像数Ｎ以下の場合（ステップ５１６のＹｅｓ）、ステップ５０２に戻り、ステップ５０２〜５１６の処理を繰り返す。全画像数Ｎについて処理が完了した場合（ステップ５１６のＮｏ）、ステップ１０５の処理を終了する。
【００７３】
図１２（ｃ）は、推薦画像の決定例８９を示す図である。
画像ＩＤ（ｎ＝１〜６、・・・）について、対象被写体ｍ（ｍ＝１〜３）の被写体の有無（１または０）、表情の類似度Ｅ、重みＷから一時変数Ｇを求め、ｍ＝１〜３の一時変数Ｇの値の合計がＤ（ｎ）の値として示されている。
【００７４】
例えば、画像３、４、５の場合、対象被写体１〜３は含まれておらず、その結果、推薦度Ｄ（ｎ）の値は０となる。
また、例えば、画像２の場合、対象被写体１および３が含まれており、対象被写体１の場合、表情の類似度Ｅは、図１１の表情の類似度テーブル８０の「楽しい」-「ｈａｐｐｙ」を参照しＥ＝５、対象被写体３の場合、図１２（ａ）の式により、図６に示した対象被写体の特徴値７３のＳｍｉｌｉｎｇの値（５０％）と、図８に示した対象被写体３の画像２のＳｍｉｌｉｎｇの値（４４％）を元に、Ｅ＝４．７となり、重みＷにより、Ｄ（２）＝１９．７となる。
また、画像６も同様にＤ（６）の値を算出すると、Ｄ（６）＝２９．６５となる。
【００７５】
ここで、しきい値ＴＨ＝１５とすると、画像２および画像６が推薦画像９０となる。
【００７６】
最後に、制御部７は、図２のステップ１０６により、推薦画像９０を表示部１７に表示して処理を終了する。
図１３は、推薦画像９０の表示部１７への表示画面の例を示す図である。
図１３の例では、画像１から順に全画像を表示するとともに、推薦画像に「★」マークを付して推薦画像であることを示している。
【００７７】
図１３の例では推薦画像９０に特定のマークを付して推薦画像であることを示したが、推薦画像９０の提示方法はそれに限ることはない。例えば、推薦画像９０のみを別に表示部１７に表示するようにしてもよい。
【００７８】
以上、本発明によれば、単なる笑顔の顔を良い画像として推薦するのではなく、ユーザの嗜好に基づいて嗜好情報７０として指定された人の、指定された表情に近い顔情報を多く含む画像を推薦画像として抽出することが可能となり、よりきめ細やかな推薦画像抽出が可能になる。
また、嗜好情報７０における人の指定において優先順位を付すことにより、優先順位の高い指定された人の、指定された表情に近い顔情報を含む画像を推薦画像として抽出することが可能になる。
【００７９】
以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、本実施形態では、表情の類似度Ｅの算出方法に笑顔の確度（Ｓｍｉｌｉｎｇ）の値、または、ｍｏｏｄの値（「楽しい」、「悲しい」等の表情の種類）を用い、図１２（ａ）の式あるいは図１１の表に従って類似度Ｅの値を算出するようにしたが、図１２（ａ）の式、あるいは、図１１の表の値はこれに限ることはなく、他の式、他の値であってもよい。
【符号の説明】
【００８１】
１………画像表示装置
７………制御部
９………記憶部
１７………表示部
６０………画像データ
７０………嗜好情報
【図１】
2013196417.tif 000003
【図２】
2013196417.tif 000004
【図３】
2013196417.tif 000005
【図４】
2013196417.tif 000006
【図５】
2013196417.tif 000007
【図６】
2013196417.tif 000008
【図７】
2013196417.tif 000009
【図８】
2013196417.tif 000010
【図９】
2013196417.tif 000011
【図１０】
2013196417.tif 000012
【図１１】
2013196417.tif 000013
【図１２】
2013196417.tif 000014
【図１３】
2013196417.tif 000015
【図１４】
2013196417.tif 000016