(57)【特許請求の範囲】
【請求項１】
画像情報を取得する画像情報取得部と、
前記画像情報に基づいて第１評価値を算出する第１評価値算出部と、
前記画像情報に関連する生体情報を取得する生体情報取得部と、
前記生体情報であって、前記画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目に基づいて前記第１評価値の補正値を算出する補正値算出部と、
前記補正値に基づいて前記第１評価値を補正することで、前記画像情報の第２評価値を算出する第２評価値算出部と、
前記補正値を算出するモードを設定する補正値算出モード設定部と、
前記設定されたモードに基づいて前記生体情報評価項目に対応する各々の重みを設定する生体情報評価項目重み設定部と、
を備え、
前記補正値算出部は、前記生体情報評価項目と前記生体情報評価項目に対応する各々の重みに基づいて前記補正値を算出する画像評価装置。
【請求項２】
前記第１評価値算出部は、前記画像情報の画質、解像度、登場人物、撮影日時、撮影場所、前記画像情報の被写体の大きさ、向き、角度、被写体同士の位置関係のうち少なくとも１つを含む画像情報評価項目に基づいて、第１評価値を算出する請求項１に記載の画像評価装置。
【請求項３】
前記生体情報評価項目重み設定部は、前記補正値算出モード設定部により設定されたモードに対応する重みを、前記設定されたモードに対応しない重みよりも相対的に大きく設定する請求項１に記載の画像評価装置。
【請求項４】
前記モードは、前記画像情報の撮影者の生体情報に対応する重みを前記画像情報の被写体の生体情報に対応する重みよりも相対的に大きく設定する撮影者モード、前記画像情報の撮影者の生体情報に対応する重みよりも前記画像情報の被写体の生体情報に対応する重みを相対的に大きく設定する被写体モード、および前記画像情報の撮影者の生体情報に対応する重みと前記画像情報の被写体の生体情報に対応する重みとを同等に設定する撮影者被写体モードのうちいずれか１つを含む請求項３に記載の画像評価装置。
【請求項５】
前記モードは、前記画像情報の撮影者および／または被写体の喜怒哀楽の感情の中から任意に選択された１つの感情に基づいて、前記生体情報評価項目に対応する各々の重みを設定する感情選択モードを含む請求項１〜４のいずれか１項に記載の画像評価装置。
【請求項６】
画像情報を取得する画像情報取得部と、
前記画像情報に基づいて第１評価値を算出する第１評価値算出部と、
前記画像情報に関連する生体情報を取得する生体情報取得部と、
前記生体情報であって、前記画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目に基づいて、前記第１評価値の補正値を算出する補正値算出部と、
前記補正値に基づいて前記第１評価値を補正することで、前記画像情報の第２評価値を算出する第２評価値算出部と、
前記画像情報を推奨する基準となる評価基準値を設定する評価基準値設定部と、
前記第２評価値と前記評価基準値とに基づいて、前記画像情報を推奨画像に分類するか否かの判定を行う推奨画像分類判定部と、
前記判定の結果に従って前記画像情報を推奨画像に分類する推奨画像分類部と、
を備え、
前記推奨画像分類部は、ユーザ操作で任意に指定された１または複数の画像情報を推奨画像に分類し、
前記ユーザ操作に基づいて分類された１または複数の推奨画像に対応する生体情報評価項目に基づいて、前記生体情報評価項目の各々の重みを補正する重み補正部を備える画像評価装置。
【請求項７】
画像情報を取得する画像情報取得部と、
前記画像情報に基づいて第１評価値を算出する第１評価値算出部と、
前記画像情報に関連する生体情報を取得する生体情報取得部と、
前記生体情報であって、前記画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目に基づいて、前記第１評価値の補正値を算出する補正値算出部と、
前記補正値に基づいて前記第１評価値を補正することで、前記画像情報の第２評価値を算出する第２評価値算出部と、
前記画像情報を推奨する基準となる評価基準値を設定する評価基準値設定部と、
前記第２評価値と前記評価基準値とに基づいて、前記画像情報を推奨画像に分類するか否かの判定を行う推奨画像分類判定部と、
前記判定の結果に従って前記画像情報を推奨画像に分類する推奨画像分類部と、
を備え、
前記推奨画像分類部は、ユーザ操作で任意に指定された１または複数の画像情報を前記推奨画像から除外し、
前記ユーザ操作に基づいて前記推奨画像から除外された１または複数の画像情報に対応する生体情報評価項目に基づいて、前記生体情報評価項目の各々の重みを補正する重み補正部を備える画像評価装置。
【請求項８】
コンピュータが、
画像情報を取得するステップと、
前記画像情報に基づいて第１評価値を算出するステップと、
前記画像情報に関連する生体情報を取得するステップと、
前記生体情報であって、前記画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目に基づいて前記第１評価値の補正値を算出するステップと、
前記補正値に基づいて前記第１評価値を補正することで、前記画像情報の第２評価値を算出するステップと、
前記補正値を算出するモードを設定するステップと、
前記設定されたモードに基づいて前記生体情報評価項目に対応する各々の重みを設定するステップと、
を実行する画像評価方法。
【請求項９】
請求項８に記載の画像評価方法をコンピュータに実行させるための画像評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置、画像評価方法および画像評価プログラムに関し、特に、画像情報に基づく評価を行うための画像評価装置、画像評価方法および画像評価プログラムに関する。
【背景技術】
【０００２】
従来、画像の撮影時などにおけるユーザの生体情報に基づいて、画像の撮影などを行う技術が知られている。特許文献１では、デジタルスチルカメラ・ビデオカメラにおいて静止画・動画を撮影する場合、および、画像に対する処理、例えば、分類・保存・検索・再利用をする場合に、脳波を検出することで、「かわいい」と感じた場合と「興味がない」と感じた場合とで区別して、撮像を行うことが記載されている。
【０００３】
特許文献２では、脳波情報を検出し、脳波情報が、脳波条件として記録された振幅値の閾値を越えた場合に、記憶した脳波情報を消去するとともに、表示している画像に、Exif（登録商標）情報として、使用者に選択されたことを示す指標を付与する。
【０００４】
特許文献３では、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔の位置関係、および顔の検出スコアのうちの少なくとも１つの情報に基づいて、画像の評価結果を表す評価値を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2015-127851号公報
【特許文献２】特開2015-136377号公報
【特許文献３】特開2008-084047号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、「かわいい」と感じた画像の品質を判別していない。このため、「かわいい」と感じて撮影された画像であっても、画像そのものの品質が悪く、写真プリントなどに適さない可能性がある。
【０００７】
また、特許文献２では、脳波情報が閾値を超え、使用者に選択された指標を付与された画像であっても、画像そのものの品質が悪く、写真プリントなどに適さない可能性がある。
【０００８】
また、特許文献３では、撮影者や被写体の感情面や心理面の配慮がないため、画像の品質が良くてもユーザの感情に即した画像の評価値の補正や提示はできない。
【０００９】
本発明は、喜怒哀楽の感情など心理状態に応じた基準によって画像の評価値を補正し、心理状態に応じた適切な画像をユーザに提示できる画像評価装置、画像評価方法および画像評価プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明の第１の態様に係る画像評価装置は、画像情報を取得する画像情報取得部と、画像情報に基づいて第１評価値を算出する第１評価値算出部と、画像情報に関連する生体情報を取得する生体情報取得部と、生体情報に基づいて第１評価値の補正値を算出する補正値算出部と、補正値に基づいて第１評価値を補正することで、画像情報の第２評価値を算出する第２評価値算出部と、を備える。
【００１１】
この発明によると、画像情報に基づく第１評価値が生体情報に基づく補正値により補正され、画像情報の第２評価値が算出される。これにより、画像撮影時などにおける喜怒哀楽の感情など心理状態に応じた基準によって画像情報の評価値が補正され、心理状態に応じた適切な画像をユーザに提示できる。
【００１２】
本発明の第２の態様に係る画像評価装置において、第１評価値算出部は、画像情報の画質、解像度、登場人物、撮影日時、撮影場所、画像情報の被写体の大きさ、向き、角度、被写体同士の位置関係のうち少なくとも１つを含む画像情報評価項目に基づいて、第１評価値を算出する。
【００１３】
ここで、画像情報の画質、解像度、登場人物、撮影日時、撮影場所、画像情報の被写体の大きさ、向き、角度、被写体同士の位置関係のうち少なくとも１つは、画像データそのもの、画像データの解析、画像データの付帯情報そのもの、あるいは、付帯情報の解析で得ることができる。
【００１４】
本発明の第３の態様に係る画像評価装置において、補正値算出部は、画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目に基づいて、補正値を算出する。
【００１５】
ここで、画像情報の撮影者および／または被写体の脈拍、呼吸数、体温、発汗量および脳波のうち少なくとも１つ、並びにこれらのうち少なくとも１つの時間的変化量を含む生体情報評価項目は、撮影者および／または被写体の生体情報を取得可能なウェアラブル端末などから取得することができる。
【００１６】
本発明の第４の態様に係る画像評価装置は、補正値を算出するモードを設定する補正値算出モード設定部と、設定されたモードに基づいて生体情報評価項目に対応する各々の重みを設定する生体情報評価項目重み設定部と、を備え、補正値算出部は、生体情報評価項目と生体情報評価項目に対応する各々の重みに基づいて補正値を算出する。
【００１７】
これにより、喜怒哀楽などの感情面や心理面に関連する生体情報評価項目の関連の度合いを示す重みをモードに応じて可変した上で画像情報の評価項目が補正され、適切な画像をユーザに提示できる。
【００１８】
本発明の第５の態様に係る画像評価装置において、生体情報評価項目重み設定部は、補正値算出モード設定部により設定されたモードに対応する重みを、設定されたモードに対応しない重みよりも相対的に大きく設定する。
【００１９】
これにより、より重要な生体情報評価項目を第１評価値の補正に反映でき、より適切な画像をユーザに提示できる。
【００２０】
本発明の第６の態様に係る画像評価装置において、モードは、画像情報の撮影者の生体情報に対応する重みを画像情報の被写体の生体情報に対応する重みよりも相対的に大きく設定する撮影者モード、画像情報の撮影者の生体情報に対応する重みよりも画像情報の被写体の生体情報に対応する重みを相対的に大きく設定する被写体モード、および画像情報の撮影者の生体情報に対応する重みと画像情報の被写体の生体情報に対応する重みとを同等に設定する撮影者被写体モードのうちいずれか１つを含む。
【００２１】
これにより、撮影者、被写体、あるいはその両方の生体情報を、第１評価値の補正に反映できる。
【００２２】
本発明の第７の態様に係る画像評価装置において、モードは、画像情報の撮影者および／または被写体の喜怒哀楽の感情の中から任意に選択された１つの感情に基づいて、生体情報評価項目に対応する各々の重みを設定する感情選択モードを含む。
【００２３】
これにより、撮影者、被写体、あるいはその両方の感情を、第１評価値の補正に反映できる。
【００２４】
本発明の第８の態様に係る画像評価装置は、画像情報を推奨する基準となる評価基準値を設定する評価基準値設定部と、第２評価値と評価基準値とに基づいて、画像情報を推奨画像に分類するか否かの判定を行う推奨画像分類判定部と、判定の結果に従って画像情報を推奨画像に分類する推奨画像分類部と、を備える。
【００２５】
これにより、撮影者、被写体、あるいはその両方の生体情報を反映した第２評価値に基づいて、画像を推奨画像に分類することができる。
【００２６】
本発明の第９の態様に係る画像評価装置において、推奨画像分類部は、ユーザ操作で任意に指定された１または複数の画像情報を推奨画像に分類し、ユーザ操作に基づいて分類された１または複数の推奨画像に対応する生体情報評価項目に基づいて、生体情報評価項目の各々の重みを補正する重み補正部を備える。
【００２７】
これにより、ユーザ操作を考慮し、生体情報評価項目の各々の重みを補正できる。
【００２８】
本発明の第１０の態様に係る画像評価装置において、推奨画像分類部は、ユーザ操作で任意に指定された１または複数の画像情報を推奨画像から除外し、ユーザ操作に基づいて推奨画像から除外された１または複数の画像情報に対応する生体情報評価項目に基づいて、生体情報評価項目の各々の重みを補正する重み補正部を備える。
【００２９】
これにより、ユーザ操作を考慮し、生体情報評価項目の各々の重みを補正できる。
【００３０】
本発明の第１１の態様に係る画像評価方法は、コンピュータが、画像情報を取得するステップと、画像情報に基づいて第１評価値を算出するステップと、画像情報に関連する生体情報を取得するステップと、生体情報に基づいて第１評価値の補正値を算出するステップと、補正値に基づいて第１評価値を補正することで、画像情報の第２評価値を算出するステップと、を実行する。
【００３１】
この画像評価方法をコンピュータに実行させるための画像評価プログラムも本発明の態様に含まれる。なお、画像評価プログラムは、各種のコンピュータ読み取り可能な非一時的有形媒体(non-transitory computer-readable tangible medium)に記録されて提供されうる。
【発明の効果】
【００３２】
本発明によると、画像情報に基づく第１評価値が生体情報に基づく補正値により補正され、画像情報の第２評価値が算出される。これにより、画像撮影時などにおける喜怒哀楽の感情などユーザの心理状態に応じた基準によって画像情報の評価値が補正され、ユーザの心理状態に応じた適切な画像をユーザに提示できる。
【図面の簡単な説明】
【００３３】
【図１】スマートフォン５００およびウェアラブル端末１の外観を示す図
【図２】画像情報と生体情報の関連付けの一例を示す図
【図３】スマートフォン５００の構成を示すブロック図
【図４】ウェアラブル端末１の構成を示すブロック図
【図５】おすすめ画像分類処理のフローチャート
【図６】重み係数補正処理のフローチャート
【発明を実施するための形態】
【００３４】
以下、添付図面を参照しつつ、本発明に係る画像評価装置、画像評価方法および画像評価プログラムの実施形態について説明する。
【００３５】
図１は、本発明に係る画像評価装置、画像評価方法および画像評価プログラムが適用されるスマートフォン５００およびウェアラブル端末１の外観を示す図である。
【００３６】
図１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
【００３７】
また、図１に示すように、ウェアラブル端末１は、ユーザの身体の一部に装着可能な電子機器の一例である。ウェアラブル端末１は、ウェアラブル端末１を装着したユーザの生体情報を検出可能である。
【００３８】
生体情報とは、生体から計測可能な情報であり、典型的には、心拍数、脈拍、血圧、体温、呼吸数、発汗量、脳波パターンなどのバイタルサインが含まれうる。あるいは、歩数、消費カロリーなどが含まれてもよい。
【００３９】
さらに、ウェアラブル端末１は、ユーザの生体情報の検出結果等の各種情報を表示可能な画面の一例である表示画面１１（例えば、ＬＣＤ：Liquid  Crystal  Displayや有機ＥＬ（Electro  Luminescence）ディスプレイ等）を有する表示部１０と、表示部１０の表示画面１１上でのタッチ操作の位置であるタッチ位置を検出可能なタッチセンサ１２と、ユーザの指紋を検出可能な検出部の一例である指紋センサ１３と、ウェアラブル端末１本体の側面に設けられかつウェアラブル端末１に対して各種操作を入力可能な操作ボタン１４と、を有している。すなわち、本実施形態では、表示部１０およびタッチセンサ１２は、所謂タッチパネルディスプレイとして機能する。ウェアラブル端末１は、無線通信によってスマートフォン５００等の外部機器と通信可能である。
【００４０】
図示は省略するが、ウェアラブル端末１は、複数存在し、撮影者や被写体などの複数のユーザのそれぞれに装着されうるものとする。スマートフォン５００は、複数のウェアラブル端末１のそれぞれと区別可能に通信し、それぞれのウェアラブル端末１から複数のユーザのそれぞれの生体情報を区別可能に受信しうる。
【００４１】
ウェアラブル端末１は、図１のような腕時計型に限られず、眼鏡型、指輪型、靴型、懐中型、ペンダント型など様々な形態をとってもよい。
【００４２】
スマートフォン５００は、ウェアラブル端末１から受信した生体情報を、画像データと関連づけて記憶することができる。例えば、図２に示すように、スマートフォン５００は、Exif（登録商標）ファイルのタグなど画像データの付帯情報を利用して、画像データとその撮影日時とを関連付けて記憶する。これとともに、スマートフォン５００は、画像データの撮影時点を識別キーとして、画像データの撮影時点かその近傍で検出された撮影者および被写体の生体情報を、Exifファイルとは別個のファイル（CSVファイルなど）として記憶してもよい。Exifファイルと生体情報ファイルの記憶領域は、別個でも同一でもよい。
【００４３】
あるいは、スマートフォン５００の画像には、Exifファイルのタグなどの付帯情報を利用して、画像データとその撮影日時などとを関連付けて記憶させておく。一方、ウェアラブル端末１は、画像データの撮影日時の情報をスマートフォン５００から撮影実行時に即時に取得し、これを識別キーとして、画像データの撮影時点かその近傍で検出された撮影者および被写体の生体情報を記憶してもよい。なお、撮影時点を識別キーとする代わりに、Exifファイルの保存時点、画像のプレビュー時点などを識別キーとすることもできる。ウェアラブル端末１が位置情報を取得可能であれば、撮影時点と位置情報の組を識別キーとしてもよい。
【００４４】
あるいは、スマートフォン５００は、画像データの撮影時点かその近傍でウェアラブル端末１から受信した撮影者および被写体の生体情報を、画像データの付帯情報としてExifファイルなどに記憶してもよい。本明細書では、画像データと付帯情報とをまとめて画像情報と呼ぶものとする。また、画像情報に関連する生体情報とは、画像ファイル内で画像データに対応づけられた付帯情報に含まれる生体情報、撮影時点などの特定の時点をキーにすることで画像データに対応づけられた生体情報の双方を含む。また、画像情報に関連する生体情報の保存場所は、画像データと同一でも異なっていてもよいものとする。  
【００４５】
図３は、図１に示したスマートフォン５００の構成を示すブロック図である。図３に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信部５１０を備える。
【００４６】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【００４７】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。
【００４８】
表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
【００４９】
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【００５０】
図１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【００５１】
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【００５２】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
【００５３】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【００５４】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【００５５】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【００５６】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【００５７】
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
【００５８】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【００５９】
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【００６０】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【００６１】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【００６２】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【００６３】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【００６４】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【００６５】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【００６６】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【００６７】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【００６８】
カメラ部５４１（画像情報取得部に相当）は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。
【００６９】
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図３に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。
【００７０】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【００７１】
図４は、ウェアラブル端末１のハードウェア構成を示すブロック図である。図４に示すように、ウェアラブル端末１は、表示部１０、タッチセンサ１２、指紋センサ１３、操作ボタン１４、コントローラ１０１、記憶部１０２、生体情報センサ１０３、および通信部１０４を有する。
【００７２】
コントローラ１０１は、ＣＰＵ（Central  Processing  Unit）等により構成され、記憶部１０２に記憶されたプログラムを実行することにより、ウェアラブル端末１が備える各部を制御する。 記憶部１０２は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等により構成され、コントローラ１０１が実行するプログラム、コントローラ１０１がプログラムを実行する際に使用するデータ等の各種情報を記憶可能である。 生体情報センサ１０３は、ウェアラブル端末１を装着したユーザの生体情報（例えば、体温、発汗量、脈拍、脳波）を検出可能である。通信部１０４は、無線通信によってスマートフォン５００等の外部機器と通信可能である。なお、ウェアラブル端末１のユーザ、すなわち画像データの撮影者または被写体は主として人物であるが、動物の生体情報を検出できるのであれば、被写体となる動物がウェアラブル端末１のユーザでもよい。例えば、犬や猫の体温などを検出する首輪型のウェアラブル端末１が使用できる。
【００７３】
ウェアラブル端末１が腕時計型以外の場合、例えばメガネ型の場合は、装着者の視線方向、表情、網膜形状、虹彩形状、指紋、声紋、耳形、まばたき、歩行による振動などを生体情報として取得できてもよい。
【００７４】
図５はスマートフォン５００の実行するおすすめ画像分類処理のフローチャートを示す。このおすすめ画像分類処理の各ステップをスマートフォン５００の主制御部５０１に実行させるためのプログラムは内部記憶部５５１などのコンピュータ読み取り可能な非一時的有形媒体に保存されているものとする。
【００７５】
Ｓ１（第１評価値算出ステップ）では、主制御部５０１は、記憶部５５０に保存され、かつ任意に選択された１つの画像データについて、この画像データの評価項目から、画像データの評価値である第１評価値を算出する。記憶部５５０に保存された１または複数の画像情報は、スマートフォン５００のカメラ部５４１や、カメラ部５４１以外のデジタルカメラなどにて撮影された画像情報である。この第１評価値算出ステップを実行する主制御部５０１は、第１評価値算出部に相当する。
【００７６】
この画像データの評価項目の算出方法は特許文献３と同様にして行うことができる。以下では、一例として、画像データの評価項目は、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔同士の位置関係、および顔の検出スコアであるものとする。これらの画像データの評価項目は、画像データそのもの、あるいは、画像データを格納するExifファイルのタグその他の付帯情報、あるいは、画像データとは別個の記憶領域に格納された付帯情報などから直接取得されうるか、これらを解析することで取得されうる。
【００７７】
また、画像データの評価項目ごとの個別の評価値A1〜A6はそれぞれ、顔のサイズ、顔の画像上における位置、顔の向き、顔の回転角度、顔が複数含まれる場合の顔同士の位置関係、および顔の検出スコアを数値化した値であるものとする。これらの評価項目ごとの個別の評価値A1〜A6は、画像データそのものから算出されてもよいし、画像データの付帯情報から算出されてもよい。
【００７８】
第１評価値は、これらの評価項目ごとの個別の評価値A1〜A6に基づいて算出される。一例として、第１評価値Ef0は、以下の式で算出されるものとする。
【００７９】
Ef0=α1A1+α2A2+α3A3+α4A4+α5A5+α6A6
ここで、α1〜α6は、画像情報の評価項目ごとの評価値A1〜A6に対応した重みである。これらの重みα1〜α6は、ユーザが任意に設定してもよいし、画像データや付帯情報の内容に応じて変動させてもよい。さらに、後述する撮影モードおよび感情モードに応じて、重みα1〜α6が変動してもよい。
【００８０】
また、第１評価値Ef0の算出基準となる評価項目は、上記に限られない。例えば、評価項目は、画像データの画質、解像度、登場人物、撮影日時、撮影場所などを含んでもよい。これらの評価項目は、画像解析、人物認識、付帯情報の解析などで取得できる。さらに、これらの評価項目ごとの個別の評価値に対応する重みが適宜設定されてもよい。
【００８１】
Ｓ２（撮影モード判別ステップ）では、主制御部５０１は、操作部５４０を介して、「撮影者モード」、「被写体モード」、「撮影者・被写体モード」の中から、任意の撮影モードの設定を受け付ける。主制御部５０１は、操作部５４０を介して受け付けた撮影モードが、「撮影者モード」、「被写体モード」、「撮影者・被写体モード」のいずれであるかを判別する。撮影モードが「撮影者モード」の場合はＳ３、「被写体モード」の場合はＳ４、「撮影者・被写体モード」の場合はＳ５に進む。この撮影モード判別ステップを実行する主制御部５０１は、補正値算出モード設定部に相当する。
【００８２】
Ｓ３（撮影者モード重み設定ステップ）では、主制御部５０１は、「撮影者モード」に対応する補正値の重みを設定する。例えば、撮影者の生体情報による補正値の重みX=1, 被写体の生体情報による補正値の重みY=0と設定する。この撮影者モード重み設定ステップを実行する主制御部５０１は、生体情報評価項目重み設定部に相当する。
【００８３】
Ｓ４（被写体モード重み設定ステップ）では、主制御部５０１は、「被写体モード」に対応する画像評価値の補正値の重みを設定する。例えば、撮影者の生体情報による補正値の重みX=0, 被写体の生体情報による補正値の重みY=1と設定する。この被写体モード重み設定ステップを実行する主制御部５０１は、生体情報評価項目重み設定部に相当する。
【００８４】
Ｓ５（撮影者・被写体モード重み設定ステップ）では、主制御部５０１は、「撮影者・被写体モード」に対応する画像評価値の補正値の重みを設定する。例えば、撮影者の生体情報による補正値の重みX=0.5, 被写体の生体情報による補正値の重みY=0.5と設定する。この撮影者・被写体モード重み設定ステップを実行する主制御部５０１は、生体情報評価項目重み設定部に相当する。
【００８５】
Ｓ６（感情モード判別ステップ）では、主制御部５０１は、操作部５４０を介して、「喜モード」、「怒モード」、「哀モード」、「楽モード」の４種類の感情モードの中から、任意の感情モードの設定を受け付ける。主制御部５０１は、操作部５４０を介して受け付けた感情モードが、「喜モード」、「怒モード」、「哀モード」、「楽モード」のいずれであるかを判別する。感情モードが「喜モード」の場合はＳ７、「怒モード」の場合はＳ８、「哀モード」の場合はＳ９、「楽モード」の場合はＳ１０に進む。
【００８６】
Ｓ７（喜モード重み設定ステップ）では、主制御部５０１は、「喜モード」に対応する画像評価値の重みを設定する。例えば、Z1を「喜」の重み係数、Z2を「怒」の重み係数、Z3を「哀」の重み係数、Z4を「楽」の重み係数とした場合、
Z1=1, Z2=Z3=Z4=0
と設定する。
【００８７】
Ｓ８（怒モード重み設定ステップ）では、主制御部５０１は、「怒モード」に対応する画像評価値の重みを設定する。例えば、
Z2=1, Z1=Z3=Z4=0
と設定する。
【００８８】
Ｓ９（哀モード重み設定ステップ）では、主制御部５０１は、「哀モード」に対応する画像評価値の重みを設定する。例えば、
Z3=1, Z1=Z2=Z4=0
と設定する。
【００８９】
Ｓ１０（楽モード重み設定ステップ）では、主制御部５０１は、「楽モード」に対応する画像評価値の重みを設定する。例えば、
Z4=1, Z1=Z2=Z3=0
と設定する。
【００９０】
なお、感情モードの設定に応じたZ1, Z2, Z3, Z4の値は上記に限られない。例えば、「喜モード」の場合、Z1=0.7, Z2=Z3=Z4=0.1などでもよい。
【００９１】
Ｓ１１（生体情報取得および第２評価値算出ステップ）では、主制御部５０１は、画像データに関連する撮影者および被写体の生体情報を取得する。そして、主制御部５０１は、Ｓ３〜５、Ｓ７〜１０の重みが付与された生体情報から算出される補正値で第１評価値Ef0を補正した第２評価値Efを算出する。具体的には、第２評価値Efは以下の数式で算出されるものとする。この生体情報取得および第２評価値算出ステップを実行する主制御部５０１は、補正値算出部に相当する。
【００９２】
Ef=Ef0+(Ef1+Ef2+Ef3+Ef4)*X+(Ef5+Ef6+Ef7+Ef8)*Y
ただし、Ef1,Ef2,Ef3,Ef4は、撮影者の生体情報による補正値,Ef5,Ef6,Ef7,Ef8は被写体nの生体情報の平均による補正値であり、以下の式で算出される。
【００９３】
Ef1=(β1Cp+β2Dp+β3Ep+β4Fp+β5Gp+β6Hp)×Z1
Ef2=(γ1Cp+γ2Dp+γ3Ep+γ4Fp+γ5Gp+γ6Hp)×Z2
Ef3=(ω1Cp+ω2Dp+ω3Ep+ω4Fp+ω5Gp+ω6Hp)×Z3
Ef4=(λ1Cp+λ2Dp+λ3Ep+λ4Fp+λ5Gp+λ6Hp)×Z4
Ef5={(β1C1+β2D1+β3E1+β4F1+β5G1+β6H1)+...+(β1Cn+β2Dn+β3En+β4Fn+β5Gn+β6Hn)}/n×Z1
Ef6={(γ1C1+γ2D1+γ3E1+γ4F1+γ5G1+γ6H1)+...+(γ1Cn+γ2Dn+γ3En+γ4Fn+γ5Gn+γ6Hn)}/n×Z2
Ef7={(ω1C1+ω2D1+ω3E1+ω4F1+ω5G1+ω6H1)+...+(ω1Cn+ω2Dn+ω3En+ω4Fn+ω5Gn+ω6Hn)}/n×Z3
Ef8={(λ1C1+λ2D1+λ3E1+λ4F1+λ5G1+λ6H1)+...+(λ1Cn+λ2Dn+λ3En+λ4Fn+λ5Gn+λ6Hn)}/n×Z4
ここで、Cp,Dp,Ep,Fp,Gp,Hpはそれぞれ、画像データの撮影者の脈拍数、呼吸数、血圧、発汗、脳波、およびそれらの変化量である。これらは撮影者の装着したウェアラブル端末１から、画像データの撮影時点（撮影日時またはその近傍）で取得される。
【００９４】
また、Cn、Dn、En、Fn、Gn、Hn(n=1, 2, ....)はそれぞれ、被写体n(n=1, 2, ....)の脈拍数、呼吸数、血圧、発汗、脳波、およびそれらの変化量である。これらは被写体nのそれぞれが装着したウェアラブル端末１から、画像データの撮影時点（撮影日時またはその近傍）で取得される。
【００９５】
また、β1〜β6は撮影者または被写体の「喜」の感情に関係する脈拍数、呼吸数、血圧、発汗、脳波、およびそれらの変化量の各生体情報の重み係数、γ1〜γ6は撮影者または被写体の「怒」の感情に関係する各生体情報の重み係数、ω1〜ω6は撮影者または被写体の「哀」の感情に関係する各生体情報の重み係数、λ1〜λ6は撮影者または被写体の「楽」の感情に関係する各生体情報の重み係数である。これらの重み係数は、撮影者または被写体の各感情に対する各生体情報の関連性の強弱に応じた０以上１以下の値が予め設定されている。
【００９６】
例えば、「喜」の感情に関連する脈拍数の重み係数β1=0.8、「怒」の感情に関係する脈拍数の重み係数γ1=1、「哀」の感情に関係する脈拍数の重み係数ω1=0.1、「楽」の感情に関係する脈拍数の重み係数λ1=0.5などとなる。これらの重みは、「怒」の感情が高まると脈拍数が顕著に増えるが、「哀」の感情が高まっても脈拍数は大きく変化しないといった感情ごとの各生体情報への反映の度合いによって経験的に決まる。この生体情報取得および第２評価値算出ステップを実行する主制御部５０１は、生体情報取得部および第２評価値算出部に相当する。
【００９７】
Ｓ１２（基準値設定およびおすすめ画像判定ステップ）では、主制御部５０１は、おすすめ画像の基準値Ethを設定する。基準値Ethは、操作部５４０を介したユーザ操作、予め記憶部５５０に記憶された値などに基づいて設定される。主制御部５０１は、第２評価値Efが、おすすめ画像の基準値Ethに達しているか否かを判定する。Ef≧Ethと判定された場合、Ｓ１３に進む。Ef＜Ethと判定された場合、処理を終了する。この基準値設定およびおすすめ画像判定ステップを実行する主制御部５０１は、評価基準値設定部および推奨画像分類判定部に相当する。
【００９８】
Ｓ１３（おすすめ画像分類ステップ）では、上記画像データをおすすめ画像に分類する。分類は、上記画像データへのおすすめ画像を示すフラグの付与やおすすめ画像用の特定のフォルダへの上記画像データの移動などにより行われる。このおすすめ画像分類ステップを実行する主制御部５０１は、推奨画像分類部に相当する。
【００９９】
なお、おすすめ画像分類処理は、記憶部５５０に記憶されている任意の複数の画像データの各々について、Ｓ１１〜１３が繰り返し実行されてもよい。これにより、任意に設定された特定の撮影・被写体モードおよび感情モードの下、記憶部５５０に記憶されている任意の画像データが、おすすめ画像とそうでないもの（非おすすめ画像）の２つに分類される。
【０１００】
図６はスマートフォン５００の実行する重み係数補正処理のフローチャートである。この重み係数補正処理の各ステップをスマートフォン５００の主制御部５０１に実行させるためのプログラムは内部記憶部５５１などのコンピュータ読み取り可能な非一時的有形媒体に保存されているものとする。この処理は、おすすめ画像分類処理の実行により、おすすめ画像の分類が完了した後に行われる。
【０１０１】
Ｓ２１（おすすめ画像削除判定ステップ）では、主制御部５０１は、操作部５４０を介して、上記のおすすめ画像分類処理で設定された特定の撮影モードおよび感情モードの下でおすすめ画像に分類された画像データの中から、任意に選択された１または複数の画像データがおすすめ画像の分類から削除される操作がされたか否かを判定する。Ｙｅｓの場合はＳ２２に進み、Ｎｏの場合はＳ２３に進む。
【０１０２】
Ｓ２２（おすすめ画像削除ステップ）では、主制御部５０１は、上記削除の操作が行われた画像データをおすすめ画像の分類から削除し、画像データに関連する生体情報を削除画像生体情報リストに追加する。
【０１０３】
Ｓ２３（おすすめ画像追加判定ステップ）では、主制御部５０１は、操作部５４０を介して、おすすめ画像に分類されていない画像データの中から、任意に選択された１または複数の画像がおすすめ画像の分類に追加される操作がされたか否かを判定する。Ｙｅｓの場合はＳ２４に進み、Ｎｏの場合はＳ２５に進む。
【０１０４】
Ｓ２４（おすすめ画像追加ステップ）では、主制御部５０１は、上記追加の操作が行われた画像データをおすすめ画像に分類し、画像データに関連する生体情報を追加画像生体情報リストに追加する。
【０１０５】
Ｓ２５（重み補正ステップ）では、主制御部５０１は、削除画像生体情報リストの生体情報と、追加画像生体情報リストの生体情報とから、生体情報の重み係数β1〜β6、γ1〜γ6、ω1〜ω6、λ1〜λ6を補正する。この重み補正ステップを実行する主制御部５０１は、重み補正部に相当する。なお、削除画像生体情報リストの生体情報が存在しない場合は、追加画像生体情報リストの生体情報から生体情報の重み係数β1〜β6、γ1〜γ6、ω1〜ω6、λ1〜λ6が補正されるものとする。追加画像生体情報リストの生体情報が存在しない場合は、削除画像生体情報リストの生体情報から生体情報の重み係数β1〜β6、γ1〜γ6、ω1〜ω6、λ1〜λ6が補正されるものとする。
【０１０６】
具体的には、例えば、「撮影者モード」かつ「喜モード」の下で第２評価値Efを算出済みの全画像データに関連する撮影者の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値を求める。これらをAvg(B1), Avg(B2), Avg(B3), Avg(B4),Avg(B5), Avg(B6)とする。
【０１０７】
次に、追加画像生体情報リストの画像に関連する撮影者の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値を求める。これらをAvg(Ba1), Avg(Ba2), Avg(Ba3), Avg(Ba4),Avg(Ba5), Avg(Ba6)とする。
【０１０８】
次に、削除画像生体情報リストの画像に関連する撮影者の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値を求める。これらをAvg(Bd1), Avg(Bd2), Avg(Bd3), Avg(Bd4),Avg(Bd5), Avg(Bd6)とする。
【０１０９】
次に、これらの差分Δ1〜Δ6を求める。すなわち
Δ1＝(Avg(B1)- Avg(Ba1))+(Avg(Bd1)- Avg(B1))
Δ2＝(Avg(B2)- Avg(Ba2))+(Avg(Bd2)- Avg(B2))
Δ3＝(Avg(B3)- Avg(Ba3))+(Avg(Bd3)- Avg(B3))
Δ4＝(Avg(B4)- Avg(Ba4))+(Avg(Bd4)- Avg(B4))
Δ5＝(Avg(B5)- Avg(Ba5))+(Avg(Bd5)- Avg(B5))
Δ6＝(Avg(B6)- Avg(Ba6))+(Avg(Bd6)- Avg(B6))
次に、Δ1〜Δ6の中で最も値が大きいパラメータMとそのMの添え字mを特定する。すなわち
[M, m]=max(Δ1, Δ2, Δ3, Δ4, Δ5, Δ6)
である。
【０１１０】
そして、以下の式により、「喜」の感情に関係する重み係数βmを補正し、これを新たな重み係数βmとする。
【０１１１】
{(Avg(Bm)-Avg(Bam))+(Avg(Bdm)-Avg(Bm))}/Avg(Bm)*βm+βm→βm
これは、Ｓ２４でユーザが追加選択したおすすめ画像に関連する生体情報の重みを大きくし、かつ、Ｓ２２でユーザが削除したおすすめ画像に関連する生体情報の重みを小さくするための補正である。
【０１１２】
撮影・被写体モードに応じ、撮影者および／または被写体ｎの生体情報を用いて、同様の補正を、「怒」、「哀」、「楽」の感情に関係する重み係数γ1〜γ6、ω1〜ω6、λ1〜λ6に対しても行うことができる。すなわち、
「撮影者モード」かつ「怒モード」の下では、
{(Avg(Bm)-Avg(Bam))+(Avg(Bdm)-Avg(Bm))}/Avg(Bm)*γm+γm→γm
「撮影者モード」かつ「哀モード」の下では、
{(Avg(Bm)-Avg(Bam))+(Avg(Bdm)-Avg(Bm))}/Avg(Bm)*ωm+ωm→ωm
「撮影者モード」かつ「楽モード」の下では、
{(Avg(Bm)-Avg(Bam))+(Avg(Bdm)-Avg(Bm))}/Avg(Bm)*λm+λm→λm
また、「被写体モード」かつ「喜モード」の下では、上記の差分Δ1〜Δ6を、撮影者の生体情報の代わりに、追加画像生体情報リストにおける各被写体nの生体情報の平均値および削除画像生体情報リストにおける各被写体nの生体情報の平均値について求め、この値に応じてβ1〜β6、γ1〜γ6、ω1〜ω6、λ1〜λ6を補正する。
【０１１３】
すなわち、「被写体モード」かつ「喜モード」の下で第２評価値Efを算出済みの各画像データに関連する各被写体の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値を求める。これらをAvg(BS1), Avg(BS2), Avg(BS3), Avg(BS4),Avg(BS5), Avg(BS6)とする。
【０１１４】
また、追加画像生体情報リストにおける各被写体（１または複数）の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値を、Avg(BSa1), Avg(BSa2), Avg(BSa3), Avg(BSa4),Avg(BSa5), Avg(BSa6)とし、削除画像生体情報リストにおける各被写体（１または複数）の脈拍数、呼吸数、血圧、発汗量、脳波およびその変化量の平均値をAvg(BSd1), Avg(BSd2), Avg(BSd3), Avg(BSd4),Avg(BSd5), Avg(BSd6)とする。
【０１１５】
次に、これらの差分Δ1〜Δ6を求める。すなわち
Δ1＝(Avg(BS1)- Avg(BSa1))+(Avg(BSd1)- Avg(BS1))
Δ2＝(Avg(BS2)- Avg(BSa2))+(Avg(BSd2)- Avg(BS2))
Δ3＝(Avg(BS3)- Avg(BSa3))+(Avg(BSd3)- Avg(BS3))
Δ4＝(Avg(BS4)- Avg(BSa4))+(Avg(BSd4)- Avg(BS4))
Δ5＝(Avg(BS5)- Avg(BSa5))+(Avg(BSd5)- Avg(BS5))
Δ6＝(Avg(BS6)- Avg(BSa6))+(Avg(BSd6)- Avg(BS6))
次に、Δ1〜Δ6の中で最も値が大きいパラメータMとそのMの添え字mを特定する。すなわち
[M, m]=max(Δ1, Δ2, Δ3, Δ4, Δ5, Δ6)
である。
【０１１６】
そして、以下の式により、βmを補正し、これを新たな重みβmとする。
【０１１７】
{(Avg(BSm)-Avg(BSam))+(Avg(BSdm)-Avg(BSm))}/Avg(BSm)*βm+βm→βm
「被写体モード」かつ「怒モード」の下では、
{(Avg(BSm)-Avg(BSam))+(Avg(BSdm)-Avg(BSm))}/Avg(BSm)*γm+γm→γm
「被写体モード」かつ「哀モード」の下では、
{(Avg(BSm)-Avg(BSam))+(Avg(BSdm)-Avg(SBm))}/Avg(BSm)*ωm+ωm→ωm
「被写体モード」かつ「楽モード」の下では、
{(Avg(BSm)-Avg(BSam))+(Avg(BSdm)-Avg(BSm))}/Avg(BSm)*λm+λm→λm
「撮影者・被写体モード」の場合は、「撮影者モード」と同じ補正かつ「被写体モード」と同じ補正の双方を行う。
【０１１８】
重み係数補正処理は、所望の画像データのおすすめ画像への追加、またはおすすめ画像からの所望の画像データの削除が行われる度に繰り返すことができる。これにより、ユーザがおすすめ画像に選んだ画像データの生体情報に近い画像データはよりおすすめ画像に選ばれやすくなり、ユーザがおすすめ画像に選ばない画像データの生体情報に近い画像データはよりおすすめ画像に選ばれにくくなる。
【０１１９】
重み係数補正処理の終了後に、再びおすすめ画像分類処理を行ってもよい。さらに、おすすめ画像分類処理と重み係数補正処理の繰り返しを任意の回数行ってもよい。
【０１２０】
おすすめ画像に分類された画像データは、フォトアルバムやフォルダなどに登録する画像データとして、主制御部５０１によりユーザに提示される。例えば、おすすめ画像の提示は、おすすめ画像に分類されたフォルダ内の各画像データのサムネイルを表示パネル５２１に一覧表示したり、おすすめ画像に分類されたフォルダ内の各画像データを順次表示パネル５２１にプレビュー表示する制御が主制御部５０１により行われる。
【０１２１】
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、ウェアラブル端末１とスマートフォン５００とが一体に構成されていてもよい。あるいは、スマートフォン５００の代わりに、パソコンなどで上記の処理が行われてもよい。
【０１２２】
また、おすすめ画像の分類は、第２評価値が閾値を超えたものをおすすめ画像に分類する積極的な分類に限られず、第２評価値が閾値を超えないものを排除し、残った画像をおすすめ画像とするような消極的な分類でもよい。
【０１２３】
また、感情モードの区分も上記に限られず、生体情報に即して、撮影者や被写体の感情、心理、精神状態を示すことができるものであれば何でもよい。
【０１２４】
例えば、リラックス、活動的、不安、興奮、驚愕、緊張、無関心、ストレスフル、休眠状態などが感情モードの区分とされてもよい。また、これらの心理状態に対応する生体情報の重み係数を定義しておき、リラックス、活動的、不安、興奮、驚愕、緊張、無関心、ストレスフル、休眠状態などの撮影者または被写体の心理状態が反映された補正値をこれらの重み係数で算出し、上記補正値で第１評価値を補正し、第２評価値を算出することができる。
【０１２５】
そして、例えば、「リラックス」の重み係数で画像データの第１評価値を補正した第２評価値が、「リラックス」に対応する閾値を超えた場合、画像データを「リラックス」モードのおすすめ画像に分類する。
【０１２６】
あるいは、例えば、ひとまず全画像データをおすすめ画像に分類しておき、「リラックスモード」では、おすすめ画像に分類されたある１つの画像データについて、「不安」、「興奮」、「緊張」、または「ストレスフル」の重み係数で画像データの第１評価値が補正された第２評価値が、「不安」、「興奮」、「緊張」、または「ストレスフル」に対応する閾値を超えた場合、画像データを「リラックス」モードのおすすめ画像の分類から排除する。ここでいう第１評価値は、笑顔度のように画像データの分析で把握される被写体の心理状態でもよい。この場合、第１評価値の笑顔度が高くても、緊張の重み係数に比重の置かれた第２評価値が大きければ、画像データの被写体は不自然な笑顔ということで、おすすめ画像から排除されうる。
【０１２７】
このように、スマートフォン５００が画像データの撮影時にウェアラブル端末１から取得した撮影者や被写体の生体情報によって、画像データから得られる第１評価値を補正し、撮影時の様々な心理状態を反映した第２評価値を求めることができる。そして、この第２評価値によって、撮影時の撮影者や被写体の心理状態に即したおすすめ画像の分類および提示を行うことができる。また、ユーザによるおすすめ画像の追加や削除に応じて、第１評価値を補正する生体情報の重み係数を補正できる。
【符号の説明】
【０１２８】
１  ウェアラブル端末
１０  表示部
１１  表示画面
１２  タッチセンサ
１３  指紋センサ
１４  操作ボタン
５００  スマートフォン
５０１  主制御部
５０２  筐体
５１０  無線通信部
５２０  表示入力部
５２１  表示パネル
５２２  操作パネル
５３０  通話部
５３１  スピーカ
５３２  マイクロホン
５４０  操作部
５４１  カメラ部
５４２  投射部
５５０  記憶部
５５１  内部記憶部
５５２  外部記憶部
５６０  外部入出力部
５７０  ＧＰＳ受信部
５８０  モーションセンサ部
５９０  電源部
Ｓ１  第１評価値算出ステップ
Ｓ２  撮影モード判別ステップ
Ｓ３  撮影者モード重み設定ステップ
Ｓ４  被写体モード重み設定ステップ
Ｓ５  撮影者・被写体モード重み設定ステップ
Ｓ６  感情モード判別ステップ
Ｓ７  喜モード重み設定ステップ
Ｓ８  怒モード重み設定ステップ
Ｓ９  哀モード重み設定ステップ
Ｓ１０  楽モード重み設定ステップ
Ｓ１１  生体情報取得および第２評価値算出ステップ
Ｓ１２  基準値設定およびおすすめ画像判定ステップ
Ｓ１３  おすすめ画像分類ステップ
Ｓ２１  おすすめ画像削除判定ステップ
Ｓ２２  おすすめ画像削除ステップ
Ｓ２３  おすすめ画像追加判定ステップ
Ｓ２４  おすすめ画像追加ステップ
Ｓ２５  重み補正ステップ
【図１】
0006608314.tif 000002
【図２】
0006608314.tif 000003
【図３】
0006608314.tif 000004
【図４】
0006608314.tif 000005
【図５】
0006608314.tif 000006
【図６】
0006608314.tif 000007