(57)【要約】【課題】使い勝手の良い電子機器を提供する。【解決手段】ユーザからの操作を受け付ける操作部と、ユーザ身なりを撮像可能な撮像部と、撮像部の撮像結果に基づいてユーザに情報を提供する情報提供部と、を備え、撮像部は、ユーザが操作部を操作している場合においてユーザを撮像する、電子機器を提供する。【選択図】図２
2013120473.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ身なりを撮像可能な撮像部と、
前記撮像部の撮像結果に基づいて、前記ユーザに情報を提供する情報提供部と、
を備える電子機器。
【請求項２】
前記ユーザからの操作を受け付ける操作部を備え、
前記撮像部は、前記ユーザが前記操作部を操作している場合において、前記ユーザを撮像する
請求項１に記載の電子機器。
【請求項３】
前記ユーザの音声を検出する音声検出部を備え、
前記情報提供部は、前記音声検出部の検出結果に基づいて、前記ユーザに情報を提供する
請求項１または２に記載の電子機器。
【請求項４】
前記撮像部が異なるユーザの身なりを撮像したことに応じて、前記情報提供部は、前記異なるユーザの身なりに応じて前記ユーザに情報を提供する
請求項１から３のいずれか一項に記載の電子機器。
【請求項５】
前記異なるユーザに関するデータを記憶する第１記憶部を備える請求項４に記載の電子機器。
【請求項６】
前記第１記憶部が記憶するデータは、前記異なるユーザの顔を表す画像データおよび声を表す音声データの少なくとも一つである請求項５に記載の電子機器。
【請求項７】
前記ユーザの生体情報を検出する生体センサを備え、
前記情報提供部は、前記生体センサの検出結果に応じた情報を、前記ユーザに提供する請求項１から６のいずれか一項に記載の電子機器。
【請求項８】
前記撮像部により撮像された画像から前記ユーザの身なりを分類する分類部を備えた
請求項１から７のいずれか一項に記載の電子機器。
【請求項９】
前記分類部による分類結果を記憶する第２記憶部を備える請求項８に記載の電子機器。
【請求項１０】
前記撮像部は、前記ユーザの顔を撮像し、
前記撮像部が撮像したユーザの顔に基づき、前記ユーザの表情を検出する表情検出部を備える
請求項１から９のいずれか一項に記載の電子機器。
【請求項１１】
位置を検出する位置検出部と、
前記位置検出部の検出結果および前記撮像部の撮像結果に応じて、表現に関する情報を表示する表示部と、
を備える請求項１から１０のいずれか一項に記載の電子機器。
【請求項１２】
ユーザ身なりを撮像可能な撮像部により前記ユーザの身なりを撮像する撮像ステップと、
前記撮像部による撮像結果に基づいて、前記ユーザに情報を提供する情報提供ステップと
を備える情報処理方法。
【請求項１３】
ユーザ身なりを撮像可能な撮像部により前記ユーザの身なりを撮像する撮像ステップと、
前記撮像部による撮像結果に基づいて、前記ユーザに情報と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来より、携帯端末によりユーザの位置を検出し、この検出した位置に基づいて店舗等を紹介するシステムが提案されている（例えば、特許文献１）。
［先行技術文献］
［特許文献］
特許文献１  特開２０１０−９３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のシステムでは、ユーザの位置情報しか考慮されておらず、使い勝手が悪かった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、ユーザ身なりを撮像可能な撮像部と、前記撮像部の撮像結果に基づいて、前記ユーザに情報を提供する情報提供部と、を備える電子機器を提供する。
【０００５】
本発明の第２の態様においては、ユーザ身なりを撮像可能な撮像部により前記ユーザの身なりを撮像する撮像ステップと、前記撮像部による撮像結果に基づいて、前記ユーザに情報を提供する情報提供ステップとを備える情報処理方法を提供する。
【０００６】
本発明の第３の態様においては、ユーザ身なりを撮像可能な撮像部により前記ユーザの身なりを撮像する撮像ステップと、前記撮像部による撮像結果に基づいて、前記ユーザに情報とをコンピュータに実行させるためのプログラムを提供する。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る携帯端末１０の外観構成を示す。
【図２】本実施形態に係る携帯端末１０の機能構成を示す。
【図３】本実施形態に係る携帯端末１０の制御フローを示す。
【図４】図３に続く制御フローを示す。
【図５】本実施形態の変形例に係る携帯端末１０の外観構成を示す。
【図６】変形例に係る携帯端末１０の機能構成を示す。
【図７】ユーザが保有する服装の画像データおよびログを記述したテーブルの一例を示す。
【図８】変形例に係る携帯端末１０の制御フローを示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係る携帯端末１０の外観構成を示す。携帯端末１０は、ユーザにより携帯して用いられる情報機器である。携帯端末１０は、電話機能、インターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。携帯端末１０は、一例として、長方形の主面を有する薄板状であり、片手の手のひらで把持することができる程度の大きさである。
【００１１】
携帯端末１０は、ディスプレイ１２と、タッチパネル１４と、内蔵カメラ１６と、マイク１８と、生体センサ２０とを備える。ディスプレイ１２は、当該携帯端末１０の本体の主面側に設けられる。ディスプレイ１２は、例えば当該主面の大半の領域（例えば９０％）を占める大きさを有する。ディスプレイ１２は、画像、各種情報およびボタン等の操作入力用画像を表示する。ディスプレイ１２は、一例として、例えば液晶表示素子を用いたデバイスである。
【００１２】
タッチパネル１４は、ユーザが触れたことに応じて情報を入力する。タッチパネル１４は、ディスプレイ１２上またはディスプレイ１２内に組み込まれて設けられる。従って、タッチパネル１４は、ユーザがディスプレイ１２の表面をタッチすることにより、種々の情報を入力する。
【００１３】
内蔵カメラ１６は、撮像レンズおよび撮像素子を有し、被写体を撮像する。撮像素子は、一例として、ＣＣＤおよびＣＭＯＳデバイスである。また、撮像素子は、一例として、ＲＧＢ３原色がベイヤ配列されたカラーフィルタを含み、各色のそれぞれに対応した色信号を出力する。
【００１４】
内蔵カメラ１６は、当該携帯端末１０の本体におけるディスプレイ１２が設けられる面（すなわち、主面）に設けられる。従って、内蔵カメラ１６は、当該携帯端末１０のタッチパネル１４に対して操作しているユーザの顔および服装を撮像することができる。また、内蔵カメラ１６は、撮像レンズとして広角レンズを有する場合には、操作しているユーザに加えて、ユーザの近傍にいる他のユーザ（例えばユーザの隣にいる人）の顔および服装を撮像することができる。
【００１５】
また、携帯端末１０は、内蔵カメラ１６に加えて、主面とは反対側に他のカメラを更に備えてもよい。これにより、携帯端末１０は、ユーザとは反対側に位置する被写体を撮像することができる。
【００１６】
マイク１８は、当該携帯端末１０の周囲の音声を入力する。マイク１８は、一例として、当該携帯端末１０の本体における主面の下方側に設けられる。これにより、マイク１８は、ユーザの口と対向する位置に配置されて、ユーザが話す音声を入力しやすくなる。
【００１７】
生体センサ２０は、当該携帯端末１０を保持するユーザの状態を取得する。生体センサ２０は、一例として、ユーザの体温、血圧、脈拍および発汗量等を取得する。また、生体センサ２０は、一例として、ユーザが当該生体センサ２０を保持している力（例えば握力）を取得する。
【００１８】
生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているように、発光ダイオードによりユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出する。また、生体センサ２０は、一例として、特開２００５−２７０５４３号公報に開示されているような腕時計型の生体センサにより検出された情報を取得してもよい。
【００１９】
また、生体センサ２０は、携帯端末１０の本体の長辺側の側部の２箇所に設けられた圧力センサを含んでもよい。このように配置された圧力センサは、ユーザが当該携帯端末１０を保持したことおよび当該携帯端末１０を保持する力を検出することができる。
【００２０】
また、生体センサ２０は、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の生体情報の取得を開始してもよい。また、携帯端末１０は、電源がオンとなっている状態において、このような圧力センサによりユーザが当該携帯端末１０を保持したことを検出してから、他の機能をオンとしてもよい。
【００２１】
図２は、本実施形態に係る携帯端末１０の機能構成を示す。携帯端末１０は、図１に示した構成に加えて、ＣＰＵ（Central Processing Unit）２２と、ＧＰＳ（Global Positioning System）モジュール２４と、温度計２６と、カレンダー部２８と、不揮発性メモリ３０と、音声解析部３２と、画像分析部３４と、通信部３６とを備える。
【００２２】
ＣＰＵ２２は、当該携帯端末１０の全体を制御する。ＣＰＵ２２は、携帯端末１０の全体を制御する。本実施の形態においては、ＣＰＵ２２は、ユーザの服装、ユーザのいる場所、ユーザが一緒にいる人およびユーザの言葉遣い等に応じてユーザに情報を提供するための制御を行う。
【００２３】
ＧＰＳモジュール２４は、当該携帯端末１０の位置（例えば緯度および経度）を検出する。ＣＰＵ２２は、ＧＰＳモジュール２４により検出されたユーザのいる位置の履歴を取得して、不揮発性メモリ３０に記憶させる。これにより、ＣＰＵ２２は、ユーザの行動範囲を検出することができる。例えば、ＣＰＵ２２は、ＧＰＳモジュール２４により検出された位置に基づき、平日の午前９時から午後６時までのユーザの行動範囲をビジネスでの行動範囲（ビジネス領域）として登録し、平日の午前９時から午後６時までのビジネス時間帯以外の時間帯における行動範囲をプライベートの行動範囲として登録する。
【００２４】
温度計２６は、携帯端末１０の周囲の温度を検出する。なお、温度計２６は、生体センサ２０によるユーザの体温を検出する機能と兼用される構成であってもよい。
【００２５】
カレンダー部２８は、年、月、日、時刻といった時間情報を取得して、ＣＰＵ２２に出力する。さらに、カレンダー部２８は、計時機能を有する。
【００２６】
不揮発性メモリ３０は、フラッシュメモリ等の半導体メモリである。不揮発性メモリ３０は、ＣＰＵ２２によって実行される当該携帯端末１０を制御するためのプログラム、および、当該携帯端末１０を制御するための各種パラメータ等を記憶する。さらに、不揮発性メモリ３０は、ユーザのスケジュール、各種センサが検出した各種データ、ユーザが登録した顔データ、顔表情データ、および、服装に関するデータ等を記憶する。
【００２７】
このうち、顔表情データには、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている表情等を表すデータが含まれる。また、服装データには、各服装（スーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート等）を識別するための画像データが含まれる。また、服装データは、フォーマルな服装（例えばスーツ、ジャケット、和服、ネクタイ、ポケットチーフ、コート）と、カジュアルな服装（例えばポロシャツ、Ｔシャツ、ダウンジャケット）とを識別するための画像データであってもよい。また、それぞれの服装の特徴的な形状（例えば、襟部分の形状）を不揮発性メモリ３０に記憶させておいてもよい。
【００２８】
また、不揮発性メモリ３０は、敬語の使い方および挨拶の表現等の言葉の表現例を記憶してもよい。本実施の形態においては、ＣＰＵ２２は、例えば、敬語を使わなければならない状況において、不揮発性メモリ３０に記憶された敬語の表現を読み出してディスプレイ１２に表示する。また、ＣＰＵ２２は、斎場等にいる状況においては、ＣＰＵ２２は、不揮発性メモリ３０に記憶されたお悔やみの言葉の表現を読み出して、ディスプレイ１２に表示する。
【００２９】
音声解析部３２は、マイク１８から取り込まれる音声の特徴を解析する。音声解析部３２は、一例として、音声認識辞書を有し、識別した音声をテキストデータに変換してディスプレイ１２に表示する。また、携帯端末１０に音声認識プログラムがインストールされている場合には、音声解析部３２は、ＣＰＵ２２によりこのような音声認識プログラムを実行した結果を取得して、音声認識をしてもよい。
【００３０】
また、音声解析部３２は、入力した音声に含まれる言葉の内容が、丁寧な言葉（例えば、敬語、丁寧語および謙譲語等）であるか、日常語（平語）であるか、または、それ以外の砕けた言葉であるかを分類する。本実施の形態においては、音声解析部３２は、丁寧な言葉（敬語、丁寧語および謙譲語）を第１の分類、日常語を第２の分類、それ以外の言葉を第３の分類とする。音声解析部３２は、第３の分類に属する言葉遣いを検出した場合には、ユーザがリラックスしている状態であったり、親密度が高い人と会話している状態であったりすることを認識できる。
【００３１】
また、音声解析部３２は、一例として、言葉遣いの分類を、会話の語尾の内容に応じて判断する。音声解析部３２は、一例として、"おはようございます"というように、語尾が"ございます（です、ます）"であれば第１の分類とする。また、音声解析部３２は、一例として、"おはよう"というように、語尾が"です、ます"ではなく、音声認識辞書に登録されている言葉であれば第２の分類とする。また、音声解析部３２は、"おはー"というように、音声認識辞書に登録されていない言葉であれば、第３の分類とする。
【００３２】
画像分析部３４は、内蔵カメラ１６が撮像した画像を分析する。画像分析部３４は、内蔵カメラ１６が撮像した画像に加えて、タッチパネル１４と反対面側に設けられたカメラが撮像した画像を分析してもよい。
【００３３】
画像分析部３４は、一例として、顔認識部４２、表情検出部４４、および服装検出部４６を有する。顔認識部４２は、内蔵カメラ１６が撮像した画像に、顔が含まれているか否かを検出する。さらに、顔認識部４２は、画像に顔を検出した場合には、検出した顔の部分の画像データと、不揮発性メモリ３０に記憶されているユーザの顔の画像データとを比較（例えばパターンマッチング）して、内蔵カメラ１６が撮像した人を認識する。内蔵カメラ１６は、ディスプレイ１２と同じ側の面に設けられているので（言い換えると、タッチパネル１４と同じ側の面に設けられているので）、ユーザおよびユーザの隣にいる人の顔を撮像することができる。従って、顔認識部４２は、ユーザおよびユーザの隣にいる人の顔を認識することができる。
【００３４】
表情検出部４４は、顔認識部４２により認識された顔の画像データと、不揮発性メモリ３０に記憶されている顔表情データと比較して、内蔵カメラ１６が 撮像した人（例えばユーザおよびユーザの隣にいる人）の表情を検出する。なお、表情検出部４４は、笑顔、泣き顔、怒り顔、驚き顔、眉間に皺を寄せている顔、緊張している顔、および、リラックスしている顔等の表情を検出する。不揮発性メモリ３０は、これらの複数の表情データを記憶する。笑顔検出の方法は、一例として、米国公開特許２００８−０３７８４１号に開示されている。また、眉間の皺の検出の方法は、一例として、米国公開特許２００８−２９２１４８号に開示されている。
【００３５】
服装検出部４６は、内蔵カメラ１６により撮像されたユーザの服装が、どのような服装であるかを検出する。服装検出部４６は、撮像された画像に含まれている服装の箇所の画像データと、不揮発性メモリ３０に予め登録されている服装の画像データとをパターンマッチングして服装を検出してもよい。さらに、服装検出部４６は、ユーザの服装の種別を判断する。本実施の形態においては、服装検出部４６は、ユーザの服装が、フォーマルな服装か、カジュアル（インフォーマル）な服装かを判断する。
【００３６】
顔認識部４２により顔が含まれていると判断された画像は、認識した顔の下方部分に服装を含む。従って、服装検出部４６は、一例として、顔認識部４２により認識された顔の下方部分の予め定められた範囲の画像と、不揮発性メモリ３０に記憶されている服装データ（画像データ）とをパターンマッチングすることにより、ユーザの服装を検出することができる。
【００３７】
また、服装検出部４６は、携帯端末１０を操作しているユーザの服装を検出および服装の種別を判断する。これに加えて、画像内に他のユーザが含まれている場合には、服装検出部４６は、ユーザ以外の人の服装の種別を判断してもよい。例えば、服装検出部４６は、画像内に複数の人が含まれている場合には、これら複数人のグループが、フォーマルな服装のグループかカジュアルな服装のグループかを判別してもよい。また、服装検出部４６は、内蔵カメラ１６の撮像素子から検出された色信号に基づいて、服装の種別を分類してもよい。服装検出部４６は、黒、紺、グレー、ベージュといったような落ち着いた感じの色合いが多い服装の場合には、フォーマルな服装であると判断し、赤、青、黄色といったような鮮やかな色合いが多い場合にはカジュアルな服装であると判断する。
【００３８】
通信部３６は、ネットワーク上のサーバおよび他の携帯端末と通信する。通信部３６は、一例として、インターネット等の広域ネットワークにアクセスする無線通信ユニット、Ｂｌｕｅｔｏｏｔｈ（登録商標）による通信を実現するＢｌｕｅｔｏｏｔｈ（登録商標）ユニット、及び、Ｆｅｌｉｃａ（登録商標）チップ等を有し、サーバおよび他の携帯端末と通信する。
【００３９】
図３は、本実施形態に係る携帯端末１０の制御フローを示す。図４は、図３に続く制御フローを示す。
【００４０】
携帯端末１０は、ユーザにより操作が開始されると、図３および図４に示す処理を実行する。携帯端末１０は、一例として、ユーザが当該携帯端末１０を保持したことを生体センサ２０が検出したこと、および、ユーザがタッチパネル１４に触れたこと等を条件として、ユーザにより操作が開始されたと判断する。
【００４１】
まず、ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ１１）。本例においては、ＣＰＵ２２は、１０月の平日の午前１１時３０分であることを取得したとする。
【００４２】
続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ１２）。ＣＰＵ２２は、一例として、ＧＰＳモジュール２４から位置情報を取得するとともに、温度計２６から温度情報を取得する。また、ＣＰＵ２２は、一例として、温度情報に加えて不図示の湿度計により湿度情報を取得してもよい。本例においては、ＣＰＵ２２は、ＧＰＳモジュール２４から位置情報を取得し、温度計２６から２０度の温度情報を取得したとする。
【００４３】
続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ１３）。ＣＰＵ２２は、一例として、生体センサ２０からユーザの体温、脈拍および血圧等を取得する。本例においては、ＣＰＵ２２は、生体センサ２０から、通常時よりも高い脈拍および血圧を取得し、手から発汗があることを取得したとする。なお、ステップＳ１１、Ｓ１２およびＳ１３の処理順序は適宜入れ替えてもよい。
【００４４】
続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ１４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。例えば、ＣＰＵ２２は、ビジネス領域の時間帯であり、且つ、ユーザが緊張していると判断される生体情報が検出された場合、撮像タイミングであると判断してもよい。また、ＣＰＵ２２は、ＧＰＳモジュール２４の出力に基づいて、ユーザが初めて訪れる場所にいたり、久しぶりに訪れる場所（最後に訪れてから一定期間以上経過した場所）にいたりする場合に撮像タイミングを判断してもよい。
【００４５】
ＣＰＵ２２は、撮像タイミングであれば（ステップＳ１４のＹｅｓ）、処理をステップＳ１５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、処理をステップＳ１１に戻して、例えば一定時間後にステップＳ１１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ１４のＮｏ）、本フローを抜けて処理を終了してもよい。
【００４６】
続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザおよびユーザの近傍を撮像する（ステップＳ１５）。これとともに、ＣＰＵ２２は、マイク１８によりユーザの周囲の音声を取得する。
【００４７】
続いて、画像分析部３４は、内蔵カメラ１６により撮像した画像を分析して、撮像した画像に含まれる顔を認識する（ステップＳ１６）。画像分析部３４は、一例として、撮像した画像に含まれる顔の画像データと、不揮発性メモリ３０に記憶されている顔データとを比較して、当該携帯端末１０を操作しているユーザを認識する。さらに、画像分析部３４は、撮像した画像の中に、ユーザ以外の他の人の顔が含まれている場合には、更に、その他の人の顔を認識する。本例においては、画像分析部３４は、男性のユーザの顔を認識したとする。さらに、本例においては、画像分析部３４は、ユーザの隣に顔があることは検出したが、ユーザの隣の人の顔の認識はできなかったとする。
【００４８】
続いて、画像分析部３４は、ユーザの身なりを解析する（ステップＳ１７）。画像分析部３４は、一例として、ユーザの服装を検出して、ユーザの服装の種別を分類する。画像分析部３４は、一例として、ユーザの服装が、フォーマルな服装か、カジュアルな服装かを判断する。この場合、画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域と、予め登録されている服装データとをパターンマッチングすることにより、ユーザの服装の種別を分類する。画像分析部３４は、一例として、撮像した画像における顔と認識された箇所の下の領域の色合いを検出して、ユーザの服装の種別を分類する。また、画像分析部３４は、不揮発性メモリ３０に記憶された服装の特徴的な形状とのパターンマッチングにより、ユーザの服装の種別を分類してもよく、上述の分類方法を組み合わせてもよい。
【００４９】
続いて、ＣＰＵ２２は、ユーザの状況を分析する（ステップＳ１８）。ＣＰＵ２２は、ユーザの身なりに応じて、ユーザの状況を判断する。ＣＰＵ２２は、一例として、ユーザの服装がフォーマルな服装であればビジネスの状況であると判断し、ユーザの服装がカジュアルな服装であればプライベートの状況と判断する。
【００５０】
更に、ＣＰＵ２２は、一例として、年月日および時刻からユーザの状況を判断してもよい。ＣＰＵ２２は、一例として、平日の午前９時から午後６時までの間であればビジネスの状況と判断し、それ以外の時間帯であればプライベートの状況と判断する。
【００５１】
また、更に、ＣＰＵ２２は、一例として、ユーザの位置に応じて状況を分析してもよい。ＣＰＵ２２は、一例として、会社の近傍にいる場合にはビジネスの状況と判断し、ユーザが自宅近傍にいる場合にはプライベートの状況と判断する。
【００５２】
また、更に、ＣＰＵ２２は、一例として、生体情報からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、血圧、脈拍および手の汗が平常時より高い場合には緊張した状況であると判断する。
【００５３】
また、更に、ＣＰＵ２２は、一例として、認識されたユーザの顔の表情からユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザが緊張した表情をしている顔の場合には緊張した状況であると判断し、リラックスした表情をしている場合にはリラックスした状況であると判断する。
【００５４】
また、更に、ＣＰＵ２２は、一例として、マイク１８により取得した音声から解析されたユーザまたはユーザの近くにいる人の言葉遣いに基づきユーザの状況を分析してもよい。ＣＰＵ２２は、一例として、ユーザの話した言葉の語尾が第１の分類であればビジネスの状況と判断し、第２の分類であれば友人と会っている状況であると判断し、第３の分類であれば更に親密な友人と会っている状況と判断する。本例においては、ＣＰＵ２２は、ユーザが"お好きな食べ物は何ですか"という言葉を発したことを検出し、語尾に"です"があるので第１の分類と判断したとする。
【００５５】
また、ＣＰＵ２２は、以上の判断結果を総合して更に詳細にユーザの状況を判断してもよい。本例においては、ＣＰＵ２２は、ユーザが平日の午前中（ビジネスタイム）にフォーマルな服装でビジネス領域にいて、緊張した状態であまり面識のない人（親密度が高くない人）に対して丁寧な言葉遣いをしている状況である、との分析結果を取得したとする。
【００５６】
ユーザの状況の判断が終了すると、続いて、ＣＰＵ２２は、ユーザの操作が、通信部３６を用いてネットワークから情報を検索して取得するための検索操作か否かを判断する（ステップＳ１９）。ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、処理をステップＳ２０に進め、ユーザの操作が検索操作では無い場合（ステップＳ１９のＮｏ）、処理をステップＳ２１に進める。
【００５７】
ＣＰＵ２２は、ユーザの操作が検索操作の場合（ステップＳ１９のＹｅｓ）、ユーザが検索のために入力した検索キーワードに、ユーザの状況に対応するキーワードを追加して検索を実行する（ステップＳ２０）。これにより、ＣＰＵ２２は、ネットワークから、ユーザの状況に適した情報をユーザに対して提供することができる。
【００５８】
本例の場合においては、ＣＰＵ２２は、ユーザが入力した"ランチ"という検索キーワードに、服装から判断されるユーザの状況を表す"フォーマル"というキーワードを追加して、検索を実行する。これにより、ＣＰＵ２２は、ネットワークから、フォーマルな状況に適したランチを食べるためのお店等の情報を取得することができる。
【００５９】
また、ＣＰＵ２２は、ユーザの服装により判断される状況に代えて、ユーザの言葉遣いの違いにより判断された状況に応じてキーワードを追加してもよい。ＣＰＵ２２は、一例として、ユーザがフォーマルな格好をしている場合であっても、ユーザの語尾が第２の分類または第３の分類である場合には、例えば"ファーストフード"または"ファミリー向け"といったキーワードを追加して検索を実行する。
【００６０】
また、音声解析部３２がユーザの言葉の中から"食事"という用語を特定した場合において、ユーザがタッチパネル１４により検索メニューを操作したことに応じて、ＣＰＵ２２は、ディスプレイ１２に"ランチの検索をしますか？"というような、特定した用語に応じたメッセージを表示してもよい。また、ＣＰＵ２２は、生体センサ２０が検出した生体情報からユーザが焦っている状態（交感神経が活発となり血圧および心拍数が上昇したり、発汗したりする状態）と判断した場合は、ソフトウェアによる処理によりタッチパネル１４の感度を敏感にしたり、ディスプレイ１２に表示する文字を大きくしてもよい。
【００６１】
一方、ＣＰＵ２２は、ユーザの操作が検索操作ではない場合（ステップＳ１９のＮｏ）、ユーザに対してアドバイスを表示するタイミングか否かを判断する（ステップＳ２１）。ＣＰＵ２２は、一例として、ユーザがタッチパネル１４を操作中であって入力量（操作量）が予め設定された量よりも多い場合、アドバイスを表示するタイミングではないと判断する。また、ＣＰＵ２２は、一例として、生体センサ２０の検出結果に基づき、ユーザの感情および心情の変化が少ない状態の場合に、アドバイスを表示するタイミングであると判断する。また、反対に、ＣＰＵ２２は、一例として、ユーザの感情および心情の変化が大きい場合に、アドバイスを表示するタイミングであると判断する。
【００６２】
ＣＰＵ２２は、アドバイスを表示するタイミングであると判断した場合（ステップＳ２１のＹｅｓ）、処理をステップＳ２２に進める。また、ＣＰＵ２２は、アドバイスを表示するタイミングではないと判断した場合（ステップＳ２１のＮｏ）、ステップＳ２２をスキップして、処理をステップＳ２３に進める。なお、ステップＳ２１においてアドバイスを表示するタイミングではないと判断した場合、ＣＰＵ２２は、アドバイスを表示するタイミングとなるまで、当該ステップＳ２１で処理を一定時間繰り返してもよい。
【００６３】
続いて、ＣＰＵ２２は、ステップＳ１８で判断したユーザの状況に応じた内容のアドバイスをディスプレイ１２に表示する（ステップＳ２２）。ＣＰＵ２２は、一例として、ユーザの状況に応じて、会話の参考となる話題に関する情報を表示する。これにより、ＣＰＵ２２は、例えばユーザがあまり面識の無い人と緊張した状態でランチを取っている場合等において、適切な話題の情報をユーザに提供することができる。より具体的には、ＣＰＵ２２は、フォーマルな服装でビジネスの状況でランチを取っている場合には、政治、経済、事件等のニュースを表示する。さらに、ＣＰＵ２２は、ユーザの会話の中から特定したキーワードに基づき情報を提供してもよい。この場合、例えばユーザの会話中から"為替"というキーワードが特定された場合には、ＣＰＵ２２は、最新の為替レート等を表示する。
【００６４】
また、ユーザがカジュアルな服装をしていてもあまり面識のない人と一緒になり、会話が弾まない場合がある。このような場合、ＣＰＵ２２は、一例として、カレンダー部２８から取得した日時から時節の話題に関する情報を表示したり、ＧＰＳモジュール２４からの位置情報に基づき近隣の話題に関する情報を表示したりしてもよい。
【００６５】
また、更に、ＣＰＵ２２は、服装検出部４６が検出した服装に応じた話題の情報を表示してもよい。例えば、ユーザが白いネクタイを着用しており、ＧＰＳモジュール２４から検出された位置情報および地図情報に基づきユーザが結婚式場の近くにいると判断した場合には、ＣＰＵ２２は、通信部３６を用いて外部サーバから結婚に関する情報を取得してこれらの情報を表示したり、不揮発性メモリ３０に記憶されているお祝いの言葉、スピーチ例、マナーに関する情報等を表示したりする。また、例えば、ユーザが黒いネクタイをしており、ＧＰＳモジュール２４からの位置情報および地図情報に基づきユーザが斎場の近くにいると判断した場合に、ＣＰＵ２２は、不揮発性メモリ３０に記憶されているお悔やみの言葉および気をつける事項の情報（使わない方がよい用語およびマナー等の情報）を表示する。
【００６６】
なお、ＣＰＵ２２は、当該携帯端末１０に対して予め定められたアクションをした場合（例えば、例えば当該携帯端末１０を予め定められた力以上で握った場合）、情報の表示タイミングであると判断して、情報を表示してもよい。また、ＣＰＵ２２は、検索結果を取得したことに応じて、不図示のバイブレータ機能により、ユーザに情報検索ができたことを報知するようにしてもよい。
【００６７】
続いて、ＣＰＵ２２は、ユーザが携帯端末１０の操作を続けているかどうかを判断する（ステップＳ２３）。ＣＰＵ２２は、一例として、内蔵カメラ１６がユーザを撮像し続けている場合、ユーザが操作を続けていると判断してもよい。ユーザが携帯端末１０の操作を続けている場合には、ＣＰＵ２２は、ステップＳ１１に戻り処理を繰り返す。そして、ＣＰＵ２２は、ユーザが操作を終了した場合には、ユーザによる携帯端末１０の操作時間、ステップＳ１８で分析されたユーザの状況、検索結果、アドバイス情報等を不揮発性メモリ３０に記録して（ステップＳ２４）、本フローを抜けて処理を終了する。
【００６８】
なお、ＣＰＵ２２は、ステップＳ２４において、認識された顔データのうちの不揮発性メモリ３０に顔データが未だ登録されていない人について、不揮発性メモリ３０に顔データを記録してもよい。これにより、ＣＰＵ２２は、ユーザが次にその人に会った場合において、その人の顔認識に活用することができる。
【００６９】
また、ＣＰＵ２２は、ステップＳ２４において、ユーザの言葉遣いの分類を、相手の人と対応付けて記録してもよい。そして、ＣＰＵ２２は、同一の人との会話において、過去に使っていた言葉の言葉遣いの分類と、今回使った言葉の言葉遣いの分類とが異なる場合、ユーザに報知をしてもよい。例えば、ＣＰＵ２２は、同一の人との会話において、ユーザの言葉遣いが第１の分類から第２の分類に変化した場合、ユーザに報知をしてもよい。これにより、ＣＰＵ２２は、そのユーザと何回か会ううちに打ち解けてきたことをユーザに知らせることができる。また、ＣＰＵ２２は、その相手の言葉遣いも記録してもよい。この場合において、ＣＰＵ２２は、ユーザ自身の言葉遣いの分類と、相手の言葉遣いの分類とに相違がある場合、バランスが取れていない旨を報知してもよい。
【００７０】
また、ＣＰＵ２２は、図３および図４に示すフローチャートの処理を、ユーザが１人でいる場合に実行してもよい。例えば、ＣＰＵ２２は、ユーザが１人でいる場合にユーザの服装に応じた情報を表示してもよい。より具体的には、ＣＰＵ２２は、一例として、ユーザが自宅におり室温が１５度を下回っているのに半袖の服装でいる場合には、"薄着である旨"をディスプレイ１２に表示する。また、ＣＰＵ２２は、一例として、気温が３０度を超えるような場合に、"水分補給をする旨"をディスプレイ１２に表示する。
【００７１】
図５は、変形例に係る携帯端末１０の外観構成を示す。なお、本変形例に係る携帯端末１０は、図１から図４を参照して説明した携帯端末１０と略同一の構成および機能を採るので、同一の構成要素には同一符号を付けて以下相違点を除き説明を省略する。
【００７２】
本変形例に係る携帯端末１０は、図１に示した構成に加えて、ミラーフィルム５０を更に備える。ミラーフィルム５０は、ディスプレイ１２の表面に、例えば接着により貼り付けられている。ミラーフィルム５０は、反射性を有する透過性フィルムであり、裏面（ディスプレイ１２）側から照射された光を表面側に透過するが、裏面（ディスプレイ１２）側から光が照射されていない場合には反射面として機能する。
【００７３】
従って、このようなミラーフィルム５０を備える携帯端末１０は、ディスプレイ１２から光が発光されていない状態においては（例えば、当該携帯端末１０の電源がオフの場合）、化粧をするための小型の鏡として機能する。なお、携帯端末１０は、ミラーフィルム５０に代えて、ディスプレイ１２と同一面であって、ディスプレイ１２とは異なる場所に設けられた鏡を備えてもよい。
【００７４】
図６は、本変形例に係る携帯端末１０の機能構成を示す。本変形例に係る携帯端末１０は、図２に示した構成に加えて、バックライト５２を更に備える。また、本変形例において、画像分析部３４は、図２に示した構成に加えて、顔分析部５４を更に有する。
【００７５】
バックライト５２は、光源を有し、液晶表示部等であるディスプレイ１２に対して画面裏側から光を照射する。バックライト５２は、ＣＰＵ２２により光源のオンおよびオフの切り換えおよび光量の制御がされる。より具体的には、ＣＰＵ２２は、ユーザがタッチパネル１４を操作している場合、および、ディスプレイ１２に情報を表示する場合、バックライト５２をオンにして、ディスプレイ１２の視認性を向上させる。また、ＣＰＵ２２は、ユーザがタッチパネル１４を操作していない場合、バックライト５２をオフにする。また、ＣＰＵ２２は、バックライト５２をオフする操作をした場合、バックライト５２をオフにする。
【００７６】
顔分析部５４は、内蔵カメラ１６の撮像結果および内蔵カメラ１６の撮像素子からの色信号の変化から、ユーザの顔に関する変化を分析する。顔分析部５４は、一例として、化粧崩れがあるかを分析する。より具体的には、顔分析部５４は、顔にテカリがあるかどうか、および、口紅の色落ちがあるかどうか等を分析する。なお、顔のテカリ検出方法は、例えば、特許第４３９６３８７号明細書に開示されている。
【００７７】
また、顔分析部５４は、自宅を出る前（例えば通勤の前）に撮像したユーザのカラーの顔画像を基準として、この顔画像から唇部分に色変化が生じているか否かを判断して、口紅の色落ちを検出する。また、顔分析部５４は、ユーザの日々の顔画像のデータおよび口紅の状態を不揮発性メモリ３０に記憶させておき、この不揮発性メモリ３０のデータとの撮像されたユーザの顔画像とを比較して、口紅の色落ちを検出してもよい。
【００７８】
図７は、ユーザが保有する服装の画像データおよびログを記述したテーブルの一例を示す。本変形例において、不揮発性メモリ３０には、ユーザが保有している複数の服装の画像データが記憶されている。例えば、不揮発性メモリ３０には、ユーザが保有している、スカート、ブラウスおよびコート等の画像データが記憶されている。
【００７９】
ＣＰＵ２２は、不揮発性メモリ３０に、新たな服装の画像データを適宜追加する。ＣＰＵ２２は、一例として、ユーザがネットワーク等を介してオンラインショップで服を購入した場合に、その服の画像および名称等を不揮発性メモリ３０に登録する。また、ＣＰＵ２２は、ユーザが新たな服を撮像した場合、その撮像した服の画像および名称等を不揮発性メモリ３０に登録する。また、服装には、服のみならず、アクセサリ、帽子、靴およびカバン等を含んでいてもよい。
【００８０】
また、不揮発性メモリ３０には、それぞれの服装に対応して、第１のログおよび第２のログが登録されている。第１のログには、当該服装の着用頻度が含まれる。第１のログには、一例として、月毎の着用頻度および季節毎の着用頻度が含まれる。また、第２のログには、当該服装のユーザのお気に入り度が含まれる。第２のログには、一例として、１から９までの数値でお気に入り度が表されている。なお、第１のログおよび第２のログの更新については、次のフローの説明において行う。
【００８１】
図８は、本実施形態に係る携帯端末１０の制御フローを示す。携帯端末１０は、ユーザによる操作またはユーザによる当該携帯端末１０の保持が検出されると、図８に示す処理を実行する。
【００８２】
ＣＰＵ２２は、カレンダー部２８から、操作が開始された年月日および時刻を取得する（ステップＳ３１）。続いて、ＣＰＵ２２は、各種センサから周辺情報を取得する（ステップＳ３２）。続いて、ＣＰＵ２２は、ユーザの生体情報を取得する（ステップＳ３３）。なお、ステップＳ３１、Ｓ３２およびＳ３３の処理は、図３および図４に示したフローチャートのステップＳ１１、Ｓ１２およびＳ１３の処理と同様である。
【００８３】
続いて、ＣＰＵ２２は、取得した年月日および時刻、周辺情報および生体情報に基づき、撮像タイミングであるか否かを判断する（ステップＳ３４）。ＣＰＵ２２は、一例として、年月日および時刻、周辺情報および生体情報が予め設定された条件に一致している場合に、撮像タイミングであると判断する。
【００８４】
例えば、ＣＰＵ２２は、自宅を出る前（例えば通勤の前）の時間帯であってユーザが自宅にいる場合、または、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合等において、撮像タイミングであると判断してもよい。ＣＰＵ２２は、撮像タイミングであれば（ステップＳ３４のＹｅｓ）、処理をステップＳ３５に進める。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、処理をステップＳ３１に戻して、例えば一定時間後にステップＳ３１から処理を繰り返す。また、ＣＰＵ２２は、撮像タイミングでなければ（ステップＳ３４のＮｏ）、本フローを抜けて処理を終了してもよい。
【００８５】
続いて、ＣＰＵ２２は、撮像タイミングと判断した場合、内蔵カメラ１６によりユーザを撮像する（ステップＳ３５）。この場合において、ＣＰＵ２２は、ユーザの顔と、ユーザの服装を認識できるような画角等で撮像する。
【００８６】
続いて、ＣＰＵ２２は、バックライト５２がオンとなっているか、バックライト５２がオフとなっているかを判断する（ステップＳ３６）。バックライト５２がオンとなっている場合には、ユーザは、当該携帯端末１０を操作していたり、当該携帯端末１０により表示される情報を見ていたりする状態である。反対に、バックライト５２がオフとなっている場合には、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。
【００８７】
バックライト５２がオンとなっている場合、即ち、ユーザが携帯端末１０を操作していたり、表示されている情報を見ていたりする状態の場合（ステップＳ３６のＹｅｓ）、ＣＰＵ２２は、処理をステップＳ３７に進める。また、バックライト５２がオフとなっている場合、即ち、ユーザが携帯端末１０を鏡として使用している場合（ステップＳ３６のＮｏ）、ＣＰＵ２２は、処理をステップＳ４０に進める。
【００８８】
バックライト５２がオンとなっている場合の処理において、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服等が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ３７）。さらに、画像分析部３４は、特定した服装の組み合わせを更に判別してもよい。
【００８９】
続いて、ＣＰＵ２２は、特定した服装に対応する第１のログを更新する（ステップＳ３８）。より具体的には、ＣＰＵ２２は、特定した服装に対応する頻度（当月の頻度および当該季節の頻度）の値を、１つカウントアップする。さらに、ＣＰＵ２２は、服装の組み合わせを特定した場合には、特定した組み合わせの情報を不揮発性メモリ３０に記憶させる。
【００９０】
また、ＣＰＵ２２は、ステップＳ３７〜Ｓ３８の処理を１日１回のみ行うようにしてもよい。これにより、ＣＰＵ２２は、ユーザが保有しているそれぞれの服をユーザがどの程度の頻度で着ているかを、日毎に更新することができる。なお、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ３７〜Ｓ３８の処理をスキップする。
【００９１】
続いて、画像分析部３４は、ユーザの顔を分析する（ステップＳ３９）。より具体的には、画像分析部３４は、ユーザの顔画像から、口紅の色落ちおよび顔のテカリ等が生じて、化粧崩れが生じたかを分析する。また、ユーザが男性の場合には、画像分析部３４は、ひげが伸びてきたかどうかを分析してもよい。画像分析部３４は、一例として、自宅を出る前（例えば通勤の前）に撮像したユーザの顔画像と、ステップＳ３５で撮像した顔画像とを比較して、化粧崩れが生じているかまたはひげが伸びできたかを分析する。ＣＰＵ２２は、ステップＳ３９の処理を終えると、処理をステップＳ４３に進める。
【００９２】
一方、バックライト５２がオフとなっている場合において、ＣＰＵ２２は、ユーザの感情を解析する（ステップＳ４０）。ＣＰＵ２２は、一例として、生体センサ２０の検出結果および顔画像から解析された表情等から、ユーザが、機嫌が良いのか、普通の気分なのか、又は機嫌が悪いのか等を解析する。
【００９３】
続いて、画像分析部３４は、ユーザを撮像した画像における服装部分の画像データと、不揮発性メモリ３０に記憶されているユーザの服装の画像データとパターンマッチング等をして、ユーザが身につけている服装が、ユーザが保有している服装のうちの何れなのかを特定する（ステップＳ４１）。
【００９４】
続いて、ＣＰＵ２２は、特定した服装に対応する第２のログを、ステップＳ４０で解析したユーザの感情に応じて更新する。より具体的には、ＣＰＵ２２は、ユーザの機嫌が良ければ、特定した服装に対応するお気に入り度を上げる。また、ＣＰＵ２２は、ユーザの機嫌が普通であれば、特定した服装に対応するお気に入り度を変更しない。また、ＣＰＵ２２は、ユーザの機嫌が悪ければ、特定した服装に対応するお気に入り度を下げる。
【００９５】
バックライト５２がオフとなっている場合であって、ユーザが当該携帯端末１０を保持している場合、ユーザは、当該携帯端末１０を鏡として使用している状態である可能性が高い。このような場合、ユーザは、身に着けている服装が気に入っていれば機嫌の良い気分となり、身に着けている服装が気に入ってなければ機嫌の悪い気分となる可能性が高い。そこで、このような状態におけるユーザの感情を、身に付けている服装に対応して長期間記録していれば、ユーザがその服装を気に入っているか気に入っていないかの指標とすることができる。
【００９６】
なお、ＣＰＵ２２は、ステップＳ４０〜４２の処理をユーザが自宅を出る前（例えば通勤の前）であることを条件として実行してもよい。また、ＣＰＵ２２は、ステップＳ４０〜４３の処理を１日１回のみ行うようにしてもよい。また、ＣＰＵ２２は、撮像された画像が不鮮明でユーザの服装が検出できない場合には、ステップＳ４０〜Ｓ４２の処理をスキップする。ＣＰＵ２２は、ステップＳ４２の処理を終えると、処理をステップＳ４３に進める。
【００９７】
続いて、ステップＳ４３において、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングか否かを判断する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングであれば（ステップＳ４３のＹｅｓ）、ステップＳ４４においてユーザに対してアドバイスを表示する。ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ（ステップＳ４３のＮｏ）、ステップＳ４３においてアドバイスを表示するタイミングとなるまで処理を待機する。なお、ＣＰＵ２２は、ユーザにアドバイスを表示するタイミングでなければ、一定時間ステップＳ４３で処理を待機したのちに、本フローを抜けて処理を終了してもよい。
【００９８】
ステップＳ４４においては、ＣＰＵ２２は、一例として、ネットワークを介してオンラインショップ等で服等を購入するタイミングにおいて、第２のログに示される内容を表示する。ＣＰＵ２２は、一例として、服等を購入するタイミングにおいて、お気に入り度の高い服装の画像データ、または、お気に入り度の低い服装の画像データを表示する。これにより、ユーザは、新たな服等の購入時等に、自分の好みを確認することができる。
【００９９】
また、ＣＰＵ２２は、ネットワークを介してオンラインショップ等で服等を購入している場合において、購入しようと選択した服とデザインが似通っている服等を既にユーザが保有していれば、注意を促すアドバイスを表示してもよい。これにより、ユーザは、似通っている服を重複して購入してしまうことを回避することができる。
【０１００】
また、ＣＰＵ２２は、第１のログを参照して、頻繁に着用している服等およびあまり着用していない服等をユーザに表示する。これにより、ユーザは、着用している服等の偏りを知って、着用する服等の選択に役立てることができる。
【０１０１】
また、ＣＰＵ２２は、ユーザが会社に出勤してから一定時間経過後の時間帯であってユーザが会社内にいる場合であって、ステップＳ３９で化粧崩れ（顔のテカリおよび口紅の色落ち）を検出した場合、または、ひげが伸びてきたことを検出した場合には、その旨を表示してもよい。これにより、ユーザは、化粧直しおよびひげを剃るべきタイミングであることを知ることができる。
【０１０２】
そして、ＣＰＵ２２は、ステップＳ４４の処理を完了すると、本フローを抜けて処理を終了する。なお、ＣＰＵ２２は、アドバイス表示を行なった後、データ量が足りなかったり取得したデータがまだ変化していたりすることにより、ユーザの顔の撮像を続ける必要がある場合には、ステップＳ３５に処理を戻して、再度の撮像処理から処理を繰り返してもよい。
【０１０３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０５】
１０  携帯端末、１２  ディスプレイ、１４  タッチパネル、１６  内蔵カメラ、１８  マイク、２０  生体センサ、２２  ＣＰＵ、２４  ＧＰＳモジュール、２６  温度計、２８  カレンダー部、３０  不揮発性メモリ、３２  音声解析部、３４  画像分析部、３６  通信部、４２  顔認識部、４４  表情検出部、４６  服装検出部、５０  ミラーフィルム、５２  バックライト、５４  顔分析部
【図１】
2013120473.tif 000003
【図２】
2013120473.tif 000004
【図３】
2013120473.tif 000005
【図４】
2013120473.tif 000006
【図５】
2013120473.tif 000007
【図６】
2013120473.tif 000008
【図７】
2013120473.tif 000009
【図８】
2013120473.tif 000010