(57)【要約】  本発明にかかる情報処理システムは、携帯機器１０と情報処理装置２０とを備える。携帯機器１０は、生体情報を取得するセンサ１１と、ユーザの視野に対応した画像を取得するカメラ１２と、第１の通信手段１３と、を備える。情報処理装置２０は、第２の通信手段２１と、演算手段２２と、を備える。演算手段２２は、センサ１１で取得した生体情報に基づきカメラ１２を起動するか否かを決定する。また、演算手段２２は、カメラ１２で取得した画像から特徴を抽出すると共に、第２の通信手段２１を用いて公衆ネットワークへ抽出された特徴に関する情報を送信して抽出された特徴に関する検索結果を取得する。
2012060039.tif 000002
【特許請求の範囲】
【請求項１】
携帯機器と情報処理装置とを備えた情報処理システムであって、
前記携帯機器は、
生体情報を取得するセンサと、
ユーザの視野に対応した画像を取得するカメラと、
前記情報処理装置と無線通信を行なう第１の通信手段と、を備え、
前記情報処理装置は、
前記携帯機器および公衆ネットワークと無線通信を行なう第２の通信手段と、
演算手段と、を備え、
前記第１の通信手段は、前記センサで取得した前記生体情報を前記情報処理装置に無線送信し、
前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記第２の通信手段を用いて前記携帯機器に送信し、
前記カメラの起動後、前記第１の通信手段は、前記カメラで取得した画像を前記情報処理装置に無線送信し、
前記演算手段は、取得した前記画像から特徴を抽出すると共に、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する、
情報処理システム。
【請求項２】
前記演算手段は、前記抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する、請求項１に記載の情報処理システム。
【請求項３】
前記携帯機器は、表示手段を更に備え、
前記表示手段は、前記第２の通信手段から送信された前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する、
請求項１に記載の情報処理システム。
【請求項４】
前記演算手段は、前記生体情報が前記ユーザの集中力が高くなっている状態、前記ユーザが対象物に反応している状態、前記ユーザが刺激を受けている状態、前記ユーザが驚いている状態のうちの少なくとも1つを示している場合に、前記カメラを起動すると決定する、請求項１乃至３のいずれか一項に記載の情報処理システム。
【請求項５】
前記センサは、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つを検出可能なセンサである、請求項１乃至４のいずれか一項に記載の情報処理システム。
【請求項６】
前記演算手段は、前記センサで取得した前記生体情報に基づき、前記カメラで取得した画像から抽出する特徴を変化させる、請求項１乃至５のいずれか一項に記載の情報処理システム。
【請求項７】
前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで前記カメラで取得した画像から抽出する特徴を変化させる、請求項６に記載の情報処理システム。
【請求項８】
前記演算手段は、予め登録されたポジティブな特徴とネガティブな特徴に分類された情報を用いて前記カメラで取得した画像から特徴を抽出する、
請求項７に記載の情報処理システム。
【請求項９】
前記演算手段は、前記ユーザが注目している対象を特徴の候補として抽出し、前記センサで取得した前記生体情報に基づき、前記特徴の候補を前記特徴として抽出する、請求項６に記載の情報処理システム。
【請求項１０】
前記ユーザが注目している対象は、前記ユーザの顔の向きおよび視線の向きの少なくとも１つに基づき決定される、請求項９に記載の情報処理システム。
【請求項１１】
前記センサが脳波センサである場合、当該脳波センサから取得した脳波がポジティブな感情を示す場合に、前記特徴の候補を前記特徴として抽出する、請求項９または１０に記載の情報処理システム。
【請求項１２】
前記演算手段は、前記センサで取得した前記生体情報に基づき、前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、請求項３乃至５のいずれか一項に記載の情報処理システム。
【請求項１３】
前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、請求項１２に記載の情報処理システム。
【請求項１４】
前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波と、予め登録された、個人と当該個人の脳波とを関連付けた情報とに基づき、前記携帯機器を使用している個人を特定する、請求項１乃至１３のいずれか一項に記載の情報処理システム。
【請求項１５】
前記携帯機器は音声入力手段を更に備え、
前記演算手段は、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報と前記音声入力手段から入力された情報とを送信し、当該抽出された特徴に関する情報と当該音声入力手段から入力された情報とを用いて検索することで当該抽出された特徴に関する検索結果を取得する、
請求項１乃至１４のいずれか一項に記載の情報処理システム。
【請求項１６】
前記演算手段は、前記抽出された特徴から付加情報を取得し、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報と前記付加情報を送信し、当該抽出された特徴に関する情報と当該付加情報とを用いて検索することで当該抽出された特徴に関する検索結果を取得する、
請求項１乃至１５のいずれか一項に記載の情報処理システム。
【請求項１７】
前記演算手段が前記特徴から取得する付加情報は、前記特徴に表示されている文字情報、前記特徴のサイズ、前記特徴が顔であるか否か、および前記特徴の細部の特徴のうちの少なくとも１つである、請求項１６に記載の情報処理システム。
【請求項１８】
前記演算手段は、前記特徴および前記付加情報の少なくとも１つを抽出する前に、前記カメラで取得した画像を正面から見た画像に補正する、請求項１乃至１７のいずれか一項に記載の情報処理システム。
【請求項１９】
生体情報を取得するセンサと、
ユーザの視野に対応した画像を取得するカメラと、
公衆ネットワークと無線通信を行なう通信手段と、
演算手段と、を備え、
前記演算手段は、
取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する、
情報処理システム。
【請求項２０】
前記演算手段は、前記抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する、請求項１９に記載の情報処理システム。
【請求項２１】
前記情報処理システムは、表示手段を更に備え、
前記表示手段は、前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する、
請求項１９に記載の情報処理システム。
【請求項２２】
情報処理システムにおける情報処理方法であって、
前記情報処理システムは、
生体情報を取得するセンサと、
ユーザの視野に対応した画像を取得するカメラと、
公衆ネットワークと無線通信を行なう通信手段と、を備え、
取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する、
情報処理方法。
【請求項２３】
更に、前記抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する、請求項２２に記載の情報処理方法。
【請求項２４】
更に、前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する、請求項２２に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理システム、および情報処理方法に関し、特にユーザが見ている物体等に関する情報を検索するための情報処理システム、および情報処理方法に関する。
【背景技術】
【０００２】
近年、通信システム等の発達により、ユーザが知りたい情報を任意の場所で瞬時に検索することが可能となった。【０００３】
特許文献１には、各ユーザの嗜好や、各ユーザの置かれている状況等に適合した情報を、各ユーザに対して見易い態様で提示できる通信システムに関する技術が開示されている。図２０は、特許文献１に開示されている通信システムを示すブロック図である。【０００４】
図２０に示すように、特許文献１に開示されている通信システムは、携帯端末１００と情報記録配信装置３００とを備える。携帯端末１００は、合成表示部１０１と、撮影部１０３と、情報加工部１０５と、通信部１０７と、位置情報取得部１０９と、ユーザ行動情報取得部１１１と、提示情報選択部１１３とを備える。提示情報選択部１１３は、優先度分析部１１５と、表示評価部１１７と、提示情報判別／ 抽出部１１９とを備える。一方、情報記録配信装置３００は、通信部３２１と、情報記録部３２３と、配信用情報判別／抽出部３２５とを備える。【０００５】
携帯端末１００の合成表示部１０１は、情報加工部１０５によって所定の加工が施された情報と、撮影部１０３によってリアルタイムで連続的に撮影されている画像情報（風景）とを合成処理した上で可視画像として表示することによりユーザに対して情報の提示を行う。合成表示部１０１は、合成部と表示部とによって構成される。【０００６】
合成部は、情報加工部１０５からの情報と、撮影部１０３からの情報（即ち、撮影部３によってリアルタイムで連続的に撮影されている携帯端末１００の周囲の風景に係る画像情報）とを入力して、それらの情報を合成処理して表示部に出力する。表示部は、合成部からの合成処理された情報を入力して、該情報を可視画像として表示する。このようなプロセスを経ることによって、合成表示部１０１には、風景と所定の情報（つまり、テキスト情報）とが合成された画面がリアルタイムで連続的に表示され、ユーザによって視認される。【０００７】
また、特許文献２には、目標物に関する詳細情報の入手を容易にすると共に、直感的に目標物を理解することを容易にする作業支援システムに関する技術が開示されている。特許文献３には、保存しておきたい情報をその場で登録し、評価点をその場で入力する携帯型の情報検索装置に関する技術が開示されている。【０００８】
特許文献４には、運転者の視線方向に対応した情報をヘッドマウントディスプレイ装置に表示する技術が開示されている。特許文献５には、電子視覚装置及び方法に関し、特にナビゲーション、位置及び姿勢装置と組み合わせたイメージのオーグメンテーション（増補）に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−３４３２８８号公報
【特許文献２】特開２００１−３４６１５号公報
【特許文献３】特開２０００−３３１００６号公報
【特許文献４】特開２００４−２１９６６４号公報
【特許文献５】特許第３７０００２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、特許文献１にかかる技術では、撮影部１０３によってリアルタイムで連続的に撮影されている携帯端末１００の周囲の画像情報（風景）と、所定の情報（テキスト情報）とが合成された画面がリアルタイムで連続的に表示され、ユーザによって視認される。【００１１】
しかしながら、特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題がある。【００１２】
よって、本発明の目的は、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明にかかる情報処理システムは、携帯機器と情報処理装置とを備えた情報処理システムであって、前記携帯機器は、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、前記情報処理装置と無線通信を行なう第１の通信手段と、を備え、前記情報処理装置は、前記携帯機器および公衆ネットワークと無線通信を行なう第２の通信手段と、演算手段と、を備え、前記第１の通信手段は、前記センサで取得した前記生体情報を前記情報処理装置に無線送信し、前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記第２の通信手段を用いて前記携帯機器に送信し、前記カメラの起動後、前記第１の通信手段は、前記カメラで取得した画像を前記情報処理装置に無線送信し、前記演算手段は、取得した前記画像から特徴を抽出すると共に、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。【００１４】
本発明にかかる情報処理システムは、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、公衆ネットワークと無線通信を行なう通信手段と、演算手段と、を備え、前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。【００１５】
本発明にかかる、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、公衆ネットワークと無線通信を行なう通信手段と、を備える情報処理システムにおける情報処理方法は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。
【発明の効果】
【００１６】
本発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１にかかる情報処理システムを示すブロック図である。
【図２】実施の形態１にかかる情報処理システムの他の態様を示すブロック図である。
【図３】実施の形態１にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図４Ａ】実施の形態１にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図４Ｂ】実施の形態１にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図５】実施の形態２にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図６】実施の形態３にかかる情報処理システムを示すブロック図である。
【図７Ａ】実施の形態３にかかる情報処理システムが備える携帯機器の具体例を示す上面図である。
【図７Ｂ】実施の形態３にかかる情報処理システムが備える携帯機器の具体例を示す側面図である。
【図８Ａ】実施の形態３にかかる情報処理システムが備える携帯機器の他の具体例を示す上面図である。
【図８Ｂ】実施の形態３にかかる情報処理システムが備える携帯機器の他の具体例を示す側面図である。
【図９】実施の形態３にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図１０Ａ】実施の形態３にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１０Ｂ】実施の形態３にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１１】実施の形態４にかかる情報処理システムを示すブロック図である。
【図１２】実施の形態４にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１３】実施の形態５にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図１４】実施の形態５にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図１５Ａ】実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１５Ｂ】実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１６】実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１７】実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。
【図１８】実施の形態６にかかる情報処理システムを示すブロック図である。
【図１９】実施の形態６にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【図２０】特許文献１に開示されている技術を説明するための図である。
【発明を実施するための形態】
【００１８】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態１にかかる情報処理システムを示すブロック図である。図１に示す本実施の形態にかかる情報処理システムは、携帯機器１０と情報処理装置２０とを備える。
【００１９】
携帯機器１０は、生体情報を取得するセンサ１１と、ユーザの視野に対応した画像（本明細書において、画像とは動画と静止画を含む）を取得するカメラ１２と、情報処理装置２０と無線通信を行なう通信手段（第１の通信手段）１３と、を備える。情報処理装置２０は、携帯機器１０および公衆ネットワーク（不図示）と無線通信を行なう通信手段（第２の通信手段）２１と、演算手段２２と、を備える。
【００２０】
携帯機器１０が備えるセンサ１１は、ユーザの生体情報を取得するためのセンサであり、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つを検出可能なセンサである。
【００２１】
脳波を検出するためのセンサは、例えばユーザの頭部に脳波検出用の電極を単数または複数設けることで構成することができる。体温を検出するためのセンサは、例えばサーミスタを用いて構成することができる。血圧や心拍数を検出するためのセンサは、例えば圧電素子や静電容量タイプの圧力センサを用いて構成することができる。発汗を検出するためのセンサは、例えば湿度センサを用いて構成することができる。瞳孔の開き具合や視線の動きを検出するためのセンサは、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成することができる。
【００２２】
携帯機器１０が備えるカメラ１２は、ユーザの視野に対応した画像を取得する。これにより、ユーザが実際に見ている物体等の画像を取得することができる。カメラ１２には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。
【００２３】
携帯機器１０が備える通信手段１３は、情報処理装置２０（つまり、情報処理装置２０の通信手段２１）と無線通信を行なう。本実施の形態にかかる情報処理システムでは、ユーザが携帯機器１０と情報処理装置２０を携帯して使用するので、携帯機器１０と情報処理装置２０は比較的近距離で無線通信する。例えば、携帯機器１０の通信手段１３と情報処理装置２０の通信手段２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格に準拠した無線技術を用いることができる。
【００２４】
情報処理装置２０が備える通信手段２１は、携帯機器１０（つまり、携帯機器１０の通信手段１３）および公衆ネットワークと無線通信を行なう。通信手段２１が携帯機器１０の通信手段１３と無線通信する場合は、前述したように、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格に準拠した無線技術を用いることができる。一方、通信手段２１が公衆ネットワークと無線通信する場合は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格以外に、例えばＬＴＥ（Long Term Evolution）を用いてもよい。
【００２５】
情報処理装置２０が備える演算手段２２は、以下で説明する処理を実施する。具体的な説明は後述する。
【００２６】
本実施の形態にかかる情報処理システムにおいて、携帯機器１０には例えばユーザの頭部に装着可能なヘッドマウントディスプレイを用いることができる。また、情報処理装置２０には例えば携帯電話やＰＤＡ等を用いることができる。
【００２７】
なお、図２に示すように、本実施の形態にかかる情報処理システムにおける情報処理装置２０は、更に、記憶手段２３、表示手段２４、および入力手段２５を備えていてもよい。記憶手段２３は、演算手段２２での演算結果や、予め設定された各種パラメータ等を格納することができる。表示手段２４は、情報処理装置２０における各種パラメータを設定する際に、設定画面を表示することができる。
【００２８】
また、情報処理装置２０が携帯電話やＰＤＡである場合は、電話番号、スケジュール、メール、各種アプリケーションの画面を表示することができる。入力手段２５は、各種パラメータの入力、電話番号の入力、スケジュールの入力、メール作成、各種アプリケーションにおける入力等に用いられる。
【００２９】
次に、本実施の形態にかかる情報処理システムの動作について説明する。図３は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。
【００３０】
まず、携帯機器１０が備えるセンサ１１は、ユーザの生体情報を取得する（ステップＳ１）。ここで、生体情報は、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つである。次に、携帯機器１０が備える通信手段１３は、センサ１１で取得した生体情報を情報処理装置２０に無線送信する（ステップＳ２）。
【００３１】
情報処理装置２０が備える通信手段２１は、携帯機器１０から送信された生体情報を受信し、当該生体情報を演算手段２２へ出力する。演算手段２２は、取得した生体情報に基づきカメラ１２を起動するか否かを決定する（ステップＳ３）。例えば、演算手段２２は、生体情報が、ユーザの集中力が高まっている状態、ユーザが対象物に反応している状態、ユーザが刺激を受けている状態、ユーザが驚いている状態の少なくとも1つを示している場合に、カメラ１２を起動すると決定する。
【００３２】
具体的には、生体情報が脳波である場合、集中力を示す脳波（例えばα波）が通常よりも多い場合に、ユーザの集中力が高くなったと判断することができる。また、ユーザの反応度、ユーザが刺激を受けている状態、ユーザが驚いている状態などを示す脳波をモニターすることで、ユーザが何かに反応している状態、ユーザが刺激を受けている状態、ユーザが驚いている状態と特定することができる。
【００３３】
また、生体情報が体温である場合は、例えばユーザの体温が上昇した場合に、ユーザの集中力や反応度が高くなったと判断することができる。また、生体情報が血圧である場合は、例えばユーザの血圧が上昇した場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が心拍数である場合は、例えばユーザの心拍数が上昇した場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。
【００３４】
また、生体情報が発汗の状態である場合は、例えばユーザの発汗が多くなった場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が瞳孔の開き具合である場合は、例えばユーザの瞳孔が開いた場合に、ユーザの集中力が高くなった状態、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が視線の動きである場合は、例えばユーザの視線の動きが小さくなった場合に、ユーザの集中力が高くなったと判断することができる。
【００３５】
また、ユーザが上記各種反応を示す際の脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きの各種パラメータには個人差があるため、情報処理装置２０が備える記憶手段２３に、ユーザが上記各種反応を示している際の各種パラメータを個人毎に登録してもよい。使用するユーザを特定する際は、例えば情報処理装置２０が備える入力手段２５を用いて使用するユーザを設定することができる。
【００３６】
なお、センサ１１が脳波センサである場合、演算手段２２は当該脳波センサから取得した脳波と、個人と当該個人の脳波とを関連付けた情報（予め登録されている）とに基づき、携帯機器を使用している個人を特定してもよい。
【００３７】
情報処理装置２０が備える演算手段２２が、カメラ１２を起動しないと決定した場合（ステップＳ３においてＮｏと判断した場合）、ステップＳ１から処理を繰り返す。一方、演算手段２２が、カメラ１２を起動すると決定した場合（ステップＳ３においてＹｅｓと判断した場合）、カメラ１２を起動するための命令を通信手段２１を用いて携帯機器１０に送信する（ステップＳ４）。
【００３８】
携帯機器１０の通信手段１３でカメラ１２を起動するための命令を受信すると、カメラ１２が起動する（ステップＳ５）。カメラ１２の起動後、通信手段１３は、カメラ１２で取得した画像を情報処理装置２０に無線送信する（ステップＳ６）。
【００３９】
情報処理装置２０が備える演算手段２２は、取得した画像から特徴を抽出する（ステップＳ７）。ここで、特徴とは、ユーザが見ている物体や人物や背景である。図４Ａ、図４Ｂは、本実施の形態にかかる情報処理システムにおける処理の具体例を説明するための図である。
【００４０】
取得した画像から特徴を抽出する際（ステップＳ７）、例えばユーザが注目している対象を特徴として抽出する。図４Ａに示す例において、例えばユーザが車３７に注目している場合、演算手段２２は車３７を特徴の候補として抽出する。ユーザが注目している対象は、例えばユーザの顔の向きや視線の向きを検出することで特定することができる。ユーザの顔の向きを検出する場合は、例えば携帯機器１０にジャイロセンサを設ける。また、ユーザの視線の向きを検出する場合は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を携帯機器１０に設ける。
【００４１】
その後、センサ１１で取得した生体情報に基づき、特徴の候補である車３７に対してユーザがどのような感情を抱いているか検出する。例えば、センサ１１が脳波センサである場合、脳波センサから取得した脳波がポジティブな感情を示す場合、ユーザは特徴の候補である車３７に対して好感を抱いていると判断することができる。この場合、演算手段２２は、特徴の候補である車３７を正式な特徴として抽出することができる。一方、脳波センサから取得した脳波がポジティブな感情を示さない場合（つまり、通常時と同様の脳波であるか、ネガティブな感情を示す脳波の場合）ユーザは特徴の候補である車３７に対して興味を抱いていないと判断することができる。この場合、演算手段２２は、車３７を特徴の候補から除外する。なお、脳波を用いて感情を検出する方法については、例えば特開２００９−５６２３１号公報や特開２００６−９５２６６号公報に開示されている。
【００４２】
また、取得した画像から特徴を抽出する際（ステップＳ７）、次に示す処理を実施してもよい。図４Ａに示す画像８１が取得した画像である場合、演算手段２２は、図４Ｂに示すように、例えば山３５、花３６、車３７をそれぞれ特徴４１、４２、４３として抽出する。演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
【００４３】
例えば、脳波がポジティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より人工的な物体である車３７を特徴として抽出することができる。一方、脳波がネガティブな感情を示す場合、図４Ｂに示す山３５、車３７、花３６のうち、より自然に近い山３５と花３６を特徴として抽出することができる。
【００４４】
この時、演算手段２２は、予め登録されたポジティブな特徴とネガティブな特徴に分類された情報を用いて、取得した画像から特徴を抽出してもよい。つまり、図４Ａ、図４Ｂに示す例の場合、情報処理装置２０が備える記憶手段２３にポジティブな特徴として車３７を、ネガティブな特徴として山３５と花３６を、予め登録しておく。そして、演算手段２２は、記憶手段２３に予め登録されたこれらの情報を用いて、取得した画像からポジティブな特徴として車３７を、ネガティブな特徴として山３５と花３６を取得した画像から抽出してもよい。
【００４５】
ステップＳ７で抽出された特徴に関する情報は、情報処理装置２０が備える通信手段２１を用いて公衆ネットワークへ送信される（ステップＳ８）。ここで、公衆ネットワークは例えばインターネットやＬＴＥネットワークである。
【００４６】
また、抽出された特徴に関する情報とは、抽出された特徴の画像（画像情報）や抽出された特徴の名称（テキスト情報）などである。抽出された特徴の名称は、例えば抽出された特徴を情報処理装置２０が備えるデータベースを用いて照合することで得ることができる。具体的に説明すると、図４Ｂに示した特徴４２の場合、特徴４２の画像を情報処理装置２０が備えるデータベースを用いて照合することで、特徴４２の一般名称である「花」という情報を得ることができる。この場合、抽出された特徴に関する情報は「花」というテキスト情報となる。
【００４７】
なお、特徴４２の一般名称である「花」という情報以外にも、花の具体的な名称である「αβγ」のテキスト情報を、情報処理装置２０が備えるデータベースを用いて照合することで取得してもよい。この場合、抽出された特徴に関する情報は花の具体的な名称（αβγ）というテキスト情報となる。
【００４８】
一方、抽出された特徴の画像が抽出された特徴に関する情報である場合は、抽出された特徴の画像（図４Ｂに示した特徴４２の場合は、花３６の画像）を公衆ネットワークへ送信する。なお、抽出された特徴に関する情報は、１つの特徴に対して複数であってもよい。つまり、図４Ｂに示した特徴４２に関する情報として、「花」というテキスト情報と抽出された特徴である花３６の画像情報を送信してもよい。公衆ネットワークへ送信される抽出された特徴に関する情報の数や種類は適宜設定することができる。
【００４９】
抽出された特徴に関する情報は、例えば公衆ネットワークにおける情報検索サービスサイトで検索される。情報検索サービスサイトは、例えばクラウドサービスである。その後、情報処理装置２０は通信手段２１を介して抽出された特徴に関する検索結果を取得する（ステップＳ９）。
【００５０】
背景技術で説明した特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題があった。これに対して、本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるセンサ１１でユーザの生体情報を取得し、情報処理装置２０が備える演算手段２２において、取得した生体情報に基づきカメラ１２を起動するか否かを決定している。このため、本実施の形態にかかる情報処理システムでは、例えば、ユーザの集中力が高まっている場合にのみカメラ１２を起動することができるので、情報処理システムにおける情報処理の負担を軽減することができる。
【００５１】
よって、本実施の形態にかかる発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
【００５２】
実施の形態２
次に、本発明の実施の形態２について説明する。図５は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。図５に示すように、本実施の形態にかかる発明では、図３に示した実施の形態１にかかる処理にステップＳ１０が追加されている。これ以外は実施の形態１にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
【００５３】
図５に示すように、本実施の形態にかかる情報処理システムでは、ステップＳ９において情報処理装置２０が抽出された特徴に関する検索結果を取得した後、情報処理装置２０に取得した検索結果をキーワードとして登録している（ステップＳ１０）。すなわち、情報処理装置２０の演算手段２２は、抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する。なお、ステップＳ１からステップＳ９までは実施の形態１の場合と同様である。この時、取得した検索結果は、例えば情報処理装置２０が備える記憶手段２３に格納される。
【００５４】
本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるカメラ１２で取得した画像データを情報処理装置２０に保存することで、ユーザの行動のログ（つまり、ライフログ）を蓄積することができる。そして、上記ステップＳ１０において検索結果であるキーワードを画像と関連付けて登録することで、ユーザが後でライフログを見直す際に、この登録されたキーワードを基に画像を呼び出すことができる。
【００５５】
具体的に説明すると、例えば、図４Ａ、図４Ｂに示した画像８１において、山３５を特徴４１として抽出し、この山３５についての検索結果である山の名前「ＤＥＦ山」をキーワードとして、画像８１と関連づけて登録する。これにより、ユーザが後でライフログを見直す際に、「ＤＥＦ山」をキーワードとして検索することで山３５を含む画像８１を表示することができる。
【００５６】
よって、本実施の形態にかかる情報処理システムにより、実施の形態１と同様の効果を得られると共に、蓄積されたライフログを容易に検索することができる情報処理システムを提供することができる。また、本実施の形態にかかる情報処理システムでは、ライフログを蓄積する際に必要なときにだけ情報を記録することができるので、効率的に情報を蓄積することができる。
【００５７】
実施の形態３
次に、本発明の実施の形態３について説明する。図６は、本実施の形態にかかる情報処理システムを示すブロック図である。また、図９は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。図６に示すように、本実施の形態にかかる発明では、実施の形態１にかかる情報処理システムが備える携帯機器１０に表示手段１４が追加されている。また、図９に示すように、本実施の形態にかかる発明では、図３に示した実施の形態１にかかる処理にステップＳ１１、Ｓ１２が追加されている。これ以外は実施の形態１にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
【００５８】
図６に示す携帯機器１０が備える表示手段１４は、情報処理装置２０が備える通信手段２１から送信された検索結果（つまり、ステップＳ９で取得された検索結果）を、ユーザがみている実像に対応づけて表示する。
【００５９】
図７Ａ、図７Ｂは、本実施の形態にかかる情報処理システムが備える携帯機器の一例を示す図である。図７Ａは、携帯機器１０の上面図であり、図７Ｂは携帯機器１０の側面図である。本実施の形態にかかる情報処理システムが備える携帯機器１０は、例えばヘッドマウントディスプレイを用いて構成することができる。図７Ａ、図７Ｂに示すように、携帯機器１０はセンサ１１、カメラ１２、通信手段１３、および表示手段１４を備える。
【００６０】
センサ１１は脳波センサであり、ユーザの額に接触することができる位置に配置されている。カメラ１２は、ユーザの視野に対応した画像を取得するために、例えば携帯機器１０の中心部に配置されている。なお、カメラ１２の位置はこの位置に限定されることはなく、ユーザの視野に対応した画像を取得できる位置であれば任意の位置に設けることができる。通信手段１３は、例えばヘッドマウントディスプレイのテンプル部分（側部）に設けることができる。
【００６１】
表示手段１４は、ユーザの左眼と右眼に対応する位置にそれぞれ設けられている。表示手段１４は、ユーザが実像を見ることができるように透明な材料で形成されている。また、表示手段１４は、ステップＳ９で取得された検索結果を、ユーザがみている実像に対応づけて表示することができるように構成されている。表示手段１４として、例えば光学透過ヘッドマウントディスプレイや網膜投影ヘッドマウントディスプレイを用いることができる。なお、図７Ａ、図７Ｂでは、表示手段１４が２つ設けられている例を示したが、表示手段１４は左眼と右眼のいずれか一方に１つ設けられていてもよい。
【００６２】
また、図８Ａ、図８Ｂは、本実施の形態にかかる情報処理システムが備える携帯機器の他の例を示す図である。図８Ａは、携帯機器１０の上面図であり、図８Ｂは携帯機器１０の側面図である。図８Ａ、図８Ｂに示した携帯機器１０では、複数の脳波センサ１１が設けられている点が、図７Ａ、図７Ｂに示した携帯機器１０と異なる。つまり、図８Ａ、図８Ｂに示した携帯機器１０では、ヘッドマウントディスプレイのテンプル部分（側部）にも脳波センサ１１が設けられている。このように複数の脳波センサ１１を設けることで、ユーザの感情の状態等をより詳細に分析することができる。なお、脳波センサ１１を設ける位置は、得ようとする脳波の種類によって適宜変更することができる。
【００６３】
次に、本実施の形態にかかる情報処理システムの動作について説明する。
ステップＳ１からステップＳ９までは実施の形態１の動作と同様であるので重複した説明は省略する。本実施の形態にかかる情報処理システムでは、ステップＳ９において情報処理装置２０が抽出された特徴に関する検索結果を取得した後、この取得した検索結果を通信手段２１を用いて携帯機器１０に送信している（ステップＳ１１）。そして、携帯機器１０が備える表示手段１４を用いて、この取得した検索結果をユーザが見ている実像に対応づけて表示する（ステップＳ１２）。
【００６４】
図１０Ａ、図１０Ｂは、本実施の形態にかかる情報処理システムにおける処理の具体例を説明するための図である。ステップＳ７において、図４Ａの画像８１における山３５と花３６が特徴４１、４２として抽出された場合、表示手段１４は、図１０Ａに示すように、ユーザが見ている実像８２の山３５と花３６に対応づけて、検索結果５１、５２を表示することができる。同様に、ステップＳ７において、図４Ａの画像８１における車３７が特徴４３として抽出された場合、表示手段１４は、図１０Ｂに示すように、ユーザが見ている実像８３の車３７に対応づけて、検索結果５３を表示することができる。
【００６５】
なお、本実施の形態においても、実施の形態１の場合と同様に、演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
【００６６】
例えば、脳波がポジティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より人工的な物体である車３７を特徴として抽出することができる。一方、脳波がネガティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より自然に近い山３５と花３６を特徴として抽出することができる。
【００６７】
そして、本実施の形態では、脳波がポジティブな感情を示す場合、表示手段１４は、図１０Ｂに示すように、ユーザが見ている実像８３の車３７に対応づけて、検索結果５３を表示することができる。一方、脳波がネガティブな感情を示す場合、表示手段１４は、図１０Ａに示すように、ユーザが見ている実像８２の山３５と花３６に対応づけて、検索結果５１、５２を表示することができる。
【００６８】
また、本実施の形態では、演算手段２２は、センサ１１で取得した生体情報に基づき、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させてもよい。例えば、脳波センサを用いた場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。
【００６９】
例えば、花３６がネガティブな感情の場合とポジティブな感情の場合の両方において抽出されたとする。この場合、脳波がポジティブな感情を示す場合には花の名前のみが、脳波がネガティブな感情を示す場合には花の名前と花言葉が、表示手段１４に表示されるようにしてもよい。
【００７０】
また、例えばユーザが車３７にポジティブな感情を示したとする。この場合は、ユーザが車に興味を示したので、車種、型式、価格等の車の詳細な情報を表示手段１４に表示されるようにしてもよい。
【００７１】
背景技術で説明した特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題があった。また、リアルタイムで連続的に情報が表示されるため、ユーザがこのような情報を不要としている場合であっても情報が表示画面に常に表示され、ユーザの視界が妨害されてしまうという問題があった。
【００７２】
これに対して、本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるセンサ１１でユーザの生体情報を取得し、情報処理装置２０が備える演算手段２２において、取得した生体情報に基づきカメラ１２を起動するか否かを決定している。このため、本実施の形態にかかる情報処理システムでは、例えば、ユーザの集中力が高まっている場合にのみカメラ１２を起動することができるので、情報処理システムにおける情報処理の負担を軽減することができる。
【００７３】
また、情報処理装置２０が備える演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
【００７４】
また、本実施の形態では、演算手段２２は、センサ１１で取得した生体情報に基づき、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。例えば、脳波センサを用いた場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。
【００７５】
したがって、ユーザに提示されるべき情報のみが表示手段に表示されるため、不要な情報によってユーザの視界が妨害されてしまうことを抑制することができる。
【００７６】
よって、本実施の形態にかかる発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
【００７７】
実施の形態４
次に、本発明の実施の形態４について説明する。図１１は、本実施の形態にかかる情報処理システムを示すブロック図である。図１１に示すように、本実施の形態にかかる発明では、実施の形態３にかかる情報処理システムが備える携帯機器１０に音声入力手段１５が追加されている。これ以外は実施の形態１乃至３にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
【００７８】
図１１に示す携帯機器１０が備える音声入力手段１５は、ユーザが話した言葉（音声入力手段１５から入力された情報）を通信手段１３へ出力する。通信手段１３は、この音声入力手段１５から入力された情報を情報処理装置２０へ送信する。そして、図９に示したステップＳ８において、情報処理装置２０は抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報を公衆ネットワークへ送信する。本実施の形態では、抽出された特徴に関する情報について検索する際に、音声入力手段１５から入力された情報を用いることができる。このため、ユーザが求めている情報に絞って特徴に関する情報を検索することができる。
【００７９】
次に、本実施の形態にかかる情報処理システムの処理の具体例について説明する。図９におけるステップＳ８において、抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報として「山の高さ」という情報を公衆ネットワークへ送信したとする。すると、特徴である山３５の情報を検索する際に、「ＤＥＦ山」という山の名前と共に、「２３５６ｍ」という山の高さの情報も取得することができる。その結果、図９におけるステップＳ１２において、表示手段１４は、図１２に示すように、山３５の検索結果５４として「ＤＥＦ山」という山の名前と共に、「２３５６ｍ」という山の高さの情報も表示することができる。
【００８０】
このように、抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報を公衆ネットワークへ送信することで、ユーザが求めている情報に絞って特徴に関する情報を検索することができる。このため、情報検索の際のヒット率を向上させることができる。
【００８１】
実施の形態５
次に、本発明の実施の形態５について説明する。本実施の形態では、上記で説明した実施の形態１乃至４におけるステップＳ７（例えば図９参照）以降の処理、つまり取得した画像から特徴を抽出した後の処理が他の実施の形態と異なる。これ以外は実施の形態１乃至４にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
【００８２】
本実施の形態では、取得した画像から特徴を抽出した後（つまり、図９のステップＳ７の後）、情報処理装置２０の演算手段２２を用いて抽出された特徴から更に付加情報を取得している。ここで、付加情報とは、例えば文字情報、特徴の細部の特徴、特徴のサイズ、特徴が顔であるか否か、などである。文字情報とは抽出された特徴に付されているロゴマークなどである。また、細部の特徴とは抽出された特徴の細部における形や色などである。
【００８３】
まず、抽出された特徴から文字情報を取得する場合の処理について図１３を用いて説明する。例えば、図９に示したフローチャートのステップＳ７の後、つまり取得した画像から特徴を抽出した後、図１３に示すように、情報処理装置２０の演算手段２２は、抽出された特徴の中に文字情報があるか否かを判断する（ステップＳ２１）。抽出された特徴に文字情報がある場合（ステップＳ２１でＹｅｓと判断した場合）、この文字情報を抽出された特徴の付加情報として取得する（ステップＳ２２）。その後、情報処理装置２０の通信手段２１は、ステップＳ２２で取得した文字情報と、抽出された特徴に関する情報とを公衆ネットワークに送信する。そして、取得した文字情報と抽出された特徴に関する情報とを用いて情報を検索する（ステップＳ２３）。ステップＳ９以降は、図９に示した処理と同様の処理となる。一方、抽出された特徴に文字情報がない場合（ステップＳ２１でＮｏと判断した場合）、図９のステップＳ８の処理へと移動する。
【００８４】
次に、抽出された特徴から細部の特徴を取得する場合の処理について図１４を用いて説明する。例えば、図９に示したフローチャートのステップＳ７の後、つまり取得した画像から特徴を抽出した後、図１４に示すように、情報処理装置２０の演算手段２２は、抽出された特徴の中に細部の特徴があるか否かを判断する（ステップＳ３１）。抽出された特徴に細部の特徴がある場合（ステップＳ３１でＹｅｓと判断した場合）、この細部の特徴を抽出された特徴の付加情報として取得する（ステップＳ３２）。その後、情報処理装置２０の通信手段２１は、ステップＳ３２で取得した細部の特徴に関する情報と、抽出された特徴に関する情報とを公衆ネットワークに送信する。そして、取得した細部の特徴と抽出された特徴に関する情報とを用いて情報を検索する（ステップＳ３３）。ステップＳ９以降は、図９に示した処理と同様の処理となる。一方、抽出された特徴に細部の特徴がない場合（ステップＳ３１でＮｏと判断した場合）、図９のステップＳ８の処理へと移動する。
【００８５】
なお、本実施の形態では、文字情報、特徴の細部の特徴、特徴のサイズ、特徴が顔であるか否か、などの付加情報を複数取得してもよく、またこれらのうちの１つのみを取得してもよい。取得する付加情報の数や組み合わせは任意に設定することができる。
【００８６】
次に、本実施の形態にかかる情報処理システムの処理の具体例について説明する。図１５Ａに示す画像８５を取得した画像とした場合、情報処理装置２０の演算手段２２は、図９のステップＳ７において、図１５Ｂに示した山３５と車３７を特徴４１、４３として抽出する。
【００８７】
付加情報として文字情報を取得する場合、図１３に示すように、情報処理装置２０の演算手段２２は、抽出された特徴４１、４３の中に文字情報があるか否かを判断する（ステップＳ２１）。この時、車３７にはロゴマーク３８である「ＸＹＺ」が付されているので、演算手段２２は、文字情報である「ＸＹＺ」を付加情報として取得する（ステップＳ２２）。その後、情報処理装置２０の通信手段２１は、文字情報である「ＸＹＺ」と抽出された特徴４３（車３７）に関する情報を公衆ネットワークに送信する（ステップＳ２３）。
【００８８】
その後、図９のステップＳ９において、抽出された特徴４３（車３７）の情報について検索する。本実施の形態ではこの検索の際に文字情報である「ＸＹＺ」を用いて検索することができる。つまり、抽出された特徴４３である車３７の情報を検索する際に、製造会社の情報を「ＸＹＺ社」に限定することができるので、情報検索の際のヒット率を向上させることができる。
【００８９】
一方、付加情報として細部の特徴を取得する場合、図１４に示すように、情報処理装置２０の演算手段２２は、抽出された特徴４１、４３の中に細部の特徴があるか否かを判断する（ステップＳ３１）。この時、山３５は図１７に示すように特徴的な部分６１を有するので、演算手段２２は、この特徴的な部分６１を細部の特徴として取得する（ステップＳ３２）。その後、情報処理装置２０の通信手段２１は、ステップＳ３２で取得した細部の特徴６１に関する情報と抽出された特徴３５に関する情報を公衆ネットワークに送信する（ステップＳ３３）。
【００９０】
その後、図９のステップＳ９において、抽出された特徴４１（山３５）の情報について検索する。本実施の形態ではこの検索の際に細部の特徴６１を用いて検索することができる。つまり、抽出された特徴４１である山３５の情報を検索する際に、特徴的な部分６１を用いて検索することができるので、情報検索の際のヒット率を向上させることができる。
【００９１】
図１６は、このようにして取得した検索結果５１、５３をユーザが見ている実像に対応づけて表示している具体例を示す図である（図９のステップＳ１２）。図１６に示すように、抽出された特徴である山３５には、「ＤＥＦ山」という山の名前が表示されている。また、抽出された特徴である車３７には、「ＸＹＺ社製」という製造会社に関する情報と「ＡＢＣ」という車種に関する情報が表示されている。
【００９２】
なお、上記例では、抽出された特徴である山３５と車３７の２つに検索結果５１、５３を表示したが、例えばユーザの好みにより表示する情報を選択してもよい。すなわち、情報処理システムを使用しているユーザが山に興味がなく車に興味がある場合は、車３７にのみ検索結果５３を表示するようにしてもよい。ユーザの好みについては、前述したように、脳波センサで取得した脳波に基づき決定することができる。つまり、脳波がポジティブな感情を示す場合はユーザが興味を示し、逆に脳波が通常時と同様である場合やネガティブな感情を示す場合はユーザが興味を示していないと判断することができる。
【００９３】
また、図１５、図１６に示した例では、車３７の画像が斜めに表示されているため、文字情報を取得する際に、エラーが発生する可能性もある。この場合、演算手段２２は、斜めになっている特徴を正面から見た画像に補整する処理を施した後に、文字を認識してもよい。このように、特徴を正面から見た画像に補整することで、文字認識の精度を向上させることができる。
【００９４】
また、特徴のサイズを付加情報として用いる場合は、例えば特徴である車３７の大きさを取得する。そして、抽出された特徴である車の情報と当該車のサイズの情報とを公衆ネットワークに送信する。この場合、抽出された特徴である車の情報を検索する際に車のサイズの情報を付加情報として用いることができるので、情報検索の際のヒット率を向上させることができる。
【００９５】
以上で説明したように、本実施の形態にかかる情報処理システムでは、情報処理装置２０の演算手段２２を用いて、抽出された特徴の付加情報を取得し、抽出された特徴に関する情報について検索する際にこの付加情報を用いている。よって、抽出された特徴に関する情報を取得する際、情報検索のヒット率を向上させることができる。
【００９６】
実施の形態６
次に、本発明の実施の形態６について説明する。実施の形態１乃至５で説明した情報処理システムは、携帯機器１０と情報処理装置２０とを備えていた。しかし、携帯機器１０と情報処理装置２０は１つの装置として構成されてもよい。例えば、携帯機器１０に情報処理装置２０の機能が含まれるようにしてもよい。本実施の形態では、実施の形態１乃至５で説明した情報処理システムを１つの装置で構成した場合について説明する。
【００９７】
なお、情報処理システムを１つの装置で構成した点以外は、実施の形態１乃至５にかかる発明と同様であるので重複した説明は省略する。また、以下では代表として実施の形態３で示した情報処理システムを１つの装置で構成した場合について説明するが、他の実施の形態にかかる情報処理システムについても同様に適用することができる。
【００９８】
以下、図面を参照して本発明の実施の形態について説明する。
図１８は、本実施の形態にかかる情報処理システム７０を示すブロック図である。なお、本実施の形態では、情報処理システム７０が実施の形態１乃至５で説明した、携帯機器１０と情報処理装置２０とを含む情報処理システムに対応する。図１８に示す本実施の形態にかかる情報処理システム７０は、生体情報を取得するセンサ７１と、ユーザの視野に対応した画像を取得するカメラ７２と、演算手段７３と、抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する表示手段７４と、公衆ネットワークと無線通信を行なう通信手段７５と、を備える。
【００９９】
センサ７１、カメラ７２、及び表示手段７４の構成及び動作は、実施の形態１乃至５で説明した情報処理システムの携帯機器１０が備えるセンサ１１、カメラ１２、及び表示手段１４の構成及び動作と同様であるので、重複した説明は省略する。
【０１００】
通信手段７５は、公衆ネットワークと無線通信を行なう。通信手段７５が公衆ネットワークと無線通信する場合は、例えばＬＴＥ（Long Term Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等の通信規格を用いることができる。
演算手段７３は、以下で説明する処理を実施する。具体的な説明は後述する。
【０１０１】
次に、本実施の形態にかかる情報処理システム７０の動作について説明する。図１９は、本実施の形態にかかる情報処理システム７０における処理を説明するためのフローチャートである。
【０１０２】
まず、センサ７１は、ユーザの生体情報を取得する（ステップＳ４１）。ここで、生体情報は、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つである。演算手段７３は、取得した生体情報に基づきカメラ７２を起動するか否かを決定する（ステップＳ４２）。例えば、演算手段７３は、生体情報がユーザの集中力が高まっている状態を示している場合に、カメラ７２を起動すると決定する。なお、カメラ７２の起動に関する判断は、実施の形態１乃至５で説明した場合と同様であるので説明を省略する。
【０１０３】
演算手段７３が、カメラ７２を起動しないと決定した場合（ステップＳ４２においてＮｏと判断した場合）、ステップＳ４１から処理を繰り返す。一方、演算手段７３が、カメラ７２を起動すると決定した場合（ステップＳ４２においてＹｅｓと判断した場合）、カメラ７２を起動する（ステップＳ４３）。
【０１０４】
演算手段７３は、カメラ７２で取得した画像から特徴を抽出する（ステップＳ４４）。ここで、特徴とは、ユーザが見ている物体や人物や背景である。取得した画像から特徴を抽出する方法については、実施の形態１乃至５で説明した場合と同様であるので説明を省略する。
【０１０５】
ステップＳ４４で抽出された特徴に関する情報は、通信手段７５を用いて公衆ネットワークへ送信される（ステップＳ４５）。ここで、公衆ネットワークは例えばインターネットやＬＴＥネットワークである。
【０１０６】
抽出された特徴に関する情報は、例えば公衆ネットワークにおける情報検索サービスサイトで検索される。情報検索サービスサイトは、例えばクラウドサービスである。その後、情報処理システム７０は抽出された特徴に関する検索結果を取得する（ステップＳ４６）。そして、表示手段７４を用いて、この取得した検索結果をユーザが見ている実像に対応づけて表示する（ステップＳ４７）。
【０１０７】
以上で説明したように、本実施の形態にかかる情報処理システム７０は、実施の形態１乃至５で説明した情報処理システムを１つの装置で構成しているので、装置構成を簡略化することができる。なお、これ以外の効果については、実施の形態１乃至５で説明した効果と同様である。
【０１０８】
以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
【０１０９】
この出願は、２０１０年１１月２日に出願された日本出願特願２０１０−２４６１３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１０】
１０  携帯機器
１１  センサ
１２  カメラ
１３  通信手段
１４  表示手段
２０  情報処理装置
２１  通信手段
２２  演算手段
２３  記憶手段
２４  表示手段
２５  入力手段
４１、４２、４３  特徴
７０  情報処理システム
７１  センサ
７２  カメラ
７３  演算手段
７４  表示手段
７５  通信手段
８１、８５  取得した画像
８２、８３、８４  実像と検索結果を重ね合わせた画像
【図１】
2012060039.tif 000003
【図２】
2012060039.tif 000004
【図３】
2012060039.tif 000005
【図４Ａ】
2012060039.tif 000006
【図４Ｂ】
2012060039.tif 000007
【図５】
2012060039.tif 000008
【図６】
2012060039.tif 000009
【図７Ａ】
2012060039.tif 000010
【図７Ｂ】
2012060039.tif 000011
【図８Ａ】
2012060039.tif 000012
【図８Ｂ】
2012060039.tif 000013
【図９】
2012060039.tif 000014
【図１０Ａ】
2012060039.tif 000015
【図１０Ｂ】
2012060039.tif 000016
【図１１】
2012060039.tif 000017
【図１２】
2012060039.tif 000018
【図１３】
2012060039.tif 000019
【図１４】
2012060039.tif 000020
【図１５Ａ】
2012060039.tif 000021
【図１５Ｂ】
2012060039.tif 000022
【図１６】
2012060039.tif 000023
【図１７】
2012060039.tif 000024
【図１８】
2012060039.tif 000025
【図１９】
2012060039.tif 000026
【図２０】
2012060039.tif 000027
【国際調査報告】
2012060039.tif 000028
2012060039.tif 000029