(57)【要約】【課題】ユーザの視野を確保することが可能な情報処理装置を提供する。【解決手段】ユーザの視野に相当する視野画像を取得する画像取得部と、前記視野画像の中から前記ユーザの手を検出する手検出部と、前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、を備える、情報処理装置。【選択図】図４
2016192122.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視野に相当する視野画像を取得する画像取得部と、
前記視野画像の中から前記ユーザの手を検出する手検出部と、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、
を備える、情報処理装置。
【請求項２】
前記手が指示する地点を示すポインタオブジェクトを生成するオブジェクト生成部をさらに備える、請求項１に記載の情報処理装置。
【請求項３】
前記オブジェクト生成部は、前記手を使ったジェスチャによって実行される機能に基づいて、生成する前記ポインタオブジェクトを変更する、請求項２に記載の情報処理装置。
【請求項４】
前記ユーザの視線を検出する視線検出部をさらに備え、
前記オブジェクト生成部は、前記ユーザの視線位置が前記ポインタオブジェクトの周囲に設定された所定の第１領域に含まれない場合、前記ポインタオブジェクトを生成しない、請求項２に記載の情報処理装置。
【請求項５】
前記オブジェクト生成部は、前記ユーザの視線位置が前記第１領域の周囲に設定された所定の第２領域に含まれる場合、前記ユーザの視線位置と前記ポインタオブジェクトとの距離に基づいて、透過度を変更した前記ポインタオブジェクトを生成する、請求項４に記載の情報処理装置。
【請求項６】
前記ユーザの位置情報と、前記ユーザの手により指示される方向情報とに基づく探索範囲内に存在する対象のうちから、前記ユーザが指示する対象を判断する視野内解析部をさらに備える、請求項２に記載の情報処理装置。
【請求項７】
前記探索範囲は、前記ユーザから離れるにつれて大きくなる、請求項６に記載の情報処理装置。
【請求項８】
前記ユーザの手が指示する対象に関する詳細情報を取得する情報取得部をさらに備え、
前記オブジェクト生成部は、前記対象と関連付けて前記詳細情報を表示する情報オブジェクトを生成する、請求項２に記載の情報処理装置。
【請求項９】
前記対象に関する詳細情報は、公開可否情報を含み、
前記情報取得部は、前記公開可否情報に基づいて、前記対象に関する詳細情報を取得する、請求項８に記載の情報処理装置。
【請求項１０】
前記出力画像生成部は、前記ユーザの視野内の前記手が占める領域の一部に前記背景画像を重畳させた画像を生成する、請求項１に記載の情報処理装置。
【請求項１１】
前記出力画像生成部は、少なくとも前記ユーザの視野内の前記手の一方が占める領域にコンテンツオブジェクトを重畳させた表示画像を生成する、請求項１に記載の情報処理装置。
【請求項１２】
ユーザの視野に相当する視野画像を取得することと、
前記視野画像の中から前記ユーザの手を検出することと、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成することと、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成することと、
を含む情報処理方法。
【請求項１３】
コンピュータを
ユーザの視野に相当する視野画像を取得する画像取得部と、
前記視野画像の中から前記ユーザの手を検出する手検出部と、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、メガネ型のウェアラブル機器が注目されている。このようなメガネ型のウェアラブル機器では、コンテンツなどのオブジェクトは、手などを用いたジェスチャ動作によって操作されることが一般的である。
【０００３】
例えば、下記の特許文献１には、周囲環境および表示されたコンテンツの両方をユーザが視認可能なメガネ型のウェアラブル端末が開示されている。また、特許文献１には、ユーザの手または周囲の物体に仮想キーボードを映写し、映写された仮想キーボードに対するユーザのタイプ動作を取得することで、ユーザからの入力情報を取得することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５２１５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１等に開示されたメガネ型のウェアラブル端末では、オブジェクト操作のためのジェスチャ動作により、ユーザの視野が制限されることがあった。
【０００６】
例えば、ユーザがオブジェクト操作を行う場合、ユーザの視野内にジェスチャ動作を行う手が入り込むため、ユーザは手の後方に存在する風景を視認することは困難であった。また、ユーザが仮想キーボードをタイプする場合、仮想キーボードのキーがタイプする手で隠れてしまうため、ユーザは、タイプするキーを確認することは困難であった。
【０００７】
そこで、本開示では、視野内にユーザの手が入り込んだ場合でもユーザの視野を確保することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、ユーザの視野に相当する視野画像を取得する画像取得部と、前記視野画像の中から前記ユーザの手を検出する手検出部と、前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、を備える、情報処理装置が提供される。
【０００９】
また、本開示によれば、ユーザの視野に相当する視野画像を取得することと、前記視野画像の中から前記ユーザの手を検出することと、前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成することと、前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成することと、を含む情報処理方法が提供される。
【００１０】
また、本開示によれば、コンピュータをユーザの視野に相当する視野画像を取得する画像取得部と、前記視野画像の中から前記ユーザの手を検出する手検出部と、前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、として機能させるプログラムが提供される。
【００１１】
本開示によれば、ジェスチャ動作をしている手によって隠され、ユーザが目視できない背景の画像をユーザの手に重畳させて表示させることができる。したがって、本開示に係る情報処理装置は、ユーザに対して、あたかもジェスチャ動作をしている手が消去されたかのような視野を視認させることが可能である。
【発明の効果】
【００１２】
以上説明したように本開示によれば、ユーザの視野を確保することが可能である。
【００１３】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態に係る情報処理装置の外観例を示す斜視図である。
【図２】同実施形態に係る情報処理装置の内部構成を示したブロック図である。
【図３Ａ】撮像装置の視差を用いて背景画像を生成する方法を説明する説明図である。
【図３Ｂ】時系列画像を用いて背景画像を生成する方法を説明する説明図である。
【図４】出力画像生成部が生成する表示画像を説明する説明図である。
【図５】同実施形態に係る情報処理装置が実行する制御例を示すフローチャート図である。
【図６】本開示の一実施形態の変形例に係る情報処理装置の内部構成を示したブロック図である。
【図７】同変形例において、出力画像生成部が生成する表示画像の一例を示した説明図である。
【図８】ポインタオブジェクトとしてユーザの手の一部を用いた場合の表示画像を説明する説明図である。
【図９】オブジェクト生成部が機能別にポインタオブジェクトを生成した場合のポインタオブジェクトの例を示した説明図である。
【図１０】ユーザの複数の手が視野内に入り込んだ場合に生成される表示画像を示す説明図である。
【図１１】ジェスチャ動作を実行していない手に対して、コンテンツオブジェクトを重畳させた表示画像を示す説明図である。
【図１２】ユーザの視線位置と、ユーザの手により指示される地点との距離に基づいたポインタオブジェクトの画像の制御を説明する説明図である。
【図１３】視野内解析部がユーザのジェスチャ動作に基づいて対象を特定する第１の方法を説明する説明図である。
【図１４】視野内解析部がユーザのジェスチャ動作に基づいて対象を特定する第２の方法を説明する説明図である。
【図１５】視野内解析部がユーザのジェスチャ動作に基づいて対象を特定する第３の方法を説明する説明図である。
【図１６Ａ】視野内解析部がユーザのジェスチャ動作に基づいて対象を特定する第３の方法を説明する説明図である。
【図１６Ｂ】視野内解析部がユーザのジェスチャ動作に基づいて対象を特定する第３の方法を説明する説明図である。
【図１７】「富士山」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図である。
【図１８】「富士山」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【図１９】「淳也」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図である。
【図２０】「淳也」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【図２１】「ＸＹＺコンビニ」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図である。
【図２２】「ＸＹＺコンビニ」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【図２３】詳細情報の公開範囲レベルの具体例を示す説明図である。
【図２４】同変形例に係る情報処理装置の各構成の制御例を説明する流れ図である。
【図２５】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２６Ａ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２６Ｂ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２６Ｃ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２７Ａ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２７Ｂ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２７Ｃ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２８】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２９Ａ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図２９Ｂ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図３０】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図３１Ａ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図３１Ｂ】同変形例に係る情報処理装置を用いることでユーザにより視認される視野を示した説明図である。
【図３２】本開示の一実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理装置
１．１．情報処理装置の概要
１．２．情報処理装置の構成
１．３．情報処理装置の制御
２．変形例
２．１．情報処理装置の構成
２．２．情報処理装置の制御
２．３．ユーザが視認する視野の一例
３．ハードウェア構成
４．まとめ
【００１７】
＜１．本開示の一実施形態＞
［１．１．情報処理装置の概要］
まず、図１を参照して、本開示の一実施形態に係る情報処理装置１の外観例について説明する。図１は、本実施形態に係る情報処理装置１の外観例を示す斜視図である。
【００１８】
図１に示すように、本実施形態に係る情報処理装置１は、例えば、メガネ型のウェアラブル端末装置である。このようなメガネ型のウェアラブル端末装置は、例えば、透過型の表示装置を備える。これにより、情報処理装置１は、ユーザに対して、ウェアラブル端末装置が表示する画像と、ユーザ自身の視覚が捉えた画像とを重畳させて視認させることができる。
【００１９】
また、情報処理装置１は、ユーザがコンテンツ等の各種オブジェクトを直感的に操作することを可能にするために、ユーザのジェスチャ動作を認識し、認識したジェスチャ動作に対応した操作を各種オブジェクトに対して実行する。
【００２０】
ただし、メガネ型のウェアラブル端末装置は、ユーザの視野が狭いため、ユーザがジェスチャ動作によってオブジェクトを操作する場合、ジェスチャ動作を行う手によりユーザの視野が遮蔽され、ユーザが手の後方にある背景を目視できなくなることがあった。また、このようなジェスチャ操作は、ユーザの至近で行われるため、操作対象であるオブジェクトが小さい場合、該オブジェクトが手によって隠れてしまい、オブジェクトの操作が困難になることがあった。
【００２１】
本実施形態に係る情報処理装置１は、各種センサ（例えば、撮像装置など）にてユーザの視野に相当する画像を取得し、取得した視野内の画像に基づいて、手によってユーザが目視できない背景の画像を生成する。また、情報処理装置１は、ユーザから背景を遮蔽している手に対して、生成した背景の画像を重畳して表示させる。これにより、情報処理装置１は、ユーザに対して、視野内からジェスチャ動作等をしている手が消去されたかのような画像を視認させることができるため、ユーザの視野を確保することができる。
【００２２】
なお、情報処理装置１は、表示装置を備えていなくともよい。情報処理装置１が表示装置を備えていない場合、情報処理装置１は、例えば、外部接続された表示装置に生成した表示画像を出力し、表示画像は外部の表示装置により表示される。
【００２３】
以下では、上記で概要を説明した本実施形態に係る情報処理装置１の構成について、詳細に説明する。
【００２４】
［１．２．情報処理装置の構成］
次に、図２〜図４を参照して、本実施形態に係る情報処理装置１の構成例について説明する。図２は、本実施形態に係る情報処理装置１の内部構成を示したブロック図である。
【００２５】
図２に示すように、本実施形態に係る情報処理装置１は、画像取得部１０２と、手検出部１０４と、背景画像生成部１０６と、出力画像生成部１０８とを備える。
【００２６】
画像取得部１０２は、ユーザの視野に相当する視野画像を取得する。具体的には、画像取得部１０２は、情報処理装置１に装着された撮像装置（図示せず）などが撮像した画像を取得する。画像取得部１０２が取得する画像は、ユーザの視野に相当する領域を含む画像であればよく、ユーザの視野に相当する領域よりも広い領域の画像であってもよい。
【００２７】
手検出部１０４は、画像取得部１０２が取得した画像中からユーザの手を検出する。具体的には、手検出部１０４は、事前学習により手の形状を表す検出パラメータを記憶しており、該検出パラメータに基づいて、画像取得部１０２が取得した画像中からユーザの手を検出する。また、手検出部１０４は、検出したユーザの手が占める領域を特定するパラメータを出力する。なお、手検出部１０４が検出するユーザの手は、ジェスチャ動作をしている手に限定されず、ジェスチャ動作をしていない手を含む。
【００２８】
手検出部１０４は、例えば、事前に複数用意された様々な角度の手の画像を基に輪郭情報および輝度情報などを検出パラメータとして機械学習しておくことにより、画像中からユーザの手を検出することが可能である。また、機械学習のアルゴリズムとしては、公知の方法を用いることが可能であるが、例えば、サポートベクターマシン、ニューラルネットワークなどのアルゴリズムを用いることが可能である。
【００２９】
背景画像生成部１０６は、画像取得部１０２が取得した視野画像に基づいて、手によってユーザが目視できない背景に相当する背景画像を生成する。例えば、背景画像生成部１０６は、撮像装置の視差を用いてユーザが目視できない背景に相当する背景画像を生成してもよい。また、背景画像生成部１０６は、時系列画像を用いてユーザが目視できない背景に相当する背景画像を生成してもよい。
【００３０】
ここで、図３Ａおよび３Ｂを参照して、背景画像生成部１０６が、画像取得部１０２が取得した視野画像に基づいて背景画像を生成する具体的な方法について説明する。図３Ａは、撮像装置の視差を用いて背景画像を生成する方法を説明する説明図である。また、図３Ｂは、時系列画像を用いて背景画像を生成する方法を説明する説明図である。
【００３１】
撮像装置の視差を用いて背景画像を生成する場合、例えば、図３Ａに示すように、画像取得部１０２は、複数の撮像装置から視野画像Ａ、Ｂ、ＣおよびＤを取得する。具体的には、視野画像Ａ、Ｂ、ＣおよびＤは、情報処理装置１のそれぞれ異なる位置に装着された撮像装置により撮像された視野画像であり、例えば、視野画像Ａ、Ｂ、Ｃ、Ｄは、それぞれ情報処理装置１の上側、右側、下側、左側に装着された撮像装置により撮像された視野画像である。また、視野画像Ｅは、ユーザが情報処理装置１を介して実際に視認している視野を表す視野画像である。
【００３２】
これらの視野画像Ａ、Ｂ、ＣおよびＤは、情報処理装置１に装着された撮像装置により撮像されているため、ユーザが情報処理装置１を介して視認している視野画像Ｅに対して視差が生じている。また、視野画像Ａ、Ｂ、ＣおよびＤは、情報処理装置１への装着位置が異なるため、互いに視差が生じている。
【００３３】
具体的には、ユーザの至近に存在するユーザの手は、視野画像Ａ、Ｂ、Ｃ、ＤおよびＥにおいて、視差に起因してそれぞれ異なる位置に映っている。一方、ユーザから離れている視野画像中の背景は、視野画像Ａ、Ｂ、Ｃ、ＤおよびＥにおいて、視差に起因する変化が小さい。そのため、ユーザにより実際に視認されている視野画像Ｅでは、手により目視できない背景であっても、手の位置が視差により異なる視野画像Ａ、Ｂ、ＣおよびＤを用いることで取得することができる。
【００３４】
したがって、背景画像生成部１０６は、視野画像Ｅにおいてユーザの手により目視できない背景の画像を、視野画像Ａ、Ｂ、ＣおよびＤの背景と視野画像Ｅの背景との差分を画像処理によって生成することができる。
【００３５】
また、時系列画像を用いて背景画像を生成する場合、例えば、図３Ｂに示すように、画像取得部１０２は、取得した時系列の視野画像Ｆ、Ｇ、Ｈを内蔵メモリ等のバッファに記憶する。具体的には、視野画像Ｈは、視野内にユーザの手が入り込んだ視野画像であり、視野画像Ｇは、視野画像Ｈの前段の視野内にユーザの手が入り込む瞬間の視野画像であり、視野画像Ｆは、視野画像Ｇの前段の視野内にユーザの手が入り込む前の視野画像である。
【００３６】
これらの視野画像Ｆ、ＧおよびＨは、撮像されたタイミングが異なるため、視野画像Ｆ、ＧおよびＨでは、異なる位置にユーザの手が映っている。そのため、視野画像Ｈにおいてユーザの手により目視できない背景であっても、撮像されたタイミングが異なるためユーザの手の位置が異なる視野画像Ｆ、Ｇを用いることで取得することができる。
【００３７】
したがって、背景画像生成部１０６は、視野画像Ｈにおいてユーザの手により目視できない背景を、視野画像Ｈの前段の視野画像ＦおよびＧの背景から画像処理によって生成することができる。
【００３８】
なお、背景画像生成部１０６が、背景画像を生成するための方法は、上記に限定されない。背景画像生成部１０６は、他の方法を用いて背景画像を生成してもよく、上記の方法を組み合わせて背景画像を生成してもよい。
【００３９】
出力画像生成部１０８は、例えば、透過型の表示装置等において、ユーザの視野に重畳して表示される表示画像を生成する。具体的には、出力画像生成部１０８は、手検出部１０４が検出したユーザの手に対して、背景画像生成部１０６が生成した背景画像を重畳した表示画像を生成する。出力画像生成部１０８が生成した表示画像がユーザの視野に重畳して表示させることにより、ユーザの視野内からユーザの手を消去することができる。
【００４０】
出力画像生成部１０８について、図４を参照して、より具体的に説明する。図４は、出力画像生成部１０８が生成する表示画像を説明する説明図である。
【００４１】
図４に示すように、ユーザの視野２１０内にユーザの手２１２が入り込んでいる場合、出力画像生成部１０８は、背景画像生成部１０６が生成した背景画像をユーザの手２１２に重畳させて表示する表示画像を生成する。背景画像生成部１０６が生成した背景画像は、ユーザの手２１２の後方に存在し、ユーザが目視できない背景の画像である。したがって、ユーザは、視野２１０では、手２１２によって隠れており、目視できなかった背景を表示画像が重畳された視野２２０では目視することができる。すなわち、出力画像生成部１０８は、ユーザの視野２１０に入り込んだユーザの手２１２を消去した視野２２０をユーザに視認させることができる。
【００４２】
以上の構成によれば、本実施形態に係る情報処理装置１は、視野内にユーザの手が入り込んだ場合に、ユーザの手により遮蔽された背景を該ユーザの手に重畳して表示させることができる。これにより、ユーザは、情報処理装置１が生成した表示画像により、視野内に入り込んだ手により隠された背景を視認することができる。よって、本実施形態に係る情報処理装置１は、視野内に入り込んだ手によってユーザの視野が制限されることを防止し、ユーザの視野を確保することができる。
【００４３】
［１．３．情報処理装置の制御］
続いて、図５を参照して、本実施形態に係る情報処理装置１の制御例について説明する。図５は、本実施形態に係る情報処理装置１が実行する制御例を示すフローチャート図である。
【００４４】
図５に示すように、まず、画像取得部１０２は、ユーザの視野に相当する視野画像を取得する（Ｓ１００）。次に、手検出部１０４は、画像取得部１０２が取得した視野画像からユーザの手を検出する（Ｓ１０２）。続いて、背景画像生成部１０６は、視野内に入り込んだ手により遮蔽され、ユーザが目視できない背景に相当する背景画像を取得する（Ｓ１０４）。さらに、出力画像生成部１０８は、視野内の手に対して背景画像を重畳して表示させる表示画像を生成する（Ｓ１０６）。
【００４５】
以上の制御により、生成された表示画像がユーザの視野に重畳して表示されるため、本実施形態に係る情報処理装置１は、視野内に入り込んだユーザの手を消去した視野をユーザに視認させることができる。これにより、本実施形態に係る情報処理装置１は、ユーザの視野を確保することができる。
【００４６】
＜２．変形例＞
［２．１．情報処理装置の構成］
次に、図６〜図３１Ｂを参照して、本開示の一実施形態の変形例に係る情報処理装置２について説明する。図６は、本変形例に係る情報処理装置２の内部構成を示したブロック図である。
【００４７】
図６に示すように、本変形例に係る情報処理装置２は、画像取得部１０２と、手検出部１０４と、背景画像生成部１０６と、出力画像生成部１０８とを備え、さらに、視野内解析部１１０と、オブジェクト生成部１１２と、視線検出部１１４と、情報取得部１１６と、知識データベース１１８と、テキスト取得部１２０と、テキスト解析部１２２とを備える。
【００４８】
なお、画像取得部１０２、手検出部１０４、背景画像生成部１０６、および出力画像生成部１０８は、＜１．本開示の一実施形態＞にて上述した構成と実質的に同様の構成であるため、ここでの詳細な説明は省略する。
【００４９】
視野内解析部１１０は、視野内に入り込んだユーザの手により行われるジェスチャ動作がどのオブジェクトに対する操作を指示しているかを解析する。具体的には、視野内解析部１１０は、手検出部１０４が検出したユーザの手がどの方向にどの程度動いたかを時系列で解析し、ユーザが実行するジェスチャ動作を特定する。
【００５０】
また、視野内解析部１１０は、ユーザの手の形状からユーザが指示する地点を特定し、ユーザが指示する対象を特定する。例えば、視野内解析部１１０は、ユーザの手の形状が人差し指のみを伸ばし、他の指を折り曲げた形状である場合、人差し指の先端をユーザが指示する地点であると特定してもよい。また、視野内解析部１１０は、ユーザのジェスチャ動作から、ユーザが実行するオブジェクトに対する操作を特定する。オ例えば、ブジェクトに対する操作とは、タップ操作、ドラッグ操作、フリック操作、ピンチインアウト操作などであり、情報処理装置２は、どのジェスチャ動作がどの操作に対応するのかを予め定めておくことが好ましい。なお、視野内解析部１１０がユーザにより指示される対象を特定するための具体的な方法については、後述する。
【００５１】
オブジェクト生成部１１２は、ユーザの視野に重畳されて表示される各種オブジェクトを生成する。具体的には、オブジェクト生成部１１２は、ユーザが実行するジェスチャ動作に対応してユーザのジェスチャ動作が指示する地点を示すポインタオブジェクトを生成する。また、オブジェクト生成部１１２は、地図、動画、各種情報などのコンテンツを表示するオブジェクトを生成する。
【００５２】
これにより、ユーザは、視野内からジェスチャ動作を実行するユーザの手が消去された場合でも、ジェスチャ動作が指示する地点をポインタオブジェクトにより確認することができる。また、オブジェクト生成部１１２が生成するポインタオブジェクトは、一般的にジェスチャ動作をするユーザの手よりも小さいため、ユーザは、ジェスチャ動作をする手により隠れてしまう操作対象を視認することができる。したがって、オブジェクト生成部１１２は、視野内の対象またはオブジェクトへの操作性を向上させることができる。
【００５３】
なお、視野内の地点を指示するユーザの手は、静止しておらず、細かに揺れている可能性がある。そのため、オブジェクト生成部１１２は、ユーザが指示する地点の変化が閾値以上である場合にのみ、ポインタオブジェクトを追従して移動させ、ユーザが指示する地点の変化が閾値未満である場合、ポインタオブジェクトを移動させないようにしてもよい。これによれば、オブジェクト生成部１１２は、ユーザの手の細かい揺れを吸収し、ユーザが意図的に手を移動させた場合にのみ、ポインタオブジェクトを移動させることができるため、ユーザの操作感を向上させることができる。
【００５４】
また、オブジェクト生成部１１２は、ポインタオブジェクトの画像を実行する機能ごとに変更してもよい。これによれば、オブジェクト生成部１１２は、ジェスチャ動作によって実行される機能を生成するポインタオブジェクトの画像によってユーザに対して示すことができる。
【００５５】
さらに、オブジェクト生成部１１２は、視野内のユーザが指示する地点と、ユーザの視線位置との距離に基づいて、ポインタオブジェクトの生成の可否を制御してもよい。具体的には、オブジェクト生成部１１２は、ジェスチャ動作によりユーザが指示する地点と、ユーザの視線位置とが近い場合にのみ、ポインタオブジェクトを生成してもよい。また、オブジェクト生成部１１２は、ジェスチャ動作によりユーザが指示する地点と、ユーザの視線位置との距離に応じて、ポインタオブジェクトの透過度を変化させてもよい。このようなユーザの視線位置に基づくポインタオブジェクトの具体的な制御は、視線検出部１１４の説明において後述する。
【００５６】
ここで、図７〜９を参照して、オブジェクト生成部１１２が生成するポインタオブジェクトについて、より具体的に説明する。図７は、本変形例において、出力画像生成部１０８が生成する表示画像の一例を示した説明図である。また、図８は、ポインタオブジェクトとしてユーザの手の一部を用いた場合の表示画像を説明する説明図であり、図９は、オブジェクト生成部１１２が機能別にポインタオブジェクトを生成した場合のポインタオブジェクトの例を示した説明図である。
【００５７】
図７に示すように、出力画像生成部１０８は、ユーザの視野２１０内にユーザの手２１２が入り込んでいる場合、背景画像をユーザの手２１２に重畳させる表示画像を生成し、ユーザに対して、手２１２が消去された視野２２０を視認可能にする。また、オブジェクト生成部１１２がユーザの指示する地点を示すポインタオブジェクト２３２を生成している場合、出力画像生成部１０８は、該ポインタオブジェクト２３２を含む表示画像を生成し、ユーザの視野２３０にポインタオブジェクトを表示させる。これにより、ユーザは、視野２３０において、手２１２により指示した地点をポインタオブジェクト２３２にて確認することができる。
【００５８】
また、図８に示すように、ポインタオブジェクトは、ユーザの手の一部（すなわち、指の先端など）であってもよい。具体的には、出力画像生成部１０８は、ユーザの指先２４２以外のユーザの手２１２に背景画像を重畳させ、ユーザの指先２４２を表示した表示画像を生成してもよい。より具体的には、出力画像生成部１０８は、ユーザの手の形状が人差し指のみを伸ばし、他の指を折り曲げた形状である場合、人差し指の先端のみを残し、人差し指の先端以外の領域に対して背景画像を重畳させて表示する表示画像を生成してもよい。
【００５９】
また、上記の方法に替えて、オブジェクト生成部１１２は、ユーザの手の一部（すなわち、指の先端など）の画像を用いてポインタオブジェクトを生成することで、ユーザの手の一部をポインタオブジェクトとして用いてもよい。
【００６０】
この構成によれば、ユーザは、ジェスチャ動作により指示する地点を示すポインタオブジェクトが自身の指先等で表示されるため、自身が操作しているという感覚を高めることができる。これにより、情報処理装置２は、ユーザの操作感を向上させることができる。
【００６１】
また、上述したようにオブジェクト生成部１１２は、ユーザがジェスチャ動作を実行した際に発揮される機能ごとに異なる画像のポインタオブジェクトを生成してもよい。例えば、オブジェクト生成部１１２は、機能ごとに図９に示すようなポインタオブジェクトを生成してもよい。
【００６２】
例えば、図９に示すように、オブジェクト生成部１１２は、ポインタオブジェクトの移動に対しては、矢印形状のポインタオブジェクトを生成してもよい。また、オブジェクト生成部１１２は、ポインタオブジェクトによる対象の選択に対しては、手の形状のポインタオブジェクトを生成してもよい。また、オブジェクト生成部１１２は、ポインタオブジェクトが指示する地点への文字入力に対しては、鉛筆形状のポインタオブジェクトを生成してもよい。また、オブジェクト生成部１１２は、ポインタオブジェクトによる範囲選択に対しては、ハサミ形状のポインタオブジェクトを生成してもよい。また、オブジェクト生成部１１２は、ポインタオブジェクトが指示する対象に関する情報取得に対しては、疑問符を付した虫眼鏡形状のポインタオブジェクトを生成してもよい。さらに、オブジェクト生成部１１２は、ポインタオブジェクトによる拡大または縮小に対しては、プラスまたはマイナスの符号を付した虫眼鏡形状のポインタオブジェクトを生成してもよい。
【００６３】
また、オブジェクト生成部１１２は、ポインタオブジェクトが指示する対象がいずれかの機能を実行され得る対象である場合（例えば、選択可能な対象であったり、テキストの書き込みが可能な対象であったりする場合）、ポインタオブジェクトの画像を自動的に対応する機能を示す画像に変更してもよい。
【００６４】
また、本変形例に係る情報処理装置２において、出力画像生成部１０８は、ユーザの複数の手が視野内に入り込んだ場合でも、同様に、背景画像をそれぞれの手に重畳させた表示画像を生成してもよい。
【００６５】
この構成について、図１０および図１１を参照してより具体的に説明する。図１０は、ユーザの複数の手が視野内に入り込んだ場合に生成される表示画像を示す説明図である。また、図１１は、ジェスチャ動作を実行していない手に対して、コンテンツオブジェクトを重畳させた表示画像を示す説明図である。
【００６６】
図１０に示すように、視野４１０内にユーザの複数の手４１２、４１４が入り込んでいる場合、出力画像生成部１０８は、背景画像生成部１０６が生成した背景画像をユーザの手４１２、４１４の各々に重畳させた表示画像を生成する。ここで、上述したように、背景画像生成部１０６が生成した背景画像は、ユーザの手４１２、４１４の各々の背後に存在し、手４１２、４１４によりユーザが目視できない背景の画像である。これにより、ユーザは、視野４１０では手４１２、４１４により目視できなかった背景を、表示画像が重畳された視野４２０では目視することができる。
【００６７】
さらに、図１１に示すように、視野４１０Ａ内にジェスチャ動作を実行する一方の手４１４と、ジェスチャ動作を実行していない他方の手４１２とが入り込んだ場合、出力画像生成部１０８は、他方の手４１２に対してコンテンツオブジェクト４３０を重畳させた表示画像を生成してもよい。すなわち、ユーザが視認する視野４２０Ａでは、視野４１０Ａに入り込んだユーザの手４１２、４１４が消去され、かつ一方の手４１４の替わりにポインタオブジェクト４３６が表示され、かつ他方の手４１２の替わりにコンテンツオブジェクト４３０が表示されることになる。
【００６８】
この構成によれば、ユーザは、コンテンツオブジェクト４３０がジェスチャ動作を実行しない他方の手４１２に重畳されて表示されるため、より直感的にコンテンツオブジェクト４３０の表示の位置および表示の有無を操作することができる。なお、他方の手４１２に重畳されて表示されるコンテンツオブジェクト４３０は、ユーザが任意に選択および設定できることが好ましい。
【００６９】
また、他方の手４１２に重畳されて表示されたコンテンツオブジェクト４３０は、ユーザのピン止めなどのジェスチャ動作等により、視野内における表示位置が固定されてもよい。これによれば、コンテンツオブジェクト４３０を視認するために、他方の手４１２をユーザの視野内に入り込ませ続ける必要がなくなるため、ユーザの操作性が向上する。
【００７０】
ここで、図６に戻って本変形例に係る情報処理装置２の各構成について説明を続ける。
【００７１】
視線検出部１１４は、ユーザの視線位置を検出する。例えば、視線検出部１１４は、ユーザの眼球の画像からユーザの視線の方向を検出し、ユーザが視野内のどの位置を注視しているかを検出する。上記では、ユーザが注視している視野内の位置をユーザの視線位置と表現した。なお、視線検出部１１４がユーザの視線位置を検出する方法は、公知の技術を用いることができるが、例えば、ユーザの眼球の画像から眼球の角膜反射像（プルキンエ像）および瞳孔重心を検出することでユーザの視線方向および視線位置を検出することができる。
【００７２】
ここで、図１２を参照して、ユーザの視線位置に基づくポインタオブジェクトの画像の具体的な制御について説明する。図１２は、ユーザの視線位置と、ユーザの手により指示される地点との距離に基づいたポインタオブジェクトの画像の制御を説明する説明図である。
【００７３】
図１２に示すように、ユーザの手により指示される地点（ポインタオブジェクト２５２Ａ、２５２Ｂ、２５２Ｃ）の周囲には、第１領域２６０が設定され、第１領域の外側の周囲には、さらに第２領域２６２が設定される。なお、図１０では、第１領域２６０および第２領域２６２の形状は、四角形状としたが、本開示はかかる例示に限定されない。例えば、第１領域２６０および第２領域２６２の形状および大きさは、任意に設定することが可能であり、例えば、円形状、楕円形状、または多角形状であってもよい。また、第１領域２６０および第２領域２６２の形状は、ユーザが自由に設定してもよい。
【００７４】
まず、表示画像２５０Ａにて示すように、ユーザの視線位置２７０が第１領域２６０の内側である場合、オブジェクト生成部１１２は、ポインタオブジェクト２５２Ａを生成する。これは、ユーザの視線位置２７０が、ユーザの手により指示される地点（ポインタオブジェクト２５２Ａ）に近い場合、ユーザが指示している地点に注意を向けている可能性が高いためである。したがって、このような場合、オブジェクト生成部１１２は、ポインタオブジェクト２５２Ａを生成することで、ユーザに自身のジェスチャ動作をポインタオブジェクト２５２Ａにて視認させることができる。
【００７５】
また、表示画像２５０Ｂにて示すように、ユーザの視線位置２７０が第２領域２６２の内側かつ第１領域２６０の外側である場合、オブジェクト生成部１１２は、ポインタオブジェクト２５２Ｂの透過度を変化させてもよい。具体的には、オブジェクト生成部１１２は、ユーザの視線位置２７０と、ユーザの手により指示される地点（ポインタオブジェクト２５２Ｂ）との距離が離れているほど、ポインタオブジェクト２５２Ｂの透過度を高くしてもよい。すなわち、オブジェクト生成部１１２は、視線位置と、ユーザの手により指示される地点（ポインタオブジェクト２５２Ｂ）との距離が近くなるほど、ポインタオブジェクト２５２Ｂの透過度を低くする。これによれば、オブジェクト生成部１１２は、透過度の変化により、ユーザに対して、ポインタオブジェクト２５２Ｂの位置を知らせることができる。
【００７６】
さらに、表示画像２５０Ｃにて示すように、ユーザの視線位置２７０が第２領域２６２の外側である場合、オブジェクト生成部１１２は、ポインタオブジェクト２５２Ｃを生成せず、表示画像においてポインタオブジェクト２５２Ａが表示されないようにしてもよい。これは、ユーザの視線位置２７０が、ユーザの手により指示される地点（ポインタオブジェクト２５２Ｃ）から離れている場合、ユーザが指示している地点に注意を向けていない可能性が高いためである。したがって、このような場合、オブジェクト生成部１１２は、ポインタオブジェクト２５２Ｃを生成しないことにより、消費電力を削減することができる。
【００７７】
ここで、図６に戻って本変形例に係る情報処理装置２の各構成について説明を続ける。
【００７８】
情報取得部１１６は、視野内解析部１１０により特定された対象に関する情報を知識データベース１１８から取得する。また、知識データベース１１８は、一般知識に関する情報およびユーザに関する情報などの各種情報をグラフ構造化して記憶したデータベースである。
【００７９】
本変形例に係る情報処理装置２では、情報取得部１１６は、ユーザのジェスチャ動作に基づいて特定された対象に関する各種情報を知識データベース１１８から取得する。また、情報取得部１１６により取得された各種情報は、オブジェクト生成部１１２により情報オブジェクトとして生成され、表示画像中に表示される。これにより、ユーザは、ジェスチャ動作により指示した対象に関する詳細な情報を簡便に取得し、視認することができる。
【００８０】
以下では、図１３〜図１６Ｂを参照して、本変形例に係る情報処理装置２において、視野内解析部１１０が、ユーザのジェスチャ動作に基づいて、ユーザが指示する対象を特定する方法について説明する。また、図１７〜図２２を参照して、情報取得部１１６が知識データベース１１８から情報を取得する方法および出力画像生成部１０８が生成する表示画像の具体例について説明する。
【００８１】
まず、図１３〜図１６Ｂを参照して、視野内解析部１１０がユーザ３のジェスチャ動作に基づいて対象を特定する第１〜第３の方法について説明する。図１３は、視野内解析部１１０がユーザ３のジェスチャ動作に基づいて対象を特定する第１の方法を説明する説明図であり、図１４は、視野内解析部１１０がユーザ３のジェスチャ動作に基づいて対象を特定する第２の方法を説明する説明図である。また、図１５〜図１６Ｂは、視野内解析部１１０がユーザ３のジェスチャ動作に基づいて対象を特定する第３の方法を説明する説明図である。
【００８２】
図１３に示すように、第１の方法とは、ユーザ３の視野内に含まれるタグ５０２により、ユーザ３が指示する対象を特定する方法である。例えば、映像等において、対象５０６に対応するタグ５０２が併せて表示され、ユーザ３が表示されたタグ５０２をジェスチャ動作にて選択した場合、視野内解析部１１０は、選択されたタグ５０２に対応する対象５０６をユーザ３が指示する対象として特定してもよい。なお、タグ５０２とは、例えば、ＱＲコード（登録商標）、バーコード、識別ＩＤなどである。
【００８３】
また、図１４に示すように、第２の方法とは、選択範囲５０４に含まれる対象５０６を画像の特徴量などから識別することで、ユーザ３が指示する対象を特定する方法である。このような場合、視野内解析部１１０は、例えば、様々な物品、人物、ランドマークなどの画像の特徴量をあらかじめ機械学習によって記憶しておくことで、ユーザ３が指示した選択範囲５０４に含まれる対象５０６を識別可能にしておくことが好ましい。
【００８４】
また、図１５および図１６Ａに示すように、第３の方法とは、ユーザ３がジェスチャ動作により指示した方向情報と、ユーザ３の位置情報とから対象５０６の位置情報を算出し、ユーザ３が指示する対象を特定する方法である。
【００８５】
具体的には、図１５に示すように、まず、視野内解析部１１０は、視野内においてユーザ３により操作されるポインタオブジェクト５０８が位置する方向（すなわち、ジェスチャ動作が指示する方向）情報を取得する。次に、視野内解析部１１０は、ユーザ３の位置情報を取得する。ユーザ３の位置情報は、公知の方法により取得することができるが、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）センサによる位置測位、Ｗｉ−Ｆｉ（登録商標）アクセスポイントまたは基地局などからの情報を用いた位置測位により取得することができる。
【００８６】
続いて、図１６Ａに示すように、ユーザ３の位置、およびポインタオブジェクト５０８が位置する方向を地図上にマッピングすることにより、視野内解析部１１０は、ユーザ３が指示する対象５０６がユーザ３を起点とする所定の方向上に存在することを特定することができる。さらに、視野内解析部１１０は、ユーザ３の位置を起点としてポインタオブジェクト５０８が位置する方向に探索範囲５１２を設定し、ユーザ３が指示する対象５０６となりうる対象を探索範囲５１２内にて探索する。これにより、視野内解析部１１０は、ユーザ３が指示する対象を特定することができる。
【００８７】
ここで、探索範囲５１２は、図１６Ａに示すように、ユーザ３を起点としてポインタオブジェクト５０８が位置する方向に向いた指示方向ベクトルから所定の探索半径の円として設定されてもよい。なお、探索半径は、任意に設定することが可能であるが、例えば、以下の方法によって設定することができる。
【００８８】
例えば、ジェスチャ操作の位置誤差を±０．１ｍとし、理想的なジェスチャ操作の位置と情報処理装置２との距離を０．３ｍとした場合、指示方向ベクトルと、対象５０６との最大誤差角は１８．４°になる。したがって、１８．４°の最大誤差角をカバーするように探索範囲を設定するためには、情報処理装置２と探索範囲中心との距離が３０ｍである場合、探索半径は１０ｍに設定することができる。
【００８９】
また、探索範囲５１２が設定される領域は、ユーザ３から例えば、５０メートルまでの領域に限定されてもよい。これは、ユーザ３から離れた対象は、ユーザにとって小さく見えるため、ユーザ３が視認している可能性が低く、また、ユーザ３が指示している可能性も低いためである。
【００９０】
また、図１６Ｂに示すように、探索範囲５１２は、ユーザ３から離れるにつれて大きくなってもよい。これは、ユーザ３から離れた対象５０６は、ユーザにとって小さく見えるため、ユーザ３が対象５０６を正確にジェスチャ動作で指示している可能性が低くなると考えられるためである。例えば、図１６Ｂでは、探索範囲５１２は、ユーザ３を起点としてポインタオブジェクト５０８が位置する方向に向いた扇形の領域となる。この構成によれば、視野内解析部１１０は、より確実に、ユーザ３が指示する対象５０６を含む探索範囲５１２を設定することができる。なお、探索範囲５１２がユーザ３から離れた場合の大きさの変化率は、任意に設定可能であるが、例えば、線形増加としてもよく、指数関数的な増加としてもよい。
【００９１】
ここで、探索範囲５１２内にユーザ３が指示する対象５０６となり得る対象が複数存在する場合、視野内解析部１１０は、ユーザ３を起点としてポインタオブジェクト５０８が位置する方向に向いた指示方向ベクトルとの距離が最も小さいものをユーザ３が指示する対象５０６と特定してもよい。また、視野内解析部１１０は、ユーザ３が指示する対象５０６となり得る対象をすべて列挙し、ユーザ３に列挙した中から指示する対象５０６を選択させてもよい。
【００９２】
なお、ユーザ３の位置情報、およびポインタオブジェクト５０８が位置する方向情報の精度が高い場合、ユーザ３を起点とする指示方向ベクトルとの距離が最も小さいものをユーザ３が指示する対象５０６とすることが好ましい。また、ユーザ３の位置情報、およびポインタオブジェクト５０８が位置する方向情報の精度が低い場合は、ユーザ３が指示する対象５０６となり得る対象をすべて列挙し、ユーザ３に列挙した中から指示する対象５０６を選択させることが好ましい。
【００９３】
なお、視線検出部１１４によりユーザ３の視線位置が検出されている場合、視野内解析部１１０は、ユーザ３の視線方向に関する情報を取得することができる。そのため、視野内解析部１１０は、ポインタオブジェクト５０８が位置する方向に関する情報と、ユーザ３の視線方向に関する情報とを組み合わせることにより、探索範囲５１２を設定する方向の精度を向上させることも可能である。また、ユーザ３の視線方向と、ポインタオブジェクト５０８が位置する方向とが大きく異なる場合、情報処理装置２は、ユーザ３に対して、指示する対象５０６の方向を注視するようフィードバックしてもよい。
【００９４】
次に、図１７〜図２２を参照して、情報取得部１１６が特定した対象に関する情報を知識データベース１１８から取得する方法、および特定した対象に対して取得された情報を付与する具体例について説明する。
【００９５】
まず、図１７および図１８を参照して、タグ付けされた対象へ情報を付与する具体例について説明する。図１７は、「富士山」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図であり、図１８は、「富士山」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【００９６】
ここで、グラフ構造とは、各情報をノードとして、情報同士の関連性をリレーションとして表現したものである。グラフ構造の基本構造は、「ｓｕｂｊｅｃｔ−ｐｒｅｄｉｃａｔｅ−ｏｂｊｅｃｔ」の３つ組であり、このとき、ノードは、「ｓｕｂｊｅｃｔ，ｏｂｊｅｃｔ」であり、リレーションは、「ｐｒｅｄｉｃａｔｅ」である。
【００９７】
図１７に示すように、例えば、「富士山−標高−３，７７６ｍ」という３つ組において、ノードは、「富士山、３，７７６ｍ」であり、リレーションは、「標高」である。このような３つ組を繋げていくことにより、情報が樹形図状につながったグラフ構造を作成することができる。なお、このようなグラフ構造には、大量のノードがぶら下がる中心となるノードが存在し、このようなノードは抽象ノードと定義される。図１７では、抽象ノードに対して、「名前」、「標高」、「住所」、「カテゴリ」などのリレーションを持つノードがつながっている。
【００９８】
ここで、図１８に示すように、ユーザ３が対象５０６として「富士山」を視認し、「富士山」に関する情報を得るために、付与されたタグ５０２に対してポインタオブジェクト５０８を合わせて情報取得機能を実行したとする。このような場合、視野内解析部１１０は、タグ５０２のタグＩＤ「１２３４」を特定し、タグ５０２に該当する抽象ノードを特定する。次に、情報取得部１１６は、抽象ノードを介してグラフ構造をたどり、「富士山」の詳細情報を取得する。なお、情報取得部１１６が取得する詳細情報の種類および数は、任意に設定することが可能であるが、例えば、図１７では、「タグＩＤ」、「コンテンツ幅」、「コンテンツ高さ」、「名前」、「標高」、「住所」、「カテゴリ」などの項目に対する詳細情報を取得している。
【００９９】
また、情報取得部１１６は、グラフ構造をたどって得られた「富士山」の詳細情報をオブジェクト生成部１１２に出力する。オブジェクト生成部１１２は、情報取得部１１６が取得した詳細情報に基づいて、「富士山」に関する情報を示す情報オブジェクト５１４を生成する。これにより、出力画像生成部１０８は、対象５０６と関連付けた配置にて情報オブジェクト５１４を表示する表示画像を生成することができる。
【０１００】
次に、図１９および図２０を参照して、画像認識により識別した対象へ情報を付与する具体例について説明する。図１９は、「淳也」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図であり、図２０は、「淳也」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【０１０１】
図１９に示すように、例えば、「淳也」という「名前」の抽象ノードには、「正年」という「名前」の抽象ノードが「父」というリレーションでつながっている。また、「淳也」という「名前」の抽象ノードには、「和子」という「名前」の抽象ノードが「母」というリレーションでつながっている。このように抽象ノード同士が互いに関連性を有している場合、抽象ノード同士がつながるグラフ構造も取り得る。
【０１０２】
また、「淳也」という「名前」の抽象ノードには、「スケジュール」のリレーションで「リスト」のノードがつながっている。このように、情報取得部１１６は、一般知識などの情報だけでなく、情報のグラフ構造をたどることによって情報処理装置２に格納させているユーザのプライバシー情報、およびスケジュール情報なども取得してもよい。
【０１０３】
ここで、図２０に示すように、ユーザ３が対象５０６として人物を視認し、視認した人物に関する情報を得るために、人物に対してポインタオブジェクト５０８を合わせて情報取得機能を実行したとする。このような場合、視野内解析部１１０は、画像解析により特徴量を算出し、画像に含まれる人物を識別することで、ユーザ３が情報取得機能を実行した人物に該当する抽象ノードを特定する。次に、情報取得部１１６は、抽象ノードを介してグラフ構造をたどり、ユーザ３が情報取得機能を実行した人物（すなわち、「名前」が「淳也」である人物）の詳細情報を取得する。例えば、図１９では、「特徴量」、「名前」、「年齢」、「イベント」、「父」、「母」などの項目に対する詳細情報を取得している。
【０１０４】
また、情報取得部１１６は、グラフ構造をたどって得られた人物「淳也」の詳細情報をオブジェクト生成部１１２に出力する。オブジェクト生成部１１２は、情報取得部１１６が取得した詳細情報に基づいて、人物「淳也」に関する情報を示す情報オブジェクト５１４を生成する。これにより、出力画像生成部１０８は、対象５０６と関連付けた配置にて情報オブジェクト５１４を表示する表示画像を生成することができる。
【０１０５】
続いて、図２１および図２２を参照して、位置情報から識別した対象へ情報を付与する具体例について説明する。図２１は、「ＸＹＺコンビニ」という「名前」の対象に対する情報のグラフ構造の一部を示す説明図であり、図２２は、「ＸＹＺコンビニ」という「名前」の対象に対して情報を付与した表示画像を説明する説明図である。
【０１０６】
図２１に示すように、例えば、「ＸＹＺコンビニ」という「名前」の抽象ノードには、「商品リスト」のリレーションで「リストＡ」のノードがつながっている。ユーザ３からのテキスト入力等により、「ＸＹＺコンビニ」における「商品リスト」に関する情報を取得する旨が示された場合、情報取得部１１６は、ユーザからのテキスト入力等に基づいて、グラフ構造をたどる方向および深さを制御してもよい。
【０１０７】
ここで、図２２に示すように、ユーザ３が対象５０６としてコンビニエンスストアを視認し、視認したコンビニエンスストアに関する情報を得るために、コンビニエンスストアに対してポインタオブジェクト５０８を合わせて情報取得機能を実行したとする。このような場合、視野内解析部１１０は、ユーザ３の位置情報、およびポインタオブジェクト５０８が位置する方向情報に基づいて、対象５０６であるコンビニエンスストアの位置情報を特定し、対象５０６であるコンビニエンスストアに該当する抽象ノードを特定する。次に、情報取得部１１６は、抽象ノードを介してグラフ構造をたどり、ユーザ３が情報取得機能を実行したコンビニエンスストアの詳細情報を取得する。
【０１０８】
続いて、情報取得部１１６は、グラフ構造をたどって得られたコンビニエンスストアの詳細情報をオブジェクト生成部１１２に出力する。オブジェクト生成部１１２は、情報取得部１１６が取得した詳細情報に基づいて、ユーザ３が情報取得機能を実行したコンビニエンスストアに関する情報を示す情報オブジェクトを生成する。これにより、出力画像生成部１０８は、対象５０６と関連付けた配置にて情報オブジェクト５１４を表示する表示画像を生成することができる。
【０１０９】
また、ユーザ３が、情報取得機能を実行した際に、例えば、「ペペロンチーノ、あるかな？」という音声入力４を行った場合、情報取得部１１６は、該音声入力４に基づいて、「名前」に「ペペロンチーノ」が含まれる抽象ノードの詳細情報を取得してもよい。このような場合、情報取得部１１６は、グラフ構造をたどって得られた「名前」に「ペペロンチーノ」が含まれる抽象ノードの詳細情報をオブジェクト生成部１１２に出力する。オブジェクト生成部１１２は、情報取得部１１６が取得した詳細情報に基づいて、ユーザ３の音声入力４に応じた「ペペロンチーノ」に関する情報オブジェクト５１４Ａを生成し、出力画像生成部１０８は、該情報オブジェクト５１４Ａを表示する表示画像を生成する。
【０１１０】
さらに、オブジェクト生成部１１２は、情報オブジェクト５１４Ａ中により詳細な情報にアクセスするためのリンクを生成してもよい。具体的には、図２２では、情報オブジェクト５１４Ａ中の「詳細はクリック」という語句が、より詳細な情報にアクセスするためのリンクに相当する。このようなリンクをユーザ３が選択した場合、オブジェクト生成部１１２は、より詳細な情報を含む情報オブジェクト５１４Ｂを生成し、出力画像生成部１０８は、該情報オブジェクト５１４Ｂを表示する表示画像を生成し、表示させる。この構成によれば、ユーザ３は、情報取得機能の実行と併せて、テキスト入力や追加のオブジェクト操作を実行することにより、より自身の目的に沿った情報を取得することができる。
【０１１１】
なお、上記では、情報処理装置２は、ユーザ３が対象５０６を指示し、情報取得機能を実行した際に情報オブジェクト５１４の生成および表示を実行したが、本開示に係る技術は上記例示に限定されない。例えば、情報処理装置２は、ユーザ３が情報取得機能を別途実行しなくとも、ユーザ３がジェスチャ動作によりポインタオブジェクトを対象５０６に重ねた際に、上述した情報オブジェクト５１４の生成および表示を実行してもよい。また、情報処理装置２は、ユーザ３が情報取得機能を実行した際に、ユーザ３の視野内に存在する全ての対象５０６について、上述した情報オブジェクト５１４の生成および表示を実行してもよい。
【０１１２】
また、知識データベース１１８に記憶される情報には、公開可否情報が設定されていてもよい。例えば、人物に関する詳細情報には、個人のプライバシーに関する情報が含まれる。そのため、誰でも他人の詳細情報を取得可能である場合、個人のプライバシーを侵害する可能性が考えられる。そこで、上述したグラフ構造において、例えば、人物に該当する抽象ノードに対して、公開可否情報として、リレーションを「公開設定」とする「公開範囲レベル」のノード（抽象ノード−公開設定−公開範囲レベル）を設定し、詳細情報の公開範囲を設定することが好ましい。
【０１１３】
上記のように、人物に該当する抽象ノードに対して、リレーションを「公開設定」とする「公開範囲レベル」のノードを設定した場合、該抽象ノードにつながる全ての詳細情報に対して、「公開範囲レベル」に対応した公開可否情報が設定されることになる。このような場合、公開可否情報が設定された人物の詳細情報は、「公開範囲レベル」によって規定されたユーザしか取得できなくなる。
【０１１４】
また、一部の詳細情報のみに公開可否情報を設定したい場合、例えば、一部の詳細情報のノードに対して、リレーションを「公開設定」とする「公開範囲レベル」のノードを設定することも可能である。このような場合、公開可否情報を設定した一部の詳細情報のみ「公開範囲レベル」によって規定されたユーザしか取得できなくなる。
【０１１５】
ここで、公開範囲レベルの例示を図２３に示す。図２３は、詳細情報の公開範囲レベルの具体例を示す説明図である。図２３に示すように、公開範囲レベルは、例えば、１が最も公開範囲が広く、４が最も公開範囲が狭い１〜４の４段階としてもよい。このような設定において、上位の設定は、下位の設定を包含するため、例えば、「公開範囲レベル２」に設定した詳細情報は、「公開範囲レベル２」に含まれるユーザだけでなく、「公開範囲レベル３」および「公開範囲レベル４」に含まれるユーザも取得し、参照することが可能である。なお、公開範囲レベルを「指定」に設定した詳細情報は、指定したユーザのみが取得し、参照することが可能となる。
【０１１６】
このような詳細情報に対する公開範囲レベル等の公開可否情報の設定は、各ユーザが自身の詳細情報に対して、各自設定することが好ましい。また、各ユーザは、自身の家などの所有物の詳細情報に対して、公開可否情報を設定してもよい。
【０１１７】
ここで、図６に戻って本変形例に係る情報処理装置２の各構成について説明を続ける。
【０１１８】
テキスト取得部１２０は、ユーザによって入力されたテキスト情報を取得する。具体的には、テキスト取得部１２０は、ユーザによって仮想キーボード等にて入力されたテキスト情報、およびユーザの音声を音声認識したテキスト情報を取得する。
【０１１９】
なお、テキスト取得部１２０がユーザの音声を音声認識することでテキスト情報を取得する場合、テキスト取得部１２０は、音声認識処理を実行する前に、取得したユーザの音声に対してノイズ除去、信号増幅などの音声処理を前処理として施してもよい。
【０１２０】
また、ユーザが動画等のタイムラインがあるコンテンツを視聴している場合、ユーザがコンテンツを見てから音声を発するまでにタイムラグが生じる可能性がある。そのため、テキスト取得部１２０は、ユーザの音声からテキスト情報を取得する場合、遅延時間を設定し、遅延時間分テキスト情報の取得のタイミングが早かったものとみなしてもよい。なお、遅延時間は、あらかじめ静的に設定された時間であってもよく、ユーザの年齢および性別等のユーザプロファイル情報に基づいて動的に設定された時間であってもよい。
【０１２１】
テキスト解析部１２２は、テキスト取得部１２０が取得したテキスト情報の意味解析を行い、知識データベース１１８からテキスト情報に対する応答情報を取得する。具体的には、テキスト解析部１２２は、表記ゆれに対応するために、テキスト取得部１２０が取得したテキスト情報を圧縮表記に変換する。また、テキスト解析部１２２は、圧縮表記に変換したテキスト情報を用いて、知識データベース１１８を探索し、テキスト情報に含まれる質問等への応答情報を取得する。
【０１２２】
より詳細には、テキスト解析部１２２は、ユーザが入力したテキスト情報の記号の有無、ひらがなおよびカタカナの違い、漢字の違い、半角および全角の違い等を吸収するために、テキスト情報を統一変換ルールで変換する。ここで、統一変換ルールで変換された文字列を圧縮表記と定義する。なお、表記を一致させ、探索をより容易にするためには、知識データベース１１８に記憶される情報も同様に、統一変換ルールにて圧縮表記に変換されて記憶されていることが好ましい。統一変換ルールの具体例としては、例えば、括弧、記号およびスペースの削除、半角カナの全角カナへの変換、全角数字および全角英字の半角数字および半角英字への変換などが挙げられる。
【０１２３】
また、テキスト解析部１２２は、テキスト情報に含まれる情報の正確さが低い可能性（例えば、誤字、言い間違い、スペルミスなどが含まれる可能性）、知識データベース１１８に含まれる情報の有限性（例えば、知識データベース１１８にすべての情報が含まれているわけではないこと）等を考慮し、テキスト情報の文字列を動的に変化させ、探索に用いる文字列を増やして探索を行ってもよい。なお、テキスト解析部１２２が実行する探索は、情報処理量が膨大になる可能性があるため、テキスト解析部１２２は、探索にて取得した応答情報の数が所定数に達した段階で探索を終了させてもよい。
【０１２４】
さらに、テキスト解析部１２２は、探索にて取得した情報のスコア値を取得し、スコア値の高い情報を応答情報としてオブジェクト生成部１１２に出力することができる。
【０１２５】
以下では、テキスト解析部１２２による知識データベース１１８の探索について、より具体的に説明する。
【０１２６】
まず、テキスト解析部１２２は、テキスト情報の文字列を動的に変化させて、探索に用いる探索表記の候補を生成し、リスト化することで探索表記リストを生成する。次に、テキスト解析部１２２は、テキスト情報に含まれる言語等に基づいて、知識データベース１１８内において探索するデータベースを選択し、探索データベースリストを生成する。また、テキスト解析部１２２は、テキスト情報に含まれる語句から人、地名、および音楽などのドメインまたはジャンル等を判定可能な意味属性を取得する。
【０１２７】
続いて、テキスト解析部１２２は、テキスト情報の言語、探索表記リスト、探索データベースリスト、および意味属性に基づいてデータベースを探索し、抽出ノードを決定する。次に、テキスト解析部１２２は、抽出ノードから同値関係子（リレーション）をたどることで、主ノード（例えば、抽象ノード）を抽出し、当該主ノードのスコア値を取得する。
【０１２８】
また、テキスト解析部１２２は、各データベースの主ノードから同値関係子をたどることにより、関連ノードを抽出する。なお、関連ノードは、例えば、主ノードの略称表記、読み仮名表記、および別名表記などに相当する。次に、テキスト解析部１２２は、各データベースの主ノード同士の間、および主ノードと関連ノードとの間でリンクを生成し、データベース間を接続する。
【０１２９】
続いて、テキスト解析部１２２は、設定されているヒエラルキー順に各データベースをリンクさせ、統合グラフ構造を作成する。このとき、テキスト解析部１２２は、ヒエラルキーが最も高いデータベースにおける主ノードをエンティティとし、各データベースの主ノードのスコア値のうち、最も値が高いものをエンティティのスコア値とする。
【０１３０】
さらに、テキスト解析部１２２は、上述したエンティティを所定量生成し、各エンティティをソートして最もスコアの高いエンティティをオブジェクト生成部１１２に出力する。
【０１３１】
このような動作により、テキスト解析部１２２は、ユーザによって入力されたテキスト情報に含まれる質問等への応答として適切な情報を取得することができる。テキスト解析部１２２が取得した応答情報は、オブジェクト生成部１１２にて情報オブジェクトに生成され、出力画像生成部１０８が生成する表示画像中に表示される。
【０１３２】
以上の構成により、本変形例に係る情報処理装置２は、ユーザに対して、ジェスチャ動作による直感的なオブジェクト操作を可能にしつつ、かつユーザの視野を確保することができる。
【０１３３】
［２．２．情報処理装置の制御］
続いて、図２４を参照して、上述した本変形例に係る情報処理装置２の制御例について説明する。図２４は、本変形例に係る情報処理装置２の各構成の制御例を説明する流れ図である。
【０１３４】
図２４に示すように、まず、撮像装置等からの入力（Ｓ２００）により、画像取得部１０２は、ユーザの視野に相当する視野画像を取得する（Ｓ２０２）。次に、手検出部１０４は、視野画像からユーザの手を検出し（Ｓ２０４）、視野内解析部１１０は、ユーザの手が指示する対象を特定する（Ｓ２１２）。このとき、必要であれば、情報取得部１１６は、ユーザの手が指示する対象に関する情報を知識データベース１１８から取得し、視野内解析部１１０に出力してもよい。続いて、オブジェクト生成部１１２は、視野内解析部１１０の解析に基づいて、ユーザの手が指示する対象を指示するポインタオブジェクトを生成する（Ｓ２１４）。
【０１３５】
また、背景画像生成部１０６は、手検出部１０４が検出したユーザの手によりユーザが目視できない背景画像を生成し（Ｓ２０６）、出力画像生成部１０８は、生成された背景画像をユーザの視野において手が占める領域に重畳させた表示画像を生成する（Ｓ２０８）。
【０１３６】
一方、ユーザによりテキスト入力（Ｓ２００）が行われた場合、テキスト取得部１２０は、入力されたテキストを取得する（Ｓ２２６）。また、ユーザにより音声による入力（Ｓ２００）が行われた場合、テキスト取得部１２０は、音声を取得し（Ｓ２２０）、前処理を施した後（Ｓ２２２）、音声認識を行う（Ｓ２２４）。これにより、テキスト取得部１２０は、入力されたテキスト情報を取得することができる（Ｓ２２８）。続いて、テキスト解析部１２２は、知識データベース１１８を用いて、入力されたテキスト情報を解析する（Ｓ２３０）。また、テキスト解析部１２２は、テキスト情報に対する応答内容を生成し、オブジェクト生成部１１２は、生成された応答内容に基づいて、情報オブジェクトを生成する（Ｓ２３２）。
【０１３７】
さらに、出力画像生成部１０８は、ユーザの手が消去された表示画像に対して、生成されたポインタオブジェクト、および情報オブジェクトを重畳し、ユーザに視認させる表示画像を生成し（Ｓ２１６）、表示装置に出力する（Ｓ２１８）。
【０１３８】
本変形例に係る情報処理装置２は、以上の流れにて各構成を制御することにより、ユーザに対して、ジェスチャ動作による直感的なオブジェクト操作を可能にしつつ、かつ視野を確保することができる。
【０１３９】
［２．３．情報処理装置による表示例］
以下では、図２５〜図３１Ｂを参照して、本変形例に係る情報処理装置２を用いることでユーザ３が視認可能な視野について説明する。図２５〜図３１Ｂは、本変形例に係る情報処理装置２を用いることでユーザ３が視認可能な視野を説明する説明図である。
【０１４０】
図２５に示すように、ユーザ３が手３０２によるジェスチャ動作にて視野３００内の対象を指示した場合、情報処理装置２は、手３０２が存在する領域に背景画像を重畳し、かつ手によって指示される地点にポインタオブジェクト３０４を表示した表示画像を生成する。これにより、ユーザ３が視認する視野３１０には、ユーザ３の手３０２が入り込まず、替わりにポインタオブジェクト３０４が表示される。そのため、ユーザは、視野３００内に手３０２が入り込んだ場合でも、視野を確保することができる。
【０１４１】
また、ユーザ３は、ジェスチャ動作により視野内の対象およびオブジェクトに対して、各種操作を行うことも可能である。例えば、図２６Ａに示すように、ユーザ３は、各種操作を選択可能なメニューオブジェクト３０６から、ポインタオブジェクト３０４Ａにより実行する操作を選択することで、各種操作を実行することができる。このとき、選択した操作に対応してポインタオブジェクト３０４Ｂの画像は、変更されてもよい。例えば、図２６Ａでは、ポインタオブジェクト３０４Ｂは、テキスト入力機能を実行することを示す鉛筆の画像に変更されている。
【０１４２】
なお、ユーザ３のジェスチャ動作により実行される各種操作の選択は、図２６Ｂに示すように、ユーザ３からの音声４による入力により行われてもよい。例えば、情報処理装置２は、ユーザ３からの「文字入力」という音声４により、ポインタオブジェクト３０４Ｂをテキスト入力機能が実行可能なことを示す鉛筆の画像に変更してもよい。
【０１４３】
また、ユーザ３のジェスチャ動作に実行される各種操作は、図２６Ｃに示すように、ユーザ３の手の形状によって切り替えられてもよい。例えば、情報処理装置２は、ユーザ３が指一本伸ばした形の手３０２Ａでジェスチャ動作した場合、対象の選択機能を実行し、ユーザ３が指二本伸ばした形の手３０２Ｂでジェスチャ動作した場合、テキスト入力機能を実行し、ユーザ３が指三本伸ばした形の手３０２Ｃでジェスチャ動作した場合、範囲選択機能を実行するように各種操作を切り換えてもよい。
【０１４４】
また、上述したように、ジェスチャ動作により実行される機能に合わせて、ポインタオブジェクトの画像は変更されてもよい。例えば、図２６Ｃに示すように、ポインタオブジェクトは、対象の選択機能が実行可能なことを示す手の画像３０４Ａに変更されてもよく、テキスト入力機能が実行可能なことを示す鉛筆３０４Ｂの画像に変更されてもよく、範囲選択機能が実行可能なことを示すハサミ３０４Ｃの画像に変更されてもよい。
【０１４５】
ここで、図２７Ａに示すように、ユーザ３がテキスト入力機能を用いてテキストを情報オブジェクトとして表示画像に加える場合、入力されたテキストは、ポインタオブジェクト３０４Ｂの位置を始点とする横書きの形式で表示画像に加えられてもよい。例えば、図２７Ａでは、ユーザ３からの音声４による入力にて、「富士山きれい」という情報オブジェクト３０６が表示画像に加えられている。
【０１４６】
また、入力されたテキストを含む情報オブジェクト３０６の表示形式は、図２７Ａで示した横書き表示に限定されない。例えば、図２７Ｂに示すように、ポインタオブジェクト３０４Ｂを用いたドラッグ操作が行われた場合、該ドラッグ操作が行われた領域に対して音声４の入力による「富士山きれい」という情報オブジェクト３０６が表示されてもよい。このような場合、情報オブジェクト３０６は、ユーザ３が指定する向きで表示画像に加えられることになる。
【０１４７】
なお、上記では、ユーザ３によるテキスト入力の方法として音声による入力方法を例示したが、テキスト入力は他の方法にて行われてもよい。例えば、図２７Ｃに示すように、情報処理装置２は、フリック入力可能な仮想キーボード３０８をユーザ３の視野内に表示させ、ユーザ３に仮想キーボード３０８によるテキスト入力を行わせてもよい。また、情報処理装置２は、クロス型の仮想キーボード３１０をユーザ３の視野内に表示させ、ユーザ３に仮想キーボード３１０によるテキスト入力を行わせてもよい。
【０１４８】
また、図２８に示すように、ユーザ３は、ジェスチャ動作により、視野内の範囲を指定し、指定した範囲内の対象に対して、各種操作を行うことも可能である。例えば、図２８では、ユーザ３の視野内に捉えた人物の顔を囲むようにポインタオブジェクト３０４Ｃによる範囲選択が行われている。なお、ポインタオブジェクト３０４Ｃによる範囲選択は、始点と終点とが一致した閉曲線によってなされていてもよく、始点と終点とが一致しない開曲線によってなされていてもよい。開曲線によって範囲選択がされている場合、情報処理装置２は、ユーザ３が指定した開曲線を始点と終点とを結び、閉曲線に変換することで、ユーザ３が指定した範囲を特定することができる。
【０１４９】
図２９Ａに示すように、範囲選択機能により指定した曲線３１２Ａにて指定される範囲に対して、例えば、ユーザ３は、視認している画像の保存機能を実行することができる。また、図２９Ａでは、ユーザ３は、画像保存機能を実行することを音声４によって情報処理装置２に指示することも可能である。なお、ユーザ３は、メニューオブジェクト３１４の中から、曲線３１２Ａにて指定される範囲に対して実行する機能を選択して情報処理装置２に指示してもよいことは言うまでもない。
【０１５０】
また、図２９Ｂに示すように、情報処理装置２は、ユーザ３が範囲選択機能により指定した曲線を自動的に円、正方形、長方形、および正多角形などの所定の図形にフィッティングすることで補正してもよい。このような場合、ユーザ３は、ジェスチャ動作による範囲指定が正確に実行し難い場合でも、適切な範囲選択を行うことができる。なお、図２９Ｂでは、ユーザ３は、指定した範囲に含まれる人物に関する情報取得機能を実行することを音声４によって情報処理装置２に指示している。
【０１５１】
また、図３０に示すように、ユーザ３の複数の手４３０、４３２が視野内に入り込む場合、例えば、情報処理装置２は、一方の手４３０上に地図等のコンテンツオブジェクト４３４を重畳して表示させ、他方の手４３２の先にポインタオブジェクト４３６を重畳して表示させてもよい。このような場合、ユーザ３は、一方の手４３０上に表示されたコンテンツオブジェクト４３４を、他方の手４３２で操作するポインタオブジェクト４３６によって操作することができる。
【０１５２】
なお、ユーザ３が視認する視野に表示されるコンテンツオブジェクト４３４の拡大または縮小、およびコンテンツオブジェクト４３４内のコンテンツの拡大または縮小は、ユーザ３の操作により、任意に実行することが可能である。例えば、図３１Ａに示すように、ユーザ３はジェスチャ動作によりポインタオブジェクト４３６を操作し、メニューオブジェクト４３８内の拡大機能または縮小機能を実行することによって、コンテンツオブジェクト４３４の拡大または縮小を実行してもよい。また、例えば、図３１Ｂに示すように、ユーザ３は、コンテンツオブジェクト４３４に対して、手４３２によるピンチインまたはピンチアウトのジェスチャ動作を行うことにより、コンテンツオブジェクト４３４内のコンテンツの拡大または縮小を実行してもよい。
【０１５３】
以上にて、情報処理装置２により生成される表示画像が重畳されることで、ユーザ３が視認可能な視野の具体例について、詳細に説明した。
【０１５４】
＜３．ハードウェア構成＞
続いて、図３２を参照して、本開示の一実施形態に係る情報処理装置１のハードウェア構成について説明する。図３２は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示したブロック図である。なお、本実施形態に係る情報処理装置１が実行する情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
【０１５５】
図３２に示すように、情報処理装置１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）６０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）６０６と、ブリッジ６１０と、内部バス６０８および６１２と、インターフェース６１４と、入力装置６１６と、出力装置６１８と、ストレージ装置６２０と、ドライブ６２２と、接続ポート６２４と、通信装置６２６と、を備える。
【０１５６】
ＣＰＵ６０２は、演算処理装置および制御装置として機能し、ＲＯＭ６０４等に記憶されたプログラムに従って、情報処理装置１の動作全般を制御する。ＲＯＭ６０４は、ＣＰＵ６０２が使用するプログラムや演算パラメータを記憶し、ＲＡＭ６０６は、ＣＰＵ６０２の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
【０１５７】
これらＣＰＵ６０２、ＲＯＭ６０４およびＲＡＭ６０６は、ブリッジ６１０、内部バス６０８および６１２等により相互に接続されている。また、ＣＰＵ６０２、ＲＯＭ６０４およびＲＡＭ６０６は、インターフェース６１４を介して入力装置６１６、出力装置６１８、ストレージ装置６２０、ドライブ６２２、接続ポート６２４、および通信装置６２６とも接続されている。
【０１５８】
入力装置６１６は、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの情報が入力される入力装置と、ユーザの入力に基づいて入力信号を生成し、ＣＰＵ６０２に出力するための入力制御回路などから構成される。また、入力装置６１６は、振動センサ、加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）センサ、地磁気センサ、気圧センサ、および温度センサなどの各種センサを含んでもよい。
【０１５９】
出力装置６１８は、例えば、ＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（ｏｒｇａｎｉｃ  ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ  ｄｉｓｐｌａｙ）装置およびランプなどの表示装置、ならびにスピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、生成された画像を表示し、音声出力装置は、音声データ等を音声に変換して出力する。
【０１６０】
ストレージ装置６２０は、情報処理装置１の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置６２０は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。
【０１６１】
ドライブ６２２は、記憶媒体用リードライタである。ドライブ６２２は、ドライブ６２２に挿入された半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、ＲＡＭ６０６に出力する。また、ドライブ６２２は、リムーバブル記憶媒体に情報を書き込むことも可能である。
【０１６２】
接続ポート６２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
【０１６３】
通信装置６２６は、例えば、公衆回線網または専用回線網などのネットワーク７に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置６２６は、有線または無線ＬＡＮ対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。
【０１６４】
また、ＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアにおいて、上述した本実施形態に係る情報処理装置１を構成する各構成と同等の機能を他の情報処理装置に発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【０１６５】
＜４．まとめ＞
以上にて説明したように、本実施形態に係る情報処理装置によれば、視野内にユーザの手が入り込んだ場合でも、入り込んだ手に背景画像を重畳させるような表示画像を生成し、該表示画像をユーザに視認させることで、ユーザの視野を確保することが可能である。
【０１６６】
また、本実施形態に係る情報処理装置によれば、ユーザは、ジェスチャ動作により直感的に視野内に表示されるオブジェクトを操作することが可能である。
【０１６７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１６８】
例えば、上記実施形態では、情報処理装置１としてメガネ型のウェアラブル端末を例示して説明したが、本開示に係る技術は上記の例に限定されない。例えば、情報処理装置１は、ヘッドマウント型のウェアラブル端末装置であってもよく、ビデオシースルー型のウェアラブル端末装置であってもよい。これらの端末装置に対しても、本開示に係る技術を適用することが可能である。
【０１６９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１７０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視野に相当する視野画像を取得する画像取得部と、
前記視野画像の中から前記ユーザの手を検出する手検出部と、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、
を備える、情報処理装置。
（２）
前記手が指示する地点を示すポインタオブジェクトを生成するオブジェクト生成部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記オブジェクト生成部は、前記手を使ったジェスチャによって実行される機能に基づいて、生成する前記ポインタオブジェクトを変更する、前記（２）に記載の情報処理装置。
（４）
前記ユーザの視線を検出する視線検出部をさらに備え、
前記オブジェクト生成部は、前記ユーザの視線位置が前記ポインタオブジェクトの周囲に設定された所定の第１領域に含まれない場合、前記ポインタオブジェクトを生成しない
前記（２）または（３）に記載の情報処理装置。
（５）
前記オブジェクト生成部は、前記ユーザの視線位置が前記第１領域の周囲に設定された所定の第２領域に含まれる場合、前記ユーザの視線位置と前記ポインタオブジェクトとの距離に基づいて、透過度を変更した前記ポインタオブジェクトを生成する、前記（４）に記載の情報処理装置。
（６）
前記ユーザの位置情報と、前記ユーザの手により指示される方向情報とに基づく探索範囲内に存在する対象のうちから、前記ユーザが指示する対象を判断する視野内解析部をさらに備える、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記探索範囲は、前記ユーザから離れるにつれて大きくなる、前記（６）に記載の情報処理装置。
（８）
前記ユーザの手が指示する対象に関する詳細情報を取得する情報取得部をさらに備え、
前記オブジェクト生成部は、前記対象と関連付けて前記詳細情報を表示する情報オブジェクトを生成する、前記（２）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記対象に関する詳細情報は、公開可否情報を含み、
前記情報取得部は、前記公開可否情報に基づいて、前記対象に関する詳細情報を取得する、前記（８）に記載の情報処理装置。
（１０）
前記出力画像生成部は、前記ユーザの視野内の前記手が占める領域の一部に前記背景画像を重畳させた画像を生成する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記出力画像生成部は、少なくとも前記ユーザの視野内の前記手の一方が占める領域にコンテンツオブジェクトを重畳させた表示画像を生成する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
ユーザの視野に相当する視野画像を取得することと、
前記視野画像の中から前記ユーザの手を検出することと、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成することと、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成することと、
を含む情報処理方法。
（１３）
コンピュータを
ユーザの視野に相当する視野画像を取得する画像取得部と、
前記視野画像の中から前記ユーザの手を検出する手検出部と、
前記視野画像に基づいて、前記手により前記ユーザが目視できない背景の背景画像を生成する背景画像生成部と、
前記ユーザの視野内の前記手が占める領域に前記背景画像を重畳させた表示画像を生成する出力画像生成部と、
として機能させるプログラム。
【符号の説明】
【０１７１】
１、２    情報処理装置
１０２    画像取得部
１０４    手検出部
１０６    背景画像生成部
１０８    出力画像生成部
１１０    視野内解析部
１１２    オブジェクト生成部
１１４    視線検出部
１１６    情報取得部
１１８    知識データベース
１２０    テキスト取得部
１２２    テキスト解析部
【図１】
2016192122.tif 000003
【図２】
2016192122.tif 000004
【図３Ａ】
2016192122.tif 000005
【図３Ｂ】
2016192122.tif 000006
【図４】
2016192122.tif 000007
【図５】
2016192122.tif 000008
【図６】
2016192122.tif 000009
【図７】
2016192122.tif 000010
【図８】
2016192122.tif 000011
【図９】
2016192122.tif 000012
【図１０】
2016192122.tif 000013
【図１１】
2016192122.tif 000014
【図１２】
2016192122.tif 000015
【図１３】
2016192122.tif 000016
【図１４】
2016192122.tif 000017
【図１５】
2016192122.tif 000018
【図１６Ａ】
2016192122.tif 000019
【図１６Ｂ】
2016192122.tif 000020
【図１７】
2016192122.tif 000021
【図１８】
2016192122.tif 000022
【図１９】
2016192122.tif 000023
【図２０】
2016192122.tif 000024
【図２１】
2016192122.tif 000025
【図２２】
2016192122.tif 000026
【図２３】
2016192122.tif 000027
【図２４】
2016192122.tif 000028
【図２５】
2016192122.tif 000029
【図２６Ａ】
2016192122.tif 000030
【図２６Ｂ】
2016192122.tif 000031
【図２６Ｃ】
2016192122.tif 000032
【図２７Ａ】
2016192122.tif 000033
【図２７Ｂ】
2016192122.tif 000034
【図２７Ｃ】
2016192122.tif 000035
【図２８】
2016192122.tif 000036
【図２９Ａ】
2016192122.tif 000037
【図２９Ｂ】
2016192122.tif 000038
【図３０】
2016192122.tif 000039
【図３１Ａ】
2016192122.tif 000040
【図３１Ｂ】
2016192122.tif 000041
【図３２】
2016192122.tif 000042