(57)【要約】【課題】処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術を提供する。【解決手段】撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置が提供される。【選択図】図１
2014174747.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置。
【請求項２】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記撮像画像においてタップ操作が実行されるように制御する、
請求項１に記載の情報処理装置。
【請求項３】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点が存在する位置に対するタップ操作が実行されるように制御する、
請求項２に記載の情報処理装置。
【請求項４】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点の位置に存在するオブジェクトを選択する操作が実行されるように制御する、
請求項３に記載の情報処理装置。
【請求項５】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記撮像画像においてドラッグ操作が実行されるように制御する、
請求項１に記載の情報処理装置。
【請求項６】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御する、
請求項５に記載の情報処理装置。
【請求項７】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じた領域選択が実行されるように制御する、
請求項６に記載の情報処理装置。
【請求項８】
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じたオブジェクトの移動が実行されるように制御する、
請求項６に記載の情報処理装置。
【請求項９】
前記情報処理装置は、
前記視点を検出する視点検出部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、
前記所定のジェスチャを検出するジェスチャ検出部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１１】
前記情報処理装置は、
前記操作制御部による制御に従って前記撮像画像に基づく操作を実行する操作実行部をさらに備える、
請求項１に記載の情報処理装置。
【請求項１２】
前記所定のジェスチャは、前記撮像画像に所定の操作体を存在させるジェスチャである、
請求項１に記載の情報処理装置。
【請求項１３】
前記所定のジェスチャは、前記ユーザの身体の所定部位を動かすジェスチャである、
請求項１に記載の情報処理装置。
【請求項１４】
前記操作制御部は、前記視点の位置の変化に基づいて、前記視点を移動させたか否かを判断する、
請求項１に記載の情報処理装置。
【請求項１５】
前記操作制御部は、前記ユーザの頭部に装着されたセンサによる検出結果に基づいて前記視点を移動させたか否かを判断する、
請求項１に記載の情報処理装置。
【請求項１６】
撮像画像を取得することと、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、
を含む、情報処理方法。
【請求項１７】
コンピュータを、
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンなどのようにタッチパネルを有する装置が普及している。例えば、ユーザは、タッチパネルを有する装置を使用する場合、表示された撮像画像において指定したい位置があれば、その位置をタッチパネルによって指定することが可能である。また、例えば、マウスを有する装置を使用する場合、表示された撮像画像において指定したい位置があれば、その位置をマウスによって指定することが可能である。
【０００３】
一方、ユーザの頭部に装着するディスプレイとしてＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）の開発が進んでいる。ＨＭＤは、ユーザの視線方向を撮像することによって撮像画像を取得し、撮像画像に映る操作体の位置を撮像画像におけるユーザの指定位置とする場合がある。しかし、かかる場合には、撮像画像に操作体が映った段階でその操作体の位置が指定位置であると判断されてしまう可能性がある。
【０００４】
そこで、例えば、撮像画像から対象機器を認識し、撮像画像におけるオブジェクトの上にスイッチをグラフィックとして重畳する技術が開示されている（例えば、特許文献１を参照）。かかる技術においては、スイッチに対する指の押し込み動作がなされた場合に、オブジェクトに割り当てられた動作がなされる。すなわち、スイッチに対する指の押し込み動作がなされたときにユーザによる位置の指定がなされたと判断することが可能である。
【０００５】
また、例えば、ユーザによる所定のジェスチャ（例えば、２回連続で行うまばたきや、数秒間見つめ続けるジェスチャ）が検出された場合に、ユーザの視点の位置に存在するオブジェクトを選択する技術が開示されている（例えば、特許文献２を参照）。かかる技術によれば、所定のジェスチャがなされたときのユーザの視点の位置をユーザにより指定された位置と判断することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２０９９６５号公報
【特許文献２】特開２０１２−８７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術が実現されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置が提供される。
【０００９】
また、本開示によれば、撮像画像を取得することと、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、を含む、情報処理方法が提供される。
【００１０】
コンピュータを、撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術を提供することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態に係る情報処理システムの構成例を示す図である。
【図２】本開示の実施形態に係る情報処理装置の機能構成例を示す図である。
【図３】撮像画像に映るオブジェクトの認識結果の例を示す図である。
【図４】所定のジェスチャがなされる前におけるオブジェクトの表示例と撮像結果の例とを示す図である。
【図５】所定のジェスチャが開始された場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。
【図６】所定のジェスチャが解除されるまでに視点移動がなかった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。
【図７】所定のジェスチャが解除されるまでに視点移動があった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。
【図８】本開示の実施形態に係る情報処理システムの動作例を説明するための図である。
【図９】操作実行部によるタップ操作の実行例を説明するための図である。
【図１０】操作実行部によるドラッグ操作の実行例１を説明するための図である。
【図１１】操作実行部によるドラッグ操作の実行例２を説明するための図である。
【図１２】操作実行部によるドラッグ操作の実行例３を説明するための図である。
【図１３】本開示の実施形態に係る情報処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．情報処理システムの構成例
１−２．情報処理システムの機能構成例
１−３．情報処理システムの機能詳細
１−４．情報処理システムの動作
１−５．タップ操作の例
１−６．ドラッグ操作の例
１−７．ハードウェア構成例
２．むすび
【００１６】
＜＜１．実施形態＞＞
まず、本開示の実施形態について説明する。
【００１７】
［１−１．情報処理システムの構成例］
最初に、本開示の実施形態に係る情報処理システム１の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、撮像部１３０と、センサ部１４０と、出力部１５０とを備える。
【００１８】
撮像部１３０は、撮像範囲を撮像する機能を有する。例えば、撮像部１３０は、ユーザの視線方向を撮像することができるようにユーザの頭部に装着されている。撮像部１３０によって撮像されて得られた撮像画像３０は、例えば、無線信号または有線信号により情報処理装置１０に提供される。なお、図１に示した例では、撮像部１３０は情報処理装置１０と別体に構成されているが、撮像部１３０は、情報処理装置１０と一体化されていてもよい。
【００１９】
図１に示した例では、撮像範囲内にオブジェクト４０ａ〜４０ｅが存在するため、撮像画像３０にはオブジェクト４０ａ〜４０ｅが映る。なお、以下の説明においては、オブジェクト４０ａ〜４０ｅが書籍である場合を例として説明するが、オブジェクト４０ａ〜４０ｅは、音楽や映画等の書籍以外の物体であってもよい。また、撮像範囲内に存在するオブジェクト４０の数は特に限定されない。
【００２０】
センサ部１４０は、ユーザの身体の所定部位を撮像する機能を有する。例えば、センサ部１４０は、ユーザの目領域を撮像して撮像結果を取得する。以下の説明においては、センサ部１４０によってユーザの両方の目領域が撮像される場合を主に想定するが、センサ部１４０はユーザの片方の目領域を撮像してもよい。また、センサ部１４０によって撮像される所定部位は、ユーザの目領域に限定されない。例えば、センサ部１４０によって撮像される所定部位は、ユーザの身体の他の部位（例えば、ユーザの脚や、鼻、口など）であってもよい。
【００２１】
センサ部１４０によって撮像されて得られた撮像結果５０は、例えば、無線信号または有線信号により情報処理装置１０に提供される。なお、図１に示した例では、センサ部１４０は情報処理装置１０と別体に構成されているが、センサ部１４０は、情報処理装置１０と一体化されていてもよい。また、後に説明するように、情報処理システム１は、センサ部１４０の他にセンサを有していてもよい。
【００２２】
出力部１５０は、情報処理装置１０から無線信号または有線信号により提供された制御信号に従って各種の情報を出力する機能を有する。出力部１５０によって出力される情報の種類は特に限定されない。したがって、出力部１５０によって出力される情報は、画像（例えば、静止画、動画など）であってもよいし、音声であってもよい。以下の説明においては、出力部１５０が透過型ＨＭＤである場合を主に想定するが、出力部１５０は非透過型ＨＭＤであってもよいし、他の出力装置（例えば、音声出力装置）であってもよい。なお、図１に示した例では、出力部１５０は情報処理装置１０と別体に構成されているが、出力部１５０は、情報処理装置１０と一体化されていてもよい。
【００２３】
以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
【００２４】
［１−２．情報処理システムの機能構成例］
続いて、本開示の実施形態に係る情報処理システム１の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１の機能構成例を示す図である。図２に示すように、本開示の実施形態に係る情報処理装置１０は、制御部１１０と、記憶部１２０とを備える。上記したように、撮像部１３０、センサ部１４０および出力部１５０それぞれは、情報処理装置１０と無線または有線により接続されている。
【００２５】
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのプロセッサに相当する。制御部１１０は、記憶部１２０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、画像取得部１１１と、認識部１１２と、出力制御部１１３と、ジェスチャ検出部１１４と、視点検出部１１５と、操作制御部１１６と、操作実行部１１７とを有する。これらの各機能ブロックそれぞれが有する機能については後に説明する。
【００２６】
記憶部１２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１２０は、プログラムによって使用される各種のデータ（例えば、表示対象のオブジェクトなど）を記憶することもできる。なお、図２に示した例では、記憶部１２０は情報処理装置１０と一体化されているが、記憶部１２０は情報処理装置１０と別体に構成されていてもよい。
【００２７】
以上、本開示の実施形態に係る情報処理システム１の機能構成例について説明した。
【００２８】
［１−３．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１の機能詳細について説明する。図３は、撮像画像に映るオブジェクトの認識結果の例を示す図である。図１に示したように、例えば、ユーザが書店に訪れ、書店内に並べられている書籍に視線を向けると、撮像部１３０により撮像範囲が撮像される。画像取得部１１１は、撮像部１３０により撮像された撮像画像３０を取得する。
【００２９】
撮像画像３０が画像取得部１１１によって取得されると、認識部１１２によって撮像画像３０からオブジェクト４０ａ〜４０ｅが認識される。例えば、認識部１１２は、撮像画像３０から、オブジェクト４０ａ〜４０ｅ、実空間におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識する。例えば、認識部１１２は、撮像画像３０から決定される特徴量をあらかじめ登録されたオブジェクトの特徴量と照合することにより、オブジェクト４０ａ〜４０ｅを認識することができる。
【００３０】
より具体的には、認識部１１２は、ＳＩＦＴ法またはＲａｎｄｏｍ  Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像３０に映るオブジェクト４０ａ〜４０ｅの特徴量を決定し、決定した特徴量をあらかじめ登録されたオブジェクトの特徴量と照合する。そして、認識部１１２は、撮像画像３０に映るオブジェクト４０ａ〜４０ｅの特徴量と最も適合する特徴量と関連付けられているオブジェクト識別情報、実空間におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識する。
【００３１】
ここで、認識部１１２により、オブジェクトの特徴量とオブジェクト識別情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部１２０により記憶されていてもよいし、サーバから受信されてもよい。オブジェクトの特徴量は、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ  Ｆｅｒｎｓ法に従ってオブジェクトの学習用画像から決定された特徴量の集合であってもよい。
【００３２】
なお、オブジェクト４０ａ〜４０ｅの認識手法はかかる例に限定されない。例えば、認識部１１２は、オブジェクト４０ａ〜４０ｅそれぞれに関連付けられている既知の図形、記号またはマーカ（例えば、人工マーカ、自然マーカなど）を認識することにより、オブジェクト４０ａ〜４０ｅそれぞれを間接的に認識してもよい。また、認識部１１２は、オブジェクト４０ａ〜４０ｅを認識し、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０におけるサイズおよび形状からオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識してもよい。
【００３３】
また、上記では、認識部１１２が撮像画像３０に含まれるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を画像処理により認識する例を説明したが、オブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢の認識手法は画像処理による認識手法に限定されない。例えば、認識部１１２は、オブジェクト４０ａ〜４０ｅそれぞれの向きおよびオブジェクト４０ａ〜４０ｅそれぞれの現在位置を検出し、検出結果に基づいて、撮像画像３０におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を推定することも可能である。
【００３４】
なお、図２に示した例では、認識部１１２は、情報処理装置１０に備えられているが、認識部１１２は、情報処理装置１０と通信可能なサーバに備えられていてもよい。かかる場合には、画像取得部１１１により取得された撮像画像３０がサーバに提供され、サーバによって撮像画像３０に基づいた認識が行われると、認識結果がサーバから情報処理装置１０に提供される。
【００３５】
出力制御部１１３は、認識部１１２により認識されたオブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置に対応する位置に対して、オブジェクト６０ａを表示させてもよい。図３には、出力制御部１１３が、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置に対応する位置（例えば、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置）に対して、オブジェクト６０ａの例として所定の図形（例えば、円形）を表示させた場合におけるユーザの視野８０ｘの例が示されている。
【００３６】
なお、オブジェクト６０ａの形状は特に限定されない。また、オブジェクト６０ａが表示される位置も特に限定されない。出力制御部１１３は、認識部１１２により認識されたオブジェクト４０ａ〜４０ｅそれぞれの姿勢に応じて姿勢が変更されたオブジェクト６０ａを表示させてもよい。オブジェクト６０ａは、あらかじめ記憶部１２０に登録されていてもよい。また、オブジェクト６０ａは、表示されなくてもよい。
【００３７】
ジェスチャ検出部１１４は、ユーザの所定のジェスチャを検出する。例えば、所定のジェスチャは、撮像画像３０に所定の操作体（例えば、ユーザの指、ユーザの手のひら、ペンなど）を存在させるジェスチャであってもよい。例えば、ジェスチャ検出部１１４は、撮像画像３０から所定の操作体を認識することにより、撮像画像３０に所定の操作体を存させるジェスチャを検出してもよい。
【００３８】
この場合、撮像画像３０に所定の操作体が存在するか否かが把握できればよく、所定の操作体の方向や位置などを特定する必要がないため、処理負荷の低減が期待される。あるいは、所定のジェスチャは、ユーザの身体の所定の部位を動かすジェスチャ（例えば、片目を閉じるジェスチャ）であってもよい。例えば、ジェスチャ検出部１１４は、撮像結果５０を解析すれば、ユーザの身体の所定の部位を動かすジェスチャを検出することができる。
【００３９】
視点検出部１１５は、ユーザの視点を検出する。例えば、視点検出部１１５は、センサ部１４０により撮像された撮像結果５０に基づいてユーザの視点を検出する。視点検出部１１５による視点の検出手法としては、例えば、特開２０１２−８７４６号公報に開示された技術を用いることができるが、視点検出部１１５による視点の検出手法は特に限定されない。例えば、表示されたオブジェクト６０ａを参照しながら、ユーザが視野８０ｘに存在するオブジェクト４０ａに視点を当てたとする。かかる場合、視点検出部１１５は、ユーザが視野８０ｘに存在するオブジェクト４０ａにユーザの視点が存在することを検出する。
【００４０】
なお、視点検出部１１５は、複数のオブジェクト４０にユーザの視点が存在することを検出することも可能である。例えば、視点検出部１１５は、複数のオブジェクト４０（例えば、オブジェクト４０ａおよびオブジェクト４０ｂ）を囲むようにユーザの視点が動いたことを検出した場合には、ユーザの視点が当該複数のオブジェクト４０に存在することを検出するようにしてもよい。
【００４１】
操作制御部１１６は、視点検出部１１５により検出されるユーザの視点とジェスチャ検出部１１４により検出されるユーザの所定のジェスチャとに基づいて、操作実行部１１７により実行される操作を制御する。操作実行部１１７は、操作制御部１１６による制御に従って操作を実行する。以下、操作制御部１１６による操作の制御手法の例について説明する。
【００４２】
図４は、所定のジェスチャがなされる前におけるオブジェクト７０ａの表示例と撮像結果の例とを示す図である。図４に示すように、ユーザにより所定のジェスチャがなされる前において、視点検出部１１５は、センサ部１４０により撮像された撮像結果５０ａを解析し、視野８０ｘに存在するオブジェクト４０ａに視点が当てられていることを検出したとする。
【００４３】
かかる場合、出力制御部１１３は、オブジェクト４０ａの位置に対応する位置に、オブジェクト４０ａに対応するオブジェクト７０ａを表示させることができる。オブジェクト７０ａが表示された結果、ユーザには視野８０ａが見えることとなる。ただし、オブジェクト７０ａは表示されなくてもよい。オブジェクト４０ａに対応するオブジェクト７０ａは、例えば、記憶部１２０にあらかじめ登録されていてもよいし、サーバから取得されてもよい。
【００４４】
図５は、所定のジェスチャが開始された場合におけるオブジェクト７０ａの表示例と撮像結果の例とを示す図である。ユーザにより所定のジェスチャがなされると、ジェスチャ検出部１１４により所定のジェスチャが検出される。図５に示した例では、ジェスチャ検出部１１４は、撮像画像３０にユーザの指を存在させるジェスチャを所定のジェスチャとして検出している。ユーザには視野８０ｂが見えることとなる。視点検出部１１５は、このときにセンサ部１４０により撮像された撮像結果５０ｂを解析し、視野８０ｂに存在するオブジェクト７０ａに視点が当てられていることを検出したとする。
【００４５】
図６は、所定のジェスチャが解除されるまでに視点移動がなかった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。また、図７は、所定のジェスチャが解除されるまでに視点移動があった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。ユーザにより所定のジェスチャが解除されると、ジェスチャ検出部１１４により所定のジェスチャの解除が検出される。図６および図７に示した例では、ジェスチャ検出部１１４は、撮像画像３０にユーザの指を存在させるジェスチャが解除されたことを検出している。
【００４６】
ここで、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、撮像画像３０に基づく操作を制御する。このようにすれば、ユーザの指が届かない範囲のオブジェクトを動作させることが可能であり、ユーザの利便性が向上する。また、スイッチの一部を非表示にするような画像処理を行う必要もないため、処理負荷を低減することもできる。さらに、指の押し込み動作を検出する必要がないため、高速な撮像と高い画像処理能力が不要となる。また、オブジェクトを選択する操作以外の操作も実行させることができるため、ユーザの利便性が向上する。
【００４７】
ユーザが視点を移動させたか否かは、どのような手法により判断されてもよい。例えば、センサ部１４０により繰り返し撮像され、撮像結果５０が繰り返し取得される場合には、視点検出部１１５により所定フレーム毎に検出されるユーザの視点の位置の変化に基づいて、視点を移動させたか否かが判断されてもよい。例えば、操作制御部１１６は、ユーザの視点の位置が変化した場合に、視点が移動したと判断してもよい。
【００４８】
あるいは、ユーザの頭部にセンサが装着されている場合には、センサにより検出された検出結果に基づいて、視点を移動させたか否かが判断されてもよい。例えば、ユーザの頭部に加速度センサが装着されている場合、操作制御部１１６は、加速度センサにより検出された加速度が所定値を超えたら視点が移動したと判断してもよい。また、例えば、操作制御部１１６は、ユーザの頭部にジャイロセンサが装着されている場合には、ジャイロセンサにより検出された角速度が所定値を超えたら視点が移動したと判断してもよい。
【００４９】
まず、図６を参照しながら、ユーザが所定のジェスチャの間に視点を移動させなかった場合を説明する。すなわち、視点検出部１１５は、所定のジェスチャの終了時に撮像された撮像結果５０ｃを解析し、視野８０ｃに存在するオブジェクト７０ａに視点が当てられていることを検出したとする。かかる場合、操作制御部１１６は、撮像画像３０においてタップ操作が実行されるように制御する。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させなかった場合には、視点が存在する位置に対するタップ操作が実行されるように制御すればよい。
【００５０】
視点が存在する位置に対するタップ操作は特に限定されない。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させなかった場合には、視点の位置に存在するオブジェクト７０ａを選択する操作が実行されるように制御すればよい。図６に示した例では、ユーザが所定のジェスチャの間に視点を移動させなかったため、視点の位置に存在するオブジェクト７０ａを選択する操作が操作実行部１１７により実行されている。
【００５１】
なお、図６に示されているオブジェクト７０ａは、出力部１５０によって仮想的に表示されているオブジェクトである。しかし、操作実行部１１７によって選択されるオブジェクトは、仮想的に表示されているオブジェクトでなくてもよい。すなわち、操作実行部１１７によって選択されるオブジェクトは、視野８０ｘに存在する実オブジェクト（例えば、オブジェクト４０ａ〜４０ｅなど）であってもよい。
【００５２】
オブジェクト７０ａを選択する操作の結果、具体的にどのような処理が実行されるかに関しては特に限定されない。例えば、操作実行部１１７は、オブジェクト７０ａを選択する操作の結果、オブジェクト７０ａに関する情報を表示させてもよい。図６に示した例では、オブジェクト７０ａが書籍であるため、操作実行部１１７は、オブジェクト７０ａを選択する操作の結果、書籍に関する情報（例えば、書籍の題名、書籍の著者、書籍のあらすじ、書籍の目次、静止画や動画等による書籍の広告画像などの情報）を表示させてもよい。
【００５３】
次に、図７を参照しながら、ユーザが所定のジェスチャの間に視点を移動させた場合を説明する。視点検出部１１５は、所定のジェスチャの間に撮像された撮像結果５０ｄを解析し、視点が移動されたことを検出したとする。かかる場合、操作制御部１１６は、撮像画像３０においてドラッグ操作が実行されるように制御する。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させた場合には、視点の移動開始時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御すればよい。
【００５４】
視点の移動開始時における位置を基準とした視点の移動量に応じたドラッグ操作は特に限定されない。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させた場合には、視点の移動開始時における位置を基準とした視点の移動に応じたオブジェクト７０ａの移動が実行されるように制御すればよい。図７に示した例では、ユーザが所定のジェスチャの間に視点を移動させたため、視点の移動開始時における視点の位置を基準とした視点の移動量だけ移動方向にオブジェクト７０ａを移動させる操作が操作実行部１１７により実行されている。その結果、ユーザには視野８０ｄが見えることとなる。
【００５５】
なお、図７に示されているオブジェクト７０ａは、出力部１５０によって仮想的に表示されているオブジェクトである。しかし、操作実行部１１７によってドラッグされるオブジェクトは、仮想的に表示されているオブジェクトでなくてもよい。すなわち、操作実行部１１７によってドラッグされるオブジェクトは、視野８０ｘに存在する実オブジェクト（例えば、オブジェクト４０ａ〜４０ｅなど）であってもよい。
【００５６】
以上、本開示の実施形態に係る情報処理システム１の機能詳細について説明した。
【００５７】
［１−４．情報処理システムの動作］
続いて、本開示の実施形態に係る情報処理システム１の動作例について説明する。図８は、本開示の実施形態に係る情報処理システム１の動作例を説明するための図である。図８に示すように、初期状態（状態Ａ）からユーザが所定のジェスチャを行い、ジェスチャ検出部１１４により所定のジェスチャが検出されると、状態Ｂに状態遷移される。
【００５８】
ここで、所定のジェスチャが検出されている間は、状態Ｂが継続するが、視点検出部１１５によりユーザの視点移動が検出される前に、所定のジェスチャが検出されなくなった場合には、操作実行部１１７によりタップ操作がなされるように操作制御部１１６により制御される（状態Ｄ）。一方、所定のジェスチャが検出されている間に、視点移動が検出された場合には、状態Ｃに状態遷移される。状態Ｃにおいては、ドラッグ操作が開始される。
【００５９】
ここで、所定のジェスチャが検出されている間は、状態Ｃが継続するが、所定のジェスチャが検出されなくなった場合には、操作実行部１１７によるドラッグ操作が終了されるように、操作制御部１１６により制御される（状態Ｅ）。
【００６０】
以上、本開示の実施形態に係る情報処理システム１の動作例について説明した。
【００６１】
［１−５．タップ操作の例］
続いて、操作実行部１１７により実行されるタップ操作の実行例について説明する。図９は、操作実行部１１７によるタップ操作の実行例を説明するための図である。図９に示すように、認識部１１２によって撮像画像から認識されて得られた認識結果に基づいて、出力制御部１１３がユーザの視野８０ｙにオブジェクト７０ｂを表示させているとする。ここで、上記のように、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、オブジェクト７０ｂが動くような動画（例えば、図９に示すように、オブジェクト７０ｂが宝箱である場合には、宝箱が開くような動画）を表示させてもよい。
【００６２】
また、上記のように、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、サーバから割引クーポンを取得可能であってもよい。図９に示した例では、オブジェクト７０は宝箱型のオブジェクトであるが、オブジェクトの種類は特に限定されない。例えば、オブジェクト７０はボタンなどであってもよい。いずれにしても、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、オブジェクト７０ｂに割り当てられた操作を実行すればよい。
【００６３】
以上、操作実行部１１７により実行されるタップ操作の実行例について説明した。
【００６４】
［１−６．ドラッグ操作の例］
続いて、操作実行部１１７により実行されるドラッグ操作の実行例について説明する。図１０は、操作実行部１１７によるドラッグ操作の実行例１を説明するための図である。図１０に示すように、撮像画像が画像取得部１１１によって取得されたとする。ここで、上記のように、ユーザの視野８０ｐにおいてドラッグ操作がなされた場合には、操作実行部１１７は、視点の移動に応じた領域選択が実行されるように制御してもよい。
【００６５】
例えば、図１０に示すように、操作制御部１１６は、ユーザの視野８０ｐのうち、ドラッグ開始時の視点からドラッグ終了時の視点までの線分を対角線とし、ユーザの視野８０ｐの水平方向を横方向、ユーザの視野８０ｐの垂直方向を縦方向とする矩形領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
【００６６】
続いて、操作実行部１１７により実行されるドラッグ操作の実行例２について説明する。図１１は、操作実行部１１７によるドラッグ操作の実行例２を説明するための図である。例えば、図１１に示すように、操作制御部１１６は、ユーザの視野８０ｑのうち、ドラッグ開始時の視点からドラッグ終了時の視点までの線分を対角線とし、あらかじめ指定されているアスペクト比に応じた長辺および短辺により形成される矩形領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
【００６７】
続いて、操作実行部１１７により実行されるドラッグ操作の実行例３について説明する。図１２は、操作実行部１１７によるドラッグ操作の実行例３を説明するための図である。例えば、図１２に示すように、操作制御部１１６は、ユーザの視野８０ｒのうち、ドラッグ開始から終了までの視点群をつないだ閉領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
【００６８】
操作実行部１１７により実行されるドラッグ操作の実行例は、かかる例に限定されない。例えば、操作実行部１１７は、視点の移動に応じた領域選択によってユーザの視野に存在する複数のオブジェクトを指定することにより、複数のオブジェクトの組み合わせが発揮する機能を起動することもできる。
【００６９】
例えば、操作実行部１１７は、領域選択によって壁に配置された音楽記録媒体のケースを指定し、当該複数の音楽記録媒体のプレイリストを作成してもよい。また、例えば、操作実行部１１７は、領域選択によって書店で複数の本を選択し、当該複数の本を評価の高い順にソートし、ソートした結果を表示させてもよい。また、例えば、操作実行部１１７は、領域選択によって地図（または、乗り換え案内図）からユーザの通りたい範囲を選択し、その範囲内において経路探索を行ってもよい。
【００７０】
また、例えば、操作実行部１１７は、認識部１１２によって認識されたオブジェクトからを認識部１１２によって認識された他のオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。
【００７１】
例えば、認識部１１２によって認識されたオブジェクトがテレビジョン装置および音楽再生装置である場合に、ユーザが、テレビジョン装置から出力される音楽コンテンツを気に入り、テレビジョン装置から音楽再生装置へのドラッグ＆ドロップを行ったとする。
【００７２】
かかる場合には、操作実行部１１７は、その音楽コンテンツを識別するためのコンテンツ識別情報を音楽再生装置に送信するようにテレビジョン装置に指示を出してもよい。そうすれば、テレビジョン装置からコンテンツ識別情報を受信した音楽再生装置は、そのコンテンツ識別情報により識別される音楽コンテンツを再生することができる。
【００７３】
また、例えば、認識部１１２によって認識されたオブジェクトがリビングに存在するテレビジョン装置である場合に、ユーザがテレビジョン装置から出力される映像コンテンツを気に入り、寝室で映像コンテンツの続きを見たいと考えたとする。
【００７４】
かかる場合には、ユーザは、テレビジョン装置の位置を基準としたドラッグ操作を開始して寝室まで移動し、認識部１１２によって他のテレビジョン装置が認識された場合には、当該他のテレビジョン装置にドロップを行えばよい。かかる場合には、操作実行部１１７は、その映像コンテンツの識別情報および再生位置を当該他のテレビジョン装置に送信するようにテレビジョン装置に指示を出してもよい。そうすれば、テレビジョン装置から識別情報および再生位置を受信した当該他のテレビジョン装置は、その識別情報により識別される映像コンテンツの続きを再生することができる。
【００７５】
また、例えば、操作実行部１１７は、認識部１１２によって認識されたオブジェクトを出力部１５０によって表示されたオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。また、出力部１５０によって表示されたオブジェクトが複数存在する場合であっても、ユーザは視線によってどのオブジェクトにドロップするかを簡易に指定することができる。
【００７６】
例えば、認識部１１２によって認識されたオブジェクトがショッピングモールなどで売られている商品（または、商品のバーコード）であり、出力部１５０によって表示されたオブジェクトが、「お父さんのかご」「お母さんのかご」「わたしのかご」「欲しいものかご」であったとする。そして、家族が広いショッピングモールに買い物に出かけて、それぞれ自由行動しているとする。
【００７７】
そのとき、家族の一員であるユーザが、お母さんが気に入りそうな商品を見つけ、その商品から「お母さんのかご」へのドラッグ＆ドロップを行ったとする。かかる場合には、操作実行部１１７は、その商品に関連する情報（例えば、商品名など）を「お母さんのかご」に対応付けて記憶させてもよい。そうすれば、「お母さんのかご」の中を閲覧する操作を行ったときに、「お母さんのかご」に対応付けて記憶された商品を確認することができる。
【００７８】
また、ユーザが、買うかどうか悩ましい商品を見つけ、その商品から「欲しいものを入れるためのかご」へのドラッグ＆ドロップを行ったとする。かかる場合には、操作実行部１１７は、その商品に関連する情報（例えば、商品名など）を「欲しいものを入れるためのかご」に対応付けて記憶させてもよい。そうすれば、「欲しいものを入れるためのかご」の中を閲覧する操作を行ったときに、「欲しいものを入れるためのかご」に対応付けて記憶された商品を確認することができる。
【００７９】
また、例えば、操作実行部１１７は、出力部１５０によって表示されたオブジェクトから出力部１５０によって表示された他のオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。また、出力部１５０によって表示されたオブジェクトが複数存在する場合であっても、ユーザは視線によってどのオブジェクトにドロップするかを簡易に指定することができる。
【００８０】
例えば、出力部１５０によって表示されたオブジェクトがＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術によって重畳された情報（以下、単に「ＡＲ情報」とも言う。）およびユーザの保存フォルダであったとする。そのとき、ユーザが、ＡＲ技術によってユーザの視野に重畳表示されたＡＲ情報を後でじっくり見たいと考え、ＡＲ情報から保存フォルダへのドラッグを行ったとする。
【００８１】
かかる場合には、操作実行部１１７は、ＡＲ情報を保存フォルダに保存することができる。操作実行部１１７は、ユーザの視野に複数のＡＲ情報が存在した場合であっても、ユーザの視線の移動を用いて、ユーザが保存したいＡＲ情報のみを保存フォルダに保存することができる。
【００８２】
以上、操作実行部１１７により実行されるドラッグ操作の実行例について説明した。
【００８３】
［１−７．ハードウェア構成例］
続いて、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１３は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。ただし、図１３に示したハードウェア構成例は、情報処理装置１０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理装置１０のハードウェア構成は、図１３に示した例に限定されない。
【００８４】
図１３に示したように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３と、入力装置９０８と、出力装置９１０と、ストレージ装置９１１と、ドライブ９１２とを備える。
【００８５】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
【００８６】
入力装置９０８は、センサ部１４０により撮像された撮像結果および撮像部１３０により撮像された撮像画像の入力を受け付ける。入力装置９０８により入力が受け付けられたセンサデータおよび撮像画像は、ＣＰＵ９０１に出力される。また、入力装置９０８は、他のセンサにより検出された検出結果を、ＣＰＵ９０１に出力してもよい。
【００８７】
出力装置９１０は、出力部１５０に対して出力データを提供する。上記したように、出力部１５０が表示装置により構成されている場合には、出力装置９１０は、ＣＰＵ９０１による制御に従って表示データを出力部１５０に提供する。また、出力部１５０が音声出力装置により構成されている場合には、出力装置９１０は、ＣＰＵ９０１による制御に従って音声データを出力部１５０に提供する。
【００８８】
ストレージ装置９１１は、情報処理装置１０の記憶部１２０の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９１１は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【００８９】
ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
【００９０】
以上、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明した。
【００９１】
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像画像を取得する画像取得部１１１と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、撮像画像に基づく操作を制御する操作制御部１１６と、を備える、情報処理装置１０が提供される。
【００９２】
かかる構成によれば、ユーザの指が届かない範囲のオブジェクトを動作させることが可能であり、ユーザの利便性が向上する。また、スイッチの一部を非表示にするような画像処理を行う必要もないため、処理負荷を低減することもできる。さらに、指の押し込み動作を検出する必要がないため、高速な撮像と高い画像処理能力が不要となる。また、オブジェクトを選択する操作以外の操作も実行させることができるため、ユーザの利便性が向上する。
【００９３】
また、所定のジェスチャの検出と視点の移動がなされたか否かの検出を行えばよいため、ユーザは操作のために装置に触れる必要がない。したがって、撮像部１３０による撮像画像に生じるブレも低減させることができ、出力部１５０により出力される画像の揺れも低減することができる。
【００９４】
また、透過型ＨＭＤを使っているユーザを見かけたとしても、そのユーザに何が起こっているか、何が見えているか、何を操作しているかといった点に関しては、周囲にいる人には分からないことが起こりうる。特に、特開２０１２−８７４６号公報によって開示されている技術などのように、ユーザの視線のみを判定するようにすると、そのユーザが何を見ているのか周囲の人には分からないことがある。ジェスチャに指差しなどが含まれることにより、周囲の人にとってもユーザが何をしているのか分かり易くなる。
【００９５】
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９６】
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【００９７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置。
（２）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記撮像画像においてタップ操作が実行されるように制御する、
前記（１）に記載の情報処理装置。
（３）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点が存在する位置に対するタップ操作が実行されるように制御する、
前記（２）に記載の情報処理装置。
（４）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点の位置に存在するオブジェクトを選択する操作が実行されるように制御する、
前記（３）に記載の情報処理装置。
（５）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記撮像画像においてドラッグ操作が実行されるように制御する、
前記（１）に記載の情報処理装置。
（６）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御する、
前記（５）に記載の情報処理装置。
（７）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じた領域選択が実行されるように制御する、
前記（６）に記載の情報処理装置。
（８）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じたオブジェクトの移動が実行されるように制御する、
前記（６）に記載の情報処理装置。
（９）
前記情報処理装置は、
前記視点を検出する視点検出部をさらに備える、
前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、
前記所定のジェスチャを検出するジェスチャ検出部をさらに備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記操作制御部による制御に従って前記撮像画像に基づく操作を実行する操作実行部をさらに備える、
前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記所定のジェスチャは、前記撮像画像に所定の操作体を存在させるジェスチャである、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記所定のジェスチャは、前記ユーザの身体の所定部位を動かすジェスチャである、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１４）
前記操作制御部は、前記視点の位置の変化に基づいて、前記視点を移動させたか否かを判断する、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記操作制御部は、前記ユーザの頭部に装着されたセンサによる検出結果に基づいて前記視点を移動させたか否かを判断する、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１６）
撮像画像を取得することと、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、
を含む、情報処理方法。
（１７）
コンピュータを、
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置として機能させるためのプログラム。
【符号の説明】
【００９８】
１      情報処理システム
１０    情報処理装置
３０    撮像画像
４０（４０ａ、４０ｂ）  オブジェクト
５０（５０ａ、５０ｂ、５０ｃ、５０ｄ）  撮像結果
６０ａ  オブジェクト
７０（７０ａ、７０ｂ）    オブジェクト
８０（８０ａ、８０ｂ、８０ｃ、８０ｄ、８０ｘ）  視野
１１０  制御部
１１１  画像取得部
１１２  認識部
１１３  出力制御部
１１４  ジェスチャ検出部
１１５  視点検出部
１１６  操作制御部
１１７  操作実行部
１２０  記憶部
１３０  撮像部
１４０  センサ部
１５０  出力部
【図１】
2014174747.tif 000003
【図２】
2014174747.tif 000004
【図３】
2014174747.tif 000005
【図４】
2014174747.tif 000006
【図５】
2014174747.tif 000007
【図６】
2014174747.tif 000008
【図７】
2014174747.tif 000009
【図８】
2014174747.tif 000010
【図９】
2014174747.tif 000011
【図１０】
2014174747.tif 000012
【図１１】
2014174747.tif 000013
【図１２】
2014174747.tif 000014
【図１３】
2014174747.tif 000015