(57)【要約】【課題】処理装置と操作装置との位置関係に制約を設けることなく、処理装置による操作装置の位置に応じた処理を可能にする情報処理装置、情報処理方法およびプログラムを提案する。【解決手段】実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、を備える、情報処理装置。【選択図】図１
2015118442.tif 000002
【特許請求の範囲】
【請求項１】
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、
前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、
を備える、情報処理装置。
【請求項２】
前記第１の姿勢情報は、前記環境マップにおける前記処理装置の位置および姿勢を示す第２の姿勢情報との統合により前記操作装置と前記処理装置との相対位置を演算するために用いられる、請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、
前記処理装置により認識され、前記相対位置の演算に用いられるマーカーを表示するよう前記操作装置の表示部を制御するマーカー制御部をさらに備える、請求項２に記載の情報処理装置。
【請求項４】
前記マーカー制御部は、前記第１の姿勢情報および前記第２の姿勢情報との統合による前記相対位置の演算結果に基づいて、前記処理装置の撮像部に正対する前記マーカーを表示するよう前記表示部を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記マーカー制御部は、前記処理装置による前記マーカーの認識結果にさらに基づいて、前記処理装置の撮像部に正対する前記マーカーを表示するよう前記表示部を制御する、請求項４に記載の情報処理装置。
【請求項６】
前記第１の姿勢情報は、前記処理装置により前記相対位置に応じた位置に仮想オブジェクトを表示するために用いられる、請求項２に記載の情報処理装置。
【請求項７】
前記情報処理装置は、
前記撮像部の撮像面と実オブジェクトとの距離が閾値以下であることを示す通知を行う通知部をさらに備える、請求項１に記載の情報処理装置。
【請求項８】
前記推定部は、姿勢推定が容易な撮像方向の撮像画像を選択して前記第１の姿勢情報を推定する、請求項１に記載の情報処理装置。
【請求項９】
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定することと、
推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信することと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
【請求項１０】
コンピュータを、
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、
前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
スマートフォンやＰＣ（Personal  Computer）、ゲーム機等の情報処理装置の普及および高機能化に伴い、より直感的な情報処理装置の操作を可能にするための様々なＵＩ（User  Interface）が開発されている。そのようなＵＩのひとつとして、ユーザが操作装置を身に着けて動かすことにより実現されるジスチャー入力がある。操作装置によるジェスチャー入力を実現するためには、ジェスチャー入力を受け付ける処理装置が、ユーザにより操作される操作装置の位置および角度を推定するための技術が求められる。
【０００３】
例えば、ゲームコントローラの分野では、下記特許文献１に、静的に設置されたカメラによりコントローラに設けられた特徴点を追跡することで、コントローラの位置を推定してコントローラの位置に応じたジェスチャー入力を可能にする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１３５６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１に記載の技術では、設置されたカメラの画角から操作装置が外れた場合、特徴点を追跡することができなくなり、操作装置の位置を推定することが困難になる。即ち、処理装置（カメラ）と操作装置との位置関係に制約が存在していた。そこで、本開示では、処理装置と操作装置との位置関係に制約を設けることなく、処理装置による操作装置の位置に応じた処理を可能にする、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、を備える、情報処理装置が提供される。
【０００７】
また、本開示によれば、実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定することと、推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信することと、を備える、情報処理装置のプロセッサにより実行される情報処理方法が提供される。
【０００８】
また、本開示によれば、コンピュータを、実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、処理装置と操作装置との位置関係に制約を設けることなく、処理装置による操作装置の位置に応じた処理が可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る表示システムの概要を説明するための説明図である。
【図２】第１の実施形態に係る表示システムの構成例を示すブロック図である。
【図３】第１の実施形態に係る表示装置によるＡＲ表示例を示す図である。
【図４】第１の実施形態に係る表示システムにおいて実行されるＡＲ表示処理の流れの一例を示すシーケンス図である。
【図５】第２の実施形態に係る表示システムの構成例１を示すブロック図である。
【図６】第２の実施形態に係る表示装置によるＡＲ表示例を示す図である。
【図７】第２の実施形態に係る表示システムの構成例２を示すブロック図である。
【図８】第２の実施形態に係る表示システムの構成例３を示すブロック図である。
【図９】第３の実施形態に係る表示システムの概要を説明するための説明図である。
【図１０】第３の実施形態に係る表示システムの構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．概要
２．第１の実施形態
２−１．操作装置の構成例
２−２．表示装置の構成例
２−３．動作処理
３．第２の実施形態
３−１．構成例１
３−２．構成例２
３−３．構成例３
４．第３の実施形態
４−１．概要
４−２．構成例
５．まとめ
【００１３】
＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係る表示システムの概要を説明する。
【００１４】
図１は、一実施形態に係る表示システムの概要を説明するための説明図である。図１に示すように、ユーザは表示装置としてのスマートフォン１、および操作装置としてのスマートフォン２を把持している。表示システムは、表示装置１および操作装置２から成り、表示装置１は操作装置２の位置に応じた表示１００を行う。
【００１５】
ここで、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術について説明する。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想オブジェクトを用いて可視化される。仮想オブジェクトは、関連付けられる実物体の位置に応じてＡＲ空間内に配置される。他にも、仮想オブジェクトは、ＡＲ空間内で移動、衝突、または変形といった動作を行うことも可能である。本実施形態に係る表示装置１は、操作装置２の位置に応じて、仮想オブジェクトをＡＲ空間内に配置し、移動、衝突、または変形といった動作を表現するＡＲ画像を表示する。
【００１６】
図１に示すように、ユーザは表示装置１を右手で把持して表示部１７を見ており、表示部１７の裏面側に配置されたカメラが机に向けられている。表示装置１は、カメラにより机の上を実時間で撮像したスルー画像に、操作装置２に対応する位置から仮想オブジェクトであるボール８が射出された様子を示すＡＲ画像を重畳して表示している。表示装置１は、スルー画像における操作装置２の位置を推定することにより、操作装置２に対応する位置からボール８を射出することが可能となる。
【００１７】
表示装置１が操作装置２の位置を推定する手法は多様に考えられる。一例として、表示装置１に設けられたカメラにより操作装置２を撮像して、画像認識により表示装置１と操作装置２との相対位置を推定する比較例が考えられる。しかし、この比較例では、カメラの画角から操作装置２が外れた場合、撮像画像に操作装置２が写らなくなるため、相対位置を推定することが困難になる。つまり、表示装置１が相対位置の推定に成功するためには、表示装置１に設けられたカメラの撮像範囲内に操作装置２が存在すること、という制約条件が存在していた。
【００１８】
そこで、上記事情を一着眼点にして本実施形態に係る操作装置２（情報処理装置）を創作するに至った。本実施形態に係る操作装置２は、表示装置１と操作装置２との位置関係に制約を設けることなく、表示装置１による操作装置２の位置に応じた処理を可能にする。
【００１９】
具体的には、本実施形態に係る操作装置２は、世界座標系における操作装置２の位置および姿勢（角度）を推定して、その推定結果を表示装置１に送信する。なお、世界座標系とは、実空間に設定される座標系である。同様に、表示装置１も、同一の世界座標系における表示装置１の位置および姿勢を推定する。そして、表示装置１は、操作装置２から受信された推定結果と自身の推定結果を統合することで、表示装置１と操作装置２との相対位置を推定する。図１に示した符号９は、このような統合処理により、表示装置１が推定した操作装置２のスルー画像における位置を模擬的に示している。表示装置１は、符号９に示した位置に対応する位置にボール８を示すＡＲ画像を重畳する。これにより、結果的に、スルー画像における操作装置２に対応する位置へのＡＲ画像の重畳表示が実現される。表示装置１は、画像認識により操作装置２を追跡する必要がないため、カメラの画角から操作装置２が外れた場合であっても、相対位置を推定することができる。つまり、表示装置１と操作装置２との位置関係に制約がない。
【００２０】
一般的に、表示装置１においては、仮想オブジェクトの位置および姿勢の演算、ＡＲ画像の表示処理、操作装置２の動きに応じたジェスチャー入力の認識、および認識結果に基づく出力の演算等が行われる。この上、上述した比較例によれば、表示装置は画像認識を行って操作装置の位置を推定する必要があり、処理負荷は多大なものとなる。これに対し、本実施形態によれば、表示装置１は画像認識を行う必要がないため、処理負荷が軽減される。
【００２１】
なお、図１では、本開示の一実施形態に係る表示装置１がスマートフォンとして実現される例を示したが、本開示に係る技術はこれに限定されない。例えば、表示装置１は、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）、デジタルカメラ、デジタルビデオカメラ、タブレット端末、携帯電話端末等であってもよい。また、表示装置１がＨＭＤとして実現される場合、ＨＭＤは、カメラにより撮像されたスルー画像にＡＲ画像を重畳して表示してもよいし、透明または半透明のスルー状態として形成された表示部にＡＲ画像を表示してもよい。
【００２２】
同様に、図１では、本開示の一実施形態に係る操作装置２がスマートフォンとして実現される例を示したが、本開示に係る技術はこれに限定されない。例えば、操作装置２は、デジタルカメラ、デジタルビデオカメラ、タブレット端末、携帯電話端末等であってもよい。他にも、操作装置２は、棒状、球状、その他の任意の形状を有する操作専用のデバイスであってもよい。
【００２３】
また、図１では、本開示の一実施形態に係る処理装置が、表示装置として実現される例を示したが、本開示に係る技術はこれに限定されない。例えば、処理装置は、ＡＲ画像の表示の他にも、操作装置２の位置に応じた振動、音声の再生、発光等の、操作装置２と実世界との任意のインタラクションを表現する処理を行ってもよい。
【００２４】
以上、本実施形態に係る表示システムの概要を説明した。以下、各実施形態について詳細に説明する。
【００２５】
＜２．第１の実施形態＞
まず、図２を参照して、本実施形態に係る表示システムの構成を説明する。図２は、第１の実施形態に係る表示システムの構成例を示すブロック図である。図２に示すように、本実施形態に係る表示システムは、表示装置１−１および操作装置２−１を有し、同一の環境マップ３を共有している。
【００２６】
［２−１．操作装置の構成例］
図２に示すように、操作装置２−１は、撮像部２１、センサ２２、姿勢推定部２３、姿勢情報送信部２４、ユーザ操作取得部２５、および制御信号送信部２６を有する。
【００２７】
（１）撮像部２１
撮像部２１は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。本実施形態に係る撮像部２１は、実空間を撮像して、撮像画像を姿勢推定部２３に出力する。
【００２８】
（２）センサ２２
センサ２２は、操作装置２−１の姿勢を検知する機能を有する。例えば、センサ２２は、加速度センサや角速度（ジャイロ）センサ、地磁気センサにより実現される。センサ２２は、検知した重力方向、傾き、または角度を示すセンシング結果を、姿勢推定部２３に出力する。
【００２９】
（３−１）環境マップ３
環境マップ３は、実空間内に存在する物体の三次元位置を表現する情報である。より具体的には、環境マップ３は、実空間内に存在する１つ以上の物体の位置および姿勢を表現するデータの集合である。環境マップには、例えば、物体に対応するオブジェクト名称、当該物体に対応する特徴点の三次元位置、及び当該物体の形状を構成するポリゴン情報などが含まれ得る。環境マップは、例えば、特徴点の撮像面上の位置から各特徴点の三次元位置を求めることにより構築され得る。
【００３０】
図２においては、環境マップ３は、表示装置１−１および操作装置２−１のいずれにも属さないものとして表現されつつ、表示装置１−１および操作装置２−１の双方からアクセス可能であることが表現されている。これは、表示装置１−１および操作装置２−１が、同一の環境マップ３を共有することを示している。これにより、表示装置１−１および操作装置２−１が同一の世界座標系における位置および角度をそれぞれ推定することとなり、後述の表示装置１−１による姿勢情報の統合処理が可能となる。なお、環境マップ３は、表示装置１−１に含まれ、操作装置２−１は表示装置１−１との通信により環境マップ３にアクセスしてもよい。同様に、環境マップ３は、操作装置２−１に含まれていてもよいし、表示装置１−１および操作装置２−１とネットワークにより接続されたホームサーバ、またはクラウド上のサーバ等の他の情報処理装置に含まれていてもよい。
【００３１】
また、表示装置１−１および操作装置２−１が同一の世界座標系における位置および角度を推定することが可能であるならば、共有するものは環境マップ３でなくてもよい。例えば、表示装置１−１および操作装置２−１が、共通の座標系を定義可能な起点として、いわゆる平面マーカーの認識辞書を共通に有する構成であってもよい。
【００３２】
（３−２）姿勢推定部２３
姿勢推定部２３は、環境マップ３（世界座標系）における操作装置２−１の位置および角度（姿勢）を示す姿勢情報（第１の姿勢情報）を推定する推定部としての機能を有する。詳しくは、姿勢推定部２３は、撮像部２１の位置および姿勢を推定することで、操作装置２−１の位置および姿勢を推定する。世界座標系における位置推定の技術のひとつとして、例えば、カメラの位置や姿勢とカメラの画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭ（Simultaneous  Localization  And  Mapping）とよばれる技術がある。単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、「Andrew  J.Davison,  “Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”,  Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410」において説明されている。なお、カメラ画像を用いて視覚的に位置を推定するＳＬＡＭ技術は、特にＶＳＬＡＭ（visual  SLAM）とも称される。姿勢推定部２３は、ＳＬＡＭ技術を用いて、環境マップ３における特徴点と撮像部２１により撮像された撮像画像に映る特徴点とのマッチング結果により操作装置２−１の位置および姿勢を推定する。他にも、姿勢推定部２３は、マーカーを用いた姿勢推定技術や、ＤＴＡＭ（Dense  Tracking  and  Mapping  in  Real-Time）、Ｋｉｎｅｃｔ  Ｆｕｓｉｏｎといった技術により、環境マップ３における撮像部２１の位置および姿勢を推定してもよい。姿勢推定部２３は、センサ２２により出力された各種センシング結果を用いて、ＳＬＡＭ技術による位置および姿勢の推定結果を補正してもよい。姿勢推定部２３は、推定した姿勢情報を姿勢情報送信部２４に出力する。
【００３３】
（４）姿勢情報送信部２４
姿勢情報送信部２４は、姿勢推定部２３により推定された姿勢情報を、表示装置１−１に送信する機能を有する。これにより、表示装置１−１は、操作装置２−１の位置および姿勢に応じた各種処理を行うことが可能となる。姿勢情報送信部２４は、有線／無線により表示装置１−１との間でデータの送受信を行うための通信モジュールである。例えば、姿勢情報送信部２４は、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、表示装置１−１と直接、またはネットワークアクセスポイントを介して無線通信する。
【００３４】
なお、図２においては、姿勢推定部２３および姿勢情報送信部２４が、操作装置２−１に含まれているが、本開示にかかる技術はこれに限定されない。例えば、姿勢推定部２３および姿勢情報送信部２４が、表示装置１−１および操作装置２−１と接続された他の情報処理装置に含まれてもよい。この場合、他の情報処理装置は、操作装置２−１から受信した撮像画像およびセンシング結果に基づいて操作装置２−１の姿勢情報を推定して、推定した姿勢情報を表示装置１−１に送信してもよい。同様に、姿勢推定部２３は、表示装置１−１に含まれていてもよい。
【００３５】
（５）ユーザ操作取得部２５
ユーザ操作取得部２５は、表示装置１−１をユーザ操作に応じて制御するための制御情報として、ユーザ操作を取得する機能を有する。例えば、ユーザ操作取得部２５は、ボタン、キーボード、マウス、トラックボール、タッチパッド、またはタッチパネル等により実現される。ユーザ操作取得部２５は、取得したユーザ操作を示す制御情報を制御信号送信部２６に出力する。
【００３６】
（６）制御信号送信部２６
制御信号送信部２６は、ユーザ操作取得部２５により出力された制御情報を、表示装置１−１に送信する機能を有する。これにより、表示装置１−１は、制御情報に応じた処理を行うことが可能となる。制御信号送信部２６は、有線／無線により表示装置１−１との間でデータの送受信を行うための通信モジュールである。例えば、制御信号送信部２６は、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、表示装置１−１と直接、またはネットワークアクセスポイントを介して無線通信する。
【００３７】
（７）補足
図１には明示していないが、操作装置２−１は、演算処理装置および制御装置として機能し、各種プログラムに従って操作装置２−１内の動作全般を制御する制御部を有していてもよい。制御部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサによって実現される。なお、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を含んでいてもよい。
【００３８】
［２−２．表示装置の構成例］
図２に示すように、表示装置１−１は、撮像部１１、センサ１２、姿勢推定部１３、姿勢情報受信部１４、制御情報受信部１５、制御部１６、および表示部１７を有する。
【００３９】
（１）撮像部１１
撮像部１１は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤセンサアレイや、ＣＭＯＳセンサアレイにより実現されてもよい。本実施形態に係る撮像部１１は、実空間を撮像して、撮像画像を姿勢推定部１３に出力する。
【００４０】
（２）センサ１２
センサ１２は、表示装置１−１の姿勢を検知する機能を有する。例えば、センサ１２は、加速度センサや角速度（ジャイロ）センサ、地磁気センサにより実現される。センサ１２は、検知した重力方向、傾き、または角度を示すセンシング結果を、姿勢推定部１３に出力する。
【００４１】
（３）姿勢推定部１３
姿勢推定部１３は、環境マップ３（世界座標系）における表示装置１−１の位置および角度（姿勢）を示す姿勢情報（第２の姿勢情報）を推定する推定部としての機能を有する。詳しくは、姿勢推定部１３は、撮像部１１の位置および姿勢を推定することで、表示装置１−１の位置および姿勢を推定する。姿勢推定部１３は、上述した姿勢推定部２３と同様に、ＳＬＡＭ技術を用いて、環境マップ３における特徴点と撮像部１１により撮像された撮像画像に映る特徴点とのマッチング結果により表示装置１−１の位置および姿勢を推定する。他にも、姿勢推定部１３は、マーカーを用いた姿勢推定技術や、ＤＴＡＭ、Ｋｉｎｅｃｔ  Ｆｕｓｉｏｎといった技術により、環境マップ３における撮像部１１の位置および姿勢を推定してもよい。姿勢推定部１３は、センサ１２により出力された各種センシング結果を用いて、ＳＬＡＭ技術による姿勢推定結果を補正してもよい。姿勢推定部１３は、推定した姿勢情報を制御部１６に出力する。
【００４２】
なお、図２においては、姿勢推定部１３が、表示装置１−１に含まれているが、本開示にかかる技術はこれに限定されない。例えば、姿勢推定部１３が、表示装置１−１および操作装置２−１と接続された他の情報処理装置に含まれてもよい。この場合、他の情報処理装置は、表示装置１−１から受信した撮像画像およびセンシング結果に基づいて表示装置１−１の姿勢情報を推定して、推定した姿勢情報を表示装置１−１に送信してもよい。同様に、姿勢推定部１３は、操作装置２−１に含まれ、表示装置１−１から受信した撮像画像およびセンシング結果に基づいて表示装置１−１の姿勢情報を推定して、推定した姿勢情報を表示装置１−１に返信してもよい。
【００４３】
（４）姿勢情報受信部１４
姿勢情報受信部１４は、姿勢情報送信部２４により送信された操作装置２−１の姿勢情報を受信する機能を有する。姿勢情報受信部１４は、有線／無線により操作装置２−１との間でデータの送受信を行うための通信モジュールである。例えば、姿勢情報受信部１４は、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、操作装置２−１と直接、またはネットワークアクセスポイントを介して無線通信する。姿勢情報受信部１４は、受信した姿勢情報を制御部１６に出力する。
【００４４】
（５）制御情報受信部１５
制御情報受信部１５は、制御信号送信部２６により送信された制御情報を受信する機能を有する。制御情報受信部１５は、有線／無線により操作装置２−１との間でデータの送受信を行うための通信モジュールである。例えば、制御情報受信部１５は、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、操作装置２−１と直接、またはネットワークアクセスポイントを介して無線通信する。制御情報受信部１５は、受信した制御情報を制御部１６に出力する。
【００４５】
（６）制御部１６
制御部１６は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１−１内の動作全般を制御する。制御部１６は、例えばＣＰＵ、マイクロプロセッサによって実現される。なお、制御部１６は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。
【００４６】
本実施形態に係る制御部１６は、姿勢推定部１３により出力された表示装置１−１の姿勢情報および姿勢情報受信部１４により受信された操作装置２−１の姿勢情報を統合して、表示装置１−１と操作装置２−１との相対位置を演算する。これらの姿勢情報は、同一の環境マップ３により規定される世界座標系における位置情報であるため、統合することにより相対位置の演算が可能となる。ここで、相対位置とは、表示装置１−１の座標系における操作装置２−１の位置を意味するものとする。相対位置を、操作装置２により撮像されたスルー画像における操作装置２−１の位置として捉えてもよい。この相対位置は、仮想オブジェクトの描画方法の決定の際に用いられる。以下、制御部１６による仮想オブジェクトの表示制御について説明する。まず、制御部１６は、姿勢情報受信部１４により受信された操作装置２−１の姿勢情報から、世界座標系における操作装置２−１の位置を取得する。次いで、制御部１６は、世界座標系における仮想オブジェクトの位置を決定する。次に、制御部１６は、表示装置１−１の座標系における操作装置２−１および仮想オブジェクトの位置を決定する。そして、制御部１６は、表示装置１−１の座標系における操作装置２−１および仮想オブジェクトの位置関係に応じて、仮想オブジェクトの描画方法を決定する。描画方法としては、例えば表示装置１−１から見た操作装置２−１と仮想オブジェクトとの前後関係に応じて、一部オクルージョンの表現をすることが挙げられる。制御部１６は、相対位置を演算可能であるため、このような前後関係に応じた表現を行うことが可能となる。表示装置１は、画像認識により操作装置２を追跡する必要がないため、カメラの画角から操作装置２が外れた場合であっても、相対位置を推定することができる。また、制御部１６は、上記特許文献１に記載された技術において行われてきた画像認識による操作装置２−１の姿勢推定を行う必要がないため、表示装置１側での処理負荷が軽減される。
【００４７】
また、制御部１６は、制御情報受信部１５により受信された制御情報に応じた各種処理を行う。具体的には、制御部１６は、演算した表示装置１−１と操作装置２−１との相対位置に加えて、制御情報が示すユーザ操作に応じた視覚効果を表示するよう表示部１７を制御する。例えば、制御部１６は、ユーザ操作取得部２５により所定のユーザ操作が取得された場合に、図１に示したボール８が操作装置２−１から射出された様子を示すＡＲ画像を表示する。
【００４８】
制御部１６は、相対位置および制御情報を反映する仮想オブジェクトの一例として、仮想的操作補助デバイスを表示してもよい。仮想的操作補助デバイスとは、操作装置２−１との相対位置によって定義される作用点を示す仮想オブジェクトである。仮想的操作補助デバイスにより、操作装置２−１の作用点を操作装置２−１本体から離れた位置に設置したり、ユーザに操作内容を視覚的に分かりやすく表現したりすることが可能となる。以下、図３を参照して、仮想的操作補助デバイスの表示例を説明する。
【００４９】
図３は、第１の実施形態に係る表示装置１−１によるＡＲ表示例を示す図である。図３では、表示装置１−１が、スルー画像における操作装置２−１の前方に、電球の仮想オブジェクトを示すＡＲ画像８−１を表示する例を示している。この電球８−１は、操作装置２−１とあたかも一体化しているかのように操作装置２−１に付随して動く。これは、制御部１６が、スルー画像における操作装置２−１の位置を推定して、操作装置２−１の前方に固定的にＡＲ画像８−１を表示することにより実現される。ユーザは、操作装置２−１の一部として電球８−１を使用することができる。具体的には、表示装置１−１は、電球８−１を作用点として機能させて、電球８−１を基準点とする多様なＡＲ画像をスルー画像に重畳表示する。例えば、タッチパネルとして表示部と一体的に構成されたユーザ操作取得部２５により横方向のスワイプ操作が取得された場合に、制御部１６は、電球８−１の色を切り替えてもよい。他にも、ユーザ操作取得部２５によりタップ操作が検出された場合に、制御部１６は、電球８−１が通過した三次元位置にネオンサイン８−２を表示してもよい。他にも、ユーザ操作取得部２５により上下方向のスワイプ操作が取得された場合に、制御部１６は、操作装置２−１から電球８−１を遠ざけたり近づけたりしてもよい。なお、図３においては、表示装置１−１による操作装置２−１の姿勢推定の結果を示す表示（図１の符号９）を省略している。
【００５０】
仮想的操作補助デバイスには、図３に示した電球８−１以外にも多様な仮想オブジェクトが考えられる。例えば、はさみ、カッター、ペン、定規等が仮想的操作補助デバイスとなり、実空間上の仮想オブジェクトや実オブジェクトに作用し得る。これらの複数種類の仮想的操作補助デバイスは、例えばタッチパネルとして形成されたユーザ操作取得部２５でのスワイプ操作により切り替えられてもよい。また、例えば、ユーザは、ＨＭＤとして形成された表示装置１−１を装着して、両手にそれぞれ操作装置２−１を把持して、両手で仮想的補助デバイスを操作してもよい。
【００５１】
なお、制御部１６は、ＡＲ画像の表示以外にも、操作装置２−１の位置に応じてテキストや画像を表示する等の各種視覚効果を表現してもよい。他にも、制御部１６は、操作装置２−１の位置に応じた振動、音声の再生、発光等の、操作装置２と実世界との任意のインタラクションを表現する処理を行うよう表示装置１−１または操作装置２−１を制御してもよい。
【００５２】
また、図２においては、姿勢情報受信部１４、制御情報受信部１５および制御部１６が、表示装置１−１に含まれているが、本開示にかかる技術はこれに限定されない。例えば、姿勢情報受信部１４、制御情報受信部１５および制御部１６が、表示装置１−１および操作装置２−１と接続された他の情報処理装置に含まれてもよい。この場合、他の情報処理装置は、表示装置１−１および操作装置２−１から受信された姿勢情報および制御情報に基づいて、ＡＲ画像の内容を示す表示制御情報を生成して、表示制御情報を表示装置１−１に送信して表示部１７による表示を制御してもよい。同様に、姿勢情報受信部１４、制御情報受信部１５および制御部１６は、操作装置２−１に含まれていてもよい。
【００５３】
（７）表示部１７
表示部１７は、制御部１６による制御に基づいて、撮像部１１により実時間で撮像されたスルー画像を表示したり、各種ＡＲ画像を重畳表示したり、記憶された画像データ（静止画像データ／動画像データ）を表示（再生）したりする。表示部１７は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、などにより実現される。また、本実施形態に係る処理装置がＨＭＤとして実現される場合、表示部１７は、透明または半透明のスルー状態として形成され、スルー状態の表示部１７に映る実空間にＡＲ画像を表示してもよい。
【００５４】
以上、本実施形態に係る表示システムの構成例を説明した。続いて、図４を参照して、本実施形態に係る表示システムの動作処理を説明する。
【００５５】
［２−３．動作処理］
図４は、第１の実施形態に係る表示システムにおいて実行されるＡＲ表示処理の流れの一例を示すシーケンス図である。図４に示したシーケンスには、表示装置１−１および操作装置２−１が関与する。なお、図４に示したシーケンスでは、各処理が表示装置１−１および操作装置２−１のいずれかで実行される例を示しているが、各処理はどちらで実行されてもよいし、サーバ等の他の情報処理装置により一元的に実行されてもよい。
【００５６】
図４に示すように、まず、ステップＳ１０２−１で、表示装置１−１は、姿勢推定を行う。詳しくは、姿勢推定部１３は、ＳＬＡＭ技術を用いて、環境マップ３における特徴点と撮像部１１により撮像された撮像画像に映る特徴点とのマッチング結果により表示装置１−１の位置および姿勢を推定する。このとき、姿勢推定部１３は、センサ１２により出力された各種センシング結果を用いて、ＳＬＡＭ技術による姿勢推定結果を補正してもよい。同様にして、ステップＳ１０２−２で、操作装置２−１は、姿勢推定を行う。特に、姿勢推定部２３は、姿勢推定部１３と同一の環境マップ３を用いて、操作装置２−１の位置および姿勢を推定する。
【００５７】
次いで、ステップＳ１０４で、操作装置２−１は、推定した姿勢情報を表示装置１−１に送信する。詳しくは、姿勢情報送信部２４は、姿勢推定部２３によりステップＳ１０２−２において推定された姿勢情報を、表示装置１−１に送信する。
【００５８】
次に、ステップＳ１０６で、表示装置１−１は、表示装置１−１の姿勢情報と操作装置２−１の姿勢情報とを統合する。詳しくは、制御部１６は、姿勢推定部１３により出力された表示装置１−１の姿勢情報および姿勢情報受信部１４により受信された操作装置２−１の姿勢情報を統合して、表示装置１−１と操作装置２−１との相対位置を演算する。
【００５９】
他方、ステップＳ１０８で、操作装置２−１は、ユーザ操作を取得する。詳しくは、ユーザ操作取得部２５は、ユーザによるタッチパネルへのタッチまたはボタン押下等のユーザ操作を、表示装置１−１をユーザ操作に応じて制御するための制御情報として取得する。
【００６０】
次いで、ステップＳ１１０で、操作装置２−１は、取得した制御情報を表示装置１−１に送信する。詳しくは、制御信号送信部２６は、ステップＳ１０８において取得されたユーザ操作を示す制御情報を、表示装置１−１に送信する。
【００６１】
次に、ステップＳ１１２で、表示装置１−１は、視覚情報を演算する。詳しくは、制御部１６は、ステップＳ１０６において演算した表示装置１−１と操作装置２−１との相対位置に加えて、制御情報が示すユーザ操作に応じた視覚情報を演算する。具体的には、制御部１６は、図１および図３を参照して説明したように、撮像部１１により撮像されたスルー画像における操作装置２−１の位置を演算して、操作装置２−１に対応する位置に、制御情報を反映させた仮想オブジェクトを示すＡＲ画像を表示するための表示制御情報を生成する。
【００６２】
そして、ステップＳ１１４で、表示装置１−１は、ＡＲ表示を行う。詳しくは、表示部１７は、ステップＳ１１２において制御部１６により生成された表示制御情報に基づいた表示を行う。
【００６３】
以上、本実施形態に係る表示システムの動作処理を説明した。
【００６４】
＜３．第２の実施形態＞
本実施形態は、操作装置２と実オブジェクトとの接近判定およびユーザへの通知を行うことにより、操作装置２の姿勢推定が困難になる状況を回避する形態である。本実施形態の構成は多様に考えられる。一例として、図５〜図８を参照して、本実施形態に係る表示システムの構成例を説明する。
【００６５】
［３−１．構成例１］
図５は、第２の実施形態に係る表示システムの構成例１を示すブロック図である。図５に示すように、本実施形態に係る表示システムは、表示装置１−２および操作装置２−２から成り、図２を参照して説明した第１の実施形態に係る表示システムの構成に加えて、三次元データ４、接近判定部２７、および接近通知部２８を有する。
【００６６】
（１）三次元データ４
三次元データ４は、実空間における物体の頂点の位置情報、頂点間を繋ぐ線分、および線分により囲まれる表面から成るデータであり、実空間の三次元形状（Surface）を表現する情報である。ここで、三次元データ４が含む位置情報とは、環境マップ３における世界座標系における位置を示す情報である。三次元データ４は、撮像部２１により撮像された撮像画像および姿勢推定部２３により推定された姿勢情報を用いて動的に生成されてもよいし、予め生成されたものであってもよい。三次元データは、例えばＣＡＤ（Computer  Assisted  Drafting）データとして実現される。
【００６７】
図５においては、三次元データ４は、表示装置１−２および操作装置２−２のいずれにも属さないものとして表現されつつ、操作装置２−２からアクセス可能であることが表現されている。これは、三次元データ４が任意の装置に含まれていてもよいことを示している。例えば、三次元データ４は、表示装置１−２、または操作装置２−２に含まれていてもよいし、操作装置２−２とネットワークにより接続されたホームサーバ、またはクラウド上のサーバ等の他の情報処理装置に含まれていてもよい。
【００６８】
（２）接近判定部２７
接近判定部２７は、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であるか否かを判定する機能を有する。上述したように、姿勢推定部２３は、ＳＬＡＭ技術を用いて、環境マップ３における特徴点と撮像部２１により撮像された撮像画像に映る特徴点とのマッチング結果により操作装置２−１の位置および姿勢を推定する。姿勢推定部２３が姿勢情報の推定に成功するためには、少なくとも撮像範囲に特徴点が含まれること、および特徴点が識別可能な程度に撮像画像に映っていることを要する。そこで、接近判定部２７は、撮像部２１の撮像面と実オブジェクトとが過度に接近しているか否かを判定する。接近判定部２７により、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であると判定された場合、姿勢推定部２３が姿勢情報の推定に成功するための条件を満たさないおそれがあるために、後述の接近通知部２８による通知がなされる。他にも、接近判定部２７は、撮像部２１の撮像面が空を向いているなど、撮像範囲に特徴点が含まれていない場合に、接近通知部２８による通知を行ってもよい。
【００６９】
接近判定部２７は、姿勢推定部２３により推定された操作装置２−２の姿勢情報、および三次元データ４に基づいて、撮像部２１の撮像面と実オブジェクトとの距離を算出する。具体的には、接近判定部２７は、三次元データ４が示す三次元形状と姿勢情報との対応を取ることにより、姿勢情報が示す世界座標系における操作装置２−２の位置および角度を、三次元形状に対する操作装置２−２の位置および角度に変換する。そして、接近判定部２７は、三次元形状が示す実オブジェクトの表面と、操作装置２−２が有する撮像部２１の撮像面との距離を算出する。他にも、接近判定部２７は、ＳＬＡＭの特徴点情報にドロネー三角形分割（delaunay  triangulation）を適用することで簡易的にメッシュを生成して、このメッシュを疑似的な三次元形状とみなして接近判定を行ってもよい。この場合、接近判定部２７は、三次元データ４を用いずとも接近判定を行うことができる。
【００７０】
なお、図５においては、接近判定部２７が操作装置２−２に含まれているが、本開示にかかる技術はこれに限定されない。例えば、接近判定部２７が操作装置２−２と接続された他の情報処理装置に含まれてもよい。この場合、他の情報処理装置は、三次元データ４、および操作装置２−２から受信された姿勢情報に基づいて、撮像部２１の撮像面と実オブジェクトとの距離を算出して接近判定を行い、接近通知部２８による通知を制御してもよい。同様に、接近判定部２７は、表示装置１−２に含まれていてもよい。
【００７１】
（３）接近通知部２８
接近通知部２８は、接近判定部２７による判定結果に基づき、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であることを示す通知を行う通知部としての機能を有する。例えば、接近通知部２８は、表示部、振動モータ、スピーカ、またはＬＥＤ等により構成され、画面表示、振動、音声の再生、または発光等により通知を行ってもよい。接近通知部２８が通知を行うことにより、操作装置２−２を実オブジェクトから離間するようユーザに促し、操作装置２−２の姿勢推定が困難になる状況を未然に回避することができる。
【００７２】
（４）補足１
また、制御部１６は、仮想的操作補助デバイスによって、操作装置２−２による姿勢推定が困難になる状況を回避することを支援してもよい。例えば、制御部１６は、スルー画像において、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下になり得る位置に仮想的操作補助デバイスを表示する。この表示により、制御部１６は、仮想的操作補助デバイスが実オブジェクトに衝突しないようユーザに促し、操作装置２−２の姿勢推定が困難になる状況を未然に回避することができる。もちろん、これらが衝突した場合には、表示システムは、警告表示、振動、音声の再生、または発光等による通知を行ってもよい。以下、図６を参照して、このような仮想的操作補助デバイスの表示例を説明する。
【００７３】
図６は、第２の実施形態に係る表示装置１−２によるＡＲ表示例を示す図である。図６では、表示装置１−２が、スルー画像における操作装置２−２の前方に、操作装置２−２による姿勢推定が困難になる状況を回避することを支援するための仮想的操作補助デバイス８−３を表示する例を示している。この仮想的操作補助デバイス８−３は、図３を参照して上記説明した電球８−１と同様に、操作装置２−２とあたかも一体化しているかのように操作装置２−２に付随して動く。制御部１６は、このような仮想的操作補助デバイス８−３により、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下になること、即ち操作装置２−２の姿勢推定が困難になる状況を未然に回避することができる。
【００７４】
さらに、制御部１６は、この仮想的操作補助デバイスをユーザ操作に応じて任意の位置に移動させることで、実オブジェクトと接近した位置への作用を可能にする。詳しくは、制御部１６は、実オブジェクトとの距離が近すぎて操作装置２−２による姿勢推定が困難になる場所であっても、操作装置２−２本体の代わり仮想的操作補助デバイスを近付けることができる。例えば、制御部１６は、タッチパネルとして形成されたユーザ操作取得部２５でのスワイプ操作により、仮想的操作補助デバイスを上下左右、または操作装置２−２から離間／接近する方向に移動させることで、ユーザ操作に応じた位置に作用点を導く。これにより、制御部１６は、実オブジェクトに近い位置、例えば実オブジェクトそのものや実オブジェクトに接近した位置へのインタラクションを表現することができる。
【００７５】
（５）補足２
操作装置２による自身の姿勢推定が困難になる状況を回避する手法は多様に考えられる。その一例として、姿勢推定部２３が、姿勢推定が容易な撮像方向の撮像画像を選択して操作装置２−２の姿勢情報を推定することで、ＳＬＡＭ技術による姿勢推定のロバスト性を向上させることが考えられる。例えば、撮像部２１が、操作装置２−２の筐体の裏面および表面に設けられる２つの広角カメラ、または３６０度の全天球カメラとして形成されてもよい。この場合、姿勢推定部２３は、撮像画像から特徴点を認識し易い領域を選択的に用いて姿勢推定を行うことができる。他にも、撮像部２１が例えば６自由度で動く雲台上に設けられ、最も安定して姿勢推定を行うことができる方向に撮像面を向け続けるように、姿勢推定部２３が雲台を制御してもよい。
【００７６】
［３−２．構成例２］
図７は、第２の実施形態に係る表示システムの構成例２を示すブロック図である。図７に示すように、本実施形態に係る表示システムは、表示装置１−３および操作装置２−３から成り、図５を参照して説明した三次元データ４に代えて深度情報取得部２９を有する。
【００７７】
（１）深度情報取得部２９
深度情報取得部２９は、撮像部２１の撮像方向の深度情報を取得する機能を有する。例えば、深度情報取得部２９は、ステレオカメラまたは赤外線カメラ等により実現されてもよい。深度情報取得部２９は、取得した深度情報を接近判定部２７に出力する。
【００７８】
接近判定部２７は、深度情報取得部２９により出力された深度情報を用いて、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であるか否かを判定する。そして、接近通知部２８は、接近判定部２７により撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であると判定された場合、その旨を示す通知を行う。この通知により、操作装置２−３を実オブジェクトから離間するようユーザに促し、操作装置２−３の姿勢推定が困難になる状況を未然に回避することができる。
【００７９】
［３−３．構成例３］
図８は、第２の実施形態に係る表示システムの構成例３を示すブロック図である。図８に示すように、本実施形態に係る表示システムは、表示装置１−４および操作装置２−４から成り、図５を参照して説明した接近判定部２７および接近通知部２８に代えて接近判定部１８および接近通知部１９を有する。
【００８０】
（１）接近判定部１８
接近判定部１８は、接近判定部２７と同様の機能を有する。具体的には、接近判定部１８は、三次元データ４、および姿勢情報受信部１４により受信された操作装置２−４の姿勢情報に基づいて、撮像部２１の撮像面と実オブジェクトとの距離を算出する。そして、接近判定部１８は、撮像部２１の撮像面と実オブジェクトとの距離が閾値以下であるか否かを判定する。接近判定部１８は、判定結果を接近通知部１９に出力する。
【００８１】
（２）接近通知部１９
接近通知部１９は、接近通知部２８と同様の機能を有する。特に、接近通知部１９は、表示装置１−４側での通知を可能にする。例えば、接近通知部１９は、表示部１７による警告表示を行うことで、よりユーザに強い注意を促すことができる。
【００８２】
以上、本実施形態に係る表示システムの構成例を説明した。
【００８３】
＜４．第３の実施形態＞
本実施形態は、表示装置１−５が操作装置２−５に表示されたマーカーの認識結果に基づいてＳＬＡＭによる姿勢推定誤差を補正する形態である。まず、図９を参照して、本実施形態に係る表示システムの概要を説明する。
【００８４】
［４−１．概要］
図９は、第３の実施形態に係る表示システムの概要を説明するための説明図である。図９は、本実施形態に係る表示装置１−５の表示部１７に映される、操作装置２−５を撮像したスルー画像を示している。図９に示すように、本実施形態に係る操作装置２−５は、ディスプレイの全領域に黒色を表示しつつ、白色の矩形から成るマーカー５を表示する。本実施形態に係る表示装置１−５は、このマーカー５の認識結果に基づいて、ＳＬＡＭによる姿勢推定誤差に起因する、表示装置１−５および操作装置２−５の姿勢情報の統合による相対位置の推定誤差を補正する。
【００８５】
図９に示すように、マーカー５が表示装置１−５の表示部１７に正対している。詳しくは、マーカー５を示す正方形の各辺が画面の各辺と平行に映されている。操作装置２−５は、マーカー５が画面に正対するように、即ち表示装置１−５の撮像部１１に正対するように、マーカー５を表示する。これにより、スルー画像におけるマーカー５の形状が既知（固定）となるため、表示装置１−５によるマーカー５の認識負荷が軽減される。なお、図９では、一例としてマーカー５を正方形としてが、多角形、円形、楕円形等の任意の形状を取り得る。
【００８６】
以上、本実施形態に係る表示システムの概要を説明した。続いて、図１０を参照して、本実施形態に係る表示システムの構成例を説明する。
【００８７】
［４−２．構成例］
図１０は、第３の実施形態に係る表示システムの構成例を示すブロック図である。図１０に示すように、本実施形態に係る表示システムは、表示装置１−５および操作装置２−５から成り、図２を参照して説明した第１の実施形態に係る表示システムに加えて、双方向に姿勢情報を通知するための機能、およびマーカーを正対表示するための機能を有する。双方向に姿勢情報を通知するための機能は、姿勢情報送信部１４１、姿勢情報受信部１４２、姿勢情報送信部２４１、および姿勢情報受信部２４２により実現される。マーカーを正対表示するための機能は、位置補正部１４３、補正行列送信部１４４、補正行列受信部２４３、マーカー生成部２４４、およびマーカー表示部２４５により実現される。
【００８８】
（１）姿勢情報送信部１４１
姿勢情報送信部１４１は、図２を参照して上記説明した姿勢情報送信部２４と同様の機能を有する。本実施形態に係る姿勢情報送信部１４１は、姿勢推定部１３により推定された表示装置１−５の姿勢情報を、操作装置２−５に送信する。
【００８９】
（２）姿勢情報受信部１４２
姿勢情報受信部１４２は、図２を参照して上記説明した姿勢情報受信部１４と同様の機能を有する。本実施形態に係る姿勢情報受信部１４２は、後述の姿勢情報送信部２４１により送信された操作装置２−５の姿勢情報を受信して、位置補正部１４３に出力する。
【００９０】
（３）姿勢情報送信部２４１
姿勢情報送信部２４１は、図２を参照して上記説明した姿勢情報送信部２４と同様の機能を有する。本実施形態に係る姿勢情報送信部２４１は、姿勢推定部２３により推定された操作装置２−５の姿勢情報を、表示装置１−５に送信する。
【００９１】
（４）姿勢情報受信部２４２
姿勢情報受信部２４２は、図２を参照して上記説明した姿勢情報受信部１４と同様の機能を有する。本実施形態に係る姿勢情報受信部２４２は、姿勢情報送信部１４１により送信された表示装置１−５の姿勢情報を受信して、マーカー生成部２４４に出力する。
【００９２】
（５）位置補正部１４３
位置補正部１４３は、撮像部１１により撮像されたスルー画像からマーカーを画像認識し、認識結果を用いて表示装置１−５と操作装置２−５との相対位置を演算する機能を有する。詳しくは、まず、位置補正部１４３は、姿勢推定部１３により出力された表示装置１−５の姿勢情報および姿勢情報受信部１４２により受信された操作装置２−５の姿勢情報を統合して、表示装置１−５と操作装置２−５との相対位置を演算する。ここでの演算処理は、図２を参照して上記説明した制御部１６における処理と同様である。これと同期して、撮像部１１は、後述のマーカー表示部２４５により表示されたマーカーを撮像したスルー画像を出力する。そして、位置補正部１４３は、スルー画像からマーカーを画像認識することで、スルー画像における操作装置２−５の位置を推定する。ここで、ＳＬＡＭによる姿勢推定誤差が含まれているとしても、姿勢情報に基づく相対位置の演算によりスルー画像における操作装置２−５の位置が既知である。即ち、スルー画像におけるマーカーの位置が既知である。よって、位置補正部１４３は、スルー画像における限定された領域の中からマーカーを認識すればよい。仮に、その領域でのマーカーの識別に失敗する場合であっても、位置補正部１４３は、その周辺領域を探索することで、効率的にマーカーを識別することができる。このため、スルー画像全体からマーカーを認識する場合と比較して処理負荷が軽減される。位置補正部１４３は、マーカーに基づく位置推定結果により、姿勢情報の統合による相対位置の演算結果を補正する。
【００９３】
位置補正部１４３は、例えばＨａａｒ−ｌｉｋｅ特徴量を用いてマーカーを認識する。Ｈａａｒ−ｌｉｋｅ特徴量とは、矩形領域の平均明度の差分値として求められるスカラ量である。図９に示したマーカー５のような黒色の領域中の白色の領域は、黒色の領域との明度の差分が明確であるため、Ｈａａｒ−ｌｉｋｅ特徴量による認識が容易である。位置補正部１４３は、マーカーを認識すればよいので、操作装置２−５自体を認識する場合と比較して、処理負荷が軽減される。
【００９４】
本実施形態に係る制御部１６は、位置補正部１４３により演算および補正された表示装置１−５と操作装置２−５との相対位置に応じて、各種処理を行う。例えば、制御部１６は、補正後の相対位置に応じてスルー画像における操作装置２−５の位置を推定して、推定した位置に対応する位置に仮想オブジェクトを表示する。相対位置の演算結果がマーカーの認識結果に基づいて補正されているので、補正されない場合と比較して推定された位置と実際の位置との誤差が少なくなり、より自然なＡＲ表示が実現される。
【００９５】
ＳＬＡＭによる姿勢推定誤差の回転成分が大きい場合、マーカーが撮像部２１に対して正対表示されないことになり、位置補正部１４３によるマーカーの認識負荷が多大になり得る。そこで、位置補正部１４３は、回転成分の誤差を軽減すべく、マーカーの表示制御情報（形状、角度、および位置）を補正するための補正行列を生成する。詳しくは、位置補正部１４３は、スルー画像において認識したマーカーと正対する場合に認識されると想定されるマーカーとの差分を補正する補正行列を生成する。位置補正部１４３は、生成した補正行列を補正行列送信部１４４に出力する。なお、ＳＬＡＭによる姿勢推定誤差のオフセットが一定であると仮定すると、補正行列もまた一定の値となる。そこで、位置補正部１４３は、補正行列にローパスフィルター等を適用してもよい。この場合、補正幅が安定するため、後述のマーカー表示部２４５による安定したマーカーの表示が実現される。
【００９６】
（６）補正行列送信部１４４
補正行列送信部１４４は、位置補正部１４３により出力された補正行列を示す情報を、操作装置２−５に送信する機能を有する。補正行列送信部１４４は、有線／無線により操作装置２−５との間でデータの送受信を行うための通信モジュールである。例えば、補正行列送信部１４４は、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、操作装置２−５と直接、またはネットワークアクセスポイントを介して無線通信する。
【００９７】
（７）補正行列受信部２４３
補正行列受信部２４３は、補正行列送信部１４４により送信された補正行列を示す情報を受信する機能を有する。補正行列受信部２４３は、有線／無線により表示装置１−５との間でデータの送受信を行うための通信モジュールである。例えば、補正行列受信部２４３は、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、表示装置１−５と直接、またはネットワークアクセスポイントを介して無線通信する。補正行列受信部２４３は、受信した補正行列をマーカー生成部２４４に出力する。
【００９８】
（８）マーカー生成部２４４
マーカー生成部２４４は、位置補正部１４３による表示装置１−５と操作装置２−５との相対位置の演算に用いられるマーカーを生成して、生成したマーカーを表示するようマーカー表示部２４５を制御するマーカー制御部としての機能を有する。詳しくは、まず、マーカー生成部２４４は、姿勢推定部２３により出力された操作装置２−５の姿勢情報および姿勢情報受信部２４２により受信された表示装置１−５の姿勢情報を統合して、表示装置１−５と操作装置２−５との相対位置を演算する。ここでの演算処理は、図２を参照して上記説明した制御部１６における処理と同様である。次いで、マーカー生成部２４４は、相対位置の演算結果に基づいて、表示装置１−５に正対するマーカーの形状、角度、および位置を規定する表示制御情報を生成する。そして、マーカー生成部２４４は、生成した表示制御情報をマーカー表示部２４５に出力して、表示装置１−５の撮像部１１に正対するマーカーを表示するようマーカー表示部２４５を制御する。これにより、マーカーが表示装置１−５の撮像部１１に正対するため、位置補正部１４３によるマーカーの認識がより容易になり、認識負荷が軽減される。なお、マーカーは、表示装置１−５の撮像部１１により撮像されて初めて意味をもつものであるため、マーカー生成部２４４は、操作装置２−５が撮像部１１の画角外である場合、マーカーの表示を停止してもよい。また、マーカー生成部２４４は、ＳＬＡＭによる姿勢推定誤差が少ない場合は位置のみの補正を行うなど、補正内容を制限することでマーカーの生成負荷を軽減してもよい。
【００９９】
マーカー生成部２４４は、ＳＬＡＭによる姿勢推定誤差に応じて、表示装置１−５の撮像部１１に正対するようマーカーの形状、位置、角度を補正する。詳しくは、表示装置１−５の位置補正部１４３によるマーカーの認識結果にさらに基づいて、表示装置１−５の撮像部１１に正対するマーカーを表示するようマーカー表示部２４５を制御する。具体的には、マーカー生成部２４４は、相対位置の演算結果に基づいて生成したマーカーの表示制御情報を、補正行列受信部２４３により受信された補正行列により補正する。これにより、マーカーが表示装置１−５の撮像部１１にさらに正対するようになるため、位置補正部１４３によるマーカーの認識負荷がさらに軽減される。
【０１００】
マーカー生成部２４４が生成するマーカーは多様に考えられる。例えば、マーカー生成部２４４は、図９に示したように、Ｈａａｒ−ｌｉｋｅ特徴量による認識が容易な、周辺の領域との明度差分が明確な単一色から成る矩形を、マーカーとして生成してもよい。他にも、マーカー生成部２４４は、Ｃｙｂｅｒ  Ｃｏｄｅ等の検出コストが低い平面マーカーを生成してもよい。この場合、Ｈａａｒ−ｌｉｋｅ特徴量によるマーカーの識別が困難な場合であっても、識別を可能にすることができる。
【０１０１】
（９）マーカー表示部２４５
マーカー表示部２４５は、マーカー生成部２４４により生成されたマーカーを表示する機能を有する。マーカー表示部２４５は、例えばＬＣＤまたはＯＬＥＤなどにより実現される。
【０１０２】
（１０）補足
なお、図１０においては、位置補正部１４３が表示装置１−５に含まれ、マーカー生成部２４４が操作装置２−５に含まれているが、本開示にかかる技術はこれに限定されない。例えば、位置補正部１４３およびマーカー生成部２４４が表示装置１−５および操作装置２−５と接続された他の情報処理装置に含まれてもよい。この場合、他の情報処理装置は、マーカーの認識および相対位置の演算を行って表示部１７の表示を制御し、補正行列を生成してマーカー表示部２４５によるマーカーの表示を制御してもよい。同様に、位置補正部１４３およびマーカー生成部２４４は、表示装置１−５または操作装置２−５のいずれか一方に含まれていてもよい。
【０１０３】
以上、本実施形態に係る表示システムの構成例を説明した。
【０１０４】
＜５．まとめ＞
ここまで、図１〜図１０を用いて、本開示に係る技術の実施形態を詳細に説明した。上述した実施形態によれば、処理装置と操作装置との位置関係に制約を設けることなく、処理装置による操作装置の位置に応じた処理が可能である。具体的には、本実施形態に係る表示システムは、表示装置１および操作装置２の姿勢推定を同一の環境マップ３を用いて行い、後に統合することによりこれらの相対位置を推定する。このため、表示システムは、表示装置１の撮像部１１の画角から操作装置２が外れた場合であっても、相対位置を推定することができる。つまり、表示システムは、表示装置１と操作装置２との位置関係に制約を設けることなく、相対位置を推定することができ、推定結果に応じた各種処理を行うことができる。
【０１０５】
また、表示装置１は、位置推定のために、操作装置２そのものを画像認識により追跡する必要がないため、相対位置の推定処理のための負荷が軽減される。また、表示装置１は、操作装置２に表示されたマーカーを認識することで、相対位置をさらに正確に推定することができる。その上、操作装置２は、相対位置を演算することにより、また、さらには補正行列を用いることにより、マーカーを表示装置１に対して正対表示することができるため、表示装置１によるマーカーの認識負荷が軽減される。
【０１０６】
また、表示装置１は、仮想的な操作用補助デバイスを表示し、実世界とのインタラクションを表現することができる。操作装置２は、ＳＬＡＭにより姿勢推定を行うため、撮像部２１の撮像面と実オブジェクトとが過度に接近した場合に姿勢推定が困難になる。この点、表示装置１は、仮想的な操作用補助デバイスを表示することで、操作装置２の姿勢推定が困難になる状況を未然に回避することができ、また、実オブジェクトに近い位置での実オブジェクトとのインタラクションを表現することができる。
【０１０７】
また、表示装置１および操作装置２は、同一または類似の機能を多く有している。例えば、姿勢推定部１３および姿勢推定部２３、姿勢情報送信部１４１および姿勢情報送信部２４１、姿勢情報受信部１４２および姿勢情報受信部２４２は、同一または類似の機能を実現している。このため、表示装置１および操作装置２はプログラム的に可換であるため、表示システムを開発する際の開発効率が良い。
【０１０８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０９】
例えば、上記実施形態の説明において随時説明してきたように、表示装置１、および操作装置２の各構成要素は、表示装置１、操作装置２、または他の情報処理装置のいずれに含まれてもよい。例えば、表示装置１が撮像部１１、センサ１２、および表示部１７を有し、操作装置２が撮像部２１、センサ２２、ユーザ操作取得部２５を有し、サーバ等の他の情報処理装置がその他の構成要素を有していてもよい。この場合、サーバが、撮像画像およびセンシング結果に基づいてＳＬＡＭ技術により表示装置１および操作装置２の姿勢情報をそれぞれ推定し、統合して相対位置を推定してもよい。そして、表示装置１は、サーバによる制御に応じてＡＲ画像を表示してもよい。また、操作装置２は、サーバによる制御に応じてマーカーを表示してもよい。
【０１１０】
また、本開示の第１〜第３の実施形態の実施形態は適宜組み合わせることが可能である。
【０１１１】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、およびソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１１２】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１３】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、
前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、
を備える、情報処理装置。
（２）
前記第１の姿勢情報は、前記環境マップにおける前記処理装置の位置および姿勢を示す第２の姿勢情報との統合により前記操作装置と前記処理装置との相対位置を演算するために用いられる、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記処理装置により認識され、前記相対位置の演算に用いられるマーカーを表示するよう前記操作装置の表示部を制御するマーカー制御部をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記マーカー制御部は、前記第１の姿勢情報および前記第２の姿勢情報との統合による前記相対位置の演算結果に基づいて、前記処理装置の撮像部に正対する前記マーカーを表示するよう前記表示部を制御する、前記（３）に記載の情報処理装置。
（５）
前記マーカー制御部は、前記処理装置による前記マーカーの認識結果にさらに基づいて、前記処理装置の撮像部に正対する前記マーカーを表示するよう前記表示部を制御する、前記（４）に記載の情報処理装置。
（６）
前記第１の姿勢情報は、前記処理装置により前記相対位置に応じた位置に仮想オブジェクトを表示するために用いられる、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記情報処理装置は、
前記撮像部の撮像面と実オブジェクトとの距離が閾値以下であることを示す通知を行う通知部をさらに備える、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記推定部は、姿勢推定が容易な撮像方向の撮像画像を選択して前記第１の姿勢情報を推定する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定することと、
推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信することと、
を備える、情報処理装置のプロセッサにより実行される情報処理方法。
（１０）
コンピュータを、
実空間を撮像する撮像部により撮像された撮像画像に基づいて、前記実空間に存在する物体の位置を表現する環境マップにおける前記撮像部を有する操作装置の位置および姿勢を示す第１の姿勢情報を推定する推定部と、
前記推定部により推定された前記第１の姿勢情報を、前記操作装置の位置および姿勢に応じた処理を行う処理装置に送信する通信部と、
として機能させるためのプログラム。
【符号の説明】
【０１１４】
１    表示装置
１１    撮像部
１２    センサ
１３    姿勢推定部
１４    姿勢情報受信部
１４１  姿勢情報送信部
１４２  姿勢情報受信部
１４３  位置補正部
１４４  補正行列送信部
１５    制御情報受信部
１６    制御部
１７    表示部
１８    接近判定部
１９    接近通知部
２    操作装置
２１    撮像部
２２    センサ
２３    姿勢推定部
２４    姿勢情報送信部
２４１  姿勢情報送信部
２４２  姿勢情報受信部
２４３  補正行列受信部
２４４  マーカー生成部
２４５  マーカー表示部
２５    ユーザ操作取得部
２６    制御信号送信部
２７    接近判定部
２８    接近通知部
２９    深度情報取得部
３    環境マップ
４    三次元データ
５    マーカー
【図１】
2015118442.tif 000003
【図２】
2015118442.tif 000004
【図３】
2015118442.tif 000005
【図４】
2015118442.tif 000006
【図５】
2015118442.tif 000007
【図６】
2015118442.tif 000008
【図７】
2015118442.tif 000009
【図８】
2015118442.tif 000010
【図９】
2015118442.tif 000011
【図１０】
2015118442.tif 000012