(57)【要約】 【課題】電波経路に基づいた情報をユーザに提示する。【解決手段】他の通信装置と無線通信を行うことが可能な通信装置は、他の通信装置の位置姿勢を検出し、検出された他の通信装置の位置姿勢および通信装置の位置姿勢に基づいて、他の通信装置および通信装置との間の電波経路を推定し、推定された電波経路に関する情報をユーザに提示する。【選択図】  図３
2016129316.tif 000002
【特許請求の範囲】
【請求項１】
他の通信装置と無線通信を行うことが可能な通信装置であって、
前記他の通信装置の位置姿勢を検出する検出手段と、
検出された前記他の通信装置の位置姿勢および前記通信装置の位置姿勢に基づいて、前記他の通信装置および前記通信装置との間の電波経路を推定する推定手段と、
前記推定された電波経路に関する情報をユーザに提示する提示手段と、
を有することを特徴とする通信装置。
【請求項２】
現実空間を撮像して画像データを生成する撮像手段を有するユーザ装置と無線通信を行う通信装置であって、
前記ユーザ装置から前記画像データを受信する受信手段と、
受信された前記画像データに基づいて前記ユーザ装置の位置姿勢を検出する検出手段と、
検出された前記ユーザ装置の位置姿勢と前記通信装置の位置姿勢に基づいて、前記ユーザ装置と前記通信装置との電波経路を推定する推定手段と、
推定された前記電波経路に基づいて、前記電波経路に関する情報を生成する生成手段と、
生成された前記電波経路に関する情報を前記ユーザ装置に送信する送信手段と、を有することを特徴とする通信装置。
【請求項３】
前記推定手段は、前記受信手段が前記ユーザ装置から所定の指示の情報を受信した場合に、前記電波経路を推定することを特徴とする請求項２に記載の通信装置。
【請求項４】
前記通信装置と前記ユーザ装置の少なくとも一方の、無線通信を行う際のアンテナの電波指向方向を記憶する指向方向記憶手段と、
前記現実空間における反射物体の位置および形状を記憶する周囲環境記憶手段とを更に有し、
前記推定手段は、検出された前記ユーザ装置の位置姿勢、記憶された前記電波指向方向および前記反射物体の位置および形状とに基づいて、前記電波経路を推定することを特徴とする請求項２または３に記載の通信装置。
【請求項５】
前記生成手段は、前記電波経路に関する情報として、推定された前記電波経路を可視化した画像を生成することを特徴とする請求項２から４のいずれか１項に記載の通信装置。
【請求項６】
前記生成手段は、前記電波経路に関する情報として、推定された前記電波経路を可視化した画像が含まれた、前記ユーザ装置の位置姿勢を有する視点から見たときの画像を生成することを特徴とする請求項２から４のいずれか１項に記載の通信装置。
【請求項７】
前記電波経路を可視化した画像において、電波経路の形状は前記ユーザ装置と前記電波経路との距離に基づいて変化することを特徴とする請求項５または６に記載の通信装置。
【請求項８】
前記生成手段は、前記電波経路を半透明の色で表した画像を生成することを特徴とする請求項５から７のいずれか１項に記載の通信装置。
【請求項９】
前記生成手段は、前記電波経路を電波経路毎に異なる色または模様で表した画像を生成することを特徴とする請求項５から８のいずれか１項に記載の通信装置。
【請求項１０】
前記生成手段は、前記受信手段により受信された画像データに前記生成した画像を合成した合成画像を生成し、前記送信手段は前記合成画像を前記ユーザ装置に送信することを特徴とする請求項５から９のいずれか１項に記載の通信装置。
【請求項１１】
前記生成手段は、前記ユーザ装置と推定された前記電波経路との距離が所定の条件を満たす場合に、前記電波経路に関する情報を生成することを特徴とする請求項２から１０のいずれか１項に記載の通信装置。
【請求項１２】
前記生成手段は、前記ユーザ装置と前記推定された電波経路との距離および前記ユーザ装置の移動速度が所定の条件を満たす場合に、前記電波経路に関する情報を生成することを特徴とすることを特徴とする請求項１１に記載の通信装置。
【請求項１３】
少なくとも一つ以上のユーザ装置と、前記ユーザ装置と無線通信を行う少なくとも一つ以上の通信装置とからなる通信システムであって、
現実空間を撮像して画像データを生成する撮像手段と、
生成された前記画像データに基づいて前記ユーザ装置の位置姿勢を検出する検出手段と、
検出された前記ユーザ装置の位置姿勢と前記通信装置の位置姿勢に基づいて、無線通信を行う装置との間の電波経路を推定する推定手段と、
推定された前記電波経路に基づいて、前記電波経路に関する情報を生成する生成手段と、
生成された前記電波経路に関する情報をユーザに提示する提示手段と
を有することを特徴とする通信システム。
【請求項１４】
他の通信装置と無線通信を行うことが可能な通信装置の制御方法であって、
前記他の通信装置の位置姿勢を検出する検出工程と、
検出された前記他の通信装置の位置姿勢および前記通信装置の位置姿勢に基づいて、前記他の通信装置および前記通信装置との間の電波経路を推定する推定工程と、
前記推定された電波経路に関する情報をユーザに提示する提示工程と、
を有することを特徴とする通信装置の制御方法。
【請求項１５】
現実空間を撮像して画像データを生成する撮像手段を有するユーザ装置と無線通信を行う通信装置の制御方法であって、
前記ユーザ装置から前記画像データを受信する受信工程と、
受信された前記画像データに基づいて前記ユーザ装置の位置姿勢を検出する検出工程と、
検出された前記ユーザ装置の位置姿勢と前記通信装置の位置姿勢に基づいて、前記ユーザ装置と前記通信装置との電波経路を推定する推定工程と、
推定された前記電波経路に基づいて、前記電波経路に関する情報を生成する生成工程と、
生成された前記電波経路に関する情報を前記ユーザ装置に送信する送信工程と、を有することを特徴とする通信装置の制御方法。
【請求項１６】
請求項１から請求項１２のいずれか１項に記載の通信装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置、その制御方法、プログラム、および通信システムに関する。
【背景技術】
【０００２】
近年、無線通信機能を有した機器の普及が進んでいる。一般に、無線通信機器間の通信品質を向上するために、無線通信機器に備え付けられたアンテナの向きの調整が行われる。アンテナの向きの調整を行う際にユーザを支援する技術として、例えば、特許文献１に記載される技術がある。特許文献１には、アンテナを有する無線通信装置を含む撮像画像において、該アンテナの電波指向方向をＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）により表示する技術が記載されている。
【０００３】
一方、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）システムが知られている。このＭＲシステムを構成するＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）とＣＧ画像を生成する画像処理装置との間で行われる通信を無線化する技術として、特許文献２には、無線接続に係わるユーザ負荷を軽減する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−７５７２号公報
【特許文献２】特開２００９−１５７５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
無線通信機器間で送受信される電波の経路が遮られると、無線通信機器において受信電波強度が低下することにより、通信エラーが発生する。特に、無線通信にミリ波等の直進性の強い電波を使用する場合に、この現象は顕著に発生する。上記無線ＭＲシステムにおいては、ユーザが移動しながらＭＲ空間を体感する際、他のユーザのＨＭＤと画像処理装置間の電波経路を遮ってしまうことがある。この結果、電波経路を遮られたユーザのＨＭＤに通信エラーが発生し、そのユーザのＨＭＤにはエラーを含む違和感のある画像が表示されることになる。この問題に対して、電波経路の遮断回避を促すために、特許文献１のように電波に関する情報をユーザに提示することが考えられる。
【０００６】
しかしながら、特許文献１では、アンテナを有する無線通信装置を含む撮像画像において、該アンテナの電波指向方向を表示する構成については開示されているが、無線通信機器間の電波経路に関する情報を提示するための構成については考慮されていない。例えば、アンテナの電波指向方向とは異なる方向に放射された電波により無線通信が行われる場合がある。この場合、アンテナの電波指向方向と無線通信機器間で送受信される電波の経路は必ずしも一致しない。このため、ユーザにアンテナの電波指向方向を提示するのみでは、ユーザはその電波経路を正しく把握することはできない。
【０００７】
また、特許文献１記載の構成では、撮像画像に含まれない無線通信機器が移動する場合、その無線通信機器の位置を特定することができない。したがって、無線ＭＲシステムにおいては、撮像画像に含まれない無線通信機器、例えば外の他ユーザのＨＭＤ、による送受信のための電波の経路を特定することができないため、この電波経路の遮断を回避するための情報をユーザに提示することができない。
【０００８】
本願発明は、上述の課題に鑑みてなされた発明であり、無線通信機器間の電波経路に基づいた情報をユーザに提示することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明の一態様による通信装置は以下の構成を有する。すなわち、他の通信装置と無線通信を行うことが可能な通信装置であって、前記他の通信装置および前記通信装置の位置姿勢を検出する検出手段と、前記検出された位置姿勢に基づいて、前記他の通信装置および前記通信装置間の電波経路を推定する推定手段と、前記推定された電波経路に関する情報をユーザに提示する提示手段とを有する。
【発明の効果】
【００１０】
本発明によれば、無線通信機器間の電波経路に基づいた情報をユーザに提示することで、ユーザは視覚的に電波経路を認識することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】無線ＭＲシステムの構成を示す図。
【図２】ＨＭＤ１０１−１の機能構成を示すブロック図。
【図３】画像処理装置１０４−１の機能構成を示すブロック図。
【図４】ＨＭＤ１０１−１の動作を説明するフローチャート。
【図５】画像処理装置１０４−１の動作を説明するフローチャート。
【図６】３人のユーザがＨＭＤを装着してＭＲ空間を体感している様子を示す俯瞰図。
【図７】ＨＭＤ１０１−１に表示される画像の一例を示す図。
【図８】実施形態２の画像処理装置１０４−１の機能構成を示すブロック図。
【図９】ＨＭＤ１０１−１に表示される画像の一例を示す図。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
［実施形態１］
図１は、ビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）を利用した無線ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）通信システム（以下、ＭＲシステム）の構成を示す図である。本実施形態のＭＲシステムでは、３人のユーザが、ユーザ装置として、自身の頭部にＨＭＤを装着してＭＲ空間を体感するものとする。ＨＭＤ１０１−１〜１０１−３はそれぞれ、所定位置に配置された通信装置としての画像処理装置１０４−１〜１０４−３と無線接続されており、画像データ等が送受信される。アンテナ１０２−１〜１０２−３とアンテナ１０３−１〜１０３−３は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３に備え付けられたアンテナである。無線通信方式としては、ＩＥＥＥ８０２．１１ａｃやＩＥＥＥ８０２．１１ａｄ等の任意の方式が用いられる。画像処理装置１０４−１〜１０４−３は、Ｅｔｈｅｒｎｅｔ（登録商標）や無線のＬＡＮ１０５（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）により接続される。
【００１４】
本実施形態のＭＲシステムは以下のように動作することで、ユーザにＭＲ空間を提示する。なお、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３は、それぞれ同様の構成及び動作であるため、以後の説明ではＨＭＤ１０１−１と画像処理装置１０４−１の構成及び動作のみを説明するものとする。
【００１５】
ＨＭＤ１０１−１は、ユーザの瞳位置と略一致した位置で撮像した撮像画像を、画像処理装置１０４−１に送信する。そして、画像処理装置１０４−１は、受信した撮像画像にＣＧ画像を重畳した画像（以後、ＭＲ画像と呼ぶ）を生成し、ＨＭＤ１０１−１に送信する。ＨＭＤ１０１−１は、画像処理装置１０４−１から送信されたＭＲ画像を表示することで、ユーザにＭＲ空間を提示する。なお、本実施形態では、ＨＭＤと画像処理装置の数をそれぞれ３台として説明するが、本実施形態は任意の台数に適用可能である。
【００１６】
図２は、ＨＭＤ１０１−１の機能構成を示すブロック図である。撮像部２０１は、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体を、所定のフレームレートで撮像し、撮像画像データを生成する。撮像部２０１は、ステレオ画像を撮像すべく、右目用の撮像素子、左目用の撮像素子、光学系により構成される。表示モード選択部２０２は、ＨＭＤ１０１−１に備え付けられたスイッチ等で構成され、ユーザによるスイッチ操作等に基づいて、表示モードとして、通常表示モードと電波経路表示モードのいずれかを選択する。
【００１７】
無線通信部２０３は、送信手段、受信手段および変調手段を含む。無線通信部２０３は、撮像部２０１から入力される撮像画像データと表示モード選択部２０２から入力される表示モード情報を含む送信データに対して、使用する無線方式に応じた変調処理を施すことにより、送信データを無線信号へと変換する。この無線信号は、アンテナ１０２−１を介して画像処理装置１０４−１に送信される。また、無線通信部２０３は、アンテナ１０２−１を介して画像処理装置１０４−１から受信する無線信号を復調することにより、ＭＲ画像データを受信する。
【００１８】
表示部２０４は、無線通信部２０３から入力されるＭＲ画像データを表示する。表示部２０４は、右目用の表示デバイス、左目用の表示デバイス、光学系により構成される。それぞれの表示デバイスとしては、小型の液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）が用いられる。
【００１９】
図３は、画像処理装置１０４−１の機能構成を示すブロック図である。無線通信部３０１は、アンテナ１０３−１を介してＨＭＤ１０１−１から撮像画像データと表示モード情報を受信する。無線通信部３０１は、表示モード情報が電波経路表示モードであった場合、ＬＡＮ通信部３０３とＣＧ生成部３０７にその旨を出力する。例えば、無線通信部３０１は、電波経路表示モードであることを示す情報をＬＡＮ通信部３０３とＣＧ生成部３０７に送信する。また、無線通信部３０１は、画像合成部３０８から入力されるＭＲ画像データを、アンテナ１０３−１を介してＨＭＤ１０１−１に送信する。
【００２０】
位置姿勢検出部３０２は、無線通信部３０１から入力される撮像画像データを用いて、ＨＭＤ１０１−１の位置姿勢を検出する。ＨＭＤ１０１−１の位置姿勢を求める方法としては、例えば、現実空間中の既知の位置に複数の指標を配置し、撮像画像上における指標の座標を検出する方法が用いられる。複数の指標は、それぞれが異なる色を有する円形上のマーカによって構成してもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成してもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を用いることも可能である。即ち、指標は、撮像画像上における指標の座標が検出可能であって、かついずれの指標であるかが識別可能であるような指標であれば何れの形態であってもよい。
【００２１】
ＨＭＤ１０１−１の表示モードが電波経路表示モードである場合、ＬＡＮ通信部３０３は、受信手段と送信手段を有する。ＬＡＮ通信部３０３は、ＬＡＮ１０５により接続されている他の画像処理装置１０４−２〜１０４−３に対して、ＨＭＤ１０１−２〜１０１−３の位置姿勢情報を要求する。また、画像処理装置１０４−２〜１０４−３からＨＭＤ１０１−１の位置姿勢情報が要求された場合、要求元の画像処理装置１０４−２〜１０４−３に対してＨＭＤ１０１−１の位置姿勢情報を送信する。
【００２２】
位置姿勢記憶部３０４は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置姿勢情報を記憶する。位置姿勢記憶部３０４は、位置姿勢検出部３０２から出力されたＨＭＤ１０１−１の位置姿勢情報を記憶する。また、位置姿勢記憶部３０４は、前述したＬＡＮ通信部３０３の処理により画像処理装置１０４−２〜１０４−３から取得したＨＭＤ１０１−２〜１０１−３の位置姿勢情報を記憶する。
【００２３】
画像処理装置１０４−１〜１０４−３は既知の位置に配置されており、その位置姿勢情報は既知であるものとする。なお、画像処理装置１０４−１〜１０４−３の位置姿勢は、例えば特許文献２に記載されている方法により取得されてもよい。すなわち、画像処理装置１０４−１〜１０４−３の位置にマーカ等の指標を配置し、現実空間中の既知の位置に配置された指標との相対位置関係から、画像処理装置１０４−１〜１０４−３の位置姿勢情報を求めるようにしてもよい。この場合には、事前にＨＭＤ１０１−１が画像処理装置１０４−１〜１０４−３と現実空間中に配置された指標を撮像し、位置姿勢検出部３０２が、前述の処理と同様の処理により画像処理装置１０４−１〜１０４−３の位置姿勢を求めるものとする。
【００２４】
電波経路推定部３０５は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置姿勢情報から、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の間で送受信される電波の経路を推定する。本実施形態では、電波経路推定部３０５は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３は、直達波により通信を行っているものとして、電波経路を推定する。即ち、電波経路推定部３０５は、ＨＭＤ１０１−１と画像処理装置１０４−１の位置とを結ぶ直線を、ＨＭＤ１０１−１と画像処理装置１０４−１との間の電波経路として推定する。同様に、電波経路推定部３０５は、ＨＭＤ１０１−２と画像処理装置１０４−２、ＨＭＤ１０１−３と画像処理装置１０４−３の間で送受信される電波の経路を推定する。
【００２５】
なお、電波経路推定部３０５は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置ではなく、それぞれに備え付けられたアンテナ間を結ぶ直線を電波経路として推定するようにしてもよい。また、電波経路推定部３０５の推定する電波経路は、直線に限定されるものではなく、直線を中心とした円柱や角柱等、任意形状の領域を電波経路として推定するようにしてもよい。
【００２６】
コンテンツＤＢ（データベース）３０６には、仮想空間を構成する各仮想物体に係わるデータが保存されている。本実施形態では、コンテンツＤＢ３０６には、例えば車等、通常のＭＲシステムにおいてユーザに提示する仮想物体に関するデータに加え、電波経路推定部３０５で推定された電波経路に関するデータが保存される。
【００２７】
ＣＧ生成部３０７は、コンテンツＤＢ３０６に保持されている仮想空間に関するデータに基づいて、この仮想空間をＨＭＤ１０１−１の位置姿勢を有する視点から見たときの画像を、可視化したＣＧ画像として生成する。ここで、ＣＧ生成部３０７は、ＨＭＤ１０１−１の表示モードが電波経路表示モードである場合、電波経路推定部３０５により推定された電波経路を含むＣＧ画像を生成する。
【００２８】
画像合成部３０８は、ＨＭＤ１０１−１から受信した撮像画像データに、ＣＧ生成部３０７から入力されるＣＧ画像を合成することにより、合成画像としてＭＲ画像データを生成し、無線通信部３０１に出力する。
【００２９】
上記の構成を有する本実施形態のＭＲシステムにおけるＨＭＤ１０１−１の動作を、図４に示すフローチャートを用いて説明する。図４は、ＨＭＤ１０１−１の動作を説明するフローチャートである。なお、図４に示したフローチャートは、１画像フレーム分の処理であり、実際にはＨＭＤ１０１−１は１画像フレーム分の処理を所定のフレームレートで繰り返し行う。
【００３０】
ステップＳ４０１において、撮像部２０１は、左目用の撮像画像と右目用の撮像画像を取得する。ステップＳ４０２において、ユーザの操作等に指示基づいて、表示モード選択部２０２が表示モードとして電波経路表示モードを選択した場合には（ステップＳ４０２のＹＥＳ）、処理はステップＳ４０３に進み、表示モードとして通常表示モードを選択した場合には（ステップＳ４０２のＮＯ）、処理はステップＳ４０４に進む。
【００３１】
ステップＳ４０３において、無線通信部２０３は、アンテナ１０２−１を介して、画像処理装置１０４−１に対し、撮像画像データと電波経路表示モードである旨を示す表示モード情報とを送信する。ステップＳ４０４において、無線通信部２０３は、アンテナ１０２−１を介して、画像処理装置１０４−１に撮像画像データと通常表示モードである旨を示す表示モード情報とを送信する。ステップＳ４０５において、無線通信部２０３は、画像処理装置１０４−１からＭＲ画像データを受信する。ステップＳ４０６において、無線通信部２０３は、ＭＲ画像データを表示部２０４へ出力し、表示部２０４は入力されたＭＲ画像データを表示する。
【００３２】
続いて、画像処理装置１０４−１の動作を、図５に示すフローチャートを用いて説明する。図５は、画像処理装置１０４−１の動作を説明するフローチャートである。なお、図４と同様に、図５に示したフローチャートも１画像フレーム分の処理であり、実際には画像処理装置１０４−１は１画像フレーム分の処理を所定のフレームレートで繰り返し行う。
【００３３】
ステップＳ５０１において、無線通信部３０１は、ＨＭＤ１０１―１から撮像画像データと表示モード情報を受信する。ステップＳ５０２において、位置姿勢検出部３０２は、ＨＭＤ１０１−１の位置姿勢を求める。ステップＳ５０３において、ＬＡＮ通信部３０３が画像処理装置１０４−２と画像処理装置１０４−３の少なくとも一方からＨＭＤ１０１−１の位置姿勢情報の要求を受けた場合（ステップＳ５０３のＹＥＳ）、処理はステップＳ５０４に進み、要求を受けていない場合には（ステップＳ５０３のＮＯ）、処理はステップＳ５０５に進む。
【００３４】
ステップＳ５０４において、ＬＡＮ通信部３０３は、位置姿勢記憶部３０４から取得したＨＭＤ１０１−１の位置姿勢情報を、ＨＭＤ１０１−１の位置姿勢情報の要求元の画像処理装置１０４−２〜１０４−３に対して送信する。ステップＳ５０５において、ＨＭＤ１０１−１の表示モードが電波経路表示モードである場合（ステップＳ５０５のＹＥＳ）、処理はステップＳ５０６に進む。一方、ＨＭＤ１０１−１の表示モードが通常表示モードである場合（ステップＳ５０５のＮＯ）、処理はステップＳ５１０に進む。
【００３５】
ステップＳ５０６において、ＬＡＮ通信部３０３は、画像処理装置１０４−２と画像処理装置１０４−３に対して、ＨＭＤ１０１−２とＨＭＤ１０１−３の位置姿勢情報を要求する。そして、ＬＡＮ通信部３０３が他の画像処理装置１０４−２と画像処理装置１０４−３からＨＭＤ１０１−２とＨＭＤ１０１−３の位置姿勢情報を受信すると、処理はステップＳ５０７に進む。ステップＳ５０７において、電波経路推定部３０５は、前述した処理により、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の間の電波経路を推定する。
【００３６】
ステップＳ５０８において、コンテンツＤＢ３０６は、ステップＳ５０７で推定された電波経路を含み、保持するデータを更新する。ステップＳ５０９において、ＣＧ生成部３０７は、コンテンツＤＢ３０６のデータに基づいて、電波経路を含むＣＧ画像を生成する。一方、ＨＭＤ１０１−１の表示モードが通常表示モードである場合には、ステップＳ５１０において、コンテンツＤＢ３０６は、保持するデータから電波経路に関するデータを消去して、保持するデータを更新し、ステップＳ５１１において、ＣＧ生成部３０７は、電波経路を含まないＣＧ画像を生成する。
【００３７】
ステップＳ５１２において、画像合成部３０８は、ステップＳ５０９またはステップＳ５１１で生成されたＣＧ画像と撮像画像データを合成することにより、ＭＲ画像データを生成する。ステップＳ５１３において、無線通信部３０１は、ＨＭＤ１０１−１に対してＭＲ画像データを送信する。
【００３８】
続いて、ＨＭＤ１０１−１が電波経路表示モードのときに表示される画像について説明する。図６は、図１に示したＭＲシステムにおいて、３人のユーザが自身の頭部にＨＭＤを装着してＭＲ空間を体感している様子を示す俯瞰図の一例である。同図中、ユーザ６０１−１〜６０１−３はそれぞれ、ＨＭＤ１０１−１〜１０１−３を装着している。また、ユーザ６０１−１に付与した斜線領域は、ＨＭＤ１０１−１の撮像方向を示しており、その撮像範囲内には画像処理装置１０４−２とユーザ６０１−３が存在しているものとする。
【００３９】
図７は、図６に示す状況において、ＨＭＤ１０１−１の表示部２０４に表示される画像の例を示す図である。図７において、仮想物体７０１−２が、ＨＭＤ１０１−２と画像処理装置１０４−２との間の電波経路として表示される。同様に、仮想物体７０１−３が、ＨＭＤ１０１−３と画像処理装置１０４−３との間の電波経路として表示される。
【００４０】
なお、電波経路を示す仮想物体は、所定の色や模様により、電波経路であることを示すよう表示されてもよい。また、電波経路を示す仮想物体は、半透明とし、背景や他の仮想物体を視認することが可能となるように表示されてもよい。また、例えば、ＨＭＤ１０１−１と画像処理装置１０４−１との間の電波経路は赤色とし、ＨＭＤ１０１−２と画像処理装置１０４−２との間の電波経路は青色とするなど、電波経路毎に個別に色を分けて表示されてもよい。これら電波経路の表示制御は、表示部２０４または不図示の表示制御部が行ってもよい。また、これら電波経路の表示方法については、ユーザが電波経路表示モードを選択する際に、その表示方法を選択するようにしてもよいし、予め定められた方法で表示するようにしてもよい。
【００４１】
これら表示方法は、コンテンツＤＢ３０６が電波経路推定部３０５で推定された電波経路に基づいて保持するデータを更新する際に、所望の表示方法となるようデータを更新することで対応することが可能である。なお、図７の例では、ＨＭＤ１０１−１には、ＨＭＤ１０１−２〜１０１−３と画像処理装置１０４−２〜１０４−３との間の電波経路のみが表示されているが、撮像画像内にＨＭＤ１０１−１と画像処理装置１０４−１との間の電波経路が存在する場合には、その電波経路も表示される。
【００４２】
なお、ＨＭＤ１０１−１からの距離により、表示する電波経路の形状を変化させてもよい。例えば、ＨＭＤ１０１−１自身が遮断する可能性の高い電波経路、即ちＨＭＤ１０１−１からの距離が小さい電波経路ほど、その視認性を高めるために太く表示するようにしてもよい。また、ＨＭＤ１０１−１から所定距離以下の電波経路のみを表示し、他の電波経路は非表示とするようにしてもよい。
【００４３】
本実施形態では、ＨＭＤ１０１−１の位置姿勢を画像処理装置１０４−１が検出する構成としたが、ＨＭＤ１０１−１に位置姿勢検出部３０２を備え、ＨＭＤ１０１−１が自身の位置姿勢を検出する構成としてもよい。また、本実施形態では、撮像画像中の指標を検出することによりＨＭＤ１０１−１の位置姿勢を求める構成としたが、ＨＭＤ１０１−１に磁気センサや加速度センサ、角速度センサ等のセンサを備え、これらセンサデータから、ＨＭＤ１０１−１または画像処理装置１０４−１が、ＨＭＤ１０１−１の位置姿勢を求めるようにしてもよい。
【００４４】
また、本実施形態では、画像処理装置１０４−１がＭＲ画像の生成処理を行うものとしたが、画像処理装置１０４−１がＨＭＤ１０１−１にＣＧ画像のみを送信し、ＨＭＤ１０１−１が撮像画像にＣＧ画像を重畳することでＭＲ画像を生成するようにしてもよい。
【００４５】
このように、本実施形態によれば、上述したＭＲシステムの各部の構成及び動作により、無線通信機器間の電波経路を可視化してユーザに提示することできる。これにより、ユーザが移動する際に、他のユーザの電波経路を確認しながら移動することができるため、ユーザ移動に伴う電波経路の遮断を回避することが可能となる。
【００４６】
［実施形態２］
無線通信機のアンテナを、フェーズドアレイアンテナ等の、電波指向方向を電気的に制御可能な構成とするとともに、アンテナの電波指向方向を壁等の反射物体に向け、反射波により通信を行う技術が知られている。実施形態１では、画像処理装置１０４−１は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置とを結ぶ直線状の領域、即ち直達波経路を電波経路として推定した。本実施形態では、画像処理装置１０４−１は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置姿勢情報に加え、アンテナの電波指向性に関する情報を収集し、反射を考慮した電波経路を推定する。
【００４７】
本実施形態のアンテナ１０２−１〜１０２−３、１０３−１〜１０３−４は、フェーズドアレイアンテナ等、電波指向方向を電気的に制御可能なアンテナである。そして、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３は、無線通信に望ましい電波指向方向を探索しながら通信を行う。この電波指向方向の探索は、８０２．１１ａｄのビームフォーミングプロトコル等、公知の技術を用いて行われるものとする。また、ＨＭＤ１０１−１〜１０１−３の無線通信部２０３は、撮像画像データと表示モード情報に加え、電波指向方向を示す情報を送信データに含み、該送信データを無線信号に変換し、画像処理装置１０４−１〜１０４−３に送信する。
【００４８】
図８は、本実施形態の画像処理装置１０４−１の機能構成を示すブロック図である。図８において、図３と同様の機能を有するブロックについては、同じ参照番号を付与する。以下では、実施形態１と同様の動作については説明を省略し、異なる動作について説明を行う。
【００４９】
周囲環境記憶部８０１は、周囲の壁や床といった反射物体の位置と形状を記憶する。周囲環境記憶部８０１の記憶するデータは、ＭＲシステムの動作が開始する前に、周囲環境記憶部８０１がＨＭＤ１０１−１により撮像された周囲環境の情報を取得し、画像処理により反射物体の位置と形状を判別することにより取得したデータである。なお、反射物体の位置と形状は、ユーザが画像処理装置１０４−１へ入力するようにしてもよい。
【００５０】
本実施形態のＬＡＮ通信部８０２は、実施形態１の動作に加え、アンテナの電波指向方向を示す指向方向情報を、画像処理装置１０４−２〜１０４−３と送受信する。より具体的には、ＨＭＤ１０１−１の表示モードが電波経路表示モードである場合、ＬＡＮ通信部８０２は、他の画像処理装置１０４−２〜１０４−３に対して、ＨＭＤ１０１−２〜１０１−３の位置姿勢情報を要求する。さらに、ＬＡＮ通信部８０２は、画像処理装置１０４−２〜１０４−３に対して、画像処理装置１０４−２〜１０４−３とＨＭＤ１０１−２〜１０１−３の指向方向情報を要求する。また、画像処理装置１０４−２〜１０４−３から位置姿勢情報と指向方向情報を要求された場合、要求元の画像処理装置１０４−２〜１０４−３に対してＨＭＤ１０１−１の位置姿勢情報及びＨＭＤ１０１−１と自身の指向方向情報を送信する。
【００５１】
指向方向記憶部８０３は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の指向方向情報を記憶する。本実施形態の電波経路推定部３０５は、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の位置姿勢情報と指向方向情報、及び周囲の反射物体の位置と形状から、ＨＭＤ１０１−１〜１０３−３と画像処理装置１０４−１〜１０４−３の間で送受信される電波の経路を推定する。本実施形態において、反射を含む電波経路の推定する方法としては、公知技術のレイローンチング法やイメージング法が用いられる。
【００５２】
例えば、レイローンチング法を用いてＨＭＤ１０１−１と画像処理装置１０４−１の間の電波経路を推定する場合には、電波経路推定部３０５がＨＭＤ１０１−１の位置からＨＭＤ１０１−１の電波指向方向に対してレイを発射させ、反射物体における反射を考慮して軌跡を追跡する。そして、画像処理装置１０４−１の位置において、画像処理装置１０４−１の電波指向方向にレイが到達した場合、電波経路推定部３０５は、その軌跡を電波経路と推定する。また、イメージング法を用いる場合には、電波経路推定部３０５は、ＨＭＤ１０１−１と画像処理装置１０４−１の位置、及び周囲の反射物体の位置と形状から、取りうる電波経路を求める。取りうる電波経路が複数ある場合には、電波経路推定部３０５は、それら電波経路の内、ＨＭＤ１０１−１と画像処理装置１０４−１の電波指向方向と一致または略一致する電波経路を、ＨＭＤ１０１−１と画像処理装置１０４−１の間の電波経路として推定する。
【００５３】
図９は、図６に示す状況において、本実施形態のＨＭＤ１０１−１の表示部２０４に表示される画像の例を示す図である。図９において、仮想物体９０１−２が、ＨＭＤ１０１−２と画像処理装置１０４−２との間の電波経路として表示される。この例では、ＨＭＤ１０１−２と画像処理装置１０４−２との間の電波経路は、床による反射を含む電波経路として推定されており、この電波経路として仮想物体９０１−２が表示されている。
【００５４】
本実施形態では、ＨＭＤ１０１−１〜１０１−３と画像処理装置１０４−１〜１０４−３の双方が指向性を電気的に制御可能なアンテナを備える構成としたが、いずれか一方のみが指向性を電気的に制御可能なアンテナを備える構成としてもよい。
【００５５】
このように、本実施形態によれば、本実施形態では、反射波を用いて通信を行う場合においても、無線通信機器間の電波経路を可視化してユーザに提示することができる。これにより、ユーザが移動する際に、他のユーザの電波経路を確認しながら移動することができるため、ユーザ移動に伴う電波経路の遮断を回避することが可能となる。
【００５６】
［実施形態３］
実施形態１及び実施形態２では、ユーザが電波経路表示モードを選択した場合に電波経路を可視化してユーザに提示する構成としたが、ユーザが電波経路を遮断しそうになるような所定の条件を満たす場合に電波経路を表示する構成としてもよい。すなわち、実施形態１及び実施形態２では、画像処理装置１０４−１は、表示モードが電波経路表示モードのときのみ電波経路の推定を行う構成としたが、本実施形態における画像処理装置１０４−１は、常に電波経路の推定を行う。そして、ＨＭＤ１０１−１と推定された電波経路との距離が所定値以下となった場合に、ＨＭＤ１０１−１を装着したユーザが電波経路を遮断しそうであると判断し、画像処理装置１０４−１は電波経路を示すＣＧを生成する。また、ＨＭＤ１０１−１の移動速度を考慮し、所定時間経過後にユーザが電波経路を遮断すると推測された場合に、画像処理装置１０４−１は電波経路を示すＣＧを生成してもよい。このような動作により、ユーザによる表示モードの選択無しに、ユーザが電波経路を遮断しそうになった場合にのみ、電波経路を表示することができる。
【００５７】
なお、ＨＭＤ１０１−１は、電波経路を表示するのではなく、ユーザが電波経路を遮断しそうになった場合に警告メッセージや警告マーク等で、その旨をユーザに通知するようにしてもよい。また、ＨＭＤ１０１−１は、電波経路を表示するのではなく、ＨＭＤ１０１−１にスピーカ（発生手段）を備え、ＨＭＤ１０１−１と電波経路との距離に基づいて、ユーザに対して警告音を発するようにしてもよい。例えば、スピーカは、ユーザが電波経路を遮断しそうになった場合に警告音を鳴らすようにしてもよい。これにより、通常のＭＲシステムにおいてユーザに提示する仮想物体に影響を与えることなく、ユーザ移動に伴う電波経路の遮断に関する情報を、ユーザに提示することができる。
【００５８】
また、本実施形態では、ＨＭＤ１０１−１と電波経路との距離が所定値以下となった場合に、ＨＭＤ１０１−１は、ユーザにその旨を通知する構成とした。これに加えて、ユーザ（ＨＭＤ１０１−１）の移動速度を考慮し、所定時間経過後にユーザが電波経路を遮断すると推測された場合に、ＨＭＤ１０１−１のスピーカ等は、ユーザに警告を発する構成としてもよい。
【００５９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６０】
３０１  無線通信部、  ３０２  位置姿勢検出部、  ３０３  ＬＡＮ通信部、  ３０４  位置姿勢記憶部、  ３０５  電波経路推定部、  ３０６  コンテンツＤＢ、  ３０７  ＣＧ生成部、  ３０８  画像合成部
【図１】
2016129316.tif 000003
【図２】
2016129316.tif 000004
【図３】
2016129316.tif 000005
【図４】
2016129316.tif 000006
【図５】
2016129316.tif 000007
【図６】
2016129316.tif 000008
【図７】
2016129316.tif 000009
【図８】
2016129316.tif 000010
【図９】
2016129316.tif 000011