(57)【要約】【課題】拡張現実空間におけるＡＲコンテンツと現実空間の人のオクルージョン問題に関し、見えるべき人は表示され、見える必要のない人は表示されないようにすること。【解決手段】ＣＰＵ１０４が、ＡＲコンテンツを閲覧する権利を有する閲覧ユーザの拡張現実空間における表示と重なる領域の画像を消去したデジタル画像情報（ＡＲコンテンツ）及び現実空間をＨＭＤ１００が備えるディスプレイ１０１の表示画面における表示を制御する。拡張現実空間において閲覧ユーザがデジタル画像情報より手前に位置し且つＡＲコンテンツを閲覧する権利を有しない非閲覧ユーザがデジタル画像情報より奥に位置するように、表示画面における表示が制御される。【選択図】図１
2015087909.tif 000002
【特許請求の範囲】
【請求項１】
現実空間及びデジタル画像情報を表示画面に表示して該表示画面において拡張現実空間を提示する表示装置を備える情報処理システムにおいて、
前記現実空間における前記表示装置の存在位置を示す第１の情報を取得する第１の取得手段、
前記表示装置を装着するユーザが前記デジタル画像情報を閲覧可能に設定されているか否かを示す第２の情報を取得する第２の取得手段、
前記拡張現実空間における前記デジタル画像情報の表示のための位置及び大きさを示す第３の情報を取得する第３の取得手段、
前記第１乃至第３の情報に基づき、前記ユーザごとに、前記表示のための位置に対応する前記現実空間における位置と前記存在位置との間に存在する、前記デジタル画像情報を閲覧可能に設定された閲覧ユーザ及び設定されていない非閲覧ユーザを判定する判定手段、並びに、
前記閲覧ユーザの前記拡張現実空間における表示と重なる領域の画像を消去した前記デジタル画像情報及び前記現実空間を前記表示画面に表示することで、前記拡張現実空間において前記閲覧ユーザが前記デジタル画像情報より手前に位置し且つ前記非閲覧ユーザが前記デジタル画像情報より奥に位置するように、前記表示画面における表示を制御する制御手段、
を備えることを特徴とする情報処理システム。
【請求項２】
前記制御手段は、
前記デジタル画像情報との関連性が高い前記閲覧ユーザについては、前記デジタル画像情報について前記閲覧ユーザの前記拡張現実空間における表示と重なる領域の画像を消去して前記表示画面に表示し、前記デジタル画像情報との関連性が高くない前記閲覧ユーザについては、前記デジタル画像情報について前記閲覧ユーザと重なる領域の画像を消去しないで前記表示画面に表示するように、前記表示画面における表示を制御することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記制御手段は、前記拡張現実空間における前記閲覧ユーザと前記デジタル画像情報の間の距離が所定距離内であること、前記閲覧ユーザが発話していること、前記閲覧ユーザの動きが多いこと、の少なくとも１つを検出した場合に、前記関連性が高いと判定する手段を含むことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記制御手段は、さらに、
前記デジタル画像情報について前記非閲覧ユーザと重なる領域があることを示す情報を前記デジタル画像情報に付加して前記現実空間及び前記デジタル画像情報を前記表示画面に表示するように、前記表示画面における表示を制御することを特徴とする請求項１に記載の情報処理システム。
【請求項５】
前記情報は、前記デジタル画像情報が前記非閲覧ユーザと重なる領域の輪郭の画像であることを特徴とする請求項３に記載の情報処理システム。
【請求項６】
前記閲覧ユーザの前記拡張現実空間における表示と重なる領域の画像を消去した前記デジタル画像情報を前記表示画面に表示する前記制御手段による制御を、前記ユーザからの指示により行わないことを特徴とする請求項１〜５のいずれか一項に記載の情報処理システム。
【請求項７】
現実空間及びデジタル画像情報を表示画面に表示して該表示画面において拡張現実空間を提示する表示装置を備える情報処理装置において、
前記現実空間における前記表示装置の存在位置を示す情報を取得する手段、
前記現実空間をセンシングして、前記現実空間に存在するオブジェクトついての情報を取得する手段、
前記デジタル画像情報を閲覧可能に設定された閲覧ユーザ及び設定されていない非閲覧ユーザであって、前記拡張現実空間における前記デジタル画像情報の表示のための位置に対応する前記現実空間における位置と前記存在位置との間に存在する閲覧ユーザ及び非閲覧ユーザについての情報を取得し、該情報及び前記オブジェクトついての前記情報に基づき、前記閲覧ユーザ及び非閲覧ユーザを前記オブジェクトと対応させる手段、並びに、
前記閲覧ユーザに対応する前記現実空間中の第１のオブジェクトの前記拡張現実空間における表示と重なる領域の画像を消去した前記デジタル画像情報及び前記現実空間を前記表示画面に表示することで、前記拡張現実空間において前記第１のオブジェクトが前記デジタル画像情報より手前に位置し且つ前記非閲覧ユーザに対応する前記現実空間中の第２のオブジェクトが前記デジタル画像情報より奥に位置するように、前記表示画面における表示を制御する手段、
を備えることを特徴とする情報処理装置。
【請求項８】
現実空間及びデジタル画像情報を表示画面に表示して該表示画面において拡張現実空間を提示する表示装置に情報を提供する情報処理サーバにおいて、
前記現実空間における前記表示装置の存在位置を示す第１の情報を前記表示装置から取得する第１の取得手段、
前記表示装置を装着するユーザが前記デジタル画像情報を閲覧可能に設定されているか否かを示す第２の情報を取得する第２の取得手段、
前記拡張現実空間における前記デジタル画像情報の表示のための位置及び大きさを示す第３の情報を取得する第３の取得手段、
前記第１乃至第３の情報に基づき、前記ユーザごとに、前記表示のための位置に対応する前記現実空間における位置と前記存在位置との間に存在する、前記デジタル画像情報を閲覧可能に設定された閲覧ユーザ及び設定されていない非閲覧ユーザを判定する判定手段、並びに、
前記閲覧ユーザ及び前記非閲覧ユーザについての前記第１の情報及び前記第３の情報を前記表示装置に提供する手段、
を備えることを特徴とする情報処理サーバ。
【請求項９】
現実空間及びデジタル画像情報を表示画面に表示して該表示画面において拡張現実空間を提示する表示装置を用いた情報処理方法において、
前記現実空間における前記表示装置の存在位置を示す第１の情報、前記表示装置を装着するユーザが前記デジタル画像情報を閲覧可能に設定されているか否かを示す第２の情報、及び、前記拡張現実空間における前記デジタル画像情報の表示のための位置及び大きさを示す第３の情報を取得するステップ、
前記第１乃至第３の情報に基づき、前記ユーザごとに、前記表示のための位置に対応する前記現実空間における位置と前記存在位置との間に存在する、前記デジタル画像情報を閲覧可能に設定された閲覧ユーザ及び設定されていない非閲覧ユーザを判定するステップ、並びに、
前記閲覧ユーザの前記拡張現実空間における表示と重なる領域の画像を消去した前記デジタル画像情報及び前記現実空間を前記表示画面に表示することで、前記拡張現実空間において前記閲覧ユーザが前記デジタル画像情報より手前に位置し且つ前記非閲覧ユーザが前記デジタル画像情報より奥に位置するように、前記表示画面における表示を制御するステップ、
を含むことを特徴とする情報処理方法。
【請求項１０】
コンピュータを請求項７または８に記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラムに関する。詳細には、拡張現実（Augmented Reality）表示技術を用いてモバイル表示装置などにおいて合成表示を行う情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
あるコンテンツをＡＲコンテンツとして表示する際に、あたかもそれが現実世界に存在しているかのように見えるように、ＡＲ閲覧者の位置とＡＲコンテンツを表示する位置の位置関係から、コンテンツの見え方を算出し、ＡＲコンテンツを表示する技術がある。このようなＡＲコンテンツとして、例えば文書を表示した場合、あたかもそこにホワイトボードが存在するかのように見せることが可能である。このようなＡＲコンテンツを複数名で閲覧するユースケースに於いて、誰かがホワイトボードに書かれた内容を他の者に指し示すのと同様に、ＡＲ閲覧者がＡＲコンテンツを他のＡＲ閲覧者に指などで指し示すことが考えられる。しかし、その際に、ＡＲコンテンツよりも手前に見えて欲しいＡＲ閲覧者が、表示されたＡＲコンテンツに隠されてしまうオクルージョンの問題が発生する。
【０００３】
この問題に対し、ＡＲ閲覧者の視点位置と現実世界の物体の位置とに基づいて、ＡＲコンテンツの合成制御を変更することで、現実世界の物体とＡＲコンテンツとの間で発生するオクルージョン問題を解決するものがある（例えば、特許文献１）。また、ＡＲコンテンツが現実世界の物体を隠している場合に、隠しているＡＲコンテンツを透明化して表示することで、現実世界の物体とＡＲコンテンツとの間で発生するオクルージョン問題を解決するものがある（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５７６１０号公報
【特許文献２】特開２００５−１２８８７７号公報
【非特許文献】
【０００５】
【非特許文献１】中川  知香、佐藤  智和、横矢  直和：”ランドマークデータベースを用いた投票による静止画像からのカメラ位置・姿勢推定”  情報処理学会  研究報告  ＣＶＩＭ１５２−１３，  Ｊａｎ．  ２００６．
【非特許文献２】佐川  貢一、煤孫  光俊、猪岡  光：”加速度積分による３次元歩行移動量の無拘束計測”  計測自動制御学会東北支部  第２０２回研究集会（２００２／７／２）  資料番号２０２−１０
【非特許文献３】石川  智也、興梠  正克、大隈  隆史、蔵田  武志：”相乗的サービス連携に基づく屋内歩行者トラッキングシステム”  電子情報通信学会  Vol.109, No.373, pp.249-254(2009)
【非特許文献４】http://s.webry.info/sp/kawa.at.webry.info/200905/article_14.html
【非特許文献５】http://www.ted.com/talks/lang/ja/pranav_mistry_the_thrilling_potential_of_sixthsense_technology.html
【非特許文献６】http://www.jsme.or.jp/monograph/rmd/2000/PDF/1P1-68/1P1-68-104.PDF
【非特許文献７】Richard A. Newcombe, Steven J. Lovegrove and Andrew J. Davison:“DTAM:Dense Tracking and Mapping in Real-Time” ICCＶ  ２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
主にセキュリティ面から、あるＡＲコンテンツ（ＡＲ−Ｘ）を閲覧する権利を有する閲覧者（ＡＲ−Ｘ閲覧者）には該ＡＲコンテンツＸが見えるが、他の人（ＡＲ−Ｘ非閲覧者）には該ＡＲコンテンツＸが見えないように、ＡＲ表示を制御することが考えられる。その際、ＡＲ−Ｘ非閲覧者が、ＡＲ−Ｘ閲覧者には見えているＡＲコンテンツの表示に気付かずに、該ＡＲ−Ｘ閲覧者と該ＡＲコンテンツが表示されている場所の間に割り込んでしまい、該ＡＲ−Ｘ閲覧者の視界を妨げる場合がある。
【０００７】
このような課題を解決するために、ＡＲ−Ｘ閲覧者とＡＲコンテンツの間に割り込んだ人がＡＲ−Ｘ閲覧者であれば該ＡＲ−Ｘ閲覧者が表示され、ＡＲ−Ｘ非閲覧者であれば表示されないようにしたいが、このような表示の制御は、従来技術では実現できなかった。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理システムは、現実空間及びデジタル画像情報を表示画面に表示して該表示画面において拡張現実空間を提示する表示装置を備える情報処理システムであって、前記現実空間における前記表示装置の存在位置を示す第１の情報を取得する第１の取得手段、前記表示装置を装着するユーザが前記デジタル画像情報を閲覧可能に設定されているか否かを示す第２の情報を取得する第２の取得手段、前記拡張現実空間における前記デジタル画像情報の表示のための位置及び大きさを示す第３の情報を取得する第３の取得手段、前記第１乃至第３の情報に基づき、前記ユーザごとに、前記表示のための位置に対応する前記現実空間における位置と前記存在位置との間に存在する、前記デジタル画像情報を閲覧可能に設定された閲覧ユーザ及び設定されていない非閲覧ユーザを判定する判定手段、並びに、前記閲覧ユーザの前記拡張現実空間における表示と重なる領域の画像を消去した前記デジタル画像情報及び前記現実空間を前記表示画面に表示することで、前記拡張現実空間において前記閲覧ユーザが前記デジタル画像情報より手前に位置し且つ前記非閲覧ユーザが前記デジタル画像情報より奥に位置するように、前記表示画面における表示を制御する制御手段、を備えることを特徴とする。
【発明の効果】
【０００９】
デジタル画像情報と現実空間におけるユーザのオクルージョン問題に関し、見えるべき閲覧ユーザは表示画面に表示され、見える必要のない非閲覧ユーザは表示画面に表示されない制御動作を実現できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態で用いるＨＭＤ１００のハードウェアブロック図である。
【図２】本発明の実施形態で用いるＨＭＤ１００の外観を示す図である。
【図３】本発明の実施形態で用いる処理サーバのハードウェアブロック図である。
【図４】本発明の実施形態のシステム構成を示す図である。
【図５】実施形態１におけるユーザとＡＲコンテンツの位置関係の例を上から見たものとして示した図である。
【図６】実施形態１におけるＡＲ閲覧者ＡがＨＭＤを通して見る映像を具体的に説明する図である。
【図７】実施形態１によるユーザ位置登録処理における処理の流れを示すフローチャートである。
【図８】実施形態１における、処理サーバがＨＤＤ上に保持している個人属性情報管理テーブルの例を示す図である。
【図９】実施形態１によるＡＲ投影位置決定処理における処理の流れを示すフローチャートである。
【図１０】実施形態１における、処理サーバがＨＤＤ上に保持しているＡＲコンテンツ位置管理テーブルの例を示す図である。
【図１１】実施形態１によるＡＲ投影処理における処理の流れを示すフローチャートである。
【図１２】実施形態１による図１１のＳ１１１２で実行されるディスプレイ表示処理における処理の流れを示すフローチャートである。
【図１３】実施形態１におけるＡＲ閲覧者の視界を示す図である。
【図１４】実施形態１におけるＡＲ閲覧者に対するＨＭＤ内蔵のカメラで撮影した映像に含まれる人体の方向を上から見たものとして示した図である。
【図１５】実施形態２におけるユーザとＡＲコンテンツの位置関係の例を上から見たものとして示した図である。
【図１６】実施形態２におけるＡＲ閲覧者ＡがＨＭＤを通して見る映像を具体的に説明する図である。
【図１７】実施形態２による図１１のＳ１１１２で実行されるディスプレイ表示処理の流れを示すフローチャートである。
【図１８】実施形態３におけるＡＲ閲覧者ＡがＨＭＤを通して見る映像を具体的に説明する図である。
【図１９】実施形態３によるＡＲ投影処理における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。  
【００１２】
＜ヘッドマウントディスプレイ（ＨＭＤ）＞
図１は本実施形態で用いるＨＭＤ１００のハードウェア構成を示すブロック図である。ＨＭＤ１００は、透過型ディスプレイ１０１、カメラ１０２、コントローラ１２０を有する。ディスプレイ１０１は表示画面を有し、現実空間すなわち現実世界及びデジタル画像情報を表示画面に表示して、これにより、表示画面において拡張現実空間が実現される。
【００１３】
図２は、上記構成を備えるＨＭＤ１００をユーザ２００が装着する様子を示す図である。ＨＭＤ１００は市販されているものと同様のものであり、フレーム１３０によりユーザ２００の頭部に装着するようになっている。透過型ディスプレイ１０１は片目で見る構造でも、両目で見る構造でもよい。ＨＭＤ１００が有するカメラ１０２は、ユーザ２００の目に近い視点で撮像することができる。ユーザは透過型ディスプレイ１０１の表示画面に表示されたデジタル画像情報と透過型ディスプレイ１０１の先にある実像を同時に見ることが出来る。
【００１４】
図１に戻って、コントローラ１２０の構成について詳細に説明する。
【００１５】
内部バス１１２は、メモリコントローラ１０７とＩ／Ｏコントローラ１０９の間で情報の伝達が出来るよう、電気信号を送受信する。メモリコントローラ１０７は、メインメモリ１０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ１０９は、ＲＯＭ１１０、ＬＡＮポート１０３、透過型ディスプレイ１０１、ＭＥＭＳセンサ１１１、内部バス１１２を介して接続している各構成要素との間で情報の送受信を行う。ＬＡＮポート１０３は、図４に示すワイヤレスアクセスポイント４００および／またはネットワーク９００を介して接続されている処理サーバ３００などの他の機器、Ｉ／Ｏコントローラ１０９との間で情報の送受信を行う。
【００１６】
ＲＯＭ１１０にはブートローダプログラム及びＨＭＤ制御プログラムが格納されている。メインメモリ１０８は揮発性メモリであり、また高速アクセスが可能であり、ＲＯＭ１１０に記憶されている情報や一時的に使用する情報を格納する。ＨＭＤ１００の電源投入時には、ＣＰＵ１０４がはじめにブートローダプログラムを読み出して実行し、次いでＲＯＭ１１０に格納されているＨＭＤ制御プログラムを取り出してメインメモリ１０８に格納する。そして、ＣＰＵ１０４がメインメモリ１０８に格納されたＨＭＤ制御プログラムを実行し、ＨＭＤ１００の有する各機能を実行する。また、ＣＰＵ１０４がこのＨＭＤ制御プログラムを実行することで、処理サーバ３００とのデータ通信や、該データ通信で取得したデータに基づく透過型ディスプレイ１０１への情報表示等のＨＭＤ１００の行う処理が実行される。コントローラ１２０はその他の記憶デバイスを備えることができる。
【００１７】
情報を表示するための透過型ディスプレイ１０１は、コントローラ１２０が備えるグラフィックコントローラ１０６によって制御される。ＨＭＤ１００は、ユーザに情報を提示する際には透過型ディスプレイ１０１に情報を表示する。カメラ１０２は撮影した撮像画像をデジタルデータに変換し出力する。カメラ１０２は、Ｉ／Ｏコントローラ１０９との情報の送受信を行う。コントローラ１２０が備えるＭＥＭＳセンサ１１１は、東西南北の方位と、三次元方向の傾き、加速度を計測することが可能であり、計測した情報をデジタル情報に変換する。ＭＥＭＳセンサ１１１は、Ｉ／Ｏコントローラ１０９との間で情報の送受信を行う。ＭＥＭＳセンサ１１１により、ＨＭＤ１００を装着しているユーザが、物理空間上でどの方向に顔を向けているのかが把握可能である。コントローラ１２０が備えるバッテリ１０５は、電力をＨＭＤ１００全体に供給する。
【００１８】
＜処理サーバ＞
図３は本実施形態で用いる処理サーバ（情報処理サーバ）のハードウェア構成を示すブロック図である。処理サーバ３００はコントローラ３２０、ディスプレイ３０１、キーボード３０２、マウス３０３を有する。
【００１９】
コントローラ３２０の構成について詳細に説明する。
【００２０】
内部バス３１１は、メモリコントローラ３０７とＩ／Ｏコントローラ３０９の間で情報の伝達が出来るよう、電気信号を送受信する。
【００２１】
メモリコントローラ３０７は、メインメモリ３０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ３０９は、ＨＤＤ３１０、ＬＡＮポート３０４、キーボード３０２、マウス３０３、内部バス３１１を介して接続している各構成要素との間で情報の送受信を行う。ＬＡＮポート３０４は、ネットワーク９００または図４に示すワイヤレスアクセスポイント４００を介して接続されている他の機器、Ｉ／Ｏコントローラ３０９との情報の送受信を行う。
【００２２】
ＨＤＤ３１０にはブートローダプログラム及び処理サーバ制御プログラムが格納されている。メインメモリ３０８は揮発性メモリであり、また高速アクセスが可能であるので、ＨＤＤ３１０に記憶されている情報や一時的に使用する情報を格納する。処理サーバ３００の電源投入時には、ＣＰＵ３０５がはじめにブートローダプログラムを読み出して実行し、次いでＨＤＤ３１０に格納されている処理サーバ制御プログラムを取り出してメインメモリ３０８に格納する。そして、ＣＰＵ３０５がメインメモリ３０８に格納された処理サーバ制御プログラムを実行し、処理サーバの有する各機能を実行する。また、ＣＰＵ３０５がこの処理サーバ制御プログラムを実行することで、ＡＲコンテンツと該ＡＲコンテンツを閲覧する人の間に割り込んだ人の抽出等の処理サーバが行う処理が実行される。該処理により得られたデータはネットワーク９００を介してＨＭＤ１００に送られる。  情報を表示するためのディスプレイ３０１は、コントローラ３２０が備えるグラフィックコントローラ３０６よって制御される。
【００２３】
処理サーバ３００は、ユーザに情報を提示する際にはディスプレイ３０１に情報を表示し、ユーザは、キーボード３０２又はマウス３０３に対する操作を行うことで、処理サーバ３００への情報入力が可能である。
【００２４】
＜システム構成＞
図４は本実施形態のシステム構成を示す図である。本実施形態のシステムは、人が装着するＨＭＤ（Head Mounted Display）１００を複数備え、ワイヤレスアクセスポイント４００、処理サーバ３００、ネットワーク９００を有する。各ＨＭＤ１００とワイヤレスアクセスポイント４００は無線で接続されており、処理サーバ３００とワイヤレスアクセスポイント４００はネットワーク９００で接続されている。
【００２５】
本システムでは、各ユーザの装着するＨＭＤ１００に内蔵されているカメラ１０２による撮像画像とＭＥＭＳセンサによる方位、加速度、傾き情報が、ワイヤレスアクセスポイント４００とネットワーク９００を経由して処理サーバ３００に逐一、送信される。処理サーバ３００はこれらの情報を元に、各ユーザの現実空間における存在位置を推定する。カメラの撮像画像からの位置推定技術に関してはＳＬＡＭ（Simultaneously Localization and Mapping）に代表される既存技術がある。また、ＭＥＭＳセンサからの位置推定技術に関してはＰＤＲ（Pedestrian Dead Reckoning）に代表される既存技術がある。処理サーバ３００の処理にこれらの技術を用い目ことで、各ユーザの存在位置情報とＭＥＭＳセンサの方位情報から、各ユーザのＨＭＤ１００に内蔵されるカメラが撮像した人物がどのＨＭＤ１００のユーザであるかを特定することが可能となる。ＨＭＤ１００に内蔵されるカメラ１０２の向きと透過型ディスプレイ１０１の向きが固定的に決まっていれば、あるＨＭＤ１００のユーザの視野のどの向きにどのＨＭＤ１００のユーザがいるかを特定することが可能となる。
【００２６】
以下の説明において、ＡＲコンテンツとは、ディスプレイに表示するためにコンピュータにより作成された仮想オブジェクトである種々のデジタル画像情報のことを言う。ＡＲコンテンツの例示として、２次元または３次元ＣＧ画像、文書作成アプリケーションによるドキュメント、ＰＤＦファイルなどが挙げられる。ＡＲ閲覧者または閲覧ユーザとは、あるＡＲコンテンツを閲覧する権利を有し、ＨＭＤ１００上で該ＡＲコンテンツの閲覧を許可され、閲覧可能な設定がされているＨＭＤ１００のユーザを言う。ＡＲ非閲覧者または非閲覧ユーザとは、あるＡＲコンテンツを閲覧する権利を有せず、ＨＭＤ１００上で該ＡＲコンテンツの閲覧が禁止され、閲覧可能な設定がされていないＨＭＤ１００のユーザを言う。参照ＡＲ閲覧者とは、ＨＭＤ１００のユーザであって、図示されるＡＲコンテンツ、ＡＲ閲覧者、およびＡＲ非閲覧者を見ることができるユーザを言う。
【００２７】
（実施形態１）
本実施形態は、ＡＲコンテンツとＡＲコンテンツを参照しているＡＲ閲覧者（閲覧ユーザ）Ａの間にＡＲ閲覧者ＢとＡＲ非閲覧者（非閲覧ユーザ）Ｃがいる状況に対応して、ＨＭＤ１００が備える透過型ディスプレイ１０１の表示画面における表示の制御を行う。すなわち、参照ＡＲ閲覧者ＡにはＡＲ閲覧者ＢがＡＲコンテンツよりも手前に見え、ＡＲ非閲覧者ＣがＡＲコンテンツに隠されて見えない制御を提供する。
【００２８】
図５は、本実施形態における人とＡＲコンテンツの位置関係の例を示す平面図である。
【００２９】
ＡＲコンテンツ５０には、予め設定された既知の表示の大きさがあり、具体的にはＡＲコンテンツ５０の幅はｗｔである。表示の大きさはユーザが予め設定し、例えば、６０インチのディスプレイに相当するサイズ、８０インチのディスプレイに相当するサイズなどに設定して保持することができる。ＡＲコンテンツ５０は、ＡＲコンテンツ位置管理テーブル（図１０に示す参照符号１００で示す）で管理される位置情報の値で投影位置の中心（ＡＲコンテンツ表示位置原点Ｏ）が決まり、ＡＲコンテンツ位置管理テーブルで管理される向き情報で投影向きが決まる。参照ＡＲ閲覧者Ａから表示位置原点Ｏまでの距離はｄｉｓｔｏｒｇである。表示の大きさは設定を行ったユーザが装着するＨＭＤ１００の記憶デバイスに保持してもよいが、後述するＡＲコンテンツ位置管理テーブル（図１０）で、表示の大きさを管理してもよい。
【００３０】
説明を簡単にするために、参照ＡＲ閲覧者Ａの位置を（０，０）、参照ＡＲ閲覧者Ａから水平方向を基準として角度０の方向に表示位置原点Ｏがあるように座標空間を考える。
【００３１】
参照ＡＲ閲覧者Ａと表示位置原点Ｏを結ぶ線と、参照ＡＲ閲覧者ＡおよびＡＲ非閲覧者Ｃを通る線の為す角度をαとする。ＡＲ非閲覧者Ｃが座標（ｘｃ，ｙｃ）にいるものとすると、αは次式の通りとなる。
【００３２】
【数１】
2015087909.tif 000003
【００３３】
参照ＡＲ閲覧者Ａと表示位置原点Ｏを結ぶ線と、参照ＡＲ閲覧者ＡとＡＲコンテンツの図中上端を結ぶ線の為す角度をβとすると、βは次式の通りとなる。
【００３４】
【数２】
2015087909.tif 000004
【００３５】
参照ＡＲ閲覧者ＡとＡＲ非閲覧者Ｃの間の距離ｄｉｓｔＡＣは次式の通りとなる。
【００３６】
【数３】
2015087909.tif 000005
【００３７】
参照ＡＲ閲覧者Ａと角度α方向のＡＲコンテンツまでの距離ｄｉｓｔｃｏｎｔは次式の通りとなる。
【００３８】
【数４】
2015087909.tif 000006
【００３９】
以下の２つの条件、
【００４０】
【数５】
2015087909.tif 000007
【００４１】
【数６】
2015087909.tif 000008
【００４２】
が共に満足される場合、参照ＡＲ閲覧者ＡとＡＲコンテンツ５０の間にＡＲ非閲覧者Ｃが割り込んでいると判断することができる。
【００４３】
上の説明から、座標（ｘｃ，ｙｃ）、表示幅ｗｔ、参照ＡＲ閲覧者ＡとＡＲコンテンツ表示位置原点Ｏとの距離ｄｉｓｔｏｒｇの各値が解っていれば、ＡＲコンテンツと参照ＡＲ閲覧者の間に他のＡＲ閲覧者またはＡＲ非閲覧者が割り込んだことを判定できる。
【００４４】
図６は、本実施形態において参照ＡＲ閲覧者ＡがＨＭＤ１００を通して見る映像を具体的に説明する図である。
【００４５】
ＡＲコンテンツより手前に人を表示させる従来の技術によれば、図中の（ａ）に示すように、ＡＲ閲覧者ＢだけでなくＡＲ非閲覧者Ｃまで前面に見えていた。これにより、予期せぬ人により、参照ＡＲ閲覧者ＡがＡＲコンテンツ５０の閲覧を妨げられる問題が発生していた。この問題を解決するために、本実施形態では、図中の（ｂ）のように、ＡＲ閲覧者ＢはＡＲコンテンツより手前に見え、ＡＲ非閲覧者ＣはＡＲコンテンツの背後に隠れて見えるように表示にする。しかし、この場合、参照ＡＲ閲覧者ＡがＡＲコンテンツ５０との間に割り込んだＡＲ非閲覧者Ｃに気付かずに、例えば、参照ＡＲ閲覧者ＡがＡＲコンテンツ５０を手で指し示した際に、その手がＡＲ非閲覧者Ｃに当たってしまうことがある。したがって、改良された形態において、図中の（ｃ）のように、ＡＲ非閲覧者Ｃの存在する領域の輪郭に、人の輪郭線６０をＡＲ表示として付加するとより好ましい。これにより、参照ＡＲ閲覧者Ａは、ＡＲ非閲覧者ＣによりＡＲコンテンツ５０の閲覧を妨げられることが無いことに加え、ＡＲ非閲覧者Ｃの存在に気づくことができ、参照ＡＲ閲覧者Ａが非閲覧者Ｃにぶつかることを防止できる。ＡＲ非閲覧者Ｃの存在を示すための表示は輪郭線に限られることがなく、例えば、存在する領域についてＡＲコンテンツ５０の輝度を他の領域と異ならせること、濃淡を反転表示すること、存在する領域について輝度フリッカを与えることなどが考えられる。
【００４６】
図７は、本実施形態によるユーザ位置登録処理における処理の流れを示すフローチャートである。この処理により、本情報処理システムは、現実世界（現実空間）をセンシングした情報を元に、現実空間中にいてＨＭＤ１００を装着し使用しているユーザ位置を算出し、処理サーバ３００が保持する。本情報処理システムは、常に最新の情報を保持しておくために、本処理を所定の周期で定期的に実行する。図４に示された各ＨＭＤ１００のＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで、本フローチャートの各処理ステップＳ７０１からＳ７０２が実施される。処理サーバ３００のＣＰＵ３０５がＨＤＤ３１０に格納された制御プログラムを実行することで、本フローチャートの各処理ステップＳ７０３からＳ７０４が実施される。
【００４７】
Ｓ７０１で、ＨＭＤ１００が、内蔵するカメラ１０２が撮像した撮像画像を利用する方法、また、ＭＥＭＳセンサ１１１が出力するセンサ信号を解析する方法により、自己位置の推定処理を行なう。ここで推定した自己位置が、ＨＭＤ１００が現実世界において存在する位置であり、該ＨＭＤ１００を装着したユーザの位置情報となる。
【００４８】
撮像画像を利用する自己位置推定には、例えば、非特許文献１のようなランドマークから自己位置を推定する方法と、マーカーを用いて自己位置を推定する方法がある。同文献は、ランドマークに自然特徴点を使う例である。例えばキヤノン（登録商標）株式会社のＭＲ（Mixed Reality）システム（登録商標）は、室内に貼られたマーカーをランドマークとして用いる例である。
【００４９】
ＭＥＭＳセンサ信号を利用する自己位置推定はロバスト性を高めることができる方法であって、撮像画像を利用する自己位置推定を行えない場合に用いると好適であり、ＰＤＲ（pedestrian dead reckoning）と呼ばれる方法がある。例えば、非特許文献２のような加速度積分による自己位置推定方法を使用することができる。
【００５０】
これとは別に、ＭＥＭＳセンサ信号からの自己位置推定（ＰＤＲ）で生じる誤差を、カメラの撮像画像からの自己位置推定結果で補正して最終的な自己位置を推定する方法を採用することもできる。この種の方法として、例えば、非特許文献３のようなものがある。
【００５１】
なお、自己位置推定を非特許文献３の構成により実施する場合は、Ｓ７０１においてさらに、該構成により、ＨＭＤ１００が向いている方向を算出することもできる。この場合、図１１に示すＳ１１０８の処理に替えることができる。
【００５２】
Ｓ７０１で自己位置を推定するとＳ７０２に進み、ＨＭＤ１００がＨＭＤユーザ情報と、推定したユーザ位置情報を処理サーバ３００に送信し、ＨＭＤ側の処理を終了する。
【００５３】
Ｓ７０３で、処理サーバ３００は、ＨＭＤユーザ情報とユーザ位置情報を各ＨＭＤ１００から受信し、Ｓ７０４に進む。
【００５４】
Ｓ７０４で、処理サーバ３００は、各ＨＭＤ１００のユーザに紐づけて、個人属性情報管理テーブル（図８に参照符号８０で示す）の位置情報を更新し、本処理を終了する。
【００５５】
図８は、本実施形態における、処理サーバ３００がＨＤＤ３１０上に保持している個人属性情報管理テーブルの例を示す図である。
【００５６】
個人属性情報管理テーブル８０により、人（ＨＭＤのユーザ）が現実世界のどこにいるかを座標値として示す位置情報と、ユーザがどのＡＲコンテンツの閲覧権を有しているかを示すＡＲ閲覧者情報を、ユーザ名をキーとして管理する。現実空間における任意の既知の位置、例えば、ＨＭＤのユーザが存在するリビングルームまたはプレゼンテーション会場の隅の位置を、位置情報の原点として定めることができる。現実空間における座標軸としては、例えば、北方向をｘ軸方向、東方向をｙ軸方向、垂直方向をｚ軸方向として定める。
【００５７】
個人属性情報管理テーブル８０から、例えばユーザＡは座標（１０，１０，１０）に居て、コンテンツＸとコンテンツＺの閲覧を許可されていることがわかる。ＡＲ閲覧者情報の設定は、ユーザまたはシステムの管理者が、予めＰＣなどの情報端末（不図示）から、ＡＲコンテンツごとに行うことができる。システムが、その設定値を個人属性情報管理テーブル８０に反映する処理（不図示）を行う。この様な設定を行うことに関しては、本出願人による特願２０１３−２０８１５０号明細書に詳しく記載されている。
【００５８】
図９は、本実施形態によるＡＲ投影位置決定処理における処理の流れを示すフローチャートである。各ＨＭＤ１００のＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで本フローチャートのＳ９０１からＳ９０２の処理が実施される。ＨＤＤ３１０に格納された制御プログラムをＣＰＵ３０５が実行することで本フローチャートのＳ９０３からＳ９０４の処理が実施される。
【００５９】
この処理により、本情報処理システムは、ユーザからのＡＲコンテンツ投影指示があったときに、ユーザから所定距離離間した位置をＡＲコンテンツの表示位置に定め、処理サーバ３００がＡＲコンテンツ位置管理テーブル（図１０）に保持する。
【００６０】
Ｓ９０１で、ＨＭＤ１００が、ユーザからのコンテンツ投影指示を受ける。ユーザからの投影指示に関しては、例えば、ユーザのジェスチャー（手の動き）が含まれる、内蔵するカメラ１０２で撮影した映像を解析することにより認識することなどが考えられる。より具体的には、ユーザがめいめいに異なる色の指サックを指にはめ、ユーザを各色と対応付けて登録しておくことで、投影指示のためのジェスチャーをしたユーザを識別することができる（非特許文献４，５参照）。これとは別に、カメラ１０２をステレオ構成にした場合または赤外線を投射する構成にした場合には撮像画像における深度情報を得ることができ、深度情報に基づき、所定深度におけるジェスチャーを識別して投影指示を判別することができる（非特許文献６参照）。
【００６１】
ユーザからのコンテンツ投影指示を受けるとＳ９０２に進み、ＨＭＤ１００が、ＨＭＤユーザ情報とＡＲ投影位置決定処理指示を処理サーバ３００に送信し、ＨＭＤ側の処理を終了する。ＡＲ投影位置決定処理指示とは、ＡＲコンテンツの投影位置を決めるためのＳ９０４に示す処理を処理サーバ３００に行わせるためのコマンドである。
【００６２】
Ｓ９０３で、処理サーバ３００が、各ＨＭＤ１００からＨＭＤユーザ情報とＡＲ投影位置決定処理指示を受信し、Ｓ９０４に進む。
【００６３】
Ｓ９０４で、処理サーバ３００が、ＨＭＤユーザの存在位置から所定距離離れた場所をＡＲコンテンツの表示位置に決定し、ＡＲコンテンツ位置管理テーブル（図１０）の位置情報を更新し、本処理を終了する。ＡＲコンテンツ表示位置は、コンテンツ投影指示を出したユーザの位置情報を個人属性情報管理テーブル８０から読み出し、予め設定されている所定距離を該位置情報に加算して算出する。
【００６４】
図１０は、本実施形態における、処理サーバ３００がＨＤＤ３１０上に保持しているＡＲコンテンツ位置管理テーブルの例を示す図である。
【００６５】
ＡＲコンテンツ位置管理テーブル１００により、ＡＲコンテンツのコンテンツＩＤをキーとして、ＡＲコンテンツが拡張現実空間のどの位置にどのような向きで表示されるかを現実空間における座標値で示す位置情報と表示向き情報を管理する。位置情報は、Ｓ９０４の処理結果に従い定期的に更新される。現実空間における任意の既知の位置、例えば、ＨＭＤのユーザが存在するリビングルームまたはプレゼンテーション会場の隅の位置を、位置情報の原点として定めることができる。現実空間における座標軸としては、例えば、北方向をｘ軸方向、東方向をｙ軸方向、垂直方向をｚ軸方向として定める。向き情報は、ｘ軸方向を基準に、ｘｙ平面において反時計回りに角度が増加するものとして表される。
【００６６】
図１０では、例えば、ＡＲコンテンツＸは座標（１６，１０，０）にあるように表示すること、ＡＲコンテンツの表示向きは９０度方向であることがわかる。
【００６７】
図１１は、本実施形態によるＡＲ投影処理における処理の流れを示すフローチャートである。
【００６８】
ＨＭＤユーザの移動に従いＡＲコンテンツの表示画面における表示位置を変える必要がある。本処理を所定の周期で定期的に実行してＡＲコンテンツを透過型ディスプレイ１０１の表示画面における表示を制御することで、常に正しい画面上の位置にＡＲコンテンツを投影することができる。ＣＰＵ３０５がＨＤＤ３１０に格納された制御プログラムを実行することで本フローチャートのＳ１１０１からＳ１１０５の処理が実施される。各ＨＭＤ１００のＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで本フローチャートのＳ１１０６からＳ１１１２の処理が実施される。
【００６９】
Ｓ１１０１で、処理サーバ３００が、個人属性情報管理テーブル８０からユーザの位置情報、ＡＲ閲覧者情報を読み出し、Ｓ１１０２に進む。
【００７０】
Ｓ１１０２で、処理サーバ３００が、ＡＲコンテンツ位置管理テーブル１００からＡＲコンテンツの表示位置を読み出し、Ｓ１１０３に進む。
【００７１】
Ｓ１１０３で、処理サーバ３００が、各種情報を元に、参照ＡＲ閲覧者と参照しているＡＲコンテンツの間に割り込んだ人を判定し、抽出する。ユーザが割り込んだかどうかを判定する方法に関しては図５の説明の中で言及した通りである。各種情報としては、個人属性情報管理テーブル８０で管理するユーザの位置情報、ＡＲコンテンツ位置管理テーブル１００で管理するＡＲコンテンツの位置情報、ＡＲコンテンツに設定されているＡＲコンテンツの表示の大きさ情報を使用する。
【００７２】
次いでＳ１１０４で、処理サーバ３００が、Ｓ１１０３で算出した割り込んだユーザの情報と、個人属性情報管理テーブル８０で管理するＡＲ閲覧者情報を元に、割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者を判定し、抽出し、Ｓ１１０５に進む。
【００７３】
Ｓ１１０５で、処理サーバ３００が、各ユーザが装着するＨＭＤ１００に対し、割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者の位置情報と、ＡＲコンテンツの表示位置と表示の大きさ情報を各ＨＭＤ１００に送信して提供し、処理サーバ側の処理を終了する。
【００７４】
これら情報の送信相手である各ＨＭＤ１００がＳ１１０６を実行する。Ｓ１１０６で、ＨＭＤ１００が、処理サーバ３００から、割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者の位置情報と、ＡＲコンテンツの表示位置と表示の大きさ情報を受信し、Ｓ１１０７に進む。
【００７５】
Ｓ１１０７で、ＨＭＤ１００が、保持している自己位置情報と、割り込んだＡＲ閲覧者とＡＲ非閲覧者の位置情報を元に、割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者の、当該ＨＭＤ１００を使用している参照ＡＲ閲覧者自身に対する方向を算出する。
【００７６】
Ｓ１１０８で、ＨＭＤ１００が、内蔵するカメラ１０２で撮影した位置マーカーとＭＥＭＳセンサ信号を分析することでＨＭＤ１００の向いている方向を算出し、Ｓ１１０９に進む。方向算出処理を例えば非特許文献３の方法により行えることは前述の通りである。
【００７７】
Ｓ１１０９で、ＨＭＤ１００が、当該ＨＭＤ１００を使用している参照ＡＲ閲覧者自身に対する各人体の方向を算出する。この処理は、カメラ１０２で撮影した映像に含まれる人体の画像を検出し、Ｓ１１０８で算出されたＨＭＤ１００の向き情報と、撮影画像中の人体画像の位置情報から、参照ＡＲ閲覧者自身に対する各人体の方向を算出することで行う。撮影画像中の人体画像を検出する方法に関しては、ネットワークカメラなどで広く行われている方法を用いることができる。
【００７８】
Ｓ１１１０で、ＨＭＤ１００が、各種情報を元に、各人体がＡＲ閲覧者かＡＲ非閲覧者かを算出し、Ｓ１１１１に進む。各種情報として、Ｓ１１０７で算出されたＡＲ閲覧者に対する割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者の方向の情報と、Ｓ１１０９で算出された参照ＡＲ閲覧者自身に対する各人体の方向の情報を使用する。
【００７９】
Ｓ１１１１で、ＨＭＤ１００が、ＨＭＤ１００の向き情報と、当該ＨＭＤ１００を使用している参照ＡＲ閲覧者自身の保持している位置情報と、ＡＲコンテンツの表示位置情報、大きさ情報、向き情報を元に、投影するＡＲコンテンツを生成する。ＡＲコンテンツのためのデータは各ＨＭＤ１００が記憶デバイスに保持している。ＡＲコンテンツのためのデータは、処理サーバ３００が保持し、投影指示に応答して処理サーバ３００から投影指示を行ったＨＭＤ１００に提供してもよい。
【００８０】
Ｓ１１１１で行う処理は、現実世界において任意の既知の位置を原点として定めた前述の座標空間、ＨＭＤ１００の透過型ディスプレイ１０１の表示画面における座標空間を、座標変換行列を用いて変換する処理である。座標変換行列は、次式で表される。
【００８１】
【数７】
2015087909.tif 000009
【００８２】
この変換に関しては、ＡＲＴｏｏｌＫｉｔをはじめ、様々なライブラリが公開されている。
【００８３】
Ｓ１１１２で、ＨＭＤ１００が、別図に示すディスプレイ表示処理を行い、本処理を終了する。Ｓ１１１２の処理は図１２を用いて次に述べる。
【００８４】
図１２は、本実施形態において、図１１のＳ１１１２で実行されるディスプレイ表示処理における処理の流れを示すフローチャートである。各ＨＭＤ１００のＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで本フローチャートのＳ１２０１からＳ１２０３の処理が実施される。
【００８５】
Ｓ１２０１で、ＨＭＤ１００が、割り込んだＡＲ閲覧者に該当する人体の存在する領域と重なる領域についてＡＲコンテンツを消去し、Ｓ１２０２に進む。人体の存在する領域を検出することについては後述する。
【００８６】
Ｓ１２０２で、ＨＭＤ１００が、割り込んだＡＲ非閲覧者に該当する人体の存在する領域に関して、人型の輪郭線をＡＲコンテンツに付加し、Ｓ１２０３に進む。
【００８７】
Ｓ１２０３で、ＨＭＤ１００が、ＡＲコンテンツを透過型ディスプレイ１０１の表示画面に表示し、本処理を終了する。
【００８８】
図１１のＳ１１０９において、ＨＭＤ１００が、参照ＡＲ閲覧者に対しカメラ１０２で撮影した映像に含まれる人体の方向を算出することに関して、図１３と図１４を用いて補足説明する。
【００８９】
図１３は、本実施形態におけるＡＲ閲覧者の視界を示す図である。
【００９０】
カメラ１０２で撮影した映像に含まれる人体１３００が、カメラの法線方向１３１０に対し角度γの方向に存在する場合、参照ＡＲ閲覧者は、ＨＭＤ１００の透過型ディスプレイ１０１の法線方向に対し同じく角度γの方向に人体１３００を見ることとなる。水平方向において人体１３００がＡＲコンテンツ（不図示）と重なる領域がある場合について考える。このとき、人体１３００がＡＲコンテンツより手前に位置して見える表示は、ＨＭＤ１００は、水平方向については領域Ｈについて表示画面１３２０におけるＡＲコンテンツを消去してＡＲコンテンツを表示することで表現できる。一方、人体１３００がＡＲコンテンツより奥に位置して見える表示は、領域Ｈについても表示画面１３２０においてＡＲコンテンツを表示することで表現できる。
【００９１】
図１４は、本実施形態における、参照ＡＲ閲覧者に対する、カメラ１０２で撮影した映像に含まれる人体の方向を上から見たものとして示した図である。参照ＡＲ閲覧者の向いている方向が、角度θであるとすると、参照ＡＲ閲覧者から見て、他の者は角度θ＋γの方向に見えることになる。角度θはカメラで撮影したマーカーを分析して算出したり、ＭＥＭＳセンサ信号から以前向いていた方向に対する相対的な方向を算出したりすることで求められる。
【００９２】
個人属性情報管理テーブル８０からユーザの位置関係が把握できる。例えば、参照ＡＲ閲覧者が座標（ｘｏ，ｘｏ）、他の者が座標（ｘｔ，ｙｔ）に位置しているものとすると、参照ＡＲ閲覧者から他の者が見える角度は次式の関係で表せる。
【００９３】
【数８】
2015087909.tif 000010
【００９４】
Ｓ１２０１に関し、カメラ映像中の人体領域を算出、及び、人体領域の輪郭線を描画する方法に関して、補足説明する。例えば、深度映像から算出する方法、人の形状を認識して算出するなどの方法などがある。深度映像を取得するには、例えば、マイクロソフト（登録商標）社のＫｉｎｅｃｔ（登録商標）で採用している赤外線を用いた方法や、非特許文献７のＤＴＡＭ（Dense Tracking and Mapping）のようにＲＧＢ画像から算出する方法がある。
【００９５】
参照ＡＲ閲覧者が座標（ｘｏ，ｘｏ）、他の者が座標（ｘｔ，ｙｔ）に位置しているものとすると、両者の距離は次式の通りとなる。
【００９６】
【数９】
2015087909.tif 000011
【００９７】
前述の通り、カメラ映像中の人の見える方向がわかっている。人の見える方向、両者の距離から大きく乖離していない深度情報を検索し、その外周に線を描画すれば輪郭線を描画することが出来る。
【００９８】
上記処理により、ＡＲコンテンツと参照ＡＲ閲覧者Ａの間にＡＲ閲覧者ＢとＡＲ非閲覧者Ｃがいる状況で、参照ＡＲ閲覧者ＡにはＡＲ閲覧者ＢがＡＲコンテンツより手前に見え、ＡＲ非閲覧者ＣはＡＲコンテンツに隠されて見えない制御が実現される。ここで、図１１の処理を所定の周期で定期的に行っているため、その状態でＡＲ非閲覧者ＣがＡＲコンテンツの閲覧権を獲得したときには、ＡＲ閲覧者となったユーザＣが参照ＡＲ閲覧者Ａから見えるように、動的に見え方が変化する制御を実現できる。
【００９９】
（実施形態２）
本実施形態では、割り込んだＡＲ閲覧者の中でＡＲコンテンツとの関連性が深く、参照ＡＲ閲覧者にとって注目すべきであると推測されるＡＲ閲覧者を、ＡＲコンテンツの手前に表示する。
【０１００】
実施形態１では、ＡＲコンテンツと参照ＡＲ閲覧者Ａの間に、ＡＲコンテンツを説明しているＡＲ閲覧者ＢとＡＲ非閲覧者Ｃがいる状況で、参照ＡＲ閲覧者ＡにはＡＲ閲覧者ＢがＡＲコンテンツより手前に見え、ＡＲ非閲覧者ＣがＡＲコンテンツに隠され見えない。
【０１０１】
本実施形態では、参照ＡＲ閲覧者ＡとＡＲコンテンツの間に、ＡＲコンテンツについて説明しているＡＲ閲覧者Ｂだけでなく、聴衆の一人にすぎないＡＲ閲覧者Ｅもいる別の状況を想定する。この状況で、ＡＲ閲覧者ＢはＡＲコンテンツとの関連性が深く、参照ＡＲ閲覧者Ａには見えることが好ましく、ＡＲ閲覧者Ｅは特に見えている必要がなく、むしろ見えているとＡＲコンテンツの閲覧を妨げられる場合がある。そこで、本実施形態では、参照ＡＲ閲覧者ＡにＡＲ閲覧者Ｂが見え、ＡＲ閲覧者ＥはたとえＡＲ閲覧者であっても見えないように表示画面における表示を制御する。
【０１０２】
図１５は、ユーザとＡＲコンテンツの位置関係の例を示す平面図である。
【０１０３】
図中のユーザＡ、Ｂ、Ｅは、共にＡＲ閲覧者である。ユーザＢはＡＲコンテンツ１５のすぐそばに立ち、ＡＲコンテンツ１５に関して説明を行っており、ユーザＡとユーザＥはそれを見ている状況を想定して図示してある。この場合、ＡＲ閲覧者ＡにとってＡＲ閲覧者Ｂは注目すべきユーザ、すなわち、ＡＲコンテンツ１５と関連の深いユーザである。本実施形態では参照ＡＲ閲覧者Ａから見てＡＲコンテンツ１５の手前に存在し、ＡＲコンテンツ１５から所定距離内（例えば１ｍ以内）に立つユーザを注目すべき人とみなすこととする。注目すべきかどうかの判定は、他に、発話しているかどうか（マイクロフォンで検知した音声が所定レベル以上か）、体の動きが大きいか（ＭＥＭＳセンサ信号の変動が大きいか）に基づいて行うこともできる。
【０１０４】
説明を簡単にするために、参照ＡＲ閲覧者Ａの位置を（０，０）、参照ＡＲ閲覧者Ａから角度０の方向に表示位置原点Ｏがあるような座標空間を考える。ＡＲ閲覧者Ｂが座標（ｘＢ，ｙＢ）にいて、ＡＲコンテンツ１５の表示位置原点Ｏの座標が（ｘｃｏｎｔ，０）であるとする。ＡＲ閲覧者ＢからＡＲコンテンツ１５に対し垂直な線分の長さ、すなわち、ＡＲ閲覧者ＢとＡＲコンテンツ１５の距離ｄｉｓｔは次式で表される。
【０１０５】
【数１０】
2015087909.tif 000012
【０１０６】
本実施形態では、下記の２つの条件、
【０１０７】
【数１１】
2015087909.tif 000013
【０１０８】
【数１２】
2015087909.tif 000014
【０１０９】
を共に満たすとき、ＡＲ閲覧者Ｂを注目すべき人とみなすことができる。
【０１１０】
図１６は、本実施形態における参照ＡＲ閲覧者ＡがＨＭＤ１００を通して見る映像を具体的に説明する図である。
【０１１１】
比較のために説明する実施形態１の表示制御では、図１６（ａ）に示すように、説明者であるＡＲ閲覧者Ｂだけでなく単なる聴衆であるＡＲ閲覧者Ｅまで前面に見えることになる。これにより、注目する必要のない聴衆により、参照ＡＲ閲覧者ＡがＡＲコンテンツ１５の閲覧を妨げられる場合がある。そこで本実施形態では、図１６（ｂ）のように、注目すべき説明者であるＡＲ閲覧者ＢはＡＲコンテンツ１５より手前に位置して見えるように表示し、ＡＲ閲覧者ＥはＡＲコンテンツ１５に隠れて見えないように表示す。これにより、参照ＡＲ閲覧者ＡがＡＲコンテンツ１５の閲覧を妨げられない、より改良された制御を提供することができる。
【０１１２】
本実施形態の制御は、図７、９、１１に示した処理により実現できるが、図１１のＳ１１１２で実行される処理を、図１２の処理に替えて図１７の処理とすることで実現できる。
【０１１３】
図１７は、本実施形態において、図１１のＳ１１１２で実行されるディスプレイ表示処理における処理の流れを示すフローチャートである。各ＨＭＤ１００のＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで本フローチャートのＳ１７０１からＳ１７０３の処理が実施される。
【０１１４】
Ｓ１７０１で、ＨＭＤ１００が、ＡＲ閲覧者がＡＲコンテンツ１５から１ｍ以内の距離にいるかを図１５の説明に従い判定し、１ｍ以内にいるＡＲ閲覧者Ｂに該当する人体の存在する領域と重なる領域についてＡＲコンテンツを消去し、Ｓ１７０２に進む。
【０１１５】
Ｓ１７０２で、ＨＭＤ１００が、その他のＡＲ閲覧者、及び、ＡＲ非閲覧者に該当する人体の存在する領域に関して、人型の輪郭線を表す画像をＡＲコンテンツに付加し、Ｓ１７０３に進む。人型の輪郭線を表す画像は、Ｓ１２０２について説明した方法と同様の方法によって生成できる。
【０１１６】
Ｓ１７０３で、ＨＭＤ１００が、人体の存在領域と重なる領域が消去されたＡＲコンテンツであって、輪郭線を含むＡＲコンテンツを透過型ディスプレイ１０１の表示画面に表示し、本処理を終了する。
【０１１７】
（実施形態３）
実施形態１及び２では、システムの制御により割り込んだＡＲ閲覧者の拡張現実空間における表示と重なる領域を消去したＡＲコンテンツを透過型ディスプレイの表示画面に表示し、割り込んだＡＲ閲覧者がＡＲコンテンツの手前に見えるよう制御した。しかし、ＡＲコンテンツの手前に人を表示させたくないこともあるため、本実施形態はそのような場合に対応するもので、ユーザの指示に応じ、割り込んだＡＲ閲覧者をＡＲコンテンツの手前に見えるよう表示する制御を行わないように構成される。
【０１１８】
図１８は、本実施形態における参照ＡＲ閲覧者ＡがＨＭＤ１００を通して見る映像を具体的に説明する図である。本実施形態では、図に示すように、ＡＲコンテンツの手前に人、すなわちユーザを表示しない。
【０１１９】
本実施形態の処理は、図７、９、１１に示した処理に順じるが、図１１のＳ１１０６〜Ｓ１１２に替えて、図１９のＡＲ投影処理を実行する点で異なる。
【０１２０】
図１９は、本実施形態によるＡＲ投影処理における処理の流れを示すフローチャートである。各ＨＭＤ１００が備えるＣＰＵ１０４がＲＯＭ１１０に格納された制御プログラムを実行することで本フローチャートのＳ１９０１からＳ１９０５の処理が実施される。
【０１２１】
Ｓ１９０１で、ＨＭＤ１００が、処理サーバ３００から、割り込んだＡＲ閲覧者と割り込んだＡＲ非閲覧者の位置情報と、ＡＲコンテンツの表示位置と表示の大きさ情報を受信し、Ｓ１９０２に進む。
【０１２２】
Ｓ１９０２で、ＨＭＤ１００が、ユーザからの人の非表示指示を受け、Ｓ１９０３に進む。ユーザからの人の非表示指示に関しては、Ｓ９０１の説明で言及したような、ユーザのジェスチャーを認識する方法を用いることができる。
【０１２３】
Ｓ１９０３で、ＨＭＤ１００が、内蔵するカメラ１０２で撮影した位置マーカーを分析し、ＨＭＤ１００の向いている方向を算出し、Ｓ１９０４に進む。この処理に関しては、先にＳ１１０８で言及した処理と同様に行うことができる。
【０１２４】
Ｓ１９０４で、ＨＭＤ１００が、ＨＭＤ１００の向き情報と、ＡＲコンテンツの表示位置情報と、ＡＲコンテンツの大きさ情報を元に、投影するＡＲコンテンツを生成し、Ｓ１９０５に進む。
【０１２５】
Ｓ１９０５で、ＨＭＤ１００が、ＡＲコンテンツを透過型ディスプレイ１０１の表
示画面に表示し、本処理を終了する。この処理に関しては、先にＳ１２０３で言及した処理と同様に行うことができる。
【０１２６】
なお、上記各実施形態は透過型ディスプレイを備えるＨＭＤに本発明を適用したものであるが、本発明は非透過型ディスプレイを備えるＨＭＤにも適用することもできる。さらに、該ＨＭＤを含む情報処理システム、該情報処理システムに備えられる情報処理サーバ、該情報処理システムにおける情報処理方法、該ＨＭＤ及び該情報処理サーバで用いられるプログラムにも本発明を適用することができる。この場合、ＨＭＤが備えるカメラによりキャプチャした撮像画像中の割り込んだＡＲ閲覧者の画像を抽出し、該画像がＡＲコンテンツの表示と重なる領域についてＡＲコンテンツを消去し、該ＡＲコンテンツを撮像画像と表示仮面において重畳表示する制御を行う。このような制御により、非透過型ディスプレイの表示画面においても、参照ＡＲ閲覧者には、該割り込んだＡＲ閲覧者がＡＲコンテンツよりも手前に位置して見えるように表示することができる。一方、割り込んだＡＲ閲覧者がＡＲコンテンツの奥に隠れて見えないようにするための制御及びＡＲ閲覧者が存在する領域に輪郭線を描くための制御は、非透過型ディスプレイを使用する上記各実施形態の場合と同様に実現することができる。
【０１２７】
（他の実施形態）
本発明は、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、１つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。
【０１２８】
前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコード として読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。
【０１２９】
かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。
【０１３０】
また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウエア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。
【図１】
2015087909.tif 000015
【図２】
2015087909.tif 000016
【図３】
2015087909.tif 000017
【図４】
2015087909.tif 000018
【図５】
2015087909.tif 000019
【図６】
2015087909.tif 000020
【図７】
2015087909.tif 000021
【図８】
2015087909.tif 000022
【図９】
2015087909.tif 000023
【図１０】
2015087909.tif 000024
【図１１】
2015087909.tif 000025
【図１２】
2015087909.tif 000026
【図１５】
2015087909.tif 000027
【図１６】
2015087909.tif 000028
【図１７】
2015087909.tif 000029
【図１８】
2015087909.tif 000030
【図１９】
2015087909.tif 000031
【図１３】
2015087909.tif 000032
【図１４】
2015087909.tif 000033