(57)【要約】【課題】解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供すること【解決手段】撮像位置の情報を取得し、撮像された画像を記憶し、撮像位置と仮想オブジェクトの位置姿勢に基いて画像に仮想オブジェクトを重畳した複合現実画像を生成し、低解像度の複合現実画像を出力する低解像度モードと、高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定し、低解像度モードが設定されていることが特定された場合に低解像度の複合現実画像を出力し、高解像度モードが設定されていることが特定された場合に高解像度の画像を出力する【選択図】図６
2016115230.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置であって、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
画像を前記表示装置に表示させるべく出力する出力手段と、
前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、
を備え、
前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理装置。
【請求項２】
前記記憶機能は更に、仮想空間における現実物体の位置を記憶し、
前記現実物体の位置と仮想オブジェクトの位置とを用いて特定される、前記仮想オブジェクトと重なって配置される現実物体と、前記撮像位置取得手段で取得される前記撮像位置との距離が所定の距離以内か判定する距離判定手段と、
前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に、高解像度モードを設定する第１の設定手段と、
を備え、
前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に、前記第1の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記記憶機能は更に、仮想空間における開閉機構の位置と、開閉機構の開閉状態を記憶し、
前記開閉機構の位置と開閉状態に基いて、前記撮像位置取得手段で取得された撮像位置から撮像される範囲に位置する前記開閉機構が開いているか判定する開閉判定手段と、
前記開閉判定手段で、前記撮像される範囲に位置する前記開閉機構が開いていると判定された場合に、高解像度モードを設定する第２の設定手段と、
前記開閉判定手段で前記撮像される範囲に位置する前記開閉機構が開いていると判定された場合に、前記第２の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記開閉機構の先に仮想オブジェクトが存在する場合に、前記低解像度モードを設定する第３の設定手段と、
前記開閉機構の先に現実物体が存在する場合に、前記高解像度モードを設定する第４の設定手段と、
前記開閉機構の先に仮想オブジェクトが存在する場合に、前記第３の設定手段により設定された低解像度モードが設定中であることに基いて、前記複合現実画像生成手段により生成された低解像度の複合現実画像を出力し、
前記開閉機構の先に現実物体が存在する場合に、前記第４の設定手段により設定された高解像度モードが設定中であることに基いて、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
現実物体と、前記距離判定手段で当該現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に低解像度モードを設定すべきか高解像度モードを設定すべきかを対応付けて記憶する記憶手段と、
を備え、
前記第１の設定手段は、前記距離判定手段で前記現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合であって、前記記憶手段において当該現実物体と前記撮像位置との距離が所定の距離以内であると判定された場合に高解像度モードを設定すべきと記憶されている場合に、高解像度モードを設定することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
【請求項７】
撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置の制御方法であって、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得工程と、
前記撮像位置取得工程で取得した前記撮像位置から撮像された画像を記憶する画像記憶工程と、
前記撮像位置取得工程で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶工程に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成工程と、
画像を前記表示装置に表示させるべく出力する出力工程と、
前記出力工程で、前記複合現実画像生成工程で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶工程から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定工程と、
を含み、
前記出力工程は、前記モード特定工程で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成工程で生成された低解像度の複合現実画像を出力し、前記モード特定工程で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶工程から取得された高解像度の画像を出力することを特徴とする情報処理装置の制御方法。
【請求項８】
撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
画像を前記表示装置に表示させるべく出力する出力手段と、
前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段として機能させ、
前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理装置のプログラム。
【請求項９】
撮像装置と、画像を表示する表示装置と、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置とを含む情報処理システムであって、
画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、
前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、
前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、
画像を前記表示装置に表示させるべく出力する出力手段と、
前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、
を備え、
前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
情報処理装置、情報処理システム、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、複合現実（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体とＣＧモデルが配置されることが行われている。
【０００３】
特許文献１には、ヘッドマウントディスプレイ（以下、ＨＭＤ）に搭載されたカメラでマーカを撮像し、当該撮像したマーカの絶対座標と、画像から検出されたマーカ位置（クラスタ重心）とからＨＭＤの位置・姿勢を検出して、当該位置姿勢に応じた、ＣＧモデルを重畳した複合現実画像を生成する技術が開示されている。
【０００４】
特許文献２では、ユーザが注視した場所を特定して、当該注視した場所の画像を高解像度に変更する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３５０８６０号公報
【特許文献１】特開平１０−３２６０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
また、複合現実の実現に際して、特許文献２の技術を用いて画像の解像度を調整することが考えられる。高解像度の画像を用いて複合現実画像を生成すべく、現実画像にＣＧモデルを重畳して描画使用とした場合、画素数の違いやメモリ上の処理領域の確保が難しくなることから、低解像度の画像を用いた複合現実画像を生成するのに比べて処理負荷が高くなってしまう。
【０００７】
しかし、常に低解像度の画像をＨＭＤに表示させていると、表示された物体を十分に視認できない場合がある。
【０００８】
本発明は、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、撮像装置と、画像を表示する表示装置と通信可能な、仮想空間上に配置されるオブジェクトである仮想オブジェクト及び当該仮想オブジェクトを配置する位置姿勢を記憶する記憶機能を備える情報処理装置であって、画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、前記撮像位置取得手段で取得された撮像位置と、前記仮想オブジェクト及び仮想オブジェクトを配置する位置姿勢の情報に基いて、前記画像記憶手段に記憶された画像に仮想オブジェクトを重畳した複合現実画像を生成する複合現実画像生成手段と、画像を前記表示装置に表示させるべく出力する出力手段と、前記出力手段で、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力する低解像度モードと、前記画像記憶手段から取得された高解像度の画像を出力する高解像度モードとのいずれのモードが設定されているか特定するモード特定手段と、を備え、前記出力手段は、前記モード特定手段で前記低解像度モードが設定されていることが特定された場合に、前記複合現実画像生成手段で生成された低解像度の複合現実画像を出力し、前記モード特定手段で前記高解像度モードが設定されていることが特定された場合に、前記画像記憶手段から取得された高解像度の画像を出力することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における、情報処理システムの構成の一例を示す図である。
【図２】本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態における、各種装置の機能構成の一例を示す図である。
【図４】本発明の第１の実施形態における、モード設定処理の概要を示すフローチャートである。
【図５】本発明の実施形態における、画像の取得処理の詳細を示すフローチャートである。
【図６】本発明の実施形態における、表示画像の生成・送信処理の詳細を示すフローチャートである。
【図７】本発明の実施形態における、画像の様子を示す画像の一例を示す図である。
【図８】本発明の実施形態における、各種データテーブルの構成の一例を示す図である。
【図９】本発明の第２の実施形態における、モード設定処理の詳細を示すフローチャートである。
【図１０】本発明の第２の実施形態における、データテーブルの構成の一例を示す図である。
【図１１】本発明の第３の実施形態における、モード設定処理の詳細を示すフローチャートである。
【図１２】本発明の第３の実施形態における、データテーブルの構成の一例を示す図である。
【図１３】本発明の第４の実施形態における、モード設定処理の詳細を示すフローチャートである。
【図１４】本発明の第４の実施形態における、データテーブルの構成の一例を示す図である。
【図１５】本発明の実施形態における、データテーブルの構成の一例を示す図である。
【図１６】本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。
【図１７】本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。
【図１８】本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。
【図１９】本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲の位置関係の一例を示す図である。
【図２０】本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲、ＨＭＤから見て開閉部より先の所定距離範囲の関係の一例を示す図である。
【図２１】本発明の実施形態における、画像の様子を示す画像の一例を示す図である。
【図２２】本発明の実施形態における、開閉部の開閉状態に応じた仮想オブジェクトの描画領域の変化の様子を示す画像の一例を示す図である。
【図２３】本発明の第５の実施形態における、画像切替処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。図１は、本発明の実施形態における、情報処理システムの構成の一例を示す図である。
【００１３】
本発明の情報処理システムは、ＰＣ１００、ＨＭＤ１０１（ヘッドマウントディスプレイ１０１）、マーカ１０２、仮想オブジェクト１０３、現実物体１０５等から構成される。ＰＣ１００とＨＭＤ１０１（表示装置）は、図１に示すＬＡＮ１５０や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。
【００１４】
マーカ１０２には、ＭＲ空間（複合現実空間）上の位置情報が対応付けられており、ＨＭＤ１０１に搭載されるビデオカメラでマーカ１０２を撮像することで、当該撮像されたマーカ１０２の中心点とマーカ１０２の面積（画像中の大きさ）を用いて、ＨＭＤ１０１のＭＲ空間上の位置・姿勢（撮像方向）を特定することが可能である。
【００１５】
本実施形態においては、マーカの位置＝マーカの中心点とする。また、本実施形態においては、当該位置・姿勢の特定処理はＰＣ１００のＣＰＵが実行するものとする。マーカ１０２の位置・面積・識別応報は、ＰＣ１００の外部メモリに予め記憶されているものとする。
【００１６】
また、図１にはマーカがマーカ１０２のみ記載されているが、例えば、複数のマーカをＨＭＤの周辺（ＭＲ空間を設定する現実空間上の壁・床等）に配置して、各マーカに位置情報を対応付けてＰＣ１００の外部メモリに記憶しておき、当該マーカのいずれかを撮像することで、ＨＭＤ１０１のＭＲ空間上の位置・姿勢を特定することが可能である。ＨＭＤ１０１の位置・姿勢の方法はどのようなものでも構わない。
【００１７】
尚、本発明の実施形態において、マーカ１０２は、ＨＭＤ１０１がＭＲ空間上にある現実物体に接近したか否かの判定にも用いられるものとする。当該判定、及び判定結果に応じた処理については後述する。
【００１８】
また、ＰＣ１００の外部メモリには、ＭＲ空間上に配置するＣＧ（仮想オブジェクト）の情報がＭＲ空間上の位置・姿勢の情報と対応付けて記憶されている。ＰＣ１００は、ＨＭＤ１０１のビデオカメラにより撮像された画像を取得して、当該ＨＭＤ１０１の位置・姿勢の情報を用いて、当該取得した画像に、ＣＧ（仮想オブジェクト）の画像を重畳して、ＭＲ画像（重畳画像／複合現実画像）を生成する（複合現実画像生成）。
【００１９】
ＰＣ１００は当該ＭＲ画像をＨＭＤ１０１に送信して、ＨＭＤ１０１はディスプレイに当該ＭＲ画像を表示する。
【００２０】
上述した、ＨＭＤ１０１の位置及び姿勢の特定・算出の具体的な方法、及び、ＭＲ画像の生成方法は既知の技術であり、例えば、参考文献（特開２０００−３５０８６０号公報）にも記載されているため、ここでは説明を割愛する。
【００２１】
なお、ＨＭＤ１０１は撮影モード（モード情報）の設定に応じて、高解像度モードが設定されている場合は高解像度の画像を撮像し、低解像度モードの場合は低解像度の画像を撮像する。また、ＰＣ１００は、高解像度モードが設定されている場合は高解像度の画像をＨＭＤ１０１に出力し、低解像度モードの場合は低解像度の画像（低解像度の画像を基に作成したＭＲ画像）をＨＭＤ１０１に出力する。
【００２２】
仮想オブジェクト１０３は、ＭＲ空間上に配置されたＣＧモデルである。当該仮想オブジェクト１０３は、ＰＣ１００の外部メモリに、ＭＲ空間上の位置の情報と対応付けて記憶されている。
【００２３】
例えば、ＭＲの技術を用いて、機械の内部機構（例えばエンジン）としての現実物体１０５と、当該内部機構を覆う外装板としての仮想オブジェクト１０３のようなＣＧを、ＨＭＤ１０１に表示し、実際に現実物体としての外装板が取り付けられた場合に、当該内部機構の整備を行う整備者が当該内部機構の整備を行うことができるかシュミレーションすることが考えられる。
【００２４】
しかしながら、上述したように、解像度の低い画像では、仮想オブジェクト１０３の開閉部（開閉機構）に整備者の腕が入るか否か程度のおおまかな状態については、ＨＭＤ１０１のディスプレイにＭＲ画像を表示させ、ＨＭＤ１０１を装着したユーザが開閉部（開閉機構）の開いた箇所に腕を入れこむことで確認可能だが、ねじ穴のような細かい部分については、画像が荒いために確認が難しい。
【００２５】
かといって、単純に高解像度の画像を用いてＭＲ画像を生成しようとすれば、処理負荷が高くなり、画像の表示が遅くなってしまう可能性がある。
【００２６】
これに対し、本発明の第１の実施形態においては、例えば、撮影モードの設定が低解像度モードに設定されている場合にはＭＲ画像を生成してＨＭＤ１０１のディスプレイに出力し、高解像度モードに設定されている場合には現実物体の詳細をユーザに確認させるべく、現実画像をＨＭＤ１０１のディスプレイに出力する処理を行う。
【００２７】
以上が図１の、本発明の実施形態における、情報処理システムの構成の一例についての説明である。
【００２８】
次に図２を参照して、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。尚、図２のＰＣ１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。
【００２９】
まず、ＰＣ１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。
【００３０】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００３１】
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００３２】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００３３】
また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。
【００３４】
ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。
【００３５】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３６】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００３７】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３８】
本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
【００３９】
次に、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。
【００４０】
右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ２２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５がＰＣ１００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ１００が受信する。
【００４１】
ＰＣ１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例についての説明である。
【００４２】
次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図３は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。
【００４３】
ＰＣ１００は、オブジェクトの描画位置を特定するＰｌａｔｆｏｒｍアプリケーションと、当該特定した情報を用いてオブジェクトを描画し、ＭＲ画像を生成するＶｉｅｗｅｒアプリケーションを備える。
【００４４】
撮像処理部３１１は、現実画像を撮像して取得する。撮像画像送信部３１２は、撮像した現実画像（撮像画像）をＰＣ１００に送信する。
【００４５】
撮像画像受信部３０１は、ＨＭＤ１０１の撮像処理部で撮像された画像（現実画像／撮像画像）であって、撮像画像送信部３１２で送信された現実画像を受信する受信部である。位置姿勢特定部３０２は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置・面積からＨＭＤ１０１の位置・姿勢を特定する。
【００４６】
モード変更処理部３０３は、たとえばユーザからの操作指示に応じて撮影モードを変更・設定する処理部である。モード判定部３０４は、撮影モードが高解像度モードか低解像度モードかを判定する。
【００４７】
仮想オブジェクト記憶部３０５は、仮想オブジェクト（ＣＧモデル）を、ＭＲ空間上の位置と対応付けて記憶する記憶部である。当該ＭＲ空間上の位置は、別途ＰＣ１００の外部メモリに記憶されたＭＲ空間上の原点座標からの相対位置である。
【００４８】
仮想オブジェクト表示制御部３０６は、仮想オブジェクトの表示・非表示を制御する制御部である。つまり、ＭＲ画像を生成するか否かを決定する。
【００４９】
例えば、高解像度モードの場合、ＭＲ画像の生成処理による処理負荷が増大すると考えられるため、仮想オブジェクトの表示（ＭＲ画像のＨＭＤ１０１への出力）は不要とする。仮想オブジェクトの全部又は一部を表示しない高解像度の現実画像をＨＭＤ１０１に送信する。低解像度モードの場合、現実物体周辺の（ＨＭＤ１０１の視野角内の）仮想オブジェクトを表示したＭＲ画像を生成してＨＭＤ１０１に送信するものとする。
【００５０】
ＭＲ画像生成部３０７は、ＭＲ画像を生成する生成部である。画像送信部３０８は、ＨＭＤ１０１に、現実画像、又は、現実画像を用いて生成したＭＲ画像を送信する送信部である。
【００５１】
画像受信部３１３は、画像の受信処理部である。画像表示部３１４は、画像の表示処理部である。以上が図３の説明である。
【００５２】
次に図８を参照して、本発明の実施形態における、各種データテーブルの構成の一例について説明する。図８は、本発明の実施形態における、各種データテーブルの構成の一例を示す図である。図８の各種データは、ＰＣ１００の外部メモリに記憶されている。
【００５３】
ＨＭＤ位置姿勢情報８００は、ＨＭＤの位置８０１、姿勢８０２から構成されている。ＨＭＤ位置姿勢情報８００は、ＰＣ１００のＣＰＵ２０１が、例えば、ＨＭＤ１０１から取得する画像の中のマーカの中心位置（中心点）・面積などを用いて随時算出し、当該算出された値に随時更新されるものとする。
【００５４】
被写体情報８１０は、被写体である現実物体の位置情報を示す。ここでは、現実物体に添付されたマーカの位置＝現実物体の位置とする。マーカＩＤ８１１は、マーカを一意に識別するための識別情報である。位置８１２は、当該マーカのＭＲ空間上の位置の情報である。当該被写体情報８１０は、ＰＣ１００の外部メモリに予め記憶されているものとする。
【００５５】
尚、上述した図８の説明においては、被写体情報８１０は＝ＨＭＤ１０１のカメラで撮像された現実画像中のマーカ画像（ＨＭＤ１０１の位置姿勢、画像中のマーカの画像の大きさ・ベクトル等）から特定された、現実物体に添付されたマーカの位置＝現実物体のＭＲ空間上の位置とするものとしたが、現実物体の位置が確認できればよいため、例えば予めＰＣ１００の外部メモリに現実物体のＭＲ空間上の位置情報として被写体情報８１０に示す情報を記憶しておき、当該記憶している情報を被写体情報８１０の代わりに利用して、ＰＣ１００のＣＰＵ２０１が本発明の各フローチャートの処理を実行するようにしてもよい。
【００５６】
仮想オブジェクト情報８２０は、仮想オブジェクトの識別情報であるオブジェクトＩＤ８２１と、位置８２２（位置姿勢）を対応付けて記憶している。仮想オブジェクト情報８２０は、ＰＣ１００の外部メモリに予め記憶されているものとする（記憶機能に該当）。
【００５７】
モード情報８３０は、前述した撮影モードの設定（モード設定）の情報である。モード情報８３０には現在設定中のモードが記憶される。当該モード情報８３０は、例えば後述する図４の処理で設定・変更可能であり、ＰＣ１００の外部メモリに記憶されているものとする。
【００５８】
以上が図８の、本発明の実施形態における、各種データテーブルの構成の一例についての説明である。
【００５９】
以下、図４〜図７を用いて、本発明の第１の実施形態について説明する。
【００６０】
次に図４を参照して、本発明の実施形態における、本発明の第１の実施形態における、モード設定の概要について説明する。
【００６１】
ＰＣ１００のＣＰＵ２０１は、ユーザ指示に応じて不図示のモード設定画面を表示画面に表示し（ステップＳ４０１）、高解像度モードまたは低解像度モードのいずれかにモード情報を変更する指示を受け付けたか判定する（ステップＳ４０２）。変更指示を受け付けていない場合（ステップＳ４０２でＮＯ）、処理を終了し、現在設定中のモードの情報を保持する。
【００６２】
変更指示を受け付けた場合（ステップＳ４０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度モードへの設定変更の指示を受け付けたか低解像度モードへの設定変更の指示を受け付けたか判定する。
【００６３】
高解像度モードへの設定変更の指示を受け付けた場合、モード情報８３０を高解像度モードに変更して外部メモリに記憶する。低解像度モードへの設定変更の指示を受け付けた場合、モード情報８３０を低解像度モードに変更して外部メモリに記憶する。つまり、モード情報８３０を更新する。以上が図４の説明である。
【００６４】
次に図５を参照して、本発明の実施形態における、画像の取得処理の詳細について説明する。
【００６５】
ＰＣ１００のＣＰＵ２０１は、外部メモリに記憶されているモード情報８３０を取得してＨＭＤ１０１に送信する（ステップＳ５０１）。ＨＭＤ１０１は当該モード情報８３０を取得し（ステップＳ５０２）、当該モード情報８３０が高解像度モードか低解像度モードか判定する（ステップＳ５０３）。
【００６６】
高解像度モードの場合、ＨＭＤ１０１はビデオカメラの設定を高解像度画像の撮像設定に切り替えて高解像度の画像を撮像し、取得する（ステップＳ５０４）。低解像度モードの場合、ビデオカメラの設定を低解像度画像の撮像設定に切り替えて低解像度の画像を撮像し、取得する（ステップＳ５０５）。
【００６７】
ＨＭＤ１０１は、撮像画像（ステップＳ５０４で取得した高解像度画像またはステップＳ５０５で取得した低解像度画像／現実画像）をＰＣ１００に送信し（ステップＳ５０６）、ＰＣ１００のＣＰＵ２０１がこれを受信してメモリに記憶し（ステップＳ５０７／画像記憶手段に該当）、ＨＭＤ１０１に表示させる表示画像の生成・送信処理を実行する（ステップＳ５０８）。ステップＳ５０８の詳細については図６の説明で後述する。以上が図５の説明である。
次に図６を参照して、本発明の実施形態における、表示画像の生成・送信処理の詳細について説明する。
【００６８】
ＰＣ１００のＣＰＵ２０１は、図５のステップＳ５０６で受信した画像をメモリより取得し（ステップＳ６０１）、モード情報８３０を取得してモードが高解像度モードか低解像度モードか判定する（ステップＳ６０２／モード特定手段に該当）。低解像度モードである場合、図５のステップＳ５０６で受信しステップＳ６０１で取得した低解像度画像を用いてＭＲ画像を生成する（ステップＳ６０４）。例えば、図７の７００のようなＭＲ画像を生成する。
【００６９】
ＭＲ画像の生成手法については特許文献１に示したように既知の技術であるため詳細な説明は割愛する。ここでは、例えば特許文献１に記載の技術を用いてＭＲ画像を生成するものとする。
【００７０】
ＰＣ１００のＣＰＵ２０１は、生成したＭＲ画像をＨＭＤ１０１に表示させるべく（ＨＭＤ１０１のディスプレイに表示させる表示画像として決定し）ＨＭＤ１０１に送信する（ステップＳ６０５）。
【００７１】
一方、ステップＳ６０４で、モードが高解像度モードであると判定された場合、図５のステップＳ５０６で受信しステップＳ６０１で取得した高解像度画像（現実画像）を、ＨＭＤ１０１のディスプレイに表示させる表示画像として決定する。例えば、図７の７１０にしめすような、仮想オブジェクトを描画しない（ＣＧモデルを重畳しない）高解像度の現実画像をＨＭＤ１０１に送信する画像（高解像度画像）とする。そして、当該高解像度画像をＨＭＤ１０１に送信する（ステップＳ６０３）。
【００７２】
ＨＭＤ１０１はステップＳ６０４で送信されたＭＲ画像またはステップＳ６０３で送信された高解像度画像（現実画像）を受信して（ステップＳ６０６）、表示画面に表示する（ステップＳ６０７）。以上が図６の説明である。
【００７３】
以上、本発明の第１の実施形態について説明した。
【００７４】
以上説明したように、本発明の第１の実施形態によれば、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【００７５】
次に図９、図１０を参照して、本発明の第２の実施形態について説明する。
【００７６】
本発明の第２の実施形態においては、第１の実施形態の図４の説明において、ユーザの手動で設定・変更されたに撮影モードを、ＨＭＤと現実物体との距離に応じて変更する。
【００７７】
例えば仮想空間上で現実物体に重なって仮想オブジェクトが配置されている状態で、現実物体の詳細を確認するためにＨＭＤが（ユーザが）現実物体に近づいた場合、現実物体重なって配置されている仮想オブジェクトを大きく表示（描画）する必要があるため、処理負荷が増大してしまう。一方、ＨＭＤとの距離が離れている場合は仮想オブジェクトが小さく見えるようにＭＲ画像を生成するため、ＨＭＤに表示する画像の中で仮想オブジェクトの画像が占める割合が少ないことが考えられる。
【００７８】
よって第２の実施形態においては、例えば、仮想オブジェクトが重なった現実物体との距離が近く、仮想オブジェクトを大きく描画しなければならないために生じる描画処理の処理負荷を軽減するために、ＨＭＤと現実物体の距離が所定距離以内である場合に高解像度モードに設定を変更し、ＨＭＤと現実物体の距離が所定距離より離れている場合に低解像度モードに設定を変更する。
【００７９】
次に図９を参照して、本発明の第２の実施形態における、モード設定処理の詳細について説明する。
【００８０】
第２の実施形態においては、第１の実施形態における図４の処理の代わりに図９の処理を（ＰＣ１００のＣＰＵ２０１が）実行する。図５、図６等の処理については第１の実施形態と同様であるため、説明は割愛する。以下、第１の実施形態と共通する処理については説明を割愛する。
【００８１】
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置と姿勢の情報（図８のＨＭＤ位置姿勢情報８００）を取得（計測）する（ステップＳ９０１／撮像位置取得手段）。そして観察対象である仮想オブジェクトと重なっている現実物体１０５の位置情報を取得する（ステップＳ８０２）。例えば、ここではマーカ１０２の位置＝現実物体１０５の位置（図８の位置８１２の情報）とし、現実物体１０５の位置である当該位置８１２を取得する。また、当該現実物体１０５の位置８１２に重なる仮想オブジェクトを、仮想オブジェクト情報８２０より特定する。つまり、仮想オブジェクトＩＤ８２１の示す仮想オブジェクトを位置８２２に配置した場合に、仮想オブジェクトの形状から、当該仮想オブジェクトの一部が現実物体１０５（現実物体１０５の位置８１２）に重なるかを算出する。そして現実物体１０５と重なる仮想オブジェクトを特定して、ステップＳ８０２で当該現実物体１０５と重なる仮想オブジェクトの位置を取得するものである。
【００８２】
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から仮想オブジェクトと重なる現実物体１０５の位置（マーカ１０２の位置）までの距離を算出し（ステップＳ９０３／距離特定手段）、撮影モードを切替える条件（使用する画像を切替える条件）である切替条件１０００を取得する（ステップＳ８０４）。
【００８３】
切替条件１０００は、ＰＣ１００のＣＰＵ２０１が、撮影モード（モード情報８３０）を低解像度モードから高解像度モードに、高解像度モードから低解像度モードに切替える距離の閾値（条件）を記憶している。切替条件１０００は、ＰＣ１００の外部メモリに予め記憶されているものとする。
【００８４】
ここでは、ＨＭＤ１０１の位置である位置８０１と、被写体情報８１０の位置８１２が示す現実物体の位置との距離が、距離１００１以内になった場合に、モード情報８３０を高解像度モードに設定（変更）する。また、位置８０１と位置８１２の距離が、距離１００１より大きくなった場合に、モード情報８３０を低解像度モードに設定（変更）する。
【００８５】
また、角度１００２に角度を示す数値が挿入（記憶）されている場合、ＨＭＤ１０１の位置８０１及び姿勢８０２と、現実物体の位置である位置８１２を用いて、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の向いているベクトル（姿勢ベクトル）に向けての所定範囲内（図１９における範囲１９０１）にあるかどうかを、角度１００２の値を用いてＰＣ１００のＣＰＵ２０１が判定し、位置８０１と位置８１２の距離が距離１００１以内であって、且つ、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の向いているベクトルに向けての所定範囲内にある場合に、モード情報８３０を低解像度モードから高解像度モードに切替える（変更する）。
【００８６】
図１９は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１９０１）の位置関係の一例を示している。
【００８７】
ＰＣ１００のＣＰＵ２０１は、ＨＭＤの位置８０１と現実物体の位置８１２の距離が距離１００１より大きい場合、又は、位置８０１と位置８１２の距離が距離１００１以内であっても現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にない場合には、モードを高解像度モードから低解像度モードに切替える（変更する）ものとする。
【００８８】
現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にある場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体があるということである。反対に、現実物体（位置８１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１９０１）にない場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体がないということである。
【００８９】
つまり、ＨＭＤ１０１の視野内（ユーザの視野内）に現実物体があるか否か（ユーザが現実物体の詳細を確認しようとしているか否か）に応じて低解像度モードを用いたＭＲ画像の生成・送信処理と、高解像度モードを用いたＭＲ画像の生成・送信処理を使い分けることができる。
【００９０】
当該現実物体１０５（マーカ１０２）がＨＭＤ１０１の所定範囲内（範囲１９０１）にあるか否かの判定方法については後述する。
【００９１】
図９の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件１０００における距離１００１）以内か判定し（ステップＳ９０５／ＨＭＤ１０１の位置から現実物体１０５の位置までの距離の値が所定の値に達したか（達しているか）判定／距離判定手段に該当）、所定の距離以内でない場合（ステップＳ９０５でＮＯ）、撮影モード（モード情報８３０）を低解像度モードに変更する（ステップＳ９１１）。
【００９２】
ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離以内の場合（ステップＳ９０５でＹＥＳ）、処理をステップＳ９０６に移行し、ＨＭＤ１０１から現実物体の位置８１２への向きベクトルを算出する（ステップＳ９０６）。
【００９３】
そして、ＨＭＤ１０１の姿勢ベクトルである姿勢８０２（図８）の値を取得して、姿勢８０２の示すベクトルと、ＨＭＤ１０１から現実物体の位置８１２への向きベクトルの成す角度を算出する（ステップＳ９０７）。
【００９４】
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の向いている方向における所定範囲内（範囲１９０１内）に、現実物体１０５（マーカ１０２）が含まれるか判定すべく、当該判定の基準となる角度の情報（図１０の角度１００２）を取得する（ステップＳ９０８）。
【００９５】
そして、ステップＳ９０７で算出した角度が、角度１００２（ここでは３０°）以内か判定し（ステップＳ９０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ９０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にあるものと判断し、処理をステップＳ９１０に移行する。
【００９６】
ステップＳ９０７で算出した角度が、３０°以内でない場合（ステップＳ９０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の範囲（範囲１９０１）内にない（つまり、ユーザは現実物体の詳細を確認しようとしていない＝現実物体の画像を精細に表示する必要がない）ものと判断し、処理をステップＳ９１１に移行する。
【００９７】
ステップＳ９１０では、ＰＣ１００のＣＰＵ２０１は、撮影モード（モード情報８３０）を高解像度モードに変更する（ステップＳ９１０）。そして、第１の実施形態同様、図５、図６の処理を実行する。
【００９８】
以下、上述した距離・角度の値の具体的な計算方法について記載する。
【００９９】
ＨＭＤの位置をＨｐｘ，Ｈｐｙ，Ｈｐｚ、姿勢（向き／姿勢ベクトル／方向単位ベクトル）をＨｄｘ，Ｈｄｙ，Ｈｄｚとする。また、現実物体の位置（現実物体に付加されたマーカ（例えばマーカ１０２）の位置）をＴｐｘ，Ｔｐｙ，Ｔｐｚとする。
【０１００】
ＨＭＤと現実物体の距離Ｄは
2016115230.tif 000003
で求まる。
【０１０１】
また、ＨＭＤが現実物体を真正面に見た場合の姿勢（方向単位ベクトル）Ｄｘ，Ｄｙ，Ｄｚは
2016115230.tif 000004
で求まる。
【０１０２】
ＨｄとＤの成す角度θが小さければＨＭＤが正面に近い向きであることが計算できる。例えば、ここで０≦θ≦１８０とすると
2016115230.tif 000005
でθを求めることができる。
以上が図９の説明である。
【０１０３】
本発明の第２の実施形態によれば、ＨＭＤと現実物体との距離に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【０１０４】
次に、本発明の第３の実施形態について説明する。
【０１０５】
本発明の第３の実施形態においては、カメラ（ＨＭＤ）の向いている方向に位置する開閉部の開閉に応じて、高解像度モードと低解像度モードを切替える処理を行う。
【０１０６】
例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられる。また、仮想オブジェクトの開閉部が開かれたことで、（図２２に示すように）開閉部が閉まっているときよりも仮想オブジェクトを描画する画像上の面積が増加してしまうため、当該描画の処理負荷を低減して高解像度の画像をユーザに提示すべく撮影モードを高解像度モードに変更する。
【０１０７】
ここで図１１を参照して、本発明の第３の実施形態における、モード設定処理の詳細について説明する。
【０１０８】
尚、図１１の処理は上述した第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１により実行される。図５、図６の各処理（第１の実施形態と共通の処理）の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。
【０１０９】
ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置を取得し（位置取得手段）、ＨＭＤ１０１の向いている方向（ＨＭＤ１０１に設置されたカメラの向いている方向）に開閉部が存在するか判定する（ステップＳ１１０１）。
【０１１０】
当該開閉部が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び姿勢のベクトルと、開閉部のＭＲ空間上の位置情報を用いて行われる。当該開閉部のＭＲ空間上の位置の情報は、図１２のように、ＰＣ１００の外部メモリに予め記憶されている。当該開閉部が画像中にあるかどうかは、例えば、上述した第１の実施形態における、現実物体の位置（Ｔｐｘ，Ｔｐｙ，Ｔｐｚ）を開閉部位置９０２に置き換える（開閉部位置＝Ｔｐｘ，Ｔｐｙ，Ｔｐｚとする）ことで特定・判定するものとする。
【０１１１】
ここで図１２を参照して、本発明の第３の実施形態における、データテーブルの構成の一例について説明する。
【０１１２】
図１２のデータテーブル１２００は、ＰＣ１００の外部メモリに予め記憶されている、開閉部の位置及び開閉状態（開閉状況）を示すテーブルである。
【０１１３】
オブジェクトＩＤ１２０１は、開閉部を備える仮想オブジェクト（ＣＧモデル）の識別情報である。開閉部位置１２０２は、開閉部のＭＲ空間上の座標位置を示す。例えば、オブジェクトＩＤ１２０１の中で開閉機構を備える部位（開閉機構を構成するＣＧモデルの集合）の中心位置であるものとする。例えば図１８でいう、１８０１の位置である。図１７は、本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。
【０１１４】
開閉状態１２０３は、開閉部の開閉状態を示す。ｏｐｅｎの場合、開閉部が開いている状態、ｃｌｏｓｅの場合、開閉部が閉じている状態を示す。当該開閉状態１２０３のステータスは、例えば、ユーザからの当該開閉部の開閉操作を受け付けた場合に、ＰＣ１００のＣＰＵ２０１により更新される。
【０１１５】
例えば、オブジェクトＩＤ１２０１の示す仮想オブジェクトに対しユーザの手が触れた場合に、随時、当該オブジェクトＩＤに対応する開閉部の開閉状態を切替えるものとする。（開閉部が開いている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態１２０３をｏｐｅｎに、開閉部が閉じている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態１２０３をｃｌｏｓｅにする）
【０１１６】
尚、ユーザの手が仮想オブジェクトに触れたかどうかの判定技術は既知の技術を用いる。例えば、手の位置を検出するためのマーカを添付した手袋をユーザに装着させて撮像することで、当該マーカの位置・大きさ・角度から手の位置、角度を検出し、当該手の位置が仮想オブジェクトの位置から所定の距離範囲内にあるかどうかを判断し、所定の距離範囲内にある場合に手が仮想オブジェクトに触れていると判断するものである。既知の技術であるため、ここでは説明を割愛する。以上が図１２の説明である。
【０１１７】
図１１の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ステップＳ１１０１で、ＨＭＤ１０１の向いている方向に開閉部が存在しない（検出されなかった）と判定した場合（ステップＳ１１０１でＮＯ）、撮影モードを低解像度モードに変更する（ステップＳ１１０４）。つまり、モード情報８３０に低解像度モードの設定を記憶する。
【０１１８】
ＨＭＤ１０１の向いている方向に開閉部が存在すると判定した場合（ステップＳ１１０１でＹＥＳ）、当該開閉部の開閉状態１２０３を参照し、当該開閉部が開いているか否かを判定する（ステップＳ１１０２／開閉判定手段）。開閉部が閉じられている場合（ステップＳ１１０２でＮＯ）、処理をステップＳ１１０４に移行する。
【０１１９】
開閉部が開かれている場合（ステップＳ１１０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、撮影モードを高解像度モードに変更する（ステップＳ１１０３）。つまり、モード情報８３０に高解像度モードの設定を記憶する。そして、図５、図６の処理を実行する。
【０１２０】
本発明の第３の実施形態によれば、開閉部の開閉状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【０１２１】
以上が本発明の第３の実施形態の説明である。
【０１２２】
次に、本発明の第４の実施形態について説明する。
【０１２３】
本発明の第４の実施形態においては、カメラ（ＨＭＤ）の向いている所定範囲（範囲１９０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、撮影モードを変更する処理を行う。
【０１２４】
例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）で、当該開閉部の先に現実物体が存在する場合に、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更する必要がある。また、開閉部の先に仮想オブジェクトがあった場合には、描画しなければならない仮想オブジェクトの数に応じて描画処理の負荷が増大することが考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更する必要がある。
【０１２５】
よって、第４の実施形態においては、開閉部の先に現実物体がある場合に高解像度モードを設定し、開閉部の先に仮想オブジェクトがある場合に低解像度モードを設定する。
【０１２６】
ここで図１３を参照して、本発明の第４の実施形態における、モード設定処理の詳細について説明する。
【０１２７】
尚、図１３の処理は上述した第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１により実行される。
【０１２８】
他、第１の実施形態と共通の処理である図５、図６の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。また、図１３のステップＳ１３０１及び１３０２の処理は、第３の実施形態における図１１のステップＳ１１０１、Ｓ１１０２の処理と同じであるため、説明は割愛する。
【０１２９】
ＰＣ１００のＣＰＵ２０１は、ステップＳ１３０２で、ＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合、当該開閉部より先の所定の距離範囲内に、現実物体が存在するか、仮想オブジェクトが存在するかを判定する（ステップＳ１３０３）。
【０１３０】
当該開閉部より先の所定の距離範囲内に現実物体が存在するか、仮想オブジェクトが存在するかの判定は、例えば、ＨＭＤ１０１の位置及び開閉部のＭＲ空間上の位置、図１４の物体間距離１４００の距離（所定の距離範囲）、仮想オブジェクトの位置８２２、現実物体の位置８１２の情報を用いて行われる。
【０１３１】
図１４の物体間距離は、ＰＣ１００の外部メモリに予め記憶されている、ＨＭＤ１０１から見て、開閉部より先（奥／向こう側）の所定の距離範囲内に、現実物体が存在するか否かの判定に用いられる、当該所定の距離範囲の情報である。
【０１３２】
つまり、図２０でいう、範囲１９０１内のライン２００１からライン２００２までの間の範囲内に、現実物体が存在するか判定する。図２０は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１９０１）、ＨＭＤ１０１から見て開閉部より先の所定距離範囲（物体間距離１４００によって示されるライン２００１からライン２００２の間の、範囲１９０１に含まれる範囲）の関係の一例を示している。
【０１３３】
図１３の説明に戻る。ＰＣ１００のＣＰＵ２０１は、開閉部より先の所定の距離範囲内に仮想オブジェクトが存在すると判定した場合、処理をステップＳ１４０５に移行し、撮影モードを低解像度モードに変更する（ステップＳ１４０５）。
【０１３４】
開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在すると判定した場合、ＰＣ１００のＣＰＵ２０１は、撮影モードを高解像度モードに設定する（ステップＳ１４０４）。その後、図５、図６の処理を実行する。
【０１３５】
以上説明したように、本発明の第４の実施形態によれば、開閉部の先の状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【０１３６】
次に、本発明の第５の実施形態について説明する。
【０１３７】
本発明の第５の実施形態においては、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度モードと低解像度モードを切替える処理を行う。つまり、上述した第２の実施形態と、第３の実施形態又は第４の実施形態の処理を組み合わせた実施形態である。
【０１３８】
例えば、ＨＭＤ１０１を装着したユーザが現実物体を確認しようと開閉部を開けて、現実物体の近くに移動した場合に、現実物体の詳細を確認させるため、高解像度モードに切り替える。
【０１３９】
以下、図２３を参照して、本発明の第５の実施形態における、画像切替処理の詳細について説明する。図２３においては、一例として第２の実施形態（図９）の処理と、第４の実施形態（図１３）の処理とを組み合わせた処理の流れを説明する。
【０１４０】
図２３の処理は、第１の実施形態における図４の処理の代わりにＰＣ１００のＣＰＵ２０１によって実行される。
【０１４１】
図２３におけるステップＳ９０１〜Ｓ９０９の処理は図９のステップＳ９０１〜Ｓ９０９の処理と同じであるため説明は省略する。
【０１４２】
ＰＣ１００のＣＰＵ２０１は、ステップＳ９０９において、ステップＳ９０７で算出した角度が角度１００２（ここでは３０°）以内か判定し（ステップＳ９０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ９０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にあるものと判断して処理をステップＳ１３０１に移行する。３０°以内でない場合（ステップＳ９０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１９０１）内にないものと判断して処理をステップＳ１３０５に移行する。
【０１４３】
ステップＳ１３０１〜Ｓ１３０５の処理は図１３のステップＳ１３０１〜Ｓ１３０５の処理と同じであるため説明は省略する。以上が図２３の説明である。
【０１４４】
尚、第２の実施形態と第３の実施形態を組み合わせた処理を行う場合は、図１９のステップＳ１３０３をスキップして、ステップＳ１３０２でＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合に（ステップＳ１３０２でＹＥＳ）処理をステップＳ１３０４に移行するものとする。
【０１４５】
本発明の第５の実施形態によれば、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【０１４６】
また、図２３のステップＳ１３０３の処理を実行することで、ＨＭＤと現実物体が所定距離と、開閉部の開閉状態と、開閉部と現実物体の位置関係に応じて変更される解像度のモードに応じて、複合現実における画像の出力方法を容易に切替え可能な仕組みを提供することができる。
【０１４７】
以上が本発明の第５の実施形態の説明である。
【０１４８】
第５の実施形態で前述したように、上述した実施形態を組み合わせて、解像度のモードに応じて、複合現実における画像の出力方法を容易に切替えるようにしてもよい。
【０１４９】
例えば、ＨＭＤ１０１から現実物体までの所定の距離が所定距離以内であって（第２の実施形態）、且つ、検出された開閉部が開かれている場合に（第３の実施形態）、高解像度モードに切替えるようにしてもよい。この場合、例えば、図９のステップＳ９０９でＹＥＳの場合に、処理を図１１のステップＳ１１０１に移行し、ステップＳ９０９でＮＯの場合には、処理をステップＳ１１０４に移行するようにする。図１１の処理終了後、処理を図５、図６の処理を実行する。
【０１５０】
また、本発明の実施形態においては、現実物体を囲う外装が仮想オブジェクト（仮想オブジェクト１０３）であるものとしたが、例えば、当該現実物体を囲う外装自体が現実物体である場合でも、各実施形態における処理と同様の処理を適用するようにしてもよい。
【０１５１】
外装が現実物体である場合、図１６、図１７に示すように、現実物体である外装板に二次元マーカを貼付し、前述のマーカ１０２の位置の特定方法と同様の方法で、当該二次元マーカの位置（例えば、当該二次元マーカの位置＝外装板の位置とする）を特定することができる。
【０１５２】
また、図１６に示すように、開閉部の表面と開閉部近くの外装に二次元マーカを貼付して、当該２つのマーカを対応付けてＰＣ１００の外部メモリに記憶しておき、カメラから取得した画像において、当該２つのマーカのうち１しか検出されない場合には、開閉部が開いていると判定し、当該２つのマーカが２つとも検出される場合には、開閉部が閉じていると判定するものである。
【０１５３】
また、図１７に示すように、開閉部の表面と裏面に二次元マーカを貼付して、カメラから取得した画像において、裏面の二次元マーカが検出されている場合には、開閉部が開いていると判定し、表面の二次元マーカが検出されている場合には、開閉部が閉じていると判定するようにしてもよい。開閉部の開閉の判定方法はこれらに限るものではない。
【０１５４】
また、第３の実施形態・第４の実施形態において、開閉部が仮想オブジェクトである場合に、高解像度モードを利用するにあたり当該開閉部（仮想オブジェクト）を描画せずにＨＭＤ１０１に画像を送信してしまうと、ユーザは開閉部（仮想オブジェクト）が見えなくなってしまうため、当該仮想オブジェクトに触れることで開閉部を閉じることができなくなってしまう。
【０１５５】
よって、ステップＳ６０４の前に、図２１に示すように、現実物体から所定距離２１１１以内にある仮想オブジェクトを透過したＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。具体的には、画像の最前面のレイヤに、当該所定距離２１１１を半径とする、仮想オブジェクト（ＣＧ）を描画しない領域を規定する球状のマスクオブジェクトを、マーカ１０２（現実物体）の位置を中心として配置して、ＭＲ画像を生成する。
【０１５６】
当該所定距離２１１１の情報は、予めＰＣ１００の外部メモリに記憶されており、当該マスクオブジェクトの生成及び配置、ＭＲ画像の生成処理は、当該所定距離２１１１の情報を用いて、ＰＣ１００のＣＰＵ２０１が行うものとする。
【０１５７】
これにより、ユーザが詳細に確認したい現実物体の周辺に位置するＣＧのみを表示しないようにすることができ、当該現実物体の確認を容易にすることができる。また、高解像度画像であっても、仮想オブジェクトを描画する範囲を減らすことができ、当該描画処理（ＭＲ画像の生成）にかかる処理負荷を軽減することができる。
【０１５８】
また、上述した実施形態においては、仮想オブジェクトの重なった現実物体までの距離が短い場合（所定の値以内である場合）に、現実物体を精細に表示して仮想オブジェクトの描画処理による負荷を軽減するために高解像度モードを設定するものとした。しかし、例えば、反対に、現実物体がＨＭＤの近くにある場合には画像の解像度が低くとも現実物体を確認可能だが、現実物体がＨＭＤから遠い位置にある場合画像の解像度が低いと当該現実物体を視認できない／詳細に確認できない場合が考えられる。また、仮想オブジェクトの重なった現実物体との距離が離れているということは、他の現実物体（仮想オブジェクトの重なった現実物体）が視野内に入り込むことが考えられる。つまり、現実物体との距離が離れていることにより仮想オブジェクトを複数描画しなければならず、処理負荷が高まってしまう場合がある。
【０１５９】
よって、例えば、上述の実施形態における、図９のステップＳ９１０の処理とステップＳ９１１の処理を入れ替えて、それぞれの処理のタイミングで、ＰＣ１００のＣＰＵ２０１が、現実物体がＨＭＤ１０１の位置から所定距離以内にあり、且つ、範囲１９０１内にある場合に、低解像度モードを設定し、現実物体がＨＭＤ１０１の位置から所定距離以内にない場合には、高解像度モードを設定するようにしてもよい。
【０１６０】
これにより、遠方の被写体の画像を精細に表示させることができる。また、複数の仮想オブジェクトを描画することによる処理負荷を軽減することができる。
【０１６１】
また、ＨＭＤ１０１が近づいたとしても詳細を確認させる必要がない現実物体がＭＲ空間上に存在することが考えられる。
【０１６２】
例えば、図１５の被写体情報１５００の切替フラグ１５０１のように、現実物体に対して（ここでは現実物体に貼付されたマーカのＩＤに対して）当該現実物体とＨＭＤ１０１が所定距離内にある場合に低解像度モードを高解像度モードに切り替えるか、低解像度モードをそのまま利用するかを切り替えるかを設定しておき、当該設定に従って、当該現実物体と仮想オブジェクトが重なっている場合であって、当該現実物体とＨＭＤ１０１が所定距離内にある場合にいずれの撮影モードを用いるか決定することで、仮想オブジェクトと重なった高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。
【０１６３】
尚、図１５の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図１５のマーカＩＤ８１１、位置８１２は図８のマーカＩＤ８１１、位置８１２と同じであるためここでは説明を割愛する。切替フラグ１５０１＝ＯＮの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体であり、切替フラグ１５０１＝ＯＦＦの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でないものとする。
【０１６４】
切替フラグ１５０１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ９０５で、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件１０００における距離１００１）以内であると判定した場合に、当該現実物体を示すＩＤ（マーカＩＤ８１１）に対応する切替フラグ１５０１を参照して、当該現実物体が、ＨＭＤ１０１と近づいたことで高解像度画像をＨＭＤ１０１に表示させるべき現実物体か判定する。
【０１６５】
高解像度画像をＨＭＤ１０１に表示させるべき現実物体である（切替フラグ１５０１＝ＯＮである）と判定した場合には処理をステップＳ９０６に移行し、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でない（切替フラグ１５０１＝ＯＦＦである）と判定した場合には処理をステップＳ９１１に移行する。
【０１６６】
当該切替フラグ１５０１を用いることにより、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。
【０１６７】
以上説明したように、本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。
【０１６８】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１６９】
上述した実施形態においては図４のステップＳ４０１で表示された不図示のモード設定画面においてユーザ操作に応じて高解像度モードまたは低解像度モードの設定がされるものとしたが、例えば、ＨＭＤ１０１にボタンスイッチを設けて、当該ボタンスイッチが押し込まれた場合にＨＭＤ１０１がモード情報８３０を現在設定中のモードから別のモード（低解像度モードまたは高解像度モード）に変更するようＰＣ１００に指示し、ＰＣ１００のＣＰＵ２０１が当該指示に従って、モード情報８３０の設定を変更して記憶するようにしてもよい。
【０１７０】
また例えば、ＨＭＤ１０１が、図面に記載された各データテーブルの情報を必要に応じてＰＣ１００に要求して取得し、ＨＭＤ１０１が図４〜図６、図９、図１１、図１３、図２３の全ての処理を実行するようにしてもよい。
【０１７１】
また例えば、ＨＭＤ１０１に外部メモリを設置し、図面に記載された各データテーブルの情報を当該ＨＭＤ１０１の外部メモリに記憶させて、ＨＭＤ１０１が当該外部メモリ上の各データテーブルの情報を用いて、図４〜図６、図９、図１１、図１３、図２３の全ての処理を実行するようにしてもよい。
【０１７２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１７３】
また、ＨＭＤ１０１は、ＧＯＯＧＬＥ  ＧＬＡＳＳ（登録商標）のようなシースルー型の端末であってもよい（本発明におけるＨＭＤ１０１は、シースルー型の端末も含むものとする）。
【０１７４】
例えば、図１に示す各種端末、マーカ等の構成は一例であり、用途や目的に応じて様々な構成例がある。例えば、赤外線カメラ（不図示）をＨＭＤ１０１の周辺に設置して、ＨＭＤ１０１に設置された光マーカ（オプティカルマーカ）を撮影し、撮影した結果取得したＨＭＤ１０１の位置姿勢の情報（座標の情報）をＰＣ１００に送信することでＨＭＤ１０１の位置・姿勢の情報を特定するようにしてもよい。
【０１７５】
また、磁場を発生させるトランスミッター（不図示）を用いて、ＨＭＤ１０１の位置や姿勢を特定することも可能である。この場合、トランスミッターは磁場を発生し、発生した磁場をＨＭＤ１０１に備えられたレシーバが受信する。受信した磁場に関する情報をＰＣ１００に送信すると、磁場の強さからＨＭＤ１０１の位置や姿勢をＰＣ１００が特定するものとする。これにより、マーカが検出できない場合であってもＨＭＤの位置・姿勢を特定可能である。
【０１７６】
このように、ＨＭＤ１０１の位置や姿勢を特定するためには、マーカやセンサ（赤外線、磁場）を用いる場合がある。ＨＭＤ１０１の位置や姿勢を特定できれば、どのような形態でも構わない。
【０１７７】
また、上述した実施形態においては、ステップＳ９０５、ステップＳ９０９、Ｓ１３０３において、判定対象の距離が“所定の値以内であるか”を判定しているが、例えば、“所定の値より小さいか”判定するようにしてもよい。例えば、所定の値より小さい場合＝ステップＳ９０５でＹＥＳ、ステップＳ９０９でＹＥＳ、ステップＳ１３０３でＹＥＳ、であるものとし、判定対象の距離が所定の値以上の場合＝ステップＳ９０５でＮＯ、ステップＳ９０９でＮＯ、ステップＳ１３０３でＮＯ、であるものとする。
【０１７８】
本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１７９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１８０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１８１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１８２】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１８３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１８４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１８５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１８６】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１８７】
１００  ＰＣ
１０１  ＨＭＤ
１０２  マーカ
１０３  仮想オブジェクト
１０５  現実物体
１５０  ＬＡＮ
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  システムバス
２０５  入力コントローラ
２０６  ビデオコントローラ
２０７  メモリコントローラ
２０８  通信Ｉ／Ｆコントローラ
２０９  入力デバイス
２１０  ディスプレイ
２１１  外部メモリ
２２１  右目ビデオカメラ
２２２  左目ビデオカメラ
２２３  右目ディスプレイ
２２４  左目ディスプレイ
２２５  コントローラ
【図１】
2016115230.tif 000006
【図２】
2016115230.tif 000007
【図３】
2016115230.tif 000008
【図４】
2016115230.tif 000009
【図５】
2016115230.tif 000010
【図６】
2016115230.tif 000011
【図７】
2016115230.tif 000012
【図８】
2016115230.tif 000013
【図９】
2016115230.tif 000014
【図１０】
2016115230.tif 000015
【図１１】
2016115230.tif 000016
【図１２】
2016115230.tif 000017
【図１３】
2016115230.tif 000018
【図１４】
2016115230.tif 000019
【図１５】
2016115230.tif 000020
【図１６】
2016115230.tif 000021
【図１７】
2016115230.tif 000022
【図１８】
2016115230.tif 000023
【図１９】
2016115230.tif 000024
【図２０】
2016115230.tif 000025
【図２１】
2016115230.tif 000026
【図２２】
2016115230.tif 000027
【図２３】
2016115230.tif 000028