(57)【要約】【課題】視線を用いて、任意の位置にモデルを移動させることができる仕組みを提供すること【解決するための手段】現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置の空間上の位置姿勢と、３次元モデルの空間上の位置を記憶し、表示装置の位置姿勢から特定される表示装置の視線上に位置する３次元モデルを選択し、選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく当該３次元モデルの位置を更新し、３次元モデルの選択が解除された場合に、更新された位置に、当該３次元モデルの位置を固定することを決定する【選択図】図５
2017102685.tif 000002
【特許請求の範囲】
【請求項１】
現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置の空間上の位置姿勢と、３次元モデルの空間上の位置を記憶する情報処理装置であって、
前記表示装置の位置姿勢から特定される表示装置の視線上に位置する、前記３次元モデルを選択する選択手段と、
前記選択手段で選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく、当該３次元モデルの位置姿勢を更新する位置姿勢更新手段と、
前記選択手段により選択された３次元モデルの選択が解除された場合に、前記位置姿勢更新手段により更新された位置に、当該３次元モデルの位置を固定することを決定する位置決定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示装置の位置姿勢から前記表示装置が所定時間静止していることが特定された場合に、前記選択手段で選択されている３次元モデルの選択を解除する選択解除手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記選択手段により選択された３次元モデルが他の３次元モデルに接触していた面である接触面を特定する接触面特定手段と、
を備え、
前記位置姿勢更新手段は、当該位置姿勢更新手段により更新された前記選択手段で選択されている３次元モデルの位置と他の３次元モデルの位置とが所定距離内にある場合に、当該選択されている３次元モデルの位置姿勢を、前記接触面特定手段で特定された当該選択されている３次元モデルの前記接触面が当該他の３次元モデルの面に接する位置姿勢に更新することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記位置姿勢更新手段は、前記表示装置が第１の所定の動作をしたことを検知した場合に、前記選択手段で選択されている３次元モデルを前記表示装置に近づけるよう当該３次元モデルの位置姿勢を更新し、前記表示装置が第２の所定の動作をしたことを検知した場合に、前記選択手段で選択されている３次元モデルを前記表示装置に遠ざけるよう当該３次元モデルの位置姿勢を更新することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記位置姿勢更新手段は、前記選択手段で３次元モデルが選択されてからの当該表示装置の位置姿勢の変化量が所定の値に達した場合に、当該表示装置の視線により選択されている前記３次元モデルを回転させるべく、当該３次元モデルの姿勢を更新することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記位置姿勢更新手段は、前記選択手段により選択されている３次元モデルの背後にある他の３次元モデルの面の方向に合わせて前記選択手段により選択されている前記３次元モデルを回転させるべく、当該３次元モデルの姿勢を更新することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項７】
現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置の空間上の位置姿勢と、３次元モデルの空間上の位置を記憶する情報処理装置の制御方法であって、
前記表示装置の位置姿勢から特定される表示装置の視線上に位置する、前記３次元モデルを選択する選択工程と、
前記選択工程で選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく、当該３次元モデルの位置姿勢を更新する位置姿勢更新工程と、
前記選択工程により選択された３次元モデルの選択が解除された場合に、前記位置姿勢更新工程により更新された位置に、当該３次元モデルの位置を固定することを決定する位置決定工程と、
を含むことを特徴とする情報処理装置の制御方法。
【請求項８】
現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置の空間上の位置姿勢と、３次元モデルの空間上の位置を記憶する情報処理装置で実行が可能なプログラムであって、
前記情報処理装置を、
前記表示装置の位置姿勢から特定される表示装置の視線上に位置する、前記３次元モデルを選択する選択手段と、
前記選択手段で選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく、当該３次元モデルの位置姿勢を更新する位置姿勢更新手段と、
前記選択手段により選択された３次元モデルの選択が解除された場合に、前記位置姿勢更新手段により更新された位置に、当該３次元モデルの位置を固定することを決定する位置決定手段として機能させることを特徴とする情報処理装置のプログラム。
【請求項９】
現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置と、当該表示装置の空間上の位置姿勢と３次元モデルの空間上の位置を記憶する情報処理装置と、を含む情報処理システムであって、
前記表示装置の位置姿勢から特定される表示装置の視線上に位置する、前記３次元モデルを選択する選択手段と、
前記選択手段で選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく、当該３次元モデルの位置姿勢を更新する位置姿勢更新手段と、
前記選択手段により選択された３次元モデルの選択が解除された場合に、前記位置姿勢更新手段により更新された位置に、当該３次元モデルの位置を固定することを決定する位置決定手段と、
を備えることを特徴とする情報処理装置システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、複合現実（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及している。ＭＲ技術を用いて、ヘッドマウントディスプレイ（以下、ＨＭＤと記載）を装着したユーザに対し、現実物体とＣＧモデルを配置した空間の疑似体験を提供できる。ＭＲ空間（現実空間と仮想空間とを合成した複合現実空間）を生成するにあたり、仮想空間を現実空間の位置合わせに用いられる位置指標として、マーカを用いる場合がある。
【０００３】
特許文献１には、当該マーカの存在をユーザに意識させないために、マーカを検出した場合に、当該マーカを隠した画像を描画する技術が記載されている。
【０００４】
また、特許文献２では、光学センサを用いてＨＭＤの位置姿勢を検出する技術について記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３５０８６０号公報
【特許文献２】特開２００６−３０１９２４号公報
【特許文献３】特開２００４−０３８４７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば複数の３次元モデルをＭＲ空間上に配置している場合等において、特にユーザが着目している３次元モデルに対して操作を行いたい場合がある。例えばユーザが着目している３ジゲンモデルを移動させる等である。特許文献３には、ＨＭＤの位置姿勢に基づいて検出されるユーザの視線方向にある３次元モデルを選択し、選択した３次元モデルをユーザの目前に移動して静止させ、ユーザが３次元モデルから目を逸らすことで静止状態を解除することが記載されている。
【０００７】
しかしながら、特許文献３の技術においては、視線で選択した３次元モデルを、ユーザの目前という所定の位置に移動することはできても、任意の位置に当該３次元モデルを移動させることができない。また、当該３次元モデルの位置姿勢の情報を記憶しているＰＣを別途操作することで当該３次元モデルを移動させるのは手間であり、直感的でない。
【０００８】
本発明は、視線を用いて、モデルを任意の位置に移動させることができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、現実画像に３次元モデルを重畳した複合現実画像を表示する表示装置の空間上の位置姿勢と、３次元モデルの空間上の位置を記憶する情報処理装置であって、前記表示装置の位置姿勢から特定される表示装置の視線上に位置する、前記３次元モデルを選択する選択手段と、前記選択手段で選択した３次元モデルを、前記表示装置の視線の変化に応じて、変化した視線上の位置に移動すべく、当該３次元モデルの位置姿勢を更新する位置姿勢更新手段と、前記選択手段により選択された３次元モデルの選択が解除された場合に、前記位置姿勢更新手段により更新された位置に、当該３次元モデルの位置を固定することを決定する位置決定手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、視線を用いて、モデルを任意の位置に移動させることができる仕組みを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における、情報処理システムの構成の一例を示す図である。
【図２】本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。
【図３】本発明の実施形態における、各種装置の機能構成の一例を示す図である。
【図４】本発明の実施形態における、ＭＲ画像の生成及び表示処理の流れを示すフローチャートである。
【図５】本発明の実施形態における、視線によるモデルの移動処理の流れを示すフローチャートである。
【図６】本発明の実施形態における、視線によるモデルの移動処理の詳細を示すフローチャートである。
【図７】本発明の実施形態における、各種データ構成の一例を示す図である。
【図８】本発明の実施形態における、ＨＭＤの位置姿勢変更及びモデルの位置姿勢の遷移の様子の一例を示す図である。
【図９】本発明の実施形態における、ＨＭＤの位置姿勢変更及びモデルの位置姿勢の遷移の様子の一例を示す図である。
【図１０】本発明の第２の実施形態における、視線によるモデルの移動処理の詳細を示すフローチャートである。
【図１１】本発明の第２の実施形態における、ＨＭＤの位置姿勢変更及びモデルの位置姿勢の遷移の様子の一例を示す図である。
【図１２】本発明の第３の実施形態における、ＨＭＤと選択中のモデルとの距離の変更処理の流れを示すフローチャートである。
【図１３】本発明の実施形態における、ＨＭＤと選択中のモデルとの距離の変更の様子の一例を示す図である。
【図１４】本発明の実施形態における、仮想空間における原点とモデルの原点との位置関係の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態の一例について説明する。
【００１３】
まず図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。
【００１４】
図１に示すように、本発明の情報処理システムにおける各種装置はネットワークを介して通信可能に接続されている。ＰＣ２００は、ＭＲ画像を表示する表示装置であるＨＭＤ１０１と、ＨＭＤ１０１に設置された光マーカの位置（ＨＭＤ１０１の位置）を計測してＰＣ２００に送信する光学センサと通信可能に接続されている。
【００１５】
ＰＣ２００には、ＨＭＤ１０１により撮像される現実画像に重畳する３次元モデル及び３次元もモデルの位置姿勢が記憶されている。また、ＨＭＤ１０１の位置姿勢からＨＭＤ１０１の視線方向を特定して、視線方向にある３次元モデルを特定・選択し、当該選択された３次元モデルの位置姿勢を、ＨＭＤ１０１の位置姿勢から特定される視線方向に応じて変更・更新する。
【００１６】
また、変更・更新した位置姿勢の３次元モデルと現実画像とを重畳したＭＲ画像を生成してＨＭＤ１０１に送信し、ＨＭＤ１０１は当該ＭＲ画像を受信して随時表示する。以上が図１の説明である。
【００１７】
次に図２を参照して、本発明の実施形態における各種装置のハードウェア構成の一例について説明する。
【００１８】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００１９】
また、ＲＯＭ２０２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）、その他各種装置の実行する機能を実現するために必要な各種プログラムが記憶されている。
【００２０】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００２１】
本発明のＰＣ２００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。
【００２２】
入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。
【００２３】
ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０１が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。
【００２４】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２５】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、ギガビットイーサネット（登録商標）等を通じて光学式センサ１０４との通信も制御する。
【００２６】
汎用バス２０９は、ＨＭＤ１０１の右目・左目ビデオカメラ２２１からの映像を取り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。
【００２７】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。以上が図２の説明である。
【００２８】
次に図３を参照して、本発明の実施形態における、各種装置の機能構成について説明する。
【００２９】
撮像部３１１は、現実画像を撮像する撮像部（カメラ）である。撮像画像送信部３１２は、撮像した現実画像をＰＣ２００に送信する送信部である。
【００３０】
撮像画像記憶部３２１は、ＨＭＤ１０１から受信した現実画像（撮像画像）を記憶する記憶部である。ＨＭＤ位置姿勢記憶部３２２は、ＨＭＤ１０１の位置姿勢を記憶する記憶部である。例えば光学センサからＨＭＤ１０１の位置姿勢を取得して記憶する。
【００３１】
モデル情報記憶部３２３は、３次元モデルの位置姿勢を記憶する記憶部である。例えば図７の説明で後述するモデル情報７１０を記憶する。ＭＲ画像生成部３２４は、ＨＭＤ１０１の位置姿勢と、３次元モデルの位置姿勢とを用いて、ＨＭＤ１０１の位置から見た現実画像とＨＭＤ１０１の位置から見た３次元モデルの画像とを重畳したＭＲ画像（複合現実画像）を生成する生成部である。ＭＲ画像送信部３２５は、ＭＲ画像をＨＭＤ１０１に送信する送信部である。
【００３２】
ＭＲ画像受信部３１３は、ＭＲ画像を受信する受信部であり、ＭＲ画像表示部３１４は、受信したＭＲ画像を表示する表示部である。
【００３３】
視線方向特定部３２６は、ＨＭＤ１０１の位置姿勢から、ＨＭＤ１０１の視線方向（ＨＭＤ１０１を頭部に装着しているユーザの向いている方向）を特定する特定部である。モデル選択部３２７は、ＨＭＤ１０１の視線方向にある３次元モデルを選択状態にする処理部である。例えば、ＨＭＤ１０１の視線と交差するモデルであって、ＨＭＤ１０１から最も近い位置にあるモデルを選択する。
【００３４】
モデル位置姿勢更新部３２８は、ＨＭＤ１０１の視線方向の変化に応じて、当該視線方向に（ＨＭＤ１０１の視線上の位置に）選択中の３次元モデルを移動させるよう、３次元モデルの位置姿勢の値を更新する処理部である。
【００３５】
接触面特定部３２９は、選択された３次元モデルが他のモデルと接触している面（少なくとも、選択時点において他の３次元モデルと接触していた面）を特定する特定部である。モデル位置姿勢更新部３２８は、視線に応じて選択中のモデルを移動し、移動した先で選択中のモデルと他のモデルが所定距離内に入った場合に、当該選択中のモデルの接触面の位置姿勢を当該他のモデルの面の位置姿勢（位置・方向）に合わせるように、当該選択中のモデルの位置姿勢を更新する。以上が図３の説明である。
【００３６】
＜第１の実施形態＞
【００３７】
次に図４を参照して、本発明の実施形態における、ＭＲ画像の生成及び表示処理の流れについて説明する。
【００３８】
ＨＭＤ１０１は、ユーザ操作により起動し（ステップＳ４０１）、
現実画像を撮像して（ステップＳ４０２）、撮像した当該現実画像をＰＣ２００に送信する（ステップＳ４０３）。
【００３９】
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１０１から送信された現実画像を受信し（ステップＳ４０４）、当該現実画像をＰＣ２００のメモリに記憶する（ステップＳ４０５）。
【００４０】
ＰＣ２００のＣＰＵ２０１は、別途、光学センサから取得したＨＭＤ１０１の位置姿勢情報を取得する（ステップＳ４０６）。
【００４１】
そして、取得したＨＭＤ１０１の位置姿勢情報を、当該ＨＭＤ１０１の現在の位置姿勢情報としてＰＣ２００のメモリに記憶する（ステップＳ４０７）。当該ＨＭＤ１０１の現在の位置姿勢の情報の例を図７の７００に示す。ＨＭＤ  ＩＤ７０１はＨＭＤの識別情報であり、位置７０２、姿勢７０３は、それぞれＨＭＤの位置、姿勢を示す。
【００４２】
また、ステップＳ４０７において、ＰＣ２００のＣＰＵ２０１は、当該ＨＭＤの位置姿勢と、位置姿勢を取得した日時を履歴として、ＨＭＤ１０１の位置姿勢の履歴を示すＨＭＤ履歴情報７６０（ＰＣ２００のメモリに記憶）に追加して記憶する。ＨＭＤ履歴情報７６０のＨＭＤ  ＩＤ７６１はＨＭＤの識別情報であり、位置７６２、姿勢７６３は、日時７６４に示す時点でのＨＭＤの位置姿勢の履歴を示す。モデルＩＤ７６５は、日時７６４時点でのＨＭＤの視線から特定される、日時７６４時点でユーザが着目していたモデルの識別情報である。モデルＩＤ７６５の特定は後述する図５のＳ５０４で行われる。ＨＭＤ履歴情報７６０に示す最新のＨＭＤの位置姿勢には、ＨＭＤ情報７００の位置姿勢が挿入されているものとする。
【００４３】
ステップＳ４０８で、ＰＣ２００のＣＰＵ２０１は、自機のメモリに記憶しているモデル情報７１０（図７）からＣＧモデルの位置姿勢情報を取得する（ステップＳ４０８）。図７のモデル情報７１０は、仮想空間上にあるモデルの識別情報であるモデルＩＤ７１１、当該モデルの仮想空間上の位置７１２、姿勢７１３、当該モデルのファイルが記憶されている場所及び当該モデルのファイル名を示すファイルパス７１４、モデルが選択中か否かを示す選択中フラグ７１５、当該モデルが他のモデルと接触している接触面を示す接触面の識別情報（部品のどの部分がどの方向に向けて他のモデルと接触しているかを示す情報）を示す接触面７１６等を記憶したテーブルである。選択中フラグ７１５が１の場合、フラグに対応するモデルが選択中であることを示し、０の場合は非選択状態であることを示す。
【００４４】
本実施形態において、仮想空間上のモデルの位置７１２は、当該モデルのファイル内に記憶されている（当該モデルの）原点座標（図１４の１４０２）が位置する仮想空間上の原点座標１４０１からの位置（図７の位置７１２に示す座標／本実施形態ではＳ７１２＝図１４の１４０２とする）を示す。なお、仮想空間上における各モデルの各面の位置（図１４の１４０３の面の頂点座標）は、モデルのファイルの中に記憶されている、モデルの各面がモデルファイル内の当該モデルの原点座標（原点位置）からどの位置にあるかを示す情報と、当該モデルの仮想空間上の位置姿勢の情報から特定できるものとする。なお、モデルファイルにおける各面は、三角形メッシュによって構成されており、当該三角形メッシュの頂点それぞれの位置（モデルファイルの原点座標からの位置）もモデルファイル内に記憶されているものとする。
【００４５】
また、接触面７１６の情報（部品のどの部分がどの方向に向けて他のモデルと接触しているかを示す情報）は、モデルごとに、予め当該接触面７１６の項目に記憶されているものとする。本実施形態において、モデルの接触面は平面であり、接触面が他のモデルに接触している方向は当該接触面の法線ベクトル方向であるものとする。ここでは接触面７１６に、モデルファイル内における、接触面を構成する頂点座標を記憶しておくものとする（例えば１４０３）。
【００４６】
ステップＳ４０９では、ＰＣ２００のＣＰＵ２０１は、ステップＳ４０６で取得したＨＭＤ１０１の現在の位置姿勢情報（ＨＭＤ情報７００）を用いて、仮想空間上のカメラの位置姿勢を設定する。つまり、仮想空間上に、ＨＭＤ１０１に設置されているカメラと同じ画角の仮想のカメラを、ＨＭＤ１０１の現実空間上の位置姿勢と同じ位置姿勢で仮想空間上に配置する処理を行う。
【００４７】
ＰＣ２００のＣＰＵ２０１は、ステップＳ４０８で取得したＣＧモデルの仮想空間上の位置姿勢情報から、ステップＳ４０９で配置した仮想空間上のカメラから見た角度・多きさのＣＧモデルの画像を生成してＰＣ２００のメモリに記憶する（ステップＳ４０９）。
【００４８】
そして、ステップＳ４０５でメモリに記憶しておいた現実画像に、ステップＳ４０９で記憶したＣＧモデルの画像を重畳し、ＭＲ画像（現実画像にＣＧモデルを重畳した重畳画像／複合現実画像）を作成し、作成したＭＲ画像をＰＣ２００のメモリに記憶する（ステップＳ４１０）。
【００４９】
ＰＣ２００のＣＰＵ２０１は、ステップＳ４１０で作成したＭＲ画像をＨＭＤ１０１に送信する（ステップＳ４１１）。
【００５０】
ＨＭＤ１０１は、ＰＣ２００から送信されたＭＲ画像を受信して（ステップＳ４１２）、受信したＭＲ画像をＨＭＤ１０１のディスプレイに表示する（ステップＳ４１３）。以降、ＨＭＤ１０１は、ユーザから電源オフの操作を受け付けるまで、Ｓ４０２〜Ｓ４０３、Ｓ４１２〜Ｓ４１３の処理を継続する。また、ＰＣ２００のＣＰＵ２０１は、ユーザから当該ＭＲ画像の生成・表示処理の終了操作を受け付けるまで、Ｓ４０４〜Ｓ４１１の処理を繰り返す。以上が図４の説明である。
【００５１】
次に図５を参照して、本発明の実施形態における、視線によるモデルの移動処理の流れについて説明する。なお、図５の処理開始時点においては、図４のＭＲ画像の生成・表示処理が既に開始されており、実行中であるものとする。
【００５２】
ＰＣ２００のＣＰＵ２０１は、の自機の外部メモリに記憶しているモデル情報７１０からＣＧモデルの位置姿勢情報をメモリに読み込む（ステップＳ５０１）。
【００５３】
ＰＣ２００のＣＰＵ２０１は、光学センサから取得したＨＭＤ１０１の現在の位置姿勢情報７００を取得して（ステップＳ５０２）、ＨＭＤ１０１の視点位置から視線方向を特定する（ステップＳ５０３）。つまり、ＨＭＤ１０１を装着したユーザが、どの場所からどの方向（姿勢）を向いているかを特定する（視線とは、ＨＭＤ１０１からＨＭＤ１０１の向いている方向に伸びる直線をいう）。
【００５４】
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０３で特定した視線（視線方向）と、モデル情報７１０のモデルの位置姿勢、モデルファイルにより特定されるモデルの形状・大きさを用いて、ＨＭＤ１０１の向いている視線と交差する（視線上にある）モデルを特定し、当該視線上のモデルのうちＨＭＤ１０１との距離が最も近いモデルを特定する（ステップＳ５０４）。
【００５５】
そして、当該特定した、ＨＭＤ１０１のユーザが着目していた（している）モデルのモデルＩＤを、ＨＭＤ履歴情報７６０の最新の履歴のモデルＩＤ７６５に挿入して記憶する。なお、図４のＨＭＤ１０１の位置姿勢の取得、記憶の処理に対して、図５のステップＳ５０４が遅れている場合、ステップＳ５０４の特定処理で用いたＨＭＤ１０１の位置姿勢の取得日時を特定して、当該取得日時と同じ日時７６４のモデルＩＤ７６５に、ステップＳ５０４で特定したモデルのモデルＩＤを挿入して記憶するものとする。
【００５６】
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０３で特定した視線とがステップ５０４で特定したモデルとが一定時間以上交差しているかを判定する（ステップＳ５０５）。つまり、ユーザが視線方向にあるＣＧモデルに一定時間以上着目しているか判定する。本実施形態においては、ＨＭＤ１０１の位置姿勢の値の移動量（上下）が、ＰＣ２００のメモリに予め記憶されている図７の７５０に示す所定の値（Ｘ，Ｙ，Ｚ）の範囲内に留まっている状態が時間情報７３０の間続いていると判定した場合に、ＨＭＤ１０１が静止し、ユーザが視線方向にあるＣＧモデルに一定時間以上着目していると判定する。
【００５７】
ユーザが当該モデルに一定時間以上着目していないと判定した場合（ステップＳ５０５でＮＯ）、処理をステップＳ５０３の前に戻し、視線とモデルが交差しているかの判定を繰り返す。ユーザが当該モデルに一定時間以上着目していると判定した場合（ステップＳ５０５でＹＥＳ）、当該モデルをＨＭＤ１０１が選択している選択状態とする（ステップＳ５０６）。具体的には、当該着目中のモデルの選択中フラグ７１５を１に変更する。
【００５８】
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０６でモデルを選択した時のＨＭＤ１０１の位置姿勢情報をＰＣ２００のメモリに記憶する。例えば、図７のＨＭＤ情報（選択時点）７４０の情報を記憶する。ＨＭＤ情報（選択時点）７４０は、モデルを選択した時点におけるＨＭＤ１０１の位置姿勢及びＨＭＤからモデルまでの距離を示す情報である。ＨＭＤ  ＩＤ７４１はＨＭＤの識別情報を示し、位置７４２、姿勢７４３はＨＭＤの位置姿勢を示す。また、選択距離７４４は、モデルを選択した時点でのＨＭＤ  ＩＤ７４１の示すＨＭＤから（モデルを選択したＨＭＤから）モデルまでの距離を示す。
【００５９】
ステップＳ５０８で、ＰＣ２００のＣＰＵ２０１は、選択中のモデルの移動処理を行う。
【００６０】
当該モデルの移動処理の詳細を、図６を参照して説明する。
【００６１】
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１０１のＨＭＤ情報（選択時点）７４０の姿勢を基準として、現在のＨＭＤの姿勢が横軸方向に１８０°回転しているか判定する（ステップＳ６０１）。１８０°以上回転していると判定した場合に、当該ＨＭＤ１０１により選択されているモデルの横軸の角度を１８０°させる（ステップＳ６０５）。具体的には、当該モデルの姿勢７１３の横軸方向の値（例えばＸ，Ｙの値）を１８０°分加算して更新する。そして処理をステップＳ６０４に移行する。
【００６２】
１８０°以上回転していないと判定した場合に、ＨＭＤ１０１のＨＭＤ情報７００を基準として、現在のＨＭＤの姿勢が横軸方向に９０°以上回転しているか判定する（ステップＳ６０２）。９０°以上回転していると判定した場合、当該ＨＭＤ１０１により選択されているモデルの横軸の角度を９０°回転させる（ステップＳ６０３）。具体的には、当該モデルの姿勢７１３の横軸方向の値（例えばＸ，Ｙの値）を、ＨＭＤ１０１が回転した方向に９０°回転するように加算、又は減算して更新する。ここでは、モデルを回転させる場合、ＨＭＤ１０１の横軸方向の姿勢の値が選択時から加算されている場合にはモデルの横軸方向の姿勢の値も加算し、ＨＭＤ１０１の横軸方向の姿勢の値が選択時から減算されている場合にはモデルの横軸方向の姿勢の値も減算するものとする。
【００６３】
ＰＣ２００のＣＰＵ２０１は、ステップＳ６０４で、ＨＭＤ１０１の視線方向に合わせてモデルの位置を移動させる（ステップＳ６０４）。具体的には、ＨＭＤ１０１の位置姿勢からＨＭＤ１０１の視線を特定し、当該視線上のＨＭＤ１０１から選択距離７４４の分だけ離れた仮想空間上の位置を特定して、当該特定した位置を移動後の当該モデルの位置として決定し、当該モデルの位置７１２を当該決定した位置に更新する処理を行う。
【００６４】
なお、実際には、当該図６の処理と並行して、ＰＣ２００のＣＰＵ２０１は、図４のＳ４０８〜Ｓ４１１の処理を実行する。つまり、計測しているＨＭＤ１０１の位置姿勢及び変更したモデルの位置姿勢に応じたＭＲ画像を生成してＨＭＤ１０１に送信している。（例えば図６のステップＳ６０４の後に図４のステップＳ４０８の処理を実行している。）以上が図６の処理である。
【００６５】
図８、図９にＨＭＤ１０１の位置姿勢の変更の様子と、ＨＭＤ１０１の位置姿勢の変更に伴う、選択中のモデルの位置姿勢の変更の様子を示す俯瞰図である。図８においては８００で選択したモデルを８１０、８２０、８３０の順で移動させている。図９の９００、９１０、９２０、９３０は、それぞれ、図８の８００、８１０、８２０、８３０の３次元空間上の様子を示す。
【００６６】
図５の説明に戻る。ＰＣ２００のＣＰＵ２０１は、ステップＳ５０９で、ＨＭＤ１０１が所定時間以上静止しているか判定する。本実施形態においては、ＨＭＤ１０１の位置姿勢の移動量（値の上下）がＰＣ２００のメモリに予め記憶されている図７の７５０に示す所定の値（Ｘ，Ｙ，Ｚ）の範囲内に留まっている状態が時間情報７３０の間続いていると判定した場合に、ＨＭＤ１０１が静止しているものと判定する。静止しているか否かの判定は移動量で判定するほか、ＨＭＤ１０１の加速度が所定の値以内かどうかに応じて行うようにしてもよい。
【００６７】
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１０１が静止していると判定した場合に、ＨＭＤ１０１が選択中のモデルの現在の位置を特定し（ステップＳ５１０）、当該モデルの位置から当該モデルの接触面の位置を特定する。ここでは、選択中のモデルの位置７１２と、図７の接触面７１６の位置とから、当該接触面の中心点の仮想空間上の位置を特定するものとする。なお、選択中のモデルの接触面７１６を読み込んだが、値がなかった（接触面の情報が未登録だった）と判定された場合には、処理をステップＳ５１３に移行するものとする。
【００６８】
そして、ＰＣ２００のＣＰＵ２０１は、選択中のモデルの接触面の中心点と、非選択状態の他のモデルの面とが所定距離内にあるか（ＰＣ２００のメモリに予め記憶されている距離情報７２０の示す距離以内にあるか）判定する（ステップＳ５１１）。
【００６９】
当該判定の基準とする他のモデルの面の位置とは、モデルの面を構成する三角形メッシュの全ての頂点位置とする。つまり、選択中のモデルの接触面の中心位置から所定距離内に、他のモデルの面を構成する三角形メッシュの頂点が存在するか判定する。
【００７０】
ＰＣ２００のＣＰＵ２０１は、所定距離内の他のモデルの面があると判定した場合には、選択中のモデルの接触面が当該接触面と最も近い位置にある面に接触するように、選択中のモデルの位置７１２を書き換える（ステップＳ５１２）。例えば、選択中のモデルの接触面上の中心点の位置を、当該中心点から最も近い位置にある他モデルの面上の三角形メッシュの頂点と同じ位置に合致処理を行い、当該合致を行った際の、選択中のモデルの原点座標の位置（仮想空間上の位置）を当該モデルの位置７１２に上書きする。その後、処理をステップＳ５１３に移行する。また、選択中のモデルから所定距離内の他のモデルの面がないと判定した場合には、ステップＳ５１２の処理をスキップして、処理をステップＳ５１３に移行する。
【００７１】
ステップＳ５１３でＰＣ２００のＣＰＵ２０１は、選択中のモデルの選択状態を解除して（選択中フラグ７１５を０に変更して）、選択解除したモデルの位置を固定（確定／位置決定）する（ステップＳ５１３）。以上が図５の説明である。
【００７２】
また、接触面を他のモデルに接触させることで、例えば家具・家電のような、壁に設置する（接触する）３次元モデルを、移動先においても壁に接するように配置することが容易になる。
【００７３】
上述したように、本発明によれば、視線を用いて、モデルを任意の位置に移動させることができる。
【００７４】
つまり、ＨＭＤの位置姿勢を用いて、容易にモデルを移動させることができる。
【００７５】
また、図５の処理を行っている途中及び図５の処理後も、図７の７００、７１０等の情報を用いて、適宜図４のＨＭＤの位置姿勢・モデルの位置姿勢に応じたＭＲ画像の生成・表示処理が継続されるため、当該移動中、移動後の位置に応じたＭＲ画像の表示が可能となる。
【００７６】
＜第２の実施形態＞
【００７７】
第２の実施形態においては、モデルの移動中（選択中）、移動（選択）しているモデルの背後にある他のモデルの面の向きに応じて、移動中のモデルの向きを変更する。当該向きの変更により、ＭＲのユーザは、移動中のモデルを背後の他のモデルの向きに合わせた際のイメージを、当該モデルの移動中に随時確認することができる。
【００７８】
第２の実施形態においては、第１の実施形態における図５のステップＳ５０８（図６の処理）の代わりに、図１０に示す処理を行う。第２の実施形態の説明において、第１の実施形態と同様の処理については説明を割愛する。
【００７９】
ＰＣ２００のＣＰＵ２０１は、ステップＳ５０７の処理終了後、図１０のステップＳ１００１の処理を開始する。
【００８０】
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１０１の視線方向にある、選択中のモデルの向こう側（背後）にあるモデルを特定する（ステップＳ１００１）。例えば図１１の１１１０に示すように、ここでは壁のモデル１１１１を特定する。図１１は、第２の実施形態におけるモデルの移動と回転の様子を示す。図１１では、１１００で選択したモデルを１１１０、１１２０の順に移動させている。
【００８１】
そして、ＨＭＤ１０１の視線上にある（当該壁のモデル１１１１の）面の方向を特定して、当該面の方向と同じ方向に選択中のモデル１１１２の接触面１１１３の面の方向を合わせて、当該面の方向を合わせた時点の選択中のモデル１１１２の姿勢の値Ｘ，Ｙ，Ｚを姿勢７１３に上書きする（ステップＳ１００２）。つまり、背後の面の向きに合わせて選択中のモデルの姿勢を変更・回転させる。そして、ステップＳ１００３で、ＨＭＤ１０１の視線方向に合わせてモデルの位置を移動させる（ステップＳ１００３）。ステップＳ１００３の処理の詳細は図６のステップＳ６０４で説明した内容と同じであるため説明は割愛する。
【００８２】
なお、実際には、当該図１０の処理と並行して、ＰＣ２００のＣＰＵ２０１は、図４のＳ４０８〜Ｓ４１１の処理を実行する。つまり、計測しているＨＭＤ１０１の位置姿勢及び変更したモデルの位置姿勢に応じたＭＲ画像を生成してＨＭＤ１０１に送信している。（例えば図１０のステップＳ１００３の後に図４のステップＳ４０８の処理を実行している。）
【００８３】
ＰＣ２００のＣＰＵ２０１は、ステップＳ１００３の処理終了後、図１０の処理を終了し、図５のステップＳ５０９に処理を移行する。以上が本発明の第２の実施形態の説明である。
【００８４】
第２の実施形態によれば、モデルの移動中、移動しているモデルの背後にある他のモデルの面の向きに応じて、移動中のモデルの向きを変更することができる。よって、ＭＲのユーザは、移動中のモデルを背後の他のモデルの向きに合わせた際のイメージを、当該モデルの移動中に随時確認することができる。
【００８５】
なお、上述した実施形態においては、選択中のモデルの背後にある壁のモデルの向きに合わせて、選択中のモデルの方向を変更したが、必ずしも壁のモデルである必要はない。例えば不図示の設定画面において、ユーザ操作によりモデルの選択を受け付け、選択されたモデルに属性を付与して、当該属性が付与されたモデルのみを図１０のステップＳ１００１において選択中のモデルの背後のモデルとして特定するようにしてもよい。こうすることで、選択中のモデルの方向をどのモデルの方向に合わせるかを自由に設定し、当該設定に応じてモデルの方向を決定することができる。
【００８６】
＜第３の実施形態＞
【００８７】
第３の実施形態においては、モデルの移動中、移動しているモデルとＨＭＤとの距離を変更することができる。
【００８８】
第３の実施形態においては、第１の実施形態における図５のステップＳ５０８（図６の処理）又は第１の実施形態における図１０の処理の後に、図１２に示す処理を行う。第３の実施形態の説明において、第１の実施形態、題２の実施形態と同様の処理については説明を割愛する。
【００８９】
ＰＣ２００のＣＰＵ２０１は、ＨＭＤ１０１の位置姿勢の変化量から、選択中のモデルをＨＭＤ１０１に近づける指示がされたか判定する（ステップＳ１２０１）。第３の実施形態においては、ＨＭＤ１０１に加速度センサが設置されており、ＰＣ２００が当該加速度センサからＨＭＤの加速度の値を取得して、ＨＭＤ１０１がどの方向に振られたか（移動したか）を特定（検知）可能であるものとする。加速度センサを用いて、端末がどの方向に振られているか特定することは公知の技術であるため詳細な説明は割愛する。例えば特開２００９−２２９３９９等に記載の技術を用いるものとする。ステップＳ１２０１では、ＰＣ２００が当該加速度の値を用いて、ＨＭＤ１０１が１３１０に示すように、ＨＭＤ１０１が手前方向（下方向）に２回振られたか判定する。ＨＭＤ１０１が手前方向に２回振られたと判定した場合に、選択中のモデルをＨＭＤ１０１に近づける指示がされたと判定する。
【００９０】
選択中のモデルをＨＭＤ１０１に近づける指示がされた場合、ＰＣ２００のＣＰＵ２０１は、現時点におけるＨＭＤ１０１と選択中のモデルとの距離の半分の距離だけ、選択中のモデルをＨＭＤ１０１に近づけて（近づけた視線上の位置に位置変更して）、モデルの位置７１２を更新する（ステップＳ１２０４）。その後、処理を図５のステップＳ５０９に移行する。
【００９１】
選択中のモデルをＨＭＤ１０１に近づける指示がされていないと判定された場合、ＰＣ２００のＣＰＵ２０１は、選択中のモデルをＨＭＤ１０１から遠ざける指示がされたか判定する（ステップＳ１２０２）。ここでは、ＨＭＤ１０１が上方向に２回振られたと判定した場合に、選択中のモデルをＨＭＤ１０１ら遠ざける指示がされたと判定する。
【００９２】
選択中のモデルをＨＭＤ１０１から遠ざける指示がされた場合、ＰＣ２００のＣＰＵ２０１は、現時点におけるＨＭＤ１０１と選択中のモデルとの距離の半分の距離だけ、選択中のモデルをＨＭＤ１０１のから遠ざけて（遠ざけた視線上の位置に位置変更して）、モデルの位置７１２を更新する（ステップＳ１２０３）。その後、処理を図５のステップＳ５０９に移行する。以上が図１２の処理である。
【００９３】
なお、上述した第３の実施形態の例によれば、加速度センサから取得した値を用いて、ＨＭＤ１０１がどの方向に振られたかを判定しているが、例えば、光学センサから取得したＨＭＤ１０１の位置姿勢の遷移の履歴を用いて、ＨＭＤ１０１が所定時間の間に下方向に振られたか、上方向に振られたかを判定するようにしてもよい。
【００９４】
以上説明したように、第３の実施形態によれば、モデルの移動中、移動しているモデルとＨＭＤとの距離を変更することができる。
【００９５】
例えば、ＨＭＤを装着したユーザの手を使った操作によることなく、ＨＭＤの姿勢の情報を用いて、選択中のモデルとＨＭＤとの距離を変更して位置変更することができる。
【００９６】
以上説明したように、本発明によれば、視線を用いて、任意の位置にモデルを移動させることができる。
【００９７】
つまり、ＨＭＤの位置姿勢を用いて、容易にモデルを移動させることができる。
【００９８】
なお、上述した実施形態においては、接触面の情報は予め３次元モデルに対応付けて記憶されているものとしたが、例えば３次元モデルが選択された時点で当該選択された３次元モデルが他の３次元モデルに接触している面を特定し、当該特定した面を接触面として、選択中の３次元モデルと対応付けて記憶するようにしてもよい。具体的には、ＰＣ２００のＣＰＵ２０１が、図５のステップＳ５０７において、ステップＳ５０６で選択したモデルの位置姿勢と大きさ及び形状（モデルの大きさ・形状はモデルファイルから特定可能）と、当該選択したモデル以外のモデルの位置姿勢と大きさ及び形状の情報を用いて、選択中のモデルの面のうち他のモデルと接触している面積が最も大きい面を特定する。そして、当該特定した面のモデルファイル上の頂点座標を、当該選択中の面の接触面の情報として接触面７１６に上書きする。また、ステップＳ５１１において、移動した３次元モデルの位置と他の３次元モデルの位置とが所定距離にないと判定された場合には、選択中の３次元モデルの接触面７１６の情報を削除し、選択状態を解除するようにする。
【００９９】
選択時点において選択したモデルが他のモデルと接触していた面を接触面として自動登録することにより、そもそも他の３次元モデルに接するように配置されていた３次元モデルは移動先においても他の３次元モデルと接するように配置することが容易になる。
【０１００】
また、モデルごとに接触面の情報（他のモデルと接触させたい面の情報）を接触面７１６に手動で登録する手間を省くことができる。
【０１０１】
また、上述した実施形態においては、ＨＭＤ１０１の位置姿勢の値を光学センサから取得していたが、例えば、ＨＭＤ１０１から取得した現実画像内の２次元マーカの識別情報、形状、画像上の位置、及び別途ＰＣ２００のメモリに記憶しておいた２次元マーカの識別情報、仮想空間上の位置姿勢を用いて、ＰＣ２００のＣＰＵ２０１がＨＭＤ１０１の位置姿勢を計算して取得するようにしてもよい。
【０１０２】
具体的には、室内には複数の２次元マーカを貼りつけておく。マーカの形状は問わないが、例えば正方形であり、全て同じサイズであるものとする。各マーカにはユニークなマーカ番号が埋め込まれているものとする。そして、ＨＭＤ１０１に設けられたカメラで撮像した際に、個々のマーカが識別でき、デコードした際に、そのマーカ番号が得られるものとする。マーカの種類（マーカが果たす役割の種類）は、ＨＭＤ１０１の位置姿勢を決定するための位置検出用マーカがある。そして、位置検出用マーカについては、ＨＭＤ１０１の位置姿勢がどのような状態であっても、内蔵するカメラの視野内に最低でも３つが含まれるように、予め既知の位置に貼り付けられているものとする。上記の構成におけるＨＭＤ１０１の位置姿勢を検出する原理は、撮像した画像中の３つの位置検出用マーカ（その位置は既知）それぞれのサイズから、ＨＭＤ１０１からそれぞれまでの位置検出用マーカまでの距離を求める。そして、逆に、３つの位置検出用マーカから求めた３つの距離が重なる位置を、ＨＭＤ１０１の位置として決定する。また、ＨＭＤ１０１の姿勢は、撮像した画像中の３つの位置検出用マーカの配置から求めればよい。なお、マーカの法線方向に視点があるとき、そのマーカ画像が正方形に見えることになる。そして、視点が法線方向からずれると、そのずれの度合いに応じて正方形が歪んで見える。つまり、この歪みから、視点の軸に対するマーカで規定される平面の向きが判明し、マーカのサイズから視点とマーカ間の距離を検出でき、マーカが貼り付けられた平面が規定できる。また、実施形態では、マーカには、互いに識別できる２つの印が設けられ、マーカの中心位置を原点とし、マーカで規定される上記の平面上の、原点からその印に向かう２つのベクトルを２軸、マーカの中心位置から法線方向の１軸で、局所的（ローカル）な３次元座標を規定する３軸を規定しているものとする。
【０１０３】
尚、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１０４】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１０５】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１０６】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１０７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１０８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１１１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１１２】
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１１３】
１０１  ＨＭＤ
１５０  ＬＡＮ
２００  ＰＣ
【図１】
2017102685.tif 000003
【図２】
2017102685.tif 000004
【図３】
2017102685.tif 000005
【図４】
2017102685.tif 000006
【図５】
2017102685.tif 000007
【図６】
2017102685.tif 000008
【図７】
2017102685.tif 000009
【図８】
2017102685.tif 000010
【図９】
2017102685.tif 000011
【図１０】
2017102685.tif 000012
【図１１】
2017102685.tif 000013
【図１２】
2017102685.tif 000014
【図１３】
2017102685.tif 000015
【図１４】
2017102685.tif 000016