(57)【要約】【課題】現実空間の任意の位置に仮想オブジェクトを配置したままにしておくと、仮想オブジェクトは増える一方で、現実空間に仮想オブジェクトがあふれてしまい煩わしい。【解決手段】仮想オブジェクトを配置して表示した時の会話状況から仮想オブジェクトの消去条件のユーザを決定する。そして、消去条件のユーザと仮想オブジェクトとの距離に基づいて仮想オブジェクトを消去する。【選択図】図１１
2014203194.tif 000002
【特許請求の範囲】
【請求項１】
仮想オブジェクトの表示通知を受信する受信手段と、
前記表示通知の通知元ユーザの会話状況を取得する取得手段と、
前記取得した会話状況に基づいて前記仮想オブジェクトの消去条件となる消去条件ユーザを決定する決定手段と、
前記消去条件ユーザの位置と前記仮想オブジェクトの位置とに応じて前記仮想オブジェクトを消去する消去手段と
を有する仮想オブジェクト表示制御装置。
【請求項２】
前記決定手段は、前記会話状況が会話ありを示す場合、前記通知元ユーザの会話相手のユーザを消去条件ユーザとして決定することを特徴とする請求項１に記載の仮想オブジェクト表示制御装置。
【請求項３】
前記決定手段は、前記会話状況が会話ありを示す場合、前記通知元ユーザと前記通知元ユーザの会話相手のユーザとを消去条件ユーザとして決定することを特徴とする請求項１に記載の仮想オブジェクト表示制御装置。
【請求項４】
前記決定手段は、前記会話状況が会話なしを示す場合、前記通知元ユーザを前記消去条件ユーザとして決定することを特徴とする請求項１から３のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項５】
前記決定手段は、会話に参加するユーザの会話状況の変化に応じて消去条件ユーザを再設定することを特徴とする請求項１から４のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項６】
前記消去手段は、前記消去条件ユーザが前記仮想オブジェクトから一定の距離離れた場合、前記仮想オブジェクトを消去することを特徴とする請求項１から５のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項７】
前記取得手段は、仮想オブジェクトを表示する各表示装置から送信される音声データの類似度に基づいて前記会話状況を取得することを特徴とする請求項１から６のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項８】
前記取得手段は、各表示装置の位置と向きとに応じてさらに前記会話状況を取得することを特徴とする請求項７に記載の仮想オブジェクト表示制御装置。
【請求項９】
前記会話状況を管理する管理手段をさらに有し、
前記管理手段は、会話しているユーザ間の距離に応じて、前記会話状況を会話ありから会話なしに変更することを特徴とする請求項１から８のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項１０】
前記消去手段によって消去された仮想オブジェクトを再表示する再表示手段をさらに有し、
前記再表示手段は、前記消去手段によって消去された時刻から一定時間内に前記消去条件ユーザが前記仮想オブジェクトを表示していた位置に戻った場合に前記再表示をすることを特徴とする請求項１から９のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項１１】
前記仮想オブジェクトには仮想オブジェクトを配置して表示する権限であるＲｅａｄ権限が付与されており、
前記決定手段は、前記Ｒｅａｄ権限にさらに基づいて前記消去条件ユーザを決定することを特徴とする請求項１から１０のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項１２】
前記決定手段は、前記会話状況が会話ありを示す場合、前記通知元ユーザの会話相手のユーザであり、かつ前記仮想オブジェクトのＲｅａｄ権限を有するユーザと、前記通知元ユーザとを前記消去条件ユーザとして決定することを特徴とする請求項１１に記載の仮想オブジェクト表示制御装置。
【請求項１３】
前記決定手段で決定される消去条件ユーザが通知元ユーザのみである場合、前記通知元ユーザの会話相手のユーザに一時的にＲｅａｄ権限を付与する付与手段をさらに有することを特徴とする請求項１２に記載の仮想オブジェクト表示制御装置。
【請求項１４】
前記消去手段は、現実空間の所定の位置に関連付けられている仮想オブジェクトの関連付けを削除することで前記仮想オブジェクトを消去することを特徴とする請求項１から１３のいずれか一項に記載の仮想オブジェクト表示制御装置。
【請求項１５】
撮像手段と、
自己の位置情報と、集音した音声データとを送信する送信手段と、
前記撮像手段で撮像した撮像画像データと前記撮像画像データに重畳される仮想オブジェクトとを含む画像データを表示する表示手段と
を有する表示装置であって、
前記表示手段で表示される仮想オブジェクトは、前記位置情報と前記音声データとの送信に応じて、請求項１から１４のいずれか一項に記載の仮想オブジェクト表示制御装置によって消去されることを特徴とする表示装置。
【請求項１６】
仮想オブジェクトの表示通知を受信する受信ステップと、
前記表示通知の通知元ユーザの会話状況を取得する取得ステップと、
前記取得した会話状況に基づいて前記仮想オブジェクトの消去条件となる消去条件ユーザを決定する決定ステップと、
前記消去条件ユーザの位置と前記仮想オブジェクトの位置とに応じて前記仮想オブジェクトを消去する消去ステップと
を有する仮想オブジェクト表示制御方法。
【請求項１７】
撮像ステップと、
自己の位置情報と、集音した音声データとを送信する送信ステップと、
前記撮像ステップで撮像した撮像画像データと前記撮像画像データに重畳される仮想オブジェクトとを含む画像データを表示する表示ステップと
を有する表示方法であって、
前記表示ステップで表示される仮想オブジェクトは、前記位置情報と前記音声データとの送信に応じて、請求項１６に記載の仮想オブジェクト表示制御方法によって消去されることを特徴とする表示方法。
【請求項１８】
コンピュータを、請求項１から１５に記載の仮想オブジェクト表示制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想オブジェクト表示制御装置、仮想オブジェクト表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、実世界に付加的な情報を重畳してユーザに呈示するＡＲ（ＡｕｇｕｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）技術を用いたシステムが開発・提供されている。例えば、セカイカメラ（登録商標）と呼ばれるシステムでは、現実空間の任意の位置に関連付けられる仮想的なタグが予めシステムに登録される。そして、ユーザが携帯する端末により撮像される画像内で、当該画像に映る位置に関連付けられているタグがシステムサーバから端末に送信されその位置に重畳して画当該画像内に表示される。
【０００３】
また、特許文献１に記載されたシステムでは、ヘッドアップディスプレイ装置に飛行経路が投影される。この飛行経路は、機体の位置および姿勢と、飛行経路データとに基づいて算出され、パイロットの前面に設けられるヘッドアップディスプレイ装置において前景と重畳して表示される。一方、着陸位置に近づき着陸位置が目視できる状態では、パイロットは通常有視界飛行で目視によって着地する。この場合にはヘッドアップディスプレイ装置の表示画像がかえって障害になる場合があるため、特許文献１では着地位置と機体との距離が所定の距離以下になる場合、重畳して表示される飛行経路をヘッドアップディスプレイ装置から消去する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２６８６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＡＲ技術を用いると、打ち合わせの場において、現実空間の任意の位置に仮想オブジェクトを配置することができる。これにより、それぞれの端末を通じて複数のユーザで同じ物を見ているかのように仮想オブジェクトを閲覧し、共有することが可能である。
【０００６】
しかし、現実空間の任意の位置に仮想オブジェクトを配置したままにしておくと、仮想オブジェクトは増える一方で、現実空間に仮想オブジェクトがあふれてしまい煩わしい。
【０００７】
前述の特許文献１の方法によれば、仮想オブジェクトを配置して表示する装置の位置に応じて仮想オブジェクトを消去できる。しかしながら複数の人物で同じ仮想オブジェクトを閲覧する場合、その仮想オブジェクトを配置して表示する装置の位置に応じて仮想オブジェクトを消去すると、その仮想オブジェクトを閲覧している他のユーザの装置で閲覧できなくなる場合がある。
【課題を解決するための手段】
【０００８】
本発明に係る仮想オブジェクト表示制御装置は、仮想オブジェクトの表示通知を受信する受信手段と、前記表示通知の通知元ユーザの会話状況を取得する取得手段と、前記取得した会話状況に基づいて前記仮想オブジェクトの消去条件となる消去条件ユーザを決定する決定手段と、前記消去条件ユーザの位置と前記仮想オブジェクトの位置とに応じて前記仮想オブジェクトを消去する消去手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、仮想オブジェクトが必要なくなった時点で仮想オブジェクトを消去することが可能となる。したがって、現実空間が仮想オブジェクトであふれて煩わしくなることが無く、使い勝手が向上する。
【図面の簡単な説明】
【００１０】
【図１】実施例１における表示装置のブロック図である。
【図２】実施例１における仮想オブジェクト表示制御装置のブロック図である。
【図３】実施例１における自己位置方向特定処理のフローチャートである。
【図４】実施例１における自己位置方向管理テーブルの例を示す図である。
【図５】実施例１における発話検出処理のフローチャートである。
【図６】実施例１における発話管理テーブルの例を示す図である。
【図７】実施例１におけるユーザの平面的な配置図の例を示す図である。
【図８】実施例１における会話状況検出処理のフローチャートである。
【図９】実施例１における会話管理テーブルの例を示す図である。
【図１０】実施例１におけるユーザと仮想オブジェクトの平面的な配置図の例を示す図である。
【図１１】実施例１における消去条件設定処理のフローチャートである。
【図１２】実施例１における消去条件テーブルの例を示す図である。
【図１３】実施例２における自己位置方向管理テーブルと会話管理テーブルの例を示す図である。
【図１４】実施例２における消去条件設定処理のフローチャートである。
【図１５】実施例２における消去条件テーブルの例を示す図である。
【図１６】実施例３における自己位置方向管理テーブルと会話管理テーブルの例を示す図である。
【図１７】実施例３におけるユーザと仮想オブジェクトの平面的な配置図の例を示すｚうである。
【図１８】実施例３における消去条件設定処理のフローチャートである。
【図１９】実施例３における消去条件テーブルの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１２】
（実施例１）
図１は、仮想オブジェクトを表示する表示装置１００の構成を示すブロック図である。表示装置１００の一例としては、ユーザの頭部に装着するＨＭＤ（Ｈｅａｄ‐ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）が挙げられる。ユーザは、ＨＭＤをメガネのように装着することが可能であり、ＨＭＤの前面に取り付けられた撮像部１０１により、ユーザの視線方向の被写体を撮像することができる。また、ＨＭＤの前面に取り付けられた表示部１０５により、ユーザは、ＨＭＤを装着したまま撮像部１０１で撮像された被写体や被写体に関連付けられている仮想オブジェクトを見ることができる。なお、仮想オブジェクトとは、実世界の画像に重畳される付加的な情報のことである。例えば、前述のように情報を表すタグであってもよいし、テキスト、アイコン、マーク、写真、動画などであってもよい。また、表示装置１００は、スマートフォンやタブレットのような携帯型の端末装置でもよい。
【００１３】
表示装置１００は、撮像部１０１、ＣＰＵ１０２、発話検出部１０３、操作部１０４、表示部１０５、ＲＯＭ１０６、ＲＡＭ１０７、大容量記憶部１０８、ネットワークコントローラ１０９、自己位置方向取得部１１０および画像処理部１１１を有する。
【００１４】
ＣＰＵ１０２は、ＲＯＭ１０６に格納されたブートローダプログラム及び表示装置制御プログラムに基づいて表示装置１００全体を制御する。また、自己位置方向取得部１１０は、大容量記憶部１０８に格納されたアプリケーションプログラムに基づいて自己位置方向を取得する。なお自己位置方向とは、表示装置１００の位置および向きのことである。
【００１５】
撮像部１０１は、表示装置１００を装着したユーザの見ている被写体を撮像して撮像画像データを取得する。撮像部１０１で取得される撮像画像データには、自己位置方向を計算するためのマーカ画像も含まれる。マーカ画像とは、現実空間の所定の位置に付加された所定のマークを示す画像である。
【００１６】
発話検出部１０３は、マイクロフォンなどを通じて表示装置１００を装着した人の発した発話を検出して音声データを取得する。詳細については後述する。操作部１０４は、表示する仮想オブジェクトを選択するために用いる。画像処理部１１１は、操作部１０４で選択された仮想オブジェクトを解釈し、画像データを生成する。表示部１０５は、画像処理部で生成された画像データを表示する。ＲＯＭ１０６は、ブートローダプログラム及び表示装置制御プログラムを格納する。ＲＡＭ１０７は、ＣＰＵ１０２のワークエリアとして機能する。ネットワークコントローラ１０９は、外部ネットワークに接続されている仮想オブジェクト表示制御装置２００との通信を行う。大容量記憶部１０８は、アプリケーションプログラムを格納し、撮像部１０１で撮像した撮像画像データや発話検出部１０３で取得した音声データを一時的に格納する。
【００１７】
図２は、仮想オブジェクト表示制御装置２００の構成を示すブロック図である。仮想オブジェクト表示制御装置２００はデータベースサーバとして機能する。仮想オブジェクト表示制御装置２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、大容量記憶部２０４、操作部２０５、表示部２０６、ネットワークコントローラ２０７、会話状況検出部２０８、消去条件設定部２０９および消去部２１０を有する。
【００１８】
図２において、ＣＰＵ２０１は、ＲＯＭ２０２に格納されたブートローダプログラム及びデータベースサーバ制御プログラムに基づいて仮想オブジェクト表示制御装置全体を制御する。会話状況検出部２０８は、大容量記憶部２０４に格納されたアプリケーションプログラムに基づいて会話状況の検出を行う。消去条件設定部２０９は大容量記憶部２０４に格納されたアプリケーションプログラムに基づいて仮想オブジェクトの消去条件の設定を行う。消去部２１０は、消去条件設定部２０９で設定された消去条件に基づいて仮想オブジェクトを消去する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして機能する。大容量記憶部２０４は、アプリケーションプログラムを格納し、自己位置方向管理テーブル４００と、発話管理テーブル６００を格納する。これらのテーブルについての詳細は後述する。操作部２０５は、キーボードやポインティングデバイスなどの入力装置を制御する。表示部２０６は、ＣＰＵ２０１でデータベースサーバ制御プログラムに基づく表示をする。
【００１９】
次に、表示装置１００と仮想オブジェクト表示制御装置２００とを用いた、ユーザが操作する表示装置１００の自己位置方向取得方法を図３のフローチャートを用いて説明する。図３のフローチャートに示す処理は、所定のタイミング毎に繰り返し行われる。なお、自己位置方向取得方法としては様々な手法がある。例えば、撮像画像中の特徴点を用いた手法やマーカ画像から特徴点を抽出する手法などもある。本実施例ではマーカ画像を用いた技術として説明するが他の手法を用いてもよい。図３においてステップＳ３０１からステップＳ３０４は、表示装置１００側の処理であり、ステップＳ３５１からステップＳ３５４は仮想オブジェクト表示制御装置２００側の処理である。図３のフローチャートのステップＳ３０１からステップＳ３０４は、表示装置１００のＣＰＵ１０２の制御によって実行される。なお、図３では説明を容易にするために表示装置１００側の処理と仮想オブジェクト表示制御装置２００側の処理をまとめて記載しているが、それぞれの処理は別個に独立して行われるものである。
【００２０】
ステップＳ３０１において撮像部１０１は、表示装置１００を装着しているユーザの視線方向の現実空間画像を撮像し、撮像画像データを取得する。撮像画像データはＣＰＵ１０２に所定の間隔で送出され、ＲＡＭ１０７に格納される。所定の間隔は、毎秒５フレームにするなど、任意の値を設定できる。
【００２１】
ステップＳ３０２において自己位置方向取得部１１０は、ＲＡＭ１０７に格納された現実空間画像を示す撮像画像データからマーカ画像を検出する。マーカ画像は、現実空間内で３次元位置が既知な画像である。マーカ画像の検出は、例えば形状、色、面積などを予め指定されたマーカ画像と現実空間画像とをマッチングさせることで行う。
【００２２】
ステップＳ３０３において自己位置方向取得部１１０は、ステップＳ３０３で検出されたマーカ画像の歪みから自己位置方向を取得する。例えば、自己位置方向取得部１１０は、現実空間画像に含まれる既知のマーカ画像の撮像面上での２次元位置を、３次元位置に投影計算することなどにより自己位置方向を取得する。表示装置１００の自己位置方向を示す情報は、空間のデカルト座標としての位置を表すＸ、Ｙ、Ｚ成分と、方位角と仰俯角を表す成分とを含む成分として取得される。なお、マーカ画像から自己位置方向を取得する方法は周知の技術（例えば、特開２００５−３３３１９号公報）を用いて行うことができるため、詳細な説明は割愛する。なお、本実施例では自己位置方向はマーカ画像の検出によって行うとして説明しているが、現実空間の物体の特徴点を検出することで行ってもよいし、各種のセンサやＧＰＳなどと組み合わせることによって自己位置方向を取得する方法であってもよい。また、本例では、自己位置方向は、空間のデカルト座標としての位置を表すＸ、Ｙ、Ｚ成分と、方位角と仰俯角を表す成分とを含む成分の例を用いて説明する。しかしながら、空間のデカルト座標としての位置を表すＸ、Ｙ、Ｚ成分である自己位置のみを示す情報であってもよい。自己位置方向取得部１１０は、取得した自己位置方向に取得した時点の時刻情報を付加する。
【００２３】
ステップＳ３０４において、ＣＰＵ１０２は、表示装置１００を使用するユーザのユーザＩＤと共に、ステップＳ３０４で取得され時刻情報が付加された自己位置方向をネットワークコントローラ１０９を介して仮想オブジェクト表示制御装置２００に送信する。なお、本実施例ではＩＤとしてユーザＩＤを用いる例を説明するが、表示装置１００を識別するＩＤであってもよい。
【００２４】
次に、仮想オブジェクト表示制御装置２００側の処理をステップＳ３５１からステップＳ３５４を用いて説明する。ステップＳ３５１からステップＳ３５４は仮想オブジェクト表示制御装置２００のＣＰＵ２０１の制御によって実行される。なお、ＣＰＵ２０１はあらかじめ大容量記憶部２０４からＲＡＭ２０３に自己位置方向管理テーブルを読み出しておく。
【００２５】
ステップＳ３５１において、仮想オブジェクト表示制御装置２００は、表示装置１００から送信された自己位置方向を、ネットワークコントローラ２０７を介して受信する。前述したように、表示装置１００から送信される自己位置方向には、時刻情報と表示装置１００のユーザＩＤとが付加されている。受信した自己位置方向は、ＣＰＵ２０１がＲＡＭ２０３に格納する。
【００２６】
次にステップＳ３５２において、ＣＰＵ２０１は受信した自己位置方向に付加されているユーザＩＤが、仮想オブジェクト表示制御装置２００が管理する自己位置方向管理テーブルにあるかどうかを判定する。自己位置方向管理テーブルは、各表示装置から送信される自己位置方向を管理するテーブルである。ユーザＩＤが自己位置方向管理テーブルにないと判定した場合、ＣＰＵ２０１は、ステップＳ３５３に処理を進める。ステップＳ３５３において、ＣＰＵ２０１は、ステップＳ３５１で受信した自己位置方向とユーザＩＤと時刻情報とを自己位置方向管理テーブルに新規に登録する。一方、ユーザＩＤが自己位置方向管理テーブルにないと判定した場合、ＣＰＵ２０１は、ステップＳ３５４に処理を進める。ステップＳ３５４において、ＣＰＵ２０１は、自己位置方向管理テーブルの中で一致するユーザＩＤに関連付けられる自己位置方向と時刻情報とをステップＳ３５１で受信した情報で更新する。
【００２７】
図４は、仮想オブジェクト表示制御装置２００によって管理される自己位置方向管理テーブル４００の例を示す図である。自己位置方向管理テーブル４００は、各ユーザのユーザＩＤ、時刻情報、自己位置情報、自己向き情報とを含む。なお、ここでは位置の単位をミリメートルとして説明するが、メートルや他の距離を表す単位でも良い。また、ここでは向きの単位をｄｅｇｒｅｅとしたが、向きを表す単位はｒａｄｉａｎでも良い。なお、方位角は、０度を北方向とするならば、東、南、西はそれぞれ９０度、１８０度、２７０度と表される。方位角は、任意の方位を０度にすることができ、全てのユーザの方向がその基準の方位から何度であるかが分かればよい。また、仰俯角は、０度が水平方向であり、９０度が天頂方向、−９０度が鉛直方向を表す。
【００２８】
次に、表示装置１００と仮想オブジェクト表示制御装置２００を用いた、ユーザの発話検出方法について図５のフローチャートを用いて説明する。図５のステップＳ５０１からステップＳ５０３は表示装置１００側の処理であり、ステップＳ５５１からステップＳ５５４は仮想オブジェクト表示制御装置２００側の処理である。なお、図５のフローチャートでは説明を容易にするために表示装置１００と仮想オブジェクト表示制御装置２００との処理をまとめて示しているが、それぞれの処理は別個に独立して行われるものである。図５に示すフローチャートの処理は所定のタイミング毎に繰り返し行われる。
【００２９】
まず、表示装置１００側の処理を説明する。図５のステップＳ５０１からステップＳ５０４は、表示装置１００のＣＰＵ１０２の制御によって実行される。ステップＳ５０１において、表示装置１００の発話検出部１０３は、発話があるかどうかを判定する。具体的には、発話検出部１０３に集音される音声データの音量が一定レベルを超えたときに、発話があると判定する。発話があると判定した場合、ステップＳ５０２においてＣＰＵ１０２は、ＲＡＭ１０７に管理している表示装置の発話ステータスを発話ありと設定する。ステップＳ５０３において、ＣＰＵ１０２は、音声データをフーリエ変換する。そして、フーリエ変換された音声データにその時点の時刻情報とを付加する。
【００３０】
一方、ステップＳ５０１において発話検出部が発話がないと判定した場合、ステップＳ５０４に処理を進める。ステップＳ５０４においてＣＰＵ１０２は、ＲＡＭ１０７に管理している表示装置の発話ステータスを発話なしと設定する。
【００３１】
ステップＳ５０５で、ＣＰＵ２０１は、ネットワークコントローラ１０９を介して仮想オブジェクト表示制御装置２００に発話ステータスと、時刻情報と、表示装置１００のユーザＩＤとを含む発話情報を送信する。ステップＳ５０１において発話があると判定されている場合には、ステップＳ５０３で変換された音声データも含めた発話情報を仮想オブジェクト表示制御装置２００に送信する。
【００３２】
次に、仮想オブジェクト表示制御装置２００側の処理を、図５のステップＳ５５１からステップＳ５５４を用いて説明する。図５のフローチャートは、仮想オブジェクト表示制御装置２００のＣＰＵ２０１によって実行される。ＣＰＵ２０１はあらかじめ大容量記憶部２０４からＲＡＭ２０３に発話管理テーブル６００を読み出しておく。
【００３３】
ステップＳ５５１において仮想オブジェクト表示制御装置２００は、表示装置１００から送信された発話情報を、ネットワークコントローラ２０７を介して受信する。受信した発話情報は、ＣＰＵ２０１がＲＡＭ２０３に格納する。
【００３４】
ステップＳ５５２において、ＣＰＵ２０１は受信した発話情報に含まれるユーザＩＤが、仮想オブジェクト表示制御装置で管理する発話管理テーブル６００にあるかどうかを判定する。ユーザＩＤが発話管理テーブル６００にない場合は、ステップＳ５５３においてＣＰＵ２０１は発話管理テーブル６００に発話情報に含まれるユーザＩＤと時刻情報と発話ステータスとを新規に登録する。ユーザＩＤが発話管理テーブル６００にある場合は、ステップＳ５５４においてＣＰＵ２０１はユーザＩＤに関連付けられている時刻情報と発話ステータスとを受信した発話情報に含まれる時刻情報と発話ステータスとで更新する。
【００３５】
なお、図５の発話検出方法の処理は、図３で示し自己位置方向取得処理と同時に行われてもよい。すなわち、表示装置１００は発話検出結果と自己位置方向とを併せて仮想オブジェクト表示制御装置２００に送信する処理であってもよい。
【００３６】
図６は、仮想オブジェクト表示制御装置２００が管理する発話管理テーブル６００の例をに示す図である。発話管理テーブル６００は、各ユーザのユーザＩＤ、時刻情報、発話ステータスを含む。
【００３７】
次に、図４の自己位置方向管理テーブルから各ユーザの平面的な配置を示した図７と、と図６の発話管理テーブルと、図８のフローチャートとを用いて、会話状況検出処理の説明を行う。
【００３８】
図７において、ユーザＩＤ０００１とユーザＩＤ０００４とは、ほぼ対面していることが分かる。また、図６から、ユーザＩＤ０００１とユーザＩＤ０００４は発話ステータスが発話ありとなっている。以上の点から、ユーザＩＤ０００１とユーザＩＤ０００４とは会話をしている可能性がある。ここで、会話をしているかどうかの判定処理を、図８のフローチャートを用いて説明する。
【００３９】
図８のフローチャートは、仮想オブジェクト表示制御装置２００のＣＰＵ２０１の制御にしたがって会話状況検出部２０８によって実行される。図８のフローチャートに示す処理は所定のタイミング毎に繰り返し行われる。まず、ステップＳ８０１において会話状況検出部２０８は発話管理テーブル６００から、発話ありのステータスを有するユーザＩＤを抽出する。図６の例では、ユーザＩＤ０００１とユーザＩＤ０００４が抽出される。次に、ステップＳ８０２において会話状況検出部２０８は、発話ありのユーザＩＤが２つ以上あるか判定する。１つしかない場合は、会話として成り立っていないと考えられるので、ステップＳ８０１に戻る。
【００４０】
発話ありのユーザＩＤが２つ以上ある場合、ステップＳ８０３において会話状況検出部２０８は、ステップＳ８０１で抽出した発話ありのユーザＩＤの中から任意のユーザＩＤを２つ選択する。そして、会話状況検出部２０８は、選択したユーザＩＤに関連付けられて表示装置から送信されているフーリエ変換済みの音声データを抽出する。そして会話状況検出部２０８は、抽出したフーリエ変換済み音声データの周波数情報を比較して類似度を求める。類似度の算出方法はフーリエ変換済みの１次元データの類似度を求める方法と同様の公知の方法を用いる。
【００４１】
ステップＳ８０４において会話状況検出部２０８は、ステップＳ８０３で比較した結果、類似度が閾値以上であればステップＳ８０５に進む。ステップＳ８０５において会話状況検出部２０８は、２つのユーザＩＤで識別される音声データは類似しているので、２つのユーザＩＤで識別されるユーザ同士は会話をしていると決定する。一方、会話状況検出部２０８は、ステップＳ８０３で比較した結果が閾値未満であればステップＳ８０６に進む。ステップＳ８０６において会話状況検出部２０８は、２つのユーザＩＤで識別される音声データは類似していないので、２つのユーザＩＤで識別されるユーザ同士は会話をしていないと決定する。ステップＳ８０７において会話状況検出部２０８は発話ありのユーザＩＤの全ての組み合わせで音声データを比較した場合、処理を終了する。
【００４２】
次に、音声データの類似性から会話をしているかどうかを判定する方法について説明する。ここではユーザＡとユーザＢとが会話をしていると仮定する。ユーザＡとユーザＢとが会話をしているということは、ユーザＡとユーザＢとは近くに位置していると考えられる。ユーザＡとユーザＢとが近くに位置しているということは、ユーザＡが喋った内容がユーザＡの表示装置の発話検出部で検出されるとともに、ユーザＢの表示装置の発話検出部でも検出されることになる。このことを利用して、ユーザＡの表示装置からの音声データとユーザＢの表示装置の発話検出部からの音声データとを比較することによってユーザＡとユーザＢとが会話をしているか否かを判定することができる。なお、音声データの類似性から会話をしているかどうかを判定する方法については本実施例の主眼ではなく、他の様々な公知の手法を用いて判定してもよい。また、上記の例では音声データの類似性に基づいて会話をしているか否かを判定する例を説明した。さらに、前述したようにユーザＡとユーザＢとが対面しているか否かに応じて会話をしているか否かを判定してもよい。例えば、図８のステップＳ８０５の前に、ユーザ同士が対面しているかを判定するステップを入れ、対面している場合にステップＳ８０５に進み２人のユーザは会話中であると決定する処理にしてもよい。
【００４３】
図９は、仮想オブジェクト表示制御装置２００が管理する会話状況検出処理の結果を格納する会話管理テーブル９００を示す図である。会話管理テーブルは、各会話の会話ＩＤ、時刻情報、会話参加者のユーザＩＤとを含む。会話ＩＤは、図８のステップＳ８０５で会話中であると決定された会話ごとに付与される。なお、３人以上が会話をしている場合の会話ＩＤの付与の仕方は次の通りである。まず、ユーザＡとユーザＢとが会話をしていると判定された場合、新規に会話ＩＤが付与され、会話参加者ＩＤとしてユーザＡとユーザＢのＩＤがその会話ＩＤに関連付けられて管理される。そして、次の比較においてユーザＡとユーザＣとが会話をしていると判定された場合、ユーザＡが既に参加している会話ＩＤがあるので、ユーザＣのユーザＩＤが会話参加者ＩＤに追加されることになる。
【００４４】
本実施例においては、一度会話中であるとされた組み合わせは、その後のあるタイミングで発話情報がなくても、会話中とする。前述したように、自己位置方向や発話情報については所定のタイミング毎に繰り返し仮想オブジェクト表示制御装置に送信される。したがって、あるタイミングではユーザＡだけが喋っている場合にはユーザＢの会話情報が送信されない場合も想定される。したがって、本実施例では会話中から会話中ではないと状態が変化する条件は、ユーザ間の距離が、会話中と決定された時の距離と比較して一定以上（例えば３メートル）離れた場合とする。ユーザ間の距離が離れたことの判定は、各ユーザの表示装置からの自己位置方向に基づいて仮想オブジェクト表示制御装置２００のＣＰＵ２０１が行う。ＣＰＵ２０１が会話中から会話中でないと状態を変更すると、ＣＰＵ２０１は会話管理テーブル９００から該当するユーザの参加している会話ＩＤに関連付けられている会話参加者ＩＤから該当するユーザのユーザＩＤを削除する。削除した結果、会話参加者ＩＤが一つになった場合、その会話ＩＤも削除する。また、ＣＰＵ２０１は発話管理テーブル６００内の該当するユーザの発話ステータスを「あり」から「なし」に変更する。
【００４５】
次に、仮想オブジェクトの消去条件設定処理を説明する。本実施例は、仮想オブジェクト表示制御装置は、仮想オブジェクトとユーザとの距離によって、仮想オブジェクトを消去するかしないかを決定する。すなわち、各ユーザが使用する各表示装置において表示されている仮想オブジェクトを消去するか否かを決定する。仮想オブジェクトは仮想オブジェクト表示制御装置によって現実空間の任意の位置に関連付けられる仮想的なタグを用いることによって表示装置で表示される。したがって、この関連付けを仮想オブジェクト表示制御装置において解消することで、表示装置で表示される仮想オブジェクトを消去することができる。本実施例では、仮想オブジェクトを消去するか否かを仮想オブジェクトとユーザとの距離によって決定する。ここで、ユーザとは、会話をしていない場合は仮想オブジェクトを配置して表示したユーザであり、会話をしている場合は仮想オブジェクトを配置して表示したユーザと会話しているユーザである。会話をしている場合、仮想オブジェクトを配置して表示したユーザは会話相手のユーザにその仮想オブジェクトを見せるために表示することが想定される。そのような状況で、仮想オブジェクトを配置したユーザが中座する場合、残っているユーザがその仮想オブジェクトを閲覧し続けたいということは十分に考えられる。したがって、会話をしている場合には仮想オブジェクトを配置したユーザと会話しているユーザと、仮想オブジェクトの距離と、に応じて仮想オブジェクトを消去するか否かを決定する。
【００４６】
なお、仮想オブジェクトを現実空間の所定位置に関連付けておくことで仮想オブジェクトを配置する手法、および配置した仮想オブジェクトをユーザの表示装置で表示する手法については周知であるので、説明を省略する。
【００４７】
次に、例えば、図１０のように仮想オブジェクトが配置された場合を考える。各ユーザの位置は図４の自己位置方向管理テーブル４００の通りとする。また、ユーザＩＤ０００４で識別されるユーザが仮想オブジェクトＩＤ０００１を配置して表示し、ユーザＩＤ０００２で識別されるユーザが仮想オブジェクトＩＤ０００２を配置して表示したものとする。消去条件設定処理を、図１１のフローチャートを用いて説明する。図１１のフローチャートは、ＣＰＵ２０１の制御に従い主に消去条件設定部２０９によって実行される。
【００４８】
ステップＳ１１０１において、仮想オブジェクト表示制御装置２００は、表示装置１００から送信された仮想オブジェクト表示通知を、ネットワークコントローラ２０７を介して受信する。仮想オブジェクト表示通知は、各表示装置において仮想オブジェクトを配置して表示したことの通知である。すなわち、表示装置のユーザが仮想オブジェクトを現実空間の任意の位置に関連付けたことを仮想オブジェクト表示制御装置に知らせる通知である。仮想オブジェクト表示通知には、仮想オブジェクトが表示される（貼り付けられる）位置と、仮想オブジェクトを特定する仮想オブジェクトＩＤと、通知元ユーザＩＤとが含まれる。なお、仮想オブジェクト表示通知には、時刻情報や仮想オブジェクト自体のデータや、仮想オブジェクトの向きなどのデータが含まれてもよい。なお、仮想オブジェクトが表示される位置と向きとは、上記の表示装置の位置を取得する処理と同様に、空間の特徴点やマーカ画像などから仮想オブジェクトが貼り付けられた位置や向きを特定することができる。受信した仮想オブジェクト表示通知は、ＣＰＵ２０１がＲＡＭ２０３に格納する。
【００４９】
次に、ステップＳ１１０２において、消去条件設定部２０９は、ステップＳ１１０１で受信した仮想オブジェクト表示通知の通知元が、会話管理テーブル９００の会話参加者ＩＤに登録されているか判定する。登録されていると判定した場合、消去条件設定部２０９は仮想オブジェクト通知元のユーザが会話中であると判定し、処理をステップＳ１１０３に進める。仮想オブジェクト表示通知の通知元のユーザが会話中であるということは、その仮想オブジェクトは会話相手と共有して閲覧するために配置され表示されたと想定される。すなわち、会話相手がいなくなったらその仮想オブジェクトを表示する必要がないと考えることができる。したがって、ステップＳ１１０３において消去条件設定部２０９は、消去条件に会話相手のユーザＩＤを設定する。
【００５０】
一方、ステップＳ１１０２において登録されていないと判定した場合、消去条件設定部２０９は仮想オブジェクト通知元のユーザが会話中でないと判定し、処理をステップＳ１１０４に進める。仮想オブジェクト表示通知の通知元のユーザが会話中でないということは、表示者が自分だけで見るために仮想オブジェクトを配置して表示したと想定される。すなわち、表示者がいなくなったらその仮想オブジェクトを表示する必要が無いと考えることができる。したがって、ステップＳ１１０４において消去条件設定部２０９は、消去条件に表示者のユーザＩＤを設定する。
【００５１】
次に、ステップＳ１１０５において、消去条件設定部２０９は、消去条件に設定されたユーザと仮想オブジェクトとがどれだけ離れたら消去するのかを示す消去距離を算出する。本実施例では、仮想オブジェクト表示時の、仮想オブジェクトと消去条件に設定されたユーザとの距離から、さらに所定の距離（例えば３メートル）離れた距離を消去距離とする。すなわち、消去条件設定部２０９は。仮想オブジェクト表示通知の時刻情報と同じまたは近時した時刻情報を持つ、消去条件となっている通知元のユーザＩＤまたは会話相手のユーザＩＤの位置を、自己位置方位管理テーブル４００から取得し、消去距離を設定する。その後、消去部２１０は、自己位置方位管理テーブル４００の消去条件となっているユーザＩＤの位置と仮想オブジェクトの位置とを比較し、消去距離に達した場合に仮想オブジェクトを消去する。
【００５２】
図１２は、消去条件設定部２０９が設定した結果の消去条件テーブル１２００を示す図である。消去条件テーブル１２００は、仮想オブジェクトＩＤ、時刻情報、仮想オブジェクト位置、仮想オブジェクト向き、仮想オブジェクトを配置して表示したユーザＩＤ、消去条件に設定されたユーザＩＤ、消去距離を含む。なお、仮想オブジェクト位置と仮想オブジェクト向きとは仮想オブジェクト表示通知に含まれる情報により既知であるものとする。図１２の例では、仮想オブジェクトＩＤ０００１の消去距離は、次のように計算される。まず、仮想オブジェクトＩＤ０００１と消去条件のユーザＩＤ０００４との距離√（（１５０６−３０００）２＋（１１２０−５２０）２＋（１８６０−１５００）２）≒１６５０ミリメートルを計算する。そして、その距離１６５０ミリメートルに３メートルを加算して４６５０ミリメートルとなる。すなわち、仮想オブジェクトＩＤ０００１は、仮想オブジェクトＩＤ０００１の距離と消去条件のユーザＩＤ０００４との距離が４６５０ミリメートルより離れた場合に消去される。
【００５３】
以上、本実施例について説明したが、上述した実施例に限定されるものではなく、要旨を逸脱しない範囲でさまざまに変形可能である。例えば、仮想オブジェクトは、消去条件設定部で設定した条件に合致した場合以外にも消去が可能である。例えば、ユーザが表示装置１００の操作部１０４を通じて明示的に消去指示をＣＰＵ１０２に通知することで、仮想オブジェクトを消去することも可能である。また、一人で仮想オブジェクトを表示した場合は、表示者が仮想オブジェクトから一定距離離れたら消去するとしたが、表示者がその場から中座しただけで、すぐに戻ってきて仮想オブジェクトを見たいと言うことも考えられる。そのため、表示者が仮想オブジェクトから所定の距離離れたら一時消去し、そこから一定時間内に表示者が戻ってきたら再表示し、戻ってこなかったら消去する、ということも可能である。
【００５４】
また、上記の例では、会話中である場合には消去条件のユーザとして会話相手を設定する例を説明したが、会話相手のほかに仮想オブジェクトを表示した表示者も消去条件に設定してもよい。すなわち、会話中の場合には、仮想オブジェクトを表示した表示者および会話相手のいずれもが仮想オブジェクトから一定距離離れた場合に仮想オブジェクトを消去するとしてもよい。
【００５５】
（実施例２）
実施例１では、仮想オブジェクトを表示したときの会話状況検出部の検出結果に基づいて仮想オブジェクトの消去条件を設定した。しかし、会話状況は時々刻々と変化することが考えられる。例えば、始めは２人で会話を始めたが、３人、４人と増える場合もある。そこで、本実施例では、会話状況が変化した場合に消去条件を設定し直す処理について説明する。例えば、実施例１で説明したように、時刻が２０１２年１２月１２日１５時０分０秒０の時点の自己位置方向管理テーブルを図４、発話管理テーブルを図６、とする。また、会話状況検出部の検出結果の会話管理テーブルを図９、消去条件設定部の設定結果の消去条件テーブルを図１２とする。１０分後にユーザＩＤ０００２がユーザＩＤ０００１とユーザＩＤ０００４の会話に途中から参加した場合を考える。
【００５６】
図１３（ａ）は、この時点における自己位置方向管理テーブル１３００を示す図である。また、図１３（ｂ）は会話管理テーブル１３５０を示す図である。この場合の消去条件設定部２０９の処理を、図１４のフローチャートを用いて説明する。図１４のフローチャートは、ＣＰＵ２０１の制御にしたがって消去条件設定部２０９によって実行される。
【００５７】
ステップＳ１４０１において、ＣＰＵ２０１は、会話管理テーブルに変化があったかを判定する。変化があると判定した場合、ステップＳ１４０２において消去条件設定部２０９は変化があった会話ＩＤに関連付けられている会話参加者のユーザＩＤを特定する。そして、消去条件設定部２０９は、特定したユーザＩＤが関連付けられている仮想オブジェクトＩＤを消去条件テーブルから選択する。図１３（ｂ）を参照すると、変化があった会話ＩＤ０００１に関連付けられている会話参加者ＩＤとして、ユーザＩＤ０００１，０００２、０００４が特定される。そして、これらのユーザＩＤが関連付けられている仮想オブジェクトＩＤを消去条件テーブルから選択する。より詳細には、これらのユーザＩＤが、仮想オブジェクトを配置して表示したユーザのユーザＩＤまたは消去条件に設定されたユーザのユーザＩＤのいずれかに一致するかを判定する。そして、一致したユーザＩＤに関連付けられている仮想オブジェクトＩＤを選択する。図１２の場合は、仮想オブジェクトＩＤ０００１と仮想オブジェクトＩＤ０００２とが該当する。なお、以下では仮想オブジェクトを配置して表示したユーザを表示ユーザと称し、表示ユーザのユーザＩＤを表示ユーザＩＤと称する。同様に、消去条件に設定されたユーザを消去条件ユーザと称し、消去条件ユーザのユーザＩＤを消去条件ユーザＩＤと称する。
【００５８】
ステップＳ１４０３において、消去条件設定部２０９は、選択された仮想オブジェクトＩＤに関連付けられている表示ユーザＩＤと消去条件ユーザＩＤとが異なるかどうかを判定する。仮想オブジェクトＩＤ０００１は、表示ユーザＩＤが０００１、消去条件ユーザＩＤが０００４なので異なる。従って、消去条件設定部２０９はステップＳ１４０４に処理を進める。ステップＳ１４０４において消去条件設定部２０９は、消去条件ユーザを再設定する。実施例１で説明したように、表示ユーザＩＤ０００１の会話相手を消去条件ユーザに設定するので、消去条件ユーザＩＤが０００２と０００４に再設定される。次に、ステップＳ１４０５において、消去条件設定部２０９は、各消去条件ユーザＩＤに対して消去距離を再算出して、距離が一番遠いものを新しい消去距離とする。図１３（ａ）の条件では、ユーザＩＤ０００２と仮想オブジェクト０００１との距離は√（（２５１６−３０００）２＋（２３１１−５２０）２＋（１５５０−１５００）２）≒１８５６ミリメートルとなる。ユーザＩＤ０００４と仮想オブジェクト０００１との距離は１６５０ミリメートルなので、距離の遠い１８５６ミリメートルに３メートルを加算して、４８５６ミリメートルとなる。距離の遠いユーザＩＤに関連付けられている距離を用いて新しい消去距離を設定することで、会話の規模に応じて適切な消去を行うことができる。図１５は、仮想オブジェクト０００１の消去条件を変更した消去条件テーブルを示す。
【００５９】
なお、ユーザＩＤ０００２によって識別されるユーザが表示した仮想オブジェクトＩＤ０００２に関しては、ステップＳ１４０３において表示ユーザと消去条件ユーザとが一致すると判定されるため、ステップＳ１４０４の再設定は行われない。また、ユーザＩＤ０００２によって識別されるユーザが移動しても消去距離に満たないので、仮想オブジェクト０００２はユーザＩＤ０００２の表示装置においては表示されたままとなる。
【００６０】
以上説明した実施例２によれば、会話途中で他のユーザが会話に参加することによって会話状況が変化しても適切に消去条件を設定し直すことができる。
【００６１】
（実施例３）
表示する仮想オブジェクトにはアクセス権が設定されることがある。アクセス権には、仮想オブジェクトを配置して表示のみ可能なＲｅａｄ、表示も編集も可能なＲｅａｄ／Ｗｒｉｔｅがある。さらに、他のユーザがＲｅａｄしている仮想オブジェクトを閲覧するだけのＬｏｏｋがある。例えば、ある部署Ｘに所属している人は仮想オブジェクトＯに対するＲｅａｄ権限がある場合を想定する。この場合、部署Ｘに所属している人は仮想オブジェクトＯを配置して表示できる。一方、それ以外の部署Ｙに所属している人はＲｅａｄ権限がないとする。この場合、部署Ｙに所属している人は仮想オブジェクトＯを配置できないし表示することもできない。そのような条件でも、部署Ｘの人がそれ以外の部署Ｙの人と仮想オブジェクトＯを閲覧しながら会話することはありうる。その場合、仮想オブジェクトＯに対するＬｏｏｋ権限を部署Ｙの人に付与する。この場合、仮想オブジェクトＯは部署Ｘの人が配置して表示でき、部署Ｙの人はその部署Ｘの人が配置して表示した仮想オブジェクトＯを閲覧するだけができる。このような状況下において、部署Ｘの人にとっては、元々Ｒｅａｄ権限の無い部署Ｙの人しかいない時に仮想オブジェクトＯを表示したままにするのはセキュリティ上都合が悪い。なぜならば、Ｌｏｏｋ権限ありの人だけでは、そもそもその仮想オブジェクトＯを表示する（すなわち、Ｒｅａｄする）ことは許されていないからである。したがって、部署Ｘの人が仮想オブジェクトＯから一定距離離れて、仮想オブジェクトＯの周りが部署Ｙの人だけになった場合、仮想オブジェクトＯを消去することが好ましい。実施例３では、そのような場合の消去処理について説明する。なお、仮想オブジェクトの権限については、仮想オブジェクト表示制御装置２００が管理する仮想オブジェクトデータに関連付けて記憶されているものとする。
【００６２】
時刻が２０１２年１２月１３日１３時０分０秒０の時点での自己位置方向管理テーブルを図１６（ａ）に示す。図１６（ａ）ではユーザＩＤ０００１〜０００４の４人が登録されている。また、同時点での会話管理テーブルを図１６（ｂ）に示す。図１６（ｂ）に示す通り、その時点ではユーザＩＤ０００１〜０００４の４人で会話中である。図１７は、図１６の示す状態においてユーザＩＤ０００１が仮想オブジェクトを表示したときの平面的な配置図を示す図である。また、ユーザＩＤ０００１と０００２は仮想オブジェクトのＲｅａｄ権限を有しているとする。また、ユーザＩＤ０００３と０００４は仮想オブジェクトのＲｅａｄ権限がなく、Ｌｏｏｋ権限のみを有しているとする。
【００６３】
図１８は、実施例３における消去条件設定処理のフローチャートを示す図である。図１８のフローチャートは、ＣＰＵ２０１の制御にしたがって、主に消去条件設定部２０９によって実行される。図１８のフローチャートは図１１のフローチャートとほぼ同様のため、同じ処理については同じ符号を付して説明は省略する。図１８のステップＳ１１０２において消去条件設定部２０９はユーザが会話中と判定した場合、ステップＳ１８０３に処理を進める。ステップＳ１８０３において消去条件設定部２０９は、仮想オブジェクトを表示した表示者と、Ｒｅａｄ権限のある会話相手とを消去条件ユーザに設定する。ステップＳ１８０３においてはＲｅａｄ権限のある会話相手のほかに仮想オブジェクトを表示した表示者が消去条件に含まれている。これは、Ｒｅａｄ権限のある人が仮想オブジェクトを表示したが、会話相手が全員Ｒｅａｄ権限が無い場合に対処するためである。すなわち、Ｒｅａｄ権限のある表示者が席を離れてＲｅａｄ権限のない人だけが残っている場合、仮想オブジェクトが消去されないことを避けるためである。
【００６４】
図１９は、図１６に示す状況において図１８のフローチャートの処理を行った結果作成された消去条件テーブルを示す図である。図１９において、消去条件ユーザには、会話相手で仮想オブジェクトのＲｅａｄ権限のあるユーザＩＤ０００２の他に、表示者であるユーザＩＤ０００１が設定されている。
【００６５】
以上により、アクセス権の設定された仮想オブジェクトに対しての消去条件が適切に設定できる。
【００６６】
また、上述した例に限定されるものではなく、要旨を逸脱しない範囲でさまざまに変形可能である。例えば、会話参加者の中で、仮想オブジェクトへのＲｅａｄ権限のあるユーザが表示者だけの時に、表示者が中座することはありうる。その場合、表示者が中座する前に、会話参加者に対して一時的にＲｅａｄ権限を与えて、表示者の中座中も仮想オブジェクトが見えるようにすることも可能である。このときには、会話参加者に対するＲｅａｄ権限は一時的であるので、表示者が戻ってきたとき、または一定時間が経過すると、Ｒｅａｄ権限は無くなるようにしても良い。
【００６７】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014203194.tif 000003
【図２】
2014203194.tif 000004
【図３】
2014203194.tif 000005
【図４】
2014203194.tif 000006
【図５】
2014203194.tif 000007
【図６】
2014203194.tif 000008
【図７】
2014203194.tif 000009
【図８】
2014203194.tif 000010
【図９】
2014203194.tif 000011
【図１０】
2014203194.tif 000012
【図１１】
2014203194.tif 000013
【図１２】
2014203194.tif 000014
【図１３】
2014203194.tif 000015
【図１４】
2014203194.tif 000016
【図１５】
2014203194.tif 000017
【図１６】
2014203194.tif 000018
【図１７】
2014203194.tif 000019
【図１８】
2014203194.tif 000020
【図１９】
2014203194.tif 000021