(57)【要約】      （修正有）【課題】複数の表示部において、オブジェクトを空間的にシームレスに表示させることにより、ユーザの視認性を向上させる。【解決手段】３Ｄサーバは、表示部の位置を示す表示部位置情報と、ユーザの視点の位置を示す視点位置情報とを、グローバル座標系における座標値にて記憶するとともに、オブジェクトの仮想的な位置を示すオブジェクト位置情報を上記座標値にて記憶する絶対座標系記憶部と、上記各位置情報に基づいて、視点から表示部のそれぞれに向かってオブジェクトを仮想的に投影する仮想投影処理部と、投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む特定表示部ごとに、上記記憶部に記憶されるオブジェクト位置情報および視点位置情報を、ローカル座標系における座標値に変換する。【選択図】図１
2009193471.tif 000002
【特許請求の範囲】
【請求項１】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示制御装置であって、
上記表示部それぞれの位置を示す表示部位置情報と、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて記憶するとともに、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報を上記座標値にて記憶するグローバル座標系記憶部と、
上記グローバル座標系記憶部に記憶される各位置情報に基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影手段と、
上記仮想投影手段により仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換手段と、
上記特定表示部ごとに上記座標系変換手段が変換した、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信手段とを備えていることを特徴とする表示制御装置。
【請求項２】
ユーザより入力部を介して入力された、オブジェクトの表示位置の移動を指示する移動指示信号から、上記グローバル座標系におけるオブジェクト位置情報の角度変化量を取得する移動量取得手段を備え、
上記仮想投影手段は、上記角度変化量に基づいて、上記オブジェクトのオブジェクト位置情報を更新し、更新後のオブジェクト位置情報を用いて上記オブジェクトを仮想的に投影することを特徴とする請求項１に記載の表示制御装置。
【請求項３】
上記移動指示信号は、上記表示処理装置に対して入力された、該表示処理装置が制御する表示部の所定の位置を原点とする２次元の画面座標系における座標値で表される移動量であって、
上記移動量取得手段は、
上記グローバル座標系において、上記視点を中心とする、所定の半径の仮想球を定義し、
上記視点から移動前のオブジェクトに延びる第１ベクトルと上記仮想球面との交点を始点として、上記始点から、上記仮想球面の緯度方向および経度方向に、上記移動量分移動した位置を終点として求め、
上記視点から上記終点に延びる第２ベクトルを定義し、
上記第１ベクトルと上記第２ベクトルとの角度差を上記角度変化量として取得することを特徴とする請求項２に記載の表示制御装置。
【請求項４】
上記オブジェクトは面であり、上記オブジェクト位置情報は、該面に含まれる所定の点である仮想アンカーの座標値を示すものであり、
上記仮想投影手段は、
上記グローバル座標系における上記視点と、上記仮想アンカーと結ぶベクトルに対して垂直であって、該仮想アンカーを含む仮想面を定義し、上記仮想面上に、上記オブジェクトを定義し、
上記座標系変換手段は、
上記仮想投影手段によって、上記グローバル座標系において上記仮想面上に定義されたオブジェクトの座標値を、上記特定表示部ごとに、上記ローカル座標系において定義するための座標値に変換することを特徴とする請求項１から３までのいずれか１項に記載の表示制御装置。
【請求項５】
ユーザの視点の位置を動的に検知するセンサから、視点位置情報を取得する視点位置情報取得手段を備え、
上記仮想投影手段は、上記グローバル座標系において、上記視点位置情報取得手段が取得した視点位置情報に基づいて更新された視点と、表示部上に仮想的に投影されているオブジェクトの投影アンカーとを結ぶベクトルを求め、該ベクトル上に、上記オブジェクトの仮想的な位置を決めるための仮想アンカーが含まれるように、該仮想アンカーのオブジェクト位置情報を更新することを特徴とする請求項４に記載の表示制御装置。
【請求項６】
表示部の位置を動的に検知するセンサから、表示部位置情報を取得する表示部位置情報取得手段を備え、
上記グローバル座標系記憶部には、上記オブジェクトと上記表示部との対応関係が記憶されており、
上記仮想投影手段は、
上記表示部位置情報取得手段が取得した上記表示部位置情報に基づいて位置情報が更新された表示部に対して、投影されているオブジェクトまたは該オブジェクトのアンカーが対応付けられている場合に、上記表示部位置情報の更新に伴って、上記オブジェクトの仮想アンカーの位置を示すオブジェクト位置情報を更新することを特徴とする請求項４または５に記載の表示制御装置。
【請求項７】
上記グローバル座標系記憶部には、複数のユーザの視点位置情報がユーザごとに記憶されるとともに、上記オブジェクトと上記視点との対応関係が記憶されており、
上記仮想投影手段は、
上記オブジェクトに対応する視点の視点位置情報が更新された場合に、更新された視点位置情報に合わせて、上記オブジェクトのオブジェクト位置情報を更新することを特徴とする請求項５に記載の表示制御装置。
【請求項８】
上記マルチディスプレイシステムは、アプリケーションを実行するアプリケーションサーバを含み、
上記グローバル座標系記憶部には、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウの位置を示す、オブジェクト位置情報が記憶されていることを特徴とする請求項１から７までのいずれか１項に記載の表示制御装置。
【請求項９】
上記グローバル座標系記憶部には、上記ウィンドウを操作するためのポインタカーソルの位置を示す、オブジェクト位置情報が記憶されていることを特徴とする請求項８に記載の表示制御装置。
【請求項１０】
ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号に応じて、上記グローバル座標系における、上記ポインタカーソルの面に含まれる所定の点である仮想アンカーのオブジェクト位置情報を取得する選択位置取得手段と、
上記仮想投影手段によって求められた、
（１）上記グローバル座標系における上記視点から上記選択位置取得手段が取得したオブジェクト位置情報によって特定されたポインタカーソルの仮想アンカーに延びるベクトルと、
（２）所定の仮想面に定義されている上記ウィンドウと、
の交点の上記グローバル座標系における座標値を、
上記アプリケーションサーバが識別可能な、上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換する画面座標変換手段とを備え、
上記送信手段は、
上記選択指示信号発生の通知とともに、上記画面座標変換手段が変換した上記２次元の画面座標系における座標値を上記アプリケーションサーバに送信することを特徴とする請求項９に記載の表示制御装置。
【請求項１１】
上記アプリケーションサーバによるアプリケーション実行結果を示すウィンドウが表示されている、上記アプリケーションサーバの画面に対応する画像データが上記表示処理装置に記憶されており、
上記グローバル座標系記憶部には、上記ウィンドウと、該ウィンドウ内に表示すべき領域を上記画像データから特定する領域特定情報とが対応付けて記憶されており、
上記送信手段は、上記ローカル座標系におけるウィンドウのオブジェクト位置情報および視点位置情報とともに、該ウィンドウ内に表示すべき上記画像データの領域を特定する領域特定情報を、上記表示処理装置に送信することを特徴とする請求項８から１０までのいずれか１項に記載の表示制御装置。
【請求項１２】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置であって、
２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得手段と、
上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、
自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得手段と、
上記ローカル座標系における各位置情報に基づいて、上記視点から自装置の表示部に向かって上記オブジェクトを投影し、該表示部に描画する描画手段とを備えていることを特徴とする表示処理装置。
【請求項１３】
上記マルチディスプレイシステムは、アプリケーションを実行するアプリケーションサーバを含み、
上記オブジェクト取得手段は、上記アプリケーションサーバによるアプリケーション実行結果を示すウィンドウが表示されている、上記アプリケーションサーバの画面に対応する画像データを取得し、
上記相対座標取得手段は、上記ローカル座標系におけるウィンドウのオブジェクト位置情報および視点位置情報とともに、該ウィンドウ内に表示すべき上記画像データの領域を特定する領域特定情報を取得し、
上記描画手段は、上記画像データから取得した上記領域特定情報によって特定された領域を含む上記ウィンドウを、各位置情報に基づいて投影し、上記表示部に描画することを特徴とする請求項１２に記載の表示処理装置。
【請求項１４】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバであって、
上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、
アプリケーションを実行する実行手段と、
上記実行手段が実行した実行結果を示すウィンドウが表示されたアプリケーションサーバの画面を画像データとして出力する実行結果出力手段と、
上記画像データを上記複数の表示処理装置に配信する画像配信手段とを備え、
上記実行手段は、
上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、
（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、
（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報と
にしたがって、アプリケーションを実行することを特徴とするアプリケーションサーバ。
【請求項１５】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムにおける表示制御方法であって、
所定の位置を原点とする３次元のグローバル座標系における座標値にて、グローバル座標系記憶部に記憶されている、
（１）上記表示部それぞれの位置を示す表示部位置情報と、
（２）上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、
（３）上記オブジェクトの仮想的な位置を示すオブジェクト位置情報と
に基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影ステップと、
上記複数の表示部のうち、上記仮想投影ステップにより仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む表示部を特定する表示部特定ステップと、
上記表示部特定ステップにより特定された特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換ステップと、
上記特定表示部ごとに上記座標系変換ステップにより変換された、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信ステップとを含むことを特徴とする表示制御方法。
【請求項１６】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置における表示処理方法であって、
２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得ステップと、
上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、
自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得ステップと、
上記相対座標取得ステップにより取得した上記ローカル座標系における各位置情報に基づいて、上記オブジェクト取得ステップにより取得した上記オブジェクトを、上記視点から自装置の表示部に向かって投影し、該表示部に描画する描画ステップとを含むことを特徴とする表示処理方法。
【請求項１７】
複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバのアプリケーション実行方法であって、
上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、
アプリケーションを実行する実行ステップと、
上記実行ステップにより実行された実行結果を示すウィンドウが表示された上記アプリケーションサーバの画面を画像データとして出力する実行結果出力ステップと、
上記画像データを上記複数の表示処理装置に配信する画像配信ステップとを含み、
上記実行ステップは、
上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、
（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、
（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報と
にしたがって実行されることを特徴とするアプリケーション実行方法。
【請求項１８】
コンピュータを、請求項１から１１までのいずれか１項に記載の表示制御装置、または、請求項１２または１３に記載の表示処理装置、または、請求項１４に記載のアプリケーションサーバの各手段として機能させるための制御プログラム。
【請求項１９】
請求項１８に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示処理装置、アプリケーションサーバ、表示制御方法、表示処理方法、アプリケーション実行方法、制御プログラム、および、記録媒体に関するものである。
【背景技術】
【０００２】
近年、コンピュータで扱う情報量の増加やディスプレイの低価格化に伴って、大型のディスプレイを含め、複数のディスプレイを同時に利用することが容易に行えるようになってきた。例えば、会議室などに、卓上型や壁掛け型の大画面ディスプレイを設置し、これらとノートパソコンやＰＤＡ（personal digital assistant）などの小型ディスプレイとを併用して会議を行ったり、協調作業を行ったりするマルチディスプレイシステムが実現可能になってきている。より具体的には、上述のようなマルチディスプレイシステムでは、複数のディスプレイをまたいで１つの情報（オブジェクト）を表示することができ、複数のコンピュータ（またはユーザ）が当該１つのオブジェクトを共有し、該オブジェクトに対して協調して作業を実行することができる。複数のディスプレイにおけるこのようなユースケースは今後ますます増加すると考えられる。
【０００３】
従来、複数のディスプレイにまたがって１つのオブジェクトを表示させることが行われている。例えば非特許文献１の技術では、各ディスプレイを制御する複数のコンピュータ間において、ネットワークを介して描画命令を転送することで、アレイ状に並べたディスプレイを１つの巨大なディスプレイとして動作させることができる。これにより、１つのオブジェクトを複数のディスプレイにまたがって自由に移動させて表示することができる。
【０００４】
しかしながら、非特許文献１の技術では、各ディスプレイは、２次元的にアレイ状に設置されている必要があるため、非特許文献１の技術は、上述したように複数のディスプレイがさまざまな方向でさまざまな位置に設置されているようなユースケースには適用できない。上記ユースケースでは、さまざまな方向、さまざまな位置に設置されている複数のディスプレイであっても、各ディスプレイ間にて、オブジェクトを自由に移動させて表示し、ユーザに空間的な違和感を感じさせないように、直感的にオブジェクトを視認させることが望まれる。
【０００５】
そこで、非特許文献２の技術では、各ディスプレイ間の３次元空間的な位置関係、および、ディスプレイの各々におけるオブジェクトの表示位置を考慮して、各ディスプレイ間でオブジェクトを自由に移動させて表示している。これにより、ユーザに空間的かつ直感的にオブジェクト視認させることを可能にしている。
【非特許文献１】ＤＭＸ  Ｈｏｍｅ  Ｐａｇｅ［平成２０年２月１日検索］、インターネット＜ＵＲＬ：http://dmx.sourceforge.net/＞
【非特許文献２】Jun Rekimoto, Masanori SaitohAugmented surfaces: A Spatially Continuous Work Space for Hybrid Computing EnvironmentsProc. of SIGCHI, pp.378-385, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献２の技術では、オブジェクトが複数のディスプレイ間にて表示される場合に、ユーザが感覚的に把握している当該オブジェクトの見かけの空間位置と、実際に各ディスプレイに表示されているオブジェクトから見える空間位置との間にずれが生じ、ユーザの見た目に違和感を与えるという問題がある。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、オブジェクトが複数のディスプレイをまたいで表示される場合でも、該オブジェクトを空間的にシームレスに表示させることにより、ユーザの視認性を向上させることが可能な、表示制御装置、表示処理装置、アプリケーションサーバ、表示制御方法、表示処理方法、アプリケーション実行方法、制御プログラム、および、記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明の表示制御装置は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示制御装置であって、上記表示部それぞれの位置を示す表示部位置情報と、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて記憶するとともに、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報を上記座標値にて記憶するグローバル座標系記憶部と、上記グローバル座標系記憶部に記憶される各位置情報に基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影手段と、上記仮想投影手段により仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換手段と、上記特定表示部ごとに上記座標系変換手段が変換した、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信手段とを備えていることを特徴としている。
【０００９】
上記構成によれば、表示制御装置は、グローバル座標系記憶部において、表示部位置情報、視点位置情報、および、オブジェクト位置情報を、グローバル座標系における座標値（例えば、Ｘ、Ｙ、Ｚ座標値）にて記憶している。これにより、表示制御装置は、マルチディスプレイシステムに含まれるすべての表示部の位置と、ユーザの視点の位置とをグローバル座標系において空間的に把握することに加えて、表示対象物であるオブジェクトの仮想的な位置を、上記表示部および視点を管理する空間と同じ空間（グローバル座標系）にて、一元的に管理することが可能となる。
【００１０】
具体例を挙げて説明すると、表示制御装置は、図２に示す、ユーザＵの視点Ｖ、第１表示部１１、第２表示部１２および第３表示部１３の空間的な位置関係と、オブジェクトＯの仮想的な位置とを統合して把握することができる。
【００１１】
そして、表示制御装置は、グローバル座標系記憶部に記憶されている上述の各位置情報を用いて、各表示部を制御する表示処理装置に送信する各種情報を生成する。表示制御装置が送信する情報は、表示処理装置が上記オブジェクトを表示する際に必要となる情報である。より具体的には、上記オブジェクトがグローバル座標系記憶部にて管理されている仮想的な位置に存在するかのようにユーザの目から見えるように、表示処理装置が、当該オブジェクトを表示するために必要となる情報である。
【００１２】
まず、上記仮想投影手段は、上記各エンティティ（視点、表示部、オブジェクト）の各位置情報を用いて、グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する。図２を用いて具体的に説明すると、仮想的な位置にあるオブジェクトＯを、視点Ｖから、第２表示部１２および第３表示部１３に向かって仮想的に投影し、投影オブジェクトＯ２および投影オブジェクトＯ３を求める。
【００１３】
この仮想的な投影の結果、投影オブジェクトがその表示領域にかかっている表示部（図２の例で、オブジェクトＯが投影された場合は、第２表示部１２および第３表示部１３）は、当該オブジェクトを表示する処理が必要な表示部であると特定される。すなわち、図２に示す例では、第２表示部１２および第３表示部１３が特定表示部として扱われる。
【００１４】
ここで、実際に、上記各特定表示部に投影オブジェクトＯ２および投影オブジェクトＯ３が投影され、描画されるためには、各特定表示部を制御する各表示処理装置が、自装置が制御する表示部の位置と、オブジェクトＯの仮想的な位置と、視点Ｖの位置とを把握する必要がある。
【００１５】
そこで、上記座標系変換手段は、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する。座標系変換手段は、これを、特定表示部ごとに行う。
【００１６】
そして最後に、上記送信手段は、変換された座標値を上記特定表示部を制御する表示処理装置に送信する。
【００１７】
図２に示す例を用いて具体的に説明すると、特定表示部は、第２表示部１２および第３表示部１３の２つある。そこで、まず、座標系変換手段は、オブジェクト位置情報および視点位置情報を、グローバル座標系における座標値から、第２表示部１２の左上端を原点とするローカル座標系（相対座標系Ｄ２）における座標値に変換する。送信手段は、この変換された座標値を、第２表示部１２を制御するデスクトップパソコン２に送信する。次に、座標系変換手段は、オブジェクト位置情報および視点位置情報を、グローバル座標系における座標値から、第３表示部１３の左上端を原点とするローカル座標系（相対座標系Ｄ３）における座標値に変換する。送信手段は、この変換された座標値を、第３表示部１３を制御するノートパソコン３に送信する。
【００１８】
これにより、表示処理装置としてのデスクトップパソコン２およびノートパソコン３は、自装置が制御する表示部と、ユーザＵの視点ＶおよびオブジェクトＯとの位置関係を把握して、適切に投影処理および描画処理を実行することが可能になる。結果として、オブジェクトが、複数の表示部に表示される場合でも、その各々の表示部を制御する表示処理装置が、ユーザＵの視点Ｖの位置を考慮して、それぞれ投影・描画処理を行うこととなり、ユーザが感覚的に把握している当該オブジェクトの見かけの空間位置と、実際に各表示部に表示されているオブジェクトから見える空間位置との間のずれを解消し、ユーザの視認性を向上させることが可能になるという効果を奏する。
【００１９】
さらに、表示制御装置が上記変換を行う構成によれば、マルチディスプレイシステムを構成する各表示処理装置の構成を簡素化することが可能である。マルチディスプレイシステムにおいては、複数の表示処理装置を設けるユースケースが考えられるので、多数の表示処理装置の構成を簡素化することにより、マルチディスプレイシステム全体の構成を簡素化することが可能であるというメリットがある。
【００２０】
しかし、本発明のマルチディスプレイシステムにおいては、表示制御装置が、各エンティティの位置情報をグローバル座標系における座標値のまま各表示処理装置に送信し、各表示処理装置がグローバル座標系からローカル座標系への変換を行う構成も可能である。このようにすれば、表示制御装置の構成を簡素化し、表示制御装置の処理効率を向上させるメリットがある。
【００２１】
さらに上記表示制御装置は、ユーザより入力部を介して入力された、オブジェクトの表示位置の移動を指示する移動指示信号から、上記グローバル座標系におけるオブジェクト位置情報の角度変化量を取得する移動量取得手段を備え、上記仮想投影手段は、上記角度変化量に基づいて、上記オブジェクトのオブジェクト位置情報を更新し、更新後のオブジェクト位置情報を用いて上記オブジェクトを仮想的に投影してもよい。
【００２２】
上記構成によれば、マルチディスプレイシステムに対して、上記入力部をユーザが操作することによって、オブジェクトの表示位置の移動を指示する移動指示信号が入力されると、上記移動量取得手段は、上記グローバル座標系におけるオブジェクト位置情報の角度変化量を取得する。すなわち、上記移動指示信号にしたがって、上記グローバル座標系において仮想的に位置するオブジェクトをどこからどこへ移動させればよいのかを、移動量取得手段が把握する。そして、移動量取得手段が求めた角度変化量に基づいて、仮想投影手段は、オブジェクト位置情報を更新し、更新されたオブジェクト位置情報に基づいて、仮想的に投影しなおす。
【００２３】
これにより、ユーザの操作によって、オブジェクトが動かされても、移動後のオブジェクトの仮想的な位置に基づいて、再び仮想的な投影処理が実行される。そして、描画が必要な特定表示部の画像処理装置に対して、各エンティティのローカル座標系における位置情報が供給される。
【００２４】
したがって、オブジェクトの移動が指示された場合でも、ユーザが感覚的に把握している当該オブジェクトの見かけの空間位置と、実際に各表示部に表示されているオブジェクトから見える空間位置との間のずれを解消し、複数の表示部においてオブジェクトを空間的にシームレスに移動させて表示することが可能となる。
【００２５】
上述した従来の技術では、オブジェクトの映像の切り換わり、すなわち、継ぎ目（seam）が生じ、オブジェクトを空間的にシームレスに移動させることができないという問題があった。より詳細には、オブジェクトと各ディスプレイとの位置関係が統合的に考慮されていないために、オブジェクトが表示されるディスプレイが変わる度に、そのディスプレイとオブジェクトとの位置関係が見直され、そのディスプレイ向けに上記オブジェクトを表示するための映像への切り換えが必要となる。よって、オブジェクトがディスプレイをまたいで移動する時（または、その前後）に映像に継ぎ目が生じ、オブジェクトがスムーズに表示されず、ユーザが該オブジェクトを視認する際にストレスを与えてしまう。
【００２６】
しかし、上記構成によれば、複数の表示部においてオブジェクトを空間的にシームレスに移動させて表示することが可能となり、ユーザの視認性を向上させることが可能になるという効果を奏する。
【００２７】
なお、上記移動指示信号は、上記表示処理装置に対して入力された、該表示処理装置が制御する表示部の所定の位置を原点とする２次元の画面座標系における座標値で表される移動量であって、上記移動量取得手段は、上記グローバル座標系において、上記視点を中心とする、所定の半径の仮想球を定義し、上記視点から移動前のオブジェクトに延びる第１ベクトルと上記仮想球面との交点を始点として、上記始点から、上記仮想球面の緯度方向および経度方向に、上記移動量分移動した位置を終点として求め、上記視点から上記終点に延びる第２ベクトルを定義し、上記第１ベクトルと上記第２ベクトルとの角度差を上記角度変化量として取得してもよい。
【００２８】
上記構成によれば、移動量取得手段は、表示処理装置に対して入力された２次元の移動量を、上記グローバル座標系にて定義した仮想球を用いて、３次元の角度変化量に変換することにより角度変化量を取得している。
【００２９】
具体例を用いて説明する。表示制御装置が、表示処理装置より上記移動量（Ｃｘ、Ｃｙ）を取得すると、移動量取得手段は、図７に示すとおり、グローバル座標系（絶対座標系Ｇ）において、視点Ｖを中心とした半径ｒの仮想球（仮想球４０３）を定義する。この半径ｒは、あらかじめ固定値として表示制御装置に記憶されているものである。そして、上記視点Ｖから移動前のオブジェクト（矢印図形４００）に延びる第１ベクトル（方向ベクトル４０２）と上記仮想球面との交点を始点（始点Ｓ）として求める。
【００３０】
次に、移動量取得手段は、上記始点Ｓを、仮想球面に沿って、仮想球の緯度方向および経度方向に移動量（Ｃｘ、Ｃｙ）分動かして、終点を求める。そして、視点Ｖから上記終点に延びる第２ベクトルを定義して、上記第１ベクトルと上記第２ベクトルとの角度差を上記角度変化量として取得する。
【００３１】
本発明の表示制御装置は、上述のとおり、オブジェクトの位置をグローバル座標系において空間的に把握しているため、オブジェクトの表示位置を移動させる指示を入力するには、Ｘ、Ｙ、Ｚの座標値を指定する必要がある。このため、マウスなどの従来の入力部（２次元での移動量を入力することができる入力部）を用いることができない。従来の入力を用いようとすれば、奥行きの移動量を別途操作して入力することを強いられるので、ユーザが認識する空間の感覚に沿った形で直感的にオブジェクトの移動を指示できないばかりか、余分な入力動作を強いられ操作が繁雑になる。
【００３２】
上記構成によれば、上記移動量取得手段が、入力部から入力される２次元の移動量を、グローバル座標系における３次元の角度変化量に変換することができるので、本発明のマルチディスプレイシステム向けに別途入力部を構成する必要がなく、従来の入力部（マウスや十字キーなど）を用いて、ユーザがオブジェクトの移動を直感的に指示できるユーザインターフェースを実現することが可能となる。
【００３３】
なお、上記仮想球の半径ｒは、オブジェクトが複数ある場合には、オブジェクトに対応付けてオブジェクトごとに半径ｒが定められていてもよい。また、半径ｒは、ユーザが任意に設定できる構成でも構わない。
【００３４】
さらに、上記オブジェクトは面であり、上記オブジェクト位置情報は、該面に含まれる所定の点である仮想アンカーの座標値を示すものであり、上記仮想投影手段は、上記グローバル座標系における上記視点と、上記仮想アンカーと結ぶベクトルに対して垂直であって、該仮想アンカーを含む仮想面を定義し、上記仮想面上に、上記オブジェクトを定義し、上記座標系変換手段は、上記仮想投影手段によって、上記グローバル座標系において上記仮想面上に定義されたオブジェクトの座標値を、上記特定表示部ごとに、上記ローカル座標系において定義するための座標値に変換してもよい。
【００３５】
上記構成によれば、マルチディスプレイシステムの各装置において扱われるオブジェクトは、画像や図形などの２次元のデータである。具体例を挙げると、例えば、図４に示す矢印図形４００などがオブジェクトに含まれる。上記オブジェクト位置情報は、オブジェクトをなす面のうちの１点の座標値を示す。オブジェクト位置情報が示す点をアンカーと称する。図４に示す例では、矢印図形４００のオブジェクト位置情報として、仮想アンカー４０１のグローバル座標系における座標値が管理される。なお、グローバル座標系の仮想空間上に仮想的に定義されているオブジェクトのアンカーのことを特に仮想アンカーと称する。
【００３６】
上述のように面であるオブジェクトを、上記仮想投影手段が、どの位置にどの向きで、グローバル座標系において仮想的に定義するのかについては、図１１を参照して説明すると以下のとおりである（なお、図１１の具体例は、発明を限定する意図はない）。すなわち、仮想投影手段は、上記グローバル座標系における視点Ｖと、オブジェクト（矢印図形４００）の仮想アンカー４０１と結ぶベクトル（方向ベクトル４０２）に対して垂直であって、該仮想アンカー４０１を含む仮想面を定義し、上記仮想面上に、上記仮想アンカー４０１を基準にして図４に示す矢印図形４００を定義する。
【００３７】
そして、上記座標系変換手段は、上記グローバル座標系において上記仮想面上に定義されたオブジェクトの座標値を、上記特定表示部ごとに、上記ローカル座標系において定義するための座標値に変換する。ここで、変換されるオブジェクトの座標値が何を指すかは特に限定されない。２次元のオブジェクトを定義するのに必要な情報がすべて座標値として変換される。
【００３８】
例えば、図４に示す矢印図形４００の場合は、図形が有する頂点のすべての座標値（グローバル座標系にて定義された座標値）をローカル座標系に変換する構成でもよい。例えば、オブジェクトが円であれば、グローバル座標系における中心点の座標値および半径の長さが、ローカル座標系における座標値に変換される構成でもよい。
【００３９】
上記座標系変換手段が変換した座標値は、送信手段によって、各特定表示部を制御する各表示処理装置に送信される。
【００４０】
以上のように、面を持つオブジェクトにおいて、その面の仮想的な向きは、ユーザの視点の位置を考慮して、常に、視点からオブジェクトのアンカーに延びるベクトルに対して垂直な面と平行に維持される。
【００４１】
したがって、そのような向きに定義されているオブジェクトが視点を考慮して投影され、描画されるので、オブジェクトは、常に、ユーザの視点に正対して、各表示処理装置の表示部に表示される。結果として、ユーザは、各表示部に表示されたオブジェクトを正面にとらえることが可能となり、ユーザの視認性を向上させることが可能となる。
【００４２】
さらに、上記表示制御装置は、ユーザの視点の位置を動的に検知するセンサから、視点位置情報を取得する視点位置情報取得手段を備え、上記仮想投影手段は、上記グローバル座標系において、上記視点位置情報取得手段が取得した視点位置情報に基づいて更新された視点と、表示部上に仮想的に投影されているオブジェクトの投影された投影アンカーとを結ぶベクトルを求め、該ベクトル上に、上記オブジェクトの仮想的な位置を決めるための仮想アンカーが含まれるように、該仮想アンカーのオブジェクト位置情報を更新してもよい。
【００４３】
上記構成によれば、視点位置情報取得手段は、上記センサから視点位置情報を動的に取得するので、表示制御装置は、ユーザの視点の位置の変化を動的に把握することが可能となる。そして、表示制御装置のグローバル座標系記憶部にて記憶されるユーザの視点位置情報が常に最新の状態に維持される。上記仮想投影手段は、ユーザの視点の位置が変化すると、その視点の変化に合わせて面のオブジェクトを表示する向きを変化させる。図１５を参照して説明すると以下のとおりである（なお、図１５の具体例は、発明を限定する意図はない）。
【００４４】
上記仮想投影手段は、グローバル座標系（絶対座標系Ｇ）において、更新された視点Ｖ２（視点Ｖ１から視点Ｖ２に更新された）と、現在表示部（第２表示部１２）上に仮想的に投影されている投影オブジェクトのアンカー（投影アンカー５０１）とを結ぶベクトルを求める。
【００４５】
そして、そのベクトル上に、オブジェクトＯの仮想的な位置を決めるための仮想アンカー４０１’がくるように、該仮想アンカーのオブジェクト位置情報を更新する。図１５に示す例では、オブジェクトＯの仮想アンカーを、４０１の位置から４０１’の位置へと、視点の変化に合わせて更新する。
【００４６】
オブジェクトＯの位置情報が更新されると、既述のとおり、仮想投影手段は、新しい視点位置と、新しいオブジェクト位置とから、オブジェクトを定義するための仮想面を求める。そして、更新後の視点の位置に正対してオブジェクトが表示されるように、オブジェクトの座標値が求められ、ローカル座標系に変換されて、各表示処理装置に送信される。
【００４７】
各表示処理装置は、更新されたローカル座標系の座標値に基づいて、オブジェクトＯを投影し描画する。
【００４８】
以上のことから、ユーザが動いても、その動きに合わせて、常に、ユーザの視点に正対して、オブジェクトを表示することが可能となる。
【００４９】
表示部の位置を動的に検知するセンサから、表示部位置情報を取得する表示部位置情報取得手段を備え、上記グローバル座標系記憶部には、上記オブジェクトと上記表示部との対応関係が記憶されており、上記仮想投影手段は、上記表示部位置情報取得手段が取得した上記表示部位置情報に基づいて位置情報が更新された表示部に対して、投影されているオブジェクトまたは該オブジェクトのアンカーが対応付けられている場合に、上記表示部位置情報の更新に伴って、上記オブジェクトの仮想アンカーの位置を示すオブジェクト位置情報を更新してもよい。
【００５０】
上記構成によれば、表示部位置情報取得手段は、上記センサから表示部位置情報を動的に取得するので、表示制御装置は、可動の表示部の位置の変化を動的に把握することが可能となる。そして、表示制御装置のグローバル座標系記憶部にて記憶される表示部位置情報が常に最新の状態に維持される。上記仮想投影手段は、表示部の位置が変化すると、その変化に合わせて、各表示部に仮想的に投影されるオブジェクトの投影結果を変化させる。図１６を参照して説明すると以下のとおりである（なお、図１６の具体例は、発明を限定する意図はない）。
【００５１】
グローバル座標系記憶部に記憶されているオブジェクトごとに、該オブジェクトのアンカーがどの表示部に固定されているのかを示す、オブジェクト（または、オブジェクトのアンカー）と表示部との対応関係を示す情報が記憶されている。
【００５２】
上記仮想投影手段は、グローバル座標系（絶対座標系Ｇ）において、表示部位置情報が更新されると（例えば、１３ａの位置から１３ｂの位置に第３表示部１３が移動すると）、上記対応関係を参照し、位置情報が更新された表示部（図１６に示す例では第３表示部１３）に対して、投影されたオブジェクトのアンカー（投影アンカー５０１）が固定されているか否かを判定する。そして、表示部にアンカーが固定されていると判定した場合には、表示部が移動したことに伴って、オブジェクトのアンカーの仮想的な位置を更新する（４０１から４０１’へ）。
【００５３】
これにより、オブジェクトの位置情報が更新されると、既述のとおり、仮想投影手段は、視点Ｖと、新しいオブジェクト位置情報とから、面のオブジェクトを定義するための仮想面を求める。そして、移動後の各表示部上に、視点の位置に正対して正しく更新後のオブジェクトが表示されるように、オブジェクトの座標値が求められ、ローカル座標系に変換されて、各表示処理装置に送信される。
【００５４】
各表示処理装置は、更新されたローカル座標系の座標値に基づいて、オブジェクトＯを投影し描画する。
【００５５】
以上のことから、表示部が動いた場合に、その表示部にオブジェクトのアンカーが固定されている場合には、表示部の動きに合わせて、常に、ユーザの視点に正対して、オブジェクトを表示することが可能となる。
【００５６】
なお、表示部の移動に伴うオブジェクト位置情報の更新方法の一例として、以下のものが挙げられる。
【００５７】
図１６に示す例では、第３表示部１３が、１３ａの位置から１３ｂの位置に移動すると、仮想投影手段は、投影アンカーの位置を、５０１から５０１’の位置に更新する。そして、新しい投影アンカー５０１’の位置および新しい第３表示部１３の位置が求まると、仮想投影手段は、視点Ｖから新しい投影アンカー５０１’へと延びる方向ベクトルを求め、このベクトル上に、オブジェクトの仮想的な新しいオブジェクトの位置、すなわち、仮想アンカー４０１’を求める。そして、上記ベクトルと新しい仮想アンカー４０１’とを用いて、記述のとおり同様の方法で、オブジェクトの座標値が求められ、ローカル座標系に変換されて、各表示処理装置に送信される。
【００５８】
上記グローバル座標系記憶部には、複数のユーザの視点位置情報がユーザごとに記憶されるとともに、上記オブジェクトと上記視点との対応関係が記憶されており、上記仮想投影手段は、上記オブジェクトに対応する視点の視点位置情報が更新された場合に、更新された視点位置情報に合わせて、上記オブジェクトのオブジェクト位置情報を更新することが好ましい。
【００５９】
上記構成によれば、マルチディスプレイシステムを利用するユーザが複数いても、オブジェクトの位置および向きをどのユーザの視点に合わせればよいのかを、上記グローバル座標系記憶部に記憶されている対応関係を参照して、仮想投影手段が知ることができる。
【００６０】
よって、オブジェクトに対応付けられたユーザの視点を考慮して、当該オブジェクトを上記ユーザに正対して表示させることが可能となる。
【００６１】
上記マルチディスプレイシステムは、アプリケーションを実行するアプリケーションサーバを含み、上記グローバル座標系記憶部には、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウの位置を示す、オブジェクト位置情報が記憶されていてもよい。
【００６２】
上記構成によれば、マルチディスプレイシステムにおいて、アプリケーションを実行した結果を表示するためのウィンドウが表示対象のオブジェクトとして扱われる。
【００６３】
すなわち、アプリケーションのウィンドウを、複数の表示部に空間的にシームレスに表示し、あるいは、ユーザに正対して表示することが可能となり、より実用的なマルチディスプレイシステムを構築することが可能となる。
【００６４】
さらに、アプリケーションの実行を、表示制御装置とは異なるアプリケーションサーバに担当させることにより、負荷を分散させることが可能となり、マルチディスプレイシステム全体の処理効率を向上させることができる。
【００６５】
上記グローバル座標系記憶部には、上記ウィンドウを操作するためのポインタカーソルの位置を示す、オブジェクト位置情報が記憶されていてもよい。
【００６６】
上記構成によれば、マルチディスプレイシステムにおいて、上記ウィンドウを操作するためのポインタカーソルが、オブジェクトとして扱われる。ポインタカーソルを、複数の表示部に空間的にシームレスに表示し、あるいは、ユーザに正対して表示することが可能となる。ユーザがウィンドウを容易に操作するためのユーザインターフェースを、マルチディスプレイシステムにおいて実現することが可能となる。
【００６７】
ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号に応じて、上記グローバル座標系における、上記ポインタカーソルの面に含まれる所定の点である仮想アンカーのオブジェクト位置情報を取得する選択位置取得手段と、上記仮想投影手段によって求められた、（１）上記グローバル座標系における上記視点から上記選択位置取得手段が取得したオブジェクト位置情報によって特定されたポインタカーソルの仮想アンカーに延びるベクトルと、（２）所定の仮想面に定義されている上記ウィンドウと、の交点の上記グローバル座標系における座標値を、上記アプリケーションサーバが識別可能な、上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系ｓにおける座標値に変換する画面座標変換手段とを備え、上記送信手段は、上記選択指示信号発生の通知とともに、上記画面座標変換手段が変換した上記２次元の画面座標系における座標値を上記アプリケーションサーバに送信してもよい。
【００６８】
上記構成によれば、ポインタカーソルに対してなされたユーザの選択操作（例えば、マウスのクリック操作など）によって発生した選択指示信号から、選択位置取得手段は、該ポインタカーソルのオブジェクト位置情報を取得する。より具体的には、上記グローバル座標系における、上記ポインタカーソルの面に含まれる所定の点であるアンカーのオブジェクト位置情報を取得する。
【００６９】
続いて、上記画面座標変換手段は、操作されたポインタカーソルが、操作された時点でユーザの目から見てウィンドウ上にある状態であった場合に、ウィンドウのどの位置でポインタカーソルが選択（クリック）されたのかを算出する。算出される位置の情報は、上記ウィンドウのアプリケーションを実際に実行するアプリケーションサーバが認識できるように、アプリケーションサーバの画面座標系における座標値として算出される。
【００７０】
これにより、表示制御装置は、ユーザによって操作された各オブジェクトの位置情報を、自装置が管理する絶対座標系Ｇから、アプリケーションサーバが管理する画面座標系の座標値に変換して、ユーザの命令をアプリケーションサーバに伝達することが可能となる。
【００７１】
上記アプリケーションサーバによるアプリケーション実行結果を示すウィンドウが表示されている、上記アプリケーションサーバの画面に対応する画像データが上記表示処理装置に記憶されており、上記グローバル座標系記憶部には、上記ウィンドウと、該ウィンドウ内に表示すべき領域を上記画像データから特定する領域特定情報とが対応付けて記憶されており、上記送信手段は、上記ローカル座標系におけるウィンドウのオブジェクト位置情報および視点位置情報とともに、該ウィンドウ内に表示すべき上記画像データの領域を特定する領域特定情報を、上記表示処理装置に送信してもよい。
【００７２】
上記構成によれば、上記送信手段は、ウィンドウのオブジェクト位置情報に加えて、ウィンドウに対応付けられている領域特定情報を表示処理装置に送信する。領域特定情報とは、ウィンドウ内に表示すべき領域を、ウィンドウが表示されているアプリケーションサーバの画面に対応する画像データから特定するための情報である。
【００７３】
これにより、表示処理装置は、アプリケーションの実行結果を画像データとして記憶しているのに加えて、ウィンドウ位置情報および領域特定情報を表示制御装置より取得することができる。そして、表示処理装置は、ウィンドウ内にはめ込む領域を領域特定情報にしたがって上記画像データから取得し、表示すべきウィンドウの位置を把握して、ウィンドウを適切に投影・描画することが可能となる。
【００７４】
本発明の表示処理装置は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置であって、２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得手段と、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得手段と、上記ローカル座標系における各位置情報に基づいて、上記視点から自装置の表示部に向かって上記オブジェクトを投影し、該表示部に描画する描画手段とを備えていることを特徴としている。
【００７５】
上記構成によれば、上述の表示制御装置から、上記相対座標取得手段は、ローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する。ローカル座標系とは、自装置が制御する表示部の面の所定の位置を原点とする３次元座標系である。したがって、上記オブジェクトを描画する描画手段は、上記視点位置情報および上記オブジェクト位置情報とに基づいて、自装置の表示部と、ユーザの視点およびオブジェクトとの位置関係を把握して、表示部に適切にオブジェクトを投影し、描画することが可能となる。描画すべきオブジェクトの２次元の情報は、上記オブジェクト取得手段が取得している。
【００７６】
結果として、オブジェクトが、複数の表示部に表示される場合でも、その各々の表示部を制御する表示処理装置が、ユーザＵの視点Ｖの位置を考慮して、それぞれ投影・描画処理を行うこととなり、ユーザが感覚的に把握している当該オブジェクトの見かけの空間位置と、実際に各表示部に表示されているオブジェクトから見える空間位置との間のずれを解消し、ユーザの視認性を向上させることが可能になるという効果を奏する。
【００７７】
上記マルチディスプレイシステムは、アプリケーションを実行するアプリケーションサーバを含み、表示処理装置の上記オブジェクト取得手段は、上記アプリケーションサーバによるアプリケーション実行結果を示すウィンドウが表示されている、上記アプリケーションサーバの画面に対応する画像データを取得し、上記相対座標取得手段は、上記ローカル座標系におけるウィンドウのオブジェクト位置情報および視点位置情報とともに、該ウィンドウ内に表示すべき上記画像データの領域を特定する領域特定情報を取得し、上記描画手段は、上記画像データから取得した上記領域特定情報によって特定された領域を含む上記ウィンドウを、各位置情報に基づいて投影し、上記表示部に描画してもよい。
【００７８】
これにより、表示処理装置は、アプリケーションの実行結果を画像データとして取得するとともに、ウィンドウ位置情報および領域特定情報を上記表示制御装置より取得することができる。そして、表示処理装置は、ウィンドウ内にはめ込む領域を領域特定情報にしたがって上記画像データから取得し、表示すべきウィンドウの位置を把握して、ウィンドウを適切に投影・描画することが可能となる。
【００７９】
本発明のアプリケーションサーバは、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバであって、上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、アプリケーションを実行する実行手段と、上記実行手段が実行した実行結果を示すウィンドウが表示されたアプリケーションサーバの画面を画像データとして出力する実行結果出力手段と、上記画像データを上記複数の表示処理装置に配信する画像配信手段とを備え、上記実行手段は、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報とにしたがって、アプリケーションを実行することを特徴としている。
【００８０】
上記構成によれば、上記実行手段がアプリケーションを実行すると、アプリケーションサーバの画面には、アプリケーション実行結果を示す１または複数のウィンドウが表示される。上記実行結果出力手段は、上記画面を画像データにして出力する。画像配信手段は、上記画像データを当該マルチディスプレイシステムの各表示処理装置に配信する。上記実行手段は、当該マルチディスプレイシステムにおいて、ポインタカーソルに対して入力されたユーザの選択操作（クリックなど）に応じて、アプリケーションを実行する。
【００８１】
これにより、表示処理装置は、アプリケーションの実行結果を画像データとして取得するとともに、ウィンドウ位置情報および領域特定情報を上記表示制御装置より取得することができる。そして、表示処理装置は、ウィンドウ内にはめ込む領域を領域特定情報にしたがって上記画像データから取得し、表示すべきウィンドウの位置を把握して、ウィンドウを適切に投影・描画することが可能となる。
【００８２】
さらに、オブジェクトとしてのポインタカーソルを操作することによって、表示されたウィンドウを操作するユーザインターフェースを実現することができる。ユーザは、オブジェクトとしてのポインタカーソルを操作して、アプリケーションの実行をアプリケーションサーバに対して指示することが可能となる。
【００８３】
本発明の表示制御方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムにおける表示制御方法であって、所定の位置を原点とする３次元のグローバル座標系における座標値にて、グローバル座標系記憶部に記憶されている、（１）上記表示部それぞれの位置を示す表示部位置情報と、（２）上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、（３）上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とに基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影ステップと、上記複数の表示部のうち、上記仮想投影ステップにより仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む表示部を特定する表示部特定ステップと、上記表示部特定ステップにより特定された特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換ステップと、上記特定表示部ごとに上記座標系変換ステップにより変換された、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信ステップとを含むことを特徴としている。
【００８４】
本発明の表示処理方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置における表示処理方法であって、２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得ステップと、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得ステップと、上記相対座標取得ステップにより取得した上記ローカル座標系における各位置情報に基づいて、上記オブジェクト取得ステップにより取得した上記オブジェクトを、上記視点から自装置の表示部に向かって投影し、該表示部に描画する描画ステップとを含むことを特徴としている。
【００８５】
本発明のアプリケーション実行方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバのアプリケーション実行方法であって、上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、アプリケーションを実行する実行ステップと、上記実行ステップにより実行された実行結果を示すウィンドウが表示された上記アプリケーションサーバの画面を画像データとして出力する実行結果出力ステップと、上記画像データを上記複数の表示処理装置に配信する画像配信ステップとを含み、上記実行ステップは、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報とにしたがって実行されることを特徴としている。
【００８６】
なお、上記表示制御装置、表示処理装置、アプリケーションサーバは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記表示制御装置、表示処理装置、アプリケーションサーバをコンピュータにて実現させる表示制御装置、表示処理装置、または、アプリケーションサーバの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００８７】
本発明の表示制御装置は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示制御装置であって、上記表示部それぞれの位置を示す表示部位置情報と、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて記憶するとともに、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報を上記座標値にて記憶するグローバル座標系記憶部と、上記グローバル座標系記憶部に記憶される各位置情報に基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影手段と、上記仮想投影手段により仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換手段と、上記特定表示部ごとに上記座標系変換手段が変換した、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信手段とを備えていることを特徴としている。
【００８８】
本発明の表示処理装置は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置であって、２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得手段と、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得手段と、上記ローカル座標系における各位置情報に基づいて、上記視点から自装置の表示部に向かって上記オブジェクトを投影し、該表示部に描画する描画手段とを備えていることを特徴としている。
【００８９】
本発明のアプリケーションサーバは、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバであって、上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、アプリケーションを実行する実行手段と、上記実行手段が実行した実行結果を示すウィンドウが表示されたアプリケーションサーバの画面を画像データとして出力する実行結果出力手段と、上記画像データを上記複数の表示処理装置に配信する画像配信手段とを備え、上記実行手段は、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報とにしたがって、アプリケーションを実行することを特徴としている。
【００９０】
本発明の表示制御方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムにおける表示制御方法であって、所定の位置を原点とする３次元のグローバル座標系における座標値にて、グローバル座標系記憶部に記憶されている、（１）上記表示部それぞれの位置を示す表示部位置情報と、（２）上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、（３）上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とに基づいて、上記グローバル座標系において、上記視点から上記表示部のそれぞれに向かって上記オブジェクトを仮想的に投影する仮想投影ステップと、上記複数の表示部のうち、上記仮想投影ステップにより仮想的に投影されたオブジェクトの少なくとも一部を表示部の表示領域に含む表示部を特定する表示部特定ステップと、上記表示部特定ステップにより特定された特定表示部のそれぞれにつき、上記グローバル座標系記憶部に記憶されるオブジェクト位置情報および視点位置情報を、上記特定表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換する座標系変換ステップと、上記特定表示部ごとに上記座標系変換ステップにより変換された、上記ローカル座標系におけるオブジェクト位置情報および視点位置情報を、対応する特定表示部を制御する表示処理装置にそれぞれ送信する送信ステップとを含むことを特徴としている。
【００９１】
本発明の表示処理方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成する表示処理装置における表示処理方法であって、２次元のオブジェクトを記憶するオブジェクト記憶部からオブジェクトを取得するオブジェクト取得ステップと、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から、自装置が制御する表示部の面の所定の位置を原点とする３次元のローカル座標系における座標値に変換された上記視点位置情報および上記オブジェクト位置情報を取得する相対座標取得ステップと、上記相対座標取得ステップにより取得した上記ローカル座標系における各位置情報に基づいて、上記オブジェクト取得ステップにより取得した上記オブジェクトを、上記視点から自装置の表示部に向かって投影し、該表示部に描画する描画ステップとを含むことを特徴としている。
【００９２】
本発明のアプリケーション実行方法は、上記課題を解決するために、複数の表示処理装置の各々に制御される複数の表示部にオブジェクトを表示するマルチディスプレイシステムを構成するアプリケーションサーバのアプリケーション実行方法であって、上記オブジェクトとは、上記アプリケーションサーバがアプリケーションを実行した結果を表示するためのウィンドウ、および、上記ウィンドウを操作するためのポインタカーソルであり、アプリケーションを実行する実行ステップと、上記実行ステップにより実行された実行結果を示すウィンドウが表示された上記アプリケーションサーバの画面を画像データとして出力する実行結果出力ステップと、上記画像データを上記複数の表示処理装置に配信する画像配信ステップとを含み、上記実行ステップは、上記表示部に表示されたオブジェクトを視認するユーザの視点の位置を示す視点位置情報と、上記オブジェクトの仮想的な位置を示すオブジェクト位置情報とを、所定の位置を原点とする３次元のグローバル座標系における座標値にて管理する表示制御装置から取得した、（１）ユーザより入力部を介して入力された、上記ポインタカーソルによる他のオブジェクトの選択を指示する選択指示信号発生の通知と、（２）上記アプリケーションサーバの画面の所定の位置を原点とする２次元の画面座標系における座標値に変換された、上記選択指示信号発生時の上記ポインタカーソルのオブジェクト位置情報とにしたがって実行されることを特徴としている。
【００９３】
以上のことから、オブジェクトが複数のディスプレイをまたいで表示される場合でも、該オブジェクトを空間的にシームレスに表示させることにより、ユーザの視認性を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００９４】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、本発明のマルチディスプレイシステムを、複数のディスプレイ（以下、表示部）を用いて情報を表示し、共有する会議システムに適用した場合を例に挙げて説明する。
【００９５】
≪実施形態１≫
〔会議システムの概要〕
図２は、本発明の実施形態における会議システム１００の外観を示す図である。
【００９６】
図２に示すとおり、会議システム１００では、３つのディスプレイ（以下、表示部）を用いて、表示対象となるオブジェクトＯを表示する。３つの表示部とは、壁掛けタイプの大型ディスプレイにて実現される第１表示部１１、卓上タイプの大型ディスプレイにて実現される第２表示部１２、および、ノートパソコン３が備える小型のディスプレイにて実現される第３表示部１３の３つである。
【００９７】
第１表示部１１および第２表示部１２は、デスクトップパソコン２によって制御されている。第３表示部１３は、ノートパソコン３によって制御されている。各表示部は、デスクトップパソコン２またはノートパソコン３の制御にしたがって、オブジェクトＯを投影した図形（投影オブジェクトＯ’１、Ｏ２、Ｏ３など）表示する。
【００９８】
さらに、会議システム１００は、３Ｄサーバ１を備えている。３Ｄサーバ１は、各表示部およびユーザＵの視点Ｖの実空間位置とともに、オブジェクトＯの仮想的な空間位置を統合的に管理するものである。３Ｄサーバ１は、デスクトップパソコン２およびノートパソコン３のそれぞれと有線または無線にて接続されており、互いに通信可能である。
【００９９】
３Ｄサーバ１が、視点Ｖの実空間位置を把握する方法としては、特に限定されない。本実施形態では、ユーザＵが、視点Ｖの近傍に空間位置を検知するためのセンサＳｕを装備し、センサＳｕがユーザＵの視点Ｖの空間位置を示す位置情報を３Ｄサーバ１に供給する。これにより、視点Ｖの位置を動的に把握することが可能となる。位置情報とは、ここでは、２次元または３次元の座標系における各エンティティの位置および向きを特定する座標情報である。２次元座標系の場合はＸ、Ｙ座標値、３次元座標系の場合はＸ、Ｙ、Ｚ座標値がこれにあたる。また、位置情報には、ベクトルのようにエンティティの向きを特定する情報が含まれていてもよい。
【０１００】
なお、会議システム１００が備えるセンサは、センサＳｕに限定されない。可動の第３表示部１３に対してセンサＳｄを備え付け、第３表示部１３の位置情報をセンサＳｄが３Ｄサーバ１に供給してもよい。
【０１０１】
３Ｄサーバ１が、会議システム１００におけるすべてのエンティティ（ユーザＵの視点Ｖ、各表示部、および、オブジェクトＯ）の位置関係を統合的に管理するための空間座標系（以下、絶対座標系）を記憶している。この３Ｄサーバ１が有する絶対座標系Ｇ基づく位置情報を元に、各表示部を制御する画像処理装置（デスクトップパソコン２またはノートパソコン３、以下では、デスクトップパソコン２とノートパソコン３とを特に区別する必要がない場合は、画像処理装置と総称する。）は、自装置が制御する表示部と、オブジェクトＯおよび視点Ｖとの位置関係を把握して、当該表示部にオブジェクトＯの投影像を適切に出力することが可能となる。絶対座標系Ｇは、Ｘ、Ｙ、Ｚの３次元で扱われる。
【０１０２】
より具体的には、視点Ｖの実空間位置、オブジェクトＯの仮想的空間位置、および、各表示部の実空間位置に基づいて、視点Ｖ−オブジェクトＯ−各表示部のそれぞれの間の距離と角度とを把握する。そして、投影図法的に、視点ＶとオブジェクトＯ上の点とを結んだ直線を各表示部上に会して、各表示部上に投影されたオブジェクトＯの像を各表示部に表示する。上述のように、仮想的空間位置に存在するオブジェクトを、ユーザの視点および表示部との距離、角度を考慮して投影図法的に仮想的に表示部に表示することを、ここでは「（仮想的に）投影する」または「（仮想的に）投影表示する」と表現する。
【０１０３】
これにより、ユーザＵの視点Ｖから各表示部に表示されたオブジェクトを見れば、オブジェクトがあたかも図２に示すオブジェクトＯの位置、向きにあるかのような距離感、角度でオブジェクトＯを視認することが可能となる。
【０１０４】
また、ユーザＵが各画像処理装置に備えられている入力部（例えば、マウス１５など）を用いてオブジェクトＯ３を上方に動かしたとする。この場合は、マウス１５の操作によって入力された入力信号が、ノートパソコン３を介して３Ｄサーバ１に伝達される。３Ｄサーバ１は、上記入力信号に基づいて、オブジェクトＯがオブジェクトＯ’の位置に動かされたことを求めてオブジェクトＯの仮想的空間位置を更新し、更新後の各エンティティの位置関係の情報を、オブジェクトＯ’の投影表示に関係する第１表示部１１を制御するデスクトップパソコン２に伝達する。これにより、デスクトップパソコン２は、オブジェクトＯ’を第１表示部１１に投影表示する。
【０１０５】
図２に示す例では、Ｏ３は、オブジェクトＯが第３表示部１３に投影されたときの像を示す。Ｏ２は、オブジェクトＯが第２表示部１２に投影されたときの像を示す。Ｏ’１は、オブジェクトＯ’が第１表示部１１に投影されたときの像を示す。
【０１０６】
ここで、デスクトップパソコン２およびノートパソコン３は、自装置が制御する表示部にて投影表示を実行するために、表示部ごとに独自の座標系（以下、相対座標系）を記憶している。相対座標系は、表示部の最左上端を原点（Ｘ、Ｙ、Ｚ）＝（０、０、０）とする３次元空間座標系であり、各装置が、当該表示部と、他のエンティティ（仮想空間のオブジェクトＯ、ユーザＵの視点Ｖ）との位置関係を相対的に把握するための座標系である。
【０１０７】
図２に示す例では、デスクトップパソコン２は、第１表示部１１の相対座標系Ｄ１および第２表示部１２の相対座標系Ｄ２にて各エンティティの位置関係を記憶しており、ノートパソコン３は、第３表示部１３の相対座標系Ｄ３にて各エンティティの位置関係を記憶している。
【０１０８】
各エンティティの絶対座標系Ｇにおける３次元座標と、相対座標系Ｄｎにおける３次元座標との間の変換は、必要に応じて３Ｄサーバ１が実施している。
【０１０９】
なお、図２に示す例では、会議に参加するユーザＵは一人であるが、会議には複数名参加していてもよく、この場合の会議システム１００の構成については、他の実施形態にて詳述する。また、会議システム１００は、複数のオブジェクトを扱ってもよい。
【０１１０】
図３は、本発明の実施形態における会議システム１００の概略構成を示すブロック図である。
【０１１１】
上述したとおり、会議システム１００は、３Ｄサーバ１、デスクトップパソコン２、ノートパソコン３、ノートパソコン３に取り付けられるセンサＳｄ、および、会議に参加するユーザＵ１、Ｕ２・・・が各々装備するセンサＳｕ１、Ｓｕ２・・・を備える構成である。
【０１１２】
センサＳｕは、ユーザＵの視点Ｖの空間位置を把握するためのものである。ユーザの目の近傍に装備されることが好ましい。本実施形態では、視点Ｖの空間位置を示す位置情報（Ｘ、Ｙ、Ｚ座標）が各センサＳｕから３Ｄサーバ１に供給される。
【０１１３】
しかし、このような構成に限定されない。例えば、センサＳｕは、ユーザの視線追尾機能をさらに備えていてもよい。この場合は、センサＳｕは、視点Ｖの位置情報とともにユーザの視線を示す情報を３Ｄサーバ１に供給してもよい。
【０１１４】
センサＳｄは、表示部の空間位置および表示部の向きを把握するためのものである。本実施形態では、表示部の左上端に取り付けられるが、取り付け位置は特に限定されない。センサＳｕは、表示部の左上端の位置情報および表示部の向きを示すベクトル情報を３Ｄサーバ１に供給する。
【０１１５】
３Ｄサーバ１は、絶対座標系Ｇにおいてすべてのエンティティ（ユーザＵの視点Ｖ、第１表示部１１、第２表示部１２、第３表示部１３、オブジェクトＯ）の位置関係を把握するものである。
【０１１６】
３Ｄサーバ１は、オブジェクトＯを投影表示する表示部に対して、各エンティティの位置関係の情報を、当該表示部に対応する相対座標系Ｄｎの座標情報（相対座標）に変換して送信する。
【０１１７】
さらに、ユーザＵが、マウス１５、入力部１４などを操作して、各表示部に表示されているオブジェクトＯに対する画像処理（オブジェクトＯの移動や、色・形状の編集など）を指示する指示信号をデスクトップパソコン２またはノートパソコン３に入力すると、デスクトップパソコン２またはノートパソコン３から、上記指示信号を受信する。
【０１１８】
具体的には、例えば、第３表示部１３に表示されている、投影表示されたオブジェクトＯを所定の方向、所定の距離に移動させる指示が、マウス１５を介してノートパソコン３に入力されるとする。この場合、ノートパソコン３は、マウス１５の入力信号（移動量）を、第３表示部１３の画面の２Ｄの画面座標系におけるＸ、Ｙ座標の値で受け付けて、当該画面座標を３Ｄサーバ１に供給する。３Ｄサーバ１は、上記画面座標を絶対座標系Ｇにおける変化量に変換して、仮想空間におけるオブジェクトＯの移動を適切に処理することが可能となる。
【０１１９】
オブジェクトＯが移動したことにより、各エンティティの位置関係が更新されるので、３Ｄサーバ１は、更新された位置関係を、相対座標に変換して、それをデスクトップパソコン２および／またはノートパソコン３にフィードバックする。
【０１２０】
なお、オブジェクトＯの位置情報以外の情報（色、形状などの属性情報、あるいは、オブジェクトＯが画像の場合はその画像データ）は、３Ｄサーバ１が保持していてもよいし、各画像処理装置が保持していてもよいし、３Ｄサーバ１、デスクトップパソコン２、ノートパソコン３の各装置がアクセス可能な他の記憶装置に記憶されていてもよい。
【０１２１】
３Ｄサーバ１が、オブジェクトＯの画像データを保持している場合には、３Ｄサーバ１は、オブジェクトＯの相対座標とともに、オブジェクトＯの画像データ（オブジェクト画像）を、デスクトップパソコン２、ノートパソコン３の各装置に供給する。
【０１２２】
デスクトップパソコン２およびノートパソコン３は、外部から取得したオブジェクト（画像データなど）を処理し、処理結果を表示部に出力するための画像処理装置である。画像処理装置は、自装置が制御する表示部ごとに、各エンティティと表示部との位置関係を示した相対座標を３Ｄサーバ１から取得する。画像処理装置は、上記相対座標に基づいて、ユーザＵが視点Ｖから、適切な距離感および角度でオブジェクトＯを視認できるように、オブジェクトＯの形状、表示位置を計算して、オブジェクトＯの全体あるいは一部を自装置が制御する各表示部に出力する。
【０１２３】
また、各画像処理装置は、表示中のオブジェクトＯに対する処理の実行を指示する指示信号を、入力部１４、マウス１５から受け付けた場合には、画面座標における位置情報（例えば、マウスがクリックされた位置のＸ、Ｙ座標や、マウスがドラッグされたときの移動量を示すベクトル情報）としての上記指示信号を３Ｄサーバ１に伝達する。３Ｄサーバ１は、各画像処理装置より受信した画面座標における位置情報やベクトル情報に基づいて、オブジェクトＯの仮想空間上の位置を更新し、更新後の各エンティティの位置関係を示す相対座標を、表示部ごとに、各画像処理装置にフィードバックする。
【０１２４】
上記構成によれば、３Ｄサーバ１は、ユーザＵの視点Ｖ、オブジェクトＯ、各表示部の位置関係を、統合的に管理することが可能となる。そして、オブジェクトＯが移動した場合には、３Ｄサーバ１は、その都度、オブジェクトＯを投影表示すべき表示部についての相対座標を、当該表示部を制御する画像処理装置に送信する。画像処理装置は、上記相対座標に基づいてオブジェクトＯの再描画を行って、表示部に移動後のオブジェクトＯを投影表示する。
【０１２５】
これにより、オブジェクトＯが複数の表示部をまたいで移動する場合でも、その移動中に、オブジェクトの映像の切り換わりを発生させずに、ユーザＵの視点Ｖから見て、オブジェクトＯがあたかも空間を移動しているかのように、オブジェクトＯをシームレスに移動させることが可能な会議システム１００を構築することが可能となる。
【０１２６】
以下、オブジェクトを、複数の表示部間でシームレスに移動させて表示することが可能な会議システム１００を構築する、３Ｄサーバ１、デスクトップパソコン２（ノートパソコン３）の各装置の構成についてより詳細に説明する。
【０１２７】
〔３Ｄサーバの構成〕
図１は、本発明の実施形態における３Ｄサーバ１の要部構成を示すブロック図である。
【０１２８】
図１に示すとおり、３Ｄサーバ１は、制御部１１０と、通信部１０１と、絶対座標系記憶部１０２とを備える構成となっている。さらに、オブジェクトの画像データを３Ｄサーバ１が保持する場合には、３Ｄサーバ１は、オブジェクト記憶部１０３を備えていてもよい。
【０１２９】
通信部１０１は、デスクトップパソコン２やノートパソコン３などのクライアント装置としての各画像処理装置と通信網を介して接続し、情報の送受信を行うものである。通信網は、無線で実現されてもよいし、有線で実現されてもよい。
【０１３０】
制御部１１０は、３Ｄサーバ１の各部を統括制御するものであり、機能ブロックとして、画面座標取得部２１、絶対座標取得部２２、仮想投影処理部２３、相対座標算出部２４および処理結果送信部２５を備えている。さらに、制御部１１０は、位置情報取得部２６を備えていてもよい。
【０１３１】
なお、上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）が不図示のＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。すなわち、上記各機能ブロックは、上記ＣＰＵが上記記憶装置に格納されたプログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって実現されるものである。
【０１３２】
以下では、オブジェクトＯとして、図４に示す矢印図形４００を扱う場合を例に挙げて、３Ｄサーバ１の各部を詳細に説明する。矢印図形４００は、マウス１５などの入力部の操作に合わせて移動するポインタカーソルの役割を果たすものである。
【０１３３】
絶対座標系記憶部１０２は、絶対座標系Ｇにおける各エンティティについてのエンティティ情報を記憶するものである。エンティティ情報には、エンティティの位置情報（Ｘ、Ｙ、Ｚ座標）および属性情報（例えば、サイズ、形状、アンカー定義）などが含まれるが、これに限定されない。絶対座標系記憶部１０２に記憶されるエンティティ情報の具体例を図５（ａ）〜（ｃ）に示す。
【０１３４】
図５（ａ）は、ユーザＵの視点Ｖのエンティティ情報の具体例を示す図である。図５（ａ）に示す例では、エンティティＩＤ（「０１」）に関連付けて、エンティティのタイプ、および、エンティティの位置情報が記憶されている。タイプ「UserViewpoint」は、当該エンティティがユーザＵの視点Ｖであることを示している。位置情報「（Ｘ０１、Ｙ０１、Ｚ０１）／Ｇ」は、絶対座標系Ｇにおける、ＩＤ０１の視点Ｖの位置を示している。
【０１３５】
図５（ｂ）は、会議システム１００が備える各表示部のエンティティ情報の具体例を示す図である。図５（ｂ）に示す例では、第１表示部１１（ＩＤ：１１）、第２表示部１２（ＩＤ：１２）、および、第３表示部１３（ＩＤ：１３）のエンティティ情報が記憶されている。例えば、第１表示部１１（ＩＤ：１１）の具体例に基づいて、エンティティ情報を詳細を説明する。タイプ「Display」は、当該エンティティが表示部であることを示している。
【０１３６】
始点「（Ｘ１１０、Ｙ１１０、Ｚ１１０）／Ｇ」、向き１「（Ｘ１１１、Ｙ１１１、Ｚ１１１）／Ｇ」、および、向き２「（Ｘ１１２、 Ｙ１１２、 Ｚ１１２）／Ｇ」は、絶対座標系ＧにおけるＩＤ１１の表示部の位置および向きを示している。より具体的には、本実施形態では、向き１は、表示部の左上端から右上端への方向ベクトルを示す値であり、向き２は、左上端から左下端への方向ベクトルを示す値であり、始点は、上記各方向ベクトルの始点、すなわち、表示部の左上端の位置情報を示す値である。これらの値により、３Ｄサーバ１は、各表示部の空間での位置および向きを算出することが可能となる。
【０１３７】
縦幅「＊＊ｍｍ」、横幅「××ｍｍ」は、それぞれ、ＩＤ１１の表示部の縦の長さと横の長さを示している。
【０１３８】
図５（ｃ）は、図４に示すオブジェクト（矢印図形４００）のエンティティ情報の具体例を示す図である。図５（ｃ）に示す例では、矢印図形４００は、エンティティＩＤ「２１」に関連付けて、位置情報および属性情報が記憶されている。より具体的には、タイプ「Object」は、当該エンティティがオブジェクトであることを示している。アンカー「Ｘ、Ｙ＝（０、０）」は、図４に示す矢印図形４００において、「Ｘ、Ｙ＝（０、０）」に位置する頂点をアンカー（仮想アンカー４０１）として定義していることを示している。
【０１３９】
オブジェクト（矢印図形４００）の仮想アンカー４０１は、オブジェクトの仮想空間における位置を定める基準となる点であり、仮想投影処理部２３がオブジェクトを各表示部に投影表示する際の方向を定めるのに用いられる。上記方向は、視点Ｖから仮想アンカー４０１へ延びる直線（図６の方向ベクトル４０２）によって求まる。上記方向ベクトル４０２と第１表示部１１の面との交点によって、仮想アンカー４０１を投影した投影アンカー５０１が求まる。このように、１つのオブジェクトには１つのアンカーが定義され、そのアンカーの投影結果（投影アンカー）は、必ず１つの表示部に固定されて管理される。
【０１４０】
なお、ここでは、オブジェクトのアンカーについて、絶対座標系Ｇや相対座標系Ｄｎなどの仮想空間上に定義された仮想オブジェクトにおけるアンカーを仮想アンカー（例えば、図６の仮想アンカー４０１）と称する。そして、仮想オブジェクトが仮想投影処理部２３によって投影された結果、各表示部上に投影された投影オブジェクトにおけるアンカーを投影アンカー５０１と称する。特に区別する必要がない場合には、単にオブジェクトのアンカーと称する。
【０１４１】
固定表示部「ＩＤ＝１１」は、矢印図形４００の投影アンカー５０１が第１表示部１１に固定されていることを示している。
【０１４２】
位置情報「（Ｘ２１、Ｙ２１、Ｚ２１）／Ｇ」は、アンカー４０１の絶対座標系Ｇにおける位置を示している。そして、視点−仮想球面の距離として「ｒ」が記憶されている。仮想球とは、視点を中心とし、半径ｒによって定義される仮想的な球体のことである。仮想球は、絶対座標取得部２２が、上述したマウス１５を介して入力された、表示部の２次元（画面座標）におけるオブジェクトの移動量を、絶対座標系Ｇの３次元座標における移動量に変換するために用いられる。これにより、画面座標におけるポインタカーソルの移動量（Ｘ移動量、Ｙ移動量）を、上記仮想球面上にて緯線に平行な方向および経線に平行な方向に沿って移動させた場合の角度変化量に変換することが可能となる。形状は、図４に示す矢印図形４００の形状を定義するための情報が記憶されている。さらに、矢印図形４００のエンティティ情報（位置情報）として、絶対座標系Ｇにおける位置情報だけでなく、それに対応する、各表示部の相対座標系Ｄｎごとの相対座標を、相対位置情報として表示部ごとに記憶しておいてもよい。相対位置情報「（Ｘ２１、Ｙ２１、Ｚ２１）／Ｄ１」は、第１表示部１１の相対座標系Ｄ１における、仮想アンカー４０１の位置を示している。「（Ｘ２１、Ｙ２１、Ｚ２１）／Ｄ２」は、第２表示部１２の相対座標系Ｄ２における仮想アンカー４０１の位置を示している。「（Ｘ２１、Ｙ２１、Ｚ２１）／Ｄ３」は、第３表示部１３の相対座標系Ｄ３における仮想アンカー４０１の位置を示している。なお、矢印図形４００の仮想アンカー４０１の位置情報は、絶対座標、相対座標の少なくとも何れかで管理されていればよく、管理されていない一方は、必要に応じてその都度算出される構成にしてもよい。
【０１４３】
以上のように、絶対座標系記憶部１０２に記憶される各エンティティのエンティティ情報（エンティティの位置情報および／または属性情報）を用いることにより、各エンティティの位置関係を統合的に把握することが可能となる。
【０１４４】
オブジェクト記憶部１０３は、表示部に表示される表示対象物（オブジェクト）のデータを記憶するものである。オブジェクトが写真、イラスト、アイコン、図形などである場合は画像データがオブジェクト記憶部１０３に記憶されている。なお、オブジェクト記憶部１０３で記憶できるデータの形式は上記に限定されない。テキストデータ、文章編集データ、表計算データなどがオブジェクトとして記憶されていてもよい。ここでは、オブジェクト記憶部１０３には、図４に示す矢印図形４００の画像データが記憶されている。
【０１４５】
制御部１１０の画面座標取得部２１は、画像処理装置から伝達される画面座標を取得するものである。画面座標とは、各表示部の画面の左上端を原点としてＸ、Ｙの値で表される２次元の座標系のことである。
【０１４６】
より具体的には、例えば、デスクトップパソコン２の第１表示部１１のある位置に矢印図形４００が表示されているときに、ユーザＵが入力部１４を操作して矢印図形４００を動かしたとする。このとき、入力部１４の移動量、すなわち、第１表示部１１の相対座標系Ｄ１における移動量（Ｃｘ、Ｃｙ）が、デスクトップパソコン２から３Ｄサーバ１に伝送される。画面座標取得部２１は、通信部１０１を介して上記画面座標によって表された移動量を取得する。これにより、３Ｄサーバ１は、デスクトップパソコン２に対して入力部１４による入力が行われたことを検知することができる。具体的には、ある位置からある位置までポインタカーソル（矢印図形４００）を移動させる操作がなされたことを検知することができる。画面座標は、表示部ごとに作成されるので、画面座標には、各表示部を特定する情報（表示部のＩＤなど）が含まれていてもよい。
【０１４７】
図５（ｄ）は、各画像処理装置から、３Ｄサーバ１に伝達される画面座標のデータ構造および具体例を示す図である。画面座標は、少なくとも、どのオブジェクト（具体的には、ポインタカーソル）に対してユーザ操作がなされたのかを特定する「操作対象オブジェクトＩＤ」と、入力部１４（マウス１５）などのを用いてどのようなユーザ操作がなされたのかを示す「タイプ」と、ユーザ操作がオブジェクトの移動指示であった場合に、その移動量を示す「移動量」との３つのデータを含んでいる。
【０１４８】
図５（ｄ）に示す例では、１行目の画面座標が３Ｄサーバ１に入力されると、３Ｄサーバ１は、ＩＤ２１のポインタカーソルに対して、オブジェクトを移動させるための操作（タイプ＝「Ｍｏｖｅ」）がなされ、その移動量が（Ｘ、Ｙ）であることを認識することが可能となる。あるいは、２行目の画面座標が３Ｄサーバ１に入力されると、３Ｄサーバ１は、ＩＤ２２のポインタカーソルに対して、左クリックの操作（タイプ＝「左クリック」）がなされたことを認識することが可能となる。なお、操作のタイプが移動（つまり「Ｍｏｖｅ」）のとき以外は、移動量の項目には「（０、０）」すなわち、ゼロが格納される構成であってもよいし、移動量の項目を、何の値も格納しないＮｕｌｌ値とする構成であってもよい。
【０１４９】
絶対座標取得部２２は、画面座標取得部２１が取得した画面座標によるオブジェクトの位置情報（または、移動量、ベクトル情報）を、上述の仮想球を用いて絶対座標系Ｇの絶対座標値に変換するものである。
【０１５０】
仮想投影処理部２３は、絶対座標取得部２２が求めた絶対座標系Ｇにおけるオブジェクトの位置情報と、視点Ｖの位置情報とに基づいて、オブジェクトを各表示部に投影するものである。
【０１５１】
図７は、絶対座標取得部２２が画面座標から絶対座標への変換を行うのに用いる仮想球４０３を示す図である。図８は、絶対座標取得部２２が取得した絶対座標系Ｇにおける各エンティティの位置情報に基づいて、仮想投影処理部２３が投影するオブジェクトのアンカー位置の更新を説明する図である。
【０１５２】
絶対座標取得部２２は、ユーザＵの入力部１４の操作によって、矢印図形４００の移動量（Ｃｘ、Ｃｙ）を画面座標にて取得すると、矢印図形４００のエンティティ情報（図５（ｃ））に基づいて、視点から仮想球面の距離ｒを取得する。そして、絶対座標取得部２２は、視点Ｖの絶対座標系ＧのＸ、Ｙ、Ｚ座標を中心とし、上記距離ｒすなわち半径ｒによって仮想球４０３を定義する。そして、画面座標にて取得された移動量（Ｃｘ、Ｃｙ）を、仮想球４０３の緯度方向および経度方向への角度変化量へと変換する。これにより、図８に示すとおり、矢印図形４００の位置情報は、仮想アンカー４０１から仮想アンカー４０１’へと更新される。絶対座標取得部２２が更新した仮想アンカー４０１の位置情報は、図５（ｃ）に示すエンティティ情報に記憶される。
【０１５３】
続いて、仮想投影処理部２３は、上記仮想アンカー４０１の位置情報の更新に基づいて、方向ベクトル４０２を回転させて、方向ベクトル４０２’を特定し、矢印図形４００の仮想アンカー４０１の投影位置を、投影アンカー５０１から投影アンカー５０１’へと更新する。
【０１５４】
ユーザＵの入力部１４の操作によって矢印図形４００が第１表示部１１の表示領域外に出た場合の各装置の動作について説明する。この場合、デスクトップパソコン２は、第１表示部１１に固定されていたアンカーが存在しないと認識する。一方、３Ｄサーバ１の仮想投影処理部２３は、視点Ｖから仮想空間に位置する矢印図形４００の仮想アンカー４０１”へと延びる方向ベクトル４０２”（図８）の値を保持する。この方向ベクトル４０２”は、視点Ｖの位置の変動の影響を受けない。入力部１４の操作に応じて矢印図形４００が動かされるときは、仮想アンカー４０１が第１表示部１１に存在するときと同様に、入力部１４の操作に応じて更新された仮想アンカー４０１”の方向ベクトル４０２”が更新される。ここで、方向ベクトル４０２”を延長した直線といずれかの表示部が交差した時には、仮想投影処理部２３は、矢印図形４００の投影アンカー５０１”（図示せず）を再び生成する。これにより、再度、矢印図形４００のアンカーが表示部に固定される。
【０１５５】
相対座標算出部２４は、絶対座標系Ｇにおける各エンティティの位置情報に基づいて、各表示部が持つそれぞれの相対座標系Ｄｎにおける位置情報を算出するものである。本実施形態では、矢印図形４００などのオブジェクトの位置情報が更新されたときに、仮想投影処理部２３が、更新後の位置からオブジェクトの投影を行った結果、オブジェクトが投影される表示部が特定される。相対座標算出部２４は、絶対座標系Ｇにおける各エンティティの位置情報を、仮想投影処理部２３によって特定された表示の座標系における位置情報に変換する。
【０１５６】
例えば、位置が更新された矢印図形４００が、第１表示部１１に投影されると判明した場合は、相対座標算出部２４は、ユーザＵの視点Ｖおよび矢印図形４００の位置情報、すなわち、Ｘ、Ｙ、Ｚ座標値を、第１表示部１１の左上端を（Ｘ、Ｙ、Ｚ）＝（０、０、０）とする相対座標系Ｄ１のＸ、Ｙ、Ｚ座標値に変換する。この変換後の座標値に基づいて、デスクトップパソコン２またはノートパソコン３は、更新後のオブジェクトを投影するための描画を実行することが可能となる。
【０１５７】
処理結果送信部２５は、相対座標算出部２４によって算出された相対座標系Ｄｎの各エンティティのエンティティ情報（位置情報など）を、表示部を制御する画像処理装置に送信するものである。上に挙げた例では、相対座標算出部２４は、第１表示部１１の相対座標系Ｄ１の位置情報を算出している。したがって、処理結果送信部２５は、算出結果、すなわち、第１表示部１１の左上端を原点とした場合の矢印図形４００の仮想アンカー４０１およびユーザＵの視点ＶのＸ、Ｙ、Ｚ座標を、第１表示部１１を制御するデスクトップパソコン２に送信する。このとき、デスクトップパソコン２が矢印図形４００を識別できるように、上記算出結果に矢印図形４００のオブジェクトＩＤを関連付けて送信する。
【０１５８】
位置情報取得部２６は、センサＳｕやセンサＳｄなどの各種センサから、ユーザＵや表示部などの実空間における位置情報を取得するものである。
【０１５９】
例えば、ユーザＵの視点Ｖの位置が動くと、センサＳｕから最新の視点Ｖの位置情報が送信される。位置情報取得部２６は、それを取得し、絶対座標系記憶部１０２に最新の視点Ｖの位置情報を格納する。更新後の視点Ｖの位置情報は、仮想投影処理部２３に伝達されて、仮想投影処理部２３は、更新後の視点Ｖの位置に基づいて投影処理を実行する。第３表示部１３の位置や向きが変動した場合も、センサＳｄからの最新の位置情報に基づいて、投影処理が実行される。
【０１６０】
上記構成によれば、３Ｄサーバ１は、ユーザＵの視点Ｖと、オブジェクト（矢印図形４００）と、各表示部との位置関係を絶対座標系記憶部１０２において一元的に管理している。３Ｄサーバ１の制御部１１０の各部は、各エンティティ（視点Ｖ、オブジェクトＯ、表示部）のいずれかの位置に変動があった場合でも、絶対座標系記憶部１０２のエンティティ情報が適切に更新される。また、更新後の位置関係に基づいて、投影表示が必要な表示部の相対座標系Ｄｎにおける各エンティティの位置情報が、その表示部ごとに再計算されて計算結果が、上記表示部を制御する各画像処理装置に供給される。
【０１６１】
これにより、各画像処理装置の各表示部の制御部１０（２０、３０）は、供給される計算結果に基づいて、自身が制御する表示部と、ユーザＵの視点Ｖと、オブジェクトＯとの位置関係を把握し、該表示部に投影すべきオブジェクトの表示位置、形状を特定して、正しく描画することができる。
【０１６２】
結果として、ユーザの目には、オブジェクトが表示部間をシームレスに移動するように見える。さらに、ユーザ視点が考慮されているので、複数の表示部をまたいで移動する間もオブジェクトはユーザに正対して表示されている。
【０１６３】
このように、複数の表示部を備える会議システム１００において、１つの情報（表示対象のオブジェクト）を複数の表示部で共有する場合に、オブジェクトを空間的にシームレスに移動させることができる。
【０１６４】
〔画像処理装置の構成〕
図９は、本発明の実施形態における画像処理装置（２または３）の要部構成を示すブロック図である。以下、デスクトップパソコン２の要部構成として説明するが、ノートパソコン３もほぼ同様の構成を有している。
【０１６５】
図９に示すとおり、デスクトップパソコン（画像処理装置）２は、制御部１０（２０、３０）と、通信部２０１と、相対座標系記憶部２０２と、取得オブジェクト記憶部２０３と、第１表示部１１（第２表示部１２、第３表示部１３）と、入力部１４（マウス１５）とを備える構成となっている。制御部１０（２０、３０）は、画像処理装置の各部を統括制御するものであり、デスクトップパソコン２が備えている表示部ごとに設けられる。すなわち、デスクトップパソコン２は、第１表示部１１および第２表示部１２を備えているので、第１表示部１１を制御する制御部１０、および、第２表示部１２を制御する制御部２０を備えている。
【０１６６】
通信部２０１は、通信網を介して３Ｄサーバ１と接続し、情報の送受信を行うものである。通信網は、無線で実現されてもよいし、有線で実現されてもよい。
【０１６７】
制御部１０は、デスクトップパソコン２の各部を統括制御するものであり、機能ブロックとして、相対座標取得部４１、オブジェクト取得部４２、描画部４３、表示制御部４４、入力制御部４５、および、画面座標生成部４６を備えている。
【０１６８】
なお、上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）が不図示のＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。すなわち、上記各機能ブロックは、上記ＣＰＵが上記記憶装置に格納されたプログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって実現されるものである。
【０１６９】
相対座標系記憶部２０２は、相対座標系Ｄｎにおける各エンティティについてのエンティティ情報を記憶するものである。例えば、第１表示部１１を制御する制御部１０は、相対座標系記憶部２０２にアクセスして、相対座標系Ｄ１におけるエンティティ情報の読み出し、書き込みを行う。
【０１７０】
図１０は、相対座標系記憶部２０２に記憶される、３Ｄサーバ１から取得されたエンティティ情報の具体例を示す図である。３Ｄサーバ１から供給されるエンティティ情報には、少なくとも、表示すべきオブジェクトおよびユーザＵの視点Ｖの位置情報と、各画像処理装置が当該オブジェクトを描画する際に基準として参照するべき基準ベクトルのベクトル情報とが含まれている。ここでは、表示すべきオブジェクトは、図４に示す矢印図形４００として説明する。本実施形態では、基準ベクトルは、絶対座標系Ｇにおいて鉛直方向のベクトルであって、そのベクトル情報が、絶対座標系Ｇにおける座標値から相対座標系Ｄ１における座標値に変換されてデスクトップパソコン２に供給される。
【０１７１】
図１０に示すとおり、相対座標系記憶部２０２には、矢印図形４００を一意に識別するためのオブジェクトＩＤ（「２１」）に関連付けて、矢印図形４００の仮想アンカー４０１の位置情報と、ユーザＵの視点Ｖの位置情報とが記憶されている。
【０１７２】
ここに記憶されている位置情報は、相対座標系Ｄ１における位置情報である。制御部１０は、この位置情報に基づいて、自身が制御する第１表示部１１の左上端を原点として、矢印図形４００および視点Ｖの位置関係を把握することできるので、投影表示するための矢印図形４００の描画を適切に実行することが可能となる。
【０１７３】
取得オブジェクト記憶部２０３は、３Ｄサーバ１から供給されたオブジェクトのデータを記憶するものである。具体的には、例えば、オブジェクトが写真、イラスト、アイコン、図形などである場合は画像データなどが、オブジェクトＩＤに関連付けて記憶されている。
【０１７４】
制御部１０の相対座標取得部４１は、３Ｄサーバ１から供給される相対座標系Ｄｎのエンティティ情報を取得するものである。上述したとおり、相対座標取得部４１は、少なくとも相対座標で表されたオブジェクトの位置情報およびユーザＵの視点Ｖの位置情報をエンティティ情報として取得する。上記各位置情報は、オブジェクトＩＤで紐付けされている。相対座標取得部４１が取得したエンティティ情報は、相対座標系記憶部２０２に記憶される。
【０１７５】
オブジェクト取得部４２は、３Ｄサーバ１から供給されるオブジェクトのデータを取得するものである。あるいは、オブジェクト取得部４２は、オブジェクトのデータを記憶する外部の記憶装置から、インターフェースあるいは通信網を介して、データを取得してもよい。オブジェクト取得部４２が取得したオブジェクトのデータは、オブジェクトＩＤと関連付けて取得オブジェクト記憶部２０３に記憶される。
【０１７６】
描画部４３は、オブジェクト取得部４２が取得したオブジェクトのデータを、相対座標取得部４１が取得した３Ｄの位置情報に基づいて処理して、表示部出力用の２Ｄのデータに変換するものである。描画部４３によって、表示部出力用に描画されたオブジェクトは、表示制御部４４に伝達される。表示制御部４４は、描画部４３が描画したオブジェクトを第１表示部１１に出力する。これにより、第１表示部１１には、ユーザＵの視点Ｖから見て、オブジェクトが実空間においても仮想空間にて定義されているのと同じ位置に存在するかのような状態で、オブジェクトが投影表示される。
【０１７７】
図１１は、描画部４３が行うオブジェクト（矢印図形４００）の描画処理を説明する図である。
【０１７８】
まず、描画部４３は、相対座標系記憶部２０２に記憶されている矢印図形４００の位置情報（図１０の「Ｘ２１、Ｙ２１、Ｚ２１／Ｄ１」）に基づいて、仮想アンカー４０１の位置を特定する。そして、描画部４３は、視点の位置情報（図１０の「Ｘ０１、Ｙ０１、Ｚ０１／Ｄ１」）に基づいて、視点Ｖの位置を特定する。これにより、描画部４３は、視点Ｖから仮想アンカー４０１へと延びる方向ベクトル４０２を特定する。
【０１７９】
続いて、描画部４３は、取得オブジェクト記憶部２０３より、図４に示す矢印図形４００の２Ｄデータを取得する。さらに、特定した仮想アンカー４０１の位置を基準とし、方向ベクトル４０２を軸とした回転方向の位置を、基準ベクトル（図１０の「Ｘ４１、Ｙ４１、Ｚ４１／Ｄ１」）に基づいて特定する。本実施形態では、基準ベクトルは、３Ｄサーバ１が管理する絶対座標系Ｇにおける鉛直ベクトルである。これにより、描画部４３が最終的に描画すべき矢印図形４００の位置、向きなどが全て決定される。この決定された位置および向きにしたがって、描画部４３は矢印図形４００を描画する。このとき、矢印図形４００を描画する平面を、常に方向ベクトル４０２に垂直な平面として定義することが好ましい。これにより、平面図形である矢印図形４００の描画結果を、常にユーザに対して正対した状態に維持することが可能となる。
【０１８０】
最後に、描画部４３は、仮想空間上に描画した矢印図形４００を、視点Ｖを基準にして第１表示部１１に投影して、第１表示部１１出力用の投影矢印図形５００を描画する。具体的には例えば、視点Ｖおよび矢印図形４００の頂点の各々（仮想アンカー４０１など）とを結ぶ直線を定義し、それらの直線と第１表示部１１の平面との交点（投影アンカー５０１など）を結べば、第１表示部１１上に描画すべき投影矢印図形５００の形状が定義される。
【０１８１】
上述の説明では、描画部４３は、仮想アンカー４０１の位置を、３Ｄサーバ１から取得した相対座標系Ｄ１における位置情報に基づき特定するものとしたが、これに限定されない。仮想アンカー４０１の位置を特定する方法として、以下の方法を用いてもよい。
【０１８２】
この方法では、相対座標取得部４１は、３Ｄサーバ１から、相対座標系Ｄ１における視点Ｖの位置情報と、方向ベクトル４０２とを取得する。そして、描画部４３は、方向ベクトル４０２における、視点Ｖから固定の距離ｃに基づいて仮想アンカー４０１の位置を特定することができる。本実施形態では、上記固定の距離ｃは、あらかじめ各画像処理装置、３Ｄサーバ１の各記憶部において、プログラム内に定数として定義されているものとするが、これに限定されず、初期化時に別の値を３Ｄサーバ１に入力し、各画像処理装置に送信することも可能である。
【０１８３】
描画部４３は、視点Ｖおよびオブジェクトの第１表示部１１との位置関係を把握することによって、オブジェクトを適切に投影表示させることができるので、オブジェクトの位置を正確に特定できる方法であれば、どのような情報を用いて特定しても構わない。
【０１８４】
上述のようにして各表示部に投影表示されたオブジェクトは、入力部１４およびマウス１５を操作して、表示部間を移動させることが可能である。入力部１４が操作され、オブジェクトを移動させる指示信号が入力されると、当該指示信号は、３Ｄサーバ１に伝達され、３Ｄサーバ１がオブジェクトを移動させる処理を実行し、その実行結果がデスクトップパソコン２に再び供給され、オブジェクトの移動が実現する。
【０１８５】
入力制御部４５は、入力部１４（またはマウス１５）のユーザＵによる操作によってデスクトップパソコン２に入力される指示信号を取得するものである。入力制御部４５が取得した指示信号は、画面座標生成部４６に伝達される。
【０１８６】
画面座標生成部４６は、入力制御部４５が取得した指示信号に基づいて、画面座標を生成するものである。画面座標とは、表示部の画面の左上端を原点としてＸ、Ｙの値で表される２次元の座標系のことである。
【０１８７】
具体的には、入力部１４がマウスで実現されている場合に、ユーザＵが入力部１４を動かしたときのポインタカーソルの移動量や、入力部１４をクリックしたときのポインタカーソルの位置情報（すなわち、画面座標系におけるＸ、Ｙ座標値）などを生成する。
【０１８８】
画面座標生成部４６が生成した、移動量や位置情報は、通信部２０１を介して３Ｄサーバ１に送信される。
【０１８９】
上記構成によれば、デスクトップパソコン２は、自装置が表示中のオブジェクトに対して操作がなされた場合に、入力部１４の移動量やクリック位置などの入力情報を２Ｄの画面座標値で３Ｄサーバ１に送信する。３Ｄサーバ１は、ユーザＵの視点Ｖと、オブジェクト（矢印図形４００）と、各表示部との位置関係を一元的に管理するものである。３Ｄサーバ１は、デスクトップパソコン２から取得した入力部１４の入力情報に基づいて、オブジェクトの仮想空間位置を更新し、新しいエンティティ情報（少なくとも更新後のオブジェクトおよび視点Ｖの位置情報）を生成する。
【０１９０】
デスクトップパソコン２は、新たなエンティティ情報に含まれる、ユーザＵの視点Ｖと、オブジェクトと、自装置が制御する第１表示部１１との位置関係にしたがって、オブジェクトを再描画し、第１表示部１１に投影表示する。
【０１９１】
結果として、ユーザの目には、オブジェクトが表示部間をシームレスに移動するように見える。さらに、ユーザ視点が考慮されているので、複数の表示部をまたいで移動する間もオブジェクトはユーザに正対して表示されている。
【０１９２】
このように、複数の表示部を備える会議システム１００において、１つの情報（表示対象のオブジェクト）を複数の表示部で共有する場合に、オブジェクトを空間的にシームレスに移動させることができる。これにより、ユーザの視認性を向上させることが可能となる。
【０１９３】
〔会議システムの処理フロー〕
図１２は、本発明の実施形態における会議システム１００の各装置の処理の流れを示すシーケンス図である。ここでは、ノートパソコン３の第３表示部１３に表示されている矢印図形４００を、ユーザＵがマウス１５を用いて移動させた場合を例に挙げて、各装置の動作を説明する。
【０１９４】
ユーザＵによって、マウス１５が操作され、第３表示部１３に表示中の矢印図形４００が移動させられると、マウス１５から矢印図形４００の移動を指示する指示信号が制御部３０の入力制御部４５に入力される。
【０１９５】
入力制御部４５が、矢印図形４００の移動指示の入力を受け付けると（Ｓ１においてＹＥＳ）、画面座標生成部４６は、矢印図形４００の移動量を示す画面座標値を生成する（Ｓ２）。画面座標は、３Ｄサーバ１宛てに送信される。
【０１９６】
３Ｄサーバ１の画面座標取得部２１は、ノートパソコン３から受信した画面座標を取得する（Ｓ３）。
【０１９７】
続いて、絶対座標取得部２２は、画面座標取得部２１が取得した画面座標によるオブジェクトの画面座標値（移動量）を、仮想球にしたがって、絶対座標系Ｇの絶対座標値（角度変化量）に変換する（Ｓ４）。そして、絶対座標取得部２２は、求めた角度変化量にしたがって、矢印図形４００の絶対座標系Ｇにおける位置を更新し、更新後の位置情報を絶対座標系記憶部１０２に記憶する。
【０１９８】
次に、仮想投影処理部２３は、絶対座標系記憶部１０２から取得した、矢印図形４００、ユーザ視点および表示部の位置情報に基づいて、投影処理を実行し、矢印図形４００が投影される表示部を特定する（Ｓ５）。そして、相対座標算出部２４は、特定された表示部ごとに、その表示部の相対座標系Ｄｎにおける各エンティティの位置情報（相対座標）を算出する（Ｓ６）。
【０１９９】
相対座標算出部２４が、特定されたすべての表示部について、相対座標を算出したら（Ｓ７においてＹＥＳ）、処理結果送信部２５は、各表示部に対応する相対座標系の位置情報および矢印図形４００の２Ｄデータを、処理結果として、各表示部を制御する画像処理装置の各制御部に送信する（Ｓ８）。
【０２００】
なお、処理結果の送信は、相対座標算出部２４が相対座標を算出する度に行ってもよいし、上述のように、すべての表示部についての相対座標を算出してから処理結果を順次送信しても構わない。
【０２０１】
ノートパソコン３の第３表示部１３に、移動後の矢印図形４００が投影表示される場合は、第３表示部１３の相対座標系Ｄ３における相対座標がノートパソコン３に供給される。ノートパソコン３の制御部３０の相対座標取得部４１は、相対座標を、オブジェクト取得部４２は、矢印図形４００の２Ｄデータを、それぞれ３Ｄサーバ１から取得する（Ｓ９）。
【０２０２】
そして、描画部４３は、オブジェクト取得部４２が取得した矢印図形４００のデータを、相対座標取得部４１が取得した３Ｄの位置情報に基づいて処理して、表示部出力用の２Ｄのデータを描画する（Ｓ１０）。
【０２０３】
表示制御部４４は、描画部４３が描画した表示部出力用の２Ｄのデータを表示部に出力して、投影矢印図形５００を表示する（Ｓ１１）。
【０２０４】
一方、デスクトップパソコン２の第１表示部１１に、移動後の矢印図形４００が投影表示される場合は、相対座標系Ｄ１における相対座標がデスクトップパソコン２に供給される。デスクトップパソコン２の制御部１０の各部は、上述したＳ９〜Ｓ１１と同様に、相対座標取得部４１が取得した相対座標にしたがって矢印図形４００を投影表示する（Ｓ１２〜Ｓ１４）。さらに、第２表示部１２に、矢印図形４００が投影表示される場合は、デスクトップパソコン２の制御部２０は、相対座標系Ｄ２における相対座標にしたがって、投影表示の処理を実行する（Ｓ１５〜Ｓ１７）。
【０２０５】
上記方法によれば、会議システム１００のクライアント装置である各画像処理装置にて入力される信号が２Ｄであっても、３Ｄサーバ１は、それを、仮想球を用いて３Ｄの情報に変換することができる。すなわち、表示部画面上でのオブジェクトの移動量を、３Ｄサーバ１が管理する空間上でのオブジェクトの角度変化量に変換することが可能となる。
【０２０６】
この角度変化量に基づいて更新されたオブジェクトの新しい位置情報は、当該オブジェクトを投影表示する表示部ごとの相対座標値に変換されて、各表示部を制御する各制御部に供給される。
【０２０７】
画像処理装置は、更新後の相対座標に基づいて、移動後のオブジェクトをユーザＵの視点Ｖの位置を考慮して表示することが可能となる。
【０２０８】
結果として、ユーザの目には、オブジェクトが表示部間をシームレスに移動するように見える。さらに、ユーザ視点が考慮されているので、複数の表示部をまたいで移動する間もオブジェクトはユーザに正対して表示されている。
【０２０９】
このように、複数の表示部を備える会議システム１００において、１つの情報（表示対象のオブジェクト）を複数の表示部で共有する場合に、オブジェクトを空間的にシームレスに移動させることができる。これにより、ユーザの視認性を向上させることが可能となる。
【０２１０】
本実施形態における３Ｄサーバ１において、上述の説明では、３Ｄサーバ１は算出した相対座標を１つの表示部（１つの画像処理装置）に供給する場合について述べたが、これに限定されない。オブジェクトが、複数の表示部にまたがって表示される場合には、当該複数の表示部それぞれの相対座標系Ｄｎにて算出されたエンティティ情報が、各々の表示部を制御する制御部に供給される。
【０２１１】
例えば、図１３に示すとおり、仮想投影処理部２３が投影処理を実行した結果、視点ＶとオブジェクトＯとの位置関係から、オブジェクトＯが、第３表示部１３と第２表示部１２との２つの表示部にまたがって投影表示されることが判明したとする。
【０２１２】
相対座標算出部２４は、相対座標系Ｄ３におけるオブジェクトＯの位置情報（＝アンカー４１１のＸ、Ｙ、Ｚ座標）と視点Ｖの位置情報とをオブジェクトＯのＩＤに関連付けたエンティティ情報を生成する。
【０２１３】
処理結果送信部２５は、オブジェクト記憶部１０３に記憶されているオブジェクトＯのデータと、相対座標算出部２４が生成したエンティティ情報とを、第３表示部１３を制御する制御部３０を備えたノートパソコン３に供給する。
【０２１４】
一方、相対座標算出部２４は、相対座標系Ｄ２におけるオブジェクトＯの位置情報と視点Ｖの位置情報とをオブジェクトＯのＩＤに関連付けたエンティティ情報を生成する。
【０２１５】
処理結果送信部２５は、オブジェクト記憶部１０３のオブジェクトＯのデータと、相対座標算出部２４が生成したエンティティ情報とを、第２表示部１２を制御する制御部２０を備えたデスクトップパソコン２に供給する。
【０２１６】
これにより、各画像処理装置、デスクトップパソコン２およびノートパソコン３は、各々が制御する第２表示部１２、第３表示部１３に、視点Ｖの位置に基づいてオブジェクトＯを投影表示する。
【０２１７】
したがって、ユーザＵの視点Ｖからは、オブジェクトＯが図１３に示す位置に存在するかのようにオブジェクトＯを視認することが可能となる。
【０２１８】
あるいは、図１４に示すとおり、オブジェクトＯが第１表示部１１および第２表示部１２にまたがって投影表示されることが仮想投影処理部２３によって判明した場合には、相対座標算出部２４は、相対座標系Ｄ１におけるエンティティ情報および相対座標系Ｄ２におけるエンティティ情報の２つを算出する。
【０２１９】
処理結果送信部２５は、オブジェクトＯのデータと両方のエンティティ情報をデスクトップパソコン２に供給する。この場合、各エンティティ情報には、どの表示部用のエンティティ情報であるのかをデスクトップパソコン２が識別できるように、表示部を識別する表示部ＩＤが含まれていてもよい。
【０２２０】
以上のとおり、オブジェクトが複数の表示部にまたがる場合には、３Ｄサーバ１は、オブジェクトの描画が必要なすべての表示部を検出し、その表示部の各々座標系でもって必要な情報を各画像処理装置に送信する。
【０２２１】
本実施形態における３Ｄサーバ１において、上述の説明では、絶対座標系記憶部１０２にて管理されるオブジェクトが１つである場合について述べたが、これに限定されない。３Ｄサーバ１は、図１４に示すとおり、絶対座標系Ｇにおいて、複数のオブジェクト（例えば、オブジェクトＯおよびオブジェクトＰ）を記憶し、その位置を管理することが可能である。
【０２２２】
≪実施形態２≫
上述の実施形態では、ユーザ操作に応じて、オブジェクトを空間的にシームレスに移動させるための会議システム１００について述べた。本実施形態では、ユーザＵの視点Ｖ、および、可動の表示部（第３表示部１３など）の実空間上の位置を動的に把握して、ユーザＵが動いたり、表示部を動かしたりしても、上記オブジェクトを常にユーザＵに正対して表示させるための会議システム１００について説明する。
【０２２３】
〔視点が動いた場合〕
図１５は、ユーザＵの視点Ｖが、Ｖ１の位置からＶ２の位置に移動した場合に、オブジェクトＯの投影表示結果が更新される様子を説明する図である。図１７は、視点Ｖが移動してからオブジェクトＯの投影表示結果が更新されるまでの各装置の処理の流れを示すシーケンス図である。
【０２２４】
ユーザの視点Ｖが図１５のＶ１からＶ２へ移動すると（図１７のＳ１８においてＹＥＳ）、センサＳｕから視点Ｖ２の位置情報が、３Ｄサーバ１に送信される（Ｓ１９）。これにより、３Ｄサーバ１の位置情報取得部２６は、視点Ｖの移動を検知する（Ｓ２０においてＹＥＳ）。位置情報取得部２６は、絶対座標系記憶部１０２に記憶されている、視点Ｖの位置情報を、取得した新しい位置情報に更新する（Ｓ２１）。
【０２２５】
図１５に示す例では、投影アンカー５０１は、第２表示部１２に固定されており、投影アンカー５０１の表示位置はそれを移動させる指示入力が行われない限り動かされない。したがって、仮想投影処理部２３は、視点Ｖの位置情報の更新に伴って、仮想空間にて管理されているオブジェクトＯの仮想アンカー４０１の仮想空間上の位置を更新する（Ｓ２２）。
【０２２６】
より詳細には、まず、仮想投影処理部２３は、Ｓ２１にて求めた更新後の視点Ｖ２と、投影アンカー５０１とを結ぶ直線を求める。視点Ｖ２から投影アンカー５０１へと延びる直線は方向ベクトルとして扱われてもよい。上記の直線上に、オブジェクトＯの仮想アンカー４０１の新しい位置が存在する。仮想投影処理部２３は、あらかじめ定められている視点Ｖから仮想アンカー４０１までの距離ｄに基づいて、上記新しい直線上の、新しい仮想アンカー４０１の位置情報を求める（図１５の仮想アンカー４０１’）。あらかじめ定められている距離ｄとは、視点Ｖが移動する前の視点Ｖ１と、オブジェクトＯの仮想アンカー４０１との間の距離ｄと同じである。仮想投影処理部２３は、絶対座標系記憶部１０２に記憶されているオブジェクトＯの仮想アンカー４０１の位置情報を、上記で求めた新しい仮想アンカー４０１’の位置情報に更新する。
【０２２７】
さらに、仮想投影処理部２３は、仮想アンカー４０１’を含むオブジェクトＯを視点Ｖ２に正対して表示させるために、オブジェクトＯを描画する仮想平面を新たに算出する。具体的には、上記仮想平面は、仮想アンカー４０１’を含み、かつ、移動後の視点Ｖ２と投影アンカー５０１とを結ぶ直線に対して垂直な面である。つまり、仮想平面は、仮想アンカー４０１’、および、投影アンカー５０１と視点Ｖ２とを結ぶ直線により定義される。
【０２２８】
上述したとおり、視点Ｖ２から仮想平面までの距離ｄは、視点Ｖの移動前と同じである。このため、オブジェクトの見かけの大きさは視点Ｖから表示部までの距離に依存せず、一定に保たれる。この距離ｄは、ユーザが任意に選択できるようにしてもよい。これにより、描画される見かけのオブジェクトサイズを変化させることができる。
【０２２９】
以上のとおり、仮想投影処理部２３は、視点Ｖの移動に応じて、各エンティティ（視点ＶおよびオブジェクトＯ）のエンティティ情報（特に、位置情報）の更新を行う。各エンティティのエンティティ情報が最新の状態に更新された後は、図１２に示すＳ５以降のステップが繰り返される。すなわち、各表示部の相対座標における、更新後のエンティティ情報が、画像処理装置に送信される。各画像処理装置は、３Ｄサーバ１から受信した更新後のエンティティ情報に基づいて、オブジェクトＯの投影表示を実行する。
【０２３０】
これにより、ユーザＵは、視点Ｖ２の位置から見て、オブジェクトＯを真正面から視認することが可能となる。
【０２３１】
〔表示部を動かした場合〕
図１６は、第３表示部１３を１３ａの位置から１３ｂの位置に移動させた場合に、オブジェクトＯの投影表示結果が更新される様子を説明する図である。図１８は、第３表示部１３が動かされてからオブジェクトＯの投影表示結果が更新されるまでの各装置の処理の流れを示すシーケンス図である。
【０２３２】
第３表示部１３が図１６の１３ａから１３ｂへ動かされると（図１８のＳ２３においてＹＥＳ）、センサＳｄから第３表示部１３の位置情報が、３Ｄサーバ１に送信される（Ｓ２４）。これにより、３Ｄサーバ１の位置情報取得部２６は、第３表示部１３の移動を検知する（Ｓ２５においてＹＥＳ）。位置情報取得部２６は、絶対座標系記憶部１０２に記憶されている、第３表示部１３の位置情報を、取得した新しい位置情報に更新する（Ｓ２６）。
【０２３３】
図１６に示す例では、投影アンカー５０１は、第３表示部１３に固定されている。したがって、第３表示部１３の移動に合わせて投影アンカー５０１が移動することになる。つまり、第３表示部１３の移動に伴って、投影アンカー５０１の位置情報を更新する必要がある。
【０２３４】
仮想投影処理部２３は、第３表示部１３の位置情報の更新に応じて、絶対座標系記憶部１０２に記憶されている第３表示部１３のエンティティ情報を参照し、第３表示部１３に固定されている投影アンカーの有無を判定する（Ｓ２７）。
【０２３５】
仮想投影処理部２３は、動かされた第３表示部１３には、オブジェクトＯの投影アンカー５０１が固定されていると判定すると（Ｓ２７においてＹＥＳ）、仮想投影処理部２３は、更新後の第３表示部１３の位置情報に合わせて、投影アンカー５０１の位置情報を更新する（Ｓ２８）（図１６において投影アンカー５０１’）。
【０２３６】
このようにして、新しい投影アンカー５０１’の位置情報および第３表示部１３の位置情報が求まると、仮想投影処理部２３は、視点Ｖから新しい投影アンカー５０１’へと延びる方向ベクトルを求め、上述したのと同様の方法で、この直線上に、オブジェクトＯの仮想空間上の新しい仮想アンカー４０１’を求め、オブジェクトＯを描画する仮想平面を求める（Ｓ２９）。
【０２３７】
ここでも、仮想平面は、上記方向ベクトルに対して垂直であり、かつ、視点Ｖから仮想平面までの距離ｄは、表示部の移動前のそれと同じに保たれる。したがって、表示部が動かされても、オブジェクトＯの見かけの大きさは一定に保たれ、かつ、オブジェクトＯは、視点Ｖからみて常に正対した状態で表示される。
【０２３８】
これにより、ユーザＵは、表示部が動かされても、オブジェクトＯを真正面から視認することが可能となる。
【０２３９】
なお、視点Ｖと投影アンカー５０１とを結ぶ直線（方向ベクトル）が、複数の表示部の面と交差する場合には、投影アンカー５０１を固定するべき表示部が複数存在することになる。そこで、本実施形態では、このような場合には、方向ベクトルと表示部の面との交点のうち、視点Ｖに最も近い交点を持つ表示部に投影アンカー５０１を固定させる。つまり、アンカーは、ユーザＵの最も手前に位置する表示部に固定させる。
【０２４０】
しかし、上述の構成に限定されない。投影アンカー５０１を固定するべき表示部が複数存在する場合に、例えば、いずれの表示部に固定させるべきかをユーザに問い合せて、ユーザに選択させ、その選択に基づいて、オブジェクトと表示部との対応関係を決定することが可能なユーザインターフェースを設けてもよい。
【０２４１】
以上のように、本発明の会議システム１００によれば、ユーザＵが動いて視点Ｖの位置が移動しても、第３表示部１３を動かしても、表示中のオブジェクトＯを常にユーザに正対して表示することができるとともに、ユーザＵや表示部の動きに合わせて、オブジェクトＯの映像に継ぎ目を生じさせることなく、空間的にシームレスにオブジェクトＯを表示させることが可能となる。
【０２４２】
≪実施形態３≫
上述の各実施形態では、一人のユーザの視点を考慮して、オブジェクトを表示する会議システム１００について述べた。本実施形態では、複数のユーザが利用するための会議システム１００について説明する。
【０２４３】
本実施形態では、複数のユーザが参加するために、ユーザの視点が複数管理される。管理される視点Ｖが複数ある場合、オブジェクトＯをどの視点Ｖに正対させればよいのか分らなくなるため、正対させるべき目標の視点Ｖをあらかじめ定めておく必要がある。すなわち、オブジェクトＯとユーザＵの視点Ｖとを紐付けて管理する必要がある。
【０２４４】
図１９（ａ）〜（ｃ）は、本発明の実施形態における３Ｄサーバ１が備える絶対座標系記憶部１０２に記憶されているエンティティ情報の具体例を示す図である。以下では、図５（ａ）〜（ｃ）に示すエンティティ情報と異なる点について説明する。
【０２４５】
図１９（ａ）は、ユーザＵの視点Ｖのエンティティ情報の他の具体例を示す図である。図１９（ａ）に示す例では、ＩＤが「０１」から「０４」までの４人のユーザの視点の位置情報が管理されている。管理するユーザ数は、４人より多くても構わないし、４人未満でも構わない。
【０２４６】
さらに、ユーザごとにテーマカラーを割り当てて管理しておいてもよい。このテーマカラーは、さまざまなオブジェクトを表示する際に、オブジェクトをユーザごとのテーマカラーで色分けして表示するのに用いる。これにより、そのオブジェクトがどのユーザの視点に合わせて表示されているのかを、ユーザが一目見て認識することが可能となる。
【０２４７】
図１９（ｃ）は、複数のオブジェクトのエンティティ情報の具体例を示す図である。図１９（ｃ）に示す例では、図１９（ａ）にて管理されている４人のユーザにそれぞれ対応付けられている４つの矢印図形４００（図４）、および、一人のユーザに対応付けられている矩形のウィンドウの５つのオブジェクトが管理されている。
【０２４８】
例えば、ＩＤ＝２１のオブジェクトにおいて、ユーザ＝「ＩＤ＝０１」は、当該オブジェクト（矢印図形）が、ＩＤ＝０１のユーザの視点Ｖと対応付けられていることを示す。したがって、ここでは、ＩＤ＝２１の矢印図形が表示部に表示される際には、当該矢印図形は、ＩＤ＝０１のユーザのテーマカラーである青色で表示されることになる。
【０２４９】
このように、オブジェクトＩＤとユーザＩＤとを対応付けて管理することにより、３Ｄサーバ１の仮想投影処理部２３は、オブジェクトの投影処理をどのユーザの視点に合わせて実行すべきかを把握することが可能となる。
【０２５０】
図２０は、色分けされたオブジェクトの表示例を示す図である。図２０に示すとおり、第１表示部１１には、ポインタカーソルである投影矢印図形５００と、元は矩形の投影ウィンドウ５１０とが投影表示されている。投影矢印図形５００は、図１９（ｃ）に示す、オブジェクトＩＤ＝２１の矢印図形を、ユーザＩＤ＝０１の視点Ｖに基づいて投影表示したものである。投影ウィンドウ５１０は、オブジェクトＩＤ＝２５の矩形図形を、ユーザＩＤ＝０１の視点Ｖに基づいて投影表示したものである。
【０２５１】
図１９（ａ）によれば、ユーザＩＤ＝０１は、青色に対応付けられている。したがって、投影矢印図形５００は、青色で表示される。これにより、投影矢印図形５００は、ユーザＩＤ＝０１のユーザに正対して表示されることが一目見て分るようになる。
【０２５２】
さらに、投影ウィンドウ５１０に、投影アンカー５１１およびユーザホイール５１２を付加して表示することが好ましい。ユーザホイール５１２は、投影ウィンドウ５１０が、どのユーザの視点Ｖに合わせて投影表示されているのかを示す図形である。投影ウィンドウ５１０の内容そのものの表示の妨げにならないように、投影アンカー５１１と同様に投影ウィンドウ５１０の端に表示することが好ましい。
【０２５３】
図２０に示す例では、ユーザホイール５１２は、投影アンカー５１１の周囲に配置され、円グラフのように各色の領域が確保されて、そのうちの１色の領域のみが明るい色で表示される。ここでは、青色が表示されている。これにより、投影ウィンドウ５１０が、青色を割り当てられたユーザ（ＩＤ＝０１）の視点Ｖを考慮して投影表示されたオブジェクトであるということが一目見て分るようになる。ただし、ユーザホイール５１２のデザインは図２０に示すものに限定されない。
【０２５４】
なお、オブジェクトやユーザホイール５１２に色をつける画像処理は、３Ｄサーバ１が行ってもよいし、画像処理装置が行ってもよい。画像処理装置が行う場合は、３Ｄサーバ１が、オブジェクトと色との対応関係を示す情報を画像処理装置に供給する。
【０２５５】
以上のように、３Ｄサーバ１が、オブジェクトのエンティティをユーザＵの視点Ｖのエンティティと対応付けて管理することにより、複数のユーザが参加可能な会議システム１００を実現することが可能となる。
【０２５６】
≪実施形態４≫
次に、上述した画像処理装置および３Ｄサーバ１に加えて、１または複数のアプリケーションを実行するアプリケーションサーバ４を備えた会議システム２００について説明する。本実施形態では、３Ｄサーバ１は、アプリケーションサーバ４が実行したアプリケーションの実行結果を表示するためのウィンドウ、および、ポインタカーソルとしての矢印図形をともにオブジェクトとして扱う。
【０２５７】
〔会議システムの概要〕
図２１は、本発明の実施形態における会議システム２００の概略構成を示すブロック図である。なお、図２１の各構成要素に付された符号は、図３の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素についての説明は繰り返さない。
【０２５８】
図２１に示す会議システム２００において、図３の会議システム１００と異なる点は、会議システム２００がアプリケーションサーバ４を備えている点である。
【０２５９】
アプリケーションサーバ４は、各種アプリケーションを実行するものであり、そのアプリケーション実行結果を、デスクトップパソコン２、ノートパソコン３の各画像処理装置に供給するものである。
【０２６０】
より詳細には、アプリケーションサーバ４は、画像処理装置の代わりに、会議システム２００にて利用するアプリケーション（例えば、表計算ソフト、文書編集ソフト、画像編集ソフト、プレゼンテーションソフトなど）を実行する。そして、アプリケーションサーバ４は、自身が出力するアプリケーション実行結果、すなわち、アプリケーション実行画面（ウィンドウ）を、画像データとして各画像処理装置に供給する。
【０２６１】
これにより、各画像処理装置は、アプリケーションサーバ４がアプリケーションを実行した結果であるウィンドウを画像データの形式で表示対象のオブジェクトとして取り扱うことが可能となる。したがって、上述の各実施形態と同様に、上記ウィンドウを複数の表示部をまたいでユーザに常に正対して表示させることができ、さらに、表示部をまたいでウィンドウを動かす場合も、ウィンドウを空間的にシームレスに移動させることが可能となる。したがって、アプリケーションのウィンドウを複数の表示部に表示する場合でも、ウィンドウ内の情報の視認性を向上させることが可能となる。
【０２６２】
さらに、アプリケーションサーバ４は、ウィンドウの表示位置を、アプリケーションサーバ４のデスクトップ画面の２次元座標系（以下、画面座標系Ａ）に基づいて管理している。アプリケーションサーバ４は、ウィンドウの位置情報を、画面座標系ＡにおけるＸ、Ｙの２次元座標情報として保持している。
【０２６３】
図２２は、アプリケーションサーバ４が管理する画面座標系Ａを示す図である。図２２に示す例では、画面座標系Ａにおいて２つのオブジェクトが管理されている。すなわち、アプリケーションサーバ４のデスクトップ画面６００には、表計算ソフトのウィンドウ６０１と、Ｗｅｂブラウザのウィンドウ６０２とが表示されている。
【０２６４】
上述の各実施形態では、各画像処理装置においてマウス１５などの入力装置が操作されると、ポインタカーソルの移動量やクリック位置を示す画面座標の位置情報が、各画像処理装置から３Ｄサーバ１に伝達されていた。
【０２６５】
本実施形態では、マウス１５の移動およびクリック操作の伝達について、矢印図形がウィンドウ上にある場合とない場合とで会議システム２００の各装置の動作が異なる。矢印図形がウィンドウ上にある場合は、移動やクリック操作などの矢印図形に対する全ての操作内容について、アプリケーションサーバ４に伝達される必要があるためである。
【０２６６】
矢印図形がウィンドウ上にない場合の矢印図形の移動は、上述した各実施形態と同様、画像処理装置と３Ｄサーバ１との間で実現する。一方、矢印図形が、ウィンドウ上にあるときにクリック操作（または、移動操作）が行われた場合は、クリック位置（または、移動量）を示す画面座標の位置情報（２次元）は、各画像処理装置から、３Ｄサーバ１を介して、アプリケーションサーバ４に伝達される。以下では、クリック操作が行われた場合のアプリケーションサーバ４への伝達手順について説明する。
【０２６７】
まず、マウス１５におけるクリックの指示信号と、クリックされた位置を示す画面座標における位置情報とが３Ｄサーバ１に伝達される。３Ｄサーバ１は、矢印図形とウィンドウとの仮想空間の絶対座標系Ｇにおける位置関係を把握しているので、ユーザＵの視点Ｖからみて、矢印図形がウィンドウ上にあるか否かを判定する。
【０２６８】
３Ｄサーバ１が、ウィンドウ上に矢印図形がある状態でクリックされたと判定した場合は、それは、アプリケーションに対してユーザが何らかの操作を行ったものと判断される。そして、３Ｄサーバ１は、矢印図形がウィンドウのどこに置かれている状態でクリックされたのかについて、アプリケーションサーバ４に伝達する必要がある。
【０２６９】
そこで、３Ｄサーバ１は、ウィンドウと、矢印図形との絶対座標系Ｇにおける位置関係に基づいて、矢印図形の画面座標系Ａにおける位置情報を算出し、クリック位置を示す、画面座標系Ａにおける矢印図形の画面座標をアプリケーションサーバ４に伝達する。
【０２７０】
アプリケーションサーバ４は、通常の情報処理装置と同様に、入力された指示信号に基づいて、マウス１５のクリック位置を検知し、当該指示信号に応じた処理を実行して、ウィンドウ内の実行結果を更新する。更新後のウィンドウの画像データは、アプリケーションサーバ４から各画像処理装置に供給される。
【０２７１】
上述の会議システム２００によれば、３Ｄサーバ１と各画像処理装置との間では、アプリケーションのウィンドウおよびポインタカーソルとしての矢印図形を画像データのオブジェクトとして扱うことができる。そして、上述の各実施形態と同様に、ウィンドウを複数の表示部間でシームレスに移動させて表示することができ、該ウィンドウをユーザＵの視点Ｖに対して常に正面になるように表示させることが可能となる。
【０２７２】
一方、ウィンドウ内に結果が表示されるアプリケーションの実行の動作は、アプリケーションサーバ４が担当し、実行結果は、画像データとして各画像処理装置に伝達される。このように、負荷の大きいオブジェクトの３Ｄ処理と、アプリケーション実行処理とを異なるサーバに分散させることによって、レスポンスタイムを短くしユーザのストレスを軽減して、通常１台のパソコンにてアプリケーションを実行するのと同様に本発明の会議システムを利用することが可能となる。
【０２７３】
すなわち、複数のアプリケーションを同時に実行しつつ、それらのウィンドウを空間的にシームレスに表示する場合でも、ユーザに待ち時間のストレスを与えることがなくなるので、本発明の会議システムの実用化を実現することが可能となる。
【０２７４】
なお、アプリケーションサーバ４が実行するアプリケーションの種類は上述した例に限定されない、例えば、メーラー、Ｗｅｂブラウザ、地図検索表示ソフト、映像・音楽などのメディアプレーヤーなど既存の各種アプリケーションを実行してもよい。
【０２７５】
また、アプリケーションサーバ４が一度に実行するアプリケーション数、つまり、デスクトップ画面に並べるウィンドウ数について、アプリケーションサーバ４が制御する表示部の仕様に合わせて適宜制限を設けておくことが好ましい。
【０２７６】
各画像処理装置の描画部４３が実際に描画するウィンドウは、アプリケーションサーバ４の表示部に表示されているウィンドウを画像データに変換したものである。すなわち、アプリケーションサーバ４に表示されているウィンドウの解像度が、描画部４３が描画するときのウィンドウの鮮明さに直接影響する。したがって、アプリケーションサーバ４が、制限なくいくつものアプリケーションを実行し、ウィンドウを表示すると、ウィンドウ１つあたりに割ける画素数は少なくなり、画像処理装置がウィンドウを表示するときには、十分な鮮明さが確保できない。
【０２７７】
そこで、各画像処理装置の描画部４３がウィンドウを各表示部に表示する際に、必要な鮮明さを損なわないように画素数を確保するために、アプリケーションサーバ４において一度に表示するウィンドウの数（例えば４つ）を制限しておく。これにより、画像処理装置に表示されるウィンドウの鮮明さを維持することが可能となる。
【０２７８】
さらに、アプリケーションを実行したり、ウィンドウを表示する必要がある場合には、他のアプリケーションサーバ４を増設し、アプリケーションの実行処理をさらに分散させればよい。このように、本発明の会議システム２００は、同時に実行するアプリケーション数（表示するウィンドウ数）に応じて、アプリケーションサーバ４を複数台含んでいてもよい。
【０２７９】
〔アプリケーションサーバの構成〕
図２３は、本発明の実施形態におけるアプリケーションサーバ４の要部構成を示すブロック図である。
【０２８０】
図２３に示すとおり、アプリケーションサーバ４は、制御部４０と、アプリケーション群１４０と、画面状態記憶部３０１と、画面画像記憶部３０２とを備える構成となっている。なお、ここに図示しないが、アプリケーションサーバ４は、３Ｄサーバ１、デスクトップパソコン２およびノートパソコン３の各装置と、通信網を介して情報の送受信を行う通信部を備えている。
【０２８１】
制御部４０は、アプリケーションサーバ４の各部を統括制御するものであり、機能ブロックとして、画面座標取得部６１、アプリケーション実行部６２、実行結果出力部６３および画面画像配信部６４を備えている。
【０２８２】
なお、上記機能ブロックとして示される各部は、ＣＰＵ（central processing unit）が不図示のＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。すなわち、上記各機能ブロックは、上記ＣＰＵが上記記憶装置に格納されたプログラムを実行し、図示しない入出力回路などの周辺回路を制御することによって実現されるものである。
【０２８３】
画面座標取得部６１は、３Ｄサーバ１から供給される、イベント発生通知およびイベント発生位置情報を取得するものである。イベントとは具体的には、アプリケーションサーバ４が実行しているアプリケーションの実行画面のウィンドウ上で、マウス１５などのクリック操作がユーザＵにより行われたことを指す。
【０２８４】
つまり、画面座標取得部６１は、自装置が実行中のアプリケーションのウィンドウ上で、クリック操作が行われた旨を示す情報と、クリック操作された位置を示す位置情報とを３Ｄサーバ１から取得する。このとき画面座標取得部６１が取得する位置情報は、アプリケーションサーバ４が管理する画面座標系Ａでのデスクトップ画面のＸ、Ｙ座標値である。画面座標取得部６１が取得した画面座標によって、アプリケーション実行部６２は、ウィンドウのどの位置がクリックされたのかを検知し、それに応じた処理を適切に実行することが可能となる。
【０２８５】
アプリケーション実行部６２は、画面座標取得部６１が取得する画面座標にしたがって、アプリケーション群１４０に含まれる各種アプリケーションを呼び出し、実行するものである。例えば、アプリケーション群１４０に含まれる、Ｗｅｂブラウザを起動して、Ｗｅｂサイトをウィンドウ内に表示させたり、表計算ソフトを起動して、計算結果や表等をウィンドウ内に表示させたりする。アプリケーション実行部６２の実行結果は、アプリケーションサーバ４の図示しない表示部に表示されてもよい。実行結果、すなわち、表示部に表示されるアプリケーションサーバ４のデスクトップ画面の状態は、画面状態記憶部３０１に記憶される。画面状態記憶部３０１に記憶されている画面状態に基づいて、アプリケーション実行部６２は、どのアプリケーションのウィンドウが、表示部のどの位置にどのサイズで表示されているのかなどを把握することができる。また、どのようなオブジェクトがどの領域に表示されているのかを把握することもできる。
【０２８６】
実行結果出力部６３は、アプリケーション実行部６２がアプリケーションを実行した結果が反映されたデスクトップ画面を画像データに変換するものである。実行結果出力部６３が変換したデスクトップ画面の画像データは、画面画像記憶部３０２に記憶される。
【０２８７】
画面画像配信部６４は、実行結果出力部６３が変換したデスクトップ画面の画像データを、デスクトップパソコン２やノートパソコン３の各画像処理装置に配信するものである。
【０２８８】
上記構成によれば、画像処理装置からの指示入力に応じて、アプリケーションサーバ４がアプリケーションの実行を代行することが可能となる。そして、アプリケーション実行結果は、画像データとして各画像処理装置にフィードバックされる。これにより、アプリケーション実行結果のウィンドウをオブジェクトとして取り扱うことが可能となる。
【０２８９】
以上のことから、アプリケーションサーバ４を導入すれば、上述の各実施形態と同様に、上記ウィンドウを複数の表示部をまたいでユーザに常に正対して表示させることができ、さらに、表示部をまたいでウィンドウを動かす場合も、ウィンドウを空間的にシームレスに移動させることが可能となる。したがって、アプリケーションのウィンドウを複数の表示部に表示する場合でも、ウィンドウ内の情報の視認性を向上させることが可能となる。その上、負荷のかかるアプリケーションの実行をアプリケーションサーバ４に分散させることが可能となる。
【０２９０】
〔３Ｄサーバの構成〕
図２４は、本発明の実施形態における３Ｄサーバ１の要部構成を示すブロック図である。なお、図２４の各構成要素に付された符号は、図１の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素についての説明は繰り返さない。
【０２９１】
本実施形態では、会議システム２００の各装置は、アプリケーション実行画面であるウィンドウと、矢印図形であるポインタカーソルとをオブジェクトとして取り扱う。
【０２９２】
図２４に示す３Ｄサーバ１において、図１の３Ｄサーバ１の構成と異なる点は、制御部１１０が機能ブロックとしての画面座標変換部２７および画面座標指定部２８を備えている点である。画面座標変換部２７、画面座標指定部２８の動作については後に詳述する。
【０２９３】
本実施形態では、仮想投影処理部２３は、絶対座標系記憶部１０２に記憶されている、ウィンドウのエンティティ情報に基づいて、絶対座標系Ｇの空間上に仮想ウィンドウを定義し、該仮想ウィンドウを会議システム２００の各表示部に投影する処理を行う。また、ポインタカーソルについても上述の各実施形態と同様に、仮想投影処理部２３が、絶対座標系記憶部１０２に記憶されているエンティティ情報に基づいて、仮想矢印図形（ポインタカーソル）を絶対座標系Ｇの空間上に定義して、各表示部に投影する。
【０２９４】
最後に、相対座標算出部２４は、視点Ｖの位置情報および仮想投影処理部２３が求めた仮想ウィンドウの位置情報を、仮想投影処理部２３が投影処理の結果特定した各表示部の相対座標系Ｄｎ上の座標値（３Ｄ）へ変換する。そして、相対座標算出部２４が変換した相対座標は、処理結果送信部２５によって、各画像処理装置に送信される。
【０２９５】
上述の各実施形態と同様、ウィンドウおよびポインタカーソルの面は、常にユーザＵ視点Ｖに正対して定義されるので、ユーザＵからウィンドウおよびポインタカーソルは、常に正面を向くようになっている。
【０２９６】
さらに、本実施形態では、画面座標指定部２８は、上記仮想ウィンドウの中身（画像データ）の画面座標系Ａにおける位置情報を絶対座標系記憶部１０２から取得して、それを、処理結果送信部２５を介して各画像処理装置に送信する。
【０２９７】
上記仮想ウィンドウの中身を含むアプリケーションサーバ４のデスクトップ画面の画像データは、アプリケーションサーバ４から画像処理装置へ直接供給されている。
【０２９８】
〔画像処理装置の構成〕
本実施形態における画像処理装置の構成を、図９を参照しながら以下に説明する。
【０２９９】
画像処理装置（例えば、デスクトップパソコン２）の相対座標取得部４１は、３Ｄサーバ１から供給される、ウィンドウの位置情報などを含んだ相対座標を取得するものである。相対座標取得部４１が取得したウィンドウの相対座標は、相対座標系記憶部２０２に記憶される。
【０３００】
オブジェクト取得部４２は、３Ｄサーバ１からは、仮想ウィンドウの中身（画像データ）の画面座標系Ａにおける位置情報を取得し、アプリケーションサーバ４から、デスクトップ画面の画像データを取得するものである。
【０３０１】
オブジェクト取得部４２が取得した、仮想ウィンドウの画面座標系Ａにおける位置情報は、相対座標系記憶部２０２にてウィンドウに関連付けて記憶される。オブジェクト取得部４２がアプリケーションサーバ４から取得したデスクトップ画面の画像は、取得オブジェクト記憶部２０３に記憶される。
【０３０２】
描画部４３は、ウィンドウの仮想空間位置に基づいて、アプリケーションサーバ４から取得したウィンドウの画像データを描画し、表示部に投影表示するものである。より具体的には、描画部４３は、３Ｄサーバ１から取得した画面座標系Ａにおける仮想ウィンドウの中身の位置情報に基づいて、アプリケーションサーバ４から取得したデスクトップ画面の画像データから、仮想ウィンドウの中身を示す画像領域を切り取り、これを、相対座標取得部４１が取得した、ウィンドウの位置情報（相対座標）が示す位置に描画して、表示部に投影表示する。
【０３０３】
〔エンティティ情報のデータ構造〕
図２５は、本実施形態における３Ｄサーバ１がエンティティごとに保持するエンティティ情報のデータ構造を示す図である。エンティティ情報は、絶対座標系記憶部１０２に記憶されている。
【０３０４】
エンティティ「ユーザ視点」のエンティティ情報は、ユーザごとに作成され、保持される。項目「ＩＤ」には、ユーザ（の視点）を一意に識別する識別情報が格納される。項目「視点位置情報」には、ユーザの視点Ｖの絶対座標系ＧにおけるＸ、Ｙ、Ｚ座標値が格納される。この視点位置情報は、センサＳｕから取得される。
【０３０５】
エンティティ「表示部」のエンティティ情報は、表示部ごとに作成され、保持される。本実施形態では、会議システム２００は、第１表示部１１、第２表示部１２、および、第３表示部１３の３つの表示部を備えているので、３つのエンティティ情報が作成される。
【０３０６】
項目「ＩＤ」には、各表示部を一意に識別する識別情報が格納される。項目「アンカー位置、向き」には、表示部の左上端の位置情報と、表示部の向き（ベクトル情報）とが格納される。これらは、絶対座標系ＧにおけるＸ、Ｙ、Ｚ座標値で表される。位置情報は、固定の表示部の場合は、初期化時に入力される。可動の表示部の場合は、センサＳｄから取得される。項目「サイズ」には、各表示部の大きさを示す情報（縦横の長さ、対角線のインチ数など）が格納される。
【０３０７】
エンティティ「ウィンドウ」のエンティティ情報は、アプリケーションサーバ４がアプリケーションを実行し、表示しているウィンドウの数だけ作成され、保持される。図２２に示す例では、アプリケーションサーバ４では、ウィンドウ６０１とウィンドウ６０２の２つのウィンドウが表示されているので、２つのエンティティ情報が作成される。
【０３０８】
項目「ＩＤ」には、各ウィンドウを一意に識別する識別情報が格納される。項目「実行結果表示領域位置情報（画面座標系Ａ）」には、当該ウィンドウにはめ込まれる、アプリケーション実行画面の画像データが、アプリケーションサーバ４のデスクトップ画面のどの領域であるのかを特定するための位置情報が格納される。この位置情報は、画面座標系ＡにおけるＸ、Ｙ座標値で表される。項目「アンカー位置」は、当該ウィンドウのアンカー（ここでは、ウィンドウの左上端）が、どの表示部に固定されているのかを示す情報、および、その表示部のどの位置に固定されているのかを示す位置情報が格納される。例えば、アンカーが第２表示部１２に固定されている場合には、相対座標系Ｄ２におけるＸ、Ｙ座標値が格納される。項目「視点−仮想球面の距離」には、絶対座標系Ｇにおいて視点Ｖを中心として定義される仮想球の半径ｒ（図７参照）が格納される。項目「優先順位」には、複数のウィンドウが絶対座標系Ｇにて管理されている場合に、どのウィンドウを視点Ｖの最も手前に表示するのか、その表示順を定めた情報が格納される。項目「フレーム形状」には、ウィンドウの外枠に表示されるアイコンバーおよびフレームの幅や形状などを特定する情報が格納される。項目「所有者、モード」には、ウィンドウの所有者、つまり、どのユーザの視点Ｖに対応付けられているかを示す情報が格納される。あるいは、ウィンドウのモードを示す情報が格納される。ウィンドウのモードを示す情報には、例えば、ウィンドウの所有者以外のユーザが当該ウィンドウを操作できるモードであるか否かなど、ウィンドウの状態を示す情報が含まれる。
【０３０９】
エンティティ「ポインタカーソル」のエンティティ情報は、ポインタカーソルの数だけ作成され、保持される。本実施形態では、会議システム２００に含まれている画像処理装置の数と合わせてポインタカーソルが作成され管理されている。会議システム２００は、デスクトップパソコン２とノートパソコン３の２台が設けられているので、２つのポインタカーソルが３Ｄサーバ１によって管理される。よって、２つのポインタカーソルのエンティティ情報が作成される。
【０３１０】
項目「ＩＤ」には、各ポインタカーソルを一意に識別する識別情報が格納される。項目「アンカー位置」には、ポインタカーソルとしての矢印図形のアンカー（図４の仮想アンカー４０１）が、どの表示部に固定されているのかを示す情報、および、その表示部のどの位置に固定されているのかを示す位置情報が格納される。項目「視点−アンカーのベクトル」には、視点Ｖからポインタカーソルのアンカーへの直線を絶対座標系Ｇにおいて定義するための位置情報が格納される。項目「状態」には、ポインタカーソルの色、形状などの情報が格納されている。
【０３１１】
図２６は、本実施形態における画像処理装置がエンティティごとに３Ｄサーバ１から取得し、保持するエンティティ情報のデータ構造を示す図である。エンティティ情報は、各画像処理装置の相対座標系記憶部２０２に記憶されている。各エンティティのエンティティ情報において、項目名が、図２５に示すエンティティ情報と同じものは、同じ情報を示しているのでここでは説明を繰り返さない。
【０３１２】
エンティティ「ウィンドウ」のエンティティ情報は、ウィンドウごとおよび表示部ごとに３Ｄサーバ１より取得され、保持される。項目「視点位置情報」には、当該ウィンドウに対応付けられているユーザＵの視点Ｖの位置情報が格納される。この位置情報は、相対座標系ＤｎにおけるＸ、Ｙ、Ｚ座標値で表される。項目「ウィンドウ頂点位置情報」には、当該ウィンドウのアンカーを含む各頂点の位置情報が格納される。本実施形態では、ウィンドウは四角形の形状を有しているので、左上端のアンカーを含め４つの頂点の位置情報が、相対座標系ＤｎにおけるＸ、Ｙ、Ｚ座標値で格納される。
【０３１３】
エンティティ「ポインタカーソル」のエンティティ情報は、ウィンドウごとおよび表示部ごとに３Ｄサーバ１より取得され、保持される。項目「視点位置情報」には、当該ポインタカーソルに対応付けられているユーザＵの視点Ｖの位置情報が格納される。項目「視点−ポインタカーソルの距離」には、ユーザＵの視点Ｖと、３Ｄサーバ１が定義した仮想ポインタカーソルのアンカーとの間の距離が格納される。項目「形状」には、ポインタカーソルの形状を定義する情報が格納される（例えば、図４の矢印図形４００など）。項目「視点-アンカーのベクトル」には、３Ｄサーバ１が求めた、ポインタカーソルをそこに描画するための仮想平面を特定する情報が格納される。これは、相対座標系Ｄｎの座標値にて表される。項目「鉛直ベクトル」には、絶対座標系Ｇにおける鉛直ベクトルを、相対座標系Ｄｎの座標値に変換した値が格納される。
【０３１４】
上述したエンティティ情報を送受信することにより、会議システム２００の各装置は、ウィンドウおよびポインタカーソルを、複数の表示部をまたがって移動させたり、常にユーザに正対して表示させることを実現する。
【０３１５】
以下では、まず、図２２に示すウィンドウ６０２を、第２表示部１２に投影表示するまでの各装置の動作をさらに詳細に説明し、次に、ポインタカーソルがウィンドウ６０２上にある場合に、マウスがクリックされたときの各装置の動作を詳細に説明する。
【０３１６】
〔ウィンドウの描画および投影〕
図２７は、３Ｄサーバ１の仮想投影処理部２３が、ユーザＵの視点Ｖと、ウィンドウのアンカー位置とに基づいて行う、絶対座標系Ｇにおけるウィンドウの投影を説明する図である。
【０３１７】
図２７に示すとおり、まず、３Ｄサーバ１の位置情報取得部２６は、ユーザＵの視点Ｖの絶対座標系Ｇにおける位置情報をセンサＳｕから取得する。ここで、第３表示部１３の位置情報をセンサＳｄから取得してもよい。さらに、固定の第１表示部１１および第２表示部１２の位置情報は、あらかじめ初期化時に絶対座標系記憶部１０２に記憶されている。各表示部のサイズもあらかじめ初期化時に入力されており、３Ｄサーバ１は、絶対座標系Ｇにおいて、ユーザＵの視点Ｖの位置および全ての表示部の各頂点位置を常に保持することが可能となる。また、３Ｄサーバ１は、オブジェクトであるウィンドウの左上端をいずれかの表示部に固定された投影アンカーの位置情報を、当該表示部の相対座標系Ｄｎにて保持している。
【０３１８】
図２２のウィンドウ６０２を仮想空間に定義する際、まず、仮想投影処理部２３は、図２７に示すとおり、ウィンドウ６０２の投影アンカー６０５と視点Ｖとを結ぶ直線６０６を求め、視点Ｖから距離ｄの位置に直線６０６と垂直な仮想平面を定義する。なお、仮想投影処理部２３は、投影アンカー６０５の位置情報と視点Ｖの位置情報とを、絶対座標系記憶部１０２に記憶されているそれぞれのエンティティ情報から取得する。
【０３１９】
そして、仮想投影処理部２３は、直線６０６と上記仮想平面の交点を左上端（仮想アンカー６０５’）とした仮想ウィンドウ６０２’を定義する。より具体的には、仮想投影処理部２３は、仮想ウィンドウ６０２’の横方向を、定義した仮想平面上の水平方向とし、縦方向を、鉛直軸を上記仮想平面に投影した方向として、初期化時に入力されたウィンドウ６０２のサイズから、仮想アンカー６０５’以外の残りの頂点位置を算出する。
【０３２０】
次に、仮想投影処理部２３は、視点Ｖから仮想ウィンドウ６０２’の各頂点を結ぶ直線を延長し、第２表示部１２との交差判定を行うことにより、仮想ウィンドウ６０２’が投影される表示部を特定する。
【０３２１】
最後に、相対座標算出部２４は、視点Ｖの位置情報および仮想投影処理部２３が求めた仮想ウィンドウ６０２’の各頂点の位置情報を、仮想投影処理部２３が特定した各表示部の相対座標系Ｄｎ上の座標値（３Ｄ）へ変換する。そして、処理結果送信部２５が、通信部１０１を介して、各表示部を制御する画像処理装置（デスクトップパソコン２、ノートパソコン３）へ送信する。
【０３２２】
これにより、各画像処理装置は、オブジェクト（ウィンドウ）と、自装置が制御する表示部との位置関係を把握することが可能となり、ウィンドウの投影表示処理を適切に行うことが可能となる。これにより、ウィンドウを常にユーザＵに正対して表示させることが可能となる。
【０３２３】
図２８（ａ）、（ｂ）は、画像処理装置の描画部４３が、３Ｄサーバ１から取得したエンティティ情報とアプリケーションサーバ４から取得した画像データとを用いて行うウィンドウの描画および投影を説明する図である。
【０３２４】
まず、画像処理装置の相対座標取得部４１は、図２６に示す、仮想ウィンドウ６０２’についてのエンティティ情報を３Ｄサーバ１から取得する。オブジェクト取得部４２は、画面座標系Ａを有する、アプリケーションサーバ４のデスクトップ画面の画像データをアプリケーションサーバ４から取得する。そして、描画部４３は、仮想ウィンドウ６０２’のエンティティ情報および画像データに基づいてウィンドウを表示部に投影表示する。
【０３２５】
描画部４３は、取得された仮想ウィンドウ６０２’のエンティティ情報（図２６の項目「ウィンドウ頂点位置情報」）に格納されている、ウィンドウのアンカーを含む各頂点の位置情報）に基づいて、図２８（ａ）に示すとおり、相対座標系Ｄｎにおけるウィンドウの仮想空間位置（仮想ウィンドウ６０２’）を定義する。
【０３２６】
続いて、描画部４３は、定義した仮想ウィンドウ６０２’にはめ込む画像を描画する。本実施形態では、ウィンドウは、次の３つの部分より形成されている。すなわち、図２８（ｂ）に示すとおり、ウィンドウ上端は、アイコンバー６２０、ウィンドウ周囲は、フレーム６２１、そしてその内側は、実行結果表示領域６２２として確保されている。実行結果表示領域６２２に埋め込む画像は、描画部４３が、取得オブジェクト記憶部２０３に記憶されているデスクトップ画面６００（図２２）の画像データから、実行結果画像６２３を切り出したものが用いられる。なお、本実施形態では、アイコンバー６２０、フレーム６２１の幅は、図２６に示す項目「フレーム形状」に格納されているデータに基づいて、システム全体で共通して一定とする。
【０３２７】
なお、ウィンドウの設計は、図２８（ｂ）の例に限定されず、会議システム２００の目的・用途に応じて、ユーザの利便性・操作性を考慮し、適宜設計されるものである。
【０３２８】
描画部４３は、アプリケーションサーバ４のデスクトップ画面６００の一部分を上記定義した仮想ウィンドウ６０２’の実行結果表示領域６２２に対応付ける。仮想ウィンドウに対応付けられる、実行結果画像６２３の位置情報（画面座標系ＡにおけるＸ、Ｙ座標値で表される）は、初期化時に各ウィンドウに対応付けて３Ｄサーバ１に設定されている。そして、３Ｄサーバ１の画面座標指定部２８によって、上記位置情報は、図２６に示すように、ウィンドウＩＤに関連付けて、３Ｄサーバ１から画像処理装置に必要に応じて供給されている。
【０３２９】
こうして、仮想ウィンドウ６０２’の仮想空間位置、および、当該仮想ウィンドウ６０２’の内容（画像データ）が描画されると、次に、描画部４３は、視点Ｖのエンティティ情報（位置情報）を用いて仮想ウィンドウ６０２’を、表示部（ここでは、第２表示部１２）上に投影する。表示制御部４４は、描画部４３の投影結果を、第２表示部１２に描画する。上述の一連の投影処理および描画処理は、例えば、OpenGLを用いて行われるが、これに限定されない。
【０３３０】
なお、描画される複数のウィンドウが、視点Ｖから見て重複する場合には、仮想ウィンドウ６０２’の相対座標系Ｄｎにおける３次元位置関係とは無関係に、優先順位を各ウィンドウに付与して描画順を決定してもよい。すなわち、優先順位の高いウィンドウほど視点Ｖからみて手前に表示されるように描画部４３は描画する。上記優先順位は、図２５に示すとおり、３Ｄサーバ１がウィンドウごとに保持しており、必要に応じて、図２６に示すとおり、各画像処理装置に供給されている。これにより、マウスなどでクリックされたウィンドウをアクティブなウィンドウとして優先的に手前に表示することなどが可能となる。
【０３３１】
また、図１３、図１４に示すとおり、オブジェクトであるウィンドウが複数の表示部にまたがる場合、３Ｄサーバ１は、描画が必要な全ての表示部を検出し、検出した表示部を制御する各画像処理装置に上記ウィンドウのエンティティ情報を送信する。
【０３３２】
〔ウィンドウの移動〕
ユーザＵの視点Ｖが移動した場合の各装置の動作は、上述した≪実施形態２≫と同様である。３Ｄサーバ１の位置情報取得部２６は、センサＳｕからこれを検知する。このとき、視点Ｖの移動に応じて、仮想ウィンドウの頂点座標が変化する。
【０３３３】
≪実施形態２≫にて、図１５を参照して既に述べたとおり、ウィンドウの投影アンカー５０１の位置は表示部に固定されている。３Ｄサーバ１の仮想投影処理部２３は、投影アンカー５０１の位置情報と、更新後のユーザＵの視点Ｖの位置情報とに基づいて、新たな仮想平面を算出する。ここで、視点Ｖから仮想平面までの距離ｄは、あらかじめ定められた一定の値が３Ｄサーバ１にて保持されている。このため、ウィンドウの見かけの大きさは視点Ｖから表示部までの距離に依存せず、一定に保たれる。また、ユーザＵからの指示入力に応じて、距離ｄの値を変化させることで、描画されるウィンドウの見かけのサイズを変化させることが可能である。
【０３３４】
なお、ウィンドウの投影アンカー５０１が、図１６に示すように、第３表示部１３などの可動な表示部に固定されている場合には、表示部の動きに合わせて、ウィンドウのアンカー（すなわち、ウィンドウ自体）が移動する。図１６に示すように、ウィンドウの左上端の投影アンカー５０１は、第３表示部１３と、第２表示部１２との両方の表示部上に存在し得る。しかし、ウィンドウの投影アンカー５０１は視点から最も近い表示部（図１６に示す例では、第３表示部１３）上にあるものとして、３Ｄサーバ１では処理される。
【０３３５】
〔ポインタカーソルの描画と移動〕
ポインタカーソルを描画する際の各装置の動作について、再び図６〜図８を参照しながら説明する。ポインタカーソルの描画、投影表示を各画像処理装置にて実現するために、３Ｄサーバ１（図２４）の仮想投影処理部２３および相対座標算出部２４は、ユーザＵの視点Ｖの位置情報と、視点Ｖから投影アンカー５０１への方向ベクトル４０２と、絶対座標系Ｇにおける鉛直方向ベクトルとを、相対座標系Ｄｎでの値に変換し、各画像処理装置へ転送する。
【０３３６】
画像処理装置（図９）の描画部４３は、受信した視点Ｖの位置情報と、方向ベクトル４０２と、あらかじめ定められている固定の距離ｃとに基づいて、仮想ポインタカーソル（矢印図形４００）を定義する。仮想ポインタカーソルの各頂点座標は、方向ベクトル４０２に垂直な平面上に、鉛直方向ベクトルを基準にして固定の形状およびサイズで描画部４３によって算出される。そして、描画部４３は、算出した仮想ポインタカーソルを表示部に投影し、表示制御部４４が投影結果を表示部に表示する。 
【０３３７】
ユーザＵがマウス１５などを用いて、画像処理装置上でポインタカーソルを移動させた際には、画像処理装置の入力制御部４５および画面座標生成部４６がポインタカーソルの移動量（ｃｘ、ｃｙ）を、そのまま３Ｄサーバ１へと転送する。
【０３３８】
これを受信した３Ｄサーバ１の絶対座標取得部２２は、図７に示すとおり、視点Ｖを中心に仮想球４０３を定義する。そして、移動量ｃｘおよびｃｙを仮想球４０３の緯度方向および経度方向への角度変化量へと変換し、図８に示すとおり、視点Ｖを中心に方向ベクトル４０２を回転させ（方向ベクトル４０２’へ）、ポインタカーソルのアンカー位置を、投影アンカー５０１から５０１’へと更新する。
【０３３９】
ユーザＵの視点Ｖおよび表示部が移動した際の、ポインタカーソルの移動の仕組みはウィンドウの移動と同様である。ただし、マウス１５の操作によって、ポインタカーソルが表示部の外に出た場合は、ポインタカーソルのアンカーが存在しない状態となる（図８の方向ベクトル４０２”参照）。この場合は、３Ｄサーバ１は、視点Ｖの位置からポインタカーソルに対する方向ベクトル４０２”をアンカー位置の代わりに保存し、この状態で視点Ｖが移動しても、３Ｄサーバ１は、方向ベクトル４０２”の向きを更新しない。ただし、マウス１５などの入力に対しては、アンカーが表示部に存在するときと同様に、方向ベクトル４０２”を回転させる。そして、仮想投影処理部２３は、視点Ｖの位置から方向ベクトル４０２を延長した直線と、いずれかの表示部が交差した場合に、その交点においてポインタカーソルのアンカーを再び生成する。
【０３４０】
〔ポインタカーソルに係るイベント処理〕
本実施形態にかかる会議システム２００において、ポインタカーソルもウィンドウと同様にアンカーが定められており、３Ｄサーバ１がそのアンカー位置を管理している。なお、ポインタカーソルの画像は、上述の各実施形態と同様に、３Ｄサーバ１から供給されてもよいし、アプリケーションサーバ４から供給されてもよいし、あるいは、他の記憶装置から画像処理装置が取得してもよい。
【０３４１】
本実施形態では、上記ポインタカーソルを、各画像処理装置が備える入力部１４（マウス１５）を用いてユーザＵが操作することによって、ユーザＵは、アプリケーションサーバ４が実行する各種アプリケーションを利用することが可能となる。
【０３４２】
以下では、図２４および図２９を参照して、ユーザＵが、マウス１５をクリック操作したときの、会議システム２００の各装置の動作について説明する。
【０３４３】
図２９は、３Ｄサーバ１における、ポインタカーソルがウィンドウ上にあるか否かを判定する動作を説明する図である。
【０３４４】
図２４に示すとおり、本実施形態では、３Ｄサーバ１は、さらに、画面座標変換部２７を備える構成となっている。画面座標変換部２７は、画像処理装置が表示するウィンドウ上で、入力部１４（マウス１５）などのクリック操作のイベントが発生した場合に、そのイベントが発生したポイントの位置情報を、アプリケーションサーバ４が理解可能な画面座標系ＡのＸ、Ｙ座標値で表される位置情報に変換するものである。
【０３４５】
各画像処理装置において、入力部１４（マウス１５）のクリック操作がユーザＵにより行われてイベントが発生すると、まず、画面座標取得部２１は、イベント発生通知およびイベント発生位置情報を画像処理装置から取得する。イベントが発生した位置の位置情報は、当該画像処理装置が制御する表示部における相対座標系ＤｎのＸ、Ｙ座標値で表される。
【０３４６】
続いて、仮想投影処理部２３は、ユーザＵの視点Ｖの位置と、定義した仮想ウィンドウ６０２’の位置と、ポインタカーソルのアンカー位置とを考慮して、ポインタカーソル（のアンカー）が、ウィンドウに重なっているか否かを判定する。具体的には、仮想投影処理部２３は、視点Ｖからポインタカーソルのアンカー６０４へのベクトル６０７を特定し、ベクトル６０７と仮想ウィンドウ６０２’とで交点、つまり、仮想アンカー６０４’が形成されるか否かを判定する。
【０３４７】
仮想ウィンドウ６０２’上に、仮想アンカー６０４’が形成されると判断した場合には、仮想投影処理部２３は、さらに、図２８（ｂ）に示すウィンドウの領域（アイコンバー６２０、フレーム６２１、実行結果表示領域６２２）のうち、いずれに交点（仮想アンカー６０４’）があるのかを判定する。
【０３４８】
仮想投影処理部２３は、さらに、仮想アンカー６０４’が、アイコンバー６２０上にあると判定した場合には、アイコンバー６２０に含まれる各種ボタンが選択されたと認識し、選択されたボタンの種類に応じて、適切な処理を実行する。この処理の具体例としては、ウィンドの所有者の変更や、モードの変更、ウィンドウのドラッグ、などの処理が挙げられる。あるいは、仮想アンカー６０４’が実行結果表示領域６２２にある場合には、当該実行結果表示領域６２２と、アプリケーションサーバ４のデスクトップ画面（画面座標系Ａ）との対応関係に基づいて、画面座標変換部２７が、仮想アンカー６０４’の位置情報を画面座標系ＡにおけるＸ、Ｙ座標値で表したものへと変換する。
【０３４９】
そして、画面座標変換部２７によって変換されたクリック位置の位置情報（画面座標系Ａ）は、クリックイベント発生通知とともに、処理結果送信部２５によって、アプリケーションサーバ４に転送される。この転送処理は、例えば、ＶＮＣ（Virtual Network Computing）接続を通して行われ、アプリケーションサーバ４上で動作する各種アプリケーションにポインタカーソルに係るカーソルイベントが適切に反映される。ただし、上記ＶＮＣ接続に限定されるものではない。
【０３５０】
図２３に示すアプリケーションサーバ４の各部は、上記３Ｄサーバ１から供給されるクリックイベント発生通知およびクリック位置の位置情報にしたがって、各種アプリケーションを実行する。
【０３５１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０３５２】
最後に、３Ｄサーバ１、画像処理装置（２、３）およびアプリケーションサーバ４の各ブロック、特に、制御部１０、制御部２０、制御部３０、制御部４０、制御部１１０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０３５３】
すなわち、３Ｄサーバ１、画像処理装置（２、３）およびアプリケーションサーバ４は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである３Ｄサーバ１、画像処理装置（２、３）およびアプリケーションサーバ４の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記３Ｄサーバ１、画像処理装置（２、３）およびアプリケーションサーバ４に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３５４】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０３５５】
また、３Ｄサーバ１、画像処理装置（２、３）およびアプリケーションサーバ４を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０３５６】
本発明の表示制御装置をマルチディスプレイシステムに適用すれば、オブジェクトが複数のディスプレイをまたいで表示される場合でも、該オブジェクトを空間的にシームレスに表示させることにより、ユーザの視認性を向上させることが可能であるので、会議やプレゼンテーションを行うためのシステムに好適に用いることができる。
【図面の簡単な説明】
【０３５７】
【図１】本発明の実施形態における３Ｄサーバ１の要部構成を示すブロック図である。
【図２】本発明の実施形態における会議システム１００の外観を示す図である。
【図３】本発明の実施形態における会議システム１００の概略構成を示すブロック図である。
【図４】２次元のオブジェクトの一例を示す図である。
【図５】（ａ）は、ユーザＵの視点Ｖのエンティティ情報の具体例を示す図であり、（ｂ）は、会議システム１００が備える各表示部のエンティティ情報の具体例を示す図であり、（ｃ）は、オブジェクト（矢印図形）のエンティティ情報の具体例を示す図であり、（ｄ）は、画面座標のデータ構造および具体例を示す図である。
【図６】仮想投影処理部２３がオブジェクトを各表示部に投影表示する際の方向を定める際に求める方向ベクトルを示す図である。
【図７】３Ｄサーバの絶対座標取得部２２が画面座標から絶対座標への変換を行うのに用いる仮想球を示す図である。
【図８】３Ｄサーバの絶対座標取得部２２が取得した絶対座標系Ｇにおける各エンティティの位置情報に基づいて、仮想投影処理部２３が投影するオブジェクトのアンカー位置の更新を説明する図である。
【図９】本実施形態における画像処理装置の要部構成を示すブロック図である。
【図１０】画像処理装置の相対座標系記憶部に記憶される、３Ｄサーバから取得されたエンティティ情報の具体例を示す図である。
【図１１】画像処理装置の描画部が行うオブジェクト（矢印図形）の描画処理を説明する図である。
【図１２】本実施形態における会議システム１００の各装置の処理の流れを示すシーケンス図である。
【図１３】１つのオブジェクトが複数の表示部にまたがって表示される位置に仮想的に定義されている場合に、仮想投影処理部２３によって実施されるオブジェクトの投影処理の結果の一例を示す図である。
【図１４】仮想投影処理部２３によって実施される複数のオブジェクトの投影処理の結果の一例を示す図である。
【図１５】ユーザＵの視点Ｖが、Ｖ１の位置からＶ２の位置に移動した場合に、オブジェクトＯの投影表示結果が更新される様子を説明する図である。
【図１６】第３表示部１３を１３ａの位置から１３ｂの位置に移動させた場合に、オブジェクトＯの投影表示結果が更新される様子を説明する図である。
【図１７】視点Ｖが移動してからオブジェクトＯの投影表示結果が更新されるまでの各装置の処理の流れを示すシーケンス図である。
【図１８】第３表示部１３が動かされてからオブジェクトＯの投影表示結果が更新されるまでの各装置の処理の流れを示すシーケンス図である。
【図１９】（ａ）〜（ｃ）は、本発明の他の実施形態における３Ｄサーバが備える絶対座標系記憶部に記憶されているエンティティ情報の具体例を示す図である。
【図２０】色分けされたオブジェクトの表示例を示す図である。
【図２１】本発明の他の実施形態における会議システム２００の概略構成を示すブロック図である。
【図２２】アプリケーションサーバが管理する画面座標系Ａを示す図である。
【図２３】本発明の他の実施形態におけるアプリケーションサーバの要部構成を示すブロック図である。
【図２４】本発明の他の実施形態における３Ｄサーバの要部構成を示すブロック図である。
【図２５】本発明の他の実施形態における３Ｄサーバがエンティティごとに保持するエンティティ情報のデータ構造を示す図である。
【図２６】本発明の他の実施形態における画像処理装置がエンティティごとに３Ｄサーバから取得し、保持するエンティティ情報のデータ構造を示す図である。
【図２７】３Ｄサーバの仮想投影処理部が、ユーザＵの視点Ｖと、ウィンドウのアンカー位置とに基づいて行う、絶対座標系Ｇにおけるウィンドウの描画および投影を説明する図である。
【図２８】（ａ）および（ｂ）は、画像処理装置の描画部が、３Ｄサーバから取得したエンティティ情報とアプリケーションサーバから取得した画像データとを用いて行うウィンドウの描画および投影を説明する図である。
【図２９】３Ｄサーバにおける、ポインタカーソルがウィンドウ上にあるか否かを判定する動作を説明する図である。
【符号の説明】
【０３５８】
１  ３Ｄサーバ（表示制御装置）
２  デスクトップパソコン（表示処理装置／画像処理装置）
３  ノートパソコン（表示処理装置／画像処理装置）
４  アプリケーションサーバ
１０  制御部
１１  第１表示部（表示部）
１２  第２表示部（表示部）
１３  第３表示部（表示部）
１４  入力部
１５  マウス（入力部）
２０  制御部
２１  画面座標取得部
２２  絶対座標取得部（移動量取得手段／選択位置取得手段）
２３  仮想投影処理部（仮想投影手段）
２４  相対座標算出部（座標系変換手段）
２５  処理結果送信部（送信手段）
２６  位置情報取得部（視点位置情報取得手段／表示部位置情報取得手段）
２７  画面座標変換部（画面座標変換手段）
２８  画面座標指定部
３０  制御部
４０  制御部
４１  相対座標取得部（相対座標取得手段）
４２  オブジェクト取得部（オブジェクト取得手段）
４３  描画部（描画手段）
４４  表示制御部
４５  入力制御部
４６  画面座標生成部
６１  画面座標取得部
６２  アプリケーション実行部（実行手段）
６３  実行結果出力部（実行結果出力手段）
６４  画面画像配信部（画像配信手段）
１００  会議システム（マルチディスプレイシステム）
１０１  通信部
１０２  絶対座標系記憶部（グローバル座標系記憶部）
１０３  オブジェクト記憶部
１１０  制御部
１４０  アプリケーション群
２００  会議システム（マルチディスプレイシステム）
２０１  通信部
２０２  相対座標系記憶部
２０３  取得オブジェクト記憶部
３０１  画面状態記憶部
３０２  画面画像記憶部
４００  矢印図形
４０１  仮想アンカー
４０１’  仮想アンカー
４０１”  仮想アンカー
４０２  方向ベクトル
４０２’  方向ベクトル
４０２”  方向ベクトル
４０３  仮想球
５００  投影矢印図形
５０１  投影アンカー
５０１’  投影アンカー
５１０  投影ウィンドウ
５１１  投影アンカー
５１２  ユーザホイール
６００  デスクトップ画面
６０１  ウィンドウ
６０２  投影ウィンドウ
６０２’  仮想ウィンドウ
６０４  投影アンカー
６０４’  仮想アンカー
６０５  投影アンカー
６０５’  仮想アンカー
６０６  直線
６０７  ベクトル
６２０  アイコンバー
６２１  フレーム
６２２  実行結果表示領域
６２３  実行結果画像
Ａ  画面座標系
Ｄ１  相対座標系（ローカル座標系）
Ｄ２  相対座標系（ローカル座標系）
Ｄ３  相対座標系（ローカル座標系）
Ｇ  絶対座標系（グローバル座標系）
Ｓｄ  センサ
Ｓｕ  センサ
Ｓｕ１  センサ
【図１】
2009193471.tif 000003
【図２】
2009193471.tif 000004
【図３】
2009193471.tif 000005
【図４】
2009193471.tif 000006
【図５】
2009193471.tif 000007
【図６】
2009193471.tif 000008
【図７】
2009193471.tif 000009
【図８】
2009193471.tif 000010
【図９】
2009193471.tif 000011
【図１０】
2009193471.tif 000012
【図１１】
2009193471.tif 000013
【図１２】
2009193471.tif 000014
【図１３】
2009193471.tif 000015
【図１４】
2009193471.tif 000016
【図１５】
2009193471.tif 000017
【図１６】
2009193471.tif 000018
【図１７】
2009193471.tif 000019
【図１８】
2009193471.tif 000020
【図１９】
2009193471.tif 000021
【図２０】
2009193471.tif 000022
【図２１】
2009193471.tif 000023
【図２２】
2009193471.tif 000024
【図２３】
2009193471.tif 000025
【図２４】
2009193471.tif 000026
【図２５】
2009193471.tif 000027
【図２６】
2009193471.tif 000028
【図２７】
2009193471.tif 000029
【図２８】
2009193471.tif 000030
【図２９】
2009193471.tif 000031