"撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示システムであって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する映像モデル生成部と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて電子データモデルを生成する電子データモデル生成部と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する映像データ合成部と、該映像データ合成部で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する視点生成部と、該視点生成部で取得した映像を送信する送信部と、を有することを特徴とする映像提示システム。前記視点生成部は、前記電子データの3次元的な位置と前記共通の座標系における利用者の相対的な位置関係に基づいて算出された視点位置の映像を生成することを特徴とする請求項1に記載の映像提示システム。利用者による操作入力を受け付ける操作装置と、前記電子データの位置及び利用者の視点位置を設定するための表示画面を表示装置に表示させる制御手段とを有し、前記視点生成部は、前記表示画面に対する前記操作装置の操作入力に従って、前記電子データの3次元的な位置及び利用者の視点位置を決定することを特徴とする請求項2に記載の映像提示システム。利用者の3次元上の位置を計測する3次元位置計測装置を有し、前記視点生成部は、前記3次元位置計測装置による計測結果に従って、利用者の位置をリアルタイムに変更することを特徴とする請求項1~3のいずれか1に記載の映像提示システム。前記撮影装置を複数備え、前記映像モデル生成部は、複数の前記撮影装置で撮影された映像から視差画像を生成し、該生成した視差画像に基づいて撮影された対象のデプスを示すデプスマップを生成し、該デプスマップから前記撮影装置の固有の座標系における奥行き情報を生成し、該撮影装置の固有の座標系を前記映像提示システムで扱う共通座標系に変換して、奥行き情報と該奥行き情報に貼り付けた映像情報とからなる前記映像モデルを生成することを特徴とする、請求項1~4のいずれか1に記載の映像提示システム。撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示方法であって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する第1の過程と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する第2の過程と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する第3の過程と、該第3の過程で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する第4の過程と、該第4の過程で取得した映像を送信する第5の過程と、を有することを特徴とする映像提示方法。撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示装置のコンピュータに、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する手順と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する手順と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する手順と、該合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する手順と、該生成された映像を送信する手順を実行させるための映像提示プログラム。請求項7に記載の映像提示プログラムを、コンピュータ読み取り可能に記録した記録媒体。特許文献1で開示されている方法は、利用者自身が、仮想空間内の位置や向いている方向を常に意識する必要があることと、双方が同一の役割で利用できるシステムになっていないという課題がある。非特許文献2で開示されているシステムは、特殊な投影面が必要であり、かつ投影面の上部に偏光した映像を投影するための装置と投影面の後方に利用者を撮影する装置を設置する必要があり、システムとして非常に大がかりになる課題がある。本発明は、上記特許文献1の課題にあるような、利用者が仮想的な3次元空間位置を考慮する必要なく、共通に利用する電子データの3次元的な位置を介して、双方の利用者の位置及び表示装置の相対的な位置を確定させ、その情報に基づいて双方のシステムに送る映像を生成することで、遠隔地作業者が隣にいるような位置関係で共通の電子作業オブジェクトを見ながら作業を行うことができるようにすること、また、そのような作業を実現するシステムを汎用的なディスプレイや撮影装置を用いて実現することを目的とするものである。上記課題を解決するために、本発明の第1の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示システムであって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行情報に貼り付けた映像情報とからなる映像モデルを生成する映像モデル生成部と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて電子データモデルを生成する電子データモデル生成部と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する映像データ合成部と、該映像データ合成部で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する視点生成部と、該視点生成部で取得した映像を送信する送信部と、を有することを特徴としたものである。第2の技術手段は、第1の技術手段において、前記視点生成部が、前記電子データの3次元的な位置と前記共通の座標系における利用者の相対的な位置関係に基づいて算出された視点位置の映像を生成することを特徴としたものである。第3の技術手段は、第2の技術手段において、利用者による操作入力を受け付ける操作装置と、前記電子データの位置及び利用者の視点位置を設定するための表示画面を表示装置に表示させる制御手段とを有し、前記視点生成部は、前記表示画面に対する前記操作装置の操作入力に従って、前記電子データの3次元的な位置及び利用者の視点位置を決定することを特徴としたものである。第4の技術手段は、第1~第3のいずれか1の技術手段において、利用者の3次元上の位置を計測する3次元位置計測装置を有し、前記視点生成部は、前記3次元位置計測装置による計測結果に従って、利用者の位置をリアルタイムに変更することを特徴としたものである。第5の技術手段は、第1~第4のいずれか1の技術手段において、前記撮影装置を複数備え、前記映像モデル生成部が、複数の前記撮影装置で撮影された映像から視差画像を生成し、該生成した視差画像に基づいて撮影された対象のデプスを示すデプスマップを生成し、該デプスマップから前記撮影装置の固有の座標系における奥行き情報を生成し、該撮影装置の固有の座標系を前記映像提示システムで扱う共通座標系に変換して、奥行き情報と該奥行き情報に貼り付けた映像情報とからなる前記映像モデルを生成することを特徴としたものである。第6の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示方法であって、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付けた映像情報とからなる映像モデルを生成する第1の過程と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する第2の過程と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する第3の過程と、該第3の過程で合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する第4の過程と、該第4の過程で取得した映像を送信する第5の過程と、を有することを特徴としたものである。第7の技術手段は、撮影装置によって取得された撮影映像を入力し、該入力した撮影映像に、画像として生成された電子データを加工して合成し、該合成した映像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした映像提示装置のコンピュータに、撮影する範囲の奥行き情報と、該奥行き情報を基に該奥行き情報に貼り付ける映像情報とからなる映像モデルを生成する手順と、電子データを入力し、該入力した電子データの位置、大きさ、向きの情報を含む基準情報に基づいて該電子データモデルを生成する手順と、共通の座標系を設けて、前記映像モデルと前記電子データモデルを共通の座標系内で合成する手順と、該合成されたモデルを入力し、前記共通の座標空間に仮想的な視点を設置して、該視点の映像を生成する手順と、該生成された映像を送信する手順を実行させるための映像提示プログラムである。第8技術手段は、第7の技術手段の映像提示プログラムを、コンピュータ読み取り可能に記録した記録媒体である。遠隔コミュニケーションにおいて、双方がお互いに隣にいるような位置関係で、共通の電子データを見ながらコミュニケーションを行うことが可能になる。以下、図面を参照しながら本発明の実施形態について説明する。[実施形態1]<システム構成>図1は映像と音声を双方向通信できる本発明に係る映像提示システムの第1の実施形態を模式的に示す図である。広域のネットワーク6より先の遠隔地にも同じ映像提示システムが設置されており、映像提示システム間で、映像と音声を使ったコミュニケーションをリアルタイムに行うことができる。図1について詳しく説明する。本発明に係る映像提示システムの実施形態は、計算機4で実行され、計算機4の有する機能により映像音声処理が行われる。計算機4は、例えばPCなどの情報処理装置を適用することができる。計算機4には、遠隔地の利用者7の映像、及び遠隔地の相手と一緒に作業を行っている電子データ8を表示する液晶ディスプレイなどの表示装置1と、遠隔地の音声を再生する音声再生装置3とが接続される。計算機4は、遠隔地から伝送されてきた映像と音声の情報を受け取り、表示装置1と音声再生装置3に映像や音声を提示するためのものである。表示装置1の上部には、利用者の映像と音声を一度に取得するマルチメディア情報取得装置2が設置されている。映像や音声を取得するためのマルチメディア情報取得装置2は必ずしも一体化している必要はなく、映像の取得と音声の取得を分離した装置で実現する構成も可能である。例えば、マルチメディア情報取得装置2をマイク及び撮影装置カメラによって構成し、音声を取得するためのマイクを利用者の近くに置き、撮影カメラのみを表示装置1の上部に設置した構成としてもよい。また、マルチメディア情報取得装置2は、複数の、例えば2個のカメラを備えている。マルチメディア情報取得装置2は、上記遠隔地からの映像と音声を提示するための計算機4に接続されている。計算機4は、上記受信側の処理とは別に、遠隔地に映像や音声を伝送するための送信制御も行っている。また、計算機4には、キーボードなどの操作装置5が接続されており、利用者が作業形態等の情報を入力したり電子作業オブジェクトの属性を変更することが可能で、システムを制御することが可能である。計算機4は、ネットワーク6を介して、遠隔地の同一の映像提示システムと繋がっており、映像や音声の送受信を行うことができる。利用者9はこの映像提示システムを利用することで、遠隔地に設置された同システムの利用者とリアルタイムに電子データ8を見ながらコミュニケーションを行うことができる。<ブロック構成>システム基本ブロックの説明計算機4の内部で行われる基本の処理について、図2のブロック図を用いて説明する。図2において、広域のネットワーク6より左側が上記利用者9の側を示し、右側が遠隔地の側を示している。利用者9側の映像提示システムにおける送信機能についてはじめに説明する。カメラやマイクで構成されるマルチメディア情報取得装置2で取得された映像と音声の信号は、映像音声処理装置100の内部にある送信装置101に取り込まれる。映像音声処理装置100は、図1の計算機4と等価な装置である。ここでは、映像信号は送信装置101内の映像処理装置送信側102に、音声信号は音声処理装置送信側103に入力され、遠隔地に送信するための信号処理が施された後に、外部に出力され、広域のネットワーク6を経由して遠隔地に伝送される。続いて、映像提示システムの受信機能について説明する。広域のネットワーク6を経由して遠隔地から送られてきた映像と音声の信号が、映像音声処理装置100の内部の受信装置104に取り込まれる。映像信号は受信装置104内の映像処理装置受信側105に入力され、音声信号は音声処理装置受信側106に入力される。そしてこれら映像信号及び音声信号は、映像や音声を再現できる形に信号処理され、ディスプレイ表示装置やスピーカで構成されるマルチメディア情報提示装置10に出力される。遠隔地の処理についても同様で、映像音声処理装置107は映像音声処理装置100に、受信装置109は受信装置104に、送信装置108は送信装置101に、マルチメディア情報提示装置12はマルチメディア情報提示装置10に、マルチメディア情報取得装置11はマルチメディア情報取得装置2に、それぞれ対応している。<処理>映像音声処理装置100の詳細説明映像音声処理装置100について、図3のブロック図を用いて具体的に説明する。但し、音声処理については、支障がない限り説明を省略する。以下、上記利用者9が使用する映像提示システムにおいて、撮影された利用者の撮像画像に作業で扱う電子データを合成重畳した映像を遠隔地に伝送する流れと、遠隔地から送られてきた映像を受信して表示するまでの流れについて説明する。もう一方の遠隔地側の流れについては、利用者9のシステムと同じであるため説明は省略する。撮影装置2a、2bは、マルチメディア情報取得装置2に含まれる装置であり、本映像提示システムを使う利用者9を含めて撮影する。この撮影装置2a、2bは、WebカメラやHDHighDefinition解像度の撮影カメラなどの汎用の撮像デバイスを利用することが可能で、レンズ、露光調整機構、CCDChargeCoupledDeviceなど基本的な撮像デバイス構成要素を有している。撮影装置2a、2bは、それぞれ外部入力端子I/F200、201によって映像音声処理装置100に接続されている。撮影装置2a、2bでは、撮影対象を含む視野からの光が、レンズ露光調整機構を通してCCD上に結像される。CCDは入力された受光量に応じた信号を生成し出力する。CCDで生成された信号は、カメラ用の所定の信号処理が施された後に、画像信号映像信号として映像処理装置送信側102の内部に取り込まれる。撮影装置2a、2bは、動画像を扱うため一定間隔で、お互いに同期して映像を取得し、逐次映像信号を映像処理装置送信側102に供給する。映像モデル生成部202は、物理的に位置の異なる撮影装置2aと撮影装置2bで取得した映像を、外部入力端子I/F200と外部入力端子I/F201を介して入力し、ある時刻において取り出したフレーム画像信号2a、2bの画像を用いて、視差画像信号を生成する。視差画像信号は、撮影装置2aのある時刻のフレーム画像信号:Ibasex,yを基準画像とし、これと同一時刻の撮影装置2bのフレーム画像信号:Irefx,yとの間で、ブロックマッチング法によって画素の対応点を求めることによって生成できる。この場合、撮影装置2bの画像信号を、参照画像と呼ぶ。視差画像生成映像モデル生成部202は、ブロックマッチングを行う際に、基準画像を所定の大きさのブロックに分割を行う。分割の大きさは、例えば16画素×16画素である。当該分割されたブロックと参照画像の間の指標値を領域毎に算出し、算出した指標値が最小となる領域を探し出す対応点。映像モデル生成部202は、基準画像の分割ブロックを画素単位でずらしていき、すべての画素において対応点を算出する。ブロックマッチングで用いる指標値は、画像信号間の相関性や類似性を示すものであればよい。映像モデル生成部202は、例えば、分割されたブロックに含まれる画素の輝度値と参照画像のある領域における輝度値の差の絶対値総和SAD;SumofAbsoluteDifferenceを用いる。基準画像信号から分割されたブロック例えば、大きさがN×N画素と参照画像信号のブロックとの間のSADは次の式で表される。式1において、Ibasei0i,j0jは基準画像の座標i0i,j0jにおける輝度値、i0,j0は視差算出する処理対象画素座標を示す。Irefi0ip,j0jは参照画像の座標i0ip,j0jにおける輝度値で、pは当該分割されたブロックの中心座標i0,j0を基準としたx軸方向水平方向のシフト量視差である。撮影装置2aと撮影装置2bを水平になるように設置した場合、対応する画素は水平な直線上であり、y軸方向垂直方向のパラメータは削除できる。映像モデル生成部202は、ブロックマッチングにおいて、パラメータp毎にSADpを算出し、SADpを最小とするpを探し出す。pは基準画像から当該分割されたブロックと当該参照領域の位置までの視差を表す。式2において、右辺のは、評価式{}内の数式を最小にするp視差値を抽出する関数である。以上により、映像モデル生成部202は、視差画像を画素単位で求めることができる。デプスマップ生成映像モデル生成部202は、上記算出した視差画像を、式3を用いて実際の距離を示すデプスマップに変換する。ここで、zはデプス値、dは視差、fとbはそれぞれカメラの焦点距離とカメラ間のベースライン距離、Δdはカメラオフセットを示している。カメラ座標における3次元モデル生成次に、映像モデル生成部202は、得られたデプスマップから、カメラ座標における奥行き情報3次元モデルを生成する。カメラ座標とは、撮影したカメラ固有の座標系である。その前に、式3で得られたデプスマップを、画像座標系Ximgから前記カメラ座標系Xcamに変換する必要がある。画像座標系とは、画像の画素を扱うための座標系である。その変換式は、以下の通りである。式4において、は画像座標系Ximgの斉次座標を表しており、2次元の画像座標i,jに1次元加えた3次元の座標i,j,1である。斉次座標とは、一般的に、空間の次元を1次上げ、これらの比によって空間を表現する座標の取り方である。Aは、前記基準カメラの撮像面に投影された前記カメラ座標系の平面画像を前記画像座標系に変換するマトリクスであり、カメラの内部行列と呼ばれている。A-1は、その逆行列を示している。内部行列は、前記撮影装置のカメラ特性を示すパラメータ内部パラメータを含むマトリクスで、具体的には以下のとおりである。ここで、fは焦点距離、u0,v0は画像中心の座標、kuおよびkvはu軸x軸、v軸y軸方向のスケールファクタで、ksは直角性を保たないような歪みを表すパラメータである。図4を用いて、3次元空間の奥行き情報を復元する方法について説明する。デプスマップ上のある座標i,jが、式4によってカメラ座標系の画像平面z=f上の1点mx,y,fに変換されたとし、座標i,jにおけるデプス値がzである場合、投影元の3次元空間内の点mcの座標は、図4に示すxc軸とzc軸で表せる平面上にある三角形と、yc軸とzc軸で表せる平面上にある三角形の相似の関係から以下のようになる。ワールド座標における3次元モデル生成図3に戻り、映像モデル生成部202は、続いて座標系の変換を行う。具体的には、上記撮影装置で撮影されたカメラの座標系を、本システムで扱う共通の座標系以下、ワールド座標系Xworldに変換する必要がある。ワールド座標系は、図1の表示装置の中心を原点に、ディスプレイ面に向かって右の方向にx軸の正の方向、ディスプレイ面の上部の方向にy軸の正の方向、ディスプレイ面から奥の方向にz軸の正の方向とする。座標系の変換は、一般的に以下の式によって行うことができる。ここで、Xfromは変換前の座標系、Xtoは変換後の座標系を表し、RとTは変換前の座標系から変化後の座標系への回転と併進を示すマトリクスである。回転と併進のマトリクスを具体的に示すと、以下のとおりである。ここでθx、θy、θzは、それぞれX軸周り、Y軸周り、Z軸周りの回転を示す。ここでTx、Ty、Tzは、それぞれX軸方向、Y軸方向、Z軸方向の併進を示す。上記、カメラの特性や位置を表す行列A、行列Rや行列Tは、カメラ校正によって一般的に求めることができる。以上により、映像モデル生成部202は、上記ワールド座標系における3次元空間上の位置を取得でき、映像モデルを生成することができる。映像モデルとは、3次元的な奥行き情報位置情報と、それに貼り付ける映像テクスチャ情報で構成されるものである。テクスチャを奥行き情報に貼り付ける処理は、テクスチャマッピングとも呼ばれる。図3に戻り、電子データを取得する方法について説明する。共同作業で用いる電子データは、映像音声処理装置100に接続された、外部記憶装置/外部サーバ203に格納されており、外部入力端子I/F204を通じて、電子データモデル生成部205に入力される。外部記憶装置/外部サーバは、ネットワークに接続されており、遠隔地に設置された映像提示システムからも参照することが可能である。電子データモデル生成部205は、入力した電子データの基準情報位置、大きさ、向きを基に電子データモデルを生成し、映像データ合成部206に出力する。電子データは、コンピュータで扱うことができる、テキストによる文字情報、あるいは画像映像や図形などのビジュアル情報によって構成されたオフィスドキュメントである。一般的に、電子データモデルは、矩形状の面で形成される。具体的には、電子データモデルは、3次元の位置情報を有した最小単位の三角形ポリゴンを2枚組み合わせ三角形の長辺を接合し、上記オフィスドキュメントの画像映像を貼り付けたモデルである。なお、電子データの位置や角度は、後述する電子データ制御方法によって、システム稼働中に可変しても良い。なお、基準設定については、後述する作業スタイルと利用者位置毎に準備し、作業内容に応じて切り替えることもできる。映像データ合成部206及び視点生成部207は、前記ワールド座標系でモデルデータを処理するための3次元モデル処理機能を有しており、具体的にはCGなどの3次元モデルを扱うGPUGraphicsProcessingUnitによってその機能を実現することができる。3次元位置に基づいたレンダリング方法映像データ合成部206は、GPUで実現される一般的な3DCGレンダリング技術によって、映像モデル生成部202から入力する映像モデルと電子データモデル生成部205から入力する電子データモデルを共通の座標系ワールド座標系内に配置させ、お互いを合成させる。具体的には、供給される3次元位置を持った複数の平面、あるいは最小単位である三角形ポリゴンを複数組み合わせて表現する立体的な面を仮想的な3次元空間内ワールド座標系に配置することでシーンが形成され、さらに、それらの面に直接撮影した映像電子データの絵を貼り付けたり、あるいは撮影位置からそれらの面に向けて映像電子データの絵を投影投影テクスチャリングすることで、3次元的な奥行き構造を持ったモデルに映像を貼り付けることができる。各モデル間の前後関係の処理奥のオブジェクトが、手前のオブジェクトによって隠れる領域については表示させないための処理は、GPUの機能によって実現される。視点生成部207は、映像データ合成部206から映像と電子データを合成したモデルを入力し、GPUで実現される一般的な3DCGレンダリング技術によって、上記算出したワールド座標系において想定する利用者位置詳細は後述するに仮想的なカメラ仮想視点を設置し、そのカメラによって3次元空間に再現されたシーンを撮影する。具体的には、視点生成部207は、ビュー変換処理によって想定する観察者位置から見た画像を切り出すことができる。ビュー変換処理は、ワールド座標系から観察者位置に置かれた仮想カメラを基準とする座標に変換することである。仮想カメラのX軸を示すベクトルをR=rx,ux,νx、仮想撮像装置のY軸を示すベクトルをU=ry,uy,νy、仮想撮像装置のZ軸を示すベクトルをV=rz,uz,νz、仮想撮像装置の位置を示すベクトルをP=x,y,zとしたときに、ビュー変換行列は式10のようになる。続いて、ビュー変換されたシーンに対して遠くのものが小さく、近くのものが大きく見えるように透視投影処理が実施される。透視投影処理では、撮像装置に近いところ前方投影面と、遠いところ後方投影面に対して2つの投影面が導入され、撮像装置原点を中心とした錘状になるように設定される。プロジェクション変換によって、近いところの面と遠いところの面の間の空間が立方体になるように変換することによって、近いところが大きく、遠いところが小さく見えるような変換がなされる。このプロジェクション変換によって、射影座標系に変換される。水平方向の視野角をw、垂直方向の視野角をhとし、仮想撮像装置の位置から前方投影面までの距離をzn、後方投影面までの距離をzfとすると、以下の行列によって射影座標系に変換することができる。さらに、表示装置に表示するために、射影座標系からスクリーン座標系への変換が行なわれる。スクリーン座標系では、表示装置の左上を原点に、またY軸の向きが逆になるような変換が行なわれる。表示装置の水平方向の画素数をWidth、垂直方向の画素数をHeightとすると変換行列は、以下のようになる。以上3DCGレンダリング技術により利用者の位置から見た画像が生成される。続いて、本発明に関わる、遠隔地に居る利用者が隣にいるような位置関係で、共通の作業オブジェクトを見ながらコミュニケーションを行うための視点制御方法について、図5~図9を用いて説明する。図5は、本システムを一般的な対面のテレビ会議システムのように利用した場合に、システム全体を上部から見下ろした図上面図である。図の500及び501は、図1に示した1~5の構成を含む映像提示システムである。500は、図1で示した利用者9側の映像提示システムで、501は遠隔地に設置してある映像提示システムである。利用者は9と7で、7は遠隔地に居る利用者である。システム間は、ネットワーク6等を介して接続され、お互いが通信できるようなっている。504及び505は、それぞれ利用者9の側のシステムのワールド座標系Xworld_Aと利用者7の側のシステムのワールド座標系Xworld_Bを示している。ワールド座標系Xworld_Aは、ディスプレイ面に向かって右の方向にx軸の正の方向、ディスプレイ面の奥に向かってz軸の正の方向となり、また図示していないy軸の正の方向は上方向に向かっているものとする。同様に、ワールド座標系Xworld_Bは、利用者7がディスプレイに向かっている方向を基準として、ディスプレイの右方向図面では左方向をx軸の正の方向、ディスプレイ面の奥の方向図面では下方向をz軸の正の方向とし、また図示していないy軸の正の方向は上方向に向かっているものとする。続いて、本発明に関わる作業の形態利用者と電子データの位置関係を図示したものが図6である。利用者9と利用者7が隣に居て、お互いに作業物600電子データを明示的に示したものを見ることができる位置関係を模式的に示している。図7は、図6の位置関係を実現した場合に、表示装置に映る遠隔地の映像を模式的に示した図である。図7Aは利用者9が見る映像で、図7Bは利用者7が見る映像である。図6に示したように、利用者9にとって、作業物600は左側で利用者7は右側に位置する。従って、利用者9が見る遠隔地の映像506は、作業物600は左に見え、利用者7の映像700は右側に見える。一方、利用者7にとって、作業物600は右側で、利用者9は左側に位置する。従って、利用者7が見る遠隔地の映像507は、作業物600は右に見え、利用者9の映像701は左側に見える。以上、図7に示した映像を提示することによって、利用者は図6に示したような位置関係で、遠隔地間で共通の電子データと相手の映像を見ながらコミュニケーションを行うことができる。具体的に、上記図7に示したような視点の映像を生成する方法について、図8を用いて説明する。初めに、利用者の位置関係を明確にしておく必要がある。これは、利用者は2地点に居て、図6あるいは図7に示したように、利用者9であるか、利用者7であるかによって、提示される映像内の相手の映像と電子データの表示位置が異なるためである。利用者の位置関係を確定させる方法として、例えば、予め双方の位置図6におけるどちらの利用者であるかを決めておく方法がある。利用者は、映像音声処理装置100に接続された操作装置5を使って、図9に示すユーザ表示に従い、お互いの位置を設定することができる。設定結果は、映像音声処理装置100の内部にあるCPU208に保持される。CPU208は、図示していない通信手段を用いて、遠隔地にある映像提示システムと連携して、図9に示す設定値が排他的一方が選択した項目は、相手側では選択できないになるように制御しても良い。以上の方法により、双方の位置が明確になる。続いて、映像の取得方法について説明する。図8において、利用者7の側のシステム501に表示する遠隔地の映像は、利用者9の側の映像である。その映像の取得方法は、利用者9及びシステム500の側に、図6に示すような位置関係になるように利用者7が存在していると仮定して、その利用者7の位置にカメラを設置して取得する。つまり、実際には存在していない遠隔地の利用者が仮に隣に居たとして、そこから撮影した映像を相手側に伝送することで実現できる。そのためには、お互いの利用者位置をもう一方のシステムにおける仮想的な位置に変換する処理、すなわち、一方のシステムの座標系をもう一方のシステムの座標系に変換することが必要である。この変換によって、もう一方のシステムの座標系における位置を同じ座標系として扱うことが可能で、例えば、利用者9の側のシステムにおける、利用者7の仮想的な位置、すなわち、利用者7の側のシステムに送る映像を取得するカメラ設置位置を算出することが可能になる。しかしながら、システム500とシステム501は物理的に接合しておらず、双方の座標系を関連付けることができない座標系を変換する基準となる物理的な位置関係が不明確である。本発明では、共通に利用する電子データ600を座標系変換の基準とすることで、双方の座標系を関連付けて、座標系変換を実現する。利用者9の側のシステム500に表示する遠隔地の映像の取得方法も同様である。CPU208は、映像提示システムに設定されたワールド座標系図8の500のシステムの場合Xworld_A504、501のシステムの場合Xworld_B505内に配置された電子データの基本情報のうち、各ワールド座標系における位置500のシステムの場合805、501のシステムの場合806とその方向ベクトル500のシステムの場合807、501のシステムの場合808を用いて、以下の方法によって遠隔地システムのための映像を取得するカメラ設置位置を決める。CPU208は、遠隔地のシステムのワールド座標系Xworld_Bを、電子データの座標系を経由して、利用するシステムの座標系Xworld_Aに変換する。ここで、システム500の座標系Xworld_Aにおける電子データ中心の3次元位置805をPE_A、方向ベクトル807を→HE_Aとし、システム501の座標系Xworld_Bにおける電子データ中心の3次元位置806をPE_B、方向ベクトル808を→HE_Bとする。CPU208は、式7を用いて、システム501の座標系Xworld_Bを、一旦システム501における電子データの座標系に変換する。式7に適用する、回転マトリクスRW_BE_Bと併進マトリクスTW_BE_Bは以下の様に求める。回転マトリクスRW_BE_Bは、システム501の座標系Xworld_Bから電子データ600の座標系への回転であり、システム501の表示装置の向いている方向から電子データ600の向いている方向への回転と同じである。ここで、システム501の表示装置の向き803を→HD_B座標系Xworld_Bを用いると→HD_B=0,0,-1である、電子データ600の向きを→HE_Bとすると、→HD_Bと→HE_B間において、内積の公式を展開してX軸周り、Y軸周り、Z軸周りの回転角度θx_DE_B,θy_DE_B,θz_DE_Bを求める。以上の回転角度を、式8に代入して回転マトリクスRW_BE_Bを算出する。併進マトリクスTW_BE_Bは、システム501の座標系Xworld_Bの原点OW_Bから電子データ600の中心位置PE_Aに向かうベクトルから構成され、以下の式のとおりである。続いて、CPU208は、システム500において、上記方法と同様に電子データの座標系からワールド座標系Xworld_Aに変換するための回転マトリクスRE_AW_Aと併進マトリクスTE_AW_Aを求める。CPU208は、以下の式を用いて、遠隔地のシステム501の座標系を利用するシステム500の座標系に変換する。この変換式によって、CPU208は、遠隔地のシステム501におけるワールド座標系Xworld_B内の座標を、利用するシステム500の座標系Xworld_Aにおける座標に変換することができる。CPU208は、遠隔地の利用者7の位置を式14に従って変換し、変換された座標位置に遠隔地システムのための映像を取得するカメラを設置する。CPU208は、そのカメラによって取得した映像を、遠隔地のシステム501に伝送する。利用者9及び利用者7の位置は、適正視距離、例えば3Hディスプレイ面の垂直の長さの3倍によって、設定可能である。あるいは、例えば利用者の位置をトラッキングする装置を装着して、利用者位置をリアルタイムに算出しても良い。以上により、利用者が3次元的な位置に関する設定を行うことなく、簡易な手法で、遠隔地の人が隣に居るような位置関係で共通の電子データを見ることができる視点の映像を取得することができる。双方にこの映像を伝送し合うことで、上記位置関係でコミュニケーションをすることができる。なお、上記視点の制御は、システム開始時に一度設定するだけにしても良いし、随時設定を変えるような仕組みにしても良い。なお、仮想カメラの撮影画角については、上記システムが既知、つまり表示装置の大きさが限定できる場合は、設定を変える必要はない。また、システムごとに表示装置の大きさが変わる場合には、相手の表示装置に応じて撮影画角を変えるような仕組みを設けても良い。<フローチャート>次に、本実施形態に係る映像音声処理装置映像処理100が行う処理について説明する。図10~図14は、本実施形態に係る映像音声処理装置映像処理100が行う処理を示すフローチャートである。なお、以下のフローチャート及び、その説明において、音声信号の処理は必要なところのみ記述する。映像音声処理装置映像処理100は、図示していないシステム全体を制御する制御部によって、システム処理を開始すると、ステップS100に進む。ステップS100映像音声処理装置映像処理100は、前記制御部によって、システム全体の稼働を監視するための処理図10の左側の処理、S101~S104と通信を行うための処理図10の右側の処理、S105~S109を同時に開始させる。双方の処理を開始させると、ステップS101とS105に進む。始めに、システム全体の稼働を監視するための処理について説明する。ステップS101映像音声処理装置映像処理100は、前記制御部によって、システムが終了したか否かを常に監視し、終了していない場合はステップS101の処理を繰り返す。終了した場合には、ステップS102に進む。ステップS102映像音声処理装置映像処理100は、前記制御部によって、前記通信を行うための処理において実行するスレッドの状態を監視し、スレッドが実行中である場合はステップS103に進み、スレッドが全て完了している場合はステップS104に進む。ステップS103映像音声処理装置映像処理100は、前記制御部によって、前記通信を行うための処理において実行しているスレッドを強制的に終了させ、ステップS104に進む。ステップS104映像音声処理装置映像処理100は、前記制御部によって、全ての処理が停止していることを確認して、システムを終了させる。続いて、通信を行うための処理について説明する。ステップS105映像音声処理装置映像処理100は、前記制御部によって、常に遠隔地との間で通信を開始できる状態にあるかを監視し、通信を開始できる状態であればステップS106に進み、通信を開始できる状態でない場合はステップS105の処理を繰り返す。ステップS106映像音声処理装置映像処理100は、前記制御部によって、後述するデータ通信スレッドを開始させ、ステップS107に進む。ステップS107映像音声処理装置映像処理100は、前記制御部によって、後述するデータ受信スレッドを開始させ、ステップS108に進む。ステップS108映像音声処理装置映像処理100は、前記制御部によって、後述する電子データ制御スレッドを開始させ、ステップS109に進む。ステップS109映像音声処理装置映像処理100は、前記制御部によって、上記開始させたスレッドの状態を常に監視し、全てのスレッドの処理が完了していることを検知した場合はステップS105に戻り上記処理を繰り返す。一方監視しているスレッドが全て終了していない場合は、ステップS109に戻り処理を繰り返す。次に、データ通信スレッドについて、図11を用いて説明する。データ通信スレッドは、上記システム処理によって起動される。ステップS200映像処理装置送信側102は、後述する送信フレーム情報生成処理によって、送信するフレーム情報を生成し、ステップS201に進む。ステップS201映像処理装置送信側102の内部にある送信制御部209は、生成された送信フレーム情報を、よりデータ量の少ない符号に圧縮する方法例えば、国際標準動画圧縮規格H264等を用いて符号化エンコードし、ステップS202に進む。ステップS202映像処理装置送信側102の内部にある送信制御部209は、図2の音声処理装置送信側103と連携して、符号化された映像信号と音声信号をパッキングpacking;詰込し、ステップS203に進む。ステップS203映像音声処理装置100は、生成された符号データを、ネットワークを介して、遠隔地の映像提示装置に向けて伝送する。その後、ステップS204に進む。ステップS204映像音声処理装置100は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップS205に進み、終了させない場合はステップS200に戻り上記処理を繰り返す。ステップS205映像音声処理装置100は、データ通信スレッドを終了させる。次に、ステップS200で実施する送信フレーム情報生成処理について、図12を用いて説明する。ステップS300映像処理装置送信側102は、外部入力端子I/F200及び201を介して、撮影装置2aと2bで撮影した映像フレームを取り込む。その後、ステップS301に進む。ステップS301映像モデル生成部202は、前記入力されたマルチ画像を基に、映像モデルを生成する。その後、ステップS302に進む。ステップS302電子データモデル生成部205は、後述する電子データ制御スレッドが生成する最新の電子データ属性情報に基づいて電子データのモデル情報を生成する。その後、ステップS303に進む。ステップS303映像データ合成部206は、映像モデル生成部202から入力した映像モデルと電子データモデル生成部205から入力した電子データモデルをワールド座標系内で合成し、ステップS304に進む。ステップS304視点生成部207は、映像データ合成部206から入力した合成されたモデル情報に基づいて、本発明に関わる前記視点の画像フレームを生成し、ステップS305に進む。ステップS305視点生成部207は、生成したフレームの信号を、送信制御部209に出力して、送信フレーム情報生成処理を終了する。次に、データ受信スレッドについて、図13を用いて説明する。データ受信スレッドは、上記システム処理によって起動される。ステップS400映像処理装置105の内部にある受信制御部212は、遠隔地にある映像提示システムから送信された符号化データを、ネットワークを介して受信する。その後、ステップS401に進む。ステップS401映像処理装置104の内部にある受信制御部212は、音声処理装置106の内部にある図示していない受信制御部と連携して、受信した符号化データを映像符号化データと音声符号化データに分割する。その後、ステップS402に進む。ステップS402映像処理装置104の内部にある受信制御部212は、映像符号化データに対して、前記圧縮とは逆の処理を行い、データ量の多い元の信号を復元する。その後、ステップS403に進む。ステップS403受信制御部212は、復元した画像信号を、表示メモリ213に書き込む。表示装置1は、表示メモリ213に書き込まれた画像信号を、定期的に読み出し、画面に表示する。その後、ステップS404に進む。ステップS404映像音声処理装置100は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップS405に進み、終了させない場合はステップS400に戻り上記処理を繰り返す。ステップS405映像音声処理装置100は、データ受信スレッドを終了させる。次に、電子データ制御スレッドについて、図14を用いて説明する。電子データ制御スレッドは、上記システム処理によって起動される。ステップS500映像処理装置送信側102内のCPU208は、操作装置5を用いてユーザが設定する電子データの属性後述変更を常に監視し、属性が変更された場合はステップS501に進む。属性が変更されない場合は、ステップS500の処理を繰り返す。ステップS501CPU208は、電子データの属性情報を更新し、電子データモデル生成部205に最新の属性情報を出力し、前記電子データモデル生成処理にその内容を反映させる。その後、ステップS502に進む。ステップS502CPU208は、更新された電子データ属性情報を図示しないネットワークを介した別の手段によって、遠隔地の映像提示装置にその属性情報を伝送する。その後、ステップS503に進む。ステップS503映像音声処理装置100は、前記制御部によって、通信を終了させるか否かを常に監視し、終了させる場合はステップS504に進み、終了させない場合はステップS500に戻り上記処理を繰り返す。ステップS504映像音声処理装置100は、電子データ制御スレッドを終了させる。<送信するデータ>図14のステップS501において生成する電子データ属性情報について、図15を用いて説明する。電子データ属性情報は、例えば電子データの3次元位置と面の向きと大きさを示す情報で、電子データを上記ワールド座標系内の3次元位置に配置させることが可能な情報である。図7の送信フレーム情報生成処理で生成する送信フレーム情報について、図16を用いて説明する。送信フレーム情報は、例えば画素数横方向:widthと画素数縦方向:heightと画素情報から構成された、1枚分の画像を表す情報である。実施形態2<ソフトウェア>上述した実施形態における映像音声処理装置100の一部、例えば、映像モデル生成部202、電子データモデル生成部205、映像データ合成部206、視点生成部207、送信制御部209、並びに受信制御部212をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいうコンピュータシステムとは、映像音声処理装置に内蔵されたコンピュータシステム及びDSPデジタルシグナルプロセッサであって、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。また、上述した実施形態における映像音声処理装置100の一部、または全部を、LSILargeScaleIntegration等の集積回路として実現しても良い。映像音声処理装置100の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。"