(57)【要約】  【課題】ビデオ会議システムにおいて、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できるようにする。  【解決手段】プレゼンスサーバ１は、各会議端末２のユーザの仮想空間における位置情報を管理する。会議端末２は、他の会議端末２の要求に従い自ユーザの映像データを要求元に送信する。また、仮想空間における自ユーザの位置情報を受付けてプレゼンスサーバ１に送信すると共に、プレゼンスサーバ１から他のユーザの位置情報を受信する。そして、自ユーザおよび他ユーザ各々の位置情報を基に自ユーザの前方に位置する前方ユーザを検出し、前方ユーザ各々の会議端末２から映像データを受信する。【選択図】図１
2006254166.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ会議システムであって、
複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、を有し、
前記複数の会議端末各々は、
他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記複数の会議端末の各々に対して、前記管理手段で管理されている当該会議端末以外の各会議端末のユーザの位置情報を当該会議端末に送信するサーバ側位置情報送信手段と、を有すること
を特徴とするビデオ会議システム。
【請求項２】
請求項１に記載のビデオ会議システムであって、
前記複数の会議端末各々の表示制御手段は、
前記前方ユーザ各々の仮想位置情報および前記自ユーザの仮想位置情報により特定される、前記仮想空間上における前記前方ユーザ各々と前記自ユーザとの相対位置に従って、前記前方ユーザ各々の映像データを前記会議画面に複数設けられた表示枠に順番に配置すること
を特徴とするビデオ会議システム。
【請求項３】
請求項１又は２に記載のビデオ会議システムであって、
前記複数の会議端末各々は、
前記自ユーザの音声データを、自会議端末以外の会議端末各々に送信する音声データ送信手段と、
自会議端末以外の会議端末各々から他ユーザの音声データを受信する音声データ受信手段と、
前記音声データ受信手段で受信した他ユーザの音声データ各々に対して、前記他ユーザ各々の仮想位置情報および前記自ユーザの仮想位置情報により特定される、前記仮想空間における前記他ユーザ各々と前記自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
前記音声合成手段により生成された立体合成音声データをスピーカから出力する音声制御手段と、
前記自ユーザの発話を検出する発話検出手段と、をさらに有し、
前記複数の会議端末各々の映像データ送信手段は、
前記発話検出手段が前記自ユーザの発話を検出した場合に、自会議端末以外の会議端末各々に前記自ユーザの映像データを、発話ユーザの映像データとして送信し、
前記複数の会議端末各々の映像データ受信手段は、
前記発話ユーザの映像データを受信し、
前記複数の会議端末各々の表示制御手段は、
前記映像データ受信手段で受信した発話ユーザの映像データが前記前方ユーザ以外の他ユーザの映像データである場合に、当該発話ユーザの映像データを前記会議画面に含めてディスプレイに表示すること
を特徴とするビデオ会議システム。
【請求項４】
請求項３に記載のビデオ会議システムであって、
前記複数の会議端末各々の表示制御手段は、
前記映像データ受信手段で受信した発話ユーザの映像データが前記前方ユーザ以外の他ユーザの映像データである場合に、前記発話ユーザの映像データを、前記自ユーザの位置情報および前記発話ユーザの位置情報により特定される、前記仮想空間上における前記発話ユーザと前記自ユーザとの相対位置に従って、前記会議画面中の前記前方ユーザ各々の映像データが配置された表示枠の右側あるいは左側にある表示枠に配置すること
を特徴とするビデオ会議システム。
【請求項５】
ビデオ会議システムであって、
複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、前記複数の会議端末各々に映像データを送信する映像サーバと、を有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの映像データを前記映像サーバに送信する端末側映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記映像サーバから会議画面データを受信する端末側映像データ受信手段と、
前記端末側映像データ受信手段で受信した会議画面データをディスプレイに表示する表示制御手段と、を有し、
前記映像サーバは、
前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を受信するプレゼンスサーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記管理手段で管理されている前記複数の会議端末各々のユーザの仮想位置情報を前記映像サーバに送信するプレゼンスサーバ側位置情報送信手段と、を有すること
を特徴とするビデオ会議システム。
【請求項６】
請求項５に記載のビデオ会議システムであって、
前記映像サーバの映像サーバ側映像データ送信手段は、
前記複数の会議端末の各々に対して、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々と当該会議端末の自ユーザとの前記仮想空間上における相対位置に従って、当該前方ユーザ各々の映像データの前記会議画面における配置位置を決定し、当該前方ユーザ各々の映像データ各々が、前記決定された配置位置に従って、前記会議画面に複数設けられた表示枠に順番に配置された会議画面データを、当該会議端末に送信すること
を特徴とするビデオ会議システム。
【請求項７】
請求項５又は６に記載のビデオ会議システムであって、
前記複数の会議端末各々に音声データを送信する音声サーバをさらに有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの音声データを前記音声サーバに送信する音声データ送信手段と、
前記音声サーバから立体合成音声データを受信する立体合成音声データ受信手段と、
前記立体合成音声データ受信手段で受信した立体合成音声データをスピーカから出力する音声制御手段と、
前記自ユーザの発話を検出して、発話検出信号を前記映像サーバに送信する発話検出手段と、をさらに有し、
前記音声サーバは、
前記複数の会議端末各々から当該会議端末のユーザの音声データを受信する音声データ受信手段と、
前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する音声サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、前記音声データ受信手段で受信した音声データのうち、当該会議端末以外の会議端末のユーザである他ユーザの音声データ各々に対して、前記他ユーザ各々の仮想位置情報および当該会議端末のユーザである自ユーザの仮想位置情報により特定される、前記仮想空間における前記他ユーザ各々と前記自ユーザとの相対位置に応じた立体音響処理を施し、立体音響処理された他ユーザの音声データ各々を合成して、立体合成音声データを生成する音声合成手段と、
前記複数の会議端末各々に対して、前記音声合成手段により生成された当該会議端末に対する立体合成音声データを当該会議端末に送信する立体合成音声データ送信手段と、を有し、
前記映像サーバは、
前記会議端末から発話検出信号を受信する発話検出信号受信手段をさらに有し、
前記映像サーバの映像サーバ側映像データ送信手段は、
前記発話検出信号受信手段が発話検出信号を受信した場合に、前記複数の会議端末の各々について、当該発話検出信号の送信元のユーザが前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ以外のユーザである場合に、当該ユーザの映像データを、発話ユーザの映像データとして会議画面データに含めて、当該会議端末へ送信すること
を特徴とするビデオ会議システム。
【請求項８】
請求項７に記載のビデオ会議システムであって、
前記映像サーバの映像サーバ側映像データ送信手段は、
前記複数の会議端末の各々に対して、当該会議端末に送信する発話ユーザの映像データの前記会議画面中における配置位置を、前記仮想空間上における前記発話ユーザと当該会議端末の自ユーザとの相対位置に従って決定し、前記発話ユーザの映像データが、前記決定された配置位置に従って、前記会議画面中の前記前方ユーザ各々の映像データが配置された表示枠の右側あるいは左側にある表示枠に配置された会議画面データを、当該会議端末に送信すること
を特徴とするビデオ会議システム。
【請求項９】
会議端末であって、
他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
前記自ユーザの仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を、ビデオ会議に参加する複数の会議端末各々のユーザの前記仮想空間上における位置を管理するプレゼンスサーバに送信する端末側位置情報送信手段と、
前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有すること
を特徴とする会議端末。
【請求項１０】
コンピュータ読み取り可能なプログラムであって、
前記プログラムは、コンピュータを、
他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
前記自ユーザの仮想空間上における位置および向きを受け付ける位置受付手段、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を、複数の会議端末各々のユーザの前記仮想空間上における位置を管理するプレゼンスサーバに送信する端末側位置情報送信手段と、
前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の位置情報を受信する端末側位置情報受信手段と、
前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有する会議端末として、機能させること
を特徴とするコンピュータ読み取り可能なプログラム。
【請求項１１】
複数の会議端末各々に映像データを送信する映像サーバであって、
前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有すること
を特徴とする映像サーバ。
【請求項１２】
コンピュータ読み取り可能なプログラムであって、
前記プログラムは、コンピュータを、
前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有する映像サーバとして、機能させること
を特徴とするコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体音響処理された音声を会議参加者の映像と共に会議端末から出力することのできるビデオ会議システムの技術に関する。
【背景技術】
【０００２】
特許文献１には全員表示型ビデオ会議システムが開示されている。この全員表示型ビデオ会議システムでは、各参加者のビデオ会議端末に、会議参加者数分の表示装置を設け、各表示装置に会議参加者の映像を表示して会議参加者全員の映像を常時表示する。
【０００３】
また、特許文献２にはフロア制御型ビデオ会議システムが開示されている。このフロア制御型ビデオ会議システムでは、発話者を検出し、発話者の映像を選択して各参加者のビデオ会議端末に表示する。
【０００４】
また、特許文献３には３Ｄオーディオ技術を用いた音声会議システムが開示されている。この音声会議システムでは、音声会議に参加する各参加者の会議端末から、３Ｄオーディオ処理（立体音響処理）された各参加者の音声データを出力する。
【０００５】
【特許文献１】米国特許第４４００７２４号明細書
【特許文献２】米国特許第６３３００２２号明細書
【特許文献３】米国特許第６３２７５６７号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の全員表示型ビデオ会議システムでは、参加者一人あたりの映像表示に必要な帯域をＢとし、会議参加者数をｎとすると、（ｎ-１）×Ｂの帯域が必要となる。会議の加者数が多くなると必要な帯域も大きくなり、それに伴いシステムのコストが増加してしまう。
【０００７】
一方、特許文献２に記載のフロア制御型ビデオ会議システムでは、参加者一人あたりの映像表示に必要な帯域をＢとし、同時発話者数をｃ（＜ｎ＝会議参加者数）とすると、必要な帯域はｃ×Ｂで済む。全員表示型ビデオ会議システムに比べて必要な帯域を小さくできる。しかし、発話者しか表示されないので、その会議のキーパーソン（例えば会議の議長）の様子を確認できない。
【０００８】
また、特許文献３に記載の３Ｄオーディオ技術を用いた音声会議システムでは、映像を使用しないので、会議の参加者は当該会議に参加する他の参加者の様子を確認し難い。
【０００９】
本発明は上記事情に鑑みてなされたものであり、本発明の目的は、ビデオ会議システムにおいて、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できるようにすることにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明では、ビデオ会議に参加する複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバを設ける。そして、会議端末毎に、プレゼンスサーバを用いて、当該会議端末のユーザが指定した当該ユーザの前記仮想空間における位置および向き対して前方に位置するユーザ各々を特定し、特定したユーザ各々の映像データを含む会議画面を当該会議端末に表示させる。
【００１１】
例えば、本発明のビデオ会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、を有し、
前記複数の会議端末各々は、
他の会議端末からの映像送信要求に従い、自会議端末のユーザである自ユーザの映像データを要求元の会議端末に送信する映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記プレゼンスサーバから自会議端末以外の会議端末のユーザである他ユーザ各々の仮想位置情報を受信する端末側位置情報受信手段と、
前記自ユーザの仮想位置情報および前記他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において前記自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記前方ユーザ検出手段で検出した前方ユーザ各々の会議端末に映像送信要求を送信して、前記前方ユーザ各々の会議端末からの前方ユーザの映像データを受信する映像データ受信手段と、
前記映像データ受信手段で受信した前方ユーザの映像データ各々を含む会議画面をディスプレイに表示する表示制御手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記複数の会議端末の各々に対して、前記管理手段で管理されている当該会議端末以外の各会議端末のユーザの位置情報を当該会議端末に送信するサーバ側位置情報送信手段と、を有する。
【００１２】
また、本発明の他のビデオ会議システムは、複数の会議端末と、前記複数の会議端末各々のユーザの仮想空間上における位置を管理するプレゼンスサーバと、前記複数の会議端末各々に映像データを送信する映像サーバと、を有し、
前記複数の会議端末各々は、
自会議端末のユーザである自ユーザの映像データを前記映像サーバに送信する端末側映像データ送信手段と、
前記自ユーザの前記仮想空間上における位置および向きを受け付ける位置受付手段と、
前記位置受付手段で受け付けた位置および向きを含む自ユーザの仮想位置情報を前記プレゼンスサーバに送信する端末側位置情報送信手段と、
前記映像サーバから会議画面データを受信する端末側映像データ受信手段と、
前記端末側映像データ受信手段で受信した会議画面データをディスプレイに表示する表示制御手段と、を有し、
前記映像サーバは、
前記複数の会議端末各々から当該会議端末のユーザの映像データを受信する映像サーバ側映像データ受信手段と、
前記プレゼンスサーバから前記複数の会議端末各々の仮想位置情報を受信する映像サーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末の自ユーザの仮想位置情報および他ユーザ各々の仮想位置情報に基づいて、前記仮想空間において当該自ユーザの前方に位置する少なくともひとりの他ユーザを、前方ユーザとして検出する前方ユーザ検出手段と、
前記複数の会議端末の各々に対して、前記映像サーバ側映像データ受信手段で受信した前記複数の会議端末各々のユーザの映像データのうち、前記前方ユーザ検出手段で検出した当該会議端末の前方ユーザ各々の映像データを含む会議画面データを、当該会議端末へ送信する映像サーバ側映像データ送信手段と、を有し、
前記プレゼンスサーバは、
前記複数の会議端末各々から送られてきたユーザの仮想位置情報を受信するプレゼンスサーバ側位置情報受信手段と、
前記複数の会議端末の各々について、当該会議端末から送られてきたユーザの仮想位置情報を管理する管理手段と、
前記管理手段で管理されている前記複数の会議端末各々のユーザの仮想位置情報を前記映像サーバに送信するプレゼンスサーバ側位置情報送信手段と、を有する。
【発明の効果】
【００１３】
本発明では、会議端末のユーザが指定した当該ユーザの仮想空間における位置および向き対して前方に位置するユーザ各々の映像データを当該会議端末に表示するので、ユーザ全員の映像データを会議端末に表示する場合に比べて必要な帯域を小さくできる。また、会議端末のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本発明によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明の実施の形態を説明する。
【００１５】
<<第１実施形態>>
図１は本発明の第１実施形態が適用されたビデオ会議システムの概略構成図である。図示するように、本実施形態のビデオ会議システムは、プレゼンスサーバ１および複数の会議端末２がＩＰ（Internet Protocol）網３を介して相互接続されて構成されている。
【００１６】
プレゼンスサーバ１は、各会議端末２のユーザの仮想空間上における位置情報を管理する。ここで、仮想空間とは各会議端末２のユーザが会議を行うために仮想的に作り出した空間である。仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。
【００１７】
図２はプレゼンスサーバ１の概略構成図である。
【００１８】
図示するように、プレゼンスサーバ１は、ＩＰ網３に接続するためのＩＰ網インターフェース部１０１と、位置情報管理部１０２と、ＳＩＰ(Session Initiation Protocol)サーバ処理部１０３と、位置情報記憶部１０４と、を有する。
【００１９】
図３は位置情報記憶部１０４の登録内容を模式的に示した図である。図示するように、位置情報記憶部１０４には、会議端末２のユーザ毎に、レコード１０４０が記憶されている。レコード１０４０は、会議端末２のユーザを一意に識別するためのユーザＩＤを登録するフィールド１０４１と、当該会議端末２が映像交信に利用するＳＩＰ-ＵＲＩ（Uniform Resource Identifier）である映像交信用ＳＩＰ-ＵＲＩを登録するフィールド１０４２と、映像交信用ＳＩＰ-ＵＲＩに対応するＩＰアドレスである映像交信用ＩＰアドレスを登録するフィールド１０４３と、当該会議端末２が音声交信に利用するＳＩＰ-ＵＲＩである音声交信用ＳＩＰ-ＵＲＩを登録するフィールド１０４４と、音声交信用ＳＩＰ-ＵＲＩに対応する音声交信用ＩＰアドレスを登録するフィールド１０４５と、当該会議端末２のユーザの仮想空間における位置情報である仮想位置情報を登録するフィールド１０４０と、を有する。ここで、仮想位置情報は、仮想空間におけるユーザの現在位置の座標情報と当該ユーザの視線方向の方位情報とを含む。
【００２０】
位置情報管理部１０２は、位置情報記憶部１０４に登録されているレコード１０４０の検索・更新を行う。ＳＩＰサーバ処理部１０３は、位置情報記憶部１０４に登録されているＳＩＰ-ＵＲＩとＩＰアドレスとの対応関係を用いて、発側の会議端末２から受信したＩＮＶＩＴＥメッセージを着側の会議端末２へ送信する。
【００２１】
図４はプレゼンスサーバ１の動作フローを説明する図である。
【００２２】
位置情報管理部１０２は、ＩＰ網インターフェース部１０１を介して会議端末２からユーザＩＤと共に仮想位置情報を受信すると（Ｓ１００１）、当該ユーザＩＤがフィールド１０４１に登録されているレコード１０４０を位置情報記憶部１０４から検索し（Ｓ１００２）、検索したレコード１０４０のフィールド１０４６に登録されている仮想位置情報を該受信した仮想位置情報に更新する（Ｓ１００３）。
【００２３】
また、位置情報管理部１０２は、ＩＰ網インターフェース部１０１を介して会議端末２からユーザＩＤを伴う位置情報送信要求を受信すると（Ｓ１００４）、位置情報記憶部１０４から当該ユーザＩＤがフィールド１０４１に登録されているレコード１０４０以外の全てのレコード１０４０を読出し（Ｓ１００５）、該要求の送信元の会議端末２に返信する（Ｓ１００６）。
【００２４】
また、ＳＩＰサーバ処理部１０３は、ＩＰ網インターフェース部１０１を介して会議端末２から、宛先のＳＩＰ-ＵＲＩの指定を伴うＩＮＶＩＴＥメッセージを受信すると（Ｓ１００７）、該ＳＩＰ-ＵＲＩがフィールド１０４２あるいは１０４４に登録されているレコード１０４０を位置情報記憶部１０４から検索する（Ｓ１００８）。そして、該ＳＩＰ-ＵＲＩがフィールド１０４２に登録されているならば、検索したレコード１０４０のフィールド１０４３に登録されているＩＰアドレスを宛先として該ＩＮＶＩＴＥメッセージを転送する。一方、該ＳＩＰ-ＵＲＩがフィールド１０４４に登録されているならば、検索したレコード１０４０のフィールド１０４５に登録されているＩＰアドレスを宛先として該ＩＮＶＩＴＥメッセージを転送する（Ｓ１００９）。
【００２５】
会議端末２は、仮想空間においてユーザが指定した当該ユーザの位置および向き対して前方に位置するユーザ各々を特定し、特定したユーザ各々の映像データを含む会議画面を表示する。図５は会議端末３の概略構成図である。
【００２６】
図示するように、会議端末２は、音声入力部２０１と、映像入力部２０２と、音声出力部２０３と、映像出力部２０４と、操作受付部２０５と、オーディオエンコーダ２０６と、ビデオエンコーダ２０７と、オーディオレンダラ２０８と、会議画面生成部２０９と、プレゼンスプロバイダ２１０と、空間モデラ２１１と、ＩＰ網３に接続するためのＩＰ網インターフェース部２１２と、ＲＴＰ（Real-time Transport Protocol）処理部２１３と、ＳＩＰ制御部２１４と、発話検出部２１５と、前方ユーザ検出部２１６と、着席情報作成部２１７と、を有する。
【００２７】
音声入力部２１０は、マイク２２１で収音した音声信号の入力端子である。映像入力部２０２は、ビデオカメラ２２２で撮像した映像信号の入力端子である。音声出力部２０３は、３Ｄオーディオ対応（例えば擬似５．１チャンネル対応）のヘッドフォン（あるいはスピーカ）２２３に接続される音声出力端子である。そして、操作受付部２０５はユーザのポインティングデバイス２２５に対する操作を受け付ける。
【００２８】
映像出力部２０４は、ディスプレイ２２４に接続される映像出力端子であり、操作受付部２０５に接続されたポインティングデバイス２２５を介してユーザより受け付けた指示に従い、後述する会議画面生成部２０９および着席情報生成部２１７のいずれかを選択し、選択した生成部から出力される映像をディスプレイ２２４に表示する。
【００２９】
オーディオエンコーダ２０６は、音声入力部２０１に入力された音声信号をエンコードして音声データを出力する。ビデオエンコーダ２０７は、映像入力部２０２に入力された映像信号をエンコードして映像データを出力する。
【００３０】
ＲＴＰ処理部２１３は、オーディオエンコーダ２０６より出力された音声データをＲＴＰパケットに格納し、該ＲＴＰパケットをＩＰ網インターフェース部２１２を介して、ＳＩＰ処理部２１４より通知された宛先のＩＰアドレスへ送信する。また、ＲＴＰパケット処理部２１４は、ビデオエンコーダ２０７より出力された映像データをＲＴＰパケットに格納し、該ＲＴＰパケットをＩＰ網インターフェース部２１２を介して、ＳＩＰ処理部２１４より通知された宛先のＩＰアドレスへ送信する。また、ＲＴＰ処理部２１３は、ＩＰ網インターフェース部２１２を介して他の会議端末２より受信したＲＴＰパケットから音声データを取り出して、該ＲＴＰパケットの送信元アドレスと共にオーディオレンダラ２０８に出力する。さらに、ＲＴＰ処理部２１３は、ＩＰ網インターフェース部２１２を介して他の会議端末２より受信したＲＴＰパケットから映像データを取り出して、該ＲＴＰパケットの送信元アドレスと共に会議画面生成部２０９に出力する。
【００３１】
発話検出部２１５は、音声入力部２０１に入力する音声信号からユーザの発話の有無をモニタする。そして、発話（有音状態）を検出した場合に、発話検出信号をＳＩＰ制御部２１４に出力し、所定期間（例えば１０秒）の無音状態を検出した場合に、発話停止信号をＳＩＰ制御部２１４に出力する。
【００３２】
空間モデラ２１１は、予め設定されている仮想空間の属性に従い、操作受付部２０５で受け付けた自ユーザのポインティングデバイス２２５に対する操作に応じて当該仮想空間における自ユーザの位置（座標）および視線方向（方位）を決定し、決定した位置および視線方向を含む自ユーザの仮想位置情報を保持すると共に、プレゼンスプロバイダ２１０、前方ユーザ検出部２１６、着席情報生成部２１７およびオーディオレンダラ２０８に出力する。また、空間モデラ２１１は、プレゼンスプロバイダ２１０から他ユーザ各々の仮想位置情報を受け取って保持すると共に、前方ユーザ検出部２１６、着席情報生成部２１７およびオーディオレンダラ２０８に出力する。
【００３３】
プレゼンスプロバイダ２１０は、空間モデラ２１１から受け取った自ユーザの仮想位置情報を、ＩＰ網インターフェース部２１０を介してプレゼンスサーバ１に定期的に送信する。また、プレゼンスプロバイダ２１０は、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から他ユーザ各々のレコード１０４０を受信する。そして、受信した他ユーザ各々のレコード１０４０を空間モデラ２１１に通知する。
【００３４】
前方ユーザ検出部２１６は、空間モデラ２１１から受け取った自ユーザの仮想位置情報および他ユーザ各々のレコード１０４０の仮想位置情報に基づいて、仮想空間において自ユーザの前方に位置する他ユーザを前方ユーザとして検出する。また、検出した前方ユーザ各々の後述する会議画面における配置位置を決定する。そして、検出した前方ユーザ各々をＳＩＰ処理部２１４に通知すると共に、検出した前方ユーザ各々とその配置位置を会議画面生成部２０９に通知する。
【００３５】
具体的には、図６（Ａ）に示すように、先ず、前方ユーザ検出部２１６は、仮想空間における自ユーザの位置２１６１および他ユーザ各々の位置２１６２を、それぞれの仮想位置情報に含まれている座標上に決定する。次に、前方ユーザ検出部２１６は、自ユーザの視線方向２１６３を自ユーザの仮想位置情報に含まれている方位に決定する。それから、前方ユーザ検出部２１６は、視線方向２１６３に最も近い前方ユーザの会議画面における配置位置を画面中央とする。また、画面中央とした前方ユーザの右側ｎ番目に位置する前方ユーザの会議画面における配置位置を画面中央から右側ｎ番目とし、画面中央とした前方ユーザの左側ｎ番目に位置する前方ユーザの会議画面における配置位置を画面中央から左側ｎ番目とする。この処理をｎが予め定められた数（後述する会議画面に設けられた前方ユーザ用の映像表示枠の数に応じて定められた数）となるまで繰り返す。次に、前方ユーザ検出部２１６は、前方ユーザ各々のレコード１０４０に含まれているユーザＩＤをＳＩＰ制御部２１４に通知する。また、前方ユーザ毎に、当該前方ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む前方ユーザ情報を生成し、会議画面生成部２０９に送信する。
【００３６】
また、前方ユーザ検出部２１６は、会議画面生成部２１７から受け取った送信元ＩＰアドレスを映像交信用ＩＰアドレスとする他ユーザのレコード１０４０を、発話ユーザのレコード１０４０とし、発話ユーザの後述する会議画面における配置位置を決定する。そして、発話ユーザの配置位置を会議画面生成部２０９に通知する。
【００３７】
具体的には、図６（Ｂ）に示すように、先ず、前方ユーザ検出部２１６は、仮想空間における自ユーザの位置２１６１および発話ユーザ各々の位置２１６４を、それぞれの仮想位置情報に含まれている座標上に決定する。次に、前方ユーザ検出部２１６は、自ユーザの視線方向２１６３を自ユーザの仮想位置情報に含まれている方位に決定する。それから、前方ユーザ検出部２１６は、発話ユーザ各々の会議画面における配置位置を、視線方向２１６に対して自ユーザから右および左のいずれに位置するか否か、および、右および左の何番目に位置するかに従って決定する。例えば、視線方向２１６３の右側２番目に位置する発話ユーザの会議画面における配置位置を、前方ユーザの配置位置より右側であって画面中央側から２番目とする。そして、発話ユーザ毎に、当該発話ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む発話ユーザ情報を生成し会議画面生成部２０９に送信する。
【００３８】
会議画面生成部２０９は、会議画面雛形データを保持している。図７は、会議画面雛形データ２０９０の表示例を示す図である。この例において、会議画面雛形データ２０９０は、ユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２の組を複数備えて構成される。複数の組のうち、画面の中央部分に配置される複数（図７では３つ）の組２０９３は、前方ユーザの映像データおよびユーザＩＤを表示するための組である。また、複数の組２０９３の右側および左側に配置される少なくとも１つ（図７では１つ）の組２０９４は、前方ユーザ以外の発話ユーザの映像データおよびユーザＩＤを表示するための組である。会議画面生成部２０９は、映像出力部２０４を介してディスプレイ２２４に会議画面雛形データ２０９０を表示する。また、ＲＴＰ処理部２１３から送信元アドレスと共に受け取った各映像データを、前方ユーザの映像データについては複数の組２０９３のいずれかに当該前方ユーザのユーザＩＤと共に表示し、前方ユーザ以外の発話ユーザの映像データについては少なくとも１つの組２０９４のいずれかに当該発話ユーザのユーザＩＤと共に表示する。
【００３９】
図８および図９は、会議画面生成部２０９の動作フローを説明する図である。
【００４０】
先ず、会議画面生成部２０９は、前方ユーザ検出部２１６から受信した前方ユーザ情報の中から会議画面の配置位置が画面中央である前方ユーザ情報を抽出する（Ｓ２００１）。次に、抽出した前方ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２００２）。そして、Ｓ２００１で抽出した前方ユーザ情報のユーザＩＤおよびＳ２００３で検索した映像データの配置位置を、会議画面雛形データ２０９０中の複数の組２０９３のうち中央に位置する組のユーザＩＤ表示欄２０９２およびユーザ映像表示枠２０９１に決定する（Ｓ２００３）。
【００４１】
次に、会議画面生成部２０９は、注目の組が画面中央に対して右および左のいずれに位置するかを示す設定値Ｈを右（あるいは左）に設定する（Ｓ２００４）。また、カウンタ値ｎを１に設定する（Ｓ２００５）。次に、会議画面雛形データ２０９０中の複数の組２０９３のうち、中央に位置する組から設定値Ｈへｎ番目の組があるか否かを調べる（Ｓ２００６）。ない場合はＳ２０１１へ進む。一方、ある場合は、前方ユーザ検出部２１６から受信した前方ユーザ情報の中から、会議画面の配置位置が画面中央から設定値Ｈへｎ番目の位置である前方ユーザ情報を抽出する（Ｓ２００７）。そのような前方ユーザ情報を抽出できなかった場合はＳ２０１１へ進む。一方、そのような前方ユーザ情報を抽出できた場合は、抽出した前方ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２００８）。そして、Ｓ２００７で抽出した前方ユーザ情報のユーザＩＤおよびＳ２００８で検索した映像データの配置位置を、会議画面雛形データ２０９０中の複数の組２０９３のうち中央に位置する組から設定値Ｈへｎ番目の組のユーザＩＤ表示欄２０９２およびユーザ映像表示枠２０９１に決定する（Ｓ２００９）。それから、カウンタ値ｎを１つインクリメントし（Ｓ２０１０）、Ｓ２００５に戻る。
【００４２】
Ｓ２０１１では、設定値Ｈが右（あるいは左）であるか否かを調べ、そうであるならば設定値Ｈを左（あるいは右）に変更し（Ｓ２０１２）、それから、Ｓ２００５に戻る。一方、そうでないならば、つまり、設定値Ｈを右および左のそれぞれに設定して上述のＳ２００５〜Ｓ２０１０を実行したならば、Ｓ２０１３に進む。
【００４３】
Ｓ２０１３において、会議画面生成部２０９は、注目の組が画面中央に対して右および左のいずれに位置するかを示す設定値Ｊを右（あるいは左）に設定する。また、カウンタ値ｍを１に設定する（Ｓ２０１４）。次に、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組があるか否かを調べる（Ｓ２０１５）。ない場合はＳ２０１９へ進む。一方、ある場合は、前方ユーザ以外の発話ユーザの映像データであって、配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目である映像データを、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から検索する（Ｓ２０１６）。
【００４４】
具体的には、ＲＴＰ処理部２１３から送信元アドレスと共に受信した映像データの中から、前方ユーザ検出部２１６から受信した前方ユーザ情報の映像交信用ＩＰアドレス以外の送信元アドレスを持つ映像データを検索する。次に、検索した映像データの各送信元アドレスを前方ユーザ検出部２１６に通知して、各送信元アドレスに対応する発話ユーザ情報を入手する。そして、入手した発話ユーザ情報の中から配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目の発話ユーザ情報を特定し、該特定した発話ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを、前方ユーザ以外の発話ユーザの映像データであって、配置位置が前方ユーザの配置位置より設定値Ｊ側で画面中央からｍ番目の映像データとする。
【００４５】
次に、会議画面生成部２０９は、Ｓ２０１６で特定した映像データと、該映像データの送信元アドレスを映像交信用ＩＰアドレスとする発話ユーザ情報のユーザＩＤとの配置位置を、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組のユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２に決定する（Ｓ２０１７）。それから、カウンタ値ｍを１つインクリメントし（Ｓ２０１８）、Ｓ２０１４に戻る。
【００４６】
Ｓ２０１９では、設定値Ｊが右（あるいは左）であるか否かを調べ、そうであるならば設定値Ｊを左（あるいは右）に変更し（Ｓ２０２０）、それから、Ｓ２０１４に戻る。一方、そうでないならば、つまり、設定値Ｊを右および左のそれぞれに設定して上述のＳ２０１４〜Ｓ２０１８を実行したならば、会議画面生成部２０９は、会議画面雛形データ２０９０のユーザ映像表示枠２０９１およびユーザＩＤ表示欄２０９２のそれぞれに、Ｓ２００９およびＳ２０１７で決定したユーザＩＤ、映像データを配置して、図１０に示すような会議画面データを生成し、映像出力部２０４を介してディスプレイ２２４に出力する（Ｓ２０２１）。なお、図１０に示す会議画面データの例では、３人の前方ユーザ（jiro,taro,hanako）の映像データが表示され、仮想空間において自ユーザに対して右側の１番目に位置する発話ユーザ（ichiro）の映像データが表示されている例を示している。仮想空間において自ユーザに対して左側に位置する発話ユーザは存在せず、このため、画面左側の組２０９４にはユーザＩＤおよび映像データが表示されていない。
【００４７】
図５に戻って説明を続ける。着席室情報作成部２１７は、空間モデラ２１１から受け取った自ユーザの仮想位置情報および他ユーザ各々のレコード１０４０の仮想位置情報に基づいて、例えば図１１に示すような、仮想空間における自ユーザの配置位置２１６１および他ユーザ各々の配置位置２１６２を示す着席情報表示データを生成する。そして、着席情報表示データを映像出力部２０４を介してディスプレイ２２４に表示する。
【００４８】
オーディオレンダラ２０８は、ＲＴＰ処理部２１３から各音声データを送信元アドレスと共に受信する。そして、受信した各音声データをバッファリングすることによって、各音声データ間で同期させる（対応付ける）。このバッファリング（プレイアウト・バッファリング）の方法については、例えば文献「Colin Perkins著： RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003)」に記載されている。また、オーディオレンダラ２０８は、同期させた各音声データを、空間モデラ２１１より受け取った他ユーザ各々のレコード１０４０の仮想位置情報および自ユーザの仮想位置情報により特定される、仮想空間における他ユーザ各々と自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ２０８は、２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を、音声出力部２０３に接続された３Ｄオーディオ対応ヘッドフォン２２３に出力する。
【００４９】
オーディオレンダラ２０８をより詳細に説明する。３次元オーディオ技術では、主に人の頭（以下、「人頭」）のまわりでの音響の変化の仕方（インパルス応答）を表すＨＲＩＲ（Head Related Impulse Response）と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。ＨＲＩＲは、音源と人頭との距離、および、人頭と音源との角度（水平角度および垂直角度）によって決定される。なお、オーディオレンダラ２０８には、予めダミーへッドを使用して各距離および各角度毎に測定したＨＲＩＲの数値が記憶されているものとする。また、ＨＲＩＲの数値には、左チャネル用（ダミーヘッドの左耳で測定したもの）と、右チャネル用（ダミーヘッドの右耳で測定したもの）とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。
【００５０】
図１２はオーディオレンダ２０８の処理を説明する図である。オーディオレンダラ２０８は、ＲＴＰ処理部２１３から送信元アドレスと共に送られてくる音声データ各々に関して、送信元アドレス毎に下記の計算を行う。
【００５１】
まず、オーディオレンダラ２０８は、送信元アドレス毎に、ＲＴＰ処理部２１３から当該送信元アドレスに対応付けられている音声データの信号列ｓｉ[ｔ](ｔ＝１，...）を受け付ける。また、送信元アドレス毎に、空間モデラ２１１から受け付けた他ユーザ各々のレコード１０４０の中から当該送信元アドレスを音声交信用ＩＰアドレスとするレコード１０４０を検索する。そして、検索したレコード１０４０の仮想位置情報と、空間モデラ２１１から受け付けた自ユーザの仮想位置情報とを、当該送信元アドレスに対応付けられている音声データの信号列ｓｉ[ｔ](ｔ＝１，...）を３Ｄオーディオ処理に用いるパラメータに設定する（Ｓ３００１）。
【００５２】
次に、オーディオレンダラ２０８は、送信元アドレス毎に、音声データの直接音と、残響である反射音とを計算する。直接音については、パラメータ設定された位置情報を用いて、自ユーザと当該送信元アドレスを持つ他ユーザとの仮想空間における距離および角度（azimuth）を計算する（Ｓ３００２）。それから、オーディオレンダラ２０８は、自ユーザとの距離および角度に対応するＨＲＩＲを、予め記憶しておいたＨＲＩＲの数値の中から特定する（Ｓ３００３）。なお、オーディオレンダラ２０８は、予め記憶しておいたＨＲＩＲの数値を補間することによって算出したＨＲＩＲの数値を使用してもよい。
【００５３】
次に、オーディオレンダラ２０８は、Ｓ３００１で入力した信号列と、Ｓ３００３で特定したＨＲＩＲの左チャネル用ＨＲＩＲとを使用して、畳み込み（convolution）計算を行い、左チャネル信号を生成する（Ｓ３００４）。同様に、Ｓ３００１で入力した信号列と、Ｓ３００３で特定したＨＲＩＲの右チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、右チャネル信号を生成する（Ｓ３００５）。
【００５４】
また、反響音については、Ｓ３００１でパラメータ設定された位置情報を用いて、付加すべき残響を計算する（Ｓ３００６、Ｓ３００７）。すなわち、オーディオレンダラ２０８は、仮想空間の属性による音響の変化の仕方（インパルス応答）に基づいて残響を計算する。以下、残響の計算について説明する。
【００５５】
残響は初期反射（early reflection）および後期残響（late reverberation）により構成される。そして、初期反射の方が後期残響より、他ユーザとの距離や部屋（仮想空間）の大きさなどに関する感覚の形成（認知）において、重要であると一般的に考えられている。実空間上の室内では、音源から直接発せられた音（直接音）が聞こえた後、数ｍｓから１００ｍｓくらいの間に、条件によっては、壁、天井、床などからの数１０個の初期反射を聞くことができるといわれている。部屋の形状が直方体であれば、１回の初期反射は６個だけである。しかしながら、より複雑な形状または家具などがある部屋においては、反射音の数が増え、また、壁などで複数回反射した音も聞こえる。
【００５６】
初期反射の計算法としてimage source methodがあり、例えば文献「Allen, J.B. and Berkley, A., "Image Method for efficiently Simulating Small-Room Acoustics", J.Acoustical Society of America， Vol.65, No.4, pp.943-950, April 1979.」に記載されている。単純なimage source methodでは、部屋の壁、天井、床を鏡面とみなし、反射音を鏡面の反対側にある音源の像からの音として計算する。
【００５７】
図１３は説明を簡単にするために、天井と床を省略した２次元のimage source methodを模式的に表した図である。すなわち、中央に本来の会議室（仮想空間）２０８１があり、当該会議室２０８１には会議の参加者である自ユーザおよび他ユーザが存在する。そして、音室２０８１の周囲には部屋の壁２０８２を含む１２個の鏡像が描かれている。なお、鏡像は１２個である必然性はなく、これより多くすることも少なくすることもできる。
【００５８】
オーディオレンダラ２０８は、鏡像各々の中に存在する他ユーザの各像からの音が、自ユーザ（聴取者）に直進するものとして、他ユーザの各像から自ユーザまでの距離と方向を算出する（Ｓ３００６）。音の強さは距離に反比例するため、オーディオレンダラ２０８は、距離に従って各音量を減衰させる。ただし、壁の反射率をα（０≦α≦１）とすると、壁でｎ回反射される音の標本には、αnを乗じて音量をさらに減衰させる。
【００５９】
なお、反射率αの値は０．６程度の値を使用する。０．６程度の値にする理由は、自ユーザが他ユーザとの距離を認識するのに充分な残響（すなわち、直接音と反射音との比）を取得するためである。また、もう１つの理由としては、αの値を過大にした場合、自ユーザの方向感覚をにぶらせるからである。
【００６０】
次に、オーディオレンダラ２０８は、他ユーザの像毎に、自ユーザとの距離および角度に対応するＨＲＩＲを、予め記憶しておいたＨＲＩＲの数値の中から特定する（Ｓ３００７）。反射音はそれぞれ異なる方向から人頭に達するため、Ｓ３００３で特定した直接音のＨＲＩＲとは異なるＨＲＩＲを適用する必要がある。
【００６１】
なお、多数の反射音各々に、異なるＨＲＩＲを用いて後述するたたみこみ計算（Ｓ３００７、Ｓ３００８）を行うと、膨大な計算が必要になる。計算量の増加を防止するため、反射音の計算には、実際の音源の方向にかかわらず正面に音源があるときのＨＲＩＲを適用してもよい。そして、音が左右の耳に達する際の時間差（ITD:interaural time difference）と強度差（IID:interaural intensity difference）だけを計算することで、少ない計算量でＨＲＩＲの計算を代替できる。
【００６２】
次に、オーディオレンダラ２０８は、Ｓ３００１で入力した信号列と、Ｓ３００７で特定したＨＲＩＲの左チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、左チャネル信号の残響を生成する（Ｓ３００８）。同様に、Ｓ３００１で入力した信号列と、Ｓ３００７で特定したＨＲＩＲの右チャネル用ＨＲＩＲとを使用して、畳み込み計算を行い、右チャネル信号の残響を生成する（Ｓ３００９）。
【００６３】
さて、オーディオレンダラ２０８は、以上のようにして全ての他ユーザ（送信元アドレス）の左チャネル信号を計算したならば、これらを全て加算する（Ｓ３０１０）。なお、左チャネル信号は、Ｓ３００４で算出した直接音と、Ｓ３００８で算出した反射音とが含まれる。
【００６４】
同様に、オーディオレンダラ２０８は、以上のようにして全ての他ユーザ（送信元アドレス）の右チャネル信号を計算したならば、これらを全て加算する（Ｓ３０１１）。なお、右チャネル信号は、Ｓ３００５で算出した直接音と、Ｓ３００９で算出した反射音とが含まれる。
【００６５】
ＨＲＩＲ計算（Ｓ３００３、Ｓ３００７）は、ＲＴＰパケットの１パケット分の音声データ毎に行う。しかし、畳み込み計算（Ｓ３００４、Ｓ３００５、Ｓ３００８、Ｓ３００９）では、次の１パケット分の音声データに繰り越すべき部分が生じる。このため、特定したＨＲＩＲまたは入力された信号列を次の１パケット分の音声データに対する処理まで保持する必要がある。
【００６６】
このように、オーディオレンダラ２０８は、ＲＴＰ処理部２１３から送られてきた他ユーザ各々の音声データに対して、上述の計算による音量の調節、残響や反響音の重ね合わせ、および、フィルタリング等の処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を施す。すなわち、オーディオレンダラ２０８は、仮想空間の属性と他ユーザとの相対的な位置から帰結する処理によって音声を定位させた立体音響を生成する。
【００６７】
図５に戻って説明を続ける。ＳＩＰ制御部２１４は、他の会議端末２各々のユーザＩＤ、音声交信用ＳＩＰ-ＵＲＩおよび映像交信用ＳＩＰ-ＵＲＩが登録されたテーブルを保持しており、必要に応じてこのテーブルを用いて、他の会議端末２との間に、音声交信用のコネクションおよび映像交信用のコネクションを確立する。
【００６８】
図１４はＳＩＰ制御部２１４の動作フローを説明する図である。
【００６９】
会議端末２の起動時に、ＳＩＰ処理部２１４は、会議に参加している各会議端末２と音声交信用コネクションを確立する。先ず、ＳＩＰ処理部２１４は、自身のテーブルに登録されている音声交信用ＳＩＰ-ＵＲＩの中から未抽出の音声交信用ＳＩＰ-ＵＲＩを抽出する（Ｓ４００１）。次に、ＳＩＰ処理部２１４は、抽出した音声交信用ＳＩＰ-ＵＲＩを宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、音声交信用ＳＩＰ-ＵＲＩを持つ会議端末２に対して、音声交信用コネクションの確立を試みる（Ｓ４００２）。次に、ＳＩＰ処理部２１４は、自身のテーブルに登録されている全ての音声交信用ＳＩＰ-ＵＲＩを抽出したか否かを調べ（Ｓ４００３）、抽出していない場合はＳ４００１に戻り、抽出した場合は、起動時の音声交信用コネクションを確立処理を終了し、各種イベントの待ち状態に移行する。
【００７０】
さて、ＳＩＰ処理部２１４は、ＩＰ網インターフェース部２１２を介してＩＰ網３からＩＮＶＩＴＥメッセージを受信すると（Ｓ４１０１）、該ＩＮＶＩＴＥメッセージの送信元（発側）の会議端末２との間でＳＩＰに従った呼制御シーケンスを実行し、当該会議端末２との間にコネクションを確立する（Ｓ４１０２）。また、ＳＩＰ制御部２１４は、該ＩＮＶＩＴＥメッセージで宛先に指定されている自会議端末２のＳＩＰ-ＵＲＩが映像交信用ＳＩＰ-ＵＲＩであるか、それとも音声交信用ＳＩＰ-ＵＲＩであるかを調べ（Ｓ４１０３）、映像交信用ＳＩＰ-ＵＲＩである場合は映像交信用コネクションの確立を、当該コネクションによる通話相手の会議端末２のＩＰアドレスと共にＲＴＰ処理部２１３に通知する。一方、音声交信用ＳＩＰ-ＵＲＩである場合は音声交信用コネクションの確立を、当該コネクションによる通話相手の会議端末２のＩＰアドレスと共にＲＴＰ処理部２１３に通知する（Ｓ４１０４）。
【００７１】
また、ＳＩＰ処理部２１４は、ＩＰ網インターフェース部２１２を介してコネクションを確立している通話相手の会議端末２からＢＹＥメッセージを受信すると（Ｓ４２０１）、該通話相手の会議端末２との間でＳＩＰに従った呼制御シーケンスを実行し、当該会議端末２との間のコネクションを解放する（Ｓ４２０２）。また、ＳＩＰ制御部２１４は、解放したコネクションの種別（映像交信用コネクションおよび音声交信用コネクションのいずれか）と、該コネクションを用いた通話相手の会議端末２のＩＰアドレスとを、ＲＴＰ処理部２１３に通知して、ＲＴＰ処理部２１３に、該ＩＰアドレスを持つ通話相手の会議端末２と指定された種別のデータを格納したＲＴＰパケットを送受することを終了させる（Ｓ４２０３）。
【００７２】
また、ＳＩＰ制御部２１４は、前方ユーザ検出部２１６より前方ユーザのユーザＩＤを通知されると（Ｓ４３０１）、該ユーザＩＤに対応付けられて自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩを宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザの会議端末２）に対して、映像交信用コネクションの確立を試みる（Ｓ４３０２）。
【００７３】
また、ＳＩＰ制御部２１４は、発話検出部２１５より発話検出信号を通知されると（Ｓ４４０１）、自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩの中から映像交信用コネクションが確立していない映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩ各々を宛先とするＩＮＶＩＴＥメッセージを、ＩＰ網インターフェース部２１２を介してプレゼンスサーバ２に送信し、該映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザ以外の他ユーザの会議端末２）に対して、映像交信用コネクションの確立を試みる（Ｓ４４０２）。
【００７４】
また、ＳＩＰ制御部２１４は、発話検出部２１５より発話停止信号を通知されると（Ｓ４５０１）、自身のテーブルに登録されている映像交信用ＳＩＰ−ＵＲＩの中から前方ユーザ以外の他ユーザの映像交信用ＳＩＰ−ＵＲＩであって、映像交信用コネクションが確立中の映像交信用ＳＩＰ−ＵＲＩを特定する。そして、特定した映像交信用ＳＩＰ-ＵＲＩ各々を宛先とするＢＹＥメッセージを、ＩＰ網インターフェース部２１２を介して該映像交信用ＳＩＰ−ＵＲＩを持つ会議端末２に送信し、該映像交信用ＳＩＰ-ＵＲＩを持つ会議端末２（前方ユーザ以外の他ユーザの会議端末２）との映像交信用コネクションを解放する（Ｓ４５０２）。
【００７５】
上記構成のプレゼンスサーバ１には、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【００７６】
また、上記構成の会議端末２も、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）などのコンピュータシステムである。
【００７７】
上記各装置の各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（プレセンスサーバ１の場合はプレゼンスサーバ用のプログラム、そして、会議端末２の場合は会議端末用のプログラム）を、ＣＰＵ３０１が実行することにより実現される。
【００７８】
次に、上記構成のビデオ会議システムの概略動作を説明する。
【００７９】
図１６は、図１に示すビデオ会議システムの概略動作を説明するための図である。ここでは、他ユーザＡ〜Ｄの会議端末２が既に会議に参加中であり、後から自ユーザの会議端末２が会議に参加する場合を例にとり説明する。
【００８０】
先ず、自ユーザの会議端末２は、他ユーザＡ〜Ｄの会議端末２の音声交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、これらのＩＮＶＩＴＥメッセージを他ユーザＡ〜Ｄの会議端末２に送信する（Ｓ５００１）。これにより、自ユーザの会議端末２は、他ユーザＡ〜Ｄの会議端末２各々との間に音声交信用コネクションを確立する（Ｓ５００２）。
【００８１】
次に、自ユーザの会議端末２は、自ユーザの仮想位置情報をプレゼンスサーバ１に送信する。これを受けて、プレゼンスサーバ１は自ユーザの仮想位置情報を管理する（Ｓ５００３）。また、自ユーザの会議端末２は、位置情報送信要求をプレゼンスサーバ１に送信する（Ｓ５００４）。これを受けて、プレゼンスサーバ１は他ユーザＡ〜Ｄの仮想位置情報を自ユーザの会議端末２に送信する（Ｓ５００５）。
【００８２】
次に、自ユーザの会議端末２は、前方ユーザの検出を行う（Ｓ５００６）。ここでは、前方ユーザとして他ユーザＡ〜Ｃが検出されたものとする。この場合、自ユーザの会議端末２は、前方ユーザＡ〜Ｃの会議端末２各々の映像交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、これらのＩＮＶＩＴＥメッセージを前方ユーザＡ〜Ｃの会議端末２各々に送信する（Ｓ５００７）。これにより、自ユーザの会議端末２は、前方ユーザＡ〜Ｃの会議端末２各々との間に映像交信用コネクションを確立する（Ｓ５００８）。
【００８３】
さて、自ユーザの会議端末２は、自ユーザの発話を検出すると（Ｓ５００９）、前方ユーザ以外の他ユーザであって、映像交信用コネクションが未確立である他ユーザＤの会議端末２の映像交信用ＳＩＰ−ＵＲＩを宛先とするＩＮＶＩＴＥメッセージをプレゼンスサーバ１に送信する。プレゼンスサーバ１は、このＩＮＶＩＴＥメッセージを他ユーザＤの会議端末２に送信する（Ｓ５０１０）。これにより、自ユーザの会議端末２は、他ユーザＤの会議端末２との間に映像交信用コネクションを確立する（Ｓ５０１１）。
【００８４】
また、自ユーザの会議端末２は、自ユーザの発話停止を検出すると（Ｓ５０１２）、前方ユーザ以外の他ユーザであって、映像交信用コネクションが確立中である他ユーザＤの会議端末２にＢＹＥメッセージを送信して、該映像交信用コネクションを解放する（Ｓ５０１３）。
【００８５】
以上、本発明の第１実施形態を説明した。本実施形態では、会議端末２のユーザが指定した当該ユーザの仮想空間における位置および向き対して前方に位置するユーザ各々の映像データを当該会議端末２に表示する。このため、ユーザ全員の映像データを会議端末２に表示する場合に比べて必要な帯域を小さくできる。また、会議端末２のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本実施形態によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
【００８６】
<<第２実施形態>>
図１７は本発明の第２実施形態が適用されたビデオ会議システムの概略構成図である。図示するように、本実施形態のビデオ会議システムは、プレゼンスサーバ１´、映像サーバ４、音声サーバ５および複数の会議端末２´がＩＰ網３を介して相互接続されて構成されている。
【００８７】
プレゼンスサーバ１´は、各会議端末２´からユーザの仮想位置情報を受信して管理する。また、映像サーバ４または音声サーバ５からの位置情報送信要求に応答して、各会議端末２´のユーザの仮想位置情報を映像サーバ４または音声サーバ５に送信する。なお、本実施形態のプレゼンスサーバ１´は、図２に示す第１実施形態のプレゼンスサーバ１からＳＩＰ処理部１０３を省略したものである。本実施形態のプレゼンスサーバ１´の処理フローは、図４に示す第１実施形態のプレゼンスサーバ１の処理フローからＳＩＰ処理（Ｓ１００７〜Ｓ１００９）を省略したものと同じになる。
【００８８】
映像サーバ４は、会議端末２´毎に、当該会議端末２´のユーザの映像データを受信する。また、会議端末２´毎に、当該会議端末２´のユーザ向けの会議画面データを生成し、当該会議端末２´に送信する。図１８は映像サーバ４の概略図である。
【００８９】
図示するように、映像サーバ４は、ＩＰ網３に接続するためのＩＰ網インターフェース部４０１と、ＲＴＰ処理部４０２と、ＳＩＰ処理部４０３と、プレゼンスプロバイダ４０４と、空間モデラ４０５と、前方ユーザ検出部４０６と、発話通知受信部４０７と、映像分配部４０８と、会議端末２´毎に設けられた会議画面生成部４０９と、を有する。
【００９０】
ＳＩＰ制御部４０３は、ＩＰ網インターフェース部４０１を介して各会議端末２´との間に映像交信用コネクションを確立する。
【００９１】
ＲＴＰ処理部４０２は、会議端末２´毎に、当該会議端末２´との間で確立されている映像交信用コネクションを介して当該会議端末２´からユーザの映像データを受信し、受信した映像データを、該映像データの送信元アドレスと共に、映像分配部４０８に出力する。また、ＲＴＰ処理部４０２は、会議端末２´毎に、当該会議端末２´に対応付けられた会議画面生成部４０９から出力された会議画面データを、当該会議端末２´との間で確立されている映像交信用コネクションを介して当該会議端末２´に送信する。
【００９２】
プレゼンスプロバイダ４０４は、ＩＰ網インターフェース部４０１を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から各会議端末２´のユーザのレコード（仮想位置情報）１０４０を受信する。そして、受信した各ユーザのレコード１０４０を空間モデラ４０５に通知する。
【００９３】
空間モデラ４０５は、プレゼンスプロバイダ４０４から各会議端末２´のユーザのレコード１０４０を受け取って保持すると共に、前方ユーザ検出部４０６に出力する。
【００９４】
発話通知受信部４０７は、ＩＰ網インターフェース部４０４を介していずれかの会議端末２´から発話通知を受信すると、該発話通知を該発話通知の送信元アドレスと共に前方ユーザ検出部４０６に通知する。また、発話停止通知を受信すると、該発話停止通知を該発話停止通知の送信元アドレスと共に前方ユーザ検出部４０６に通知する。
【００９５】
前方ユーザ検出部４０６は、会議端末２´毎に、空間モデラ２１１から受信した各ユーザのレコード１０４０の仮想位置情報に基づいて、仮想空間において当該会議端末２´のユーザの前方に位置する他ユーザを前方ユーザとして検出する。また、検出した前方ユーザ各々の会議画面における配置位置を決定する。そして、検出した前方ユーザ毎に、当該前方ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレスと当該前方ユーザの会議画面における配置位置とを含む前方ユーザ情報を生成し、該前方ユーザ情報を対象となる会議端末２´のユーザＩＤに対応付けて映像分配部４０８に送信する。なお、前方ユーザの具体的な検出方法および配置位置決定方法は、第１実施形態の前方ユーザ検出部２１６と基本的に同様である（図６（Ａ）参照）。
【００９６】
また、前方ユーザ検出部４０６は、発話通知受信部４０７から発話通知を該発話通知の送信元アドレスと共に受け取ると、会議端末２´毎に、当該送信元アドレスが、当該会議端末２´のユーザに対する前方ユーザとして検出した何れかのユーザの映像交信用ＩＰアドレスと一致するか否かを調べる。そして、一致しない場合に、当該送信元アドレスを持つユーザを、当該会議端末２´のユーザに対する発話ユーザとして検出し、検出した発話ユーザの会議画面における配置位置を決定する。そして、検出した発話ユーザのレコード１０４０に含まれているユーザＩＤおよび映像交信用ＩＰアドレス（発話通知の送信元アドレス）と当該発話ユーザの会議画面における配置位置とを含む発話ユーザ情報を生成し、該発話ユーザ情報を対象となる会議端末２´のユーザＩＤに対応付けて映像分配部４０８に送信する。なお、発話ユーザの具体的な配置位置決定方法は、第１実施形態の前方ユーザ検出部２１６と基本的に同様である（図６（Ｂ）参照）。
【００９７】
また、前方ユーザ検出部４０６は、発話通知受信部４０７から発話停止通知を該発話通知の送信元アドレスと共に受け取ると、映像分配部４０８に出力している前方ユーザ情報のうち、当該発話停止通知の送信元アドレスを映像交信用ＩＰアドレスとする前方ユーザ情報の生成および出力を停止する。
【００９８】
映像分配部４０８は、会議端末２´毎に、ＲＴＰ処理部４０２から受け取った各ユーザの映像データの中から、当該会議端末２´に送信する会議画面に利用する映像データを抽出する。具体的には、会議端末２´毎に次の処理を行う。すわわち、前方ユーザ検出部４０６から受信した前方ユーザ情報および発話ユーザ情報のうち、当該会議端末２´のユーザＩＤに対応付けられている前方ユーザ情報および発話ユーザ情報を、当該会議端末２´の前方ユーザ情報および発話ユーザ情報として検出する。また、ＲＴＰ処理部４０２から受け取った各ユーザの映像データのうち、当該会議端末２´の前方ユーザ情報あるいは発話ユーザ情報の映像交信用ＩＰアドレスを送信元アドレスとする映像データを検出する。そして、検出した映像データを、当該映像データの送信元アドレスを映像交信用ＩＰアドレスとする当該会議端末２の前方ユーザ情報あるいは発話ユーザ情報と共に、当該会議端末２´に対応付けられた会議画面生成部４０９に出力する。
【００９９】
会議画面生成部４０９は、図７に示すような会議画面雛形データ２０９０を保持している。会議画面生成部４０９は、この会議画面雛形データ２０９０を用いて、映像分配部４０８から受け取った各映像データを、前方ユーザの映像データについては複数の組２０９３のいずれかに当該前方ユーザのユーザＩＤと共に表示し、前方ユーザ以外の発話ユーザの映像データについては少なくとも１つの組２０９４のいずれかに当該発話ユーザのユーザＩＤと共に表示する会議画面データを生成し、ＲＴＰ処理部４０２に出力する。
【０１００】
なお、各会議画面生成部４０９の動作フローは、図８および図９に示す第１実施形態の会議画面生成部２０９の動作フローと基本的に同様である。但し、次の点で異なる。
【０１０１】
すなわち、映像データは、前方ユーザ情報あるいは発話ユーザ情報に対応付けられて映像分配部４０８から送られてくる。したがって、図８のＳ２００１、Ｓ２００２において、会議画面生成部２０９は、映像分配部４０８から受信した前方ユーザ情報の中から会議画面の配置位置が画面中央である前方ユーザ情報を抽出し、映像分配部４０８から受信した映像データの中から前記抽出した前方ユーザ情報に対応付けられている映像データを検索する。また、図８のＳ２００７、Ｓ２００８において、会議画面生成部２０９は、映像分配部４０８から受信した前方ユーザ情報の中から、会議画面の配置位置が画面中央から設定値Ｈへｎ番目の位置である前方ユーザ情報を抽出し、映像分配部４０８から受信した映像データの中から前記抽出した前方ユーザ情報に対応付けられている映像データを検索する。また、図９のＳ２０１６において、会議画面生成部２０９は、映像分配部４０８から受信した発話ユーザ情報の中から、会議画面雛形データ２０９０中の設定値Ｊ側に位置する少なくとも１つの組２０９４のうち、画面中央側から設定値Ｊへｍ番目の組を配置位置とする発ユーザ情報を抽出する。また、映像分配部４０８から受信した映像データの中から前記抽出した発話ユーザ情報に対応付けられている映像データを検索する。そして、図９のＳ２０２１において、生成した会議画面データ（図１０参照）をＲＴＰ処理部４０２に出力する。
【０１０２】
音声サーバ５は、会議端末２´毎に、当該会議端末２´のユーザの音声データを受信する。また、音声サーバ５は、会議端末２´毎に、当該会議端末２´のユーザ向けの会議音声データ（３Ｄオーディオデータ）を生成し、当該会議端末２´に送信する。図１９は音声サーバ５の概略図である。
【０１０３】
図示するように、音声サーバ５は、ＩＰ網３に接続するためのＩＰ網インターフェース部５０１と、ＲＴＰ処理部５０２と、ＳＩＰ処理部５０３と、プレゼンスプロバイダ５０４と、空間モデラ５０５と、ユーザ情報生成部５０６と、音声分配部５０８と、会議端末２´毎に設けられたオーディオレンダラ５０９と、を有する。
【０１０４】
ＳＩＰ制御部５０３は、ＩＰ網インターフェース部５０１を介して各会議端末２´との間に音声交信用コネクションを確立する。
【０１０５】
ＲＴＰ処理部５０２は、会議端末２´毎に、当該会議端末２´との間で確立されている音声交信用コネクションを介して当該会議端末２´からユーザの音声データを受信し、受信した音声データを、該音声データの送信元アドレスと共に、音声分配部５０８に出力する。また、ＲＴＰ処理部５０２は、会議端末２´毎に、当該会議端末２´に対応付けられたオーディオレンダラ５０９から出力された会議音声データを、当該会議端末２´との間で確立されている音声交信用コネクションを介して当該会議端末２´に送信する。
【０１０６】
プレゼンスプロバイダ５０４は、ＩＰ網インターフェース部５０１を介してプレゼンスサーバ１に位置情報送信要求を定期的に送信し、その応答としてプレゼンスサーバ１から各会議端末２´のユーザのレコード（仮想位置情報）１０４０を受信する。そして、受信した各ユーザのレコード１０４０を空間モデラ５０５に通知する。
【０１０７】
空間モデラ５０５は、プレゼンスプロバイダ５０４から各会議端末２´のユーザのレコード１０４０を受け取って保持すると共に、ユーザ情報生成部５０６に出力する。
【０１０８】
ユーザ情報生成部５０６は、会議端末２´毎に、空間モデラ２１１から受信した各ユーザのレコード１０４０の中から当該会議端末２´のユーザＩＤを含むレコード１０４０を特定する。そして、特定したレコード１０４０に含まれているユーザＩＤ、音声交信用ＩＰアドレスおよび仮想位置情報を含む自ユーザ情報を生成し、音声分配部５０８に送信する。また、ユーザ情報生成部５０６は、前記特定したレコード１０４０以外のレコード１０４０毎に、当該レコード１０４０に含まれているユーザＩＤ、音声交信用ＩＰアドレスおよび仮想位置情報を含む他ユーザ情報を生成し、前記特定したレコード１０４０に含まれている自ユーザのユーザＩＤに対応付けて音声分配部５０８に送信する。
【０１０９】
音声分配部５０８は、会議端末２´毎に、ＲＴＰ処理部５０２から受け取った各ユーザの音声データの中から、当該会議端末２´に送信する会議音声データに利用する音声データを抽出する。具体的には、会議端末２´毎に次の処理を行う。すわわち、ユーザ情報生成部５０６から受信した自ユーザ情報のうち、当該会議端末２´のユーザＩＤを含む自ユーザ情報を検出し、これを当該会議端末２´の自ユーザ情報として、当該会議端末２´に対応付けられたディオレンダラ５０９に出力する。また、ユーザ情報生成部５０６から受信した他ユーザ情報のうち、当該会議端末２´のユーザＩＤに対応付けられている他ユーザ情報を、当該会議端末２´の他ユーザ情報として検出する。また、ＲＴＰ処理部５０２から受け取った各ユーザの音声データのうち、当該会議端末２´の他ユーザ情報の音声交信用ＩＰアドレスを送信元アドレスとする音声データを検出する。そして、検出した音声データを、当該音声データの送信元アドレスを音声交信用ＩＰアドレスとする当該会議端末２の他ユーザ情報と共に、当該会議端末２´に対応付けられたオーディオレンダラ５０９に出力する。
【０１１０】
オーディオレンダラ５０９は、音声分配部５０８から各音声データを他ユーザ情報と共に受信する。また、音声分配部５０８から自ユーザ情報を受信する。そして、受信した各音声データをバッファリングすることによって、各音声データ間で同期させる（対応付ける）。また、オーディオレンダラ５０９は、同期させた各音声データを、各音声データに付与された他ユーザ情報の仮想位置情報と自ユーザ情報の仮想位置情報とにより特定される、仮想空間における各他ユーザと自ユーザとの相対位置に基づいて立体化する。そして、オーディオレンダラ５０９は、２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を含む会議音声データをＲＴＰ処理部５０２に出力する。なお、音声データの立体化の方法は、第１実施形態のオーディオレンダラ２０８のそれと基本的に同様である（図１２および図１３参照）。
【０１１１】
会議端末２´は、映像サーバ４との間に映像交信用コネクションを確立し、該コネクションを介して自ユーザの映像データを映像サーバ４に送信する。また、該コネクションを介して映像サーバ４より会議画面データを受信して表示する。図２０は会議端末２´の概略構成図である。
【０１１２】
図示するように、会議端末２´は、音声入力部２０１と、映像入力部２０２と、音声出力部２０３と、映像出力部２０４と、操作受付部２０５と、オーディオエンコーダ２０６と、ビデオエンコーダ２０７と、オーディオデコーダ２３８と、ビデオデコーダ２３９と、プレゼンスプロバイダ２１０と、空間モデラ２１１と、ＩＰ網インターフェース部２１２と、ＲＴＰ処理部２３３と、ＳＩＰ制御部２３４と、発話通知部２３５と、着席情報作成部２１７と、を有する。ここで、図５に示す第１実施形態の会議端末２と同じ機能を有するものには同じ符号を付している。
【０１１３】
ＳＩＰ制御部２３４は、ＩＰ網インターフェース部２１２を介して映像サーバ４との間に映像交信用コネクションを確立する。また、ＩＰ網インターフェース部２１２を介して音声サーバ５との間に音声交信用コネクションを確立する。
【０１１４】
ＲＴＰ処理部２３３は、映像サーバ４との間で確立されている映像交信用コネクションを介してビデオエンコーダ２０７から出力された映像データを映像サーバ４に送信すると共に、該映像交信用コネクションを介して映像サーバ４から会議画面データを受信し、受信した会議画面データをビデオデコーダ２３９に送信する。また、音声サーバ５の間で確立されている音声交信用コネクションを介してオーディオエンコーダ２０６から出力された音声データを音声サーバ５に送信すると共に、該音声交信用コネクションを介して音声サーバ５から会議音声データを受信し、受信した会議音声データをオーディオデコーダ２３８に送信する。
【０１１５】
ビデオデコーダ２３９は、ＲＴＰ処理部２３３から受け取った会議画面データをデコードして映像信号を映像出力部２０４に出力する。オーディオデコーダ２３８は、ＲＴＰ処理部２３３から受け取った会議音声データをデコードして音声信号を音声出力部２０４に出力する。
【０１１６】
発話検出部２３５は、音声入力部２０１に入力する音声信号からユーザの発話の有無をモニタする。そして、発話（有音状態）を検出した場合に、ＩＰ網インターフェース部２１２を介して映像サーバ４に発話通知を送信する。また、所定期間（例えば１０秒）の無音状態を検出した場合に、発話停止通知を映像サーバ４に送信する。
【０１１７】
上記構成のプレゼンスサーバ１´、映像サーバ４および音声サーバ５も、第１実施形態のプレゼンスサーバ１と同様に、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【０１１８】
また、上記構成の会議端末２´も、第１実施形態の会議端末２と同様に、図１５に示すような、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、ＩＰ網３を介して外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、ＰＤＡ、ＰＣなどのコンピュータシステムである。
【０１１９】
次に、上記構成のビデオ会議システムの概略動作を説明する。
【０１２０】
図２１は図１７に示すビデオ会議システムの概略動作を説明するための図である。ここで、ユーザＥ〜Ｇの会議端末２´各々は、音声サーバ５および映像サーバ４のそれぞれとの間に音声交信用コネクション、映像交信用コネクションを確立しているものとする。
【０１２１】
さて、ユーザＥ〜Ｇの会議端末２´各々は、定期的に、自ユーザの仮想位置情報をプレゼンスサーバ１´に送信する（Ｓ６００１）。これを受けて、プレゼンスサーバ１´はユーザＥ〜Ｇ各々の仮想位置情報を管理する。
【０１２２】
また、音声サーバ５は、定期的に、位置情報送信要求をプレゼンスサーバ１´に送信し（Ｓ６００２）、その応答として、プレゼンスサーバ１´から全てのユーザＥ〜Ｇの仮想位置情報を入手する（Ｓ６００３）。
【０１２３】
また、映像サーバ４は、定期的に、位置情報送信要求をプレゼンスサーバ１´に送信し（Ｓ６００４）、その応答として、プレゼンスサーバ１´から全てのユーザＥ〜Ｇの仮想位置情報を入手する（Ｓ６００５）。
【０１２４】
また、ユーザＥ〜Ｇの会議端末２´各々は、音声サーバ５との間に確立されている音声交信用コネクションを介して自ユーザの音声データを音声サーバ５に送信する（Ｓ６００６）。音声サーバ５は、ユーザＥ〜Ｇの会議端末２´から送られてきた音声データを用いて、会議端末２´毎に、当該会議端末２のユーザＥ〜Ｇ向けの会議音声データを生成し、当該会議端末２との間に確立されている音声交信用コネクションを用いて当該会議端末に生成した会議音声データを送信する（Ｓ６００７）。
【０１２５】
また、ユーザＥ〜Ｇの会議端末２´各々は、映像サーバ４との間に確立されている映像交信用コネクションを介して自ユーザの映像データを映像サーバ４に送信する（Ｓ６００８）。映像サーバ４は、ユーザＥ〜Ｇの会議端末２´から送られてきた映像データを用いて、会議端末２´毎に、当該会議端末２のユーザＥ〜Ｇ向けの会議画面データを生成し、当該会議端末２との間に確立されている映像交信用コネクションを用いて当該会議端末に生成した会議画面データを送信する（Ｓ６００９）。
【０１２６】
また、ユーザＥ〜Ｇの会議端末２´各々は、自ユーザの発話を検出すると（Ｓ６０１０）、発話検出通知を映像サーバ４に送信する（Ｓ６０１１）。これを受けて、映像サーバ４は、発話検出通知の送信元の映像データを必要に応じて会議画面データに含める。
【０１２７】
以上、本発明の第２実施形態を説明した。本実施形態では、各会議端末２´は映像サーバ４との間にのみ映像交信用コネクションを確立すればよいので、ＩＰ網３のネットワークトラフィックを低減できる。また、会議端末２´のユーザが、仮想空間において所望のユーザが自身の前方に位置するように自身の仮想空間における位置および向きを指定することにより、発話の有無に関わらずに、所望のユーザの様子を確認できる。したがって、本実施形態によれば、必要な帯域を低く抑えることができ、且つ、その会議のキーパーソン等の様子を容易に確認できる。
【０１２８】
なお、本発明は、上記の各実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【０１２９】
例えば、上記の各実施形態では、コネクションの確立にＳＩＰを利用する場合を例にとり説明した。しかし、本発明はこれに限定されない。例えばＨ.３２３等のＳＩＰ以外の呼制御プロトコルを利用してもよい。なお、上記の第２実施形態のように、会議端末２´と映像サーバ４、音声サーバ５との間で常時通信を行なうことを前提する場合は、呼制御プロトコルに従った呼制御シーケンスを省略できる。
【０１３０】
また、上記の第１実施形態に上記の第２実施形態の音声サーバ５を導入し、各会議端末２と音声サーバ５との間に音声交信用コネクションを確立して、会議端末２のオーディオレンダラ２０８による会議音声データ生成処理を省略してもよい。あるいは、上記の第１実施形態に上記の第２実施形態の映像サーバ４を導入し、各会議端末２と映像サーバ４との間に映像交信用コネクションを確立して、会議端末２の会議画面生成部２０９による会議画面データ生成処理を省略してもよい。
【図面の簡単な説明】
【０１３１】
【図１】図１は本発明の第１実施形態が適用されたビデオ会議システムの概略構成図である。
【図２】図２はプレゼンスサーバ１の概略構成図である。
【図３】図３は位置情報記憶部１０４の登録内容を模式的に示した図である。
【図４】図４はプレゼンスサーバ１の動作フローを説明する図である。
【図５】図５は会議端末３の概略構成図である。
【図６】図６（Ａ）は前方ユーザ検出部２１６による前方ユーザの検出および配置位置決定を説明するための図であり、図６（Ｂ）は前方ユーザ検出部２１６による発話ユーザの配置位置決定を説明するための図である。
【図７】図７は会議画面雛形データ２０９０の表示例を示す図である。
【図８】図８は会議画面生成部２０９の動作フローを説明する図である。
【図９】図９は会議画面生成部２０９の動作フローを説明する図である。
【図１０】図１０は会議画面データの表示例を示す図である。
【図１１】図１１は着席情報表示データの表示例を示す図である。
【図１２】図１２はオーディオレンダ２０８の処理を説明する図である。
【図１３】図１３は天井と床を省略した２次元のimage source methodを模式的に表した図である。
【図１４】図１４はＳＩＰ制御部２１４の動作フローを説明する図である。
【図１５】図１５はビデオ会議システムを構成する各装置のハードウエア構成例を示す図である。
【図１６】図１６は図１に示すビデオ会議システムの概略動作を説明するための図である。
【図１７】図１７は本発明の第２実施形態が適用されたビデオ会議システムの概略構成図である。
【図１８】図１８は映像サーバ４の概略図である。
【図１９】図１９は音声サーバ５の概略図である。
【図２０】図２０は会議端末２´の概略構成図である。
【図２１】図２１は図１７に示すビデオ会議システムの概略動作を説明するための図である。
【符号の説明】
【０１３２】
１、１´…プレゼンスサーバ、２、２´…会議端末、３…ＩＰ網、４…映像サーバ、５…音声サーバ、１０１…ＩＰ網インターフェース部、１０２…位置情報管理部、１０３…ＳＩＰサーバ処理部、１０４…位置情報記憶部、２０１…音声入力部、２０２…映像入力部、２０３…音声出力部、２０４…映像出力部、２０５…操作受付部、２０６…オーディオエンコーダ、２０７…ビデオエンコーダ、２０８…オーディオレンダラ、２０９…会議画面生成部、２１０…プレゼンスプロバイダ、２１１…空間モデラ、２１２…ＩＰ網インターフェース部、２１３…ＲＴＰ処理部、２１４…ＳＩＰ制御部、２１５…発話検出部、２１６…前方ユーザ検出部、２１７…着席情報生成部、２３３…ＲＴＰ処理部、２３４…ＳＩＰ制御部、２３８…オーディオデコーダ、２３９…ビデオデコーダ、４０１…ＩＰ網インターフェース部、４０２…ＲＴＰ処理部、４０３…ＳＩＰ制御部、４０４…プレゼンスプロバイダ、４０５…空間モデラ、４０６…前方ユーザ検出部、４０８…映像分配部、４０９…会議画面生成部、５０１…ＩＰ網インターフェース部、５０２…ＲＴＰ処理部、５０３…ＳＩＰ制御部、５０４…プレゼンスプロバイダ、５０５…空間モデラ、５０６…ユーザ情報生成部、５０８…音声分配部、５０９…オーディオレンダラ
【図１】
2006254166.tif 000003
【図２】
2006254166.tif 000004
【図３】
2006254166.tif 000005
【図４】
2006254166.tif 000006
【図５】
2006254166.tif 000007
【図６】
2006254166.tif 000008
【図７】
2006254166.tif 000009
【図８】
2006254166.tif 000010
【図９】
2006254166.tif 000011
【図１０】
2006254166.tif 000012
【図１１】
2006254166.tif 000013
【図１２】
2006254166.tif 000014
【図１３】
2006254166.tif 000015
【図１４】
2006254166.tif 000016
【図１５】
2006254166.tif 000017
【図１６】
2006254166.tif 000018
【図１７】
2006254166.tif 000019
【図１８】
2006254166.tif 000020
【図１９】
2006254166.tif 000021
【図２０】
2006254166.tif 000022
【図２１】
2006254166.tif 000023