(57)【要約】【課題】表示端末の映像処理能力に応じた適切なGUIを提供する。【解決手段】カメラおよび複数のビデオ会議端末からネットワークを介して送られてくる映像ストリームを受信し、表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得し、前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、受信された映像ストリームから選択し、選択された映像ストリームを前記表示端末に転送するとともに前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送し、前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成し、生成されたGUI画像を前記表示端末に送信する。【選択図】図５
2009033348.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された、映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うビデオ会議アプリケーションサーバであって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信手段と、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信された映像ストリームから選択する映像ストリーム選択手段と、
前記映像ストリーム選択手段により選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信手段によって前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成手段と、
前記GUI画像生成手段により生成されたGUI画像を前記表示端末に送信するGUI画像送信手段と、
を備えたビデオ会議アプリケーションサーバ。
【請求項２】
前記GUI画像生成手段は、前記映像ストリーム転送手段により前記表示端末に転送すべき映像ストリームを前記映像ストリーム数情報に示される数以下の範囲で前記表示端末において選択するためのGUI画像を生成し、
前記映像ストリーム選択手段は、前記表示端末において選択された映像ストリームを特定する特定情報を前記表示端末から取得し、取得した特定情報に示される映像ストリームを前記映像ストリーム受信手段によって受信された映像ストリームから選択する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。
【請求項３】
前記GUI画像生成手段は、前記映像ストリーム転送手段により前記表示端末に転送する映像ストリームを他の映像ストリームに切り替えることを前記表示端末において指示するためのGUI画像を生成し、
前記映像ストリーム選択手段は、前記表示端末において前記他の映像ストリームへの切り替えが指示されことを示す切り替え情報を前記表示端末から取得し、取得した切り替え情報によって指示される映像ストリームに前記表示端末に転送する映像ストリームを切り替えることを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記表示端末に転送する映像ストリームを前記映像ストリーム選択手段により指示された映像ストリームに切り替える、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。
【請求項４】
前記GUI画像生成手段は、前記映像ストリーム転送手段によって転送される映像ストリームの各々ごとに転送のオンおよびオフを前記表示端末において指示するためのGUI画像を生成し、
前記映像ストリーム選択手段は、前記各映像ストリームに対応する転送のオンおよびオフを指示する指示情報を前記表示端末から取得し、取得した指示情報に基づいて前記表示端末への各映像ストリームの転送のオンおよびオフを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段により転送をオンおよびオフにすることを指示された映像ストリームの転送を開始または中止する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。
【請求項５】
前記GUI画像生成手段は、前記映像ストリーム転送手段によって転送される映像ストリームのうち高い品質で表示されるべき映像ストリームを前記表示端末において選択するためのGUI画像を生成し、
前記映像ストリーム選択手段は、前記表示端末において高い品質で表示するように選択された映像ストリームを特定する情報を前記表示端末から取得し、前記表示端末から取得した情報により特定される映像ストリームを高い帯域幅を用いて転送することを前記映像ストリーム転送手段に指示し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段から指示された映像ストリームを前記高い帯域幅を用いて転送する、
ことを特徴とする請求項１に記載のビデオ会議アプリケーションサーバ。
【請求項６】
前記ネットワーク上に存在する、前記表示端末と異なる他の表示端末を検出する表示端末検出手段をさらに備え、
前記GUI画像生成手段は、前記表示端末検出手段により検出された前記他の表示端末のうちのいずれか１つを前記表示端末において選択するための第２のGUI画像を生成し、
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第２のGUI画像を前記表示端末に送信し、
前記映像ストリーム選択手段は、前記表示端末において選択された他の表示端末を特定する端末特定情報を前記表示端末から取得し、
前記映像ストリーム数取得手段は、前記端末特定情報により特定される特定表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記特定表示端末から取得し、
前記映像ストリーム選択手段は、前記表示端末へ転送されていた前記映像ストリームの転送の停止を前記映像ストリーム転送手段に指示し、また、前記特定表示端末から取得された映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを前記映像ストリーム受信手段によって受信される映像ストリームから選択し、
前記映像ストリーム転送手段は、前記表示端末へ転送していた前記映像ストリームの転送を停止し、前記映像ストリーム選択手段により前記特定表示端末に対して選択された映像ストリームを前記特定表示端末に転送する、
ことを特徴とする請求項１ないし５のいずれか一項に記載のビデオ会議アプリケーションサーバ。
【請求項７】
前記ネットワーク上に存在する、前記表示端末と異なる他の表示端末を検出する表示端末検出手段をさらに備え、
前記GUI画像生成手段は、前記表示端末検出手段により検出された前記他の表示端末のうち少なくとも１つを前記表示端末において選択するための第３のGUI画像を生成し、
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第３のGUI画像を前記表示端末に送信し、
前記映像ストリーム選択手段は、前記表示端末において選択された他の表示端末を特定する端末特定情報を前記表示端末から取得し、
前記映像ストリーム数取得手段は、前記端末特定情報によって特定される特定表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記特定表示端末から取得し、
前記映像ストリーム選択手段は、前記特定表示端末から取得された映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信される映像ストリームから選択し、
前記映像ストリーム転送手段は、前記映像ストリーム選択手段によって前記特定表示端末に対して選択された映像ストリームを前記特定表示端末に転送する、
ことを特徴とする請求項１ないし５のいずれか一項に記載のビデオ会議アプリケーションサーバ。
【請求項８】
前記GUI画像生成手段は、前記表示端末および前記特定表示端末にそれぞれ転送するべき映像ストリームを、前記表示端末および前記特定表示端末の各々から取得された映像ストリーム数情報に示される映像ストリーム数以下の範囲内で選択するための第４のGUI画像を生成し、
前記GUI画像送信手段は、前記GUI画像生成手段により生成された第４のGUI画像を、前記表示端末または前記特定表示端末のうちの１つの端末に送信し、
前記映像ストリーム選択手段は、前記１つの端末において、前記表示端末および前記特定表示端末にそれぞれ転送するよう選択された映像ストリームを表す端末別ストリーム情報を前記１つの端末から取得し、取得した端末別ストリーム情報に基づいて前記表示端末および前記特定表示端末にそれぞれ転送する映像ストリームを選択する、
ことを特徴とする請求項７に記載のビデオ会議アプリケーションサーバ。
【請求項９】
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末とネットワークを介してビデオ会議を行うビデオ会議方法であって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を備えたビデオ会議方法。
【請求項１０】
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うコンピュータに、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばＩＰ（Internet Protocol）ネットワークを介して表示端末およびネットワークカメラと接続されるビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラムに関連する。
【背景技術】
【０００２】
ネットワークを介して接続されたビデオ会議端末間でビデオ会議を行うビデオ会議システムがある。このビデオ会議システムでは、一方のビデオ会議端末で自らのカメラが撮影する映像をエンコードして相手側のビデオ会議端末に送信するとともに、相手ビデオ会議端末より映像ストリームを受信しデコードし表示する。このようなシステムでは、自分の顔がカメラのフレームに収まっているかどうかを確認するために自映像表示機能を備えたビデオ会議端末の存在が一般に知られている。
【０００３】
ビデオ会議にて扱われるデータを単一のビデオ会議端末で処理する場合には、GUI（Graphical User Interface）の処理、相手映像の受信とデコードと表示の処理、自映像のエンコードと送信と表示の処理を行う必要があるために、処理負荷が重くなり、映像の品質を高めることが難しい。
【０００４】
そこで、ビデオ会議アプリケーションサーバを用意し、別に用意する表示端末では相手映像ストリームの受信とデコードと表示の処理のみを行い、その他の処理を上記サーバで行うようにしたビデオ会議システムがある。このビデオ会議システムでは、表示端末の処理負荷が軽くなり、ビデオ会議の映像の品質を高めることが可能である。
【０００５】
このようなビデオ会議システムでは、ユーザに提供するGUIとして、ビデオ会議アプリケーションサーバは、表示端末の映像処理能力に応じた適切なGUIを提供する必要がある。
【０００６】
ここでGUIの生成に関連して、特許文献１に記載の方法がある。この方法によれば、携帯電話端末に接続される複合機に、画像フォーマット変換機能の実現を目的とする制御ユニットが搭載され、この制御ユニットが、携帯電話端末が表示処理することのできる複数の画像フォーマットリストを取得する。そして、複合機が所有する画像をあるフォーマットへと変換する際には、この制御ユニットが、この取得したリストに従い、変換後のフォーマットを携帯電話端末にてユーザが選択するためのGUIを自動生成してユーザに提供する。
【特許文献１】特開２００６−２４５６６１公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の手法を上述のビデオ会議システムに適用した場合、たとえば初期設定のために表示端末が表示可能な映像ストリームのコーデックのリストをビデオ会議アプリケーションサーバへ伝達するためのGUIを提供することはできるが、表示端末の映像処理能力に応じた適切なGUIを提供することはできない。
【０００８】
本発明は、表示端末の映像処理能力に応じた適切なGUIを提供することを可能としたビデオ会議アプリケーションサーバ、ビデオ会議方法およびプログラムを提供する。
【課題を解決するための手段】
【０００９】
本発明の一態様としてのビデオ会議アプリケーションサーバは、
ネットワークを介して接続された、映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うビデオ会議アプリケーションサーバであって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信手段と、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信手段によって受信された映像ストリームから選択する映像ストリーム選択手段と、
前記映像ストリーム選択手段により選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信手段によって前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送手段と、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成手段と、
前記GUI画像生成手段により生成されたGUI画像を前記表示端末に送信するGUI画像送信手段と、
を備える。
【００１０】
本発明の一態様としてのビデオ会議方法は、
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うビデオ会議方法であって、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を備える。
【００１１】
本発明の一態様としてプログラムは、
ネットワーク上に存在する映像を撮像するカメラおよび映像を表示する表示端末を用いて、複数のビデオ会議端末と前記ネットワークを介してビデオ会議を行うコンピュータに、
前記カメラおよび前記複数のビデオ会議端末から前記ネットワークを介して送られてくる映像ストリームを受信する映像ストリーム受信ステップと、
前記表示端末により処理可能な映像ストリームの数を表す映像ストリーム数情報を前記表示端末から取得する映像ストリーム数取得ステップと、
前記映像ストリーム数情報に示される映像ストリーム数以下の映像ストリームを、前記映像ストリーム受信ステップにより受信された映像ストリームから選択する映像ストリーム選択ステップと、
前記映像ストリーム選択ステップにより選択された映像ストリームを前記表示端末に転送し、また前記映像ストリーム受信ステップにおいて前記カメラから受信された映像ストリームを前記複数のビデオ会議端末に転送する映像ストリーム転送ステップと、
前記映像ストリーム数情報に示される前記映像ストリーム数にしたがって、前記表示端末において表示される映像ストリームを制御するためのGUI（Graphical User Interface）画像を生成するGUI画像生成ステップと、
前記GUI画像生成ステップにより生成されたGUI画像を前記表示端末に送信するGUI画像送信ステップと、
を実行させる。
【発明の効果】
【００１２】
本発明により、表示端末の映像処理能力に応じた適切なGUIを提供することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。
【００１４】
＜実施形態１＞
図１は、本発明の実施形態に係るビデオ会議論理端末を示している。このビデオ会議論理端末は、ビデオ会議アプリケーションサーバ１１とネットワークカメラ１２と表示端末１３とから成る。各々はIP(Internet Protocol)ネットワーク１４により接続されているが、データのやりとりが可能であればATM(Asynchronous Transfer Mode)ネットワークなど、他の接続方式によって接続されても良い。ネットワークカメラ１２は、ＩＰネットワーク１４を介して接続された機器（本実施形態ではビデオ会議アプリケーションサーバ１１を想定する）とデータ交換を行う機能を備える。ネットワークカメラ１２は例えばUPnP(Universal Plug and Play)に対応するものであってもよい。なお、同図には1台のビデオ会議アプリケーションサーバと1台のネットワークカメラと1台の表示端末が示されているが、ネットワークカメラと表示端末は複数であってもよい。
【００１５】
図２は、図１のビデオ会議アプリケーションサーバ１１の詳細構成を示すブロック図である。
【００１６】
通信部２１は、ビデオ会議を行う相手側の端末（以下、相手ビデオ会議端末と称する）、ネットワークカメラ１２および表示端末１３とＩＰネットワーク１４を介してデータの交換を行う。たとえば通信部２１は相手ビデオ会議端末から送られてくる映像ストリームを受信し、またネットワークカメラ１２から送られてくる映像ストリームを受信する。通信部２１はたとえば映像ストリーム受信手段、GUI画像送信手段を有している。相手ビデオ会議端末は、本発明にかかわるビデオ会議倫理端末でもよいし、既知のビデオ会議端末でもよい。既知のビデオ会議端末である場合、この既知のビデオ会議端末は、たとえば、カメラと、表示手段（表示端末）と、ビデオ会議アプリケーションとを搭載している。
【００１７】
セッション制御部２２は、相手ビデオ会議端末とのビデオ会議セッションを管理する。たとえばビデオ会議セッションの開始および終了を制御する。
【００１８】
セッション情報記憶部２３は、ビデオ会議セッションの状態（たとえば現在ビデオ会議を行っている相手ビデオ会議端末のリスト、セッションＩＤなどのセッション情報）を記憶する。またセッション情報記憶部２３は、ビデオ会議セッションを開始する際にユーザに提供する、接続相手となる相手ビデオ会議端末候補の情報を記憶してもよい。
【００１９】
機器情報記憶部２４は、IPネットワーク１４に接続されている使用可能な表示端末と該表示端末の処理能力情報とを含む表示端末リストと、IPネットワーク１４に接続されている使用可能なネットワークカメラと該ネットワークカメラの処理能力情報とを含むカメラリストと、表示端末とネットワークカメラとのマッピング情報とを記憶する。
【００２０】
機器情報管理部２５は、IPネットワーク１４上の各機器（ネットワークカメラ、表示端末）を、機器情報記憶部２４内の情報に基づき管理する。機器情報管理部２５はたとえばIPネットワーク１４上に存在する表示端末（たとえば表示端末１３、および表示端末１３と異なる他の表示端末）を検出する表示端末検出手段を有している。
【００２１】
GUI管理部２６は、表示端末１３が操作し得るビデオ会議アプリケーションの機能を適切に選定してGUI（Graphical User Interface）画像（あるいは単にGUIと称することもある）をGUI生成部２７を用いて生成して表示端末１３に提供し、またGUIに対して行われた表示端末１３の指示に応じて実行すべき処理の制御を行う。GUI管理部２６はたとえば映像ストリーム数取得手段、映像ストリーム選択手段を有している。
【００２２】
GUI生成部２７は、表示端末１３に提供するGUIをGUI管理部２６の指示により生成する。GUI生成部２７はたとえばGUI画像生成手段に相当する。
【００２３】
GUI情報記憶部２８は、表示端末１３に提供中のGUI画像上の各座標領域と、各座標領域に対応してビデオ会議アプリケーションサーバ１１にて行う処理との対応付けを保持する。
【００２４】
受信映像ストリーム転送部２９は、相手ビデオ会議端末およびネットワークカメラ１２から送信される映像ストリームを表示端末１３に転送し、またネットワークカメラ１２から送信される映像ストリームを相手ビデオ会議端末に転送する。受信映像ストリーム転送部２９はたとえば映像ストリーム転送手段に相当する。
【００２５】
図３は、図１の表示端末１３の構成を示すブロック図である。
【００２６】
通信部３１は、IPネットワーク１４を介して接続された機器（本実施形態ではビデオ会議アプリケーションサーバを想定する）とデータ交換を行う。
【００２７】
画面表示部３２は、例えば液晶表示装置により構成される画面表示部であり、画像表示を行う。
【００２８】
映像ストリームデコード部３３は、映像ストリームをデコードし、デコードした映像ストリームを画面表示部３２の適切な位置に表示する。
【００２９】
GUI画像デコード部３４は、ビデオ会議アプリケーションサーバ１１より受信したGUI画像をデコードし、デコードしたGUI画像を画面表示部３２に表示する。
【００３０】
ユーザ入力部３５は、画面表示部３２に表示されるGUI画像上のある領域をユーザが指示した際、その指示した領域を表す座標情報を取得する。ユーザの指示は、例えばタッチペン入力により行うことができる。
【００３１】
処理能力記憶部３６は、表示端末１３の処理能力を保持する。処理能力としては、たとえば映像ストリームデコード部３３がデコード可能な映像ストリームの本数、および画面表示部３２の画面サイズなどがある。
【００３２】
処理能力管理部３７は、ビデオ会議アプリケーションサーバ１１へ表示端末１３の処理能力を表す情報を伝達する。たとえば映像ストリームデコード部３３が同時にデコード可能な映像ストリームの本数を表す映像ストリーム数情報を伝達する。
【００３３】
以下では、まず図１に示される、ビデオ会議アプリケーションサーバ１１と表示端末１３とネットワークカメラ１２とによってビデオ会議論理端末が構成される過程を示し、次に、構成されたビデオ会議相手が相手ビデオ会議端末とビデオ会議のセッションを構築する手順を説明し、最後に、本実施形態の大きな特徴の１つである、ビデオ会議論理端末のユーザに提供するGUIの生成方法について説明する。
【００３４】
以下、図４〜図７を用いてビデオ会議論理端末が構成される過程について説明する。
【００３５】
図４は、ビデオ会議アプリケーションサーバ１１がネットワークカメラ１２の情報を取得し、そのカメラを使用可能である場合に機器情報記憶部２４のリストに加える手順の一例を示す。例えばUPnPに対応したネットワークカメラはその存在を定期的にＩＰネットワーク１４上にマルチキャストを用いて通知する（S101）。ビデオ会議アプリケーションサーバ１１はネットワークカメラが送信する情報を受信し（S102）、該ネットワークカメラのＩＰアドレスおよび処理可能な映像フォーマットを含む情報を機器情報管理部２５により適切なフォーマットに変換して機器情報記憶部２４に保持する（S103）。これにより使用可能なネットワークカメラのリストが構築される。ここで、ビデオ会議アプリケーションサーバ１１がネットワークカメラを探す手順において能動的な働きをしても良い。
【００３６】
図５は、表示端末１３がビデオ会議アプリケーションサーバ１１とデータの交換をして、該ビデオ会議アプリケーションサーバ１１とネットワークカメラ１２とともに、ビデオ会議論理端末を構築する手順を示す。表示端末１３はあらかじめＤＨＣＰ(Dynamic Host Configuration Protocol)などのプロトコルを用いることでビデオ会議アプリケーションサーバ１１とＩＰネットワーク１４を介して通信可能である。表示端末１３はビデオ会議アプリケーションサーバ１１を使用するため、自端末１３のＩＰアドレス、処理可能な映像フォーマット、デコード可能な映像ストリームの本数および自端末１３の画面サイズ（例えばピクセル単位）を含む処理能力情報を処理能力記憶部３６から取り出して、ビデオ会議アプリケーションサーバ１１へ送信する（S111）。なお、この処理能力情報の送信はビデオ会議アプリケーションサーバ１１から表示端末１３へのリクエストにより行われても良い。ビデオ会議アプリケーションサーバ１１は表示端末１３からの処理能力情報を通信部２１において受信し（S112）、機器情報管理部２５がこの処理能力情報を機器情報記憶部２４に保持することで表示端末のリストを構築する。続いてGUI管理部２６は、表示端末１３が使用可能なネットワークカメラのリストを機器情報管理部２５より取得し、そのリストを元にGUI生成部２７に表示端末１３の処理能力に応じた適切なGUIを生成させ、生成させたGUI画像を表示端末１３に送信する（S114）。表示端末１３はGUI画像を受信し（S115）、GUI画像デコード部３４を介して画面表示部３２に表示し、表示端末１３を使用するユーザにGUIを提供する。ここではGUIとして、ユーザには、ビデオ会議を行う際に相手ビデオ会議端末に自映像を送信するために使用が可能であるカメラのリストを含む図６のGUIが示される（なお図１には１台のネットワークカメラのみが表示されているが、ここでは少なくとも表示端末１３によって使用可能な４台のネットワークカメラがIPネットワークに接続されている）（S116）。ユーザは示されたリストから、使用するカメラをペン入力などにより指示し、表示端末１３におけるユーザ入力部３５はユーザにより指示された指示領域を表す座標情報をビデオ会議アプリケーションサーバ１１へ送信する(S117)。ビデオ会議アプリケーションサーバ１１におけるGUI管理部２６は、表示端末１３より受信した指示領域をもとにユーザが指定したネットワークカメラを特定して機器情報管理部２５に通知し（S118）、機器情報管理部２５は、GUI管理部２６から通知されたネットワークカメラを表示端末１３とマッピング（関連付け）し、ビデオ会議を行う際に両者が連動して動作するようにマッピング情報を機器情報記憶部２４に保持する（S119）。このマッピング情報は例えばSIP URIなどのIDの下で管理される。以上の手順により、ＩＰネットワーク上に散在していた各機器（ネットワークカメラ、表示端末、ビデオ会議アプリケーションサーバ）を用いて、１つのビデオ会議論理端末が構築される。
【００３７】
上記図５の手順においては、ビデオ会議アプリケーションサーバ１１の機器情報記憶部２４に表示端末のリストを保持した後にネットワークカメラとのマッピングを行ってビデオ会議論理端末を構築したが、使用可能な表示端末１３を単に把握する場合は、ビデオ会議論理端末を構築せず、表示端末のリストを保持する処理のみを行ってもよい。
【００３８】
ここで、上記S118ではユーザにより指示された領域をもとにユーザが指定したネットワークカメラを特定することを説明したが、このように、ビデオ会議アプリケーションサーバのGUI管理部２６が、表示端末においてユーザが行った指示をどのように理解するか、その手順を説明する。GUI管理部２６はGUIを表示端末１３に提供する前に、表示端末１３の画面サイズ情報を機器情報管理部２５を介して機器情報記憶部２４より取得する。そして、GUI管理部２６は、GUI生成部２７にて生成させたGUI画像上の特定の座標領域と、ビデオ会議アプリケーションサーバ１１にて行う処理との対応付けを、GUI情報記憶部２８に保持する。表示端末１３におけるユーザの指示はユーザ入力部３５において、表示端末１３上の座標情報に変換され、ビデオ会議アプリケーションサーバ１１へ送信される。GUI管理部２６は表示端末１３より受信した座標情報と、あらかじめ保持している上記対応付けとにより、ビデオ会議アプリケーションサーバ１１が行う処理を決定する。
【００３９】
上述のGUI管理部２６の処理を、図６のネットワークカメラ選択画面を例に取り、図７を用いて解説する。図６にて示したGUIの各ボタンを図７に示すように領域Ａ〜領域Ｅと名づける。ユーザがネットワークカメラＢを指示する場合、表示端末１３からビデオ会議アプリケーションサーバ１１へは、表示端末１３上でのペン入力がユーザ入力部３５にて領域Ｂの座標情報に変換され、送信される。座標情報を受信したビデオ会議アプリケーションサーバ１１はGUI管理部２６がGUI情報記憶部２８にてあらかじめ保持してある対応付けに基づき、処理を行う。いま、図７の右側に示す対応付けが保持されていれば、ネットワークカメラＢを候補として特定し、領域ＢがハイライトされたGUIを生成するようにGUI生成部２７に指示し、そのGUIを表示端末１３に送信することで表示端末１３はGUIを更新する。この後に、ユーザは表示端末１３上で「決定」ボタン領域を指示すると、同様に「決定」ボタンの座標情報が、表示端末１３よりビデオ会議アプリケーションサーバ１１へ送信され、GUI情報記憶部２８の情報に基づき、対応するビデオ会議アプリケーションサーバ１１の処理である「指定されたネットワークカメラと表示端末をマッピング」をGUI管理部２６の指示により機器情報管理部２５が行う。
【００４０】
次に、構築されたビデオ会議論理端末が相手ビデオ会議端末とビデオ会議セッションを構築する手順を説明する。
【００４１】
ビデオ会議アプリケーションサーバ１１において、機器情報管理部２５は表示端末１３とネットワークカメラとのマッピングが完了するとただちに、完了した旨を表す情報をGUI管理部２６に送り、GUI管理部２６はGUI生成部２７にマッピングの完了を示すGUIを生成させ、ユーザは表示端末１３に表示されるそのGUIにより、マッピングの完了を確認する。
【００４２】
続いて、GUI管理部２６はビデオ会議セッションを開始するためのGUIをGUI生成部２７に生成させ、生成させたGUIを表示端末１３に送信する。このGUIにはビデオ会議セッションの開始にあたり必要となる、接続相手先の情報を入力するようなフォームまたはあらかじめ登録された接続相手先候補が含まれても良い。入力フォームが提供される場合には、ビデオ会議アプリケーションサーバ１１が表示端末１３上に擬似的に提供するソフトウェアキーボード等により、ユーザは入力を行ってもよい。
【００４３】
ユーザはGUIを介してビデオ会議セッションの接続先相手情報を入力または指示した後にセッションの開始を指示する。表示端末１３はユーザ入力部３５を介してユーザの指示をビデオ会議アプリケーションサーバ１１へ送信する。ビデオ会議アプリケーションサーバ１１はGUI管理部２６を介してセッション制御部２２にビデオ会議セッションの開始を指示し、セッション制御部２２は指定された相手先ビデオ会議端末とビデオ会議セッションを張るとともに、セッションの状態をセッション情報記憶部２３に保持する。
【００４４】
ここで、ビデオ会議セッションを張るためにはＳＩＰ(Session Initiation Protocol)またはＨ．３２３が用いられる場合が多いが、他の手段を用いてもよい。セッション制御部２２は機器情報記憶部２４にて保持される各機器（ネットワークカメラ、表示端末）の情報とビデオ会議セッションとを直接関連付けて管理することはなく、例えばSIP URIなどのIDと関連付けてビデオ会議セッションを管理する。ビデオ会議セッションにおいて交換される映像コーデックおよびそのパラメータを含む情報は、例えばＳＤＰ(Session Description Protocol)を用いて決定される。上記パラメータを含む情報は、あらかじめ機器情報記憶部２４に保持された情報を、機器情報管理部２５を介してセッション制御部２２に渡すことで作成される。
【００４５】
ビデオ会議セッションが張られた後は、相手ビデオ会議端末は前述のSDPで得た情報により、ビデオ会議アプリケーションサーバ１１へ適切な方式で映像ストリームを送信し、ビデオ会議アプリケーションサーバ１１は受信した映像ストリームを受信映像ストリーム転送部２９により、デコードすることなく表示端末１３へ転送する。
【００４６】
また、ビデオ会議アプリケーションサーバ１１は、セッションが開始されるとただちに、表示端末１３とマッピングされているネットワークカメラに、映像ストリームをビデオ会議アプリケーションサーバ１１へ送信するよう指示し、ビデオ会議アプリケーションサーバ１１はネットワークカメラより受信した映像ストリームをデコードすることなく、相手ビデオ会議端末へと転送する。
【００４７】
これらの映像ストリームは一般にRTP(Realtime Transport Protocol)により送信されることが多いが、必ずしもRTPを用いる必要はない。
【００４８】
以上により、ビデオ会議論理端末と相手ビデオ会議端末との間でビデオ会議が実現され、図９に示されるようなデータの流れができる。図９ではビデオ会議論理端末が相手ビデオ会議端末Ａ、Ｂ、Ｃとビデオ会議を行っている様子が示されている。各相手ビデオ会議端末Ａ、Ｂ、Ｃはそれぞれカメラ４１Ａ、４１Ｂ、４１Ｃと、表示手段（表示端末）と、ビデオ会議アプリケーションとを有している。
【００４９】
ここで、ビデオ会議アプリケーションサーバ１１の受信映像ストリーム転送部２９について説明を加える。本実施形態によるビデオ会議論理端末とビデオ会議セッションを共にする相手ビデオ会議端末が映像ストリームをビデオ会議アプリケーションサーバ１１へ送信すると、全ての映像ストリームは受信映像ストリーム転送部２９が受信する(S121)。受信映像ストリーム転送部２９は、GUI管理部２６により指定された映像ストリームに、その映像が表示端末１３の画面表示部内のどの領域に配置されるかを指定する映像ストリーム表示領域指定情報を付加して（S122のYES、S123）、表示端末１３へ転送する（S124）。受信映像ストリーム転送部２９は、転送するよう指定されていない映像ストリームについては破棄する（S122のNO、S125）。GUI管理部２６が受信映像ストリーム転送部２９へ指示する映像ストリームの転送先は当該ビデオ会議セッションに関わるSIP URIなどのIDの下で管理された表示端末１３のIPアドレスを、機器情報管理部２５を介して機器情報記憶部２４から得ることにより、決定される。
【００５０】
以上により、ビデオ会議論理端末と他のビデオ会議端末との間にビデオ会議セッションが構築される。次に図９のようにビデオ会議論理端末が相手ビデオ会議端末Ａ、ＢおよびＣとビデオ会議セッションを構築している場合において、表示端末１３の映像処理能力と表示端末１３に提供している（表示されている）GUIの状況とに応じて、ビデオ会議アプリケーションサーバが次に表示端末に提供するGUIを決定する方法について説明する。
【００５１】
より詳しくは、ビデオ会議セッション中に表示端末１３にビデオ会議アプリケーションサーバ１１が転送する映像ストリームをユーザが選択するために、表示端末１３に提供するGUIを決定する方法について説明する。表示端末１３の映像処理能力により場合分けを行い、まず、１本の映像ストリームのみデコード可能な表示端末に提供するGUIについて説明し、次に複数の映像ストリームをデコード可能な表示端末に提供するGUIについて説明する。なお、表示端末に提供されるGUIは、あらかじめ表示端末を操作するユーザが決定するのではなく、表示端末が持つ処理能力（デコード可能な映像ストリーム本数等）をビデオ会議アプリケーションサーバ１１が判断することで決定される。
【００５２】
１本の映像ストリームのみをデコード可能な表示端末の場合に、ビデオ会議アプリケーションサーバ１１が提供するGUIの一例を、図１０に示す。ビデオ会議セッションが開始された直後に表示端末１３には、ネットワークカメラ１２より送られてきた自映像またはある相手ビデオ会議端末より送られてきた相手映像が表示されている。この状態において表示される映像の送信元は、セッション開始時にユーザが選択するための機能をビデオ会議アプリケーションサーバ１１が提供しても良い。
【００５３】
セッション開始直後にビデオ会議アプリケーションサーバ１１より提供されるGUIは、たとえば図１０(a)に示されるように、相手ビデオ会議端末Ａより送信される映像ストリームをデコードした映像が表示される領域と、ビデオ会議アプリケーションサーバ１１より転送される映像ストリームを変更する機能を実現するための「映像切替」ボタン（GUI）とを含む。
【００５４】
ユーザが他の映像ストリームを表示端末１３に表示させたいと望み、「映像切替」ボタン領域を指示すると、表示端末１３のユーザ入力部３５がその指示を検知し、ビデオ会議アプリケーションサーバ１１へ「映像切替」ボタンの座標情報を送信する。ビデオ会議アプリケーションサーバ１１にておいて、GUI管理部２６は、表示端末１３より受信した座標情報から、転送する映像ストリームを変更する処理を実行する。すなわち、GUI管理部２６は受信映像ストリーム転送部２９へ、表示端末１３に転送する映像ストリームを、例えばビデオ会議端末Aより受信したものからビデオ会議端末Bより受信したものへと変更するよう指示を送る。受信映像ストリーム転送部２９は表示端末１３に転送する映像ストリームをビデオ会議端末Bより受信したものへと切り替える。GUI管理部２６はGUI情報記憶部２８へ、ユーザに提供しているビデオ会議アプリケーション１１の状態の変更を記録する。ユーザに提供されるGUIは図１０(b)に示されるように、相手ビデオ会議端末Ｂより受信する映像ストリームをデコードした映像が表示される領域と、表示させる映像を切り替える機能を実現するための「映像切替」ボタンを含む。
【００５５】
表示端末１３にて確認されるこれら一連の切り替えは、「ビデオ会議端末Aより送信される映像が表示された状態」と「ビデオ会議端末B（や、その他の端末）より送信される映像が表示された状態」が、ビデオ会議アプリケーションサーバ１１において対等な処理関係（転送する映像ストリームの切り替え）にあることから、図１０(b)に示される状態から図１０(c)および図１０(d)に示される状態へと切り替えが起こる場合も、前述と同様の手順が踏まれる。以後、「映像切替」ボタン領域をユーザが指示する度に、ビデオ会議アプリケーションサーバ１１が表示端末１３に転送する映像ストリームが所定の順序で切り替わり、ネットワークカメラ１２より受信した自映像である映像ストリームもこの中に含まれる。なお、図１０では、明示されていないが、表示端末１３を使用するユーザが表示端末１３上に表示されている相手先を認識できるようなテキストメッセージまたはアイコンを含むGUIがビデオ会議アプリケーションサーバ１１より適時、提供されても良い。また、前述の「映像切替」ボタンではなく、図１１に示されるような、ユーザが表示させる映像を選択的に決定できるようなボタンを含むGUIが用いられてもよい。
【００５６】
複数の映像ストリームをデコード可能な表示端末の場合、ビデオ会議アプリケーションサーバ１１が提供するGUIは、たとえば図１２のようになる。ここでは、ビデオ会議論理端末は、相手ビデオ会議端末として、ビデオ会議端末A、BおよびCの3台とビデオ会議セッションを構築する。ビデオ会議論理端末が複数のビデオ会議端末とビデオ会議セッションを持つ場合には、表示端末１３においてユーザが映像表示のオン（ON）とオフ（OFF）を決定するボタン領域を指示する度に、ビデオ会議アプリケーションサーバ１１では、GUI管理部２６が表示端末１３によって選択された映像ストリームの転送のONとOFFを受信映像ストリーム転送部２９へ指示し、切り替えを実現する。
【００５７】
図１２(a)に示すように表示端末１３にビデオ会議端末Aの映像、ビデオ会議端末Bの映像、ビデオ会議端末Cの映像およびネットワークカメラより得る自映像が表示されている。ここで、ユーザがビデオ会議端末Cの映像を表示させないよう望むとする。表示端末１３上の「ビデオ会議端末C映像OFF」ボタン領域をユーザが指示すると、ビデオ会議アプリケーションサーバ１１のGUI管理部２６が受信映像ストリーム転送部２９へビデオ会議端末Cから受信した映像ストリームの表示端末１３への転送を中断するよう指示する。GUI生成部２７は図１２(a)の「ビデオ会議端末C映像OFF」ボタンに該当する部分を「ビデオ会議端末C映像ON」ボタンに変更したGUIを生成し、GUI管理部２６が表示端末１３へこれを送信する。表示端末１３はビデオ会議アプリケーションサーバ１１より受信したGUI画像を用い、GUIを更新する。表示端末１３ではビデオ会議端末Cの映像ストリームの提供が停止し、たとえば図１２(b)に示す画面が表示される。
【００５８】
図１２(b)では、ビデオ会議端末Cの映像が表示されていた領域が黒画像になっているが、必ずしも黒画像でなくてもよく、ビデオ会議端末Cの映像ストリームの最後の１フレーム（つまり、静止画像）が表示されてもよいし、ビデオ会議端末Cを代表するアイコンや文字列または意味のある画像が表示されてもよい。
【００５９】
また、GUIのレイアウトを変更し、「ビデオ会議端末C映像ON」ボタンのみを残した図１３に示すような形式で新たにGUIが提供されても良い。この際に、GUI管理部２６は受信映像ストリーム転送部２９により転送される映像ストリームに付加される、表示端末１３に指定する映像表示領域情報も適切に変更する。図示の例では、自映像の映像ストリームに付加される映像表示領域情報が変更されている。
【００６０】
また図１２のGUIと図１１のGUIとを組み合わせたGUIを生成してもよい。すなわち表示端末１３が複数の映像ストリームを同時にデコードし表示可能な場合、映像ストリームの表示領域ごとに、それぞれ表示すべき映像ストリームを選択するためのGUIを生成してもよい。これによれば、たとえば映像ストリーム数が４本あり、表示端末１３が２本の映像ストリームを同時にデコードし表示可能な場合は、４本のうち２本の映像ストリームを選択して同時に表示可能である。
【００６１】
以上のように、本実施形態によれば、ビデオ会議アプリケーションサーバが表示端末がデコード可能な映像ストリームの本数に応じたGUIを生成し表示端末に提供することにより、ユーザが特別な設定をすることなく、表示端末ごとに適切な操作を行うことが可能になる。
【００６２】
＜実施形態２＞
本実施形態に係わるビデオ会議アプリケーションサーバ１１は、ビデオ会議アプリケーションサーバ１１と表示端末１３との間の使用可能帯域幅がユーザの希望するビデオ会議の映像品質を保つために十分でない場合に、ユーザの使用感を高めるため、相手ビデオ会議端末またはネットワークカメラ１２より受信した映像ストリームの表示端末１３への転送の制御を行うデータ調整手段をGUI管理部２６において備えることを特徴とする。
【００６３】
ビデオ会議アプリケーションサーバ１１が、表示端末１３との間における、ＩＰネットワーク１４の使用可能帯域幅を測定する使用帯域幅測定手段を持つ場合、上記データ調整手段は、表示端末１３を使用してビデオ会議を行うユーザに不快感を与えない目的で、転送する映像ストリームの使用帯域幅を使用可能帯域幅内に収まるように変化させる。ここで、使用可能帯域幅測定手段としては、例えば表示端末１３とビデオ会議アプリケーションサーバ１１がＲＴＣＰ（RTP Control Protocol）を実装することにより測定する手段や、ユーザに直接品質の指定を行わせる手段、その他の独自実装による測定手段が考えられるが、どのような手段を用いても良い。
【００６４】
表示端末１３を操作するユーザが、転送される複数の各映像ストリームに対して、使用帯域の優先度を決定する場合を考える。本実施形態において、ビデオ会議アプリケーションサーバ１１が表示端末１３に提供するGUIは、たとえば図１４に示す品質優先映像選択欄５１を含む。複数の映像ストリームを同一のIPネットワークにて送信すると、帯域幅が不足し、映像にノイズが生じることもあり得るが、上記データ調整手段を備えるビデオ会議アプリケーションサーバ１１では、限られたIPネットワークの帯域幅内でユーザにとって利用品質の高いサービスを提供することができる。図１４に示したGUIにおいて、ユーザが品質優先映像選択欄５１内より、ビデオ会議端末Bの映像を優先させるために該当ボタン領域５１Ｂを指示し、表示端末１３のユーザ入力部３５がこの領域５１Ｂを表す座標情報をビデオ会議アプリケーションサーバ１１へ送信する。ビデオ会議アプリケーションサーバ１１のGUI管理部２６はビデオ会議端末Bの映像を優先する指示を受信すると、上記データ調整手段により、受信映像ストリーム転送部２９へビデオ会議端末Bの映像品質を優先させるよう指示を送るとともに、GUI生成部２７に、ビデオ会議端末Bの映像を優先して転送することを受け付けたことを示す図１５のGUIの生成を指示する。GUI管理部２６は生成されたGUIを表示端末１３に送信し、表示端末１３はGUIを更新する。
【００６５】
上記データ調整手段によりビデオ会議端末Bの映像品質を優先させた場合における各ビデオ会議端末の映像ストリームに対する扱いを図１６と図１７を用いて説明する。ビデオ会議アプリケーションサーバ１１が受信する映像ストリームは全て同じ帯域幅を使用するものとするが、この前提は本実施形態の機能を制限するものではない。ユーザが図１５で示されるようにビデオ会議端末Ｂの映像を優先するようビデオ会議アプリケーションサーバ１１へGUIを介して指示したとする。ビデオ会議アプリケーションサーバ１１と表示端末１３との間の使用可能帯域幅が映像ストリーム２本分である場合、GUI管理部２６のデータ調整手段は図１６のように端末Ｂの映像ストリームに１本分の帯域を使用し、ビデオ会議端末Ａ、ビデオ会議端末Ｃおよびネットワークカメラ１２より受信する映像ストリームを時分割により表示端末１３へ提供するよう、受信映像ストリーム転送部２９へ随時、転送する映像ストリームの切り替え指示を行う。また、使用可能帯域幅が映像ストリーム３本分である場合では、図１７のように、時分割でビデオ会議端末Ｂ以外からの映像ストリームを表示端末１３に転送するよう切り替え指示を行う。上述の例では使用可能帯域幅が映像ストリーム２本分以上であったが、１本以下であっても類似の実装により、ビデオ会議アプリケーションサーバ１１はその状況においてユーザが快適にビデオ会議を行えるよう機能を提供可能である。
【００６６】
図１５においては、ユーザはビデオ会議端末Bの映像のみを優先させる指示をしたが、ビデオ会議アプリケーションサーバ１１はユーザに複数の映像を優先させる機能を提供しても良く、この場合にGUI管理部２６はデータ調整手段により受信映像ストリーム転送部２９に最適な映像ストリームの切り替え指示を行えば良い。また、ユーザに優先する映像ストリームの順位付けを決定する機能を提供しても良いし、例えば自映像のような特定の映像を優先させない機能を提供してもよい。
【００６７】
＜実施形態３＞
本実施形態は、ビデオ会議セッション中にユーザが使用する表示端末を切り替えることを可能にしたことを特徴とする。以下本実施形態について詳細に説明する。
【００６８】
図１８は、ビデオ会議セッション中にユーザが使用する表示端末を切り替える様子を示す。ユーザは既に開始されたビデオ会議を表示端末Ａを用いて行っている。ユーザが表示端末Ａの代わりに、表示端末Aより映像処理能力が高い表示端末Ｂを使用したいと望むとする。この場合、たとえばユーザは一度ビデオ会議セッションを終了し、表示端末Ｂを用いて、再び＜実施形態１＞にて示した手順を行えば同一の相手ビデオ会議端末とビデオ会議セッションを張ることができる。しかし、ユーザの手間が増える上、相手ビデオ会議端末に再びビデオ会議セッションを構築するよう依頼する必要がある。そこで、本実施形態にかかわるビデオ会議アプリケーションサーバ１１は、ビデオ会議セッションを維持したままユーザが使用する表示端末を表示端末Ａより表示端末Ｂへと変更する機能を提供する。
【００６９】
図２３は、本実施形態にかかわるビデオ会議アプリケーションサーバ１１により、使用する表示端末を変更する処理を行う際のGUI管理部の手順フローを示すフローチャートである。
【００７０】
ビデオ会議アプリケーションサーバ１１は、ユーザが使用する表示端末１３をビデオ会議セッション中に変更することを可能にする機能を提供するため、図１９に示す「使用表示端末変更」ボタン６１を含むGUIを提供する。ユーザが「使用表示端末変更」ボタン６１の領域を指示すると、指示された領域の座標情報が表示端末Aよりビデオ会議アプリケーションサーバ１１へ送信され、ビデオ会議アプリケーションサーバ１１のGUI管理部２６は、機器情報管理部２５が保持する表示端末リストに基づきGUI生成部２７に、ユーザが切り替え先として使用可能な表示端末のリストを含む図２０に示すGUI（第２のGUI画像）を生成させ、生成させたGUIを表示端末Ａに提供する。ここで例えば、切り替え先として使用可能な表示端末が、表示端末Ｂ、CおよびＤであり、ユーザが切り替え先として表示端末Ｂを選択する場合、その選択を表す情報をビデオ会議アプリケーションサーバ１１は受信する（S131）。ここで図２０のGUIにおいては、同時に処理可能な映像ストリーム数が高い表示端末ほど上位（たとえば上側）に、同時に処理可能な映像ストリーム数が低い表示端末ほど下位（たとえば下側）に位置するようなGUIを生成し、表示端末Aに表示するようにしてもよい。また、図２０のGUIにおいて、各表示端末を選択するボタンに加えて、各表示端末の同時に処理可能な映像ストリーム数を表す情報を併記したGUIを生成し、表示端末Aに表示するようにしてもよい。
【００７１】
ビデオ会議アプリケーションサーバ１１は既述した手順により、該当部分（「表示端末B」ボタン）がハイライトされた図２０に示すGUIを表示端末Aに提供するとともに、GUI管理部２６がセッション制御部２２へ、表示端末Bが使用可能であるかの問い合わせを再度行い、返答を得る（S132）。表示端末Bが使用不可能である場合に（S132のNO）、GUI管理部２６は、図２１に示すエラーメッセージを含むGUIを表示端末Aに提供して（S133）、ビデオ会議セッションを継続させる（S134）。表示端末Bが使用可能である場合に（S132のYES）GUI管理部２６は、図２２に示す表示端末の変更をユーザに確認させるためのGUIを変更先表示端末である表示端末Bへ提供する（S135）。
【００７２】
図２２においてユーザが「キャンセル」ボタン領域を表示端末Bに対して指示すると（S136のNO）、GUI管理部２６は上述の表示端末Bが使用不可能である場合と同様に図２１に示すエラーメッセージを含むGUIを表示端末Aに提供し（S133）、表示端末Aを用いたビデオ会議セッションを継続させる（S134）。
【００７３】
図２２においてユーザが「OK」ボタン領域を指示すると(S136のYES)、GUI管理部２６は機器情報記憶部２４が保持するマッピング情報の更新を機器情報管理部２５に指示するとともに、機器情報管理部２５を介して、表示端末Ｂがデコード可能な映像ストリームの本数を含む処理能力の情報を取得する（S137）。表示端末Ｂがデコード可能な映像ストリームの本数が１本のときは（S137のNO）、GUI管理部２６は表示端末Bの画面サイズと転送する映像ストリームの本数（１本）に応じて生成されたGUIを端末Bに提供し（S138）、さらに表示端末Aへの映像ストリームの転送を停止するとともにビデオ会議アプリケーションサーバ１１が受信する映像ストリームのうちのある1本のストリームを表示端末Bに転送するように受信映像ストリーム転送部２９に指示する（S139）。そしてビデオ会議セッションを表示端末Bにて継続する（S140）。
【００７４】
一方、表示端末Ｂがデコード可能な映像ストリームの本数が複数本のときは（S137のYES）、GUI管理部２６は表示端末Bの画面サイズと転送する映像ストリームの本数（複数本）に応じて生成されたGUIを端末Bに提供し（S141）、さらに表示端末Aへの映像ストリームの転送を停止するとともにビデオ会議アプリケーションサーバ１１が受信する映像ストリームのうち全て若しくは複数の映像ストリームを表示端末Bに転送するように受信映像ストリーム転送部２９に指示する（S139）。そしてビデオ会議セッションを表示端末Bにて継続する（S143）。
【００７５】
なお、上記では、表示端末を変更する際に、表示端末Bにてユーザの確認を行ったが、表示端末Ｂが使用可能な状態であればこの確認手順は省略することもある。
【００７６】
また、上記では、説明の便宜上、変更元の表示端末Aよりも変更先の表示端末Bの方が映像処理能力が高いとしたが、変更する際にこのような制限は必要なく、ユーザはビデオ会議アプリケーションサーバ１１の機器情報記憶部２４にて使用可能であるとされていれば任意の表示端末を変更先の表示端末として選択することができる。
【００７７】
以上のように本実施形態によれば、ビデオ会議の最中にビデオ会議セッションを再構築することなく、かつユーザが特別な設定をすることなく、複数の処理能力が異なる表示端末間で、使用する表示端末を変更することが可能となる。
【００７８】
＜実施形態４＞
図２４は、１つのビデオ会議アプリケーションサーバ７１と、１つのネットワークカメラ１２と、複数台の表示端末M、S1、S2より構成されたビデオ会議論理端末が、複数の相手ビデオ会議端末（相手ビデオ会議端末Ａ、ＢおよびＣ）とビデオ会議を行っている様子を示す。本実施形態では、このように、複数台の表示端末を使用してビデオ会議論理端末を構築することにより、それぞれの表示端末が1本の映像ストリームのみをデコード可能である場合も、表示端末の数が十分であれば、相手ビデオ会議端末が複数の場合に「映像切替」ボタン等を用いることなく全ての相手ビデオ会議端末の映像をユーザが確認することができる。また、表示端末が複数の映像ストリームをデコード可能である場合も、１つの表示端末のみで複数の映像ストリームを表示させる場合に比べ、各映像が大きく表示され、ユーザに提供するビデオ会議の使用感を高めることができる。
【００７９】
以下、本実施形態について詳細に説明する。ただし本実施形態にかかわるビデオ会議アプリケーションサーバ７１の説明においては図２に示したビデオ会議アプリケーションサーバ１１のブロック図を利用する。
【００８０】
まず、＜実施形態１＞に示された手順により、ビデオ会議アプリケーションサーバ７１と、ネットワークカメラ１２と、表示端末Ｍとによりビデオ会議論理端末を構成し、構成したビデオ会議論理端末と複数の相手ビデオ会議端末（相手ビデオ会議端末Ａ、ＢおよびＣ）との間にビデオ会議セッションを張る。複数の表示端末を用いて１つのビデオ会議論理端末を構築する機能を持つビデオ会議アプリケーションサーバ７１は、図２５に示す、ユーザが同じセッションにて使用する表示端末を追加するための「使用表示端末追加」ボタン７２を含むGUIを表示端末Ｍに提供する。ユーザが「使用表示端末追加」ボタン７２の領域を指示すると、指示された領域を示す座標情報が表示端末Ｍよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６は、機器情報管理部２５が保持する表示端末リストに基づきGUI生成部２７に対して、ユーザが切り替え先として使用可能な表示端末のリストを含むGUI（第３のGUI画像）を生成させ、生成させたGUIを表示端末Ｍに提供する。表示端末Mに表示されるGUIの一例を図２６に示す。図２６においてユーザが、追加して使用する表示端末として、GUI７３における表示端末Ｓ１を選択すると、ユーザが選択した表示端末を表す情報がビデオ会議アプリケーションサーバ７１へ送信される。該当部分（「表示端末Ｓ１」ボタン）がハイライトされたGUIが提供されるとともに、図２９のフローチャートに示す動作がビデオ会議アプリケーションサーバ７１において行われる。
【００８１】
ビデオ会議アプリケーションサーバ７１が表示端末Ｍよりユーザの選択情報を受信すると（S151）、選択されたボタンをハイライトしたGUIを返すとともに、GUI管理部２６が機器情報管理部２５へ、表示端末Ｓ１が使用可能であるかの問い合わせを行い、返答を得る（S152）。表示端末Ｓ１が使用不可能である場合に（S152のNO）GUI管理部２６は、例えば図２７に示すようなエラーメッセージを含むGUIを表示端末Ｍに提供し（S153）、表示端末Ｍのみを用いたビデオ会議セッションを継続させる（S154）。
【００８２】
表示端末Ｓ１が使用可能である場合に（S152のYES）GUI管理部２６は、図２８に示す、表示端末の追加をユーザに確認させるためのGUIを追加先表示端末である表示端末Ｓ１へ提供する（S155）。図２８においてユーザが「キャンセル」ボタン領域を指示すると（S156のNO）、GUI管理部２６は上述の表示端末Ｓ１が使用不可能な場合と同様の手順を踏み、表示端末Ｍのみを用いたビデオ会議セッションを継続させる（S153、S154）。
【００８３】
図２８においてユーザが「OK」ボタン領域を指示すると（S156のYES）、GUI管理部２６は機器情報記憶部２４が保持するマッピング情報の更新を機器情報管理部２５に指示するとともに、あらかじめ機器情報記憶部２４が記憶する、表示端末Ｓ１がデコード可能な映像ストリームの本数を含む処理能力情報を取得する（S157）。
【００８４】
表示端末S1が1本の映像ストリームのみをデコード可能な場合には（S157のNO）、表示端末S1の画面サイズと転送する映像ストリームの本数（１本）に応じたGUIを生成して表示端末S1に提供するとともに（S158）、ビデオ会議アプリケーションサーバが受信する映像ストリームのうちのある1本のストリームを表示端末S1に転送するよう受信映像ストリーム転送部２９に指示する（S159）。つまりGUI管理部２６は受信映像ストリーム転送部２９へ表示端末Mのみでなく表示端末S1にも映像ストリームを転送するよう指示する。そしてビデオ会議セッションを表示端末Mと表示端末S1にて継続する（S160）。
【００８５】
一方、表示端末S1が複数の映像ストリームをデコード可能な場合には（S157のYES）、表示端末S1の画面サイズと転送する映像ストリームの本数（複数本）に応じたGUIを生成して表示端末S1に提供するとともに（S161）、ビデオ会議アプリケーションサーバが受信する映像ストリームのうちの全て若しくは複数の映像ストリームを表示端末S1へ転送するよう受信映像ストリーム転送部２９に指示する（S162）。つまりGUI管理部２６は受信映像ストリーム転送部２９へ表示端末Mのみでなく表示端末S1にも映像ストリームを転送するよう指示する。そして、ビデオ会議セッションを表示端末Mと表示端末S1にて継続する（S163）。
【００８６】
前述の手順を表示端末S2に対しても実施することにより、表示端末S２が追加され、表示端末S2は表示端末S1と同様にビデオ会議アプリケーションサーバ７１より映像ストリームを受信して表示することができる。
【００８７】
上記説明では、説明の便宜上、表示端末Mより上述の手順をすべて行う例を示したが、たとえばユーザが使用中の表示端末が2台（表示端末MおよびS1）のときに表示端末S2を追加する機能を、表示端末M上でなく表示端末S1上から用いても良い。また表示端末S1上からはこの追加する機能を使用できないようにする実装も考えられる。
【００８８】
また上記説明では、使用する表示端末の数を増加させる例を示したが、表示端末の数を減少させる機能をビデオ会議アプリケーションサーバに備えさせることも当然可能であり、これは表示端末を増加させる手順と類似の手順で実現できる。例えば、「使用表示端末削除」ボタンを含むGUIを提供し、ユーザがある表示端末をビデオ会議論理端末より削除するよう指示する場合、ビデオ会議アプリケーションサーバ７１のGUI管理部２６は該表示端末への、映像ストリームの転送を停止するよう受信映像ストリーム転送部２９に指示し、受信映像ストリーム転送部２９は該表示端末への映像ストリームの転送を停止する。同時にGUI管理部２６は該表示端末へのGUIの提供を停止するとともに、機器情報記憶部２４が記憶するマッピング情報から該表示端末を削除するよう機器情報管理部２５に指示する。
【００８９】
以上のように本実施形態によれば、ビデオ会議の最中にビデオ会議セッションを再構築することなく、かつユーザが特別な設定をすることなく、使用する表示端末の増加および減少が可能となる。
【００９０】
ここで、上記ビデオ会議アプリケーションサーバ７１は、受信した映像ストリームの転送先を表示端末ごとに選定する機能も有していてもよい。たとえば図３２に示すようにビデオ会議アプリケーションサーバ７１は、前述した表示端末を追加する機能に加えて、各表示端末に転送するべき映像ストリームを、表示端末ごとに個別に決定する機能をも有していてもよい。以下この機能について詳細に説明する。
【００９１】
図３０はビデオ会議アプリケーション７１が表示端末Mに提供するGUIの例を示す。このGUIは前述した「使用表示端末追加」ボタン７２に加えて、映像ストリームの転送先を表示端末ごとに配分する機能を提供するための「映像ストリーム配分設定」ボタン８２を含む。ユーザが「映像ストリーム配分設定」ボタン８２の領域を指示すると、指示された領域を表す座標情報が表示端末Mよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６が、GUI生成部２７に図３１に示すような形式をもつGUI（第４のGUI画像）の生成を指示し、生成されたGUIを表示端末Mに提供する。このGUIを介して、ユーザが各表示端末に転送される映像ストリームの配分を指定する。
【００９２】
ユーザは、このGUIを介して、表示端末Ｍ、Ｓ１およびＳ２に対して転送する映像ストリームを個別に選択することが可能であり、図３１では転送される映像ストリームがハイライトされる。本例では、表示端末Ｍには相手ビデオ会議端末Ａの映像が、表示端末Ｓ１には相手ビデオ会議端末Ｂの映像とネットワークカメラより得られる自映像が、表示端末Ｓ２には相手ビデオ会議端末Ｃの映像とネットワークカメラより得られる自映像が表示されるよう選択されている。ただし、ここで表示端末Mが１本の映像ストリームのみをデコード可能な表示端末であり、表示端末S1、S2が複数の映像ストリームをデコード可能な表示端末であるとする。
【００９３】
図３１の状態からユーザが、表示端末Mに相手ビデオ会議端末Bの映像ストリームを配分するよう指示すると、その指示を受けたビデオ会議アプリケーションサーバ７１のGUI管理部２６は機器情報管理部２５より取得した表示端末Ｍの処理能力情報から表示端末Mが映像ストリームを１本のみ表示できることを判断し、「相手ビデオ会議端末A」ボタンのハイライトを停止し、「相手ビデオ会議端末B」ボタンがハイライトされたGUIを表示端末Mに提供する。
【００９４】
一方、図３１の状態からユーザが、表示端末S1に相手ビデオ会議端末Aの映像ストリームを配分するよう指示すると、指示を受けたビデオ会議アプリケーションサーバ７１のGUI管理部２６は同様に表示端末Ｓ１の処理能力情報から表示端末S1が新たな映像ストリームを追加的に表示できることを判断し、「相手ビデオ会議端末A」ボタンが新たにハイライトされたGUIを表示端末Mに提供する。
【００９５】
ここでは図３１に示すハイライトの状態で、ユーザが「決定」ボタン領域を指示したとする。この場合、指示された「決定」ボタンの領域を表す座標情報が表示端末Mよりビデオ会議アプリケーションサーバ７１へ送信され、ビデオ会議アプリケーションサーバ７１のGUI管理部２６が、図３２に示すように、受信した映像ストリームを各表示端末に転送するよう、受信映像ストリーム転送部２９へ指示し、受信映像ストリーム転送部２９は指示された転送を行う。
【００９６】
なお、前述した各実施形態にかかわるビデオ会議アプリケーションサーバは、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、通信部、セッション制御部、機器情報管理部、GUI管理部、GUI生成部、受信映像ストリーム転送部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、ビデオ会議アプリケーションサーバは、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、機器情報記憶部、セッション情報記憶部、GUI情報記憶部は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００９７】
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９８】
【図１】ビデオ会議論理端末の概略構成図。
【図２】ビデオ会議アプリケーションサーバの詳細構成図。
【図３】表示端末の詳細構成図。
【図４】ビデオ会議アプリケーションサーバがネットワークカメラをリストに加えるまでの流れを示す図。
【図５】ネットワークビデオ会議端末が構成されるまでの流れを示す図。
【図６】使用可能なカメラのリストを示し、ユーザに選択させるGUIを示す図。
【図７】GUI画像領域とビデオ会議アプリケーションサーバの処理との対応付けを示す図。
【図８】受信映像ストリーム転送部における転送処理の流れを示すフローチャート。
【図９】ビデオ会議論理端末と複数の相手ビデオ会議端末との間でビデオ会議を行っている様子を示す図。
【図１０】同時に１本の映像ストリームのみデコード可能な表示端末に提供するGUIの一例を示す図。
【図１１】同時に１本の映像ストリームのみデコード可能な表示端末に提供するGUIの他の例を示す図。
【図１２】同時に複数の映像ストリームをデコード可能な表示端末に提供するGUIの一例を示す図。
【図１３】同時に複数の映像ストリームをデコード可能な表示端末に提供するGUIの他の例を示す図。
【図１４】実施形態２にかかわる同時に複数の映像ストリームをデコード可能な表示端末に提供するGUIの一例を示す図。
【図１５】実施形態２にかかわる同時に複数の映像ストリームをデコード可能な表示端末に提供するGUIの他の例を示す図。
【図１６】使用可能帯域が映像ストリーム２本分の場合の転送例を示す図。
【図１７】使用可能帯域が映像ストリーム３本分の場合の転送例を示す図。
【図１８】ビデオ会議セッション中に、使用する表示端末を切り替える例を示す図。
【図１９】使用する表示端末を変更する際に変更元表示端末へ提供するGUIの一例を示す図。
【図２０】使用する表示端末を変更する際に変更元表示端末へ提供するGUIの一例を示す図。
【図２１】使用する表示端末を変更する際に変更元表示端末へ提供するGUIの一例を示す図。
【図２２】使用する表示端末を変更する際に変更先表示端末へ提供するGUIの一例を示す図。
【図２３】使用表示端末変更処理時に行われるGUI管理部の処理の流れを示すフローチャート。
【図２４】複数の表示端末を使用する例を示す図。
【図２５】表示端末追加処理時に追加元表示端末へ提供するGUIの一例を示す図。
【図２６】表示端末追加処理時に追加元表示端末へ提供するGUIの一例を示す図。
【図２７】表示端末追加処理時に追加元表示端末へ提供するGUIの一例を示す図。
【図２８】表示端末追加処理時に追加先表示端末へ提供するGUIの一例を示す図。
【図２９】表示端末追加処理時に行われるGUI管理部の処理の流れを示すフローチャート。
【図３０】映像ストリームを表示端末ごとに配分するために提供するGUIの一例を示す図。
【図３１】映像ストリームを表示端末ごとに配分するために提供するGUIの一例を示す図。
【図３２】表示端末からの指示に応じて複数の表示端末へ映像ストリームを配分する例を示す図。
【符号の説明】
【００９９】
１１、７１：ビデオ会議アプリケーションサーバ
１２：ネットワークカメラ
１３：表示端末
１４：IPネットワーク
２１：通信部
２２：セッション制御部
２３：セッション情報記憶部
２４：機器情報記憶部
２５：機器情報管理部
２６：GUI管理部
２７：GUI生成部
２８：GUI情報記憶部
２９：受信映像ストリーム転送部
３１：通信部
３２：画面表示部
３３：映像ストリームデコード部
３４：GUI画像デコード部
３５：ユーザ入力部
３６：処理能力記憶部
３７：処理能力管理部
【図１】
2009033348.tif 000003
【図２】
2009033348.tif 000004
【図３】
2009033348.tif 000005
【図４】
2009033348.tif 000006
【図５】
2009033348.tif 000007
【図６】
2009033348.tif 000008
【図７】
2009033348.tif 000009
【図８】
2009033348.tif 000010
【図９】
2009033348.tif 000011
【図１０】
2009033348.tif 000012
【図１１】
2009033348.tif 000013
【図１２】
2009033348.tif 000014
【図１３】
2009033348.tif 000015
【図１４】
2009033348.tif 000016
【図１５】
2009033348.tif 000017
【図１６】
2009033348.tif 000018
【図１７】
2009033348.tif 000019
【図１８】
2009033348.tif 000020
【図１９】
2009033348.tif 000021
【図２０】
2009033348.tif 000022
【図２１】
2009033348.tif 000023
【図２２】
2009033348.tif 000024
【図２３】
2009033348.tif 000025
【図２４】
2009033348.tif 000026
【図２５】
2009033348.tif 000027
【図２６】
2009033348.tif 000028
【図２７】
2009033348.tif 000029
【図２８】
2009033348.tif 000030
【図２９】
2009033348.tif 000031
【図３０】
2009033348.tif 000032
【図３１】
2009033348.tif 000033
【図３２】
2009033348.tif 000034