(57)【要約】【課題】本発明の目的は、複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法に関する。【解決手段】本発明のビデオ会議サーバは、１つ又は２つのディスプレイを備えた従来の複数のビデオ会議端末（物理端末）を論理的に束ねてまるで１つのビデオ会議ポイントとして動作する「論理端末」のように動作するように実現することができる。ビデオ会議サーバは、論理端末を構成する複数の物理端末に提供する映像の分配により、論理端末がマルチスクリーンをサポートするように処理することができ、論理端末で発言中であるターゲットを認識して追跡する機能を提供する。【選択図】図６
2021525035.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ会議サーバのビデオ会議サービスの提供方法において、
複数の物理端末を第１論理端末として登録することにより、前記複数の物理端末が１つのビデオ会議ポイント（Ｐｏｉｎｔ）のように動作するように登録し、前記第１論理端末の登録情報には、前記複数の物理端末に接続された複数のマイク間の配置関係を登録する登録ステップと、
複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては、前記第１論理端末を構成する複数の物理端末と個別接続する呼接続ステップと、
前記複数のビデオ会議ポイントが提供するソース映像とソースオーディオ信号とを受信し、前記第１論理端末に対しては、前記複数の物理端末のそれぞれから前記ソース映像とソースオーディオ信号とを受信するソース受信ステップと、
前記複数のマイク間の配置関係を基に、前記複数の物理端末が提供した前記ソース映像、ソースオーディオ信号及び制御コマンドの中から選択された１つを用いて、前記第１論理端末で追跡制御対象となるターゲットの位置を認識するターゲット認識ステップと、
前記ターゲットの位置を基に前記複数の物理端末に接続されたカメラのうちいずれか１つを追跡用カメラとして選択し、前記追跡用カメラが前記ターゲットを撮影するように制御するカメラ追跡ステップと、を含み、
前記第１論理端末が１つの仮想のビデオ会議ポイントとして動作するようにすることを特徴とする、
ビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項２】
前記第１論理端末に含まれた物理端末が複数のカメラ‐姿勢をプリセットした場合に、前記カメラ追跡ステップは、前記ターゲット認識ステップで認識したターゲットの位置に対応するカメラ‐姿勢の識別番号を前記複数の物理端末のうち前記追跡用カメラが接続された物理端末に提供することにより、前記追跡用カメラが姿勢を変えてターゲットを追跡するように制御することを特徴とする請求項１に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項３】
前記第１論理端末の登録情報には、既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係が登録され、前記カメラ追跡ステップは、前記ターゲット認識ステップで認識されたターゲットの位置に対応する仮想のターゲット位置を確認し、前記登録情報から前記追跡用カメラと前記カメラ‐姿勢の識別番号を抽出することを特徴とする請求項２に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項４】
前記登録ステップは、前記既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係が図式的に入力されるための画面をユーザーに表示するステップをさらに含むことを特徴とする請求項３に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項５】
前記ソース受信ステップで受信した全体ソース映像のうち他のビデオ会議ポイントで提供した映像を前記第１論理端末の複数の物理端末に分配するマルチスクリーン映像提供ステップと、前記ソースオーディオ受信ステップで受信した全体ソースオーディオのうち他のビデオ会議ポイントで提供したオーディオ信号を前記第１論理端末に提供する出力用オーディオ信号にミックスするオーディオ処理ステップと、前記第１論理端末に属する複数の物理端末のうち出力担当−物理端末に前記出力用オーディオ信号を伝送するオーディオ出力ステップと、を含むことを特徴とする請求項２に記載のビデオ会議サーバのビデオ会議サービスの提供方法
【請求項６】
前記マルチスクリーン映像提供ステップは、前記第１論理端末の複数の物理端末のそれぞれから受信したソース映像を前記他のビデオ会議ポイントに提供する映像に配置し、前記複数の物理端末のうち前記ターゲット位置に対応する物理端末から提供されるソース映像をターゲット用に設定された領域に配置することを特徴とする請求項５に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項７】
前記マルチスクリーン映像提供ステップは、前記複数のビデオ会議ポイントのうち前記ターゲットの位置に対応する論理端末で提供するすべてのソース映像をターゲット用に設定された領域に配置することを特徴とする請求項５に記載のビデオ会議サーバのビデオ会議サービスの提供方法
【請求項８】
前記制御コマンドは、前記カメラ‐姿勢の識別番号のうちいずれか１つであって、前記第１論理端末を構成する複数の物理端末から提供されるか、ユーザーのモバイル端末から提供されるか、他のビデオ会議ポイントから提供されることを特徴とする請求項２〜請求項７のうちいずれか１項に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項９】
前記ターゲット認識ステップは、前記複数のマイク間の配置関係と前記複数の物理端末が提供した前記ソースオーディオ信号の強さを基に前記第１論理端末でターゲットの位置を認識することを特徴とする請求項１〜請求項７のうちいずれか１項に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項１０】
前記ターゲット認識ステップは、前記ソース映像に対する映像処理により、発言中である人の口を認識する方法で前記第１論理端末でターゲットの位置を認識することを特徴とする請求項１〜請求項７のうちいずれか１項に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項１１】
前記呼接続ステップは、発信側ポイントから呼接続要請メッセージを受信するステップと、前記呼接続要請メッセージの受信に応じて発信側と受信側を接続する途中で、前記発信側又は受信側が前記第１論理端末であるか否かを照会するステップと、前記照会の結果に応じて、前記発信側が第１論理端末の物理端末であれば、前記第１論理端末の残りの物理端末とも個別接続を生成するステップと、前記照会の結果に応じて、前記呼接続要請された受信側が第２論理端末の物理端末であれば、前記第２論理端末の残りの物理端末とも個別接続を生成するステップと、を行うことを特徴とする請求項１に記載のビデオ会議サーバのビデオ会議サービスの提供方法。
【請求項１２】
ビデオ会議サービスを提供できるビデオ会議サーバにおいて、
複数の物理端末を１つのビデオ会議ポイント（Ｐｏｉｎｔ）のように動作する第１論理端末として登録し、前記複数の物理端末に接続された複数のマイク間の配置関係を登録する端末登録部と、
前記第１論理端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては、前記第１論理端末を構成する複数の物理端末と個別接続し、前記複数のビデオ会議ポイントからソース映像及びソースオーディオ信号を受信し、前記第１論理端末に対しては、前記複数の物理端末のそれぞれから前記ソース映像及びソースオーディオ信号を受信する通話接続部と、
前記複数のマイク間の配置関係を基に、前記複数の物理端末が提供した前記ソース映像、ソースオーディオ信号及び制御コマンドの中から選択された１つを用いて前記第１論理端末で追跡制御対象となるターゲットの位置を認識するターゲット認識部と、
前記ターゲットの位置を基に、前記複数の物理端末に接続されたカメラのうちいずれか１つを追跡用カメラとして選択し、前記追跡用カメラが前記ターゲットを撮影するように制御するカメラ追跡部と、を含み、
前記第１論理端末が１つの仮想のビデオ会議ポイントとして動作するようにすることを特徴とする、
ビデオ会議サーバ。
【請求項１３】
前記第１論理端末に含まれた物理端末が複数のカメラ‐姿勢をプリセットした場合に、前記カメラ追跡部は、前記ターゲット認識ステップで認識したターゲットの位置に対応するカメラ‐姿勢の識別番号を前記複数の物理端末のうち前記追跡用カメラが接続された物理端末に提供することにより、前記追跡用カメラが姿勢を変えてターゲットを追跡するように制御することを特徴とする請求項１２に記載のビデオ会議サーバ。
【請求項１４】
前記第１論理端末の登録情報には、既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係が登録され、前記カメラ追跡部は、前記ターゲットの位置に該当する仮想のターゲット位置を確認し、前記登録情報から前記追跡用カメラと前記カメラ‐姿勢の識別番号を抽出することを特徴とする請求項１３に記載のビデオ会議サーバ。
【請求項１５】
前記端末登録部は、前記既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係が図式的に入力されるための画面をユーザーに表示することを特徴とする請求項１４に記載のビデオ会議サーバ。
【請求項１６】
前記通話接続部が受信した全体ソース映像のうち他のビデオ会議ポイントで提供した映像を前記第１論理端末の複数の物理端末に分配するように処理する映像処理部と、前記通話接続部が受信した全体ソースオーディオのうち他のビデオ会議ポイントで提供したオーディオを前記第１論理端末に提供する出力用オーディオ信号にミックスし、前記第１論理端末に属する複数の物理端末のうち出力担当−物理端末に前記出力用オーディオ信号を伝送するオーディオ処理部と、を含むことを特徴とする請求項１２に記載のビデオ会議サーバ。
【請求項１７】
前記映像処理部は、前記第１論理端末の複数の物理端末のそれぞれから受信したソース映像を前記他のビデオ会議ポイントに提供する映像に配置し、前記複数の物理端末のうち前記ターゲットの位置に対応する物理端末から提供されるソース映像をターゲット用に設定された領域に配置することを特徴とする請求項１６に記載のビデオ会議サーバ。
【請求項１８】
前記映像処理部は、前記複数のビデオ会議ポイントのうち前記ターゲットの位置に対応する論理端末で提供するすべてのソース映像をターゲット用に設定された領域に配置することを特徴とする請求項１６に記載のビデオ会議サーバ。
【請求項１９】
前記制御コマンドは、前記カメラ‐姿勢の識別番号のうちいずれか１つであって、前記第１論理端末を構成する複数の物理端末から提供されるか、ユーザーのモバイル端末から提供されるか、他のビデオ会議ポイントから提供されることを特徴とする請求項１３〜請求項１８のうちいずれか１項に記載のビデオ会議サーバ。  
【請求項２０】
前記ターゲット認識部は、前記複数のマイク間の配置関係と前記複数の物理端末が提供した前記ソースオーディオ信号の強さを基に、前記第１論理端末でターゲットの位置を認識することを特徴とする請求項１２〜請求項１８のうちいずれか１項に記載のビデオ会議サーバ。
【請求項２１】
前記ターゲット認識部は、前記ソース映像に対する映像処理により、発言中である人の口を認識する方法で前記第１論理端末でターゲットの位置を認識することを特徴とする請求項１２〜請求項１８のうちいずれか１項に記載のビデオ会議サーバ。
【請求項２２】
前記通話接続部は、発信側ポイントから呼接続要請メッセージに応じて発信側と受信側を接続する途中で、前記発信側又は受信側が前記第１論理端末であるか否かを照会し、前記発信側が第１論理端末の物理端末であれば、前記第１論理端末の残りの物理端末とも個別接続を生成し、前記呼接続要請された受信側が第２論理端末の物理端末であれば、前記第２論理端末の残りの物理端末とも個別接続を生成することを特徴とする請求項１２に記載のビデオ会議サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチポイントビデオ会議システムに関し、特に、従来のテレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）装備がなくても、複数のビデオ会議用端末を用いてマルチポイントビデオ会議のための複数の映像を表示できるマルチスクリーンビデオ会議を提供できるビデオ会議サーバ及びその方法に関する。
【背景技術】
【０００２】
ビデオ会議システムは、一般的にＨ．３２３やＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）のような標準プロトコルを用いる標準基盤のビデオ会議端末（又はシステム）と、開発者が自体開発した独自のプロトコルを用いる非標準ビデオ会議端末とに分けられる。
シスコ（ＣＩＳＣＯ（登録商標））、ポリコム（ＰＯＬＹＣＯＭ（登録商標））、アバイア（ＡＶＡＹＡ（登録商標））、ライフサイズ（ＬＩＦＥＳＩＺＥ（登録商標））などのメジャーなビデオ会議装備会社は、上述した標準プロトコルを用いたビデオ会議ソリューションを供給しているが、標準技術のみを用いて製品を作る場合、様々な機能を実現し難いため、非標準ビデオ会議システムを供給する会社も多い。
【０００３】
＜標準端末基盤のマルチビデオ会議のためのＭＣＵ＞
ビデオ会議システムは、２つのビデオ会議端末（２つのポイント）が接続される１：１のビデオ会議があり、複数のビデオ会議端末（複数のポイント）が同時に接続されるマルチビデオ会議がある。ビデオ会議に参加したすべてのビデオ会議端末は、個別に１つのビデオ会議ポイント（Ｐｏｉｎｔ）になり、ポイントごとに少なくとも１人の会議参加者が参席することが一般的である。
標準ビデオ会議端末は、相手と１つのセッションを接続して通常１つの映像と音声のみを処理するため、基本的に１：１のビデオ会議に適用され、付加的に標準端末においてもＨ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ  Ｆｌｏｏｒ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）を用いると、文書会議のための補助映像をもう１つ処理することができる。したがって、標準ビデオ会議システムにおいて、１：１ではない３つ以上のポイントが接続されたマルチビデオ会議をするためには、別途のＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ  Ｃｏｎｆｅｒｅｎｃｉｎｇ  Ｕｎｉｔ）と呼ばれる装置が必要となる。ＭＣＵは、３つ以上のポイントから提供される映像をミックス（Ｍｉｘｉｎｇ）して各ポイントのための映像を１つずつ作って標準端末に提供することにより、標準プロトコルの制約を解消する。
ビデオ会議に結合されたすべてのビデオ会議端末は、自分が生成した映像と音声データとを圧縮して相手に送信するため、映像をミックスするためにはデコード（Ｄｅｃｏｄｉｎｇ）し、既に設定されたレイアウトに合わせて複数の映像をレンダリング（Ｒｅｎｄｅｒｉｎｇ）して新たな映像を作るミックス、そして、再びエンコード（Ｅｎｃｏｄｉｎｇ）する過程をさらに経なければならない。したがって、ミキシングは、相対的に多くの費用がかかる作業であるものの、核心的な装備であり、ＭＣＵ機能を備えたサーバはほとんどが高価で流通される。
映像をミックスすれば、端末では１つの映像を処理するため、技術的に１：１で会議するときと差はないが、ＭＣＵが提供する映像には複数のポイントから提供される映像がＰＢＰ（Ｐｉｃｔｕｒｅ  ｂｙ  Ｐｉｃｔｕｒｅ）、ＰＩＰ（Ｐｉｃｔｕｒｅ  ｉｎ  Ｐｉｃｔｕｒｅ）などの形で結合されている。さらに端末側で必要な帯域幅も１：１の場合と比べたとき、事実上差はない。
【０００４】
＜非標準ビデオ会議システムにおけるマルチビデオ会議＞
非標準ビデオ会議システムでは、標準的なＭＣＵを用いずに映像を処理し、標準映像端末と接続が必要であれば、別途のゲートウェイ（Ｇａｔｅｗａｙ）を用いる。複数のポイントの端末は、１つのサーバにログインして特定の会議ルームに参加する手続きを経る。一部の非標準製品は、サーバが存在せず、Ｐ２Ｐ（Ｐｅｅｒｔｏ  Ｐｅｅｒ）で処理する場合もある。
非標準ビデオ会議システムにおいて、ＭＣＵ又はＭＣＵ機能を行う装置を用いない理由は、ＭＣＵ機能を実現させるために高価な高性能サーバが必要となるためである。映像のミックスを行う代わりに、各端末は、自分が生成した映像を他の参加者（他のポイントの端末）に単純にリレー（Ｒｅｌａｙ）する方法を多く用いる。リレー方式は、ミックスよりもサーバのシステムリソースの使用を少なくするという利点があるが、映像リレーに必要なネットワーク帯域幅は、指数関数的に増えるという欠点がある。
例えば、５人が同じ会議ルームに参加しており、他の参加者が提供する画面を一度に全員が見ているという仮定の下で計算してみると、本人の映像をサーバに伝送し、他の４人の映像を受け取らなければならないので、２５倍（５×５）の帯域幅が必要となる。もし、１０個のビデオ会議端末が参加している場合であれば、１００倍（１０×１０）の帯域幅が必要となる。ビデオ会議参加者が多くなれば、必要な帯域幅が指数関数的に増加する。
【０００５】
＜文書ビデオ会議のためのトークンの取得＞
従来の一般的なビデオ会議端末は、メイン映像画面と文書映像画面を同時に２つのディスプレイ装置に各々出力することができるが、安価なビデオ会議装備の中には単一ディスプレイへの出力のみをサポートする場合が多い。単一ディスプレイのみをサポートするビデオ会議端末は、文書ビデオ会議のためのＨ．２３９又はＢＦＣＰをサポートする場合もあり、サポートしない場合もある。
単一ディスプレイにおいて、Ｈ．２３９又はＢＦＣＰプロトコルによる文書映像を表示するときには、通常、画面を分割して表示し、端末自体で２つの映像を様々な形態で表示するための複数のレイアウトを提供することもある。又、端末でメイン映像又は文書映像のうち１つを選択して拡大する機能もほとんどサポートする。
上述したように、ビデオ会議端末は、１つの映像を送出することできるが、Ｈ．２３９又はＢＦＣＰ技術を用いると、文書映像をさらに送出することができる。文書映像を送出するために、発表者は、発表者トークン（Ｔｏｋｅｎ）を取得しなければならないが、ビデオ会議に参加した端末のうち、ただ１つの端末（すなわち、１つのポイント）のみがトークンを有することができる。そのために、参加者のメイン映像と文書映像を同時にサーバに送出できるのは、発表者トークンを取得した端末のみである。
【０００６】
＜テレプレゼンス＞
一方、シスコ（Ｃｉｓｃｏ）及びポリコム（Ｐｏｌｙｃｏｍ）などのメジャーな企業は、テレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）技術の超高価なビデオ会議装備を供給し、この装備は、３つ又は４つのディスプレイ出力をサポートするだけではなく、そのサポートする出力ディスプレイの数だけの映像を発表者トークンがなくても送出することができる。関連業界では、ビデオ会議のためのマルチ映像の送出機能を、テレプレゼンス装備のみの固有の機能として認識している。
テレプレゼンス装備は、一般的なビデオ会議端末と連動ぜず、別に提供される高価なゲートウェイ装備があって初めて相互連動することができる。そのように連動したとしても一般のビデオ会議装備同士が通話する場合に比べて映像品質が非常に劣る。このような理由によって３つのディスプレイ出力を有するビデオ会議端末は、相対的にほとんど普及されておらず、標準技術という制約により拡張性に制限がある状態である。
【０００７】
＜発言者の認識及び撮影＞
会議ルームに設置されたビデオ会議システムが、会議ルーム内にいる参加者らの顔を動的に映すためには、カメラ追跡システムが必要となる。従来のカメラ追跡システムを用いると、ビデオ会議に参加した人々の中で発言者を認識し、当該発言者を撮影した映像を相手側に提供し、主なイメージとして表示するなどの画像処理ができる。
したがって、カメラ追跡システムは、発言者を撮影するカメラと発言者を認識する手段が必要となり、従来のカメラ追跡システムは、ビデオ会議端末とは別に製作して供給されていた。
ビデオ会議端末に接続されたカメラは、普通、指定された方向だけを見る固定型と自由にカメラの方向と焦点距離を調整できるパンティルトズーム（ＰＴＺ）カメラとに分けられる。安価なビデオ会議端末製品は、カメラがモニターに一体に固定されたものがほとんどであり、中間価格帯のＰＴＺカメラを適用した製品が生産される。ただし、３つ以上のマルチスクリーンをサポートするテレプレゼンス型の超高価なビデオ会議装備は、スクリーンごとに固定型カメラを設置したものがほとんどである。
ほとんどのＰＴＺカメラは、基準点からパンニング角度とティルティング角度を格納する方法で特定の姿勢（Ｐｏｓｉｔｉｏｎ）を記憶できる「プリセット（Ｐｒｅｓｅｔ）機能」をサポートする。ユーザーが記憶されたプリセット識別番号を入力すると、カメラは、現在の姿勢からプリセットされた姿勢に変えて撮影し、プリセット方式によっては既に設定された拡大比率で撮影することもできる。
従来のカメラ追跡システムは、ビデオ会議のための端末とは別に製作され、ほとんど数十万円から数百万円程度の高価な装備である。カメラ追跡システムは、端末側に設置する装備であるため、複数の会議ルームにビデオ会議システムを構築すればそれだけより多くの費用がかかる。
カメラ追跡システムは、発言者を認識するために、会議用テーブルの上に指定された席ごとにマイクとボタンを設置する。マイクは、あひるの首のように曲がった形状の、いわゆる「グースネックマイク」が通常使用され、グースネックマイクに発言用ボタンが一体に付けられている場合がほとんどである。参加者が自分の席にあるマイクボタンを押すと、マイクの位置が固定されているので、発言者の位置を認識することができる。マイクの位置を考慮してカメラのプリセットが格納されると、参加者が自分の位置にあるマイクボタンを押すときに、カメラがプリセットされた位置に姿勢を変える。
従来知られている他のカメラ追跡システムは、ボタンなどを操作する機械的な方式の代わりにマイクに入力される音声ボリュームの大きさによって発言者を認知する方法を提示している。ビデオ会議で特定の発言者が発言をすると、発言者のマイクだけでなく、近くにある他のマイクにも発言者の音声が入力される場合もある。しかしながら、発言者のマイクに入力される音声の大きさが一般的には最も大きいため、端末側に設置された追跡システムが複数のマイクに入力される音声信号の強さを比較して発言者の位置を認識する方法である。
【０００８】
＜ビデオ会議システムのオーディオ装置＞
ほとんどのビデオ会議端末はエコー除去機能を有している。例えば、Ａ端末とＢ端末がビデオ通話をすると仮定する場合、Ａ端末は、発言者の音声がマイクを介して入力され、ビデオ通話の相手のＢ端末に伝達するが、Ａ端末のスピーカーに出力しない。一方、Ｂ端末から伝達されるオーディオ信号は、Ａ端末のスピーカーを介して出力されることにより会議が行われる。  
Ｂ端末から伝達されるオーディオ信号がＡ端末のスピーカを介して出力されると、そのオーディオ信号が再びＡ端末のマイクを介して入力されながらエコーが発生することになる。しかしながら、エコー除去機能を有するＡ端末は、マイクを介して入力される信号においてＢ端末から伝達されるオーディオ信号と波形が同一のものを除去することによりエコーを除去する。
Ａ端末は、マイクを介して入力されたオーディオ信号をスピーカーに直接出力しないので、Ａ端末がエコー信号を除去しなくても、直ぐにＡ端末のスピーカーには出力されない。エコー信号は、Ｂ端末に伝達され、Ｂ側はＡ端末が提供したオーディオ信号であるので、そのまま出力しながらエコーを作る。又、そのエコー信号は同一の過程で再びＡ端末に伝達されるが、Ａ端末はＢ端末から提供されたオーディオ信号であるので、エコー信号をスピーカーに出力する。このような過程が連続的に繰り返されて大きなノイズになる。
エコー除去方法は、入力されたオーディオ信号において出力オーディオ信号と一致する波形を除去することである。  通常、オーディオが出力装置から再生されて再びマイクに入力されて処理されるまでに、数十から数百ミリ秒（ｍｓ）の遅延時間が発生する。遅延時間は、装置ごとに異なるため、入力されたオーディオ信号においてエコー除去機能によって除去するオーディオ信号を検出することは容易ではない。再びマイクに入力されるときの信号の強さが出力信号の強さと異なる部分も、音声波形の除去を難しくする。当然、ノイズが多いか或いは音響が響いたりする空間ではエコー除去がより難しい。したがって、エコー除去はビデオ会議の分野において複雑でかつ難しい技術である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】大韓民国特開第１０−２０１６−００６２７８７号公報（ビデオカンファレンスのために複数のビデオフィードをミキシング処理する方法、それを用いたビデオカンファレンス端末装置、ビデオカンファレンスサーバ及びビデオカンファレンスシステム）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、マルチ−ポイントのビデオ会議サービスを提供し、複数のビデオ会議用端末を１つのビデオ会議ポイントとして処理する論理端末サービスを提供できるビデオ会議サーバを提供することにある。
本発明の目的は、別途のカメラ追跡システムを備えなくても、様々なカメラ追跡イベントによってカメラの撮影を制御できるビデオ会議サーバを提供することにある。
本発明の目的は、１つの論理端末から提供される複数のオーディオ信号又は映像信号を用いて発言者の位置を認識することにより、カメラ追跡イベントを生成できるビデオ会議サーバ及びそのカメラ追跡方法を提供することにある。
本発明の他の目的は、ビデオ会議ポイントから提供される制御コマンドに従ってカメラ追跡イベントを生成できるビデオ会議サーバ及びそのカメラ追跡方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するための本発明によるビデオ会議サーバのビデオ会議サービスの提供方法は、登録ステップ、呼接続ステップ、ソース受信ステップ、ターゲット認識ステップ及びカメラ追跡ステップを含み、論理端末が１つの仮想のビデオ会議ポイントとして動作するようにサービスする。
登録ステップは、複数の物理端末を第１論理端末として登録することにより、前記複数の物理端末が１つのビデオ会議ポイント（Ｐｏｉｎｔ）のように動作するように登録する。この際、前記第１論理端末の登録情報には、前記複数の物理端末に接続された複数のマイク間の配置関係を登録することができる。呼接続ステップは、複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては、前記第１論理端末を構成する複数の物理端末と個別接続する。ソース受信ステップは、前記複数のビデオ会議ポイントが提供するソース映像とソースオーディオ信号を受信し、前記第１論理端末に対しては、前記複数の物理端末のそれぞれから前記ソース映像とソースオーディオ信号を受信する。
ターゲット認識ステップは、前記複数のマイク間の配置関係を基に、前記複数の物理端末が提供する前記ソース映像、ソースオーディオ信号及び制御コマンドの中から選択された１つを用いて前記第１論理端末でターゲットの位置を認識する。それにより、カメラ追跡ステップは、前記ターゲット位置を基に前記複数の物理端末に接続されたカメラのうちいずれか１つを追跡用カメラとして選択し、前記追跡用カメラが前記ターゲットを撮影するように制御する。
実施例により、前記ターゲット認識ステップは、前記複数のマイク間の配置関係と、前記複数の物理端末が提供する前記ソースオーディオ信号の強さを基に前記第１論理端末でターゲットの位置を認識することができる。
前記ターゲット認識の他の方法として制御コマンドを用いることができる。この際、制御コマンドは、前記カメラ‐姿勢の識別番号のうちいずれかであって、前記第１論理端末を構成する複数の物理端末から提供されるか、ユーザーのモバイル端末から提供されるか、他のビデオ会議ポイントから提供されることが望ましい。
他の実施例により、前記第１論理端末に含まれる物理端末が複数のカメラ‐姿勢をプリセットした場合に、前記カメラ追跡ステップは、前記ターゲット認識ステップで認識したターゲットの位置に対応するカメラ‐姿勢の識別番号を前記複数の物理端末のうち前記追跡用カメラが接続された物理端末に提供することができる。それにより、前記追跡用カメラが姿勢を変えてターゲットを追跡することになる。
又他の実施例により、前記第１論理端末の登録情報には、既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係を登録することができる。この場合、前記カメラ追跡ステップは、前記ターゲット位置に該当する仮想のターゲット位置を確認し、前記登録情報から前記追跡用カメラと前記カメラ‐姿勢の識別番号を抽出することができる。なお、又他の実施例による前記登録ステップには、前記既に設定された仮想のターゲット位置と、前記複数の物理端末に接続された複数のマイクと、前記カメラ‐姿勢の識別番号の間の配置関係が図式的に入力されるための画面をユーザーに表示するステップをさらに含むことができる。
一方、本発明のビデオ会議サーバのビデオ会議サービスの提供方法は、前記ソース受信ステップで受信した全体ソース映像のうち他のビデオ会議ポイントで提供した映像を前記第１論理端末の複数の物理端末に分配するマルチスクリーン映像提供ステップと、前記ソースオーディオ受信ステップで受信した全体ソースオーディオのうち他のビデオ会議ポイントで提供したオーディオ信号を前記第１論理端末に提供する出力用オーディオ信号にミックスするオーディオ処理ステップと、前記第１論理端末に属する複数の物理端末のうち出力担当−物理端末に前記出力用オーディオ信号を伝送するオーディオ出力ステップと、を含むことができる。
実施例により、前記マルチスクリーン映像提供ステップは、前記第１論理端末の複数の物理端末のそれぞれから受信したソース映像を前記他のビデオ会議ポイントに提供する映像に配置し、前記複数の物理端末のうち前記ターゲット位置に対応する物理端末から提供されるソース映像をターゲット用に設定された領域に配置することができる。他の方法として、前記マルチスクリーン映像提供ステップは、前記複数の映像会ポイントのうち前記オーディオ信号の強さが最も高い論理端末で提供するすべてのソース映像をターゲット用に設定された領域に配置することもできる。
又、前記呼接続ステップは、発信側ポイントから呼接続要求メッセージを受信するステップと、前記呼接続要求メッセージの受信に応じて発信側と受信側を接続する途中で、前記発信側又は受信側が前記第１論理端末であるか否かを照会するステップと、前記照会結果に応じて、前記発信側が第１論理端末の物理端末であれば、前記第１論理端末の残りの物理端末とも個別接続を生成するステップと、前記照会結果に応じて、前記呼接続要求された受信側が第２論理端末の物理端末であれば、前記第２論理端末の残りの物理端末とも個別接続を生成するステップを行うことができる。
本発明は、ビデオ会議サービスを提供できるビデオ会議サーバにも及ぶ。本発明のサーバは、端末登録部、通話接続部、ターゲット認識部及びカメラ追跡部を含む。
端末登録部は、複数の物理端末を１つのビデオ会議ポイント（Ｐｏｉｎｔ）のように動作する第１論理端末として登録し、前記第１論理端末の登録情報には、前記複数の物理端末に接続された複数のマイク間の配置関係を登録する。通話接続部は、前記第１論理端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては、前記第１論理端末を構成する複数の物理端末と個別接続し、前記複数のビデオ会議ポイントからソース映像及びソースオーディオ信号を受信し、前記第１論理端末に対しては、前記複数の物理端末のそれぞれから前記ソース映像及びソースオーディオ信号を受信する。
ターゲット認識部は、前記複数のマイク間の配置関係を基に、前記複数の物理端末が提供した前記ソース映像、ソースオーディオ信号及び制御コマンドの中から選択された１つを用いて前記第１論理端末でターゲットの位置を認識する。カメラ追跡部は、前記ターゲットの位置を基に前記複数の物理端末に接続されたカメラのうちいずれか１つを追跡用カメラとして選択し、前記追跡用カメラが前記ターゲットを撮影するように制御する。
【発明の効果】
【００１２】
本発明のビデオ会議サーバは、制限された個数（通常１つ又は２つ）のディスプレイを備えた複数のビデオ会議端末（物理端末）を論理的に束ねてまるで１つのビデオ会議ポイントとして動作する論理端末のように動作するように実現することができる。ビデオ会議サーバは、論理端末を構成する複数の物理端末に提供する映像の分配により論理端末がマルチスクリーンをサポートするように処理することができる。
マルチポイントビデオ会議において、ビデオ会議サーバは、論理端末が備えたスクリーン、すなわちディスプレイ装置の個数に合わせて他のビデオ会議ポイントの映像を分配するため、論理端末に含まれた物理端末の立場では、従来に比べて表示すべき他のビデオ会議ポイントの数が減る効果があり、したがって、１つのスクリーンに表示される映像の複雑度も低くなる。映像の複雑度が低くなるので、たとえ性能が劣る物理端末や速度が遅いネットワークにおいて映像品質が改善される効果がある。
本発明の論理端末は、単にビデオ会議サーバの内部処理により実現されるものであり、物理端末間の直接的な接続がないので、たとえ互いに異なる映像コーデックを備えたり、システムの性能が互いに異なったり、製造社が互いに異なる物理端末であっても、１つの論理端末に束ねて処理するのに問題はない。当然、論理端末によってマルチスクリーンを提供するものであるので、マルチスクリーンのサポートのために個別ビデオ会議端末のシステムリソースをアップグレードする必要もない。
本発明によると、複数の物理端末で実現された論理的ビデオ会議端末に対して、まるで１つのビデオ会議端末のようにオーディオが提供されるようにオーディオ信号を提供することができる。したがって、論理端末に属する複数の物理端末が個別にスピーカを備えても、特定の出力担当−物理端末のみがオーディオ信号を出力することにより、論理端末が１つのビデオ会議ポイントのように動作するようにする。
本発明によると、ビデオ会議サーバは、様々な状況に応じて論理端末側カメラの撮影を制御することができる。例えば、ビデオ会議サーバは、複数のビデオ会議端末で構成される論理端末のレベルで、カメラ追跡制御の対象となるターゲットを認識（例えば、発言者）し、論理端末が備えた複数のカメラのうちいずれか１つで発言者を撮影するよう制御することができる。又、ビデオ会議サーバは、ビデオ会議ポイントで提供される制御コマンドに従ってカメラ追跡イベントを生成することができる。
本発明の論理端末は、複数のビデオ会議物理端末で構成されるので、従来使用されていた個別のビデオ会議端末のレベルで動作する従来のカメラ追跡システムでは発言者の認識やカメラ追跡が行えないという問題を解決することができる。
又、本発明によると、複数の物理端末をまるで１つの論理端末であるかのようにオーディオ信号を処理する過程で、出力担当−物理端末ではない理由でオーディオ信号を出力しない物理端末によって入力されるオーディオ信号に含まれるエコーを除去することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施例によるビデオ会議システムの構成図である。
【図２】図１の３つのポイントがすべて参加するマルチビデオ会議の接続図である。
【図３】本発明のビデオ会議サーバのマルチスクリーンビデオ会議サービスの提供方法を示す図である。
【図４】本発明のカメラ追跡方法の説明に提供される例示図である。
【図５】本発明の論理端末の登録過程に使用される画面の例示図である。
【図６】本発明のカメラ追跡方法の説明に提供されるフローチャートである。
【図７】図１のビデオ会議システムにおけるオーディオ信号の処理を示す図である。
【図８】本発明のオーディオ処理方法の説明に提供されるフローチャートである。
【図９】論理端末においてエコー除去方法の説明に提供されるフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明をより詳しく説明する。
図１を参照する。本発明のビデオ会議システム１００は、サーバ１１０と複数のビデオ会議端末がネットワーク３０を介して接続されたものであって、２つの接続ポイント（Ｐｏｉｎｔ）が接続された１：１のビデオ会議だけでなく、３つ以上のポイントが接続されているマルチビデオ会議をサポートする。図１に示すビデオ会議端末１１、１３、１５、１７、１９は、接続可能なビデオ会議端末を例示的に示すものである。
サーバ１１０とビデオ会議端末１１、１３、１５、１７、１９間の接続ネットワーク３０は、ＩＰ網（ＩＰ  Ｎｅｔｗｏｒｋ）であり、ゲートウェイ（Ｇａｔｅｗａｙ）を介して接続される異種ネットワークを含むか、あるいは異種ネットワークと接続される。例えば、移動通信網を用いる無線電話機も本発明のビデオ会議端末になり得、この場合、ネットワーク３０は、ゲートウェイ（Ｇａｔｅｗａｙ）を介して接続されてＩＰパケットを処理できる移動通信網を含む。
サーバ１１０は、本発明のビデオ会議システム１００を全般的に制御し、従来の一般的なビデオ会議処理用サーバ機能に加え、端末登録部１１１、通話接続部１１３、映像処理部１１５、オーディオ処理部１１７、ターゲット認識部１１９、カメラ追跡部１２１及びエコー処理部１２３を含む。
端末登録部１１１は、以下で説明する物理端末と論理端末の登録、設定及び管理などを行い、通話接続部１１３は、本発明のビデオ会議の呼（Ｃａｌｌ）接続を制御する。映像処理部１１５は、ビデオ会議の呼が接続された場合に、物理端末及び／又は論理端末間に提供する映像を処理（ミックス、デコード、エンコードなど）することで、テレプレゼンスのようなマルチスクリーン（Ｍｕｌｔｉ  Ｓｃｒｅｅｎ）を実現する。
本発明において、特徴的なオーディオ処理部１１７は、論理端末でのオーディオ処理を制御し、ターゲット認識部１１９とカメラ追跡部１２１は、論理端末でのカメラ追跡制御の対象となるターゲット（Ｔａｒｇｅｔ）の位置を認識し、カメラ追跡制御を行う。エコー処理部１２３は、論理端末から伝送されるオーディオ信号に対してエコーを除去する。
端末登録部１１１、通話接続部１１３、映像処理部１１５、オーディオ処理部１１７、ターゲット認識部１１９、カメラ追跡部１２１及びエコー処理部１２３の動作については、以下で説明する。
【００１５】
論理端末
本発明のビデオ会議システム１００は、論理端末という概念を提示する。論理端末は、従来の一般的な複数のビデオ会議端末をまるで１つのビデオ会議端末であるかのように論理的に組み合わせたものである。論理端末は２つ以上のビデオ会議端末で構成するが、論理端末を構成する複数のビデオ会議端末間の直接接続はない。つまり、論理端末を構成するために、論理端末を構成する複数のビデオ会議端末間の直接接続は必要ない。
以下では、論理端末と従来の一般的なビデオ会議端末とを区分するために、従来の一般的なビデオ会議端末を「物理端末」と称する。つまり、論理端末は、複数のビデオ会議用物理端末が単に論理的に結合されたものである。
図１のビデオ会議システム１００に含まれたすべてのビデオ会議端末１１、１３、１５、１７、１９は、物理端末である。物理端末は、ビデオ会議に関する標準プロトコルをサポートし、背景技術で説明したテレプレゼンスサービスを提供できる端末ではなく、１つのディスプレイ装置が接続されるか、或いは文書会議のために２つのディスプレイ装置が接続されるビデオ会議端末である。
標準プロトコルとしては、Ｈ．３２３又はＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）などがある。当然、各ビデオ会議端末１１、１３、１５、１７、１９のうち文書会議をサポートする端末は、Ｈ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ  Ｆｌｏｏｒ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）をサポートする。例えば、サーバ１１０と物理端末１１、１３、１５、１７、１９の間にＳＩＰプロトコルによるＳＩＰセッションが生成されるとする場合に、以下で説明する映像信号又はオーディオ信号はＲＴＰパケットの形で伝送される。
各物理端末１１、１３、１５、１７、１９は、映像／音声コーデック（Ｃｏｄｅｃ）を備え、個別に発言者の音声をオーディオ信号に変換するマイク１１−１、１３−１、１５−１、１７−１、１９−１と、オーディオの出力のためのスピーカー１１−２、１３−２、１５−２、１７−２、１９−２と、カメラ１１−３、１３−３、１５−３、１７−３、１９−３を備える。
物理端末のそれぞれは、従来のビデオ会議システムにおいて１つのビデオ会議ポイントとして動作する。しかしながら、本発明の論理端末に属する複数のビデオ会議端末は、全体として１つの端末のように動作し、全体として１つのビデオ会議ポイントとして動作するため、論理端末は、その構成員である複数の物理端末が個別に保有するディスプレイ装置をすべて合わせた個数だけのディスプレイ装置を備えた１つのビデオ会議ポイントとなる。必要に応じて、論理端末は、その複数の構成端末のうちいずれか１つを「代表端末」として指定することができる。論理端末がいくら多くの物理端末を含んでもビデオ会議内では１つのビデオ会議ポイントとして扱われる。
例えば、図１は、第１ポイントＡ、第２ポイントＢ及び第３ポイントＣが相互接続されたマルチビデオ会議システム１００を示す。第１ポイントＡには第１論理端末１３０が配置され、第２ポイントＢには第２論理端末１５０が配置され、第３ポイントＣには第５物理端末１９が配置されることにより、図１におけるシステム１００は、２つの論理端末１３０、１５０と１つの物理端末１９がサーバ１１０によってビデオ電話のために接続された状態である。第１論理端末１３０は、それぞれ１つのディスプレイ装置を有する第１物理端末１１と第２物理端末１３とで構成され、第２論理端末１５０は、２つのディスプレイ装置を有する第３物理端末１５と１つのディスプレイ装置を有する第４物理端末１７とで構成される。
物理端末１１、１３、１５、１７、１９には、固定型カメラが接続されることも、パンティルトズーム（ＰＴＺ）カメラが接続されることも可能である。ただし、本発明が提示するカメラ追跡機能を行うためには、（一つ目）少なくとも論理端末に属する物理端末１１、１３、１５、１７に接続されたカメラ１１−３、１３−３、１５−３、１７−３はＰＴＺカメラでなければならない。（二つ目）論理端末に属する物理端末のそれぞれは、少なくとも１つのカメラ‐姿勢をプリセット（Ｐｒｅｓｅｔ）できなければならない。（三つ目）最後に、論理端末に属する物理端末は、カメラのプリセットに関連して標準又は非標準遠隔カメラ制御（ＦＥＣＣ：  Ｆａｒ  Ｅｎｄ  Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ）を許容しなければならない。例えば、第１論理端末１３０に属する第１物理端末１１が第１姿勢と第２姿勢をプリセットしたと仮定する。サーバ１１０が第１姿勢に対するプリセット識別番号を第１物理端末１１に提供すると、第１物理端末１１は、第１カメラ１１−３が第１姿勢をとるように制御できなければならない。第１カメラ１１−３は、パンニング（Ｐａｎｎｉｎｇ）／ティルティング（Ｔｉｌｔｉｎｇ）により第１姿勢を取ることになる。
論理端末は、サーバ１１０により管理される論理的構成であり、サーバ１１０と端末の間の標準プロトコルは、１：１の接続のみをサポートするので、サーバ１１０と論理端末の接続は、論理端末を構成する複数の物理端末のそれぞれがサーバ１１０と標準プロトコルによって個別接続されることを意味する。例えば、ＳＩＰプロトコルによると、図１は、論理端末の構成を問わず、５つの物理端末１１、１３、１５、１７、１９のそれぞれがサーバ１１０とＳＩＰセッション（Ｓｅｓｓｉｏｎ）を生成して全体５つのセッションが生成されたものである。
【００１６】
本発明のビデオ会議システムのサーバ１１０は、次の接続をサポートする。
（１）１つの物理端末が１つの論理端末と接続されるビデオ会議
例えば、図１の第５物理端末１９が第１論理端末１３０を呼び出す場合である。サーバ１１０は、第１論理端末１３０を構成する第１及び第２物理端末１１、１３を同時又は順次呼び出して接続する。
（２）論理単一端末が１つの物理端末を呼び出すビデオ会議
例えば、ユーザーが第１論理端末１３０のうち代表端末である第１物理端末１１で第５物理端末１９を呼び出す場合である。サーバ１１０は、第１論理端末１３０を構成する他の物理端末である第２物理端末１３と受信側である第５物理端末１９を同時又は順次呼び出して接続する。
（３）１つの論理端末が他の論理端末を呼び出すビデオ通話
例えば、図１の第１論理端末１３０が第２論理端末１５０を呼び出す場合である。ユーザーが第１論理端末１３０の代表端末である第１物理端末１１を用いて第２論理端末１５０を呼び出す場合に、サーバ１１０は、第２論理端末１５０を構成する２つの物理端末１５、１７を同時又は順次呼び出し、発信側の代表端末以外の残りの端末である第２物理端末１３も呼び出して接続する。
（４）マルチポイントビデオ会議
本発明のビデオ会議システムは、図１に示すように、論理端末が１つのポイントに接続された３つのポイント以上の接続をサポートする。１つの論理端末と２つの物理端末とが接続されてもよく、２つ以上の論理端末と１つの物理端末とが接続されてもよく、２つ以上の論理端末同士が接続されてもよい。マルチポイントの接続は、従来知られている方法で処理することができる。ただし、新たに参加するポイントが論理端末であれば、その構成員である物理端末のすべてと接続しなければならないという点が異なる。
【００１７】
＜マルチスクリーンのサポート＞
本発明のビデオ会議システム１００は、論理端末体系を用いてテレプレゼンスのようなマルチスクリーンを提供することができる。論理端末は、たとえ仮想の端末ではあるが、構成員である複数の物理端末全体が提供できるスクリーンの数だけ備えるものとして処理される。
サーバ１１０は、各論理端末に含まれたディスプレイ装置の個数（ｍ１又はサーバが各論理端末に提供しなければならない映像の個数）と、ビデオ会議に接続されたポイントに含まれた全体物理端末の個数（Ｍ、ソース映像の個数）とをマッチングする方法でマルチビデオ会議映像を再構成することによって、論理端末に対してｍ３個の映像をｍ１個の映像に再編集して提供する。ここで、ｍ３は、論理端末がビデオ会議のために表示しなければならないソース映像の個数であって、次の数式１の通りである。
【００１８】
【数１】
2021525035.tif 000003
このとき、ｍ２は各論理端末を構成する物理端末の個数である。
一方、各物理端末は、自分の映像（ソース映像）が表示されるように設定するか、あるいは要請することができる。この場合に、各論理端末に対してｍ３個の映像をｍ１個の映像に再編集して論理端末を構成する各物理端末に分配するとき、当該物理端末が提供したソース映像を共にミックスして提供することができる。
ｍ３がｍ１と同じ値ではない限り、サーバ１１０はソース映像をミックスする再処理が必要となる。ただし、実施例によって論理端末に対してｍ３個の映像をｍ１個の映像に再編集せずに、ｍ３個の映像を一定の時間間隔で順次提供することができる。例えば、ｍ３＝３、ｍ１＝１である場合に、３つのソース映像をミックスなどにより再編集せずに、３つのソース映像を順次提供することもできる。このような場合、従来の標準ビデオ会議端末では不可能であったリレー方式のビデオ会議処理も可能になる。
一方、論理端末の構成可否を問わず、本発明のビデオ会議に参加したいずれの物理端末であっても、発表者トークンを取得すれば２つのソース映像を提供することができる。例えば、発表者トークンの取得によって、第１物理端末１１は、メイン映像と共に文書会議用映像をサーバ１１０に提供することができる。この場合、Ｍは、ビデオ会議に接続されたポイントに含まれた全体物理端末の個数に１を足した値になる。
図２は、図１の３つのポイントがすべて参加するマルチビデオ会議の接続図であり、第１論理端末１３０、第２論理端末１５０及び第５物理端末１９が、互いに接続され、３つのポイントのマルチビデオ会議が接続されていると仮定する。図２を参照する。このビデオ会議に含まれた物理端末１１、１３、１５、１７、１９の個数は５つ（Ｍ＝５）である。すなわち、５つの物理端末１１、１３、１５、１７、１９が提供する５つのソース映像１１ａ、１３ａ、１５ａ、１７ａ、１９ａがサーバ１１０に提供されるので、サーバ１１０は、各ポイントが備えたディスプレイ装置の個数（ｍ１）に合わせて５つのソース映像を編集して各ポイントに提供する。
第１論理端末１３０は、第１物理端末１１と第２物理端末１３とを合わせて２つのディスプレイ装置を備えるので、ｍ１＝２、ｍ２＝２である。今回、３つのポイントマルチビデオ会議において、第１論理端末１３０に、ビデオ会議に接続された端末は、物理端末を基準に第３〜第５物理端末１５、１７、１９であって、３つ（ｍ３、３＝５−２）であるので、３つの物理端末が提供する３つのソース映像を２つの映像に再編集して表示しなければならない。どのスクリーンにどのソース映像を表示するかは別に決定することができ、図２では、第１物理端末１１が第５物理端末１９のソース映像を表示し、第２物理端末１３が第３物理端末１５と第４物理端末１７のソース映像を１つにミックスした映像を表示する。
第２論理端末１５０は、第３物理端末１５が２つのディスプレイ装置を備え、第４物理端末１７が１つのディスプレイ装置を備えて、３つのディスプレイ装置を含むので、ｍ１＝３、ｍ２＝２である。したがって、第２論理端末１５０に対して、サーバ１１０は、３つの物理端末が提供するソース映像を３つの映像で表示する。表示するソース映像の個数とスクリーンの個数とが一致するので、１つずつ再度表示すれば良い。どのスクリーンにどのソース映像を表示するかは別に決定することができ、図２では、第３物理端末が第１及び第２物理端末１１、１３のソース映像をそれぞれ表示し、第４物理端末１７は、第５物理端末１９が提供するソース映像を表示するように構成される。
第５物理端末１９は、従来のようにそれ自体で１つのビデオ会議ポイントであるが、数式１が同様に適用される。第５物理端末１９において、ｍ１＝２、ｍ２＝１であるので、サーバ１１０は、４つのソース映像（ｍ３＝５−１）を２つ（ｍ１）の映像に再編集して第５物理端末１９に提供する。第５物理端末１９は、２つのディスプレイ装置に第１論理端末１３０と第２論理端末１５０の全体４つの物理端末１１、１３、１５、１７が提供するソース映像を表示しなければならないので、４つのソース映像を適切に編集して２つの映像に表示するように構成される。
もし、第２論理端末１５０を構成する第３物理端末１５が発表者トークンを取得した場合、２つのソース映像を提供することができる。この場合、第２論理端末１５０は、全体３つのソース映像を提供することになり、Ｍは６になる。サーバ１１０が第１論理端末１３０、第２論理端末１５０及び第５物理端末１９に伝送するために処理しなければならないソース映像の個数も上述したものより１つずつ多くなる。
【００１９】
論理端末に対するビデオ会議サービス（呼接続及び映像処理）
以下では、図３を参照して、サーバ１１０のマルチスクリーンビデオ会議サービスの提供方法を説明する。説明の便宜上、図２において、第１論理端末１３０の第１物理端末１１を発信側とし、第２論理端末１５０を受信側として通話接続する過程を中心に説明する。まず、論理端末を登録する過程が必要となる。
【００２０】
＜論理端末の登録ステップ：Ｓ３０１＞
サーバ１１０の端末登録部１１１は、物理端末と論理端末の登録を行い、登録情報を管理する。物理端末の登録は、論理端末の登録より優先して行われるか、あるいは同時に行わなければならなく、各物理端末の登録には各端末のＩＰアドレス（ＩＰ  Ａｄｄｒｅｓｓ）が必須である。
物理端末の登録過程は、従来から知られている様々な方法で登録することができる。例えば、ＳＩＰプロトコル上のレジスタ（Ｒｅｇｉｓｔｅｒ）コマンドによる位置登録過程を用いて物理端末の登録を行うこともできるが、この際、物理端末の電話番号などを含むことができる。物理端末の位置を登録すると、サーバ１１０は、当該物理端末が現在ターンオン（Ｔｕｒｎ  Ｏｎ）され、動作中であるか否かを確認することができる。
論理端末には、他の論理端末又は物理端末と区分するための識別番号を指定して登録することができる。論理端末の登録は、当該論理端末に含まれる物理端末を指定し、各物理端末に接続されたディスプレイ装置の個数が登録される。実施例によっては、論理端末に含まれたディスプレイ装置間の配置（又は相対的位置）と、ソース映像の個数（ｍ３）による映像ミックス方式（リレー方式を含む）又はミックス映像のレイアウト（Ｌａｙｏｕｔ）などを設定することもできる。例えば、端末登録部１１１は、第１物理端末１１と第２物理端末１３とを第１論理端末１３０として構成する構成情報が入力されて登録され管理する。論理端末の登録は、端末登録部１１１が提供するウェブページを用いるか、あるいは別途の接続端末を用いることができる。
又、論理端末の登録情報には、以下で説明する論理端末を構成する物理端末のうちいずれか１つを以下で説明する「出力担当−物理端末」として登録する。相手のビデオ会議ポイントから提供されるオーディオ信号（以下で説明する「出力用オーディオ信号」）は、論理端末の構成の物理端末のうち、出力担当−物理端末が保有するスピーカを介して出力する。
又、論理端末の登録情報には、構成員である物理端末についての情報と、既に設定されたカメラのプリセットと、以下で説明するカメラ追跡制御の対象となる「仮想のターゲット位置」についての相互マッピング情報とが登録される。プリセットは、特定のカメラと仮想のターゲット位置にマッピングされており、カメラは、特定の物理端末にマッピングされている。したがって、サーバ１１０は、カメラ追跡制御の対象となるターゲット位置を確認すると、ターゲット位置にマッピングされたプリセット情報、カメラ及び物理端末を確認することができる。このような登録は、図４のように、各論理端末が保有する全体カメラとマイクの配置関係と共に、各カメラのプリセット状態を登録することと同じである。実施例により、論理端末に対するカメラとマイクの登録のため、端末登録部１１１は、図５のような登録画面ｐｐを管理者に表示することができる。
図４と図５によると、発言者の観点から、第１物理端末１１に接続された第１マイク１１−１と第１カメラ１１−３が左側に配置され、第２物理端末１３に接続された第２マイク１３−１と第２カメラ１３−３が右側に配置されたものとして登録された。この際、図４において、Ｐ１、Ｐ２、Ｐ３、Ｐ４は「仮想のターゲット位置」として、第１カメラ１１−３は、Ｐ１を撮影するためのカメラ‐姿勢に対するプリセットＰＳ１と、Ｐ２を撮影するためのカメラ‐姿勢に対するプリセットＰＳ２とを設定することができる。第２カメラ１３−３は、Ｐ３を撮影するためのカメラ‐姿勢に対するプリセットＰＳ３とＰ４を撮影するためのカメラ‐姿勢に対するプリセットＰＳ４を設定している。図５の登録画面ｐｐにより、管理者は、第１マイク１１−１と第２マイク１３−１の配置を調整し、仮想のターゲット位置に合わせてプリセットされたカメラ‐姿勢に対する識別番号ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４間の配置を調整し、矢印ｐｐ１を用いてカメラとプリセットを接続する方式で第１論理端末１３０におけるカメラとマイク、そしてカメラのプリセットの設定状態を登録することができる。
【００２１】
＜ビデオ会議のための発信呼‐接続ステップ：Ｓ３０３＞
各ビデオ会議ポイント間のビデオ会議呼設定は、サーバ１１０の通話接続部１１３が１つのポイントから呼接続要請を受信することで開始される。ＳＩＰプロトコルの場合、通話接続部１１３は、ＳＩＰシグナリングメッセージであるＩＮＶＩＴＥを受信する。図２の例において、第１論理端末１３０の第１物理端末が第２論理端末１５０の第３物理端末１５を呼び出すので、通話接続部１１３は、発信側である第１物理端末１１が、第３物理端末１５の電話番号又はＩＰアドレスを用いて第３物理端末１５を呼び出すＩＮＶＩＴＥメッセージを受信する。
【００２２】
＜発信者及び／又は受信者が論理端末であるか否かを照会：Ｓ３０５＞
サーバ１１０の通話接続部１１３は、受信側の電話番号が論理端末を構成する物理端末のうちの１つの電話番号（又はＩＰアドレス）であるかを端末登録部１１１に照会する。同様に、発信側が論理端末を構成する物理端末のうちの１つの電話番号（又はＩＰアドレス）であるか否かを端末登録部１１１に照会する。これにより、通話接続部１１３は、当該呼接続が論理端末への接続であるか否かを確認する。
実施例によって、通話接続部１１３は、付加的に受信側が論理端末を構成する物理端末である場合に、当該物理端末がその論理端末の代表端末であるかをさらに確認することで、受信側の代表端末ではない場合には、受信側を論理端末として処理しないこともある。発信側の場合にも当該発信側が属する論理端末の代表端末であるかをさらに確認することで、発信側の代表端末ではない場合には、発信側を論理端末として処理しないこともある。
【００２３】
＜ビデオ会議の接続：Ｓ３０７、Ｓ３０９＞
受信側の電話番号が論理端末であれば、通話接続部１１３は、受信側の論理端末に属するすべての物理端末とＳＩＰセッションの生成のための手続きを行う。図２の例において、受信側が第２論理端末１５０であるので、通話接続部１１３は、第３物理端末１５及び第４物理端末１７と個別にＳＩＰセッションを生成する。この際、通話接続部１１３は、第３物理端末１５と第４物理端末１７に同時にＩＮＶＩＴＥメッセージを伝達することも、順次伝達することもできる（Ｓ３０７）。
図２の例において、発信測も論理端末であるので、通話接続部１１３は、第１論理端末１３０の第２物理端末１３ともＳＩＰセッションを生成する。図２の例において、第５物理端末１９がビデオ会議に参加すると、第５物理端末１９ともＳＩＰセッションを生成する。したがって、第１論理端末１３０、第２論理端末１５０、そして第５物理端末１９がビデオ会議に参加すると、全体で５つのＳＩＰセッションが生成される（Ｓ３０９）。
ＩＮＶＩＴＥを受信した受信側及び／又は発信側のすべての物理端末は、ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）情報により映像及び音声コーデックなどを選択する交渉をする。成功的に交渉が完了すれば実際にセッションが成立して呼が接続される。
【００２４】
＜各物理的単一端末からソース映像を受信するステップ：Ｓ３１１＞
上述したように、論理端末の通話接続は、実際に論理端末を構成する個別物理端末との接続であるので、複数のセッションが成立したことになる。論理端末を構成する物理端末も個別にソース映像を生成してサーバ１１０に伝送する。ソース映像は、以下で説明するソースオーディオ信号と共にＲＴＰパケットの形で伝送される。
したがって、図２の場合、ビデオ会議に第１論理端末１３０、第２論理端末１５０、そして第５物理端末１９がビデオ会議に参加したため、通話接続部１１３は、セッション接続された５つの物理端末１１、１３、１５、１７、１９が提供する５つのソース映像１１ａ、１３ａ、１５ａ、１７ａ、１９ａを受信する。
【００２５】
＜サーバのソース映像の再処理：Ｓ３１３＞
サーバ１１０の映像処理部１１５は、ＳＩＰセッションを介して受信したＲＴＰパケットをデコードしてビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９  が提供したソース映像を取得し、各ポイントのための映像に再びレンダリング（Ｒｅｎｄｅｒｉｎｇ）するためにソース映像をミックスして再びエンコードする。すなわち、映像処理部１１５は、各論理端末に対してｍ３個の映像をｍ１個の映像に再編集することができる。
映像処理部１１５は、各論理端末又は物理端末別に既に設定されたレイアウトに従うか、あるいは各端末側から要請するレイアウトに合わせてソース映像のミックスを行う。
上述したように、映像処理部１１５の映像処理を経ずに、通話接続部１１３が既に設定された時間間隔で順次提供することで、リレー形態でソース映像が表示されるようにすることもできる。この場合にはミックスなどの過程を経ずにそのまま伝送すればよく、当該端末の映像コーデックにマッチングさせる必要がある場合に映像フォーマットを変更するか、トランスコード（ＴｒａｎｓＣｏｄｉｎｇ）する程度で十分である。
【００２６】
＜エンコードされた映像データを各物理端末に伝送：Ｓ３１５＞
通話接続部１１３は、映像処理部１１５が各物理端末１１、１３、１５、１７、１９のために処理した映像をビデオ会議に参加中の各物理端末１１、１３、１５、１７、１９に提供する。それにより、ビデオ会議に参加中の各ポイントは、まるでマルチスクリーンによるテレプレゼンスのようなサービスの提供を受けることができる。
以上の方法によって本発明のビデオ会議システム１００のビデオ会議用マルチスクリーンが処理される。
【００２７】
（実施例）ステップＳ３０５の他の方法
端末登録部１１１は、論理端末を登録するとき、当該論理端末のための仮想の電話番号を生成して登録することができる。このような場合に、ステップＳ３０５で受信側の電話番号が論理端末の仮想電話番号である場合にのみ、受信側を論理端末として処理することができる。
【００２８】
論理端末でのカメラ追跡
以下では図６を参照して論理端末でのカメラ追跡方法を説明する。
＜ソース映像及びソースオーディオ受信＞
ステップＳ３０１〜ステップＳ３０９でビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９がサーバ１１０とＳＩＰセッションを個別に形成すると、論理端末の構成に関係なく、すべての物理端末１１、１３、１５、１７、１９は、ステップＳ３１１を介してカメラ１１−３、１３−３、１５−３、１７−３、１９−３で撮影したソース映像と、マイク１１−１、１３−１、１７−１、１９−１で入力されたソースオーディオ信号をＲＴＰパケットの形でサーバに提供する。したがって、サーバ１１０の通話接続部１１３は、ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９が提供するすべてのＲＴＰパケットを受信する。図３のステップＳ３１１は、ソース映像の受信のみを図示して説明しているが、ＲＴＰパケットを介してソース映像とソースオーディオが共に受信される。
実施例によっては、論理端末に属する物理端末は、自分の制御コマンドをサーバ１１０に提供することもできる。この際、制御コマンドには、マイクボタンが操作されるか否かなどが含まれる。
【００２９】
＜カメラ追跡対象となるターゲット認識：Ｓ６０１＞
ターゲット認識部１１９は、カメラ追跡制御の対象となるターゲットの位置を認識する。カメラ追跡イベントは、論理端末側に配置されたカメラの撮影を制御するイベントであって、（１）発言者の位置を自動認識する過程によりターゲットの位置を認識するか、（２）論理端末又は物理端末側から提供される制御コマンドを用いてターゲットの位置を認識する。
ターゲット認識部１１９のターゲット位置認識は、一部例外的な場合を除くと、各論理端末での発言者の位置認識と同じである。ターゲットの位置認識のため、ターゲット認識部１１９は、当該論理端末が登録したマイクとプリセットに関する登録情報を基に、論理端末を構成する複数の物理端末が提供したソース映像、ソースオーディオ信号及び制御コマンドの中から選択された１つを用いて当該論理端末でのターゲットの位置を認識する。したがって、ここでの制御コマンドは、通常発言者の位置に関連し、仮想のターゲット位置又はプリセットされたカメラ‐姿勢に対する識別番号に対応する。発言者の位置を認識する具体的な方法は以下で説明する。
ただし、ターゲット認識部１１９のターゲット位置認識は、Ｓ３０１の過程で登録された当該論理端末の「仮想のターゲット位置」の中から選択される。したがって、図４の例において、第１論理端末１３０に対する発言者の認識は、仮想のターゲット位置Ｐ１、Ｐ２、Ｐ３、Ｐ４のうちいずれか１つを選択するのと同様である。
又、制御コマンドによっては、他のビデオ会議ポイントに配置されたカメラの撮影を制御するためのものも含まれる。ただし、このときの制御コマンドも発言者の位置と関連しているが、現在発言中の発言者でないこともある。
【００３０】
＜カメラがターゲットを撮影するように制御：Ｓ６０３＞
上述のステップＳ３０１で説明したように、サーバ１１０に登録されたプリセットは、特定のカメラと仮想のターゲット位置にマッピングされており、カメラは、特定の物理端末にマッピングされている。
カメラ追跡部１２１は、当該論理端末に登録されたカメラの中で、ステップＳ６０１で認識されたターゲット位置又は制御コマンドによるターゲット位置を撮影するための「追跡用カメラ」を選定し、追跡用カメラがターゲットを撮影するように制御する。ステップＳ６０１でイベントが発生すると、カメラ追跡部１２１は、論理端末の登録情報で当該イベントと接続された物理端末と、プリセット識別番号とを確認する。
例えば、ステップＳ６０１のイベントが発言者認識によるターゲット認識であれば、カメラ追跡部１２１は、認識された発言者位置（仮想のターゲット位置と同じ）と接続された物理端末と、プリセット識別番号を確認する。もし、発言者がＰ２に位置すると認識した場合、カメラ追跡部１２１は、第１物理端末１１にプリセット識別番号ＰＳ２を提供し、第１物理端末１１がＰ２位置を撮影するように制御する。第１カメラ１１−３は、プリセット識別番号ＰＳ２に設定されたパンニング角度／ティルティング角度及びズームパラメータに応じて姿勢を変えてＰ２位置を撮影することになる。
例えば、ステップＳ６０１のイベントが他のビデオ会議ポイントのカメラ制御コマンドによるイベントであれば、カメラ追跡部１２１は、制御コマンドにより受信した位置（仮想のターゲット位置と同じ）と接続された物理端末と、プリセット識別番号とを確認する。
以上の方法で本発明の論理端末でのカメラ追跡が行われる。
【００３１】
ターゲット位置の自動認識
ステップＳ６０１のカメラ追跡制御のためのターゲットの位置認識は、様々な方法で行うことができる。
【００３２】
＜ソースオーディオを用いる方法＞
ターゲット認識部１１９は、ステップＳ３０１で論理端末に対して登録された情報を基に、ステップＳ３１１で受信したソースオーディオ信号を用いて発言者の位置を認識し、その発言者の位置をターゲット位置として認識することができる。論理端末側に位置する特定の発言者が発言すると、当該論理端末に登録されたほとんどのマイクを介して入力される。例えば、図４でＰ１〜Ｐ４のどこで発言しても、第１マイク１１−１と第２マイク１３−１に入力される。ただし、発言者の位置によってマイクに入力されるオーディオ信号の強さが異なる。
例えば、Ａ１は、第１マイクに入力されたソースオーディオ信号の平均強さであり、Ａ２は、第２マイクに入力されたソースオーディオ信号の平均強さであるとすると、Ｐ１で発言するとＡ１＞＞Ａ２となり、Ｐ２で発言するとＡ１＞Ａ２となる。Ｐ２で発言するときよりもＰ１で発言するときにＡ２に入力される信号が小さい。同様に、Ｐ３で発言するとＡ１＜Ａ２となり、Ｐ４で発言するとＡ１＜＜Ａ２となる。上記のような方法でソースオーディオ信号を分析することにより、ターゲット認識部１１９は当該発言者の位置を判断することができる。
この際、第１マイクに入力されたソースオーディオ信号と第２マイクに入力されたソースオーディオ信号には、発言者のオーディオのみが入力されると仮定する。実際に他のノイズはエコー除去などにより除去する。
【００３３】
＜ソース映像を用いる方法＞
ターゲット認識部１１９は、論理端末から提供されるすべてのソース映像に対する映像処理により、発言中である人の口を認識する方法で発言者を判断することができる。当然、ターゲット認識部１１９は、ソースオーディオ信号を用いる方法と並行して発言者の位置を認識することもできる。この方法も発言者の位置をターゲットの位置として認識する方法に該当する。
【００３４】
制御コマンドによるターゲット位置の認識方法
ステップＳ６０１のターゲット認識は、ビデオ会議端末が提供する制御コマンドを用いることができる。制御コマンドは、各論理又は物理端末側から提供される。制御コマンドは以下で説明するように様々な方式で提供することができ、本発明において、制御コマンドは、既に設定された仮想のターゲット位置又はプリセットされたカメラ‐姿勢に対する識別番号である。したがって、本発明のサーバ１１０と物理端末の間に制御コマンドの伝送に関するプロトコルを設定し、制御コマンドに既に設定された仮想のターゲット位置又はプリセットされたカメラの姿勢に対する識別番号を含める方式で、ビデオ会議ポイントではターゲットの位置を指定することができる。ターゲット認識部１１９は、制御コマンドを受信することにより、ターゲットの位置を直ぐに認識することができる。
【００３５】
＜ＤＴＭＦ信号の利用＞
他の方法で、従来のビデオ会議端末が保有するＤＴＭＦ信号の伝送技術を用いることもできる。通常のビデオ会議端末は、リモコンにＤＴＭＦ信号を伝送する機能を内蔵しており、ビデオ会議サーバにＤＴＭＦ信号を送ることもできる。又、従来のビデオ電話機の場合には、端末本体に一般電話機のようにＤＴＭＦ信号を生成できるダイヤルパッドが取り付けられており、ＤＴＭＦ信号をビデオ会議サーバに伝送することができる。したがって、物理端末は、サーバ１１０にプリセットされたカメラ‐姿勢に対する識別番号が含まれた制御コマンドをＤＴＭＦ信号で送ることができる。
【００３６】
＜ユーザーモバイル端末のアプリケーションの利用＞
他の方法で、ターゲット認識部１１９は、ユーザーが保有するモバイル端末のアプリケーションを介して制御コマンドを受信することもできる。アプリケーションは、既に設定された仮想のターゲット位置又はプリセットされたカメラ‐姿勢に対する識別番号の入力を受けることができ、その入力のためのグラフィックインタフェースを提示することができる。ここで、モバイル端末はスマートフォン、タブレットなどがある。
【００３７】
＜ＦＥＣＣ制御機能の利用＞
又他の方法で、制御コマンドは、従来のビデオ会議端末が保有するリモコンのＰＴＺ制御機能と標準又は非標準遠隔カメラ制御（ＦＥＣＣ：Ｆａｒ  Ｅｎｄ  Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ）によって生成することもできる。したがって、物理端末側で既に設定された仮想のターゲット位置又はプリセットされたカメラ‐姿勢に対する識別番号をリモコンに設定し、標準又は非標準ＦＥＣＣプロトコルによって制御コマンドを生成してサーバ１１０に伝送することができる。
【００３８】
＜マイクボタンの利用＞
論理端末に含まれたマイクには、マイクボタンが取り付けられており、論理端末を構成する物理端末は、マイクボタンの操作可否を制御コマンドでサーバ１１０に提供することができる。ターゲット認識部１１９は、論理端末側から提供される制御コマンドを基に、当該論理端末に含まれたマイクのうちどのマイクボタンが操作されたかを確認することにより、ターゲット位置が登録された「仮想のターゲット位置」のうちどこであるかを確認することができる。
【００３９】
＜制御コマンドによる他のビデオ会議ポイントに対する遠隔カメラ追跡制御＞
一方、制御コマンドを用いると、他のビデオ会議ポイントに対するカメラ追跡制御を行うことができる。上述した物理端末で生成するＤＴＭＦ制御信号又はＦＥＣＣによる制御信号が、他のビデオ会議ポイントに登録された「仮想のターゲット位置」又は「プリセットされたカメラ‐姿勢に対する識別番号」であることもある。このような場合、他のビデオ会議ポイントのカメラ追跡制御のためにサーバ１１０に提供する制御コマンドには、制御ターゲットとなるビデオ会議ポイントを指定するための識別番号が含まれなければならない。この際の識別番号は、論理端末単位で付与された識別番号であってもよく、その論理端末に登録された代表端末の電話番号であってもよい。
ステップＳ６０１で、ターゲット認識部１１９は、ビデオ会議ポイント側から提供された制御コマンドに含まれた端末の識別番号が他のビデオ会議ポイントを指定する場合に、当該ビデオ会議ポイント（論理端末又は物理端末）の登録情報を確認し、制御コマンドにより指定された「仮想のターゲット位置」又は「プリセットされたカメラ‐姿勢に対する識別番号」を確認する。ステップＳ６０３でカメラ追跡部１２１は、「プリセットされたカメラ‐姿勢に対する識別番号」に接続された物理端末を確認し、プリセット識別番号を確認した後、当該ビデオ会議ポイントの物理端末にプリセット識別番号を提供することにより、遠隔のカメラ制御が行われるようにする。
【００４０】
ターゲット物理端末を用いた映像構成
ステップＳ６０１でターゲット位置が認識されると、映像処理部１１５は、ステップＳ３１３を行う過程で追跡用カメラが撮影した映像を中心に映像レイアウトを構成することができる。
上述したように、映像処理部１１５は、各論理端末又は物理端末別に既に設定されたレイアウトに従うか、各端末側から要請するレイアウトに合わせてソース映像のミキシングを行う。映像処理部１１５は、各ビデオ会議ポイントに提供する映像を複数の映像セル（領域）に区分して表示することができる。
もし、ビデオ会議ポイントに提供する映像に「ターゲット用」に設定された映像セルがある場合、ステップＳ６０１でカメラ追跡制御イベントが生成されると、映像処理部１１５は、追跡用カメラが撮影した映像（すなわち、発言者映像）を「ターゲット用」に設定された映像セルに表示することができる。例えば、ソースオーディオ信号の強さが最も大きい物理端末で提供される映像がターゲット用に設定された映像セルに表示される。又は、すべてのビデオ会議ポイントのうちオーディオ信号の強さが最も大きい論理端末で提供するすべてのソース映像を発言者映像として処理して表示することもできる。
もし、他の映像セルに又他の発言者を表示するようになっている場合は、二番目に発言レベルが高い物理端末又は当該論理端末のすべての映像を表示することもできる。
又、映像レイアウトに関連して発言者を認識して撮影するという観点からは、必ずしもＰＴＺカメラである必要はなく、特定位置の発言者を撮影するように固定された固定型カメラでも構わない。したがって、本発明の論理端末が物理端末の数だけの固定型カメラを保有している場合にも、ソースオーディオ信号の強さを比較する方法で発言者を認識し、その認識結果に応じて発言者を撮影した映像を中心に映像レイアウトを配置することができる。
【００４１】
論理端末に対するビデオ会議サービスの提供（オーディオ処理）
本発明のビデオ会議システム１００は、論理端末という機能を提供するので、従来のビデオ会議システム又は装置と異なり、サーバ１１０におけるオーディオ信号処理が従来とは異なる。
サーバ１１０のオーディオ処理部１１７は、通話接続部１１３がビデオ会議に参加中の各ポイントから受信したＲＴＰパケットからオーディオ信号をデコードする。図７のビデオ会議システム１００は、図１のビデオ会議システム１００をオーディオ信号の処理の面で示すものである。上述したように、各ビデオ会議端末１１、１３、１５、１７、１９は、映像／音声コーデック（Ｃｏｄｅｃ）を備え、個別に発言者の音声をオーディオ信号に変換するマイク１１−１、１３−１、１５−１、１７−１、１９−１とオーディオ出力のためのスピーカー１１−２、１３−２、１５−２、１７−２、１９−２を備えている。
上述したように、各ビデオ会議端末１１、１３、１５、１７、１９は、サーバ１１０と個別にＳＩＰセッションを形成するだけでなく、それぞれがビデオ会議用端末である。したがって、他の設定をしなければ、サーバ１１０が構成したビデオ会議に参加するすべての物理端末は、論理端末の構成可否に関係なく、オーディオ信号をＳＩＰセッションを介してサーバ１１０に伝送することができる。以下では、図８を参照してオーディオ処理部１１７によるオーディオ信号処理過程を説明する。図８の方法は、ステップＳ３０７及びステップＳ３０９によってＳＩＰセッションが生成された後に行われる。
【００４２】
＜ソースオーディオ受信ステップ：Ｓ８０１＞
図７を参照する。ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９は、サーバ１１０とＳＩＰセッションを個別に形成しており、各ママイク１１−１、１３−１、１５−１、１７−１、１９−１に入力される音声又はオーディオをオーディオ信号に変換してＲＴＰパケットの形でサーバ１１０に提供する。したがって、サーバ１１０の通話接続部１１３は、ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９が提供するすべてのＲＴＰパケットを受信する。このステップは、ソース映像の受信に関するステップＳ３１１に対応する。
【００４３】
＜ソースオーディオ処理ステップ：Ｓ８０３＞
オーディオ処理部１１７は、ＳＩＰセッションを介して受信したＲＴＰパケットをデコードし、ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９が提供したオーディオ信号（以下、「ソースオーディオ信号」とする。）を取得し、各ビデオ会議ポイントに提供するオーディオ信号（以下、「出力用オーディオ信号」とする。）に再びミックスする。ステップＳ３１３に対応する。
各ビデオ会議ポイントに提供する出力用オーディオ信号は、他のビデオ会議ポイントで提供するオーディオ信号をミックスしたものであるが、この際様々な方法が可能である。
（方法１）まず、各ビデオ会議ポイントが物理端末であるか論理端末であるかを問わず、当該ビデオ会議ポイントから提供されるすべてのオーディオ信号をミックスすることができる。例えば、第１論理端末１３０側に送る出力用オーディオ信号には、第２論理端末１５０と第５物理端末１９が提供したソースオーディオ信号がミックスされなければならないので、オーディオ処理部１１７は、第３物理端末１５、第４物理端末１５、第４物理端末１７及び第５物理端末１９が提供したソースオーディオ信号をミックスする。第２論理端末１５０側に送るオーディオ信号には、第１論理端末１３０と第５物理端末１９が提供したソースオーディオ信号がミックスされなければならないので、オーディオ処理部１１７は、第１物理端末１１、第２物理端末１３及び第５物理端末１９が提供したソースオーディオ信号をミックスする。第５物理端末１９に送るオーディオ信号には、第１論理端末１３０と第２論理端末１５０が提供したソースオーディオ信号がミックスされなければならないので、オーディオ処理部１１７は、第１物理端末１１、第２物理端末１３、第３物理端末１５及び第４物理端末１７が提供したソースオーディオ信号をミックスする。
（方法２）他のビデオ会議ポイントが論理端末であれば、当該論理端末に属する物理端末の中から選択された１つの物理端末が提供するオーディオ信号のみを出力用オーディオ信号にミックスすることもできる。例えば、第１論理端末１３０側に送る出力用オーディオ信号には、第２論理端末１５０と第５物理端末１９が提供したソースオーディオ信号がミックスされなければならない。第２論理端末１５０には、第３物理端末１５と第４物理端末１７が含まれるので、オーディオ処理部１１７は、第３物理端末１５と第４物理端末１７の中から選択された１つの端末で提供したソースオーディオ信号のみを第５物理端末１９が提供したソースオーディオ信号とミックスする。この際、ミキシングのために選択されるソースオーディオ信号が必ずしも出力担当−物理端末が提供するソースオーディオ信号である必要はない。
このような方式を採用する理由は様々である。例えば、この方式の具体的な適用ステップにおいて、第２論理端末１５０側の発言者の位置に最も近いマイクを介して入力されたオーディオ信号がミキシング用に選択され、第２論理端末１５０の残りの物理端末が提供するオーディオ信号はミキシングしなくてもよい。このようにすると、発言者の発言が第２論理端末１５０のすべてのマイク１５−１、１７−１に入力されるときに発生する微細な時間差によりオーディオや音声が明瞭に聞こえないという問題を解決することができる。
【００４４】
＜出力用オーディオ信号の伝送：Ｓ８０５＞
オーディオ処理部１１７は、各ビデオ会議ポイントに提供するために、再びミックスした「出力用オーディオ信号」を既に設定されたオーディオ信号フォーマットで圧縮し、ＲＴＰパケットにエンコードして再び各ビデオ会議ポイントに伝送する。ただし、論理端末側には後述する出力担当−物理端末に「出力用オーディオ信号」が伝送される。
【００４５】
出力担当−物理端末
論理端末の設定に関係なく、サーバ１１０は、ビデオ会議に参加中のすべての物理端末とＳＩＰセッションを形成し、オーディオ信号は、そのＳＩＰセッションを介して伝送される。この際、第１ポイントＡと第２ポイントＢのようにビデオ会議ポイントが論理端末であれば、オーディオ処理部１１７は、出力担当−物理端末にのみ新しくエンコードしたオーディオ信号を伝送し、第３ポイントＣのようにビデオ会議ポイントが論理端末でない物理端末であれば、オーディオ処理部１１７は、従来と同様に、その物理端末に新たにエンコードしたオーディオ信号を伝送する。そのために、サーバ１１０の端末登録部１１１は、論理端末の登録過程で、論理端末を構成する物理端末のうちいずれか１つが「出力担当−物理端末」として入力されて登録する。「出力担当−物理端末」は、上述した論理端末の「代表端末」であってもよく、代表端末と異なる端末であってもよい。
論理端末がビデオ会議に参加する場合、他のビデオ会議ポイントが提供するオーディオ信号は、論理端末を構成するすべての物理端末を介して出力されるのではなく、出力担当−物理端末を介してのみ出力される。そうでなければ、同一のオーディオ信号が複数のスピーカーを介して微細な時間差を置いて出力されるので、明瞭なオーディオを出力することができない。その他にも、出力担当−物理端末を定めなければ、エコー除去について複雑な場合の数が発生するため適切ではない。
したがって、論理端末を構成するすべての物理端末が、発言者の音声などをオーディオ信号に変換してサーバ１１０に提供することはできるが、サーバ１１０が提供するオーディオ信号は、出力担当−物理端末にのみ提供される。
図７を参照する。第１ポイントＡの第１論理端末１３０では、第１物理端末１１が出力担当−物理端末として登録され、第２ポイントＢの第２論理端末１５０では、第４物理端末１７が出力担当−物理端末として登録されたと仮定する。
オーディオ処理部１１７は、第１ポイントＡに提供する出力用オーディオ信号１５ｂ＋１７ｂ＋１９ｂを出力担当−物理端末である第１物理端末１１にのみ提供し、第２ポイントＢに提供する出力用オーディオ信号１１ｂ＋１３ｂ＋１９ｂを第４物理端末１７にのみ提供する。第３ポイントＣは、物理端末であるので、オーディオ処理部１１７は、第３ポイントＣに提供する出力用オーディオ信号１１ｂ＋１３ｂ＋１５ｂ＋１７ｂを第５物理端末１９に伝送する。
論理端末を構成する物理端末のうち、出力担当−物理端末でない端末には、オーディオ信号がないＲＴＰパケットを伝送することができる。ここで、「オーディオ信号がない」というのは、例えば、振幅のないオーディオ信号を含む。実施例によっては、オーディオ信号用ＲＴＰパケット自体を伝送しないこともある。
したがって、論理端末である第１ポイントＡでは、第１物理端末１１が自分のスピーカ１１−２を介して出力用オーディオ信号１５ｂ＋１７ｂ＋１９ｂを出力し、第２物理端末１３−２のスピーカ１３−２を介してはいずれのオーディオも出力しない。同様に、論理端末である第２ポイントＢでは、第４  物理端末１７−２が自分のスピーカ１７−２を介して出力用オーディオ信号１１ｂ＋１３ｂ＋１９ｂを出力し、第３物理端末１５のスピーカ１５−２を介してはいずれのオーディオも出力しない。
【００４６】
論理端末におけるペアリングエコーキャンセリング（図９）
上述したように、サーバ１１０が構成したビデオ会議に参加したすべての物理端末は、論理端末の構成可否に関係なく、それぞれがビデオ会議用端末であるため、自分のマイクに入力されるソースオーディオ信号を自分のスピーカーに出力しない。
又、サーバ１１０が構成したビデオ会議に参加した物理端末は、論理端末の構成可否に関係なく、エコー除去機能を備えることができる。しかしながら、入力されるソースオーディオ信号からエコーを取り除くためには、基準となるオーディオ信号（出力用オーディオ信号）がなければならないが、論理端末に伝送する出力用オーディオ信号は出力担当−物理端末のみに伝送される。したがって、論理端末に属しながら、出力担当−物理端末ではないビデオ会議端末は、エコー除去機能を行う基準オーディオ信号を保有することができない。
図７の例において、第１論理端末１３０では、第１物理端末１１が出力担当−物理端末として設定されているので、オーディオ処理部１１７は、第１論理端末１３０に伝送しなければならない出力用オーディオ信号を第１物理端末１１のみに伝送し、第２物理端末１３には伝送しない。理解のために説明すると、オーディオ処理部１１７が第２物理端末１３にいずれのＲＴＰパケットも伝送しないことを意味するのではなく、単に出力のための第１物理端末１１に提供したオーディオ信号が提供されないのである。
逆に、第１論理端末１３０側では、第１物理端末１１と第２物理端末１３がそれぞれの自分のマイク１１−１、１３−１を介して受信したソースオーディオ信号１１ｂ、１３ｂをサーバ１１０に伝送する。この際、出力担当−物理端末である第１物理端末１１は、サーバ１１０から出力のためのオーディオ信号を受信したため、マイク１１−１に入力された信号に対してエコー除去を行うことができる。しかしながら、第２物理端末１３は、出力担当−物理端末ではないので、サーバ１１０から出力用オーディオ信号を受信できず、エコー除去の基準となる信号を保有していない状態である。
したがって、第２物理端末１３は、マイク１３−１に入力されたソースオーディオ信号に対してエコー除去を行うことができない。したがって、本発明は、ビデオ会議サーバ１１０のエコー処理部１２３がエコー除去機能を行う。
エコー処理部１２３は、各ビデオ会議ポイントに提供するための出力用オーディオ信号をミックスする前に、エコー除去機能を行い、必要に応じて、基本的なノイズ除去を行うこともできる。本発明のエコー除去は、従来の一般的なビデオ会議システム又は装置でのエコー除去とは全く異なる。以下では、本発明の特徴的なエコー除去機能を「ペアリングエコーキャンセリング（Ｐａｒｉｎｇ  Ｅｃｈｏ  Ｃａｎｃｅｌｌｉｎｇ）」という。
エコー処理部１２３は、論理端末側から受信したソースオーディオが出力担当−物理端末が提供したものでなければ、その論理端末に伝送した出力用オーディオ信号を用いてエコーを除去する。以下では、図９を参照してビデオ会議サーバ１１０のエコー除去方法について説明する。図９の方法も、図３のステップＳ３０７及びステップＳ３０９によってサーバ１１０と各物理端末の間にＳＩＰセッションが生成された状態で行われる。
まず、ステップＳ８０１でオーディオ処理部１１７がビデオ会議に参加した各物理端末１１、１３、１５、１７、１９からソースオーディオ信号を受信すると、エコー処理部１２３は、当該ソースオーディオ信号が論理端末に属する物理端末として出力担当−物理端末ではない端末が提供した信号であるか否かを判断する（Ｓ９０１、Ｓ９０３）。
ステップＳ９０１、ステップＳ９０３の判断の結果、当該ソースオーディオ信号が論理端末に属する物理端末として出力担当−物理端末ではない端末が提供した信号であれば、エコー処理部１２３は、当該論理端末に伝送した出力用オーディオ信号を基準にエコー除去機能を行う。エコー処理部１２３のエコー除去アルゴリズムは、入力されたオーディオ信号から出力オーディオ信号と一致する波形を除去するものであって、通常知られているエコー除去アルゴリズムを用いることができる。図７の例で、エコー処理部１２３は、第２物理端末１３が提供するソースオーディオ信号を出力担当−物理端末である第１物理端末１１に伝送した出力用オーディオ信号と比較してエコーを除去する。もし、第２物理端末１３が提供するソースオーディオ信号にエコーがあったとすると、第１物理端末１１に伝送した出力用オーディオ信号と同一の波形であるので、エコー除去アルゴリズムにより除去することができる（Ｓ９０５）。
ステップＳ９０１、ステップＳ９０３の判断の結果、当該オーディオ信号が論理端末から伝送されたものでないか、論理端末に属する物理端末として出力担当−物理端末が提供した信号であれば、エコー処理部１２３は、エコー除去機能を行わなくてもよい。これは、出力担当−物理端末が自体でエコー除去機能を備えてエコーを除去することができるためである。他の方法で、ステップＳ６０３と同様に、第１物理端末１１に既に伝送した出力用オーディオ信号と比較しながらエコーを除去することができる。
以上の方法で本発明のペアリングエコーキャンセリングが行われる。
【００４７】
（実施例）論理端末におけるオーディオ処理及びエコー除去の他の方法
上述した例において、オーディオ処理部１１７は、出力担当−物理端末のみに出力用オーディオ信号を提供すると説明したが、必ずしもこれに限定される必要はない。例えば、論理端末を構成するすべての物理端末に同一の出力用オーディオ信号を提供することができる。ただし、出力担当−物理端末のみが当該出力用オーディオ信号を出力し、残りの物理端末は、単純にエコー除去用基準オーディオ信号として用いる。
オーディオ処理部１１７は、論理端末を構成するすべての物理端末に同一の出力用オーディオ信号を送り、出力担当−物理端末に提供するＲＴＰパケットには「出力用」と表示し、残りの物理端末に提供するＲＴＰパケットには当該オーディオ信号を「エコー除去用」と表示する。この場合、エコー除去は、各物理端末で行われるので、サーバ１１０はエコー処理部１２３を備える必要がない。
例えば、図７の例において、オーディオ処理部１１７は、第１論理端末１３０に提供する出力用オーディオ信号がある場合に、出力担当−物理端末である第１物理端末１１には「出力用」と表示して伝送し、第２物理端末１３には「エコー除去用」と表示して伝送する。
それにより、第１物理端末１１は、出力用オーディオ信号をスピーカ１１−２を介して出力し、第２物理端末１３は、サーバ１１０から提供された出力用オーディオ信号をスピーカ１３−２を介して出力せずに保有し、マイク１３−１を介して受信するオーディオ信号からエコーを除去する用途に用いる。
【００４８】
以上、本発明の望ましい実施例について図示して説明したが、本発明は、上述した特定の実施例に限定されず、請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有する者によって、多様な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別に理解されてはならない。
【図１】
2021525035.tif 000004
【図２】
2021525035.tif 000005
【図３】
2021525035.tif 000006
【図４】
2021525035.tif 000007
【図５】
2021525035.tif 000008
【図６】
2021525035.tif 000009
【図７】
2021525035.tif 000010
【図８】
2021525035.tif 000011
【図９】
2021525035.tif 000012
【国際調査報告】
2021525035.tif 000013
2021525035.tif 000014
2021525035.tif 000015
2021525035.tif 000016