(57)【要約】  ビデオ会議の全ての参加者の存在を追跡し伝達するシステム及び方法を提供する。システムは、全ての参加者の存在を決定するようビデオロケータ出力及びオーディオロケータ出力を生成するよう構成される。システムは、ビデオ及びオーディオロケータ出力に基づいて、最初に、話をしている人にフォーカスし、その人の近接画像を伝達する。その後、話をしている人が、話を続ける、又は、所定の時間間隔の間沈黙する場合、システムは、発言していない他の参加者を連続的に表示するようカメラの設定を調節するよう動作するか、又は、全ての参加者が入るよう特定量でカメラをズームアウトさせ、それにより、顔の表情及び反応を含む全ての参加者の存在を、遠隔受信端に伝達することができる。システムは、ビデオ会議セッション時に、入ってくる新しい人又は参加者のうち出ていく人を捕捉するよう構成される。
2005510144.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ会議の複数の参加者を追跡する方法であって、
前記参加者を追跡するよう前記ビデオ会議をモニタリングする段階と、
前記参加者のそれぞれの場所を表すビデオロケータ出力を生成する段階と、
話者を決定するようオーディオロケータ出力を生成する段階と、
前記ビデオロケータ出力と前記オーディオロケータ出力が、互いの特定の範囲内にあるか否かに基づいてカメラの設定を調節する段階と、
前記話者が、所定の時間間隔の間、沈黙する場合に、発言していない他の参加者を連続的に表示するよう前記カメラの設定を調節する段階と、
を有する方法。
【請求項２】
ビデオ会議の複数の参加者を追跡する装置であって、
カメラと、
前記カメラに接続し、（ｉ）オーディオロケータ出力及び各参加者の場所を示すビデオロケータ出力を処理し、（ｉｉ）前記参加者のうち話をしている参加者にフォーカスするようカメラの設定を調節し、（ｉｉｉ）前記話をしている参加者が、閾値の時間間隔の間、沈黙するか否かを検出し、（ｉｖ）検出した沈黙の時間間隔が、前記閾値の時間間隔を超えた後、発言していない他の参加者を連続的に表示するよう前記カメラの設定を調節するよう動作可能であるプロセッサと、
を有する装置。
【請求項３】
前記プロセッサは、更に、前記検出した沈黙の時間間隔が、前記閾値の時間間隔を超えた後、所定量で前記カメラをズームアウトさせるよう動作可能である請求項２記載の装置。
【請求項４】
前記カメラは、前記オーディオロケータ出力及び前記ビデオロケータ出力が、互いの特定の範囲内にある場合に、前記話者にフォーカスする請求項２記載の装置。
【請求項５】
前記プロセッサは、更に、前記検出した沈黙の時間間隔が、前記閾値の時間間隔を超えた後、全ての参加者を表示するよう前記カメラの設定を調節するよう動作可能である請求項２記載の装置。
【請求項６】
前記プロセッサは、更に、前記ビデオ会議に参加する新しい人を検出するよう動作可能であり、
前記プロセッサは、更に、前記新しい人を捕捉するよう前記カメラの設定を調節するために前記ビデオロケータ出力を用いるよう動作可能である請求項２記載の装置。
【請求項７】
前記プロセッサは、更に、前記参加者のうち前記ビデオ会議を離れる参加者を検出するよう動作可能であり、
前記プロセッサは、更に、前記離れる参加者を表示するよう前記カメラの設定を調節するために前記ビデオロケータ出力を用いるよう動作可能である請求項２記載の装置。
【請求項８】
前記カメラは、パン−チルト−ズーム（ＰＴＺ）カメラである請求項２記載の装置。
【請求項９】
前記プロセッサは、更に、前記話をする参加者が、前記閾値の時間間隔よりも長く話し続ける場合に、発言していない他の参加者を連続的に表示するよう前記カメラの設定を調節するよう動作可能である請求項２記載の装置。
【請求項１０】
前記プロセッサは、更に、前記話をする参加者が、前記閾値の時間間隔よりも長く話し続ける場合に、所定量で前記カメラをズームアウトさせるよう動作可能である請求項９記載の装置。
【請求項１１】
前記プロセッサは、更に、前記話をする参加者が、前記閾値の時間間隔よりも長く話し続ける場合に、全ての参加者を表示するよう前記カメラの設定を調節するよう動作可能である請求項９記載の装置。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
情報の背景
１．発明の属する技術分野
本発明は、一般的に、複数の場所にある通信端末を接続することにより通信を確立するためのマルチポイント通信システムに関り、より具体的には、ビデオ会議時に、全ての参加者の存在を、遠隔受信端に中継する方法及びシステムに係る。
２．関連技術の説明
画像圧縮符号化技術及びデジタル通信技術の高度発展により、ビデオ会議への要求は、急増している。ビデオ会議に用いるための様々な端末が提案されている。例えば、ＴＶモニタの上部に取り付けられるパン−チルト−ズーム（ＰＴＺ）カメラは、従来のビデオ会議設定において最も一般的に用いられている。ＰＴＺのオペレータは、話者の近接画像を捕捉するためにカメラのパン、チルト、及びズーム設定を制御し、それにより、受信端における遠隔参加者は、話者の顔が見えるようになる。しかし、従来のビデオ会議システムでは、ビデオ会議時に発言をしない他の参加者は、一度も捕捉されない場合がある。従って、ビデオ会議を見ている遠隔にいる人は、彼らの存在を知ることがないかも知れない。しかし、話者の話を聞き且つ話者とやり取りする他の参加者の存在を認識することが、しばしば、好適である。
【０００２】
従って、ビデオ会議の全ての参加者の存在が、遠隔受信端にいる参加者に中継されることが可能であるようビデオ会議における他の参加者の光景を供給することが必要である。
【０００３】
発明の概要
本発明は、ビデオ会議における全ての参加者の存在を、遠隔受信端における他のビデオ会議端末に供給するシステム及び方法に関する。
【０００４】
本発明の１つの面によると、ビデオ会議における複数の参加者を追跡する方法は、ビデオロケータ出力に基づいて全ての参加者を追跡するよう特定のビデオ会議をモニタリングする段階と、話者を決定するようオーディオロケータ出力を生成する段階と、オーディオロケータ出力とビデオロケータ出力が、互いの特定の範囲内にあるか否かに基づいて、話者にフォーカスするようカメラの設定を調節する段階と、話者が、所定の時間間隔の間、沈黙する場合に、発言していない他の参加者を連続的に表示するようカメラの設定を調節する段階を有する。話者が、閾値の時間間隔よりも長く話し続ける場合に、発言していない他の参加者を連続的に表示するようカメラの設定を調節する。本発明の方法は、更に、ビデオ会議室に入る新しい人又は参加者のうちビデオ会議室を出る人を検出し表示する段階を有する。
【０００５】
本発明に別の面によると、ビデオ会議の複数の参加者を追跡する装置は、カメラと、カメラに接続し、（ｉ）オーディオロケータ出力及び各参加者の場所を示すビデオロケータ出力を処理し、（ｉｉ）参加者のうち話をしている参加者にフォーカスするようカメラの設定を調節し、（ｉｉｉ）話をしている参加者が、閾値の時間間隔の間、沈黙するか否かを検出し、（ｉｖ）検出した沈黙の時間間隔が、閾値の時間間隔を超えた後、発言していない他の参加者を連続的に表示するようカメラの設定を調節するよう動作可能であるプロセッサを有する。プロセッサは、更に、検出した沈黙の時間間隔が、閾値の時間間隔を超えた後、所定量でカメラをズームアウトさせるよう動作可能である。
【０００６】
本発明の上述の及び他の特徴及び利点は、以下に示す、添付図面に説明する好適な実施例の詳細な説明から明らかとなろう。添付図面では、参照文字は、全図面を通して同一の部分を意味する。図面は、必ずしも縮尺が取られているわけではなく、本発明の原理を説明するために強調されている。
【０００７】
本発明の方法及び装置のより完全な理解は、添付図面を参照しながら以下の詳細な説明を参照することにより得られる。
【０００８】
好適な実施例の詳細な説明
以下の説明において、制限ではなく説明のために、本発明の完全な理解を与えるよう特定のアーキテクチャ、インタフェース、技術等のように特定の詳細を説明する。また、単純及び明快さのために、周知の装置、回路、及び方法の詳細な説明は、本発明の説明を、不必要な詳細によって不明瞭にしないよう省略する。
【０００９】
図１は、双方向性伝送を行うよう構成されるデジタル通信線によって互いに接続される複数の端末局を示す略図である。即ち、ビデオ会議端末Ａは、ビデオ会議端末Ｂとビデオ会議端末Ｄに接続する。ビデオ会議端末Ｃは、ビデオ会議端末Ｂとビデオ会議端末Ｄに接続する。例示目的のために、有限数の端末をループ状に接続するが、本発明は、異なる形式のかなり大きい数の端末間での同時ビデオ会議通信をサポート可能であることを理解するものとする。従って、図面に示す端末の数及び接続構成は、本発明の範囲を制限するものではない。
【００１０】
図２は、複数の参加者が、カメラを有するビデオ会議システム１０に接続するモニタ２を介して遠隔にいる人とやり取りをするビデオ会議を示す。本発明に従い動作するカメラは、従来のパン−チルト−ズーム（ＰＴＺ）カメラを有し得る。図３は、本発明の１つの実施例に応じて、モニタ２上に取り付けられるＰＴＺカメラ８を示す。ＰＴＺカメラ８は、ビデオ会議の当業者には周知である。尚、この開示のコンテキストにおけるビデオ会議システム１０は、ラップトップコンピュータ、従来のデスクトップコンピュータ、インタラクティブＴＶ／セットトップボックス遠隔制御器、又は、ビデオ会議の参加者の存在を捕捉するカメラが具備される任意のデュプレックスインタラクティブ装置が包含される。
【００１１】
動作時には、内蔵型カメラ８と関連付けられるソフトウェアを有するシステム１０は、ビデオ会議室における全ての参加者４−１、４−２、４−３、・・・、４−ｎの存在を、遠隔受信端における他の参加者に中継するよう動作する。特に、システム１０は、カメラ８の視野における全ての参加者を、彼らが話をしていないときでも、追跡する。通常モードでは、カメラ８は、会話の流れと参加者の動きに基づいて、参加者を追跡する。適切な時間において、即ち、長い沈黙があるとき又は一人の人が長い時間話すとき、カメラ８は、各参加者を順番に連続的にズームインする。このことは、室内全体の光景、又は、最低でも全ての参加者をフレーム内に収める光景に取って代わられてもよい。その後、カメラ８は、話者、又は、他の新しく話し始めた人にフォーカスを戻す。一方で、新しい人６が部屋に入る、又は、出ていくと、カメラは、その人に、短い時間の間、自動的にズームする。その結果、受信端における遠隔参加者は、送信端において、全ての参加者が、話者に対してどこに居るのかを認識できるようになる。
【００１２】
図４は、本発明の実施例によるシステム１０の主な構成要素を示す。システム１０は、ＰＴＺカメラ８と、オーディオロケータ１２と、ビデオロケータ１４と、制御器１６と、入力／出力（Ｉ／Ｏ）インタフェース１８と、ユーザインタフェース２０と、ビデオプロセッサ２２と、ディスプレイ２４と、メモリ２６を有する。
【００１３】
ＰＴＺカメラ８は、制御器１６に接続し、ビデオ会議の参加者の一人を、リアルタイムで追跡するよう動作する。ＰＴＺカメラ８は、オーディオ信号を受信するためにオーディオロケータ１２に接続し、ビデオ信号を受信するためにビデオロケータ１４に接続する。尚、他の種類及び構成の接続を用いて、カメラ８から制御器１６、又は、組合わされたオーディオ−ビデオ追跡システムを用いて追跡を行うことのできる他のシステムに、ビデオ及びオーディオ信号を供給することも可能である。更に、ＰＴＺカメラ以外の他の画像捕捉装置も、本発明の技術に従い用いることが可能である。
【００１４】
オーディオロケータ１２及びビデオロケータ１４は、それぞれ、オーディオ及びビデオ追跡動作を与える。本発明によるオーディオロケータ１２は、１９９９年１１月８日に出願された米国特許出願番号０９／４３６，１９３に記載されるようなタイプで有り得る。この教示内容は、本願に参考として組込む。簡単に説明すると、オーディオロケータ１２は、話者を区別するよう用いることができる、即ち、エコーキャンセルの副産物として区別するよう用いることができる。尚、本発明を実施するために、他の種類のオーディオロケータを用いることも可能である。ビデオロケータは、ビデオ信号又は他の種類の画像信号において、人又は他の関心の対象物を追跡可能である当該技術において周知である任意の市販されるシステムであり得る。オーディオロケータ１２及びビデオロケータ１４の出力信号は、制御器１６に供給され、次に、カメラ８のパン、チルト、及び／又はズーム設定を制御する１つ以上の制御信号を生成するようプロセッサ２２によって処理される。
【００１５】
Ｉ／Ｏ装置１８は制御器１６に接続し、ケーブルサービスプロバイダ、デジタル高品位テレビジョン（ＨＤＴＶ）及び／又はデジタル標準品位テレビジョン（ＳＤＴＶ）信号、衛星アンテナ、従来のＲＦブロードキャスト、及び、インターネット接続を含む他の様々なソースのみならず、遠隔ビデオ会議端末からビデオ信号のストリームを受信するよう適応される。ユーザインタフェース２０は、ユーザからシステム１０を制御するためのコマンド信号、即ち、赤外線信号を受信するよう制御器１６に接続する。ディスプレイ２４は、プロセッサ２２に接続し、他のビデオ会議端末からのオーディオ及びビデオ信号を視聴するために受信する。
【００１６】
本発明の別の実施例では、図４に示すシステム１０の素子によって行われる幾つか又は全ての機能は、１つの装置に組合わされる場合もある。例えば、システム１０の１つ以上の素子は、コンピュータ、テレビジョン、セットトップボックス、又は、他の処理装置内に組込まれる特定用途向け集積回路（ＡＳＩＣ）又は回路カードとして実施され得る。
【００１７】
本発明の選択される実施例は、システム１０内で実行されるコンピュータソフトウェアである。コンピュータプログラム（又はコンピュータ制御論理）は、メモリ２６内に格納される。このようなコンピュータプログラムは、実行されると、システム１０が、ここに説明した本発明の機能を実行することを可能にする。
【００１８】
図５は、ビデオシステム１０のソフトウェア実施例の動作を示す。オーディオロケータ１２及びビデオロケータ１４を有するビデオシステム１０が、所与のビデオ会議時にアクティブであると仮定する。段階１００において、システム１０は、カメラ８のパン、チルト、及び／又はズーム設定を用いて全ての参加者を追跡する。オーディオロケータ１２及びビデオロケータ１４は共に、参加者の存在に対応する追跡出力を生成するよう動作する。追跡出力は、即ち、カメラ８の中心軸から検知される参加者への方向を示す角度での方向性の測度の形であり得る。
【００１９】
段階１２０において、オーディオロケータ１２とビデオロケータ１４からの追跡出力は、室内で話をしている人に関連付けられる場所の示唆を有するよう分析される。このために、システム１０は、ビデオロケータ追跡出力に十分に適合するオーディオロケータ追跡出力を参照する。例えば、オーディオロケータ１２及びビデオロケータ１４からの方向性測度が、互いの特定の範囲、即ち、４−５度内にある場合、このことは、オーディオロケータ１２とビデオロケータ１４は、現在の話者の場所に関して十分に一致していることが示される。話者が検知されると、制御器１６は、カメラ８を、話をしている人の方向にズームするように案内する制御信号を生成する。一人以上の人が話をしている場合、オーディオロケータ１２は、最も声の大きい人の位置を突き止めることが可能である。前出の米国特許出願番号０９／４３６，１９３に記載されるオーディオロケータ１２は、最も声の大きい人の位置を突き止めるメカニズムを説明するので、更に説明する必要はない。
【００２０】
段階１４０において、現在の話者が、閾値の時間間隔より長く話すか否かが判断される。長く話さない場合は、段階１６０において、現在の話者が、所定の時間間隔より沈黙するか否かが判断される。現在の話者が、所定の閾値より長く話す、又は、発言しない場合、システム１０は、段階１８０において、残りの参加者の近接画像を連続的に表示する。このことを達成するためには、カメラ設定は、他の参加者の方向に向けてカメラ８のパン、チルト、及びズーム設定を制御するようビデオロケータ出力に基づいて調節され得る。その後、段階２００において、システム１０は、参加者全員を映すグループ光景を与えるよう特定の度合いまでズームアウトするようカメラ８を案内する制御信号を生成する。その後に、システム１０は、話者、又は、話し始めた他の人に再びフォーカスするようカメラ８を案内する制御信号を生成し得る。
【００２１】
一方で、ビデオロケータ１４は、動き又は顔色等の特徴に基づいた周知の従来技術を用いて、部屋に入る新しい人又は部屋を離れる参加者の一人を見つけようと連続的に試み、それにより、部屋に入ってくる又は出ていく人の存在又は不在が、受信端における遠隔参加者に伝えられる。
【００２２】
本発明の好適な実施例を図示し且つ説明したが、当業者は、様々な変更及び修正が可能であり、本発明の真の範囲から逸脱することなく本発明の実施例の素子を等価物で代用し得ることを理解するものとする。更に、中心的な範囲から逸脱することなく本発明の特定の状況及び教示内用に適応するよう多くの修正を行い得る。従って、本発明は、本発明を実行するのに考えられる最適な様態として開示した特定の実施例に制限されるものではなく、本発明は、特許請求の範囲内の全ての実施例を包含するものであることを意図する。
【図面の簡単な説明】
【００２３】
【図１】本発明の１つの実施例によるマルチポイント会議システムを示す図である。
【図２】本発明の実施例を適用し得るビデオ会議室を示す略図である。
【図３】本発明の１つの実施例によるビデオ会議システムを示す図である。
【図４】本発明の１つの実施例によるビデオ会議システムの主な構成要素を示す簡略化したブロック図である。
【図５】本発明の１つの実施例による動作段階を説明するフローチャートである。
【図１】
2005510144.tif 000003
【図２】
2005510144.tif 000004
【図３】
2005510144.tif 000005
【図４】
2005510144.tif 000006
【図５】
2005510144.tif 000007
【国際調査報告】
2005510144.tif 000008
2005510144.tif 000009