(57)【要約】  画像が表示されるとき会議参加者がほぼ同じサイズに見えるように参加者の正規化画像を生成する方法と装置が提供されている。正規化システムは、参加者からカメラのロケーションまでの距離に関する制約条件に基づいて画像のサイズを正規化する。ある参加者の画像を正規化するために、システムはカメラからその参加者までの距離を考慮するようにカメラをズームする。
2008545331.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータシステムにおいてビデオにおける参加者の画像のサイズを正規化する方法であって、該方法は、
参加者のロケーションに関する一組の制約条件を与え、
与えられた制約条件によって指示されたとおりに、サイズが参加者のロケーションを考慮に入れて調整された参加者の画像を生成する、
ことを含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、制約条件はその周りに参加者が置かれているテーブルを記述していることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、画像を生成することは、制約条件が与えられたあとカメラの向きの変化を考慮に入れることを含むことを特徴とする方法。
【請求項４】
請求項１に記載の方法において、カメラはバーチャルカメラであることを特徴とする方法。
【請求項５】
請求項４に記載の方法において、バーチャルカメラは、パノラマカメラから受信された参加者のパノラマ画像に作用することを特徴とする方法。
【請求項６】
請求項５に記載の方法において、生成される画像は、少なくともパノラマ画像をクロッピングするか、スケーリングするかのどちらかによって作られたパノラマ画像のサブセットであることを特徴とする方法。
【請求項７】
請求項１に記載の方法において、カメラは非パノラマカメラであることを特徴とする方法。
【請求項８】
請求項７に記載の方法において、画像を生成することは、少なくともカメラをパンするか、チルトするか、ズームするかのいずれかを含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法において、現在発言している参加者を指すようにカメラを自動的に位置づけることを含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、発言している参加者はマイクロホンを使用して検出されることを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、カメラを位置づけることは、テーブルのエッジを検出し、そのエッジを生成される画像の下部位置として使用することを含むことを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、一組の制約条件を受信することは制約条件を自動的に検出することを含むことを特徴とする方法。
【請求項１３】
テレビ会議の参加者の画像のサイズを正規化する方法を実行するようにコンピュータシステムを制御する命令を収めているコンピュータ可読媒体であって、前記方法は、
パノラマカメラから第１画像を取り込み、
パノラマカメラが置かれているテーブルのレイアウトに基づいて、あるサイズを有する参加者の第１画像から第２画像を生成する、
ことを含むことを特徴とするコンピュータ可読媒体。
【請求項１４】
請求項１３に記載のコンピュータ可読媒体において、テーブルのレイアウトは、カメラからテーブルのエッジまでの距離を表わしていることを特徴とするコンピュータ可読媒体。
【請求項１５】
請求項１３に記載のコンピュータ可読媒体において、前記方法は、現在発言している参加者を指すようにカメラを自動的に位置づけることを含むことを特徴とする方法。
【請求項１６】
請求項１５に記載のコンピュータ可読媒体において、発言している参加者はマイクロホンを使用して検出されることを特徴とするコンピュータ可読媒体。
【請求項１７】
請求項１５に記載のコンピュータ可読媒体において、カメラを位置づけることは、テーブルのエッジを検出し、そのエッジを除外するように第２画像をサイジングすることを含むことを特徴とするコンピュータ可読媒体。
【請求項１８】
請求項１３に記載のコンピュータ可読媒体において、第２画像を生成することは、テーブルのレイアウトが判断されたあとカメラの向きの変化を考慮に入れることを含むことを特徴とするコンピュータ可読媒体。
【請求項１９】
カメラを参加者に位置づけることによって生成された画像を伝達し、参加者のロケーションに関する制約条件によって指示されたとおりに、参加者の推定ロケーションを考慮に入れるようにサイズが調整された参加者の画像を生成することを特徴とするデータ信号。
【請求項２０】
請求項１９に記載のデータ信号において、参加者は現在発言している参加者であることを特徴とするデータ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が表示されるとき会議参加者がほぼ同じサイズに見えるように参加者の正規化画像を生成する方法と装置に関する。
【背景技術】
【０００２】
分散されたロケーションにいる人達は、テレビ会議(videoconferencing)を通してミーティングを開催しているのが普通である。代表的なシナリオでは、カメラとマイクロホンは各々のロケーションの室内に設置され、ビデオとオーディオを他のロケーションに送信している。カメラとマイクロホンは、電話回線、インターネット、または他のネットワークを利用してデータをリモートロケーションに送信することを受け持つテレビ会議ソフトウェア(videoconferencing software)が実行されているコンピューティングシステムに接続されているのが一般的である。リモートロケーションに置かれたコンピューティングシステムはビデオとオーディオデータを受信すると、ディスプレイスクリーンおよびスピーカを使用してそのビデオとオーディオデータを会議参加者に配信している。
【０００３】
カメラの向きは方位角(azimuth)と仰角(elevation)で表わされ、ある対象物からの距離はレンジ(range)で表わされている。方位角とは、カメラが面しているテーブル周りの回転角度のことである。磁北(magnetic north)はゼロ度として指定され、カメラが磁北に向いているとき、方位角はゼロ度になっている。カメラの方位角を変更するアクションはパンニング(panning)と呼ばれる。仰角は、カメラが面している水平面(level)からの上下の角度である。水平面に面しているカメラは仰角がゼロ度になっている。水平面より上の角度は正の値で表わされ、他方、水平面より下の角度は負の値で表わされている。カメラの仰角を変更するアクションはチルティング(tilting)と呼ばれる。レンジとは、カメラから画像を取り込もうとしている対象物までの距離のことである。ある対象物を画像の中で大きくあるいは小さく見せようとするアクションはズーミング(zooming)と呼ばれる。
【０００４】
初期のテレビ会議システムでは、カメラは固定されており、カメラのすぐ前に座っている会議参加者だけがリモートロケーションで見られることが可能であった。一部のテレビ会議システムには、カメラを手操作でパンし、チルトし、ズームする能力が付加されている。その後のテレビ会議システムは、発言している参加者が室内のどこにいても、リモートロケーションにいる参加者がその発言中の参加者を見ることができるように自動的にパンし、チルトしていた（例えば、サウンドおよび／またはビジョン手法を使用して）。一部の最新テレビ会議システムはマイクロホンからのオーディオを使用してカメラを位置づけ、カメラからの発言中の参加者の距離を音量に基づいて推定しているが、このようにすると、例えば、一部の参加者は他の参加者よりも大声で発言し、対象物からの反射などの室内の他のノイズがコンピュータを混乱させることがあるので、誤った発言者が選択され、あるいは画像サイズが不釣合いになることがよく起こっている。
【０００５】
【特許文献１】米国特許出願第10/404,219号明細書、発明の名称「相互に関係するノイズと反響の存在下で時間遅延を推定するシステムとプロセス(A System and Process for Time Delay Estimation in the Presence of Correlated Noise and Reverberation)、2003年5月31日出願。なお、その内容は引用により本明細書の一部になっている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
移動可能なカメラによる場合でも、会議参加者のすべてを見ることが困難であることがよくある。会議参加者は長方形テーブルの周りに座っていることがよくある。カメラから遠く離れているテーブルの端にいる参加者は小さく見え、テーブルのサイドに座っていてカメラの近くにいる参加者に比べて精細度が劣っている。カメラの近くにいるためにディスプレイ全体を占めている一部の会議参加者とカメラから遠く離れているためにディプレイの一部しか占めていない他の参加者を見なければならないことは、会議参加者の注意を散漫にしている。
【課題を解決するための手段】
【０００７】
本発明によれば、画像が表示されるとき会議参加者がほぼ同じサイズに見えるように会議参加者の正規化画像を生成する方法と装置が提供されている。正規化システム(normalizing system)は、カメラのロケーションからの参加者の距離に関する制約条件(constraint)に基づいて画像のサイズを正規化する。システムはカメラの方位角(azimuth)と制約条件を使用して、カメラからカメラが指している参加者までの距離を推定する。参加者の画像を正規化するために、システムはカメラからの参加者の距離を考慮に入れるようにカメラをズームする。
【０００８】
ここでの要約は、以下に詳しく説明されている概念の１つを選んで簡単に紹介したものである。また、ここでの要約は請求項に記載されている主題の主要な特徴または基本的特徴を特定するものでも、請求項に記載の主題の範囲を判断しやすくするためのものでもない。
【発明を実施するための最良の形態】
【０００９】
画像が表示されるとき会議参加者がほぼ同じサイズに見えるように会議参加者の正規化画像を生成する方法とシステムが提供されている。一実施形態では、正規化システムは、カメラのロケーションからの参加者の距離に関する制約条件に基づいて画像のサイズを正規化する。例えば、制約条件には、カメラが中央に置かれている会議テーブルのテーブルレイアウト（例えば、長さと幅）を含めることができる。システムはカメラの方位角と制約条件を使用して、カメラからカメラが指している参加者までの距離を推定する。例えば、テーブルレイアウトが５ｘ１０フィートの長方形で、その長さ方向が南北を向き、カメラが中央に置かれていると想定する。そこで、カメラが西に向いたとき、システムは参加者の距離がカメラから少なくとも２．５フィートであると、テーブルレイアウトに基づいて推定することができる。カメラが北に向いたときは、システムは参加者の距離をカメラから少なくとも５フィートであると推定することができる。参加者の画像を正規化するために、システムは、カメラからの参加者の距離を考慮に入れるようにカメラをズームする。例えば、システムは、カメラから２．５フィートの位置にいる参加者については、ズーム係数として１Ｘを使用し、カメラから５フィートの位置にいる参加者については、ズーム係数として２Ｘを使用する。このようにすると、会議参加者は、カメラが指している会議参加者の正規化画像を見ることができる。
【００１０】
一部の実施形態では、正規化システムはパノラマカメラ(panoramic camera)を使用して、テーブル周りのすべての方位角を同時に描写する単一画像を取り込んでいる。パノラマカメラは、インターネットまたは他のネットワーク上を直接に送信するには大きすぎる画像を出力するのが一般的である。代表的なパノラマカメラは、３７００ピクセルｘ６００ピクセルの高解像度の画像を出力することができる。この画像は、パノラマ画像の一部から取り出されて、インターネット上を送信するのに適した画像が得られるようにクロッピング(crop)し、スケーリングすることができる。テレビ会議データの送信のための共通フォーマットである、共通中間フォーマット(common intermediate format  CIF)画像は解像度が３５２ｘ２８８ピクセルであり、ICU H.261ビデオ会議標準に記述されている。コンピューティングデバイスはパノラマカメラからパノラマ画像を受信し、パノラマ画像の特定部分を指すようにバーチャルカメラの働きする。本明細書の全体を通して、この分野の通常の知識を有する者ならば理解されるように、非パノラマカメラ(non-panoramic camera)をパンし、チルトし、ズームすると引用されている個所は、バーチャルカメラがパノラマカメラから受信された画像をクロップし、スケーリングするのと同じである。本明細書において、「カメラ」と引用されている個所は、一方または他方のカメラだけを指していることがコンテキストから明らかである場合を除き、物理的カメラ、バーチャルカメラ、パノラマカメラ、または非パノラマカメラのこと指している。
【００１１】
一部の実施形態では、正規化システムは、発言している参加者に自動的にカメラを向けるようにする。発言している参加者（以下「発言中の参加者」という）は、複数のマイクロホンを使用することによって、参加者の音声のサウンドに基づいて特定することができる。正規化システムによって使用されるテレビ会議エンドポイント(videoconferencing endpoint)には、ベースの周囲に分散された複数のマイクロホンをカメラと一緒に収容することができる。これらのマイクロホンは、各マイクロホンで特定のサウンドを受信するときの遅延を検出することによって、発言中の参加者の方位角を判断するために使用することができる。特定のサウンドを最初に受信するマイクロホンはそのサウンドの最も近くにあり、サウンドが他のマイクロホンに届くまでの遅延から、特許文献１に記載されている分野の周知技法を用いてサウンドの方位角を判断することができる。方位角が分かると、カメラは自動的にその方向に向けられる。
【００１２】
一部の実施形態では、正規化システムはテーブルレイアウトおよびカメラに対するテーブルレイアウトの向きを記述した一組の制約条件を、会議に先立つ初期セットアップの一部として受信する。テーブルレイアウトはテーブルに関するサイズ、形状およびその他の情報を記述している。テーブルレイアウトはカメラまたは他のデバイスを使用して自動的に判断されていることもあれば、参加者によって手操作で入力されることもある。例えば、正規化システムはパノラマ画像を分析して、テーブルのエッジを特定し、カメラからのエッジの距離を推定することができる。非パノラマカメラが使用されるときは、カメラは、各方位角を含んでいる画像を取り込むために３６０度回転することによって、パノラマ画像を生成することができる。カメラがテーブルの中央に置かれていないときは、システムはテーブルの中央からのカメラのオフセットを判断できるので、正規化システムは会議参加者までの距離を判断するときそのオフセットを考慮に入れることができる。
【００１３】
一部の実施形態では、正規化システムは制約条件が関係しているカメラの初期位置を判断することができる。この初期位置は、テーブルに対して固定位置にあるパノラマまたは非パノラマカメラのベースを方向づけることによって設定することができる。非パノラマカメラがどちらかのサイドにパンされたとき、初期位置からの方位角の変化はセンサ、ステッピングモータなどを使用して検出することができる。例えば、光センサは、初期位置から通過した複数の一定サイズのリッジ(ridge)を検出するために使用できる。この場合、カメラの方位角は、初期位置からの方位角の変化を考慮することによって制約条件と関係付けることができる。パノラマカメラの初期位置を判断するために、ベース上のインジケータがテーブルの特定の端に向くようにカメラのベースを方向づけることを参加者に要求することができる。また、パノラマカメラによると、例えば、パノラマ画像を表示し、画像中のテーブルの特定の端を選択することを参加者に要求することによって、初期位置の選択をソフトウェアで行なうこともできる。パノラマ画像内の種々の位置は、その位置を判断された初期位置と比較することによって制約条件と関係付けることができる。
【００１４】
一部の実施形態では、正規化システムは、初期セットアップのあとテーブルに対するカメラの向きの変化を考慮に入れる。例えば、会議参加者がカメラにぶつかるか、あるいはカメラを動かしたために、ストアされた制約条件がカメラに対するテーブルの向きを正しく反映しないことがある。これを解決するために、磁北に対するカメラの方位角を出力する磁力計(magnetometer)をカメラに内蔵させることも、画像ベースのテーブル検出(image-based table detection)を使用させることもできる。初期セットアップ期間に、システムは、磁力計から読み取りを行なうといった方法で、初期の向きをストアする。カメラは初期セットアップ期間にテーブルに対して固定位置に置かれているので、磁気計からの初期読み取りはカメラに対するテーブルの向きを指定している。会議の期間に、正規化システムは磁力計のアウトプットをストアされた値と比較して、カメラが動かされたかどうか、およびどの方位角だけ動かされたかを判断する。方位角の変化は、ストアされた制約条件から判断された会議参加者までの距離を訂正するために使用される。
【００１５】
図１は、テレビ会議をサポートするために正規化システムが２ロケーションでセットアップされるときの代表的なシナリオを示す図である。一方のロケーション１０５に置かれたテレビ会議エンドポイント(videoconferencing endpoint)１０７は、パーソナルコンピュータまたは他のクライアントデバイス１１５に接続されたカメラを収容している。モニタ１４０もパーソナルコンピュータ１１５に接続されている。テレビ会議エンドポイント１０７は、ビデオを他方のロケーション１２５に送信するためにインターネット１２０または他のネットワークに接続されている。他方のロケーション１２５に置かれたテレビ会議エンドポイント１２７はパーソナルコンピュータまたは他のクライアントデバイス１３５を収容しており、そこにカメラ１３０とモニタ１４５が接続されている。第１ロケーションのカメラ１１０はそのロケーションで会議参加者のビデオを取り込む。パーソナルコンピュータ１１５はカメラ１１０からのビデオを受信し、ネットワーク１２０を利用してそのビデオを第２ロケーション１２５に送信する。第２ロケーション１２５のパーソナルコンピュータ１３５はビデオを受信し、接続されたモニタ１４５から第２ロケーションの参加者にそのビデオを表示する。同様に、第２ロケーションからのビデオは第１ロケーション１０５で表示される。一部の実施形態では、テレビ会議エンドポイントのコンポーネントは、別個のパーソナルコンピュータに接続する必要のない統合ビデオ会議デバイス(integrated videoconferencing device)に収容しておくことができる。
【００１６】
システムがそこで実行されるコンピューティングデバイスは、中央処理ユニット、メモリ、インプットデバイス（例えば、キーボードとポインティングデバイス）、アウトプットデバイス（例えば、ディスプレイデバイス）、およびストレージデバイス（例えば、ディスクドライブ）を装備することができる。メモリとストレージデバイスは、システムを実現する命令を収めておくことができるコンピュータ可読媒体(computer-readable media)である。さらに、データ構造とメッセージ構造はストアしておくことも、通信リンク上の信号のように、データ伝送媒体を介して送信することもできる。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、ポイントツーポイントダイヤルアップコネクション、セル電話ネットワークなどの種々の通信リンクが使用可能である。
【実施例】
【００１７】
システムの実施形態は種々の動作環境で実現することができ、その中には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラマブルコンシューマエレクトロニクス、デジタルカメラ、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記に挙げたシステムまたはデバイスのいずれかを含んでいる分散コンピューティング環境などが含まれている。コンピュータシステムとしては、セル電話、パーソナルデジタルアシスタント(personal digital assistant)、スマート電話、パーソナルコンピュータ、プログラマブルコンシューマエレクトロニクス、デジタルカメラなどが可能である。
【００１８】
システムは、プログラムモジュールのように、１または２以上のコンピュータまたは他のデバイスによって実行されるコンピュータ実行可能命令の一般的なコンテキストの中で説明することができる。一般的に、プログラムモジュールには、特定のタスクを実行し、あるいは特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれている。代表例として、プログラムモジュールの機能は、種々の実施形態において望み通りに組み合わせることも、分散させることもできる。
【００１９】
図２は、一実施形態において正規化システムを使用した会議室セットアップを示す図である。テレビ会議エンドポイント(videoconferencing endpoint)２１０は、長方形テーブル２０５の中央に置かれている。テレビ会議エンドポイント２１０はマイクロホンアレイ２１５とＬＣＤディスプレイスクリーン２２０を収容している。マイクロホンアレイ２１５は、テレビ会議エンドポイント２１０のベース周りに等間隔に置かれた６つのマイクロホンで構成することができる。テーブルのエッジには、テーブル周りの種々のロケーションにいる参加者が相対サイズで示されている。例えば、テーブル２０５の端２３０では、相対サイズ５０％は、そのロケーションにいる参加者がテーブル２０５のサイド２２５に座っている参加者の５０％の大きさに見えることを示している。正規化サイズを有する各参加者の画像を出力するズーム係数(zoom factor)は、図示テーブルの端に座っている人にとって適切なズーム係数が２ｘとなるように、相対サイズの逆数として計算することができる。適切なズーム係数は、テーブルのサイズとレイアウトだけでなく、テレビ会議エンドポイントの位置によっても左右される。テレビ会議エンドポイントが中央に置かれている長方形テーブルが図示されているが、正規化システムは多数のテーブルサイズ、形状およびレイアウトをサポートすることができる。例えば、テレビ会議エンドポイントが一方のエッジに置かれている円形テーブルを使用することも可能であり、正規化システムは、エンドポイントから離れて座っている参加者にはエンドポイントの最も近くに座っている参加者よりも大きなズーム係数を使用することになる。
【００２０】
図３は、正規化システムの代表的なセットアップの上面図と側面図を使用して一般的なカメラ位置づけ用語を示す図である。カメラ３０５はテーブル３１０上に置かれている。カメラ３０５は参加者３１５に対し垂直角で位置づけられ、この垂直角は仰角(elevation)３２０と名付けられている。カメラ３０５はテーブル周りに回転角で位置づけられ、この回転角は方位角(azimuth)３２５と名付けられている。カメラ３０５は参加者３１５からの距離を有し、この距離はレンジ(range)３３０と名付けられている。
【００２１】
図４は、一実施形態においてパノラマカメラ画像からのＣＩＦ画像の抜粋を示す図である。パノラマカメラは、例えば、３７００ｘ６００ピクセルの大きな高解像度画像４０５を出力する。正規化システムはこの大きな画像４０５の一部を選択して、例えば、３５２ｘ２８８ピクセルの小さな画像４１０を出力するバーチャルカメラの働きをする。大きな画像４０５で左から右に動かすプロセスはパン(panning)するのと同じであり、上下に動かすプロセスはチルト(tilting)するのと同じである。まだ３５２ｘ２８８になっていない、大きな画像のサブセットから始めて小さな画像が抜粋されるとき、画像のサイズを３５２ｘ２８８に変えるプロセスはズーム(zooming)するのと同じである。
【００２２】
図５は、一実施形態において正規化システムのコンポーネントを示すブロック図である。クライアント５０５はテーブルコンフィギュレーションストア(table configuration store)５１０、サウンドストア(sound store)５１５、画像ストア(image store)５２０、サウンドソースローカリゼーション(sound source localization  SSL)コンポーネント５２５、マルチパーソン検出(multi-person detection  MPD)コンポーネント５３０、およびAutoPanTiltZoomコンポーネント５３５を備えている。テーブルコンフィギュレーションストア５１０は、会議テーブルのレイアウトとテーブル上のカメラのロケーションを記述した制約条件(constraints)を収めている。サウンドストア５１５は、テレビ会議エンドポイントのマイクロホンアレイを使用して取り込まれたオーディオデータを収めている。画像ストア５２０は、テレビ会議エンドポイントのカメラを使用して取り込まれた画像を収めている。カメラがパノラマカメラの場合は、画像ストアは、テーブル周りのすべての方向を表示するパノラマカメラのアウトプットを表わしている単一画像を収めている。ＳＳＬコンポーネント５２５はサウンドストア５１５からのオーディオ情報を分析し、発言中の参加者がテーブル周りのいずれかの特定方位角に置かれている確率を判断する。ＭＰＤコンポーネント５３０は画像ストア５２０からのビデオ情報を分析し、参加者がテーブル周りのいずれかの特定方位角に座っている確率を判断する。参加者が検出される場所の方位角値については、参加者の頭部を取り囲んでいる境界ボックス(bounding box)が計算される。ＭＰＤコンポーネント５３０はテーブルのエッジを見つけて、境界ボックスの下部エッジをどこに置くべきかを判断することもできる。非パノラマカメラが使用されるときは、会議室周りのカメラの初期パンニングは、ＭＰＤコンポーネントのためにデータを収集する目的で行なうことができる。AutoPanTiltZoomコンポーネント６３５はテーブルコンフィギュレーションストア５１０、ＳＳＬコンポーネント５２５およびＭＰＤコンポーネント５３０からの情報を使用して、他の会議参加者に送信される最終画像を出力する。AutoPanTiltZoomコンポーネントはレンジ検出(detect range)コンポーネント５５０、方位角検出(detect azimuth)コンポーネント５５５、および仰角検出(detect elevation)コンポーネント５６０を備えており、その各々については、以下で詳しく説明する。
【００２３】
図６は、一実施形態において正規化システムのAutoPanTiltZoomコンポーネントの処理を示すフロー図である。このコンポーネントは、会議全体を通して定期的に呼び出され、発言中の参加者がいつ変わったかを検出し、参加者の正規化画像を出力するようにカメラを調整する。ブロック６０５において、このコンポーネントは発言中の参加者の方位角を検出するために方位角検出コンポーネントを呼び出す。ブロック６１０において、このコンポーネントは発言中の参加者の仰角を検出するために仰角検出コンポーネントを呼び出す。ブロック６１５において、このコンポーネントは、テレビ会議エンドポイントからの発言中の参加者のレンジを検出するためにレンジ検出コンポーネントを呼び出す。ブロック６２０において、このコンポーネントは、非パノラマカメラをパンし、チルトし、ズームするか、あるいはバーチャルカメラに送られたパノラマ画像をクロッピング(cropping)し、スケーリングすることによってカメラを発言中の参加者に位置づける。そのあと、このコンポーネントは完了する。
【００２４】
図７は、一実施形態において正規化システムの方位角検出コンポーネントの処理を示すフロー図である。このコンポーネントは発言中の参加者の方位角を検出するために呼び出される。ブロック７０５において、このコンポーネントは、発言中の参加者がオーディオデータを使用して判断されたテーブル周りのいずれかの方位角に置かれている確率を示す情報をＳＳＬコンポーネントから受信する。ブロック７１０において、このコンポーネントは、発言中の参加者がビデオデータを使用して判断されたテーブル周りのいずれかの方位角に置かれている確率を示す情報をＭＰＤコンポーネントから受信する。ブロック７１５において、ＳＳＬコンポーネントから受信した確率はＭＰＤコンポーネントから受信した確率に加えられ、発言中の参加者がテーブル周りのいずれかの方位角に置かれている結合確率が得られる。ＳＳＬデータとＭＰＤデータの結合には、加重平均(weighted average)、ニューラルネットワーク(neural network)またはベイズネットワーク(Bayesian network)を使用することもでき、そのようにすると、ＳＳＬコンポーネントまたはＭＰＤコンポーネントから受信した情報により多くの重みが与えられ、結合確率(combined probability)を得ることができる。ブロック７２０において、最高確率の方位角が発言中の参加者のロケーションとして選択される。そのあと、このコンポーネントは完了する。
【００２５】
図８は、一実施形態においてＳＳＬコンポーネントによって発言中の参加者の位置を検出するためにマイクロホンの使用を示す図である。会議参加者８０５はテレビ会議エンドポイント８１０の周りに座っている。テレビ会議エンドポイント８１０は、その周囲周りにマイクロホンアレイ８１５を収容している。オーディオ波８２０は時間をずらしてマイクロホンの各々に到達する。例えば、図中の参加者からのオーディオ波がマイクロホン８３０より先にマイクロホン８２５に到達するのは、マイクロホン８２５の方が参加者８０５の近くにあるためである。参加者の位置は、この分野で一般に知られている手法を用いて三角測量で参加者を測定するために、各マイクロホンからの遅延情報を使用することで判断することができる。
【００２６】
図９ａおよび図９ｂは正規化システムのＭＰＤコンポーネントとＳＳＬコンポーネントによって出力されるアウトプットを示す図である。図９ａはパノラマカメラによって得られた画像を示し、図９ｂはＭＰＤコンポーネントとＳＳＬコンポーネントによって判断された情報をラインで示している同じ画像を示している。境界ボックス(bounding box)９０５は、図示のようにテーブルの一方の端にいる参加者の回りに描かれており、そこでは検出されたテーブルエッジ９１０が下方エッジとして使用されている。遠くにいる参加者９１５の境界ボックスは近くにいる参加者９２０のそれよりも小さくなっており、このことは、各参加者のサイズを正規化するために適用すべきズームの差を示している。
【００２７】
図１０は、方位角検出コンポーネントの代表的な呼び出しで検出された確率のグラフを示す図である。パノラマカメラから得られる画像１００５が示されているが、この画像は、非パノラマカメラからの複数の画像を縫い合わせて、会議室全体を示す単一画像を出力することによって得ることもできる。画像１００５は２参加者１０１０と１０１５を含んでいる。グラフ１０２５は、オーディオデータを使用してＳＳＬコンポーネントによって得られ、発言中の参加者が特定のロケーションに置かれている確率を示している。３ピーク１０３０、１０３５、および１０４０が示されている。最初の２ピーク１０３０と１０３５は会議参加者によって行なわれたサウンドに起因して起こる可能性があるが、３番目のピーク１０４０は会議室内のホワイトボード１０２０から反響したノイズで発生した可能性がある。ＳＳＬコンポーネントによって収集されたデータを改善するために、第２グラフ１０５０に示すＭＰＤコンポーネントからのデータがＳＳＬデータと共に加えられて、第３グラフ１０７５に示す総確率が得られている。第３グラフ１０７５は中央の参加者１０１５のロケーションにピークを示しているが、これはその参加者が最も発言中の参加者の可能性があることを示している。
【００２８】
図１１は、一実施形態において仰角検出コンポーネントの処理を示すフロー図である。このコンポーネントは発言中の参加者の仰角を検出するために呼び出される。ブロック１１０５において、このコンポーネントは、方位角検出コンポーネントによって判断された発言中の参加者の方位角を受信する。ブロック１１１０において、このコンポーネントは、各境界ボックスの水平方向の中心の方位角を発言中の参加者の方位角と比較することによって最も近い境界ボックスを見つけるためにこの方位角を使用する。ブロック１１１５において、このコンポーネントは選択された境界ボックスの垂直方向の中心を判断し、その位置の仰角値を返してくる。そのあと、このコンポーネントは完了する。一部の実施形態では、ＳＳＬコンポーネントは発言中の参加者の仰角を検出するために呼び出されるか、あるいは上述した方位角検出の方法と同じようにＭＰＤからの境界ボックス情報を補足するために呼び出される。
【００２９】
図１２は、一実施形態においてレンジ検出コンポーネントの処理を示すフロー図である。このコンポーネントは、カメラから発言中の参加者までのレンジを検出するために呼び出される。ブロック１２０５において、このコンポーネントは方位角検出コンポーネントによって判断された発言中の参加者の方位角を受信する。ブロック１２１０において、このコンポーネントは、正規化システムの処理セットアップ期間に用意されたテーブル制約条件によって判断された受信方位角でのレンジを受信レンジで調べる。一部の実施形態では、正規化システムは、そのセットアップ以降のテレビ会議エンドポイントのロケーションの変化も検出し、ロケーションが変化していればその変化に基づいてレンジを調整する。一部の実施形態では、レンジ検出コンポーネントはＭＰＤコンポーネントから与えられた情報も使用して、参加者の検出位置とテーブルのエッジに基づいてレンジを再定義する。そのあと、このコンポーネントは完了する。
【００３０】
図１３ａと図１３ｂは、正規化システムを使用した場合と使用しない場合の画像を示す図である。図１３ａは正規化システムを使用しない場合の会議参加者を示している。この会議参加者は画像の小さな部分だけを占めている。図１３ｂは正規化が適用された場合の同じ会議参加者を示している。この参加者は画像の中ではるかに大きく見え、見る者の注意を散漫にする余計なビジュアル情報は少なくっている。
【００３１】
図１４は、一実施形態において正規化システムの処理を示すフロー図である。ブロック１４０５において、システムはテーブルのレイアウトと向きを記述した制約条件を受信する。ブロック１４１０において、システムは現在発言中の参加者を検出する。ブロック１４１５において、システムは発言中の参加者を指すようにカメラを位置づけ、参加者のサイズが正規化されるように参加者の画像を生成する。そのあと、システムは完了する。
【００３２】
以上の説明から理解されるように、例示を目的に正規化システムの特定の実施形態について説明してきたが、本発明の精神と範囲から逸脱しない限り種々の変更を行なうことが可能である。例えば、種々タイプのカメラとテレビ会議エンドポイントをシステムによって使用することが可能である。具体的には、パノラマカメラと非パノラマカメラの両方を使用した手法を説明してきたが、静止カメラ、ビデオカメラ、赤外線カメラなどの他のタイプのカメラを使用することも可能である。複数の形状およびレイアウトのテーブルを正規化システムで使用できるが、形状としては、長方形、四角形、円形、楕円形などがある。システムはテレビ会議のコンテキストの中で説明してきたが、上述した手法は他の状況でも等しく適用可能である。例えば、システムはショッピングモールの買物客、動物園の動物、教室の参加者、あるいは他のセッティングをモニタするために使用できる。本明細書の中で説明されている参加者とは、カメラによって得られる画像の中で描写される対象物のことであり、人、動物などにすることができる。会議参加者のサイズを正規化するプロセスは、特定の会議参加者のサイズを拡大するズームを中心にして説明してきたが、大きな画像を得るために参加者の近くにカメラを移動させることも可能である。従って、本発明は請求項による以外は限定されない。
【図面の簡単な説明】
【００３３】
【図１】テレビ会議をサポートするように正規化システムを２ロケーションでセットアップするときの代表的なシナリオを示す図である。
【図２】一実施形態において正規化システムを使用した会議室のセットアップを示す図である。
【図３】正規化システムの代表的なセットアップの上面図と側面図を使用して一般的カメラ位置づけ用語を示す図ある。
【図４】一実施形態においてパノラマカメラ画像からのＣＩＦ画像の抜粋を示す図である。
【図５】一実施形態において正規化システムのコンポーネントを示すブロック図である。
【図６】一実施形態において正規化システムのAutoPanTiltZoomコンポーネントの処理を示すフロー図である。
【図７】一実施形態において正規化システムの方位角検出(detect azimuth)コンポーネントの処理を示すフロー図である。
【図８】一実施形態においてＳＳＬコンポーネントによる発言者位置の位置検出のためのマイクロホンアレイの使用を示す図である。
【図９ａ】正規化システムのＭＰＤコンポーネントによって出力されたアウトプットを示す図である。
【図９ｂ】正規化システムのＭＰＤコンポーネントによって出力されたアウトプットを示す図である。
【図１０】方位角検出コンポーネントの代表的な呼び出しで検出される確率のグラフを示す図である。
【図１１】一実施形態において仰角検出(detect elevation)コンポーネントの処理を示すフロー図である。
【図１２】一実施形態においてレンジ検出(detect range)コンポーネントの処理を示すフロー図である。
【図１３ａ】正規化システムを使用した場合と使用しない場合の画像を示す図である。
【図１３ｂ】正規化システムを使用した場合と使用しない場合の画像を示す図である。
【図１４】一実施形態において正規化システムの処理を示すフロー図である。
【図１】
2008545331.tif 000003
【図２】
2008545331.tif 000004
【図３】
2008545331.tif 000005
【図４】
2008545331.tif 000006
【図５】
2008545331.tif 000007
【図６】
2008545331.tif 000008
【図７】
2008545331.tif 000009
【図８】
2008545331.tif 000010
【図９ａ】
2008545331.tif 000011
【図９ｂ】
2008545331.tif 000012
【図１０】
2008545331.tif 000013
【図１１】
2008545331.tif 000014
【図１２】
2008545331.tif 000015
【図１３ａ】
2008545331.tif 000016
【図１３ｂ】
2008545331.tif 000017
【図１４】
2008545331.tif 000018
【国際調査報告】
2008545331.tif 000019