(57)【要約】高解像度のテレビ会議のためのシステムと方法が示され、説明される。ビデオカメラ（１１０／１１６）又はセンサーと、複数のマイクロフォン（２１４）及びスピーカー（２１０ａ−２１０ｄ）と、音声（３１２）及び通信（３１８）処理エンジンを含む送信ステーション（１０２）と受信ステーション（１０４）が開示される。複数の映像ストリームが生成されることを可能にするシステムを通じて映像が処理され、転送され、テレビ会議システムに関する場所を示すことで音声が再生されることを可能にするシステムを通じて音声が処理され、転送される。
2004538724.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得するビデオセンサーと、
音源に応じて音声信号を生成する複数のマイクロフォンと、
前記ビデオセンサーと前記複数のマイクロフォンにつなげられ、少なくとも１つの映像ストリームと音源の位置を示す位置信号を生成する処理エンジンと
を有するテレビ会議装置。
【請求項２】
請求項１に記載のテレビ会議装置であって、
前記ビデオセンサーにつなげられ、ビデオセンサーと映像表示出力との間のフェーズを同期するフェーズ同期エンジンを更に有するテレビ会議装置。
【請求項３】
請求項１に記載のテレビ会議装置であって、
前記処理エンジンにつなげられ、音声信号と位置信号と少なくとも１つの映像ストリームをリモートのテレビ会議装置に送信する通信インタフェースを更に有するテレビ会議装置。
【請求項４】
請求項１に記載のテレビ会議装置であって、
前記複数のマイクロフォンから受信された電気信号又は電流信号の大きさの違いに基づいて前記位置信号が生成されるテレビ会議装置。
【請求項５】
請求項１に記載のテレビ会議装置であって、
前記処理エンジンが映像処理エンジンを更に有し、
前記映像処理エンジンが複数の画像セクションを規定し、前記複数の画像セクションに対応するそれぞれの複数の映像ストリームを生成するテレビ会議装置。
【請求項６】
請求項１に記載のテレビ会議装置であって、
音源の位置が変更すると、処理エンジンが位置の変更を反映する新たな位置信号を生成するテレビ会議装置。
【請求項７】
請求項２に記載のテレビ会議装置であって、
前記位置信号に応じてリモートのテレビ会議装置が１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生するテレビ会議装置。
【請求項８】
請求項１に記載のテレビ会議装置であって、
前記複数のマイクロフォンがｎ方向の構成で配置されるテレビ会議装置。
【請求項９】
請求項１に記載のテレビ会議装置であって、
前記複数のマイクロフォンが垂直の配列で配置されるテレビ会議装置。
【請求項１０】
請求項５に記載のテレビ会議装置であって、
前記処理エンジンが、前記複数の画像セクションのうちの第１の画像セクションを、第１の解像度を有する第１の映像ストリームに調整し、前記複数の画像セクションのうちの第２の画像セクションを、第２の解像度を有する第２の映像ストリームに調整するテレビ会議装置。
【請求項１１】
請求項１に記載のテレビ会議装置であって、
更に大きい角度のビュー角度を提供するために、前記ビデオセンサーにつなげられたパン（ｐａｎ）モーターを更に有するテレビ会議装置。
【請求項１２】
テレビ会議システムにおいて会議データを送信する方法であって、
ビデオセンサーで画像を取得し、前記画像から少なくとも１つの映像ストリームを生成し、
複数のマイクロフォンで音声データを取得し、音声信号を生成し、
前記音声データの大きさの違いに基づいて音源の位置を示す位置信号を生成し、
通信チャネルを介して位置信号と音声信号と少なくとも１つの映像ストリームを送信することを有する方法。
【請求項１３】
請求項１２に記載の方法であって、
前記位置信号に応じてリモートのテレビ会議装置の１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生することを更に有する方法。
【請求項１４】
請求項１２に記載の方法であって、
ビデオセンサーと映像表示出力との間のフェーズを同期することを更に有する方法。
【請求項１５】
請求項１２に記載の方法であって、
複数の画像セクションを規定し、前記複数の画像セクションに対応するそれぞれの複数の映像ストリームを生成することを更に有する方法。
【請求項１６】
請求項１２に記載の方法であって、
位置の変更を反映する新たな位置信号を生成することを更に有する方法。
【請求項１７】
請求項１４に記載の方法であって、
前記複数の画像セクションのうちの第１の画像セクションを、第１の解像度を有する第１の映像ストリームに調整し、前記複数の画像セクションのうちの第２の画像セクションを、第２の解像度を有する第２の映像ストリームに調整することを更に有する方法。
【請求項１８】
画像を取得し、前記画像から少なくとも１つの映像ストリームを生成する手段と、
音声を取得し、音声信号を生成する手段と、
前記音声データの大きさの違いに基づいて音源の位置を示す位置信号を生成し、前記位置信号に応じて前記位置信号がリモートのテレビ会議システムの１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生する手段と、
通信チャネルを介して位置信号と音声信号と少なくとも１つの映像ストリームを送信する手段と
を有するテレビ会議装置。
【請求項１９】
プログラムに具体化された電子的読み取り可能媒体であって、
前記プログラムが会議データを送信する方法のステップを実行する機械によって実行可能であり、
前記方法のステップが、
ビデオセンサーで画像を取得し、前記画像から少なくとも１つの映像ストリームを生成し、
複数のマイクロフォンで音声データを取得し、音声信号を生成し、
前記音声データの大きさの違いに基づいて音源の位置を示す位置信号を生成し、
通信チャネルを介して位置信号と音声信号と少なくとも１つの映像ストリームを送信することを有する電子的読み取り可能媒体。
【請求項２０】
請求項１９に記載の電子的読み取り可能媒体であって、
前記方法のステップが、前記位置信号に応じてリモートのテレビ会議システムの１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生することを更に有する電子的読み取り可能媒体。
【請求項２１】
請求項１９に記載の電子的読み取り可能媒体であって、
前記方法のステップが、複数の画像セクションを規定し、前記複数の画像セクションに対応するそれぞれの複数の映像ストリームを生成することを更に有する電子的読み取り可能媒体。
【請求項２２】
請求項１９に記載の電子的読み取り可能媒体であって、
前記方法のステップが、前記複数の画像セクションのうちの第１の画像セクションを、第１の解像度を有する第１の映像ストリームに調整し、前記複数の画像セクションのうちの第２の画像セクションを、第２の解像度を有する第２の映像ストリームに調整することを更に有する電子的読み取り可能媒体。
【発明の詳細な説明】
【０００１】
［関連出願との相互参照］
本出願は、２００１年８月７日に出願された“高解像度のテレビ会議バー（Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ  Ｖｉｄｅｏ  Ｃｏｎｆｅｒｅｎｃｉｎｇ  Ｂａｒ）”という題名の仮特許出願第６０／３１０，７４２号の優先権の利益を主張する。
［発明の背景］
１．発明の分野
本発明は概して会議システムに関するものであり、特に高解像度のテレビ会議システムに関するものである。
２．背景技術の説明
従来、テレビ会議システムは、遠隔の会議場所への送信のための会議参加者の画像を取得するためにビデオカメラを利用する。従来の（静止又は可動）ビデオカメラは、同時に特定の場所で会議場所の１つの画像又は１つのビューのみを取得することができる。同時に異なる場所で会議場所の異なる画像又はビューを取得するために、従来のビデオカメラは、カメラの回転方向を調整する装置を有利に備えている場合がある。カメラをほぼ２つの直交軸に回転するように設計された位置合わせ装置は、一般的に２つのアクチュエータを利用する。第１のアクチュエータは、ほぼ垂直軸にカメラを回転し、第２のアクチュエータは、カメラの垂直軸と直角のほぼ水平軸にカメラを回転する。従って、ほぼ水平軸へのカメラの回転は“パニング（ｐａｎｎｉｎｇ）”と称され、ほぼ垂直軸へのカメラの回転は、“チルティング（ｔｉｌｔｉｎｇ）”と称される。したがって、カメラをほぼ水平及び垂直軸に回転する装置は、一般的に“パン／チルト（ｐａｎ／ｔｉｌｔ）位置合わせ装置”と称される。更に、話し中の会議参加者の画像のような特に関心の高い画像又はビューを取得するために、従来のビデオカメラは、ズーム機能を実行する一式のズームレンズを必要とし、その結果、“パン／チルト／ズーム（ｐａｎ／ｔｉｌｔ／ｚｏｏｍ）”（“ＰＺＴ”）カメラになる。
【０００２】
不都合なことに、従来のＰＺＴカメラは多数の欠点を有する。第１に、位置合わせ装置の機械的構成要素の動きは、実質的な量のノイズを生成し得る。前記動きとノイズは会議参加者に不快であり、気を散らす。更に重要なことに、ノイズは話し中の参加者の方向にカメラを自動的に向けるために利用される音響位置測定技術に干渉し得る。第２に、位置合わせ装置の機械的構成要素は、磨耗又は手荒な取り扱いのため調整不良や破損の影響を受けやすく、それによって、位置合わせ装置が一部又は全部において動作不能になる。更なる不利点は、位置合わせ装置の製造における複雑さであり、そのため、高製造コストとその結果の高消費者価格を生ずる。
【０００３】
技術開発に伴い、テレビ会議システムの表示スクリーンのサイズは大きくなってきている。その結果、表示スクリーンの参加者の話す人の位置が広範囲の領域で変わり得る。しかし、不都合なことに、位置が広範囲の領域で変わると、従来のテレビ会議システムは新たな参加者の話す人の位置に調整することができない。
【０００４】
従って、複雑な機械的構造を有することなく、会議場所の複数のビューを取得するテレビ会議システム及び方法についての必要性が存在する。話す人の位置に関連する音響を調整するテレビ会議システム及び方法についての更なる必要性も存在する。
［発明の概要］
本発明は、音源に応じて音声信号を生成する複数のマイクロフォンと、音源の位置を示す位置信号を生成し、音声信号を処理する音声処理エンジンと、通信チャネルに音声信号及び位置信号を送信する通信インタフェースとを含み、第１の場所に設置された送信ステーションを有するテレビ会議システムを提供する。テレビ会議システムの複数のマイクロフォンは、垂直の配列及びｎ方向の構成で配置され得る。テレビ会議システムはまた、通信チャネルから音声信号及び位置信号を受信する通信インタフェースと、音声信号を再生する複数のスピーカーと、位置信号に応じてスピーカーの１つを選択的に駆動し、選択されたスピーカーで音声信号を再生する音声処理エンジンとを含み、第２の場所に設置された受信ステーションを有し得る。
【０００５】
テレビ会議システムで生成された位置信号は、複数のマイクロフォンから受信された電気信号又は電流信号の大きさの違いに基づく。音源の位置が変更すると、音声処理エンジンは位置の変更を反映する新たな位置信号を生成する。
【０００６】
送信ステーションの通信インタフェースは、音声信号と位置信号をコード化し、圧縮する通信処理エンジンと、通信チャネルを通じて音声信号及び位置信号を送信する送受信装置とを含む。逆に、受信ステーションの通信インタフェースは、通信チャネルを通じて音声信号及び位置信号を受信する送受信装置と、音声信号と位置信号をデコードし、解凍する通信処理エンジンとを含む。
【０００７】
他の実施例において、テレビ会議システムは、画像を生成する高解像度のビデオセンサーと、高解像度の画像を保存する映像メモリと、ビデオセンサーから映像メモリに画像データをロードするデータロードエンジンとを含み、第１の場所に設置された送信ステーションを有する。更に、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）／特定用途向け集積回路（ＦＰＧＡ／ＡＳＩＣ）が映像メモリとデータロードエンジンにつなげられる。ＦＰＧＡ／ＡＳＩＣは映像メモリに保存された高解像度画像内で第１の画像セクションと第２の画像セクションを規定する。更に、ＦＰＧＡ／ＡＳＩＣは第１の解像度で第１の映像ストリームに合わせて第１の画像セクションを調整し、第２の解像度で第２の映像ストリームに合わせて第２の画像セクションを調整し得る。ＦＰＧＡ／ＡＳＩＣにつなげられた通信インタフェースは第１の映像ストリームと第２の映像ストリームを通信チャネルに送信する。テレビ会議システムはまた、通信チャネルから第１の映像ストリームと第２の映像ストリームを受信する通信インタフェースを含み、第２の場所に設置された受信ステーションを有し得る。受信ステーションは、第１の映像ストリームと第２の映像ストリームを処理し、第１の解像度で第１の画像として第１の映像ストリームを表示し、第２の解像度で第２の画像として第２の映像ストリームを表示する映像処理エンジンを更に含み、通信インタフェースにつなげられる。
【０００８】
この実施例における送信ステーションの通信インタフェースは、第１と第２の映像ストリームをコード化し、圧縮する通信処理エンジンと、通信チャネルを通じて第１と第２の映像ストリームを送信する送受信装置とを有する。逆に、本実施例の受信ステーションの映像処理エンジンは、第１の映像ストリームと第２の映像ストリームを保存する映像メモリと、受信ステーションの通信インタフェースから第１の映像ストリームと第２の映像ストリームをロードするデータロードエンジンと、映像メモリに保存された高解像度の画像に基づいて第１と第２の画像データストリームを表示するＦＰＧＡ／ＡＳＩＣとを有する。
【０００９】
更に他の実施例において、テレビ会議システムは、通信チャネルから映像信号を受信する通信インタフェースと、映像信号に応じて映像表示出力を生成する映像処理エンジンと、映像表示出力を表示する映像ディスプレイとを有し、第１の場所に設置された受信ステーションを有する。テレビ会議システムは、映像信号を生成するビデオカメラと、映像信号を処理する映像処理エンジンと、送信ステーションのビデオカメラと受信ステーションの映像表示出力の間のフェーズを同期するフェーズ同期エンジンと、通信チャネルに映像信号を送信する通信インタフェースとを有し、第２の場所に設置された送信ステーションを更に有し得る。
［発明の説明］
図１は、本発明による例示的なテレビ会議システム１００を示したものである。テレビ会議システム１００は、第１の会議ステーションと第２の会議ステーションを有する。第１の会議ステーション１０２は、音声入出力装置１０６と、１０８と、ビデオカメラ（又はビデオセンサー）１１０を有する。同様に、第２の会議ステーション１０４は、音声入出力装置１１２と、映像ディスプレイ１１４と、ビデオカメラ（又はビデオセンサー）１１６を有する。第１の会議ステーション１０２は、通信チャネル１１８を通じて第２の会議ステーション１０４と通信する。通信チャネル１１８は、インターネット、ＬＡＮ、ＷＡＮ、又は何らかの他の形式のネットワーク通信手段である可能性がある。図１は２つの会議ステーション１０２と１０４のみを示しているが、追加の会議ステーションがテレビ会議システム１００につなげられ得ることがその技術に熟練した人は認識するであろう。
【００１０】
図２は、本発明の一実施例により、図１の会議ステーション１０２と１０４と同様の例示的な会議ステーション２００を示したものである。会議ステーション２００は、ディスプレイ２０２と、高解像度会議バー２０４と、映像処理ユニット２０６とを有する。好ましくは、ディスプレイ２０２は、１６：９の視聴可能領域を備えた比較的大きいサイズのフラットスクリーン２０８を有する高解像度（“ＨＤ”）モニタである。その他、他の視聴領域の比率や、他の形式のディスプレイ２０２が検討され、用いられ得る。
【００１１】
好ましくは、高解像度のテレビ会議バー２０４は、複数のスピーカー２１０ａ−２１０ｄと、ビデオセンサー（例えばＣＭＯＳビデオセンサーのような高解像度デジタルビデオ画像センサー）２１２と、複数のマイクロフォン２１４とを含む。スピーカー２１０ａ−２１０ｄは、好ましくは２５０Ｈｚを越える周波数で動作する。しかし、スピーカー２１０ａ−２１０ｄは、本発明の多様な実施例と互換性がある何らかの他の周波数で動作し得る。一実施例において、会議バー２０４はおよそ幅が３６インチ、高さが２インチ、奥行が４インチであるが、会議バー２０４は何らかの他の寸法であってもよい。一般的に、会議バー２０４はディスプレイ２０２の先端より少し小さい幅の前面部２１８でディスプレイ２０２の上に設置されるように設計される。会議バー２０４の位置は、スピーカー２１０ａ−２１０ｄと、ビデオセンサー２１２と、複数のマイクロフォン２１４とをスクリーン２０８の近くにもたらし、ディスプレイ２０２の先端で位置の基準を提供する。他の会議バー２０４の位置も、本発明の範囲と目的と調和するように利用され得る。更に、図２には４つのスピーカーのみが示されているが、本発明においてそれよい多い又はそれより少ないスピーカーが利用され得る。
【００１２】
ビデオセンサー２１２は、７２０ｉ（すなわち、毎秒６０フィールドでインタレースされた１２８０×７２０）以上の好ましい解像度で、リアルタイムで複数の画像を出力することが可能であるが、本発明により他の解像度も考えられる。全会議場所を取得する約６５度のビューに基づき、ビデオセンサー２１２の解像度は十分である。更に広いビュー（９０度のビュー等）のために、限られた水平のパン（ｐａｎ）モーターが提供され得る。前記限られた水平のパン（ｐａｎ）モーターを提供することにより、高価で複雑な全ての機械的なパン／チルト／ズーム（ｐａｎ／ｔｉｌｔ／ｚｏｏｍ）カメラとレンズシステムを避けることができる。更に、純粋なデジタルズームが固定レンズに備えられ、最小のＣＩＦ（３５２×２８８）の解像度の画像を維持する一方で、８倍以上の有効なズームまでに対応し得る。
【００１３】
複数のマイクロフォン２１４は、会議バー２０４のビデオセンサー２１２の両側に設置され、図２に示すように、より良い順方向の特性を提供するｎ方向の構成で配置され得る。垂直のマイクロフォンが、ディスプレイ２０２の側面にオプションで配置され、垂直の位置基準を提供し得る。
【００１４】
会議バー２０４は、高速デジタルリンク２０５を介して処理ユニット２０６につなげられる。処理ユニット２０６は、好ましくは２５０Ｈｚ未満から５０−１００Ｈｚの周波数で動作するサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）装置を含み得る。処理ユニット２０６は、図３と共に更に詳細に説明される。処理ユニット２０６は会議バー２０４から分離して示されているが、その代わりに処理ユニット２０６は会議バー２０４に含まれ得る。
【００１５】
会議の参加者はビデオセンサー２１２を見ていると、又はその動きを見ていると不快に思う場合があるため、ビデオセンサー２１２の前面及び／又は会議バー２０４の他の部分にスモークガラス又は他のカバーが設置される場合があり、それによって会議の参加者がビデオセンサー２１２及び／又はスピーカー２１０ａ−２１０ｄ並びに複数のマイクロフォン２１４を見ることができなくなる。
【００１６】
図３は、本発明の一実施例により、図２の処理ユニット２０６を更に詳細に示した例示的なブロック図である。処理ユニット２０６は、好ましくは処理エンジン３０２と通信インタフェース２０４とサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）装置とを有する。処理エンジン３０２は、フェーズ同期エンジン３０８と映像処理エンジン３１０と音声処理エンジン３１２とを更に有する。フェーズ同期エンジン３０８は、送信遅延によって生じた悪影響を減少する又は最小限にすることが可能である。特に、ローカルの（又は第１の）会議ステーション１０２（図１）のビデオカメラ１１０（図１）は、リモートの（又は第２の）会議ステーション１０４（図１）の映像表示出力に関して不定のフェーズを有する。従って、リモートの会議ステーション１０４の映像表示出力は、ローカルの会議ステーション１０２に設置されたビデオカメラ１１０とフェーズの不一致がある場合がある。
【００１７】
更に、ローカルの会議ステーション１０２からリモートの会議ステーション１０４に供給側の映像信号を送信する際に、供給側の映像信号がローカルの会議ステーション１０２で生成される時間と供給側の映像信号がリモートの会議ステーション１０４で表示される時間との間の送信遅延が存在する。リモートの会議ステーション１０４の映像表示出力がローカルの会議ステーション１０２に配置されたビデオカメラ１１０とフェーズの不一致があると、送信遅延は補正できない。その結果、送信遅延がリモートの会議ステーション１０４の映像表示出力に加えられ、双方向テレビ会議にマイナスの効果を生じ得る。例えば、ローカルの会議ステーション１０２のユーザが一時停止後に話し始めると、送信遅延のためにリモートの会議ステーション１０４の参加者は一時停止中のユーザを依然として見る場合がある。リモートの会議ステーション１０４の何らかの参加者がこの時点でユーザを割り込むと、リモートの参加者とユーザがお互いに話すことになる。
【００１８】
有利には、本発明は、映像出力で送信遅延が補正又は減少され得るように、ローカルの会議ステーション１０２に設置されたビデオカメラ１１０とリモートの会議ステーション１０４の映像表示出力との間のフェーズを同期する。特に、テレビ会議中にローカルの会議ステーション１０２のビデオカメラ１１０が特定の頻度と速度で動き、リモートの会議ステーション１０４の映像表示出力に関してフェーズのずれを引き起こす。ローカルの会議ステーション１０２のビデオカメラ１１０の動きは、ビデオカメラ１１０と映像表示出力との間のフェーズを同期する基準として測定され、用いられ得る。フェーズ同期エンジン３０８は、フェーズ同期又は固定機能を実行するフェーズ同期モジュールを保存するメモリ装置３１４を有する。
【００１９】
動作中に、供給源の映像信号を送信するために、映像処理エンジン３１０はまずビデオセンサー２１２（又はビデオカメラ１１０）から高解像度の画像を受信し、ビデオメモリ（図示なし）に画像を保存する。映像処理エンジン３１０は、好ましくはビデオメモリに保存された高解像度画像内で２つの画像セクション（ビュー）を規定し、２つの画像セクション（ビュー）について２つのそれぞれの映像ストリームを生成する。その他、それより多い又は少ない画像セクションと対応する映像ストリームが考えられる。その後、映像処理エンジン３１０は２つの映像ストリームを通信インタフェース３０４に送信する。逆に、リモートの場所からリモートの映像信号を表示するために、映像処理エンジン３１０は通信インタフェース３０４から少なくとも２つの映像ストリーム（すなわち、映像ストリームＡ及びＢ）を受信する。その後、映像処理エンジン３１０は、映像ストリームＡ及びＢを処理し、２つの映像ストリームＡ及びＢについてスクリーン２０８に２つの画像のビューをそれぞれ表示する。
【００２０】
供給側の音声信号を送信するために、会議バー２０４の複数のマイクロフォン２１４（図２）のそれぞれが、音源（例えば話し中の参加者）から音を受信し、受信音を電気又は電流信号に変換する。音源と会議バー２０４に関して異なる位置に複数のマイクロフォン２１４が設置されているため、複数のマイクロフォン２１４の電気信号又は電流信号が異なる大きさを有する。電気信号又は電流信号の大きさの違いは音源の位置を示す。複数のマイクロフォン２１４から電気信号又は電流信号を受信すると、音声処理エンジン３１２は音声信号と位置信号を生成する。位置信号は会議バー２０４に関する話す人の位置を示す情報を有し得る。音源の位置が変わると、音声処理エンジン３１２は新しい位置信号を生成し、位置の変更を反映する。その後、音声処理エンジン３１２は音声信号と位置信号を通信インタフェース３０４に送信する。
【００２１】
逆に、リモートの場所からリモートの音声信号を再生するために、音声処理エンジン３１２は、まず通信インタフェース３０４から音声信号と位置信号を受信する。その後、音声処理エンジン３１２が位置信号に応じて会議バー２０４の１つ以上のスピーカー２１０ａ−２１０ｄ（図２）を駆動し、映像処理エンジン３１０がスクリーン２０８に１つ以上の画像を表示する。会議バー２０４のスピーカー２１０ａ−２１０ｄは、スクリーン２０８に表示された話し中の参加者の位置に基づいて選択される。スクリーン２０８が比較的大きいサイズを有しているため、音が話し中の参加者の位置から来ることがわかるようにすることによって本発明がテレビ会議を改善する。２５０Ｈｚより上の周波数内の音は指向的な特性を有するため、会議バー２０４のスピーカーの配列におけるスピーカー２１０ａ−２１０ｄは一般的に２５０Ｈｚより上の周波数で動作することに留意すべきである。従って、映像処理ユニット２０６に設置されたサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）装置３０６（図３）は、２５０Ｈｚ未満から５０−１００Ｈｚまでの周波数内の音が指向性を有さないため、好ましくはその周波数で動作する。本発明はサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）装置３０６を有するものとして説明されるが、その技術に熟練した人はサブウーファー（ｓｕｂ−ｗｏｏｆｅｒ）装置３０６が本発明の動作及び機能に必要ないことがわかる。本発明において何らかの周波数帯の音が利用され得ることもまた、その技術に熟練した人がわかる。例えば、更に低い周波数が会議バー２０４のスピーカーの配列におけるスピーカー２１０ａ−２１０ｄに用いられ得る。
【００２２】
通信インタフェース３０４は、送受信装置３１６と通信処理エンジン３１８とを有する。音声信号と位置信号と２つの映像ストリームＡ及びＢとを含む通信信号の送信は、通信処理エンジン３１８を必要とし、音声処理エンジン３１２から音声信号と位置信号を受信し、映像処理エンジン３１０から２つの映像ストリームＡ及びＢを受信する。その結果、通信処理エンジン３１８は、通信信号をコード化し、圧縮して、それを送受信装置３１６に送信する。通信信号を受信すると、送受信装置３１６は通信チャネル１１８を通じて通信信号をリモートの場所に転送する。
【００２３】
逆に、音声信号と位置信号と２つの映像ストリームＡ及びＢを含む通信信号を受信するために、送受信装置３１６は通信チャネル１１８から通信信号を受信し、通信信号を通信処理エンジン３１８に転送する。その後、通信処理エンジン３１８は通信信号を回答し、デコードして、音声信号と位置信号と２つの映像データストリームを回復する。
【００２４】
図４は、図３の映像処理エンジン３１０の構成要素を示した例示的なブロック図である。映像処理エンジン３１０は、ビデオセンサー２１２（図２）につなげられたデータロードエンジン４０２と、映像メモリ４０４と、ＦＰＧＡ／ＡＳＩＣ４０６とを有する。データロードエンジン４０２がビデオセンサー２１２からビデオ画像データを受信し、映像メモリ４０４に保存し、ＦＰＧＡ／ＡＳＩＣ４０６がデータロードエンジン４０２と映像メモリ４０４を制御する。ビデオセンサー２１２は好ましくは高解像度のデジタル画像センサーであるため、ビデオセンサー２１２は大量の画像データを生成し得る。例えば、３，０００×２，０００の解像度でビデオセンサー２１２は１つの画像について６，０００，０００ピクセルを生成する。入力処理能力を増加させるために、データロードエンジン４０２は好ましくは６個の並列データチャネル１−６を有する。ＦＰＧＡ／ＡＳＩＣ４０６は前記６個の並列データチャネル１−６を通じて映像メモリ４０４に全画像ピクセルを供給するようにプログラムされる。ＦＰＧＡ／ＡＳＩＣ４０６はまた、選択可能な解像度で映像メモリ４０４に保存された画像上で少なくとも２つの画像セクション（ビュー）を規定し、２つの画像セクション（ビュー）について２つの映像ストリームをそれぞれ生成するようにプログラムされる。本発明の実施例は６個のデータチャネルを利用することを考えるが、何らかの数のデータチャネルが本発明によって使用され得る。更に、何らかの数の画像セクションと対応する映像ストリームが本発明で利用され得る。
【００２５】
図５は、ＦＰＧＡ／ＡＳＩＣ４０６（図４）によって規定され、ディスプレイ２０２（図２）で見られる本発明の一実施例による例示的な画像セクション（又はビュー）の構成である。図５において大きいセクションＡ５０２は７００×４００の解像度を有する画像の全てのビューを規定し、小さいセクションＢ５０４は、リモートの会議ステーションから話し中の参加者が表示される３００×２００の解像度を有するビューを規定する。映像メモリ４０４（図４）に保存された画像に基づき、ＦＰＧＡ／ＡＳＩＣ４０６は全画像を７００×４００の解像度に縮小し、大きいセクションＡ５０２のための映像ストリームＡ（図３）を作る。その後、ＦＰＧＡ／ＡＳＩＣ４０６はセクションＢ５０４の画像を３００×２００の解像度に縮小し、映像ストリームＢ（図３）を作る。映像メモリ４０２に保存された画像は、比較的高解像度を有するため、２つの縮小された画像は依然として良い解像度の質を示す。本発明において他の解像度が利用され得ることがその技術に熟練した人は認識するであろう。
【００２６】
有利には、本発明は会議場所の全画像を生成し、全画像のうちの何らかの任意のセクションからビューをズームすることが可能である。更に、１つの画像について少なくとも２つの映像ストリームが生成されるため、特定の話し中の参加者を示すはめ込みのズームされたビュー（例えばセクションＢ５０４）と共に、会議場所の全参加者を含む広角度の高解像度の画像（例えばセクションＡ５０２）を送信することが可能である。その他、単一の画像からそれより多い又は少ないストリームが作られ、その結果それより多い又は少ないビューが表示され得る。従って、本発明は従来の機械的なパン／チルト／ズーム（ｐａｎ／ｔｉｌｔ／ｚｏｏｍ）カメラに代わって用いられ得る。
【００２７】
現在の技術で、一般的なＣＭＯＳビデオセンサーは、およそ６５度のビューの角度を有効に提供し得る。実際には、９０度のビューの角度が必要になる場合がある。従って、小さく安価なパン（ｐａｎ）モーターが水平方向にＣＭＯＳビデオセンサーを動かすために用いられ得る。しかし、ＣＭＯＳビデオセンサーの動きと結果として生じるノイズが比較的小さいため、その動きと結果として生じるノイズは会議の参加者にほとんど目立たない。技術の発達でＣＭＯＳビデオセンサーはコスト効率の良い９０度のビュー角度を提供することができるであろう。
【００２８】
図６において、テレビ会議システムにおいて音声データを送信する処理を示した例示的なフローチャート６００が示されている。ステップ６１０において、受信音を電気信号又は電流信号に変換することによって音源に応じて、第１の場所の送信ステーションで複数のマイクロフォン２１４（図２）によって音声信号が生成される。次に、ステップ６２０で音源の位置を示す位置信号が生成される。送信ステーションからの音源の位置に応じて、電流信号は特定の大きさを有する。電流信号の大きさに基づいて音声処理エンジン３１２（図３）が位置信号を規定する。その後、音声信号及び位置信号が通信インタフェース３０４（図３）に送信され、ステップ６３０で通信処理エンジン３１８（図３）によって処理される。前記処理は、送信のために音声信号及び位置信号を圧縮し、コード化することを含み得る。その後、ステップ６４０において、音声信号及び位置信号が、インターネットや、ＬＡＮや、ＷＡＮや、何らかの形式のネットワーク通信手段のような通信チャネルを通じて送受信装置によって送信される。ステップ６５０において、第２の場所の受信ステーションの送受信装置が音声信号及び位置信号を受信する。ステップ６６０で通信処理エンジンが音声信号及び位置信号を処理し、そのことは再生のための音声信号及び位置信号を解凍し、デコードすることを有し得る。その後、ステップ６７０において、位置信号に基づいて受信ステーションの１つ以上のスピーカーが音声信号を再生するために駆動される。スピーカーのうちの１つの音声信号の再生により音源の位置から音声信号が来ることがわかるようになるため、音声処理エンジンによって生成された位置信号が更に現実的なテレビ会議の状況を作り出す。その後、ステップ６８０において、更なるテレビ会議が生じているかどうかをシステムが決定する。会議が続く場合には、システムがステップ６１０から６７０を繰り返す。
【００２９】
図７において、テレビ会議システムで高解像度の画像を送信する処理を示した例示的なフローチャート７００が示されている。ステップ７１０において、ビデオカメラ又はビデオセンサーが高解像度の画像を取得する。その後、高解像度の画像がロードされ、ビデオカメラ又はビデオセンサーから映像メモリに保存される。次にステップ７２０で画像が映像ストリームに変換される。映像メモリに保存された高解像度の画像内で、第１と第２の画像セクションが最初に送信ステーションの映像処理エンジンによって規定される。その後、第１と第２の画像セクションが第１の解像度を有する第１の映像ストリームと第２の解像度を有する第２の映像ストリームとに変換される。変換は映像処理エンジン３１０（図３）のＦＰＧＡ／ＡＳＩＣ４０６（図４）によって実行され、第１の画像セクションを７００×４００の解像度を有する第１の映像ストリームに変換し、第２の画像セクションを３００×２００の解像度を有する第２の映像ストリームに変換する。本発明において他の解像度も利用される場合があり、２つより多い又は少ない画像セクションと２つより多い又は少ない映像ストリームもまた利用され得ることが、その技術に熟練した人は認識するであろう。
【００３０】
ステップ７３０において、映像ストリームは送信ステーションの通信処理エンジンによって処理される。前記処理は送信のためにストリームのコード化と圧縮を有し得る。一般的に映像データの更に高速な送信を可能にするために、映像ストリームがコード化され、圧縮される。次にステップ７４０において、処理された映像ストリームが通信チャネルを通じて受信ステーションに送信される。通信チャネルは何らかのパケット交換網、（非同期転送モード（“ＡＴＭ”）ネットワークのような）回線交換網、又は周知のインターネットを含むデータを運ぶ何らかの他のネットワークである場合がある。通信チャネルはまた、インターネット、エクストラネット、ローカルエリアネットワーク、又はその技術において周知の他のネットワークである場合がある。ステップ７５０において、映像ストリームが受信ステーションの映像処理エンジンによってデコードされ、解凍され、受信ステーションの映像ディスプレイに表示される。ステップ７６０において、更にテレビ会議が生じているかどうかをシステムが決定する。会議が続く場合には、システムはステップ７１０から７５０を繰り返す。音声と位置と映像のデータの送信を別のフローチャートと方法で説明したが、本発明は前記データの同時又はほぼ同時の送信を考慮する。
【００３１】
図８において、テレビ会議システムで映像信号を送信する他の処理を示した例示的なフローチャート８００が示されている。ステップ８１０において、ビデオカメラ又はビデオセンサーがビデオ画像を取得する。次に、ステップ８２０で映像信号が送信ステーションの通信エンジンで処理される。前記処理は映像信号のコード化と圧縮を含み得る。一般的に映像データの更に高速な送信を可能にするために、映像ストリームがコード化され、圧縮される。ステップ８３０において、フェーズ同期エンジンがビデオカメラと映像表示出力との間のフェーズを同期する。ビデオカメラと映像表示出力との間のフェーズの同期は、送信遅延によって引き起こされる悪影響を最小にすることを可能にする。特に、ビデオカメラが映像表示出力とフェーズの不一致がある場合には、送信ステーションのユーザが話し始めた後でもなお、受信ステーションの参加者が送信ステーションの一時停止中のユーザを依然として見る場合がある。
【００３２】
次に、ステップ８４０で映像信号が通信チャネルを介して受信ステーションに送信される。通信チャネルは何らかのパケット交換網、（非同期転送モード（“ＡＴＭ”）ネットワークのような）回線交換網、又は周知のインターネットを含むデータを運ぶ何らかの他のネットワークである場合がある。通信チャネルはまた、インターネット、エクストラネット、ローカルエリアネットワーク、又はその技術において周知の他のネットワークである場合がある。その後、ステップ８５０において、映像信号が受信ステーションの通信処理エンジンによって映像表示出力での表示のために処理される。前記処理は、映像信号のデコードと解凍を含み得る。デコードされ、解凍された映像信号に応じて映像表示出力が生成され、受信ステーションの映像ディスプレイに表示される。ステップ８６０において、更にテレビ会議が生じているかどうかをシステムが決定する。会議が続く場合には、システムはステップ８１０から８５０を繰り返す。
【００３３】
本発明は、例示的な実施例を参照して述べられた。実施例と共に開示された多様な特徴が別々に又は一緒に用いられる場合があり、多様な改良が行われる場合があり、本発明の更に広い範囲を逸脱することなく他の実施例が用いられ得ることが、その技術に熟練した人は認識するであろう。例えば、本発明の位置合わせ装置が好ましい実施例を参照して説明されたが、いくつもの環境と実施において本発明が有利に利用され得ることをその技術に通常に熟練した人が認識することがわかる。従って、ここで開示された発明の全範囲と意図を考慮して特許請求の範囲が解釈されるべきである。
【図面の簡単な説明】
【００３４】
【図１】本発明による例示的なテレビ会議システムを示したものである。
【図２】例示的な会議ステーションを示したものである。
【図３】図２の処理ユニットを更に詳細に示す例示的なブロック図である。
【図４】図３の映像処理エンジンの構成要素を示した例示的なブロック図である。
【図５】本発明による例示的なセクション（又はビュー）の構成である。
【図６】テレビ会議システムで音声を送信する例示的な処理を示したフローチャートである。
【図７】テレビ会議システムで高解像度の画像を送信する例示的な処理を示したフローチャートである。
【図８】テレビ会議システムで映像信号を送信する例示的な処理を示したフローチャートである。
【図１】
2004538724.tif 000003
【図２】
2004538724.tif 000004
【図３】
2004538724.tif 000005
【図４】
2004538724.tif 000006
【図６】
2004538724.tif 000007
【図７】
2004538724.tif 000008
【図８】
2004538724.tif 000009
【国際公開パンフレット】
2004538724.tif 000010
2004538724.tif 000011
2004538724.tif 000012
2004538724.tif 000013
2004538724.tif 000014
2004538724.tif 000015
2004538724.tif 000016
2004538724.tif 000017
2004538724.tif 000018
2004538724.tif 000019
2004538724.tif 000020
2004538724.tif 000021
2004538724.tif 000022
2004538724.tif 000023
2004538724.tif 000024
2004538724.tif 000025
2004538724.tif 000026
2004538724.tif 000027
2004538724.tif 000028
2004538724.tif 000029
2004538724.tif 000030
2004538724.tif 000031
2004538724.tif 000032
2004538724.tif 000033
2004538724.tif 000034
2004538724.tif 000035
2004538724.tif 000036
2004538724.tif 000037
【手続補正書】
【提出日】平成15年7月21日(2003.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像ディスプレイを備えたローカルのテレビ会議装置と、ネットワークを通じて相互接続された映像ディスプレイを備えたリモートのテレビ会議装置とを有するテレビ会議システムのためのローカルのテレビ会議装置であって、
画像を取得するビデオセンサーと、
音声を取得する複数のマイクロフォンと、
音声を生成する複数のスピーカーと
を有するテレビ会議バーであって、前記ビデオセンサーと前記マイクロフォンと前記スピーカーがテレビ会議バーの固定位置に配置されたテレビ会議バーと、
前記テレビ会議バーにつなげられた処理ユニットと、
前記処理ユニットとネットワークを介して他のテレビ会議装置とにつなげられた通信インタフェースとを有し、
前記処理ユニットが、前記ビデオセンサーから受信された信号から少なくとも１つの映像ストリームと、前記マイクロフォンから受信された信号から音声ストリーム及び音源の位置信号とを作るように動作し、
前記処理ユニットが、リモートのテレビ会議装置から少なくとも１つの映像ストリームと１つの音声ストリームと１つの音源の位置信号とを受信するように動作し、
前記処理ユニットが、前記受信された音声ストリームと音源の位置情報に従って前記複数のスピーカーを駆動し、音声を再生するように動作するテレビ会議装置。
【請求項２】
請求項１に記載のテレビ会議装置であって、
前記ビデオセンサーが高解像度の映像ストリームを作るように動作し、
前記第１の映像ストリームが第１の解像度であり、
前記処理ユニットが、第２の映像ストリームを作るように動作し、
前記第２の映像ストリームが第２の解像度であり、前記第１の映像ストリームの中の領域を表すテレビ会議装置。
【請求項３】
請求項２に記載のテレビ会議装置であって、
前記第１の映像ストリームの第１の解像度が７００×４００ピクセルであり、
前記第２の映像ストリームの第２の解像度が３００×２００ピクセルであるテレビ会議装置。
【請求項４】
請求項２に記載のテレビ会議装置であって、
前記ビデオセンサーの最大の解像度が３０００×２０００ピクセルであるテレビ会議装置。
【請求項５】
請求項２に記載のテレビ会議装置であって、
前記第２の映像ストリームが話し中のテレビ会議の参加者の画像を表すテレビ会議装置。
【請求項６】
請求項５に記載のテレビ会議装置であって、
前記話し中のテレビ会議の参加者が変更すると、前記第２の映像ストリームが話し中のテレビ会議の参加者を追い、変更するテレビ会議装置。
【請求項７】
請求項１に記載のテレビ会議装置であって、
前記処理ユニットが、前記複数のマイクロフォンから受信された音声信号の大きさの違いに基づいて位置信号を生成するように動作するテレビ会議装置。
【請求項８】
請求項１に記載のテレビ会議装置であって、
前記処理ユニットが、前記ビデオセンサーからの信号のフェーズと、リモートの映像ディスプレイに表示するためのリモートのテレビ会議装置による映像ストリームの出力とを同期するように動作するテレビ会議装置。
【請求項９】
請求項１に記載のテレビ会議装置であって、
前記処理ユニットが、前記リモートのテレビ会議装置から受信された位置信号に応じて１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生することによって、前記受信された音声信号と音源の位置信号に従って前記複数のスピーカーを駆動し、音声を再生するように動作するテレビ会議装置。
【請求項１０】
請求項１に記載のテレビ会議装置であって、
前記複数のマイクロフォンがテレビ会議バーにおいてｎ方向の構成で配置されるテレビ会議装置。
【請求項１１】
請求項１に記載のテレビ会議装置であって、
テレビ会議バーが、その中身がテレビ会議の参加者に見えず、映像ディスプレイの上に置かれるように動作するように水平方向に囲まれたテレビ会議装置。
【請求項１２】
請求項１１に記載のテレビ会議装置であって、
複数のマイクロフォン及びスピーカーを有する２つの側面のバーを更に有し、
前記２つの側面のバーが垂直方向であり、映像ディスプレイの両側に配置されるように動作するテレビ会議装置。
【請求項１３】
請求項１に記載のテレビ会議装置であって、
前記ビデオセンサーが広い視野の角度を有するテレビ会議装置。
【請求項１４】
請求項１３に記載のテレビ会議装置であって、
前記広い視野の角度が６５度であるテレビ会議装置。
【請求項１５】
請求項１３に記載のテレビ会議装置であって、
前記ビデオセンサーの視界の角度を増加させるためにパン（ｐａｎ）モーターを更に有するテレビ会議装置。
【請求項１６】
テレビ会議のための方法であって、
複数のテレビ会議装置がネットワークを通じて相互接続され、
各テレビ会議装置が、ビデオセンサーと、複数のマイクロフォン及びスピーカーと、処理ユニットと、映像ディスプレイと、ネットワークインタフェースとを有するテレビ会議バーを有し、
前記テレビ会議バーのビデオセンサーでビデオ画像を取得し、
前記テレビ会議バーのマイクロフォンで音声信号を取得することを有する方法であって、
前記処理ユニットが前記ビデオ画像と前記音声信号を受信し、
前記ビデオ画像から第１の映像ストリームと、前記音声信号から音声ストリーム及び音声位置信号とを生成し、
前記第１の映像ストリームと音声ストリームと音声位置信号をリモートの会議装置に送信し、
リモートの会議装置からリモートの映像ストリームとリモートの音声ストリームとリモートの音声位置信号を受信し、
映像ディスプレイに表示するために前記リモートの映像ストリームの出力を提供し、
前記スピーカーを駆動し、前記リモートの音声ストリームと前記リモートの音声位置信号に従って音声を再生する方法。
【請求項１７】
請求項１６に記載の方法であって、
前記ビデオ画像が高解像度であり、
前記第１の映像ストリームが第１の解像度である方法。
【請求項１８】
請求項１７に記載の方法であって、
前記処理ユニットが第２の映像ストリームを生成し、
前記第２の映像ストリームが第２の解像度であり、前記第１の映像ストリーム中の領域を表すことを更に有する方法。
【請求項１９】
請求項１８に記載の方法であって、
前記第２の映像ストリームが話し中のテレビ会議の参加者の画像を表す方法。
【請求項２０】
請求項１６に記載の方法であって、
前記音声位置信号が、前記複数のマイクロフォンから受信された音声信号の大きさの違いに基づいて生成される方法。
【請求項２１】
請求項１６に記載の方法であって、
前記処理ユニットが、前記ビデオセンサーからの信号のフェーズと、リモートの映像ディスプレイに表示するためのリモートのテレビ会議装置による映像ストリームの出力とを同期する方法。
【請求項２２】
請求項１６に記載の方法であって、
前記処理ユニットが、前記リモートのテレビ会議装置から受信された位置信号に応じて１つ以上のスピーカーを選択的に駆動し、前記少なくとも１つの映像ストリームの画像に対応する音声信号を再生することによって、前記受信された音声ストリームと音声位置信号に従って前記複数のスピーカーを駆動し、音声を再生する方法。
【国際調査報告】
2004538724.tif 000038