(57)【要約】  本発明は、１つの非機械的カメラ（ｎｏｎ−ｍｅｃｈａｎｉｃａｌ  ｃａｍｅｒａ）を用いた、多数ディスプレーと画像レイアウトのユーザー制御と、の提供に於いてビデオ圧縮技術を利用する。本発明の好ましい実施例に依れば、該カメラにより取り込まれた総合的光景内の関心のある小部分が、該主画像の予測に基づいて符号化される。実施例の１側面では、該符号化過程での残余を提供するために、その生データからその予測を引き算する前に、拡張された解像度の対応する生画素データとマッチするための該小部分内の予測される画素値のスケール合わせが行われる。第２の側面では、該総合的光景の符号化に対して該小部分を符号化する時、フレーム速度と量子化間隔の数とは増やされる。
2008515273.tif 000002
【特許請求の範囲】
【請求項１】
端末点の第１カメラにより取り込まれる総合的ビデオ光景であるが、符号化過程により処理される該総合的光景のビデオ画像を連続的に取り込む過程と、該総合的光景を表す第１の符号化されたビデオ信号を創る過程と、第１の現在のビデオ画像の少なくとも予測されるビデオ画像を発生する過程と、そして該第１の現在のビデオ画像から該予測されるビデオ画像を引き算する過程と、により、該総合的ビデオ光景内に境界により規定される、制御可能なズーム、パン及びチルトを伴う部分的ビデオ光景を提供する方法に於いて、該符号化過程が更に、
該総合的ビデオ光景内に該境界を規定する制御信号を受信する過程と、
該第１の現在のビデオ画像内又は第２カメラにより取り込まれた第２の現在のビデオ画像内で、該境界内に横たわる画素値の第１セットを抽出する過程と、
前記画素値の第１セットから画素値の第２セットを引き算することにより該部分的ビデオ画像の残余を創る過程と、
該符号化過程により該残余を更に圧縮することにより該部分的ビデオ光景を表す第２の符号化されたビデオ信号を創る過程と、を具備することを特徴とする該方法。
【請求項２】
前記画素値の第２セットが前記境界内に横たわる該予測されるビデオ画像から抽出された画素値であることを特徴とする請求項１の方法。
【請求項３】
該符号化過程が更に、
該第１及び第２の符号化されたビデオ信号を受信端末点へ送信する過程と、
該符号化過程に対応する復号過程を用いて該第１及び該第２の符号化されたビデオ信号を復号し、該総合的ビデオ光景及び該部分的ビデオ光景に帰着する過程と、を具備することを特徴とする請求項１の方法。
【請求項４】
該符号化過程が更に、前記受信端末点で該総合的ビデオ光景と該部分的ビデオ光景を表示する過程を具備することを特徴とする請求項３の方法。
【請求項５】
該符号化過程が更に下記過程、すなわち
前記画素値の第２セットとマッチするよう前記画素値の第１セットをスケール合わせする過程と、
前記画素値の第１セットとマッチするよう前記画素値の第２セットをスケール合わせする過程と、
の少なくとも１つを具備することを特徴とする前記請求項の１つの方法。
【請求項６】
該符号化過程が更に下記過程、すなわち
前記第２の符号化されたビデオ信号と組み合わされた第２のフレーム速度を該第１の符号化されたビデオ信号と組み合わされた第１のフレーム速度に対し調整する過程と、
前記第２の符号化されたビデオ信号と組み合わされた量子化間隔の第２数を該第１の符号化されたビデオ信号と組み合わされた量子化間隔の第１数に対し調整する過程と、
の少なくとも１つを具備することを特徴とする前記請求項の１つの方法。
【請求項７】
前記制御信号が該送信端末点に接続された第１選択デバイスから発することを特徴とする前記請求項の１つの方法。
【請求項８】
前記制御信号が前記受信端末点に接続された第２選択デバイスから発することを特徴とする請求項１−６の１つの方法。
【請求項９】
前記制御信号が該送信端末点のカメラ追跡機構により提供されることを特徴とする請求
項１−６の１つの方法。
【請求項１０】
該選択デバイスが遠隔制御器であることを特徴とする請求項７又は８の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ会議システム（ｖｉｄｅｏ  ｃｏｎｆｅｒｅｎｃｉｎｇ  ｓｙｓｔｅｍｓ）に関し、特にビデオ圧縮（ｖｉｄｅｏ  ｃｏｍｐｒｅｓｓｉｏｎ）と、画像レイアウト（ｐｉｃｔｕｒｅ  ｌａｙｏｕｔ）のユーザー制御（ｕｓｅｒ  ｃｏｎｔｒｏｌ）に関する。
【背景技術】
【０００２】
動画像（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ）の実時間（ｉｎ  ｒｅａｌ−ｔｉｍｅ）伝送（Ｔｒａｎｓｍｉｓｓｉｏｎ）は幾つかの応用、例えば、ビデオ会議、ネット会合（ｎｅｔ  ｍｅｅｔｉｎｇｓ）、テレビ放送（ＴＶ  ｂｒｏａｄｃａｓｔｉｎｇ）そしてビデオ電話通信システム（ｖｉｄｅｏ  ｔｅｌｅｐｈｏｎｙ）で使われる。
【０００３】
従来のビデオ会議の端末点（ｅｎｄ−ｐｏｉｎｔ）は、会議参加者（ｃｏｎｆｅｒｅｎｃｅ  ｐａｒｔｉｃｉｐａｎｔｓ）自身のみならず周囲の隣接テーブルの様な関心のある情景（ｓｃｅｎｅ  ｏｆ  ｉｎｔｅｒｅｓｔ）を取り込むために、カメラベースに連結された回転型カメラレンズシステム（ｃａｍｅｒａ  ｌｅｎｓ  ｓｙｓｔｅｍ  ｒｏｔａｒｙ）を有する。該カメラレンズシステムは該カメラレンズシステムが１つ以上の制御信号に応答して動き得る様な仕方で該カメラベースに連結されるのが典型的である。該カメラレンズシステムを動かすことにより、遠隔の会議参加者に提示される情景の光景（ｖｉｅｗ  ｏｆ  ｔｈｅ  ｓｃｅｎｅ）は該制御信号で変化する。
【０００４】
更に、該カメラレンズシステムはパン（ｐａｎ）し、チルト（ｔｉｌｔ）し、そしてズームインとズームアウト（ｚｏｏｍ  ｉｎ  ａｎｄ  ｏｕｔ）をする。“パン（Ｐａｎ）”とは右から左へか又は左から右へか何れかで軸線（すなわち、Ｘ軸線）に沿う水平カメラ移動（ｈｏｒｉｚｏｎｔａｌ  ｃａｍｅｒａ  ｍｏｖｅｍｅｎｔ）を呼ぶ。“チルト（Ｔｉｌｔ）”とは上へか又は下へか何れかで軸線（すなわち、Ｙ軸線）に沿う垂直カメラ移動（ｖｅｒｔｉｃａｌ  ｃａｍｅｒａ  ｍｏｖｅｍｅｎｔ）を呼ぶ。“ズーム（Ｚｏｏｍ）”は焦点長さ（ｆｏｃａｌ  ｌｅｎｇｔｈ）を変えることによるビデオ画像の視野（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）（すなわち、Ｚ軸線）を制御する。
【０００５】
“ズームイン動作（ｚｏｏｍｉｎｇ  ｉｎ）”と“ズームアウト動作（ｚｏｏｍｉｎｇ
ｏｕｔ）”により視野を機械的に変えるためにレンズモーター（ｌｅｎｓ  ｍｏｔｏｒ）が該レンズ機構に結合されている。該レンズモーターはレンズ制御器（ｌｅｎｓ  ｃｏｎｔｒｏｌｌｅｒ）の制御下でズーム機能を行う。該レンズモーターと、該カメラに組み合わされた他のモーター（すなわち、チルトモーター及びパンモータードライブ）と、は例えば、地理的（ｇｅｏｇｒａｐｈｉｃａｌｌｙ）に遠隔（ｒｅｍｏｔｅ）の参加者により見られる画像を機械的に操作（ｍａｎｉｐｕｌａｔｅ）するために電力を使う電気機械デバイス（ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ  ｄｅｖｉｃｅｓ）である。該チルトモーター及びドライブは該レンズシステムに含まれ、該遠隔参加者により見られる画像を垂直に動かす機械的手段を提供する。
【０００６】
該カメラにより取り込まれる（ｃａｐｔｕｒｅｄ）該ビデオ画像は、該会議の近端及び／又は遠端の側の何れかでのディスプレーモニター（ｄｉｓｐｌａｙ  ｍｏｎｉｔｏｒ）上で動作するディスプレー上に表示（ｄｉｓｐｌａｙｅｄ）される。該ディスプレーモニターはテレビジョン（ｔｅｌｅｖｉｓｉｏｎ）、コンピュータ（ｃｏｍｐｕｔｏｒ）、スタンドアロンディスプレー（ｓｔａｎｄ−ａｌｏｎｅ  ｄｉｓｐｌａｙ）（例えば、液晶ディスプレー、“ＬＣＤ”）等とすることが出来て、該ディスプレー上に表示される画像
を操作ためにユーザー入力を受信するよう構成されることが出来る。
【０００７】
従来の遠隔会議応用で使われる従来のカメラには固有の多くの欠点がある。電気機械的なパン用、チルト用及びズーム用デバイスは該カメラの製造に可成りのコスト（ｓｉｇｎｉｆｉｃａｎｔ  ｃｏｓｔ）を付加する。更に、これらのデバイスは又該カメラの全体的信頼性（ｏｖｅｒａｌｌ  ｒｅｌｉａｂｉｌｉｔｙ）を低下させる。各要素はそれ自身の故障率（ｆａｉｌｕｒｅ  ｒａｔｅ）を有するので、カメラの該全体的信頼性は各付加された電気機械的デバイスで有害な打撃（ｄｅｔｒｉｍｅｎｔａｌｌｙ  ｉｍｐａｃｔｅｄ）を受ける。これは主として機械的デバイスが不可動の電子的等価物（ｅｌｅｃｔｒｏｎｉｃ  ｅｑｕｉｖａｌｅｎｔｓ）より運動誘起性故障（ｍｏｔｉｏｎ−ｉｎｄｕｃｅｄ  ｆａｉｌｕｒｅ）を起こし勝ちだからである。
【０００８】
更に、画像を取り込み、表示するために予め決められたズーム及びサイズの設定に付随するプリセットされた光景間の切り替え（ｓｗｉｔｃｈｉｎｇ）は調整に或る時間（ｃｅｒｔａｉｎ  ｉｎｔｅｒｖａｌ  ｏｆ  ｔｉｍｅ）を要する。これは主としてプリセットされた光景間の切り替えに適合するため行われる機械的デバイス調整に付随する後れ時間（ｌａｇ  ｔｉｍｅ）のためである。例えば、最大ズームアウトはデータコンファレンスシステムのパワーアップ時にプリセットされている。次のプリセットボタンは、押されると、“普通のズーム（ｎｏｒｍａｌ  ｚｏｏｍ）”機能での予め決められた“パンライト（ｐａｎ  ｒｉｇｈｔ）”を含むことが出来る。従来のカメラでは、水平カメラ及びズームレンズ位置の変更に付随する機械的デバイスは該新プリセットレベルへ調整する時間を要し、かくして遠隔参加者に迷惑（ｉｎｃｏｎｖｅｎｉｅｎｃｉｎｇ）をかける。
【０００９】
ビデオ会議応用に使われる従来のカメラのもう１つの欠点は、該カメラが遠隔参加者に１つの光景を提供するよう主として設計されることである。例えば、もし遠隔参加者サイトで２つの光景、例えば、１つの概観画像（ｓｕｒｖａｙ  ｐｉｃｔｕｒｅ）と１つのズーム画像（ｚｏｏｍｅｄ  ｐｉｃｔｕｒｅ）、を有するディスプレーが要求されるなら、２つの独立に操作可能なカメラがかくして必要になる。
【００１０】
面と向かう会合（ｆａｃｅ  ｔｏ  ｆａｃｅ  ｍｅｅｔｉｎｇ）の参加者は通常視野を変える。典型的には、話し手、聞き手の１人、に焦点合わせすることにより、或いは全部の／幾人かの参加者の全体像（ｏｖｅｒｖｉｅｗ）を保つよう企てることによる。従来技術のビデオ会議機器は通常該遠隔側から１画像を持って来る。この画像はカメラ入力のスケールダウンした版（ｓｃａｌｅｄ  ｄｏｗｎ  ｖｅｒｓｉｏｎ）であることが多い。欠点は勿論視野間の急変更（ｑｕｉｃｋ  ｃｈａｎｇｅ）又は切り替え（ｓｗｉｔｃｈｉｎｇ）が不可能なことである。
【００１１】
特許文献１は、遠端又は近端（ｆａｒ−  ｏｒ  ｎｅａｒ−ｅｎｄ）からの制御信号に応答して取り込まれ、転送された画素の数を減じる／増やすことにより、カメラレンズの視角内でのデジタルズーム、パンそしてチルト用の方法と装置を開示している。この方法で、ユーザーは何等かの機械的変更を要すること無しにカメラを制御する感じを持つ。しかしながら、視認角内での画像部分の解像度（ｒｅｓｏｌｕｔｉｏｎ）は、該カメラの機械的ズームになお限定され、そして該カメラ内のセンサーから入手可能な画素の取り込みの多少から独立したスケール合わせはあり得ない。事実、該出願はビデオ会議応用で使われる従来技術のデジタルズームを単に開示しているに過ぎない。
【特許文献１】米国特許出願公開第１０／３５８，７５８号明細書
【発明の開示】
【課題を解決するための手段】
【００１２】
特に、本発明は、端末点（ｅｎｄ−ｐｏｉｎｔ）の第１カメラにより取り込まれた総合
的ビデオ光景（ｇｅｎｅｒａｌ  ｖｉｄｅｏ  ｖｉｅｗ）であるが、符号化過程（ｃｏｄｉｎｇ  ｐｒｏｃｅｓｓ）により処理される該総合的光景（ｇｅｎｅｒａｌ  ｖｉｅｗ）のビデオ画像（ｖｉｄｅｏ  ｉｍａｇｅ）を連続的（ｃｏｎｓｅｃｕｔｉｖｅｌｙ）に取り込む過程と、該総合的光景を表す第１の符号化されたビデオ信号を創る過程と、第１の現在のビデオ画像の少なくとも１つの予測されるビデオ画像を発生する過程と、そして該第１の現在のビデオ画像から該予測値（ｐｒｅｄｉｃｔｉｏｎ）を引き算（ｓｕｂｔｒａｃｔｉｎｇ）する過程とにより、該総合的ビデオ光景内の境界（ｂｏｕｎｄａｒｙ）により規定（ｄｅｆｉｎｅｄ）される、制御可能なズーム、パン及びチルトを伴う部分的ビデオ光景を提供する方法を開示しており、そこでは該符号化過程は更に、該総合的ビデオ光景内で該境界を規定する制御信号を受信する過程と、該第１の現在のビデオ画像内又は第２カメラにより取り込まれた第２の現在のビデオ画像内、の該境界内に横たわる画素値の第１セットを抽出（ｅｘｔｒａｃｔｉｎｇ）する過程と、そして前記画素値の第１セットから画素値の第２セットを引き算することにより該部分的ビデオ画像の残余（ｒｅｓｉｄｕａｌ）を創る過程と、そして該符号化過程に従って該残余を更に圧縮することにより該部分的ビデオ光景を表す第２の符号化されたビデオ信号を創る過程と、を具備することを特徴とする。
【実施例１】
【００１３】
下記では、好ましい実施例を説明し、随伴する図面を参照することにより本発明が論じられる。しかしながら、当業者は一緒に含まれる独立請求項（ｅｎｃｌｏｓｅｄ  ｉｎｄｅｐｅｎｄｅｎｔ  ｃｌａｉｍ）で規定される本発明の範囲内で他の応用と変型を実現するであろう。この説明を通して１つの選択された光景（ｓｅｌｅｃｔｅｄ  ｖｉｅｗ）が取り扱われる。本発明は選択される多数の光景に等しく適用可能である。
【００１４】
デジタルビデオが画像内の各画素を８ビット（１バイト）で表現することにより説明されるのが典型的なので、動画像の表現は大量の情報を要する。この様な圧縮されないビデオデータは大きなビット量に帰着し、従来の通信ネットワーク及び伝送ライン上では限られたバンド幅（ｂａｎｄｗｉｄｔｈ）のために実時間では転送（ｔｒａｎｓｆｅｒｒｅｄ）され得ない。
【００１５】
かくして、実時間のビデオ伝送を可能にすることは大規模なデータ圧縮（ｌａｒｇｅ  ｅｘｔｅｎｔ  ｏｆ  ｄａｔａ  ｃｏｍｐｒｅｓｓｉｏｎ）を要する。普通のビデオ符号化方法（Ｃｏｍｍｏｎ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｍｅｔｈｏｄ）はエムピーイージー（ＭＰＥＧ）２、エムピーイージー（ＭＰＥＧ）４、アイテーユー−テー／エイチ（ＩＴＵ−Ｔ／Ｈ）．２６１からエイチ（Ｈ）．２６４の様な標準（ｓｔａｎｄａｒｄｓ）で説明されている。該ビデオデータは伝送の前に４つの主な過程（ｍａｉｎ  ｐｒｏｃｅｓｓｅｓ）、すなわち予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）そしてエントロピー符号化（ｅｎｔｒｏｐｙ  ｃｏｄｉｎｇ）、を受ける。
【００１６】
予測過程は転送されるべきビデオシーケンス内の各画像に要するビット量を著しく減じる。それは該シーケンスの或る部分が該シーケンスの他の部分と類似していることを利用する。該予測部分（ｐｒｅｄｉｃｔｏｒ  ｐａｒｔ）は符号化器（ｅｎｃｏｄｅｒ）及び複合器（ｄｅｃｏｄｅｒ）の双方に既知であるから、その差だけが転送されればよい。この差はその表現用に遙かに小さな容量しか要しないのが典型的である。該予測は、その内容（ｃｏｎｔｅｎｔ）の位置が動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）により規定される、前に再生された画像（ｐｒｅｖｉｏｕｓｌｙ  ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）からの画像内容に主として基づいている。
【００１７】
本発明は、遠端に２つ以上のカメラを要すること無く、近端に遠端側の２つ又は多数の
表示（ｄｕａｌ  ｏｒ  ｍｕｌｔｉ  ｄｉｓｐｌａｙ）を提供するために、これらの符号化用技術の特性を利用する。本発明は多数ディスプレー用に応用可能であるが、簡単のために、ここで説明する実施例は２つのディスプレーを利用する。該２つのディスプレーは２つのモニターか又は分割スクリーン（ｓｐｌｉｔ  ｓｃｒｅｅｎ）か何れかにより近端側で提示されてもよい。本発明は、視認者がカメラ入力のどの部分をもっと綿密に見ることを欲するかに対する該視認者の柔軟性（ｆｌｅｘｉｂｉｌｉｔｙ）を改善しよう追究している。
【００１８】
本発明の好ましい実施例に依れば、１つの画像は遠端側に於ける情景（ｓｃｅｎｅ）の全体像（ｏｖｅｒｖｉｅｗ  ｉｍａｇｅ）｛主光景（ｍａｉｎ  ｖｉｅｗ）｝、例えば、会議室（ｍｅｅｔｉｎｇ  ｒｏｏｍ）、を示す一方、第２画像は該全体像の小部分（ｓｕｂｓｅｃｔｉｏｎ）を示す｛選択された光景（ｓｅｌｅｃｔｅｄ  ｖｉｅｗ）｝。図１はカメラが取り込みつつある遠端側での情景の部分（ｓｅｃｔｉｏｎ）を図解する。該主光景内に、該選択された光景が長方形（ｒｅｃｔａｎｇｌｅ）で示される。図２は２つのモニターを有する該近端側に於ける端末点（ｅｎｄ−ｐｏｉｎｔ）を示し、その１つは該主光景を示し、第２のものは図２で長方形で示された該選択された光景を示す。
【００１９】
本発明の好ましい実施例に依れば、該選択された光景は主光景の予測に基づき符号化されてもよい。上で述べた様に、ビデオ符号化の過程の１つは、例えば、アイテーユー−テー勧告エイチ．２６４（ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４）で説明されているように現在のビデオ画像を前の画像から予測することである。従来は、画像内の全画素の予測値が現在の映像の全て現実の画素値から引き算されている。本発明の好ましい実施例は、該主画像からの要求される小部分の予測データの別抽出（ｓｅｐａｒａｔｅ  ｅｘｔｒａｃｔｏｉｎ）と、それを対応する生データ（ｒａｗ  ｄａｔａ）から引き算することを提供する。これは該選択された光景用の別予測過程を必要とせずに関心のある小部分（ｓｕｂｓｅｃｔｉｏｎ）の残余データ表現（ｒｅｓｉｄｕａｌ  ｄａｔａ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を創る。原理は図３で図解される。
【００２０】
該近端で大きなサイズで提示される該選択された光景用に、幾らかのデータ又は処理が視認性を改善するよう該残余データに追加されるべきであるか、又は好ましくは、主画像内の対応フイールド（ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ｆｉｅｌｄ）の該予測データのスケール合わせ（ｓｃａｌｉｎｇ）が行われるべきである。
【００２１】
本発明の好ましい実施例の第１側面の例として、もし該主画像が、３５２＊２８８画素の標準ビデオフオーマットの、シーアイエフ（ＣＩＦ）フオーマットを有するなら、該選択された光景はキューシーアイエフ（ＱＣＩＦ）（１７６＊１４４）として抽出されてもよい。減じられた解像度を補償するため、追加データを提供する少なくとも２つの可能な過程が行われる。１つの過程は該主画像のフレーム速度（ｆｒａｍｅ  ｒａｔｅ）に対して関心のある小部分のフレーム速度を増加させることである。もし該主光景のフレーム速度が毎秒１５フレーム（１５  ｆｐｓ）なら、該選択された光景のフレーム速度は毎秒３０フレーム３０  ｆｐｓまで増加され得る。該小部分は普通は主画像内の何かのクローズアップなので、それはより多くの動きを含むのが普通であり、従ってもっとスムーズな読み出し（ｒｅａｄｏｕｔ）が要求されるだろう。もう１つの過程は符号化過程で量子化速度（ｑｕａｎｔｉｚａｔｉｏｎ  ｒａｔｅ）を変えることである。前に述べた様に、該ビデオデータは該残余データを変換した後、量子化を経る。該変換の目的は重要情報を失わずに伝送されるべき非ゼロ値の数を減じることであり、残る値を量子化する目的は各値を表すためのビット数を減じることである。しかしながら、幾らかの情報が該量子化過程で失われ、該量子化間隔（ｑｕａｎｔｉｚａｔｉｏｎ  ｉｎｔｅｒｖａｌ）が大きい程、より多くが失われる。これは受信器に量子化ノイズ（ｑｕａｎｔｉｚａｔｉｏｎ  ｎｏｉｓｅ）として現れる。本発明の該選択された画像用として“拡大された（ｍａｇｎｉｆｉｅｄ）”画像については、量子化ノイズは遙かにもっと煩わしい。これを補償するため、該小部分の該変換された残余は、より高い解像度で、すなわち、主画像用より小さい量子化間隔で量子化されてもよい。これは値当たりより高いビット数でのデータ追加を要するが、他方、該小部分はより低い解像度のフオーマット、例えば、キューシーアイエフ（ＱＣＩＦ）で、符号化され得る。
【００２２】
本発明の好ましい実施例の第２の側面では、該選択された光景は該主光景が使用するより高い解像度を有する。例として、カメラにより取り込まれた該光景は符号化器により使われているものより高い解像度を有するフオーマットで表現されてもよい。該カメラにより取り込まれる画像はブイジーエイ（ＶＧＡ）フオーマット（６４０＊４８０）で提供され、符号化前にシーアイエフにスケールダウンされてもよく、例えば、それはブイジーエイフオーマットでの画素値のセットをシーアイエフフオーマットでの１つの画素を表す値にそれぞれ平均化することに依る。図４は如何にこれが本発明により使用され得るかを図解する。左側にはカメラにより取り込まれた主光景のブイジーエイフオーマット画像がスケッチされている。該シーアイエフフオーマットに対応する画素の長方形のフイールドが該選択された光景付近で抽出される。シーアイエフフオーマットでの予測データの主光景内の対応する長方形フイールドが抽出される。該抽出されたフイールドは次いで、そこからそれが引き算される該ブイジーエイ画像の抽出のシーアイエフフオーマットにマッチするようスケール合わせされる。該スケール合わせ機構は或る種の内挿法を含む関連技術で公知のどんな種類のものとすることも出来る。該最終残余データは次いで更に符号化され、伝送され、最終的に、使われる標準に従い受信器により復号される。
【００２３】
本発明の第３の側面では、予測データは、該主光景の予測からデータを抽出するより寧ろ該選択された光景の前の画像（ｐｒｅｖｉｏｕｓ  ｉｍａｇｅｓ）から発生される。該予測は不在の動きベクトル（ｉ．ａ．  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）を使って、従来の予測技術により達成されるが、該選択された光景上で別に行われる。必要なら、該予測データはスケール合わせされ、その後、該残余データを創るために、該主光景内の対応する生画素データから引き算される。該方法の組み合わせは、スタートアップ、そして光景に入ったり、光景から出る人々、の様な種々の状況を取り扱う遙かに良い能力を与えるであろう。
【００２４】
本発明の代わりの実施例は、該第１カメラにより取り込まれた主光景と同じ光景又は実施的に同じ光景を取り込む第２カメラを有する。次いで、選択された光景の生データは該第２カメラにより取り込まれた光景から抽出され、一方対応する予測データは該第１カメラにより取り込まれた該主光景内の選択された光景から抽出される。次いで該選択された光景の残余データは、該第２カメラにより取り込まれた光景から抽出された生データから、該第１カメラにより取り込まれた該主光景の予測から抽出された予測データを、引き算することにより発生される。又これは該選択された光景用の別の予測過程を必要とせずに関心のある小部分の残余データ表現を創る。
【００２５】
選択される光景の選択は、近端か又は遠端か、何れかの側から、カメラを機械的に制御することによりズーム、チルトそしてパンを提供する時と同じ方法で達成されてもよい。該ズーム、チルトそしてパンの位置は遠隔より、又はその端末点に設置されたカメラ追跡機構（ｃａｍｅｒａ  ｔｒａｃｋｉｎｇ  ｍｅｃｈａｎｉｓｍ）により制御されてもよい。本発明の場合、しかしながら、該選択は該カメラにより取り込まれる光景に影響しないが、該選択された光景を規定する該主光景内の境界の位置に影響する。例えば、ユーザーが彼の遠隔制御器上のズームボタンを押すと、該主画像から抽出される画素の小部分の境界を表す該主光景内の垂直及び水平画素アドレスは、それに従って変化させられる。本発明の他の改良（ｒｅｆｉｎｅｍｅｎｔ）は、該選択された光景が該主光景の境界に向かうよう動くと、該主光景内の該選択された光景の周囲をもっと良く示し、そのユーザーに更に動かす可能性を与えるために、該カメラは物理的パン動作及びズームを行うよう命じられることである。該物理的カメラ移動に従って、該選択された光景の位置データは次いで再計算される必要がある。
【００２６】
図５は本発明の例示的実施例の主アーキテクチャーである。ここでは、該主光景の生の画素データは光学的入力から提供される（４０１）。現在のビデオ画像の画素データは第１メモリー回路（４０３）内に記憶される。該現在の画像用の予測データは第２メモリー回路（４０４）内に記憶され、該現在の及び前のビデオ画像の画素データに基づき符号化器プロセサー（４０６）から同時に（ｃｏｎｃｕｒｒｅｎｔｌｙ）提供される。図で示される様に、該メモリー回路のデータはアドレス可能（ａｄｄｒｅｓｓａｂｌｅ）であり、制御器（４０２）が何れの画素データが該符号化器プロセサー（４０６）へ読み出されるべきかを制御することを可能にする。従って、該制御器（４０２）は、例えば、遠隔制御からの外部制御信号に基づいて、それぞれのメモリー回路のみから、該選択された光景の、現在の画素データと対応する予測データと、を抽出することが出来る。該符号化器プロセサーは、対応する予測データとの生画素データの引き算を提供し、そして本発明の２つの側面用に必要なデータ加算又はデータスケール合わせを、それぞれ、提供する、よう構成される。好ましくは、該符号化器プロセサーは又使われる標準に従い全ての他の必要な符号化過程を実行し、次いで該主画像の該選択された小部分を符号化されたフオーマットで出力するのがよい。
【００２７】
会議のコールの端末点（ｅｎｄｐｏｉｎｔｓ）はビデオストリーム（ｖｉｄｅｏ  ｓｔｒｅａｍ）と制御信号（ｃｏｎｔｒｏｌ  ｓｉｇｎａｌ）を交換するであろう。該制御信号は、ビデオストリームが入手可能な光景用のコマンド、情報そしてビデオデータから成るようインバンド（ｉｎ−ｂａｎｄ）で送られてもよい。該コマンドは１つ以上の光景をカバーする１つのビデオストリーム又は幾つかのビデオストリーム内に含まれるビデオデータと共に、バンド外（ｏｕｔ  ｏｆ  ｂａｎｄ）で伝送されてもよい。
【００２８】
本発明をより容易に理解可能にするために、付随する論議は随伴する図面を参照する。
【図面の簡単な説明】
【００２９】
【図１】長方形で示される関心のある小部分（ｓｕｂｓｅｃｔｉｏｎ）を有する総合的光景の例を示す。
【図２】総合的光景と種々のディスプレー内の関心のある小部分とを示すビデオ会議端末点を示す。
【図３】本発明の好ましい実施例の第１側面の図解である。
【図４】本発明の好ましい実施例の第２側面の図解である。
【図５】本発明を使うコーデック（ｃｏｄｅｃ）のアーキテクチャー例の主要図解である。
【図１】
2008515273.tif 000003
【図２】
2008515273.tif 000004
【図３】
2008515273.tif 000005
【図４】
2008515273.tif 000006
【図５】
2008515273.tif 000007
【国際調査報告】
2008515273.tif 000008
2008515273.tif 000009
2008515273.tif 000010