(57)【要約】  有線や無線電話ネットワークなどのシステムにおいて、第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築する方法及びシステム。本システムは、第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別する。本システムは、複数の点の少なくとも１つが、第１のフレームと第２のフレームとの間で、その位置を変えているかどうか決定する。本システムは、その位置を変えた、複数の点の少なくとも１つを、少なくとも第１のフレーム中の第１のピクセルと、第２のフレーム中の第２のピクセルとに関連づける。本システムは、第１のピクセルの位置と第２のピクセルの位置との間の関係を決定する。
2007525916.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築する方法であって、
前記第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別すること、
前記複数の点の少なくとも１つが、前記第１のフレームと前記第２のフレームとの間で、その位置を変えているかどうか決定すること、
その位置を変えた前記複数の点の前記少なくとも１つを、少なくとも前記第１のフレーム中の第１のピクセルと前記第２のフレーム中の第２のピクセルとに関連づけること、及び
前記第１のピクセルの位置と前記第２のピクセルの位置との間の関係を決定することを含む方法。
【請求項２】
前記少なくとも１つの中間フレーム中で、その位置を変えている、前記複数の点のうち前記少なくとも１つの点の前記位置を、前記第１及び第２のピクセルの前記位置の間の前記関係に少なくとも部分的に基づいて決定することをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１及び第２のフレームの間でほとんど動かないままでいた複数の点を識別することをさらに含む、請求項２に記載の方法。
【請求項４】
運動している点とほとんど静止している点とを含む、中間フレームほぼ全体のピクセルの位置を定義することをさらに含む、請求項３に記載の方法。
【請求項５】
前記第１及び第２のピクセルの前記位置の間の前記関係を決定することが、運動方程式中の少なくとも１つの係数を導出することを含む、請求項１に記載の方法。
【請求項６】
前記運動方程式が、回転、周回、及び並進運動の少なくとも１つを経る前記複数の点のうち前記少なくとも１つの点の位置を決定する、請求項１に記載の方法。
【請求項７】
前記第１及び第２のピクセルの前記位置が、ｘ及びｙ座標によって少なくとも部分的に識別される、請求項６に記載の方法。
【請求項８】
関連した少なくとも１つの特性を有する前記複数の点を識別することが、オブジェクトを定義することを含む、請求項１に記載の方法。
【請求項９】
オブジェクトを定義することが、観察者の目によって視覚されるとき、前記画像中の物理的オブジェクトの少なくとも一部分を定義することを含む、請求項８に記載の方法。
【請求項１０】
関連した少なくとも１つの特性を有する前記複数の点を識別することが、前記複数の点が回転、周回、及び並進運動の少なくとも１つを経験しているかどうか決定することを含む、請求項１に記載の方法。
【請求項１１】
前記複数の点の少なくとも１つが、その位置を変えているかどうか決定することが、前記第１のフレーム中のピクセル位置と、前記第２のフレーム中のほぼ同じ位置のピクセルとの間の、非ゼロである差を有する点を識別することを含む、請求項１に記載の方法。
【請求項１２】
前記第１及び第２のフレーム中の複数のオブジェクトを識別することをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記第１及び第２のフレームを、送信機から受信機に伝送することをさらに含む、請求項１に記載の方法。
【請求項１４】
変わらないままであった前記複数の点に対する前記中間フレームにおいて、（ａ）前記第１のフレーム中のピクセル情報、（ｂ）前記第２のフレーム中のピクセル情報、（ｃ）前記第１及び第２のフレームのソースから提供された前記中間フレームについてのピクセル情報、並びに（ｄ）前記第１及び第２のフレームの平均ピクセル情報の少なくとも１つに基づいて、ピクセル情報を識別することをさらに含む、請求項３に記載の方法。
【請求項１５】
変わらないままであった前記複数の点に対する前記ピクセル情報が、色及びグレー・スケール値の少なくとも一方を含む、請求項１４に記載の方法。
【請求項１６】
前記複数の点の１つに対する前記ピクセル情報が、前記第１のフレーム中の前記複数の点のうち前記１つのほぼ同じ位置に関連づけられた前記第１のフレーム中の位置で突き止められた少なくとも１つのピクセルのものとほぼ同じ色情報を含む、請求項１５に記載の方法。
【請求項１７】
前記中間フレーム中の少なくとも１つのピクセルについての情報を伝達するよう、発信元送信機に選択的に要求することをさらに含む、請求項１に記載の方法。
【請求項１８】
前記第１のピクセルの位置と前記第２のピクセルの位置との間の前記関係を決定することが、前記第２のフレーム中でほぼ同じ位置で突き止められた前記第１のピクセルと第３のピクセルの色又はグレー・スケール情報の間の非ゼロである差を少なくとも部分的に識別することを含む、請求項１に記載の方法。
【請求項１９】
少なくとも前記第１及び第２のフレームを、有線又は無線電話ネットワークを経由して発信元電話から送信先電話に伝達することをさらに含む、請求項１に記載の方法。
【請求項２０】
第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築するシステムであって、
前記第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別するように構成された識別回路と、
前記複数の点の少なくとも１つが、前記第１のフレームと前記第２のフレームとの間で、その位置を変えているかどうか決定するように構成された比較回路と、
その位置を変えた、前記複数の点の前記少なくとも１つを、少なくとも前記第１のフレーム中の第１のピクセルと、前記第２のフレーム中の第２のピクセルとに関連づけるように構成され、前記第１のピクセルの位置と前記第２のピクセルの位置との間の関係を決定するようにさらに構成された処理回路とを備えるシステム。
【請求項２１】
前記処理回路が、前記少なくとも１つの中間フレーム中で、その位置を変えている、前記複数の点のうち前記少なくとも１つの点の前記位置を、前記第１及び第２のピクセルの前記位置の間の前記関係に少なくとも部分的に基づいて決定するように構成される、請求項２０に記載のシステム。
【請求項２２】
前記識別回路が、前記第１及び第２のフレームの間でほとんど動かないままでいた複数の点を識別するように構成される、請求項２１に記載のシステム。
【請求項２３】
前記処理回路が、動いている、及びほとんど静止している点を含む、中間フレームほぼ全体のピクセルの位置を定義するように構成される、請求項２２に記載のシステム。
【請求項２４】
前記処理回路が、運動方程式中で少なくとも１つの係数を導出するように構成される、請求項２０に記載のシステム。
【請求項２５】
前記運動方程式が、回転、周回、及び並進運動の少なくとも１つを経る前記複数の点のうち前記少なくとも１つの点の位置を決定する、請求項２０に記載のシステム。
【請求項２６】
前記第１及び第２のピクセルの前記位置が、ｘ及びｙ座標によって少なくとも部分的に識別される、請求項２５に記載のシステム。
【請求項２７】
前記識別回路が、オブジェクトの点を定義するように構成される、請求項２０に記載のシステム。
【請求項２８】
前記識別回路が、前記画像中の物理的オブジェクトの少なくとも一部分を、観察者の目によって視覚されるときに定義する、請求項２７に記載のシステム。
【請求項２９】
前記識別回路が、前記複数の点が回転、周回、及び並進運動の少なくとも１つを経験するかどうか決定する、請求項２０に記載のシステム。
【請求項３０】
前記比較回路が、前記第１のフレーム中のピクセル位置と、前記第２のフレーム中のほぼ同じ位置のピクセルとの間の非ゼロである差を有する点を識別するように構成される、請求項２０に記載のシステム。
【請求項３１】
前記識別回路が、前記第１及び第２のフレーム中の複数のオブジェクトを識別するように構成される、請求項３０に記載のシステム。
【請求項３２】
前記第１及び第２のフレームを受信機に送るように構成された送信機をさらに備える、請求項２０に記載のシステム。
【請求項３３】
前記処理回路が、変わらないままであった前記複数の点に対する前記中間フレームにおいて、（ａ）前記第１のフレーム中のピクセル情報、（ｂ）前記第２のフレーム中のピクセル情報、（ｃ）前記第１及び第２のフレームのソースから提供された前記中間フレームについてのピクセル情報、並びに（ｄ）前記第１及び第２のフレームの平均ピクセル情報の少なくとも１つに基づいて、ピクセル情報を識別するように構成される、請求項２２に記載のシステム。
【請求項３４】
変わらないままであった前記複数の点に対する前記ピクセル情報が、色及びグレー・スケール値の少なくとも一方を含む、請求項３３に記載のシステム。
【請求項３５】
前記複数の点の１つに関する前記ピクセル情報が、前記第１のフレーム中の前記複数の点のうち前記１つのほぼ同じ位置に関連づけられた前記第１のフレーム中の位置で突き止められた少なくとも１つのピクセルのものとほぼ同じ色情報を含む、請求項３４に記載のシステム。
【請求項３６】
前記処理回路が、前記中間フレーム中の少なくとも１つのピクセルについての情報を送るよう、発信元送信機に選択的に要求するように構成される、請求項２０に記載のシステム。
【請求項３７】
前記処理回路が、前記第１のピクセルのカラー又はグレー・スケール情報と、前記第２のフレーム中のほぼ同じ位置で突き止められた第３のピクセルとの間の非ゼロである差を識別するように構成される、請求項２０に記載のシステム。
【請求項３８】
少なくとも前記第１及び第２のフレームを、有線又は無線電話ネットワークを経由して送信先電話に送るように構成された発信元電話をさらに備える、請求項２０に記載のシステム。
【請求項３９】
プロセッサが、前記識別、比較、及び処理回路を備える、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０００年８月１０日に出願された米国特許仮出願第６０／２２４２５４号明細書「ＳＹＳＴＥＭ，ＡＰＰＡＲＡＴＵＳ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＴＲＡＮＳＭＩＳＳＩＯＮ  ＯＦ  ＶＩＤＥＯ  ＡＣＲＯＳＳ  ＬＩＭＩＴＥＤ  ＢＡＮＤＷＩＤＴＨ  ＴＲＡＮＳＭＩＳＳＩＯＮ  ＭＥＤＩＡ」に対する優先権を主張する、２００１年８月１０日に出願された、係争中の米国特許出願第０９／９２７１３２号明細書「ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＶＩＤＥＯ  ＣＯＭＭＵＮＩＣＡＴＩＯＮ  ＯＶＥＲ  Ａ  ＬＩＭＩＴＥＤ  ＢＡＮＤＷＩＤＴＨ  ＭＥＤＩＵＭ」の一部継続出願である。
【０００２】
本発明は概して、狭い、又は制限された帯域幅メディアを介してデータを伝達する通信システムに関する。より詳細には、本発明は、単純旧式電話サービス（ＰＯＴＳ）ラインなど、狭帯域伝送チャネルを介した、映像伝送用の方法及び機器に関する。
【背景技術】
【０００３】
テレビ電話は、数年間市場に存在しているが、商業的な成功はわずかである。テレビ電話が成功しなかったのは、部分的には、あまり役に立たないということに起因する。許容可能な品質の音及び映像を、既存の電話線を超えて伝送するのには問題があった。
【０００４】
利用可能な一部のテレビ会議システムは、許容可能な映像及び音声品質を提供し、ある程度の商業的成功を収めている。こうしたテレビ会議システムは、専用回線、ＩＳＤＮ（統合サービス・デジタル・ネットワーク）、ＤＳＬ（デジタル加入者線）などの広帯域通信接続に依存している。高帯域幅は、許容可能な音声及び映像品質を提供するのに必要である。
【０００５】
標準電話線上で利用可能な帯域幅は、業界標準である毎秒３０フレームの映像をサポートするには低過ぎる。現在、圧縮を用いている、米国の標準電話線上で達成可能な最も優れた性能は、一方向で毎秒約１５映像フレームである。毎秒１５映像フレームは、概して毎秒約２４フレームである、人間の目の持続性より低いので、毎秒１５映像フレームは、動きがぎこちなく、許容できない映像品質を生じる。高価な圧縮ハードウェアを用いたとしても、その結果生じた映像の品質は、許容不可能な場合がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、高価な圧縮ハードウェアに依存せず、それにも関わらず、標準アナログ電話線を超えて双方向に伝送されるとき、許容可能な映像表示をもたらす映像通信システムが必要である。
【課題を解決するための手段】
【０００７】
一実施形態では、本発明は、第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築する方法を提供する。本方法は、第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別することを含む。本方法は、複数の点の少なくとも１つが、第１のフレームと第２のフレームとの間で、その位置を変えているかどうか決定することをさらに含む。本方法は、その位置を変えた、複数の点の少なくとも１つを、少なくとも第１のフレーム中の第１のピクセルと第２のフレーム中の第２のピクセルとに関連づけることをさらに含む。本方法は、第１のピクセルの位置と第２のピクセルの位置との間の関係を決定することをさらに含む。
【０００８】
別の実施形態では、本発明は、第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築するシステムを提供する。本システムは、第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別するように構成された識別回路を備える。本システムは、複数の点の少なくとも１つが、第１のフレームと第２のフレームとの間で、その位置を変えているかどうか決定するように構成された比較回路をさらに備える。本システムは、その位置を変えた、複数の点の少なくとも１つを、少なくとも第１のフレーム中の第１のピクセルと第２のフレーム中の第２のピクセルとに関連づけるように構成された処理回路をさらに備える。処理回路は、第１のピクセルの位置と第２のピクセルの位置との間の関係を決定するようにさらに構成される。
【発明を実施するための最良の形態】
【０００９】
本発明の実施形態が、添付の図面を参照して以下で説明されるが、同じ番号は、全体を通して同じ要素を指す。本明細書において提示される説明で用いられる用語は、本発明の特定のいくつかの実施形態の詳細な説明とともに使用されているという理由だけで、限定された、又は制限的ないかなる対応で解釈されることも意図していない。さらに、本発明の実施形態は、いくつかの新規特徴も含み得るが、どの１つも、その望ましい属性にのみ関与するか、又は本明細書に記載される本発明の実施にとって不可欠である。
【００１０】
図１は、制限された帯域幅メディアを介して映像を伝達するように構成された映像通信システム２０の一実施形態のブロック図である。システム２０は、発信元送信機／受信機（トランシーバ）２４に結合された映像ソース２２を備える。映像ソース２２は、例えば、カメラ、デジタル映像ディスク（ＤＶＤ）プレーヤ、ビデオ・カセット・レコーダ（ＶＣＲ）、又は映像出力を有する任意の装置（例えば、コンピュータ）などの映像信号ジェネレータ、或いは遠隔ソースから映像信号を受信する通信局などの画像取込み装置でよい。発信元トランシーバは、公衆交換電話網（ＰＳＴＮ）とも呼ばれる単純旧式電話サービス（ＰＯＴＳ）２８を経由して送信先トランシーバ２６と通信するように構成される。また、トランシーバ２４、２６は、無線通信用に構成されてもよいことが、当業者には理解されよう。説明の便宜上、映像通信システム２０の一部の要素は、本明細書において、この例においてのみ、映像伝送の方向を示す「発信元」及び「送信先」というラベルで参照されるが、こうしたラベルは、本発明の範囲を限定するものではない。
【００１１】
送信先トランシーバ２６は、送信先トランシーバ２６で受信される映像を表示するように構成された映像ディスプレイ３４に結合される。また、システムは、送信先トランシーバ２６及びディスプレイ３４に結合された追加映像ソース３６と、映像ソース２２及び発信元トランシーバ２４に結合された追加ディスプレイ３８とを含んでもよい。
【００１２】
一実施形態では、映像ソース２２は、例えば、少なくとも毎秒３０フレームの速度で画像を取り込む画像取込み装置を備える。発信元トランシーバ２４は、許容可能な最高フレーム転送速度用に伝送回線をテストするために送信先トランシーバ２６と通信し、その後で、伝送回線２８によって許容される速度、例えば毎秒１フレームで送信先トランシーバ２６に画像を伝送する。一実施形態では、フレーム転送速度は、データ転送の許容可能な正確さを保証しながら最大限にされ、この場合、フレーム転送速度は、毎秒１フレームより大きくてもよい。また、発信元トランシーバ２４は、送信先トランシーバによって検証又は認証が要求されるときは、送信先トランシーバ２６と通信する。
【００１３】
上述されたように、送信先トランシーバ２６は、伝送回線２８をテストして許容可能な最高フレーム転送速度を決定するために、発信元トランシーバ２４と通信する。送信先トランシーバ２６によって受信されるデータの質が許容不可能になると、送信先トランシーバ２６は、発信元トランシーバ２４と連携して、フレーム転送速度を動的に変える。後でさらに詳しく記載されるように、送信先トランシーバ２６は、発信元トランシーバ２６から受信された画像又はフレームから映像ストリームを復元し、この映像ストリーム復元プロセスのどの一部に関しても、発信元トランシーバ２４とともに認証と検証とを行う。一実施形態では、復元された映像ストリームは、ディスプレイ３４での表示用に、最大で毎秒３０フレームを含む。
【００１４】
図２を参照すると、発信元トランシーバ２４は、複数のフレームを含む映像ストリーム１００を、映像ソース２２から受信する。この例示的な実施形態において、発信元トランシーバ２４は、伝送用の映像ストリームから、３０フレームごとに、最初のもの（陰影のないフレーム１、フレーム２、フレーム３、及びフレーム４）を選択する。本明細書において中間フレームと呼ばれる、伝送されるフレームの間に点在しているフレームが、予め定義された期間、例えば３０秒間、発信元トランシーバの所で格納される。本明細書で使用されるように、「中間」フレームは、伝送される２つのフレームの真中に作成されるフレームだけを指すのではなく、伝送される２つのフレームの間に作成されるどのフレームも指す。一実施形態では、中間フレーム用の予め定義された格納期間は、少なくとも送信先トランシーバ２６が発信元トランシーバ２４に、中間フレームに関する情報を照会するのに必要とする時間の長さである。
【００１５】
図３に示されるように、発信元トランシーバ２４は、フレーム１、フレーム２、フレーム３、及びフレーム４を含む、選択されたフレーム１０５を、送信先トランシーバ２６に伝送する。発信元トランシーバ２４は、この形式で、ある程度の時間、フレームを伝送し続けてもよい。送信先トランシーバ２６は、復元における問題又は困難なことを識別すると、発信元トランシーバ２４に対して情報を要求する。一様に分配されている、映像情報からなるフレーム１０５は、送信先トランシーバ２６で受信され、後で詳しく説明されるように、受信される各フレームの間の２９フレームを復元するのに使われる。図４は、復元されるフレームの、受信されたフレーム（フレーム１、フレーム２、フレーム３、フレーム４）との組合せを示し、この組合せは、映像ディスプレイ３４での表示用に、連続する映像ストリーム１１０を形成する。復元された映像ストリーム１１０は、元々入力された映像ストリーム１００（図２を参照）に似させることが望ましい。
【００１６】
Ｉ．フレーム転送速度の調整
映像通信システム２０によって使われるチャネル帯域幅は、トランシーバ２４と２６との間で伝送される情報の量を最小限にすることによって、削減されることができる。例えば、伝送回線２８を介するフレーム転送速度の低下は、帯域幅の使用削減に対応する。
【００１７】
フレーム転送速度調整の一実施形態では、発信元トランシーバ２４から送られる情報フレームは、あるフレームのうち変化しているピクセルの全体的割合を決定するために、次のフレームと比較される。送信先トランシーバ２６は、あるフレームの個々のピクセルを、別のフレームの個々のピクセルと比較して、各ピクセルに関する情報のいずれかがフレームの間で変化しているかどうか、又はピクセル情報が、予め定義された量を、閾値より大きく、若しくはより小さく変えるかどうか決定する。一実施形態では、閾値は、あるフレームから次のフレームまでの間で、異なるピクセル情報を有する全ピクセルの割合であり、４０％〜８０％の範囲でよい。例えば、発信元トランシーバ２４から送られる映像フレーム（フレーム１、フレーム２、フレーム３、フレーム４）は、１フレーム中のピクセルのうち、６０％を超えるものが、あるフレームから次のフレーム（例えば、フレーム１からフレーム２）まで、変化しているピクセル情報をもっていると、６０％を超える変化であるとして識別される。毎秒１フレームの伝送に対するピクセル変化閾値が６０％である場合、発信元トランシーバ２４は、この例では全３０フレームのうち第１のフレームを、送信先トランシーバ２６に送り続ける。しかし、全体変化率が６０％未満に落ちると、送信先トランシーバ２６は、送信先バッファ中の情報をますます利用するようになり、映像フレームを、毎秒１フレームより頻繁ではなく送ってもよい。例えば、映像フレーム中の全ピクセルの６０％未満である点滅光のように、一連の映像フレームのわずかな部分が、時間とともに変化している場合がある。この場合、発信元トランシーバ２４は、フレーム転送速度を、毎秒１フレームを下回るように低下させ、あるフレームから次のフレームまでの間に変化している情報を有するピクセルに関する情報を送るだけでよい。従って、発信元トランシーバ２４は、必要又は所望される場合のみフル・フレームを送ってよく、続けて、オブジェクト及び背景情報のみを送ってよく、その間、この情報を別々にし、それに関連づけられたフレームとオブジェクトとにリンクされたままに保つ。本明細書で使用する「オブジェクト」という用語は、必ずしも、観察者の目によって視覚される「物理的」オブジェクトに限定されるのではなく、共通の、又は関連した特性をもつ、２つ以上の（すなわち、一群の）ピクセル、例えば、同じ位置的運動若しくは運動速度、同じ周回速度、及び／又は同じ内容変化速度などを経る、２つ以上のピクセルを指す用語である。所望される場合、完全なフレーム、背景又はオブジェクトが、そのまま送られてよく、この場合、映像ストリーム復元プロセスは、送信先トランシーバ２６でフレームが生成される方法に関わらず、ほぼ同じである。
【００１８】
ＩＩ．フレーム内容のカテゴリ化
一実施形態では、受信されたフレームの内容は、様々な基準によってカテゴリ化される。一実施形態では、フレーム（すなわち、個々のピクセル）のすべての内容が、最初に背景の一部又はオブジェクトの一部のいずれかとしてカテゴリ化される。第２に、オブジェクトが、静止オブジェクト又は運動中のオブジェクトのいずれかとしてカテゴリ化される。第３に、運動中のオブジェクトが、その運動タイプによってカテゴリ化され、運動は、（１）並進、（２）周回、又は（３）回転、或いはこうした３タイプの運動のどの組合せも含む。運動中のオブジェクトに対して、システムは、中間フレーム中でオブジェクトの場所を決定するための運動方程式を決定する。静止オブジェクトに対して、システムは、中間フレーム中で、オブジェクト中の変化中の各要素のピクセル値を決定する。各オブジェクトは、運動方程式又は静止方程式のいずれかを有することになる。
【００１９】
一連のフレームの内容をカテゴリ化する方法の一実施形態によると、送信先トランシーバ２６は最初に、静止要素を一連のフレーム中で突き止め、その要素の後には、動いているピクセルの識別が続く。例として、４フレーム比較が、静止要素と動いているピクセルとを見つけるのに用いられる。複数のピクセルを含む各フレームは、対応する行列ＸＮとして数学的にマップされ、各行列Ｘに対する下付き文字による指示「Ｎ」は、フレーム番号に対応する。行列中の要素ｘｉｊの物理的な位置は、映像フレーム中のピクセルの物理的な位置に対応する。下付き文字「ｉ」と「ｊ」とは、行列Ｘ中の要素ｘの行と列との場所にそれぞれ対応する。行列中の要素の数値は、対応するフレーム中のピクセルの値であり、例えば、赤、緑、及び／又は青のレベルに対応する値などの色情報を含み得る。以降の行列Ｘ１〜Ｘ４は、４フレーム比較用に定義され、指定されたフレーム（例えば、フレーム１）は、一連の３０フレーム中の第１のフレームである。
フレーム１＝Ｘ１（ピクセルの行列）（１）
フレーム２＝Ｘ２（ピクセルの行列）（２）
フレーム３＝Ｘ３（ピクセルの行列）（３）
フレーム４＝Ｘ４（ピクセルの行列）（４）
【００２０】
ＩＩＩ．限られた組のフレームを用いて映像フレームを復元する方法の概説
限られた１組のフレームを用いて映像フレームを復元する方法５０の一実施形態が、図５のフロー図に示される。一実施形態では、方法５０は、送信先トランシーバ２６によって実施されるが、発信元トランシーバ２４、又は発信元及び送信先トランシーバ２４、２６の組合せによって実施されることもできよう。方法５０は、ステップ５５で始まってステップ６０に進み、ここで、送信先トランシーバは、１組のフレーム（例えば、フレーム１、フレーム２、フレーム３、及びフレーム４）中の１つのオブジェクト又は複数のオブジェクトを識別する。本実施形態では、発信元トランシーバは、識別されたフレームを、送信先の受信機に送る。ステップ６０で１つ又は複数のオブジェクトを識別することによって、オブジェクトの一部として識別されない、フレーム中の残っているピクセル又は要素が、静止している背景の一部としてカテゴリ化される。ステップ６０に続いて、方法５０はステップ６５に進み、ここで、送信先トランシーバ２６は、識別されたオブジェクトが動いているかどうか決定する。ステップ６５での決定に対する回答がｎｏである、すなわちオブジェクトが動いていない場合、方法５０はステップ７０に進み、ここで、送信先トランシーバ２６は、オブジェクトを、静止オブジェクトとしてカテゴリ化する。ステップ６５での決定に対する回答がｙｅｓである、すなわちオブジェクトが動いている場合、方法５０はステップ７５に進み、ここで、送信先トランシーバ２６は、オブジェクトを、運動中のオブジェクトとしてカテゴリ化し、オブジェクト用の運動方程式を決定する。ステップ６５と７０又は７５とは、ステップ６０で識別されたすべてのオブジェクトに対して繰り返される。
【００２１】
ステップ７０で決定されるように、静止オブジェクトとして識別されたオブジェクトに対して、送信先トランシーバ２６は、中間フレーム中の静止オブジェクト向けのピクセル値（例えば、色成分情報）を決定する。送信先トランシーバは、静止オブジェクトに対して中間フレーム中のピクセル値を決定するいくつかの原理の１つを用いることができる。一実施形態では、送信先トランシーバは、（ａ）フレーム１の中、（ｂ）フレーム２の中、及び／又は（ｃ）フレーム１とフレーム２との中の静止オブジェクトの各ピクセルごとのピクセル情報の平均の導出から見つけられた、静止オブジェクトのピクセルの同じ値を用いてよい。別の実施形態では、送信先トランシーバは、発信元トランシーバに対して、静止オブジェクトの１つ又は複数のピクセルに対するピクセル情報を要求してもよい。背景のピクセルの場合、ピクセル値は、フレーム１、中間フレーム、及びフレーム２においてほぼ同じである。
【００２２】
ステップ７５で決定された、動いており、対応する運動方程式を有するオブジェクトとして識別されたオブジェクトに対して、方法５０は、ステップ８５に進む。ステップ８５で、送信先トランシーバは、運動方程式を実行し、そうすることによって、中間フレーム中のオブジェクトの場所と、オブジェクトに対するピクセル値とを決定する。ステップ８５に続いて、送信先トランシーバは、ステップ６０、７５、８５からの決定結果を用いて、ステップ９０で中間フレームを復元する。ステップ９０で、ステップ６０でオブジェクトとして識別されていない１組のフレーム中のピクセル又は要素が、中間フレーム全体で、静止している背景の一部としてマップされる。やはりステップ９０で、ステップ７０で決定された静止オブジェクトに対するピクセル値と、オブジェクトの場所及び運動中のオブジェクトに対するピクセル値情報とが、中間フレームを復元するのに用いられる。ステップ９０での中間フレームの復元に続いて、方法５０は、ステップ９５で終了するように進む。方法５０のステップはそれぞれ、これ以降でさらに詳しく記載される。
【００２３】
ＩＶ．背景要素
オブジェクトの一部ではない、フレーム中のすべてのピクセルは、背景面にあると定義され、従って、数学的に扱われるべきオブジェクトとしては定義されない。背景面は色及び／又は陰影変化を有し得るので、色及び／又は陰影変化は、オブジェクトを定義するための、常に信頼できるパラメータなわけではない。それにも関わらず、この情報は、伝達される映像フレームについての基本情報を展開するのに用いられ、かかる情報は従って、送信先トランシーバに伝達され得る。
【００２４】
フレーム１〜フレーム４のフレームからなるストリーム中の、静止又は背景要素を見つけるために、送信先トランシーバ２６は、４フレームそれぞれに対応するフレーム行列（Ｘ１、Ｘ２、Ｘ３、及びＸ４）に対して比較して（例えば、一方から他方を差し引いて）、複数の差分行列ΔＸＮＮを取得する。フレーム１とフレーム２との比較は、例えば差分行列ΔＸ１２によって表される。本実施形態では、発信元トランシーバ２４は、毎秒１フレームを伝送するので、フレーム１とフレーム２との伝送の間の時間は１秒となり、フレーム１とフレーム４との伝送の間の時間は３秒となる。各差分行列は従って、対応する時間微分ΔＴＮＮも有し、時間微分ΔＴ１２は差分行列ΔＸ１２に対して、例えば１秒である。従って、以降の差分行列は、フレーム行列Ｘ１、Ｘ２、Ｘ３、及びＸ４を使って定義され、各差分行列は、差分行列要素Δｘｉｊからなる。
ΔＸ１２＝Ｘ１−Ｘ２、ΔＴ１２＝１秒  （５）
ΔＸ１３＝Ｘ１−Ｘ３、ΔＴ１３＝２秒  （６）
ΔＸ１４＝Ｘ１−Ｘ４、ΔＴ１４＝３秒  （７）
ΔＸ２３＝Ｘ２−Ｘ３、ΔＴ２３＝１秒  （８）
ΔＸ３４＝Ｘ３−Ｘ４、ΔＴ３４＝１秒  （９）
【００２５】
上記の関係によると、差分行列中の各ゼロ値要素Δｘｉｊは、オリジナル行列フレームと、差分行列中の対応する最終行列フレームとの間の静止要素を指す。差分行列中の、ゼロ値で示される静止要素は、静止している背景の一部又は動いていないオブジェクト内部の一部のいずれかとしてカテゴリ化される。静止又は背景要素は、差分行列を使って送信先トランシーバ２６によって識別されると、メモリの中にマップされる。差分行列中のどの非ゼロ値も、動いている又は変化している最中の要素を定義する。差分行列にある非ゼロ又は非静止要素のみが、第１に運動変化用に、第２に、静止変化用に評価される。
【００２６】
一実施形態では、差分行列中の非ゼロ要素は、ゼロより大きいが、ゼロに近い閾値を使って決定される。例えば、差分行列中で、５％を超えて変化している要素は、非ゼロ要素であると決定され、５％未満で変化している要素は、ゼロ要素であると決定される。一実施形態では、要素の割合変化は、ピクセル値における割合変化を指し、ピクセルは、８ビットの２進数として定義される。閾値は、例えば１％、２％、３％、４％、５％、６％、７％、８％、９％、１０％、１１％、１２％、１３％、１４％、又は１５％でよく、使われる画像取込み装置と、映像化される対象の環境とに応じて変化し得る。さらに、閾値は、動的に調整されてもよい。
【００２７】
Ｖ．オブジェクトの定義
上述したように、オブジェクトは、運動中のオブジェクト又は静止オブジェクトいずれかとして識別される。運動中のオブジェクトは、何らかの前景面上を移動する、定義可能な境界を有し、運動中のオブジェクトは、同じ又は異なる係数をもつ基本の式を使って、結束された（例えば、隣接する）ピクセル運動によって定義される。静止している変化オブジェクトは概して、関連づけられたわずかな運動を有する、又はそのような運動をもたない、定義可能な境界を有するオブジェクトを指すが、フレームのストリームに渡って、色と強度とにおける違いを含み得る。この説明は最初に、運動中のオブジェクトの特性を与える。
【００２８】
上述したように、運動中のオブジェクトの映像の動きは、フレームのストリーム又はＸ１〜Ｘ２〜Ｘ３〜Ｘ４．．．〜ＸＮの行列内部での物理的な移動である。運動中のオブジェクトの境界は半連続的でよく、通常、背景又はフレームからなるシーケンス中の他のオブジェクトとは色が異なる。オブジェクトを構成する要素は、色と強度とにおける違いを含んでよく、オブジェクトを構成する要素の数は、オブジェクトが大きく又は小さくなり、画像取込み装置により近く又はさらに離れて移動し、或いは形を変えるにつれて増加し又は減少し得る。境界を含む、運動中のオブジェクトを構成する要素も、例えば、オブジェクトの変形又は周回に起因して、異なる速度で移動してよい。
【００２９】
運動中のオブジェクトの境界上にある要素とは、背景に関して、運動が変化している要素である。運動中のオブジェクトの境界、又は輪郭は、隣接する両側で運動変化が似ている少なくとも２つの要素と、それに隣接する、運動変化が似ていない少なくとも１つの要素とを有する、運動変化が似ている単一要素を備え、従って、運動中のオブジェクトの輪郭を描く接続境界を形成する。この概念は、これ以降でさらに詳しく論じられる。
【００３０】
静止している変化オブジェクトとは、それに関連づけられた運動をほとんどもたない、又はそのような運動を全くもたないオブジェクトであるが、フレームからなる変化中のストリーム又はＸ１〜Ｘ２〜Ｘ３〜Ｘ４．．．〜ＸＮの行列に渡って色と強度とにおける違いを含み得る。静止している変化オブジェクトの例は、オブジェクトがフレームからフレームへ移動していないが、色と強度とにおいて変化している点滅光であろう。
【００３１】
オブジェクトを識別する方法の一実施形態が、図６のフロー・チャートに示される。この方法は、ブロック５００で始まる。ステップ５０５で、送信先トランシーバ２６は、行列要素の各行を左から右に、上から下に探索することによって、フレーム１からフレーム２までの第１の非ゼロ要素Δｘｉｊを、第１の差分行列ΔＸ１２中で突き止める。
【００３２】
非ゼロ要素が単なる不良又は誤りのある要素（「スノー」など）でないことを検証するために、送信先トランシーバ２６は、ステップ５１０で、差分行列ΔＸ１２中の隣接又は関連した要素（ピクセル）Δｘ（ｉ−１）（ｊ−１）、Δｘ（ｉ−１）ｊ、Δｘ（ｉ−１）（ｊ＋１）、Δｘｉ（ｊ−１）、Δｘｉ（ｊ＋１）、Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）のいずれかが非ゼロであるかどうか決定する。隣接要素すべてがゼロの場合、要素ｘｉｊは、不良要素及び変化していない要素として識別され、要素ｘｉｊは、実際に、静止している背景の一部であるか、又は主要オブジェクトの内側部分である。隣接要素の１つ又は複数が非ゼロ値をもつ場合、オリジナル要素は、変化している要素であり、移動中のオブジェクトの境界、静止している背景の変化している一部、又は周回しているオブジェクトの内側部分のいずれかにある。差分行列ΔＸ１２は次いで、隣接要素のどれも、非ゼロ値をもっていることが発見されなかった場合、ステップ５１５で、要素の真のゼロ値でアップデートされる。ステップ５２０で、ステップ５０５〜５１５が、ΔＸ１２、ΔＸ２３、ΔＸ３４中のすべての要素に対して繰り返される。図６に示される方法は、これ以降で、図７を参照してさらに詳しく記載される。
【００３３】
ステップ５２０の後、ゼロに等しくなく、運動中のオブジェクト又は変化している静止オブジェクトの一部である、ΔＸ１２、ΔＸ２３及びΔＸ３４中の要素が、変化中の要素として定義される。アップデートされた差分行列ΔＸ１２、ΔＸ２３及びΔＸ３４を使って、オブジェクトの境界要素が識別され、オブジェクトは、輪郭を描かれ、適切なフレーム中で位置決めされる。可能性がある各オブジェクトに関連づけられた運動方程式が次いで、オブジェクトを構成する他の要素とともに決定され、従って、運動中のオブジェクトのほぼすべての要素を定義する。
【００３４】
Ａ．オブジェクトの境界の配置
図７Ａ〜Ｂは、要素をオブジェクトの境界要素として識別し、映像フレーム中のオブジェクトの輪郭を描き位置決めする方法を示すフロー図である。図７Ａを参照すると、方法６００は、ステップ６０１で始まり、ステップ６０５に進む。ステップ６０５で、送信先トランシーバ２６は、第１の非ゼロ要素を、差分行列ΔＸ１２、ΔＸ２３及びΔＸ３４中で突き止め、従って、運動中又は変化しているオブジェクトの境界の一部又は不良要素を認識する。例えば、差分行列ΔＸ１２中の第１の非ゼロ要素Δｘｉｊは、行を、例えば、行列の最初の行から始まり、下に向かって、左から右に探索することによって、ステップ６０５で突き止められる。
【数１】
2007525916.tif 000003
【００３５】
第１の非ゼロ要素Δｘｉｊが単なる不良要素ではなく、運動又は変化している要素であることを検証するために、送信先トランシーバ２６は、ΔＸ１２中の隣接又は関連した要素（ピクセル）Δｘ（ｉ−１）（ｊ−１）、Δｘ（ｉ−１）ｊ、Δｘ（ｉ−１）（ｊ＋１）、Δｘｉ（ｊ−１）、Δｘｉ（ｊ＋１）、Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）をステップ６１０で分析して、すべてがゼロに等しく、又は非常に近いかどうか決定する。ステップ６１０での分析に対して、差分行列ΔＸ１２は、非ゼロ要素Δｘｉｊに対して、以降の行列［Δｘｉｊ］まで削減される。
【数２】
2007525916.tif 000004
【００３６】
送信先トランシーバ２６が、ステップ６１０でｎｏ、すなわち、削減される行列［Δｘｉｊ］中の隣接要素も非ゼロではないと決定した場合、フレームＸ１中の要素ｘｉｊは、ステップ６１５で、不良要素であり変化している要素ではなく、偽りなく、静止している背景の一部又はオブジェクトの内側部分として識別される。ΔＸ１２中のΔｘｉｊに対する値も、ステップ６１５でそれに従ってアップデートされ、方法は、ステップ６０５に戻ることによって、次の非ゼロ要素に対する差分行列を探索し続ける。
【００３７】
送信先トランシーバ２６が、ステップ６１０でｙｅｓ、すなわち隣接要素も非ゼロであると決定した場合、フレームＸ１中の要素ｘｉｊは、変化している要素として識別される。この変化している要素は、運動中のオブジェクトの境界、静止している背景の変化している一部、又は周回しているオブジェクトの内側部分の上又はその近くで突き止められ得る。変化中の第１の真の要素（ΔＸ１２におけるΔｘｉｊ）を突き止めると、その要素は、ステップ６２０で、運動中又は周回しているオブジェクトの境界又は一部にあるのか、それとも静止オブジェクトの変化している一部にあるのか決定するために分析される。
【００３８】
要素が、変化し、移動し、且つ／又は周回しているオブジェクトの境界上にある場合、変化が似ている少なくとも２つの隣接要素と、変化が似ていない少なくとも１つの隣接要素とがあるはずであり、従って、オブジェクトの輪郭を描く接続境界の一部を形成する。オブジェクトが単に、回転し、又は静止し変化している場合、オブジェクトは、ΔＸ１２、ΔＸ１３、ΔＸ１４中の同じ位置で見つけられる。オブジェクトが動いている場合、オブジェクトは、フレームの間を予測的に移動し、後段のフレーム中でのその位置は、妥当な正確さで決定され得る。従って、送信先トランシーバ２６は、ステップ６２０で、非ゼロ要素に対して、運動変化が似ている少なくとも２つの隣接要素と、運動変化が似ていない少なくとも１つの隣接要素とがあるかどうか決定する。例えば、削減される差分行列要素Δｘ（ｉ）（ｊ＋１）及びΔｘ（ｉ＋１）（ｊ−１）は、非ゼロ要素Δｘｉｊと同じ値を有し、削減される差分行列要素Δｘ（ｉ）（ｊ−ｌ）は、非ゼロ要素Δｘｉｊとは異なる値を有し得る。一実施形態では、送信先トランシーバ２６が、ステップ６２０でｎｏ、すなわち、非ゼロ要素Δｘｉｊに対して変化が似ている少なくとも２つの隣接要素と、変化が似ていない少なくとも１つの隣接要素とがないと決定した場合、要素は、ステップ６２５でオブジェクト内部として識別され、方法は、ステップ６０５に戻る。或いは、送信先トランシーバ２６が、ステップ６２０でｙｅｓ、すなわち、非ゼロ要素Δｘｉｊに対して、変化が似ている少なくとも２つの隣接要素と、変化が似ていない少なくとも１つの隣接要素とがあると決定した場合、要素は、ステップ６３０で、オブジェクトの境界要素であると想定される。
【００３９】
一実施形態では、非ゼロ要素Δｘｉｊは、ステップ６３０でオブジェクトの境界上にあるとは想定されず、送信先トランシーバ２６は、削減される行列［Δｘｉｊ］の追加分析を実施して、要素がオブジェクトの境界内側にある変化中の要素であるかどうか決定する。例えば、移動し又は周回している色つきの立体オブジェクトは、オブジェクトの境界上を除いて、どの非ゼロ差分行列値（Δｘ）ももつことはできない。非ゼロ要素Δｘｉｊは、変化が似ている少なくとも６つの隣接要素を有する場合、変化しているオブジェクトの境界内側にある変化中の要素として識別される。この決定は、ステップ６２５で行われ得る。
【００４０】
続けて図７Ａを参照すると、非ゼロ要素が、変化し又は周回しているオブジェクトの内部にあるものとして、或いはオブジェクトの境界要素として識別されるステップ６２５、６３０に続いて、方法６００は、ステップ６３５に進み、ここで、送信先トランシーバは、差分行列中に、分析されていない非ゼロ要素が残っているかどうか決定する。差分行列中に、検査されていない非ゼロ要素が残っている場合、方法６００は、ステップ６０５に戻る。差分行列中に非ゼロ要素が残っていない場合、方法は、図７Ｂに示されるステップ６４５に進む。
【００４１】
ステップ６４５で、送信先トランシーバ２６は、境界要素が、差分行列比較の第１のフレーム中に現れるとき、オブジェクトの境界上にあるのか、それとも第２のフレーム中に現れるとき、オブジェクトの境界上にあるのか決定する。例えば、境界要素Δｘｉｊが差分行列ΔＸ１２にある場合、方法は、対応する境界要素ｘｉｊが、オブジェクトがフレーム１の中に現れるとき、オブジェクトの境界上にあるのか、それともオブジェクトがフレーム２の中に現れるとき、オブジェクトの境界上にあるのか決定する。送信先トランシーバがステップ６４５でｙｅｓ、すなわち、境界要素ｘｉｊが、差分行列比較の第１のフレーム（現在の例ではフレーム１）中のオブジェクトの境界上にあると決定した場合、要素は、ステップ６５０で、変化し、移動し、且つ／又は周回しているオブジェクトの境界要素として格納される。送信先トランシーバがステップ６４５でｎｏ、すなわち、境界要素ｘｉｊが第１のフレーム中のオブジェクトの境界上ではなく、差分行列比較の第２のフレーム（現在の例ではフレーム２）中のオブジェクトの境界上にあると決定した場合、境界要素は、ステップ６５５で破棄される。ステップ６４５、６５５に続いて、方法６００はステップ６６０に進み、ここで、送信先トランシーバ２６は、差分行列中に、ステップ６４５で検査されていない境界要素が残っているかどうか決定する。送信先トランシーバ２６が、ステップ６６０でｙｅｓ、すなわち、差分行列中に検査されていない境界要素が残っていると決定した場合、方法６００は、ステップ６４５に戻る。送信先トランシーバ２６がステップ６６０でｎｏ、すなわち、差分行列中に検査されていない境界要素が残っていないと決定した場合、方法６００は、ステップ６６５に進む。
【００４２】
ステップ６４５での決定がｎｏである、すなわち、境界要素ｘｉｊが第１のフレーム中のオブジェクトの境界上にない場合、送信先トランシーバ２６は、オブジェクトが、差分行列比較におけるフレームの間を左から右に動いていると仮定する。例えば、オブジェクトが、フレーム１とフレーム２との間を左から右に動いている場合、及び送信先トランシーバ２６が、差分行列を左から右に走査する場合、差分行列ΔＸ１２中で識別される、オブジェクト用の第１の境界要素は、オブジェクトがフレーム１の中に現れるとき、オブジェクトの境界上ではなく、フレーム２の中に現れるとき、オブジェクト上にある。従って、一実施形態では、送信先トランシーバ２６がｎｏ、すなわち境界要素ｘｉｊが第１のフレーム中のオブジェクトの境界上にないと決定した場合、送信先トランシーバ２６は、差分行列を下から上、右から左に走査することによって、ステップ６４５〜６６０を繰り返す。そうすることによって、送信先トランシーバ２６は、差分行列比較の第１のフレーム中のオブジェクトの境界要素の場所を識別することができる。
【００４３】
Ｂ．オブジェクトの輪郭を描く
差分行列比較の第１のフレーム中の単一のオブジェクトの境界要素がすべて、ステップ６４５〜６６０を繰り返すことによって突き止められると、オブジェクトは、ステップ６６５で輪郭を描かれる。ステップ６６５で、差分行列比較の第１のフレーム中のオブジェクトは、オブジェクトの境界上での似ている色変化を識別することにより、隣接する関連要素をつなぎ合わせることによって、輪郭を描かれる。一実施形態では、各フレーム行列ＸＮ中の要素ｘｉｊは、所与のピクセルに対する赤、緑、及び青のレベルに対応するデジタル数字の形で表される。差分行列要素Δｘｉｊは従って、フレームの間でピクセルが色を変化させているかどうかについて、第１のフレームと第２のフレームとにおける行列要素値を数学的に比較することによって情報を与える。従って、類似した値を有する差分行列要素Δｘｉｊは、似ている色変化を示し、似ている色変化を示す隣接差分行列要素は、単一のオブジェクト上の境界要素を指定する。
【００４４】
オブジェクトの輪郭を描く例示的な方法６６５が図８に示され、この方法は、ステップ７００で始まる。ステップ７０５で、送信先トランシーバ２６は、境界要素として識別される差分行列要素Δｘｉｊの値を、やはり境界要素として識別される隣接差分行列要素と、数学的に比較する。ステップ７１０で、送信先トランシーバ２６は、比較が、例えば５％以下の差を生じるかどうか決定する。送信先トランシーバ２６がステップ７１０でｙｅｓ、すなわち、比較が５％以下の差を生じると決定した場合、隣接要素は、ステップ７１５で、関連した要素として、また、単一のオブジェクトの輪郭の一部として識別される。ステップ７１５に続いて、送信先トランシーバ２６は、ステップ７２０で、オブジェクトの輪郭が完成したかどうか決定する。送信先トランシーバがステップ７２０でｙｅｓ、すなわちオブジェクトの輪郭が完成したと決定した場合、方法６４０は、終了ステップ７２５に進む。送信先トランシーバがステップ７２０でｎｏ、すなわちオブジェクトの輪郭が完成していないと決定した場合、方法はステップ７０５に戻る。送信先トランシーバ２６がステップ７１０でｎｏ、すなわち比較が５％以下の差を生じないと決定した場合、隣接要素は、ステップ７３０で、単一のオブジェクトの輪郭上にある関連した要素ではないとして識別される。ステップ７３０に続いて、方法は、ステップ７０５に戻る。関連した要素を識別する差の閾値は、１％、２％、３％、４％、６％、７％、８％、９％、１０％などのように、５％より大きくてもより小さくてもよく、５％という閾値は、例示目的のためにのみ使われることが当業者には理解されよう。
【００４５】
Ｃ．伝送されるフレーム中での輪郭を描かれるオブジェクトの識別及び位置決め
再度図７Ｂを参照すると、ステップ６６５でオブジェクトの輪郭を描くのに続いて、輪郭を描かれたオブジェクト上の要素が、伝送される映像フレームＸ１、Ｘ２、Ｘ３及びＸ４それぞれにおけるオブジェクトの位置を識別するのに用いられる。具体的には、ステップ６６５に続いて、方法６００は、ステップ６７０に進み、ここで、オブジェクトの境界に沿った、その両側にある４つの要素が選択され、色と位置情報に従って、各フレームＸ１、Ｘ２、Ｘ３及びＸ４中のオブジェクトを識別し位置決めするのに用いられる。一実施形態では、第１の要素は、差分行列を走査するときに突き止められるオブジェクトの第１の境界要素である。一実施形態では、こうした選ばれた要素は、オブジェクトの両側にあり、オブジェクトの周辺でこうした要素をつないで描かれる線は、矩形、より好ましくは正方形を形成する。選ばれた要素は、出力フレーム中でオブジェクトを位置決めするとき、オブジェクトがそれぞれのフレーム中で突き止められるピクセルの場所を定義する。
【００４６】
ステップ６４５で、オブジェクトには、オブジェクトをメモリに記憶するためにｋ値も割り当てられる。オブジェクトに割り当てられるｋ値は、オブジェクトが識別される順序（例えば１〜１００，０００）に対応し、オブジェクトは、各フレーム中に同じｋ値を保持する。オブジェクトが輪郭を描かれ、識別され、映像フレーム中で位置決めされると、ステップ６５０で、差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４中に残っているすべての要素に対して、ステップ６０５〜６４５が繰り返される。
【００４７】
ＶＩ．移動しているボールの例
オブジェクトとその運動とを識別する方法の一実施形態が、例示的な適用範囲の対応で論じられる。この例は、動いているボール７０を含み、ボールは、可能性としては一連のフレームの各フレーム中の異なる位置にある。図９Ａは、取り込まれた一連のフレームの４つのフレーム（フレーム１、フレーム２、フレーム３、及びフレーム４）を示し、ボール７０は、４つのフレームそれぞれの中で異なる位置にある。示される各フレームは、毎秒３０フレームの映像取込みシーケンスに取り込まれた第１のフレームである。従って、シーケンス中に示されるフレームの間の時間は、６０秒である。
【００４８】
本例において、テレビ会議標準クオーター・コモン中間フォーマット（ＱＣＩＦ）が用いられ、各フレームは、１４４行（ｉ＝１、２、３、．．．１４４）及び１７６列（ｊ＝１、２、３、．．．１７６）のピクセルを含む１４４×１７６ピクセルのグリッドを含む。各フレーム（フレーム１、フレーム２、フレーム３、及びフレーム４）向けの対応する差分行列ＸＮは、式（１２）で以降のように定義される。行列の各要素ｘｉｊは、下付き文字によって識別される、対応する位置情報を有し、「ｉ」は、要素が行列中で突き止められた行に対応し、「ｊ」は、要素が行列中で突き止められた列に対応する。
【数３】
2007525916.tif 000005
【００４９】
さらに、各ピクセルは、８ビットの２進数、すなわち１バイト長として表される、対応する色情報を有する。色情報は、赤、緑、及び青成分を含み、以降のように、８ビット数の最初の２ビットは、青成分に対応し、次の３ビットは緑成分に対応し、最後の３ビットは赤成分に対応する。
【表１】
2007525916.tif 000006
【００５０】
フレーム行列ＸＮ中の各要素ｘｉｊの値は、フレーム行列ＸＮ中の要素ｘｉｊに対応するピクセルに関する色情報を表す８ビットの２進数である。この例では、ボール７０は、２つのタイプの運動、すなわち並進と回転とを経ている。
【００５１】
図９Ａに示されるように、ボール７０は、水色の背景の中を移動し、ボールは、単一のソリッド・カラーである。背景及びボールの色は、各ピクセルごとに、８ビットのカラー・フォームで以降のように定義される。
【表２】
2007525916.tif 000007
【００５２】
図９Ｂは、以降の差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４、ΔＸ１３、ΔＸ１４のフレーム表現を示す。移動しているボール７０の場合、差分行列（ΔＸ）は、フレームの間の色差である。どの点も、フレームの間でほぼ同じである（ほぼ同じ色情報を有する）場合、こうした点は消去されるが、背景がオブジェクトから差し引かれ、又はオブジェクトが背景から差し引かれる場合、色の差が生じ、差分行列中で識別される。
【００５３】
Ａ．静止要素
送信先トランシーバ２６は、差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４を計算することによって、４フレームの間で変化していない要素を、静止要素として識別し、ボール上にないすべての要素が消える。例えば、フレーム１の中の背景中のピクセルａに対応するフレーム行列要素ｘａａは、０１００１００１というフレーム行列Ｘ１値（背景色に対するピクセル値）を有する。フレーム２の中のピクセルａに対応する同じフレーム行列要素ｘａａは、フレーム行列Ｘ２中の０１００１００１という同じピクセル値を有する。従って、差分行列ΔＸ１２中の差分行列要素Δｘａａはゼロであり、フレーム行列要素ｘａａは、フレーム行列Ｘ１とフレーム行列Ｘ２両方において同じピクセル値を有する。
【００５４】
背景中の要素と同様に、フレーム１とフレーム２との両方においてボール上にあるすべての要素も、差分行列ΔＸ１２中で消える。フレーム１の中でボール上にあるピクセルｂに対応する要素ｘｂｂは、１１０１１０１１というフレーム行列Ｘ１値（ボールの色に対するピクセル値）を有し、フレーム２の中のピクセルｂに対応する同じフレーム行列要素ｘｂｂは、１１０１１０１１というフレーム行列Ｘ１値を有する。従って、差分行列ΔＸ１２中の差分行列値Δｘａａはゼロであり、フレーム行列要素ｘｂｂは、フレーム行列Ｘ１とフレーム行列Ｘ２との両方において同じピクセル値を有する。
【００５５】
Ｂ．変化中の要素
フレーム１の中のボール上にあり、フレーム２の中の背景上にあるすべての要素は、フレーム行列Ｘ１において１１０１１０１１というフレーム行列値（ボールの色）と、フレーム行列Ｘ２において０１００１００１というフレーム行列値（背景色）とを有することになる。例えば、フレーム１とフレーム２とにおいてピクセルｃに対応するフレーム行列要素ｘｃｃは、フレーム行列Ｘ１において１１０１１０１１というフレーム行列値と、フレーム行列Ｘ２において０１００１００１というフレーム行列値とを有することになる。差分行列ΔＸ１２（Ｘ１−Ｘ２）中の差分行列値Δｘｃｃは、フレーム行列Ｘ１中の要素ｘｃｃに対するフレーム行列値と、フレーム行列Ｘ２中の要素ｘｃｃに対するフレーム行列値との間の差である。従って、差分行列ΔＸ１２中の差分行列値Δｘｃｃは、１１０１１０１１−０１００１００１＝１００１００１０である。
【００５６】
対照的に、フレーム２の中のボール上にあり、フレーム１の中の背景上にあるすべての要素は、フレーム行列Ｘ１において０１００１００１というフレーム行列値と、フレーム行列Ｘ２において１１０１１０１１というフレーム行列値とを有することになる。例えば、フレーム１とフレーム２とにおけるピクセルｄに対応するフレーム行列要素ｘｄｄは、フレーム行列Ｘ１において０１００１００１というフレーム行列値と、フレーム行列Ｘ２において１１０１１０１１というフレーム行列値とを有することになる。差分行列ΔＸ１２（Ｘ１−Ｘ２）中の差分行列値Δｘｄｄは、フレーム行列Ｘ１中の要素ｘｄｄに対するフレーム行列値と、フレーム行列Ｘ２中の要素ｘｄｄに対するフレーム行列値との間の差である。従って、差分行列ΔＸ１２中の差分行列値Δｘｄｄは、０１００１００１−１１０１１０１１＝１１１１１１１１１１１１１１１１１１１１１１１１０１１０１１１０であり、この値は、８ビットを超える２進数形式で表される負の数である。現在の例における差分行列値は、８ビットでしかあり得ず、オーバーフロー条件は使われることができないので、逆の差分行列値ΔＸ２１（Ｘ２−Ｘ１）が、差分行列要素Δｘｄｄに対する値１００１００１０を取得するために計算され、こうしたビット用に、関連づけられたメモリ内でフラグが追加される。具体的には、パリティ・ビットがフラグとして用いられ、要素に対する差分行列値が負の場合、パリティ・ビットは１にセットされ、差分行列値が正の場合、パリティ・ビットはゼロにセットされる。
【００５７】
一実施形態では、パリティ・ビット情報は、オブジェクトの移動方向を決定するのに用いられる。例えば、送信先トランシーバ２６が、差分行列を上から下、左から右に走査する場合、パリティ・ビットがオブジェクトの輪郭の最上部で境界要素に対して１にセットされると、オブジェクトの境界は、左及び／又は上に向かって動いている。逆に、パリティ・ビットがオブジェクトの輪郭の最上位で境界要素に対してセットされていない（ゼロ）と、オブジェクトの境界は、右及び／又は下に向かって動いている。
【００５８】
残っている差分行列ΔＸ２３とΔＸ３４とに対する行列値減算がすべて、上記の方法と調和して実施される。次いで、オブジェクトが、図７Ａ〜Ｂに示される方法６００に従って突き止められる。
【００５９】
Ｃ．オブジェクト識別
ステップ６０５に従って、第１の差分行列ΔＸ１２が、行列の行を、行列の最上位行から始まって左から右に探索することによって、第１の非ゼロ要素Δｘｉｊを求めて走査される。
【数４】
2007525916.tif 000008
【００６０】
第１の非ゼロ要素Δｘｉｊが単に、不良要素でもノイズでもなく、運動又は変化中の要素であることを検証するために、方法は、ステップ６１０で、ΔＸ１２中の隣接又は関連した要素Δｘ（ｉ−１）（ｊ−１）、Δｘ（ｉ−１）ｊ、Δｘ（ｉ−１）（ｊ＋１）、Δｘｉ（ｊ−１）、Δｘｉ（ｊ＋１）、Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）すべてが、ゼロに等しいわけではないかどうか決定する。具体的には、方法は、３つの隣接要素Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）がゼロに等しくない（Δｘ（ｉ＋１）（ｊ−１）＝Δｘ（ｉ＋１）ｊ＝Δｘ（ｉ＋１）（ｊ＋１）＝１００１００１０）と識別する。隣接要素すべてがゼロなわけではないので、要素ｘｉｊは変化している要素であり、運動中のオブジェクトの境界、静止している背景の変化している一部、又は周回しているオブジェクトの内側部分にあり得る。しかし、ΔＸ１２中の隣接要素Δｘ（ｉ−１）（ｊ−１）、Δｘ（ｉ−１）ｊ、Δｘ（ｉ−１）（ｊ＋１）、Δｘｉ（ｊ−１）、Δｘｉ（ｊ＋１）、Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）がすべて、ゼロにほぼ等しい場合、第１の非ゼロ要素Δｘｉｊは、ステップ６１５で不良要素として識別され、差分行列ΔＸ１２中の次の非ゼロ要素は、ステップ６０５で突き止められる。
【００６１】
ボール７０は、周回し、又は色が変化しているだけの場合、ΔＸ１２、ΔＸ１３、ΔＸ１４中の同じ位置で見つけられる。しかし、図９Ｂの差分行列ΔＸ１２、ΔＸ１３、ΔＸ１４のフレーム表現に示されるように、ボール７０は並進しており、単に周回し又は色が変化しているのではない。ステップ６２０で、送信先トランシーバ２６は、差分行列ΔＸ１２中の第１の非ゼロ要素Δｘｉｊが、運動中のオブジェクトの境界上にあるかどうか決定する。第１の非ゼロ要素Δｘｉｊに対する簡約された行列を参照すると、少なくとも２つの隣接要素が、似ている運動変化を有し、少なくとも１つの隣接要素が、似ていない運動変化を有する。具体的には、３つの隣接要素Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、及びΔｘ（ｉ＋１）（ｊ＋１）が、似ている運動変化（１００１００１０）を有し、５つの隣接要素Δｘ（ｉ−１）（ｊ−１）、Δｘ（ｉ−１）ｊ、Δｘ（ｉ−１）（ｊ＋１）、Δｘｉ（ｊ−１）、Δｘｉ（ｊ＋１）が、似ていない運動変化を有する。従って、送信先トランシーバ２６がステップ６２０でｙｅｓ、すなわち第１の非ゼロ要素が運動中のオブジェクトの境界上にあると決定した場合、要素Δｘｉｊは、ステップ６３０で、オブジェクトの境界要素として識別される。
【００６２】
送信先トランシーバがステップ６２０でｎｏ、すなわち非ゼロ要素が、運動中のオブジェクトの境界上にないと決定した場合、送信先トランシーバ２６は、非ゼロ要素Δｘｉｊはオブジェクト内部にあると決定してよい。より詳細には、送信先トランシーバ２６は、運動変化が似ている少なくとも６つの隣接要素があると決定した場合、非ゼロ要素Δｘｉｊは、静止し変化している、又は周回しているオブジェクト内部の要素として識別される。例えば、非ゼロ要素は、色を変化させているオブジェクト又は点滅光内部にあってよい。静止し変化している又は周回中のオブジェクトの内部にあるとして識別された非ゼロ要素は、この識別に従ってメモリに格納され、送信先トランシーバは、図７Ａ〜Ｂに示される方法６００に従って、オブジェクトと、その境界要素との識別を続ける。
【００６３】
非ゼロ要素の、ステップ６２５での変化しているオブジェクトの内部にあるとの、又はステップ６３０での境界要素であるとの識別に続いて、送信先トランシーバ２６は、ステップ６３５で、差分行列ΔＸ１２、ΔＸ１３、ΔＸ１４中に、ステップ６０５〜６３０で分析されていない要素が残っているかどうか決定する。ステップ６３５での決定がｎｏである場合、方法６００はステップ６０５に戻り、送信先トランシーバ２６は、差分行列中に次の非ゼロ要素を突き止める。
【００６４】
Ｄ．オブジェクトの輪郭を描く
図７Ｂに示される、方法６００のステップ６５０で識別された境界要素は、フレーム行列Ｘ１、Ｘ２、Ｘ３及びＸ４中の、関連づけられたオブジェクトの輪郭を描くための開始要素として使われる。オブジェクトの輪郭は、オブジェクトの境界上の隣接する関連要素を、差分行列ΔＸ１２、ΔＸ２３及びΔＸ３４とフレーム行列Ｘ１、Ｘ２、Ｘ３及びＸ４とを使ってつなぎ合わせることによって定義される。
【００６５】
本発明者は、上で、非ゼロ要素Δｘｉｊ＝１００１００１０を、オブジェクトの境界要素として識別したが、隣接要素Δｘ（ｉ＋１）（ｊ−１）、Δｘ（ｉ＋１）ｊ、Δｘ（ｉ＋１）（ｊ＋１）は似ている変化（１００１００１０）を有していた。非ゼロ要素Δｘｉｊがオブジェクトの輪郭の始まりであることを検証するために、その後に続いて、差分行列ΔＸ１２が、似ている変化（Δｘ（ｉ＋１）（ｊ−１）＝Δｘ（ｉ＋１）ｊ＝Δｘ（ｉ＋１）（ｊ＋１）＝１００１００１０）の識別されたパターンを検証するために分析される。似ている変化を有し、この対応で識別される隣接要素は、オブジェクトの輪郭を定めるために、つなぎ合わせられる。オブジェクトの輪郭の両側にある４つの要素が選ばれ、第１の要素は、第１の非ゼロ要素Δｘｉｊに対応するフレーム要素ｘｉｊである。他の３つの要素は、要素をつないで描かれる線が「Ｘ」又はボックスを形成するように選ばれる。選ばれた４つの要素は、オブジェクトが、復元された中間フレーム中で突き止められるべきピクセルの場所を定義するのに使われる。
【００６６】
差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４を用いて各オブジェクトの輪郭を描き、オブジェクトの輪郭上の４つの要素を識別した後、４つの要素は、フレーム行列Ｘ１、Ｘ２、Ｘ３及びＸ４中のそれに対応するオブジェクトを位置決めするのに用いられる。一実施形態では、４つの要素の１つを囲む隣接要素は、選ばれた要素に関連して、シグネチャ・パターンを形成する。このパターンは、フレーム中でオブジェクトを突き止め位置決めするのに用いられてもよい。輪郭を描かれたオブジェクトが、フレーム行列中で位置決めされると、オブジェクト情報は、オブジェクトが見つけられた順序に従ってｋ値を割り当てることによってメモリに保存される。この例は、１つのオブジェクトのみを含むので、そのｋ値は１である。
【００６７】
ＶＩＩ．運動中のオブジェクトに対する運動方程式
セクションＩＩで簡潔に記載されたように、オブジェクトの輪郭を識別しメモリに格納した後、オブジェクトの運動方程式が、中間フレーム（伝送されるフレームであるフレーム１、フレーム２、フレーム３、及びフレーム４それぞれの間のフレーム）を復元するために決定される。運動方程式は、そうすることによって、ディスプレイ３４に毎秒３０フレームの出力映像を供給するように、復元を可能にする。オブジェクトの運動方程式を決定するために、オブジェクトが経験している運動のタイプが最初に決定される。
【００６８】
Ａ．運動タイプの決定
オブジェクトの運動方程式を決定するために、システムは最初に、オブジェクトが経ている運動のタイプを決定する。オブジェクトの運動は、３タイプの運動、すなわち並進、周回、及び回転の１つ又は組合せにカテゴリ化され得る。フレーム行列ＸＮ中の要素又はピクセルｘｉｊは、３次元ベクトルｘｉｊ＝ｐ（ｘ  ｙ  ｋ）によって空間において定義され、ｘ＝ｉ、ｙ＝ｊであり、ｋは、要素の相対空間面である。オブジェクトが並進している場合、そのオブジェクトは、空間の中を、ある場所ａ（ｘ  ｙ  ｋ）から別の場所ｂ（ｘ  ｙ  ｋ）へ動いている。オブジェクトが周回している場合、そのオブジェクトは、オブジェクト外部の場所ｃ（ｘ  ｙ  ｋ）の辺りを回っている。最後に、オブジェクトが回転している場合、そのオブジェクトは、オブジェクト内部で見つけられた場所ｃ（ｘ  ｙ  ｋ）の辺りを回っている。一般に、周回又は回転しているオブジェクトは、オブジェクトがその辺りを回っているフレーム又は行列中に少なくとも１つの固定要素を有し、並進は、固定要素をもたない。純粋な並進は、オブジェクトを構成するすべての要素を、オブジェクトがフレームからフレームへ移動するのと等しい距離だけ移動する。
【００６９】
所与のｋ面値を用いて輪郭を描かれ、フレーム行列Ｘ１、Ｘ２、Ｘ３及びＸ４から導出されたオブジェクトを保存し調べることによって、オブジェクトは、その運動タイプを決定するために評価され得る。オブジェクトが並進しているか、周回しているか、又はその両方であるか決定するために、ΔＸ１２、ΔＸ２３、ΔＸ３４で定義される、オブジェクトの輪郭上の少なくとも２つの点が、フレームＸ１、Ｘ２、Ｘ３及びＸ４を通して追跡される。一実施形態では、２つの要素は、オブジェクトの両側にある。
【００７０】
選ばれたオブジェクトの両側にある２つの要素、すなわちｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）とを用いて、空間を通したオブジェクトの運動が決定され得る。第１のフレームＸ１において、２つの要素は場所ｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）とを有し、第２のフレームＸ２において、同じオブジェクトの２つの要素は、場所ｐ’１（ｘ’  ｙ’  ｋ）とｐ’２（ｘ’  ｙ’  ｋ）とにある。ｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）との間に描かれる線の長さは、ｐ’１（ｘ’ｙ’ｋ）とｐ’２（ｘ’ｙ’ｋ）との間に描かれる線の長さと同じである。
【００７１】
ピクセルをカウントする
【数５】
2007525916.tif 000009
として計算される、ｐ１とｐ’１との間の距離が、ｐ２とｐ’２との間の距離に等しい場合、オブジェクトは並進している。ｐ１とｐ’１との間の距離が、ｐ２とｐ’２との間の距離に等しくない場合、オブジェクトは、おそらくある程度の並進を伴って周回している。
【００７２】
オブジェクトが並進と周回との両方を行っているかどうか決定するために、オブジェクトが周回しているかどうか決定するのに用いられるのと同じプロセスが、後段のフレーム中でオブジェクトの周回の中心ｃ’（ｘｃ  ｙｃ  ｋ）を見つけるために、Ｘ２及びＸ３中のオブジェクトに対して実施される。ｃ（ｘｃ  ｙｃ  ｋ）がｃ’（ｘｃ  ｙｃ  ｋ）と同じ要素の場合、オブジェクトは周回しているだけである。ｃ（ｘｃ  ｙｃ  ｋ）がｃ’（ｘｃ  ｙｃ  ｋ）と同じ要素でない場合、オブジェクトは周回し並進しており、並進は、ｃ（ｘｃ  ｙｃ  ｋ）からｃ’（ｘｃ  ｙｃ  ｋ）への線又はベクトルによって記述される。
【００７３】
上述したように、各オブジェクトの輪郭上の４つの点又は要素は、復元されるフレーム中でオブジェクトを位置決めするのに用いられる。周回ベクトル（ｒ）と並進ベクトル（ｔ）とに対する値は、送信先トランシーバでオブジェクトを、復元されるフレームの中で移動するのに用いられる。
【００７４】
オブジェクトが回転しているかどうか決定するために、少なくとも２つの点、すなわちｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）とが、オブジェクト上での色パターンを表すのに用いられ、点は、フレームＸ１、Ｘ２、Ｘ３、及びＸ４の中で追跡される。一実施形態では、こうした２つの点は、パターンの両側にある。オブジェクトが回転しているかどうか決定するために、第１のフレームＸ１から保存されたオブジェクトは、オブジェクトの移動を分析するために追跡され得る色パターンを求めて走査される。オブジェクトは、ＱＣＩＦ（１７６×１４４）フレーム・サイズを使って、フレームの間を、どの方向にも１７ピクセル程も移動し得る。オブジェクトは、劇的な色変化、例えば赤、緑、又は青の値が、オブジェクトに渡って１５％を超えて変化する場所と、オブジェクトのサイズに対して、変化エリアのサイズ（エリア／オブジェクト・サイズ）とを求めて走査される。ピクセルを用いて計算されるこの比が、１／３より大きい場合、オブジェクトは、より小さい変化エリア（例えば１／５以下）を見つけるためにさらに走査される。
【００７５】
望ましい変化エリアが突き止められると、色パターン・エリアと、オブジェクトのｋ面上でのその向きとが、他のフレームＸ２、Ｘ３及びＸ４上で突き止められる。パターン・エリア上の４つの要素は次いで、オブジェクトの運動を定義するのに用いられる。選ばれたパターンである、両側にある４つの要素のうち２つ（ｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ））を使って、オブジェクトの輪郭におけるパターンの運動が定義され得る。フレームＸ１中のオブジェクトのパターン上の２つの点は、ｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）として識別され、フレームＸ２中のオブジェクトのパターン上の同じ２つの点は、ｐ’１（ｘ’  ｙ’  ｋ）とｐ’２（ｘ’  ｙ’  ｋ）として識別される。オブジェクトの並進の決定と同様に、ｐ１（ｘ  ｙ  ｋ）とｐ２（ｘ  ｙ  ｋ）との間に描かれる線の長さは、定義により、ｐ’１（ｘ’  ｙ’  ｋ）とｐ’２（ｘ’  ｙ’  ｋ）との間に描かれる線の長さと同じである。
【００７６】
フレームＸ１とＸ２との間に周回がない場合、ピクセルをカウントする
【数６】
2007525916.tif 000010
として計算されるｐ１とｐ’１との間の距離は、ｐ２とｐ’２との間の距離に等しく、パターンは、すべてのフレームＸ１、Ｘ２、Ｘ３、及びＸ４中で、オブジェクト上の同じ位置にある。従って、オブジェクトは回転していない。パターンの周回が、フレームＸ１とＸ２との間で明らかな場合、ｐ１とｐ’１との間の距離は、ｐ２とｐ’２との間の距離に等しくなく、オブジェクトは回転している。
【００７７】
Ｂ．１つ又は複数の運動方程式の決定
オブジェクト上にあるとして識別される行列又はフレームＸＮ中の要素又はピクセルは、空間中で、ｘｉｊ＝ｐ（ｘ  ｙ  ｋ）、すなわちｘ＝ｉ、ｙ＝ｊであり、ｋがオブジェクト識別子である３次元ベクトルとして定義され得る。要素定義によると、要素又はピクセルに対する運動方程式ｐ’は、周回ベクトル（ｒ）、開始要素ベクトル（ｐ）、及び並進ベクトル（ｔ）に応じて、以降のように定義され得る。
ｐ’＝ｒ×ｐ＋ｔ  （１４）
【００７８】
上式で、
【数７】
2007525916.tif 000011
である。
【００７９】
周回ベクトルはさらに、以降のように定義され得る。
【数８】
2007525916.tif 000012
【００８０】
周回の中心ｃ（ｘｃ  ｙｃ  ｋ）を見つけるために、オブジェクトの面の中で、ｐ１とｐ’１との間に直線が描かれ、線の長さは、
【数９】
2007525916.tif 000013
と決定され、線の傾きは、Δｙ／Δｘ＝ｔａｎθである。ｐ２とｐ’２との間にも、同じ対応で線が描かれる。垂直二等分線が次いで、こうした線の中央（長さ／２）から描かれ、２つの垂直二等分線の接点は、オブジェクトの周回の３次元の中心ｃ（ｘｃ  ｙｃ  ｋ）である。この周回の中心ｃ（ｘｃ  ｙｃ  ｋ）からｐ１まで描かれる線は、ｃ（ｘｃ  ｙｃ  ｋ）からｐ’１まで描かれる線と長さが等しく、ｃ（ｘｃ  ｙｃ  ｋ）からｐ２まで描かれる線は、ｃ（ｘｃ  ｙｃ  ｋ）からｐ’２まで描かれる線と長さが等しい。
【００８１】
オブジェクトに対する回転速度は、周回ベクトルを使って決定され得る。回転速度は、オブジェクトを、映像出力の各中間フレーム中の適正な位置で突き止めるための情報を提供する。オブジェクトに対する回転速度（Ｒ）は、時間変化によって除算される周回ベクトルの大きさとして定義される。
【数１０】
2007525916.tif 000014
【００８２】
オブジェクトに対する回転速度が一定の場合、差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４を使って計算される周回ベクトルの大きさ｜ｒ１２｜、｜ｒ２３｜、及び｜ｒ３４｜は、ほとんど同じ値をもたらすことになる。本実施形態では、フレームの間の時間変化ΔＴ１２＝ΔＴ２３＝ΔＴ３４は１秒であり、従って、｜ｒ｜／ΔＴ＝｜ｒ｜／秒であり、周回する距離は、ｘ’＝ｒｘ＊ｘ及びｙ’＝ｒｙ＊ｙによって定義され、出力される各映像フレーム位置を取得するために、３０で均等に除算され得る。
【００８３】
オブジェクトに対する回転速度（｜ｒ｜／ΔＴ）が一定でない場合、差分行列ΔＸ１２、ΔＸ２３、ΔＸ３４を使って計算される、周回ベクトル｜ｒ１２｜、｜ｒ２３｜、及び｜ｒ３４｜の大きさは、同じ値をもたらさず（｜ｒ１２｜≠｜ｒ２３｜≠｜ｒ３４｜）、オブジェクトは、回転において速度を上げているか、又は速度を下げているかのどちらかである。本実施形態では、差分行列のフレームの間の時間変化ΔＴ１２＝ΔＴ２３＝ΔＴ３４は１秒であり、従って、｜ｒ１２｜／ΔＴ１２＝｜ｒ１２｜／秒、｜ｒ２３｜／ΔＴ２３＝｜ｒ２３｜／秒、｜ｒ３４｜／ΔＴ３４＝｜ｒ３４｜／秒である。ｘ’＝ｒｘ＊ｘ及びｙ’＝ｒｙ＊ｙによって定義される、周回する距離は、各フレーム位置を取得するために、３０で均等に除算されることはできない。一定の回転速度をもたないこのオブジェクトの動きを決定するために、システムは、回転しているオブジェクトの加速度又は減速度を決定する。加速している回転オブジェクトの周回ベクトルの決定は、移動中のオブジェクトに対する加速ベクトルの周回要素に関して、これ以降でさらに詳しく論じられる。
【００８４】
オブジェクトに対する運動方程式は、オブジェクトの運動の速度上昇又は速度低下の要因となる加速又は減速成分を含む。オブジェクトの加速が線形的な場合、オブジェクトは、フレームの中を通るとき、定義可能な速度で速度を上げ、又は速度を下げている。オブジェクトの線形加速は、Ｘ１、Ｘ２、Ｘ３及びＸ４から格納されたオブジェクトの画像を用いて計算され得る。
【００８５】
加速ベクトルａは、並進と周回成分との両方を有する。並進成分を決定するために、上述したように、要素がｐとｐ’とから移動する線形的距離｜ｔ｜は、
【数１１】
2007525916.tif 000015
として計算される。オブジェクトが線形的に加速し、又は減速している場合、以降の関係が真になる。
｜ｔ１２−ｔ２３｜＝｜ｔ２３−ｔ３４｜≠０  （２１）
【００８６】
オブジェクトが非線形的に加速している場合、以降の関係が真になる。
｜ｔ１２−ｔ２３｜≠｜ｔ２３−ｔ３４｜≠０  （２２）
【００８７】
本例において、非線形的加速又は減速は考慮されない。線形加速ベクトルａｔ１４の並進成分は、線形加速に対して以降のように定義され、加速は、２秒間に渡って行われる。
ａｔ１４＝（ｔ１２−ｔ２３）＋（ｔ２３−ｔ３４）＝ａｔ１３＋ａｔ２４  （２３）
【００８８】
オブジェクトが線形的に加速し、又は減速している場合、ａｔ１３＝ａｔ２４であり、新規ベクトルｔｃが、以降のように定義され、すべてのフレームに対して定数である。
ｔｃ＝ｔ１２−ｔ２３＝ｔ２３−ｔ３４  （２４）
【００８９】
従って、並進ベクトルｔは、加速ベクトルを使って、以降のように再定義され得る。
【数１２】
2007525916.tif 000016
【００９０】
本例において、１フレームが毎秒送られ、距離構成要素を用いた上の加速計算は、２秒間に渡る加速を計算し、次いで、フレームごとの加速度は、以降のようになる。
【数１３】
2007525916.tif 000017
【００９１】
加速に対する（ｘ，ｙ）構成要素は、以降のように決定される。
【数１４】
2007525916.tif 000018
【００９２】
各新規フレーム中のオブジェクトに対する加速乗数ａｔは従って、
【数１５】
2007525916.tif 000019
である。
【００９３】
さらに、新規に作成された各フレームに対する並進ベクトルｔは、以降のように決定される。
【数１６】
2007525916.tif 000020
【００９４】
次の決定は、加速ベクトルの周回成分に対するものである。オブジェクトが線形的に加速し、又は減速している場合、以降の関係が真になる。
｜ｒ１２−ｔ２３｜＝｜ｒ２３−ｒ３４｜≠０  （３０）
【００９５】
オブジェクトが非線形的に加速している場合、以降の関係が真になる。
｜ｒ１２−ｒ２３｜≠｜ｒ２３−ｒ３４｜≠０  （３１）
【００９６】
本例において、非線形的加速又は減速は考慮されない。線形加速ベクトルａｒ１４の周回している構成要素は、線形加速に対して以降のように定義され、加速は、２秒間に渡って行われる。
ａｒ１４＝（ｒ１２−ｒ２３）＋（ｒ２３−ｒ３４）＝ａｒ１３＋ａｒ２４  （３２）
【００９７】
オブジェクトが線形的に加速し、又は減速している場合、ａｒ１３＝ａｒ２４であり、新規ベクトルｒｃが、以降のように定義され、すべてのフレームに対して定数である。
ｒｃ＝ｒ１２−ｒ２３＝ｒ２３−ｒ３４  （３３）
【００９８】
従って、並進ベクトルｒは、加速ベクトルを使って、以降のように再定義され得る。
【数１７】
2007525916.tif 000021
【００９９】
本例において、１フレームが毎秒送られ、距離構成要素を用いた、上の加速計算は、２秒間に渡る加速を計算し、次いで、フレームごとの加速度は、以降のようになる。
【数１８】
2007525916.tif 000022
【０１００】
加速に対する（ｘ，ｙ）構成要素は、以降のように決定される。
【数１９】
2007525916.tif 000023
【０１０１】
各新規フレーム中のオブジェクトに対する加速乗数ａｒは従って、
【数２０】
2007525916.tif 000024
である。
【０１０２】
さらに、新規に作成された各フレームに対する並進ベクトルｔは、以降のように決定される。
【数２１】
2007525916.tif 000025
【０１０３】
従って、並進及び周回ベクトルを、オブジェクトの加速を組み込んで決定させると、新規に作成された各フレームに対する終了要素ベクトルｐ’は、以降のように定義される。
【数２２】
2007525916.tif 000026
【０１０４】
従って、オブジェクトがフレームＸ１、Ｘ２、Ｘ３及びＸ４を通して移動している場合、差フレームΔＸ１２、ΔＸ２３、ΔＸ３４をＸ１、Ｘ２、Ｘ３及びＸ４中のオブジェクトと比較することによって突き止められた、オブジェクトの輪郭上の４点が、オブジェクトの画像を、映像出力のために新規に作成された背景フレームを超えて移動するのに用いられる。この動きは、運動方程式と、オブジェクトの輪郭上で定義される４点とによって定義される。
【０１０５】
線形的動きのみを経るオブジェクトに対して、復元された中間フレーム番号ｎ中でのオブジェクト上の点ｐｎ’（ｘｎ’  ｙｎ’  ｋ）の位置は、以降の式に従って決定され、ｘ及びｙは、伝送される第１のフレーム中のオブジェクト上にある点の開始座標であり、ｎは、作成される中間フレームに対応する、１〜２９の整数である（例えば、第１の中間フレームに対してはｎ＝１）。
【数２３】
2007525916.tif 000027
【０１０６】
オブジェクトが、フレームＸ中の、その定義された輪郭の内側で回転している場合、オブジェクト上で突き止められたパターン上の４点は、映像出力のために新規に作成された背景フレーム上で突き止められるべきオブジェクトの画像を周回させるのに用いられ、オブジェクトの回転又は周回は、周回ベクトルｒによって定義される。分母値「６０」は、フレーム１とフレーム３との間に作成されるべきフレームの数を反映する。従って、分母値「６０」は、伝送されるフレーム、例えば、フレーム１とフレーム３との間に作成されるべきフレームの数に応じて変えられ得る。
【０１０７】
ＶＩＩＩ．動いているボール用の運動方程式決定の例
図１０Ａは、図９Ａの４つの映像フレームをより詳細に示す図であり、図１０Ｂは、図９Ｂのフレーム表現をより詳細に示す図であり、図１０Ａ〜Ｂは、ボール７０の運動方程式の決定において使用するための点ｘとｘ’との識別を示す。
【０１０８】
ボール７０上の点ｘに対する運動方程式ｐ’は、周回ベクトル（ｒ）、開始要素ベクトル（ｐ）、及び並進ベクトル（ｔ）に応じて、以降のように定義される。
ｐ’＝ｒ×ｐ＋ｔ  （１４）
【０１０９】
図１０Ａに示されるフレーム１に対するフレーム行列中で、点ｘは、要素ｘ５２，６４の所で突き止められ、フレーム２に対するフレーム行列中で、点ｘは、要素ｘ４６，５２の所で突き止められる。セクションＶＩで上述されたように、この例にはただ１つのオブジェクトがあり、従って、オブジェクトに対するｋ値は１である。フレームとフレーム２とに対するフレーム行列中の点ｘに対する要素情報を用いて、運動方程式と対応するベクトルとが、以降のように決定される。
【数２４】
2007525916.tif 000028
【０１１０】
オブジェクトに対する運動方程式は、オブジェクトの運動の速度上昇又は速度低下の要因となる加速又は減速成分を含む。オブジェクトの加速が線形的な場合、オブジェクトは、フレームの中を通るとき、定義可能な速度で速度を上げ、又は速度を下げている。オブジェクトの線形加速は、フレーム行列Ｘ１、Ｘ２、Ｘ３及びＸ４用に格納されているオブジェクトの画像を用いて計算され得る。
【０１１１】
ボール７０上の点ｘに対して、ｐとｐ’との間を要素が移動する線形的距離｜ｔ｜は、上述したように、
【数２５】
2007525916.tif 000029
として計算される。従って、以降の線形的距離が計算されることができ、点ｘはフレーム３に対してはフレーム行列中の要素ｘ８４，３８と、フレーム４に対してはフレーム行列中の要素ｘ９８，６４との所で突き止められる。
【数２６】
2007525916.tif 000030
【０１１２】
線形加速ベクトルａｔ１４の並進成分は、線形加速に対して以降のように定義され、加速は、２秒間に渡って行われる。
ａｔ１４＝（ｔ１２−ｔ２３）＋（ｔ２３−ｔ３４）＝ａｔ１３＋ａｔ２４          (23)
【０１１３】
上式で、
【数２７】
2007525916.tif 000031
、
【数２８】
2007525916.tif 000032
であり、加速ベクトルａｔ１３とａｔ１４とが、以降のように決定される。
【数２９】
2007525916.tif 000033
【０１１４】
この例では、送信先トランシーバ２６は、ボール７０の線形的動きを考慮しているに過ぎない。従って、ボール上の点ｘの位置ｐｎ’（ｘｎ’ｙｎ’ｋ）は、復元された中間フレーム中に現れるとき、以降の式に従って決定され、この式で、１５番目のフレーム中で点ｘの位置を見つけるために、例えば、変数ｎは、１５で置き換えられる。
【数３０】
2007525916.tif 000034
【０１１５】
ＩＸ．静止している変化オブジェクト
オブジェクトが、それに関連づけられた運動をもたない、すなわち、オブジェクトが差分行列ΔＸ１２、ΔＸ１３、ΔＸ１４）中で同じ位置にある場合、オブジェクトは、静止している変化オブジェクトとして識別される。オブジェクトの変化速度は、ΔＸ／ΔＴとして定義され得る。オブジェクトの境界要素（輪郭）は、フレームＸ１、Ｘ２、Ｘ３及びＸ４中で物理的オブジェクトを見つけるのに用いられる。オブジェクトの変化速度は、時間内での関連づけられた変化差分行列を用いて、以降のように決定され得る。
【数３１】
2007525916.tif 000035
【０１１６】
静止している変化オブジェクトの境界、すなわち輪郭は、変化速度（ΔＸ／ΔＴ）が似ている、動いていない要素からなり、静止オブジェクトの境界上の要素は、変化速度が似ていない少なくとも２つの隣接要素を有する。変化速度が似ていない隣接要素を有する要素を識別することによって、送信先トランシーバ２６は、識別された境界要素を使ってオブジェクトの輪郭を描く接続境界を形成する。
【０１１７】
一実施形態では、上述したように、１４４×１７６ピクセルのサイズを有するＱＣＩＦフレーム中で、８ビットのピクセル（ｘｉｊ）が用いられる。画像又はフレームの各ピクセル又は要素は色を表し、標準最小値と標準最大値とを有する。各フレームの定義された空間内で、動的に変化していないものはどれも、システムによって無視される。システムは、定義されたオブジェクト中の着色変化を評価し定義し、各オブジェクトに対する情報を別々に、且つそれに関連づけられたフレームにリンクされたままに保つ。
【０１１８】
システムでの使用のために定義される変数は、ピクセル色、ピクセル・フレームの位置決め、及び時間経過に伴うフレーム差である。システムの目標は、フレームＸ１、Ｘ２、Ｘ３及びＸ４中のオブジェクトの画像が、こうしたフレームの中を通るとき、色に関して何をしているかを理解することである。
【０１１９】
彩度と輝度とは、赤、緑、及び青（ＲＧＢ）値に代わって、ピクセル値を特徴づけるのに用いられ得ることが、当業者には理解されよう。一実施形態では、ＹＣｒＣｂ又はＹＵＶは、輝度成分「Ｙ」と、彩度Ｃｒ（又はＶ）及びＣｂ（又はＵ）という２つの成分とによって、各色を表す。輝度成分は、「明るさ」又は「輝度」に関係し、彩度成分は、「色相」に関係した量を構成する。こうした成分は、ＩＴＵ−ＲＢＴ．６０１−４（Ｒｅｃ．６０１、以前はＣＣＩＲ６０１としても知られる）において厳正に定義されている。アナログＮＴＳＣ映像仕様ＡＮＳＩ／ＳＭＰＴＥ１７０Ｍは、わずかに異なる意味を有するＶとＵとを用いているので、彩度成分を参照するとき、ＶとＵとよりも、ＣｒとＣｂとを使うことが有利な場合がある。
【０１２０】
一例において、ピクセルのＲＧＢ成分は、０〜２５５の範囲の値を有し、彩度及び輝度成分ＹＣｒＣｂ又はＹＵＶに対する変換式は、以降のようになる。
Ｙ＝０．２５７ｒ＋０．５０４ｇ＋０．０９８ｂ＋１６
Ｃｒ又はＶ＝０．４３９ｒ−０．３６８ｇ−０．０７１ｂ＋１２８
Ｃｂ又はＵ＝−０．１４８ｒ−０．２９１ｇ＋０．４３９ｂ＋１２８
【０１２１】
オブジェクトは、一連の映像フレームを通って移動するとき、色及び／又は陰影変化のパターンを通り得る。オブジェクトの振舞いを最も良く理解するために、毎秒、全３０フレームが取り込まれ評価される必要がある。しかし、システムは、全３０フレームのうち１つを伝送するだけであり、送信先トランシーバ２６は、受信されるフレームのうち、明らかでないオブジェクトの情報又は振舞いに関して、発信元トランシーバ２４を照会してよい。
【０１２２】
Ｘ．フレームの復元
図１２Ａ〜Ｄは、送信先トランシーバ２６の所で、図３に示されるように、伝送されるフレームであるフレーム１、フレーム２、フレーム３、及びフレーム４と、上で決定された背景及びオブジェクト情報とを使って映像ストリームを復元する方法の一実施形態を示す。最初に、発信元トランシーバ２４から受信される、静止しているすべての背景の情報が、伝送されるフレームであるフレーム１、フレーム２、フレーム３、及びフレーム４の間で、フレーム・バッファを越えて均等にシフトされ、従って、フレーム１〜フレーム４にある中間フレーム用の背景を作成する。背景の作成に続いて、完全な中間フレームの展開が開始され、ここで、送信先トランシーバ２６にあるオブジェクト情報は、オブジェクトを、送信先トランシーバ２６の所の作業用バッファ中の背景フレーム上で位置決めするのに用いられる。フレーム・バッファは、画像フレームが復元されているメモリ中のエリアであり、表示用に、映像ディスプレイ３４にシフトアウトされるバッファ（ＦＩＦＯ）である。フレーム・バッファは、作業用バッファの一部であり、一実施形態では、作業用バッファは、計算、オブジェクト、オブジェクトの輪郭、位置情報などが格納され使われるメモリである。
【０１２３】
前述されたように、４フレーム比較方法は、オブジェクトを中間フレーム中で定義し突き止めるのに用いられ得る。図１２Ａに示されるように、フレーム１、フレーム２、フレーム３、及びフレーム４にある情報は、フレーム１とフレーム２との間の中間フレーム中でオブジェクトを識別し位置決めするのに用いられ、この中間フレームは、これ以降、中間フレーム１と呼ばれる。同様に、図１２Ｂに示されるように、フレーム１、中間フレーム１、フレーム２、及びフレーム３にある情報は、フレーム１と中間フレーム１との間の中間フレーム中でオブジェクトを識別し位置決めするのに用いられ、この中間フレームは、これ以降、中間フレーム２と呼ばれる。次に、図１２Ｃに示されるように、フレーム１、中間フレーム１、フレーム２、及びフレーム３からの情報は、中間フレーム１とフレーム２との間の中間フレーム中でオブジェクトを識別し位置決めするのに用いられ、この中間フレームは、これ以降、中間フレーム３と呼ばれる。
【０１２４】
より詳細には、セクションＶＩＩでの説明に従って決定される運動方程式は、時間情報とともに、中間フレーム中で突き止められるとき、オブジェクト上での選ばれた４点の場所を決定するのに用いられる。例えば、オブジェクトが、フレーム１とフレーム２との間を線形的に移動していると決定され、フレーム１とフレーム２との間の時間が３０秒の場合、中間フレーム１の中でのオブジェクトの位置は、フレーム１とフレーム２との間で移動された距離を半分に割ること、又は中間フレーム１に関して、オブジェクトが、フレーム１の中で識別されるように突き止められてから１５秒が経過しているという知識を用いることによって決定される。
【０１２５】
フレーム１とフレーム２との間のすべての２９フレームが、図１２Ｄに示されるように完成されるまで、システムは、フレーム１、中間フレーム１、中間フレーム２、中間フレーム３、及びフレーム２の間の中間フレーム上でオブジェクトを識別し位置決めし続ける。背景とオブジェクトとが、伝送されるフレームの１つに続く２９フレームからなるシーケンス上で位置決めされると、伝送されるフレームであるフレーム１とフレーム２とを含むフレーム・シーケンスが、ディスプレイ３４での表示用に、フレーム・バッファに伝送される。
【０１２６】
フレーム１とフレーム２との間の中間フレームからなるシーケンスの完了に続いて、伝送される新規フレームが、古いフレーム２とフレーム３との間の中間フレームを、古いフレーム１とフレーム２との間の中間フレームが構築されたのと同じ対応で復元するためのフレーム４（フレーム行列Ｘ４）として使われる。従って、古いフレーム２は現在のフレーム１であり、古いフレーム３は、今度はフレーム２として使われ、古いフレーム４は、今度はフレーム３として使われて、ディスプレイ３４に表示するための次のフレーム・シーケンスを復元する。作成された既存の背景フレームは、検証され認証され、何かが劇的に変わっている場合、送信先トランシーバ２６は、変化を検証するために、発信元トランシーバ２４に照会を行う。変化が、発信元トランシーバ２４によって認証されない場合、送信先トランシーバは、新規フレームを要求するか、又は、伝送上の問題がある場合、送信先トランシーバ２６は、新規フレームが不良であると仮定し、既に決定されている背景情報を用いる。中間フレームの背景の検証と認証とに続いて、オブジェクトは、作業用バッファ中の新規フレーム１と新規フレーム２との間の中間フレーム上で位置決めされる。中間フレームがすべて、作業用バッファ中で復元されると、新規フレーム１、復元された中間フレーム、及び新規フレーム２が、ディスプレイ３４に伝送される。この中間フレーム復元プロセスと後段のディスプレイ３４への伝送とは、送信先トランシーバ２６の所で受信される、伝送されるフレームからなるシーケンスの残りに対して繰り返され、そうすることによって、ディスプレイ３４の所で表示されるフレームは、図４に示される、連続する映像ストリーム１１０となり、毎秒３０フレームからなる。
【０１２７】
例示的な発信元トランシーバ回路１２００が、図１２のブロック図に示される。発信元トランシーバ回路１２００は、映像ソース２２から映像ストリームを受信するように構成された映像バッファ１２０２を備える。映像バッファは、プログラム可能な数学及び分散論理回路１２０４に結合され、この回路は、作業メモリ１２０６に結合される。プログラム可能な数学及び分散論理回路１２０４は、動的出力バッファ１２０８に結合され、このバッファは、データ・マルチプレクサ及び圧縮回路１２１０に、毎秒１フレームを出力する。データ・マルチプレクサ及び圧縮回路１２１０は、トランシーバ回路に結合され、トランシーバ回路は、伝送回路と受信回路との両方を含み得る。データ・マルチプレクサ及び圧縮回路１２１０は、プログラム可能な数学及び分散論理回路１２０４にも結合され、そうすることによって、発信元トランシーバ２４は、送信先トランシーバ２６からの要求に応じて、フレーム情報を取り出すことができるようになる。
【０１２８】
発信元トランシーバ回路１２００と同様に、例示的な送信先トランシーバ回路１３００が図１３に示される。送信先トランシーバ回路１３００は、発信元トランシーバ２４から毎秒１フレームの映像入力を受信するように構成されたデータ・マルチプレクサ及び圧縮回路１３０２を備える。動的入力バッファ１３０４は、データ・マルチプレクサ及び圧縮回路１３０２に結合され、毎秒１フレームをプログラム可能な数学及び分散論理回路１３０６の中にシフトするように構成される。プログラム可能な数学及び分散論理回路１３０６は、作業メモリ１３０８に結合され、動的入力バッファ１３０４の所でフレームの間の中間フレームを復元し、又は構築するように構成される。数学及び分散論理回路１３０６は、フレーム組立てバッファ１３１０の中で中間フレームを復元し、又は組み立て、このバッファは、毎秒３０フレームをディスプレイ３４にシフトアウトするように構成された映像バッファ１３１２に結合される。
【０１２９】
プログラム可能な数学及び分散論理回路１３０６は、第１及び第２のフレームの少なくとも一方の中に、関連した少なくとも１つの特性を有する複数の点を識別するように構成されたプロセッサに組み込まれてもよい。また、プログラム可能な数学及び分散論理回路１３０６は、複数の点の少なくとも１つが、第１のフレームと第２のフレームとの間で、その位置を変えているかどうか決定するように構成されてもよい。プログラム可能な数学及び分散論理回路１３０６は、その位置を変えている、複数の点の少なくとも１つを、少なくとも第１のフレーム中の第１のピクセルと、第２のフレーム中の第２のピクセルとに関連づけるように構成され、さらに、第１のピクセルの位置と第２のピクセルの位置との間の関係を決定するように構成されてもよい。プログラム可能な数学及び分散論理回路１３０６は、少なくとも１つの中間フレーム中で、その位置を変えている、複数の点のうち少なくとも１つの点の位置を、第１及び第２のピクセルの位置の間の関係に少なくとも部分的に基づいて決定するように構成されてもよい。プログラム可能な数学及び分散論理回路１３０６は、第１及び第２のフレームの間でほとんど動かないままでいた複数の点を識別するように構成されてもよい。プログラム可能な数学及び分散論理回路１３０６は、動いている点とほとんど静止している点とを含む中間フレームほぼ全体のピクセルの位置を定義するように構成されてもよい。中間フレーム中の静止オブジェクトに対するピクセル情報の決定において、プログラム可能な数学及び分散論理回路１３０６は、変わらないままであった複数の点に対する中間フレームにおいて、（ａ）第１のフレーム中のピクセル情報、（ｂ）第２のフレーム中のピクセル情報、（ｃ）第１及び第２のフレームのソースから提供された中間フレームについてのピクセル情報、並びに（ｄ）第１及び第２のフレームの平均ピクセル情報の少なくとも１つに基づいて、ピクセル情報を識別するように構成される。上述したように、プログラム可能な数学及び分散論理回路１２０４、１３０６は、発信元電話と送信先電話内に、又はそれに関連して、それぞれ実装されてもよい。かかる電話は、有線（例えば、ＰＯＴＳ）又は無線（例えば、セルラー又はモバイル）電話ネットワーク内で機能し得る。本発明は、電話ネットワークの実装形態のみに限定されるのではなく、本発明は、画像又は映像情報を送り、且つ／又は受信するどの有線又は無線通信ネットワーク（群）内でも同様に実装され得る。
【０１３０】
上記説明は、本発明の特定の実施形態を詳述している。しかし、本発明は、多くのやり方で実装され得ることが理解されるであろう。例えば、プログラム可能な数学及び分散論理回路１３０６、１２０４など、いくつかの構成要素は、単一又は多数のプロセッサ、専用のハードウェア回路、電話やコンピュータなどの装置内で実行されるソフトウェア・モジュール、及び当該分野において知られている他の多くの実装形態の形で実装されてよい。本発明の範囲は従って、添付の特許請求の範囲と、そのどの等価物によっても企図されるべきである。
【図面の簡単な説明】
【０１３１】
【図１】制限された帯域幅メディアを介した映像通信用のシステムの一実施形態を示すブロック図である。
【図２】図１の制限された帯域幅映像通信システムを介した伝送の一端で生成される、伝送用の映像ストリームを示す図である。
【図３】図１の映像通信システムを介した伝送用の、図２に示される映像ストリームから選択されるフレームを示す図である。
【図４】図３から伝送されるフレームと復元されるフレームとを含む、送信先で表示される映像フレームを示す図である。
【図５】基づかれているトランシーバで中間フレームを復元する方法の一実施形態を示すフロー図である。
【図６】映像ストリーム中の変化しているオブジェクトの要素を識別する方法の一実施形態を示すフロー図である。
【図７Ａ】要素をオブジェクトの境界要素として識別し、映像フレーム中でオブジェクトの輪郭を描き位置決めする方法の一実施形態を示すフロー図である。
【図７Ｂ】要素をオブジェクトの境界要素として識別し、映像フレーム中でオブジェクトの輪郭を描き位置決めする方法の一実施形態を示すフロー図である。
【図８】図７に示される方法に従ってオブジェクトの輪郭を描く方法の一実施形態を示すフロー図である。
【図９Ａ】立体背景の中を移動するボールの例に対する４つの映像フレームを示す図である。
【図９Ｂ】図９Ａの映像フレームに対する差分行列に対応するフレーム表現を示す図である。
【図１０Ａ】ボールの運動方程式の決定において使用するための点を識別する図９Ａの４つの映像フレームをより詳細に示す図である。
【図１０Ｂ】ボールの運動方程式の決定において使用するための点を識別する図９Ｂのフレーム表現をより詳細に示す図である。
【図１１Ａ】映像通信の送信先で出力される映像ストリーム用の映像フレームを復元する方法の一実施形態を示す。
【図１１Ｂ】映像通信の送信先で出力される映像ストリーム用の映像フレームを復元する方法の一実施形態を示す。
【図１１Ｃ】映像通信の送信先で出力される映像ストリーム用の映像フレームを復元する方法の一実施形態を示す。
【図１１Ｄ】映像通信の送信先で出力される映像ストリーム用の映像フレームを復元する方法の一実施形態を示す。
【図１２】発信元トランシーバ回路の一実施形態を示すブロック図である。
【図１３】送信先トランシーバ回路の一実施形態を示すブロック図である。
【符号の説明】
【０１３２】
２２  映像ソース
２４  発信元送信機／受信機（トランシーバ）
２６  送信先送信機／受信機（トランシーバ）
２８  ＰＯＴＳ
３４  ディスプレイ
３６  映像ソース
３８  ディスプレイ
１２０２  映像バッファ
１２０４  プログラム可能な数学及び分散論理回路
１２０６  作業メモリ
１２０８  フレーム
１２１０  データ・マルチプレクサ及び圧縮回路
１３０４  フレーム
１３０６  プログラム可能な数学及び分散論理回路
１３０８  作業メモリ
１３１２  映像バッファ
【図１】
2007525916.tif 000036
【図２】
2007525916.tif 000037
【図３】
2007525916.tif 000038
【図４】
2007525916.tif 000039
【図５】
2007525916.tif 000040
【図６】
2007525916.tif 000041
【図７Ａ】
2007525916.tif 000042
【図７Ｂ】
2007525916.tif 000043
【図８】
2007525916.tif 000044
【図９Ａ】
2007525916.tif 000045
【図９Ｂ】
2007525916.tif 000046
【図１０Ａ】
2007525916.tif 000047
【図１０Ｂ】
2007525916.tif 000048
【図１１Ａ】
2007525916.tif 000049
【図１１Ｂ】
2007525916.tif 000050
【図１１Ｃ】
2007525916.tif 000051
【図１１Ｄ】
2007525916.tif 000052
【図１２】
2007525916.tif 000053
【図１３】
2007525916.tif 000054
【手続補正書】
【提出日】平成18年10月30日(2006.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築する方法であって、
前記第１及び第２のフレームの少なくとも一方の中に、前記第１及び第２のフレーム間の数字上の差に少なくとも部分的に基づいて、関連した少なくとも１つの特性を有する複数の点を識別すること、
前記複数の点の少なくとも１つが、前記第１のフレームと前記第２のフレームとの間で、その位置を変えているかどうか決定すること、
その位置を変えた前記複数の点の前記少なくとも１つを、少なくとも前記第１のフレーム中の第１のピクセルと前記第２のフレーム中の第２のピクセルとに関連づけること、及び
前記第１のピクセルの位置と前記第２のピクセルの位置との間の関係を決定することを含む方法。
【請求項２】
前記少なくとも１つの中間フレーム中で、その位置を変えている、前記複数の点のうち前記少なくとも１つの点の前記位置を、前記第１及び第２のピクセルの前記位置の間の前記関係に少なくとも部分的に基づいて決定することをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１及び第２のフレームの間でほとんど動かないままでいた複数の点を識別することをさらに含む、請求項２に記載の方法。
【請求項４】
運動している点とほとんど静止している点とを含む、中間フレームほぼ全体のピクセルの位置を定義することをさらに含む、請求項３に記載の方法。
【請求項５】
前記第１及び第２のピクセルの前記位置の間の前記関係を決定することが、運動方程式中の少なくとも１つの係数を導出することを含む、請求項１に記載の方法。
【請求項６】
前記運動方程式が、回転、周回、及び並進運動の少なくとも１つを経る前記複数の点のうち前記少なくとも１つの点の位置を決定する、請求項１に記載の方法。
【請求項７】
前記第１及び第２のピクセルの前記位置が、ｘ及びｙ座標によって少なくとも部分的に識別される、請求項６に記載の方法。
【請求項８】
関連した少なくとも１つの特性を有する前記複数の点を識別することが、オブジェクトを定義することを含む、請求項１に記載の方法。
【請求項９】
オブジェクトを定義することが、観察者の目によって視覚されるとき、前記画像中の物理的オブジェクトの少なくとも一部分を定義することを含む、請求項８に記載の方法。
【請求項１０】
関連した少なくとも１つの特性を有する前記複数の点を識別することが、前記複数の点が回転、周回、及び並進運動の少なくとも１つを経験しているかどうか決定することを含む、請求項１に記載の方法。
【請求項１１】
前記複数の点の少なくとも１つが、その位置を変えているかどうか決定することが、前記第１のフレーム中のピクセル位置と、前記第２のフレーム中のほぼ同じ位置のピクセルとの間の、非ゼロである差を有する点を識別することを含む、請求項１に記載の方法。
【請求項１２】
前記第１及び第２のフレーム中の複数のオブジェクトを識別することをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記第１及び第２のフレームを、送信機から受信機に伝送することをさらに含む、請求項１に記載の方法。
【請求項１４】
変わらないままであった前記複数の点に対する前記中間フレームにおいて、（ａ）前記第１のフレーム中のピクセル情報、（ｂ）前記第２のフレーム中のピクセル情報、（ｃ）前記第１及び第２のフレームのソースから提供された前記中間フレームについてのピクセル情報、並びに（ｄ）前記第１及び第２のフレームの平均ピクセル情報の少なくとも１つに基づいて、ピクセル情報を識別することをさらに含む、請求項３に記載の方法。
【請求項１５】
変わらないままであった前記複数の点に対する前記ピクセル情報が、色及びグレー・スケール値の少なくとも一方を含む、請求項１４に記載の方法。
【請求項１６】
前記複数の点の１つに対する前記ピクセル情報が、前記第１のフレーム中の前記複数の点のうち前記１つのほぼ同じ位置に関連づけられた前記第１のフレーム中の位置で突き止められた少なくとも１つのピクセルのものとほぼ同じ色情報を含む、請求項１５に記載の方法。
【請求項１７】
前記中間フレーム中の少なくとも１つのピクセルについての情報を伝達するよう、発信元送信機に選択的に要求することをさらに含む、請求項１に記載の方法。
【請求項１８】
前記第１のピクセルの位置と前記第２のピクセルの位置との間の前記関係を決定することが、前記第２のフレーム中でほぼ同じ位置で突き止められた前記第１のピクセルと第３のピクセルの色又はグレー・スケール情報の間の非ゼロである差を少なくとも部分的に識別することを含む、請求項１に記載の方法。
【請求項１９】
少なくとも前記第１及び第２のフレームを、有線又は無線電話ネットワークを経由して発信元電話から送信先電話に伝達することをさらに含む、請求項１に記載の方法。
【請求項２０】
第１及び第２のフレームの間に、画像の少なくとも１つの中間フレームを構築するシステムであって、
前記第１及び第２のフレームの少なくとも一方の中に、前記第１及び第２のフレーム間の数字上の差に少なくとも部分的に基づいて、関連した少なくとも１つの特性を有する複数の点を識別するように構成された識別回路と、
前記複数の点の少なくとも１つが、前記第１のフレームと前記第２のフレームとの間で、その位置を変えているかどうか決定するように構成された比較回路と、
その位置を変えた、前記複数の点の前記少なくとも１つを、少なくとも前記第１のフレーム中の第１のピクセルと、前記第２のフレーム中の第２のピクセルとに関連づけるように構成され、前記第１のピクセルの位置と前記第２のピクセルの位置との間の関係を決定するようにさらに構成された処理回路とを備えるシステム。
【請求項２１】
前記処理回路が、前記少なくとも１つの中間フレーム中で、その位置を変えている、前記複数の点のうち前記少なくとも１つの点の前記位置を、前記第１及び第２のピクセルの前記位置の間の前記関係に少なくとも部分的に基づいて決定するように構成される、請求項２０に記載のシステム。
【請求項２２】
前記識別回路が、前記第１及び第２のフレームの間でほとんど動かないままでいた複数の点を識別するように構成される、請求項２１に記載のシステム。
【請求項２３】
前記処理回路が、動いている、及びほとんど静止している点を含む、中間フレームほぼ全体のピクセルの位置を定義するように構成される、請求項２２に記載のシステム。
【請求項２４】
前記処理回路が、運動方程式中で少なくとも１つの係数を導出するように構成される、請求項２０に記載のシステム。
【請求項２５】
前記運動方程式が、回転、周回、及び並進運動の少なくとも１つを経る前記複数の点のうち前記少なくとも１つの点の位置を決定する、請求項２０に記載のシステム。
【請求項２６】
前記第１及び第２のピクセルの前記位置が、ｘ及びｙ座標によって少なくとも部分的に識別される、請求項２５に記載のシステム。
【請求項２７】
前記識別回路が、オブジェクトの点を定義するように構成される、請求項２０に記載のシステム。
【請求項２８】
前記識別回路が、前記画像中の物理的オブジェクトの少なくとも一部分を、観察者の目によって視覚されるときに定義する、請求項２７に記載のシステム。
【請求項２９】
前記識別回路が、前記複数の点が回転、周回、及び並進運動の少なくとも１つを経験するかどうか決定する、請求項２０に記載のシステム。
【請求項３０】
前記比較回路が、前記第１のフレーム中のピクセル位置と、前記第２のフレーム中のほぼ同じ位置のピクセルとの間の非ゼロである差を有する点を識別するように構成される、請求項２０に記載のシステム。
【請求項３１】
前記識別回路が、前記第１及び第２のフレーム中の複数のオブジェクトを識別するように構成される、請求項３０に記載のシステム。
【請求項３２】
前記第１及び第２のフレームを受信機に送るように構成された送信機をさらに備える、請求項２０に記載のシステム。
【請求項３３】
前記処理回路が、変わらないままであった前記複数の点に対する前記中間フレームにおいて、（ａ）前記第１のフレーム中のピクセル情報、（ｂ）前記第２のフレーム中のピクセル情報、（ｃ）前記第１及び第２のフレームのソースから提供された前記中間フレームについてのピクセル情報、並びに（ｄ）前記第１及び第２のフレームの平均ピクセル情報の少なくとも１つに基づいて、ピクセル情報を識別するように構成される、請求項２２に記載のシステム。
【請求項３４】
変わらないままであった前記複数の点に対する前記ピクセル情報が、色及びグレー・スケール値の少なくとも一方を含む、請求項３３に記載のシステム。
【請求項３５】
前記複数の点の１つに関する前記ピクセル情報が、前記第１のフレーム中の前記複数の点のうち前記１つのほぼ同じ位置に関連づけられた前記第１のフレーム中の位置で突き止められた少なくとも１つのピクセルのものとほぼ同じ色情報を含む、請求項３４に記載のシステム。
【請求項３６】
前記処理回路が、前記中間フレーム中の少なくとも１つのピクセルについての情報を送るよう、発信元送信機に選択的に要求するように構成される、請求項２０に記載のシステム。
【請求項３７】
前記処理回路が、前記第１のピクセルのカラー又はグレー・スケール情報と、前記第２のフレーム中のほぼ同じ位置で突き止められた第３のピクセルとの間の非ゼロである差を識別するように構成される、請求項２０に記載のシステム。
【請求項３８】
少なくとも前記第１及び第２のフレームを、有線又は無線電話ネットワークを経由して送信先電話に送るように構成された発信元電話をさらに備える、請求項２０に記載のシステム。
【請求項３９】
プロセッサが、前記識別、比較、及び処理回路を備える、請求項２０に記載のシステム
【請求項４０】
前記数字上の差が、前記第１のフレーム中と前記第２のフレーム中との複数のピクセルに関連づけられた色情報に関する数値の間の差を含む、請求項１に記載の方法。
【国際調査報告】
2007525916.tif 000055
2007525916.tif 000056