(57)【要約】パーソナルコンピュータのような映像受信装置は、ＵＳＢインタフェースのような低速通信インタフェースを介し映像キャプチャ装置から受信した映像データから高画質映像を生成する。映像データは２つのパスで受信装置に受信される。第１パスは低周波数係数部分を提供し、第２パスは高周波数係数部分を提供する。映像を表す係数は、画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行し、係数の一部を圧縮することにより生成される。一実施例では、第１パスで受信したフレームと第２パスで受信したフレームとをマッチさせ、低周波数係数部分の圧縮から高周波数係数部分の圧縮に切り替える映像キャプチャ装置に合図する。他の実施例では、第１及び第２パスで受信したフレームが受信装置に格納され、キーフレームが各パスから受信されるフレームの同期化に利用される。
2005528813.tif 000002
【特許請求の範囲】
【請求項１】
インタフェースを介した映像送信方法であって：
画素ブロックを表す係数ブロックの第１部分を圧縮するステップ；
前記圧縮された第１係数部分を前記インタフェースに送信するステップ；
前記係数ブロックの第２部分を圧縮するステップ；及び
前記圧縮された第２係数部分を前記インタフェースに送信するステップ；
からなることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、受信装置が、前記第１及び第２係数部分を受信及び解凍し、前記解凍された第１係数部分と前記解凍された第２係数部分を合成し、前記画素ブロックに対応した合成係数行列を生成することを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記係数行列は低周波数部分と高周波数部分を有し、前記第１係数部分の圧縮は前記低周波数係数部分の圧縮からなり、前記圧縮された第１係数部分の送信は前記圧縮された低周波数係数部分を前記インタフェースに送信することからなり、前記第２係数部分の圧縮は前記高周波数係数部分の圧縮からなり、前記圧縮された第２係数部分の送信は前記圧縮された高周波数係数部分を送信することからなることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、前記系列の各フレームの各画素ブロックに対して、前記第１係数部分の圧縮及び送信は、前記第２係数部分の圧縮及び送信の実行前に実行されることを特徴とする方法。
【請求項５】
請求項４記載の方法であって、さらに：
前記系列の開始フレーム群に対し前記第１係数部分の圧縮及び送信が繰り返されるステップ；及び
スイッチモード信号の受信以降のフレームの各画素ブロックに対し前記第２係数部分の圧縮及び送信を実行するステップ；
を備え、前記受信装置は前記開始フレームの１つを以前に送信されたフレームとマッチさせるために、各フレームに対し前記第１係数部分を解凍及び復号し、
前記方法は、さらに：
前記受信装置から前記スイッチモード信号を受信するステップ；及び
前記第１係数部分の圧縮及び送信から前記第２係数部分の圧縮及び送信に切り替えるステップ；
を備えることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、受信装置が、前記第１及び第２係数部分を受信及び解凍し、前記解凍された第１係数部分と前記解凍された第２係数部分を合成し、前記画素ブロックに対応する合成係数行列を生成し、前記合成係数行列からビットストリームを生成することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記第２係数部分は前記第１部分の係数を含まないことを特徴とする方法。
【請求項８】
請求項１記載の方法であって、前記映像はデジタルフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、各画素ブロックに変換が行われることにより各画素ブロックに応じた前記係数行列が得られ、前記方法は、さらに：
アナログ映像フレームの系列を受信するステップ；及び
前記アナログ映像フレームの系列をデジタル映像フレームの系列に変換するステップ；
を備え、各画素は少なくとも１バイトにより表されることを特徴とする方法。
【請求項９】
請求項１記載の方法であって、前記インタフェースは、１〜２０Ｍｂｐｓのデータ速度を有し、通信リンクを受信装置に与える低速インタフェースであることを特徴とする方法。
【請求項１０】
請求項９記載の方法であって、前記インタフェースはユニバーサルシリアルバス（ＵＳＢ）インタフェースであることを特徴とする方法。
【請求項１１】
請求項１記載の方法であって、さらに：
前記画素ブロックに対し変換を行い、前記画素ブロックに対応する係数行列を取得するステップ；
を備えることを特徴とする方法。
【請求項１２】
請求項１１記載の方法であって、前記画素ブロックの変換は前記画素ブロックに対する離散コサイン変換（ＤＣＴ）の実行からなり、前記画素ブロックに対応するＤＣＴ係数の行列が得られることを特徴とする方法。
【請求項１３】
インタフェースを介し受信された係数からの高画質映像ビットストリーム生成方法であって：
第１係数部分を解凍するステップ；
前記第１係数部分以降に受信された第２係数部分を解凍するステップ；及び
前記第１及び第２係数部分を合成し、画素ブロックに対応する合成係数行列を生成するステップ；
からなることを特徴とする方法。
【請求項１４】
請求項１３記載の方法であって、前記画素ブロックは前記第１及び第２部分からなる係数行列により表され、前記第１部分は低速インタフェースを介した送信前に圧縮されることを特徴とする方法。
【請求項１５】
請求項１３記載の方法であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、各画素ブロックは前記第１及び第２部分からなる係数行列により表され、
前記方法は、さらに：
前記系列の開始フレームの各画素ブロックに対し第２時間で第１係数部分を受信するステップ；
前記開始フレームの１つを以前に受信したフレームとマッチさせ、基準フレームを特定するステップ；及び
前記基準フレーム以降のフレームの各画素ブロックに対し前記第２係数部分を送信するよう映像キャプチャ装置に合図するステップ；
からなることを特徴とする方法。
【請求項１６】
請求項１５記載の方法であって、前記第１係数部分は前記行列の低周波数係数からなり、前記第２部分は前記行列の高周波数係数からなり、前記映像キャプチャ装置への合図は前記映像キャプチャ装置に前記行列の低周波数係数の圧縮及び送信から前記行列の高周波数係数の圧縮及び送信に切り替えるよう指示することからなることを特徴とする方法。
【請求項１７】
請求項１３記載の方法であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、各画素ブロックは前記第１及び第２部分からなる係数行列により表され、
前記方法は、さらに：
前記インタフェースを介し前記系列のフレームの各画素ブロックに対し前記第１係数部分を受信するステップ；
前記系列のフレームの各画素ブロックに対し前記第１係数部分を格納するステップ；及び
前記第１係数部分の受信完了に応答して、前記系列のフレームの各画素ブロックに対し前記第２係数部分を受信するステップ；
を備えることを特徴とする方法。
【請求項１８】
請求項１３記載の方法であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、各画素ブロックは係数行列により表され、
前記方法は、さらに：
前記系列の各フレームの各画素ブロックに対し前記第１係数部分の受信完了に応答して、前記系列の開始フレームに対し前記第１係数部分の再送指示を提供するステップ；
を備えることを特徴とする方法。
【請求項１９】
請求項１８記載の方法であって、前記指示は映像キャプチャ装置に再生信号を送信することからなることを特徴とする方法。
【請求項２０】
請求項１８記載の方法であって、前記指示はユーザに前記映像を再生するよう指示する再生信号を表示することからなることを特徴とする方法。
【請求項２１】
請求項１３記載の方法であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、各画素ブロックは前記第１及び第２部分からなる係数行列により表され、
前記方法は、さらに：
各画素ブロックに対する前記合成係数行列を前記映像を表すビットストリームに変換するステップ；及び
前記ビットストリームを格納するステップ；
を備えることを特徴とする方法。
【請求項２２】
高画質映像を表すビットストリームの生成システムであって：
係数行列の第１及び第２係数部分を受信するシリアルインタフェース；
前記第１係数部分を解凍し、前記第１係数部分以降に受信する前記第２部分係数部分を解凍する解凍要素；及び
前記第１及び第２係数部分を合成し、画素ブロックに応じた合成係数行列を生成する合成要素；
からなることを特徴とするシステム。
【請求項２３】
請求項２２記載のシステムであって、さらに：
開始フレームと以前に受信したフレームとをマッチさせ、映像キャプチャ装置に前記第２係数部分の圧縮及び送信をリクエストする信号を垂直帰線消去期間に前記インタフェースに送信する処理要素；
を備えることを特徴とするシステム。
【請求項２４】
請求項２２記載のシステムであって、前記処理要素は前記合成係数行列から前記ビットストリームを生成し、前記システムは、さらに：
前記ビットストリームを保持する記憶要素；
を備えることを特徴とするシステム。
【請求項２５】
前記画素ブロックを対応する係数行列に変換し、前記係数の第１部分を圧縮する圧縮要素；
前記圧縮された係数の第１部分をシリアルリンク上に送信するシリアルインタフェース；及び
前記圧縮要素に前記係数の第２部分の圧縮し、前記圧縮された係数の第２部分を前記シリアルインタフェースに送信するよう指示するコントローラ；
からなることを特徴とする映像キャプチャ装置。
【請求項２６】
請求項２５記載の装置であって、前記コントローラは、前記圧縮要素に前記圧縮された係数の第１部分がシリアルリンクを介し送信された後、前記係数の第２部分を圧縮するよう指示することを特徴とする装置。
【請求項２７】
請求項２５記載の装置であって、映像はフレームの系列からなり、前記系列の各フレームは複数の画素ブロックからなり、前記圧縮要素は各画素ブロックを該各画素ブロックに対応する係数行列に変換することを特徴とする装置。
【請求項２８】
請求項２７記載の装置であって、各係数行列は低周波数部分と高周波数部分とを有し、前記圧縮要素は各係数行列に対し前記係数の低周波数部分を圧縮し、前記インタフェースは各画素ブロックに対し前記圧縮された係数の低周波数部分を送信することを特徴とする装置。
【請求項２９】
請求項２７記載の装置であって、さらに：
アナログ映像フレームの系列を受信し、該アナログ映像フレームの系列をデジタル映像フレームの系列に変換するデコーダ要素；
を備え、各画素は少なくとも１バイトにより表されることを特徴とする装置。
【請求項３０】
請求項２５記載の装置であって、前記シリアルインタフェースは受信装置に通信リンクを提供し、１〜２０Ｍｂｐｓのデータ速度を有するユニバーサルシリアルバス（ＵＳＢ）インタフェースであり、前記圧縮要素は前記画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行するハードウェアアクセラレータを備え、前記画素ブロックに対応したＤＣＴ係数行列を取得することを特徴とする装置。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
［発明の技術分野］
本発明は、映像圧縮、特に圧縮映像データの送信に関し、より詳細には高画質映像をキャプチャするための低速インターフェースを介した圧縮映像データの送信に関する。
［発明の背景］
マルチメディアシステムの発達により、コンピュータシステムにおける高画質映像のキャプチャへの期待が望まれるようになってきた。しかしながら、通常映像キャプチャ装置は、ユニバーサルシリアルバス（ＵＳＢ）のような低速のインターフェースを利用して映像データをコンピュータに送信しているため、高画質映像のキャプチャは困難である。例えば、ＵＳＢインタフェースは、実際の映像データスピードよりはるかに低速なデータ速度であり、また高画質映像をキャプチャするのに要求されるものよりはるかに低速なデータ速度である。
【０００２】
一般に、各画像フレームは、各々が数バイトのデータにより表される数千画素より構成される。例えば、従来の映像フレームは７２０×４８０画素から構成され、各画素は３バイトで表現されている。圧縮技術を利用することなく、１秒あたり３０フレームである従来の速度では、従来映像の送信には少なくとも１秒あたり２５０メガビット（Ｍｂｐｓ）のデータ速度が必要である。現在のＵＳＢインタフェースでは、約１２Ｍｂｐｓの最大データ速度がサポートされており、そのうちの約５〜８Ｍｂｐｓしか保持することができない。ＵＳＢインタフェースを介した送信前に映像データの圧縮に利用される従来の圧縮技術では、データの損失により低い画質の映像しか得ることができない。
【０００３】
例えば、圧縮映像画像の情報量を減少させる従来方法の１つとして、当該映像画像の高周波数要素が破棄される。この方法は、人間の視覚システムが低周波数要素と比較して高周波数要素に対し感度が高くないという理由により利用される。この方法によると伝達される情報量を減少させることはできるが、映像画像は詳細を損ない、ぼやけて見え始めるかもしれない。圧縮映像画像中の情報量を減少させる他の従来技術による方法は、画像パラメータの量子化に関するものである。この方法は符号化処理を改善するが、映像画像における段階的変化の様相に関し漸次的変化が取られるため、画像にはブロックひずみが現れる。
【０００４】
従って、低速データ速度インタフェースを利用することによる高画質映像の取得を提供する方法及び装置の必要性がある。また、低速データ速度インタフェースを介し高画質映像の送信を行う映像キャプチャ装置及び方法の必要性がある。また、高画質映像のキャプチャのためＵＳＢインタフェースを介し映像の圧縮及び送信を行う方法及び映像キャプチャ装置の必要性がある。
【０００５】
本発明は、特に添付されたクレームにより示される。しかしながら、本発明のより完全な理解は、図面と共に詳細な説明を参照することにより導かれるかもしれない。ここで、図面を通じて同一の参照番号は同一の要素を参照する。
【０００６】
ここで与えられる説明は本発明の様々な実施例を示しているが、そのような説明は任意の方法での限定として解釈されることを意図したものではない。
［詳細な説明］
本発明は、映像キャプチャ方法及び映像キャプチャ装置に関する。一実施例において、パーソナルコンピュータのような映像受信装置は、ＵＳＢインタフェースのような低速の通信インタフェースを介し受信した２つの圧縮係数群から高画質映像を生成する。映像は２つのパスで映像受信装置に転送される。第１のパスは低周波数係数部分を提供し、第２のパスは高周波数係数部分を提供する。これらの係数は、画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行し、各画素ブロックに対し係数部分を圧縮することにより生成される。一実施例では、受信装置は第１パスの間に受信したフレームと第２パスの間に受信したフレームとを一致させ、映像キャプチャ装置に以降のフレームに対し低周波数係数の圧縮から高周波数部分の圧縮にスイッチするよう合図する。他の実施例では、第１及び第２パスで受信したフレームが受信装置に格納され、キーフレームを利用して各パスから受信したフレームの同期がとられる。
【０００７】
図１は、本発明の一実施例による映像キャプチャシステムの機能ブロック図を示す。映像キャプチャシステム１００は、映像リンク１０４により映像キャプチャ装置１０６に接続された映像ソース１０２を有する。映像キャプチャシステム１００はまた、映像キャプチャ装置１０６を映像受信装置１１０に接続するリンク１０８を有する。映像受信装置１１０は、ディスプレイ１１１と接続されてもよい。一実施例によると、映像ソース１０２は映像リンク１０４を介し映像キャプチャ装置１０６にアナログ映像を提供する。映像ソース１０２は、高画質形式で映像を提供することができる任意の映像ソースであってもよい。映像ソース１０２は、映像リンク１０４を介しアナログまたはデジタル何れの形式でも映像を提供するようにしてもよい。映像ソース１０２は、映像を磁気テープあるいは他の記憶手段に格納する映像カセットレコーダ（ＶＣＲ）、ビデオカメラまたは他の装置を含んでいてもよい。映像リンク１０４は同軸ケーブルでもよいが、高画質映像を通信することが可能な任意の通信リンクが適しているかもしれない。映像ソース１０２は、ＮＴＳＣやＰＡＬフォーマットのようなアナログ形式で高画質映像を提供するようにしてもよい。映像ソース１０２は、本発明での利用に等しく適した他の速度があるが、例えば、１秒あたり３０フレームの速度で映像の提供が行われてもよい。各映像フレームは、垂直帰線消去期間（ＶＢＩ）により分けられている。各フレームは複数の画素から構成される。例えば、１つのフレームは７２０×４８０画素の配列から構成される。
【０００８】
映像キャプチャ装置１０６は、映像ソース１０２から受信した映像を、リンク１０８を介した映像受信装置１１０への送信に適した形式に変換する。本発明の一実施例によると、映像は２つのパスで映像受信装置１１０に転送される。第１パスにおいて、映像キャプチャ装置１０６は、画素ブロックから係数を生成し、当該係数の第１部分を圧縮し、圧縮された係数の第１部分を映像受信装置１１０に送信する。第２パスでは、映像キャプチャ装置１０６は、画素ブロックから係数を生成し、当該係数の第２部分を圧縮し、圧縮された係数の第２部分を映像受信装置１１０に送信する。この係数は画素ブロックを符号化することにより生成されてもよい。符号化には、８×８画素ブロックに対するＤＣＴの実行が含まれる。
【０００９】
特に、受信装置１１０は、第１及び第２係数部分を個別に受信及び解凍し、解凍された第１係数部分と第２係数部分とを合成することにより、画素ブロックに対応する合成係数行列を生成する。受信装置１１０は、ここで述べられる機能を有するパーソナルコンピュータまたは他の装置であってもよい。リンク１０８は任意の通信リンクであってもよいが、低速リンクが利用されてもよい。例えば、リンク１０８は、ＵＳＢインタフェースのような低速通信インタフェースにより提供されてもよい。
【００１０】
図２は、本発明の他の実施例による映像キャプチャシステムの機能ブロック図を示す。図２に示された実施例において、映像記録装置１２０は、映像記録要素１１２、映像ソース１１４及び映像キャプチャチップ１１８を有する。本実施例では、映像記録装置１２０は、ＶＣＲ、ビデオカメラあるいは携帯型映像記録装置であってもよい。映像キャプチャチップ１１８は映像キャプチャ装置１０６（図１）に応じた機能を提供し、映像ソース１１４は映像ソース（図１）に応じた機能を提供する。映像記録要素１１２は、高画質形式での映像の記録及び保存と、映像ソース１１４への高画質映像の転送を提供する。内部リンク１１６は、高画質映像の映像キャプチャチップ１１８への転送に適した映像記録装置１２０内のバスまたは他の通信パスであってよい。
【００１１】
図３は、本発明の一実施例による映像キャプチャ装置の機能ブロック図を示す。映像キャプチャ装置１０６は、アナログ映像フレームをデジタル映像フレームに変換し、当該デジタル映像フレームを符号化する符号化要素３０２を有するよう構成されてもよい。圧縮要素３０４は、デジタル映像フレームを処理し、当該デジタル映像フレームを表す圧縮された係数を提供するよう構成されてもよい。シリアルインタフェース３０６は、リンク１０８上にこの圧縮された係数を転送してもよい。コントローラ３０８は、圧縮要素３０４と符号化要素３０２の動作を制御し、ソフトウェアにより構成可能な１以上のプロセッサにより実現されてもよい。
【００１２】
一実施例によると、高画質アナログ映像フレーム系列の１フレームが符号化要素３０２により受信される。符号化要素は、このアナログ映像フレーム系列のフレームをデジタル映像フレームに変換する。例えば、フレームの各画素は、白黒映像では１バイトで、カラー映像では３バイトで表現されるかもしれない。本発明の一実施例では、映像キャプチャ装置１０６は、デジタル形式でフレーム系列を受信し、符号化要素３０２がアナログ・デジタル変換を実行しないようにしてもよい。符号化要素３０２は、各フレームの画素ブロックを符号化し、係数ブロックを生成する。一実施例では、符号化要素３０２は、このフレームの各８×８画素ブロックに対し離散コサイン変換（ＤＣＴ）を実行し、対応する８×８ＤＣＴ係数行列が得られる。典型的には、ＤＣＴ処理は２次元であり、ブロックの画素の各行各列に対しＤＣＴが実行される。
【００１３】
圧縮要素３０４は、各係数行列の一部を圧縮する。本発明の一実施例によると、圧縮要素３０４は、第１パスにおいて係数の低周波数部分を、第２パスにおいて係数の高周波数部分を圧縮する。コントローラ３０８は、圧縮要素３０４に係数の低周波数部分と高周波数部分との圧縮処理をスイッチするよう指示する。圧縮要素３０４はまた、圧縮された係数を映像受信装置に送るため、シリアルインタフェース３０６に当該圧縮係数を提供するようにしてもよい。
【００１４】
図４は、本発明の一実施例による映像受信装置の機能ブロック図を示す。映像受信装置１１０は、映像キャプチャ装置から圧縮された係数を受信するためのシリアルインタフェース４０２を有する。プロセッサ４０４は、映像キャプチャソフトウェア４０６に従って当該圧縮係数に処理を施し、高画質映像を表すビットストリーム４１２を提供する。映像受信装置１１０は、ここで述べられた処理の実行に必要とされるソフトウェア及びハードウェアにより構成されたコンピュータであってもよい。一般に、映像受信装置１１０は、映像キャプチャ装置から受信される係数から高画質映像を生成するよう構成される。
【００１５】
本発明の一実施例によると、映像は２つのパスで映像受信装置１１０に転送される。第１のパスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。映像キャプチャ装置は、フレーム内の各画素ブロックに対し画素ブロックを符号化し、係数部分を圧縮することにより係数を生成する。復号合成要素４１０は、各画素ブロックの対応する係数を合成し、この合成された係数行列を復号する。プロセッサ４０４は、復号された行列を映像を表すビットストリームに変換してもよい。メモリ４０８は、第１パスにおいて圧縮または解凍形式で受信した係数を、第２パスにおいて受信した係数の処理での利用のため格納するよう構成されてもよい。
【００１６】
復号合成要素４１０は、合成復号処理の実行に特化したハードウェアアクセラレータから構成されてもよいし、ソフトウェアで構成可能なプロセッサから構成されてもよい。本発明の一実施例では、復号合成要素４１０は、ソフトウェアにより構成されるプロセッサ４０４の一部として実現される。高画質映像を表すビットストリーム４１２は、メモリ４０８に記録されてもよいし、あるいはポート４１４を介しデジタルビデオディスク（ＤＶＤ）または書き込み可能なコンパクトディスク（ＣＤ）のような外部記憶装置に保存されてもよい。一実施例では、ビットストリームは、映像受信装置１１０に接続されたコンピュータのモニタである映像ディスプレイ１１１（図１）に直接表示するのに適した形式に変換されてもよい。
【００１７】
図５は、本発明の一実施例による画素から構成される従来の映像フレームを示す。映像フレーム５００は複数の画素から構成される。一実施例によると、映像フレーム５００は、７２０×４８０画素の行列から構成されるが、より多くの画素またはより少ない画素を有する映像フレームも本発明に等しく適している。例えば、フレーム５００の各画素５０２は、白黒映像に対しては１バイトデータにより、カラー映像に対しては３バイトデータにより表現されるかもしれない。
【００１８】
図６Ａは、本発明の一実施例による画素ブロックを示す。図６Ｂは、本発明の実施例による画素ブロックを表す係数行列を示す。画素ブロック６００は、映像フレーム５００（図５）の一部を構成する。すなわち、映像フレーム５００（図５）は複数の画素ブロックから構成される。画素ブロック６００が８×８ブロック、映像フレーム５００（図５）が７２０×４８０画素である例では、映像フレームあたり５，４００の画素ブロックが存在する。
【００１９】
本発明の一実施例によると、画素ブロック６００は係数行列６１０に変換される。画素ブロック６００の画素の多くが係数行列６１０の各係数に寄与している。すなわち、係数行列６１０のすべての係数がすべての画素ブロック６００を表している。係数行列６１０は、水平方向周波数成分６１２と垂直方向周波数成分６１４とを有する係数から構成されている。より高い水平方向周波数を表す水平方向周波数成分６１２は、係数行列６１０に示されるように、左から離れた位置に現れる。より高い垂直方向周波数を表す垂直方向周波数成分６１４は、係数行列６１０に示されるように、上方から離れた位置に現れる。係数行列６１０の斜線部は、より高い垂直及び水平方向周波数成分を有する係数を表し、非斜線部はより低い垂直及び水平方向周波数成分を有する係数行列６１０を表す。係数行列６１０は、画素ブロック６００にＤＣＴのような変換を行うことにより生成されうる。
【００２０】
本発明の実施例によると、係数行列６１０の一部が第１パスにおいて圧縮され、その他の部分が第２パスにおいて圧縮される。例えば、低周波数部分は第１パスにおいて圧縮され、高周波数部分が第２パスにおいて圧縮されるかもしれない。本実施例では、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスにおいて２５の低周波数係数（非斜線により図示）が圧縮及び送信され、第２パスにおいて３９の高周波数係数（斜線により図示）が圧縮及び送信される。他の実施例では、２つのパスで必ずしもすべての係数が送信されないかもしれない。
【００２１】
本発明の他の実施例によると、第１パスと第２パスにおいて等しい数の係数が圧縮される。この実施例では、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスにおいて２５の低周波数係数と共に７つの高周波数係数が圧縮され、第２パスでは３２の高周波数係数が圧縮及び送信されるかもしれない。
【００２２】
本発明の他の実施例によると、係数行列６１０が図示されるように６４の係数からなるブロックである場合、第１パスでは２５の低周波数係数と追加的な５つの高周波数成分が圧縮され、第２パスでは残りの３４の高周波数係数が圧縮及び送信される。この５つの高周波数係数はブロック６１６の係数であってもよい。本発明の各実施例での利用に適した係数圧縮の他の組み合わせが利用されてもよい。
【００２３】
図７は、本発明の一実施例による映像キャプチャ送信手続きのフローチャートである。一般に、映像キャプチャ送信手続き７００は、高画質映像を生成するため、映像受信装置に映像を提供する。手続き７００で説明される実施例によると、映像は２つのパスで受信装置に転送される。第１パスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。各画素ブロックを符号化し、係数の一部を圧縮することにより係数は生成される。映像キャプチャ送信手続き７００は、他の装置が適切であるかもしれないが、映像キャプチャ装置１０６（図３）のような映像キャプチャ装置により実行されてもよい。
【００２４】
処理７０２において、アナログ映像フレーム系列のフレームが映像キャプチャ装置に受信される。アナログ映像フレームの受信速度は映像ソースに依存する。一般に、アナログ映像フレームは１秒あたり３０フレームの速度で受信されるが、本発明の利用に対し他の受信速度も等しく適している。一般に、各アナログ映像フレームはＶＢＩにより分割される。各フレームは複数の画素から構成される。例えば、１つのフレームは７２０×４８０画素の配列から構成されているかもしれない。ＮＴＳＣ及びＰＡＬアナログ形式を含めた多くの映像アナログ形式が本発明での利用に適している。
【００２５】
処理７０４において、アナログ映像フレーム系列のフレームがデジタル映像フレームに変換される。例えば、フレームの各画素は、白黒映像に対しては１バイトにより、カラー映像に対しては３バイトにより表されているかもしれない。処理７０４は、映像キャプチャ装置のアナログ・デジタル変換要素により実行されるかもしれない。本発明の一実施例では、映像キャプチャ装置は、処理７０２でデジタルフレーム系列を受信し、処理７０４は実行されないようにしてもよい。
【００２６】
処理７０６において、デジタル映像フレーム系列のフレームが符号化され、フレームを表す係数ブロックが生成される。一実施例では、各画素ブロックに対しＤＣＴが実行され、対応するＤＣＴ係数行列が得られる。各係数は水平及び垂直方向周波数成分を有する。係数の一部は高周波数係数としてみなされ、他の部分は低周波数係数としてみなされるかもしれない（例えば、図６Ｂを参照）。一般に、行列の各係数は画素ブロックの少なくとも複数の画素により生成される。すなわち、係数ブロック全体は、画素ブロック全体を表している。他のタイプの変換及び圧縮アルゴリズムが、本発明の実施例での利用に適しているかもしれない。
【００２７】
処理７０８において、係数行列の係数の一部が圧縮される。一実施例によると、処理７０８において圧縮される係数部分は、主に係数の低周波数部分から構成されている。処理７０８はフレームの各係数ブロックに対し実行される。
【００２８】
処理７１０において、係数の圧縮された部分が通信リンクを介し映像受信装置に送信される。一実施例によると、ＤＣＴ係数行列の圧縮された低周波数部分が、低速インタフェースを介し映像受信装置に送信される。この低速インタフェースは、例えば、ＵＳＢインタフェースや無線インタフェースにより提供されるナローバンド（ｎａｒｒｏｗ  ｂａｎｄ）通信リンクを含む任意の通信リンクであってもよい。本発明の一実施例によると、映像受信装置へのデータ送信速度は１〜２０Ｍｂｐｓであるかもしれない。これは、１秒あたり３０フレームの速度の処理７０２から７１２でのフレーム処理速度と対応するかもしれない。処理７１０は、フレームの各係数ブロックに対し実行される。
【００２９】
処理７１２は、系列のすべてのフレームが処理７０２から７１０によりいつ処理されたかを判断する。系列のすべてのフレームが処理されていなければ、各フレームが処理されるまで処理７０２から７１０が各フレームに対し繰り返される。フレーム系列が完了すると、処理７１４が実行される。処理７１２の完了に応じて、手続き７００映像の第１パスを終了する。
【００３０】
処理７１４において、フレーム系列が再開される。例えば、映像がＶＣＲまたはビデオカメラにより与えられる場合、当該映像は巻き戻され、再生される。当該映像がメモリまたはディスクにより与えられる場合、フレーム系列は始めから再び読み込まれる。本発明の一実施例では、「再生」信号が映像受信装置から受信され、映像キャプチャ装置がこの再生信号に応答し、自動的に当該映像を再生する。
【００３１】
処理７１６において、アナログ映像フレームはデジタル変換及び符号化され、係数の一部が圧縮される。フレームの各画素ブロックの係数の圧縮部分が映像受信装置に送信される。好ましくは、処理７０８で圧縮された係数部分と同じものが処理７１６において圧縮される。処理７１６は、映像の各開始フレームに対し繰り返される。一実施例では、処理７１６は映像の各開始フレームに対し処理７０２から７１２の繰り返しを含んでもよい。
【００３２】
処理７１６の実行中、映像受信装置は、受信した係数を処理し、処理７１６で送信したフレームと第１パスで送信した基準フレームとをマッチさせる（すなわち、処理７０２から７１２）。基準フレームが特定されると、受信装置はビデオキャプチャ装置にモードの切り替えを通知する。処理７１８において、映像キャプチャ装置は、マッチしたフレーム以降のフレーム間の垂直帰線消去期間中「スイッチモード」信号を受信するかもしれない。「スイッチモード」信号の受信に応答して、映像キャプチャ装置はモードの切り替えを行い、処理７１６で圧縮及び送信された係数の異なる部分の圧縮を開始する。
【００３３】
本発明の一実施例によると、低周波数係数が第１パスにおいて圧縮された場合、映像キャプチャ装置は高周波数係数を圧縮するよう切り替えを行う。映像キャプチャ装置は、「スイッチモード」信号に応答し、係数行列の異なる係数部分の圧縮を行うハードウェアアクセラレータやソフトウェアにより設定されたプロセッサを実現するかもしれない。
【００３４】
処理７２０において、アナログ映像フレームがデジタル変換及び符号化され、その他の係数部分が圧縮される。一実施例では、係数の高周波数部分が圧縮される。この実施例では、係数の高周波数部分は第１パスにおいて圧縮された低周波数部分の係数を含まない。
【００３５】
処理７２２において、処理７２０において圧縮された係数部分が映像受信装置に送信される。処理７１０で利用されたものと同一の通信リンクが処理７２２において利用されてもよい。一十しれによると、ブロック７２０と７２２が映像フレームの各画素ブロックに対し実行される。
【００３６】
処理７２４では、基準フレーム以降の当該系列のすべてのフレームがいつ処理７２０及び７２２によって処理された判断する。系列のすべてのフレームが処理されていなければ、処理７２０と７２２が系列の各フレームの処理が完了するまで各フレームに対し繰り返される。フレーム系列が完了すると、処理７２６が実行される。処理７２４の完了に応答して、手続き７００での当該映像の第２パスが完了される。処理７２６において、映像キャプチャ送信手続き７００が完了される。
【００３７】
手続き７００の完了に応じて、映像受信装置は、対応フレームの画素ブロックに対応させるため、２つの係数部分を合成して、映像の各フレームの各画素ブロックに対する完全な係数行列を生成する。受信装置は、各フレームの係数を復号し、当該映像を表すビットストリームの生成と、所望の表現形式での当該ビットストリームの格納を行う。
【００３８】
図８Ａ及び８Ｂは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。映像キャプチャ受信手続き８００は、手続き８００の処理の実行に必要とされるソフトウェア及びハードウェアにより構成されたコンピュータのような映像受信装置により実行されてもよい。映像受信装置１１０（図４）はまた、手続き８００の実行に適したものであってもよい。一般に、手続き８００を実現する映像受信装置は、映像キャプチャ装置から受信した係数から高画質映像を生成するかもしれない。手続き８００で説明された実施例によると、映像は２つのパスで映像受信装置に転送される。第１パスは係数の第１部分を提供し、第２パスは係数の第２部分を提供する。映像キャプチャ装置は、画素ブロックを符号化し、フレームの各画素ブロックに対し係数の一部を圧縮することにより係数を生成する。手続き８００によると、各フレームの各画素ブロックの対応する係数が、合成、復号及び当該映像を表すビットストリームに変換される。
【００３９】
処理８０２において、映像キャプチャ受信手続きが開始される。例えば、映像受信装置の要素を構成するためソフトウェアを利用して、手続き８００の以降の処理が実行されるかもしれない。処理８０２はまた、映像キャプチャ装置に信号を送信し、手続き８００のための映像データの受信準備がなされたことを通知する。
【００４０】
処理８０４において、映像受信装置は、映像フレームの画素ブロックを表す係数の圧縮された部分を受信する。一実施例によると、フレーム系列のあるフレームの各画素ブロックに対し、圧縮係数の第１部分が映像キャプチャ装置から受信される。この係数部分は画素ブロックの圧縮ＤＣＴ係数の低周波数部分であるかもしれない。
【００４１】
処理８０６において、フレームの各画素ブロックに対する圧縮係数部分が解凍され、画素ブロックを表す係数部分が生成される。処理８０８において、フレームの各画素ブロックを表す解凍された係数部分は、例えば、映像受信装置に格納されてもよい。本発明の一実施例では、圧縮された係数が格納される。
【００４２】
処理８１０では、当該系列のすべてのフレームがいつ処理８０４から８０８により処理されたか判断される。系列のすべてのフレームが処理されていなければ、系列の各フレームの処理が完了するまで各フレームに対し処理８０４から８０８が繰り返される。フレーム系列が完成すると、処理８１２が実行される。処理８１０の完了に応じて、映像受信装置は当該映像の第１パスに対し受信手続き８００の実行を終える。映像受信装置は、受信したフレームがブランクであるか、あるいはノイズから構成されている判断することにより処理８１０を実行するようにしてもよい。他の実施例では、映像受信装置は、所定期間あるいは所定数のフレームの受信後待機することにより、処理８１０の実行においてすべてのフレームが受信されたか判断するようにしてもよい。本発明の一実施例では、映像キャプチャ装置は、当該映像を通じて第１パスが完了したことを示す表示を映像受信装置に送信するようにしてもよい。
【００４３】
処理８１２において、基準フレームが特定される。基準フレームは映像開始近くの系列の開始フレームの１つであってもよく、フレーム同期化のため以降に受信したフレームとの比較に利用される。受信装置は、容易な同期化を可能にする特徴を有する基準フレームを特定するよう構成される。例えば、基準フレームは、シーン変更から得られるフレームであってもよいし、以前のフレームと比較して大きな動きを有するフレームであってもよい。本発明の一実施例では、基準フレームの系列が特定されてもよい。ここで、処理８１２は、処理８０６以降の手続き８００の実行中の任意の時点において実行され、当該系列の開始フレームのいくつかの受信後処理８０４から８１０と同時に実行されてもよい。
【００４４】
処理８１４において、映像受信装置は、フレーム系列の圧縮された係数の第２部分の受信準備ができたことを示す。すなわち、映像受信装置は第２パスの圧縮された係数の受信準備ができている。一実施例では、処理８１４では、映像受信装置が映像キャプチャ装置での映像が再生されるか、あるいは巻き戻し再生されるかを示す表示をオペレータに表示するようにしてもよい。他の実施例では、処理８１４では、受信装置が映像キャプチャ装置に映像の再生を行わせるための「再生」信号を通信リンクを介し映像キャプチャ装置に送信するようにしてもよい。
【００４５】
処理８１６において、当該系列の開始フレームの画素ブロックの圧縮された係数部分が、映像受信装置において受信される。処理８１６において受信された圧縮された係数部分は、フレームが容易にマッチするよう処理８０４で受信された圧縮された係数部分と対応すべきである。圧縮された低周波数係数部分が処理８０４で受信されている場合、当該係数の圧縮された低周波数部分が処理８１６で受信される。
【００４６】
処理８１８において、基準フレームに対応するフレームが特定される。処理８１８では、圧縮された係数部分の解凍と当該係数の復号が行われ、マッチするフレームが特定されるまで初期フレーム群における各フレームの画素ブロックが生成される。本発明の一実施例では、処理８１８において、基準フレームの系列にマッチする初期フレーム群のフレーム系列を特定するようにしてもよい。処理８１６及び８１８は、基準フレームにマッチするフレームが特定されるまで実行されるようにしてもよい。基準フレームにマッチするフレームが特定されると、処理８２０が実行される。
【００４７】
処理８２０において、受信装置は映像キャプチャ装置にモードの切り替えを支持する「スイッチモード」信号を提供する。処理８２０において、この信号は、マッチしたフレーム以降のフレーム間の垂直帰線消去期間において送信されるようにしてもよい。「スイッチモード」信号に応答して、映像キャプチャ装置は、処理８０４において受信した係数の異なる部分の圧縮に切り替える。本発明の一実施例によると、低周波数成分が処理８０４において受信されていたとき、映像キャプチャ装置は画素ブロックを表す係数行列の高周波数係数の圧縮に切り替える。
【００４８】
処理８２２において、当該フレーム系列のフレームの各画素ブロックに対し圧縮された係数のその他の部分が受信される。一実施例によると、処理８２２では、各画素ブロックの圧縮された高周波数係数部分の受信が行われる。処理８２４において、処理８２２で受信された各画素ブロックの圧縮された係数が、現在処理されているフレームに対して保存される。本発明の一実施例において、当該係数は格納前に解凍される。
【００４９】
処理８２６では、当該系列のすべてのフレームが処理８２２及び８２４によりいつ処理されたか判断される。系列のすべてのフレームの処理が完了されていなければ、系列の各フレームの処理が完了するまで、各フレームに対し処理８２２及び８２４が繰り返される。フレーム系列が完成すると、処理８２８が実行される。処理８２６の完了に応じて、手続き８００は当該映像の第２パスの圧縮された係数を受信し、高画質映像の構築が開始が可能になる。
【００５０】
処理８２８において、処理８０８及び８２４において以前に格納された２つの係数部分が、もし圧縮された形式で格納されていれば、解凍される。係数が解凍された形式で格納されていれば、処理８２８は実行されなくてもよい。
【００５１】
処理８３０において、各部分からの解凍された係数が対応するフレームの画素ブロックに対応するよう合成され、フレームの各画素ブロックに対し完全な係数行列が生成される。一実施例では、第１パスにおいて受信した低周波数係数部分が、第２パスにおいて受信された高周波数係数部分と合成され、フレームを構成する各画素ブロックに対し完全な係数行列が生成される。
【００５２】
処理８３２において、フレームの完全な各係数行列が、当該フレームを表すビットストリームのビットに変換される。処理８３２では、例えば、ＤＣＴが映像キャプチャ装置における係数ブロックに対し実行されていた場合、完全な各係数行列に対し逆ＤＣＴが実行される。
【００５３】
本発明の他の実施例では、処理８１２から８２０はスキップされてもよい。この実施例では、映像受信装置は、第１パスにおいて受信した低周波数係数からなるフレーム系列だけでなく、第２パスにおいて受信した高周波数係数からなるフレーム系列も格納する。１以上のキーフレームを利用して、処理８３０で対応するフレームを合成する前に各パスからのフレームの同期がとられる。キーフレームは映像ストリームにおいてタグ付けされ、シーン変更のように容易に識別できるフレームであってもよい。この実施例では、第２パスのフレームの受信後任意の時点で処理８２８から８３２が実行されてもよい。本発明の一実施例では、両方のパスで映像と共に音声トラックが受信される。この実施例では、音声トラックを利用して、第１パスで受信したフレームと第２パスで受信したフレーム合わせられる。
【００５４】
本発明の一実施例によると、第２パスにおいて受信した係数は格納されず、処理８２４は実行されなくてもよい。この実施例では、圧縮された係数が各フレームに対し受信されるに従い、処理８２８から８３２が実行される。この実施例では、処理８２６が処理８３２以降に実行されてもよい。処理８３４において、系列フレームを表すビットストリームが受信装置に格納される。
【００５５】
映像キャプチャ装置、映像受信装置及び高画質映像生成方法が説明された。高画質映像は、ＵＳＢインタフェースのような低速通信インタフェースを介し受信される２つの係数群から生成される。様々な実施例によると、これらの係数は２つのパスで受信装置に転送される。第１のパスは低周波数係数部分を提供し、第２のパスは高周波数係数部分を提供する。これらの係数は、画素ブロックに変換を施し、係数部分を圧縮することにより生成されるかもしれない。受信装置は、第１パスで受信したフレームと第２パスで受信したフレームとをマッチさせ、映像キャプチャ装置に低周波数係数の圧縮から高周波数係数の圧縮に切り替えるよう合図する。
【００５６】
ここで説明された実施例は、他者が本知識を適用することにより、一般的概念を逸脱することなく様々な適用事例のために容易に修正及び／または適応させることが可能となるくらい発明の一般的性質を十分開示したものであり、そのような修正及び適応は開示された実施例の意義及び均等の範囲内で理解されることを意図したものである。
【００５７】
ここで使用された表現及び用語は説明のためのものであり、限定を意図したものではない。従って、本発明は、添付されたクレームの趣旨及び範囲内のすべての代替、改良、均等及び変形を包括することを意図している。
【図面の簡単な説明】
【００５８】
【図１】図１は、本発明の一実施例による映像キャプチャシステムの機能ブロック図を示す。
【図２】図２は、本発明の他の実施例による映像キャプチャシステムの機能ブロック図を示す。
【図３】図３は、本発明の一実施例による映像キャプチャ装置の機能ブロック図を示す。
【図４】図４は、本発明の一実施例による映像受信装置の機能ブロック図を示す。
【図５】図５は、本発明の一実施例による画素からなる従来の映像フレームを示す。
【図６Ａ】図６Ａは、本発明の一実施例による画素ブロックを示す。
【図６Ｂ】図６Ｂは、本発明の一実施例による画素ブロックを表す係数行列を示す。
【図７】図７は、本発明の一実施例による映像キャプチャ送信手続きのフローチャートである。
【図８Ａ】図８Ａは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。
【図８Ｂ】図８Ｂは、本発明の一実施例による映像キャプチャ受信手続きのフローチャートである。
【図１】
2005528813.tif 000003
【図２】
2005528813.tif 000004
【図３】
2005528813.tif 000005
【図４】
2005528813.tif 000006
【図５】
2005528813.tif 000007
【図６Ａ】
2005528813.tif 000008
【図６Ｂ】
2005528813.tif 000009
【図７】
2005528813.tif 000010
【図８Ａ】
2005528813.tif 000011
【図８Ｂ】
2005528813.tif 000012
【国際調査報告】
2005528813.tif 000013
2005528813.tif 000014
2005528813.tif 000015