(57)【要約】【課題】方法が圧縮ビデオを取得する。【解決手段】各圧縮ビデオのフレーム内圧縮フレームまたはフレーム間圧縮フレームを固定されたサンプリングレードで取得する。圧縮ビデオに同時かつ並行して複合解析を適用し、各圧縮ビデオの可変で非均一な時間サンプリングレートを求めて、合計の歪を最小にするとともに合計のフレームレート制約を満足するようにする。次に各圧縮ビデオを関連する可変で非均一な時間サンプリングレートでサンプリングして、可変の時間分解能を有する圧縮された出力ビデオを生成する。【選択図】図７
2005094755.tif 000002
【特許請求の範囲】
【請求項１】
複数の圧縮ビデオを並行して取得することであって、各入力ビデオの圧縮フレームを固定されたサンプリングレートで取得すること、
前記複数の圧縮ビデオに同時かつ並行して複合解析を適用して、圧縮ビデオの各々の可変で非均一な時間サンプリングレートを求め、前記複数の圧縮ビデオに関して合計の歪を最小にする一方で合計のフレームレート制約を満足すること、
及び
圧縮ビデオの各々の圧縮フレームを前記関連する可変で非均一な時間サンプリングレートでサンプリングして、可変の時間分解能を有する複数の圧縮された出力ビデオを生成すること
を含む複数のビデオを処理する方法。
【請求項２】
前記複数の圧縮された出力ビデオを永久メモリに記憶すること
をさらに含む請求項１記載の複数のビデオを処理する方法。
【請求項３】
前記圧縮フレームは、フレーム内符号化フレームである
請求項１記載の複数のビデオを処理する方法。
【請求項４】
前記圧縮ビデオは、ＪＰＥＧビデオである
請求項３記載の複数のビデオを処理する方法。
【請求項５】
前記圧縮ビデオは、ＭＰＥＧビデオである
請求項３記載の複数のビデオを処理する方法。
【請求項６】
複数の監視カメラを用いて前記複数の圧縮ビデオを取得すること
をさらに含む請求項１記載の複数のビデオを処理する方法。
【請求項７】
複数の放送スタジオカメラを用いて前記複数の圧縮ビデオを取得すること
をさらに含む請求項１記載の複数のビデオを処理する方法。
【請求項８】
前記合計の歪は、時間歪を含む
請求項３記載の複数のビデオを処理する方法。
【請求項９】
前記時間歪は、前記フレーム内符号化フレームの圧縮領域情報から求められる
請求項８記載の複数のビデオを処理する方法。
【請求項１０】
前記圧縮領域情報は、ＤＣＴ係数を含む
請求項９記載の複数のビデオを処理する方法。
【請求項１１】
前記複合解析を適用する前に前記複数の圧縮ビデオを部分的に復号化すること
をさらに含む請求項１記載の複数のビデオを処理する方法。
【請求項１２】
前記圧縮フレームは、フレーム間符号化フレームである
請求項１記載の複数のビデオを処理する方法。
【請求項１３】
前記時間歪は、前記フレーム間符号化フレームの動きベクトルから直接求められる
請求項１２記載の複数のビデオを処理する方法。
【請求項１４】
前記圧縮フレームは、ＭＰＥＧ−１／２のＰ／Ｂフレームである
請求項１２記載の複数のビデオを処理する方法。
【請求項１５】
前記圧縮フレームは、ＭＰＥＧ−４のＰ／Ｂビデオオブジェクトプレーンである
請求項１２記載の複数のビデオを処理する方法。
【請求項１６】
前記合計の歪は、時間歪を含む
請求項１２記載の複数のビデオを処理する方法。
【請求項１７】
フレームｉとフレームｋの間の前記時間歪Ｅ｛Δ２ｚｉ，ｋ｝は次式により推定され、
【数１】
2005094755.tif 000006
ここで、（σ２ｘｉ，σ２ｙｉ）は前記フレームｉにおけるｘおよびｙの空間勾配の分散を表し、（σ２Δｘｉ，ｋ，σ２Δｙｉ，ｋ）はｘ方向およびｙ方向における前記フレームｉと前記フレームｋの間の動きベクトルの分散を表す
請求項１６記載の複数のビデオを処理する方法。
【請求項１８】
前記空間勾配は、前記フレームのＤＣＴ係数から直接求められる
請求項１７記載の複数のビデオを処理する方法。
【請求項１９】
前記圧縮された出力ビデオをトランスコードすること
をさらに含む請求項１２記載の複数のビデオを処理する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には圧縮ビデオのサンプリングに関し、特に資源の制約に応じた圧縮ビデオのサンプリングに関する。
【背景技術】
【０００２】
複数のビデオの符号化は主に２つの領域、すなわち送信および録画において考慮されてきた。複数のビデオの送信は主に放送および伝達用途に応用され、複数のビデオの録画は通常、監視用途に応用される。ビデオの録画は多くの消費者向け電気製品でもよく見られるが、そのようなビデオレコーダは通常、複数の同時のビデオではなく単一のビデオの符号化を扱う。
【０００３】
テレビ放送用途では、複数のビデオを符号化して、符号化されたビデオのビットストリームを帯域幅の固定された単一のチャネルで一斉送信できるようにすることが一般的なやり方である。例えばＮ個のプログラムと、衛星リンクに一般的な全部で４５Ｍｂｐｓのチャネル帯域とが与えられた場合に問題となるのは、全体が最大品質を有するＮ個のプログラムを符号化して単一のチャネル上に多重化することである。帯域幅は固定されており、各プログラムの複雑性は異なるため、各プログラムは可変ビットレート（ＶＢＲ）で符号化される。このようにして、全プログラムを通して略一定の歪を維持することができる。したがって、一部のビデオのより複雑な部分には、同時に符号化する他のビデオのあまり複雑でない部分に割り当てるビット数を減らすことにより、より多くのビットを割り当てることができる。
【０００４】
上記のような符号化プロセスは統計的多重化と呼ばれる。このプロセスに関連する技法は、Haskell「可変レート符号化ストリームの多重化（Multiplexing of Variable Rate Encoded Streams）」（IEEE Transactions on Circuits and Systems for Video Technology, 1994）、Wang他「マルチプログラムビデオ符号化の複合レート制御（Joint Rate Control For Multi-Program Video Coding）」（IEEE Transactions on Consumer Electronics, Vol. 42, No. 3, August 1996）、Yangに対して２０００年７月１８日付で発行された米国特許第６，０９１，４５５号「ビデオ録画のための統計的多重化装置（Statistical Multiplexer for Recording Video）」、Choi他に対して２００１年２月２７日付で発行された米国特許第６，１９５，３８８号「複数のビデオプログラムを符号化するための装置および方法（Apparatus and Method for Encoding Multiple Video Programs）」、および本明細書中に含まれる参考文献に記載されている。
【０００５】
同様の方針では、SunおよびVetroが１９９９年１０月１９日付で発行された米国特許第５，９６９，７６４号において、固定帯域幅に制約のあるシーン中の複数のオブジェクトの符号化を記載している。この方法は、各オブジェクトにビットを割り当てる。Vetro他により２０００年５月２６日付で出願された米国特許出願第０９／５７９，８８９号「可変の時間分解能を有する複数のビデオオブジェクトを符号化およびトランスコードする方法（Method for encoding and transcoding multiple video objects with variable temporal resolution）」では、シーン中の異なる時間レートを有する各オブジェクトを用いて全帯域幅制約を満足する方法が記載されている。そこでこの方法は、シーン中の複数のオブジェクトを異なる時間レートで符号化するときに生じる成分のアーチファクトを最小にする。
【０００６】
上記の従来技術の方法は、１つの伝送チャネルの全帯域幅制約を受ける複数のビデオまたはオブジェクトを符号化する。
【０００７】
従来技術において、帯域幅以外の資源制約は複数のビデオの処理において考慮されてきた。例えばHuang他に対して２０００年８月１８日付で発行された米国特許第６，０５２，３８４号「受信器モデルを用いたタイミング制約を有する可変ビットレートストリームの多重化（Using a Receiver Model to Multiplex Variable Bit-Rate Streams Having Timing Constraints）」を参照されたい。この特許は、各ストリームの出力ビットレートを求めて、マルチプレクサ内のビットストリームの待ち行列もデコーダのバッファもオーバーフローやアンダーフローしないようにする技法を記載する。これらのレートは、ビットストリームから読み出されるタイミング情報と、デコーダのバッファの動作を考慮する受信器モデルとを用いて求められる。
【０００８】
遅延と処理の両方のタイミング制約を考慮した複数のビデオのトランスコーディングは、Chen他に対して２００１年８月１４日付で発行された米国特許第６，２７５，５３６号「複数のプログラマブルプロセッサを用いたマルチチャネルＭＰＥＧビデオトランスコーダの実行アーキテクチャ（Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors）」に記載されている。入力ビットストリームはまず処理単位に区分化される。１つのアーキテクチャにおいて、処理単位は、それぞれ独自の待ち行列を有する異なるサブビットストリームに分割され、各サブストリームは対応する分岐において処理される。第２のアーキテクチャにおいて、処理単位は共通の待ち行列から任意の利用可能なプロセッサに割り当てられる。待ち行列システムモデルに従って独立した処理単位が同時に処理され、平均処理時間を最短にする。複数の分岐の並列処理である第１のアーキクテチャとは対照的に、第２のアーキテクチャは多重処理の単一分岐である。
【０００９】
Chen他と同様に、Tiwari他に対して２００１年１２月２８日付で発行された米国特許第６，００８，８４８号「複数の計算エージェントを用いるビデオ圧縮（Video Compression Using Multiple Computing Agents）」もまた、複数のプロセッサを用いるシステムおよび方法を記載する。対照的にTiwariは、ビデオの符号化に適用され、複数のプロセッサまたは圧縮エージェントによって行われる粗粒度並列処理（parallelism）を用いた符号化を達成する技法を記載する。
【００１０】
図１は、監視用途の複数のビデオを符号化する一般的なシステムモデルを示す。カメラ１０１は、ビデオレコーダ１１０のためのビデオ１０２を取得する。通常、レコーダ１１０はビデオを圧縮する。圧縮されたビデオは次にメモリ１２０に記憶される。その後、ビデオプレーヤ１３０は記憶されたビデオを再生することができる。
【００１１】
図２は、レコーダ２００の詳細を示す。取得されたビデオ１０２は高速スイッチ２１０に送られる。このスイッチは、アナログビデオ信号を時間通りに（in time）サンプリングする。サンプルはデコーダ２２０に供給され、デジタル化された画像は静止画エンコーダ２３０によって符号化されて圧縮画像を生じる。メモリコントローラ２４０は、圧縮画像をメモリ１２０内の割り当てられた空間に書き込む。記憶されたビデオは後に再生することができる。
【００１２】
図２のレコーダの主な問題は、静止画が符号化されることである。ビデオの時間的な冗長性は使用されない。その結果、何週間や何ヶ月もの監視ビデオを記憶する場合、メモリ１２０は非常に大きくなければならない。大量の監視ビデオ、特に夜間に撮影されたものは、完全な静止シーンのものであることに留意すべきである。有意な事象は稀である。
【００１３】
図３は、上記の問題に対する明快な解決策を示す。この方式では、各ビデオに１つの符号化チャネルがある。符号化チャネルにおいて、ビデオはまずＮＴＳＣ復号化される２２０。ビデオコーダにおいて用いられるＭＰＥＧのような予測符号化のために、ビデオエンコーダ毎にフレームメモリ３１０が保持（maintain）されて基準ピクチャを記憶する。次に異なるカメラ１０１からの入力フレームが別々に符号化され、その結果がメモリコントローラ２４０を用いてメモリ１２０に書き込まれる。入力フレームの時間レートは、固定期間Ｔ３０１で均一にサンプリングすることによって制御することができる。このサンプリングによりメモリ１２０をより有効に使用することができる。この方式の主な欠点は、ビデオエンコーダ３２０が、フルレートのビデオを処理するように設計されているにもかかわらず完全に利用されないことである。また、多数のデコーダおよびエンコーダがシステムのコストを増加させる。
【００１４】
Ono他に対して２００１年１１月６日付で発行された米国特許第６，３１４，１３７号「ビデオデータ圧縮システム、ビデオ録画／再生システム、およびビデオデータ圧縮の符号化方法（Video data compression system, video recording/playback system, and video data compression encoding method）」では、上記の欠点を克服する図４のようなシステムおよび方法が記載されている。そこでは、単一のビデオエンコーダ４２０を用いて全てのビデオを符号化する。各カメラ入力１０１からのデジタル化されたビデオフレームは期間Ｔでサブサンプリングされ、それぞれのフレームメモリ３１０にバッファリングされる。単一のエンコーダ４２０で予測符号化を達成するために、１つのカメラ入力に対応する一連の入力ビデオフレームがビデオエンコーダに供給され、同一カメラ入力のフレームからの予測符号化が連続して行われるようにする。ＭＰＥＧ符号化のピクチャグループ（ＧＯＰ）構造により、そのような独立単位を形成することが可能になる。そのようにして、メモリコントローラ２４０はＧＯＰ選択（GOP-select）となり、各カメラ入力からのＧＯＰはコントローラ４１０に従ってエンコーダ内に時間的に多重化される。その方式では、全カメラ入力の単一のビットストリームが生成される。所与のカメラに対応するビデオの部分を特定するために、カメラ識別子４０１が符号化されたビットストリーム内に多重化される。
【００１５】
上記の解決策では、１つのＧＯＰに値するデータがフレームメモリの各々に記憶される必要があり、図２の多くても１つまたは２つの基準ピクチャのみが必要であるシステムよりも要件は遥かに大きくなる。したがって、符号化ハードウェアは大幅に節減されるものの、メモリ要件は依然として大きく高価である。この欠点は、単に入力ビデオをより積極的にサンプリングするだけでは克服できない。これはビデオの時間分解能を下げるが、依然として同じＧＯＰデータをバッファリングする必要がある。より短いＧＯＰ期間のみがメモリ要件を減らすが、これはより頻繁なフレーム内符号化を暗示し、より頻繁なフレーム内符号化は符号化効率の低下を意味する。最も極端な場合、１つのＧＯＰ期間は、図２に示す静止画符号化システムに退化してしまう。
【００１６】
高いメモリ要件は図４のシステムの１つの欠点に過ぎない。この問題はより多数のビデオに対するシステムのスケーリングに比例して悪化する。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
大規模なシステムでは、帯域幅および記憶容量（storage）を減らすために圧縮ビデオが用いられることが多い。したがって、複数の圧縮ビデオを同時にサブサンプリングするシステムおよび方法を提供することが望ましい。
【課題を解決するための手段】
【００１８】
本発明の１つの目的は、資源、特にメモリ、符号化ハードウェア、および遅延に制約のある複数のビデオを記憶するための低コストで圧縮効率が良くスケーラブルで柔軟性のあるシステムを提供することである。
【００１９】
本発明のさらなる目的は、複数の相関のない圧縮ビデオの間で可変で非均一な時間分解能を達成する方法を提供することである。
【００２０】
方法が圧縮された入力ビデオを取得する。各入力ビデオの圧縮フレームを固定されたサンプリングレートで取得する。
【００２１】
圧縮ビデオに同時かつ並行して複合解析を適用して、各圧縮ビデオの可変で非均一な時間サンプリングレートを求め、合計の歪を最小にするとともに合計のフレームレート制約を満足するようにする。
【００２２】
次に各圧縮ビデオを関連する可変で非均一な時間サンプリングレートでサンプリングして、可変の時間分解能を有する圧縮された出力ビデオを生成する。
【発明を実施するための最良の形態】
【００２３】
図５は、カメラにより固定されたサンプリングレートで同時に取得された複数の入力ビデオ（ビデオ１〜４）５１０の個々のフレーム５０１を示す。本発明による複合解析６００にかけて、複数の出力ビデオ５２０のフレーム５０２は可変で非均一な時間サンプリングレートを有する。複合解析の目的は、合計のフレームレート制約を満足する一方で全出力ビデオの合計の歪を最小にすることである。
【００２４】
所与の時間における特定の出力フレーム５０２のレートおよび存在に影響する要素として、圧縮効率、資源の制約、および有意な事象の検出がある。圧縮効率は、用いるエンコーダのタイプ（例えばＭＰＥＧ−２またはＭＰＥＧ−４）に関連する可能性がある。資源の制約は、メモリ、処理速度、および符号化レートを考慮する。有意な事象とは、背景シーンのより長い部分とは異なる短期の局所的な事象を意味する。
【００２５】
例えば、監視ビデオにおいて、通常は静止した誰もいない玄関のシーンに入ってきた人物は有意であるとみなされる。Divakaran他によって２００３年６月３０日付で出願された米国特許出願第１０／６１０，４６７号「ビデオにおける短期間の異常事象の検出方法（Method for Detecting Short Term Unusual Events in Videos）」（参照により本明細書中に援用する）を参照されたい。同様に、交通ビデオの場合、滑らかな動きから動きがない状態への変化は事故を示す。
【００２６】
システムアーキテクチャ
図６Ａは、本発明による複数のビデオのビデオ符号化システムのブロック図を示す。複数のカメラ６０１からのビデオ５１０はまずＮＴＳＣ復号化される６０２。デジタル化されたビデオは次に、各ビデオの時間サンプリングレート６０４を求めるために複合解析回路６００に入力される。
【００２７】
時間サンプリングレート６０４は、ビデオ中の有意な事象の存在、圧縮効率および資源の制約を考慮する方法に従って求められる。本方法および制約は以下でさらに詳述する。
【００２８】
各ビデオの可変で非均一な時間サンプリングレートはコントローラ６１０に伝えられ、このコントローラ６１０がサンプリング回路６０４をトリガする。この回路は、時間ｔにおける各ビデオ入力のフレームを非均一にサンプリングすることができる。サンプリング時間Ｔ１（ｔ）、Ｔ２（ｔ）、Ｔ３（ｔ）、Ｔ４（ｔ）は必ずしも互いに同一レートで動作しなくてもよい。これらのサンプリング時間は、全ビデオにわたる合計のフレームレートを決める。
【００２９】
サンプリングされたビデオ５２０のフレームは次にフレームバッファ６２０に記憶される。コントローラ６１０は、符号化６４０される入力を選択し６３０、それぞれのフレームバッファからフレームが読み出され、ビデオエンコーダ６４０に伝えられる。コントローラから、ビデオエンコーダは以下の情報６１１、すなわち複合解析６００によって導出されたビデオを符号化するために用いる符号化パラメータ、同様にビットストリーム自体に符号化することができる識別情報を受け取ることができる。識別は、ＩＳＯ／ＩＥＣ  １４４９６−２「視聴覚オブジェクトの符号化−パート２：視覚（Coding of audio-visual objects - Part 2: Visual）」（2nd Edition, 2001）に記載されるＭＰＥＧ−４ビデオオブジェクトプレーン符号化構文を用いてビットストリームに直接符号化することができる。
【００３０】
本システムは、ビデオ入力毎に固有のビットストリーム６５０を生成し、このビットストリーム６５０は次に後の再生のために永久メモリ６６０に記憶される。
【００３１】
このシステムでは、ビデオ毎に最小数の基準フレーム、例えば１つまたは２つのフレームが記憶される。この低いメモリ要件の理由は、ビデオ符号化プロセスの性質による。図４に示すOno他によるデータのＧＯＰを符号化する従来技術のシステムと対照的に、本発明によるシステムはデータのフレームを符号化する。これは、異なるビデオ入力に印を付けて個別の出力ビットストリーム６５０を生成することができるビデオエンコーダ６４０により可能となる。コントローラ６１０は、符号化している現在のビデオの動き補償に使用する正確な基準フレームを選択することができる６３０。これらの機能はいずれもOno他によって記載されたシステムの一部ではない。これらの特徴は、複数のビデオを同時に符号化することができるスケーラブルなシステムを提供することができる。
【００３２】
図６Ｂのシステムは、図６Ａのシステムのわずかに異なる構成である。主な違いは単一の共有フレームバッファ６２１である。
【００３３】
図７は、図６Ａおよび図６Ｂのコアアーキテクチャの拡張を示す。永久メモリ６６０に記憶されるビットストリームは長期間の記憶のためにアーカイバルメモリ７０３に転送することができる。この場合、トランスコーダ７０１を使用して、記憶されたビットストリームのビットレート、空間解像度および／または時間分解能をさらに変更することができる。解析回路７０２が、トランスコーディングパラメータを構成および設定するために用いられる。Vetro等によって「ビデオのトランスコーディングアーキテクチャおよび技法の概要（An overview of video transcoding architectures and techniques）」（IEEE Signal Processing Magazine, March 2003）に記載されるような任意の従来技術のトランスコーディング技法を用いることができる。
【００３４】
上記のアーキテクチャは４つの入力ビデオおよび１つのビデオエンコーダについて示されたが、この設計は、システムをより多数の入力ビデオおよびビデオエンコーダ（例えば１６個の入力および２つのビデオエンコーダ、または６４個の入力と４つのビデオエンコーダ）に容易にスケールアップすることを可能にする。
【００３５】
複合解析
複合解析６００の動作に影響を及ぼす要素としては、フレームをスキップすることによって生じる合計の歪、システムの一部として組み込まれるエンコーダの数、入力ビデオの数、シーン中の有意な事象の検出および分類、特定のカメラ入力に対するユーザの優先度、各ビデオの最小の時間符号化レート、許容可能な遅延および解析に要求される記憶容量（storage）がある。
【００３６】
スキップされたフレームによって生じる合計の歪は複合解析の動作を導く。Vetro他によって２００１年４月１６日付で出願された米国特許出願第０９／８３５，６５０号「可変のフレームスキップを有するビデオにおける総平均歪の推定（Estimating Total Average Distortion in a Video with Variable Frameskip）」において、スキップされたフレームの歪は２つの部分、すなわち最後の基準フレームの量子化による符号化誤差と、２つの瞬間の間のビデオ信号の変化によるフレーム補間誤差とから求められる。その方法は、単一のビデオの歪しか考慮しない。ここでは、全出力ビデオの合計の総歪を最小にする。
【００３７】
以下では、符号化誤差によって生じる歪を空間歪と呼び、補間誤差によって生じた歪を時間歪と呼ぶ。ビデオ録画システムは通常全てのフレームを同一品質で符号化するため、歪を推定する問題は、フレームの空間歪を除外し、時間歪のみに焦点を当てることができる。これは従来技術において検討されてきた定式化とは大きく異なることを強調しておく。
【００３８】
システムの一部として組み込まれるエンコーダの数は合計のフレームレート、すなわち単位時間毎に符号化することができるフレームの最大数を決める。例えば、単一のエンコーダが１秒につき３０個のフレームを符号化することができ、かつシステムの一部として４つのエンコーダが組み込まれる場合、合計のフレームレートは１２０フレーム／秒である。例えば、合計のフレームレートはビデオに以下のように割り当てることができる。合計の総フレームレートが１２０ｆｐｓの場合、静止シーンの６０個の監視ビデオはそれぞれ１フレーム／秒でサンプリングすることができ、アクティビティのある２つのビデオは３０フレーム／秒でサンプリングすることができる。
【００３９】
この制約に基づく問題を定式化するために、値Ｎｃａｐ（Ｔ）は時間単位Ｔ毎のフレームの総数を示す。システムに対する入力ビデオの数とそれらのビデオのフレームレートに応じて、全ビデオにわたる平均時間サンプリングレートを求めることができる。
【００４０】
複合解析の目的関数は次のように記述することができる。
Ｎｃｏｄｅｄ（Ｔ）≦Ｎｃａｐ（Ｔ）となるようなｍｉｎ  ΣｉＤｉ              （１）
ここで、Ｄｉはビデオｉの時間歪であり、Ｎｃｏｄｅｄ（Ｔ）は単位時間Ｔ毎に符号化されるフレームの総数である。符号化能力の使用を最大にするには、Ｎｃｏｄｅｄ（Ｔ）＝Ｎｃａｐ（Ｔ）とする。
【００４１】
時間間隔［ｔ，ｔ＋τ］における（１）からの時間歪は以下のように表される。
Ｄｉ［ｔ，ｔ＋τ］＝ｗｉΣＤｓｋｉｐｐｅｄ＿ｆｒａｍｅｓ［ｔ，ｔ＋τ］          （２）
【００４２】
上記の式は、所与の時間間隔においてスキップされたフレームの歪を総和するとともに、各ビデオの乗法の重み係数ｗｉを考慮する。この重み付けの目的および重み値に影響を与える要素は後述する。
【００４３】
先に述べたように、この定式化は、時間歪のみを明らかにする（account for）という点で新規であるだけでなく、従来技術の定式化に極めて典型的な個々のビデオにレート制約がないという点でも新規である。その代わりに、全ビデオの合計のフレームレートに制約がある。これはこの定式化の第２の新規の態様であり、本発明者の知る限りでは、この機能は従来技術のシステムにはないものである。
【００４４】
シーン中の有意な事象の検出は、事象が検出されたかどうかを記録し、有意な事象がない場合には記録をやめるバイナリ動作を暗示する可能性がある。これは非常に単純な動作である。しかしながらこれは、検出器が高精度かつ耐雑音性でない限り、いくつかの有意な事象を見過ごし、いくつかの有意でない事象を記録する可能性があるため、あまりよい戦略ではない。
【００４５】
その代わりに、最適化する上記の目的関数の一部として重み係数を含めることが好ましい。目的関数が合計の歪を最小にすることに基づくものと仮定すると、有意な事象がない場合には１の重みを使用し、事象がある場合にはより大きい重み（例えばｗｉ＝ｗｍａｘ）を使用する。ｗｍａｘの値は調整することができる。大きな値は、複合解析がビデオ中の事象が検出されたフレームをより多く符号化して合計の歪を最小にするよう促す。事象が検出されず、かつｗｉ＝１である場合、デフォルトモードは、目的関数が純粋にビデオの歪に依存して符号化されたフレームを求めることである。事象の検出に用いられるプロセスが異なる事象の有意度を区別する能力を有するものと仮定すると、重みｗｉは［１，ｗｍａｘ］の範囲の値をとることができる。
【００４６】
（１）の式における重みｗｉのさらなる使用は、特定のビデオの優先度を表現することである。例えば、あるビデオが重要なエリア（例えば入口）のものである場合、Ｗｉを１より大きく設定することができる。これは事象の検出と同様に、この入力ビデオから常により多くのフレームを符号化するという偏向を与える。なお、この優先度は、事象の検出の結果として生じる重み付けに対しても作用することができる。言い換えれば、優先度は、事象検出プロセスから出力される重みに一定の値を加えることができる。
【００４７】
ビデオに優先度を付加する代わりに、重みは、特定のビデオについて符号化する相対的なフレームの数の重要性を低くするために用いることもできる。これは、１よりも小さい重みを用いて達成することができる。その理由は、その入力ビデオからフレームをスキップすることにより生じる歪の蓄積が遅くなり、符号化されるフレームが少なくなるためである。
【００４８】
しかしながら、システムにより設定された最小の時間符号化レートが存在する可能性がある。この設定は、最後のフレームが符号化されてからある所定の期間が経過すると特定の入力のフレームを符号化させる。特定の入力に対する重みをゼロに設定すると常に、この最小の時間レートが強制される。
【００４９】
複合解析６００の動作に影響を与える最後の要素は許容可能な遅延（τ）である。より大きな遅延が許容されれば、より大きな時間間隔を考慮して問題が解決される。時間間隔が大きくなれば歪が小さくなる可能性があるが、この大きな時間間隔を設けることには２つの欠点がある。第１の欠点はメモリのサイズである。より大きな時間窓は、入ってくるフレームを解析するのにより多くの記憶容量が必要であることを暗示する。第２の欠点は計算である。時間窓が大きくなれば、評価する必要のある可能な解も多くなる。これは、システムの設計中に行う必要がある通常の技術的なトレードオフである。しかしながら、本発明が説明するシステムが提供する柔軟性に注目する。
【００５０】
問題を固定された時間間隔Ｔに分解し、Ｎは全入力ビデオの、この時間間隔において符号化される考えられるフレームの合計の総数を示すものとすると、上記問題の最適な解決策は、システムが
【００５１】
【数１】
2005094755.tif 000003
【００５２】
個の考えられる解を評価することを要求する。
【００５３】
所与の時間間隔について全ビデオにわたる合計の歪が最小である解を選択する。考えられる解の各々は２つのフレーム間の歪の計算の組み合わせであることを留意すべきである。Ｍが入力ビデオの総数であり、かつＫが各ビデオの期間Ｔ内のフレームの総数である場合、計算しなければならないフレーム対間の別個の歪の総数は
【００５４】
【数２】
2005094755.tif 000004
【００５５】
である。
【００５６】
図８に示す実施の形態において、複合解析８００に対するパラレル入力ビデオ８０１は、個別に圧縮されたフレーム、すなわちフレーム内符号化フレーム（intra-frame）の圧縮ビデオである。フレーム内符号化フレームの圧縮カテゴリの一部であるビデオの例には、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−１／２のＩフレーム、ＭＰＥＧ−４のＩ−ＶＯＰ（ビデオオブジェクトプレーン）または任意の他のフレーム内符号化フレームの圧縮技法を用いてフレームが圧縮されたビデオがある。
【００５７】
ネットワーク化された監視システムでは、帯域幅を減らすために、カメラ入力はこのように圧縮される。同時に、編集および閲覧（review）動作は依然として各フレームに個別にアクセスすることができる。このようにフレーム内符号化フレームの圧縮を用いることは放送スタジオでもごく一般的に行われており、ビデオは通常、放送前に内部で異なる編集ステーションに送信されて、いくつかの変更が加えられる。
【００５８】
本実施の形態では、複合解析８００が依然として、式（１）で与えられる目的関数および制約に応じて動作する。しかしながら、この場合、時間歪は、フレーム内符号化フレームの圧縮領域情報から直接求められる。この圧縮領域情報は、離散コサイン変換（ＤＣＴ）係数を含む可能性がある。フレームの差およびフレーム間の相関を圧縮領域から非常に効率的に達成することができるため、フレームを完全に復号化して再構築したフレームから解析を行う必要はない。その代わりに、部分的に復号化したフレームに対して解析８００を行う。
【００５９】
コントローラ６１０の出力は上記と同様に動作し、サンプリング回路６０４がトリガされ、時間ｔにおける各ビデオ入力の圧縮フレームを非均一にサンプリングする。利点として、サンプリングレートＴ１（ｔ）、Ｔ２（ｔ）、Ｔ３（ｔ）およびＴ４（ｔ）は異なっていてもよい。サンプリングレートを求めた後、フレーム内符号化フレームの圧縮ビデオを適宜サンプリングし、サンプリングされたフレームを永久メモリ６６０に直接記録する。
【００６０】
図９に示す実施の形態において、複合解析９００に対する入力ビデオ９０１は、互いに圧縮されたフレーム、すなわちフレーム間符号化フレーム（inter-frame）の圧縮ビデオである。このカテゴリに入るビデオには、ＭＰＥＧ−１／２のＰ／Ｂフレーム、ＭＰＥＧ−４のＰ／Ｂ−ＶＯＰまたは現在のフレーム内の情報を別の過去または未来の基準フレームから予測する任意の他の技法を用いてフレームが圧縮されたビデオがある。
【００６１】
ネットワーク化されたカメラシステムにおいて、ビデオは、フレーム内符号化フレームの圧縮で可能であるよりも大幅に圧縮される。これは特に、ほとんど動きのないシーンにおける時間の冗長性が非常に高い監視システムに当てはまる。本実施の形態の１つの主な利点は、多数のカメラが同一のネットワークおよび帯域幅を共有できることである。この場合、フレームの一部は、他のフレームを予測するための基準フレームの役割を果たす。これらのフレームを正確に処理するには注意が必要である。
【００６２】
本実施の形態において、複合解析９００は、圧縮ビデオから時間歪を推定する。これを達成する一手段は、Vetro他によって２００１年４月１６日付で出願された米国特許出願第０９／８３５，６５０号「可変のフレームスキップを有するビデオにおける総平均歪の推定（Estimating Total Average Distortion in a Video with Variable Frameskip）」に記載されている技法に基づく。
【００６３】
フレームｉとフレームｋの間の時間歪Ｅ｛Δ２ｚｉ，ｋ｝は次式により推定される。
【００６４】
【数３】
2005094755.tif 000005
【００６５】
ここで、（σ２ｘｉ，σ２ｙｉ）はフレームｉにおけるｘおよびｙの空間勾配の分散を表し、（σ２Δｘｉ，ｋ，σ２Δｙｉ，ｋ）はｘ方向およびｙ方向における２つのフレーム間の動きベクトルの分散を表す。
【００６６】
ここで、Vetro他は、当該技法をビデオの符号化に適用する場合の実際的な難しさを認めており、目標は、異なるフレームスキップ率（factor）の歪を推定することである。目的は、歪を最小にするフレームスキップ率を選択することである。しかしながら、多くの可能なフレームの動きベクトルは符号化の時点ではまだ得られないため、動きベクトルの推定は難しい計算となる。
【００６７】
しかしながら、図９の実施の形態では、動きベクトルが圧縮ビデオ９０１から直接得られる。基準フレームの空間勾配、例えばテクスチャおよびエッジ情報は、ＤＣＴ係数から直接求めることができる。Wang他「視聴覚の索引付けおよび解析で用いられる圧縮領域の特徴の調査（Survey of compressed-domain features used in audio-visual indexing and analysis）」（Journal of Visual Communication and Image Representation, Volume 14, Issue 2, pp. 150-183, June 2003）を参照されたい。
【００６８】
本発明によれば、式（３）によって得られる推定歪ならびに時間歪を測定する任意の他の手段を用いることができる。本発明の目的は、全てのビデオにおいて合計の歪を最小にするとともに合計のフレームレート制約を満足することである。
【００６９】
複合解析９００の結果に基づいて、入力ビデオから抜け落ちるフレームに関する情報をコントローラ９１０に伝える。コントローラは、この情報を各ビデオに１つずつ設けられる時間レートトランスコーダ９２０へ信号で送る。
【００７０】
トランスコーディング動作の複雑さは符号化動作よりも大幅に低いことに留意されたい。符号化中には、動きベクトルを求めなければならない。これは、動きベクトルが入力ストリームから得られるトランスコーディングには当てはまらない。したがって本システムは、多くのビデオを同時に処理することができる。
【００７１】
時間レートを低減する様々なトランスコーディング技法が、Vetro他「トランスコーディングのアーキテクチャおよび技法の概要（An Overview of Transcoding Architectures and Techniques）」（IEEE Signal Processing Magazine, vol. 20, no. 2, pp. 18-29, March 2003）によって記載されている。
【００７２】
各ビデオの時間レートを適宜低減した後、圧縮された出力ストリーム９０２を永久メモリ６６０に直接記録する。
【００７３】
入力ビデオは、圧縮ビデオと非圧縮ビデオの両方を同時に含む可能性があることが理解されるべきである。
【００７４】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入る変形および変更をすべて網羅することである。
【図面の簡単な説明】
【００７５】
【図１】従来技術による複数のビデオの録画および再生システムのブロック図である。
【図２】従来技術による複数のビデオの静止画符号化システムのブロック図である。
【図３】従来技術による複数のエンコーダを使用した複数のビデオのビデオ符号化システムのブロック図である
【図４】従来技術による単一のエンコーダを使用した複数のビデオのビデオ符号化システムのブロック図である。
【図５】本発明による非均一な時間分解能を有する出力ビデオを生成するために解析される同時のフルフレームレート入力ビデオのブロック図である。
【図６Ａ】本発明による単一のエンコーダおよび個別のメモリを使用した複数のビデオのビデオ符号化システムを示す図である。
【図６Ｂ】本発明による単一のエンコーダおよび共有メモリを使用した複数のビデオのビデオ符号化システムを示す図である。
【図７】本発明による単一のエンコーダおよびトランスコーダを使用した複数のビデオのビデオ符号化システムのブロック図である。
【図８】圧縮ビデオのフレーム内符号化フレームに対して動作するビデオ処理システムのブロック図である。
【図９】圧縮ビデオのフレーム間符号化フレームに対して動作するビデオ処理システムのブロック図である。
【図１】
2005094755.tif 000007
【図２】
2005094755.tif 000008
【図３】
2005094755.tif 000009
【図４】
2005094755.tif 000010
【図５】
2005094755.tif 000011
【図６Ａ】
2005094755.tif 000012
【図６Ｂ】
2005094755.tif 000013
【図７】
2005094755.tif 000014
【図８】
2005094755.tif 000015
【図９】
2005094755.tif 000016
【外国語明細書】
2005094755.tif 000017
2005094755.tif 000018
2005094755.tif 000019
2005094755.tif 000020
2005094755.tif 000021
2005094755.tif 000022
2005094755.tif 000023
2005094755.tif 000024
2005094755.tif 000025
2005094755.tif 000026
2005094755.tif 000027
2005094755.tif 000028
2005094755.tif 000029
2005094755.tif 000030
2005094755.tif 000031
2005094755.tif 000032
2005094755.tif 000033
2005094755.tif 000034
2005094755.tif 000035
2005094755.tif 000036
2005094755.tif 000037
2005094755.tif 000038
2005094755.tif 000039
2005094755.tif 000040
2005094755.tif 000041
2005094755.tif 000042
2005094755.tif 000043
2005094755.tif 000044
2005094755.tif 000045
2005094755.tif 000046
2005094755.tif 000047
2005094755.tif 000048
2005094755.tif 000049
2005094755.tif 000050