(57)【要約】【課題】方法が複数の入力ビデオを取得する。【解決手段】各入力ビデオのフレームは固定されたサンプリングレートで取得する。入力ビデオに同時かつ並行して複合解析を適用し、各入力ビデオの可変で非均一な時間サンプリングレートを求めて、合計の歪を最小にするとともに合計のフレームレート制約を満足するようにする。次に各入力ビデオを関連する可変で不均一な時間サンプリングレートでサンプリングして、可変の時間解像度を有する出力ビデオを生成する。【選択図】図６Ｂ
2005065268.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオの各々のフレームが固定されたサンプリングレートで取得される、複数の入力ビデオを取得すること、
合計の歪を最小にするとともに合計のフレームレート制約を満足するように、前記複数の入力ビデオに同時かつ並行して複合解析を適用し、入力ビデオの各々の可変で非均一な時間サンプリングレートを求めること、及び
入力ビデオの各々のフレームを前記関連する可変で非均一な時間サンプリングレートでサンプリングし、可変の時間解像度を有する複数の出力ビデオを生成すること
を含む、複数のビデオを符号化する方法。
【請求項２】
前記複合解析は、各ビデオの有意な事象、圧縮効率、及び資源の制約を考慮する
請求項１記載の複数のビデオを符号化する方法。
【請求項３】
前記出力ビデオの各々のフレームは関連するフレームバッファに記憶され、
前記入力ビデオの数よりも実質的に少ない数のエンコーダを用いて各ビデオのフレームをビットストリームとして符号化すること
をさらに含む請求項１記載の複数のビデオを符号化する方法。
【請求項４】
前記ビットストリームは再生のために永久メモリに記憶される
請求項３記載の複数のビデオを符号化する方法。
【請求項５】
前記永久メモリに記憶された前記ビットストリームを解析すること、
前記解析に従って前記ビットストリームをトランスコードし、前記記憶されたビットストリームのビットレート、空間解像度、及び時間解像度を変更すること、並びに
前記トランスコードされたビットストリームをアーカイバルメモリに記憶すること
をさらに含む請求項４記載の複数のビデオを符号化する方法。
【請求項６】
前記合計のフレームレートは前記エンコーダの全ての全フレームレートの総和である
請求項３記載の複数のビデオを符号化する方法。
【請求項７】
前記複合解析は目的関数
Ｎｃｏｄｅｄ（Ｔ）≦Ｎｃａｐ（Ｔ）となるようなｍｉｎ  ΣｉＤｉ
を最小にし、ここで、Ｄｉはビデオｉの合計の歪であり、Ｎｃｏｄｅｄ（Ｔ）は現在のフレームレートであり、Ｎｃａｐ（Ｔ）は単位時間Ｔ毎に符号化することができるフレームの総数として表される合計のフレームレートである
請求項１記載の複数のビデオを符号化する方法。
【請求項８】
前記合計の歪は時間歪である
請求項７記載の複数のビデオを符号化する方法。
【請求項９】
時間間隔［ｔ，ｔ＋τ］における前記時間歪は
Ｄｉ［ｔ，ｔ＋τ］＝ｗｉΣＤｓｋｉｐｐｅｄ＿ｆｒａｍｅｓ［ｔ，ｔ＋τ］
であり、ここで、Ｄｓｋｉｐｐｅｄ＿ｆｒａｍｅｓは前記入力ビデオのサンプリング中にスキップされたフレーム数を示し、ｗｉはビデオｉの重み係数であり、τは所定の遅延である
請求項８記載の複数のビデオを符号化する方法。
【請求項１０】
ビデオに対する前記重みはユーザの優先度に応じて決められる
請求項９記載の複数のビデオを符号化する方法。
【請求項１１】
ビデオに対する前記重みは事象検出方法に応じて決められる
請求項９記載の複数のビデオを符号化する方法。
【請求項１２】
前記重みは、前記入力ビデオにおいてより多くのフレームをスキップする場合に１よりも小さく、前記入力ビデオにおいてより少ないフレームをスキップする場合に１よりも大きい
請求項９記載の複数のビデオを符号化する方法。
【請求項１３】
前記複合解析はビデオの最小時間レートの制約を受ける
請求項７記載の複数のビデオを符号化する方法。
【請求項１４】
前記Ｎｃａｐ（Ｔ）の値はビデオエンコーダの数と、エンコーダの各々の最大フレームレートとに応じて求められる
請求項７記載の複数のビデオを符号化する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には複数のビデオの符号化に関し、特に資源の制約に応じたビデオの符号化に関する。
【背景技術】
【０００２】
複数のビデオの符号化は主に２つの領域、すなわち送信および録画において考慮されてきた。複数のビデオの送信は主に放送および伝達用途に応用され、複数のビデオの録画は通常、監視用途に応用される。ビデオの録画は多くの消費者向け電気製品でもよく見られるが、そのようなビデオレコーダは通常、複数の同時のビデオではなく単一のビデオの符号化を扱う。
【０００３】
テレビ放送用途では、複数のビデオを符号化して、符号化されたビデオのビットストリームを帯域幅の固定された単一のチャネルで一斉送信できるようにすることが一般的なやり方である。例えばＮ個のプログラムと、衛星リンクに一般的な全部で４５Ｍｂｐｓのチャネル帯域とが与えられた場合に問題となるのは、全体が最大品質を有するＮ個のプログラムを符号化して単一のチャネル上に多重化することである。帯域幅は固定されており、各プログラムの複雑性は異なるため、各プログラムは可変ビットレート（ＶＢＲ）で符号化される。このようにして、全プログラムを通して略一定の歪を維持することができる。したがって、一部のビデオのより複雑な部分には、同時に符号化する他のビデオのあまり複雑でない部分に割り当てるビット数を減らすことにより、より多くのビットを割り当てることができる。
【０００４】
上記のような符号化プロセスは統計的多重化と呼ばれる。このプロセスに関連する技法は、Haskell「可変レート符号化ストリームの多重化（Multiplexing of Variable Rate Encoded Streams）」（IEEE Transactions on Circuits and Systems for Video Technology, 1994）、Wang等「複合レート制御を用いた複数のプログラムのビデオ符号化（Multi-Program Video Coding with Joint Rate Control）」、Yangに対して２０００年７月１８日付で発行された米国特許第６，０９１，４５５号「ビデオ録画のための統計的多重化装置（Statistical Multiplexer for Recording Video）」、Choi他に対して２００１年２月２７日付で発行された米国特許第６，１９５，３８８号「複数のビデオプログラムを符号化するための装置および方法（Apparatus and Method for Encoding Multiple Video Programs）」、および本明細書中に含まれる参考文献に記載されている。
【０００５】
同様の方針では、SunおよびVetroが１９９９年１０月１９日付で発行された米国特許第５，９６９，７６４号において、固定帯域幅に制約のあるシーン中の複数のオブジェクトの符号化を記載している。この方法は、各オブジェクトにビットを割り当てる。Vetro他により２０００年５月２６日付で出願された米国特許出願第０９／５７９，８８９号「可変の時間解像度を有する複数のビデオオブジェクトを符号化およびトランスコードする方法（Method for encoding and transcoding multiple video objects with variable temporal resolution）」では、シーン中の異なる時間レートを有する各オブジェクトを用いて全帯域幅制約を満足する方法が記載されている。そこでこの方法は、シーン中の複数のオブジェクトを異なる時間レートで符号化するときに生じる成分のアーチファクトを最小にする。
【０００６】
上記の従来技術の方法は、１つの伝送チャネルの全帯域幅制約を受ける複数のビデオまたはオブジェクトを符号化する。
【０００７】
従来技術において、帯域幅以外の資源制約は複数のビデオの処理において考慮されてきた。例えばHuang他に対して２０００年８月１８日付で発行された米国特許第６，０５２，３８４号「受信器モデルを用いたタイミング制約を有する可変ビットレートストリームの多重化（Using a Receiver Model to Multiplex Variable Bit-Rate Streams Having Timing Constraints）」を参照されたい。この特許は、各ストリームの出力ビットレートを求めて、マルチプレクサ内のビットストリームの待ち行列もデコーダのバッファもオーバーフローやアンダーフローしないようにする技法を記載する。これらのレートは、ビットストリームから読み出されるタイミング情報と、デコーダのバッファの動作を考慮する受信器モデルとを用いて求められる。
【０００８】
遅延と処理の両方のタイミング制約を考慮した複数のビデオのトランスコーディングは、Chen他に対して２００１年８月１４日付で発行された米国特許第６，２７５，５３６号「複数のプログラマブルプロセッサを用いたマルチチャネルＭＰＥＧビデオトランスコーダの実行アーキテクチャ（Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors）」に記載されている。入力ビットストリームはまず処理単位に区分化される。１つのアーキテクチャにおいて、処理単位は、それぞれ独自の待ち行列を有する異なるサブビットストリームに分割され、各サブストリームは対応する分岐において処理される。第２のアーキテクチャにおいて、処理単位は共通の待ち行列から任意の利用可能なプロセッサに割り当てられる。待ち行列システムモデルに従って独立した処理単位が同時に処理され、平均処理時間を最短にする。複数の分岐の並列処理である第１のアーキクテチャとは対照的に、第２のアーキテクチャは多重処理の単一分岐である。
【０００９】
Chen他と同様に、Tiwari他に対して２００１年１２月２８日付で発行された米国特許第６，００８，８４８号「複数の計算エージェントを用いるビデオ圧縮（Video Compression Using Multiple Computing Agents）」もまた、複数のプロセッサを用いるシステムおよび方法を記載する。対照的にTiwariは、ビデオの符号化に適用され、複数のプロセッサまたは圧縮エージェントによって行われる粗粒度並列処理（parallelism）を用いた符号化を達成する技法を記載する。
【００１０】
図１は、監視用途の複数のビデオを符号化する一般的なシステムモデルを示す。カメラ１０１は、ビデオレコーダ１１０のためのビデオ１０２を取得する。通常、レコーダ１１０はビデオを圧縮する。圧縮されたビデオは次にメモリ１２０に記憶される。その後、ビデオプレーヤ１３０は記憶されたビデオを再生することができる。
【００１１】
図２は、レコーダ２００の詳細を示す。取得されたビデオ１０２は高速スイッチ２１０に送られる。このスイッチは、アナログビデオ信号を時間通りに（in time）サンプリングする。サンプルはデコーダ２２０に供給され、デジタル化された画像は静止画エンコーダ２３０によって符号化されて圧縮画像を生じる。メモリコントローラ２４０は、圧縮画像をメモリ１２０内の割り当てられた空間に書き込む。記憶されたビデオは後に再生することができる。
【００１２】
図２のレコーダの主な問題は、静止画が符号化されることである。ビデオの時間的な冗長性は使用されない。その結果、何週間や何ヶ月もの監視ビデオを記憶する場合、メモリ１２０は非常に大きくなければならない。大量の監視ビデオ、特に夜間に撮影されたものは、完全な静止シーンのものであることに留意すべきである。有意な事象は稀である。
【００１３】
図３は、上記の問題に対する明快な解決策を示す。この方式では、各ビデオに１つの符号化チャネルがある。符号化チャネルにおいて、ビデオはまずＮＴＳＣ復号化される２２０。ビデオコーダにおいて用いられるＭＰＥＧのような予測符号化のために、ビデオエンコーダ毎にフレームメモリ３１０が保持（maintain）されて基準ピクチャを記憶する。次に異なるカメラ１０１からの入力フレームが別々に符号化され、その結果がメモリコントローラ２４０を用いてメモリ１２０に書き込まれる。入力フレームの時間レートは、固定期間Ｔ３０１で均一にサンプリングすることによって制御することができる。このサンプリングによりメモリ１２０をより有効に使用することができる。この方式の主な欠点は、ビデオエンコーダ３２０が、フルレートのビデオを処理するように設計されているにもかかわらず完全に利用されないことである。また、多数のデコーダおよびエンコーダがシステムのコストを増加させる。
【００１４】
Ono他に対して２００１年１１月６日付で発行された米国特許第６，３１４，１３７号「ビデオデータ圧縮システム、ビデオ録画／再生システム、およびビデオデータ圧縮の符号化方法（Video data compression system, video recording/playback system, and video data compression encoding method）」では、上記の欠点を克服する図４のようなシステムおよび方法が記載されている。そこでは、単一のビデオエンコーダ４２０を用いて全てのビデオを符号化する。各カメラ入力１０１からのデジタル化されたビデオフレームは期間Ｔでサブサンプリングされ、それぞれのフレームメモリ３１０にバッファリングされる。単一のエンコーダ４２０で予測符号化を達成するために、１つのカメラ入力に対応する一連の入力ビデオフレームがビデオエンコーダに供給され、同一カメラ入力のフレームからの予測符号化が連続して行われるようにする。ＭＰＥＧ符号化のピクチャグループ（ＧＯＰ）構造により、そのような独立単位を形成することが可能になる。そのようにして、メモリコントローラ２４０はＧＯＰ選択（GOP-select）となり、各カメラ入力からのＧＯＰはコントローラ４１０に従ってエンコーダ内に時間的に多重化される。その方式では、全カメラ入力の単一のビットストリームが生成される。所与のカメラに対応するビデオの部分を特定するために、カメラ識別子４０１が符号化されたビットストリーム内に多重化される。
【００１５】
上記の解決策では、１つのＧＯＰに値するデータがフレームメモリの各々に記憶される必要があり、図２の多くても１つまたは２つの基準ピクチャのみが必要であるシステムよりも要件は遥かに大きくなる。したがって、符号化ハードウェアは大幅に節減されるものの、メモリ要件は依然として大きく高価である。この欠点は、単に入力ビデオをより積極的にサンプリングするだけでは克服できない。これはビデオの時間解像度を下げるが、依然として同じＧＯＰデータをバッファリングする必要がある。より短いＧＯＰ期間のみがメモリ要件を減らすが、これはより頻繁なフレーム内符号化を暗示し、より頻繁なフレーム内符号化は符号化効率の低下を意味する。最も極端な場合、１つのＧＯＰ期間は、図２に示す静止画符号化システムに退化してしまう。
【００１６】
高いメモリ要件は図４のシステムの１つの欠点に過ぎない。この問題はより多数のビデオに対するシステムのスケーリングに比例して悪化する。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、複数のビデオを同時に符号化するシステムおよび方法を提供することが望ましい。
【課題を解決するための手段】
【００１８】
本発明の１つの目的は、資源、特にメモリ、符号化ハードウェア、および遅延に制約のある複数のビデオを符号化するための低コストで圧縮効率が良くスケーラブルで柔軟性のあるシステムを提供することである。
【００１９】
本発明のさらなる目的は、複数の相関のないビデオの間で可変で非均一な時間解像度を達成する方法を提供することである。
【００２０】
方法は、複数の入力ビデオを取得する。各入力ビデオのフレームは固定されたサンプリングレートで取得される。
【００２１】
複合解析（joint analysis）は同時に、入力ビデオと並行して適用され、各入力ビデオの可変で非均一な時間サンプリングレートを求めて、合計の（combined）歪を最小にするとともに合計のフレームレート制約を満足するようにする。
【００２２】
次に各入力ビデオは、関連する可変で非均一な時間サンプリングレートでサンプリングされ、可変の時間解像度を有する出力ビデオを生じる。
【発明を実施するための最良の形態】
【００２３】
図５は、カメラにより固定されたサンプリングレートで同時に取得された複数の入力ビデオ（ビデオ１〜４）５１０の個々のフレーム５０１を示す。本発明による複合解析６００にかけて、複数の出力ビデオ５２０のフレーム５０２は可変で非均一な時間サンプリングレートを有する。複合解析の目的は、合計のフレームレート制約を満足する一方で全出力ビデオの合計の歪を最小にすることである。
【００２４】
所与の時間における特定の出力フレーム５０２のレートおよび存在に影響する要素として、圧縮効率、資源の制約、および有意な事象の検出がある。圧縮効率は、用いるエンコーダのタイプ（例えばＭＰＥＧ−２またはＭＰＥＧ−４）に関連する可能性がある。資源の制約は、メモリ、処理速度、および符号化レートを考慮する。有意な事象とは、背景シーンのより長い部分とは異なる短期の局所的な事象を意味する。
【００２５】
例えば、監視ビデオにおいて、通常は静止した誰もいない玄関のシーンに入ってきた人物は有意であるとみなされる。Divakaran他によって２００３年６月３０日付で出願された米国特許出願第１０／６１０，４６７号「ビデオにおける短期間の異常事象の検出方法（Method for Detecting Short Term Unusual Events in Videos）」（参照により本明細書中に援用する）を参照されたい。同様に、交通ビデオの場合、滑らかな動きから動きがない状態への変化は事故を示す。
【００２６】
システムアーキテクチャ
図６Ａは、本発明による複数のビデオのビデオ符号化システムのブロック図を示す。複数のカメラ６０１からのビデオ５１０はまずＮＴＳＣ復号化される６０２。デジタル化されたビデオは次に、各ビデオの時間サンプリングレート６０４を求めるために複合解析回路６００に入力される。
【００２７】
時間サンプリングレート６０４は、ビデオ中の有意な事象の存在、圧縮効率および資源の制約を考慮する方法に従って求められる。本方法および制約は以下でさらに詳述する。
【００２８】
各ビデオの可変で非均一な時間サンプリングレートはコントローラ６１０に伝えられ、このコントローラ６１０がサンプリング回路６０４をトリガする。この回路は、時間ｔにおける各ビデオ入力のフレームを非均一にサンプリングすることができる。サンプリング時間Ｔ１（ｔ）、Ｔ２（ｔ）、Ｔ３（ｔ）、Ｔ４（ｔ）は必ずしも互いに同一レートで動作しなくてもよい。これらのサンプリング時間は、全ビデオにわたる合計のフレームレートを決める。
【００２９】
サンプリングされたビデオ５２０のフレームは次にフレームバッファ６２０に記憶される。コントローラ６１０は、符号化６４０される入力を選択し６３０、それぞれのフレームバッファからフレームが読み出され、ビデオエンコーダ６４０に伝えられる。コントローラから、ビデオエンコーダは以下の情報６１１、すなわち複合解析６００によって導出されたビデオを符号化するために用いる符号化パラメータ、同様にビットストリーム自体に符号化することができる識別情報を受け取ることができる。識別は、ＩＳＯ／ＩＥＣ  １４４９６−２「視聴覚オブジェクトの符号化−パート２：視覚（Coding of audio-visual objects - Part 2: Visual）」（2nd Edition, 2001）に記載されるＭＰＥＧ−４ビデオオブジェクトプレーン符号化構文を用いてビットストリームに直接符号化することができる。
【００３０】
本システムは、ビデオ入力毎に固有のビットストリーム６５０を生成し、このビットストリーム６５０は次に後の再生のために永久メモリ６６０に記憶される。
【００３１】
このシステムでは、ビデオ毎に最小数の基準フレーム、例えば１つまたは２つのフレームが記憶される。この低いメモリ要件の理由は、ビデオ符号化プロセスの性質による。図４に示すOno他によるデータのＧＯＰを符号化する従来技術のシステムと対照的に、本発明によるシステムはデータのフレームを符号化する。これは、異なるビデオ入力に印を付けて個別の出力ビットストリーム６５０を生成することができるビデオエンコーダ６４０により可能となる。コントローラ６１０は、符号化している現在のビデオの動き補償に使用する正確な基準フレームを選択することができる６３０。これらの機能はいずれもOno他によって記載されたシステムの一部ではない。これらの特徴は、複数のビデオを同時に符号化することができるスケーラブルなシステムを提供することができる。
【００３２】
図６Ｂのシステムは、図６Ａのシステムのわずかに異なる構成である。主な違いは単一の共有フレームバッファ６２１である。
【００３３】
図７は、図６Ａおよび図６Ｂのコアアーキテクチャの拡張を示す。永久メモリ６６０に記憶されるビットストリームは長期間の記憶のためにアーカイバルメモリ７０３に転送することができる。この場合、トランスコーダ７０１を使用して、記憶されたビットストリームのビットレート、空間解像度および／または時間解像度をさらに変更することができる。解析回路７０２が、トランスコーディングパラメータを構成および設定するために用いられる。Vetro等によって「ビデオのトランスコーディングアーキテクチャおよび技法の概要（An overview of video transcoding architectures and techniques）」（IEEE Signal Processing Magazine, March 2003）に記載されるような任意の従来技術のトランスコーディング技法を用いることができる。
【００３４】
上記のアーキテクチャは４つの入力ビデオおよび１つのビデオエンコーダについて示されたが、この設計は、システムをより多数の入力ビデオおよびビデオエンコーダ（例えば１６個の入力および２つのビデオエンコーダ、または６４個の入力と４つのビデオエンコーダ）に容易にスケールアップすることを可能にする。
【００３５】
複合解析
複合解析６００の動作に影響を及ぼす要素としては、フレームをスキップすることによって生じる合計の歪、システムの一部として組み込まれるエンコーダの数、入力ビデオの数、シーン中の有意な事象の検出および分類、特定のカメラ入力に対するユーザの優先度、各ビデオの最小の時間符号化レート、許容可能な遅延および解析に要求される記憶容量（storage）がある。
【００３６】
スキップされたフレームによって生じる合計の歪は複合解析の動作を導く。Vetro他によって２００１年４月１６日付で出願された米国特許出願第０９／８３５，６５０号「可変のフレームスキップを有するビデオにおける総平均歪の推定（Estimating Total Average Distortion in a Video with Variable Frameskip）」において、スキップされたフレームの歪は２つの部分、すなわち最後の基準フレームの量子化による符号化誤差と、２つの瞬間の間のビデオ信号の変化によるフレーム補間誤差とから求められる。その方法は、単一のビデオの歪しか考慮しない。ここでは、全出力ビデオの合計の総歪を最小にする。
【００３７】
以下では、符号化誤差によって生じる歪を空間歪と呼び、補間誤差によって生じた歪を時間歪と呼ぶ。ビデオ録画システムは通常全てのフレームを同一品質で符号化するため、歪を推定する問題は、フレームの空間歪を除外し、時間歪のみに焦点を当てることができる。これは従来技術において検討されてきた定式化とは大きく異なることを強調しておく。
【００３８】
システムの一部として組み込まれるエンコーダの数は合計のフレームレート、すなわち単位時間毎に符号化することができるフレームの最大数を決める。例えば、単一のエンコーダが１秒につき３０個のフレームを符号化することができ、かつシステムの一部として４つのエンコーダが組み込まれる場合、合計のフレームレートは１２０フレーム／秒である。例えば、合計のフレームレートはビデオに以下のように割り当てることができる。合計の総フレームレートが１２０ｆｐｓの場合、静止シーンの６０個の監視ビデオはそれぞれ１フレーム／秒でサンプリングすることができ、アクティビティのある２つのビデオは３０フレーム／秒でサンプリングすることができる。
【００３９】
この制約に基づく問題を定式化するために、値Ｎｃａｐ（Ｔ）は時間単位Ｔ毎のフレームの総数を示す。システムに対する入力ビデオの数とそれらのビデオのフレームレートに応じて、全ビデオにわたる平均時間サンプリングレートを求めることができる。
【００４０】
複合解析の目的関数は次のように記述することができる。
Ｎｃｏｄｅｄ（Ｔ）≦Ｎｃａｐ（Ｔ）となるようなｍｉｎ  ΣｉＤｉ              （１）
ここで、Ｄｉはビデオｉの時間歪であり、Ｎｃｏｄｅｄ（Ｔ）は単位時間Ｔ毎に符号化されるフレームの総数である。符号化能力の使用を最大にするには、Ｎｃｏｄｅｄ（Ｔ）＝Ｎｃａｐ（Ｔ）とする。
【００４１】
時間間隔［ｔ，ｔ＋τ］における（１）からの時間歪は以下のように表される。
Ｄｉ［ｔ，ｔ＋τ］＝ｗｉΣＤｓｋｉｐｐｅｄ＿ｆｒａｍｅｓ［ｔ，ｔ＋τ］          （２）
上の式は、所与の時間間隔においてスキップされたフレームの歪を総和するとともに、各ビデオの乗法の重み係数ｗｉを考慮する。この重み付けの目的および重み値に影響を与える要素は後述する。
【００４２】
先に述べたように、この定式化は、時間歪のみを明らかにする（account for）という点で新規であるだけでなく、従来技術の定式化に極めて典型的な個々のビデオにレート制約がないという点でも新規である。その代わりに、全ビデオの合計のフレームレートに制約がある。これはこの定式化の第２の新規の態様であり、本発明者の知る限りでは、この機能は従来技術のシステムにはないものである。
【００４３】
シーン中の有意な事象の検出は、事象が検出されたかどうかを記録し、有意な事象がない場合には記録をやめるバイナリ動作を暗示する可能性がある。これは非常に単純な動作である。しかしながらこれは、検出器が高精度かつ耐雑音性でない限り、いくつかの有意な事象を見過ごし、いくつかの有意でない事象を記録する可能性があるため、あまりよい戦略ではない。
【００４４】
その代わりに、最適化する上記の目的関数の一部として重み係数を含めることが好ましい。目的関数が合計の歪を最小にすることに基づくものと仮定すると、有意な事象がない場合には１の重みを使用し、事象がある場合にはより大きい重み（例えばｗｉ＝ｗｍａｘ）を使用する。ｗｍａｘの値は調整することができる。大きな値は、複合解析がビデオ中の事象が検出されたフレームをより多く符号化して合計の歪を最小にするよう促す。事象が検出されず、かつｗｉ＝１である場合、デフォルトモードは、目的関数が純粋にビデオの歪に依存して符号化されたフレームを求めることである。事象の検出に用いられるプロセスが異なる事象の有意度を区別する能力を有するものと仮定すると、重みｗｉは［１，ｗｍａｘ］の範囲の値をとることができる。
【００４５】
（１）の式における重みｗｉのさらなる使用は、特定のビデオの優先度を表現することである。例えば、あるビデオが重要なエリア（例えば入口）のものである場合、Ｗｉを１より大きく設定することができる。これは事象の検出と同様に、この入力ビデオから常により多くのフレームを符号化するという偏向を与える。なお、この優先度は、事象の検出の結果として生じる重み付けに対しても作用することができる。言い換えれば、優先度は、事象検出プロセスから出力される重みに一定の値を加えることができる。
【００４６】
ビデオに優先度を付加する代わりに、重みは、特定のビデオについて符号化する相対的なフレームの数の重要性を低くするために用いることもできる。これは、１よりも小さい重みを用いて達成することができる。その理由は、その入力ビデオからフレームをスキップすることにより生じる歪の蓄積が遅くなり、符号化されるフレームが少なくなるためである。
【００４７】
しかしながら、システムにより設定された最小の時間符号化レートが存在する可能性がある。この設定は、最後のフレームが符号化されてからある所定の期間が経過すると特定の入力のフレームを符号化させる。特定の入力に対する重みをゼロに設定すると常に、この最小の時間レートが強制される。
【００４８】
複合解析６００の動作に影響を与える最後の要素は許容可能な遅延（τ）である。より大きな遅延が許容されれば、より大きな時間間隔を考慮して問題が解決される。時間間隔が大きくなれば歪が小さくなる可能性があるが、この大きな時間間隔を設けることには２つの欠点がある。第１の欠点はメモリのサイズである。より大きな時間窓は、入ってくるフレームを解析するのにより多くの記憶容量が必要であることを暗示する。第２の欠点は計算である。時間窓が大きくなれば、評価する必要のある可能な解も多くなる。これは、システムの設計中に行う必要がある通常の技術的なトレードオフである。しかしながら、本発明が説明するシステムが提供する柔軟性に注目する。
【００４９】
問題を固定された時間間隔Ｔに分解し、Ｎは全入力ビデオの、この時間間隔において符号化される考えられるフレームの合計の総数を示すものとすると、上記問題の最適な解決策は、システムが
【００５０】
【数１】
2005065268.tif 000003
【００５１】
個の考えられる解を評価することを要求する。
【００５２】
所与の時間間隔について全ビデオにわたる合計の歪が最小である解を選択する。考えられる解の各々は２つのフレーム間の歪の計算の組み合わせであることを留意すべきである。Ｍが入力ビデオの総数であり、かつＫが各ビデオの期間Ｔ内のフレームの総数である場合、計算しなければならないフレーム対間の別個の歪の総数は
【００５３】
【数２】
2005065268.tif 000004
【００５４】
である。
【００５５】
本発明を好ましい実施形態の例として説明してきたが、本発明の精神および範囲内で様々な他の適応および変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入る変形および変更をすべて網羅することである。
【図面の簡単な説明】
【００５６】
【図１】従来技術による複数のビデオの録画および再生システムのブロック図である。
【図２】従来技術による複数のビデオの静止画符号化システムのブロック図である。
【図３】従来技術による複数のエンコーダを使用した複数のビデオのビデオ符号化システムのブロック図である
【図４】従来技術による単一のエンコーダを使用した複数のビデオのビデオ符号化システムのブロック図である。
【図５】本発明による非均一な時間解像度を有する出力ビデオを生成するために解析される同時のフルフレームレート入力ビデオのブロック図である。
【図６Ａ】本発明による単一のエンコーダおよび個別のメモリを使用した複数のビデオのビデオ符号化システムを示す図である。
【図６Ｂ】本発明による単一のエンコーダおよび共有メモリを使用した複数のビデオのビデオ符号化システムを示す図である。
【図７】本発明による単一のエンコーダおよびトランスコーダを使用した複数のビデオのビデオ符号化システムのブロック図である。
【図１】
2005065268.tif 000005
【図２】
2005065268.tif 000006
【図３】
2005065268.tif 000007
【図４】
2005065268.tif 000008
【図５】
2005065268.tif 000009
【図６Ａ】
2005065268.tif 000010
【図６Ｂ】
2005065268.tif 000011
【図７】
2005065268.tif 000012
【外国語明細書】
2005065268.tif 000013
2005065268.tif 000014
2005065268.tif 000015
2005065268.tif 000016
2005065268.tif 000017
2005065268.tif 000018
2005065268.tif 000019
2005065268.tif 000020
2005065268.tif 000021
2005065268.tif 000022
2005065268.tif 000023
2005065268.tif 000024
2005065268.tif 000025
2005065268.tif 000026
2005065268.tif 000027
2005065268.tif 000028
2005065268.tif 000029
2005065268.tif 000030
2005065268.tif 000031
2005065268.tif 000032
2005065268.tif 000033
2005065268.tif 000034
2005065268.tif 000035
2005065268.tif 000036
2005065268.tif 000037
2005065268.tif 000038
2005065268.tif 000039
2005065268.tif 000040