(57)【要約】【課題】監視モニタリングでは、映像のアクティビティーは時刻や場所により大きく異なる。そのため、フレーム数を一定のＧＯＶ単位でストレージ装置にデータを格納すると、未使用のディスク領域が多く発生する。【解決手段】ランダムアクセス単位内のフレーム数をデータ量に応じて変化させると共に、ランダムアクセス単位のデータ量の倍数がストレージ装置の規定格納データ量に近づくように符号化制御する。【効果】ディスクの不使用領域が削減され、ストレージ装置の利用効率が向上する。また、ランダムアクセス処理における検索時間が安定するとともに、データ転送処理のスループットが向上する。【選択図】  図１
2004357086.tif 000002
【特許請求の範囲】
【請求項１】
ストレージ装置を含む動画像の符号化装置であり、上記符号化装置は符号量を制御する制御部を持ち、上記制御部は次の入力画像の推定符号量と単位データ総量の和が予め規定された規定格納データ量より大きい場合には、単位データ総量を初期化し、上記次の入力画像の符号量が上記規定単位格納データ量より小さくなるように上記入力画像をイントラ符号化し、符号量を単位データ総量に加算し、上記次の入力画像の推定符号量と単位データ総量の和が上記規定単位格納データ量より小さい場合には、上記次の入力画像の符号量と単位データ総量の和が上記規定単位格納データ量より小さくなるように該入力画像をイントラ符号化あるいはインター符号化し、符号量を単位データ総量に加算する機能を有することを特徴とする。
【請求項２】
請求項１に記載の符号化装置は、さらに上記規定格納データ量を入力するパスを持ち、上記規定格納データ量の規定値を更新する機能を有することを特徴とする。
【請求項３】
請求項１または２に記載の符号化装置は、さらにスイッチャによるカメラ切り換え機能を持つ監視システムに含まれる動画像の符号化装置であり、カメラのスイッチ情報を入力するパスと、通常用意されている参照画像用のフレームメモリのほかに局部復号画像を保存する複数の付加フレームメモリを持ち、付加フレームメモリは、各監視場所に１対１で対応しており、スイッチ情報に応じて、動き補償における参照画像を通常のフレームメモリに保存されている画像から、付加フレームメモリ内に保存されている画像に切り換える機能を有することを特徴とする。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データの符号化技術に属するものである。
【０００２】
【従来の技術】
動画像符号化した符号化データをストレージ装置に保存して管理する映像監視システムでは、データアクセス効率化を考慮したデータ格納処理を実施している。このようなシステムでは、ユーザからの要求に応じて、ストレージ装置から必要なデータの固まりを映像配信サーバに取り出し、データ配信処理を行うが、このとき、ストレージ装置から取り出すデータ量には、ディスクアレイの基本データサイズやディスクの論理サイズ、ならびに映像配信サーバのキャッシュサイズなどの面からそのシステムにとって最適な値が存在する。本明細書では、この最適なデータ量を規定格納データ量と定義し、規定格納データ量により区分けされるディスク上の領域を格納データ領域と定義する。
ストレージ装置内の必要な画像データを検索する際、まず、必要なデータが含まれる格納データ領域を検索し、その後、格納データ領域内の符号化データを復号して必要な画像データを検索するという手順をとる。そのため、このようなシステムでは、各格納データ領域の先頭フレームはランダムアクセス可能なフレームの符号化データとしている。
【０００３】
映像の符号化方法には、大きく分けて２種類あり、それぞれ、イントラ符号化、インター符号化と呼ばれている。インター符号化は、フレーム間相関を利用するため、以前に符号化したフレームを予測処理のために利用する。イントラ符号化は、フレーム内相関のみを利用した符号化方法である。イントラ符号化のみ用いて符号化されたフレームをイントラフレーム、インター符号化を用いて符号化されたフレームをインターフレームと呼ばれている。したがって、ランダムアクセスが可能なフレームは、そのフレームの符号化データだけで再生が可能なイントラフレームのみである。
【０００４】
図５に例としてＭＰＥＧ−４ビデオ符号化の基本的なデータ構造を示す。ＶＯＳヘッダはＭＰＥＧ−４ビデオ製品の適用範囲を決めるプロファイル・レベル情報、ＶＯヘッダはビデオ符号化のデータ構造を決めるバージョン情報、ＶＯＬヘッダは画像サイズ、符号化ビットレート、フレームメモリサイズ、適用ツール等の情報を含んでいる。ＧＯＶヘッダには時刻情報が含まれている。ＶＯＰは各フレームの符号化データであり、ＧＯＶヘッダの直後のＶＯＰはかならずイントラフレームとする。ＶＯＳヘッダ、ＶＯヘッダ、ＶＯＬヘッダ、ＧＯＶヘッダとも３２ビットのユニークワードから始まるため、容易に検索できる。シーケンスの終了を示すＥｎｄ  ｃｏｄｅ  ｏｆ  ＶＯＳも３２ビットのユニークワードである。これらのユニークワードは、２３個の”０”と１個の”１”で始まり、その２４ビットに続く２バイトのデータがその区切れの種類を示すような構造となっている。
このように、ＧＯＶヘッダと複数のＶＯＰにて構成されるＧＯＶのようなイントラフレームから始まるランダムアクセスが可能なデータ単位（以降、ランダムアクセス単位と呼ぶ）で格納データ領域に符号化データを保存し、ランダムアクセス処理を実現する。
【０００５】
【発明が解決しようとする課題】
通信や放送を目的とした場合には、バッファ制御等の復号処理の観点から、ランダムアクセス単位内のフレーム数は一定とし、ランダムアクセス単位内の符号量がほぼ一定となるように各フレームへのデータ配分を行う。しかしながら、監視モニタリングを目的とした場合には、画質が重要であり、また、映像のアクティビティーは時刻や場所により大きく異なる。そのため、ランダムアクセス単位内のフレーム数を一定とし、ランダムアクセス単位でストレージ装置にデータを格納すると、規定格納データ量とランダムアクセス単位のデータ量の不一致に伴う未使用のディスク領域が多く発生し、ディスクの利用効率が低減する。例えば、  図６（規定格納データ量とランダムアクセスのデータ量の関係）のデータ６０１のように、使用されないディスク領域が発生する。このような現象は、特に、映像内の動きが少ない深夜などに発生しやすい。さらに、データ６０２のように、ランダムアクセス単位のデータが２つの格納データ領域を跨ぐ場合には、大きな未使用ディスク領域が発生し、ディスク利用効率が低減する。このような現象は、映像内の動きが大きいときに発生しやすい。
【０００６】
また、ランダムアクセス単位内の検索処理に要する時間は、ランダムアクセス単位内のデータ量に依存するため、ランダムアクセス単位内のフレーム数を一定とした場合、ランダムアクセス処理に要する時間が安定せず、サービス品質の低下につながる。
【０００７】
さらに、ランダムアクセス単位内のフレーム数を一定とした場合、格納データ領域内のデータ量にばらつきが生じるため、復号装置へのデータ配信時の通信帯域の利用効率が低減する。
【０００８】
【課題を解決するための手段】
ランダムアクセス単位内のフレーム数をデータ量に応じて変化させると共に、ランダムアクセス単位のデータ量の倍数がストレージ装置の規定格納データ量に近づくように符号化制御する。より具体的には、次の入力画像の推定符号量と単位データ総量の和が規定格納データ量より大きい場合には、単位データ総量を初期化した後、入力画像の符号量が規定格納データ量より小さくなるように入力画像をイントラ符号化し、符号量を単位データ総量に加算する。次の入力画像の推定符号量と単位データ総量の和が規定格納データ量より小さい場合には、入力画像の符号量と単位データ総量の和が規定格納データ量より小さくなるように入力画像をインター符号化する。
【０００９】
【発明の実施の形態】
従来の技術でも示したように、ストレージ装置を含むネットワーク監視システムでは、ストレージ装置から復号装置へのデータ配信処理は、格納データ領域毎に実施する。そのため、各格納データ領域に保存される符号化データの先頭フレームはイントラフレームとする必要がある。符号化レートが変動しないように符号化制御（固定符号化レート）を実施する符号化装置では、定期処理として、一定フレーム数間隔でイントラフレームを発生させ、この１周期をランダムアクセス単位とする。例外処理として、シーンチェンジ時（監視映像ではカメラ動作時または撮影カメラ切り替え時に相当）に、イントラフレームを発生させる場合もあるが、これは、シーンチェンジ時は、インター符号化よりイントラ符号化の方が符号化データ量を抑えることができるためである。しかしながら、監視用途では、映像シーン内の１枚１枚の画像の画質を高品質とする必要であり、フレーム間変動が大きい時刻とフレーム間変動が少ない時刻では、各フレームの符号量は大きく異なる。そのため、一定フレーム数間隔でイントラフレームを挿入する符号化制御方法を適用した上で、格納データ領域の先頭フレームをイントラ符号化となるようにストレージ装置に符号化データを記録していくと、ディスク内の未使用領域の発生率が高くなり、ディスクの利用効率が低減する。
【００１０】
そこで、本発明では、ランダムアクセス単位に目安となるデータ量を設定し、その設定データ量に近づくように符号化処理を実施する。そして、ランダムアクセス単位の目標データ量をその倍数値が規定格納データ量となるように設定する。これにより、ランダムアクセス単位内のフレーム数を可変となるが、ランダムアクセス単位のデータ量が安定し、各格納データ量の値が規定格納データ量に近い値となる。その結果、
１）  ストレージ装置の未使用領域が減少し、蓄積できるデータ量が増加する、
２）  一定データ量を蓄積するために要する格納データ領域の数が減少し、アクセスしたいフレームの符号化データが含まれる格納データ領域の平均検索時間が短縮される、
３）  ２つのイントラフレーム間の符号化データ量が安定するため、ランダムアクセス単位内での最大検索時間と検索要求時の応答遅延が短縮される（ランダムアクセス処理には復号処理が伴うため、要する時間は符号化データ量に依存する）、
４）  各格納データ領域に蓄積される符号量が安定化するため、ストレージ装置から配信サーバへのデータ取り出し効率が向上する、
５）  各格納データ領域に蓄積される符号量が安定化するため、復号装置への通信帯域やストレージ装置や配信サーバを含むデータ蓄積装置内のデータパスの利用効率が向上する、
などの効果が生まれる。
【００１１】
図２にランダムアクセス単位の目標データ量と規定格納データ量を一致させた場合を例に、本願の符号量制御方法を示す。次の入力画像が入力されると（処理８０１）、規定格納データ量Ｄと単位総データ量Ｔと推定符号量ｐの和を比較する（処理８０２）。ここで、単位総データ量Ｔは１つの格納データ領域に記録される最初のフレームから直前の記録フレームまでの総符号量を示す。推定符号量ｐは、次の入力画像をインター符号化した場合の推定符号量であり、直前フレームの符号量、現在の時刻、カメラアングル、現在のランダムアクセス単位のアクティビティーなどから推測される値である。Ｄがｐ  ＋  Ｔより大きい場合には、符号量ｅがＤ  −  Ｔより小さくなるように、入力画像をインター符号化する（処理８０３）。一方、Ｄがｐ  ＋  Ｔより小さい場合には、まず、Ｔ値を０に初期化し、直前フレームにて現在の格納データ領域を対象とした符号化処理を終了する。そして、入力画像を新しい格納データ領域の先頭フレームとして、符号量ｅがＤより小さくなるように、イントラ符号化する（処理８０４）。処理８０３終了後、ｅとＤ−Ｔを比較し（処理８０５）、ｅがＤ−Ｔより大きくなる場合には、処理８０３の符号化処理を取り消し、処理８０４を実施する。処理８０５にてｅがＤ−Ｔより小さい場合には、Ｔの値を更新（Ｔ＝  Ｔ  ＋  ｅ）する（処理８０６）。また、処理８０４終了後にも、Ｔの値を更新（Ｔ＝  Ｔ  ＋  ｅ）する（処理８０６）。以降、処理８０１から処理８０６を繰り返す。
【００１２】
なお、上記の説明では、簡単のため、ランダムアクセス単位の目標データ量と規定格納データ量とした。しかしながら、本発明のポイントは、各データ格納領域の先頭フレームがイントラフレームとし、かつ各データ格納領域に蓄積されるデータ量を規定格納データ量に近づけることである。そのため、各データ格納領域内に含まれるイントラフレームの数は限定されず、ランダムアクセスに対する応答速度が重視される環境では、データ格納領域内に複数のイントラフレームを設け、サービス品質が向上させたほうがよい。たとえば、ランダムアクセス単位の目標データ量のｎ倍（ｎは２以上の整数）を規定格納データ量となるように設定する方法や、複数の目標データ量の候補を用意し、その組み合わせが規定格納データ量となるように設定してもよい。この場合、処理８０２の前に下記の処理を追加する。まず、ランダムアクセス単位の総データ量  Ａ  ＋  ｐと目標データ量  Ｂを比較する（処理８０７）。この際、Ａ  ＋  ｐ  がＢより大きい値であれば、Ａを０に初期化する（処理８０８）。Ａ  ＋  ｐ  の値が  Ｂよりも大きい値であり、さらに、現在のランダムアクセス単位がデータ格納領域に割り当てられた最後のランダムアクセス単位でなく（処理８０９）、ランダムアクセス単位内の符号化フレーム数ｃがランダムアクセス単位内最小フレーム数Ｆより大きい場合（処理８１２）には、入力画像を次のランダムアクセス単位のイントラフレームとし、ｐをイントラ符号化の推定符号量とし（処理８１０）、ｃの値を１とする（処理８１１）。Ａ  ＋  Ｐ  の値がＢよりも大きい値であり、かつ現在のランダムアクセス単位がデータ格納領域に割り当てられた最後のランダムアクセス単位であるか（処理８０９）、あるいはｃ  の値がＦよりも小さい場合（処理８１２）には、ｃの値を１増やす（処理８１１）。処理８０７で、Ａ  ＋  Ｐ  の値が  Ｂよりも小さい場合には、ｃの値を１増やす（処理８１１）。処理８１２は、フレーム間の変化が激しいシーンにて符号化効率が低減する問題を解決する効果がある。本発明では、ランダムアクセス単位内のフレーム数は符号化データ量によって制御するため、フレーム間変動の大きいシーンではランダムアクセス単位内フレーム数は少なくなり、結果として、符号量の大きいイントラフレームの発生頻度が高くなる。そこで、１つのランダムアクセス単位内のフレーム数が規定値Ｆより小さい場合には、次のランダムアクセス単位を合成し、時間方向に対するイントラフレームの発生頻度を下げる。この処理により、符号化効率の低減を避けることが可能となる。Ｆの値は、平均的なランダムアクセス単位内のフレーム数よりも小さい値に設定する。また、ストレージ装置から復号装置へのデータ配信処理を規定格納データ量のｎ倍（ｎは２以上の整数）とするシステムでは、ランダムアクセス単位の目標データ量を、規定格納データ量よりも大きな値に設定できる。この場合、ランダムアクセスデータ単位の目標データ量のｍ倍（ｍは２以上で、ｎよりも小さい整数）値を規定格納データ量のｎ倍値とし、Ｄの値を規定格納データ量のｎ倍値として制御する。
【００１３】
上記の説明では、処理８０５にて、ｅ  ＋  Ｔ  ＞  Ｄの時に、処理８０３の符号化処理を取り消して、処理８０４を実施しているが、ｅを０とし（入力画像を符号化せずに）、処理８０６を実施してもよい。
【００１４】
図８のデータ８０１〜データ８０３に図２の処理により生成されるＭＰＥＧ−４符号化データの例（ランダムアクセス単位はＧＯＶ）を示す。このように、１つのランダムアクセス単位に属するフレームの数は映像シーンのアクティビティーや、カメラアングル、撮影時間などにより異なるが、各ランダムアクセス単位の符号量は、それぞれ規定格納データ量に近い値となり、図６の場合に比較して各格納データ領域の未使用領域は削減される。
図７に図２の処理を実施するストレージ装置を含むネットワーク監視システムの構成例を示す。図７では、符号化装置は多数台のカメラ（１ａ，  １ｂ，  １ｃ，  １ｄ．．．）にて撮影された各アングルの映像が順次符号化装置２に入力される。符号化装置２では、各カメラからの入力映像を順次符号化する。例えば、３台のカメラが符号化装置２に接続されており、各カメラの符号化レートを各々１フレーム／秒とする場合、符号化装置への入力タイミングをずらしながら３フレーム／秒で符号化する。別の例としては、フレームレートを１０フレーム／秒とし、符号化装置にデータを入力するカメラの映像を数秒間ずつスイッチさせ、順に符号化する場合もある。図１０のデータ７０１がカメラ３台の場合の符号化データの構成例である。なお、図１０のデータ７０２（カメラ１の符号化データ）に示すように、各カメラの符号化データを個別のデータとしてストレージ装置に記録する場合も考えられる。個別に記録する場合には、図２の処理も各カメラに対して、個別に実施する。監視用途では、検索効率向上のため、カメラの番号情報やデータの特徴情報が符号化データに付加される場合がある。この場合にも、これらの情報のデータサイズを図２の符号量ｅの値に加算することで本発明が適用できる。また、符号化装置の処理に余裕がある場合には、異なるスペックの復号装置に対応するため、各入力画像に対して、複数のビットレートならびに画面サイズの符号化データを生成する場合もある。この場合には、各スペックの符号化データについて個別に図２の処理を適用することで、本発明が適用できる。符号化データは、ネットワークを介してデータ蓄積装置３に配信される。なお、図７には、１台の符号化監視装置しか記載していないが、ネットワークを介して複数の監視装置が接続されている。データ蓄積装置３では、受信サーバ３ａにて各符号化監視装置から提供された監視映像の符号化データを受信し、図８に示すような符号量が規定格納データ量（設定方法は後述）に近くかつランダムアクセス可能なデータ単位（１個以上のランダムアクセス単位から構成）に分割した後、ストレージ装置３ｂの格納データ領域に蓄積する（ストレージ装置から復号装置へのデータ配信処理を規定格納データ量のｎ倍とするシステムでは、ランダムアクセス単位の目標データ量を、規定格納データ量よりも大きな値に設定することもある）。この際、格納データ領域内の最初のフレームデータの前に図５のＶＯＬヘッダが存在しない格納データ領域については、ＧＯＶヘッダの前にＶＯＳヘッダ、ＶＯヘッダならびにＶＯＬヘッダを付け足しておくと受信装置への配信処理が容易となる。但し、これらの情報のデータサイズを符号量ｅの値に加算する必要がある。各格納データ領域に蓄積されたデータのカメラ番号と時刻情報（必要の場合には、画像サイズやビットレート）は配信サーバ３ｃにて管理される。なお、符号化装置２にて、図２の符号量制御が各カメラ個別に実施されている場合には、まず、図１０のように、入力された符号化データ（データ７０１）を各カメラの符号化データ（データ７０２、カメラ１のデータの例）に分割する。そして、各カメラ個別に、図８に示すような符号量が規定格納データ量（設定方法は後述）に近くかつランダムアクセス可能なデータ単位（１個以上のランダムアクセス単位から構成）に分割して、格納データ領域に蓄積する。配信サーバ３ｃは、ネットワークを介して、監視者５から指令を受けると、該当する時刻ならびにカメラの符号化データが含まれる格納データ領域を検索し、格納データ領域単位で配信サーバ内のメモリ領域に読み込み、復号装置４に配信する。この際、指令と同時に監視者側の再生端末のプロファイルを受信し、ストレージ装置に格納されている符号化データの画像サイズなどが再生端末のスペックに合わない場合には、トランスコーディングを実施して配信する。符号化装置の処理により、ストレージ装置に複数の端末スペックに対応する符号化データが保存されている場合には、最適なスペックの符号化データを検索して配信する。なお、図１０のデータ７０１のように複数カメラの符号化データを多重化してストレージ装置３ｂに蓄積している場合には、監視者からの指令に基づいて、必要なデータのみを配信することが可能となる。例えば、カメラ１のデータのみを要求された場合にはデータ７０２、カメラ１〜３の全てを要求された場合にはデータ７０１、カメラ１と２のみを要求された場合にはデータ７０３を配信する。
上記の説明では、監視者の要求によって、ストレージ装置から復号装置へのデータ配信が実施されているが、受信した符号化データをリアルタイムで復号装置に配信する場合もある。この場合には、受信サーバ３ａから配信サーバ３ｂにデータが転送した後に、ストレージ装置３ｂに蓄積するか、あるいは受信サーバ３ａから直接復号装置にデータを配信した後に、ストレージ装置３ｂに蓄積する。
【００１５】
また、監視用途では、数ヶ月単位の長時間の記録が必要となるため、ストレージ装置のディスク容量が不足する恐れがある。一方、ストレージ装置に蓄積された符号化データは時間が立つほど監視者からのアクセス頻度が下がり、その重要性が低下する。そこで、古いデータ量を削減する処理が実施される。その方法としては、
１）  ストレージ装置内の符号化データにトランスコーディング（画像サイズを小さくする、フレームレートを落とす、画質を落とすなどの処理）を施す、
２）  符号化データ内の双方向予測フレーム（他のフレームの予測に使用されないデータであり、ＭＰＥＧなどの符号化方式で利用されている）を取り除く、
などがあり、符号量が削減される。具体的には、受信サーバあるいは送信サーバが古いデータをストレージ装置から取り出し、上記のような符号量削減処理を実施し、再度ストレージ装置に蓄積する。元のデータが蓄積されている格納データ領域のデータは上書きすることが可能となる。この際にも、図２の処理２のような符号量制御方法を適用するとディクス利用効率が向上する。なお、このようなデータ量削減処理は、他のストレージ装置データへのバックアップ処理を行う場合にも有効である。
【００１６】
図１にて、図７における符号化装置２の内部構成を説明する。この構成では、再生画像（局部復号画像）を保存するフレームメモリを符号化装置に接続されるカメラの数だけ余分に用意し（双方向予測を用いる場合にはカメラの数の２倍）、各カメラに割り当てる。そして、入力画像を撮影したカメラに対応するフレームメモリに保存されている画像がフレーム間予測時の参照画像となるように制御し、通常はカメラ切り替え時に必ず発生する符号量の大きいイントラフレームの発生率を抑える。この際、図１０のデータ７０１あるいはデータ７０３のように、複数のカメラにより撮影された映像の符号化データを多重化して配信する場合には、参照画像の切り換え情報を復号側に通知する。
【００１７】
基本的な動画像の符号化処理では動画像の１フレームは、図１２に示すように、１個の輝度信号（Ｙ信号：２００１）と２個の色差信号（Ｃｒ信号：２００２，  Ｃｂ信号：２００３）にて構成されており、色差信号の画像サイズは縦横とも輝度信号の１／２となる。符号化の際には、まず、入力画像２００は、ＭＢ分割部３００にて図１２に示すような小ブロックに分割される。この小ブロックは、マクロブロックと呼ばれる。図１３にマクロブロックの構造を示す。マクロブロックは１６ｘ１６画素の１個のＹ信号ブロック２１０１と、それと空間的に一致する８ｘ８画素のＣｒ信号ブロック２１０２ならびにＣｂ信号ブロック２１０３にて構成されている。なお、Ｙ信号ブロックは、更に４個の８ｘ８画素ブロック（２１０１−１，  ２１０１−２，  ２１０１−３，  ２１０１−４）に分割して処理されることがある。分割されたマクロブロックは、イントラ符号化方法、あるいはインター符号化方法の何れかの方法にて符号化される。
【００１８】
イントラ符号化では、入力マクロブロック画像２０１は、６個の８ｘ８画素ブロック（２１０１−１，  ２１０１−２，  ２１０１−３，  ２１０１−４，  ２００２，  ２００３）毎にＤＣＴ変換器２０３に入力され、６４個のＤＣＴ係数に変換される。各ＤＣＴ係数は、制御部３０１にて定められる量子化パラメータ（量子化の精度を決める値でＭＰＥＧ−４では１〜３１が移動範囲、図２の処理により決定される条件を満たすように制御する）に従って量子化器２０４にて量子化される。量子化されたＤＣＴ係数は、多重化器２０６に渡され、符号化される。この際、量子化パラメータも多重化器２０６に渡され、符号化される。量子化されたＤＣＴ係数は、局部復号器２２０の逆量子化器２０７と逆ＤＣＴ器２０８にて、入力ブロック画像に復号され、フレームメモリ２１０に合成される。局部復号器２２０は、復号側での復号画像と同じものを作成する能力をもつ必要がある。フレームメモリ２１０に蓄積された画像は時間方向のフレーム間予測に用いられる。
【００１９】
フレームメモリ２１０には、符号化対象の入力画像の復号画像が保存される。参照画像メモリ３１６には、符号化装置に接続されたカメラ位置の数だけフレームメモリが用意されている（双方向予測を行う場合には、各カメラに対して２枚ずつ必要）。参照画像メモリ３１６内の各フレームメモリは各カメラと１対１で対応し、対応するカメラに対する参照画像が保存される。フレームメモリ２１０のフレームデータと参照画像メモリ３１６のフレームデータは、実質上は区別なく管理されており、符号化装置に入力される画像を撮影するカメラが切り替えられた時に、フレームメモリ２１０のフレームデータが保存されているメモリのポインタと、参照画像メモリ３１６において切り替え前のカメラに対応するフレームデータが保存されているメモリのポインタとが交換される。
【００２０】
インター符号化では、まず、入力マクロブロック画像２０１と入力画像に対応するフレームメモリ２１０内の前フレームの局部復号画像との間で、動き補償処理が、動き補償器２１１にて行われる。動き補償とは、前フレームの局部復号画像（参照画像）から対象マクロブロックの内容と似通った部分（一般的には、前フレームの探索範囲に対して、輝度信号ブロック内の予測誤差信号の絶対値和が小さい部分を選択する）を検索し、その動き量（動きベクトル）を符号化する時間方向の圧縮技術である。図４に動き補償の処理構造を示す。図４は、太枠で囲んだ現フレーム５１の輝度信号ブロック５２について、参照画像５３上の予測ブロック５５と動きベクトル５６を探索範囲５７に対して示した図である。動きベクトル５６とは、現フレームの太枠ブロックに対して空間的に同位置に相当する参照画像上のブロック５４（破線）から、参照画像上の予測ブロック５５領域までの移動分を示している  （色差信号用の動きベクトル長は、輝度信号の半分とし、符号化はしない）。通常は、フレームメモリ２１０内の局部復号画像が参照画像として動き補償器に提供されるが、カメラ切り替え直後のフレームの符号化時には、スイッチ３１７を参照画像メモリ３１６に切り替え、参照画像メモリ３１６から参照画像が提供される。参照画像メモリ３１６から、入力画像に対応する参照画像を選択する手順は次のようになる。符号化装置に入力される画像を撮影するカメラが切り換えられると、カメラシステムから、現在のカメラ番号を含むカメラスイッチ情報３１３が制御部３０１に入力される。これに対応して制御部３０１は、切り替え指令３１４をスイッチ３１７に、カメラ番号情報３１５を参照画像メモリ３１６に通知する。これにより、動き補償時の参照画像が、参照画像メモリ３１６内のカメラ番号情報３１５に対応するカメラの参照画像に切り換えられる。カメラ番号情報３１５は復号側に通知する必要がある。方法としては、ビデオの符号化データに合成して送る方法が考えられる。図９に示すような符号化データに発生し得ないユニークワードとカメラ番号情報の組み合わせ２０００をカメラ切り替えが発生したフレームのビデオデータの前に合成すればよい。なお、このデータ２０００のデータサイズは図２の符号量ｅに加算する必要がある。このような動き補償により検出された動きベクトル２１２は、多重化器２０６にて符号化される。また、動き補償によりフレームメモリ上の参照画像から抜き出された予測マクロブロック画像２１３は、現フレームの入力マクロブロック画像２０１との間で差分器２０２にて差分処理され、差分マクロブロック画像が生成される。差分マクロブロック画像は、図１３に示した６個の８×８画素ブロック（２１０１−１，  ２１０１−２，  ２１０１−３，  ２１０１−４，  ２００２，  ２００３）毎に、ＤＣＴ器２０３に入力され、６４個のＤＣＴ係数に変換される。各ＤＣＴ係数は、量子化パラメータ（量子化の精度を決める値でＭＰＥＧ−４では１〜３１が移動範囲、図２の処理により決定される条件を満たすように制御する）に従って量子化器２０４にて量子化され、量子化パラメータとともに多重化器２０６に渡され、符号化される。予測符号化の場合も、量子化���ＣＴ係数を局部復号器２２０の逆量子化器２０７と逆ＤＣＴ器２０８にて、差分マクロブロック画像に復号し、加算器２０９にて予測マクロブロック画像と加算した後、フレームメモリ２１０に合成する。
【００２１】
イントラ符号化（ＩＮＴＲＡ）と予測符号化（ＩＮＴＥＲ）の判定は、ＩＮＴＲＡ／ＩＮＴＥＲ判定部２１４にてＭＢ単位で行われる。一般的に判定は、ＩＮＴＥＲは輝度信号ブロックにおける予測誤差の絶対値和、ＩＮＴＲＡは輝度信号ブロック内の平均値からの差分の絶対値和を評価値として行われる。なお、インター符号化の予測方法には、時間的に過去のフレームの情報を用いて予測マクロブロック画像の生成を行う前方予測以外に、時間的に未来のフレームの情報を用いて予測マクロブロック画像の生成を行う後方予測や時間的に過去と未来のフレームの情報を用いて予測マクロブロック画像の生成を行う双方向予測もある。後方予測や双方向予測を使用する符号化装置では、各カメラに対して、２枚の参照画像を用意する必要がある。また、本明細書では詳細は割愛するが、イントラ符号化でもフレーム内の予測が通常用いられる。イントラ予測の場合には、符号化中の画像の局部復号画素や符号化済みのＤＣＴ係数などが予測に用いられる。このようなフレーム内予測の特徴は本発明の処理手順には影響しない。
【００２２】
次に、図１における制御部３０１における量子化パラメータの設定処理について説明する。制御部３０１には、符号化処理を開始する前に予め規定格納データ量が記録されている必要がある。規定格納データ量の通知方法としては、予め符号化装置に設定されている場合、符号化装置の管理者が外部入力し、符号化装置の設定を変更する場合、ネットワークを介してデータ蓄積装置３から送信される場合などが考えられる。規定格納データ量は、データ蓄積装置の構成に依存する値であり、通常は変化しない。但し、ストレージ装置のディクス交換などが発生した場合には、更新する必要がある。
次の入力画像が入力されると制御部３０１は多重化部２０６から得られる前フレームのビット量情報３１０や入力画像のアクティビティー変動などから図２の推定値ｐを推測した後、図２の処理を開始する。そして、処理８０３あるいは処理８０４まで処理が進行すると、フレームの符号化タイプ（イントラフレーム、インターフレーム）と入力画像の目標符号量（処理８０３ではＤ−Ｔ、処理８０４ではイントラ符号化の推定符号量）が決定される。制御部３０１は、画質が落ちない範囲で、符号量が目標符号量に近く、かつ目標符号量よりも小さくなる値となるように量子化パラメータを制御し、入力画像の符号化処理を実施する。その後、実際の符号量にて処理８０５、処理８０６を実施する（条件によっては処理８０４も実施）。
【００２３】
図３と図１１にて、図７における復号装置４の内部構成を説明する。図１１は、図８のデータ７０２のように、１つのカメラにより撮影された画像の符号化データを再生する復号装置の構成であり、図３は、図８のデータ７０２に加えて、データ７０１やデータ７０３のような２つ以上のカメラにより撮影された画像の符号化データを多重化したデータも再生できる復号装置の構成である。
【００２４】
図１１では、まず、符号解読部５０１にて入力された符号化データを解析し、バイナリーコードから意味のある復号情報に変換する。そして、動きベクトル情報と予測モード情報（ＩＮＴＲＡ／ＩＮＴＥＲ判定）を動き補償器５０４に、量子化ＤＣＴ係数情報を逆量子化器５０２に振り分ける。解析したマクロブロックの予測モードがイントラ符号化であった場合には、復号した量子化ＤＣＴ係数情報を、逆量子化器５０２と逆ＤＣＴ器５０３において、８×８画素ブロック毎に逆量子化・逆ＤＣＴ処理し、マクロブロック画像を再生する。マクロブロックの予測モードがインター符号化であった場合には、まず、動き補償器５０４にて、予測マクロブロック画像が生成される。具体的には、動きベクトル情報の動き量に従って、前フレームの復号画像が蓄積されているフレームメモリ５０７から予測マクロブロック画像が抜き出される。次に、予測誤差信号に関する符号化データを、逆量子化器５０２と逆ＤＣＴ器５０３において、８×８画素ブロック毎に逆量子化・逆ＤＣＴ処理し、差分マクロブロック画像を再生する。そして、予測マクロブロック画像と差分マクロブロック画像を加算器５０５にて加算処理し、マクロブロック画像を再生する。再生されたマクロブロック画像は、合成器５０６にて復号フレーム画像に合成される。また、復号フレーム画像は、次フレームの予測用にフレームメモリ５０７に保存される。
【００２５】
図３では、動き補償器５０４に入力される参照画像を符号化側と同じ画像となるように制御する必要があり、復号カメラ番号情報に従って、スイッチ５０９を制御する。図１の符号化装置と同様に、再生画像を保存するフレームメモリ５０７に加えて、参照画像メモリ５０８に、符号化装置での設定カメラ位置の数だけ（双方向予測を用いる場合カメラ数の２倍）フレームメモリを用意している。フレームメモリ５０７には、復号された画像が保存される。参照画像メモリ５０８の各フレームメモリには、符号化装置における各設置カメラに対応する参照画像が保存される。フレームメモリ５０７のフレームデータと参照画像メモリ５０８のフレームデータは、実質上は区別なく管理されており、符号化解読部５０１がカメラ番号情報を受信したときに、フレームメモリ５０７のフレームデータが保存されているメモリのポインタと、参照画像メモリ５０８において最後に復号された画像に対応するカメラの参照画像が保存されているメモリのポインタとが交換される。符号解読部５０１にて復号されたカメラ番号情報が復号されると、スイッチ５０９に切り替え指令５１０が通知され、動き補償器５０４への入力パスが参照画像メモリ５０８側に切り替えられる。同時に、参照画像メモリ５０８にカメラ番号情報５１１が通知される。参照画像メモリ５０８は、カメラ番号情報５１１に対応する参照画像を動き補償器５０４に提供する。スイッチ５０９は、１フレーム分の符号化データの復号処理完了時にフレームメモリ５０７側に切り替えられる。
【００２６】
本発明の適用はストレージ装置内の構成には依存せず、ハードディスクであっても、ディスクアレイであっても、磁気テープであっても、光ストレージディスクメディアであっても本発明の符号化方法は実施できる。本発明では、ストレージ装置や配信サーバの性能により決定される規定格納データ量を考慮した符号化方法に特徴があり、規定格納データ量は、ストレージ装置内の構成に関わらず存在する。規定格納データ量を決める要素としては、ディスクアレイのディスクサイズ、ディスクのセクタサイズ、ディスクの論理データサイズ、メディアのセクタサイズ、メディアの論理データサイズ、配信サーバのキャッシュサイズなどが挙げられる。
【００２７】
本発明の符号化方法は、図７のように複数のカメラを持たない単一カメラのシステムでも適用できる。
【００２８】
本発明の符号化方法は、ストレージ装置に符号化データを記録するシステムに適用することが可能であり、監視システムに限定されない。例えば、符号化データを蓄積し、オンデマンドで映像を配信する映像配信サーバにも適用できる。
【００２９】
【発明の効果】
ディスクの不使用領域が削減され、ストレージ装置の利用効率が向上する。また、ランダムアクセス処理における検索時間が安定するとともに、データ転送処理のスループットが向上する。
【図面の簡単な説明】
【図１】本発明の符号化装置の構成を説明する図である。
【図２】本発明の符号量制御の処理を説明する図である。
【図３】本発明により生成された符号化データを復号する復号装置の構成を説明する図である。
【図４】動き補償の原理を説明する図である。
【図５】ビデオ符号化ビットストリームの全体構成を示した図である。
【図６】従来の符号化方法により生成されるランダムアクセス単位の符号化データ量と規定格納データ量の関係を説明する図である。
【図７】ストレージ装置を含むネットワーク映像監視システムの全体構成を説明する図である。
【図８】本発明の符号化方法により生成されるランダムアクセス単位の符号化データ量と規定格納データ量の関係を説明する図である。
【図９】カメラ情報のフォーマットを説明する図である。
【図１０】本発明の符号化方法により生成されるビデオデータの例を説明する図である。
【図１１】本発明により生成された符号化データを復号する復号装置の別構成を説明する図である。
【図１２】ビデオ符号化におけるマクロブロック分割を示した図である。
【図１３】ビデオ符号化におけるマクロブロックの構成を示した図である。
【符号の説明】
２００…入力画像、２０１…入力マクロブロック画像、２０２…差分器、２０３…ＤＣＴ処理部、２０４…量子化部、２０６…多重化部、２０７、５０２…逆量子化部、２０８、５０３…逆ＤＣＴ部、２０９、５０５…加算器、２１０、５０７…フレームメモリ、２１１、５０４…動き補償部、２１４…ＩＮＴＲＡ／ＩＮＴＥＲ判定部、３００…ＭＢ分割処理部、３０１…制御部、３１７、５０９…スイッチ、３１３…カメラスイッチ情報、３１４、５１０…切り替え指令、３１５、５１１…カメラ番号情報、３１６、５０８…参照画像メモリ、５０１…符号解読部、５０６…合成部、５１３…表示装置。
【図１】
2004357086.tif 000003
【図２】
2004357086.tif 000004
【図３】
2004357086.tif 000005
【図４】
2004357086.tif 000006
【図５】
2004357086.tif 000007
【図６】
2004357086.tif 000008
【図７】
2004357086.tif 000009
【図８】
2004357086.tif 000010
【図９】
2004357086.tif 000011
【図１０】
2004357086.tif 000012
【図１１】
2004357086.tif 000013
【図１２】
2004357086.tif 000014
【図１３】
2004357086.tif 000015