(57)【要約】【課題】  ビデオコーデックにおけるバッファフレームメモリサイズとアクセス量減少の方法の提供。【解決手段】  本方法はビデオ符号化標準に従うコーデックに適用される。圧縮解除手順における圧縮ブロックの検討により、バッファフレームのブロックデータタイプが圧縮データタイプであるか復号生データタイプであるかが判断される。これはこの圧縮解除ブロックの符号化タイプと対応参考フレームの位置、或いは付与されたトポロジーパターンとフレームメモリの容量によりなされる。本発明はバッファフレームメモリサイズのみならずビデオブロックの復号に係る計算量を減少する。こうして、ビデオデコーダのメモリサイズと参考フレームのアクセス及び計算量の間の折衷を達成する。【選択図】        図３
2006217560.tif 000002
【特許請求の範囲】
【請求項１】
参考フレームバッファメモリのサイズとアクセス量を減らす方法において、この方法はビデオエンコード／デコード標準に符合するビデオエンコーダ／デコーダに適用され、該ビデオエンコーダ／デコーダは少なくとも対策決定ユニットと参考フレームバッファを具え、該ビデオエンコーダ／デコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行ない、この方法は、
（ａ）複数の圧縮ブロックを具えた複数の復号するフレームを受け取るステップ、
（ｂ）各圧縮ブロック中の保存単位のサイズを定義するステップ、
（ｃ）各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に（ａ）のステップに戻り、続いて次に復号するフレームを処理するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップで、各圧縮ブロック中の保存単位を１ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項３】
請求項２記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ブロックサイズは１６×１６ピクセルとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項４】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップ中の各圧縮ブロックは複数の小符号化ブロックを包含し、各圧縮ブロック中の保存単位を一つの小符号化ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項５】
請求項４記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、小符号化ブロックのサイズは１６×８、８×１６、８×８、８×４、４×８、４×４ピクセルのいずれかとすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項６】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ）のステップが更に以下のサブステップ、即ち、
（ｃ１）メモリ容量制限条件があるかを判断し、無ければ（ｃ４）のステップにジャンプし、有れば（ｃ２）のステップに進むステップ、
（ｃ２）該メモリ容量制限条件に基づき、還元数値データ補間が可能であるかを判断し、不可能であれば（ｃ４）のステップにジャンプし、可能であれば（ｃ３）のステップに進むステップ、
（ｃ３）還元数値データ補間のステップ、
（ｃ４）各保存単位のデータ保存形態を決定するステップ、
（ｃ５）トポロジーパターンに基づき更なる設定を行なう必要があるかを判断し、必要がなければ（ｄ）のステップにジャンプし、必要があれば（ｃ６）のステップに進むステップ、
（ｃ６）トポロジーパターンに基づき各保存単位のデータ保存形態を設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項７】
請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ２）のステップが更に以下のサブステップ、即ち、
現在の第０枚から第（Ｎ−１）枚の参考フレームのメモリ少量メモリ容量Ｍ0,N-1 ｇａめ設定されたメモリ容量サイズの臨界値以下であるかを判断し、臨界値より大きければ、（ｃ４）のステップにジャンプし、臨界値以下であれば、（ｃ３）のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項８】
請求項７記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、臨界値は（Ｎ−Ｌ−１）個のフレームの還元数値データとされ、Ｌは節約を要するフレーム枚数を表示することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項９】
請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ３）のステップは以下のサブシステム、即ち、
（ｃ３１）復号するフレームの全体フレームを還元数値データ保存形態での保存に設定するかを決定し、イエスならば（ｃ３３）のステップにジャンプし、ノーならば（ｃ３２）のステップに進むステップ、
（ｃ３２）復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定し、更に（ｃ５）のステップにジャンプするステップ、
（ｃ３３）復号するフレームの全体フレームを還元数値データ形態での保存に設定し、並びに（ｄ）のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１０】
請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ４）のステップでの決定動作は以下のサブシステム、即ち、
（ｃ４１）保存単位が１つのブロックであれば、その包含する小符号化ブロックにより設定するかを判断し、イエスであれば（ｃ４３）のステップにジャンプし、ノーであれば（ｃ４２）のステップに進むステップ、
（ｃ４２）保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば（ｃ４７）のステップにジャンプし、ノーであれば（ｃ４３）のステップに進むステップ、
（ｃ４３）保存単位がフレーム間予測とされるかを判断し、イエスであれば（ｃ４５）のステップにジャンプし、ノーであれば（ｃ４４）のステップに進むステップ、
（ｃ４４）保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定し、（ｃ５）のステップにジャンプするステップ、
（ｃ４５）保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであれば（ｃ４７）のステップにジャンプし、イエスであれば（ｃ４６）のステップに進むステップ、
（ｃ４６）保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定し、並びに（ｃ５）のステップにジャンプするステップ、
（ｃ４７）保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１１】
請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１２】
請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１３】
請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１４】
請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ５）のステップのトポロジーパターンは復号するフレーム中の各ブロックの設定データ保存形態であることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１５】
請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ６）のステップが以下のサブステップ、即ち、
（ｃ６１）トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断し、ノーであれば（ｃ６３）のステップにジャンプし、イエスであれば（ｃ６２）のステップに進むステップ、
（ｃ６２）保存単位のデータ保存形態を圧縮データ形態での保存に設定し、更に（ｄ）のステップにジャンプするステップ、
（ｃ６３）保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１６】
請求項１５記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、圧縮データ形態は予測形式と余剰信号形態或いは動きベクトルと余剰信号形態の二組のうちのいずれか一組とされたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１７】
請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１８】
請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項１９】
請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２０】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、参考フレームバッファ中に保存された第０枚の参考フレームが還元数値データ形態或いは予測形式と余剰信号形態で保存されることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２１】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｄ）のステップ中、各保存単位を参考フレームバッファに保存する動作の前に、各保存単位の対応するデータ保存形態に基づき、処理を行ない、この処理はトポロジー復号処理、或いはトポロジー復号と量子化解除処理、或いはトポロジー復号と量子化解除と逆変換、或いはトポロジー復号と量子化解除と逆変換処理と動き補償のいずれか一種類とすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２２】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｄ）のステップ中、参考フレームバッファが外部保存ユニットと内部保存ユニットを包含する時、各保存単位はその対応するデータ保存形態に基づき、データ保存形態が還元数値データ形態であれば、外部保存ユニット中に保存し、そうでなければ内部保存ユニット中に保存することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２３】
請求項２２記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップの前に、
（ｂ０）内部保存ユニット中の余剰信号データと対応する予測パラメータ及び外部保存ユニット中の還元数値データに基づき、還元関係図を構築し、更に対策決定ユニットを利用して還元関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２４】
請求項２３記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測パラメータが予測形式或いは動きベクトルのいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２５】
請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコード／デコード標準がＨ．２６４とされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【請求項２６】
請求項２５記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコーダ／デコーダが参考フレームバッファに保存された５個の参考フレームを参考として動き探索或いは動き補償を行なうことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコーデック（ｃｏｄｅｃ）に係り、特にビデオコーデックにおける参考フレームバッファメモリのサイズとアクセス量を減らす方法に関する。
【背景技術】
【０００２】
ビデオ圧縮符号化方法中、ビデオフレームの符号化方式の違いにより、フレームはＩ−ｆｒａｍｅ（ｉｎｔｒａ−ｃｏｄｅｄ  ｆｒａｍｅ）とインターコーデッドフレーム（ｉｎｔｅｒ−ｃｏｄｅｄ  ｆｒａｍｅ）に分けられ、そのうち、インターコーデッドフレーム符号化フレームはまたその予測の方向の違いによりＰ−ｆｒａｍｅ（ｐｒｅｄｉｃｔｉｖｅ  ｆｒａｍｅ）とＢ−ｆｒａｍｅ（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｖｅ  ｆｒａｍｅ）に分けられる。そのうち、Ｉ−ｆｒａｍｅの符号化は参考フレーム自身の画素を予測対象とするか予測せず、この部分のデータ量の圧縮はこのフレーム自身の空間関係を利用する。Ｐ−ｆｒａｍｅ符号化ブロックは前向きのフレームを参考とし動き探索（ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）を実行して、一つの関係する動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ；ＭＶ）及びその余剰信号（ｒｅｓｉｄｕａｌ）を発生し、最後にその発生する動きベクトル及び余剰信号を符号化することによりデータ圧縮の目的を達成する。Ｂ−ｆｒａｍｅは前面のフレームを参考とするほか、その後ろのフレームを動き探索の対象として参考としうる。あるビデオ圧縮標準にあっては、更に前向きにｎ個のフレームの予測を許容し、例えばＨ．２６４は前向きに５個のフレームを参考とし、これによりフレーム間予測ブロックを符号化／復号化する時、そのうちのフレームバッファは前のｎ枚のフレームのデータにアクセスする必要がある。伝統的な方法は各フレームを再構成データ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｄａｔａ）方式で保存する方法であるが、これは相当に大きなメモリコストとデータアクセス量の増加を形成する。
【０００３】
Ｈ．２６４（又はＭＰＥＧアドバンストビデオ符号化（ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｏｆ  ＭＰＥＧ−４  ｐａｒｔ  １０））をＩＴＵ−Ｔとするビデオ符号化エキスパートグループ（ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ；ＶＣＥＧ）とＩＳＯのＭＰＥＧの合作により、いわゆるジョイントビデオチーム（ｊｏｉｎｔ  ｖｉｄｅｏ  ｔｅａｍ；ＪＶＴ）が標準化する最新符号化／復号化標準が組成された。このビデオ標準の目的は、高圧縮率のビデオ会議、デジタル保存媒体、テレビブロードキャスティング及びインターネットのビデオ符号化と通信（ｉｎｔｅｒｎｅｔ  ｓｔｒｅａｍｉｎｇ  ａｎｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）を含むビデオアプリケーションに符合するようにすることにある。
【０００４】
伝統的なビデオ圧縮標準、例えばＨ．２６１、Ｈ．２６３、ＭＰＥＧ−１とＭＰＥＧ−２と比較すると、圧縮データアプリケーション上の差異のほか、ビデオ符号化方法上、Ｈ．２６４とそれ以前のビデオ符号化方法は以下のような違いがあり、それは、イントラコーディング中にフレーム内予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）を加え、離散余弦変換（ｄｉｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ；ＤＣＴ）を整数（ｉｎｔｅｇｅｒ）変換に改変し、フレーム間の動き探索中に、多種類のブロックサイズで求めた最良の動きベクトルを包含し及び前向きに最多で５個のフレームの参考を許容する。しかし、周知の技術では、参考フレームの保存は直接各フレームの再構成データを保存し、これにより、Ｈ．２６４デコーダを動き探索に応用してフレーム間で符号化予測を行なうには、５個の参考フレームの関係サーチ領域にアクセスして、最も相似の参考ブロックを探し出さねばならず、このため参考フレーム装置の非常に大きなメモリ量の増加を形成し、さらにデータ読み書き量の増加を形成し、またエンコーダ運転時に大量のパワー消耗を必要とする。
【０００５】
１９９６年、Ｙｏｇｅｓｈｗａｒによる特許文献１により圧縮ビデオデコーダ及びその復号方法が提出された。図１に示されるように、この復号技術によると、チャネルバッファ領域１０１にあってすでに圧縮されたビデオデータを受け取り、並びに圧縮ビデオデコーダによりそれを圧縮解除する。この圧縮解除データの一部分を再圧縮してイントラフレームデータとなして、参考フレーム（ｒｅｆｅｒｅｎｃｅ  ｆｒａｍｅ）となす。このイントラフレームデータを動き補償した後、さらにイントラフレームデータより参考フレームを選択する。最後にこの参考フレーム中の対象領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）１０３を圧縮解除する。
【０００６】
Ｙｏｇｅｓｈｗａｒの技術はフレームブロックを再量子化するため、ビデオ品質の低下を形成する。対象領域中で処理されるブロックは復号が必要な被参考領域をキャプチャするのに用いられる。
【０００７】
１９９９年、Ｍｉｌｌｅｒの提出した特許文献２にはＭＰＥＧデコーダ中にあってメモリとメモリ周波数幅要求を減らす方法と装置が記載されている。図２はこの伝統的なメモリとメモリ周波数幅要求を減らす方法のフローチャートである。Ｍｉｌｌｅｒは運転の第１モード（ａ  ｆｉｒｓｔ  ｍｏｄｅ  ｏｆ  ｏｐｅｒａｔｉｏｎ）中にあって、優先的にメモリを参考フレームの保存のために分配する（ステップ２０１）。その後、運転の第２モード中にあって、更にメモリをその他の機能に分配する（ステップ２１０）。参考フレームメモリの減少により形成される画像品質の低下は、周波数帯域コードにより補償される。この周波数帯域コードが運転の第２モードにあって参考フレームメモリと接続される。そのうちの圧縮方法はダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）と変換符号化を包含する。
【０００８】
しかし、Ｍｉｌｌｅｒの方法は参考フレームアクセスの問題を検討しておらず、その方法はまた解析度（ｒｅｓｏｌｕｔｉｏｎ）とピーク信号対雑音比（ｐｅａｋ  ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ；ＰＳＮＲ）の低下を含む画像品質の低下を形成する。また、ＭｉｌｌｅｒとＹｏｇｅｓｈｗａｒの方法はいずれもメモリの増加とメモリアクセス量の問題を考慮しておらず、またブロック保存形態判定のメカニズムを包含しない。
【０００９】
【特許文献１】米国特許第６２２２８８６号明細書
【特許文献２】米国特許第６６３３６０８号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は上述の伝統的なビデオデコーダの発生するメモリ容量が大きく動き探索或いは動き補償時の参考フレーム読み書き量が大きい欠点を克服する。その主要な目的は、一種の参考フレームバッファメモリのサイズとアクセス量を減らす方法を提供することにあり、それはビデオ符号化／復号化標準に符合するビデオコーデックに適用される。このビデオコーデックは少なくとも対策決定ユニットと参考フレームバッファ（この参考フレームバッファは外部保存ユニット、或いは内部保存ユニット、或いは内部と外部のいずれにも設けられた保存ユニットとされうる）を包含する。このビデオコーデックはこの参考フレームバッファに保存された一つ或いは複数の参考フレーム参考として動き探索或いは動き補償を行なう。この方法は以下のステップを包含する。即ち、（ａ）複数の圧縮ブロックを包含する復号したいフレームを受信するステップ、（ｂ）各圧縮ブロックのバッファ単位のサイズを定義するステップ、（ｃ）各保存ユニットのデータ保存形態を設定するステップ、（ｄ）各バッファ単位をその対応するデータ保存形態により、この参考フレームバッファ中に保存し、さらにステップ（ａ）に戻り、続けて次の復号したいフレームを処理するステップ。
【００１１】
本発明の最大の特色は、各圧縮ブロックを保存して参考フレームとする前に、四種類の圧縮データ保存方法と五種類のブロックデータ保存形態の判断方式を使用し、及び、異なる特性のビデオセグメントに基づくか或いはメモリの余剰の保存量を予測することで、適合する判断方式と圧縮データ保存方法を決定し、メモリ保存量と計算量を適当に調整することにある。
【００１２】
四種類の圧縮データ保存方法は以下のとおりである。（Ａ）復号前の信号と対応する予測ブロックの予測形式（ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）或いはフレーム間予測ブロックの動きベクトル）のビットストリームを直接参考フレームバッファ中に保存する。（Ｂ）予測パラメータとエントロピー復号後の余剰信号をフレームバッファ中に保存する。（Ｃ）予測パラメータと量子化解除後の余剰信号をフレームバッファ中に保存する。（Ｄ）予測パラメータと逆変換後の余剰信号をフレームバッファ中に保存する。
【００１３】
五種類のブロックデータ判断方式は以下のとおりである。（１）各小符号化ブロックを保存単位とし、ブロック内の小符号化ブロックをフレーム内予測方式で符号化するかフレーム間予測時に近端フレーム（ｎｅａｒ−ｅｎｄ  ｆｒａｍｅ）を参考として予測符号化する時、この小符号化ブロックのデータを参考フレームバッファ中で判定してフレーム内予測ブロックの予測形式と余剰信号を保存するかフレーム間予測ブロックの動きベクトルと余剰信号を保存し、そうでなく、小符号化ブロックが遠端不隣接フレーム（ｆａｒ−ｅｎｄ  ｆｒａｍｅ）を参考とする時は、この小符号化ブロックを判定して数値データを保存する。（２）フレーム中のブロックを保存単位をし、ブロックのデータ保存形態を判定する前に、もしブロック内の任意の小符号化ブロックが遠端不隣接フレームを参考とするなら、全体のブロックを還元数値データで保存し、全体ブロック内の小符号化ブロックをいずれもフレーム内予測方式で符号化するかフレーム間予測時に近端隣接フレームを参考として符号化予測し、このブロックを判定してその関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号を保存する。（３）一つのトポロジーパターンを構築し、それは復号するフレーム中の各ブロック中の設定データ保存形態を包含するものとする。復号するフレームのデータ保存形態を判定する時、各小符号化ブロックを保存単位とし、判断方式（１）の各小符号化ブロックの小符号化ブロックの判定結果をトポロジーパターン中の対応ブロックと結合させ、トポロジーパターンが保存還元数値データとされるなら、判断方式（１）の判断結果を保存圧縮データとなし、結合結果を保存還元数値データとなす。反対に、トポロジーパターン中の標示が保存圧縮データとされれば、判断方式（１）のデータ保存形態を圧縮データと判定し、即ち結合結果を保存圧縮データとなす。（４）判断方式（３）のようなトポロジーパターンを構築し、復号するフレームのデータ保存形態を判定する時、ブロックを保存単位とし、判断方式（２）の各ブロックの判定結果をトポロジーパターン中の対応ブロックと結合し、ブロック保存が圧縮データとされるか或いは還元数値データとされる時の判定方法は判断方式（３）と同じである。（５）与えられたメモリ容量を制限条件とし、適時に全体の復号するフレームを還元数値データ形態として保存し、バッファのメモリ量はこの設定されたメモリ容量内に制限される。フレームバッファ中の部分フレームが占めるメモリ容量が設定されたメモリ容量に符合する時、この復号するフレームの全体或いは部分フレームを還元数値データでバッファ中に保存し、そうでなれば、上述の判断方式（１）〜（４）の判定結果で復号するフレーム中のブロックデータを保存する。
【００１４】
実験結果が示すところによると、Ｆｏｒｅｍａｎシーケンスを使用して方法Ａ、方法Ｂ、方法Ｃ及び方法Ｄで判断方式（１）を組み合わせて参考フレームデータ形態を判断保存する結果、伝統的な参考フレームバッファ中の５枚の参考フレーム還元数値データの方法に対して、平均してただ２．２、２．３、２．４と３．８枚の還元数値データを保存するだけでよく、それぞれ最多でも３．６、３．９、４．２、４．８枚の還元数値データの保存量を必要とする。このほか、もし判断方式（１）から判断方式（４）を運用してブロックデータ保存形態を判断し、並びに方法Ａで参考フレームデータを保存するなら、平均してただ２．２、２．５、３．２と３．３枚の還元数値データ、最多で３．６、３．９、４．１と４．２枚の還元数値データの保存量のみ必要とする。計算量方面では、方法Ａに判断方式（１）と判断方式５）を組み合わせると、方法Ａに判断方式（１）を組み合わせて参考フレームデータを保存する場合の計算量に較べて、約１５倍以上の計算量を減らすことができる。
【００１５】
これにより、本発明は確実に有効にフレームバッファの記憶量とデータ読み書き量を減らすことができ、メモリ容量の適合性を達成し、メモリ容量が許容する情況で、部分参考フレームは還元数値データで保存され、その後、これら参考フレームデータが復号したいブロックに参考にされる時は、この部分の参考フレームデータを圧縮解除するための計算量を節約できる。
【課題を解決するための手段】
【００１６】
請求項１の発明は、参考フレームバッファメモリのサイズとアクセス量を減らす方法において、この方法はビデオエンコード／デコード標準に符合するビデオエンコーダ／デコーダに適用され、該ビデオエンコーダ／デコーダは少なくとも対策決定ユニットと参考フレームバッファを具え、該ビデオエンコーダ／デコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行ない、この方法は、
（ａ）複数の圧縮ブロックを具えた複数の復号するフレームを受け取るステップ、
（ｂ）各圧縮ブロック中の保存単位のサイズを定義するステップ、
（ｃ）各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に（ａ）のステップに戻り、続いて次に復号するフレームを処理するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップで、各圧縮ブロック中の保存単位を１ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項３の発明は、請求項２記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ブロックサイズは１６×１６ピクセルとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項４の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップ中の各圧縮ブロックは複数の小符号化ブロックを包含し、各圧縮ブロック中の保存単位を一つの小符号化ブロックと定義することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項５の発明は、請求項４記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、小符号化ブロックのサイズは１６×８、８×１６、８×８、８×４、４×８、４×４ピクセルのいずれかとすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項６の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ）のステップが更に以下のサブステップ、即ち、
（ｃ１）メモリ容量制限条件があるかを判断し、無ければ（ｃ４）のステップにジャンプし、有れば（ｃ２）のステップに進むステップ、
（ｃ２）該メモリ容量制限条件に基づき、還元数値データ補間が可能であるかを判断し、不可能であれば（ｃ４）のステップにジャンプし、可能であれば（ｃ３）のステップに進むステップ、
（ｃ３）還元数値データ補間のステップ、
（ｃ４）各保存単位のデータ保存形態を決定するステップ、
（ｃ５）トポロジーパターンに基づき更なる設定を行なう必要があるかを判断し、必要がなければ（ｄ）のステップにジャンプし、必要があれば（ｃ６）のステップに進むステップ、
（ｃ６）トポロジーパターンに基づき各保存単位のデータ保存形態を設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項７の発明は、請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ２）のステップが更に以下のサブステップ、即ち、
現在の第０枚から第（Ｎ−１）枚の参考フレームのメモリ少量メモリ容量Ｍ0,N-1 ｇａめ設定されたメモリ容量サイズの臨界値以下であるかを判断し、臨界値より大きければ、（ｃ４）のステップにジャンプし、臨界値以下であれば、（ｃ３）のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項８の発明は、請求項７記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、臨界値は（Ｎ−Ｌ−１）個のフレームの還元数値データとされ、Ｌは節約を要するフレーム枚数を表示することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項９の発明は、請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ３）のステップは以下のサブシステム、即ち、
（ｃ３１）復号するフレームの全体フレームを還元数値データ保存形態での保存に設定するかを決定し、イエスならば（ｃ３３）のステップにジャンプし、ノーならば（ｃ３２）のステップに進むステップ、
（ｃ３２）復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定し、更に（ｃ５）のステップにジャンプするステップ、
（ｃ３３）復号するフレームの全体フレームを還元数値データ形態での保存に設定し、並びに（ｄ）のステップにジャンプするステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１０の発明は、請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ４）のステップでの決定動作は以下のサブシステム、即ち、
（ｃ４１）保存単位が１つのブロックであれば、その包含する小符号化ブロックにより設定するかを判断し、イエスであれば（ｃ４３）のステップにジャンプし、ノーであれば（ｃ４２）のステップに進むステップ、
（ｃ４２）保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば（ｃ４７）のステップにジャンプし、ノーであれば（ｃ４３）のステップに進むステップ、
（ｃ４３）保存単位がフレーム間予測とされるかを判断し、イエスであれば（ｃ４５）のステップにジャンプし、ノーであれば（ｃ４４）のステップに進むステップ、
（ｃ４４）保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定し、（ｃ５）のステップにジャンプするステップ、
（ｃ４５）保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであれば（ｃ４７）のステップにジャンプし、イエスであれば（ｃ４６）のステップに進むステップ、
（ｃ４６）保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定し、並びに（ｃ５）のステップにジャンプするステップ、
（ｃ４７）保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１１の発明は、請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１２の発明は、請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１３の発明は、請求項１０記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１４の発明は、請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ５）のステップのトポロジーパターンは復号するフレーム中の各ブロックの設定データ保存形態であることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１５の発明は、請求項６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｃ６）のステップが以下のサブステップ、即ち、
（ｃ６１）トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断し、ノーであれば（ｃ６３）のステップにジャンプし、イエスであれば（ｃ６２）のステップに進むステップ、
（ｃ６２）保存単位のデータ保存形態を圧縮データ形態での保存に設定し、更に（ｄ）のステップにジャンプするステップ、
（ｃ６３）保存単位のデータ保存形態を還元数値データ形態での保存に設定するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１６の発明は、請求項１５記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、圧縮データ形態は予測形式と余剰信号形態或いは動きベクトルと余剰信号形態の二組のうちのいずれか一組とされたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１７の発明は、請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測形式と余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１８の発明は、請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、動きベクトルと余剰信号はビデオ信号ビットストリームであることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項１９の発明は、請求項１６記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、余剰信号はトポロジー復号後の余剰信号或いは量子化解除後の余剰信号或いは逆変換後の余剰信号のいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２０の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、参考フレームバッファ中に保存された第０枚の参考フレームが還元数値データ形態或いは予測形式と余剰信号形態で保存されることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２１の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｄ）のステップ中、各保存単位を参考フレームバッファに保存する動作の前に、各保存単位の対応するデータ保存形態に基づき、処理を行ない、この処理はトポロジー復号処理、或いはトポロジー復号と量子化解除処理、或いはトポロジー復号と量子化解除と逆変換、或いはトポロジー復号と量子化解除と逆変換処理と動き補償のいずれか一種類とすることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２２の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｄ）のステップ中、参考フレームバッファが外部保存ユニットと内部保存ユニットを包含する時、各保存単位はその対応するデータ保存形態に基づき、データ保存形態が還元数値データ形態であれば、外部保存ユニット中に保存し、そうでなければ内部保存ユニット中に保存することを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２３の発明は、請求項２２記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、（ｂ）のステップの前に、
（ｂ０）内部保存ユニット中の余剰信号データと対応する予測パラメータ及び外部保存ユニット中の還元数値データに基づき、還元関係図を構築し、更に対策決定ユニットを利用して還元関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築するステップ、
を具えたことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２４の発明は、請求項２３記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、予測パラメータが予測形式或いは動きベクトルのいずれかとされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２５の発明は、請求項１記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコード／デコード標準がＨ．２６４とされることを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
請求項２６の発明は、請求項２５記載の参考フレームバッファメモリのサイズとアクセス量を減らす方法において、ビデオエンコーダ／デコーダが参考フレームバッファに保存された５個の参考フレームを参考として動き探索或いは動き補償を行なうことを特徴とする、参考フレームバッファメモリのサイズとアクセス量を減らす方法としている。
【発明の効果】
【００１７】
本発明が提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法は、四種類の圧縮データ保存方法と五種類の参考フレームブロック保存形態の判断技巧を使用し、十分に有限な与えられたメモリ容量を利用するため、本発明は固定メモリ容量の制限条件下で、弾性的に復号するフレームの圧縮データ保存方法と判断技巧を選択できる。バッファ中のフレームが占めるメモリ量が予め設定された条件に符合する時、全体或いは部分フレームを還元数値データで参考フレームに保存し、こうして、メモリ容量の適合性を達成し、メモリ容量が許容する情況下では、参考フレームを還元数値データで保存し、また、参考フレームデータを復号するフレームが参考とする時は、一部の参考フレームデータの圧縮解除の計算量を減らし、効率的にメモリと計算量を適合させる設計を達成する。これにより、本発明は確実に参考フレーム装置のメモリ設計コストを減らし、更に伝統的な復号方法のビデオ品質を確保する。
【発明を実施するための最良の形態】
【００１８】
図３は本発明の参考フレームバッファメモリのアクセス量とサイズを減少する方法のフローチャートである。この方法は、ビデオ符号化／複合化標準に符合するビデオデコーダに適用され、このビデオデコーダは参考フレームバッファに保存された一つ或いは複数の参考フレームを参考として動き探索或いは動き補償を行なう。図３に示されるように、まず、ステップ３０１で、復号するフレームを受け取り、この復号するフレームは複数の、既に圧縮されたブロックを包含するものとする。続いて、ステップ３０２で、既に圧縮された各ブロックの保存単位のサイズを定義する。続いて、ステップ３０３で、各保存単位のデータ保存形態を設定する。最後に、ステップ３０４で、各保存単位をその対応するデータ保存形態に基づき、参考フレームバッファ中に保存し、更に、ステップ３０１に戻り、続いて次に復号するフレームを処理する。
【００１９】
図４は図３をビデオデコーダに応用した構造表示図である。図４に示されるように、このビデオデコーダ４００は、少なくともトポロジー復号ユニット４０１、量子化解除ユニット４０２、逆変換ユニット４０３、対策決定ユニット４０４、フレーム内予測或いはフレーム間予測と動き補償ユニット４０６、及び参考フレームバッファ４０５を包含する。本発明の方法は対策決定ユニット４０４と参考フレームバッファ４０５に応用され、そのうち、参考フレームバッファ４０５は外部保存ユニット４０５ｂ、或いは内部保存ユニット４０５ａ、或いは内部と外部それぞれに設けられた保存ユニットとされる。システムのメモリ容量或いは計算量の制限に基づき、対策決定ユニット４０４は各圧縮済みブロックを参考フレームとして保存する前に、四種類の圧縮データ保存方法と五種類のブロックデータ保存形態判断方式のなかから、一つの適合する判断方式と圧縮データ保存方法を決定し、さらにブロックを外部保存ユニット４０５ｂ或いは内部保存ユニット４０５ａに保存する。
【００２０】
以下にＨ．２６４ビデオ符号化標準を例とし、本発明のビデオエンコーダ／デコーダへの応用の運転フローを説明する。
【００２１】
図５は本発明をＨ．２６４ビデオエンコーダに応用した構造表示図である。図５に示されるように、このビデオエンコーダ５００は部分デコーダ５１０を具え、これにより本発明の方法はまたこのビデオエンコーダ５００の対策決定ユニット４０４と参考フレームバッファ４０５に適用され、そのうち、参考フレームバッファ４０５は外部保存ユニット４０５ｂ、内部保存ユニット４０５ａ、或いは内部と外部に設けられた保存ユニットとされうる。デコータ５００の対策決定ユニット４０４は、システムのメモリ容量或いは計算量の制限により、適合する判断方式或いは圧縮データ保存方法を決定し、更にブロックを外部保存ユニット４０５ｂ或いは内部保存ユニット４０５ａに保存する。
【００２２】
図６は四つの異なるビデオシーケンスをＨ．２６４ビデオデコーダで圧縮解除し、動き探索する時、復号するフレーム中のブロックが前向きに５枚のフレームを参考とする確率を示す。図６に示されるように、図中、第４枚の参考フレームＲｅｆ（４）は復号するフレームに最も近隣の参考フレームを表示し、第３枚の参考フレームＲｅｆ（３）、第２枚の参考フレームＲｅｆ（２）、第１枚の参考フレームＲｅｆ（１）と第０枚の参考フレームＲｅｆ（０）の順に復号するフレームから遠くなる参考フレームを表示する。
【００２３】
図６に示されるように、前向き予測（ｆｏｒｗａｒｄ  ｐｒｅｄｉｃｔｉｏｎ）のブロックを復号する時、その動きベクトルが最も近隣の第４枚の参考フレームＲｅｆ（４）を指向する確率は７０％以上であり、その他のフレームを参考とする確率は、それと復号するフレームとの距離が長くなるほど減少する。これから分かるように、一つのブロックの参考フレームが復号するフレームと近隣のフレームとされる時、このブロックのデータは動きベクトル及び余剰信号を用いて保存されうる。反対に、ブロックの参考フレームが復号するフレームに隣接しない遠端フレームとされる時、ブロックの復号後の還元数値データを以て保存される。こうして、大量にこれらの参考フレームを保存するためのメモリが減らされる。なぜなら保存される参考フレーム中の大部分のブロックは圧縮されたデータ形態でメモリに保存されるためである。その次に、ビデオデコーダの圧縮過程について説明すると、ブロックがフレーム間予測符号化により動き探索を行なう時、外部メモリより参考フレームの関係領域データをビデオエンコーダ／デコーダに送り、最も適合する動きベクトルをサーチしなければならず、この動作は大量のデータアクセス量を形成し、さらにビデオデコーダに大量にパワー消耗させる。しかし、もしこのときの参考フレームが圧縮データで保存されたものであれば、ビデオエンコーダ／デコーダと外部メモリのアクセスのデータ量を大量に減らすことができ、データ伝送のパワー消耗を減らすことができる。
【００２４】
さらに、もし部分参考フレームを圧縮データで保存する必要があれば、ブロックの参考フレーム位置、例えば近端隣接フレームであるか或いは遠端不隣接フレームであるかを考慮するほか、順調にそのうちの参考とされるフレームを再構築できるか否かを考慮しなければならない。図７は復号するフレーム中の前向き予測ブロックを復号し、且つｎ個の参考フレームを参考とする時の、参考フレームバッファ４０５中の参考フレームの配列情況を示す。前向き予測ブロックが所有する動きベクトルは前向きのｎ個のフレーム中で誤差が最小のブロックを参考とすることで発生し、また参考フレームの部分データは動きベクトルと余剰信号で保存されるため、そのうち一つの復号するフレーム中のブロックが参考とする参考フレームが圧縮データで保存される時、応用時に、この参考フレーム中の関係領域の圧縮データが復号されることで、参考データとして応用されうる。これによりこの領域のデータを了解するためには、保存フレーム中にあって少なくとも一つの参考フレームが完全な還元数値画像として存在しなければならず、これによりこのブロックが保存フレーム中の任意のフレームを参考とする時、順調に数枚の参考フレーム中の関係領域のデータを再構築できる。しかし、動きベクトルの方向は前向き予測に制限されるため、フレームが還元数値データ或いはフレーム内予測圧縮データとして保存される位置は、復号するフレームより最も離れた保存位置とされなければ、全ての参考フレーム中の関係画像データを順調に再構築できない。
【００２５】
このほか、考慮しなければならないのは、ブロックが参考フレーム中においてフレーム間予測の動きベクトル及び余剰信号で保存される時、このブロックの動きベクトルが近端隣接フレームを指向しなければ、このブロックデータは第１枚の参考フレームＲｅｆ（１）位置に発生しうる（図７）。その復号時に参考とされるフレームデータは既に保存フレーム中になく、このため順調にこのブロックの復号ができなくなる。このように参考フレームデータが回復不能となる情況を防止するため、ブロックの参考フレームが隣接フレームである時、このブロックは参考フレームバッファ４０５中で動きベクトルと余剰信号データで保存可能である。反対に、参考フレームが隣接フレームでなければ、このブロックは参考フレームバッファ４０５中で還元数値データで保存され、こうしてこの復号順序の問題を解決する。
【００２６】
総合すると、本発明の提出する方法は、参考フレームバッファ４０５中の位置が第０枚の参考フレームＲｅｆ（０）（図７に示される参考フレーム順序のとおり）であれば、還元数値データ或いはフレーム内圧縮データ（即ちフレーム内予測形式と余剰信号）を保存し、バッファ中のその他のフレームのデータ保存形態であれば、このフレーム中のブロックが隣接フレームを参考とするか否かによりそれぞれ還元数値データ或いは動きベクトル及び余剰信号で保存する。もしブロックが隣接フレームを参考とするなら、このブロックはバッファ中にあって動きベクトル及び余剰データ形態で保存される。もしブロックが不隣接フレームを参考とするなら、このブロックは還元数値データで保存される。こうして、バッファ中の参考フレームのメモリが減少し、ブロックの参考隣接フレームの位置を考慮するだけでなく、参考フレームの復号順序の問題を解決する。
【００２７】
図８は、Ｈ．２６４ビデオデコーダ中の、参考フレームバッファが５個の参考フレームを保存する情況を示す。図８に示されるように、第０枚の参考フレームＲｅｆ（０）は必ず還元数値データ或いはフレーム内予測圧縮データで保存される。参考フレームＲｅｆ（１）〜参考フレームＲｅｆ（４）のブロックデータは、その圧縮時に参考とするフレームにより決定される。隣接する前の一つのフレームを参考とするか或いはフレーム内予測形式で符号化される時、圧縮後のデータが保存される。遠端不隣接フレームを参考として符号化される時、還元数値データが保存される。これにより、圧縮データ自身が良好な圧縮効率を具え、並びに大部分の参考フレームデータがいずれも圧縮データ形態で保存され、これにより、この保存方法はデコーダのフレームバッファのメモリ量を減らす目的を達成する。
【００２８】
本発明によると、図３のステップ３０２中、各圧縮済みブロック中の保存単位サイズはブロックと小符号化ブロック（この二つの大小関係は以下に説明する）の二種類に定義される。
【００２９】
図９は図３中の各保存単位のデータ保存形態設定のフローチャートである。まず、ステップ９０１で、メモリ容量制限条件の有無を判断する。もし無ければ、ステップ９０４にジャンプする。もし、有れば、ステップ９０２に進み、ステップ９０２でこのメモリ容量制限条件に基づき、還元数値データを補間するか判断する。もしノーであれば、ステップ９０４にジャンプする。もしイエスであれば続いてステップ９０３に進む。ステップ９０３で還元数値データを補間する。ステップ９０４で、各保存単位のデータ保存形態を決定する。ステップ９０５で、トポロジーパターンを根拠とする必要があるかを判断し、更なる設定を行ない、もしノーであれば、ステップ３０４にジャンプする。最後に、ステップ９０６で、このトポロジーパターンに基づき、更に各保存単位のデータ保存形態を設定し、更にステップ３０４にジャンプする。
【００３０】
図１０は図９の還元数値データ補間のステップを説明するフローチャートである。図１０に示されるように、まず、ステップ１００１で、復号するフレームの全体フレームを還元数値データ形態で保存する設定とするかを決定する。もしイエスであれば、ステップ１００３にジャンプし、ノーであればステップ１００２に進む。ステップ１００２で、この復号するフレームの一部分のデータ保存形態を還元数値データ形態で保存するよう設定し、更にステップ９０４にジャンプする。最後に、ステップ１００３で、復号するフレームの全体フレームを還元数値データ形態で保存する設定を行ない、並びにステップ３０４にジャンプする。
【００３１】
図１１は図９中の各保存単位のデータ保存形態決定のステップを説明するフローチャートである。図１１に示されるように、まず、ステップ１１０１で、保存単位がブロックとされるなら、それが包含する小符号化ブロックにより設定する必要があるかを判断し、ノーであればステップ１１０３にジャンプする。イエスであれば、続けてステップ１１０２を実行する。ステップ１１０２で、この保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断し、イエスであれば、ステップ１１０７にジャンプし、ノーであれば、ステップ１１０３に進む。ステップ１１０３中、この保存単位がフレーム間予測であるかを判断し、イエスであればステップ１１０５にジャンプし、ノーであれば、続いてステップ１１０４に進む。ステップ１１０４で、この保存単位のデータ保存形態を予測形式と余剰信号形態で保存し、並びにステップ９０５にジャンプする。ステップ１１０５で、この保存単位の参考フレームが隣接近端フレームであるかを判断し、ノーであればステップ１１０７にジャンプし、イエスであればステップ１１０６に進む。ステップ１１０６で、この保存単位のデータ保存形態を動きベクトルと余剰信号形態保存に設定し、並びにステップ９０５にジャンプする。最後に、ステップ１１０７で、この保存単位のデータ保存形態を還元数値データ形態保存に設定し、並びにステップ９０５にジャンプする。
【００３２】
図１２は図９の、トポロジーパターンに基づくデータ保存形態設定のフローチャートである。図１２に示されるように、まず、ステップ１２０１で、このトポロジーパターンに基づき、各保存単位に設定されたデータ保存形態とトポロジーパターン中の対応するブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断する。もしノーであれば、ステップ１２０３にジャンプし、イエスであれば、ステップ１２０２に進む。この保存単位のデータ保存形態が圧縮データ形態での保存に設定されていれば、ステップ３０４にジャンプする。最後にステップ１２０３で、この保存単位のデータ保存形態が還元数値データ形態での保存に設定し、ステップ３０４にジャンプする。
【００３３】
上述の本発明の提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法において、本発明は五種類のブロックデータ保存形態判断方式を使用する。Ｈ．２６４ビデオ復号過程にあって、各ブロックはデコーダの選択の違いにより、１６×８、８×１６、８×８、８×４、４×８、或いは４×４の異なるサイズの小符号化ブロックに分割される。以下に一つずつこの五種類のブロックデータ保存形態判断方式について説明する。
【００３４】
判断方式（１）：  復号するフレームを判定及び定義する時、各小符号化ブロックを保存単位とし、ブロック内の小符号化ブロックをフレーム内予測方式で符号化するか或いはフレーム間予測時に近端隣接フレームを参考とし予測符号化する時、この小符号化ブロックのデータを参考フレームバッファ中に関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号で保存する。そうでなく、小符号化ブロックが遠端不隣接フレームを参考とする時、この小符号化ブロックのビデオデータを還元数値データとして保存する。
【００３５】
判断方式（２）：  フレーム中のブロックを保存単位とし、復号するフレーム中の１６×１６画素ブロック内の任意の小符号化ブロックが遠端不隣接フレームを参考とするなら、全体の１６×１６画素ブロックを還元数値データで保存し、全体のブロック内の小符号化ブロックをいずれもフレーム内予測方式で符号化するか或いはフレーム間予測時に近端隣接フレームを参考とし予測符号化し、この１６×１６ブロックはその関係フレーム内予測ブロックの予測形式と余剰信号或いはフレーム間予測ブロックの動きベクトルと余剰信号で保存される。
【００３６】
図１３は判断方式（３）或いは（４）の復号するフレームの保存データ形態表示図である。
【００３７】
判断方式（３）：一つのトポロジーパターンを構築し、それは復号するフレーム中の各ブロック中の設定データ保存形態を包含するものとする。図１３に示されるように、一枚の５０％の保存還元数値データのトポロジーパターン１３００を構築する場合を例とすると、それは、第１個のブロックが復号された還元数値データを保存し、第２個のブロックが圧縮データ（動きベクトルと余剰信号）を保存し、第３個のブロックが還元数値データを保存し、第４個のブロックが圧縮後データを保存するよう設定され、この順序により一枚の５０％還元数値データ保存のトポロジーパターンが構築される。復号するフレームのデータ保存形態を判定する時、本判断方式によると、各小符号化ブロックを保存ユニットとし、判断方式（１）の各小符号化ブロックの判定結果とトポロジーパターン中の対応ブロックを結合させ、トポロジーパターンが還元数値データを保存し、判断方式（１）の判定結果が圧縮データ保存であるなら、結合結果は還元数値データの保存である。反対に、トポロジーパターン中の表示が圧縮データ保存であり、判断方式（１）のデータ保存形態が圧縮データと判定されるなら、結合結果は圧縮データ保存である。
【００３８】
判断方式（４）：  判断方式（３）のトポロジーパターンを構築し、復号するフレームのデータ保存形態を判定する時、ブロックを保存単位とし、判断方式（２）の各ブロックの判定結果とトポロジーパターン中の対応ブロックを結合させ、データ保存形態を圧縮データ或いは還元数値データとする判定方法は判断方式（３）と同じである。
【００３９】
判断方式（５）：  与えられたメモリ容量を制限条件とし、適時に全体のフレームを補間して還元数値データ形態で保存し、内部保存ユニット４０５ａと外部保存ユニット４０５ｂのメモリ量をこの与えられたメモリ容量内に制限する。また即ち、現在の第０枚から第（Ｎ−１）枚の参考フレームのメモリ容量Ｍ0,N-1 を予め設定されたメモリ容量サイズの臨界値以下に制限し、その臨界値は（Ｎ−Ｌ−１）個のフレームの還元数値データとなし、Ｌは節約を要するフレーム枚数を表示する。
【００４０】
図８に示されるフレーム保存順序のように、与えられたメモリ量が４つのフレームの還元数値データとされる場合を例とすると、メモリ量の還元数値データを保存するフレーム数が単位とされ、Ｍijは第ｉ枚参考フレームから第ｊ枚参考フレームのメモリ量を表示し、即ち参考フレームバッファ４０５中の参考フレームが占めるメモリ容量がＭ0,4 ≦３枚のフレームに符合する時、この復号するフレームの全体或いは部分フレームを還元数値データで保存し、そうでなければ、上述の判断方式（１）〜（４）の判定結果で復号するフレーム中のブロックデータを保存する。
【００４１】
上述の五種類のデータ保存形態の判断方式は、ビデオ復号過程中の参考フレームバッファ４０５が占めるメモリ量と復号過程中に復号が必要な参考フレーム中のブロックデータの計算量を調整するためのものである。このデータ保存形態を考慮するほか、本発明は更にデコーダメモリを節約し復号計算量を減少して適切な平衡点を取るため、四種類の圧縮データ保存方法（図４参照）を使用し、Ｈ．２６４ビデオエンコーダ／デコーダに応用する。以下にこの四種類の圧縮データ保存方法について説明する。
【００４２】
方法Ａ：  トポロジー復号前のブロック余剰信号と対応する予測パラメータ（即ちフレーム内予測ブロックの予測形式或いはフレーム間予測ブロックの動きベクトル）のビットストリームを参考フレームバッファ４０５中に保存し、この方法を利用して保存したブロック余剰信号を圧縮後のビットストリームとなし、ゆえにその占めるメモリ量は極めて小さいが、却って比較的多くのブロック復号計算量を必要とする。
【００４３】
方法Ｂ：  トポロジー復号ユニット４０１を通過したトポロジー復号後の余剰信号は、大部分が０でなく低周波部分に存在するため、簡易処理或いは配列の後に参考フレームバッファ４０５中に保存し（この時対応する予測パラメータは既に参考フレームバッファ４０５中に保存されている）、余剰信号の復号計算量を減らし、メモリ量を節約する。
【００４４】
方法Ｃ：  量子化解除ユニット４０２を通過した後の量子化解除後の余剰信号を、簡単処理或いは配列した後、参考フレームバッファ４０５中に保存し（この時、対応する予測パラメータは既に参考フレームバッファ４０５中に保存され）、メモリ量節約とブロック復号計算量減少を達成する。
【００４５】
方法Ｄ：  逆変換ユニット４０３を通過した逆変換後の余剰信号を、簡易処理或いは配列の後、参考フレームバッファ４０５中に保存するし（この時、対応する予測パラメータは既に参考フレームバッファ４０５中に保存され）。この方法はメモリ量の節約は少ないが、再度復号が必要な参考フレームブロックデータについては、余分の計算コストが最少である。
【００４６】
Ｈ．２６４ビデオエンコーダ／デコーダ中の対策決定ユニット４０４は、この調整の機能が付与されて、システムが必要とするメモリ量と計算量に基づき、採用する適当なブロックデータ保存形態判断技巧に合った適当な保存ブロック圧縮データの方法を決定する。
【００４７】
有効にメモリ必要量と計算量の要求を調整するため、以下に異なる判断技巧に異なる圧縮データ保存方法を組み合わせての、異なるメモリ保存量と計算量の要求の発生について検討する。
【００４８】
図１４はＦｏｒｅｍａｎシーケンスを使用し、方法Ａ、方法Ｂ、方法Ｃと方法Ｄに判断方式（１）で決定される参考フレームデータ保存形態を組み合わせたメモリ量比較表である。
【００４９】
図１４に示されるように、Ｆｏｒｅｍａｎシーケンスを使用し、方法Ａ、方法Ｂ、方法Ｃと方法Ｄに判断方式（１）の参考フレームデータ保存形態判断を組み合わせた結果、伝統的な参考フレームバッファ中に５枚の参考フレーム還元数値データを保存する方法に対して、平均して２．２、２．３、２．４と３．８枚の還元数値データの保存量、最多で３．６、３．９、４．２と４．８の還元数値データの保存量のみ必要とする。
【００５０】
図１５に示されるように、Ｆｏｒｅｍａｎシーケンスを使用し、判断方式（１）〜判断方式（５）を運用してブロックデータ保存形態を判断し、並びに方法Ａで参考フレームデータを保存する時、平均して２．２、２．５、３．２と３．３枚の還元数値データの保存、それぞれ最多で３．６、３．９、４．１と４．２枚の還元数値データの保存量のみ必要とし、並びに各一つのフレームに対して行なう必要のある余剰データ復号計算量は、その統計方式を一つの１６×１６画素ブロックを累計単位とすると、図１５に示されるように、一つのブロックを復号する時、判断方式（１）〜判断方式（４）でそれぞれ平均して３８．０、３３．０、５．４と４．４個の１６×１６画素ブロックの復号を必要とする。上述の結果から、判断方式（１）が発生するメモリ量減少量は最多であるが、しかしその必要とする復号（圧縮解除）計算量は最大であり、判断方式（４）が現出する計算量は比較的小さいが、そのメモリ量減少量は比較的少ないことが分かる。
【００５１】
この実験結果中の各技巧が現出するメモリ使用量を観察し、方法Ａに判断方式（１）を組み合わせた実験結果を例とすると、５枚のフレームを保存するメモリ量は平均して２．２個の数値データフレームを必要とし、且つあるビデオ信号セグメントに対しては、最多で約３．６枚の還元数値データフレームを費やして５枚の参考フレームを保存しなくてはならない。これから分かるように、あるビデオセグメントが必要とするメモリ量がこの最大必要容量に不足すると、与えられた有限メモリ容量の浪費を形成する。このため本発明の提供する判断方式（５）は、参考フレームバッファメモリ量を設定容量内に制限し、並びに判断方式（１）〜判断方式（４）のブロック保存形態判断結果を組み合わせて使用できる。
【００５２】
図１５に示されるように、方法Ａ下で判断方式（１）〜判断方式（４）を組み合わせて参考フレームデータを保存する場合と、判断方式（５）を組合せて参考フレームデータを保存する場合のメモリ量を比較すると、判断方式（５）で判定する参考フレームブロック保存結果を組み合わせた場合、効率的なメモリ容量運用が示され、且つこのメモリ容量を制限するメカニズムが加えられた後、大量に参考ブロック圧縮個数が減らされ、これにより計算量を減らせる。方法Ａに判断方式（１）と判断方式（５）を組み合わせた場合、方法Ａに判断方式（１）を組み合わせて参考フレームデータを保存する場合の計算量と比較すると、約１５倍以上の計算量を減らすことができる。
【００５３】
このほか、ビデオエンコーダ／デコーダ中で、動き探索或いは動き補償のエンコーダ／デコーダと外部保存ユニットのデータ読み書き量を減らすため、ビデオエンコーダ／デコーダの参考フレームブロックデータは図１６に示されるように表示される。仮に一枚のフレームが、ブロックデータ保存形態の技巧判定が提出された後に、その包含するｐ％のブロックが圧縮データを内部保存ユニット４０５ａ中に保存し、（１−ｐ％）のブロックが還元数値データを外部保存ユニット４０５ｂ中に保存するものとする。図８の参考フレーム保存順序によれば、位置がＲｅｆ（１）〜Ｒｅｆ（４）のｐ％圧縮データブロックをプロセッサの内部保存ユニット４０５ａに保存し、Ｒｅｆ（１）〜Ｒｅｆ（４）の（１−ｐ％）の還元数値データを外部保存ユニット４０５ｂに保存し、且つ第０枚の参考フレームＲｅｆ（０）の保存方式はｐ％ブロックが還元数値データをプロセッサの内部保存ユニット４０５ａに保存し、（１−ｐ％）ブロックが還元数値データをプロセッサの外部保存ユニット４０５ｂに保存するものとされる。こうして、一枚の復号フレームはプロセッサと外部保存ユニット４０５ｂのアクセスにおいて、ただ（１−ｐ％）ブロックの復号数値データを外部保存ユニット４０５ｂに書き出すだけでよく、反対に関係ブロックを復号する時は、ただ外部保存ユニット４０５ｂより（１−ｐ％）の還元数値データを読み取るだけでよく、並びに、復号するフレームより最も離れた第０枚の参考フレームＲｅｆ（０）は、ｐ％のブロックが還元数値データでプロセッサの内部保存ユニット４０５ａ中に保存される。これにより、第１枚の参考フレームＲｅｆ（１）が全て還元数値データとされる時、第０枚の参考フレームＲｅｆ（０）位置に置き換えられる。ただ（（１−ｐ％）×ｐ％）のブロックデータのみ外部保存ユニット４０５ｂより読み込む必要があり、ただ（ｐ％）×（ｐ％）のブロックのみプロセッサの内部保存ユニット４０５ａにあって読み書きすればよく、これによりエンコーダ／デコーダと外部保存ユニット４０５ｂとのデータ読み書き量を減らすことができ、またビデオデコーダの作業時のパワー消耗を減らすことができる。仮に一つのビデオシーケンスが圧縮データで保存される７０％のブロックと、還元数値データで保存される３０％のブロックを有し、５個の参考フレームがいずれも還元数値データで外部保存ユニット４０５ｂに保存されるなら、復号する各フレームのブロックに対して整数動き補償を行なう時、プロセッサと外部保存ユニット４０５ｂは一枚の還元数値データの読み取りと一枚の還元数値データの書き込みを必要とし、本発明の方法で参考フレームデータを保存するならば、ただ０．３枚の還元数値データフレームのみ読み取りと書き込みすればよく、第１枚の参考フレームＲｅｆ（１）を第０枚の参考フレームＲｅｆ（０）に置き換える動作上、ただ０．２１枚の還元数値データフレームを図１６のように書き込めばよい。その後、更に内部及び外部保存ユニットの圧縮データ及び還元数値データに基づき図８のように関係図を設計し、対策決定ユニット４０４が関係図に基づき動き探索及び動き補償に必要な参考フレームを再構築し、こうして外部保存ユニット４０５ｂに対する��クセス量を減らす。
【００５４】
図１７はｐ＝７０％及びデコーダへの応用の情況下で、本発明の判断方式（５）を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な５個の参考フレームを還元数値データで外部保存ユニットに保存（伝統的な方法１）する方法のメモリアクセス量の比較図である。ｐ＝７０％の情況下では、図から分かるように、本発明を応用したデコーダは、不補間の情況下で、５個の参考フレームを還元数値データで外部保存ユニット４０５ｂに保存する伝統的な方法１と比較すると、プロセッサと外部保存ユニット４０５ｂの約６０％のデータアクセス量を節約できる。補間の情況下では、５個の参考フレームを還元数値データで外部保存ユニット４０５ｂに保存する伝統的な方法１と比較すると、プロセッサと外部保存ユニット４０５ｂの約３９％のデータアクセス量を節約できる。
【００５５】
図１８はｐ＝７０％及びデコーダへの応用の情況下で、本発明の判断方式（５）を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な直接還元数値データを外部保存ユニットに保存（伝統的な方法２）のメモリアクセス量の比較図である。５個の参考フレームを還元数値データで外部保存ユニットに保存（伝統的な方法１）する方法のメモリアクセス量の比較図である。伝統的な、直接還元数値データを外部保存ユニット４０５ｂに保存する方法は、一枚のフレームを動き探索予測符号化し、サーチ範囲が＋１６／−１６枚参考フレームとされる全面サーチ方式で５枚の参考フレームをサーチする場合、最少で４５枚のフレームのデータ量の読み出しと一枚のフレームの書き込みが必要である。
【００５６】
ｐ＝７０％の情況下では、図から分かるように、本発明を応用したデコーダは、不補間の情況下で、伝統的な方法２と比較すると、プロセッサと外部保存ユニット４０５ｂの約７０％のデータアクセス量を節約できる。補間の情況下では、伝統的な方法２と比較すると、プロセッサと外部保存ユニット４０５ｂの約３８％のデータアクセス量を節約できる。これにより、本発明は大量にビデオエンコーダ／デコーダのデータアクセス量とパワー消耗を減らすことができる。
【００５７】
本発明が提供する参考フレームバッファメモリのアクセス量とサイズを減らす方法は、四種類の圧縮データ保存方法と五種類の参考フレームブロック保存形態の判断技巧を使用し、十分に有限な与えられたメモリ容量を利用するため、本発明は固定メモリ容量の制限条件下で、弾性的に復号するフレームの圧縮データ保存方法と判断技巧を選択できる。バッファ中のフレームが占めるメモリ量が予め設定された条件に符合する時、全体或いは部分フレームを還元数値データで参考フレームに保存し、こうして、メモリ容量の適合性を達成し、メモリ容量が許容する情況下では、参考フレームを還元数値データで保存し、また、参考フレームデータを復号するフレームが参考とする時は、一部の参考フレームデータの圧縮解除の計算量を減らし、効率的にメモリと計算量を適合させる設計を達成する。これにより、本発明は確実に参考フレーム装置のメモリ設計コストを減らし、更に伝統的な復号方法のビデオ品質を確保する。
【図面の簡単な説明】
【００５８】
【図１】伝統的な圧縮ビデオデコーダの表示図である。
【図２】伝統的なメモリとメモリ周波数幅要求を減らす方法のフローチャートである。
【図３】本発明の参考フレームバッファメモリのアクセス量とサイズを減少する方法のフローチャートである。
【図４】図３をビデオデコーダに応用した構造表示図である。
【図５】本発明をＨ．２６４ビデオデコーダに応用した構造表示図である。
【図６】四つの異なるビデオシーケンスをＨ．２６４デコーダで復号し、動き探索を行なう時、復号するフレーム中のブロックが前向きに５枚のフレームを参考とする確率の表示図である。
【図７】復号するフレーム中の前向き予測ブロックを復号し、且つｎ個の参考フレームを参考とする時、参考フレームバッファ中の参考フレームの配列情況表示図である。
【図８】Ｈ．２６４ビデオデコーダ中の、参考フレームバッファが５個の参考フレームを保存する情況表示図である。
【図９】図３中の各保存単位のデータ保存形態設定のフローチャートである。
【図１０】図９の還元数値データ補間のステップを説明するフローチャートである。
【図１１】図９中の各保存単位のデータ保存形態決定のステップを説明するフローチャートである。
【図１２】図９の、トポロジーパターンに基づくデータ保存形態設定のフローチャートである。
【図１３】判断方式（３）或いは（４）の復号するフレームの保存データ形態表示図である。
【図１４】Ｆｏｒｅｍａｎシーケンスを使用し、方法Ａ、方法Ｂ、方法Ｃと方法Ｄに判断方式（１）で決定される参考フレームデータ保存形態を組み合わせたメモリ量比較表である。
【図１５】Ｆｏｒｅｍａｎシーケンスを使用し、判断方式（１）〜判断方式（５）のブロックデータ保存形態判断を運用し、並びに方法Ａで参考フレームデータを保存する時に発生するメモリ量と計算量の比較表である。
【図１６】ビデオエンコーダ／デコーダ中で、動き探索或いは動き補償のエンコーダ／デコーダと外部保存ユニットのデータ読み書き量を減らすための、ビデオエンコーダ／デコーダの参考フレームブロックデータ保存表示図である。
【図１７】ｐ＝７０％でデコーダに応用される情況下で、本発明の判断方式（５）を利用した場合と利用しない場合に発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットにおけるメモリアクセス量と、伝統的な５個の参考フレームを還元数値データで外部保存ユニットに保存する場合のメモリアクセス量の比較図である。
【図１８】ｐ＝７０％及びデコーダへの応用の情況下で、本発明の判断方式（５）を利用して或いは利用しないで発生する全体画像補間と不補間の還元数値データの内部或いは外部保存ユニットのメモリアクセス量、及び伝統的な直接還元数値データを外部保存ユニットに保存（伝統的な方法２）のメモリアクセス量の比較図である。
【符号の説明】
【００５９】
１０１  チャネルバッファ領域
１０３  対象領域
２０１  メモリを分配し高解析度の参考フレームを保存
２１０  メモリを分配し圧縮した参考フレーム及びイメージ中イメージのナビゲーションに用いる
３０１  複数の圧縮ブロックを包含する復号するフレームを受け取る
３０２  各圧縮ブロック中の保存単位サイズを定義する
３０３  各保存単位のデータ保存形態を設定する
３０４  各保存単位を対応するデータ保存形態に基づき参考フレームバッファ中に保存する
４０１  トポロジー復号ユニット      ４０２  量子化解除ユニット
４０３  逆変換ユニット              ４０４  対策決定ユニット
４０５ａ  内部保存ユニット          ４０５ｂ  外部保存ユニット
４０５  参考フレームバッファ
４０６  フレーム内予測或いはフレーム間予測と動き補償ユニット
５００  ビデオエンコーダ            ５１０  デコーダ
９０１  メモリ容量制限条件があるかを判断
９０２  メモリ容量制限条件に基づき、還元数値データ補間可能かを判断
９０３  還元数値データ補間
９０４  各保存単位のデータ保存形態を決定
９０５  トポロジーパターンに基づき更なる設定を行なう必要があるかを判断
９０６  トポロジーパターンに基づき、各保存単位のデータ保存形態を設定
１００１  復号するフレームの全体フレームを還元数値データ形態での保存に設定するか否かを決定
１００２  復号するフレームの一部のデータ保存形態を還元数値データ形態での保存に設定する
１００３  復号するフレームの全体のフレームを還元数値データ形態での保存に設定する１１０１  保存単位がブロックであるなら、その包含する小符号化ブロックにより設定する必要があるかを判断する
１１０２  保存単位中の少なくとも一つの小符号化ブロックを包含する参考フレームが遠端不隣接フレームであるかを判断する
１１０３  この保存単位がフレーム間予測とされるかを判断する
１１０４  この保存単位のデータ保存形態を予測形式と余剰信号形態での保存に設定する１１０５  この保存単位の参考フレームが隣接近端フレームであるかを判断する
１１０６  この保存単位のデータ保存形態を動きベクトルと余剰信号形態での保存に設定する
１１０７  この保存単位のデータ保存形態を還元数値データ形態での保存に設定する
１２０１  トポロジーパターンに基づき、各保存単位の設定済みのデータ保存形態とトポロジーパターン中の対応ブロックの設定データ保存形態がいずれも圧縮データ形態での保存であるかを判断する
１２０２  この保存単位のデータ保存形態を圧縮データ形態での保存に設定
１２０３  この保存単位のデータ保存形態を還元数値データ形態での保存に設定
１３００  トポロジーパターン
【図１】
2006217560.tif 000003
【図２】
2006217560.tif 000004
【図３】
2006217560.tif 000005
【図４】
2006217560.tif 000006
【図５】
2006217560.tif 000007
【図６】
2006217560.tif 000008
【図７】
2006217560.tif 000009
【図８】
2006217560.tif 000010
【図９】
2006217560.tif 000011
【図１０】
2006217560.tif 000012
【図１１】
2006217560.tif 000013
【図１２】
2006217560.tif 000014
【図１３】
2006217560.tif 000015
【図１４】
2006217560.tif 000016
【図１５】
2006217560.tif 000017
【図１６】
2006217560.tif 000018
【図１７】
2006217560.tif 000019
【図１８】
2006217560.tif 000020