(57)【要約】【課題】複数の計算リソースを用いて分散的に符号化処理する動画像データの符号化技術に関する。【解決手段】複数の計算リソースに接続され、前記複数の計算リソースと共に動画像の符号化演算を行う動画符号化装置であって、入力された動画像を構成する画像データを複数の領域に分割する領域分割部１１と、前記分割された領域毎の予測モード選択処理を他の計算リソースに割り当てる制御部１３と、前記割り当てに従って、分割された領域の画像データを接続される計算リソースに出力する領域データ出力部１８−１と、前記計算リソースで選択された予測モード情報を受信する予測モード受信部１９−２と、前記選択された予測モードを用いて符号化した画像データを受信する画像データ受信部１９−２と、を有し、接続される複数の計算リソースと協調動画像の符号化を行う。【選択図】  図１
2005005844.tif 000002
【特許請求の範囲】
【請求項１】
複数の計算リソースに接続され、前記複数の計算リソースと共に動画像の符号化演算を行う動画符号化装置であって、
入力された動画像を構成する画像データを複数の領域に分割する領域分割部と、
前記分割された領域毎の予測モード選択処理を接続される複数の計算リソースに割り当てる制御部と、
前記割り当てに従って、分割された領域の画像データを前記計算リソースに出力する領域データ出力部と、
前記計算リソースで選択された予測モード情報を受信する予測モード受信部と、
前記選択された予測モードを用いて符号化された前記画像データを受信する画像データ受信部と、を有することを特徴とする、接続された複数の計算リソースと協調して動画像の符号化演算を行う動画符号化装置。
【請求項２】
前記選択された予測モードを用いて前記画像データの符号化処理を行う符号化部を備え、
前記画像データ受信部は、前記符号化部で符号化された画像データを受信することを特徴とする請求項１に記載の動画符号化装置。
【請求項３】
前記領域分割部は、前記受信した動画像をマクロブロックに分割することを特徴とする請求項１又は２に記載の動画符号化装置。
【請求項４】
前記領域データ出力部は、画像の予測モードを選択するモード選択部が設けられた他の前記計算リソースに、前記分割された領域の画像データを符号化して出力することを特徴とする請求項１から３のいずれか一つに記載の動画符号化装置。
【請求項５】
前記符号化された画像データをビットストリーム形式で、動画像の予測モードを選択するモード選択部が設けられた他の前記計算リソースに出力する符号化データ出力部を備えることを特徴とする請求項１から４のいずれか一つに記載の動画符号化装置。
【請求項６】
前記領域データ出力部は、前記分割された領域の画像データを、可逆の符号化方式によって符号化して出力することを特徴とする請求項１から５のいずれか一つに記載の動画符号化装置。
【請求項７】
複数の計算リソース接続され、前記複数の計算リソースと共に動画像の符号化演算を行う動画符号化装置であって、
動画像を構成する画像データを分割した領域のデータを受信する領域データ受信部と、
前記領域毎に予測モードを選択するモード選択部と、
選択された予測モード情報を出力する予測モード選択データ出力部と、
前記分割された領域を含むフレームの符号化データを受信する符号化データ受信部と、
前記受信した符号化データを復号するデータ復号部と、
前記復号された画像データを保存する記憶部と、を有することを特徴とする、複数の計算リソースと協調して動画像の符号化演算を行う動画符号化装置。
【請求項８】
全体管理部を含む複数の計算リソースを用いた動画像の符号化演算を実行するための符号化処理プログラムであって、
符号化の対象となる動画像を構成するフレームを分割した領域毎に設定された予測パラメータを前記全体管理部から受信する手順と、
前記各計算リソースに割り当てられた領域の画像データを前記全体管理部から受信する手順と、
前記受信した画像データを用いて前記分割された領域毎に該領域内のマクロブロックの予測モードを選択する手順と、
前記予測モードとして選択されたモード選択データを前記全体管理部に通知する手順と、
前記領域を含む画像の符号化データを前記全体管理部から受信する手順と、を実行させる符号化処理プログラム。
【請求項９】
前記分割された領域を含む画像の符号化データを受信して、該符号化データを復号して参照画像として記憶する手順と、
前記参照画像を用いて、その後の予測モードを選択する手順と、を実行させる請求項８に記載の符号化処理プログラム。
【請求項１０】
複数の計算リソースに動画像の符号化演算を実行させるための符号化処理プログラムであって、
全体管理を行う計算リソースと、予測モード選択処理を行う複数の計算リソースとを割り当てる手順と、
前記モード選択処理を行う複数の計算リソースが次の符号化処理の対象となるマクロブロックを受信する手順と、
前記予測モード選択処理を行う複数の計算リソースが、保存されている参照画像に対して第１のモード選択処理を実行する手順と、
前記全体管理を行う計算リソースに前記第１のモード選択処理の結果を送信する手順と、
前記全体管理を行う計算リソースが前記参照画像の選択を含む第２のモード選択処理を実行する手順と、
複数の前記モード選択処理を行う計算リソースに前記第２のモード選択処理の結果を送信する手順と、
複数の前記モード選択処理を行う計算リソースの少なくとも一部が、符号化データを受信する手順と、を実行させる符号化処理プログラム。
【請求項１１】
前記計算リソースは、メモリを備えた複数のプロセッサによって構成され、
前記全体管理を行う計算リソースは、前記プロセッサのうちのいずれか一つに割り当てられることを特徴とする請求項１０に記載の符号化処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の計算リソースを用いて分散的に符号化処理する動画像データの符号化技術に関する。
【０００２】
【従来の技術】
複数の計算リソース（例えば、コンピュータ、プロセッサ、ＣＰＵ等）を用いて動画像をリアルタイムで符号化（主にＭＰＥＧ−２符号化）する方法が知られている。
【０００３】
例えば、入力画像を複数の画像に領域分割し、それらを複数の計算機にて並列符号化する方法がある。これは、全体を制御する１個のコンピュータと、符号化処理を行う複数のコンピュータとによって構成されており、全体を制御するコンピュータが、符号化処理を行う複数コンピュータのデータ入出力同期（画像の入力と符号化データの出力）及び符号化性能（符号化レート）を制御する（例えば、特許文献１参照。）。
【０００４】
また、複数ブロックの符号化処理を複数のプロセッサにて並列して行う方法もある。これは、並列処理が可能な動き予測と逐次的な処理が必要な符号化処理との特徴を利用することによって、ブロックの符号データ出力順を考慮しながら、出力プロセッサの処理待ち時間を少なくするように各プロセッサの処理進捗を管理する（例えば、特許文献２参照。）。
【０００５】
この動画像の符号化方式には、多くの予測モードを持つ符号化方式であるＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が知られている。このＡＶＣでは、動画像の１ピクチャは、図２１に示すように１個の輝度信号（Ｙ信号：６１）と２個の色差信号（Ｃｒ信号：６２、Ｃｂ信号：６３）とで構成されており、色差信号の画像サイズは縦横とも輝度信号の１／２となる。動画像の各ピクチャはブロック分割され、ブロック単位で符号化される。この小ブロックは、マクロブロックと呼ばれ、図２２に示すように１６×１６画素の１個のＹ信号ブロック４５と、それと空間的に一致する８×８画素のＣｒ信号ブロック４６及びＣｂ信号ブロック４７にて構成されている（例えば、非特許文献１参照。）。
【０００６】
ここで、上記ＡＶＣを用いた従来の動画符号化装置について、図２３のブロック図を参照して説明する。
【０００７】
入力された各ピクチャはブロック分割部１０１にて入力マクロブロックに分割される。分割された入力マクロブロックは、差分処理部１０３に入力される。差分処理部１０３は、入力マクロブロックと空間予測部又は動き補償部で生成された予測マクロブロックとの各画素に差分処理を施し、差分マクロブロックを出力する。差分マクロブロックは、離散コサイン変換（ＤＣＴ）部１０４に入力され、複数のＤＣＴブロックに周波数変換される。なお、ＤＣＴブロックのサイズは、従来のＭＰＥＧ方式では８×８画素であるが、ＡＶＣでは４×４画素が基本サイズである。
【０００８】
ＤＣＴ部１０４は、差分マクロブロックを、まず図２４に示すような２４個の４×４画素ブロック（４０−１〜４０−１５、４１−０〜４１−３、４２−０〜４２−３）に分割し、それぞれについてＤＣＴ変換される。次に、各４×４ＤＣＴブロックの直流成分のみを集めたＤＣブロック（４０−１６、４１−４、４１−４）を信号成分毎に構成し、さらにＤＣＴ変換する（輝度信号成分については、予測モードによって、ＤＣブロックへのＤＣＴ変換を行う場合と行わない場合とがある）。ＤＣＴブロック内の各変換係数は量子化部１０５に入力される。
【０００９】
量子化部１０５は、制御部１０２から入力された量子化パラメータに従って各ＤＣＴブロック内の変換係数を量子化する。このときの量子化パラメータはＡＶＣでは５２種類用意されており、値が小さいほど量子化精度が高い。
【００１０】
量子化されたＤＣＴ係数は、可変長符号化（ＶＬＣ）部１０６に入力され、符号化（コード化）される。またこれと同時に、量子化ＤＣＴ係数は逆量子化部１０７に入力される。逆量子化部１０７では、制御部１０２から入力される量子化パラメータに従って量子化されたＤＣＴ係数を逆量子化することで得たＤＣＴ係数からＤＣＴブロックを復元する。復元されたＤＣＴブロックは逆ＤＣＴ部１０８にて、差分マクロブロックに復元される。復元された差分マクロブロックは、予測マクロブロックと共に加算部１０９に入力される。
【００１１】
差分処理部１０３は、復元された差分マクロブロックと予測マクロブロックの各画素に加算処理を施し、再生マクロブロックを生成する。この再生マクロブロックは、さらに予測処理に用いるためフレームメモリ１１０に合成される。
【００１２】
上記の逆量子化部１０７、逆ＤＣＴ部１０８、加算部１０９で行われる一連の処理は「局部復号」と呼ばれる。この局所復号には、復号側と同様の再生マクロブロックを生成する能力をもつ必要がある。
【００１３】
なお、ＡＶＣにおける符号化方法には、可変長符号化の他に算術符号化も用意されている。本明細書では可変長符号化を例に説明するが、これを算術符号化に置き換えても同様に本発明を実施することができる。
【００１４】
次に、予測マクロブロックを生成するための予測方法、予測タイプについて説明する。
【００１５】
予測方法には、大きく分けて２種類あり、それぞれ、空間予測（イントラ予測）、フレーム間予測（インター予測）と呼ばれる。
【００１６】
イントラ予測は、フレーム内の符号化済み画素を用いて、マクロブロック内の画素を予測する方法である。ＡＶＣには、予測を行う単位として２種類のブロックサイズが用意されており、それぞれ、４×４イントラ予測と１６×１６イントラ予測と呼ばれている。さらに、４×４イントラ予測には９種類、１６×１６イントラ予測には４種類の指向性の異なる予測タイプが用意されており、マクロブロック毎（４×４イントラ予測では、４×４ブロック毎）に選択できる。
【００１７】
図２５に４×４イントラ予測に用いる符号化済み隣接画素を示す。各モードの算出式はモード０からモード８の９種類があり、一つのモードで２種類以上の算出式が用意されている場合には画素位置により適用する算出式が異なる。
【００１８】
１６×１６イントラ予測では、予測に用いる画素は、マクロブロックに隣接する符号化済み画素となる。なお、ここで示した１６×１６イントラ予測及び４×４イントラ予測が適用されるのは、マクロブロックの輝度成分のみであり、色差成分については、別途４種類の予測モードが用意されており、マクロブロック単位で選択される。
【００１９】
インター予測には、符号化済みのピクチャ内の画素を用いてマクロブロック内の画素を予測する方法であり、１枚のピクチャのみを予測に用いるＰタイプと２枚のピクチャを予測に用いるＢタイプがある。
【００２０】
このインター予測の基本となる動き推定、動き補償の概念について、図２６を例に説明する。動き推定とは、符号化済みのピクチャ（参照ピクチャ）から対象マクロブロックの内容と似通った部分を検出する技術である。太枠で囲んだ現ピクチャ７１の輝度成分ブロック７２と空間的に同位置に相当する参照ピクチャ７３上の輝度成分ブロック７４を破線で示す。動き推定では、まず、輝度成分ブロック７４を囲む探索範囲７７を設定する。次に、この範囲内を１画素ずつ縦横に移動しながら探索し、評価値が最小となる位置をそのブロックの予測位置とする。評価値の算出には、ブロック内の予測誤差信号の絶対値和、又は２乗誤差和に動きベクトルの符号量を加味した関数を用いる。
【００２１】
動きベクトルとは、元のブロック位置から探索位置までの移動量をベクトルで示したものである。たとえば、輝度ブロック７４の探索位置をブロック７５とすると、７６が動きベクトルとなる。なお、ＡＶＣでは、動きベクトルの精度は１／４画素であり、整数精度で探索を行った後、その周囲の１／２画素と１／４画素を検索する必要がある。一方、動き補償は、動きベクトルと参照ピクチャから予測ブロックを生成する技術である。例えば、７２を予測対象ブロック、７６を動きベクトルすると、７５が予測ブロックとなる。
【００２２】
Ｐタイプにおける動き補償のブロックサイズを図２７に示す。基本のマクロブロックタイプは５１〜５４に示す４種類であり、マクロブロック毎に選択する。さらに、８×８ブロックを選択した場合には、各８×８ブロックについて、５４ａ〜５４ｄに示す４種類のサブブロックタイプから選択する。ＡＶＣでは、参照ピクチャとして複数のピクチャ（通常１〜５個程度）を用意し、基本マクロブロックタイプ内の各分割ブロック（５１−０、５２−０〜５２−１、５３−０〜５３−１、５４−０〜５４−３）毎にどの参照ピクチャを予測に用いるかを選択できる。
【００２３】
Ｂタイプおいても選択可能な動き補償のブロックサイズは、同様であるが、基本マクロブロックタイプ内の各分割ブロック（５１−０、５２−０〜５２−１、５３−０〜５３−１、５４−０〜５４−３）毎に、予測の種類（参照ピクチャの数と方向）を選択できる。具体的には、複数の参照ピクチャ（通常１〜５個程度）を登録した２種類の参照ピクチャリスト（リスト１とリスト２）を用意し、リスト１（Ｆｏｒｗａｒｄ予測）、リスト２（Ｂａｃｋｗａｒｄ予測）あるいはリスト１とリスト２の両方（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ予測）の３通りから予測の種類を選択できる。予測に使用する参照ピクチャも、各リストについて、基本マクロブロックタイプ内の分割ブロック毎に選択できる。なお、ｂｉ−ｐｒｅｄｉｃｔｉｖｅ予測では、２つの予測候補ブロック内の各画素を内挿処理して、予測ブロックを生成する。Ｂタイプでは、さらに、１６×１６ブロックと８×８サブブロックに対して、Ｄｉｒｅｃｔ予測と呼ばれる予測タイプが用意されている。この予測タイプでは、符号化済みの情報からそのブロックの参照ピクチャ、予測の種類、動きベクトルが自動的に算出されるため、これらの情報を符号化する必要がない。
【００２４】
以上のようにして選択された予測タイプは空間予測部１１５又は動き補償部１１６に入力され、この予測タイプとフレームメモリ内の符号化済み周囲画素又は参照ピクチャとによって予測マクロブロックが生成される。
【００２５】
【特許文献１】
特開２０００−２６１７９７号公報
【特許文献２】
特開２０００−３００４７号公報
【非特許文献１】
“Ｄｒａｆｔ  Ｔｅｘｔ  ｏｆ  Ｆｉｎａｌ  Ｄｒａｆｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ｆｏｒ  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４  ｜  ＩＳＯ／ＩＥＣ  １４４９６−１０  ＡＶＣ）”、［ｏｎｌｉｎｅ］、２００３年３月、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｍｐｅｇ．ｔｅｌｅｃｏｍｉｔａｌｉａｌａｂ．ｃｏｍ／ｗｏｒｋｉｎｇ＿ｄｏｃｕｍｅｎｔｓ／ｍｐｅｇ−０４／ａｖｃ／ａｖｃ．ｚｉｐ＞
【００２６】
【発明が解決しようとする課題】
従来の多くの予測モードを持つ符号化方式は、あらゆる性質の画像領域に対応しており、高画質な再生画像を提供することが可能である。しかしながら、高画質を維持し、かつ効率良く符号化するためには、予測モードの選択に多くの時間を必要とする。この問題を解決する方法としては、複数の計算リソースを用いて分散的に符号化処理する方法が考えられる。分散的に符号化する方法としては従来の技術に示したような構成が開示されているが、計算リソース間のデータ交換の単位や種類が制限されており、自由度に乏しい。例えば、特許文献１では各計算リソースに割り当てられた領域を跨ぐ予測処理やピクチャ全体の画質制御が難しい。また、特許文献２ではマクロブロック間の処理量制御やピクチャ全体の画質制御が難しい。そのため、画像の特徴変化に対応した適応的な処理ができない。
【００２７】
【課題を解決するための手段】
本発明は上記の問題点を解決するためになされたものであり、複数の計算リソースに接続され、前記複数の計算リソースと共に動画像の符号化演算を行う動画符号化装置であって、入力された動画像を構成する画像データを複数の領域に分割する領域分割部と、前記分割された領域毎の予測モード選択処理を他の計算リソースに割り当てる制御部と、前記割り当てに従って、分割された領域の画像データを接続される計算リソースに出力する領域データ出力部と、前記計算リソースで選択された予測モードを受信する予測モード受信部と、前記選択された予測モードを用いて符号化された画像データを受信する画像データ受信部とを有し、接続される複数の計算リソースと協調して動画像の符号化処理を行う。
【００２８】
すなわち、本発明の動画符号化装置異なる計算リソースに割り当てられた領域を跨ぐ予測処理を省略することが可能であり、かつ並列処理が可能な予測モード選択処理を全体の処理から切り離し複数の計算リソースに割り当てる。そして、全体的な画質バランスを保つ必要があり、処理順序が規定されている符号化処理を単一の計算リソースに割り当てる。
【００２９】
また、ピクチャ単位で符号化データを予測モード選択処理用の複数計算リソースに分配する構成とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３１】
本発明では、高画質化のために多くの演算時間を要する「動き検索」及び「モード選択処理」を複数の計算リソースに割り当てて並列分散処理する。従来の技術で示した動き検索、モード選択処理時の差分動きベクトル符号量、差分マクロブロックの推定符号量、すなわち、予測動きベクトルと量子化パラメータとは、実際の符号化時と同じである必要はない。そのため、予測動きベクトル選定時の候補動きベクトルが他の計算リソースに割り当てられた画像領域に属している場合や、モード選択時と符号化時で異なる量子化パラメータ制御が行われても、モード選択結果（予測タイプ、参照ピクチャ番号、動きベクトル）は活用することができる。これは、異なる画像領域の動き検索とモード選択処理を並列に実施することが可能であることを意味している。
【００３２】
また、本発明では、計算リソース間のデータ交換を円滑に行うため、交換データを圧縮してからネットワークやバスに送る。参照ピクチャや参照情報など予測に使用するデータは符号化データの形式で、入力画像は可逆圧縮したデータの形式で、モード選択情報や予測処理／符号化処理のパラメータも可逆圧縮したデータ形式でデータの交換を行う。データ送信側はデータを圧縮する手段、データ受信側では圧縮したデータを復号する手段が必要となるが、データの復号に要する時間は、モード選択処理の時間に対して無視できるほど小さいので、データ圧縮に簡易な方式を用いれば処理時間としては問題にならない。
【００３３】
なお、帯域幅が充分に広い場合はデータの圧縮を行わずにデータを交換することもできる。
【００３４】
まず、第１の実施の形態の動画符号化装置について説明する。
【００３５】
第１の実施の形態では、符号化の処理を、制御部、モード選択処理部（空間予測推定、動き推定、モード選択）、符号化部（動き補償部、空間予測部、ＤＣＴ部、量子化部、ＶＬＣ部）、局部復号部（逆量子化部、ＩＤＣＴ部、動き補償部、空間予測部、フレームメモリ）の４つに大分する。そして、制御部と符号部とに各々１つの計算リソース、モード選択処理部に複数の計算リソースをそれぞれ割り当てる。局部復号部は、符号化データから参照ピクチャと参照情報を抽出する処理を行うもので、すべての計算リソースに含まれる。
【００３６】
図１は第１の実施の形態の動画符号化装置の構成を示したブロック図である。図１では、全体管理部１０−１と符号化部３０−２とにそれぞれ１つの計算リソース、モード選択処理部２０ａ、２０ｂ、２０ｃ…のそれぞれに複数の計算リソースが割り当てられている。
【００３７】
全体管理部１０−１では、まず、画像データが入力されると、制御部１３の指令に基づき、分割部１１によって入力画像を分割する。
【００３８】
この分割の方法としては、図２に示すような３種類の方法がある。
【００３９】
図２（ａ）は、スライス単位で計算リソースを分割する方法であり、図の左上から右下に向かって帯状のデータであるスライスに分割する。スライスを跨ぐ予測が禁止されているため、予測処理等のアルゴリズムとの整合性は高い。図２（ｂ）は画像の特徴で分割する方法であり、画像内の特定の領域を抜き出して分割する。予測処理等のアルゴリズムとの整合性は低いが、量子化パラメータは制御しやすい。図２（ｃ）は、画像をマクロブロックに分割し、マクロブロック単位で順次各計算リソースに割り当てていく方法である。図２（ｃ）のＰ１〜Ｐ３はそれぞれ計算リソースを表し、処理が完了した計算リソースは次のマクロブロックの処理を行う。図２（ａ）、（ｂ）における分割位置の決定は、各計算リソースの演算パワーや画像の特徴やアクティビティーによって、制御部１３にて決定される。
【００４０】
分割部１１にて分割された入力画像は、可逆符号化部１６にて符号化され、分割入力画像データとして出力部１８−１を経由して各モード選択処理部２０に出力される。可逆符号化の方法についてはさまざまな方法があり、ＡＶＣのイントラ予測に定義されているような予測タイプをいくつか用意し各画素の差分値をＰＣＭで符号化する方法、ＪＰＥＧ２０００のロスレス符号化などが用いられる。この出力部１８−１を経由して可逆符号化部１６から各モード選択処理部２０に領域に分割された画像データが出力されることによって領域データ出力部が構成されている。
【００４１】
なお、なお可逆符号化部１６によって行われる符号化は可逆でなくてもよい。可逆でない符号化方式を用いた場合は、出力するデータの量を減らすことができる。
【００４２】
制御部１３は、分割入力画像データを出力すると同時に、各モード選択処理部２０に配信するための予測パラメータを作成する。この予測パラメータは、動き検索及びモード選択処理を行うためのパラメータで、推定符号量を算出するための仮量子化パラメータ、制約情報等が含まれる。制約情報には、ピクチャタイプ（ピクチャヘッダ、スライスヘッダ、シーケンスヘッダ）、探索範囲、選択を禁止する予測タイプ、符号量を誤差電力に換算する際のパラメータ、目標符号量等が含まれる。なお、仮の量子化パラメータは、目標符号量と各画像領域の特徴を考慮して決定される。
【００４３】
予測パラメータは、命令コード部１５にて可逆符号化されたのち、予測パラメータデータとして各モード選択処理部２０に出力される。
【００４４】
各モード選択処理部２０には、分割入力画像データ、予測パラメータデータ、及び前ピクチャの符号化データが入力される。そしてモード選択処理部２０は、分割入力画像データに属するマクロブロックについて、モード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、推定符号量、量子化パラメータなど）を検出し、モード選択データに圧縮した上で全体管理部１０−１に出力する。この際の圧縮方法にはさまざまな方法があるが、例えば、ＡＶＣにて定義されている可変長符号表を適用した可変長符号化を用いる。
【００４５】
各モード選択処理部２０から出力されるモード選択データは全体管理部１０−１に出力される。全体管理部１０−１は、受信部１９−２を経由してモード選択データを受信すると、受け取ったモード選択データを復号部１７にてモード選択情報に復号し、データメモリ１２に保存する。この受信部１９−２を経由してモード選択部２０からモード選択データを受信することによって予測モード受信部が構成されている。
【００４６】
次に、制御部１３は、データメモリ１２に保存されたモード選択情報から、推定符号量や量子化パラメータを抽出し、符号化時における各マクロブロックの量子化パラメータを選定する。この際、量子化パラメータは、推定符号量とターゲット符号量のズレ具合を考慮しながら、ピクチャ内の平坦部で大きな変化が発生しないように選択される。選定された量子化パラメータは予測タイプ、動きベクトル、参照ピクチャ、制約情報と共に符号化パラメータとしてマクロブロック毎にまとめられる。制約情報には、ピクチャタイプ（ピクチャヘッダ、スライスヘッダ、シーケンスヘッダ）や量子化器の設計パラメータ（符号化を行わない量子化ＤＣＴ係数値の範囲など）などが含まれる。
【００４７】
各マクロブロックの符号化パラメータは、命令コード部１５にて符号化順に符号化パラメータデータに圧縮され、随時、符号化部３０−２に出力される。なお、符号化パラメータデータへの圧縮方法には、例えば可変長符号化が用いられる。また、符号化パラメータのデータ単位としては、複数マクロブロックの符号化パラメータをまとめることも可能である。
【００４８】
そして、全体管理部１０−１は、入力画像を可逆符号化部１４にて符号化し、符号化部３０−２に出力する。この際の可逆符号化の方法は、前述したようにＡＶＣのイントラ予測に定義されているような予測タイプをいくつか用意し各画素の差分値をＰＣＭで符号化する方法、ＪＰＥＧ２０００のロスレス符号化等を用いる。符号化部３０−２では、符号化データを生成し、全体管理部１０−１に出力する。全体管理部の受信部１９−１を経由して入力された符号化データはデータメモリ１２に保存される。この受信部１９−１によって、符号化部３０−２から出力された符号化された画像データを受信することによって、画像データ受信部が構成されている。
【００４９】
また、データメモリ１２に保存された符号化データは出力部１８−２を経由して各モード選択部２０に出力される。この出力部１８−２を経由してデータメモリ１２から符号化データが出力されることによって符号化データ出力部が構成されている。
【００５０】
以上で動画像の符号化処理が完了する。
【００５１】
次に、第１の実施の形態の符号化部３０−２の構成を図３のブロック図を参照して説明する。
【００５２】
符号化部３０−２には、全体管理部１０−１より可逆符号化された入力画像データと符号化パラメータデータとが入力される。入力画像データは可逆復号部３３で復号化され、符号化パラメータデータはデータ復号部３２で復号化される。可逆復号部３３は、さらに復号化された入力画像データを入力マクロブロックに分割して符号化順に差分処理部１０３に入力する。
【００５３】
また、データ復号部３２で復号化された符号化パラメータのうち、量子化パラメータと量子化器の設計パラメータとは量子化部１０５に入力され、ピクチャタイプ、予測タイプ、参照ピクチャ番号、動きベクトル、はそれぞれスイッチャ１１４に入力される。
【００５４】
差分処理部１０３は、入力マクロブロックと、空間予測部１１５又は動き補償部１１６によって生成された予測マクロブロックとを受け取り、両マクロブロックの各画素毎に差分処理を行って差分マクロブロックを生成し、ＤＣＴ部１０４に送る。ＤＣＴ部１０４では、差分マクロブロックに周波数変換を行い複数のＤＣＴブロックを生成する。このＤＣＴブロックは量子化部１０５に送られる。
【００５５】
量子化部１０５ではＤＣＴブロック内の各変換係数を量子化した量子化ＤＣＴ係数を生成する。この量子化ＤＣＴ係数はＶＬＣ部１０６に送られ、符号化される。またこれと同時に量子化ＤＣＴ係数は逆量子化部１０７に送られる。逆量子化部１０７では量子化ＤＣＴ係数の逆量子化を行いＤＣＴ係数を生成しＤＣＴブロックを復元する。復元されたＤＣＴブロックは逆ＤＣＴ部１０８に送られ差分マクロブロックに復元される。復元された差分マクロブロックは、空間予測部１１５又は動き補償部１１６によって生成された予測マクロブロックと共に加算部１０９に送られる。
【００５６】
加算部１０９では、差分マクロブロックと予測マクロブロックとの各画素の加算処理を行い再生マクロブロックを生成する。生成された再生マクロブロックはフレームメモリ１１０に格納される。
【００５７】
また、符号化パラメータデータから復号化して抽出した予測タイプは、スイッチャ１１４を介して空間予測部１１５又は動き補償部１１６に入力される。空間予測部１１５又は動き補償部１１６では選択された予測部タイプと、フレームメモリに格納された復号済み周囲画素、又は参照ピクチャから予測マクロブロックを生成し差分処理部１０３に送る。
【００５８】
なお、量子化部１０５に入力される量子化器の設計パラメータは、例えば、ＤＣＴ係数値を量子化ＤＣＴ係数に量子化する際の量子化値を‘０’とする範囲の設定などに用いられる。
【００５９】
次に、第１の実施の形態のモード選択処理部２０の構成を図４のブロック図を参照して説明する。
【００６０】
このモード選択処理部２０は、全体管理部１０−１より入力された分割入力画像データ、予測パラメータデータ及び符号化データから、各マクロブロックのモード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、推定符号量、量子化パラメータなど）を作成し、さらにこれらを圧縮してモード選択データとして全体管理部１０３に出力する処理を行う。
【００６１】
受信部２８−２を経由して入力された符号化データは、データ復号部２２によって再生画像と各マクロブロックの参照情報（予測タイプ、参照ピクチャ番号、動きベクトル）とに復号処理される。復号された再生画像は参照ピクチャとしてフレームメモリ１１０に格納され、復号された各マクロブロックの参照情報は、予測処理に用いるため動き推定部１１２と空間予測推定部１１１とに送られ、登録される。この受信部２８−２を経由してデータ復号部２２に符号化データが入力されることによって符号化データ受信部が構成されている。
【００６２】
受信部２８−１を経由して入力された分割入力画像データは、可逆復号部２３にて分割入力画像に復号される。復号された分割画像はブロック分割部２５によって入力マクロブロックに分割される。この受信部２８−１を経由して、可逆復号部２３に、領域に分割された画像データが入力され、復号されることによって領域データ受信部が構成されている。
【００６３】
入力された予測パラメータデータは、予測データ復号部２６にて各マクロブロックの予測パラメータに復号される。空間予測推定部１１１と動き推定部１１２は、後述するように予測パラメータに従って各候補予測タイプの予測候補マクロブロックと評価値（予測誤差電力と推定符号量から算出）を求める。予測パラメータには、画像の特徴などを考慮して全体管理部（１０−１又は１０−２）内の制御部１３にて決定された推定符号量を算出するための仮量子化パラメータや制約情報（ピクチャタイプ、割り当て領域、探索範囲、選択を禁止する予測候補タイプ、符号量を誤差電力に換算する際のパラメータ、目標符号量）等が含まれている。空間予測推定部１１１及び動き推定部１１２によって求めた予測候補マクロブロック及び評価値はモード選択部に送られ後述するように予測タイプを選択する。そして、選択した予測タイプを含むモード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、推定符号量、量子化パラメータなど）をデータコード部２４に出力する。データコード部２４は、このモード選択情報をモード選択データに圧縮し、出力部２９を経由して全体管理部１０−１に出力する。この出力部２９を経由してモード選択データが全体管理部１０−１に出力されることで予測モード選択データ出力部が構成されている。
【００６４】
次に、データ復号部２２の内部構成を図５のブロック図を参照して説明する。
【００６５】
全体管理部１０−１から入力された符号化データは、ＶＬＤ部２２１にて復号して、量子化パラメータ、量子化ＤＣＴ係数、予測情報に分離する。量子化パラメータと量子化ＤＣＴ係数とは逆量子化部１０７に入力され、予測情報（予測タイプ、参照フレーム番号、動きベクトル）はスイッチャ１１４に入力される。なお、このとき、予測情報はモード選択処理部２０の動き推定部１１１及び空間予測推定部１１２に対しても出力される。
【００６６】
スイッチャ１１４では、受け取った選択された予測タイプに従って予測情報（予測タイプ、動きベクトル、参照ピクチャ番号）を、空間予測部１１５又は動き補償部１１６のいずれかに出力するかを決定する。空間予測部１１５又は動き補償部１１６では、選択された予測タイプ及びフレームメモリ（記憶部）１１０内の復号済み周囲画素若しくは参照ピクチャから予測マクロブロックを生成し、加算処理部１０９に出力する。
【００６７】
また、逆量子化部１０７と逆ＤＣＴ部１０８とで差分マクロブロックを復元し、加算処理部１０９に出力する。加算処理部１０９は、予測マクロブロックと復号された差分マクロブロック内の画素とをそれぞれ加算処理し、復号マクロブロックを復元する。復号マクロブロックはモード選択部２０のフレームメモリ１１０内の再生画像に合成される。
【００６８】
次に、予測マクロブロックの生成方法について説明する。
【００６９】
従来の技術で説明したように、予測方法にはインター予測とイントラ予測とがあり、符号化済み画像の画素を用いてマクロブロック内の画素を予測する。
【００７０】
予測マクロブロックの生成は、ピクチャの符号化タイプにより異なる。ピクチャタイプには、イントラ予測のみが適用可能なＩ−Ｐｉｃｔｕｒｅ、イントラ予測とＰタイプのインター予測が適用可能なＰ−Ｐｉｃｔｕｒｅ、イントラ予測とＢタイプのインター予測が適用可能なＢ−Ｐｉｃｔｕｒｅがある。
【００７１】
まず、ピクチャタイプがＩ−Ｐｉｃｔｕｒｅの場合を説明する。
【００７２】
全体管理部１０−１の制御部１３から送られる制約情報に含まれるピクチャタイプ情報に基づいて空間予測推定部１１１が起動される。空間予測推定部１１１では、まず、ブロック分割部１０１から入力される入力マクロブロックを受け取る。次に、４×４イントラ９種類及び１６×１６イントラ４種類を合わせた計１３種類と、クロマイントラ４種類の組み合わせの全てについて、フレームメモリ１１０内の符号化済み周囲画素を用いて予測候補マクロブロックを生成する。
【００７３】
生成されたそれぞれの予測候補マクロブロックは、入力マクロブロックとの間で差分処理され、差分候補マクロブロックが生成される。この差分候補マクロブロックと制約情報内の量子化パラメータから、予測誤差電力と推定符号量が算出される。算出された推定符号量は、予測誤差電力の換算値に変換され、その変換値と予測誤差電力との和がその予測候補タイプの評価値となる。各予測候補タイプの評価値は、モード選択部１１３に入力され、その値が最小となるタイプが予測タイプとして選択される。選択された予測タイプは符号化部３０−２に送られ、空間予測部１１５にて、選択された予測タイプとフレームメモリ１１０内の符号化済み周囲画素とから予測マクロブロックが生成される。
【００７４】
次に、ピクチャタイプがＰ−Ｐｉｃｔｕｒｅの場合を説明する。
【００７５】
全体管理部１０−１の制御部１３から送られる制約情報に含まれるピクチャタイプ情報に基づいて、空間予測推定部１１１と動き推定部１１２とが起動される。空間予測推定部１１１の処理はＩ−Ｐｉｃｔｕｒｅの場合と同じであるため説明を省略する。動き推定部１１１では、ブロック分割部１０１から入力マクロブロックを受け取った後、２段階のステップで動き推定処理を行う。
【００７６】
第１のステップでは、３種類の基本マクロブロックタイプと１６種類の拡張マクロブロックタイプ（８×８ブロック毎に選択される４種類のサブブロックタイプの組み合わせ）について、最適な参照ピクチャと動きベクトルの組を選定する。具体的には、マクロブロック内の各分割ブロックについて、参照ピクチャ毎に設定される探索範囲をすべて探索し、探索評価値が最小となる参照ピクチャと動きベクトルの組を検出する。この探索には輝度信号成分のみを用い、輝度成分ブロック内の予測誤差信号の絶対値和、動きベクトル、参照ピクチャの推定符号量、の各関数によって探索評価値を算出する。
【００７７】
第２のステップでは、１９種類のマクロブロックタイプについて、選定された参照ピクチャと動きベクトルを用いて予測候補マクロブロック（色差信号成分も含む）を生成し、その評価値を算出する。各予測候補マクロブロックは、入力マクロブロックとの間で差分処理され、差分候補マクロブロックが生成される。この差分候補マクロブロックと制約情報内の量子化パラメータから予測誤差電力と推定誤差符号量が算出される。
【００７８】
算出された推定誤差符号量は動きベクトルと参照ピクチャ番号の推定符号量とを加算した後、予測誤差電力の換算値に変換され、その変換値と平均予測誤差電力の和がその予測候補マクロブロックタイプの評価値となる。得られた各予測候補マクロブロックタイプの評価値は、モード選択部１１３に入力される。モード選択部１１３では、空間予測推定部１１１と動き推定部１１２とから受け取った複数の評価値からその値が最小となる予測タイプを選択する。選択された予測タイプは符号化部３０−２に送られる。
【００７９】
符号化部３０−２では、スイッチャ１１４は、選択された予測タイプに従って、予測情報（予測タイプ、動きベクトル、参照ピクチャ番号）を空間予測部１１５又は動き補償部１１６に対して出力する。空間予測部１１５又は動き補償部１１６は、選択された予測タイプと、フレームメモリ１１０内の符号化済み周囲画素や参照ピクチャから予測マクロブロックを生成する。
【００８０】
ピクチャタイプがＢ−Ｐｉｃｔｕｒｅの場合も、基本的な処理手順はＰ−Ｐｉｃｔｕｒｅの場合と同じである。ただし、第１のステップの動き推定処理では、最適な参照ピクチャと動きベクトルとの組ではなく、最適な参照ピクチャと、動きベクトルと、予測の種類（リスト１／リスト２／ｂｉ−  ｐｒｅｄｉｃｔｉｖｅ）の組を検出する。また、第２のステップの動き推定処理では、Ｄｉｒｅｃｔ予測も予測タイプの候補に加える必要がある。
【００８１】
以上の予測マクロブロックの生成に必要なデータ（予測タイプ、動きベクトル、参照フレーム番号）は、符号化部３０−２のＶＬＣ部１０６にて量子化ＤＣＴ係数と共に符号化される。この動きベクトルの符号化方法について説明する。動きベクトルは、検出した動きベクトルそのものではなく周囲のブロックの動きベクトルから求められる予測動きベクトルとの差分値を符号化する。
【００８２】
図６に、前述した動き補償ブロックタイプ（図２７）を用いて、予測動きベクトルの生成方法を示す。図２７のタイプ１（５１）のブロック５１−０、サブブロックタイプの各ブロックは同じ予測方法を用いる。ここで、動きベクトルを符号化する対象の小ブロックを５０と仮定する。これらの小ブロックでは、動きベクトルの水平・垂直成分それぞれについて、隣接位置Ａ、Ｂ、Ｃに位置する３ブロックの動きベクトルを候補としてその中間値を計算し、中間値の動きベクトルを予測動きベクトルとする。ただし、符号化順序やマクロブロック位置との関係で位置Ｃのブロックの符号化処理がされていない場合や、位置Ｃのブロックが画像の外に位置する場合が考えられる。この場合には、位置Ｃの代わりに位置Ｄに位置するブロックの動きベクトルを候補動きベクトルの１つとして用いる。
【００８３】
なお、位置Ａ、Ｂ、Ｃ、Ｄのブロックが動きベクトルを持たない場合には、その動きベクトルを「０」ベクトルとして予測処理を行う。この際、３個の候補ブロックのうち２個が動きベクトルを持たない場合には、残りの１つの候補動きベクトルを予測動きベクトルとする。タイプ２（５２）の２個の小ブロック（５２−０、５２−１）、タイプ３（５３）の２個の小ブロック（５３−０、５３−１）については、図６に示す矢印の付け根に位置するブロックの動きベクトルを予測値とする。なお、いずれのモードにおいても、色差成分用の動きベクトルは符号化せず、輝度成分の動きベクトルを２で割って使用する。
【００８４】
なお、差分候補マクロブロックの推定符号量の算出方法としては、空間予測推定部１１１と動き推定部１１２にＤＣＴ部と量子化部との機能を組み込み、実際の符号量を算出する方法が画質面では最も処理の効果が高いと考えられる。
【００８５】
また、推定符号量算出の際の量子化パラメータと推定符号量は、実際の量子化及び符号化時の値と同じである必要はないため、演算時間を考慮し予測候補マクロブロックの性質などから統計的に推測する方法も有効である。また、差分動きベクトルの符号量については、先に説明したように実際の符号化時と一致する必要はない。従って、周囲ブロックの動きベクトルが未だ定まっていない場合には、推定の予測動きベクトルを用いて、差分動きベクトルの符号量を推定してもよい。
【００８６】
さらに、制約情報に選択を禁止する予測候補タイプを加えることによって、モード選択に制限を加えることが可能である。これらの情報は、製品仕様や運用規定などの制限から動きベクトルの数などに制限を加えたい場合や、画像領域の特徴に応じて強制的にイントラ予測を適用したい場合などに有効である。
【００８７】
また、符号量を誤差電力に換算する際のパラメータの値を制約情報に含めることによって、評価値の算出における予測誤差電力と符号量の関係を変更することが可能である。この情報により、画像の特徴を考慮したモード選択処理を実施したい場合に有効であり、さらに、探索範囲を画像の特徴に応じて変更することや、探索範囲の中心点を制約情報にて指定することも再生画質の向上及び演算量の削減に有効である。
【００８８】
モード選択部１１３では、マクロブロック毎に動き推定部１１２と空間予測推定部１１１から入力された予測候補タイプの評価値とを比較し、最小の値をもつ予測候補タイプを選択する。選択された予測タイプに関するモード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、推定符号量、仮量子化パラメータなど）は、データコード部２４にて符号化され、モード選択データとして全体管理部１０−１に出力される。このように、データコード部２４から、符号化されたモード選択データが出力されることによってモード選択データ出力部が構成されている。
【００８９】
なお、仮量子化パラメータは、１つのモード選択用計算リソースにおける推定符号量の加算値と目標符号量との関係から、モード選択処理部２０において修正を加えることも有効である。
【００９０】
また、符号化時とモード選択時の処理パラメータは近い値であるほど予測性能は高いという観点から、動き探索とモード選択処理を２度に分けて行う方法も有効と言える。例えば、一度中間結果を全体管理処理部に集め、全体のバランスをとった上で、予測パラメータ（特に、量子化パラメータ）を微修正し、最終的な動き探索やモード選択処理を行う。モード選択情報の圧縮方法は、例えば、ＡＶＣに定義されている可変長符号表を適用した可変長符号化などを用いる。
【００９１】
次に、第１の実施の形態の全体管理部１０−１の処理を図７のフローチャートを参照して説明する。
【００９２】
まず、全体管理部１０−１は、初期設定として、
１）各計算リソースの処理分担設定と処理分担の通知
２）ピクチャヘッダ及びスライスヘッダ情報の設定と符号化
３）入力画像の分割及び各モード選択処理部２０へ割当
４）予測パラメータの設定
の４つの処理をピクチャ毎に実行する（処理３０１）。
【００９３】
予測パラメータには、量子化パラメータと制約情報（ピクチャタイプ、ピクチャヘッダ、スライスヘッダ、割り当て領域、探索範囲、選択を禁止する予測候補タイプ、符号量を誤差電力に換算する際のパラメータ、目標符号量等）が含まれており、各画像領域の特徴などを考慮してピクチャ毎に更新する。なお、先頭ピクチャでは符号化パラメータにはシーケンスヘッダも含まれる。
【００９４】
次に、分割した入力画像の可逆符号化処理及び予測パラメータの符号化処理を実行する（処理３０２）。これらの処理によって生成される符号化データは全体管理部１０−１の所定の場所（例えば、データメモリ部１２）に保存される。
【００９５】
次に、可逆符号化した分割入力画像データと符号化した予測パラメータデータとの接続サイトの情報（例えば、アドレスなどデータ保存場所の情報）を各モード選択処理部２０（各モード選択用計算リソース）に通知する（処理３０３）。なお、各データはリアルタイムで各計算リソースに送信することも可能だが、各計算リソースによって処理時間が異なるので、本実施の形態ではデータの格納場所を通知し、各計算リソース側のタイミングでデータを取得する。
【００９６】
なお、モード選択処理部２０が処理を実行している間は、全体管理部１０−１の処理量は減少するので他の処理を実行することが可能である。例えば、全体管理部１０−１がモード選択処理の機能（可逆復号部、データ復号部、モード選択部、データ符号化部等）を備え、一部の画像領域のモード選択処理を受け持つようにしてもよい（処理３０４）。
【００９７】
そして、各モード選択処理部２０の処理が完了し、モード選択処理部２０の計算リソースからモード選択データの接続サイトの情報を受信し、モード選択データを取得する。取得したモード選択データは、各マクロブロックのモード選択情報に復号する（処理３０５）。このモード選択情報には、予測タイプ、動きベクトル、参照フレーム番号、量子化パラメータ、推定符号量が含まれる。
【００９８】
次に、各マクロブロックの符号化パラメータを設定すると共に、入力画像の可逆符号化と符号化パラメータの符号化を実行する（処理３０６）。符号化パラメータには、量子化パラメータ、予測タイプ、動きベクトル、参照ピクチャ、制約情報（ピクチャタイプ、ピクチャヘッダ、スライスヘッダ、量子化器の設計パラメータ）が含まれており、量子化パラメータは、目標ビットレートや画像アクティビティーなどを考慮して、ピクチャ毎に変更する。先頭ピクチャでは符号化パラメータにはシーケンスヘッダも含まれる。
【００９９】
符号化した入力画像データと符号化パラメータデータとへの接続サイトは、符号化部３０−２に通知される（処理３０７）。
【０１００】
そして、符号化部３０−２における処理が完了すると、符号化部３０−２から通知を受けた現ピクチャの符号化データへの接続サイトの情報を受信して、符号化データを取得する（処理３０８）。
【０１０１】
この取得した符号化データへの接続サイトは、各モード選択処理部に通知される（処理３０９）。そして、現ピクチャの符号化データは、シーケンス全体の符号化データに合成される（処理３１０）。
【０１０２】
次に、モード選択処理部２０の処理の図８のフローチャートを参照して説明する。
【０１０３】
まず、図７の処理３０３によって通知された入力データである分割入力画像データと予測パラメータデータとへの接続サイト情報を受信し、各データを取得する（処理４０１）。
【０１０４】
次に、取得した分割入力画像データと予測パラメータデータを復号し、分割入力画像と予測パラメータを得て、それぞれをマクロブロック単位に分割する（処理４０２）。
【０１０５】
次に、動き推定処理、空間予測推定処理を実行し、各候補予測タイプの評価値を算出する（処理４０３）。
【０１０６】
そして、これらのデータと参照ピクチャ（例えば、フレームメモリ１１０に保存されている）とを用いて、分割領域内のマクロブロックの予測タイプを選択する（処理４０４）。
【０１０７】
次に、選択した予測タイプに基づいて各マクロブロックのモード選択情報を生成し、それらを符号化してモード選択データを生成する（処理４０５）。このモード選択データはモード選択処理部２０の所定の場所（例えば、フレームメモリ１１０）に保存される。
【０１０８】
そして、保存されたモード選択データへの接続サイト情報を全体管理部１０−１に通知する（処理４０６）。
【０１０９】
その後、図７の処理３０９によって通知された全体管理部１０−１から符号化データの接続サイト情報を受信し、符号化データを取得する（処理４０７）。
【０１１０】
取得した符号化データは、復号され（例えば、データ復号部２２）、次のピクチャの符号化処理のために、参照ピクチャと参照情報とを特定の場所（例えば、フレームメモリ１１０）に保存する（処理４０８）。
【０１１１】
なお、処理４０３及び処理４０４については、全体管理部１０−１からのフィードバックによって受け取った量子化パラメータを変更して再び処理を行ってもよい。このフィードバック時は、動き探索を行わず推定符号量のみを算出することで演算量が削減できる。また、処理４０３及び処理４０４については、途中結果を１度全体管理部１０−１に通知し、予測パラメータの微修正を行った後、最終的な予測タイプを決定するような２パス構造としてもよい。このように、本発明の実施の形態は様々な画質向上アルゴリズムに適用することができる。
【０１１２】
次に、符号化部３０−２の処理の流れを図９のフローチャートを参照して説明する。
【０１１３】
まず、全体管理部１０−１から、符号化パラメータデータ及び入力画像データへの接続サイト情報を受信し、各データを取得する（処理５０１）。
【０１１４】
次に、符号化パラメータデータを符号化パラメータに復号し、入力画像データを入力画像に復号する（処理５０２）。
【０１１５】
そして、復号した各マクロブロックの符号化パラメータに基づいて、符号化処理を実行する。このとき同時に局部復号処理を実行し、参照ピクチャと参照情報を保存する（処理５０３）。
【０１１６】
最後に符号化データへの接続サイト情報を全体管理部１０−１に通知する（処理５０４）。
【０１１７】
次に、第１の実施の形態の計算リソースの態様について説明する。
【０１１８】
図１０は、図１に示す動画符号化装置の計算リソースをマルチコアプロセッサによって構成した例である。
【０１１９】
マルチコアプロセッサとは、１つの計算装置内に複数の内部メモリを持つプロセッサを有しており、各プロセッサに計算リソースを割り当てるものである。具体的には、マルチコアプロセッサは、内部情報をプログラムや命令により制御可能なメモリとしてバスに接続されている外部メモリ８１０、制御処理を行う計算リソースとしてのプロセッサ（８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ）及び各プロセッサに含まれている内部メモリ（８２１ａ、８２１ｂ、８２１ｃ、８２１ｄ）によって構成されている。
【０１２０】
そして、プロセッサ８２０ａを全体管理部に割り当て、８２０ｂと８２０ｃをモード選択処理部に割り当て、８２０ｄを符号化部に割り当て、各プロセッサで処理を分担する。特に、マルチコアプロセッサでは、複数の計算リソースが各々所有する必要のある共有データ（参照ピクチャ、参照情報、符号化データ）を外部メモリに格納するようにプログラムを設計することで、共有データの生成処理を１個のプロセッサのみに限定できるという特徴がある。なお、本構成では、計算リソースの種別に関わらず、ピクチャ単位で計算リソースの分担を入れ替えることも可能である。
【０１２１】
図１１は、図１に示す動画符号化装置の計算リソースをネットワークに接続された複数のコンピュータによって構成した例である。コンピュータ８１ａを全体管理部に割り当て、８１ｂと８１ｃをモード選択処理部に割り当て、８１ｄを符号化部にそれぞれ割り当てる。これらの計算リソース（コンピュータ）はネットワーク８０によって接続され、互いに通信を行っている。
【０１２２】
図１２は、図１に示す動画符号化装置を、このプログラムパッケージを用いて構成した例である。
【０１２３】
プログラムパッケージは、各計算リソースにあらかじめプログラムをインストールしておく方法、特定の計算リソースにプログラムをインストールし、プログラムから他の計算リソースに必要なモジュールのみを分配するという方法を用いる。
【０１２４】
まず、プロセッサ８２２ａにプログラムパッケージをインストールする。プロセッサ８２２ａはプログラムパッケージ内の初期化処理に従って、処理を実行するプログラムである実行モジュール（全体管理部、モード選択処理部、符号化部）を外部メモリに保存する。その後プロセッサ８２２ａは、自らが全体管理部となり、モジュール１を内部メモリ８２３ａに取り込み実行する。次に、８２２ａは、他のプロセッサへの処理分担に従って、外部メモリから各プロセッサに必要なモジュールを提供する。モジュールを提供されたプロセッサ８２２ｂ〜８２２ｃにおいてモジュールを実行する。
【０１２５】
また、図１１のようにネットワークを介してコンピュータが接続されている場合には、プログラムパッケージがインストールされたコンピュータが初期化処理を行い、他のコンピュータに必要なモジュール（又は、全てのモジュール）を提供する。よって、各計算リソースに予めプログラムをインストールする必要はなく、必要に応じて処理が適宜行われる。
【０１２６】
以上説明したように、第１の実施の形態の動画符号化装置では、システムを管理する全体処理部１０−１、予測モードの選択処理を行う複数のモード選択処理部（２０ａ、２０ｂ、２０ｃ…）、データの符号化処理を行う符号化部３０−２を備えたので、多くの演算時間を必要とする予測モードの選択処理を並列して実行することができ、動画像の符号化処理を効率よく行うことができる。さらに、各計算リソース間のデータの授受の際にデータを符号化して送るので、ネットワークやバスを効率よく使用でき、システム全体の処理効率を高めることができる。
【０１２７】
次に、本発明の第２の実施の形態について説明する。
【０１２８】
図１３は、第２の実施の形態の動画符号化装置の構成を示すブロック図である。
【０１２９】
第２の実施の形態は、第１の実施の形態と比較すると、各計算リソースの処理の分担が異なる。具体的には、全体管理部１０−２の内部に符号化部１８が備えられ、１つの計算リソースで全体処理と符号化処理を行う。また、第１の実施の形態では、全体管理部１０−１では、入力画像を可逆圧縮して符号化部３０−２に出力していたが、全体管理部１０−２では、入力画像は可逆圧縮せずに符号化部３０−１に入力される。符号化部３０−１では生成した符号化データをデータメモリ１２に保存する。なお、第１の実施の形態と同一の作用を行う構成には同一の符号を付し、その説明は省略する。
【０１３０】
次に、第２の実施の形態の符号化部３０−１の構成を図１４のブロック図を参照して説明する。
【０１３１】
符号化部３０−１には、入力画像と符号化パラメータが圧縮されずに入力される。そのため、前述した第１の実施の形態の符号化部３０−２（図３）と比較して、可逆復号部３３に代わってブロック分割部１０１が設けられ、データ復号部３２に代わってデータ分割部３１が設けられている。
【０１３２】
ブロック分割部１０１に入力された入力画像はマクロブロックに分割され、符号化順に差分処理部１０３に出力される。データ分割部３１に入力された符号化パラメータは、入力された符号化パラメータのうち、量子化パラメータと量子化器の設計パラメータを量子化部１０５に、ピクチャタイプ、予測タイプ、参照ピクチャ番号、動きベクトルをスイッチャ１１４に振り分ける。以降の処理は前述した第１の実施の形態の符号化部３０−２（図３）の処理と同様であるので説明を省略する。
【０１３３】
次に、第２の実施の形態の全体管理部１０−２の処理の図１５のフローチャートを参照して説明する。なお、前述した図７と同じ番号の処理については説明を省略する。
【０１３４】
処理３１１では、処理３０５におけるモード選択データ復号後、各マクロブロックの符号化パラメータ設定と共に、その符号化パラメータに従って符号化処理を実行し、符号化データを生成する。同時に局部復号処理を実施し、参照ピクチャと参照情報を特定の場所（例えば、データメモリ１２）に保存する。
【０１３５】
なお、第２の実施の形態の動画符号化装置を、マルチコアプロセッサによって構成する場合は（図１０参照）、符号化部３０−１のフレームメモリのデータを外部メモリ８１０に保存するようにプログラムを設計しておけば、各モード選択処理部における局部復号処理を省略することができる。しかし、外部メモリ８１０のアクセス速度は内部メモリ８２１のアクセス速度よりも遅いため、それらの使い分けには注意が必要である。
【０１３６】
また、図１１に示すようにネットワークに接続された複数のコンピュータによって構成する場合は、コンピュータ８１ａを全体管理部に割り当て、８１ｂと８１ｃをモード選択処理部に割り当て、８１ｄを符号化部にそれぞれ割り当てる。
【０１３７】
なお、前述した構成では、計算リソースの種別に関わらず、ピクチャ単位で計算リソースの分担を入れ替えることも可能である。
【０１３８】
以上説明したように、第２の実施の形態の動画符号化装置では、第１の実施の形態の効果に加え、比較的処理の負荷の小さい全体処理部の計算リソースに符号化部３０−１を取り込むことで、ネットワークやバスの帯域制限等を軽減し動画符号化装置全体の処理効率を上げることができる。
【０１３９】
次に、第３の実施の形態について説明する。
【０１４０】
第１の実施の形態及び第２の実施の形態では、計算リソース間のデータ交換をスムーズに行うために、交換データを圧縮（符号化）してからネットワーク又はバスに送るように構成している。しかし、計算リソース間のネットワーク又はバスの帯域幅が十分広い場合にはデータを圧縮せずにデータ交換を行った方が符号化、復号化をする必要がなくなるので全体として高速に処理することができる。
【０１４１】
そのため、前述した第１の実施の形態の動画符号化装置（図１）又は第２の実施の形態の動画符号化装置（図１３）と比較して、全体管理部１０−１に代わって全体管理部１０−３（図１６）が設けられ、モード選択処理部２０−２（図４）に代わってモード選択処理部２０−１（図１７）が設けられている。
【０１４２】
いずれの計算リソースも可逆符号化部（図１の１６）、データコード部（図１の２４）、可逆復号部（図１の２３）を持たない。なお、この交換データの符号化、復号化以外の処理は前述した第１の実施の形態及び第２の実施の形態と同様のため、説明は省略する。
【０１４３】
以上説明したように、第３の実施の形態では、第１又は第２の実施の形態の効果に加え、計算リソース間のネットワーク又はバスの帯域幅が十分広い場合に、交換データを圧縮（符号化）することなくデータ交換を行うので、符号化、復号化の処理をする必要がなくなり、システム全体として高速に処理することができる。
【０１４４】
次に、本発明の第４の実施の形態として、移動通信端末（例えば、携帯電話機）を用いて符号化処理を実施する場合について説明する。
【０１４５】
この第４の実施の形態として、１台の携帯電話機でマルチコアプロセッサによってシステムを構成する場合と、複数の携帯電話機を利用して動画符号化装置を構成する場合の２つの形態をとることができる。
【０１４６】
まず、前者の１台の携帯電話を使用してマルチコアプロセッサを行う場合について説明する。携帯電話では消費電力の問題からバス速度を遅くする（回線帯域を小さくする）よう構成されている。そのため、データをやり取りする回数をなるべく抑え、処理速度の低減を抑える必要がある。そこで、複数の演算リソースにて並列化する処理を限定するように構成することでデータのアクセスを抑制する。例えば、全体の処理の中で最も多くの演算時間を要する動き探索のみを複数のプロセッサによって分散処理を行い、空間予測推定処理とモード選択処理は全体管理部にて実行するとよい。
【０１４７】
複数の参照ピクチャを動き検索の候補とする符号化方式では、各演算リソースに入力画像の部分領域ではなく１枚の参照ピクチャのモード選択処理又は動き探索処理を割り当てる方法が有効である。この場合、内部メモリの効率的な利用とモード選択用の演算リソースにおける局部復号処理量を削減することができる。
【０１４８】
仮に現在の入力画像を第４ピクチャ、候補参照ピクチャを３枚、モード選択処理用のプロセッサを３個とする。このとき、第１ピクチャの符号化データは第１のプロセッサのみで局部復号し、第２ピクチャの符号化データは第２のプロセッサのみで局部復号し、第３ピクチャの符号化データは第３のプロセッサのみで局部復号する。第４ピクチャの入力画像は外部メモリに置き、マクロブロック毎に各プロセッサに配給する。第４ピクチャの動き検索処理又はモード選択処理の際には、第１〜第３プロセッサにそれぞれ第１〜第３ピクチャを参照ピクチャとして割り当てる。各参照ピクチャに対する選択モード情報を受信した全体管理部は、各マクロブロックについて、最終的な予測タイプ選択と参照ピクチャを選択し、最終的に選択した参照ピクチャが保存されているプロセッサに予測マクロブロック又は差分マクロブロックを要求する。
【０１４９】
なお、選択モード情報の中に予測マクロブロックあるいは差分マクロブロックを予め含めておいてもよい。また、１個のプロセッサが担当する参照ピクチャは１枚に限定されず、空間予測推定処理については、１個のプロセッサが受け持っても、複数のプロセッサに処理を分担させてもよい。
【０１５０】
第４ピクチャの符号化データは第５ピクチャの符号化前に第１のプロセッサのみで局部復号する。この処理を繰り返すことにより、各プロセッサの内部メモリに保存する参照ピクチャを１枚に削減することができる。
【０１５１】
次に、第４の実施の形態の処理を説明する。
【０１５２】
なお、前述した第１モード選択処理は参照ピクチャ単位のモード選択、第２モード選択処理はすべての参照ピクチャを対象として、最適な予測タイプ、参照ピクチャ番号、動きベクトル、の組み合わせを選択処理する。
【０１５３】
図１８は、全体管理部の処理を示すフローチャートである。なお、ここでは第２の実施の形態と同様に全体処理部１０−２が符号化部３０−１を含んでいる構成を例にして説明する。
【０１５４】
まず、初期設定として、
１）ピクチャヘッダ（先頭ピクチャではシーケンスヘッダ）及びスライスヘッダ情報の設定と符号化
２）予測パラメータの設定
をピクチャ毎に実行する（処理３２１）。
【０１５５】
予測パラメータの設定は、図７の処理３０１と同様であるが、本実施形態では処理をマクロブロック単位で実行するため、更新のタイミングはマクロブロック単位で実行することもできる。そのため、処理３２２〜処理３２７まではマクロブロック単位で処理がされる。
【０１５６】
次に、次の符号化対象入力マクロブロックの可逆符号化及びそのマクロブロックに対する予測パラメータの符号化処理を実行する（処理３２２）。
【０１５７】
そして、圧縮したマクロブロックデータ及び予測パラメータデータへの接続サイト情報を各モード選択用計算リソースに通知する（処理３２３）。通知を受けた各モード選択用計算リソースがそれぞれの内部メモリに保存されている参照ピクチャに対して動き推定処理を実行している間に、全体管理部では空間予測推定処理を実行し、各候補空間予測タイプの評価値を計算する。そして、第１モード選択処理として、最適な空間予測タイプを決定する。
【０１５８】
なお、全体管理用計算リソースが１枚の参照ピクチャに対する動き推定処理を受け持ってもよい。
【０１５９】
各モード選択用計算リソースは、処理が完了するとモード選択データへの接続サイト情報を全体制御部に通知する。通知を受けた全体処理部は、各参照ピクチャに対する第１のモード選択データを取得し、これを復号化し第１モード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、量子化パラメータ、推定符号量、評価値）を得る（処理３２５）。
【０１６０】
ここで、全体管理部は、第２のモード選択処理を実施し、入力マクロブロックに対する最終的な予測タイプを決定する。具体的には、各参照ピクチャに対する第１モード選択情報及び空間予測における第１モード選択情報に含まれる評価値を比較して最適な予測タイプを選択する。選択された予測タイプ、動きベクトル、参照ピクチャ番号（動きベクトルと参照ピクチャは空間予測タイプが選択された場合には含まれない）を第２モード選択情報として符号化し、第２モード選択データとして、各モード選択用計算リソースに対して接続サイト情報を通知する（処理３２６）。
【０１６１】
各モード選択処理部での処理が終了し、差分マクロブロックデータへの接続サイト情報の通知を受信し、差分マクロブロックを受け取り復号する（処理３２７）。なお、全体管理部が、参照ピクチャの動き予測タイプ又は空間予測タイプを担当した場合には、この処理３２７は省略される。
【０１６２】
そして、全体管理部は、すべてのマクロブロックに対して処理３２２から処理３２７の処理を実行したのち、各マクロブロックの符号化パラメータ設定と共に、その符号化パラメータに従って符号化処理を実行し、符号化データを生成する。またこれと同時に局部復号処理を実行し、参照ピクチャと参照情報を保存する（処理３２８）。
【０１６３】
次に、全体管理部は、処理３２７で取得した符号化データへの接続サイトをモード選択用計算リソースに通知した後（処理３２９）、現ピクチャの符号化データをシーケンス全体の符号化データに合成する（処理３３０）。なお、処理３２８、処理３２９、処理３３０は、第２モード選択情報と差分マクロブロックが得られたマクロブロックから順次実行できるため、すべてのマクロブロックの処理を待たずに実行することも可能である。この場合、処理３３０のデータ合成には各マクロブロックの符号化データの合成処理も含まれる。
【０１６４】
次に、図１９を参照してモード選択処理部の処理を説明する。
【０１６５】
モード選択処理部の処理は、大きく分けると、マクロブロック単位に実行される処理４２１〜処理４２７と、ピクチャ単位で実行される処理４２８〜処理４３０とに大別することができる。
【０１６６】
まず、入力データである入力マクロブロックデータと予測パラメータデータの保存されている接続サイト情報を受信し、各データを取得する（処理４２１）。
【０１６７】
次に、取得した入力マクロブロックデータと予測パラメータデータとをそれぞれ復号し、入力マクロブロックと予測パラメータを得る（処理４２２）。
【０１６８】
次に、内部メモリに保存されている参照ピクチャに対して動き推定処理を実行し、各候補動き予測タイプの評価値を算出する（処理４２３）。
【０１６９】
そして、第１モード選択処理として、内部メモリ内の参照ピクチャに対する最適な動き予測タイプを決定する。選択した予測タイプに基づいて第１のモード選択情報（予測タイプ、動きベクトル、参照ピクチャ番号、量子化パラメータ、推定符号量、評価値）を生成し、これをさらに符号化して第１モード選択データとする。そして、全体管理部に対して第１モード選択データへの接続サイト情報を通知する（処理４２４）。
【０１７０】
その後、モード選択処理部は、全体管理部から通知された接続サイト情報により、第２モード選択データを受信し、これを復号する（処理４２５）。
【０１７１】
次に、復号した第２モード選択情報の参照ピクチャ番号が内部メモリに保存されている参照ピクチャと一致するか否かを判定する（処理４２６）。一致する場合には、第２モード選択情報と参照ピクチャを用いて差分マクロブロックを生成し、差分マクロブロックデータに符号化する。差分マクロブロックデータへの接続サイトは、全体管理部に通知される（処理４２７）。これらの処理４２１〜４２７が入力画像内の各マクロブロックに対して実行される。
【０１７２】
なお、処理４２２〜処理４２４は、全体管理部からのフィードバックにより量子化パラメータを更新して再処理してもよい。この際、フィードバック時は動き探索を行わず推定符号量のみを算出すると演算量を削減することができる。また、前述した図７の処理と同様に、途中結果を１度全体管理部に通知し、予測パラメータの微修正後、最終的な予測タイプを決定する２パス構造としてもよい。
【０１７３】
その後、モード選択処理部では、全体管理部から通知された符号化データの接続サイト情報を受信し、取得する（処理４２８）。
【０１７４】
ここで、取得した内部メモリに保存されている参照ピクチャを更新する順番であり、参照ピクチャを更新することができるかを判定し（処理４２９）、更新することができる場合には、通知された接続サイトから符号化データを取得し、これを復号して、保存されている参照ピクチャと入れ替える（処理４３０）。
【０１７５】
なお、前述した説明では、空間予測タイプの評価を全体管理部にて実行しているが、特定のモード選択処理部が受け持っても、各モード選択処理部が分散して受け持ってもよい。各計算リソースの処理能力のばらつきが少ない（相違が少ない）場合には分散して受け持つ方が処理上有利である。
【０１７６】
また、前述した説明では、各モード選択処理部が内部メモリに保有する参照ピクチャを１枚としているが、２枚以上の場合でも本構成は実施可能である。
【０１７７】
次に、複数の携帯電話機を利用して本発明の動画像符号化装置を構成する場合について説明する。この場合、端末間の通信は、例えばブルートゥースや赤外線通信等、携帯無線網を介さない方法（有線でもよい）を用いることで、ローカル処理が可能になる。
【０１７８】
図２０に、第４の実施の形態において、複数の携帯電話機を利用する実施形態の一例を示す。この端末９０１〜端末９０４には、それぞれ、所有者からの入力を受け付ける入力部９１０（９１０−１、９１０−２、９１０−３、９１０−４）を備えている。
【０１７９】
例えば端末９０１が全体管理部として、携帯電話機に付属するカメラによって映像を撮影し、端末９０２〜端末９０４にモード選択処理を実行させるように構成する。各端末は、処理過程にて符号化データを入手するため、処理分担に関わらず撮影映像を得ることができる。なお、分散符号化処理中の端末にかかる演算負荷は、通話等の携帯電話の通常の処理に影響を及ぼす可能性がある。そこで、本発明の分散符号化を適用するための携帯電話の機能として、処理開始時、処理終了時、通話着信時のそれぞれの動作を決めるため、以下のような機能を追加する。
【０１８０】
まず、全体管理端末（端末９０１）から複数の携帯電話に計算リソースの割り当て（リソース貸与）の要求を通知する。この要求の通知手段としては、通話、電子メール、赤外線通信、ケーブル接続による同期信号の発生等を用いる。要求を受けた端末（端末９０２〜９０４）は要求情報を画面に表示し、所有者に対してリソース貸与の入力部９１０を介しての可否入力を促す。この際、リソース貸与時動作の選択肢として、
１）位置確認のための電波送受信のみをオフし（携帯無線回線との切り離し）ローカル処理のみを可能とするモード
２）着信時に電話を取ると、全体管理端末にリソース貸与をやめることを通知するモード
３）リソース貸与のまま通話するモード
４）通話着信時に選択を促すモード
等を用意しておき、ユーザの好みによってリソース貸与の条件を決めることが可能となる。
【０１８１】
符号化終了時には、全体管理端末からリソースを貸与した携帯電話機に処理の終了が通知される。終了通知を受けた端末は、通常モードに戻ると共に、処理終了の通知を画面に表示する。この際、撮影した符号化データに関する情報も通知する。
【０１８２】
以上のような構成によって、映像の高画質録画かつ複数の携帯電話機での同時録画が可能となる。
【０１８３】
上記のように構成された第４の実施の形態では、携帯電話機を複数の計算リソース（１台の携帯電話機をマルチコアプロセッサによって処理を分割する、又は複数の携帯電話機）に分け、各々について、全体処理部、モード選択処理部、符号化部に割り当てることで、第１ないし第３の実施の形態同様、動画像の符号化を効率よく行うことができる。
【０１８４】
なお、以上説明した本発明の実施の形態では、符号化方式はＡＶＣに限定されず、予測モードの選択と予測誤差情報の符号化方式にはさまざまな符号化方式を適用することができる。
【０１８５】
また、第１及び第２の実施の形態では、入力画像または入力マクロブロックに可逆符号化を適応しているがこれに限定されず、非可逆の符号化方法でもよい。特に、符号化レートが低い場合や演算速度の遅いシステムに本構成を導入する場合には、非可逆方式によりバスの混雑をさらに緩和することができる。
【０１８６】
【発明の効果】
本発明により、多くの候補予測タイプを持つ符号化方式においても、高画質な圧縮映像データをリーズナブルな時間で作成することが可能となる。
【０１８７】
また、多くの演算時間の要する予測モード選択処理に、画像の特徴変化に応じた効率的な並列分散処理を適用することが可能となる。例えば、局所的に動き推定時の探索範囲を変える場合にも、マクロブロック間の演算量の差を考慮した処理分担を行うことが可能となる。
【０１８８】
さらに、バスを混雑させることなく予測に使用する参照ピクチャや参照情報（動きベクトルなど）を複数の計算リソースにて共有することが可能となる。その結果、各計算リソースの画像処理領域をピクチャ単位で変動させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の動画符号化装置のブロック図である。
【図２】本発明における入力画像分割の説明図である。
【図３】本発明の第１の実施の形態の符号化部のブロック図である。
【図４】本発明の第１の実施の形態のモード選択処理部のブロック図である。
【図５】本発明の第１の実施の形態のデータ復号部のブロック図である。
【図６】予測動きベクトルの生成の説明図である。
【図７】本発明の第１の実施の形態の全体管理部の処理のフローチャートである。
【図８】本発明の第１の実施の形態のモード選択処理部の処理のフローチャートである。
【図９】本発明の第１の実施の形態の符号化部の処理のフローチャートである。
【図１０】本発明の第１の実施の形態の計算リソースの構成例の説明図である。
【図１１】本発明の第１の実施の形態の計算リソースの別な構成例の説明図である。
【図１２】本発明の第１の実施の形態の計算リソースの別な構成例の説明図である。
【図１３】本発明の第２の実施の形態の動画符号化装置のブロック図である。
【図１４】本発明の第２の実施の形態の符号化部のブロック図である。
【図１５】本発明の第２の実施の形態の全体管理部の処理のフローチャートである。
【図１６】本発明の第３の実施の形態の全体管理部の処理のフローチャートである。
【図１７】本発明の第３の実施の形態のモード選択処理部の処理のフローチャートである。
【図１８】本発明の第４の実施の形態の全体管理部の処理のフローチャートである。
【図１９】本発明の第４の実施の形態のモード選択処理部の処理のフローチャートである。
【図２０】本発明の第４の実施の形態の計算リソースの構成例の説明図である。
【図２１】マクロブロック分割の説明図である。
【図２２】マクロブロック構成の説明図である。
【図２３】従来の動画符号化装置のブロック図である。
【図２４】ＤＣＴ変換におけるブロックの説明図である。
【図２５】４×４イントラ予測に用いる符号化済み隣接画素の説明図である。
【図２６】動き補償の原理の説明図である。
【図２７】動き補償のブロック単位の説明図である。
【符号の説明】
１０−１、１０−２、１０−３  全体管理部
１１  分割部
１２  データメモリ
１３  制御部
１４  可逆符号化部
１５  命令コード部
１６  可逆符号化部
１７  モード選択データ復号部
２０ａ、２０ｂ、２０ｃ、２０−１、２０−２、２１  モード選択処理部
２２  データ復号部
２３  可逆復号部
２４  データコード部
２５  ブロック分割
２６  予測データ符号部
３０−１、３０−２  符号化部
３２  データ復号部
３３  可逆復号部
１０１  ブロック分割
１０２  制御部
１０３  差分処理部
１０４  ＤＣＴ部
１０５  量子化部
１０６  ＶＬＣ部
１０７  逆符号化部
１０８  逆ＤＣＴ部
１０９  加算処理部
１１０  フレームメモリ
１１１  空間予測推定部
１１２  動き推定部
１１３  モード選択部
１１４  スイッチャ
１１５  空間予測部
１１６  動き補償部
２２１  ＶＬＤ部
【図１】
2005005844.tif 000003
【図２】
2005005844.tif 000004
【図３】
2005005844.tif 000005
【図４】
2005005844.tif 000006
【図５】
2005005844.tif 000007
【図６】
2005005844.tif 000008
【図７】
2005005844.tif 000009
【図８】
2005005844.tif 000010
【図９】
2005005844.tif 000011
【図１０】
2005005844.tif 000012
【図１１】
2005005844.tif 000013
【図１２】
2005005844.tif 000014
【図１３】
2005005844.tif 000015
【図１４】
2005005844.tif 000016
【図１５】
2005005844.tif 000017
【図１６】
2005005844.tif 000018
【図１７】
2005005844.tif 000019
【図１８】
2005005844.tif 000020
【図１９】
2005005844.tif 000021
【図２０】
2005005844.tif 000022
【図２１】
2005005844.tif 000023
【図２２】
2005005844.tif 000024
【図２３】
2005005844.tif 000025
【図２４】
2005005844.tif 000026
【図２５】
2005005844.tif 000027
【図２６】
2005005844.tif 000028
【図２７】
2005005844.tif 000029