(57)【要約】【課題】予測処理時に画像データのＤＣＴ係数を保持するためのメモリ領域を少なくする。【解決手段】メモリブロック４１を、必要なＤＣ成分を格納するラインメモリ５１と、参照ブロックメモリＹ０〜Ｙ３、Ｃｂ、Ｃｒと、前ブロックメモリと、セレクタと、各メモリへのＤＣ成分の記憶とラインメモリ５１に記憶する際のアドレス制御とを行うメモリ制御ブロック４３とから構成し、ブロック１の差分値を算出する際にはブロック１のＤＣ成分をＹ０に格納し、ブロック８のＤＣ成分をＹ１に格納し、ブロック６のＤＣ成分をＹ２に格納し、ブロック５のＤＣ成分をＹ３に格納する。続くブロック２の差分値を算出する際には、Ｙ０とＹ２を保持し、Ｙ３にブロック７のＤＣ成分を格納し、Ｙ１にブロック２のＤＣ成分を格納する。【選択図】　図６
2004112337.tif 000002
【特許請求の範囲】
【請求項１】
離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換方法において、画像内予測符号化の際に、
マクロブロックを構成する輝度成分及び色差成分の８画素×８ラインブロック毎に離散コサイン変換係数の直流係数を格納する記憶部から予測対象とするブロックの直流係数と、該対象ブロックの周囲のブロックの直流係数を選択する選択工程と、
上記選択された直流係数から上記対象ブロックの予測値を算出する予測演算工程と、
上記選択工程において選択された直流係数を読み出し、上記予測演算工程に送るとともに次の対象ブロックの直流係数を上記記憶部に取り込む制御を行う記憶制御工程と
を有することを特徴とする画像信号処理方法。
【請求項２】
上記記憶部は、上記マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、該予測対象ブロックの周囲３ブロックの直流係数、及び上記マクロブロックの色差成分の８画素×８ラインブロックの直流係数を記憶する一時記憶手段と、
上記予測対象ブロックの隣接ブロックであって１つ上のライン上にあるブロックの直流係数を記憶するラインブロック記憶手段と、
上記予測対象ブロックの隣接ブロックであって１つ前の対象ブロックであるブロックの直流係数を記憶する前ブロック記憶手段とを備え、
上記記憶制御工程からの制御信号に基づいて上記予測演算工程にて必要な直流係数を、上記一時記憶手段、上記ラインブロック記憶手段及び上記前ブロック記憶手段から選択する選択工程と
を有することを特徴とする請求項１記載の画像信号処理方法。
【請求項３】
上記記憶制御工程では、
上記一時記憶手段に記憶された上記マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、該予測対象ブロックの周囲３ブロックの直流係数、及び上記マクロブロックの色差成分の８画素×８ラインブロックの直流係数のうち、上記次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを上記一時記憶手段に保持し、
上記一時記憶手段に記憶されたブロックのうち、上記次の予測対象ブロックの１つ前の対象ブロックの直流係数を上記前ブロック記憶手段に記憶し、
上記予測対象ブロックで使用され保持されたブロック以外で上記次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを上記一時記憶手段にできた空き容量に格納する信号を生成する
ことを特徴とする請求項１記載の画像信号処理方法。
【請求項４】
上記予測演算工程は、
上記対象ブロックの左隣のブロックの直流係数と該左隣ブロックの直上のブロックの直流係数との差である垂直成分差を演算する工程と、
上記左隣ブロックの直上のブロックの直流係数と上記対象ブロックの直上のブロックの直流係数との差である水平成分差を演算する工程と、
上記垂直成分差の絶対値と該水平成分差の絶対値とを比較する演算工程とを有し、
上記垂直成分差の絶対値が上記水平成分差の絶対値より小さい場合には、上記対象ブロックの直上のブロックを上記対象ブロックの予測ブロックとして直流係数の予測値を決定し、
上記水平成分差の絶対値が上記垂直成分差の絶対値より小さい場合には、上記左隣ブロックを上記対象ブロックの予測ブロックとして直流係数の予測値を決定する
ことを特徴とする請求項１記載の画像信号処理方法。
【請求項５】
上記画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることを特徴とする請求項１記載の画像信号処理方法。
【請求項６】
離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換装置において、画像内予測符号化の際に、
マクロブロックを構成する輝度成分及び色差成分の８画素×８ラインブロック毎に離散コサイン変換係数の直流係数を格納する記憶部と、
上記記憶部から選択された予測対象とするブロックの直流係数と、該対象ブロックの周囲のブロックの直流係数とから該対象ブロックの予測値を算出する予測演算部と、
上記記憶部から対象ブロック及び該対象ブロックの周囲のブロックの直流係数を読み出して上記予測演算部に送るとともに次の対象ブロックの直流係数を取り込んで記憶する制御を行う記憶制御手段と
を備えることを特徴とする画像信号処理装置。
【請求項７】
上記記憶部は、上記マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、該予測対象ブロックの周囲３ブロックの直流係数、及び上記マクロブロックの色差成分の８画素×８ラインブロックの直流係数を記憶する一時記憶手段と、
上記予測対象ブロックの隣接ブロックであって１つ上のライン上にあるブロックの直流係数を記憶するラインブロック記憶手段と、
上記予測対象ブロックの隣接ブロックであって１つ前の対象ブロックであるブロックの直流係数を記憶する前ブロック記憶手段と、
上記記憶制御手段からの制御信号に基づいて上記予測演算部にて必要な直流係数を、上記一時記憶手段、上記ラインブロック記憶手段及び上記前ブロック記憶手段から選択する選択手段と
を備えることを特徴とする請求項６記載の画像信号処理装置。
【請求項８】
上記記憶制御手段は、
上記一時記憶手段に記憶された上記マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、該予測対象ブロックの周囲３ブロックの直流係数、及び上記マクロブロックの色差成分の８画素×８ラインブロックの直流係数のうち、上記次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを上記一時記憶手段に保持し、
上記一時記憶手段に記憶されたブロックのうち、上記次の予測対象ブロックの１つ前の対象ブロックの直流係数を上記前ブロック記憶手段に記憶し、
上記予測対象ブロックで使用され保持されたブロック以外で上記次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを上記一時記憶手段にできた空き容量に格納する信号を生成する
ことを特徴とする請求項６記載の画像信号処理装置。
【請求項９】
上記予測演算部は、
上記対象ブロックの左隣のブロックの直流係数と該左隣ブロックの直上のブロックの直流係数との差である垂直成分差と、上記左隣ブロックの直上のブロックの直流係数と上記対象ブロックの直上のブロックの直流係数との差である水平成分差と、上記垂直成分差の絶対値と該水平成分差の絶対値とを比較する減算手段を備え、
上記垂直成分差の絶対値が上記水平成分差の絶対値より小さい場合には、上記対象ブロックの直上のブロックを上記対象ブロックの予測ブロックとして直流係数の予測値を決定し、
上記水平成分差の絶対値が上記垂直成分差の絶対値より小さい場合には、上記左隣のブロックを上記対象ブロックの予測ブロックとして直流係数の予測値を決定する
ことを特徴とする請求項６記載の画像信号処理装置。
【請求項１０】
上記画像圧縮情報は、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることを特徴とする請求項６記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理方法及び画像信号処理装置に関し、特に、動画像データを光磁気ディスクや磁気テープ等の記録媒体に記録し、これを再生してディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように伝送路を介して送信側から受信側に動画像データを伝送し受信された動画像データを受信側で表示する場合や、これを編集して記録する場合等に用いて好適な画像信号処理方法及び画像信号処理装置に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システム等のように動画像データを伝送するシステムでは、伝送路を効率よく利用するために、画像のライン相関やフレーム間相関を利用して画像データを圧縮符号化している。
【０００３】
動画像の高能率符号化方式には、代表的なものとしてＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式がある。ＭＰＥＧ方式は、蓄積用動画像符号化方式である。これは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、標準案として提案されたものであり、動き補償予測符号化とＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）符号化を組み合わせたハイブリッド方式が採用されている。ＭＰＥＧでは、様々なアプリケーションや機能に対応するために、幾つかのプロファイル及びレベルが定義されている。最も基本的なものがメインプロファイルレベル（ＭＰ＠ＭＬ：Ｍａｉｎ　Ｐｒｏｆｉｌｅ　ａｔ　Ｍａｉｎ　Ｌｅｖｅｌ）である。
【０００４】
図１２は、ＭＰＥＧ方式におけるＭＰ＠ＭＬのエンコーダ１００の一般的な構成例を示している。符号化すべき入力画像データは、フレームメモリ１０１に入力され、一時記憶される。
【０００５】
動きベクトル検出器１０２は、フレームメモリ１０１に記憶された画像データを、例えば１６画素×１６ラインで構成されるマクロブロック単位で読み出し、その動きベクトルを検出する。ここで、動きベクトル検出器１０２では、各フレームの画像データを、Ｉピクチャ（フレーム内符号化）、Ｐピクチャ（前方向予測符号化）、又はＢピクチャ（両方向予測符号化）のうち何れかとして処理する。
【０００６】
ＭＰＥＧ方式における画像の予測モードには、イントラ符号化（フレーム内符号化）、前方予測符号化、後方予測符号化、両方向予測符号化の４種類があり、Ｉピクチャはイントラ符号化され、Ｐピクチャはイントラ符号化又は前方予測符号化の何れかで符号化され、Ｂピクチャは、イントラ符号化、前方予測符号化、後方予測符号化、両方向予測符号化の何れかで符号化される。
【０００７】
動き補償器１０３は、動きベクトル検出器１０２から予想モードと動きベクトルの両方を受信すると、その予測モード及び動きベクトルにしたがって、フレームメモリ１０１に記憶されている符号化され、且つ既に局所復号された画像データを読み出し、この読み出された画像データを予測画像データとして演算器１０４及び１１１に供給する。
【０００８】
演算器１０４は、動きベクトル検出器１０２がフレームメモリ１０１から読み出した画像データと同一のマクロブロックをフレームメモリ１０１から読み出し、そのマクロブロックと、動き補償器１０３からの予測画像との差分を演算する。この差分値は、ＤＣＴ器１０５に供給される。
【０００９】
ＤＣＴ器１０５では、演算器１０４の出力データに対してＤＣＴ処理を施し、その結果得られるＤＣＴ係数を量子化器１０６に供給する。量子化器１０６では、バッファ１０８のデータ蓄積量（バッファ１０８に記憶されているデータの量：バッファフィードバック）に対応して量子化ステップ（量子化スケール）が設定され、この量子化ステップでＤＣＴ器１０５からのＤＣＴ係数を量子化する。この量子化されたＤＣＴ係数（以下、適宜、量子化係数という）は、設定された量子化ステップとともにＶＬＣ器１０７に供給される。
【００１０】
ＶＬＣ器１０７では、量子化器１０６より供給される量子化係数を、例えば、ハフマン符号等の可変長符号に変換しバッファ１０８に出力する。更に、ＶＬＣ器１０７は、量子化器１０６からの量子化ステップ、動きベクトル検出器１０２からの予測モード（イントラ符号化（画像内予測符号化）、前方予測符号化、後方予測符号化、又は両方向予測符号化のうち、何れが設定されたかを示すモード）及び動きベクトルも可変長符号化し、その結果得られる符号化データをバッファ１０８に出力する。
【００１１】
バッファ１０８は、ＶＬＣ器１０７からの符号化データを一時蓄積することにより、このデータ量を平滑化し、符号化ビットストリームとして、例えば伝送路に出力、又は記録媒体に記録する。
【００１２】
量子化器１０６によって出力される量子化係数と量子化ステップは、ＶＬＣ器１０７だけでなく、逆量子化器１０９にも供給される。逆量子化器１０９では、量子化器１０６からの量子化係数を同じく量子化器１０６からの量子化ステップにしたがって逆量子化する。これにより、量子化係数は、ＤＣＴ係数に変換される。このＤＣＴ係数は、ＩＤＣＴ器（逆ＤＣＴ器）１１０に供給される。ＩＤＣＴ器１１０では、ＤＣＴ係数を逆ＤＣＴ処理し、この処理の結果得られるデータを演算器１１１に供給する。
【００１３】
演算器１１１には、ＩＤＣＴ器１１０の出力データのほか、動き補償器１０３から演算器１０４に供給されている予測画像と同一のデータが供給されている。演算器１１１は、ＩＤＣＴ器１１０の出力データ（予測残差（差分データ））と、動き補償器１０３からの予測画像データとを加算することで、もとの画像データを局所復号し、この局所復号された画像データ（局所復号画像データ）を出力する。演算器１１１において得られた復号画像データ（局所復号画像データ）は、フレームメモリ１１２に供給されて記憶され、その後、インター符号化（前方予測符号化、後方予測符号化、両方向予測符号化）される画像に対する参照画像データ（参照フレーム）として用いられる。
【００１４】
現在では、画像を構成する物体（オブジェクト）毎のシーケンスであるビデオオブジェクト（ＶＯ：Ｖｉｄｅｏ　Ｏｂｊｅｃｔ）単位で符号化を行うＭＰＥＧ４方式がＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１において標準化されている。
【００１５】
ＭＰＥＧ４方式は、従来の映像／オーディオ信号の圧縮符号化に加え、静止画、ＣＧ（コンピュータグラフィクス）画像、分析合成系の音声符号化、ＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄａｔａ　Ｉｎｔｅｒｆａｃｅ）等による合成オーディオやテキストも含めた総合マルチメディアの符号化規格を目指したものである。
【００１６】
ＭＰＥＧ４方式では、基本的に符号化／復号化できる画像として、４：２：０フォーマットとよばれる画像フォーマットのみが規定されている。
【００１７】
この４：２：０フォーマットは、輝度Ｙの走査２本、水平方向の２画素に対して、色差Ｃｒ、Ｃｂがそれぞれ１画素ずつで割り当てられる画像フォーマット（すなわち、輝度Ｙの４画素に対して色差Ｃｒ、Ｃｂがそれぞれ１画素ずつ割り当てられる。）であり、その色差Ｃｒ、Ｃｂの位置は、輝度Ｙに対して同位置に存在する。
【００１８】
４：２：０フォーマットは、上述したように、輝度Ｙの４画素に対して色差Ｃｒ、Ｃｂがそれぞれ１画素割り当てられているため、輝度Ｙに対して色差Ｃｒ、Ｃｂの解像度が低くなる。そこで、ＭＰＥＧ４方式は、使用用途に応じて用いられ、例えば放送局等で求められる高画質高品位の画像では、４：２：０フォーマットではなく、４：２：２フォーマットや４：４：４フォーマットが用いられる。また、ＭＰＥＧ４方式では、画像の符号化だけではなく形状情報も符号化できるように規格化されている。逆に、４：２：２フォーマット、４：４：４フォーマットでは、形状情報をもった画像を符号化する方法には対応していない。
【００１９】
４：２：０フォーマットのブロックは、輝度又は色差毎の隣り合った、例えば８画素×８ラインから構成される。ＤＣＴ（離散コサイン変換）は、この単位で実行される。マクロブロックは、例えば、画像フォーマットがいわゆる４：２：０コンポーネントディジタル信号である場合、上下左右に隣り合った４つの輝度Ｙのブロックと、画像上では同じ位置に当たる色差Ｃｂ、Ｃｒそれぞれのブロック全部で６つのブロックで構成される。すなわち、ＭＰＥＧ４方式では、従来、４：２：０フォーマットのマクロブロックが符号化復号画像として定義されている。
【００２０】
ＭＰＥＧ４方式の画像符号化におけるＤＣＴ係数の差分値の算出方法は、本願出願人等によって開示されている（例えば、特許文献１参照。）。図１３に、ＤＣＴ係数差分化器１２０の例を示す。ＤＣＴ係数差分化器１２０は、ＶＬＣ器１０７の前段に設けられている。
【００２１】
ＤＣＴ係数差分化器１２０には、量子化されたＤＣＴ係数及び量子化スケール、形状情報、色差用形状情報、予測モードが入力される。予測モードは、イントラフラグ発生器１２１に入力される。イントラフラグ発生器１２１は、イントラ符号化を示す予測モードである場合のみイントラフラグ“１”を立てる。一方、量子化された６４個のＤＣＴ係数は、スイッチ１２２に供給される。スイッチ１２２は、イントラフラグが０の場合、被切換端子Ａ側を選択し、イントラフラグが１の場合、被切換端子Ｂ側を選択する。
【００２２】
したがって、予測モードがイントラ符号化（画像内予測）モードでない場合、ＤＣＴ係数は、スイッチ１２２の被切換端子Ａ側を介して図１２のＶＬＣ器１０７へ供給される。
【００２３】
ＤＣＴ係数予測器１２３は、スイッチ１２２より供給されたＤＣＴ係数の予測値との差分をとり、その差分値を図１２のＶＬＣ器１０７へと供給する。また、逆量子化器１２４では、後のＤＣＴ係数の予測に使用されるＤＣ成分及び一部のＡＣ成分を、図１２の逆量子化器１０９と同様の手段で逆量子化し、その結果をＤＣＴ係数予測モード蓄積メモリ１２５に供給する。
【００２４】
ＤＣＴ係数予測モード蓄積メモリ１２５は、上述したように、ＤＣＴ係数の予測に用いるＤＣ成分及び一部のＡＣ成分、更に予測モードを蓄積する。ここで蓄積された情報は、次の段のＤＣＴ係数予測値選択器１２６において使用される。
【００２５】
ＤＣＴ係数予測値選択器１２６では、ＤＣ成分とＤＣＴ係数予測蓄積メモリ１２５に保存された情報を用いて、ＤＣＴ係数の予測値及び予測ブロックの位置を出力し、その値をＤＣＴ係数予測器１２３に供給する。
【００２６】
ここでＤＣＴ成分予測値選択器１２６の動作を図１４に示すマクロブロックを用いて説明する。図１４は、ＤＣ成分の差分演算を行うブロックＸと、この差分演算を行う上でＤＣＴ係数を参照するブロックの位置関係を示している。
【００２７】
この図１４において、ブロックＸの左側に位置するブロックをブロックＡ、上に位置するブロックをブロックＣ、その左上に位置するブロックをブロックＢとする。また、ブロックＡのＤＣ成分をＦＡ［０］［０］、ブロックＢのＤＣ成分をＦＢ［０］［０］、ブロックＣのＤＣ成分をＦＣ［０］［０］とする。これらの値は、逆量子化されたＤＣ成分の値であり、量子化されたブロックＡ，Ｂ，ＣのＤＣ成分にイントラＤＣプレシジョン（ｉｎｔｒａ　ｄｃ　ｐｒｅｃｉｓｉｏｎ）、量子化スケールを用いて求められたＤＣ量子化ステップの値を積算して求められたものである。ここで、ブロックＸのＤＣ成分の差分値を求めるのに使用するブロックは、式（１）により決定される。
【００２８】
ｉｆ　　（｜ＦＡ［０］［０］−ＦＢ［０］［０］｜＜｜ＦＢ［０］［０］−ＦＣ［０］［０］｜）Ｘ′＝ＦＣ［０］［０］
ｅｌｓｅ　Ｘ′＝ＦＡ［０］［０］・・・（１）
【００２９】
式（１）は、ＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値と、ＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値とを比較し、ＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値がＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値よりも小さい場合には、ブロックＣをその予測ブロックとしてこの予測に用い、ＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値がＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値よりも小さい場合には、ブロックＡをその予測ブロックとしてこの予測に用い、これを予測値とすることを表している。
【００３０】
ブロックＸのＤＣＴ係数の予測ブロックがブロックＡであった場合、予測には、ブロックＸのＤＣ成分とブロックＡのＤＣ成分が予測に用いられる。また、ブロックＣが予測ブロックとされた場合、ブロックＸのＤＣ成分とブロックＣのＤＣ成分が予測に用いられる。
【００３１】
ＤＣＴ成分予測値選択器１２６において、このように求められたＤＣＴ係数の予測値は、ＤＣＴ係数予測器１２３に供給される。ＤＣＴ係数予測器１２３では、上述したようにＤＣＴ係数の予測値と、これに対応する位置の差分を求め、この値をＶＬＣ器１０７に出力している。
【００３２】
【特許文献１】
特開２０００−０２３１９３号公報
【００３３】
【発明が解決しようとする課題】
ところが、特開２０００−２３１９３号公報等で、この予測動作が説明されているが、この予測動作のアルゴリズムには大容量のメモリが必要であり、ハードウェアには数段の減算回路を設ける必要がある。
【００３４】
実際は、装置に要求されるサイズの制約の中で無制限にメモリを設けることはできないし、また、搭載メモリが増加すれば、画像処理プロセッサの消費電力が増大するだけでなく、回路規模の増加及び動作周波数の低下に繋がる。また、メモリに記録する際のアドレス制御やメモリに保存された情報を読み出すためのメモリアクセス制御等が複雑であり、ＣＰＵへの負担になっていた。
【００３５】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、予測処理時に画像データのＤＣＴ係数を保持するためのメモリ領域を少なくできる画像信号処理方法及び画像信号処理装置を提供することを目的とする。
【００３６】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像信号処理方法は、離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換方法において、画像内予測符号化の際に、マクロブロックを構成する輝度成分及び色差成分の８画素×８ラインブロック毎に離散コサイン変換係数の直流係数を格納する記憶部から予測対象とするブロックの直流係数と、該対象ブロックの周囲のブロックの直流係数を選択する選択工程と、選択された直流係数から対象ブロックの予測値を算出する予測演算工程と、選択工程において選択された直流係数を読み出し、予測演算工程に送るとともに次の対象ブロックの直流係数を記憶部に取り込む制御を行う記憶制御工程とを有することを特徴としている。
【００３７】
ここで、記憶部には、マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、この予測対象ブロックの周囲３ブロックの直流係数、及びマクロブロックの色差成分の８画素×８ラインブロックの直流係数を記憶する一時記憶手段と、予測対象ブロックの隣接ブロックであって１つ上のライン上にあるブロックの直流係数を記憶するラインブロック記憶手段と、予測対象ブロックの隣接ブロックであって１つ前の対象ブロックであるブロックの直流係数を記憶する前ブロック記憶手段とを設け、更に、記憶制御工程からの制御信号に基づいて予測演算工程にて必要な直流係数を、一時記憶手段、ラインブロック記憶手段及び上記前ブロック記憶手段から選択する選択工程を設けることが好ましい。
【００３８】
また、記憶制御工程では、一時記憶手段に記憶された上記マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、この予測対象ブロックの周囲３ブロックの直流係数、及びマクロブロックの色差成分の８画素×８ラインブロックの直流係数のうち、次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを一時記憶手段に保持し、一時記憶手段に記憶されたブロックのうち、次の予測対象ブロックの１つ前の対象ブロックの直流係数を前ブロック記憶手段に記憶し、予測対象ブロックで使用され保持されたブロック以外で次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを一時記憶手段にできた空き容量に格納する信号を生成する。
【００３９】
また、予測演算工程は、対象ブロックの左隣のブロックの直流係数とこの左隣ブロックの直上のブロックの直流係数との差である垂直成分差を演算する工程と、左隣ブロックの直上のブロックの直流係数と対象ブロックの直上のブロックの直流係数との差である水平成分差を演算する工程と、垂直成分差の絶対値と水平成分差の絶対値とを比較する演算工程とを有し、垂直成分差の絶対値が水平成分差の絶対値より小さい場合には、対象ブロックの直上のブロックを対象ブロックの予測ブロックとして直流係数の予測値を決定し、水平成分差の絶対値が垂直成分差の絶対値より小さい場合には、左隣ブロックを対象ブロックの予測ブロックとして直流係数の予測値を決定する。
【００４０】
また、上述した目的を達成するために、本発明に係る画像信号処理装置は、離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換装置において、画像内予測符号化の際に、マクロブロックを構成する輝度成分及び色差成分の８画素×８ラインブロック毎に離散コサイン変換係数の直流係数を格納する記憶部と、記憶部から選択された予測対象とするブロックの直流係数と、この対象ブロックの周囲のブロックの直流係数とからこの対象ブロックの予測値を算出する予測演算部と、記憶部から対象ブロック及びこの対象ブロックの周囲のブロックの直流係数を読み出して予測演算部に送るとともに次の対象ブロックの直流係数を取り込んで記憶する制御を行う記憶制御手段とを備えることを特徴としている。
【００４１】
ここで、記憶部には、マクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、この予測対象ブロックの周囲３ブロックの直流係数、及びマクロブロックの色差成分の８画素×８ラインブロックの直流係数を記憶する一時記憶手段と、予測対象ブロックの隣接ブロックであって１つ上のライン上にあるブロックの直流係数を記憶するラインブロック記憶手段と、予測対象ブロックの隣接ブロックであって１つ前の対象ブロックであるブロックの直流係数を記憶する前ブロック記憶手段と、記憶制御手段からの制御信号に基づいて予測演算部にて必要な直流係数を、一時記憶手段、ラインブロック記憶手段及び前ブロック記憶手段から選択する選択手段とを設ける。
【００４２】
また、記憶制御手段は、一時記憶手段に記憶されたマクロブロックを構成する輝度成分の８画素×８ラインブロックのうち予測対象とするブロックの直流係数、この予測対象ブロックの周囲３ブロックの直流係数、及びマクロブロックの色差成分の８画素×８ラインブロックの直流係数のうち、次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを一時記憶手段に保持し、一時記憶手段に記憶されたブロックのうち、次の予測対象ブロックの１つ前の対象ブロックの直流係数を前ブロック記憶手段に記憶し、予測対象ブロックで使用され保持されたブロック以外で次の予測対象ブロック又は次の予測対象ブロックの周囲ブロックに相当するブロックを一時記憶手段にできた空き容量に格納する信号を生成する。
【００４３】
また、予測演算部は、対象ブロックの左隣のブロックの直流係数とこの左隣ブロックの直上のブロックの直流係数との差である垂直成分差と、左隣ブロックの直上のブロックの直流係数と対象ブロックの直上のブロックの直流係数との差である水平成分差と、垂直成分差の絶対値と該水平成分差の絶対値とを比較する減算手段を備え、垂直成分差の絶対値が水平成分差の絶対値より小さい場合には、左隣ブロックを対象ブロックの予測ブロックとして直流係数の予測値を決定し、水平成分差の絶対値が垂直成分差の絶対値より小さい場合には、対象ブロックの直上のブロックを上記対象ブロックの予測ブロックとして直流係数の予測値を決定する。
【００４４】
また、本発明において、画像圧縮情報は、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠していることが好ましい。
【００４５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。本発明は、離散コサイン変換係数の直流係数（ＤＣ成分）の予測をする際のメモリアクセス制御を容易とする回路構成を備え、メモリからの読み出し及び減算を時分割処理することによって、回路規模を削減し且つ動作周波数に合わせた減算器を選択できるようにしたものである。
【００４６】
図１に、本発明を適用した画像信号処理装置１を示す。画像信号処理装置１は、入力した画像データをＭＰＥＧ（特にＭＰＥＧ４方式）、Ｈ．２６３等の規格に準拠した方式で符号化できるエンコーダである。
【００４７】
画像信号処理装置１で符号化して得られたビットストリームは、多重化されて、例えば、地上波や衛星回線、ＣＡＴＶ網等の伝送路を介して伝送される。或いは、磁気ディスク、光磁気ディスク、光ディスク、磁気テープ、その他の記録媒体に記録される。
【００４８】
符号化すべき入力画像信号（動画像データ）は、まず、前画像処理部１１に入力される。前画像処理部１１は、図示しないが、ＶＯ（Ｖｉｄｅｏ　Ｏｂｊｅｃｔ）構成部とＶＯＰ（Ｖｉｄｅｏ　Ｏｂｊｅｃｔ　Ｐｌａｎｅ）構成部とを有し、入力される画像を構成するオブジェクト毎に、このシーケンスであるＶＯを構成し、ＶＯＰを構成している。
【００４９】
具体的には、例えば、符号化すべき画像データが独立した背景のシーケンスと前景のシーケンスとから構成されている場合、ＶＯ構成部は、例えば、背景のシーケンスをＶＯ１としてＶＯＰ構成部に出力するとともに前景のシーケンスをＶＯ２としてＶＯＰ構成部に出力する。
【００５０】
ＶＯ構成部は、符号化すべき画像データが、例えば背景と前景とが既に合成されたものである場合、所定のアルゴリズムにしたがって、この画像を領域分割することにより、背景と前景とを取り出し、それぞれのシーケンスとしてのＶＯを対応するＶＯＰ構成部に出力する。
【００５１】
ＶＯＰ構成部は、ＶＯ構成部で出力された各フレームからオブジェクトを抽出し、この抽出されたオブジェクト（物体）を囲む最小の長方形をＶＯＰとする。このとき、ＶＯＰ構成部では、横及び縦の画素数が１６の倍数になるようにＶＯＰを構成する。ＶＯＰ構成部は、このＶＯＰを後段の動き検出、動き補償、ＤＣＴ回路等に供給する。また、ＶＯＰ構成部は、ＶＯＰの大きさ（例えば、横及び縦の長さ）を表すサイズデータ（ＶＯＰ＿ｓｉｚｅ）と、フレームにおけるＶＯＰの位置（例えば、フレームの最も左上を原点とするときの座標）を表すオフセットデータ（ＶＯＰ＿ｏｆｆｓｅｔ）とを検出し、これらのデータも後段の各回路に供給する。
【００５２】
入力画像信号（動画像データ）は、フレームメモリ１２に供給されて、ＶＯＰとして記憶される。
【００５３】
動き検出及び動き補償部１３では、フレームメモリ１２に記憶されたＶＯＰに対してマクロブロック単位で動きベクトルを検出する。すなわち、上述したように、ＶＯＰは時刻（フレーム）によって大きさや位置が変化するため、この動きベクトルの検出に当たっては、検出のための基準となる座標系を設定し、座標系における動きを検出する必要がある。そこで、動き検出及び動き補償部１３では、上述の絶対座標系を基準座標系とし、サイズデータ（ＦＳＺ＿Ｂ）及びオフセットデータ（ＦＰＯＳ＿Ｂ）にしたがって、この絶対座標系に符号化対象のＶＯＰ及び参照画像とするＶＯＰを配置して動きベクトルを検出する。
【００５４】
なお、検出された動きベクトル（ＭＶ）は、予測モードとともに後段のＶＬＣ器２２、量子化器１６、逆量子化器１８、ＤＣＴ係数差分化器１７等に供給される。
【００５５】
演算器１４には、動き検出及び動き補償部１３によってフレームメモリ１２から読み出された画像データと同一のマクロブロックデータが供給される。演算器１４では、マクロブロックと動き検出及び動き補償部１３での予測画像との差分を演算する。この差分値は、ＤＣＴ器１５に送られる。動き検出及び動き補償部１３は、予測モードがイントラ符号化モードである場合には予測画像を出力しない。この場合、演算器１４（演算器１１１も同様）は、特に処理を行わず、フレームメモリ１２から読み出したマクロブロックデータをそのままＤＣＴ器１５に出力する。
【００５６】
ＤＣＴ器１５は、演算器１４の出力データに対して、８画素×８ラインからなるブロック（以下、８×８ブロックと記す。）単位でＤＣＴ処理を施し、このＤＣＴ処理の結果得られるＤＣＴ係数を量子化器１６に供給する。
【００５７】
量子化器１６は、入力されたＤＣＴ係数を量子化し、この量子化データをＤＣＴ係数差分化器１７及び逆量子化器１８に送る。
【００５８】
逆量子化器１８は、量子化器１６から入力された８画素×８ラインの量子化されたＤＣＴ係数を量子化し、ＩＤＣＴ器１９に送る。
【００５９】
ＩＤＣＴ器１９は、逆量子化器１８より逆量子化されたＤＣＴ係数を受け取り、ＩＤＣＴ処理して演算器２０に出力する。
【００６０】
演算器２０には、ＩＤＣＴ器１９の出力データのほか、動き検出及び動き補償部１３から演算器１４に供給されている予測画像と同一のデータが供給されている。演算器２０は、ＩＤＣＴ器１９から出力される予測残差（差分データ）と、動き検出及び動き補償部１３からの予測画像データとを加算することで、もとの画像データを局所復号し、この局所復号した画像データ（以下、局所復号画像データと記す。）を出力する。ただし、予測モードがイントラ符号化である場合、ＩＤＣＴ器１９の出力データは、演算器２０をスルーして、そのまま局所復号画像データとしてフレームメモリ２１に供給される。この復号画像データは、受信側で得られる復号画像データと同一である。
【００６１】
なお、この画像信号処理装置１では、ＭＰＥＧ４方式の場合、演算器２０において得られた局所復号画像データは、テキスチャ（ｔｅｘｔｕｒｅ）情報としてパディング処理される。一方、形状情報（キー信号）、入力されたサイズデータ（ＦＳＺ＿Ｂ）、オフセットデータ（ＦＰＯＳ＿Ｂ）、ＶＯＰのサイズデータ（ＶＯＰ＿ｓｉｚｅ）、ＯＰのオフセットデータ（ＶＯＰ＿ｏｆｆｓｅｔ）及び（動きベクトル検出器１０２）より出力された動きベクトルと予測モードは、ＭＰＥＧ４方式のビジュアルコミッティドラフト（Ｖｉｓｕａｌ　Ｃｏｍｍｉｔｔｅ　ｄｒａｆｔ）にある記述にしたがって、この形状情報の符号化に用いられる。符号化された形状情報は、局所復号化され、局所復号化されたデータは、色差情報作成及びパディング処理に用いられるほか、ＤＣＴ係数差分化器１７、ＶＬＣ器２２へ送られる。
【００６２】
上述したように、入力された画像データは、フレームメモリ１２に格納され、基本単位である１６画素×１６ラインからなるマクロブロック（以下、単にマクロブロック、或いは必要に応じて１６×１６ブロックと記す。）に分割され処理される。特に、ＭＰＥＧ４方式では、４：２：０フォーマットのみが規定されている。この４：２：０フォーマットでは、１マクロブロックは、４つの８×８ブロックの輝度成分と２つの色差成分Ｃｂ、Ｃｒで構成されている。これらのマクロブロックに対し、離散コサイン変換を施して量子化する。量子化されたＤＣＴ係数にＶＬＣ（Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｅ）とよばれる可変長符号化を施す。これがイントラ符号化である。
【００６３】
一方、符号化の対象となるピクチャに対して、時間的に隣接する別のピクチャから動き検出とよばれる方法でブロックマッチングが最も小さい予測ブロックを取得し、この予測ブロックと参照マクロブロック（カレントマクロブロック）との差分を求め、この差分値に対してＤＣＴ、量子化、可変長符号化を行う。これがインター符号化である。
【００６４】
特に、ＭＰＥＧ４方式では、ＤＣＴ係数差分化器１７でイントラ符号化を行う際、ＤＣＴ係数のＤＣ成分及び一部のＡＣ成分に対して予測を行い、そのＤＣＴ係数の差分値を符号化し効率の改善を図っている。
【００６５】
続いて、図２にＤＣＴ係数差分化器１７の構成例を示す。ＤＣＴ係数差分化器１７には、量子化されたＤＣＴ係数及び量子化スケール、形状情報、色差用形状情報、予測モードが入力される。予測モードは、イントラフラグ発生器３１に入力される。イントラフラグ発生器３１は、予測モードからイントラ符号化を示す予測モード、すなわちイントラ符号化モード或いは画像内予測モードの場合のみイントラフラグを立てる。このイントラフラグは、通常０となっているものであり、イントラ符号化の予測モードのときに１にされる。
【００６６】
一方、量子化されたＤＣＴ係数、すなわち６４個のＤＣＴ係数は、スイッチ３２に供給される。スイッチ３２は、イントラフラグが０の場合、被切換端子Ａ側を選択し、イントラフラグが１の場合、被切換端子Ｂ側を選択するようになっている。したがって、予測モードがイントラ符号化（画像内予測）モードでない場合、ＤＣＴ係数は、スイッチ３２の被切換端子Ａ側を介して図１に示すＶＬＣ器２２へ送られる。
【００６７】
差分器３４は、スイッチ３２より供給されたＤＣＴ係数の予測値とＤＣＴ係数予測値選択器３５からの予測値との差分を算出し、その差分値をＶＬＣ器２２へと供給する。逆量子化器３３では、後のＤＣＴ係数の予測に使用されるＤＣ成分及び一部のＡＣ成分を図１の逆量子化器１８と同様の手段で逆量子化し、その結果や予測モードを内蔵のＤＣＴ係数予測モード蓄積メモリに蓄積する。ここで蓄積された情報は、ＤＣＴ係数予測値選択器３５で使用される。ＤＣＴ係数予測値選択器３５では、ＤＣ成分とＤＣＴ係数予測蓄積メモリに蓄積された情報とを用いて、ＤＣＴ係数の予測値及び予測ブロックの位置を出力し、その値を差分器３４に供給する。
【００６８】
予測値選択の手法としては、従来と同様、図１４に模式的に示すように、マクロブロックにおいて、イントラ符号化で差分値を選択する際に用いられる８画素×８ラインの参照ブロック（カレントブロック）Ｘに対して、左隣のブロック、左隣の直上のブロック、ブロックＸの直上のブロックの各ＤＣ成分を使用して、以下に示す式を適用して予測値を選択する手法が一般的である。
【００６９】
図１４において、ブロックＸの左側に位置するブロックをブロックＡ、直上に位置するブロックをブロックＣ、ブロックＸの左上（ブロックＡの直上）に位置するブロックをブロックＢとする。また、ブロックＡのＤＣ成分をＦＡ［０］［０］、ブロックＢのＤＣ成分をＦＢ［０］［０］、ブロックＣのＤＣ成分をＦＣ［０］［０］とする。これらの値は、逆量子化されたＤＣ成分の値であり、量子化されたブロックＡ、Ｂ、ＣのＤＣ成分にイントラＤＣプレシジョン（ｉｎｔｒａ　ｄｃ　ｐｒｅｃｉｓｉｏｎ）、量子化スケールを用いて求められたＤＣ量子化ステップの値を積算して求められた値である。ただし、これらのブロックがＶＯＰの外側に位置していたり、イントラ符号化されるブロック以外のブロックであった場合、２の（ｎｕｍｂｅｒ　ｏｆ　ｂｉｔｓ−２）乗の値が使用される。また、Ａ、Ｂ、Ｃの各ブロックについて、これらのブロックがオブジェクトの外側であると判断された場合、これらのＤＣ成分も乗の値となる。このとき、ブロックＸのＤＣ成分の差分値を求めるのに使用するブロックは、以下に示す式（２）により決定される。
【００７０】
ｉｆ　　（｜ＦＡ［０］［０］−ＦＢ［０］［０］｜＜｜ＦＢ［０］［０］−ＦＣ［０］［０］｜）Ｘ′＝ＦＣ［０］［０］
ｅｌｓｅ　Ｘ′＝ＦＡ［０］［０］・・・（２）
【００７１】
すなわち、この式（２）は、ＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値ΔＶＳと、ＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値ΔＨＳとを比較し、ＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値（垂直方向の相関）がＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値（水平方向の相関）よりも小さい場合には、ブロックＣを予測ブロックＸ′として用い、ＦＢ［０］［０］とＦＣ［０］［０］の差の絶対値（水平方向の相関）がＦＡ［０］［０］とＦＢ［０］［０］の差の絶対値（垂直方向の相関）よりも小さい場合には、ブロックＡを予測ブロックＸ′として用いることを意味している。ＤＣＴ係数は、入力された量子化ステップにより、図１の量子化器１６と同様の方法により量子化される。
【００７２】
式（２）によって、ブロックＸのＤＣＴ係数の予測ブロックとしてブロックＡを用いる場合、予測に使用されるＤＣ成分は、ブロックＡにおいて図中黒色で示される位置に対応する値が使用される。更にブロックＸでは、このＤＣ成分及び左側の列に並んだＡＣ成分のみがこの予測の対象となり、これらのＤＣＴ係数のみの差分がとられることになる。
【００７３】
また、式（２）によって、ブロックＸのＤＣＴ係数の予測ブロックとして、ブロックＣを用いる場合、このブロックＣの図中黒色で示される位置に対応するＤＣ成分が予測値として用いられる。同様に、ブロックＣが予測ブロックとして選択された場合、ブロックＸでは、一番上の行のＡＣ成分及びＤＣ成分がこの予測対象となる。
【００７４】
上述した式（２）によりＤＣＴ係数予測値を選択するために、ＤＣＴ係数予測選択器３５を具体的に、図３に示す構成とする。ＤＣＴ係数予測選択器３５は、メモリブロック４１と予測演算回路４２とを備えており、メモリブロック４１に格納された各ブロックのＤＣ成分の値を選択（セレクト）して予測演算回路４２へと供給する制御をメモリ制御ブロック４３で行っている。メモリブロック４１は、逆量子化器３３からの逆量子化されたＤＣＴ係数（ＤＣ成分）を入力し格納する。
【００７５】
ＤＣ成分には、参照ブロックであるブロックＸのＤＣ成分、また、ブロックＸを取り巻くブロックＡのＤＣ成分、ブロックＢのＤＣ成分、ブロックＣのＤＣ成分がある。これらのＤＣ成分が予測演算回路４２における演算処理に応じて、メモリ制御ブロック４３によってタイミングよく供給される。
【００７６】
式（２）によって求められたＤＣＴ係数の予測値は、差分器３４に供給される。差分器３４では、ＤＣＴ係数の予測値とこれに対応する位置の差分が求められ、この値を図１に示したＶＬＣ器２２に出力している。
【００７７】
図４は、４：２：０フォーマットの輝度成分におけるＡＣ／ＤＣ予測に用いるブロックを模式的に示したものである。ＭＰＥＧ４方式で規定される４：２：０フォーマットでは、１マクロブロックにつき、各８×８ブロック毎に６４個ずつのＤＣＴ係数が供給される。また、図５は、４：２：０フォーマットの色差ブロックにおけるＡＣ／ＤＣ予測に用いるブロックを模式的に示したものである。図５におけるブロックＤのＡＣ／ＤＣ成分の予測の際には、上述の式（２）により、カレントマクロブロックとその周囲のブロック間の相関から予測に用いるブロックを決定する。４：２：０フォーマットにおける色差ブロックの予測値決定は、例えば、色差用の形状情報から各部ロック内に値が１となる画素値をもつ画素（オブジェクトの内側であることを示す画素）が存在するか否かで判別することができる。また、これ以外の方法として、判定を行う色差ブロックと対応する位置に存在する輝度のブロックがオブジェクト内か否かにより判別してもよい。
【００７８】
続いて、あるフレーム画像の中の１マクロブロックのＤＣ予測について説明する。参照マクロブロック（カレントマクロブロック）における８×８ブロックの各々は、式（２）に示した演算で予測ブロックが決定される。ここでは、説明の便宜上、カレントマクロブロック及び差分値決定のための周囲ブロックに図４（ａ）に示すような番号をつける。すなわち、カレントマクロブロックを構成するブロックをブロック１〜ブロック４とし、ブロック１の斜め上方のブロックをブロック５とし、ブロック１の直上のブロックをブロック６とし、ブロック２の直上のブロックをブロック７とし、ブロック１の左隣のブロックをブロック８とし、ブロック３の左隣のブロックをブロック９とする。なお、ブロックに記したＹ０、Ｙ１、Ｙ２、Ｙ３なる記号の意味は後述する。
【００７９】
まず、式（２）を用いてブロック１の差分値を算出する場合について説明する。ブロック１の差分値算出の際には、図４（ｂ）に太線で示すように、左隣に当たるブロック８、ブロック８の直上のブロック５、ブロック１の直上のブロック６を用いて式（２）を適用する。ここで、図４（ｂ）で太線で示すブロックの集合を図１４と対応させると、式（２）におけるブロックＸはブロック１に相当し、ブロックＡはブロック８に相当し、ブロックＢはブロック５に相当し、ブロックＣはブロック６に相当する。また、ブロック２の差分値算出の際には、図４（ｃ）に太線で示すように、左隣に当たるブロック１、その直上のブロック６、ブロック２の直上のブロック７を用いて式（２）を適用する。ここでは、式（２）におけるブロックＸはブロック２に相当し、ブロックＡはブロック１に相当し、ブロックＢはブロック６に相当し、ブロックＣはブロック７に相当する。また、ブロック３の差分値算出の際には、図４（ｄ）に示すように、式（２）のブロックＡに相当するブロック９、ブロックＢに相当するブロック８、ブロックＣに相当するブロック１を用いて式（２）を適用し、ブロック４は、図４（ｅ）に示すように、ブロックＡに相当するブロック３、ブロックＢに相当するブロック１、ブロックＣに相当するブロック２を用いて差分値を算出する。
【００８０】
また、色差信号のＤＣ成分に関しては、図５（ａ）に示すような参照マクロブロック（カレントマクロブロック）１０に対して１ライン上のマクロブロック１１、１２、１つ前のマクロブロック１３を用いて、図５（ｂ）に示すようにＣｂ、ＣｒのＤＣ成分を算出する。
【００８１】
このとき、図４（ａ）乃至図４（ｅ）に示すように、ブロック１の差分値を求める演算で用いたブロック１とブロック６のＤＣ成分は、ブロック２の差分値を求める際にも使用され、ブロック３の差分値を求める演算で用いるブロック１とブロック８は、前段までの演算で使用されたブロックである。
【００８２】
すなわち、ブロック２の差分値算出の際には、ブロック１の差分値算出で用いたブロック６とブロック１のＤＣ成分を保持してブロック５とブロック８のＤＣ成分の代わりにブロック７及びブロック２のＤＣ成分を用意し、ブロック３の差分値算出の際には、ブロック２の差分値算出で用いたブロック１を保持して更に前段で使用したブロック８を用意し、ブロック６とブロック７の代わりにブロック９とブロック３を用意すればよい。
【００８３】
そこで、本具体例では、ＤＣＴ係数予測値選択器３５のメモリブロック４１と予測演算回路４２とを以下のように構成している。
【００８４】
図６にメモリブロック４１の具体的な構成を示す。メモリブロック４１は、必要なＤＣ成分を格納するラインメモリ５１と、参照ブロックメモリ５２ａ〜５２ｆと、前ブロックメモリ５３ａ〜５３ｄと、メモリ制御ブロック４３からのセレクト信号によって各メモリからのＤＣ成分を選択して出力するセレクタ５４ａ〜５４ｃと、各メモリへのＤＣ成分の記憶とラインメモリ５１に記憶する際のアドレス制御とを行うメモリ制御ブロック４３とを備える。特に、本具体例では、ラインメモリ５１としてＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用い、参照ブロックメモリ及び前ブロックメモリとしてフリップフロップ（ＦＦ）を用いる。
【００８５】
メモリ制御ブロック４３は、式（２）に基づく演算処理で必要なブロックのＤＣ成分を参照ブロックメモリに記憶し、また必要なブロックのＤＣ成分を次段の前ブロックメモリに転写し、この前ブロックメモリに転写されたＤＣ成分が記録されていた参照ブロックメモリに次なるＤＣ成分を入力するタイミングを制御している。具体的には、例えば、図４（ａ）乃至図４（ｄ）のブロック毎に示すＹ０〜Ｙ３をこれらブロックのＤＣ成分を格納するメモリに対応付けると、ブロック１のＤＣ成分をＹ０に格納し、ブロック２のＤＣ成分はＹ１に格納し、ブロック３のＤＣ成分をＹ２に格納し、ブロック４のＤＣ成分をＹ３に格納する。また１マクロブロック分の処理が終了すると、次のマクロブロックで必要となるＹ１，　Ｙ３を全マクロブロックメモリＰｒｅ＿Ｙ１，　Ｐｒｅ＿Ｙ３へ格納する。ブロック１の差分値を算出する際には、ラインメモリからブロック５、ブロック６のＤＣ成分を読み出し、Ｐｒｅ＿Ｙ１に格納されているＤＣ成分をブロック８のＤＣ成分とし、Ｙ０に格納されているＤＣ成分をブロック１のＤＣ成分として算出を行う。続くブロック２の差分値を算出する際には、Ｙ０を保持し、ラインメモリからブロック６、ブロック７のＤＣ成分を読み出し、Ｙ０に格納されているＤＣ成分をブロック１のＤＣ成分として、Ｙ２に格納されているＤＣ成分をブロック２のＤＣ成分として算出を行う。更に、ブロック３の差分値を算出する際には、Ｙ０を保持し、Ｐｒｅ＿Ｙ１、Ｐｒｅ＿Ｙ３に格納されているＤＣ成分をブロック８、ブロック９のＤＣ成分とし、Ｙ２に格納されているＤＣ成分をブロック３のＤＣ成分として算出を行う。また、ブロック４の差分値を算出する際には、Ｙ０，　Ｙ１，　Ｙ２を保持し、Ｙ３に格納されているＤＣ成分をブロック４のＤＣ成分として算出を行う。
【００８６】
ここで、１マクロブロックの予測値選択処理におけるメモリブロック４１の記憶タイミングを図４、図７及び図８を用いて説明する。
【００８７】
図７には、１マクロブロックのＤＣＴ量子化のタイミング及びＤＣ成分の逆量子化及びメモリへの格納タイミングを示す。各ブロックは、それぞれ６４サイクルで量子化処理されているため、１マクロブロックにつき６４×６サイクルを要する。具体的には、ブロック１の差分値を算出する場合であれば、ブロック１、ブロック２、ブロック３、ブロック４、Ｃｂ、Ｃｒの各１ブロック（８×８ブロック）の処理は、６４サイクルで行われ、これにはＤＣ成分の量子化とＡＣ成分の量子化とが含まれている。この量子化処理に続いて、逆量子化ＤＣＴ係数が算出される。ＤＣ成分の逆量子化ＤＣＴ係数をメモリ制御ブロック４３からのライトイネーブル信号に基づいて、図８で説明するタイミングで参照ブロックメモリへ、場合によってはラインメモリ５１にも格納する。
【００８８】
図８に、図４（ａ）乃至図４（ｅ）に示したマクロブロックにおける８×８ブロックの量子化、逆量子化のタイミングとメモリ制御ブロック４３からのイネーブル信号に基づいて逆量子化係数が参照ブロックメモリ、ラインメモリ、或いは前ブロックメモリに格納されるタイミングを示す。
【００８９】
まず始めに、ブロックＹ０（図４（ｂ）のブロック１）のＤＣ成分の逆量子化ＤＣＴ係数の算出とともにライトイネーブル信号が立ち上がり、ＤＣ成分からＡＣ成分の処理に移行する際にライトイネーブル信号が立ち下がり、ブロックＹ０のＤＣ成分の逆量子化ＤＣＴ係数が参照ブロックメモリ５２ａヘ格納される。
【００９０】
ブロック１（図４（ｂ）のブロック１）の逆量子化が終わると、ブロックＹ１（図４（ｂ）のブロック２）のＤＣ成分の逆量子化ＤＣＴ係数を算出する。ブロックＹ０のときと同様にして、ＤＣ成分からＡＣ成分の処理に移行する際にブロックＹ１のＤＣ成分の逆量子化ＤＣＴ係数が参照ブロックメモリ５２ｂへ格納される。
【００９１】
続くブロックＹ２（図４（ｂ）のブロック３）のＤＣＴ係数の逆量子化では、ブロックＹ２のＤＣ成分の逆量子化が終わると、ブロックＹ２のＤＣ成分の逆量子化ＤＣＴ係数を算出し、ラインメモリ５１へのライトイネーブル信号も同時に立ち上がり、ＤＣ成分からＡＣ成分の処理に移行する際に両ライトイネーブル信号が立ち下がって、ブロックＹ２のＤＣ成分の逆量子化ＤＣＴ係数が参照ブロックメモリ５２ｃとラインメモリ５１ヘ格納される。
【００９２】
ブロックＹ３（図４（ｂ）のブロック４）のＤＣＴ係数の逆量子化では、ブロックＹ２（図４（ｂ）のブロック３）と同様に、ＤＣ成分からＡＣ成分の処理に移行する際に、ブロックＹ３（図４（ｂ）のブロック５）のＤＣ成分の逆量子化ＤＣＴ係数がフリップフロップ４とラインメモリ５１ヘ格納される。
【００９３】
係数の逆量子化でも、ＤＣ成分からＡＣ成分の処理に移行する際に、ＣｒブロックのＤＣ成分の逆量子化ＤＣＴ係数が参照ブロックメモリ５２ｅとラインメモリ５１ヘ格納され、ＣｂブロックのＤＣ成分の逆量子化ＤＣＴ係数が参照ブロックメモリ５２ｆとラインメモリ５１へ格納される。
【００９４】
Ｃｒブロックの逆量子化ＤＣＴ係数のＤＣ成分及びＡＣ成分が求まると、すなわち１マクロブロック分の処理が終了すると、プリマクロブロックイネーブル信号が立ち上がり、参照ブロックメモリ５２ｂ、５２ｄ、５２ｅ、５２ｆに格納されたＤＣ成分の値が前ブロックメモリ５３ａ、５３ｂ、５３ｃ、５３ｄに移される。
【００９５】
このように、各ブロックに関して、ブロックＸに相当するブロックのＤＣ成分（ＦＸ［０］［０］）、ブロックＡに相当するブロックのＤＣ成分（ＦＡ［０］［０］）、ブロックＣに相当するブロックのＤＣ成分（ＦＣ［０］［０］）、ブロックＢに相当するブロックのＤＣ成分（ＦＢ［０］［０］）、色差成分のＤＣ成分Ｃｒ、Ｃｂをメモリ制御ブロック４３から供給されるカレントメモリイネーブル信号及びラインメモリイネーブル信号によって、参照ブロックメモリ５２ａ〜５２ｆ、前ブロックメモリ５３ａ〜５３ｄ、又はラインメモリ５１に順次格納する。
【００９６】
セレクタ５４ａには、各メモリから参照ブロック（カレントブロック）に対する斜め上方のブロックのＤＣ成分（Ｄｉａｇｏｎａｌ　ＤＣ）が入力され、セレクタ５４ｂには参照ブロックに対する直上のブロックのＤＣ成分（Ｕｐｐｅｒ　ＤＣ）が入力され、セレクタ５４ｃには参照ブロックに対する左隣のブロックのＤＣ成分（ＬｅｆｔＤＣ）が入力される。各セレクタは、メモリ制御ブロック４３から送られるセレクト信号によって、差分値算出に用いるＤＣ成分を選択して後段の予測演算回路４２に送り出す。
【００９７】
例えば、ブロック１の予測値を決定するには、ラインメモリ５１からブロック５（Ｄｉａｇｏｎａｌ　ＤＣ成分）と、ブロック６（Ｕｐｐｅｒ　ＤＣ成分）とを読み出し、前ブロックメモリからブロック８（Ｌｅｆｔ　ＤＣ成分）を読み出し、最終的にメモリ制御ブロック４３から予測演算回路４２に供給される。
【００９８】
同様に、ブロック２の予測には、ラインメモリ５１からブロック６（ＤｉａｇｏｎａｌＤＣ）及びブロック７（Ｕｐｐｅｒ　ＤＣ成分）を読み出し、参照マクロブロックメモリからブロック１（Ｌｅｆｔ　ＤＣ成分）を読み出す。読み出されて予測演算回路４２に送られた各ＤＣ成分から式（２）の演算により予測値が決定される。
【００９９】
上述した図７には、１マクロブロックを構成する８×８ブロックの量子化及び逆量子化のタイミングを示しているが、ここで、予測演算回路４２における演算処理では、図７に示すように、予測値は、次のブロックのＤＣ成分が入力される前までに、具体的には、図４（ｂ）に示すブロック１の予測値を求める場合であれば、図４（ｃ）に示すブロック２の予測値を求めるためのＤＣ成分が各メモリに格納されるまでに決定されればよい。つまり、参照ブロックでのＤＣ成分をメモリブロック４１に格納した後の６２サイクルの間で行えばよいことになる。本発明では、サイクル数に余裕があるため、メモリからの読み出し及び予測演算を５サイクル間で行っている。
【０１００】
続いて、図９に予測演算回路４２の回路構成を、図１０に予測演算回路４２における演算処理のタイミングを示す。
【０１０１】
予測演算回路４２は、上述したセレクタ５４ａ乃至５４ｃで選択されたＤｉａｇｏｎａｌ　ＤＣ、Ｕｐｐｅｒ　ＤＣ、Ｌｅｆｔ　ＤＣを格納するフリップフロップ（以下、ＦＦと記す。）６１ａ〜６１ｃ、並びにこれらのＤＣ成分の演算結果ΔＨＳ、ΔＶＳを格納するＦＦ６１ｄ及びＦＦ６１ｅと、予測値の大小比較を行う減算回路６２とを有している。ＦＦ６１ａには、セレクタ５４ａで選択されたＤｉａｇｏｎａｌ　ＤＣ成分が入力され、ＦＦ６１ｂには、セレクタ５４ｂで選択されたＵｐｐｅｒ　ＤＣ成分が入力される。また、ＦＦ６１ｃには、セレクタ５４ｃで選択されたＬｅｆｔ　ＤＣ成分が入力される。
【０１０２】
図４（ａ）乃至図４（ｅ）に基づいて説明すると、予測演算回路４２では図１０に示すステート１において、メモリブロック４１から送られたＤｉａｇｏｎａｌ　ＤＣ（ブロック５のＤＣ成分）とＬｅｆｔ　ＤＣ（ブロック８のＤＣ成分）が供給され、ＦＦ６１ａ及びＦＦ６１ｂにラッチされる。
【０１０３】
ステート２では、メモリブロック４１からＵｐｐｅｒ　ＤＣ（ブロック６のＤＣ成分）が供給され、ＦＦ６１ｃにラッチされる。同時に、減算器では、式（２）の「｜ＦＡ［０］［０］−ＦＢ［０］［０］｜」項が演算される。この結果は、垂直方向の勾配ΔＶＳ（Ｖｅｒｔｉｃａｌ　Ｓｌｏｐｅ）として、ステート３でＦＦ６１ｄにラッチされる。ここで、各ＤＣ成分の格納に２サイクルを使用するのは、Ｄｉａｇｏｎａｌ　ＤＣとＵｐｐｅｒ　ＤＣとをともにラインメモリ５１から読み出すためである。
【０１０４】
ステート３では、垂直方向の勾配ΔＶＳ（Ｖｅｒｔｉｃａｌ　Ｓｌｏｐｅ）をＦＦ６１ｄにラッチするとともに、「｜ＦＢ［０］［０］−ＦＣ［０］［０］｜」項を演算する。
【０１０５】
ステート４では、「｜ＦＢ［０］［０］−ＦＣ［０］［０］｜」の演算結果がＦＦ６１ｅにラッチされるとともにＦＦ６１ｄに格納されたΔＶＳ値とΔＨＳ値とを比較し、予測値及び予測方向（縦方向か横方向か）が求められる。
【０１０６】
ΔＶＳ−ΔＨＳの演算結果の最上位ビット（ＭＳＢ）は、Ｌｅｆｔ　ＤＣとＵｐｐｅｒ　ＤＣのセレクト信号として予測値セレクタ６３に入力され、これと同時に予測値とその予測方向をＦＦ６４ａ、ＦＦ６４ｂに格納する。この予測値と予測方向は、差分器３４に送られて入力されたＤＣＴ係数との差分算出に用いられる。ここで得られた差分はＶＬＣ器２２へ供給される。
【０１０７】
以上説明したように、本発明の具体例として示す画像処理装置１では、演算対象のＤＣ成分のみを取り出してフリップフロップで構成されたメモリブロック４１に格納するようにしたため、全てのＤＣＴ係数をＳＲＡＭに格納する場合と比べてメモリのアドレス生成が容易になるという利点を有する。
【０１０８】
また、参照ブロックメモリ或いは前ブロックメモリをフリップフロップで構成することにより、制御部分の動作周波数に併せて減算器６２を選択することができる。
【０１０９】
更に、式（２）の差分値演算における３つの減算（（Ｄｉａｇｏｎａｌ　ＤＣ）−（Ｌｅｆｔ　ＤＣ））、（（Ｄｉａｇｏｎａｌ　ＤＣ）−（Ｕｐｐｅｒ　ＤＣ））、（ΔＶＳ−ΔＨＳ）＝（｜ＦＡ［０］［０］−ＦＢ［０］［０］｜）−（｜ＦＢ［０］［０］−ＦＣ［０］［０］｜）、つまり、ブロックＢとブロックＡとの差と、ブロックＢとブロックＡとの差との相関をとるための３段階の減算処理を１つの減算器を用いて時分割処理するようにしたため、回路規模を縮小できる。
【０１１０】
なお、本発明は、上述した具体例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１１】
また以下に、上述した画像信号処理装置１によってエンコード（ビットストリーム化）された画像の符号化データを復号するための画像信号復号装置を説明しておく。画像信号復号装置としては、ＭＰＥＧ方式に対応したＭＰ＠ＭＬのデコーダ７０が適用できる。図１１にデコーダの一例を示す。
【０１１２】
このデコーダ７０において、伝送路を介して伝送された符号化ビットストリームを図示しない受信部にて受信する。又は記録媒体に記録された符号化ビットストリームを図示しない再生装置で再生する。このバッファ７１には、このようにして得られた符号化ビットストリームが一時記憶される。
【０１１３】
ＩＶＬＣ器（逆ＶＬＣ器（可変長復号器））７２は、バッファ７１に記憶された符号化データを読み出して可変長復号し、この符号化データをマクロブロック単位で動きベクトル、予測モード、量子化ステップ、及び量子化係数に分離する。これらのデータのうち、動きベクトル及び予測モードは、動き補償器７７に供給される。量子化ステップ及びマクロブロックの量子化係数は、逆量子化器７３に供給される。
【０１１４】
逆量子化器７３は、ＩＶＬＣ器７２より供給されたマクロブロックの量子化係数を同じくＩＶＬＣ器７２より供給された量子化ステップにしたがって量子化し、この結果得られるＤＣＴ係数をＩＤＣＴ器７４に出力する。ＩＤＣＴ器７４は、逆量子化器７３からのマクロブロックのＤＣＴ係数を逆ＤＣＴし、演算器７５に供給する。
【０１１５】
演算器７５には、ＩＤＣＴ器７４の出力データのほか動き補償器７７の出力データも供給されている。すなわち動き補償器７７は、フレームメモリ７６に記憶されている。既に復号された画像データを図１の動き検出及び動き補償器１３における場合と同様に、ＩＶＬＣ器７２からの動きベクトル及び予測モードにしたがって読み出し、予測画像データとして演算器７５に供給する。演算器７５は、ＩＤＣＴ器７４の出力データ（予測残差（差分値））と、動き補償器７７からの予測画像データとを加算することで、もとの画像データを復号する。この復号画像データは、再生画像データとして出力されるとともにフレームメモリ７６に供給されて記憶される。
【０１１６】
ＩＤＣＴ器７４の出力データがイントラ符号化されたものである場合、この出力データは、演算器７５をスルーして、復号画像データとしてこのままフレームメモリ７６に供給されて記憶される。フレームメモリ７６に記憶された復号画像データは、その後に復号される画像データの参照画像データとして用いられる。更に、復号画像データは、出力再生画像として、例えば、図示しないディスプレイ等に供給されて表示される。
【０１１７】
【発明の効果】
以上詳細に説明したように、本発明に係る画像信号処理方法は、離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換方法において、画像内予測符号化の際に、マクロブロックを構成する輝度成分及び色差成分の８×８ブロック毎に離散コサイン変換係数の直流係数を格納する記憶部から予測対象とするブロックの直流係数と、該対象ブロックの周囲のブロックの直流係数を選択する選択工程と、選択された直流係数から対象ブロックの予測値を算出する予測演算工程と、選択工程において選択された直流係数を読み出し、予測演算工程に送るとともに次の対象ブロックの直流係数を記憶部に取り込む制御を行う記憶制御工程とを有し、直流係数の予測演算に必要な離散コサイン変換係数を記憶部に格納するため、全ての離散コサイン変換係数をメモリに格納する場合と比べて記憶部の容量が削減でき、記憶部におけるアドレス生成及び読み出しが容易になる。また、記憶容量の削減とともに予測演算部における演算が効率化されるため、回路規模が削減できる。
【０１１８】
また、本発明に係る画像信号処理装置は、離散コサイン変換と動き補償を適用して画像データを圧縮して画像圧縮情報を得る画像情報変換装置において、画像内予測符号化の際に、マクロブロックを構成する輝度成分及び色差成分の８×８ブロック毎に離散コサイン変換係数の直流係数を格納する記憶部と、記憶部から選択された予測対象とするブロックの直流係数と、この対象ブロックの周囲のブロックの直流係数とからこの対象ブロックの予測値を算出する予測演算部と、記憶部から対象ブロック及びこの対象ブロックの周囲のブロックの直流係数を読み出して予測演算部に送るとともに次の対象ブロックの直流係数を取り込んで記憶する制御を行う記憶制御手段とを備えることにより、直流係数の予測演算に必要な離散コサイン変換係数を記憶部に格納するため、全ての離散コサイン変換係数をメモリに格納する場合と比べて記憶部の容量が削減でき、記憶部におけるアドレス生成及び読み出しが容易になる。また、記憶容量の削減とともに予測演算部における演算が効率化されるため、回路規模が削減できる。
【０１１９】
また、予測演算手段では、この演算処理の際に、３つの減算処理を１つの減算手段によって時分割処理できるため、回路規模が縮小できる。この減算手段は、動作周波数に応じて選択できる。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像信号処理装置を説明する構成図である。
【図２】上記画像信号処理装置のＤＣＴ係数差分化器を説明する構成図である。
【図３】上記画像信号処理装置のＤＣＴ係数予測選択器の一例を説明する構成図である。
【図４】４：２：０フォーマットの輝度成分における予測ブロックを決定する手法を模式的に説明した図である。
【図５】４：２：０フォーマットの色差信号における予測ブロックを決定する手法を模式的に説明した図である。
【図６】上記画像信号処理装置のメモリブロックを具体的に説明する構成図である。
【図７】１マクロブロックのＤＣＴ量子化のタイミング及びＤＣ成分の逆量子化及びメモリへの格納タイミングを示す。
【図８】図４に示したマクロブロックにおける８×８ブロックの量子化、逆量子化のタイミングとメモリ制御ブロックからのイネーブル信号に基づいて逆量子化係数が参照ブロックメモリ、ラインメモリ、前ブロックメモリに格納されるタイミングを説明する図である。
【図９】上記画像信号処理装置における予測演算回路を説明する構成図である。
【図１０】上記予測演算回路における演算処理のタイミングを説明する図である。
【図１１】上述した画像信号処理装置１によってエンコードされた画像の符号化データを復号するための画像信号復号装置を説明する構成図である。
【図１２】従来のＭＰＥＧ方式におけるＭＰ＠ＭＬのエンコーダの一例を説明する構成図である。
【図１３】従来のＭＰＥＧ４方式の画像符号化におけるＤＣＴ係数の差分値を算出するＤＣＴ係数差分化器の一例を説明する構成図である。
【図１４】４：２：０フォーマットにおける予測値選択の手法を説明する模式図である。
【符号の説明】
１　画像信号処理装置、１１　前画像処理部、１２　フレームメモリ、１３　動き検出及び動き補償部、１４　演算器、１５　ＤＣＴ器、１６　量子化器、１７　ＤＣＴ係数差分化器、１８　逆量子化器、１９　ＩＤＣＴ器、２０　演算器、２１　フレームメモリ、２２　ＶＬＣ器、３１　イントラフラグ発生器、３２スイッチ、３３　逆量子化器、３４　差分器、３５　ＤＣＴ係数予測値選択器、４１　メモリブロック、４２　予測値演算回路、４３　メモリ制御ブロック、５１　ラインメモリ、５２　参照ブロックメモリ、５３　前ブロックメモリ、５４　セレクタ、６１　ＦＦ（フリップフロップ）、６２　減算回路、６３　予測値セレクタ、６４　ＦＦ
【図１】
2004112337.tif 000003
【図２】
2004112337.tif 000004
【図３】
2004112337.tif 000005
【図４】
2004112337.tif 000006
【図５】
2004112337.tif 000007
【図６】
2004112337.tif 000008
【図７】
2004112337.tif 000009
【図８】
2004112337.tif 000010
【図９】
2004112337.tif 000011
【図１０】
2004112337.tif 000012
【図１１】
2004112337.tif 000013
【図１２】
2004112337.tif 000014
【図１３】
2004112337.tif 000015
【図１４】
2004112337.tif 000016