(57)【要約】【課題】単一のマクロブロックに複数のブロックを含み、このブロック毎にイントラ予測を行い、パイプライン処理に基づく高速なイントラ予測を行うことができる画像情報符号化装置を提供する。【解決手段】ＪＶＴ符号化方式のように、一つのマクロブロックを複数のブロックに分割し、それぞれのブロックを単位としてイントラ予測並びに直交変換及び量子化処理を行う画像圧縮情報を出力する符号化装置で、ラスタースキャン以外の順序でそれぞれのブロックを逐次処理する。【選択図】　図９
2004140473.tif 000002
【特許請求の範囲】
【請求項１】
ＪＶＴ符号化方式のように、一つのマクロブロックを複数のブロックに分割し、それぞれのブロックを単位としてイントラ予測並びに直交変換及び量子化処理を行う画像圧縮情報を出力する符号化装置で、ラスタースキャン以外の順序でそれぞれのブロックを逐次処理することを特徴とする画像情報符号化装置並びに符号化方法。
【請求項２】
請求項１の装置で、イントラ予測に用いられる、当該ブロックの左及び上に位置するブロックを、当該ブロックより２つまたはそれ以上前の順序で処理することにより、パイプライン処理を用いた高速演算を可能とすることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項３】
請求項２の装置で、ＪＶＴ符号化方式のように、１６×１６マクロブロックを、４×４ブロックに分割して処理を行う符号化装置において、それぞれのブロックの位置を、（Ｘ，Ｙ）｛Ｘ，Ｙ＝０，１，２，３｝で表すとすれば、（０，０）（１，０）（０，１）（２，０）（１，１）（０，２）（３，０）（２，１）（１，２）（０，３）（３，１）（２，２）（１，３）（３，２）（２，３）（３，３）の順で処理を行うことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項４】
請求項２の装置で、ＪＶＴ符号化方式のように、１６×１６マクロブロックを、４×４ブロックに分割して処理を行う符号化装置において、それぞれのブロックの位置を、（Ｘ，Ｙ）｛Ｘ，Ｙ＝０，１，２，３｝で表すとすれば、（０，０）（１，０）（０，１）（２，０）（１，１）（３，０）（２，１）（０，２）（３，１）（１，２）（０，３）（２，２）（１，３）（３，２）（２，３）（３，３）の順で処理を行うことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項５】
請求項２の装置で、パイプライン処理を行うため、イントラ予測に用いる、隣接ブロックの復号画像の画素値がまだ復号化されておらず、予測に用いることが不可能である場合には、固定値（たとえば１２８）を予測値として用いることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項６】
請求項２の装置で、パイプライン処理を行うため、イントラ予測に用いる、当該ブロックの上部に位置する、隣接ブロックの復号画像の画素値がまだ復号化されておらず、予測に用いることが不可能である場合には、上部隣接ブロックの、更にもう一つ上部に位置するブロックにおける復号画像の画素値を用いることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項７】
請求項２の装置で、パイプライン処理を行うため、イントラ予測に用いる、当該ブロックの左部に位置する、隣接ブロックの復号画像の画素値がまだ復号化されておらず、予測に用いることが不可能である場合には、左部隣接ブロックの、更にもう一つ左部に位置するブロックにおける復号画像の画素値を用いることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項８】
請求項１の装置で、デフォルトのスキャン順に復号化処理を行うか、それ以外の、請求項３若しくは４で予め定義された順に復号化処理を行うかを示す１ビットのフラグを埋め込むことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項９】
請求項１の装置で、デフォルトのスキャン順に復号化処理を行うか、それ以外の、請求項３若しくは４で予め定義された順に復号化処理を行うかを示すフラグをシーケンス単位もしくは、ピクチャ単位もしくはスライス単位に埋め込むことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１０】
請求項９の装置で、シーケンス単位もしくは、ピクチャ単位もしくはスライス単位におけるフラグをオプションとし、当該フラグが伝送されない場合には、直前に復号化された処理と同様の処理が、当該ピクチャに含まれるマクロブロックに対しても適用されることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１１】
請求項１０の装置で、シーケンス途中で、フレームレートがより大きなものに変化してパイプラインによる高速処理が必要となった場合、若しくは、フレームレートがより小さなものに変化してパイプラインによる高速処理が不要となった場合、ピクチャヘッダにフラグを埋め込むことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１２】
請求項１の装置の出力となる画像圧縮情報を入力とし、それぞれのマクロブロックに含まれるブロックを、ラスタースキャン順に復号する手段と、請求項３若しくは４で予め定義された順に復号化処理を行う手段の双方を持ち合わせていることを特徴とする画像情報復号化装置並びに復号化方法。
【請求項１３】
請求項１２の装置で、復号化処理に先立ち、請求項８に記されたフラグを参照し、２つの復号化方式のどちらかを用いるかを決定することを特徴とする画像情報復号化装置並びに復号化方法。
【請求項１４】
請求項１３の装置で、ラスタースキャン以外の順序で復号処理を行う際には、請求項５若しくは６若しくは７に記された方法により逆イントラ予測を行うことを特徴とする画像情報復号化装置並びに復号化方法。
【請求項１５】
ＪＶＴ符号化方式のように、一つのマクロブロックを複数のブロックに分割し、それぞれのブロックを単位としてイントラ予測並びに直交変換及び量子化処理を行う画像圧縮情報を出力する符号化装置で、ラスタースキャン順の処理を行う場合であっても、パイプライン処理により、イントラ予測が不可能である場合には、請求項５若しくは請求項６若しくは請求項７に記された方法により、パイプライン処理による高速処理を可能とすることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１６】
請求項１５の装置で、当該画像圧縮に含まれる、イントラマクロブロックで、通常の方法によりイントラ予測が行われたか、回避モードでイントラ予測が行われたかに関する情報が符号化することを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１７】
請求項１６において述べられたフラグを、シーケンスヘッダもしくはピクチャヘッダ毎もしくはスライスヘッダ毎に伝送することを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１８】
請求項１７の装置で、各ヘッダにおけるフラグをオプションとし、当該フラグが伝送されない場合には、直前に復号化された処理と同様の処理が、当該ピクチャに含まれるマクロブロックに対しても適用されることを特徴とする画像情報符号化装置並びに符号化方法。
【請求項１９】
請求項１８の装置で、シーケンス途中で、フレームレートがより大きなものに変化してパイプラインによる高速処理が必要となった場合、若しくは、フレームレートがより小さなものに変化してパイプラインによる高速処理が不要となった場合、ピクチャヘッダにフラグを埋め込むことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項２０】
請求項１９の装置の出力となる画像圧縮情報を入力とし、それぞれのマクロブロックに含まれるブロックを、ラスタースキャン順に復号する手段と、請求項３若しくは４で予め定義された順に復号化処理を行う手段の双方を持ち合わせていることを特徴とする画像情報復号化装置並びに復号化方法。
【請求項２１】
請求項１２の装置で、復号化処理に先立ち、請求項１５に記されたフラグを参照し、２つの復号化方式のどちらかを用いるかを決定することを特徴とする画像情報復号化装置並びに復号化方法。
【請求項２２】
請求項１若しくは請求項１５の装置で、パイプライン処理による高速演算を用いて実現するため、当該４×４ブロックの左部に位置する画素値を、（−１，１），（−１，２）…で表せば、（−１，４）及びこれより下の画素値を用いずにイントラ予測を行うことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項２３】
請求項１若しくは請求項１５の装置で、パイプライン処理による高速演算を用いて実現するため、当該４×４ブロックの左部に位置する画素値を、（１，−１），（２，―１）…で表せば、（４，−１）及びこれより右の画素値を用いずにイントラ予測を行うことを特徴とする画像情報符号化装置並びに符号化方法。
【請求項２４】
請求項２２及び請求項２３の装置の出力となる画像圧縮情報を復号化する機能を持つことを特徴とする画像情報復号化装置並びに復号化方法。
【請求項２５】
請求項１６及び請求項１７及び請求項１８の装置の出力となる画像圧縮情報に含まれる通常の方法によりイントラ予測が行われたか、回避モードでイントラ予測が行われたかに関する情報に基づいて、イントラ予測の復号化する機能を持つことを特徴とする画像情報復号化装置並びに復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ、Ｈ．２６ｘ等の様に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号化装置に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ　１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ　１４４９６−２としてその規格が国際標準に承認された。
【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ　（ＩＴＵ−Ｔ　Ｑ６／１６　ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ（Ｊｏｉｎｔ　Ｍｏｄｅｌ　ｏｆ　Ｅｎｈａｎｃｅｄ−Ｃｏｍｐｒｅｓｓｉｏｎ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）として行われている。
【０００６】
図１に離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置のブロック図を示す。すなわち、１はＡ／Ｄ変換装置、２は画面並べ替えバッファ、３は加算器、４はイントラ予測装置、５は直交変換装置、６は量子化装置、７は可逆符号化装置、８は蓄積バッファ、９は逆量子化装置、１０は逆直交変換装置、１１は逆イントラ予測装置、１２はデブロックフィルタ、１３はフレームメモリ、１４は動き予測・補償装置、１５はレート制御装置である。
【０００７】
図１において、入力となる画像信号は、まず、Ａ／Ｄ変換装置１においてデジタル信号に変換される。次に、出力となる画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造に応じ、画面並べ替えバッファ２においてフレームの並べ替えが行われる。イントラ符号化が行われる画像に関しては、イントラ予測装置４において、イントラ予測処理が行われた後、フレーム全体の画像情報が直交変換装置５に入力され、ここで離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換係数５の出力となる変換係数は、量子化装置６において量子化処理が施される。量子化装置６の出力となる、量子化された変換係数は、可逆変換装置７に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ８に蓄積され、画像圧縮情報として出力される。量子化装置６の挙動はレート制御装置１５によって制御される。同時に、量子化装置６の出力となる、量子化された変換係数は、逆量子化装置９に入力され、更に逆直交変換装置１０において逆直交変換処理が施され、逆イントラ予測装置１１において逆イントラ予測処理が施された後、復号化画像情報となり、デブロックフィルタ１２においてブロック歪の除去が施された後、その情報はフレームメモリ１３に蓄積される。
【０００８】
インター符号化が行われる画像に関しては、まず、画像情報は動き予測・補償装置１４に入力される。同時に参照となる画像情報がフレームメモリ１３より取り出され、動き予測・補償処理を施され、参照画像情報が生成される。参照画像情報は加算器３に送られ、ここで当該画像情報との差分信号へ変換される。動き補償・予測装置１３は、同時に動きベクトル情報を可逆符号化装置７に出力し、その情報はやはり可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。
【０００９】
図２に離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置のブロック図を示す。すなわち、１６は蓄積バッファ、１７は可逆符号化装置、１８は逆量子化装置、１９は逆直交変換装置、２０は逆イントラ予測装置、２１は加算器、２２はデブロックフィルタ、２３は画面並べ替えバッファ、２４はＤ／Ａ変換装置、２５は動き予測・補償装置２６はフレームメモリである。
【００１０】
図２において、入力となる画像圧縮情報は、まず、蓄積バッファ１６に格納された後、可逆復号化装置１７に転送される。ここで、定められた画像圧縮情報のフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレームがインター符号化されたものである場合には、可逆復号化装置においては、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号化し、その情報を動き予測・補償装置２１へ転送する。
【００１１】
可逆復号化装置の出力となる、量子化された変換係数は、逆量子化装置１８に入力され、ここで変換係数として出力される。変換係数は、逆直交変換装置１９において、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換が施される。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、逆イントラ予測装置２０において逆イントラ予測処理が行われた後、デブロックフィルタ２１においてブロック歪の除去が施され、画面並べ替えバッファ２３に格納され、Ｄ／Ａ変換処理の後に出力される。
【００１２】
当該フレームがインター符号化されたものである場合には、可逆復号化処理が施された動きベクトル情報、及びフレームメモリ２２に格納された画像情報を元に参照画像が生成され、この参照画像と、逆直交変換装置１９の出力とが、加算器２０において合成される。その他の処理はイントラ符号化されたフレームと同様である。
【００１３】
以下では、イントラ予測装置４における動作原理について述べる。
【００１４】
ＪＶＴ符号化方式においては、輝度信号については、イントラ４×４モードと、イントラ１６×１６モードの２つのイントラモードが規定されている。以下では、まず、イントラ４×４モードにおけるイントラ予測について述べる。
【００１５】
マクロブロックタイプがイントラ４×４モードの場合、輝度における予測は、モード０　〜　モード８の９種類の予測モードが用意されている。図３は、予測モードの予測方向を示す。図４は、当該４×４マクロブロックと、予測に用いる隣接画素の関係を示す。
【００１６】
画素の予測値をＰとすると、各モードにおける画素の予測値は、それぞれ以下のようになる。ただし、予測に用いる隣接画素Ａ〜Ｑは、すでに復号化された画素である。もし、Ｅ〜Ｈが、復号化されていない、あるいは、当該４×４ブロックと別スライス、若しくは別フレームに属する場合、値ＤがＥ〜Ｈに代入される。Ｍ〜Ｐも同様な場合、値Ｌが代入される。
【００１７】
モード０（ＤＣ　Ｐｒｅｄｉｃｔｉｏｎ）においては、すべての画素が同じ予測値Ｐを持つ。ただし、予測に用いる画素Ａ〜Ｑの位置によって、以下のように、予測値の値が異なる。
Ｃａｓｅ　１：　Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌが当該４×４ブロックと同じｓｌｉｃｅにある場合
Ｐ　＝　（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３
Ｃａｓｅ　２：　Ｉ，　Ｊ，　Ｋ，　ａｎｄ　Ｌだけが当該４×４ブロックと同一スライスにある（Ａ，　Ｂ，Ｃ，　ａｎｄ　Ｄが異なるスライスに存在する）場合
Ｐ　＝　（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２
Ｃａｓｅ　３：　Ａ，　Ｂ，　Ｃ，　ａｎｄ　Ｄだけが４ｘ４ｂｌｏｃｋと同一スライスにある（Ｉ，　Ｊ，　Ｋ，　ａｎｄ　Ｌが異なるスライスに存在する）場合
Ｐ　＝　（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２
Ｃａｓｅ　４：　Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌがすべて異なるスライスに存在する場合
Ｐ　＝　１２８
【００１８】
モード１（Ｖｅｒｉｔｃａｌ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ　，Ｄ　が当該４×４ブロックと同じスライスに所属する場合にのみ適用される。それぞれの予測値は、以下の様に生成される。
ａ，　ｅ，　ｉ，：　　　　Ｐ　＝Ａ
ｂ，　ｆ，　ｊ，　ｎ　：　Ｐ　＝Ｂ
ｃ，　ｇ，　ｋ，　ｏ　：　Ｐ　＝Ｃ
ｄ，　ｈ，　ｌ，　ｐ　：　Ｐ　＝Ｄ
【００１９】
モード２（Ｈｏｒｉｚｏｎｔａｌ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ｉ，　Ｊ，　Ｋ　，Ｌ　が当該４×４ブロックと同一スライスに存在する場合にのみ適用される。それぞれの予測値は、以下のように生成される。
ａ，　ｂ，　ｃ，　ｄ　：　Ｐ　＝　Ｉ
ｅ，　ｆ，　ｇ，　ｈ　：　Ｐ　＝　Ｊ
ｉ，　ｊ，　ｋ，　ｌ　：　Ｐ　＝　Ｋ
ｍ，　ｎ，　ｏ，　ｐ：　　Ｐ　＝　Ｌ．
【００２０】
モード３（Ｄｉａｇｏｎａｌ　Ｄｏｗｎ／Ｒｉｇｈｔ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが全て当該４×４ブロックと同一スライスにある場合のみ適用される。それぞれの予測値は以下のように生成される。
ｍ：　　　　　　　　　Ｐ　＝　（Ｊ　＋　２Ｋ　＋　Ｌ　＋　２）　＞＞　２
ｉ，　ｎ　：　　　　　　Ｐ　＝　（Ｉ　＋　２Ｊ　＋　Ｋ　＋　２）　＞＞　２
ｅ，　ｊ，　ｏ　：　　　Ｐ　＝　（Ｑ　＋　２Ｉ　＋　Ｊ　＋　２）　＞＞　２
ａ，　ｆ，　ｋ，　ｐ　：　Ｐ　＝　（Ａ　＋　２Ｑ　＋　Ｉ　＋　２）　＞＞　２
ｂ，　ｇ，　ｌ　：　　　Ｐ　＝　（Ｑ　＋　２Ａ　＋　Ｂ　＋　２）　＞＞　２
ｃ，　ｈ　：　　　　　　　Ｐ　＝　（Ａ　＋　２Ｂ　＋　Ｃ　＋　２）　＞＞　２
ｄ　：　　　　　　　　Ｐ　＝　（Ｂ　＋　２Ｃ　＋　Ｄ　＋　２）　＞＞　２
【００２１】
モード４（Ｄｉａｇｏｎａｌ　Ｄｏｗｎ／Ｌｅｆｔ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが、全て当該４×４ブロックと同じスライスにある場合にのみ適用される。それぞれの予測値は以下のように生成される。
ａ　：　　　　　　　　Ｐ　＝　（Ａ　＋　２Ｂ　＋　Ｃ　＋　Ｉ　＋　２Ｊ　＋　Ｋ　＋　４）　＞＞　３
ｂ，　ｅ　：　　　　　　　Ｐ　＝　（Ｂ　＋　２Ｃ　＋　Ｄ　＋　Ｊ　＋　２Ｋ　＋　Ｌ　＋　４）　＞＞　３
ｃ，　ｆ，　ｉ　：　　　　Ｐ　＝（Ｃ　＋　２Ｄ　＋　Ｅ　＋　Ｋ　＋　２Ｌ　＋　Ｍ　＋　４）　＞＞　３
ｄ，　ｇ，　ｊ，　ｍ　：　Ｐ　＝　（Ｄ　＋　２Ｅ　＋　Ｆ　＋　Ｌ　＋　２Ｍ　＋　Ｎ　＋　４）　＞＞　３
ｈ，　ｋ，　ｎ　：　　　Ｐ＝　（Ｅ　＋　２Ｆ　＋　Ｇ　＋　Ｍ　＋　２Ｎ　＋　Ｏ　＋　４）　＞＞　３
ｌ，　ｏ　：　　　　　　　Ｐ＝　（Ｆ　＋　２Ｇ　＋　Ｈ　＋　Ｎ　＋　２Ｏ　＋　Ｐ　＋　４）　＞＞　３
ｐ　：　　　　　　　　Ｐ＝　（Ｇ　＋　Ｈ　＋　Ｏ　＋　Ｐ　＋　２）　＞＞　３
【００２２】
モード５（Ｖｅｒｔｉｃａｌ　Ｌｅｆｔ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが全て当該４×４ブロックと同一スライス内に存在する場合にのみ適用される。それぞれの予測値は以下のように生成される。
ａ，　ｊ　：　　　　　　　Ｐ　＝　（Ｑ　＋　Ａ　＋　１）　＞＞　１
ｂ，　ｋ　：　　　　　　Ｐ　＝　（Ａ　＋　Ｂ　＋　１）　＞＞　１
ｃ，　ｌ　：　　　　　　　Ｐ　＝　（Ｂ　＋　Ｃ　＋　１）　＞＞　１
ｄ　：　　　　　　　　Ｐ　＝　（Ｃ　＋　Ｄ　＋　１）　＞＞　１
ｅ，　ｎ　：　　　　　　　Ｐ　＝　（Ｉ　＋　２Ｑ　＋　Ａ　＋　２）　＞＞　２
ｆ，　ｏ　：　　　　　　　Ｐ　＝　（Ｑ　＋　２Ａ　＋　Ｂ　＋　２）　＞＞　２
ｇ，　ｐ　：　　　　　　Ｐ　＝　（Ａ　＋　２Ｂ　＋　Ｃ　＋　２）　＞＞　２
ｈ　：　　　　　　　　Ｐ　＝　（Ｂ　＋　２Ｃ　＋　Ｄ　＋　２）　　＞＞　２
ｉ　：　　　　　　　　Ｐ　＝　（Ｑ　＋　２Ｉ　＋　Ｊ　＋　２）　＞＞　２
ｍ：　　　　　　　　　Ｐ　＝　（Ｉ　＋　２Ｊ　＋　Ｋ　＋　２）　＞＞　２
【００２３】
モード６（Ｖｅｒｔｉｃａｌ　Ｒｉｇｈｔ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが全て当該４×４ブロックと同一スライス内に存在する場合にのみ適用される。それぞれの予測値は以下のように生成される。
ａ　：　　　　　　　　Ｐ　＝　（２Ａ　＋　２Ｂ　＋　Ｊ　＋　２Ｋ　＋　Ｌ　＋　４）　＞＞　３
ｂ，　ｉ　：　　　　　　Ｐ　＝　（Ｂ　＋　Ｃ　＋　１）　＞＞　１
ｃ，　ｊ　：　　　　　　　Ｐ　＝　（Ｃ　＋　Ｄ　＋　１）　＞＞　１
ｄ，　ｋ　：　　　　　　　Ｐ　＝　（Ｄ　＋　Ｅ　＋　１）　＞＞　１
ｌ　：　　　　　　　　Ｐ　＝　（Ｅ　＋　Ｆ　＋　１）　＞＞　１
ｅ　：　　　　　　　　Ｐ　＝（Ａ　＋　２Ｂ　＋　Ｃ　＋　Ｋ　＋　２Ｌ　＋　Ｍ　＋　４）　＞＞　３
ｆ，　ｍ　：　　　　　　　Ｐ　＝　（Ｂ　＋　２Ｃ　＋　Ｄ　＋　２）　＞＞　２
ｇ，　ｎ　：　　　　　　Ｐ　＝　（Ｃ　＋　２Ｄ　＋　Ｅ　＋　２）　＞＞　２
ｈ，　ｏ　：　　　　　　Ｐ　＝　（Ｄ　＋　２Ｅ　＋　Ｆ　＋　２）　＞＞　２
ｐ　：　　　　　　　　Ｐ　＝　（Ｅ　＋　２Ｆ　＋　Ｇ　＋　２）　＞＞　２
【００２４】
モード７（Ｈｏｒｉｚｏｎｔａｌ−ｕｐ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，　Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが、全て当該４×４ブロックと同一スライス内に存在する場合のみ適用される。それぞれの予測値は以下のように生成される。
ａ　：　　　　　　　　Ｐ　＝　（Ｂ　＋　２Ｃ　＋　Ｄ　＋　２Ｉ　＋　２Ｊ　＋　４）　＞＞　３
ｂ　：　　　　　　　　Ｐ　＝　（Ｃ　＋　２Ｄ　＋　Ｅ　＋　Ｉ　＋　２Ｊ　＋　Ｋ　＋　４）　＞＞　３
ｃ，　ｅ　：　　　　　　　Ｐ　＝　（Ｄ　＋　２Ｅ　＋　Ｆ　＋　２Ｊ　＋　２Ｋ　＋　４）　＞＞　３
ｄ，　ｆ　：　　　　　　　Ｐ　＝　（Ｅ　＋　２Ｆ　＋　Ｇ　＋　Ｊ　＋　２Ｋ　＋　Ｌ　＋　４）　＞＞　３
ｇ，　ｉ　：　　　　　　　Ｐ　＝　（Ｆ　＋　２Ｇ　＋　Ｈ　＋　２Ｋ　＋　２Ｌ　＋　４）　＞＞　３
ｈ，　ｊ　：　　　　　　　Ｐ　＝　（Ｇ　＋　３Ｈ　＋　Ｋ　＋　３Ｌ　＋　４）　＞＞　３
ｌ，　ｎ　：　　　　　　　Ｐ　＝　（Ｌ　＋　２Ｍ　＋　Ｎ　＋　２）　＞＞　３
ｋ，　ｍ　：　　　　　　　Ｐ　＝　（Ｇ　＋　Ｈ　＋　Ｌ　＋　Ｍ　＋　２）　＞＞　２
ｏ　：　　　　　　　　Ｐ　＝　（Ｍ　＋　Ｎ　＋　１）　＞＞　１
ｐ　：　　　　　　　　Ｐ　＝　（Ｍ　＋　２Ｎ　＋　Ｏ　＋　２）　＞＞　２
【００２５】
モード８（Ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ　Ｐｒｅｄｉｃｔｉｏｎ）は、Ａ，Ｂ，　Ｃ，　Ｄ，　Ｉ，　Ｊ，　Ｋ，　Ｌ，　Ｑが、全て当該４×４ブロックと同一スライス内に存在する場合にのみ適用される。それぞれの予測値は以下のように生成される。
ａ，　ｇ　：　　　　　　　Ｐ　＝　（Ｑ　＋　Ｉ　＋　１）　＞＞　１
ｂ，　ｈ　：　　　　　　　Ｐ　＝　（Ｉ　＋　２Ｑ　＋　Ａ＋　２）　＞＞　２
ｃ　：　　　　　　　　Ｐ　＝　（Ｑ　＋　２Ａ　＋　Ｂ＋　２）　＞＞　２
ｄ　：　　　　　　　　Ｐ　＝　（Ａ　＋　２Ｂ　＋　Ｃ＋　２）　＞＞　２
ｅ，　ｋ　：　　　　　　　Ｐ　＝　（Ｉ　＋　Ｊ　＋　１）　＞＞　１
ｆ，　ｌ　：　　　　　　　Ｐ　＝　（Ｑ　＋　２Ｉ　＋　Ｊ＋　２）　＞＞　２
ｉ，　ｏ　：　　　　　　Ｐ　＝　（Ｊ　＋　Ｋ　＋　１）　＞＞　１
ｊ，　ｐ　：　　　　　　　Ｐ　＝　（Ｉ　＋　２Ｊ　＋　Ｋ＋　２）　＞＞　２
ｍ　：　　　　　　　　Ｐ　＝　（Ｋ　＋　Ｌ　＋　１）　＞＞　１
ｎ　：　　　　　　　　Ｐ　＝　（Ｊ　＋　２Ｋ　＋　Ｌ　＋　２）　＞＞　２
【００２６】
次に、輝度信号に対するイントラ１６×１６予測モードについて述べる。
【００２７】
イントラ１６×１６モードにおけるイントラ予測は、図５に示す、Ｐ（０，　−１）　〜　Ｐ（１５，　−１）　並びにＰ（−１，０）　〜　Ｐ（−１，１５）が隣接画素として用いられる。
【００２８】
Ｍｏｄｅ０（Ｖｅｒｔｉｃａｌ　Ｐｒｅｄｉｃｔｉｏｎ）においては、現マクロブロックの上ｐ（０，　−１）　〜　ｐ（１５，　−１）　の１６画素を予測値として用いる。すなわち、
Ｐｒｅｄ（ｉ，　ｊ）　＝　Ｐ（ｉ，　−１），　ｉ，　ｊ＝０．．１５
【００２９】
Ｍｏｄｅ１（Ｈｏｒｉｚｏｎｔａｌ　Ｐｒｅｄｉｃｔｉｏｎ）においては、現マクロブロックの左ｐ（−１，　０）　〜　ｐ（−１，　１５）の１６画素を予測値として用いる。すなわち、
Ｐｒｅｄ（ｉ，　ｊ）　＝　Ｐ（−１，　ｊ），　ｉ，　ｊ＝０．．１５
【００３０】
Ｍｏｄｅ２（ＤＣ　Ｐｒｅｄｉｃｔｉｏｎ）においては、現マクロブロックの上１６　画素、左１６画素の平均値を予測値とするが、どちらかの１６画素が当該１６×１６マクロブロックと別のスライスに属する場合は、予測の計算には用いない。どちらも別のスライスに存在する場合には、予測値を１２８とする。すなわち、
2004140473.tif 000003
【００３１】
Ｍｏｄｅ３（Ｐｌａｎｅ　Ｐｒｅｄｉｃｔｉｏｎ）における予測値は以下のように生成される。
Ｐｒｅｄ（ｉ，ｊ）　＝　ｃｌｉｐ１（　（ａ　＋　ｂ・（ｉ−７）　＋　ｃ・（ｊ−７）　＋１６）　＞＞　５　）
ここで、
ａ　＝　１６・（Ｐ（−１，１５）　＋　Ｐ（１５，−１））
ｂ　＝　（５＊Ｈ＋３２）＞＞６
ｃ　＝　（５＊Ｖ＋３２）＞＞６
であり、また、ＨとＶは
2004140473.tif 000004
である。
【００３２】
次に、色差信号のイントラ予測について述べる。
【００３３】
色差予測モードは、以下に述べる１つのみが定義されている。すなわち、８×８色差信号ブロックは、図６に示すように、４つの４×４ブロックＡ，　Ｂ，　Ｃ，　Ｄに分割され、それぞれの４×４ブロックに対して、単一の予測値が用いられる。図６において、Ｓ０，　Ｓ１，　Ｓ２，　Ｓ３は、それぞれのブロックに隣接した４つの画素の、画素値の和である。
【００３４】
予測値の生成は、以下の通りである。
【００３５】
Ｓ０，　Ｓ１，　Ｓ２，　Ｓ３　が当該１６×１６マクロブロックと同一スライスにある場合には、
Ａ　＝　（Ｓ０　＋　Ｓ２　＋　４）＞＞３
Ｂ　＝　（Ｓ１　＋　２）＞＞２
Ｃ　＝　（Ｓ３　＋　２）＞＞２
Ｄ　＝　（Ｓ１　＋　Ｓ３　＋　４）＞＞３
とする。
【００３６】
Ｓ０　ａｎｄ　Ｓ１　のみが当該１６×１６マクロブロックと同一スライスにある場合には、
Ａ　＝　（Ｓ０　＋　２）＞＞２
Ｂ　＝　（Ｓ１　＋　２）＞＞２
Ｃ　＝　（Ｓ０　＋　２）＞＞２
Ｄ　＝　（Ｓ１　＋　２）＞＞２
とする。
【００３７】
Ｓ２　ａｎｄ　Ｓ３　のみが当該１６×１６マクロブロックと同一スライスにある場合には、
Ａ　＝　（Ｓ２　＋　２）＞＞２
Ｂ　＝　（Ｓ２　＋　２）＞＞２
Ｃ　＝　（Ｓ３　＋　２）＞＞２
Ｄ　＝　（Ｓ３　＋　２）＞＞２
とする。
【００３８】
Ｓ０，　Ｓ１，　Ｓ２，　Ｓ３　がすべて別スライスにある場合には
Ａ　＝　Ｂ　＝　Ｃ　＝　Ｄ　＝　１２８
とする。
【発明が解決しようとする課題】
【００３９】
ところで、今、マクロブロックに含まれるそれぞれの４×４ブロックを、図７に示すようなデフォルトのスキャン順序で処理するとする。
【００４０】
ブロック１におけるイントラ予測を行うためには、ブロック０に対する復号画像の画素情報が必要となる。これを実現するための、図１に示した画像情報符号化装置の処理は図８のように逐次処理となる。すなわち、パイプライン処理による処理を行うことが不可能となる。
【００４１】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、画像情報符号化装置においては、Ａ／Ｄ変換装置、画面並べ替えバッファ、加算器、イントラ予測装置、直交変換装置、量子化装置、可逆符号化装置、蓄積バッファ、逆量子化装置、逆直交変換装置、逆イントラ予測装置、デブロックフィルタ、フレームメモリ、動き予測・補償装置、レート制御装置、ブロックアドレス検出装置、予測制御装置、ブロックアドレス検出装置並びに予測制御装置を兼ね備え、また、画像情報復号化装置においては、蓄積バッファ、可逆復号化装置、逆量子化装置、逆直交変換装置、逆イントラ予測装置、予測制御装置、ブロックアドレス検出装置、デブロックフィルタ、画面並べ替えバッファ、Ｄ／Ａ変換装置、動き予測・補償装置並びにフレームメモリを兼ね備え、ＪＶＴ画像情報符号化装置のように、単一のマクロブロックに複数のブロックを含み、このブロック毎にイントラ予測を行う画像情報符号化装置において、パイプライン処理に基づく高速なイントラ予測を行う手段を提供するものである。
【００４２】
上記構成において、画像情報符号化装置では、Ａ／Ｄ変換装置においては、入力となるアナログ画像信号をデジタル画像信号に変換し、画面並べ替えバッファにおいては、出力となる画像圧縮情報のＧＯＰ構造に応じてフレームの並べ替えを行い、イントラ予測装置においては、当該マクロブロックがイントラマクロブロックである場合には、イントラ予測処理を行い、ブロックアドレス検出装置においては、当該マクロブロックにおいて、どのブロックに対してイントラ予測処理が行われているかを検出し、予測制御装置においては、ブロックアドレス検出装置の出力に応じて、イントラ予測装置における動作原理の制御を行い、加算器においては、当該フレームがインター符号化される場合、入力フレームと参照フレームの差分の生成を行い、直交変換装置においては、入力フレーム、若しくは入力フレームと参照フレームの差分値に、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、量子化装置においては、直交変換が施された変換係数の量子化処理を行い、可逆符号化装置においては、量子化された変換係数に対して、可変長符号化若しくは算術符号化に基づく可逆符号化処理を行い、蓄積バッファにおいては、可逆変換された画像圧縮情報の蓄積を行い、逆量子化装置においては、量子化された変換係数の逆量子化を行い、逆直交変換装置においては、逆量子化が施された直交変換係数の逆直交変換を行い、逆イントラ予測装置においては、当該マクロブロックがイントラマクロブロックであった場合には、逆直交変換された画素値の差分情報に対して逆イントラ予測処理を行い、ブロックアドレス検出装置においては、当該マクロブロックにおいて、どのブロックに対して逆イントラ予測処理が行われているかを検出し、予測制御装置においては、ブロックアドレス検出装置の出力に応じて、逆イントラ予測装置における動作原理の制御を行い、デブロックフィルタにおいては、復号画像に含まれるブロック歪の除去を行い、フレームメモリにおいては、予測画像の格納を行い、動き予測・補償装置においては、フレームメモリに格納された予測画像を入力として、動きベクトル情報の探索並びに動き補償処理を行い、レート制御装置においては、フィードバック制御により量子化装置の動作の制御を行う。
【００４３】
また、画像情報復号化装置では、蓄積バッファにおいては、入力となる画像圧縮情報の蓄積を行い、可逆復号化装置においては、可変長符号化若しくは算術符号化に基づく可逆復号化処理を行い、逆量子化装置においては、可逆復号化処理の結果得られる、量子化された直交変換係数の逆量子化処理を行い、逆直交変換装置においては、逆量子化された直交変換係数に対して逆直交変換処理を行い、加算器においては、当該マクロブロックがインターマクロブロックである場合には、逆直交変換の結果得られる画素値の差分情報と、参照画像の合成を行い、逆イントラ予測装置においては、当該マクロブロックがイントラマクロブロックであった場合には、逆直交変換された画素値の差分情報に対して逆イントラ予測処理を行い、ブロックアドレス検出装置においては、当該マクロブロックにおいて、どのブロックに対して逆イントラ予測処理が行われているかを検出し、予測制御装置においては、ブロックアドレス検出装置の出力に応じて、逆イントラ予測装置における動作原理の制御を行い、デブロックフィルタにおいては、画像情報に含まれるブロック歪の除去を行い、画面並べ替えバッファにおいては、入力となる画像圧縮情報のＧＯＰ構造に応じた、画像情報の並べ替えを行い、Ｄ／Ａ変換装置においては、デジタル信号である画像情報をアナログ信号に変換し、動き予測・補償装置においては、当該マクロブロックがインター符号化されている場合には、画像圧縮情報中に含まれる動きベクトル情報をも用いて参照画像の生成を行い、フレームメモリにおいては、参照となる復号画像の蓄積を行う。
【００４４】
【発明の実施の形態】
以下、図面を参照し、本発明の実施例について説明する。
【００４５】
（実施例）図９に、本発明による画像情報符号化装置の実施例を示す。すなわち、２７はＡ／Ｄ変換装置、２８は画面並べ替えバッファ、２９は加算器、３０はイントラ予測装置３１は直交変換装置、３２は量子化装置、３３は可逆符号化装置、３４は蓄積バッファ、３５は逆量子化装置、３６は逆直交変換装置、３７は逆イントラ予測装置、３８はデブロックフィルタ、３９はフレームメモリ、４０は動き予測・補償装置、４１はレート制御装置、４２はブロックアドレス検出装置、４３は予測制御装置、４４はブロックアドレス検出装置、４５は予測制御装置である。
【００４６】
また、図１０に、本発明による画像情報復号化装置の実施例を示す。すなわち４６は蓄積バッファ、４７は可逆復号化装置、４８は逆量子化装置、４９は逆直交変換装置、５０は逆イントラ予測装置、５１は予測制御装置、５２はブロックアドレス検出装置、５３はデブロックフィルタ、５４は画面並べ替えバッファ、５５はＤ／Ａ変換装置、５６は動き予測・補償装置、５７はフレームメモリである。
【００４７】
図９において、イントラ予測装置３０、逆イントラ予測装置３７、ブロックアドレス検出装置４２、予測制御装置４３、ブロックアドレス検出装置４４、予測制御装置４５以外における動作原理は図１に示した画像情報符号化装置と同様である。また、図１０において、逆イントラ予測装置５０、予測制御装置５１、ブロックアドレス検出装置５２以外における動作原理は図２に示した画像情報復号化装置と同様である。更に、また、ブロックアドレス検出装置４２における動作原理は、ブロックアドレス検出装置４４及びブロックアドレス検出装置５２と同様であり、予測制御装置４３における動作原理は、予測制御装置４５及び予測制御装置５１における動作原理と同様である。以下では、イントラ予測装置３０、ブロックアドレス検出装置４２、予測制御装置４３における動作原理についてのみ述べることとする。
【００４８】
イントラ予測装置３０においては、図７に示したようなラスタースキャン順の処理を行うのではなく、図１１（ａ）若しくは図１１（ｂ）に示したような順番で一連の処理を行う。
【００４９】
ここで、従来例で述べられた方法によりイントラ予測を行うと、図４における、当該ブロックの左下に隣接する画素値Ｍ〜Ｐ、並びに、当該ブロックの右上に隣接する画素値Ｅ〜Ｈを用いることは、パイプライン処理による高速演算を実現するための妨げとなる。
【００５０】
そこで、本発明では、従来例で述べられたイントラ予測に代え、これらの画素値を用いないイントラ予測を行う。このようなイントラ予測の一連を図１２に示す。
【００５１】
これにより、図１１（ａ）に示した方法で、ブロック１，２，３を処理する際には、図１３に示すようなパイプラインを組んで処理することが可能となり、高速な画像符号化処理を可能とする。
【００５２】
しかしながら、図１１（ａ）及び図１１（ｂ）のいずれの場合を用いた場合も、図１４の斜線で示した４×４ブロックに関しては、図１３に示したようなパイプライン処理を行う場合、■で示した位置における復号画像の画素値を用いたイントラ予測を行うことが出来ないという問題点を有する。
【００５３】
かかる問題点は、以下の２通りのいずれかの方式により回避することが可能である。
【００５４】
第一の方法は、■で示した復号画像の画素値に代えて、１２８を予測値として用いる方法である。
【００５５】
第二の方法は、図１５に示したように、■で示した位置に対する復号画像の画素値に代え、斜線で示した、既に復号済みの画素値をイントラ予測に用いる方法である。
【００５６】
以上のいずれかの方法を用いることにより、イントラ予測に伴う画質劣化を最小限に抑えながら、パイプラインによる４×４ブロック毎の高速な処理を可能とする。
【００５７】
尚、図１６に示したようなパイプラインにより処理を行うことにより、更なる高速化が可能となるが、この時、図１１（ａ）に示したような順序で処理を行った場合、図１７の斜線で示した部分の復号画像が、当該４×４ブロックを処理する際に存在しないことになる。
【００５８】
この場合も、上述のいずれかの方法により、画質劣化を最小限に抑えながら、パイプラインによる高速な処理を実現することが可能となる。
【００５９】
上述のパイプライン処理は、入力となる画像圧縮情報が、例えば７２０×４８０若しくは１９２０×１０８０といった、大きな画枠のものである際必要となるものであり、画像圧縮情報が１７６×１４４といった小さな画枠のものであって、符号化処理及び復号化処理を行う装置の演算能力が十分高い場合には、必ずしも実時間処理を行うには必要とならない。したがって、画像圧縮情報中に、図７に示した順序で復号化処理を行うか、図１１に示した順序で復号化処理処理を行うかに関する処理を行うかを示す情報を埋め込む必要がある。
【００６０】
このため、１ビットのフラグをシーケンスヘッダに埋め込み、図７に示した方法と、図１１に示した方法のいずれを用いるかを図１０で示した画像情報復号化装置で選択することを可能とする。
【００６１】
このフラグは、シーケンスヘッダではなく、ピクチャヘッダに埋め込まれても良い。すなわち、例えば、フレームレートがシーケンスの途中でより小さな値に変化して、パイプライン処理が必要ではなくなった場合、逆に、フレームレートがシーケンスの途中でより大きな値に変化して、パイプライン処理が必要となった場合には、ピクチャヘッダにあるフラグを図１０に示した復号化装置で読み取り、処理の切り替えを行う。フラグはピクチャヘッダに必ず伝送されても良いし、オプションとして伝送されても良い。後者の場合には、フラグが伝送されない場合には、直前に復号化された画像と同様の処理を行う。
【００６２】
更に、また、上述の第一若しくは第二の方法は、図１１に示した順序により復号化処理を行う場合のみならず、図７に示したような、通常のラスタースキャンオーダーで復号化処理を行う場合にも適用可能である。
【００６３】
すなわち、例えば、図７において、４×４ブロック２を処理する際には、イントラ予測に用いられる、左部の隣接画素は、当該マクロブロックには属しておらず、パイプライン処理を行う場合も、既に復号化済みであるが、４×４ブロック３に関しては、パイプライン処理を用いた高速演算を行う場合には、左部の隣接画素に関する復号化処理を用いることが不可能である。
【００６４】
この時、図１８に示すように、４×４ブロック１、３、９、１１、５，７，１３，１５に対する左部の隣接画素を、４×４ブロック０、２、８、１０、４、６、１２、１４に対する左部の隣接画素として用いるか、またはこれらに代わる値として固定値（たとえば１２８）を用いることで、また、同様に、４×４ブロック２，３，６，７、１０、１１、１４、１５対する上部の隣接画素を、４×４ブロック０，１，４，５，８，９，１２，１３、に対する上部の隣接画素として用いるか、またはこれらに代わる値　として固定値（たとえば１２８）を用いることで、画質劣化を最小限に抑えながら、パイプライン処理における高速処理が可能となる。ここでは、４ｘ４Ｂｌｏｃｋの４つ（たとえば、０、１、２、３や、４、５、６、７、）を中間階層（単位）として符号化（もしくは復号）する場合の実施例を示したが、４ｘ４Ｂｌｏｃｋを単位として符号化（もしくは復号）する場合には、ブロック３を符号化する場合の左隣の画素の代わりに、ブロック２の左隣の画素を用いるが、上部の画素は、ブロック１の復号が終了しているので、そのままブロック１の画素を用いる。
【００６５】
かかる処理を行うためには、図９に示した画像情報符号化装置の出力となる画像圧縮情報において、それぞれの４×４ブロックに対して、通常のイントラ予測が行われたか、上述の第一若しくは第二の方法がイントラ予測に適用されたかを示す情報をフラグ（例えば１ビットのフラグでよい）として伝送する。
【００６６】
このフラグは、シーケンスヘッダもしくはピクチャヘッダもしくは、スライスヘッダにおいて、伝送される。すなわち、当該画像圧縮情報に含まれる全てのイントラマクロブロックに対して、通常のイントラ予測が行われるか、回避モードのイントラ予測が行われるかに関する情報が埋め込まれる。
【００６７】
このフラグは上述したように、シーケンスヘッダもしくはピクチャヘッダもしくは、スライスヘッダを単位として伝送することができる。すなわち、例えば、フレームレートがシーケンスの途中でより小さな値に変化して、パイプライン処理が必要ではなくなった場合、逆に、フレームレートがシーケンスの途中でより大きな値に変化して、パイプライン処理が必要となった場合には、ピクチャヘッダにあるフラグを図１０に示した復号化装置で読み取り、処理の切り替えを行う。フラグはピクチャヘッダに必ず伝送されても良いし、オプションとして伝送されても良い。後者の場合には、フラグが伝送されない場合には、直前に復号化された画像と同様の処理を行う。このフラグは上述のように、シーケンスヘッダもしくはピクチャヘッダ、もしくはスライスヘッダにおいて、含まれる全てのマクロブロックの予測情報を示すように説明を行ったが、それに限らず、含まれるそれぞれの４×４ブロック（若しくはマクロブロック）に対して指定するようにしてもよい。
【００６８】
【発明の効果】
以上述べてきたように、ＪＶＴ画像情報符号化装置のように、単一のマクロブロックに複数のブロックを含み、このブロック毎にイントラ予測を行う画像情報符号化装置において、パイプライン処理に基づく高速なイントラ予測を行う手段を提供するものである。
【図面の簡単な説明】
【図１】離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置のブロック図である。
【図２】離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置のブロック図である。
【図３】イントラ４×４モードにおける、イントラ予測の方向を示した図である。
【図４】イントラ４×４モードにおける、当該４×４ブロックと、イントラ予測に用いられる隣接画素との関係を示した図である。
【図５】イントラ１６×１６モードにおける、予測に用いられる隣接画素値を示した図である。
【図６】ＪＶＴ符号化方式で規定されている、色差信号に対するイントラ予測を説明するための図である。
【図７】イントラ予測における問題点を説明するための第一の図である。
【図８】イントラ予測における問題点を説明するための第二の図である。
【図９】本発明による画像情報符号化装置を示したブロック図である。
【図１０】本発明による画像情報復号化装置を示したブロック図である。
【図１１】イントラ予測装置３０における動作原理を説明するための図である。
【図１２】パイプライン処理による高速演算を実現するための、イントラ予測の変更方法の一例を示した図である。
【図１３】図１１で示した動作原理を、パイプライン処理により実現するための第一の例を示した図である。
【図１４】図１１で示した動作原理を、パイプライン処理により処理する場合の問題点を示した図である。
【図１５】図１３に示された問題点を解決するための第二の方法を示した図である。
【図１６】図１１で示した動作原理を、パイプライン処理により実現するための第二の例を示した図である。
【図１７】図１５で示したパイプライン処理を行う時の問題点を説明するための図である。
【図１８】図７に示した、通常のラスタースキャンによる処理を行う際、パイプライン処理に基づく高速演算を実現するためのイントラ予測の回避方法を示した図である。
【符号の説明】
１…Ａ／Ｄ変換装置
２…画面並べ替えバッファ
３…加算器
４…イントラ予測装置
５…直交変換装置
６…量子化装置
７…可逆符号化装置
８…蓄積バッファ
９…逆量子化装置
１０…逆直交変換装置
１１…逆イントラ予測装置
１２…デブロックフィルタ
１３…フレームメモリ
１４…動き予測・補償装置
１５…レート制御装置
１６…蓄積バッファ
１７…可逆符号化装置
１８…逆量子化装置
１９…逆直交変換装置
２０…逆イントラ予測装置
２１…加算器
２２…デブロックフィルタ
２３…画面並べ替えバッファ
２４…Ｄ／Ａ変換装置
２５…動き予測・補償装置
２６…フレームメモリ
２７…Ａ／Ｄ変換装置
２８…画面並べ替えバッファ
２９…加算器
３０…イントラ予測装置
３１…直交変換装置
３２…量子化装置
３３…可逆符号化装置
３４…蓄積バッファ
３５…逆量子化装置
３６…逆直交変換装置
３７…逆イントラ予測装置
３８…デブロックフィルタ
３９…フレームメモリ
４０…動き予測・補償装置
４１…レート制御装置
４２…ブロックアドレス検出装置
４３…予測制御装置
４４…ブロックアドレス検出装置
４５…予測制御装置
４６…蓄積バッファ
４７…可逆復号化装置
４８…逆量子化装置
４９…逆直交変換装置
５０…逆イントラ予測装置
５１…予測制御装置
５２…ブロックアドレス検出装置
５３…デブロックフィルタ
５４…画面並べ替えバッファ
５５…Ｄ／Ａ変換装置
５６…動き予測・補償装置
５７…フレームメモリ
【図１】
2004140473.tif 000005
【図２】
2004140473.tif 000006
【図３】
2004140473.tif 000007
【図４】
2004140473.tif 000008
【図５】
2004140473.tif 000009
【図６】
2004140473.tif 000010
【図７】
2004140473.tif 000011
【図８】
2004140473.tif 000012
【図９】
2004140473.tif 000013
【図１０】
2004140473.tif 000014
【図１１】
2004140473.tif 000015
【図１２】
2004140473.tif 000016
【図１３】
2004140473.tif 000017
【図１４】
2004140473.tif 000018
【図１５】
2004140473.tif 000019
【図１６】
2004140473.tif 000020
【図１７】
2004140473.tif 000021
【図１８】
2004140473.tif 000022