(57)【特許請求の範囲】
【請求項１】
符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、
上記イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの左に隣接している画素の信号値に対して、上記処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの左に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像復号装置。
【請求項２】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項１記載の画像復号装置。
【請求項３】
符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、
上記イントラ予測手段は、イントラ予測パラメータが垂直方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの上に隣接している画素の信号値に対して、上記処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの上に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像復号装置。
【請求項４】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項３記載の画像復号装置。
【請求項５】
イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、イントラ予測パラメータが水平方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの左に隣接している画素の信号値に対して、上記処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの左に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像復号方法。
【請求項６】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項５記載の画像復号方法。
【請求項７】
イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、イントラ予測パラメータが垂直方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの上に隣接している画素の信号値に対して、上記処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの上に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像復号方法。
【請求項８】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項７記載の画像復号方法。
【請求項９】
符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、
上記イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの左に隣接している画素の信号値に対して、上記処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの左に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像符号化装置。
【請求項１０】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項９記載の画像符号化装置。
【請求項１１】
符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、
上記イントラ予測手段は、イントラ予測パラメータが垂直方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの上に隣接している画素の信号値に対して、上記処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの上に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像符号化装置。
【請求項１２】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項１１記載の画像符号化装置。
【請求項１３】
イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、イントラ予測パラメータが水平方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの左に隣接している画素の信号値に対して、上記処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの左に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像符号化方法。
【請求項１４】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項１３記載の画像符号化方法。
【請求項１５】
イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、イントラ予測パラメータが垂直方向予測処理を示す場合、
上記処理ブロックが所定サイズより小さいときは、上記処理ブロックの上に隣接している画素の信号値に対して、上記処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記処理ブロックが所定サイズ以上であるときは、上記処理ブロックの上に隣接している画素の信号値を上記予測値とする
ことを特徴とする画像符号化方法。
【請求項１６】
上記シフト演算として、１ビット右シフトする算術シフト演算を行うことを特徴とする請求項１５記載の画像符号化方法。
【請求項１７】
符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎に予測処理を実施して符号化された符号化データのデータ構造であって、
上記符号化データは、
上記符号化ブロックに係る符号化モードと、
上記符号化モードがイントラ符号化モードである場合に、上記処理ブロック毎にフレーム内予測処理を実施する際に使用されるイントラ予測モードを示すイントラ予測パラメータと、
上記処理ブロックのブロックサイズを規定する情報と、
上記処理ブロックの画像と上記処理ブロックに予測処理を実施して生成される予測画像との差分に圧縮処理を行って生成される圧縮データと、を備え、
上記符号化モードがイントラ符号化モードであり、上記イントラ予測パラメータが水平方向予測処理を示す場合、
上記予測画像の画素の予測値は、
上記ブロックサイズが所定サイズより小さいときは、上記処理ブロックの左に隣接している画素の信号値に対して、上記処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記ブロックサイズが所定サイズ以上であるときは、上記処理ブロックの左に隣接している画素の信号値を上記予測値とする、ことにより生成される
ことを特徴とする符号化データのデータ構造。
【請求項１８】
符号化ブロック又は上記符号化ブロックを分割したサブブロックを処理ブロックとし、当該処理ブロック毎に予測処理を実施して符号化された符号化データのデータ構造であって、
上記符号化データは、
上記符号化ブロックに係る符号化モードと、
上記符号化モードがイントラ符号化モードである場合に、上記処理ブロック毎にフレーム内予測処理を実施する際に使用されるイントラ予測モードを示すイントラ予測パラメータと、
上記処理ブロックのブロックサイズを規定する情報と、
上記処理ブロックの画像と上記処理ブロックに予測処理を実施して生成される予測画像との差分に圧縮処理を行って生成される圧縮データと、を備え、
上記符号化モードがイントラ符号化モードであり、上記イントラ予測パラメータが垂直方向予測処理を示す場合、
上記予測画像の画素の予測値は、
上記ブロックサイズが所定サイズより小さいときは、上記処理ブロックの上に隣接している画素の信号値に対して、上記処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を上記予測値とし、
上記ブロックサイズが所定サイズ以上であるときは、上記処理ブロックの上に隣接している画素の信号値を上記予測値とする、ことにより生成される
ことを特徴とする符号化データのデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化する画像符号化装置及び画像符号化方法と、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法と、符号化データのデータ構造とに関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化ブロック）に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。
【０００３】
例えば、国際標準方式であるＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１４は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１４では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。
【０００４】
図１４において、モード２は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード１が選択される。
モード３からモード８は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成するものである。
【０００５】
ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Ｐｌａｎｅ予測と呼ばれる４つのイントラ予測モードが規定されている。
Ｐｌａｎｅ予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
【０００６】
なお、方向性予測モードは、予め定められている方向（予測方向）にブロックの隣接画素又は隣接画素から生成された補間画素を繰り返すことで予測値を生成するものであるため、図１５に示すような予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、予測方向に沿ってブロック内の信号値が一定である場合には、予測効率が高くなって符号量を削減することができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像符号化装置は以上のように構成されているので、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致し、なおかつ、その予測方向に沿って予測対象ブロック内の信号値が一定であれば、方向性予測を用いることで高精度に予測することができる。しかし、予測対象ブロック内のオブジェクトの境界（エッジ）の方向が予測方向と一致していても、図１６に示すように、その予測方向に沿って信号値が変化している場合には、予測誤差が大きくなってしまう課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像復号装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの左に隣接している画素の信号値に対して、処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの左に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像復号装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが垂直方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの上に隣接している画素の信号値に対して、処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの上に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像復号方法は、イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、イントラ予測処理ステップでは、イントラ予測パラメータが水平方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの左に隣接している画素の信号値に対して、処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの左に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像復号方法は、イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、イントラ予測処理ステップでは、イントラ予測パラメータが垂直方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの上に隣接している画素の信号値に対して、処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの上に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像符号化装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが水平方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの左に隣接している画素の信号値に対して、処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの左に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像符号化装置は、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測手段を備え、イントラ予測手段は、イントラ予測パラメータが垂直方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの上に隣接している画素の信号値に対して、処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの上に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像符号化方法は、イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、イントラ予測処理ステップでは、イントラ予測パラメータが水平方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの左に隣接している画素の信号値に対して、処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの左に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る画像符号化方法は、イントラ予測手段が、符号化ブロックに係る符号化モードがイントラ符号化モードである場合、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎にフレーム内予測処理を実施して予測画像の画素の予測値を生成するイントラ予測処理ステップを備え、イントラ予測処理ステップでは、イントラ予測パラメータが垂直方向予測処理を示す場合、処理ブロックが所定サイズより小さいときは、処理ブロックの上に隣接している画素の信号値に対して、処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、処理ブロックが所定サイズ以上であるときは、処理ブロックの上に隣接している画素の信号値を予測値とするようにしたものである。
また、この発明に係る符号化データのデータ構造は、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎に予測処理を実施して符号化された符号化データのデータ構造であって、符号化データは、符号化ブロックに係る符号化モードと、符号化モードがイントラ符号化モードである場合に、処理ブロック毎にフレーム内予測処理を実施する際に使用されるイントラ予測モードを示すイントラ予測パラメータと、処理ブロックのブロックサイズを規定する情報と、処理ブロックの画像と処理ブロックに予測処理を実施して生成される予測画像との差分に圧縮処理を行って生成される圧縮データと、を備え、符号化モードがイントラ符号化モードであり、イントラ予測パラメータが水平方向予測処理を示す場合、予測画像の画素の予測値は、ブロックサイズが所定サイズより小さいときは、処理ブロックの左に隣接している画素の信号値に対して、処理ブロックの上に隣接している画素の水平方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、ブロックサイズが所定サイズ以上であるときは、処理ブロックの左に隣接している画素の信号値を予測値とする、ことにより生成されるようにしたものである。
また、この発明に係る符号化データのデータ構造は、符号化ブロック又は符号化ブロックを分割したサブブロックを処理ブロックとし、処理ブロック毎に予測処理を実施して符号化された符号化データのデータ構造であって、符号化データは、符号化ブロックに係る符号化モードと、符号化モードがイントラ符号化モードである場合に、処理ブロック毎にフレーム内予測処理を実施する際に使用されるイントラ予測モードを示すイントラ予測パラメータと、処理ブロックのブロックサイズを規定する情報と、処理ブロックの画像と処理ブロックに予測処理を実施して生成される予測画像との差分に圧縮処理を行って生成される圧縮データと、を備え、符号化モードがイントラ符号化モードであり、イントラ予測パラメータが垂直方向予測処理を示す場合、予測画像の画素の予測値は、ブロックサイズが所定サイズより小さいときは、処理ブロックの上に隣接している画素の信号値に対して、処理ブロックの左に隣接している画素の垂直方向の信号値変化量に対してシフト演算した値を加算して、その加算後の値を予測値とし、ブロックサイズが所定サイズ以上であるときは、処理ブロックの上に隣接している画素の信号値を予測値とする、ことにより生成されるようにしたものである。
【発明の効果】
【００１１】
この発明によれば、上記のように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができるとともに、演算量の増加を抑えることができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【図５】最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
【図６】（ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を示す説明図である。
【図７】符号化ブロックＢn内の各予測ブロックＰinが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図８】ｌin＝ｍin＝４の場合の予測ブロックＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図９】予測ブロックＰin内の左上画素を原点とする相対座標を示す説明図である。
【図１０】垂直方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する左の予測ブロックの隣接画素の一例を示す説明図である。
【図１１】垂直方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。
【図１２】水平方向予測における従来の予測値に対して、加算する輝度値変化量を算出するために参照する上の予測ブロックの隣接画素の一例を示す説明図である。
【図１３】水平方向予測における従来の予測値に対して、加算する輝度値変化量のスケーリング値の一例を示す説明図である。
【図１４】輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
【図１５】水平方向予測によって高精度に予測された予測画像の一例を示す説明図である。
【図１６】水平方向予測によって予測を行った際に大きな予測誤差が発生する一例を示す説明図である。
【図１７】符号化ブロックＢn内の各予測ブロックＰinが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。
【００１４】
符号化制御部２は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。
【００１５】
切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１６】
イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。
【００１７】
動き補償予測部５は切換スイッチ３から出力された符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
【００１８】
減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。
【００１９】
逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、又は、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
【００２０】
イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。
【００２１】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２２】
図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【００２３】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
なお、可変長復号部３１は可変長復号手段を構成している。
【００２４】
逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
なお、逆量子化・逆変換部３２は逆量子化手段を構成している。
【００２５】
切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
【００２６】
イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）に対して、予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。
【００２７】
動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報及び符号化モードから特定される復号ブロックに対して、予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、又は、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
【００２８】
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。
【００２９】
図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【００３０】
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００３１】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００３２】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【００３３】
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【００３４】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
【００３５】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００３６】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
【００３７】
また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【００３８】
ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００３９】
また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【００４０】
ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ0，Ｍ0）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは、同じであってもよいし、異なっていてもよいが、図５では、Ｌn＝Ｍnのケースを示している。
【００４１】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
４分木分割を行うため、常に、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌn／２，Ｍn／２）になる。
【００４２】
以降、第ｎ階層の符号化ブロックをＢnで表し、符号化ブロックＢnで選択可能な符号化モードをｍ（Ｂn）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００４３】
符号化ブロックＢnは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢnに属する予測ブロックをＰin（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ00とＰ10の一例を示す。
符号化ブロックＢnの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂn）の中に情報として含まれる。
予測ブロックＰinは、全て符号化モードｍ（Ｂn）に従って予測処理が行われるが、予測ブロックＰin毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
【００４４】
符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂn）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００４５】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢnをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢnを動き補償予測部５に出力する。
【００４６】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像ＰINTRAinと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰINTRAinの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。
【００４７】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、その符号化ブロックＢn内の各予測ブロックＰinと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰinに対するインター予測処理を実施して、インター予測画像ＰINTERinを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像ＰINTERinと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰINTERinの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００４８】
減算部６は、ブロック分割部１から符号化ブロックＢnを受けると、その符号化ブロックＢn内の予測ブロックＰinから、イントラ予測部４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償予測部５により生成されたインター予測画像ＰINTERinのいずれか一方を減算して、その減算結果である予測差分信号ｅinを変換・量子化部７に出力する（ステップＳＴ６）。
【００４９】
変換・量子化部７は、減算部６から予測差分信号ｅinを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅinに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００５０】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅinに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
【００５１】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償予測部５により生成されたインター予測画像ＰINTERinのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【００５２】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がある。
【００５３】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
【００５４】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂn）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
【００５５】
次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢn内の各予測ブロックＰinが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００５６】
イントラ予測部４は、上述したように、予測ブロックＰinのイントラ予測パラメータを参照して、その予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成するが、ここでは、輝度信号における予測ブロックＰinのイントラ予測信号を生成するイントラ処理について説明する。
【００５７】
予測ブロックＰinのサイズをｌin×ｍin画素とする。
図８はｌin＝ｍin＝４の場合の予測ブロックＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰinの上の符号化済みの画素（２×ｌin＋１）個と、左の符号化済みの画素（２×ｍin）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰinの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
【００５８】
予測ブロックＰinに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000002
ただし、座標（ｘ，ｙ）は予測ブロックＰin内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。
【００５９】
このように、従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰinの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰinの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
【００６０】
なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２x+1とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰinの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰinの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰinの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰinの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（１）の予測処理を行う予測ブロックＰinのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは式（１）は適用せずに従来の垂直方向予測の予測値（予測ブロックＰinの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
【００６１】
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、下記の式（２）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000003
ただし、座標（ｘ，ｙ）は予測ブロックＰin内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。
【００６２】
このように、従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰinの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰinの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
【００６３】
なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２y+1とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰinの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰinの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰinの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰinの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式（２）の予測処理を行う予測ブロックＰinのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは式（２）は適用せずに従来の水平方向予測の予測値（予測ブロックＰinの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
【００６４】
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、予測ブロックＰinの上に隣接する符号化済み画素と予測ブロックＰinの左に隣接する符号化済み画素の平均値を予測ブロックＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（垂直方向予測）、１（水平方向予測）、２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυp＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰin内の画素の予測値を生成する。
図９に示すように、予測ブロックＰinの左上画素を原点として、予測ブロックＰin内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
0005992070.tif 000004
ただし、ｋは負のスカラ値である。
【００６５】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰin内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像ＰINTRAinを出力する。
なお、イントラ予測画像ＰINTRAinの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００６６】
なお、先に説明したＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
【００６７】
予測ブロックＰinの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
【００６８】
なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【００６９】
また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【００７０】
次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。
【００７１】
可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【００７２】
次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
【００７３】
可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
【００７４】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【００７５】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モード（ｍ（Ｂn）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢn内の各予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰinに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰin内の画素の予測値を算出して、イントラ予測画像ＰINTRAinを生成する。
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰin内の画素の予測値を算出して、イントラ予測画像ＰINTRAinを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰinでは従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
【００７６】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モード（ｍ（Ｂn）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰinに対するインター予測処理を実施してインター予測画像ＰINTERinを生成する（ステップＳＴ２７）。
【００７７】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
【００７８】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償部３５により生成されたインター予測画像ＰINTERinのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【００７９】
ループフィルタ部３８は、全ての復号ブロックＢnに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【００８０】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
【００８１】
また、この実施の形態１によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
【００８２】
この実施の形態１によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
【００８３】
なお、この実施の形態１では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２N+1（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２M+1（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
【００８４】
実施の形態２．
上記実施の形態１では、イントラ予測部４，３４が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
【００８５】
以下、イントラ予測部４，３４の処理内容を具体的に説明する。
イントラ予測部４，３４は、予測ブロックＰinに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合、下記の式（４）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000005
【００８６】
ただし、Ｂは０以上の整数であり、式（４）の上式を適用するｘ＜Ｂの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｂの値を小さくするほど、低演算な処理を実現することが可能であり、Ｂ＝０の場合、予測ブロックＰinの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）のみを用いる従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の垂直方向予測と一致する。
Ｂの値は、予測ブロックＰinのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰinのブロックサイズが所定サイズより小さい場合に限り、Ｂ≧１に設定し、予測ブロックＰinのブロックサイズが所定サイズ以上であれば、Ｂ＝０とする。
例えば、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは、Ｂ＝０となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｂ＝０のブロックサイズでは、ｘ＜Ｂかｘ≧Ｂかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰinでは、Ｂ≧１となるため、従来の垂直方向予測よりも予測性能を向上させることができる。
【００８７】
例えば、４×４画素のブロックサイズの予測ブロックＰinにおいて、Ｂ＝１である場合、予測ブロックＰin内の１番左の列については、式（４）の上式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰin内の左端から２番目〜４番目の列については、式（４）の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにＢの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
【００８８】
なお、実際の装置としては、上記の式（４）のとおり、ｘ＜Ｂの位置の画素と、ｘ≧Ｂの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰin内の全ての画素に対して、従来の垂直方向予測の予測値である予測ブロックＰinの上に隣接する符号化済み（復号済み）画素の輝度値Ｓ（ｘ，−１）をコピーした後に、ｘ＜Ｂの位置の画素のみＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
【００８９】
また、イントラ予測部４，３４は、予測ブロックＰinに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合、下記の式（５）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000006
【００９０】
ただし、Ｃは０以上の整数であり、式（５）の上式を適用するｘ＜Ｃの時は、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
Ｃの値を小さくするほど、低演算な処理を実現することが可能であり、Ｃ＝０の場合、予測ブロックＰinの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）のみを用いる従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の水平方向予測と一致する。
Ｃの値は、予測ブロックＰinのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックＰinのブロックサイズが所定サイズより小さい場合に限り、Ｃ≧１に設定し、予測ブロックＰinのブロックサイズが所定サイズ以上であれば、Ｃ＝０とする。
例えは、所定サイズが１６×１６画素であれば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは、Ｃ＝０となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、Ｃ＝０のブロックサイズでは、ｙ＜Ｃかｙ≧Ｃかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、４×４画素や８×８画素等の１６×１６画素より小さいブロックサイズの予測ブロックＰinでは、Ｃ≧１となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。
【００９１】
例えば、４×４画素のブロックサイズの予測ブロックＰinにおいて、Ｃ＝１である場合、予測ブロックＰin内の１番上の行については、式（５）の上式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値が加算される。
一方、予測ブロックＰin内の上端から２番目〜４番目の行については、式（５）の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにＣの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
【００９２】
なお、実際の装置としては、上記の式（５）のとおり、ｙ＜Ｃの位置の画素と、ｙ≧Ｃの位置の画素とで、予測値の算出式を分けて構成してもよいし、予測ブロックＰin内の全ての画素に対して、従来の水平方向予測の予測値である予測ブロックＰinの左に隣接する符号化済み（復号済み）画素の輝度値Ｓ（−１，ｙ）をコピーした後に、ｙ＜Ｃの位置の画素のみＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値を加算するように構成するなど、上記の式と等価な予測値が算出できれば、どのように構成してもよい。
【００９３】
なお、垂直方向予測で用いるスケーリング値である１／ｔやＢ（予測ブロックの上に隣接している画素の輝度値に対して、符号化ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算する予測ブロック内の列を示すブロック内情報）と、水平方向予測で用いるスケーリング値である１／ｕやＣ（予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算する予測ブロック内の行を示すブロック内情報）は、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕ，Ｂ，Ｃを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕ，Ｂ，Ｃを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕ，Ｂ，Ｃを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【００９４】
また、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（４）の垂直方向予測や式（５）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【００９５】
以上で明らかなように、この実施の形態２によれば、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、水平方向予測の予測効率を改善することができる効果を奏する。
また、イントラ予測部４，３４は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。
【００９６】
実施の形態３．
この実施の形態３における動画像符号化装置の構成図は、上記実施の形態１で示した図１と同様であり、この実施の形態３における動画像復号装置の構成図は、上記実施の形態１で示した図３と同様である。
【００９７】
次に動作について説明する。
この実施の形態３では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００９８】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００９９】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【０１００】
この実施の形態３では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【０１０１】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
【０１０２】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態３では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【０１０３】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
【０１０４】
また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【０１０５】
ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックはさらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【０１０６】
また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
ブロック分割部１は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【０１０７】
ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ0，Ｍ0）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは、同じであってもよいし、異なっていてもよいが、図５では、Ｌn＝Ｍnのケースを示している。
【０１０８】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
４分木分割を行うため、常に、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌn／２，Ｍn／２）になる。
【０１０９】
以降、第ｎ階層の符号化ブロックをＢnで表し、符号化ブロックＢnで選択可能な符号化モードをｍ（Ｂn）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【０１１０】
符号化ブロックＢnは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢnに属する予測ブロックをＰin（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にＰ00とＰ10の一例を示す。
符号化ブロックＢnの予測ブロック分割がどのようになされているかは、符号化モードｍ（Ｂn）の中に情報として含まれる。
予測ブロックＰinは、全て符号化モードｍ（Ｂn）に従って予測処理が行われるが、予測ブロックＰin毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
【０１１１】
符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂn）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【０１１２】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢnをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢnを動き補償予測部５に出力する。
【０１１３】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像ＰINTRAinと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰINTRAinの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。
【０１１４】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、その符号化ブロックＢn内の各予測ブロックＰinと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰinに対するインター予測処理を実施して、インター予測画像ＰINTERinを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像ＰINTERinと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰINTERinの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
【０１１５】
減算部６は、ブロック分割部１から符号化ブロックＢnを受けると、その符号化ブロックＢn内の予測ブロックＰinから、イントラ予測部４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償予測部５により生成されたインター予測画像ＰINTERinのいずれか一方を減算して、その減算結果である予測差分信号ｅinを変換・量子化部７に出力する（ステップＳＴ６）。
【０１１６】
変換・量子化部７は、減算部６から予測差分信号ｅinを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅinに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【０１１７】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅinに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
【０１１８】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償予測部５により生成されたインター予測画像ＰINTERinのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【０１１９】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図１の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、ループフィルタ部１１に映像信号を入力するように図１の動画像符号化装置を変更する必要がある。
【０１２０】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
【０１２１】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂn）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
【０１２２】
次に、イントラ予測部４の処理内容を詳細に説明する。
図１７は符号化ブロックＢn内の各予測ブロックＰinが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。ただし、ＮIはイントラ予測モード数を表している。
図１７では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図１７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【０１２３】
イントラ予測部４は、上述したように、予測ブロックＰinのイントラ予測パラメータを参照して、その予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成するが、ここでは、輝度信号における予測ブロックＰinのイントラ予測信号を生成するイントラ処理について説明する。
【０１２４】
予測ブロックＰinのサイズをｌin×ｍin画素とする。
図８はｌin＝ｍin＝４の場合の予測ブロックＰin内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰinの上の符号化済みの画素（２×ｌin＋１）個と、左の符号化済みの画素（２×ｍin）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰinの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
【０１２５】
予測ブロックＰinに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰinの上に隣接する符号化済み画素と予測ブロックＰinの左に隣接する符号化済み画素を用いて、予測ブロックＰin内の予測対象画素と上記隣接画素との距離に応じて内挿した値を予測値として予測画像を生成する。
【０１２６】
予測ブロックＰinに対するイントラ予測モードのインデックス値が１（垂直方向予測）の場合には、下記の式（１）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000007
ただし、座標（ｘ，ｙ）は予測ブロックＰin内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。
【０１２７】
このように、従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の垂直方向予測の予測値である予測ブロックＰinの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１）に対して、予測ブロックＰinの左に隣接する符号化済み画素（図１０の太枠で囲った画素）の垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）に比例する値（垂直方向の輝度値の変化量を表すＳ（−１，ｙ）−Ｓ（−１，−１）を１／ｔにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した垂直方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
【０１２８】
なお、上記の１／ｔは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｔ＝２x+1とすれば、図１１に示すように、スケーリング値が左端の列から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰinの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックＰinの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰinの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｔ＝２x+1の場合、式（１）を下記に示すようにビットシフトによる式で表現することができる。
0005992070.tif 000008
式（１ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（１）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（−１，ｙ）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（１）と異なってしまう場合がある。
そこで、実装環境に依存しないｔ＝２x+1の場合の式（１）の近似式としては、下記の式（１ｂ）が挙げられる。
0005992070.tif 000009
式（１ｂ）では、輝度値輝度値Ｓ（−１，ｙ）、Ｓ（−１，−１）をそれぞれ先に（ｘ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
【０１２９】
また、式（１）の予測処理を行う予測ブロックＰinのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは、式（１）を適用せずに、従来の垂直方向予測の予測値（予測ブロックＰinの上に隣接する符号化済み画素の輝度値Ｓ（ｘ，−１））とし、１６×１６画素より小さいブロックのみで式（１）を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
【０１３０】
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が２（水平方向予測）の場合には、下記の式（２）から予測ブロックＰin内の画素の予測値を算出して予測画像を生成する。
0005992070.tif 000010
ただし、座標（ｘ，ｙ）は予測ブロックＰin内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。
【０１３１】
このように、従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の水平方向予測の予測値である予測ブロックＰinの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ）に対して、予測ブロックＰinの上に隣接する符号化済み画素（図１２の太枠で囲った画素）の水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）に比例する値（水平方向の輝度値の変化量を表すＳ（ｘ，−１）−Ｓ（−１，−１）を１／ｕにスケーリングした値）を加算し、その加算後の値を予測画像の予測値に決定することで、予測方向への輝度値の変化に追随した水平方向予測を実現することができる。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
【０１３２】
なお、上記の１／ｕは、固定値としてもよいが、座標（ｘ，ｙ）によって変化する変数としてもよい。
例えば、ｕ＝２y+1とすれば、図１３に示すように、スケーリング値が上端の行から順に１／２，１／４，１／８，１／１６というように小さくなっていくため、予測ブロックＰｉｎの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックＰinの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックＰinの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックＰinの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、ｕ＝２y+1の場合、式（２）を下記に示すようにビットシフトによる式で表現することができる。
0005992070.tif 000011
式（２ａ）において、“＞＞ａ”は、右にａビットだけ算術シフトする演算を示している。
式（２）の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、Ｓ（ｘ，−１）−Ｓ（−１，−１）は負値も取り得るため、実装環境（コンパイラ）等によっては“＞＞”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式（２）と異なってしまう場合がある。
そこで、実装環境に依存しないｕ＝２y+1の場合の式（２）の近似式としては、下記の式（２ｂ）が挙げられる。
0005992070.tif 000012
式（２ｂ）では、輝度値輝度値Ｓ（ｘ，−１）、Ｓ（−１，−１）をそれぞれ先に（ｙ＋１）ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
【０１３３】
また、式（２）の予測処理を行う予測ブロックＰinのブロックサイズは特定のサイズに限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、１６×１６画素以上のブロックサイズの予測ブロックＰinでは、式（２）を適用せずに、従来の水平方向予測の予測値（予測ブロックＰinの左に隣接する符号化済み画素の輝度値Ｓ（−１，ｙ））とし、１６×１６画素より小さいブロックのみで式（２）を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
【０１３４】
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が３（平均値（ＤＣ）予測）の場合には、予測ブロックＰinの上に隣接する符号化済み画素と予測ブロックＰinの左に隣接する符号化済み画素の平均値を予測ブロックＰin内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）、１（垂直方向予測）、２（水平方向予測）、３（平均値（ＤＣ）予測）以外の場合には、インデックス値が示す予測方向ベクトルυp＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰin内の画素の予測値を生成する。
図９に示すように、予測ブロックＰinの左上画素を原点として、予測ブロックＰin内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
0005992070.tif 000013
ただし、ｋは負のスカラ値である。
【０１３５】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックＰin内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像ＰINTRAinを出力する。
なお、イントラ予測画像ＰINTRAinの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。
【０１３６】
なお、先に説明したＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測と同様に、イントラ予測を行う際に用いる画素については、符号化済みの隣接ブロック内の画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いるようにしてもよい。
【０１３７】
予測ブロックＰinの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の予測手法であってもよい。
例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ（イントラ予測モード）を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
【０１３８】
なお、垂直方向予測で用いるスケーリング値である１／ｔと、水平方向予測で用いるスケーリング値である１／ｕは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、ｔ，ｕを可変長符号化部１３に出力し、可変長符号化部１３がｔ，ｕを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームからｔ，ｕを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、ｔ，ｕを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【０１３９】
また、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズは、予め、動画像符号化装置及び動画像復号装置の間で取り決めておくようにしてもよいが、動画像符号化装置のイントラ予測部４が、シーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグを可変長符号化部１３に出力し、可変長符号化部１３が上記ＯＮ／ＯＦＦフラグを可変長符号化してビットストリームに含め、動画像復号装置がビットストリームから上記ＯＮ／ＯＦＦフラグを可変長復号して使用するようにしてもよい。
このようにシーケンス単位あるいはピクチャ単位に、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
【０１４０】
次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータｔ、水平方向予測で用いるスケーリング値のパラメータｕ、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のＯＮ／ＯＦＦフラグの内、いずれか１つでも可変長符号化されてビットストリームに多重化されている場合、図１の動画像符号化装置で符号化された単位（シーケンス単位、あるいは、ピクチャ単位）に復号する。
【０１４１】
可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【０１４２】
次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
【０１４３】
即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
【０１４４】
さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
【０１４５】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【０１４６】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モード（ｍ（Ｂn）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢn内の各予測ブロックＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、予測ブロックＰinに対するイントラ予測モードのインデックス値が０（垂直方向予測）の場合には、上記の式（１）から予測ブロックＰin内の画素の予測値を算出して、イントラ予測画像ＰINTRAinを生成する。
また、予測ブロックＰinに対するイントラ予測モードのインデックス値が１（水平方向予測）の場合には、上記の式（２）から予測ブロックＰin内の画素の予測値を算出して、イントラ予測画像ＰINTRAinを生成する。
ただし、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズが制限されている場合は、式（１）の垂直方向予測や式（２）の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックＰinでは従来（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
【０１４７】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モード（ｍ（Ｂn）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、上記動きベクトルとインター予測パラメータを用いた復号ブロック内の各予測ブロックＰinに対するインター予測処理を実施してインター予測画像ＰINTERinを生成する（ステップＳＴ２７）。
【０１４８】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
【０１４９】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰINTRAin、又は、動き補償部３５により生成されたインター予測画像ＰINTERinのいずれか一方を加算して復号画像を算出し、ループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【０１５０】
ループフィルタ部３８は、全ての復号ブロックＢnに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【０１５１】
以上で明らかなように、この実施の形態３によれば、動画像符号化装置のイントラ予測部４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
【０１５２】
また、この実施の形態３によれば、動画像復号装置のイントラ予測部３４が、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するように構成したので、予測方向に沿って信号値が変化している場合でも高精度な予測を実現して、画像品質を高めることができる効果を奏する。
【０１５３】
この実施の形態３によれば、イントラ予測部４，３４により水平方向予測処理が実施される際に用いられるスケーリング値である１／ｕについては、予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの上に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの上に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
また、イントラ予測部４，３４により垂直方向予測処理が実施される際に用いられるスケーリング値である１／ｔについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
【０１５４】
なお、この実施の形態３では、イントラ予測部４，３４により水平方向予測処理が実施される際の予測ブロック内の第Ｎ行（予測ブロックの上端からＮ番目の行）のスケーリング値が１／２N+1（＝１／２，１／４，１／８，１／１６，・・・）であり、イントラ予測部４，３４により垂直方向予測処理が実施される際の予測ブロック内の第Ｍ列（予測ブロックの左端からＭ番目の列）のスケーリング値が１／２M+1（＝１／２，１／４，１／８，１／１６，・・・）である例を示したが、これは一例に過ぎず、イントラ予測部４，３４により水平方向予測処理が実施される際は予測ブロックの上端から遠い行のスケーリング値ほど小さく、また、イントラ予測部４，３４により垂直方向予測処理が実施される際は予測ブロックの左端から遠い列のスケーリング値ほど小さければ、いかなる値でもよい。
【０１５５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１５６】
１  ブロック分割部（ブロック分割手段）、２  符号化制御部（符号化制御手段）、３  切換スイッチ、４  イントラ予測部（イントラ予測手段）、５  動き補償予測部（動き補償予測手段）、６  減算部（量子化手段）、７  変換・量子化部（量子化手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ（イントラ予測手段）、１１  ループフィルタ部、１２  動き補償予測フレームメモリ（動き補償予測手段）、１３  可変長符号化部（可変長符号化手段）、３１  可変長復号部（可変長復号手段）、３２  逆量子化・逆変換部（逆量子化手段）、３３  切換スイッチ、３４  イントラ予測部（イントラ予測手段）、３５  動き補償部（動き補償予測手段）、３６  加算部、３７  イントラ予測用メモリ（イントラ予測手段）、３８  ループフィルタ部、３９  動き補償予測フレームメモリ（動き補償予測手段）。
【図１】
0005992070.tif 000014
【図２】
0005992070.tif 000015
【図３】
0005992070.tif 000016
【図４】
0005992070.tif 000017
【図５】
0005992070.tif 000018
【図６】
0005992070.tif 000019
【図７】
0005992070.tif 000020
【図８】
0005992070.tif 000021
【図９】
0005992070.tif 000022
【図１０】
0005992070.tif 000023
【図１１】
0005992070.tif 000024
【図１２】
0005992070.tif 000025
【図１３】
0005992070.tif 000026
【図１４】
0005992070.tif 000027
【図１５】
0005992070.tif 000028
【図１６】
0005992070.tif 000029
【図１７】
0005992070.tif 000030