(57)【要約】【課題】スキャン順序を表す情報を画像ブロックごとに映像ストリーム中に格納すると符号量が増大し符号化効率が悪くなる。【解決手段】画像を符号化するための参照画像からスキャン順序を決定するための判定式を生成し、判定式を用いて画像ブロックごとのスキャン順序を決定する。また、判定式を映像ストリーム中に格納することにより復号化装置でも符号化装置で決定した画像ブロックごとのスキャン順序を得ることが可能である。【選択図】図１
2006211304.tif 000002
【特許請求の範囲】
【請求項１】
符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を、符号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン決定手段と、符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成手段と、前記スキャン判定式を映像ストリームに格納するスキャン判定式格納手段と、を有する映像符号化装置。
【請求項２】
前記スキャン判定式格納手段が、符号化画像ブロックの符号より前の映像ストリームの位置に前記スキャン判定式の情報を格納する、請求項１記載の映像符号化装置。
【請求項３】
前記スキャン判定式生成手段が、前記参照画像の水平方向のエッジと垂直方向のエッジを比較して、水平方向のエッジを垂直方向のエッジより多く含めば水平方向を優先し、垂直方向のエッジを水平方向のエッジより多く含めば垂直方向を優先してスキャン順序を前記スキャン決定手段に決定させる前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項４】
前記スキャン判定式生成手段が、前記参照画像のＤＣＴ係数の水平高周波係数と垂直高周波係数を比較して、水平高周波係数を垂直高周波係数より多く含めば水平方向を優先し、垂直高周波係数を水平高周波係数より多く含めば垂直方向を優先してスキャン順序を前記スキャン決定手段に決定させる前記スキャン判定式を生成する、請求項３記載の映像符号化装置。
【請求項５】
前記スキャン判定式生成手段が、前記参照画像ブロックごとの情報の統計から前記符号化画像ブロックの特徴を予測して前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項６】
前記スキャン判定式生成手段が、複数の前記符号化画像ブロックごとに前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項７】
前記スキャン判定式生成手段が、過去の前記スキャン判定式を用いて前記スキャン判定式に含まれるパラメータの値を変更する、請求項１記載の映像符号化装置。
【請求項８】
前記スキャン判定式生成手段が、前記符号化画像ブロックをスキャンした結果を用いて前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項９】
前記スキャン判定式生成手段が、予め前記スキャン判定式を複数用意しておき切り替える、請求項１記載の映像符号化装置。
【請求項１０】
映像を単体で復号化可能な基本レイヤと基本レイヤの復号化画像を画質向上させる拡張レイヤに階層化して符号化する階層符号化において、前記スキャン判定式生成手段が、基本レイヤ復号化画像を前記参照画像として、基本レイヤの前記参照画像ブロックに応じた拡張レイヤの符号化ブロックの前記スキャン順序を決定する前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項１１】
前記スキャン判定式生成手段が、映像の予測符号化において、前記予測符号化で参照する画像を前記参照画像として、前記スキャン判定式を生成する、請求項１記載の映像符号化装置。
【請求項１２】
前記予測符号化が、画面間予測符号化である、請求項１１記載の映像符号化装置。
【請求項１３】
前記予測符号化が、画面内予測符号化である、請求項１１記載の映像符号化装置。
【請求項１４】
前記予測符号化が、前記予測符号化の前記参照画像ブロックの候補のうち、前記符号化画像ブロックの符号量が最も小さくなると前記スキャン判定式が予想する前記参照画像ブロックを予測符号化に用いる、請求項１１記載の映像符号化装置。
【請求項１５】
前記スキャン判定式生成手段が、前記予測符号化が予測に用いた情報を用いて、前記参照画像ブロックに応じた前記スキャン判定式を生成する、請求項１１記載の映像符号化装置。
【請求項１６】
符号化した画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納した順序であるスキャン順序を、復号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン判定手段と、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得手段と、を有する構成をとる映像復号化装置。
【請求項１７】
映像の符号化を実行する映像符号化方法であって、映像符号化装置が実行するところの、
符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を符号化の際に参照する他の参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、
符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成処理ステップと、
前記スキャン判定式を映像ストリームに格納するスキャン判定式格納処理ステップと、を有する映像符号化方法。
【請求項１８】
映像ストリームの復号化を実行する映像復号化方法であって、映像復号化装置が実行するところの、
符号化した画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納した順序であるスキャン順序を、復号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得処理ステップと、を有する映像復号化方法。
【請求項１９】
映像の符号化を実行するためにコンピュータを、
符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を符号化の際に参照する他の参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、
符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成処理ステップと、
前記スキャン判定式を映像ストリームに格納するスキャン判定式格納処理ステップと、として動作させる映像符号化プログラム。
【請求項２０】
映像ストリームの復号化を実行するためにコンピュータを、
符号化した画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納した順序であるスキャン順序を、復号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得処理ステップと、として動作させる映像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化し映像ストリームを生成する映像符号化装置および方法と、映像ストリームを復号化して復号化映像を生成する映像復号化装置および方法に関するものである。
【背景技術】
【０００２】
映像は、もはや我々の生活とは切り離せない関係にあり、インターネットや携帯電話網、放送波、蓄積メディアなどの伝送手段を通じ、パソコンや携帯端末、テレビ、ハイビジョンテレビなどの多様な表示端末において、視覚的な情報を享受させてくれる重要な存在となった。伝送手段を通じて伝送される映像は、効率良く情報を伝達するために、映像符号化技術を用いてより少ないデータ量を持つ映像ストリームに圧縮される。
【０００３】
また、１つの映像を異なる速度を持つ伝送手段に接続された複数のユーザに伝送することが求められており、幾つかの階層からなるデータ構造を持ち、符号化後も必要に応じて映像ストリームの伝送量を変更することのできる階層符号化方式の研究開発が進んでいる。階層符号化方式では、映像を、単体で復号化可能な基本レイヤストリームと、基本レイヤストリームの画質を向上させるための拡張レイヤストリームに階層化して符号化する。
【０００４】
しかし、近年、カメラや映像ディスプレイの高解像度化による映像の持つ情報は膨大となり、これら映像符号化方式をさらに高効率化する技術が求められている。
【０００５】
ここで、映像とは連続した画像、すなわち動画像のことを指す。
【０００６】
映像符号化技術では、入力した画像を例えば８×８画素ごとの画像ブロックに分割してＤＣＴ変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）を行い、周波数を表すＤＣＴ係数に変換する。
【０００７】
これは映像が統計的に低周波を多く含み高周波をあまり含まないという特性を利用したもので、各係数を適当な数値で除算する量子化により人間の視覚的に重要でない周波数を０にして情報量を減らすことが可能である。
【０００８】
図１２（ａ）は量子化する前の８×８画素の画像ブロックのＤＣＴ係数を表し、図１２（ｂ）は量子化後のＤＣＴ係数を表す。図１２（ｂ）では高周波ほど大きい値で除算して量子化している。
【０００９】
量子化したＤＣＴ係数を並べ替えることをスキャンといい、図１３（ａ）に示すジグザグスキャンの順序で低周波成分から高周波成分にＤＣＴ係数を並べ替えることにより、量子化により０になった統計的に小さい絶対値をもつ高周波係数を順序の後半に偏らせることが可能である。
【００１０】
さらにスキャンによって並べ替えたＤＣＴ係数を「以降の係数は全て０である」ことを表す「Ｅｎｄ−ｏｆ−Ｂｌｏｃｋ信号」すなわちＥｏＢを用いて符号化ことにより、後半の０を効率よく１つの信号で表現することが可能である。スキャン順序の先頭から最後の０以外のＤＣＴ係数が現れるまでの順番をスキャン長といい、スキャン長が短くなれば符号量が減り符号化効率が向上する。
【００１１】
ここで、全く同じ復号化画像を得ることが可能な２つの映像ストリームがある場合、より符号量の少ない映像ストリームを、符号化効率が良いという。また、全く同じ符号量の映像ストリームが２つある場合、復号化画像がより綺麗な映像ストリームを、符号化効率が良いという。
【００１２】
ここで、より綺麗な画像とは種々の定義があるが、人間が見てより綺麗と感じる画像や、原画像との誤差が少ない画像を言う。
【００１３】
特許文献１では、画像ブロックのエッジを調べ、スキャン順序を適用的に選択することにより、スキャンしたＤＣＴ係数の後半により多くの０を偏らせ符号化効率を向上させる。ここで、エッジとは種々の定義が存在するが、ここでは、水平方向のエッジとは左右に隣接する２画素の差であらわし、垂直方向のエッジとは上下に隣接する２画素の差で表すものとする。
【００１４】
図１４は、特許文献１を適用した符号化装置の構成を示す。エッジ抽出部１４０１によりＤＣＴ変換する前の画像ブロックごとに水平方向と垂直方向のエッジの量を計算する。ブロック分類部１４０２がそのエッジの量に応じて例えば図１３（ａ）（ｂ）（ｃ）の中から画像ブロックごとに適するスキャン順序を選択する。例えば、画像ブロックが水平方向のエッジを多く含むならば水平周波数が多く含まれているので、水平周波数を優先してスキャンする図１３（ｂ）の水平スキャンを選択する。垂直方向のエッジを多く含むならば図１３（ｃ）の垂直スキャンを選択する。適応型ＤＣＴ符号化部１４０３がＤＣＴ変換や画像ブロックごとに選択したスキャン順序に従ったスキャンなどにより符号化する。
【００１５】
ここで、画像ブロックごとにどのスキャン順序を選択したかを示すフラグを映像ストリーム中に格納することにより、復号化装置において画像ブロックごとに異なるスキャン順序を特定することが可能である。
【００１６】
特許文献２では、符号化する画像ブロックと時間的・空間的に隣接した画像ブロックのＤＣＴ係数の分布を利用し、スキャン順序を適用的に選択することにより、スキャンしたＤＣＴ係数の後半により多くの０を偏らせ符号化効率を向上させる。
【００１７】
図１６（ａ）（ｂ）は画像を８×８画素ごとに区切った画像ブロックを表す。図１６（ａ）は符号化する画像ブロック１６０１とその周囲の画像ブロック１６０２を示す。図１６（ｂ）は符号化する画像ブロックの１フレーム前の同位置の画像ブロック１６０３とそれに隣接する画像ブロック１６０４を示す。特許文献２の方法では、これらの画像ブロック１６０２、１６０３、１６０４のＤＣＴ係数の分布を利用する。
【００１８】
図１５は、特許文献２を適用した符号化装置の構成を示す。走査方式選択部１５０４が、符号化する画像ブロックや時間的・空間的に隣接した画像ブロックのＤＣＴ係数を最も短いスキャン長になるよう並べ替えることができるスキャン順序を選択する。
【００１９】
ここで、参照する画像ブロックの選択方法を符号化装置と復号化装置で一致させておけば、画像ブロックごとにどのスキャン順序を選択したかを示すフラグを格納することなく、復号化装置において画像ブロックごとに異なるスキャン順序を特定することが可能である。
【特許文献１】特開平１０−１２６７７５号公報
【特許文献２】特開２００３−２５０１５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、特許文献１の方法では、スキャン順序を示すフラグの符号量だけ映像ストリームが増大し、符号化効率が悪くなる。
【００２１】
特許文献１の方法を階層符号化の拡張レイヤに適用した場合も同様に、画像ブロックごとのスキャン順序を示すフラグを映像ストリームに格納せねばならず、符号化効率が悪くなる。
【００２２】
また、特許文献２の方法は、符号化する画像ブロックと周囲の画像ブロックおよび別の画像の同位置の画像ブロックのＤＣＴ係数の分布が似ているとは限らず、スキャン長が長くなり符号化効率が悪くなる。
【００２３】
また、符号化画像ブロックが動き予測補償符号化などの予測符号化の場合、不具合が生じる。図１６（ｃ）の画像ブロック１６０５は図１６（ａ）の符号化する画像ブロック１６０１の参照画像ブロックを表す。一般的に、予測符号化では画像ブロック１６０１と１６０５の差分が小さくなるように画像ブロック１６０５を選択するので、画像ブロック１６０１のＤＣＴ係数の分布は画像ブロック１６０５に似る。しかしながら、特許文献２では、画像をちょうど８×８画素ごとに区切った位置にある画像ブロックのＤＣＴ係数しか利用することはできず、ちょうど８×８画素ごとに区切った位置にない画像ブロック１６０５の情報は利用できない。画像ブロック１６０２、１６０３、１６０４のＤＣＴ係数の分布が画像ブロック１６０１と似ているとは限らず、符号化効率が向上するとは限らない。
【００２４】
特許文献２の方法を階層符号化の拡張レイヤに適用した場合も同様に、拡張レイヤの符号化する画像ブロックの周囲の画像ブロックや時間的に前後するフレームの同位置や周囲の画像ブロックとＤＣＴ係数の分布が似ているとは限らず、符号化効率が向上するとは限らない。
【課題を解決するための手段】
【００２５】
本発明の映像符号化装置は、符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を、符号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン決定手段と、符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成手段と、前記スキャン判定式を映像ストリームに格納するスキャン判定式格納手段を有する構成をとる。
【００２６】
この構成により、画像ブロックごとにスキャン順序を記述する必要がなく、前記スキャン判定式のみで全ての前記符号化画像ブロックの前記スキャン順序を表現でき、また、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００２７】
また、本発明の映像復号化装置は上記の構成において、前記スキャン判定式格納手段が、符号化画像ブロックの符号より前の映像ストリームの位置に前記スキャン判定式の情報を格納することを特徴とする。
【００２８】
この構成により、映像ストリームが途中で途切れているときも途中の符号化画像ブロックまでは復号化可能である。
【００２９】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、前記参照画像の水平方向のエッジと垂直方向のエッジを比較して、水平方向のエッジを垂直方向のエッジより多く含めば水平方向を優先し、垂直方向のエッジを水平方向のエッジより多く含めば垂直方向を優先してスキャン順序を前記スキャン決定手段に決定させる前記スキャン判定式を生成する特長を有する。
【００３０】
この構成により、符号化画像ブロックと相関の強い参照画像のエッジの強度を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００３１】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、前記参照画像のＤＣＴ係数の水平高周波係数と垂直高周波係数を比較して、水平高周波係数を垂直高周波係数より多く含めば水平方向を優先し、垂直高周波係数を水平高周波係数より多く含めば垂直方向を優先してスキャン順序を前記スキャン決定手段に決定させる前記スキャン判定式を生成する特長を有する。
【００３２】
この構成により、エッジを表すＤＣＴ係数を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００３３】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、前記参照画像ブロックごとの情報の統計から前記符号化画像ブロックの特徴を予測して前記スキャン判定式を生成する特長を有する。
【００３４】
この構成により、前記参照画像ブロックの情報と前記参照画像全体の統計を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００３５】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、複数の前記符号化画像ブロックごとに前記スキャン判定式を生成する特長を有する。
【００３６】
この構成により、画像のフレームごと、または、画像内の領域ごとの特徴に応じた前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００３７】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、過去の前記スキャン判定式を用いて前記スキャン判定式に含まれるパラメータの値を変更する特長を有する。
【００３８】
この構成により、過去の画像や過去の前記参照画像の特長から符号化中の画像の特徴を予測して前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００３９】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、前記符号化画像ブロックをスキャンした結果を用いて前記スキャン判定式を生成する特長を有する。
【００４０】
この構成により、前記スキャン判定式によるスキャン順序での符号化効率を調べて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００４１】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、予め前記スキャン判定式を複数用意しておき切り替える特徴を有する。
【００４２】
これにより、画像の特長に応じて、よりスキャン長の短くなる前記スキャン判定式に適応的に切り替え、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００４３】
また、本発明の符号化順序決定装置は上記の構成において、映像を単体で復号化可能な基本レイヤと基本レイヤの復号化画像を画質向上させる拡張レイヤに階層化して符号化する階層符号化において、前記スキャン判定式生成手段が、基本レイヤ復号化画像を前記参照画像として、基本レイヤの前記参照画像ブロックに応じた拡張レイヤの符号化ブロックの前記スキャン順序を決定する前記スキャン判定式を生成することを特徴とする。
【００４４】
この構成により、拡張レイヤと相関の強い基本レイヤの復号化画像を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００４５】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、映像の予測符号化において、前記予測符号化で参照する画像を前記参照画像として、前記スキャン判定式を生成する特長を有する。
【００４６】
この構成により、符号化画像ブロックと相関の強い予測符号化の前記参照画像を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００４７】
また、本発明の符号化順序決定装置は上記の構成において、前記予測符号化が、画面間予測符号化である特長を有する。
【００４８】
この構成により、符号化画像ブロックと相関の強い画面間予測符号化の前記参照画像を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００４９】
また、本発明の符号化順序決定装置は上記の構成において、前記予測符号化が、画面内予測符号化である特長を有する。
【００５０】
この構成により、符号化画像ブロックと相関の強い画面内予測符号化の前記参照画像を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００５１】
また、本発明の符号化順序決定装置は上記の構成において、前記予測符号化が、前記予測符号化の前記参照画像ブロックの候補のうち、前記符号化画像ブロックの符号量が最も小さくなると前記スキャン判定式が予想する前記参照画像ブロックを予測符号化に用いる特徴と有する。
【００５２】
この構成により、前記スキャン判定式で決定する符号化画像ブロックの前記スキャン順序が与えるスキャン長が短くなり符号化効率が向上するように、予測符号化の参照画像ブロックを選出することができ、符号化効率を向上することが可能である。
【００５３】
また、本発明の符号化順序決定装置は上記の構成において、前記スキャン判定式生成手段が、前記予測符号化が予測に用いた情報を用いて、前記参照画像ブロックに応じた前記スキャン判定式を生成する特長を有する。
【００５４】
この構成により、前記参照画像のより詳しい情報を用いて前記スキャン判定式を生成し、符号化画像ブロックごとに短いスキャン長で符号化できる前記スキャン順序を与えることができ、符号化効率を向上することが可能である。
【００５５】
本発明の映像復号化装置は、符号化した画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納した順序であるスキャン順序を、復号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン判定手段と、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得手段と、を有する構成をとる。
【００５６】
この構成により、画像ブロックごとにスキャン順序を映像ストリームに記述する必要がなく、前記スキャン判定式のみで全ての前記符号化画像ブロックの前記スキャン順序を表現でき、符号化効率の高い映像ストリームを復号化することが可能である。
【００５７】
本発明は、映像の符号化を実行する映像符号化方法であって、映像符号化装置が実行するところの、符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を、符号化の際に参照する他の参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成処理ステップと、前記スキャン判定式を映像ストリームに格納するスキャン判定式格納処理ステップと、を有する。
【００５８】
本発明は、映像ストリームの復号化を実行する映像復号化方法であって、映像復号化装置が実行するところの、符号化した画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納した順序であるスキャン順序を、復号化の際に参照する参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得処理ステップと、を有する構成をとる。
【００５９】
本発明は、映像の符号化を実行するためにコンピュータを、符号化する画像の中の幾つかの画素の集合である符号化画像ブロックを符号化して映像ストリームに格納する順序であるスキャン順序を、符号化の際に参照する他の参照画像ブロックに対するスキャン判定式によって決定するスキャン決定処理ステップと、符号化の際に参照する参照画像を用いて前記スキャン判定式を生成するスキャン判定式生成処理ステップと、前記スキャン判定式を映像ストリームに格納するスキャン判定式格納処理ステップと、として動作させる。
【００６０】
本発明は、映像ストリームの復号化を実行するためにコンピュータを、前記スキャン判定式を映像ストリームから取得するスキャン判定式取得処理ステップと、前記スキャン判定式と復号化の際に参照する参照画像を用いてスキャン順序を決定するスキャン決定処理ステップと、として動作させる。
【発明の効果】
【００６１】
本発明では、映像符号化において符号化効率を向上することが可能である。
【発明を実施するための最良の形態】
【００６２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００６３】
（実施の形態１）
第１の実施の形態では、映像を基本レイヤと拡張レイヤに階層化して符号化する階層符号化において、拡張レイヤの画像ブロックのＤＣＴ係数のスキャン順序を生成するためのスキャン判定式を基本レイヤの復号化画像から生成し、拡張レイヤの画像ブロックのＤＣＴ係数を前記スキャン判定式により生成したスキャン順序により符号化する。
【００６４】
本実施の形態は、映像すなわち連続する画像の符号化に関して説明するが、静止画像の符号化に用いても構わない。
【００６５】
図１は、本発明の実施の形態１に関わる映像符号化方法を適用した映像符号化装置１００の構成を表す。
【００６６】
図１において、映像符号化装置１００は、映像信号入力部１０１、基本レイヤ符号化部１０２、基本レイヤ出力部１０３、拡張レイヤ符号化部１１０を有する。拡張レイヤ符号化部１１０は、差分部１１１、ＤＣＴ部１１２、スキャン部１１３、可変長符号化部１１４、拡張レイヤ出力部１１５、スキャン判定式生成部１１６、スキャン決定部１１７を有する。
【００６７】
映像信号入力部１０１は、映像符号化装置１１０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部１０２と拡張レイヤ符号化部１１０に出力する。また、映像符号化装置１１０の外部から入力される映像の有無を判定し、映像の入力がなければ処理を終了する。
【００６８】
基本レイヤ符号化部１０２は、映像信号入力部１０１から入力した原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部１１６に出力する。また、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部１１０に出力する。
【００６９】
基本レイヤ出力部１０３は、基本レイヤ符号化部１０２から入力した基本レイヤストリームを映像符号化装置１００の外部に出力する。
【００７０】
差分部１１１は、映像信号入力部１０１から入力した原画像と基本レイヤ符号化部１０２から入力した基本レイヤ復号化画像の差分をとって差分画像を生成し、ＤＣＴ部１１２に出力する。
【００７１】
なお、基本レイヤ復号化画像と原画像の解像度が異なる場合は、基本レイヤ復号化画像を原画像と同じ解像度に変更する。
【００７２】
ＤＣＴ部１１２は、差分部１１１から入力した差分画像を８×８画素ごとの画像ブロックに分割し、画像ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部１１３に出力する。
【００７３】
ここで、本実施の形態では説明の簡単のため画像ブロックを８×８画素とするが、特に画像ブロックの大きさに限定はない。
【００７４】
スキャン部１１３は、ＤＣＴ部１１２から入力したＤＣＴ係数に対してスキャン決定部１１７から入力したスキャン順序を用いて並べ替えてスキャン済ＤＣＴ係数を生成し、可変長符号化部１１４に出力する。
【００７５】
可変長符号化部１１４は、スキャン部１１３から入力したスキャン済ＤＣＴ係数を可変長符号化して拡張レイヤストリームを生成し、拡張レイヤ出力部１１５に出力する。
【００７６】
ここで、可変長符号化部１１４ではＩＳＯ／ＩＥＣ  １４４９６−１０に記載のＭＰＥＧ−４  ＡＶＣ方式のような量子化を用いた符号化でもよく、ＩＳＯ／ＩＥＣ  １４４９６−２  Ａｍｅｎｄｍｅｎｔ２に記載のＭＰＥＧ−４  ＦＧＳのようなビットプレーンを用いた符号化でもよい。本発明は、ＤＣＴ係数をスキャンによって並べ替えスキャン順序の後半に０を偏らせてＥｏＢを用いて符号化する方法をとるあらゆる符号化方式に適用可能である。
【００７７】
なお、量子化を行う符号化の場合、可変長符号化部１１４が、可変長符号化を行う前に量子化の処理を行う。
【００７８】
また、可変長符号化の方法は、ハフマン符号化や算術符号化など、その方法を問わない。
【００７９】
拡張レイヤ出力部１１５は、可変長符号化部１１４から入力した拡張レイヤストリームにスキャン判定式生成部１１６から入力したスキャン判定式を格納し、映像符号化装置１００の外部に出力する。
【００８０】
スキャン判定式の格納については後述する。
【００８１】
スキャン判定式生成部１１６は、基本レイヤ符号化部１０２から入力した基本レイヤ復号化画像を用いてスキャン判定式を生成し、拡張レイヤ出力部１１５とスキャン決定部１１７に出力する。
【００８２】
なお、本実施の形態では１フレームの拡張レイヤストリームごとにスキャン判定式を格納するものとする。これに基づきスキャン順序を生成することにより、１フレームごとの画像特性に適用した短いスキャン長とすることが可能である。しかしながら、スキャン判定式の格納の頻度は特に限定しない。
【００８３】
スキャン判定式の生成方法については後述する。
【００８４】
スキャン決定部１１７は、基本レイヤ復号化部１０２から入力した基本レイヤ復号化画像とスキャン判定式生成部１１６から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、スキャン部１１３に出力する。
【００８５】
なお、スキャン判定式生成部１１６が本発明のスキャン判定式生成手段に相当し、スキャン決定部１１７がスキャン決定手段に相当し、拡張レイヤ出力部１１５がスキャン判定式格納手段に総合する。
【００８６】
以下に、スキャン判定式生成部１１６が行うスキャン判定式生成処理を詳しく説明する。
【００８７】
拡張レイヤ符号化部１１０では、基本レイヤ復号化画像では表現しきれない原画像の詳細情報を符号化する。差分画像では絶対値の大きい画素が物体の輪郭周辺に集中しており、差分画像は基本レイヤ復号化画像の輪郭を精細化することを示している。また、基本レイヤ復号化画像の強いエッジは物体の輪郭周辺に集中しており、差分画像と基本レイヤ復号化画像のエッジは強い相関があることが分かる。このことを利用して本実施の形態では、エッジの特性からスキャン順序を生成する方法を生成する。
【００８８】
拡張レイヤの符号化画像ブロックに対応する、基本レイヤ復号画像の同位置の画像ブロックを参照画像ブロックとする。
【００８９】
ＤＣＴ係数は周波数成分の強度を表しており、強いエッジを含んだ画像ブロックをＤＣＴ変換すると高周波に絶対値の大きいＤＣＴ係数が生じる。また、エッジの種類によってもＤＣＴ係数の分布は変化し、水平方向のエッジを多く含んだ符号化画像ブロックは水平高周波ＤＣＴ係数に大きい絶対値が偏り、垂直方向のエッジを多く含んだ符号化画像ブロックは垂直高周波ＤＣＴ係数に大きい絶対値が偏る。
【００９０】
よって、例えば、水平方向のエッジを多く含む参照画像ブロックに対応する符号化画像ブロックには水平方向を優先した図１３（ｂ）の水平スキャンを、垂直方向のエッジを多く含む参照画像ブロックに対応する符号化画像ブロックには垂直方向を優先した図１３（ｃ）の垂直スキャンを選択することにより、ジグザグスキャンを適用した場合より短いスキャン長となり符号化効率が向上する。水平方向および垂直方向のどちらのエッジの方が多いともいえない場合は、図１３（ａ）のジグザグスキャンを選択する。
【００９１】
なお、説明の簡単のためスキャン順序は図１３（ａ）（ｂ）（ｃ）の何れかを選択するものとするがこれに限らない。
【００９２】
スキャン判定式生成部１１６は、参照画像ブロックのエッジから符号化画像ブロックを効率良く符号化できるスキャン順序を与えるスキャン判定式を生成する。スキャン判定式の決定いかんによっては、符号化画像ブロックを効率悪く符号化するスキャン順序を与えてしまう。参照画像ブロックから例えば（数式１）〜（数式４）のスキャン判定式を生成する。
【００９３】
スキャン判定式の生成方法の前に、スキャン判定式を用いたスキャン順序の生成について説明する。
【００９４】
スキャン決定部１１８は、（数式１）と（数式２）により参照画像ブロックのエッジの強度を計算し、参照画像ブロックに対する（数式３）と（数式４）の判定式により符号化画像ブロックのスキャン順序を選択する。（数式３）の判定式が真となれば水平スキャンを選択し、（数式４）の判定式が真となれば垂直スキャンを選択し、どちらも偽であるならばジグザグスキャンを選択する。
【００９５】
【数１】
2006211304.tif 000003
【００９６】
（数式１）は参照画像ブロックの水平方向のエッジの計算式である。Ｅｄｇｅはエッジの強度を現す値を表し、Ｅｄｇｅの左上の添え字Ｈは水平方向のエッジであることを現し、Ｅｄｇｅの右下の添え字ｉは画像ブロックの通し番号を表す。また、ｐは画素の持つ値を表し、ｘとｙは画像ブロック内での画素の座標を示す。λは０より大きい値である。よって（数式１）は、横隣の画素との差分絶対値のλ乗を８×８画像ブロック内で合計した値の計算式を表す。
【００９７】
【数２】
2006211304.tif 000004
【００９８】
（数式２）は参照画像ブロックの垂直方向のエッジの計算式である。Ｅｄｇｅの左上の添え字Ｖは垂直方向のエッジであることを現す。よって（数式２）は（数式１）と同様に、縦隣の画素との差分絶対値のλ乗を８×８画像ブロック内で合計した値の計算式を表す。
【００９９】
【数３】
2006211304.tif 000005
【０１００】
（数式３）は符号化画像ブロックに対して、水平スキャンを選択する場合の判定式である。α＿１、α＿２は１以上の適当な値をとる。上線を引いたＥｄｇｅ＿Ｈは、基本レイヤ復号化画像の水平方向のエッジの平均値を現す。よって（数式３）は、参照画像ブロックにおいて、水平方向のエッジの強度が垂直方向のエッジの強度をある程度上回り、かつ、平均の水平方向のエッジの強度を上回ることを表す。
【０１０１】
【数４】
2006211304.tif 000006
【０１０２】
（数式４）は符号化画像ブロックに対して、垂直スキャンを選択する場合の判定式である。β＿１、β＿２は１以上の適当な値をとる。上線を引いたＥｄｇｅ＿Ｖは、基本レイヤ復号化画像の垂直方向のエッジの全画像ブロックの平均値を現す。よって（数式３）は、参照画像ブロックにおいて、垂直方向のエッジの強度が垂直方向のエッジの強度をある程度上回り、かつ、平均の垂直方向のエッジの強度を上回ることを表す。
【０１０３】
次に、スキャン判定式の生成方法について説明する。説明の簡単のため、（数式１）と（数式２）のλは固定値、例えば、２であるとする。
【０１０４】
スキャン判定式生成部１１６は、（数式１）と（数式２）で計算するエッジの強度を全参照画像ブロックについて計算する。そして、平均や分散などの統計値を求め、（数式３）と（数式４）の中のα＿１、α＿２、β＿１、β＿２の値を決定する。エッジの強度の統計値からα＿１、α＿２、β＿１、β＿２の値を決定する方法は、予め実験によって得た対応表などを用いる。
【０１０５】
例えば、α＿１は水平のエッジの強度の平均値を垂直のエッジの強度の平均値で除した数値の２倍と決定する。水平のエッジの強度の平均値が１０００以下であるならばα＿２は２で、そうでないならα＿２は３と決定する。β＿１とβ＿２に関しても同様に決定する。
【０１０６】
上記のように決定したスキャン判定式の情報α＿１、α＿２、β＿１、β＿２をスキャン決定部１１７に出力し、拡張レイヤ出力部１１５が拡張レイヤストリームに格納する。
【０１０７】
図２は、拡張レイヤストリームの構造の例を示す。拡張レイヤストリームの先頭部分の２０１は、この映像ストリームが拡張レイヤの情報を表すことを示すフラグや、画像の解像度などの情報を含むヘッダである。２０３の部分は、可変長符号化部１１４で生成した画像ブロックの符号である。スキャン判定式の情報は２０２の部分に格納する。例えば、α＿１、α＿２、β＿１、β＿２は１〜１６までの値だけを取るものとし、それら値を４ビットで表現する。００００は１を表し、１１１１が１６を表す。
【０１０８】
スキャン判定式を格納する映像ストリームの中の位置は、画像ブロックの符号よりも前とする。復号化の処理の際にスキャン判定式がなければ画像ブロックのスキャン順序が特定できず、もし画像ブロックの後にスキャン判定式があるならば映像ストリームが途中で途切れたとき全画像ブロックを復号化することができない。スキャン判定式が画像ブロックの符号の前に格納されているならば、映像ストリームが途中で途切れているときも途中の画像ブロックまでは復号化できる。
【０１０９】
本発明の特徴は、スキャン生成に必要な計算式やパラメータを映像ストリームに格納して、符号化と復号化の処理で画像ブロックのスキャン順序を一致させることであり、スキャン判定式の決定方法は重要ではなく上記の方法以外でも良い。
【０１１０】
なお、エッジの強度の計算式とスキャン判定式の条件は複数用意しておくことも可能で、その場合、どのエッジの強度の計算式とスキャン判定式の条件を用いたかを示すパラメータを拡張レイヤストリームに格納する。
【０１１１】
これにより、画像の特長に応じて、よりスキャン長の短くなるスキャン判定式に適応的に切り替えることが可能である。画像の特長に応じた切り替え方法は、予め実験により求めておいても良い。例えば、基本レイヤストリームの符号量に応じて切り替えるなどである。
【０１１２】
λの値は固定値でなくても良い。例えば、あるフレームではλの値を２に決定して符号化を行い、そのフレームにおいて水平スキャンまたは垂直スキャンを選択した数が全画像ブロック数の１０％以下であれば次のフレームではλを３に決定し直し、そうでなければ２のままとする。
【０１１３】
これにより、符号化する画像に適したエッジの強度の計算式を選ぶことにより、効率良く符号化できるスキャン順序を与えるスキャン判定式を生成する。
【０１１４】
エッジの強度の計算式は（数式１）と（数式２）に限らない。
【０１１５】
例えば、参照画像ブロックの水平方向のエッジの強度を、水平方向の８画素の分散を垂直方向に８列合計した値としても良い。また、垂直方向のエッジの強度も同様である。
【０１１６】
例えば、参照画像ブロックをＤＣＴ変換して図３に示すようなＤＣＴ係数を生成し、水平方向のエッジの強度は破線で囲まれる水平高周波ＤＣＴ係数３０１の絶対和、垂直方向のエッジの強度は破線で囲まれる垂直高周波ＤＣＴ係数３０２の絶対和で計算しても良い。
【０１１７】
これにより、参照画像ブロックのＤＣＴ係数を既に計算している場合、エッジの強度の算出の処理負荷が軽減する。
【０１１８】
スキャン生成の判定式は（数式３）と（数式４）に限らない。
【０１１９】
例えば、（数式３）に垂直方向のエッジの強度が平均値以下であることや、（数式４）に水平方向のエッジの強度が平均値以下であることを条件に追加しても良い。また、（数式３）や（数式４）に閾値での判定条件を追加しても良い。
【０１２０】
本発明の骨子は、スキャン生成に必要な計算式やパラメータを示すスキャン判定式を映像ストリームに格納して、符号化と復号化の処理で画像ブロックのスキャン順序を一致させることであり、スキャン判定式そのものは上記の方法以外でも良い。
【０１２１】
スキャン判定式生成部１１６は、ＤＣＴ部１１２から符号化画像ブロックのＤＣＴ係数を入力しても良い。
【０１２２】
これにより、例えば、幾つかのα＿１、α＿２、β＿１、β＿２、λの組合せで得られるスキャン順序で全符号化画像ブロックのＤＣＴ係数を実際にスキャンして、最短となるスキャン順序を調べることにより、符号化効率の良いα＿１、α＿２、β＿１、β＿２、λを決定することが可能である。
【０１２３】
スキャン判定式生成部１１６は、スキャン判定式を生成する際に生成した中間情報をスキャン決定部１１７に出力しても良い。
【０１２４】
これにより、スキャン判定式の生成とスキャン順序の選択とで重複する処理を省くことが可能である。
【０１２５】
次に、以上のように構成された映像符号化装置１００の動作を説明する。図４は図１に示す第１の実施の形態の映像符号化装置１００の動作の一例を示すフローチャートである。なお、図４に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１２６】
まず、ステップＳ４０１において、映像信号入力部１０１が、映像符号化装置１１０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部１０２と拡張レイヤ符号化部１１０に出力する。
【０１２７】
次に、ステップＳ４０２において、基本レイヤ符号化部１０２が、映像信号入力部１０１から入力した原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部１１６に出力する。また、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部１１０に出力する。
【０１２８】
次に、ステップＳ４０３において、差分部１１１が、映像信号入力部１０１から入力した原画像と基本レイヤ符号化部１０２から入力した基本レイヤ復号化画像の差分をとって差分画像を生成し、ＤＣＴ部１１２に出力する。
【０１２９】
次に、ステップＳ４０４において、ＤＣＴ部１１２が、差分部１１１から入力した差分画像を８×８画素ごとの画像ブロックに分割し、画像ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部１１３に出力する。
【０１３０】
次に、ステップＳ４０５において、スキャン判定式生成部１１６が、基本レイヤ符号化部１０２から入力した基本レイヤ復号化画像を用いてスキャン判定式を生成し、拡張レイヤ出力部１１５とスキャン決定部１１７に出力する。
【０１３１】
次に、ステップＳ４０６において、スキャン決定部１１７が、基本レイヤ復号化部１０２から入力した基本レイヤ復号化画像とスキャン判定式生成部１１６から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、スキャン部１１３に出力する。
【０１３２】
次に、ステップＳ４０７において、スキャン部１１３が、ＤＣＴ部１１２から入力したＤＣＴ係数をスキャン決定部１１７から入力したスキャン順序を用いて並べ替えてスキャン済ＤＣＴ係数を生成し、可変長符号化部１１４に出力する。
【０１３３】
次に、ステップＳ４０８において、可変長符号化部１１４が、スキャン部１１３から入力したスキャン済ＤＣＴ係数を可変長符号化して拡張レイヤストリームを生成し、拡張レイヤ出力部１１５に出力する。
【０１３４】
次に、ステップＳ４０９において、拡張レイヤ出力部１１５が、可変長符号化部１１４から入力した拡張レイヤストリームにスキャン判定式生成部１１６から入力したスキャン判定式を格納し、映像符号化装置１００の外部に出力する。また、基本レイヤ出力部１０３が、基本レイヤ符号化部１０２から入力した基本レイヤストリームを映像符号化装置１００の外部に出力する。
【０１３５】
最後に、ステップＳ４１０において、映像信号入力部１０１が、映像符号化装置１１０の外部から入力される映像の有無を判定し、映像の入力がなければ処理を終了する。そうでなければ、ステップＳ４０１に戻る。
【０１３６】
なお、ステップＳ４０５が本発明のスキャン判定式生成処理ステップに相当し、ステップＳ４０６がスキャン決定処理ステップに相当し、ステップＳ４０９がスキャン判定式格納処理ステップに相当する。
【０１３７】
以上のように、本実施の形態１によれば、映像符号化装置１００は、スキャン判定式生成部１１６が差分画像と相関の高い基本レイヤ復号化画像を用いて、基本レイヤ復号化画像ブロックのエッジから符号化画像ブロックのスキャン順序を特定するスキャン判定式を生成し、スキャン決定部１１７が基本レイヤ復号化画像に対してスキャン判定式を用いることにより、画像ブロックごとにスキャン順序の情報を映像ストリームに格納することなく、拡張レイヤの画像ブロックに対してスキャン長が短いスキャン順序を特定することができ、階層符号化の符号化効率を向上することが可能である。
【０１３８】
また、本実施の形態１によれば、映像符号化装置１００は、拡張レイヤ符号化部１１５がスキャン判定式を映像ストリームに格納することにより、画像ブロックごとのスキャン順序の情報を映像ストリームに格納することなく、スキャン判定式のみで全符号化画像ブロックのスキャン順序を表現することができ、符号化効率を向上することが可能である。
【０１３９】
（実施の形態２）
第２の実施の形態では、第1の実施の形態を適用した映像符号化装置１００が出力した映像ストリームの復号化において、拡張レイヤの画像ブロックのＤＣＴ係数の逆スキャン順序を生成するためのスキャン判定式を映像ストリームから取得し、拡張レイヤの画像ブロックのＤＣＴ係数を前記スキャン判定式により生成したスキャン順序により復号化する。
【０１４０】
図５は、本発明の実施の形態２に関わる映像復号化方法を適用した映像復号化装置５００の構成を表す。
【０１４１】
図５において、映像復号化装置５００は、映像信号出力部５０１、基本レイヤ復号化部５０２、基本レイヤ入力部５０３、拡張レイヤ復号化部５１０を有する。拡張レイヤ復号化部５１０は、差分部５１１、ＩＤＣＴ部５１２、逆スキャン部５１３、可変長復号化部５１４、拡張レイヤ入力部５１５、スキャン判定式取得部５１６、スキャン決定部５１７を有する。
【０１４２】
基本レイヤ入力部５０３は、映像復号化装置５００の外部から入力した基本レイヤストリームを基本レイヤ復号化部５０２に出力する。また、外部から入力される映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。
【０１４３】
基本レイヤ復号化部５０２は、基本レイヤ入力部５０３から入力した基本レイヤストリームを復号化し基本レイヤ復号化画像を生成し、拡張レイヤ復号化部５１０に出力する。
【０１４４】
ここで、基本レイヤ復号化画像は映像符号化装置１００で生成した基本レイヤ復号化画像に一致する。
【０１４５】
拡張レイヤ入力部５１５は、映像復号化装置５００の外部から入力した拡張レイヤストリームを可変長復号化部５１４とスキャン判定式取得部５１６に出力する。
【０１４６】
可変長復号化部５１４は、拡張レイヤ入力部５１５から入力した拡張レイヤストリームを可変長復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部５１３に出力する。
【０１４７】
なお、映像符号化装置１００が量子化を行う符号化の場合、可変長復号化部５１４が、可変長復号化をいった後に逆量子化の処理を行う。逆量子化とはＤＣＴ係数を除した数値で乗算する処理である。
【０１４８】
逆スキャン部５１３は、可変長復号化部５１４から入力したスキャン済ＤＣＴ係数を、スキャン決定部５１７から入力したスキャン順序の逆の順序でスキャンしてＤＣＴ係数を生成し、ＩＤＣＴ部５１２に出力する。
【０１４９】
ＩＤＣＴ部５１２は、逆スキャン部５１２から入力したＤＣＴ係数をＩＤＣＴ変換して復号化画像ブロックを生成する。複数の領域に分割していた復号化画像ブロックを合成し復号化差分画像を生成し、加算部５１１に出力する。
【０１５０】
ここでＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）変換とはＤＣＴ変換した係数をもとに戻す逆の処理である。
【０１５１】
スキャン判定式取得部５１６は、拡張レイヤ入力部５１５から入力した拡張レイヤストリームからスキャン判定式を取得し、スキャン決定部５１７に出力する。
【０１５２】
スキャン決定部５１７は、基本レイヤ復号化部５０２から入力した基本レイヤ復号化画像に対して、スキャン判定式取得部５１６から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、逆スキャン部５１３に出力する。
【０１５３】
加算部５１１は、基本レイヤ復号化部５０２から入力した基本レイヤ復号化画像と、ＩＤＣＴ部５１２から入力した復号化差分画像を加算して復号化画像を生成し、映像信号出力部５０１に出力する。
【０１５４】
映像信号出力部５０１は、加算部５１１から入力した復号化画像を映像復号化装置５００の外部に出力する。
【０１５５】
なお、スキャン判定式取得部５１６が本発明のスキャン判定式取得手段に相当し、スキャン決定部５１７がスキャン決定手段に相当する。
【０１５６】
次に、以上のように構成された映像復号化装置５００の動作を説明する。図６は図５に示す第２の実施の形態の映像復号化装置５００の動作の一例を示すフローチャートである。なお、図６に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０１５７】
まず、ステップＳ６０１において、基本レイヤ入力部５０３が、映像復号化装置５００の外部から入力した基本レイヤストリームを基本レイヤ復号化部５０２に出力する。また、拡張レイヤ入力部５１５が、映像復号化装置５００の外部から入力した拡張レイヤストリームを可変長復号化部５１４とスキャン判定式取得部５１６に出力する。
【０１５８】
次に、ステップＳ６０２において、基本レイヤ復号化部５０２が、基本レイヤ入力部５０３から入力した基本レイヤストリームを復号化し基本レイヤ復号化画像を生成し、拡張レイヤ復号化部５１０に出力する。
【０１５９】
次に、ステップＳ６０３において、可変長復号化部５１４が、拡張レイヤ入力部５１５から入力した拡張レイヤストリームを可変長復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部５１３に出力する。
【０１６０】
次に、ステップＳ６０４において、スキャン判定式取得部５１６が、拡張レイヤ入力部５１５から入力した拡張レイヤストリームからスキャン判定式を取得し、スキャン決定部５１７に出力する。
【０１６１】
次に、ステップＳ６０５において、スキャン決定部５１７が、基本レイヤ復号化部５０２から入力した基本レイヤ復号化画像に対して、スキャン判定式取得部５１６から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、逆スキャン部５１３に出力する。
【０１６２】
次に、ステップＳ６０６において、ＩＤＣＴ部５１２が、逆スキャン部５１２から入力したＤＣＴ係数をＩＤＣＴ変換して復号化画像ブロックを生成して、分割していた画像ブロックを合成し復号化差分画像を生成し、加算部５１１に出力する。
【０１６３】
次に、ステップＳ６０７において、逆スキャン部５１３が、可変長復号化部５１４から入力したスキャン済ＤＣＴ係数を、スキャン決定部５１７から入力したスキャン順序の逆の順序でスキャンしてＤＣＴ係数を生成し、ＩＤＣＴ部５１２に出力する。
【０１６４】
次に、ステップＳ６０８において、加算部５１１が、基本レイヤ復号化部５０２から入力した基本レイヤ復号化画像と、ＩＤＣＴ部５１２から入力した復号化差分画像を加算して復号化画像を生成し、映像信号出力部５０１に出力する。
【０１６５】
次に、ステップＳ６０９において、映像信号出力部５０１が、加算部５１１から入力した復号化画像を映像復号化装置５００の外部に出力する。
【０１６６】
最後に、ステップＳ６１０において、基本レイヤ復号化部５０２が、外部から入力される映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。そうでなければ、ステップＳ６０１に戻る。
【０１６７】
なお、ステップＳ６０４が本発明のスキャン判定式取得処理ステップに相当し、ステップＳ６０５がスキャン決定処理ステップに相当する。
【０１６８】
以上のように、本実施の形態２によれば、映像復号化装置５００は、拡張レイヤ復号化部５１５がスキャン判定式を映像ストリームから取得し、スキャン決定部５１７が基本レイヤ復号化画像に対してスキャン判定式を用いることにより、拡張レイヤの全画像ブロックのスキャン順序を映像ストリームに含めることなくスキャン順序を特定することができ、符号化効率が向上する。
【０１６９】
（実施の形態３）
第３の実施の形態では、予測を用いた映像符号化において、符号化画像ブロックのＤＣＴ係数のスキャン順序を生成するためのスキャン判定式を、符号化画像ブロックの予測符号化に用いる参照画像ブロックから生成し、ＤＣＴ係数を前記スキャン判定式により生成したスキャン順序により符号化する。
【０１７０】
本実施の形態は、第１と第２の実施の形態と異なり階層符号化ではない映像ストリームを対象とする。
【０１７１】
また、本実施の形態は、映像すなわち連続する画像の符号化に関して説明するが、静止画像の符号化に用いても構わない。
【０１７２】
図７は、本発明の実施の形態３に関わる映像符号化方法を適用した映像符号化装置７００の構成を表す。
【０１７３】
図７において、映像符号化装置７００は、映像信号入力部７０１、予測符号化部７０２、ＤＣＴ部７０３、スキャン部７０４、可変長符号化部７０５、ストリーム出力部７０６、復号化部７０７、スキャン判定式生成部７０８、スキャン決定部７０９を有する。
【０１７４】
映像信号入力部７０１は、映像符号化装置７１０の外部から映像を１フレームずつ原画像として入力し、予測符号化部７０２に出力する。また、映像符号化装置７１０の外部から入力される映像の有無を判定し、映像の入力がなければ処理を終了する。
【０１７５】
予測符号化部７０２は、映像信号入力部７０１から入力した原画像と復号化部７０７から入力した復号化画像ブロックを用いて予測符号化により差分画像を生成して、ＤＣＴ部７０３に出力する。また、予測符号化に用いた参照画像をスキャン判定式生成部７０８に出力する。また、予測符号化により予測情報を生成し、ストリーム出力部７０６に出力する。
【０１７６】
予測符号化については後述する。
【０１７７】
ＤＣＴ部７０３は、予測符号化部７０２から入力した差分画像を４×４画素ごとの画像ブロックに分割し、画像ブロックごとにＤＣＴ変換と量子化を施して量子化ＤＣＴ係数を生成し、スキャン部７０４と復号化部７０７に出力する。
【０１７８】
ここで、実施の形態１では画像ブロックを８×８画素としていたが、本実施の形態では説明の簡単のため画像ブロックを４×４画素とする。しかしながら、特に画像ブロックの大きさに限定はない。
【０１７９】
スキャン部７０４は、ＤＣＴ部７０３から入力したＤＣＴ係数をスキャン決定部７０９から入力したスキャン順序を用いて並べ替えてスキャン済ＤＣＴ係数を生成し、可変長符号化部７０５に出力する。
【０１８０】
可変長符号化部７０５は、スキャン部７０４から入力したスキャン済ＤＣＴ係数を可変長符号化して映像ストリームを生成し、ストリーム出力部７０６に出力する。
【０１８１】
ストリーム出力部７０６は、可変長符号化部７０５から入力した映像ストリームに、予測符号化部７０２から入力した予測情報とスキャン判定式生成部７０８から入力したスキャン判定式を格納し、映像符号化装置７００の外部に出力する。
【０１８２】
復号化部７０７は、ＤＣＴ部７０３から入力した量子化ＤＣＴ係数をＩＤＣＴ変換し復号化画像ブロックを生成し、予測符号化部７０２に出力する。
【０１８３】
スキャン判定式生成部７０８は、予測符号化部７０２から入力した参照画像を用いてスキャン判定式を生成し、ストリーム出力部７０６とスキャン決定部７０９に出力する。
【０１８４】
スキャン決定部７０９は、基本レイヤ復号化部７０２から入力した参照画像とスキャン判定式生成部７０８から入力したスキャン判定式を用いて符号化画像ブロックごとのスキャン順序を生成し、スキャン部７０４に出力する。
【０１８５】
なお、スキャン判定式生成部７０８が本発明のスキャン判定式生成手段に相当し、スキャン決定部７０９がスキャン決定手段に相当し、ストリーム出力部７０６がスキャン判定式格納手段に相当する。
【０１８６】
以下に、本実施の形態の予測符号化部７０２が行う予測符号化と、スキャン判定式生成部７０８が行うスキャン判定式の生成方法について説明する。
【０１８７】
予測符号化部７０２では、公知の技術であるＩＳＯ／ＩＥＣ  １４４９６−１０に記載のＭＰＥＧ−４  ＡＶＣに用いられている画面間予測符号化や画面内予測符号化などを行う。
【０１８８】
図１６を用いて画面間予測符号化を説明する。
【０１８９】
図１６（ａ）の符号化画像ブロック１６０１と類似した領域を既に映像ストリームに格納した過去や未来の復号化画像の中から図１６（ｃ）の画像ブロック１６０５のように選出し、参照画像ブロック１６０５とする。
【０１９０】
特許文献２では図１６（ａ）の画像ブロック１６０２や図１６（ｂ）の画像ブロック１６０３、１６０４で表すＤＣＴ変換を行う画像ブロック単位でしか参照する画像ブロックを選出することが出来ないが、本発明では図１６（ｃ）の画像ブロック１６０５のように任意の位置の画素を含む画像ブロックを選出することが可能である。
【０１９１】
映像ストリームに、参照画像ブロック１６０５を持つ画像や参照画像ブロック１６０５の位置などを示す予測情報と、参照画像ブロック１６０５と符号化画像ブロック１６０２の差分のＤＣＴ係数を符号化して格納する。一般に、参照画像ブロック１６０５は符号化画像ブロック１６０１との差分が小さくなるように選出するので、画面間予測符号化はそれを用いない場合よりも少ない符号量で符号化画像ブロック１６０１を映像ストリームに格納することが可能である。
【０１９２】
予測符号化部７０２は、予測符号化に用いるための過去や未来の復号化画像を蓄積するための記憶領域を有するものとする。
【０１９３】
画面間予測符号化において、参照画像ブロックは符号化画像ブロックとの差分が小さいように選ぶ。例えば、参照画像内において符号化画像ブロックとの画素ごとの差分の絶対２乗和が最小となる参照画像ブロックを選ぶ。よって、それら２つの画像ブロックのエッジの特性は似ており、実施の形態１で述べた判定式の生成方法を同様に用いることが可能である。
【０１９４】
また、予測符号化の参照画像ブロックの選出方法にスキャン判定式に含めても良い。
【０１９５】
これにより、例えば、参照画像ブロックの水平方向のエッジの強度がある閾値以上であれば、符号化画像ブロックとの差分のＤＣＴ係数の水平スキャンが最短スキャンとなる参照画像ブロックの選出をするというルールを作ることにより、参照画像ブロックからスキャン順序を特定することが可能となる。
【０１９６】
図８を用いて画面内予測符号化を説明する。
【０１９７】
図８（ａ）の８０１は符号化する４×４画素の画像ブロックを表す。その周りのマスは既に符号化し映像ストリームに格納している画素を復号化したものを表す。画面内予測符号化では、符号化画像ブロックの周りの復号化した画素を図８（ｂ）の予測方向のうちの一つに従って画像ブロック８０１の位置にコピーしたものを参照画像ブロックとする。
【０１９８】
映像ストリームに予測方向を示す予測情報と、画像ブロック８０１と参照画像ブロックの差分のＤＣＴ係数を符号化して格納する。一般に、参照画像ブロックは画像ブロック８０１との差分が小さくなるように生成するので、画面内予測符号化はそれを用いない場合よりも少ない符号量で符号化画像ブロック１６０２を映像ストリームに格納することが可能である。
【０１９９】
画面内予測符号化において、参照画像ブロックは符号化画像ブロックとの差分が小さいように選ぶ。例えば、全予測方向から符号化画像ブロックとの画素ごとの差分の絶対２乗和が最小となる予測方向を選ぶ。よって、それら２つの画像ブロックのエッジの特性は似ており、実施の形態１で述べた判定式の生成方法を同様に用いることが可能である。
【０２００】
また、スキャン判定式の条件の中に、図８（ｂ）に示す画面内予測の予測方向を含めても良い。
【０２０１】
これにより、例えば、予測方向が真横であるならば水平方向のエッジはなく、水平方向のエッジの強度を計算を省略することにより処理負荷が軽減する。
【０２０２】
次に、以上のように構成された映像符号化装置７００の動作を説明する。図９は図７に示す第３の実施の形態の映像符号化装置７００の動作の一例を示すフローチャートである。なお、図９に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０２０３】
まず、ステップＳ９０１において、映像信号入力部７０１が、映像符号化装置７１０の外部から映像を１フレームずつ原画像として入力し、予測符号化部７０２に出力する。
【０２０４】
次に、ステップＳ９０２において、予測符号化部７０２が、映像信号入力部７０１から入力した原画像と復号化部７０７から入力した復号化画像ブロックを用いて予測符号化により差分画像を生成して、ＤＣＴ部７０３に出力する。また、予測符号化により予測情報を生成し、ストリーム出力部７０６に出力する。
【０２０５】
次に、ステップＳ９０３において、ＤＣＴ部７０３が、予測符号化部７０２から入力した差分画像を４×４画素ごとの画像ブロックに分割し、画像ブロックごとにＤＣＴ変換と量子化を施して量子化ＤＣＴ係数を生成し、スキャン部７０４と復号化部７０７に出力する。
【０２０６】
次に、ステップＳ９０４において、復号化部７０７が、ＤＣＴ部７０３から入力した量子化ＤＣＴ係数をＩＤＣＴ変換し復号化画像ブロックを生成し、予測符号化部７０２に出力する。
【０２０７】
次に、ステップＳ９０５において、スキャン判定式生成部７０８が、予測符号化部７０２から入力した参照画像を用いてスキャン判定式を生成し、ストリーム出力部７０６とスキャン決定部７０９に出力する。
【０２０８】
次に、ステップＳ９０６において、スキャン決定部７０９が、基本レイヤ復号化部７０２から入力した参照画像とスキャン判定式生成部７０８から入力したスキャン判定式を用いて符号化画像ブロックごとのスキャン順序を生成し、スキャン部７０４に出力する。
【０２０９】
次に、ステップＳ９０７において、スキャン部７０４が、ＤＣＴ部７０３から入力したＤＣＴ係数をスキャン決定部７０９から入力したスキャン順序を用いて並べ替えてスキャン済ＤＣＴ係数を生成し、可変長符号化部７０５に出力する。
【０２１０】
次に、ステップＳ９０８において、可変長符号化部７０５が、スキャン部７０４から入力したスキャン済ＤＣＴ係数を可変長符号化して映像ストリームを生成し、ストリーム出力部７０６に出力する。
【０２１１】
次に、ステップＳ９０９において、ストリーム出力部７０６が、可変長符号化部７０５から入力した映像ストリームに、予測符号化部７０２から入力した予測情報とスキャン判定式生成部７０８から入力したスキャン判定式を格納し、映像符号化装置７００の外部に出力する。
【０２１２】
最後に、ステップＳ９１０において、映像信号入力部７０１が、映像符号化装置７１０の外部から入力される映像の有無を判定し、映像の入力がなければ処理を終了する。そうでなければ、ステップＳ９０１に戻る。
【０２１３】
なお、ステップＳ９０５が本発明のスキャン判定式生成処理ステップに相当し、ステップＳ９０６がスキャン決定処理ステップに相当し、ステップＳ９０９がスキャン判定式格納処理ステップに相当する。
【０２１４】
以上のように、本実施の形態３によれば、映像符号化装置７００は、スキャン判定式生成部７０８が予測符号化の参照画像を用いてスキャン判定式を生成し、スキャン決定部７０９が予測符号化の参照画像に対してスキャン判定式を用いることにより、全ての画像ブロックに対してスキャン長が短いスキャン順序を生成することができ、予測符号化の符号化効率を向上することが可能である。
【０２１５】
また、本実施の形態３によれば、映像符号化装置７００は、スキャン判定式生成部７０８が予測情報を用いてスキャン判定式を生成することや、予測符号化部７０２がスキャン判定式の情報を用いて予測することにより、より短いスキャン長となるスキャン順序が生成でき、符号化効率を向上することが可能である。
【０２１６】
（実施の形態４）
第４の実施の形態では、第３の実施の形態を適用した映像符号化装置７００が出力した映像ストリームの復号化において、復号化する画像ブロックのＤＣＴ係数の逆スキャン順序を生成するためのスキャン判定式を映像ストリームから取得し、画像ブロックのＤＣＴ係数を前記スキャン判定式により生成したスキャン順序により復号化する。
【０２１７】
図１０は、本発明の実施の形態４に関わる映像復号化方法を適用した映像復号化装置１０００の構成を表す。
【０２１８】
図１０において、映像復号化装置１０００は、映像信号出力部１００１、予測復号化部１００２、ＩＤＣＴ部１００３、逆スキャン部１００４、可変長復号化部１００５、ストリーム入力部１００６、スキャン判定式取得部１００７、スキャン決定部１００８を有する。
【０２１９】
ストリーム入力部１００６は、映像復号化装置１０００の外部から映像ストリームを入力し可変長復号化部１００５と予測復号化部１００２とスキャン判定式取得部１００７に出力する。また、外部から入力される映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。
【０２２０】
可変長復号化部１００５は、ストリーム入力部１００６から入力した映像ストリームを可変長復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部１００４に出力する。
【０２２１】
逆スキャン部１００４は、可変長復号化部１００５から入力したスキャン済ＤＣＴ係数を、スキャン決定部１００８から入力したスキャン順序の逆の順序でスキャンして量子化ＤＣＴ係数を生成し、ＩＤＣＴ部５Ｊ０３に出力する。
【０２２２】
ＩＤＣＴ部１００３は、逆スキャン部１００４から入力した量子化ＤＣＴ係数を逆量子化とＩＤＣＴ変換を施して復号化画像ブロックを生成し、予測復号化部１００２に出力する。
【０２２３】
スキャン判定式取得部１００７は、ストリーム入力部１００６から入力した映像ストリームからスキャン判定式を取得し、スキャン決定部１００８に出力する。
【０２２４】
スキャン決定部１００８は、予測復号化部１００２から入力した参照画像に対して、スキャン判定式取得部１００７から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、逆スキャン部１００４に出力する。
【０２２５】
予測復号化部１００２は、ストリーム入力部１００６から入力した映像ストリームから予測情報を取得し、ＩＤＣＴ部１００３から入力した復号化画像ブロックを用いて予測復号化により復号化画像を生成し、映像信号出力部１００１に出力する。また、予測復号化に用いた参照画像をスキャン決定部７０８に出力する。
【０２２６】
映像信号出力部１００１は、予測復号化部１００２から入力した復号化画像を映像復号化装置１０００の外部に出力する。
【０２２７】
なお、スキャン判定式取得部１００７が本発明のスキャン判定式取得手段に相当し、スキャン決定部１００８がスキャン決定手段に相当する。
【０２２８】
次に、以上のように構成された映像復号化装置１０００の動作を説明する。図１１は図１０に示す第４の実施の形態の映像復号化装置１０００の動作の一例を示すフローチャートである。なお、図１１に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。
【０２２９】
まず、ステップＳ１１０１では、ストリーム入力部１００６が、映像復号化装置１０００の外部から映像ストリームを入力し可変長復号化部１００５と予測復号化部１００２とスキャン判定式取得部１００７に出力する。
【０２３０】
次に、ステップＳ１１０２では、可変長復号化部１００５が、ストリーム入力部１００６から入力した映像ストリームを可変長復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部１００４に出力する。
【０２３１】
次に、ステップＳ１１０３では、スキャン判定式取得部１００７が、ストリーム入力部１００６から入力した映像ストリームからスキャン判定式を取得し、スキャン決定部１００８に出力する。
【０２３２】
次に、ステップＳ１１０４では、スキャン決定部１００８が、予測復号化部１００２から入力した参照画像に対して、スキャン判定式取得部１００７から入力したスキャン判定式を用いて画像ブロックごとのスキャン順序を生成し、逆スキャン部１００４に出力する。
【０２３３】
次に、ステップＳ１１０５では、逆スキャン部１００４が、可変長復号化部１００５から入力したスキャン済ＤＣＴ係数を、スキャン決定部１００８から入力したスキャン順序の逆の順序でスキャンして量子化ＤＣＴ係数を生成し、ＩＤＣＴ部５Ｊ０３に出力する。
【０２３４】
次に、ステップＳ１１０６では、ＩＤＣＴ部１００３が、逆スキャン部１００４から入力した量子化ＤＣＴ係数を逆量子化とＩＤＣＴ変換を施して復号化画像ブロックを生成し、予測復号化部１００２に出力する。
【０２３５】
次に、ステップＳ１１０７では、予測復号化部１００２が、ストリーム入力部１００６から入力した映像ストリームから予測情報を取得し、ＩＤＣＴ部１００３から入力した復号化画像ブロックを用いて予測復号化により復号化画像を生成し、映像信号出力部１００１に出力する。また、予測復号化に用いた参照画像をスキャン決定部７０８に出力する。
【０２３６】
次に、ステップＳ１１０８では、映像信号出力部１００１が、予測復号化部１００２から入力した復号化画像を映像復号化装置１０００の外部に出力する。
【０２３７】
最後に、ステップＳ１１０９では、ストリーム入力部１００６が、外部から入力される映像ストリームの有無を判定し、映像ストリームの入力がなければ処理を終了する。そうでなければ、ステップＳ１１０１に戻る。
【０２３８】
なお、ステップＳ１１０３が本発明のスキャン判定式取得処理ステップに相当し、ステップＳ１１０４がスキャン決定処理ステップに相当する。
【０２３９】
以上のように、本実施の形態４によれば、映像復号化装置１０００は、スキャン判定式取得部１００７がスキャン判定式を映像ストリームから取得し、スキャン決定部５１７が予測符号化の参照画像に対してスキャン判定式を用いることにより、全画像ブロックのスキャン順序を映像ストリームに含めることなくスキャン順序を特定することができ、符号化効率が向上する。
【産業上の利用可能性】
【０２４０】
本発明は、画像ブロックごとに適したスキャン順序を生成することにより、符号化効率を向上することが可能であり、有用である。
【０２４１】
また、本発明は、特に階層符号化方式に適用することが可能で、拡張レイヤの符号化効率を向上することができ有用である。
【０２４２】
よって、映像ストリームを符号化した後、符号量を調整して復号化する用途に適している。
【０２４３】
また、本発明は、特に予測符号化方式に適用することが可能で、予測符号化の符号化効率を向上することができ有用である。
【０２４４】
よって、映像すなわち連続する画像の符号化に適している。すなわち、通信速度の変動するネットワークを介して映像ストリームの量を動的に変化させながら映像を送受信するシステムの映像符号化方式に適している。また、１つの映像コンテンツを通信速度や端末の処理能力の異なる複数のユーザに、それぞれ異なる画質や通信速度で配信するシステムの映像符号化方式に適している。また、映像ストリームを蓄積した後に、復号化して再度符号化することなく、蓄積容量を変更する映像蓄積装置の映像符号化方式に適している。
【図面の簡単な説明】
【０２４５】
【図１】本発明の実施の形態１による映像符号化装置の構成を示す図
【図２】拡張レイヤストリームの構造の例を示す図
【図３】ＤＣＴ係数の水平高周波と垂直高周波の例を示す図
【図４】本発明の実施の形態１による映像符号化装置の動作を示すフローチャート
【図５】本発明の実施の形態２による映像復号化装置の構成を示す図
【図６】本発明の実施の形態２による映像復号化装置の動作を示すフローチャート
【図７】本発明の実施の形態３による映像符号化装置の構成を示す図
【図８】画面内予測の例を示す図
【図９】本発明の実施の形態３による映像符号化装置の動作を示すフローチャート
【図１０】本発明の実施の形態４による映像復号化装置の構成を示す図
【図１１】本発明の実施の形態４による映像復号化装置の動作を示すフローチャート
【図１２】量子化の例を示す図
【図１３】スキャン順序の例を示す図
【図１４】特許文献１による映像符号化装置の構成を示す図
【図１５】特許文献２による映像符号化装置の構成を示す図
【図１６】特許文献２の概念図
【符号の説明】
【０２４６】
１０１，７０１    映像信号入力部
１０２    基本レイヤ符号化部
１０３    基本レイヤ出力部
１１０    拡張レイヤ符号化部
１１１    差分部
１１２，７０３    ＤＣＴ部
１１３，７０４    スキャン部
１１４，７０５    可変長符号化部
１１５    拡張レイヤ出力部
１１６，５１６，７０８，９０７    スキャン判定式生成部
１１７，５１７，７０９，９０８    スキャン決定部
５０１，９０１    映像信号出力部
５０２    基本レイヤ復号化部
５０３    基本レイヤ入力部
５１０    拡張レイヤ復号化部
５１１    加算部
５１２，９０３    ＩＤＣＴ部
５１３，９０４    逆スキャン部
５１４，９０５    可変長復号部
５１５    拡張レイヤ入力部
７０２    予測符号化部
７０６    ストリーム出力部
７０７    復号化部
９０２    予測復号化部
９０６    ストリーム入力部
２０１    拡張レイヤストリームヘッダ
２０２    スキャン判定式
２０３    画像ブロックの符号
【図１】
2006211304.tif 000007
【図２】
2006211304.tif 000008
【図３】
2006211304.tif 000009
【図４】
2006211304.tif 000010
【図５】
2006211304.tif 000011
【図６】
2006211304.tif 000012
【図７】
2006211304.tif 000013
【図８】
2006211304.tif 000014
【図９】
2006211304.tif 000015
【図１０】
2006211304.tif 000016
【図１１】
2006211304.tif 000017
【図１２】
2006211304.tif 000018
【図１３】
2006211304.tif 000019
【図１４】
2006211304.tif 000020
【図１５】
2006211304.tif 000021
【図１６】
2006211304.tif 000022