(57)【要約】  本発明の動画像符号化方法は、複数のピクチャからなる動画像を符号化する動画像符号化方法であって、ピクチャを複数の画素からなるブロックに分割し、複数の走査方法の中から走査方法を選択し、選択された走査方法に従ってブロックを走査し、走査された順にブロックを符号化する。その際、前記分割において、ピクチャを行列状のマクロブロックに分割し、各マクロブロックをブロックに分割する。複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含む。
2007055158.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャからなる動画像を符号化する動画像符号化方法であって、
ピクチャを複数の画素からなるブロックに分割し、
複数の走査方法の中から走査方法を選択し、
選択された走査方法に従ってブロックを走査し、
走査された順にブロックを符号化する
ことを特徴とする動画像符号化方法。
【請求項２】
前記分割において、ピクチャを行列状のマクロブロックに分割し、各マクロブロックをブロックに分割する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項２記載の動画像符号化方法。
【請求項４】
前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項２記載の動画像符号化方法。
【請求項５】
前記第１走査方法が選択された場合、前記選択において、さらに、ブロック行の走査方向として、左から右か、右から左かを選択する
ことを特徴とする請求項３または４記載の動画像符号化方法。
【請求項６】
前記符号化において、選択された走査方向に基づいて複数の予測方法から１つの予測方法を選択し、選択した予測方法を用いてブロックを符号化し、
前記複数の予測方法は、ブロック内の画素の予測値を決定するための複数の予測方向のセットを利用可能な第１予測方法と、第１予測方法とは異なる予測方向のセットを利用可能な第２予測方法とを含む
ことを特徴とする請求項５記載の動画像符号化方法。
【請求項７】
前記動画像符号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、
前記選択において、検出されたエッジの方向に基づいて１つの走査方法を選択する
ことを特徴とする請求項１〜６の何れかに記載の動画像符号化方法。
【請求項８】
前記動画像符号化方法は、さらに、選択された走査方法を示す識別子を符号化された動画像に挿入する
ことを特徴とする請求項１〜７の何れかに記載の動画像符号化方法。
【請求項９】
符号化された動画像を復号化する動画像復号化方法であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出し、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定し、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得し、
符号化されたブロックを復号化し、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する
ことを特徴とする動画像復号化方法。
【請求項１０】
前記ピクチャは行列状のマクロブロックに区画され、各マクロブロックは行列状のブロックに区画される
ことを特徴とする請求項９記載の動画像復号化方法。
【請求項１１】
前記判定において、符号化された動画像に含まれる走査方法識別子に従って前記走査方法を判定する
ことを特徴とする請求項１０記載の動画像復号化方法。
【請求項１２】
前記動画像復号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、
前記決定において、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を決定する
ことを特徴とする請求項１０記載の動画像復号化方法。
【請求項１３】
前記決定において、さらに、ブロック行の走査方向として、左から右か、右から左かを決定する
ことを特徴とする請求項１２記載の動画像復号化方法。
【請求項１４】
前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項１１または１２記載の動画像復号化方法。
【請求項１５】
前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項１１または１２記載の動画像復号化方法。
【請求項１６】
複数のピクチャからなる動画像を符号化する動画像符号化装置であって、
ピクチャを複数の画素からなるブロックに分割する分割手段と、
複数の走査方法の中から走査方法を選択する選択手段と、
選択された走査方法に従ってブロックを走査する走査手段と、
走査された順にブロックを符号化する符号化手段と
を備えることを特徴とする動画像符号化装置。
【請求項１７】
符号化された動画像を復号化する動画像復号化装置であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出する検出手段と、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定する決定手段と、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得する取得手段と、
符号化されたブロックを復号化する復号化手段と、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する配置手段と
を備えることを特徴とする動画像復号化装置。
【請求項１８】
複数のピクチャからなる動画像を符号化する半導体装置であって、
ピクチャを複数の画素からなるブロックに分割する分割手段と、
複数の走査方法の中から走査方法を選択する選択手段と、
選択された走査方法に従ってブロックを走査する走査手段と、
走査された順にブロックを符号化する符号化手段と
を備えることを特徴とする半導体装置。
【請求項１９】
符号化された動画像を復号化する半導体装置であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出する検出手段と、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定する決定手段と、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得する取得手段と、
符号化されたブロックを復号化する復号化手段と、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する配置手段と
を備えることを特徴とする半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを圧縮する符号化に関し、特に、高い符号化効率を実現する動画像符号化方法、動画像復号化方法および装置に関する。
【背景技術】
【０００２】
動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信され、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネル、メディアに送信及び格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。【０００３】
動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ.２６ｘで示されるＩＴＵ-Ｔ規格、及びＭＰＥＧ-ｘで示されるＩＳＯ／ＩＥＣ規格がある。ｘは１、２、４等である。最新の動画像符号化規格は、Ｈ.２６４/ＭＰＥＧ-４ ＡＶＣ規格である。【０００４】
これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。
（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素からなるブロックに分割する。
（ｂ）各動画像データのそれぞれのブロックを、それらのブロックが符号化される順序を定める固定の走査方法に従って走査する。
（ｃ）連続するフレームのブロック間の時間的依存性（動き補償）、又は同じフレーム内の符号化済みブロックとの間の空間的依存性（イントラフレーム予測）とを利用して走査された各ブロックを予測する。
（ｄ）走査されたブロックと予測結果との残差を求め、各ブロックの残差を符号化する。【０００５】
画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数成分で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波数成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。【０００６】
多くの応用において、符号化動画像データの蓄積又は伝送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を向上させることは、符号化画像の画質劣化を引き起こす。【０００７】
図１は、従来技術における動画像符号化装置の構成を示すブロック図である。動画像符号化装置１００は、減算器１１０、変換・量子化部１２０、逆量子化・逆変換部１３０、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、イントラフレーム予測部１５０、動き補償予測部１６０、動き検出部１７０、イントラ・インタースイッチ１８０およびエントロピー符号化部１９０を備える。減算器１１０は、符号化対象ブロックと、メモリ１４０に格納される符号化済みブロックに基づく予測信号との差分を求める。変換・量子化部１２０は、減算器１１０から得られた予測誤差を空間的領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部１９０は、量子化変換係数をエントロピー符号化する。【０００８】
入力画像は、H.264/AVC規格に従ってマクロブロックに分割される。動画像符号化装置１００は、入力動画像列のブロックと、それらの符号化済みブロック（局所復号化画像）に基づく予測との差分のみを送信する。これらの差分は、符号化対象となるブロックを受け取り、当該ブロックから予側信号を減算する減算器１１０により求められる。【０００９】
局所的に復号化された画像は、動画像符号化装置１００に実装された局所復号化部（逆量子化・逆変換部１３０、加算器１３５およびデブロッキングフィルタ１３７）により供給される。局所復号化部は、符号化ステップの逆処理を行う。逆量子化・逆変換部１３０は、量子化された係数を逆量子化し、逆量子化された係数に逆変換を行う。加算器１３５においては、逆変換により得られた差分が予測信号に加算され、局所的に復号化された画像が形成される。また、デブロッキングフィルタ１３７は、復号化された画像におけるブロックノイズを低減させる。【００１０】
動画像符号化装置１００に用いられる予測のタイプは、マクロブロックがイントラモードとインターモードのどちらで符号化されているかによって異なる。イントラモードにおいては、連続するマクロブロックを予測するために、動画像符号化規格H.264/AVCでは同一の画像の符号化済みマクロブロックに基づく予測方式が用いられる。インターモードにおいては、連続するいくつかのフレームに対応するブロック間の動き補償/予測が用いられる。【００１１】
イントラ符号化された画像（Ｉピクチャ）のみ復号化済み画像を参照することなく復号化することが可能である。Ｉピクチャは、符号化された動画像列にエラー伝播耐性を与える。更に、ランダムアクセスを可能にするために、すなわち符号化された動画像列におけるＩピクチャにアクセスするために、Ｉピクチャは符号化されたデータのビットストリームへのエントリポイントとなる。イントラモード、つまりイントラフレーム予測部１５０による処理と、インターモード、つまり動き補償予測部１６０による処理との間の切り替えは、イントラ・インタースイッチ１８０によって制御される。【００１２】
インターモードにおいては、動き補償を用いることにより、先行フレームにおけるブロックからマクロブロックが予測される。動き予測は、対象入力信号および局所的に復号化された画像を受信する動き検出部１７０により実現される。動き検出により２次元動きベクトルが生成され、この２次元動きベクトルは、対象ブロックと先行フレームにおける対応するブロック間の画素の動きを表す。検出された動きに基づき、動き補償予測部１６０は予測信号を供給する。【００１３】
イントラ及びインター符号化モードのために、対象信号と予測された信号との間の差分は変換/量子化部１２０によって変換係数に変換される。一般的に、２次元離散コサイン変換（DCT）もしくはその整数化バージョンである直交変換が用いられる。【００１４】
変換係数は、符号化する必要のあるデータ量を削減するため量子化される。量子化のステップは、精度と、各周波数係数の符号化のために使用されるビット数とを指定する量子化テーブルにより制御される。高周波数成分よりも多くのビットが低周波数成分の符号化に用いられるために、低周波数成分は、通常、画像の精細さよりも画質に重要である。【００１５】
符号化された画像を復号化装置において復元する際には、符号化プロセスと逆の処理が行われる。【００１６】
図２は、従来技術における動画像復号化装置の構成を示すブロック図である。動画像復号化装置２００は、エントロピー復号化部２１０、逆量子化・逆変換部２２０、加算器２３０、デブロッキングフィルタ２４０、メモリ２５０、イントラフレーム予測部２６０および補償予測部２７０を備える。【００１７】
エントロピー復号化部２１０における変換係数および動きデータのエントロピー復号化は、エントロピー符号化部１９０の逆に行われる。エントロピー復号化されたブロックは、その後逆量子化・逆変換部２２０へと送信され、エントロピー復号化された動きデータは動き補償予測部２７０へと送信される。逆量子化および逆変換の結果は予測誤差を含む。予測誤差は、インターモードの動き補償予測部２７０もしくはイントラモードのイントラフレーム予測部２６０から生じる予測信号と、加算器２３０によって加算される。復元された画像は、デブロッキングフィルタ２４０を通過し、イントラフレーム予測部２６０および動き補償予測部２７０に利用させるためメモリ２５０に格納される。【００１８】
H.264/AVC規格に基づき、画像は、重なり合わない１６×１６画素サイズのマクロブロックに分割される。これらのマクロブロックは、４×４画素サイズの４×４個のブロックもしくは８×８画素サイズの２×２個のブロックにさらに分割されてもよい。これらのマクロブロックは非分割の１６×１６画素サイズのブロックと併せて、それぞれＩ４ＭＢ(Macro Block)、Ｉ８ＭＢ、Ｉ１６ＭＢと称される。【００１９】
上記の符号化および復号化メカニズムは、ブロック毎に適用される。そのため、ブロックの２次元配列は、ブロックが符号化装置および復号化装置によって処理される１次元列に変換される必要がある。すなわちブロックは、ブロックが処理される順序を定める特定の走査方法に従って走査されなければならない。【００２０】
図３は、H.264/AVC規格に基づいたブロックの走査方法を示す図である。矢線は、Ｉ８ＭＢマクロブロック（３１０）およびＩ４ＭＢマクロブロック（３２０）内のブロックが走査される順序を示す。図中の数字０−１５は、Ｉ４ＭＢマクロブロック（３２０）内の４×４画素ブロックが走査される順序を示す。参照符号３５０は、ブロック内の個々の画素を示す。【００２１】
ブロックが走査される順序は、イントラ符号化されたブロック、すなわち符号化される必要のある情報量を削減するため空間的相互関係が利用されるブロックに特に重要である。上記の説明のとおり、イントラ符号化されたブロックは、符号化済みブロックにおいて互いに隣接する画素から予測される。この予測値は、ブロックより減算され、残差のみが符号化される。したがって、予測の精度は、高圧縮率にきわめて重要である。【００２２】
図４Ａは、H.264/AVC規格に指定されたマクロブロックのイントラ予測の説明図を示す。図中の陰影部分は、符号化済みのブロックを、陰影のない部分は、まだ符号化されていないブロックを示す。対象ブロック６における４×４画素は、符号化済みブロック内の互いに隣接する画素から外挿されなければならない。ブロック１の１画素、ブロック３の４画素、ブロック４の４画素、ブロック５の４画素からなる１３画素（４３０）は、対応する画素値を特定予測方向（４４０）に複製していくことによる対象ブロックの予測のために利用される。【００２３】
図４Ｂは、H.264/AVC規格に定義された９つの異なる予測モードの概要を示す。モード０、１および３〜８は、対象ブロックに参照画素（４３０）が複製される予測方向によって特徴づけられる。例えば、モード１では、ブロック４の４画素が対象ブロックの４×４画素の予測値として複製される。モード２（DC）では、参照画素の平均値が対象ブロックに各画素の予測値として均一に埋められる。
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 "Information technology - Coding of audio-visual objects - Part 10:Advanced video coding"
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上記従来技術によればイントラ予測における空間予測の精度を向上させられないという問題がある。その結果、符号化効率も改善できない。この問題について具体的に、図５Ａ、図５Ｂを用いて説明する。図中の陰影部分は、符号化済みのブロックを、陰影のない部分は、まだ符号化されていないブロックを示す。【００２５】
図５Ａ、図５Ｂに示される走査順序および例からも明らかなように、参照画素のすべてが全ブロックに利用可能というわけではない。例えば図５Ａでは、ブロック４内の４つの参照画素（５４０）無しに、ブロック３が予測されなければならない。なぜならばブロック４はまだ符号化されていないからである。これはイントラ予測モード３および７にとって障害となり、予測誤差を大きくする。したがって、残差を符号化するためにより多くのビットが必要となり、予測精度と符号化効率とが劣化する。また、予測誤差が大きくなれば画質が劣化する。【００２６】
図５Ｂは、走査順序のために欠けてしまった画素の別の例を示す。ブロック１３は、次のマクロブロックの一部である４つの参照画素（５４０）無しに符号化されなければならない。そのため、予測の精度は落ち、予測誤差が大きくなり、符号化装置の性能が劣化する。【００２７】
H.264/AVC規格の別の問題は、利用可能な予測モードのセットに関連する。この予測モードのセットは、予測方向が主に斜め右下であるという意味で非対称である。すなわち、例えば水平線上に左の予測モードまたは垂直線上に上の予測モード等がないということである。明らかに、この非対称は、H.264/AVC規格において走査方向が主に斜め右下ということに起因している。画像コンテンツによっては、図４Ｂに示された以外の予測方向によって、優れた予測精度がもたらされると予想できる。しかしながら、H.264/AVC規格の走査方法が固定となっているため、そのような改善を実現することができない。【００２８】
本発明は、イントラ予測における空間予測の精度を向上させる動画像符号化方法、動画像復号化方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記課題を解決するため本発明の動画像符号化方法は、複数のピクチャからなる動画像を符号化する動画像符号化方法であって、ピクチャを複数の画素からなるブロックに分割し、複数の走査方法の中から走査方法を選択し、選択された走査方法に従ってブロックを走査し、走査された順にブロックを符号化する。【００３０】
この構成によれば、走査方法の選択により空間予測においてより多くの参照画素を利用可能にするので、空間予測の精度を向上させることができる。これにより、符号化効率と画質とを向上させることができる。【００３１】
ここで、前記分割において、ピクチャを行列状のマクロブロックに分割し、各マクロブロックをブロックに分割するようにしてもよい。【００３２】
この構成によれば、ブロックの分割の仕方に応じて適切な走査方法を選択することができる。【００３３】
ここで、前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含むようにしてもよい。【００３４】
ここで、前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含むようにしてもよい。【００３５】
ここで、前記第１走査方法が選択された場合、前記選択において、さらに、ブロック行の走査方向として、左から右か、右から左かを選択するようにしてもよい。【００３６】
ここで、前記符号化において、選択された走査方向に基づいて複数の予測方法から１つの予測方法を選択し、選択した予測方法を用いてブロックを符号化してもよい。前記複数の予測方法は、ブロック内の画素の予測値を決定するための複数の予測方向のセットを利用可能な第１予測方法と、第１予測方法とは異なる予測方向のセットを利用可能な第２予測方法とを含むようにしてもよい。【００３７】
この構成によれば、選択された走査方法に適した予測方法を選択することができるので、予測制度および符号化効率をより一層向上させることができる。【００３８】
ここで、前記動画像符号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、前記選択において、検出されたエッジの方向に基づいて１つの走査方法を選択するようにしてもよい。【００３９】
この構成によれば、画像の内容に応じて適切な走査方法を選択可能にするので、予測精度および符号化効率のさらに向上させることができる。【００４０】
ここで、前記動画像符号化方法は、さらに、選択された走査方法を示す識別子を符号化された動画像に挿入するようにしてもよい。【００４１】
この構成によれば、復号化装置において走査方法を決定する処理を簡単にすることができる。【００４２】
また、本発明の動画像復号化方法は、符号化された動画像を復号化する動画像復号化方法であって、符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出し、ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定し、符号化された動画像から、複数の画素からなる符号化されたブロックを取得し、符号化されたブロックを復号化し、検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する。【００４３】
この構成によれば、空間予測においてより多くの参照画素を利用可能にするので、空間予測の予測精度と符号化効率の向上に対応することができる。【００４４】
ここで、前記ピクチャは行列状のマクロブロックに区画され、各マクロブロックは行列状のブロックに区画されるようにしてもよい。【００４５】
ここで、前記判定において、符号化された動画像に含まれる走査方法識別子に従って前記走査方法を判定するようにしてもよい。【００４６】
ここで、前記動画像復号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、前記決定において、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を決定するようにしてもよい。【００４７】
ここで、前記決定において、さらに、ブロック行の走査方向として、左から右か、右から左かを決定するようにしてもよい。【００４８】
ここで、前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含むようにしてもよい。【００４９】
ここで、前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含むようにしてもよい。【００５０】
また、本発明の動画像符号化装置、動画像復号化装置および半導体装置は、上記動画像符号化方法または動画像復号化方法と同様の構成を有し、同様の作用および効果を奏する。
【発明の効果】
【００５１】
本発明の動画像符号化方法によれば、空間予測の予測精度と符号化効率の向上に対応することができる。その結果、画質を向上させることができる。
【図面の簡単な説明】
【００５２】
【図１】図１は、従来技術における動画像符号化装置の構成を示すブロック図である。
【図２】図２は、従来技術における動画像復号化装置の構成を示すブロック図である。
【図３】図３は、H.264/AVC規格に基づいたブロックの走査を示す。
【図４Ａ】図４Ａは、H.264/AVC規格に指定されたマクロブロックのイントラ予測を示す。
【図４Ｂ】図４Ｂは、H.264/AVC規格に定義された９つの異なる予測モードの概要を示す。
【図５Ａ】図５Ａは、イントラ予測で利用可能な参照画素を示す図である。
【図５Ｂ】図５Ｂは、イントラ予測で利用可能な参照画素を示す図である。
【図６】図６は、本発明の実施形態１における動画像符号化装置の構成を示すブロック図である。
【図７Ａ】図７Ａは、本発明の実施形態における第１のブロック走査方法を示す図である。
【図７Ｂ】図７Ｂは、本発明の実施形態における第２のブロック走査方法を示す図である。
【図７Ｃ】図７Ｃは、本発明の実施形態における第３のブロック走査方法を示す図である。
【図８Ａ】図８Ａは、スライス毎に走査ＩＤを含むビットストリームの構造を示す。
【図８Ｂ】図８Ｂは、マクロブロック毎にブロックの走査ＩＤを含むビットストリームの構造を示す。
【図８Ｃ】図８Ｃは、マクロブロック毎にマクロブロックの走査ＩＤとブロックの走査ＩＤとを含むビットストリームの構造を示す。
【図９】図９は、フレームにおける、マクロブロックの走査順の一例を示す図である。
【図１０Ａ】図１０Ａは、ブロック内の画素の予測値を決定するための複数の予測方向の第１セットを示す図である。
【図１０Ｂ】図１０Ｂは、ブロック内の画素の予測値を決定するための複数の予測方向の第２セットを示す図である。
【図１０Ｃ】図１０Ｃは、ブロック内の画素の予測値を決定するための複数の予測方向の第３セットを示す図である。
【図１０Ｄ】図１０Ｄは、ブロック内の画素の予測値を決定するための複数の予測方向の第４セットを示す図である。
【図１０Ｅ】図１０Ｅは、ブロック内の画素の予測値を決定するための複数の予測方向の第５セットを示す図である。
【図１０Ｆ】図１０Ｆは、ブロック内の画素の予測値を決定するための複数の予測方向の第６セットを示す図である。
【図１０Ｇ】図１０Gは、ブロック内の画素の予測値を決定するための複数の予測方向の第７セットを示す図である。
【図１０Ｈ】図１０Hは、ブロック内の画素の予測値を決定するための複数の予測方向の第８セットを示す図である。
【図１１】図１１は、符号化装置の動作を表すフローチャートである。
【図１２】図１２は本発明の実施形態１における動画像復号化装置の構成を示すブロック図である。
【図１３】図１３は、復号化装置の動作を表すフローチャートである。
【図１４Ａ】図１４Ａは本発明の実施形態２における動画像符号化装置の構成を示すブロック図である。
【図１４Ｂ】図１４Ｂは本発明の実施形態２における動画像符号化装置の変形例を示すブロック図である。
【図１５Ａ】図１５Ａは、符号化装置の動作を表す説明図である。
【図１５Ｂ】図１５Ｂは、符号化装置の動作を表すフローチャートである。
【図１６】図１６は、本発明の実施形態２における動画像復号化装置の構成を示すブロック図である。
【図１７Ａ】図１７Ａは、復号化装置の動作を表す説明図である。
【図１７Ｂ】図１７Ｂは、復号化装置の動作を表すフローチャートである。
【符号の説明】
【００５３】
１  動画像符号化装置
２  復号化装置
５  加算器
７  デブロッキングフィルタ
８  フレームメモリ
９  エッジ方向検出部
１０  走査方法選択部
１１  減算器
１２  変換・量子化部
１３  逆量子化・逆変換部
１４  メモリ
１５  イントラフレーム予測部
１６  動き補償予測部
１７  動き検出部
１８  インタースイッチ
１９  エントロピー符号化部
２０  走査方法選択部
２１  エントロピー復号化部
２２  逆量子化・逆変換部
２３  加算器
２４  デブロッキングフィルタ
２５  メモリ
２６  イントラフレーム予測部
２７  動き補償予測部
２９  エッジ方向検出部
７００  ビットストリーム
７１０  走査方法識別子
７２０  分割情報
７３０  ブロックデータ
７４０  マクロブロックヘッダー
【発明を実施するための最良の形態】
【００５４】
（実施形態１）
本発明の特徴は、イントラフレーム予測においてより多くのまたは異なる参照画素を利用可能にするために、走査方法を選択することである。そのため、本発明の動画像符号化方法は、複数のピクチャからなる動画像を符号化する動画像符号化方法であって、ピクチャを複数の画素からなるブロックに分割し、複数の走査方法の中から走査方法を選択し、選択された走査方法に従ってブロックを走査し、走査された順にブロックを符号化する。【００５５】
これにより符号化装置は、イントラフレーム予測においてより多くのまたは異なる参照画素が利用可能になり、空間予側の精度および符号化効率が向上する。ここで、走査方法は、複数の定義済み走査方法から選択できる。選択された走査方法は、復号化装置へシグナリングしてもよい。また、上記のブロックは、マクロブロック、およびマクロブロックを分割したブロックの一方または両方である。【００５６】
このため符号化装置は、従来の走査方法以外の走査方法も選択することが可能となる。【００５７】
図６は、本発明の実施形態１における動画像符号化装置の構成を示すブロック図である。同図において、動画像符号化装置１は、走査方法選択部１０、減算器１１、変換・量子化部１２、逆量子化・逆変換部１３、加算器５、デブロッキングフィルタ７、メモリ１４、イントラフレーム予測部１５、動き補償予測部１６、動き検出部１７、イントラ・インタースイッチ１８およびエントロピー符号化部１９を備える。【００５８】
走査方法選択部１０は、マクロブロックの走査方法の選択、ブロックの走査方法の選択および予測モードのセットの選択とを行う。符号化対象のマクロブロックは選択されたマクロブロックの走査方法に従って走査され、符号化対象のブロックは選択されたブロックの走査方法に従って走査される。【００５９】
減算器１１は、符号化対象ブロックと、メモリ１４に格納される符号化済みブロックに基づく予測信号との差分を求める。変換・量子化部１２は、減算器１１から得られた予測誤差を空間的領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部１９は、量子化変換係数をエントロピー符号化する。【００６０】
入力画像は、H.264/AVC規格に従ってマクロブロックに分割され、さらにブロックに分割される。動画像符号化装置１は、入力動画像列のブロックと、それらの符号化済みブロック（局所復号化画像）に基づく予測との差分のみを送信する。これらの差分は、符号化対象となるブロックを受け取り、当該ブロックから予側信号を減算する減算器１１により求められる。【００６１】
局所的に復号化された画像は、動画像符号化装置１に実装された局所復号化部（逆量子化・逆変換部１３、加算器５およびデブロッキングフィルタ７）により供給される。局所復号化部は、符号化ステップの逆処理を行う。逆量子化・逆変換部１３は、量子化された係数を逆量子化し、逆量子化された係数に逆変換を行う。加算器５においては、逆変換により得られた差分が予測信号に加算され、局所的に復号化された画像が形成される。また、デブロッキングフィルタ１３７は、復号化された画像におけるブロックノイズを低減させる。【００６２】
動画像符号化装置１に用いられる予測のタイプは、マクロブロックがイントラモードとインターモードのどちらで符号化されているかによって異なる。イントラモードにおいては、連続するマクロブロックを予測するために、同じ画像の符号化済みブロックに基づく予測方式が用いられる。この予測方式では、走査方法選択部１０によって選択された予測モードのセットが用いられる。インターモードにおいては、連続するいくつかのフレームに対応するブロック間の動き補償/予測が用いられる。【００６３】
イントラモード、つまりイントラフレーム予測部１５による処理と、インターモード、つまり動き補償予測部１６による処理との間の切り替えは、イントラ・インタースイッチ１８によって制御される。【００６４】
インターモードにおいては、動き補償を用いることにより、先行フレームにおけるブロックからマクロブロックが予測される。動き予測は、対象入力信号および局所的に復号化された画像を受信する動き検出部１７により実現される。動き検出により２次元動きベクトルが生成され、この２次元動きベクトルは、対象ブロックと先行フレームにおける対応するブロック間の画素の動きを表す。検出された動きに基づき、動き補償予測部１６は予測信号を供給する。【００６５】
イントラ及びインター符号化において、対象信号と予測された信号との間の差分は変換・量子化部１２によって変換係数に変換される。一般的に、２次元離散コサイン変換（DCT）もしくはその整数化バージョンである直交変換が用いられる。【００６６】
変換係数は、符号化する必要のあるデータ量を削減するため量子化される。量子化のステップは、精度と、各周波数係数の符号化のために使用されるビット数とを指定する量子化テーブルにより制御される。高周波数成分よりも多くのビットが低周波数成分の符号化に用いられるために、低周波数成分は、通常、画像の精細さよりも画質に重要である。【００６７】
符号化された画像を復号化装置において復元する際には、符号化プロセスと逆の処理が行われる。【００６８】
次に、走査方法選択部１０によって選択されるマクロブロックの走査方法、ブロックの走査方法および予測モードのセットについて説明する。【００６９】
マクロブロックの走査方法は、次の(i)〜(v)などから走査方法選択部１０によって選択される。【００７０】
(i)   左から右に走査する走査方法
(ii)  右から左に走査する走査方法
(iii) 上から下に走査する走査方法
(iv)  下から上に走査する走査方法
(v)   ピクチャ内で上記の(i)〜(iv)を混在させる走査方法(図９参照)
なお、走査方法選択部１０は、上記(i)〜（v）のうち１つを固定的に選択するようにしてもよいし、上記(i)〜（v）のうち少なくとも２つの中から１つを選択するようにしてもよい。【００７１】
ブロックの走査方法には、大きくは(a)１つのマクロブロック内で走査するケースと(ｂ)同じ方向に隣接する２つ以上のマクロブロックに跨って走査するケースとがある。ブロックの走査方法は、(a)および(b)と、上記(i)〜(iv)と、起点ブロックとの組み合わせにより定まる。選択候補としてのブロックの走査方法には以下のものがある。以下の（ ）内の上記（ａ）または（ｂ）の区別、上記(i)〜(iv)の区別、および起点となるブロック位置（u、d、l、rは、上から、下から、左から、右からを意味する）を示している。【００７２】
(a-i-u)  マクロブロック内の左上ブロックを起点として左から右に走査する走査方法(図７Ａ参照)
(a-i-d)  マクロブロック内の左下ブロックを起点として左から右に走査する走査方法
(a-ii-u) マクロブロック内の右上ブロックを起点として右から左に走査する走査方法
(a-ii-d) マクロブロック内の右下ブロックを起点として右から左に走査する走査方法
(a-iii-l)マクロブロック内の左上ブロックを起点として上から下に走査する走査方法
(a-iii-r)マクロブロック内の右上ブロックを起点として上から下に走査する走査方法
(a-iv-l) マクロブロック内の左下ブロックを起点として下から上に走査する走査方法
(a-iv-r) マクロブロック内の右下ブロックを起点として下から上に走査する走査方法
(b-i-u) 横に隣接する２以上のマクロブロックにおける左上ブロックを起点として左から右に走査する走査方法
(b-i-d)横に隣接する２以上のマクロブロックにおける左下ブロックを起点として左から右に走査する走査方法
(b-ii-u) 横に隣接する２以上のマクロブロックにおける右上ブロックを起点として右から左に走査する走査方法
(b-ii-d) マクロブロック内の右下ブロックを起点として右から左に走査する走査方法
(b-iii-l)縦に隣接する２以上のマクロブロックにおけるマクロブロック内の左上ブロックを起点として上から下に走査する走査方法
(b-iii-r)縦に隣接する２以上のマクロブロックにおける右上ブロックを起点として上から下に走査する走査方法
(b-iv-l) 縦に隣接する２以上のマクロブロックにおける左下ブロックを起点として下から上に走査する走査方法
(b-iv-r) 縦に隣接する２以上のマクロブロックにおける右下ブロックを起点として下から上に走査する走査方法
なお、走査方法選択部１０は、上記(a-i-d)〜（b-iv-r）のうち、少なくとも２つの走査方法から１つ選択するようにしてもよい。【００７３】
予測モードのセットは、次の（１）〜（８）などがあり、マクロブロックまたはブロックの走査方法に対応する最適なセットが選択される。
（１）図１０Ａに示す予測モードのセットであり、左上のブロックを基点とする上から下への走査方法（上記(a-iii-l)および(b-iii-l)）に対応する
（２）図１０Ｂに示す予測モードのセットであり、右上のブロックを基点とする上から下への走査方法（上記(a-iii-r)および(b-iii-r)）に対応する
（３）図１０Ｃに示す予測モードのセットであり、右上のブロックを基点とする右から左への走査方法（上記(a-ii-u)および(b-ii-u)）に対応する
（４）図１０Ｄに示す予測モードのセットであり、左下のブロックを基点とする右から左への走査方法（上記(a-ii-d)および(b-ii-d)）に対応する
（５）図１０Ｅに示す予測モードのセットであり、左下のブロックを基点とする下から上への走査方法（上記(a-iv-l)および(b-iv-l)）に対応する
（６）図１０Ｆに示す予測モードのセットであり、右下のブロックを基点とする下から上への走査方法（上記(a-iv-r)および(b-iv-r)）に対応する
（７）図１０Ｇに示す予測モードのセットで、左下のブロックを起点する左から右への走査方法（上記(a-i-d)および(b-i-d)）に対応する
（８）図１０Ｈに示す予測モードのセットであり、左上のブロックを起点する左から右への走査方法（上記(a-i-u)および(b-i-u)）に対応する
なお、図１０Ａ〜図１０Ｈにおける陰影部分は符号化済みのブロックを、陰影のない部分はまだ符号化されていないブロックを示す。予測モードの各セットは、異なる８つの予側方向(図中の矢印線)を示す８つの予測モードと１つのＤＣモードとが利用可能である。また、図１０Ｈは図４Ｂを同じ予測モードのセットを示す。【００７４】
図７Ａ〜図７Ｃは、イントラ予側のためにより多くの参照画素を供給する、改善された走査方法（６００）の例を示す。【００７５】
図７Ａは、各マクロブロック内のブロック６１５を行毎に走査することによりマクロブロック（６１０、６１１、６１２）の行が走査される走査方法（６００）を示す。第一マクロブロック（６１０）内のブロックを走査した後、走査は次のマクロブロック（６１１）内の左上のブロックに移り、進んでいく。【００７６】
この結果として、図５Ａに示すような従来の走査順序のために参照画素が欠けてしまう問題は解消される。これにより符号化済みブロックから、より正確な動画像データを予測できることになり、符号化効率の向上にもつながる。【００７７】
図７Ｂは、２つのＩ４ＭＢ（６２０、６２１）を含み、Ｉ１６ＭＢ（６２２）に先行するマクロブロックの行の走査を示す。マクロブロックにおいて同じ区画をもつブロック、すなわち同一サイズのブロックが、マクロブロックの境界に関わらず行毎に走査される。異なる区画のブロックをもつマクロブロック（６１２）に到達すると、走査は停止し、次の行へと移る。同一サイズの全ブロックが走査されると、すぐに次のマクロブロック（６１２）内のブロックが走査される。【００７８】
これにより、図５Ａで示されたような従来の走査のために参照画素が欠けてしまう問題は解消される。さらに、マクロブロックの境界により参照画素が欠けてしまう問題（図５Ｂ参照）は低減される。これによって符号化済みブロックから動画像データをより正確に予測できることになり、符号化効率の向上にもつながる。【００７９】
異なる区画のブロックを有するマクロブロックにおけるブロックの走査順序は少々異なる。これを説明するにあたって図７Ｃに、異なる区画のブロックを有するマクロブロックにおけるブロックの走査順序例を示す。走査がマクロブロックの境界に到達し、次のマクロブロックにおいて隣接するブロックが対象ブロック以上のサイズならば、その隣接するブロックが走査順序において次のブロックとなる。次のマクロブロックにおいて隣接するブロックが対象ブロックのサイズよりも大きい場合、マクロブロックにおけるブロックの次の行が走査される必要がある。すなわち、次のマクロブロックにおける次のブロック内の参照画素が符号化済みでない場合、次の行を走査する。【００８０】
この結果、図５Ａに示されたような従来の走査順序のために参照画素が欠けてしまう問題は解消する。さらに、マクロブロックの境界により参照画素が欠けてしまう問題（図５Ｂ参照）が低減する。これによって符号化済みブロックからより正確な動画像データを予測できることになり、符号化効率の向上にもつながる。【００８１】
上記の例における走査順序は、水平線上に左から右であるが、本発明はこの走査順序に制限されない。本発明は、走査順序が逆、裏返し、回転しようとも実施可能である。【００８２】
上記の走査方法は、符号化装置が選択可能である、本発明により改善された走査方法の例である。しかしながら、選択ステップが明示的に示されなくても、本発明によって改善された符号化装置がこれらの走査方法を用いることは可能である。【００８３】
H.264/AVC規格は、マクロブロックにおけるブロックの分割に基づくものである。同規格においては、３通りあるマクロブロックのブロック分割のうち１つに従って、個々のマクロブロックがさらにブロックに分割されてもよい。しかしながら本発明は、マクロブロックの構造に制限されない。その代わりに本発明は、異なった分割や、多様なブロックの形やサイズの分割にも適応することが可能である。【００８４】
符号化された動画像データを復号化するために、復号化装置は符号化装置によって符号化されているブロックの列に関する情報を必要とする。したがって、符号化装置が用いた走査方法は、復号化装置にシグナリングされなければならない。本発明の別の形態によれば、符号化装置へのシグナリングは、走査方法識別子を符号化された動画像データに挿入することにより達成される。走査方法識別子は、符号化装置に適応された走査を識別する。復号化装置は、符号化された動画像データから走査方法識別子を検出し、それにより復号化されたブロックの逆走査を実行することができる。【００８５】
図８Ａ〜図８Ｃは、符号化された動画像データを表すビットストリームの構造を示す。図８Ａでは、対象スライスにおける全マクロブロックの分割に関する情報７２０がビットストリーム７００に含まれる。この情報は、動画像データを複数のブロックに区画する方法を定義する。この情報の後には、複数のブロックを走査するために符号化装置が適応する走査方法を識別する走査方法識別子７１０が続く。この走査方法に従い、走査方法識別子７１０の後にはブロックデータ７３０が続く。【００８６】
上記の例において、走査方法はスライスレベルで選択され、シグナリングされる。しかしながら、本発明はこれに制限されない。走査方法は、プロファイル、レベル、フレーム、フィールド、さらにマクロブロックレベルでも選択され、シグナリングされることが可能である。【００８７】
図８Ｂは、マクロブロックレベルで行う走査方法のシグナリングを示す。ビットストリーム７００は、連続する全マクロブロックに用いられる走査方法を、別の走査方法識別子がビットストリームに挿入されるまで識別する走査方法識別子７１０を含む。走査方法識別子７１０の後には、マクロブロックヘッダー７４０および対応ブロックデータ７３０をそれぞれ含む複数のマクロブロックデータが続く。マクロブロックヘッダー７４０は、例えばマクロブロックの区切りに関する情報を含む。【００８８】
走査方法を識別するため、走査方法識別子は複数の定義済み走査方法のうち１つに対する参照を含んでいる場合がある。一方、走査方法識別子はブロックが走査された列に関する情報を明示的に含む。この場合符号化装置は、全く自由に走査方法を選択できる。すなわち、定義済み走査方法の組み合わせは、全ての可能な走査順序を含んでいるということである。【００８９】
マクロブロック/ブロックの構造にしたがって、走査方法を階層的に定義してもよい。第一ステップとして、マクロブロックの走査順序を定義する。その後第二ステップとして各マクロブロックにおけるブロックの走査順序を定義する。【００９０】
図８Ｃは、階層的走査方法のシグナリングを二段階に分けて示す。ビットストリーム７００は、マクロブロックの走査順序を識別する第一走査方法識別子７１０ａを含む。このシグナリングステップは、例えば対象フレームもしくは対象スライスのレベルで行われてもよい。マクロブロックが処理される順序が定義されると、各マクロブロックにおけるブロックの走査方法が、第二走査方法識別子７１０ｂによってシグナリングされる。この走査方法識別子は、図に示されるように明示的に各マクロブロックデータの一部であってもよい。または、この走査方法識別子は、マクロブロックにおけるブロックの走査方法の変更時にのみビットストリームに挿入されてもよい。【００９１】
マクロブロックにおけるブロックの走査方法を明示的にシグナリングする代わりに、マクロブロック走査方法順序から走査方法を暗示的に導出してもよい。【００９２】
図９は、マクロブロック走査方法の一例を示す図である。同図は、８×４のマクロブロック（８１０）に区切られた動画像フレーム（８００）を示す。数字は、マクロブロックの走査順序を示し、矢印は各マクロブロックにおけるブロックの走査方向を示す。左から右へマクロブロックが走査されるならば、各マクロブロックにおけるブロックもまた左から右へと走査され、イントラ予側に用いる参照画素をより多く供給できる。他の走査方向にも同様のルールが当てはまる。この場合、マクロブロックにおけるブロックの走査方法を明示的にシグナリングすることは必ずしも必要ではない。例えば、各スライスにおけるマクロブロックの最初の走査方向や、同方向に走査されるマクロブロック数をシグナリングすればよい。こうして符号化効率をさらに向上させることが可能である。【００９３】
上記の例は水平走査に関連しているが、本手法はこれに制限されない。本発明は、他の走査方向や、他の走査開始位置にも適応することが可能である。【００９４】
ブロックが走査される方向によって、イントラ予側に利用可能な参照画素は変化する。このため、本発明の別の形態によれば、動画像データのブロックを予測するために用いることのできる予側モードの組み合わせを、走査方向に応じて適応させることができる。【００９５】
上述の図１０Ａ〜図１０Ｆは、ブロックの走査方向に応じた予測モードのセットを示す。【００９６】
ある走査方向に利用可能な方向の組み合わせは、走査済みのブロック（陰影部）より利用可能な参照画素によって決まる。そしてそのため、利用可能な方向の組み合わせは走査方向によって決まる。【００９７】
この手法では、可能な１６の予側方向それぞれにコード語を与える必要はない。よって、より少ないビット数で予側方向を符号化でき、符号化効率が向上する。【００９８】
一方では、走査方向によって、予側に用いられる参照画素の制御ができる。画像コンテンツによっては、予側の正確さは予側方向に左右される。例えば、ブロックの画素が左から右ではなく、右から左へと外挿されるならば、画像データのブロックはさらに正確に予測される。そのため、従来の走査方向の逆方向に走査を行うことによって、符号化装置は走査方法を画像コンテンツに適応化させてもよい。これにより、対象ブロックの右に位置する参照画素がイントラ予側に利用可能となる。そして、右から左への予側モードを用いることにより、予測をより正確にできることになり、符号化効率も向上する。【００９９】
走査方法を画像コンテンツに適応化させるのは、符号化装置が第二パスにて走査方法を適応化させるために第一パスにおいて画像コンテンツを分析するマルチパス符号化を行うにあたって、特に重要である。もう一つの選択肢として、符号化装置はいくつかの走査方法を試し、例えば符号化装置効率などにおいて最良の結果をもたらす走査方法を選択して動画像データを符号化してもよい。【０１００】
図１１は、本発明による符号化装置の動作を表すフローチャートである。ステップＳ１０において、動画像フレーム、動画像フィールドやそのサブセット等の入力ピクチャは複数のブロックに区切られる。そしてこれらのブロック毎のデータは圧縮され、符号化される。ステップＳ２０において、走査方法選択部１０は、マクロブロックの走査方法と、ブロックの走査方法と、予測モードのセットとを選択する。例えば、走査方法選択部１０は、イントラフレーム予測部１５にマクロブロックの走査方法、ブロックの走査方法、予測モードのセットの複数通りの組み合わせについてイントラ予測をテストし、予測誤差が最も小さくなる組み合わせを選択する。ブロックが符号化される順序は、ステップＳ２０において選択される走査方法により定義される。復号化装置にピクチャを復元させるために、選択された走査方法を識別する走査方法識別子は、符号化された動画像データに挿入される。ステップＳ３０においては、選択された走査方法に基づき、ブロックが走査される。ステップＳ４０においては、走査済みのブロックからブロックが予側されるために、各ブロックの予側モードが選択される。最後のステップＳ５０では、選択された予側モードに基づき各ブロックが符号化される。【０１０１】
図１２は、本発明の実施形態１における動画像復号化装置の構成を示すブロック図である。同図の動画像復号化装置２は、走査方法選択部２０、エントロピー復号化部２１、逆量子化・逆変換部２２、加算器２３、デブロッキングフィルタ２４、メモリ２５、イントラフレーム予測部２６および補償予測部２７を備える。【０１０２】
エントロピー復号化部２１における変換係数および動きデータのエントロピー復号化は、エントロピー符号化部１９の逆に行われる。エントロピー復号化されたブロックは逆量子化・逆変換部２２に送信され、エントロピー復号化された動きデータは動き補償予測部２７に送信され、エントロピー復号化された走査方法識別子は走査方法選択部２０に送信される。【０１０３】
走査方法選択部２０は、走査方法識別子等に従って、マクロブロックの走査方法、ブロックの走査方法、予測モードのセットをそれぞれ選択する。【０１０４】
予測誤差は、インターモードの動き補償予測部２７もしくはイントラモードのイントラフレーム予測部２６から生じる予測信号と、加算器２３によって加算される。復元された画像は、デブロッキングフィルタ２４を通過し、イントラフレーム予測部２６および動き補償予測部２７に利用させるためメモリ２５に格納される。【０１０５】
その際、復号化対象のブロックは、マクロブロックの走査方法およびブロックの走査方法に従って走査され、予測モードのセットに従ってイントラ復号化される。【０１０６】
図１３は、本発明による復号化装置の動作を表すフローチャートである。ステップＳ１１０において、符号化された動画像データからピクチャ内のブロックの区切りが検出される。これにより、符号化装置において画像をブロックに区切った方法、すなわちブロックの数、サイズおよび位置を復号化装置が復元できるようになる。ステップＳ１２０では、符号化された動画像データから走査方法識別子が検出される。この識別子は、符号化装置により用いられた走査方法、すなわちブロックが符号化された順序を定義する。ステップＳ１３０においては、各ブロックに、符号化された動画像データおよび対応予側モードが受信される。そしてステップＳ１４０にて、検出された予側モードおよび検出された走査方法に従って各ブロックが復号化される。最後にステップＳ１５０において、復号化されたブロックからピクチャが再度組立てられる。【０１０７】
以上説明してきたように本実施形態における動画像符号化装置および動画像復号化装置によれば、ブロックが符号化される順序、すなわち走査方法を適応的に選択することによって、イントラフレーム予測がより正確になる。これにより対象ブロックの予側に、より多くの参照画素またはより適した参照画素を提供することができる。より正確に予測できることにより、残差画像データ量は減少し、符号化効率は向上する。【０１０８】
これに加えて、利用可能な予側モードのセットをも走査方法に適応化させることにより、符号化効率はさらに向上する。走査順序は復号化装置にシグナリングされ、その復号化装置は各ブロックを復号化し、動画像データを復元できるようになる。【０１０９】
（実施形態２）
実施形態１では、動画像符号化装置から動画像復号化装置に走査方法識別子を送信する必要があるが、実施形態２では、その必要がない動画像符号化装置および動画像復号化装置の構成について説明する。本実施の形態の動画像符号化装置は、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を適応的に決定する。同様に、動画像復号化装置は、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を選択する。上記の所定部分、エッジの方向を検出するアルゴリズム、および走査方法を選択するアルゴリズムは、動画像符号化装置と動画像復号化装置とで全く同じ処理を行なう。これにより、ビットストリームが走査方法の識別子を含む必要がなくなるので、符号化効率をさらに向上させることができる。【０１１０】
図１４Ａは、本発明の実施形態２における動画像符号化装置の構成を示すブロック図である。同図の動画像符号化装置１ａは、図６と比較して、エッジ方向検出部９が追加されている点が異なっている。また、走査方法選択部１０の動作が若干異なっている。同じ点は説明を省略し、以下異なる点を中心に説明する。【０１１１】
エッジ方向検出部９は、メモリ１４に保持されたピクチャ中の所定部分に含まれる画像のエッジの方向を検出する。具体的には、所定部分にどの方向のエッジが多く含まれているかを検出する。所定の部分は、本実施形態では、ピクチャ内の最初のマクロブロック行とする。また、エッジ方向検出部９は、最初のマクロブロック行以外の各マクロブロック行のエッジの方向も検出する。【０１１２】
走査方法選択部１０は、マクロブロックおよびブロックの走査方法、予測モードのセットを選択する点が実施形態１と同様であるが、次の点が異なる。すなわち、走査方法選択部１０は、所定部分の符号化用に、デフォルトの走査方法と予測モードのセットとを選択し、その他の部分の符号化用に、検出されたエッジの方向に最も適した走査方法を選択する。【０１１３】
図１５Ａは、符号化装置の動作を表す説明図である。同図では、上記の所定部分が最初のマクロブロック行の場合を示している。同図のように、走査方法選択部１０は、ピクチャの最初のマクロブロック行の符号化のために動画像復号化装置と同じデフォルトの走査方法と予測モードのセットとを選択する（Ｓ１５１）。イントラフレーム予測部１５はデフォルトの走査方法と予測モードのセットとに従って、最初のマクロブロック行をイントラ予測する。その結果、最初のマクロブロック行は、デフォルトの走査方法と予測モードのセットを用いて符号化される（Ｓ１５２）。【０１１４】
さらに、エッジ方向検出部９は、直前に符号化されたマクロブロック行の画像を対象に、それに含まれるエッジを検出し、どの方向のエッジが多いかを検出する（Ｓ１５３）。走査方法選択部１０は、検出されたエッジの方向に最も適した走査方法および予測モードのセットを選択する（Ｓ１５４）。選択された走査方法および予測モードのセットに従ってマクロブロック行が符号化される（Ｓ１５５）。【０１１５】
２行目以降のマクロブロック行は、上記のＳ１５３〜Ｓ１５５に従って順次符号化される。【０１１６】
図１５Ｂは、符号化装置の動作例を表す詳細なフローチャート図である。同図のように、走査方法選択部１０は、ピクチャの最初のマクロブロック行の符号化のために動画像復号化装置と同じデフォルトの走査方法と予測モードのセットとを選択する（Ｓ２１０）。イントラフレーム予測部１５はデフォルトの走査方法と予測モードのセットとに従って、最初のマクロブロック行をイントラ予測する。その結果、最初のマクロブロック行は、デフォルトの走査方法と予測モードのセットを用いて符号化される（Ｓ２１２）。【０１１７】
さらに、エッジ方向検出部９は、第１カウンタおよび第２カウンタを０にクリアする。その後、エッジ方向検出部９は、直前に符号化されたマクロブロック行の画像を対象に、それに含まれるエッジを検出し（Ｓ２１４）、検出されたエッジが右斜め下方向である場合は第１カウンタを１増加し（Ｓ２１６、Ｓ２１８）、検出されたエッジが左斜め下方向である場合は第２カウンタを１増加する（Ｓ２２０、Ｓ２２２）。エッジ方向検出部９は、このような計数を検出された最後のエッジまで繰り返す（Ｓ２２６）。これにより、第１カウンタのカウント値は右斜め下方向のエッジの数を、第２カウンタのカウント値は左斜め下方向のエッジの数を表す。【０１１８】
次いで、走査方法選択部１０は、第１カウンタのカウント値と第２カウンタのカウント値の大小比較、つまり右斜め下方向のエッジと左斜め方向のエッジのどちらが多いのか判定する（Ｓ２２６）。走査方法選択部１０は、右斜め下方向のエッジの方が多い場合には、左から右方向への走査方法を選択する。例えば、上記の(a-i-u)の走査方法と対応する予測モードのセットとが選択される（Ｓ２２８）。走査方法選択部１０は、左斜め下方向のエッジの方が多い場合には、右から左方向への走査方法を選択する。例えば、上記の(a-ii-u)の走査方法と対応する予測モードのセットとが選択される。【０１１９】
選択された走査方法および予測モードのセットに従って次のマクロブロック行が符号化される（Ｓ２３２）。【０１２０】
上記ステップＳ２１４〜２３２は、最初のマクロブロック行を除くマクロブロック行毎に実行される。【０１２１】
これにより、２行目以降のマクロブロック行の符号化は、直前のマクロブロック行の画像に含まれるエッジの方向に応じて、最適な走査方法および予測モードのセットが選択される。【０１２２】
図１６は、本発明の実施形態２における動画像復号化装置の構成を示すブロック図である。同図の動画像復号化装置２ａは、図１２と比較して、エッジ方向検出部２９が追加された点が異なっている。走査方法選択部２０の動作も若干異なっている。同じ点は説明を省略し、以下異なる点を中心に説明する。【０１２３】
エッジ方向検出部２９および走査方法選択部２０は、本実施形態の動画像符号化装置のエッジ方向検出部９および走査方法選択部１０と同じアルゴリズムでそれぞれの処理を実行する。それゆえ、ビットストリームに、マクロブロックおよびブロックの走査方法識別子および予測モードのセットを示す情報が含まれている必要がない。【０１２４】
エッジ方向検出部２９は、本実施形態の動画像符号化装置のエッジ方向検出部９と同様に、ピクチャ中の所定部分に含まれる画像のエッジの方向を検出する。具体的には、所定部分にどの方向のエッジが多く含まれているかを検出する。所定の部分は、動画像符号化装置と共通であり、ピクチャ内の最初のマクロブロック行とする。また、エッジ方向検出部２９は、最初のマクロブロック行以外の各マクロブロック行のエッジの方向も検出する。【０１２５】
走査方法選択部２０は、走査方法識別子および予測モードのセットを示す情報を必要とせず、自身の判断で走査方法および予測モードのセットを選択する。すなわち、走査方法選択部２０は、本実施形態の動画像符号化装置の走査方法選択部１０と同様に、マクロブロックおよびブロックの走査方法、予測モードのセットを選択する点が実施形態１と同様であるが、次の点が異なる。すなわち、走査方法選択部２０は、所定部分の符号化用に、デフォルトの走査方法と予測モードのセットとを選択し、その他の部分の符号化用に、検出されたエッジの方向に最も適した走査方法を選択する。【０１２６】
図１７Ａは、動画像復号化装置２ａの動作例を表す詳細なフローチャート図である。同図は、図１５Ａと比べて、「符号化」の代わりに「復号化」をする点が異なっている。エッジ方向の検出と走査方法および予測モードの選択については、同じ処理を行なう。これにより、動画像符号化装置１ａ、１ｂにより符号化されたビットストリームを復号する場合、動画像復号化装置２ａは、動画像符号化装置１ａ、１ｂと同じ走査方法および予測モードのセットを選択することができる。【０１２７】
図１７Ｂは、復号化装置の動作を表すフローチャートである。同図は、図１７Ｂと比べて、「符号化」の代わりに「復号化」をする点が異なっている。エッジ方向の検出と走査方法および予測モードの選択については、同じ処理を行なう。それゆえ、ビットストリームに、マクロブロックおよびブロックの走査方法識別子および予測モードのセットを示す情報が含まれている必要がない。【０１２８】
以上説明してきたように本実施形態における動画像符号化装置および動画像復号化装置によれば、マクロブロックの走査方法、ブロックの走査方法および予測モードのセットを表すデータがビットストリームに付加する必要がない。これにより、符号化効率をより一層向上させることができる。【０１２９】
なお、図１５Ａ、図１５Ｂ、図１７Ａ、図１７Ｂにおいて、３つめのマクロブロック行以降の各マクロブロック行の符号化に際して、２つめのマクロブロック行の符号化用に選択された走査方法および予測モードのセットを用いてもよい。その場合、エッジ方向検出部９、２９および走査方法選択部１０、２０は、最初のマクロブロック行だけを対象に処理を実行すればよいので、処理負荷を軽くすることできる。【０１３０】
また、エッジ方向検出部９、２９および走査方法選択部１０、２０は、奇数のマクロブロック行だけ、またはＮ行毎にその先頭のマクロブロックライン行だけを対象に処理を実行し、それ以外のマクロブロック行の符号化は直前のマクロブロック行と同じ走査方法および予測モードのセットを用いるようにしてもよい。【０１３１】
また、上記のピクチャ中の所定の部分は、最初のマクロブロック行に限らず、動画像符号化装置と動画像復号化装置で共通に設定されたｍ個の隣接するマクロブロックラインであってもよい。【０１３２】
また、最初のマクロブロック行のブロックの走査方法はデフォルトではなく、実施形態１と同様にブロックの走査方法を選択してもよい。【０１３３】
なお、本実施形態では、画像のエッジ方向として左斜め下方向と、右斜めした方向とを検出する例について説明したが、水平方向、垂直方向などの他の方向を検出し、検出した方向に最適な走査方法と予測モードのセットを選択してもよい。【０１３４】
また、本実施の形態ではマクロブロック行毎に走査方法を選択しているが、数マクロブロック行毎に選択するようにしてもよい。【０１３５】
なお、実施の形態１において、走査方法選択部１０がイントラフレーム予測部１５にマクロブロックの走査方法、ブロックの走査方法、予測モードのセットの複数通りの組み合わせについてイントラ予測をテストし、予測誤差が最も小さくなる組み合わせを選択する(図１１のステップＳ２０）例について説明したが、走査方法選択部１０は、エッジ方向検出部９を利用して画像の内容に応じて選択するようにしてもよい。この場合の、実施の形態１の画像符号化装置の変形例を、図１４Ｂに示す。図１４Ｂの動画像符号化装置１ｂは、図１４Ａと比較して、フレームメモリ８が追加された点と、エッジ方向検出部９がメモリ１４ではなくフレームメモリ８を参照する点と、走査方法選択部１０が検出されたエッジの方向に応じて、マクロブロックの走査方法、ブロックの走査方法、予測モードのセットを選択する点とが異なっている。この構成により、走査方法選択部１０は検出されたエッジの方向に適したマクロブロックの走査方法、ブロックの走査方法および予測モードのセットを選択することができる。【０１３６】
なお、上記各実施の形態に示したブロック図の各機能ブロックおよびフローチャートの各モジュールは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【０１３７】
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【０１３８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。【０１３９】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、記録媒体やＤＲＡＭなど別構成としても良い。【０１４０】
なお、上記各実施の形態に示したフローチャートにおいて主要な部分はプロセッサおよびプログラムによっても実現される。【０１４１】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。【０１４２】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１４３】
本発明は、画像を符号化又は復号化する符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図１】
2007055158.tif 000003
【図２】
2007055158.tif 000004
【図３】
2007055158.tif 000005
【図４Ａ】
2007055158.tif 000006
【図４Ｂ】
2007055158.tif 000007
【図５Ａ】
2007055158.tif 000008
【図５Ｂ】
2007055158.tif 000009
【図６】
2007055158.tif 000010
【図７Ａ】
2007055158.tif 000011
【図７Ｂ】
2007055158.tif 000012
【図７Ｃ】
2007055158.tif 000013
【図８Ａ】
2007055158.tif 000014
【図８Ｂ】
2007055158.tif 000015
【図８Ｃ】
2007055158.tif 000016
【図９】
2007055158.tif 000017
【図１０Ａ】
2007055158.tif 000018
【図１０Ｂ】
2007055158.tif 000019
【図１０Ｃ】
2007055158.tif 000020
【図１０Ｄ】
2007055158.tif 000021
【図１０Ｅ】
2007055158.tif 000022
【図１０Ｆ】
2007055158.tif 000023
【図１０Ｇ】
2007055158.tif 000024
【図１０Ｈ】
2007055158.tif 000025
【図１１】
2007055158.tif 000026
【図１２】
2007055158.tif 000027
【図１３】
2007055158.tif 000028
【図１４Ａ】
2007055158.tif 000029
【図１４Ｂ】
2007055158.tif 000030
【図１５Ａ】
2007055158.tif 000031
【図１５Ｂ】
2007055158.tif 000032
【図１６】
2007055158.tif 000033
【図１７Ａ】
2007055158.tif 000034
【図１７Ｂ】
2007055158.tif 000035
【手続補正書】
【提出日】平成20年4月16日(2008.4.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のピクチャからなる動画像を符号化する動画像符号化方法であって、
ピクチャを複数の画素からなるブロックに分割し、
複数の走査方法の中から走査方法を選択し、
選択された走査方法に従ってブロックを走査し、
走査された順にブロックを符号化する
ことを特徴とする動画像符号化方法。
【請求項２】
前記分割において、ピクチャを行列状のマクロブロックに分割し、各マクロブロックをブロックに分割する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項２記載の動画像符号化方法。
【請求項４】
前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項２記載の動画像符号化方法。
【請求項５】
前記第１走査方法が選択された場合、前記選択において、さらに、ブロック行の走査方向として、左から右か、右から左かを選択する
ことを特徴とする請求項３または４記載の動画像符号化方法。
【請求項６】
前記符号化において、選択された走査方向に基づいて複数の予測方法から１つの予測方法を選択し、選択した予測方法を用いてブロックを符号化し、
前記複数の予測方法は、ブロック内の画素の予測値を決定するための複数の予測方向のセットを利用可能な第１予測方法と、第１予測方法とは異なる予測方向のセットを利用可能な第２予測方法とを含む
ことを特徴とする請求項５記載の動画像符号化方法。
【請求項７】
前記動画像符号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、
前記選択において、検出されたエッジの方向に基づいて１つの走査方法を選択する
ことを特徴とする請求項１〜６の何れかに記載の動画像符号化方法。
【請求項８】
前記動画像符号化方法は、さらに、選択された走査方法を示す識別子を符号化された動画像に挿入する
ことを特徴とする請求項１〜７の何れかに記載の動画像符号化方法。
【請求項９】
符号化された動画像を復号化する動画像復号化方法であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出し、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定し、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得し、
符号化されたブロックを復号化し、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する
ことを特徴とする動画像復号化方法。
【請求項１０】
前記ピクチャは行列状のマクロブロックに区画され、各マクロブロックは行列状のブロックに区画される
ことを特徴とする請求項９記載の動画像復号化方法。
【請求項１１】
前記判定において、符号化された動画像に含まれる走査方法識別子に従って前記走査方法を判定する
ことを特徴とする請求項１０記載の動画像復号化方法。
【請求項１２】
前記動画像復号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、
前記決定において、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を決定する
ことを特徴とする請求項１０記載の動画像復号化方法。
【請求項１３】
前記決定において、さらに、ブロック行の走査方向として、左から右か、右から左かを決定する
ことを特徴とする請求項１２記載の動画像復号化方法。
【請求項１４】
前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項１１または１２記載の動画像復号化方法。
【請求項１５】
前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含む
ことを特徴とする請求項１１または１２記載の動画像復号化方法。
【請求項１６】
複数のピクチャからなる動画像を符号化する動画像符号化装置であって、
ピクチャを複数の画素からなるブロックに分割する分割手段と、
複数の走査方法の中から走査方法を選択する選択手段と、
選択された走査方法に従ってブロックを走査する走査手段と、
走査された順にブロックを符号化する符号化手段と
を備えることを特徴とする動画像符号化装置。
【請求項１７】
符号化された動画像を復号化する動画像復号化装置であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出する検出手段と、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定する決定手段と、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得する取得手段と、
符号化されたブロックを復号化する復号化手段と、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する配置手段と
を備えることを特徴とする動画像復号化装置。
【請求項１８】
複数のピクチャからなる動画像を符号化する半導体装置であって、
ピクチャを複数の画素からなるブロックに分割する分割手段と、
複数の走査方法の中から走査方法を選択する選択手段と、
選択された走査方法に従ってブロックを走査する走査手段と、
走査された順にブロックを符号化する符号化手段と
を備えることを特徴とする半導体装置。
【請求項１９】
符号化された動画像を復号化する半導体装置であって、
符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出する検出手段と、
ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定する決定手段と、
符号化された動画像から、複数の画素からなる符号化されたブロックを取得する取得手段と、
符号化されたブロックを復号化する復号化手段と、
検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する配置手段と
を備えることを特徴とする半導体装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データを圧縮する符号化に関し、特に、高い符号化効率を実現する動画像符号化方法、動画像復号化方法および装置に関する。
【背景技術】
【０００２】
動画像データは、ビデオ電話やビデオ会議からＤＶＤやデジタルテレビにわたって、広く応用されている。動画像データを送信または記録する際には、相当量のデータが限られた利用可能な周波数帯域をもつ伝送チャンネルを介して送信され、もしくは限られたデータ容量をもつ従来の記録メディアに格納されなければならない。そのため、デジタルデータを従来のチャンネル、メディアに送信及び格納するためには、デジタルデータ量を圧縮もしくは削減することが不可欠である。
【０００３】
動画像データの圧縮に関し、複数の動画像符号化規格が開発されている。このような動画像規格には、例えば、Ｈ.２６ｘで示されるＩＴＵ-Ｔ規格、及びＭＰＥＧ-ｘで示されるＩＳＯ／ＩＥＣ規格がある。ｘは１、２、４等である。最新の動画像符号化規格は、Ｈ.２６４/ＭＰＥＧ-４ ＡＶＣ規格である。
【０００４】
これら規格の多くの基礎となる符号化アプローチは、以下に示す主なステージを含む。
（ａ）個々のビデオフレームをブロックレベルでのデータ圧縮の単位とするために、それぞれのビデオフレームを複数の画素からなるブロックに分割する。
（ｂ）各動画像データのそれぞれのブロックを、それらのブロックが符号化される順序を定める固定の走査方法に従って走査する。
（ｃ）連続するフレームのブロック間の時間的依存性（動き補償）、又は同じフレーム内の符号化済みブロックとの間の空間的依存性（イントラフレーム予測）とを利用して走査された各ブロックを予測する。
（ｄ）走査されたブロックと予測結果との残差を求め、各ブロックの残差を符号化する。
【０００５】
画像情報を空間領域から周波数領域に変換することは、現在の動画像符号化規格の典型的なアプローチである。画像の情報圧縮は、画像コンテンツをごく僅かな周波数成分で表すことによって実現できる。自然画像コンテンツの周波数成分は、その多くが低周波数領域の係数に集中している。高周波数成分は人間の目にはほとんど影響がないため、符号化対象となるデータ量を減らすために、削除もしくは量子化される。
【０００６】
多くの応用において、符号化動画像データの蓄積又は伝送が可能な量もしくは帯域は非常に制限されている。よって、可能な限り動画像データを圧縮する必要性がある。しかしながら、より粗く量子化を行うことによってデータ量を減らし、データ圧縮率を向上させることは、符号化画像の画質劣化を引き起こす。
【０００７】
図１は、従来技術における動画像符号化装置の構成を示すブロック図である。動画像符号化装置１００は、減算器１１０、変換・量子化部１２０、逆量子化・逆変換部１３０、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、イントラフレーム予測部１５０、動き補償予測部１６０、動き検出部１７０、イントラ・インタースイッチ１８０およびエントロピー符号化部１９０を備える。減算器１１０は、符号化対象ブロックと、メモリ１４０に格納される符号化済みブロックに基づく予測信号との差分を求める。変換・量子化部１２０は、減算器１１０から得られた予測誤差を空間的領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部１９０は、量子化変換係数をエントロピー符号化する。
【０００８】
入力画像は、H.264/AVC規格に従ってマクロブロックに分割される。動画像符号化装置１００は、入力動画像列のブロックと、それらの符号化済みブロック（局所復号化画像）に基づく予測との差分のみを送信する。これらの差分は、符号化対象となるブロックを受け取り、当該ブロックから予測信号を減算する減算器１１０により求められる。
【０００９】
局所的に復号化された画像は、動画像符号化装置１００に実装された局所復号化部（逆量子化・逆変換部１３０、加算器１３５およびデブロッキングフィルタ１３７）により供給される。局所復号化部は、符号化ステップの逆処理を行う。逆量子化・逆変換部１３０は、量子化された係数を逆量子化し、逆量子化された係数に逆変換を行う。加算器１３５においては、逆変換により得られた差分が予測信号に加算され、局所的に復号化された画像が形成される。また、デブロッキングフィルタ１３７は、復号化された画像におけるブロックノイズを低減させる。
【００１０】
動画像符号化装置１００に用いられる予測のタイプは、マクロブロックがイントラモードとインターモードのどちらで符号化されているかによって異なる。イントラモードにおいては、連続するマクロブロックを予測するために、動画像符号化規格H.264/AVCでは同一の画像の符号化済みマクロブロックに基づく予測方式が用いられる。インターモードにおいては、連続するいくつかのフレームに対応するブロック間の動き補償／予測が用いられる。
【００１１】
イントラ符号化された画像（Ｉピクチャ）のみ復号化済み画像を参照することなく復号化することが可能である。Ｉピクチャは、符号化された動画像列にエラー伝播耐性を与える。更に、ランダムアクセスを可能にするために、すなわち符号化された動画像列におけるＩピクチャにアクセスするために、Ｉピクチャは符号化されたデータのビットストリームへのエントリポイントとなる。イントラモード、つまりイントラフレーム予測部１５０による処理と、インターモード、つまり動き補償予測部１６０による処理との間の切り替えは、イントラ・インタースイッチ１８０によって制御される。
【００１２】
インターモードにおいては、動き補償を用いることにより、先行フレームにおけるブロックからマクロブロックが予測される。動き予測は、対象入力信号および局所的に復号化された画像を受信する動き検出部１７０により実現される。動き検出により２次元動きベクトルが生成され、この２次元動きベクトルは、対象ブロックと先行フレームにおける対応するブロック間の画素の動きを表す。検出された動きに基づき、動き補償予測部１６０は予測信号を供給する。
【００１３】
イントラ及びインター符号化モードのために、対象信号と予測された信号との間の差分は変換／量子化部１２０によって変換係数に変換される。一般的に、２次元離散コサイン変換（ＤＣＴ）もしくはその整数化バージョンである直交変換が用いられる。
【００１４】
変換係数は、符号化する必要のあるデータ量を削減するため量子化される。量子化のステップは、精度と、各周波数係数の符号化のために使用されるビット数とを指定する量子化テーブルにより制御される。高周波数成分よりも多くのビットが低周波数成分の符号化に用いられるために、低周波数成分は、通常、画像の精細さよりも画質に重要である。
【００１５】
符号化された画像を復号化装置において復元する際には、符号化プロセスと逆の処理が行われる。
【００１６】
図２は、従来技術における動画像復号化装置の構成を示すブロック図である。動画像復号化装置２００は、エントロピー復号化部２１０、逆量子化・逆変換部２２０、加算器２３０、デブロッキングフィルタ２４０、メモリ２５０、イントラフレーム予測部２６０および動き補償予測部２７０を備える。
【００１７】
エントロピー復号化部２１０における変換係数および動きデータのエントロピー復号化は、エントロピー符号化部１９０の逆に行われる。エントロピー復号化されたブロックは、その後逆量子化・逆変換部２２０へと送信され、エントロピー復号化された動きデータは動き補償予測部２７０へと送信される。逆量子化および逆変換の結果は予測誤差を含む。予測誤差は、インターモードの動き補償予測部２７０もしくはイントラモードのイントラフレーム予測部２６０から生じる予測信号と、加算器２３０によって加算される。復元された画像は、デブロッキングフィルタ２４０を通過し、イントラフレーム予測部２６０および動き補償予測部２７０に利用させるためメモリ２５０に格納される。
【００１８】
H.264/AVC規格に基づき、画像は、重なり合わない１６×１６画素サイズのマクロブロックに分割される。これらのマクロブロックは、４×４画素サイズの４×４個のブロックもしくは８×８画素サイズの２×２個のブロックにさらに分割されてもよい。これらのマクロブロックは非分割の１６×１６画素サイズのブロックと併せて、それぞれＩ４ＭＢ(Macro Block)、Ｉ８ＭＢ、Ｉ１６ＭＢと称される。
【００１９】
上記の符号化および復号化メカニズムは、ブロック毎に適用される。そのため、ブロックの２次元配列は、ブロックが符号化装置および復号化装置によって処理される１次元列に変換される必要がある。すなわちブロックは、ブロックが処理される順序を定める特定の走査方法に従って走査されなければならない。
【００２０】
図３は、H.264/AVC規格に基づいたブロックの走査方法を示す図である。矢線は、Ｉ８ＭＢマクロブロック（３１０）およびＩ４ＭＢマクロブロック（３２０）内のブロックが走査される順序を示す。図中の数字０−１５は、Ｉ４ＭＢマクロブロック（３２０）内の４×４画素ブロックが走査される順序を示す。参照符号３５０は、ブロック内の個々の画素を示す。
【００２１】
ブロックが走査される順序は、イントラ符号化されたブロック、すなわち符号化される必要のある情報量を削減するため空間的相互関係が利用されるブロックに特に重要である。上記の説明のとおり、イントラ符号化されたブロックは、符号化済みブロックにおいて互いに隣接する画素から予測される。この予測値は、ブロックより減算され、残差のみが符号化される。したがって、予測の精度は、高圧縮率にきわめて重要である。
【００２２】
図４Ａは、H.264/AVC規格に指定されたマクロブロックのイントラ予測の説明図を示す。図中の陰影部分は、符号化済みのブロックを、陰影のない部分は、まだ符号化されていないブロックを示す。対象ブロック６における４×４画素は、符号化済みブロック内の互いに隣接する画素から外挿されなければならない。ブロック１の１画素、ブロック３の４画素、ブロック４の４画素、ブロック５の４画素からなる１３画素（４３０）は、対応する画素値を特定予測方向（４４０）に複製していくことによる対象ブロックの予測のために利用される。
【００２３】
図４Ｂは、H.264/AVC規格に定義された９つの異なる予測モードの概要を示す。モード０、１および３〜８は、対象ブロックに参照画素（４３０）が複製される予測方向によって特徴づけられる。例えば、モード１では、ブロック４の４画素が対象ブロックの４×４画素の予測値として複製される。モード２（ＤＣ）では、参照画素の平均値が対象ブロックに各画素の予測値として均一に埋められる。
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 "Information technology - Coding of audio-visual objects - Part 10:Advanced video coding"
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上記従来技術によればイントラ予測における空間予測の精度を向上させられないという問題がある。その結果、符号化効率も改善できない。この問題について具体的に、図５Ａ、図５Ｂを用いて説明する。図中の陰影部分は、符号化済みのブロックを、陰影のない部分は、まだ符号化されていないブロックを示す。
【００２５】
図５Ａ、図５Ｂに示される走査順序および例からも明らかなように、参照画素のすべてが全ブロックに利用可能というわけではない。例えば図５Ａでは、ブロック４内の４つの参照画素（５４０）無しに、ブロック３が予測されなければならない。なぜならばブロック４はまだ符号化されていないからである。これはイントラ予測モード３および７にとって障害となり、予測誤差を大きくする。したがって、残差を符号化するためにより多くのビットが必要となり、予測精度と符号化効率とが劣化する。また、予測誤差が大きくなれば画質が劣化する。
【００２６】
図５Ｂは、走査順序のために欠けてしまった画素の別の例を示す。ブロック１３は、次のマクロブロックの一部である４つの参照画素（５４０）無しに符号化されなければならない。そのため、予測の精度は落ち、予測誤差が大きくなり、符号化装置の性能が劣化する。
【００２７】
H.264/AVC規格の別の問題は、利用可能な予測モードのセットに関連する。この予測モードのセットは、予測方向が主に斜め右下であるという意味で非対称である。すなわち、例えば水平線上に左の予測モードまたは垂直線上に上の予測モード等がないということである。明らかに、この非対称は、H.264/AVC規格において走査方向が主に斜め右下ということに起因している。画像コンテンツによっては、図４Ｂに示された以外の予測方向によって、優れた予測精度がもたらされると予想できる。しかしながら、H.264/AVC規格の走査方法が固定となっているため、そのような改善を実現することができない。
【００２８】
本発明は、イントラ予測における空間予測の精度を向上させる動画像符号化方法、動画像復号化方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
上記課題を解決するため本発明の動画像符号化方法は、複数のピクチャからなる動画像を符号化する動画像符号化方法であって、ピクチャを複数の画素からなるブロックに分割し、複数の走査方法の中から走査方法を選択し、選択された走査方法に従ってブロックを走査し、走査された順にブロックを符号化する。
【００３０】
この構成によれば、走査方法の選択により空間予測においてより多くの参照画素を利用可能にするので、空間予測の精度を向上させることができる。これにより、符号化効率と画質とを向上させることができる。
【００３１】
ここで、前記分割において、ピクチャを行列状のマクロブロックに分割し、各マクロブロックをブロックに分割するようにしてもよい。
【００３２】
この構成によれば、ブロックの分割の仕方に応じて適切な走査方法を選択することができる。
【００３３】
ここで、前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含むようにしてもよい。
【００３４】
ここで、前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含むようにしてもよい。
【００３５】
ここで、前記第１走査方法が選択された場合、前記選択において、さらに、ブロック行の走査方向として、左から右か、右から左かを選択するようにしてもよい。
【００３６】
ここで、前記符号化において、選択された走査方向に基づいて複数の予測方法から１つの予測方法を選択し、選択した予測方法を用いてブロックを符号化してもよい。前記複数の予測方法は、ブロック内の画素の予測値を決定するための複数の予測方向のセットを利用可能な第１予測方法と、第１予測方法とは異なる予測方向のセットを利用可能な第２予測方法とを含むようにしてもよい。
【００３７】
この構成によれば、選択された走査方法に適した予測方法を選択することができるので、予測精度および符号化効率をより一層向上させることができる。
【００３８】
ここで、前記動画像符号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、前記選択において、検出されたエッジの方向に基づいて１つの走査方法を選択するようにしてもよい。
【００３９】
この構成によれば、画像の内容に応じて適切な走査方法を選択可能にするので、予測精度および符号化効率のさらに向上させることができる。
【００４０】
ここで、前記動画像符号化方法は、さらに、選択された走査方法を示す識別子を符号化された動画像に挿入するようにしてもよい。
【００４１】
この構成によれば、復号化装置において走査方法を決定する処理を簡単にすることができる。
【００４２】
また、本発明の動画像復号化方法は、符号化された動画像を復号化する動画像復号化方法であって、符号化された動画像から、ピクチャ内の複数画素からなるブロックの区画を検出し、ピクチャ内のブロックの順序を示す複数の走査方法から１つの走査方法を決定し、符号化された動画像から、複数の画素からなる符号化されたブロックを取得し、符号化されたブロックを復号化し、検出された前記区画と決定された前記走査方法に従って復号化されたブロックをピクチャ内に配置する。
【００４３】
この構成によれば、空間予測においてより多くの参照画素を利用可能にするので、空間予測の予測精度と符号化効率の向上に対応することができる。
【００４４】
ここで、前記ピクチャは行列状のマクロブロックに区画され、各マクロブロックは行列状のブロックに区画されるようにしてもよい。
【００４５】
ここで、前記判定において、符号化された動画像に含まれる走査方法識別子に従って前記走査方法を判定するようにしてもよい。
【００４６】
ここで、前記動画像復号化方法は、さらに、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、前記決定において、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を決定するようにしてもよい。
【００４７】
ここで、前記決定において、さらに、ブロック行の走査方向として、左から右か、右から左かを決定するようにしてもよい。
【００４８】
ここで、前記複数の走査方法は、マクロブロック内でブロック行単位に走査する第１走査方法を含むようにしてもよい。
【００４９】
ここで、前記複数の走査方法は、横に隣接するマクロブロックを跨るブロック行単位に走査する第１走査方法を含むようにしてもよい。
【００５０】
また、本発明の動画像符号化装置、動画像復号化装置および半導体装置は、上記動画像符号化方法または動画像復号化方法と同様の構成を有し、同様の作用および効果を奏する。
【発明の効果】
【００５１】
本発明の動画像符号化方法によれば、空間予測の予測精度と符号化効率の向上に対応することができる。その結果、画質を向上させることができる。
【発明を実施するための最良の形態】
【００５２】
（実施形態１）
本発明の特徴は、イントラフレーム予測においてより多くのまたは異なる参照画素を利用可能にするために、走査方法を選択することである。そのため、本発明の動画像符号化方法は、複数のピクチャからなる動画像を符号化する動画像符号化方法であって、ピクチャを複数の画素からなるブロックに分割し、複数の走査方法の中から走査方法を選択し、選択された走査方法に従ってブロックを走査し、走査された順にブロックを符号化する。
【００５３】
これにより符号化装置は、イントラフレーム予測においてより多くのまたは異なる参照画素が利用可能になり、空間予測の精度および符号化効率が向上する。ここで、走査方法は、複数の定義済み走査方法から選択できる。選択された走査方法は、復号化装置へシグナリングしてもよい。また、上記のブロックは、マクロブロック、およびマクロブロックを分割したブロックの一方または両方である。
【００５４】
このため符号化装置は、従来の走査方法以外の走査方法も選択することが可能となる。
【００５５】
図６は、本発明の実施形態１における動画像符号化装置の構成を示すブロック図である。同図において、動画像符号化装置１は、走査方法選択部１０、減算器１１、変換・量子化部１２、逆量子化・逆変換部１３、加算器５、デブロッキングフィルタ７、メモリ１４、イントラフレーム予測部１５、動き補償予測部１６、動き検出部１７、イントラ・インタースイッチ１８およびエントロピー符号化部１９を備える。
【００５６】
走査方法選択部１０は、マクロブロックの走査方法の選択、ブロックの走査方法の選択および予測モードのセットの選択とを行う。符号化対象のマクロブロックは選択されたマクロブロックの走査方法に従って走査され、符号化対象のブロックは選択されたブロックの走査方法に従って走査される。
【００５７】
減算器１１は、符号化対象ブロックと、メモリ１４に格納される符号化済みブロックに基づく予測信号との差分を求める。変換・量子化部１２は、減算器１１から得られた予測誤差を空間的領域から周波数領域に変換し、得られた変換係数を量子化する。エントロピー符号化部１９は、量子化変換係数をエントロピー符号化する。
【００５８】
入力画像は、H.264/AVC規格に従ってマクロブロックに分割され、さらにブロックに分割される。動画像符号化装置１は、入力動画像列のブロックと、それらの符号化済みブロック（局所復号化画像）に基づく予測との差分のみを送信する。これらの差分は、符号化対象となるブロックを受け取り、当該ブロックから予測信号を減算する減算器１１により求められる。
【００５９】
局所的に復号化された画像は、動画像符号化装置１に実装された局所復号化部（逆量子化・逆変換部１３、加算器５およびデブロッキングフィルタ７）により供給される。局所復号化部は、符号化ステップの逆処理を行う。逆量子化・逆変換部１３は、量子化された係数を逆量子化し、逆量子化された係数に逆変換を行う。加算器５においては、逆変換により得られた差分が予測信号に加算され、局所的に復号化された画像が形成される。また、デブロッキングフィルタ７は、復号化された画像におけるブロックノイズを低減させる。
【００６０】
動画像符号化装置１に用いられる予測のタイプは、マクロブロックがイントラモードとインターモードのどちらで符号化されているかによって異なる。イントラモードにおいては、連続するマクロブロックを予測するために、同じ画像の符号化済みブロックに基づく予測方式が用いられる。この予測方式では、走査方法選択部１０によって選択された予測モードのセットが用いられる。インターモードにおいては、連続するいくつかのフレームに対応するブロック間の動き補償／予測が用いられる。
【００６１】
イントラモード、つまりイントラフレーム予測部１５による処理と、インターモード、つまり動き補償予測部１６による処理との間の切り替えは、イントラ・インタースイッチ１８によって制御される。
【００６２】
インターモードにおいては、動き補償を用いることにより、先行フレームにおけるブロックからマクロブロックが予測される。動き予測は、対象入力信号および局所的に復号化された画像を受信する動き検出部１７により実現される。動き検出により２次元動きベクトルが生成され、この２次元動きベクトルは、対象ブロックと先行フレームにおける対応するブロック間の画素の動きを表す。検出された動きに基づき、動き補償予測部１６は予測信号を供給する。
【００６３】
イントラ及びインター符号化において、対象信号と予測された信号との間の差分は変換・量子化部１２によって変換係数に変換される。一般的に、２次元離散コサイン変換（ＤＣＴ）もしくはその整数化バージョンである直交変換が用いられる。
【００６４】
変換係数は、符号化する必要のあるデータ量を削減するため量子化される。量子化のステップは、精度と、各周波数係数の符号化のために使用されるビット数とを指定する量子化テーブルにより制御される。高周波数成分よりも多くのビットが低周波数成分の符号化に用いられるために、低周波数成分は、通常、画像の精細さよりも画質に重要である。
【００６５】
符号化された画像を復号化装置において復元する際には、符号化プロセスと逆の処理が行われる。
【００６６】
次に、走査方法選択部１０によって選択されるマクロブロックの走査方法、ブロックの走査方法および予測モードのセットについて説明する。
【００６７】
マクロブロックの走査方法は、次の(i)〜(v)などから走査方法選択部１０によって選択される。
【００６８】
(i) 左から右に走査する走査方法
(ii) 右から左に走査する走査方法
(iii) 上から下に走査する走査方法
(iv) 下から上に走査する走査方法
(v) ピクチャ内で上記の(i)〜(iv)を混在させる走査方法(図９参照)
なお、走査方法選択部１０は、上記(i)〜（v）のうち１つを固定的に選択するようにしてもよいし、上記(i)〜（v）のうち少なくとも２つの中から１つを選択するようにしてもよい。
【００６９】
ブロックの走査方法には、大きくは（ａ）１つのマクロブロック内で走査するケースと（ｂ）同じ方向に隣接する２つ以上のマクロブロックに跨って走査するケースとがある。ブロックの走査方法は、（ａ）および（ｂ）と、上記(i)〜(iv)と、起点ブロックとの組み合わせにより定まる。選択候補としてのブロックの走査方法には以下のものがある。以下の（ ）内の上記（ａ）または（ｂ）の区別、上記(i)〜(iv)の区別、および起点となるブロック位置（u、d、l、rは、上から、下から、左から、右からを意味する）を示している。
【００７０】
(a-i-u) マクロブロック内の左上ブロックを起点として左から右に走査する走査方法(図７Ａ参照)
(a-i-d) マクロブロック内の左下ブロックを起点として左から右に走査する走査方法
(a-ii-u) マクロブロック内の右上ブロックを起点として右から左に走査する走査方法
(a-ii-d) マクロブロック内の右下ブロックを起点として右から左に走査する走査方法
(a-iii-l)マクロブロック内の左上ブロックを起点として上から下に走査する走査方法
(a-iii-r)マクロブロック内の右上ブロックを起点として上から下に走査する走査方法
(a-iv-l) マクロブロック内の左下ブロックを起点として下から上に走査する走査方法
(a-iv-r) マクロブロック内の右下ブロックを起点として下から上に走査する走査方法
(b-i-u) 横に隣接する２以上のマクロブロックにおける左上ブロックを起点として左から右に走査する走査方法
(b-i-d)横に隣接する２以上のマクロブロックにおける左下ブロックを起点として左から右に走査する走査方法
(b-ii-u) 横に隣接する２以上のマクロブロックにおける右上ブロックを起点として右から左に走査する走査方法
(b-ii-d) 横に隣接する２以上のマクロブロック内の右下ブロックを起点として右から左に走査する走査方法
(b-iii-l)縦に隣接する２以上のマクロブロックにおけるマクロブロック内の左上ブロックを起点として上から下に走査する走査方法
(b-iii-r)縦に隣接する２以上のマクロブロックにおける右上ブロックを起点として上から下に走査する走査方法
(b-iv-l) 縦に隣接する２以上のマクロブロックにおける左下ブロックを起点として下から上に走査する走査方法
(b-iv-r) 縦に隣接する２以上のマクロブロックにおける右下ブロックを起点として下から上に走査する走査方法
なお、走査方法選択部１０は、上記(a-i-d)〜（b-iv-r）のうち、少なくとも２つの走査方法から１つ選択するようにしてもよい。
【００７１】
予測モードのセットは、次の（１）〜（８）などがあり、マクロブロックまたはブロックの走査方法に対応する最適なセットが選択される。
（１）図１０Ａに示す予測モードのセットであり、左上のブロックを基点とする上から下への走査方法（上記(a-iii-l)および(b-iii-l)）に対応する
（２）図１０Ｂに示す予測モードのセットであり、右上のブロックを基点とする上から下への走査方法（上記(a-iii-r)および(b-iii-r)）に対応する
（３）図１０Ｃに示す予測モードのセットであり、右上のブロックを基点とする右から左への走査方法（上記(a-ii-u)および(b-ii-u)）に対応する
（４）図１０Ｄに示す予測モードのセットであり、右下のブロックを基点とする右から左への走査方法（上記(a-ii-d)および(b-ii-d)）に対応する
（５）図１０Ｅに示す予測モードのセットであり、左下のブロックを基点とする下から上への走査方法（上記(a-iv-l)および(b-iv-l)）に対応する
（６）図１０Ｆに示す予測モードのセットであり、右下のブロックを基点とする下から上への走査方法（上記(a-iv-r)および(b-iv-r)）に対応する
（７）図１０Ｇに示す予測モードのセットで、左下のブロックを起点する左から右への走査方法（上記(a-i-d)および(b-i-d)）に対応する
（８）図１０Ｈに示す予測モードのセットであり、左上のブロックを起点する左から右への走査方法（上記(a-i-u)および(b-i-u)）に対応する
なお、図１０Ａ〜図１０Ｈにおける陰影部分は符号化済みのブロックを、陰影のない部分はまだ符号化されていないブロックを示す。予測モードの各セットは、異なる８つの予測方向(図中の矢印線)を示す８つの予測モードと１つのＤＣモードとが利用可能である。また、図１０Ｈは図４Ｂを同じ予測モードのセットを示す。
【００７２】
図７Ａ〜図７Ｃは、イントラ予測のためにより多くの参照画素を供給する、改善された走査方法（６００）の例を示す。
【００７３】
図７Ａは、各マクロブロック内のブロック６１５を行毎に走査することによりマクロブロック（６１０、６１１、６１２）の行が走査される走査方法（６００）を示す。第一マクロブロック（６１０）内のブロックを走査した後、走査は次のマクロブロック（６１１）内の左上のブロックに移り、進んでいく。
【００７４】
この結果として、図５Ａに示すような従来の走査順序のために参照画素が欠けてしまう問題は解消される。これにより符号化済みブロックから、より正確な動画像データを予測できることになり、符号化効率の向上にもつながる。
【００７５】
図７Ｂは、２つのＩ４ＭＢ（６２０、６２１）を含み、Ｉ１６ＭＢ（６２２）に先行するマクロブロックの行の走査を示す。マクロブロックにおいて同じ区画をもつブロック、すなわち同一サイズのブロックが、マクロブロックの境界に関わらず行毎に走査される。異なる区画のブロックをもつマクロブロック（６１２）に到達すると、走査は停止し、次の行へと移る。同一サイズの全ブロックが走査されると、すぐに次のマクロブロック（６１２）内のブロックが走査される。
【００７６】
これにより、図５Ａで示されたような従来の走査のために参照画素が欠けてしまう問題は解消される。さらに、マクロブロックの境界により参照画素が欠けてしまう問題（図５Ｂ参照）は低減される。これによって符号化済みブロックから動画像データをより正確に予測できることになり、符号化効率の向上にもつながる。
【００７７】
異なる区画のブロックを有するマクロブロックにおけるブロックの走査順序は少々異なる。これを説明するにあたって図７Ｃに、異なる区画のブロックを有するマクロブロックにおけるブロックの走査順序例を示す。走査がマクロブロックの境界に到達し、次のマクロブロックにおいて隣接するブロックが対象ブロック以下のサイズならば、その隣接するブロックが走査順序において次のブロックとなる。次のマクロブロックにおいて隣接するブロックが対象ブロックのサイズよりも大きい場合、マクロブロックにおけるブロックの次の行が走査される必要がある。すなわち、次のマクロブロックにおける次のブロック内の参照画素が符号化済みでない場合、次の行を走査する。
【００７８】
この結果、図５Ａに示されたような従来の走査順序のために参照画素が欠けてしまう問題は解消する。さらに、マクロブロックの境界により参照画素が欠けてしまう問題（図５Ｂ参照）が低減する。これによって符号化済みブロックからより正確な動画像データを予測できることになり、符号化効率の向上にもつながる。
【００７９】
上記の例における走査順序は、水平線上に左から右であるが、本発明はこの走査順序に制限されない。本発明は、走査順序が逆、裏返し、回転しようとも実施可能である。
【００８０】
上記の走査方法は、符号化装置が選択可能である、本発明により改善された走査方法の例である。しかしながら、選択ステップが明示的に示されなくても、本発明によって改善された符号化装置がこれらの走査方法を用いることは可能である。
【００８１】
H.264/AVC規格は、マクロブロックにおけるブロックの分割に基づくものである。同規格においては、３通りあるマクロブロックのブロック分割のうち１つに従って、個々のマクロブロックがさらにブロックに分割されてもよい。しかしながら本発明は、マクロブロックの構造に制限されない。その代わりに本発明は、異なった分割や、多様なブロックの形やサイズの分割にも適応することが可能である。
【００８２】
符号化された動画像データを復号化するために、復号化装置は符号化装置によって符号化されているブロックの列に関する情報を必要とする。したがって、符号化装置が用いた走査方法は、復号化装置にシグナリングされなければならない。本発明の別の形態によれば、復号化装置へのシグナリングは、走査方法識別子を符号化された動画像データに挿入することにより達成される。走査方法識別子は、符号化装置に適応された走査を識別する。復号化装置は、符号化された動画像データから走査方法識別子を検出し、それにより復号化されたブロックの逆走査を実行することができる。
【００８３】
図８Ａ〜図８Ｃは、符号化された動画像データを表すビットストリームの構造を示す。図８Ａでは、対象スライスにおける全マクロブロックの分割に関する情報７２０がビットストリーム７００に含まれる。この情報は、動画像データを複数のブロックに区画する方法を定義する。この情報の後には、複数のブロックを走査するために符号化装置が適応する走査方法を識別する走査方法識別子７１０が続く。この走査方法に従い、走査方法識別子７１０の後にはブロックデータ７３０が続く。
【００８４】
上記の例において、走査方法はスライスレベルで選択され、シグナリングされる。しかしながら、本発明はこれに制限されない。走査方法は、プロファイル、レベル、フレーム、フィールド、さらにマクロブロックレベルでも選択され、シグナリングされることが可能である。
【００８５】
図８Ｂは、マクロブロックレベルで行う走査方法のシグナリングを示す。ビットストリーム７００は、連続する全マクロブロックに用いられる走査方法を、別の走査方法識別子がビットストリームに挿入されるまで識別する走査方法識別子７１０を含む。走査方法識別子７１０の後には、マクロブロックヘッダー７４０および対応ブロックデータ７３０をそれぞれ含む複数のマクロブロックデータが続く。マクロブロックヘッダー７４０は、例えばマクロブロックの区切りに関する情報を含む。
【００８６】
走査方法を識別するため、走査方法識別子は複数の定義済み走査方法のうち１つに対する参照を含んでいる場合がある。一方、走査方法識別子はブロックが走査された列に関する情報を明示的に含む。この場合符号化装置は、全く自由に走査方法を選択できる。すなわち、定義済み走査方法の組み合わせは、全ての可能な走査順序を含んでいるということである。
【００８７】
マクロブロック/ブロックの構造にしたがって、走査方法を階層的に定義してもよい。第一ステップとして、マクロブロックの走査順序を定義する。その後第二ステップとして各マクロブロックにおけるブロックの走査順序を定義する。
【００８８】
図８Ｃは、階層的走査方法のシグナリングを二段階に分けて示す。ビットストリーム７００は、マクロブロックの走査順序を識別する第一走査方法識別子７１０ａを含む。このシグナリングステップは、例えば対象フレームもしくは対象スライスのレベルで行われてもよい。マクロブロックが処理される順序が定義されると、各マクロブロックにおけるブロックの走査方法が、第二走査方法識別子７１０ｂによってシグナリングされる。この走査方法識別子は、図に示されるように明示的に各マクロブロックデータの一部であってもよい。または、この走査方法識別子は、マクロブロックにおけるブロックの走査方法の変更時にのみビットストリームに挿入されてもよい。
【００８９】
マクロブロックにおけるブロックの走査方法を明示的にシグナリングする代わりに、マクロブロック走査方法順序から走査方法を暗示的に導出してもよい。
【００９０】
図９は、マクロブロック走査方法の一例を示す図である。同図は、８×４のマクロブロック（８１０）に区切られた動画像フレーム（８００）を示す。数字は、マクロブロックの走査順序を示し、矢印は各マクロブロックにおけるブロックの走査方向を示す。左から右へマクロブロックが走査されるならば、各マクロブロックにおけるブロックもまた左から右へと走査され、イントラ予測に用いる参照画素をより多く供給できる。他の走査方向にも同様のルールが当てはまる。この場合、マクロブロックにおけるブロックの走査方法を明示的にシグナリングすることは必ずしも必要ではない。例えば、各スライスにおけるマクロブロックの最初の走査方向や、同方向に走査されるマクロブロック数をシグナリングすればよい。こうして符号化効率をさらに向上させることが可能である。
【００９１】
上記の例は水平走査に関連しているが、本手法はこれに制限されない。本発明は、他の走査方向や、他の走査開始位置にも適応することが可能である。
【００９２】
ブロックが走査される方向によって、イントラ予測に利用可能な参照画素は変化する。このため、本発明の別の形態によれば、動画像データのブロックを予測するために用いることのできる予測モードの組み合わせを、走査方向に応じて適応させることができる。
【００９３】
上述の図１０Ａ〜図１０Ｈは、ブロックの走査方向に応じた予測モードのセットを示す。
【００９４】
ある走査方向に利用可能な方向の組み合わせは、走査済みのブロック（陰影部）より利用可能な参照画素によって決まる。そしてそのため、利用可能な方向の組み合わせは走査方向によって決まる。
【００９５】
この手法では、可能な１６の予測方向それぞれにコード語を与える必要はない。よって、より少ないビット数で予測方向を符号化でき、符号化効率が向上する。
【００９６】
一方では、走査方向によって、予測に用いられる参照画素の制御ができる。画像コンテンツによっては、予測の正確さは予測方向に左右される。例えば、ブロックの画素が左から右ではなく、右から左へと外挿されるならば、画像データのブロックはさらに正確に予測される。そのため、従来の走査方向の逆方向に走査を行うことによって、符号化装置は走査方法を画像コンテンツに適応化させてもよい。これにより、対象ブロックの右に位置する参照画素がイントラ予測に利用可能となる。そして、右から左への予測モードを用いることにより、予測をより正確にできることになり、符号化効率も向上する。
【００９７】
走査方法を画像コンテンツに適応化させるのは、符号化装置が第二パスにて走査方法を適応化させるために第一パスにおいて画像コンテンツを分析するマルチパス符号化を行うにあたって、特に重要である。もう一つの選択肢として、符号化装置はいくつかの走査方法を試し、例えば符号化装置などにおいて最良の結果をもたらす走査方法を選択して動画像データを符号化してもよい。
【００９８】
図１１は、本発明による符号化装置の動作を表すフローチャートである。ステップＳ１０において、動画像フレーム、動画像フィールドやそのサブセット等の入力ピクチャは複数のブロックに区切られる。そしてこれらのブロック毎のデータは圧縮され、符号化される。ステップＳ２０において、走査方法選択部１０は、マクロブロックの走査方法と、ブロックの走査方法と、予測モードのセットとを選択する。例えば、走査方法選択部１０は、イントラフレーム予測部１５にマクロブロックの走査方法、ブロックの走査方法、予測モードのセットの複数通りの組み合わせについてイントラ予測をテストし、予測誤差が最も小さくなる組み合わせを選択する。ブロックが符号化される順序は、ステップＳ２０において選択される走査方法により定義される。復号化装置にピクチャを復元させるために、選択された走査方法を識別する走査方法識別子は、符号化された動画像データに挿入される。ステップＳ３０においては、選択された走査方法に基づき、ブロックが走査される。ステップＳ４０においては、走査済みのブロックからブロックが予測されるために、各ブロックの予測モードが選択される。最後のステップＳ５０では、選択された予測モードに基づき各ブロックが符号化される。
【００９９】
図１２は、本発明の実施形態１における動画像復号化装置の構成を示すブロック図である。同図の動画像復号化装置２は、走査方法選択部２０、エントロピー復号化部２１、逆量子化・逆変換部２２、加算器２３、デブロッキングフィルタ２４、メモリ２５、イントラフレーム予測部２６および動き補償予測部２７を備える。
【０１００】
エントロピー復号化部２１における変換係数および動きデータのエントロピー復号化は、エントロピー符号化部１９の逆に行われる。エントロピー復号化されたブロックは逆量子化・逆変換部２２に送信され、エントロピー復号化された動きデータは動き補償予測部２７に送信され、エントロピー復号化された走査方法識別子は走査方法選択部２０に送信される。
【０１０１】
走査方法選択部２０は、走査方法識別子等に従って、マクロブロックの走査方法、ブロックの走査方法、予測モードのセットをそれぞれ選択する。
【０１０２】
予測誤差は、インターモードの動き補償予測部２７もしくはイントラモードのイントラフレーム予測部２６から生じる予測信号と、加算器２３によって加算される。復元された画像は、デブロッキングフィルタ２４を通過し、イントラフレーム予測部２６および動き補償予測部２７に利用させるためメモリ２５に格納される。
【０１０３】
その際、復号化対象のブロックは、マクロブロックの走査方法およびブロックの走査方法に従って走査され、予測モードのセットに従ってイントラ復号化される。
【０１０４】
図１３は、本発明による復号化装置の動作を表すフローチャートである。ステップＳ１１０において、符号化された動画像データからピクチャ内のブロックの区切りが検出される。これにより、符号化装置において画像をブロックに区切った方法、すなわちブロックの数、サイズおよび位置を復号化装置が復元できるようになる。ステップＳ１２０では、符号化された動画像データから走査方法識別子が検出される。この識別子は、符号化装置により用いられた走査方法、すなわちブロックが符号化された順序を定義する。ステップＳ１３０においては、各ブロックに、符号化された動画像データおよび対応予測モードが受信される。そしてステップＳ１４０にて、検出された予測モードおよび検出された走査方法に従って各ブロックが復号化される。最後にステップＳ１５０において、復号化されたブロックからピクチャが再度組立てられる。
【０１０５】
以上説明してきたように本実施形態における動画像符号化装置および動画像復号化装置によれば、ブロックが符号化される順序、すなわち走査方法を適応的に選択することによって、イントラフレーム予測がより正確になる。これにより対象ブロックの予測に、より多くの参照画素またはより適した参照画素を提供することができる。より正確に予測できることにより、残差画像データ量は減少し、符号化効率は向上する。
【０１０６】
これに加えて、利用可能な予測モードのセットをも走査方法に適応化させることにより、符号化効率はさらに向上する。走査順序は復号化装置にシグナリングされ、その復号化装置は各ブロックを復号化し、動画像データを復元できるようになる。
【０１０７】
（実施形態２）
実施形態１では、動画像符号化装置から動画像復号化装置に走査方法識別子を送信する必要があるが、実施形態２では、その必要がない動画像符号化装置および動画像復号化装置の構成について説明する。本実施の形態の動画像符号化装置は、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を適応的に決定する。同様に、動画像復号化装置は、ピクチャの所定部分に含まれる画像のエッジの方向を検出し、検出されたエッジの方向に基づいて、複数の走査方法のうちの１つの走査方法を選択する。上記の所定部分、エッジの方向を検出するアルゴリズム、および走査方法を選択するアルゴリズムは、動画像符号化装置と動画像復号化装置とで全く同じ処理を行なう。これにより、ビットストリームが走査方法の識別子を含む必要がなくなるので、符号化効率をさらに向上させることができる。
【０１０８】
図１４Ａは、本発明の実施形態２における動画像符号化装置の構成を示すブロック図である。同図の動画像符号化装置１ａは、図６と比較して、エッジ方向検出部９が追加されている点が異なっている。また、走査方法選択部１０の動作が若干異なっている。同じ点は説明を省略し、以下異なる点を中心に説明する。
【０１０９】
エッジ方向検出部９は、メモリ１４に保持されたピクチャ中の所定部分に含まれる画像のエッジの方向を検出する。具体的には、所定部分にどの方向のエッジが多く含まれているかを検出する。所定の部分は、本実施形態では、ピクチャ内の最初のマクロブロック行とする。また、エッジ方向検出部９は、最初のマクロブロック行以外の各マクロブロック行のエッジの方向も検出する。
【０１１０】
走査方法選択部１０は、マクロブロックおよびブロックの走査方法、予測モードのセットを選択する点が実施形態１と同様であるが、次の点が異なる。すなわち、走査方法選択部１０は、所定部分の符号化用に、デフォルトの走査方法と予測モードのセットとを選択し、その他の部分の符号化用に、検出されたエッジの方向に最も適した走査方法を選択する。
【０１１１】
図１５Ａは、符号化装置の動作を表す説明図である。同図では、上記の所定部分が最初のマクロブロック行の場合を示している。同図のように、走査方法選択部１０は、ピクチャの最初のマクロブロック行の符号化のために動画像復号化装置と同じデフォルトの走査方法と予測モードのセットとを選択する（Ｓ１５１）。イントラフレーム予測部１５はデフォルトの走査方法と予測モードのセットとに従って、最初のマクロブロック行をイントラ予測する。その結果、最初のマクロブロック行は、デフォルトの走査方法と予測モードのセットを用いて符号化される（Ｓ１５２）。
【０１１２】
さらに、エッジ方向検出部９は、直前に符号化されたマクロブロック行の画像を対象に、それに含まれるエッジを検出し、どの方向のエッジが多いかを検出する（Ｓ１５３）。走査方法選択部１０は、検出されたエッジの方向に最も適した走査方法および予測モードのセットを選択する（Ｓ１５４）。選択された走査方法および予測モードのセットに従ってマクロブロック行が符号化される（Ｓ１５５）。
【０１１３】
２行目以降のマクロブロック行は、上記のＳ１５３〜Ｓ１５５に従って順次符号化される。
【０１１４】
図１５Ｂは、符号化装置の動作例を表す詳細なフローチャート図である。同図のように、走査方法選択部１０は、ピクチャの最初のマクロブロック行の符号化のために動画像復号化装置と同じデフォルトの走査方法と予測モードのセットとを選択する（Ｓ２１０）。イントラフレーム予測部１５はデフォルトの走査方法と予測モードのセットとに従って、最初のマクロブロック行をイントラ予測する。その結果、最初のマクロブロック行は、デフォルトの走査方法と予測モードのセットを用いて符号化される（Ｓ２１２）。
【０１１５】
さらに、エッジ方向検出部９は、第１カウンタおよび第２カウンタを０にクリアする。その後、エッジ方向検出部９は、直前に符号化されたマクロブロック行の画像を対象に、それに含まれるエッジを検出し（Ｓ２１４）、検出されたエッジが右斜め下方向である場合は第１カウンタを１増加し（Ｓ２１６、Ｓ２１８）、検出されたエッジが左斜め下方向である場合は第２カウンタを１増加する（Ｓ２２０、Ｓ２２２）。エッジ方向検出部９は、このような計数を検出された最後のエッジまで繰り返す（Ｓ２２４）。これにより、第１カウンタのカウント値は右斜め下方向のエッジの数を、第２カウンタのカウント値は左斜め下方向のエッジの数を表す。
【０１１６】
次いで、走査方法選択部１０は、第１カウンタのカウント値と第２カウンタのカウント値の大小比較、つまり右斜め下方向のエッジと左斜め下方向のエッジのどちらが多いのか判定する（Ｓ２２６）。走査方法選択部１０は、右斜め下方向のエッジの方が多い場合には、左から右方向への走査方法を選択する。例えば、上記の(a-i-u)の走査方法と対応する予測モードのセットとが選択される（Ｓ２２８）。走査方法選択部１０は、左斜め下方向のエッジの方が多い場合には、右から左方向への走査方法を選択する。例えば、上記の(a-ii-u)の走査方法と対応する予測モードのセットとが選択される。
【０１１７】
選択された走査方法および予測モードのセットに従って次のマクロブロック行が符号化される（Ｓ２３２）。
【０１１８】
上記ステップＳ２１４〜２３２は、最初のマクロブロック行を除くマクロブロック行毎に実行される。
【０１１９】
これにより、２行目以降のマクロブロック行の符号化は、直前のマクロブロック行の画像に含まれるエッジの方向に応じて、最適な走査方法および予測モードのセットが選択される。
【０１２０】
図１６は、本発明の実施形態２における動画像復号化装置の構成を示すブロック図である。同図の動画像復号化装置２ａは、図１２と比較して、エッジ方向検出部２９が追加された点が異なっている。走査方法選択部２０の動作も若干異なっている。同じ点は説明を省略し、以下異なる点を中心に説明する。
【０１２１】
エッジ方向検出部２９および走査方法選択部２０は、本実施形態の動画像符号化装置のエッジ方向検出部９および走査方法選択部１０と同じアルゴリズムでそれぞれの処理を実行する。それゆえ、ビットストリームに、マクロブロックおよびブロックの走査方法識別子および予測モードのセットを示す情報が含まれている必要がない。
【０１２２】
エッジ方向検出部２９は、本実施形態の動画像符号化装置のエッジ方向検出部９と同様に、ピクチャ中の所定部分に含まれる画像のエッジの方向を検出する。具体的には、所定部分にどの方向のエッジが多く含まれているかを検出する。所定の部分は、動画像符号化装置と共通であり、ピクチャ内の最初のマクロブロック行とする。また、エッジ方向検出部２９は、最初のマクロブロック行以外の各マクロブロック行のエッジの方向も検出する。
【０１２３】
走査方法選択部２０は、走査方法識別子および予測モードのセットを示す情報を必要とせず、自身の判断で走査方法および予測モードのセットを選択する。すなわち、走査方法選択部２０は、本実施形態の動画像符号化装置の走査方法選択部１０と同様に、マクロブロックおよびブロックの走査方法、予測モードのセットを選択する点が実施形態１と同様であるが、次の点が異なる。すなわち、走査方法選択部２０は、所定部分の符号化用に、デフォルトの走査方法と予測モードのセットとを選択し、その他の部分の符号化用に、検出されたエッジの方向に最も適した走査方法を選択する。
【０１２４】
図１７Ａは、動画像復号化装置２ａの動作例を表す詳細なフローチャート図である。同図は、図１５Ａと比べて、「符号化」の代わりに「復号化」をする点が異なっている。エッジ方向の検出と走査方法および予測モードの選択については、同じ処理を行なう。これにより、動画像符号化装置１ａ、１ｂにより符号化されたビットストリームを復号する場合、動画像復号化装置２ａは、動画像符号化装置１ａ、１ｂと同じ走査方法および予測モードのセットを選択することができる。
【０１２５】
図１７Ｂは、復号化装置の動作を表すフローチャートである。同図は、図１５Ｂと比べて、「符号化」の代わりに「復号化」をする点が異なっている。エッジ方向の検出と走査方法および予測モードの選択については、同じ処理を行なう。それゆえ、ビットストリームに、マクロブロックおよびブロックの走査方法識別子および予測モードのセットを示す情報が含まれている必要がない。
【０１２６】
以上説明してきたように本実施形態における動画像符号化装置および動画像復号化装置によれば、マクロブロックの走査方法、ブロックの走査方法および予測モードのセットを表すデータがビットストリームに付加する必要がない。これにより、符号化効率をより一層向上させることができる。
【０１２７】
なお、図１５Ａ、図１５Ｂ、図１７Ａ、図１７Ｂにおいて、３つめのマクロブロック行以降の各マクロブロック行の符号化に際して、２つめのマクロブロック行の符号化用に選択された走査方法および予測モードのセットを用いてもよい。その場合、エッジ方向検出部９、２９および走査方法選択部１０、２０は、最初のマクロブロック行だけを対象に処理を実行すればよいので、処理負荷を軽くすることできる。
【０１２８】
また、エッジ方向検出部９、２９および走査方法選択部１０、２０は、奇数のマクロブロック行だけ、またはＮ行毎にその先頭のマクロブロックライン行だけを対象に処理を実行し、それ以外のマクロブロック行の符号化は直前のマクロブロック行と同じ走査方法および予測モードのセットを用いるようにしてもよい。
【０１２９】
また、上記のピクチャ中の所定の部分は、最初のマクロブロック行に限らず、動画像符号化装置と動画像復号化装置で共通に設定されたｍ個の隣接するマクロブロックラインであってもよい。
【０１３０】
また、最初のマクロブロック行のブロックの走査方法はデフォルトではなく、実施形態１と同様にブロックの走査方法を選択してもよい。
【０１３１】
なお、本実施形態では、画像のエッジ方向として左斜め下方向と、右斜めした方向とを検出する例について説明したが、水平方向、垂直方向などの他の方向を検出し、検出した方向に最適な走査方法と予測モードのセットを選択してもよい。
【０１３２】
また、本実施の形態ではマクロブロック行毎に走査方法を選択しているが、数マクロブロック行毎に選択するようにしてもよい。
【０１３３】
なお、実施の形態１において、走査方法選択部１０がイントラフレーム予測部１５にマクロブロックの走査方法、ブロックの走査方法、予測モードのセットの複数通りの組み合わせについてイントラ予測をテストし、予測誤差が最も小さくなる組み合わせを選択する(図１１のステップＳ２０）例について説明したが、走査方法選択部１０は、エッジ方向検出部９を利用して画像の内容に応じて選択するようにしてもよい。この場合の、実施の形態１の画像符号化装置の変形例を、図１４Ｂに示す。図１４Ｂの動画像符号化装置１ｂは、図１４Ａと比較して、フレームメモリ８が追加された点と、エッジ方向検出部９がメモリ１４ではなくフレームメモリ８を参照する点と、走査方法選択部１０が検出されたエッジの方向に応じて、マクロブロックの走査方法、ブロックの走査方法、予測モードのセットを選択する点とが異なっている。この構成により、走査方法選択部１０は検出されたエッジの方向に適したマクロブロックの走査方法、ブロックの走査方法および予測モードのセットを選択することができる。
【０１３４】
なお、上記各実施の形態に示したブロック図の各機能ブロックおよびフローチャートの各モジュールは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１３５】
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１３６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０１３７】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、記録媒体やＤＲＡＭなど別構成としても良い。
【０１３８】
なお、上記各実施の形態に示したフローチャートにおいて主要な部分はプロセッサおよびプログラムによっても実現される。
【０１３９】
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１４０】
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【産業上の利用可能性】
【０１４１】
本発明は、画像を符号化又は復号化する符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
【図面の簡単な説明】
【０１４２】
【図１】図１は、従来技術における動画像符号化装置の構成を示すブロック図である。
【図２】図２は、従来技術における動画像復号化装置の構成を示すブロック図である。
【図３】図３は、H.264/AVC規格に基づいたブロックの走査を示す。
【図４Ａ】図４Ａは、H.264/AVC規格に指定されたマクロブロックのイントラ予測を示す。
【図４Ｂ】図４Ｂは、H.264/AVC規格に定義された９つの異なる予測モードの概要を示す。
【図５Ａ】図５Ａは、イントラ予測で利用可能な参照画素を示す図である。
【図５Ｂ】図５Ｂは、イントラ予測で利用可能な参照画素を示す図である。
【図６】図６は、本発明の実施形態１における動画像符号化装置の構成を示すブロック図である。
【図７Ａ】図７Ａは、本発明の実施形態における第１のブロック走査方法を示す図である。
【図７Ｂ】図７Ｂは、本発明の実施形態における第２のブロック走査方法を示す図である。
【図７Ｃ】図７Ｃは、本発明の実施形態における第３のブロック走査方法を示す図である。
【図８Ａ】図８Ａは、スライス毎に走査ＩＤを含むビットストリームの構造を示す。
【図８Ｂ】図８Ｂは、マクロブロック毎にブロックの走査ＩＤを含むビットストリームの構造を示す。
【図８Ｃ】図８Ｃは、マクロブロック毎にマクロブロックの走査ＩＤとブロックの走査ＩＤとを含むビットストリームの構造を示す。
【図９】図９は、フレームにおける、マクロブロックの走査順の一例を示す図である。
【図１０Ａ】図１０Ａは、ブロック内の画素の予測値を決定するための複数の予測方向の第１セットを示す図である。
【図１０Ｂ】図１０Ｂは、ブロック内の画素の予測値を決定するための複数の予測方向の第２セットを示す図である。
【図１０Ｃ】図１０Ｃは、ブロック内の画素の予測値を決定するための複数の予測方向の第３セットを示す図である。
【図１０Ｄ】図１０Ｄは、ブロック内の画素の予測値を決定するための複数の予測方向の第４セットを示す図である。
【図１０Ｅ】図１０Ｅは、ブロック内の画素の予測値を決定するための複数の予測方向の第５セットを示す図である。
【図１０Ｆ】図１０Ｆは、ブロック内の画素の予測値を決定するための複数の予測方向の第６セットを示す図である。
【図１０Ｇ】図１０Gは、ブロック内の画素の予測値を決定するための複数の予測方向の第７セットを示す図である。
【図１０Ｈ】図１０Hは、ブロック内の画素の予測値を決定するための複数の予測方向の第８セットを示す図である。
【図１１】図１１は、符号化装置の動作を表すフローチャートである。
【図１２】図１２は本発明の実施形態１における動画像復号化装置の構成を示すブロック図である。
【図１３】図１３は、復号化装置の動作を表すフローチャートである。
【図１４Ａ】図１４Ａは本発明の実施形態２における動画像符号化装置の構成を示すブロック図である。
【図１４Ｂ】図１４Ｂは本発明の実施形態２における動画像符号化装置の変形例を示すブロック図である。
【図１５Ａ】図１５Ａは、符号化装置の動作を表す説明図である。
【図１５Ｂ】図１５Ｂは、符号化装置の動作を表すフローチャートである。
【図１６】図１６は、本発明の実施形態２における動画像復号化装置の構成を示すブロック図である。
【図１７Ａ】図１７Ａは、復号化装置の動作を表す説明図である。
【図１７Ｂ】図１７Ｂは、復号化装置の動作を表すフローチャートである。
【符号の説明】
【０１４３】
１  動画像符号化装置
２  復号化装置
５  加算器
７  デブロッキングフィルタ
８  フレームメモリ
９  エッジ方向検出部
１０  走査方法選択部
１１  減算器
１２  変換・量子化部
１３  逆量子化・逆変換部
１４  メモリ
１５  イントラフレーム予測部
１６  動き補償予測部
１７  動き検出部
１８  インタースイッチ
１９  エントロピー符号化部
２０  走査方法選択部
２１  エントロピー復号化部
２２  逆量子化・逆変換部
２３  加算器
２４  デブロッキングフィルタ
２５  メモリ
２６  イントラフレーム予測部
２７  動き補償予測部
２９  エッジ方向検出部
７００  ビットストリーム
７１０  走査方法識別子
７２０  分割情報
７３０  ブロックデータ
７４０  マクロブロックヘッダー
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007055158.tif 000036
【図２】
2007055158.tif 000037
【図３】
2007055158.tif 000038
【図４Ａ】
2007055158.tif 000039
【図４Ｂ】
2007055158.tif 000040
【図５Ａ】
2007055158.tif 000041
【図５Ｂ】
2007055158.tif 000042
【図６】
2007055158.tif 000043
【図７Ａ】
2007055158.tif 000044
【図７Ｂ】
2007055158.tif 000045
【図７Ｃ】
2007055158.tif 000046
【図８Ａ】
2007055158.tif 000047
【図８Ｂ】
2007055158.tif 000048
【図８Ｃ】
2007055158.tif 000049
【図９】
2007055158.tif 000050
【図１０Ａ】
2007055158.tif 000051
【図１０Ｂ】
2007055158.tif 000052
【図１０Ｃ】
2007055158.tif 000053
【図１０Ｄ】
2007055158.tif 000054
【図１０Ｅ】
2007055158.tif 000055
【図１０Ｆ】
2007055158.tif 000056
【図１０Ｇ】
2007055158.tif 000057
【図１０Ｈ】
2007055158.tif 000058
【図１１】
2007055158.tif 000059
【図１２】
2007055158.tif 000060
【図１３】
2007055158.tif 000061
【図１４Ａ】
2007055158.tif 000062
【図１４Ｂ】
2007055158.tif 000063
【図１５Ａ】
2007055158.tif 000064
【図１５Ｂ】
2007055158.tif 000065
【図１６】
2007055158.tif 000066
【図１７Ａ】
2007055158.tif 000067
【図１７Ｂ】
2007055158.tif 000068
【国際調査報告】
2007055158.tif 000069
2007055158.tif 000070
2007055158.tif 000071
2007055158.tif 000072
2007055158.tif 000073