(57)【要約】    【課題】      符号化効率の向上を図りつつ解像度スケーラビリティを実現すること。    【解決手段】  帯域分割部１０４は、高解像度原画像を帯域分割して中解像度画像、水平成分、垂直成分、および対角成分を生成する。水平成分は、水平レイヤＤＣＴ部１２４でＤＣＴ処理された後、水平レイヤビット平面ＶＬＣ部１２６でビット平面ＶＬＣ処理される。垂直成分は、垂直レイヤＤＣＴ部１３０でＤＣＴ処理された後、垂直レイヤビット平面ＶＬＣ部１３２でビット平面ＶＬＣ処理される。対角成分は、対角レイヤＤＣＴ部１３６でＤＣＴ処理された後、対角レイヤビット平面ＶＬＣ部１３８でビット平面ＶＬＣ処理される。走査の際は、帯域成分ごとにＤＣＴ係数の分布の偏りを考慮して走査順序を決定する。  【選択図】      図１
2005117196.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する第１解像度画像を、前記第１解像度よりも低解像度である第２の解像度を有する第２解像度画像成分と、水平成分、垂直成分、および対角成分のうち少なくとも１つのサブ帯域成分とに分割する帯域分割ステップと、
分割後のサブ帯域成分に対してＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理を行うＤＣＴステップと、
各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いて、ＤＣＴ処理後のサブ帯域成分を符号化する符号化ステップと、
を有することを特徴とする映像符号化方法。
【請求項２】
前記第２解像度画像を縮小して前記第２解像度画像よりも低解像度である第３の解像度を有する第３解像度画像を生成するステップと、
前記第２解像度画像と、生成された第３解像度画像の拡大画像との差分画像を生成するステップと、をさらに有し、
前記ＤＣＴステップは、
分割後のサブ帯域成分および生成された差分画像に対してＤＣＴ処理を行い、
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分および差分画像を符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項３】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分が水平成分である場合、水平成分のＤＣＴ係数を垂直低周波成分から垂直高周波成分へ走査することにより、垂直低周波成分を優先して符号化を行う、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項４】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分が垂直成分である場合、垂直成分のＤＣＴ係数を水平低周波成分から水平高周波成分へ走査することにより、水平低周波成分を優先して符号化を行う、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項５】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分が対角成分である場合、対角成分のＤＣＴ係数を水平高周波かつ垂直高周波成分から水平低周波かつ垂直低周波成分へ斜めに走査することにより、水平高周波かつ垂直高周波成分を優先して符号化を行う、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項６】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分に対してビット平面ＶＬＣ（Variable Length Coding：可変長符号化）処理を行う、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項７】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分に対してビット平面ＶＬＣ処理を行う際に、ビット平面に応じて走査の長さを可変する、
ことを特徴とする請求項６記載の映像符号化方法。
【請求項８】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分のＤＣＴ係数を関数で近似して誤差を符号化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項９】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分を符号化する際に、ＤＣＴ処理後の各サブ帯域成分をビット平面ごとに１つのストリームに多重化する、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１０】
前記符号化ステップは、
ＤＣＴ処理後の各サブ帯域成分をビット平面ごとに１つのストリームに多重化する際に、水平成分、垂直成分、対角成分の順に優先して多重化を行う、
ことを特徴とする請求項９記載の映像符号化方法。
【請求項１１】
前記符号化ステップは、
ＤＣＴ処理後のサブ帯域成分に対して量子化処理およびＶＬＣ処理を行う、
ことを特徴とする請求項１記載の映像符号化方法。
【請求項１２】
請求項１記載の映像符号化方法を用いて生成された各サブ帯域成分のストリームを復号化する復号化ステップと、
復号化後の各サブ帯域成分に対して逆ＤＣＴ処理を行う逆ＤＣＴステップと、
逆ＤＣＴ処理後の各サブ帯域成分を合成する合成ステップと、
を有することを特徴とする映像復号化方法。
【請求項１３】
所定の情報に基づいて、復号化するストリームを選択する選択ステップ、をさらに有し、
前記復号化ステップは、
選択されたストリームに対して復号化を行う、
ことを特徴とする請求項１２記載の映像復号化方法。
【請求項１４】
所定の情報に基づいて、復号化するストリームの符号量を選択する選択ステップ、をさらに有し、
前記復号化ステップは、
選択された符号量のストリームに対して復号化を行う、
ことを特徴とする請求項１２記載の映像復号化方法。
【請求項１５】
第１の解像度を有する第１解像度画像を入力する入力手段と、
入力された第１解像度画像を、前記第１解像度よりも低解像度である第２の解像度を有する第２解像度画像成分と、水平成分、垂直成分、および対角成分の各サブ帯域成分とに分割する帯域分割手段と、
分割後の各サブ帯域成分に対してＤＣＴ処理を行うＤＣＴ手段と、
各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いて、ＤＣＴ処理後の各サブ帯域成分に対してそれぞれ異なる走査の順序によりビット平面ＶＬＣ処理を行うビット平面ＶＬＣ手段と、
を有することを特徴とする映像符号化装置。
【請求項１６】
請求項１５記載の映像符号化装置によって生成された各サブ帯域成分のストリームを入力する入力手段と、
入力された各サブ帯域成分のストリームに対してビット平面ＶＬＤ（Variable Length Decoding：可変長復号化）処理を行うビット平面ＶＬＤ手段と、
ビット平面ＶＬＤ処理後の各サブ帯域成分に対して逆ＤＣＴ処理を行う逆ＤＣＴ手段と、
逆ＤＣＴ処理後の各サブ帯域成分を合成する合成手段と、
を有することを特徴とする映像復号化装置。
【請求項１７】
第１の解像度を有する第１解像度画像を入力する入力手段と、
入力された第１解像度画像を、前記第１解像度よりも低解像度である第２の解像度を有する第２解像度画像成分と、水平成分、垂直成分、および対角成分の各サブ帯域成分とに分割する帯域分割手段と、
分割後の各サブ帯域成分に対してＤＣＴ処理を行うＤＣＴ手段と、
ＤＣＴ処理後の各サブ帯域成分を量子化する量子化手段と、
量子化処理後の各サブ帯域成分に対して、各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法によりＶＬＣ処理を行うＶＬＣ手段と、
を有することを特徴とする映像符号化装置。
【請求項１８】
請求項１７記載の映像符号化装置によって生成された各サブ帯域成分のストリームを入力する入力手段と、
入力された各サブ帯域成分のストリームに対してＶＬＤ処理を行うＶＬＤ手段と、
ＶＬＤ処理後の各サブ帯域成分に対して逆量子化を行う逆量子化手段と、
逆量子化後の各サブ帯域成分に対して逆ＤＣＴ処理を行う逆ＤＣＴ手段と、
逆ＤＣＴ処理後の各サブ帯域成分を合成する合成手段と、
を有することを特徴とする映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解像度スケーラビリティを有する映像符号化方法に関する。
【背景技術】
【０００２】
映像は、もはや我々の生活とは切り離せない関係にあり、インターネットや携帯電話網、放送波、蓄積メディアなどの伝送手段を通じ、パソコンや携帯端末、テレビ、ハイビジョンテレビなどの多様な表示端末において、我々に視覚的な情報を享受させてくれる重要な存在である。
【０００３】
かかる映像は、効率よくユーザに情報を伝達するために、映像符号化技術を用いてより少ないデータ量を持つ映像ストリームに圧縮される。最近では、映像符号化データをすべてダウンロードしてから再生するのではなく、受信した映像符号化データを順次再生する映像ストリーム伝送が盛んになってきている。しかし、従来用いられてきたＨ.２６１方式やＭＰＥＧ（Moving Picture Experts Group）方式などの映像符号化技術では、一度符号化すると復号化に用いられる符号量は一意に決定され、再生する映像の品質を変えることはできない。よって、１つの映像ストリームを通信帯域の異なる２者に提供する場合には、映像を２回符号化しそれぞれの帯域に合わせて伝送するか、または、狭い方の通信帯域に合わせて映像の画質（原画像との誤差の比を表すＳＮＲ）や解像度（画素数を表す空間解像度）、フレームレートを下げて映像を符号化していた。
【０００４】
そこで、いくつかの階層からなるデータ構造を持ち、符号化後も必要に応じてストリームの伝送量を変更することができるスケーラブル映像符号化方式が、現在いくつか考案され規格化されている。スケーラブル映像符号化方式では、画質や解像度、フレームレートなどを映像が符号化された後に選択することができる。なお、画質や解像度を符号化後に選択できることを、一般に、画質スケーラビリティ、解像度スケーラビリティを有する、という。
【０００５】
近年、高度化されたカメラ技術により高精細な映像が様々な分野において見受けられ、スケーラブル映像符号化方式の必要性はますます高まりつつある。
【０００６】
たとえば、特許文献１には、解像度スケーラビリティを有する映像符号化装置が記載されている。この映像符号化装置は、高解像度の映像と低解像度の映像を符号化することができ、低解像度映像符号化ストリームに高域符号化ストリームを付加することにより、高解像度の映像を復号化することができる。
【０００７】
具体的には、図示しないが、入力された高解像度画像信号から、低域通過型フィルタで低周波成分信号を抽出し、高域通過型フィルタで第１の高周波成分信号を抽出する。そして、低周波成分信号から、別の高域通過型フィルタで第２の高周波成分信号をさらに抽出し、高域符号化部において第１および第２の高周波成分信号を符号化する。この符号化処理は、量子化とＶＬＣの各処理を施すことによって行われる。一方、低周波成分信号は、低解像度映像の符号化を行う低解像度映像符号化部で符号化される。この符号化処理は、直交変換、量子化、およびＶＬＣの各処理を施すことによって行われる。
【０００８】
これにより、この映像符号化装置は、高解像度の入力映像に対して、２段階の解像度を持つスケーラブル符号化を施すことができる。
【０００９】
なお、画質スケーラビリティを有する映像符号化技術としては、たとえば、ＭＰＥＧ−４ ＦＧＳ（Fine Granularity Scalability）が知られている。このＭＰＥＧ−４ ＦＧＳは、ＩＳＯ／ＩＥＣ １４４９６−２ Ａｍｅｎｄｍｅｎｔ ２に規定されているスケーラブル映像符号化方式の１つであり、とりわけ映像ストリームの画質を微細に選択することが可能な符号化方法として規格化されている。
【００１０】
ＭＰＥＧ−４ ＦＧＳで符号化された映像ストリームは、基本レイヤストリームと拡張レイヤストリームによって構成される。基本レイヤストリームは、単体で復号化が可能な低帯域で低画質の映像ストリームであり、拡張レイヤストリームは、基本レイヤストリームの画質を向上させるための映像ストリームである。ＭＰＥＧ−４ ＦＧＳは、階層的に符号化されたレイヤ構造と、拡張レイヤストリームに用いられるビット平面ＶＬＣ（Variable Length Coding：可変長符号化）と呼ばれる符号化処理などにより、伝送する符号量を１フレーム（１画面、１画像）ごとに制御することが可能であり、伝送速度や求められる画像品質に非常に柔軟に対応することができる。なお、ビット平面ＶＬＣについては、後で詳細に説明する。
【００１１】
図４０は、ＭＰＥＧ−４ ＦＧＳを適用した映像符号化装置の基本構成を示すブロック図である。
【００１２】
この映像符号化装置１０は、まず、映像入力部１２で、映像信号（原画像）を１フレーム（画面）ごとに入力し、基本レイヤ符号化部１４および差分部２０に渡す。
【００１３】
基本レイヤ符号化部１４は、映像入力部１２から取得した原画像に対してＭＰＥＧ符号化を行って基本レイヤストリームを生成し、基本レイヤ出力部１６および基本レイヤ復号化部１８に渡す。基本レイヤ出力部１６は、基本レイヤ符号化部１４から取得した基本レイヤストリームを当該映像符号化装置１０の外部に出力する。一方、基本レイヤ復号化部１８は、基本レイヤ符号化部１４から取得した基本レイヤストリームを復号化し、復号化画像を差分部２０に渡す。
【００１４】
差分部２０は、映像入力部１２から取得した原画像と基本レイヤ復号化部１８から取得した復号化画像との差分を取って、差分画像を拡張レイヤＤＣＴ部２２に渡す。拡張レイヤＤＣＴ部２２は、差分部２０から取得した差分画像に対して、８×８画素ブロックごとにＤＣＴ（Discrete Cosine Transform）変換を行ってＤＣＴ係数を生成し、拡張レイヤビット平面ＶＬＣ部２４に出力する。拡張レイヤビット平面ＶＬＣ部２４は、拡張レイヤＤＣＴ部２２から取得したＤＣＴ係数に対して、ビット平面ＶＬＣ処理を行って拡張レイヤストリームを生成し、拡張レイヤ出力部２６に渡す。拡張レイヤ出力部２６は、拡張レイヤビット平面ＶＬＣ部２４から取得した拡張レイヤストリームを当該映像符号化装置１０の外部に出力する。
【特許文献１】特開２００１−１６５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１に記載の映像符号化装置においては、上記のように、高解像度の入力映像に対して、２段階の解像度を持つスケーラブル符号化を施すことができるものの、高域成分の符号化処理として量子化とＶＬＣの処理がただ単に用いられているのみであり、符号化効率については一切考慮されていない。そのため、今後、処理すべきデータ量の増大に伴い、解像度を選択することが可能な映像ストリームを高効率に生成することが強く望まれている。
【００１６】
なお、ＭＰＥＧ−４ ＦＧＳにおいては、上記のように映像の符号化後に画質の選択は可能であるが、解像度の選択はできない。そのため、さらには、解像度と画質の両方を選択することができ、しかも、高い符号化効率を有する映像符号化方法の実現が、強く望まれている。
【００１７】
本発明は、かかる点に鑑みてなされたものであり、符号化効率の向上を図りつつ解像度スケーラビリティを実現することができる映像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
（１）本発明の映像符号化方法は、第１の解像度を有する第１解像度画像を、前記第１解像度よりも低解像度である第２の解像度を有する第２解像度画像成分と、水平成分、垂直成分、および対角成分のうち少なくとも１つのサブ帯域成分とに分割する帯域分割ステップと、分割後のサブ帯域成分に対してＤＣＴ処理を行うＤＣＴステップと、各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いて、ＤＣＴ処理後のサブ帯域成分を符号化する符号化ステップと、を有するようにした。
【００１９】
この方法によれば、第１解像度画像を帯域分割して得たサブ帯域成分をＤＣＴ処理した後、各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いて、ＤＣＴ処理後のサブ帯域成分を符号化するため、符号化後に解像度を選択することが可能な映像ストリームを生成することができ、サブ帯域成分を合成することにより解像度の選択が可能になる。つまり、解像度スケーラビリティを実現することができる。
【００２０】
しかも、水平成分、垂直成分、対角成分をＤＣＴ処理した場合、各サブ帯域成分のＤＣＴ係数に統計上それぞれ一定の偏りが発生するため、この偏り（統計結果）を利用して走査方法（具体的には、たとえば、走査の順序や範囲など）を決定することにより、効率的に符号化を行うことが可能になる。すなわち、符号化効率の向上を図りつつ解像度スケーラビリティを実現することができる。
【００２１】
（２）本発明の映像符号化方法は、上記の方法において、前記第２解像度画像を縮小して前記第２解像度画像よりも低解像度である第３の解像度を有する第３解像度画像を生成するステップと、前記第２解像度画像と、生成された第３解像度画像の拡大画像との差分画像を生成するステップと、をさらに有し、前記ＤＣＴステップは、分割後のサブ帯域成分および生成された差分画像に対してＤＣＴ処理を行い、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分および差分画像を符号化する、ようにした。
【００２２】
この方法によれば、サブ帯域成分のみならず差分画像をもＤＣＴ処理して符号化するため、ストリームの数が増える分、解像度の選択数が多くなり、より細かな解像度スケーラビリティを実現することができる。
【００２３】
（３）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分が水平成分である場合、水平成分のＤＣＴ係数を垂直低周波成分から垂直高周波成分へ走査することにより、垂直低周波成分を優先して符号化を行う、ようにした。
【００２４】
この方法によれば、水平成分のＤＣＴ係数の偏りに着目して、水平成分のＤＣＴ係数を垂直低周波成分から垂直高周波成分へ走査するため、この走査において「０」のビットが走査の後半に偏り、たとえば、ビット平面ＶＬＣの場合、ＥＯＰ（End Of Plane）信号を早期に挿入することができ、これにより、符号長が短くなり、高い符号化効率を実現することができる。
【００２５】
（４）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分が垂直成分である場合、垂直成分のＤＣＴ係数を水平低周波成分から水平高周波成分へ走査することにより、水平低周波成分を優先して符号化を行う、ようにした。
【００２６】
この方法によれば、垂直成分のＤＣＴ係数の偏りに着目して、垂直成分のＤＣＴ係数を水平低周波成分から水平高周波成分へ走査するため、この走査において「０」のビットが走査の後半に偏り、たとえば、ビット平面ＶＬＣの場合、ＥＯＰ信号を早期に挿入することができ、これにより、符号長が短くなり、高い符号化効率を実現することができる。
【００２７】
（５）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分が対角成分である場合、対角成分のＤＣＴ係数を水平高周波かつ垂直高周波成分から水平低周波かつ垂直低周波成分へ斜めに走査することにより、水平高周波かつ垂直高周波成分を優先して符号化を行う、ようにした。
【００２８】
この方法によれば、対角成分のＤＣＴ係数の偏りに着目して、対角成分のＤＣＴ係数を水平高周波かつ垂直高周波成分から水平低周波かつ垂直低周波成分へ斜めに走査するため、この走査において「０」のビットが走査の後半に偏り、たとえば、ＥＯＰ信号を早期に挿入することができ、これにより、符号長が短くなり、高い符号化効率を実現することができる。
【００２９】
（６）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分に対してビット平面ＶＬＣ処理を行う、ようにした。
【００３０】
この方法によれば、ＤＣＴ処理後のサブ帯域成分に対してビット平面ＶＬＣ処理を行うため、伝送する符号量を１フレームごとに制御すること、つまり、画質の選択が可能になり、画質スケーラビリティを実現することができる。すなわち、解像度スケーラビリティと画質スケーラビリティの両方を実現することができる。
【００３１】
（７）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分に対してビット平面ＶＬＣ処理を行う際に、ビット平面に応じて走査の長さを可変する、ようにした。
【００３２】
この方法によれば、ビット平面に応じて走査の長さを可変する、つまり、ビット平面ごとに可変長符号化するＤＣＴ係数の個数を変えて復号化画像の画質への影響が小さいＤＣＴ係数を少なく符号化する、たとえば、下位のビット平面ほど走査を短くするため、画質への影響が少ないＤＣＴ成分の重要でない下位ビットの符号化が省略され、高い符号化効率を実現することができる（符号化効率の向上）とともに、可変長符号化する長さが短くなり、処理の高速化を図ることができる（符号化速度の向上）。
【００３３】
（８）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分のＤＣＴ係数を関数で近似して誤差を符号化する、ようにした。
【００３４】
この方法によれば、各サブ帯域成分のＤＣＴ係数の分布の偏りに着目して、各サブ帯域成分のＤＣＴ係数を関数で近似して誤差を符号化するため、符号化する情報量を少なくすることができ、符号化効率を向上することができる。
【００３５】
（９）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分を符号化する際に、ＤＣＴ処理後の各サブ帯域成分をビット平面ごとに１つのストリームに多重化する、ようにした。
【００３６】
この方法によれば、各サブ帯域成分をビット平面ごとに１つのストリームに多重化するため、効率的に画質を向上することができる。
【００３７】
（１０）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後の各サブ帯域成分をビット平面ごとに１つのストリームに多重化する際に、水平成分、垂直成分、対角成分の順に優先して多重化を行う、ようにした。
【００３８】
この方法によれば、水平成分、垂直成分、対角成分の順に、つまり、人間の視覚に敏感な（主観画質への影響が大きい）サブ帯域成分の順に、優先的に多重化を行うため、効率的に画質を向上することができる。
【００３９】
（１１）本発明の映像符号化方法は、上記の方法において、前記符号化ステップは、ＤＣＴ処理後のサブ帯域成分に対して量子化処理およびＶＬＣ処理を行う、ようにした。
【００４０】
この方法によれば、ＤＣＴ処理後のサブ帯域成分に対して量子化処理およびＶＬＣ処理を行うため、量子化処理を行った後、各サブ帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いてＶＬＣ処理を行うことで、「０」のビットが走査の後半に偏り、ＥＯＢ（End Of Block）信号を早期に挿入することができ、これにより、符号長が短くなり、そもそも量子化処理が高効率であることと相俟って、より高い符号化効率を実現することができる。
【００４１】
（１２）本発明の映像復号化方法は、上記（１）記載の映像符号化方法を用いて生成された各サブ帯域成分のストリームを復号化する復号化ステップと、復号化後の各サブ帯域成分に対して逆ＤＣＴ処理を行う逆ＤＣＴステップと、逆ＤＣＴ処理後の各サブ帯域成分を合成する合成ステップと、を有するようにした。
【００４２】
この方法によれば、上記（１）記載の映像符号化方法を用いて生成された各サブ帯域成分のストリームを復号化し、逆ＤＣＴ処理して合成するため、上記（１）記載の映像符号化方法と相俟って、解像度スケーラビリティを実現することができる。
【００４３】
（１３）本発明の映像復号化方法は、上記の方法において、所定の情報に基づいて、復号化するストリームを選択する選択ステップ、をさらに有し、前記復号化ステップは、選択されたストリームに対して復号化を行う、ようにした。
【００４４】
この方法によれば、所定の情報に基づいて、復号化するストリームを選択するため、たとえば、映像復号化装置の状態（処理能力、表示装置の解像度、伝送速度など）に応じて解像度を選択することができる。
【００４５】
（１４）本発明の映像復号化方法は、上記の方法において、所定の情報に基づいて、復号化するストリームの符号量を選択する選択ステップ、をさらに有し、前記復号化ステップは、選択された符号量のストリームに対して復号化を行う、ようにした。
【００４６】
この方法によれば、所定の情報に基づいて、復号化するストリームの符号量を選択するため、ある解像度において、たとえば、映像復号化装置の状況（処理能力、表示装置の解像度、伝送速度など）に応じて画質を選択することができる。
【発明の効果】
【００４７】
以上説明したように、本発明によれば、符号化効率の向上を図りつつ解像度スケーラビリティを実現することができる。
【発明を実施するための最良の形態】
【００４８】
本発明の骨子は、高解像度を有する原画像（第１解像度画像）を帯域分割して低周波成分（第２解像度画像成分）と他のサブ帯域成分（水平成分、垂直成分、対角成分）を生成し、各サブ帯域成分にＤＣＴ処理と符号化処理（たとえば、ビット平面ＶＬＣ）を施すことにより、符号化後に解像度を選択することが可能な映像ストリームを高効率に生成することである。
【００４９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態では、一例として、たとえば、解像度を低・中・高の３段階で選択可能な場合を例にとって説明する。
【００５０】
（実施の形態１）
図１は、本発明の実施の形態１に係る映像符号化方法を適用した映像符号化装置の構成を示すブロック図である。
【００５１】
図１に示す映像符号化装置１００は、映像信号入力部１０２、帯域分割部１０４、縮小部１０６、低域レイヤ符号化部１０８、低域レイヤ出力部１１０、低域レイヤ復号化部１１２、拡大部１１４、差分部１１６、中域レイヤＤＣＴ部１１８、中域レイヤビット平面ＶＬＣ部１２０、中域レイヤ出力部１２２、水平レイヤＤＣＴ部１２４、水平レイヤビット平面ＶＬＣ部１２６、水平レイヤ出力部１２８、垂直レイヤＤＣＴ部１３０、垂直レイヤビット平面ＶＬＣ部１３２、垂直レイヤ出力部１３４、対角レイヤＤＣＴ部１３６、対角レイヤビット平面ＶＬＣ部１３８、および対角レイヤ出力部１４０を有する。
【００５２】
映像符号化装置１００によって生成されるストリームは、単独で復号化して低解像度復号化画像を生成可能な低域レイヤストリーム、低解像度復号化画像に付加して中解像度復号化画像を生成可能な中域レイヤストリーム、ならびにそれぞれ中解像度復号化画像に付加して高解像度復号化画像を生成可能な水平レイヤストリーム、垂直レイヤストリーム、および対角レイヤストリームである。
【００５３】
映像信号入力部１０２は、１フレームごとに高解像度原画像を入力する。すなわち、高解像度の映像を入力し、入力した映像を１フレームごとに高解像度原画像として帯域分割部１０４に渡す。
【００５４】
帯域分割部１０４は、映像信号入力部１０２から出力された高解像度原画像を４つの帯域成分に分割する。すなわち、映像信号入力部１０２から高解像度原画像を取得し、帯域分割を行って４つの帯域成分、具体的には、中解像度画像、水平成分、垂直成分、および対角成分に分割し、中解像度画像を縮小部１０６および差分部１１６に、水平成分を水平レイヤＤＣＴ部１２４に、垂直成分を垂直レイヤＤＣＴ部１３０に、対角成分を対角レイヤＤＣＴ部１３６にそれぞれ渡す。
【００５５】
なお、本明細書中、「サブ帯域成分」とは、中解像度画像以外の帯域成分、つまり、水平成分、垂直成分、および対角成分を意味する。
【００５６】
図２（Ａ）は、帯域分割前の高解像度原画像を示し、図２（Ｂ）は、帯域分割後の各帯域成分を示している。
【００５７】
各帯域成分の解像度は、縦横ともに高解像度原画像の半分であり、画素数は４分の１である。中解像度画像は、高解像度原画像の縮小画像である。水平成分は、中解像度画像を縦横ともに２倍に拡大したときの、高解像度原画像との水平方向の誤差成分である。垂直成分は、中解像度画像を縦横ともに２倍に拡大したときの、高解像度原画像との垂直方向の誤差成分である。対角成分は、中解像度画像を縦横ともに２倍に拡大したときの、高解像度原画像との対角方向の誤差成分である。
【００５８】
下記の（式１）〜（式４）は、帯域分割方法の一例を示す式である。
【００５９】
a[x][y]=(p[2x][2y]+p[2x+1][2y]+p[2x][2y+1]+p[2x+1][2y+1])/4     ‥（式１）
h[x][y]=(-p[2x][2y]+p[2x+1][2y]-p[2x][2y+1]+p[2x+1][2y+1])/4    ‥（式２）
v[x][y]=(-p[2x][2y]-p[2x+1][2y]+p[2x][2y+1]+p[2x+1][2y+1])/4    ‥（式３）
d[x][y]=(-p[2x][2y]+p[2x+1][2y]+p[2x][2y+1]-p[2x+1][2y+1])/4    ‥（式４）
この帯域分割方法では、上下左右に２画素ずつ並んだ４画素のブロックに高解像度原画像を区切り、その４画素の座標に対応する中解像度画像および水平・垂直・対角成分を算出する。ここで、「ｐ」は、高解像度原画像の画素値であり、添字［ｘ］、［ｙ］は、左上を原点とした座標（ｘ,ｙ）の画素値である。
【００６０】
（式１）で計算される「ａ」は、中解像度復号化画像の画素値を表し、４画素のｐの平均値である。（式２）で計算される「ｈ」は、水平成分の画素値を表し、右側２画素の和から左側２画素の和を減じた値である。（式３）で計算される「ｖ」は、垂直成分の画素値を表し、上側２画素の和から下側２画素の和を減じた値である。（式４）で計算される「ｄ」は、対角成分の画素値を表し、左上と右下２画素の和から右上と左下２画素の和を減じた値である。
【００６１】
なお、上記（式１）〜（式４）に示す帯域分割方法は単なる一例であり、本発明はこれに限定されない。たとえば、ドベシーやメイエのウエーブレット関数、ハイパスフィルタとローパスフィルタとダウンサンプラの組合せなどを用いて帯域分割を行ってもよい。
【００６２】
縮小部１０６は、帯域分割部１０４で帯域分割して得られた中解像度画像を縮小して低解像度画像を生成する。すなわち、帯域分割部１０４から中解像度画像を取得し、取得した中解像度画像を縮小して低解像度画像を生成し、低域レイヤ符号化部１０８に渡す。
【００６３】
図２（Ｃ）は、低解像度画像を示している。低解像度画像の解像度は、縦横ともに高解像度原画像の４分の１であり、画素数は１６分の１である。
【００６４】
低域レイヤ符号化部１０８は、縮小部１０６から出力された低解像度画像を符号化して低域レイヤストリームを生成する。本実施の形態では、既存の方法や装置との互換性に鑑みて、低域レイヤ符号化部１０８の符号化方法として、公知のＭＰＥＧ−４ ＡＳＰ（Advanced Simple Profile）を使用する。すなわち、縮小部１０６から低解像度画像を取得し、取得した低解像度画像に対して、ＤＣＴ、量子化、ＶＬＣ、予測符号化などを行って、単体で復号化可能な低域レイヤストリームを生成し、低域レイヤ出力部１１０および低域レイヤ復号化部１１２にそれぞれ渡す。
【００６５】
なお、もちろん、ここでの符号化方法は、ＭＰＥＧ−４ ＡＳＰに限定されず、他の符号化方法を用いてもよい。
【００６６】
低域レイヤ出力部１１０は、低域レイヤ符号化部１０８から出力された低域レイヤストリームを外部に出力する。すなわち、低域レイヤ符号化部１０８から低域レイヤストリームを取得し、映像符号化装置１００の外部に出力する。
【００６７】
低域レイヤ復号化部１１２は、低域レイヤ符号化部１０８から出力された低域レイヤストリームを復号化して低解像度復号化画像を生成する。すなわち、低域レイヤ符号化部１０８から低域レイヤストリームを取得し、取得した低域ストリームを復号化して低解像度復号化画像を生成し、拡大部１１４に渡す。
【００６８】
拡大部１１４は、低域レイヤ復号化部１１２から出力された低解像度復号化画像を拡大する。すなわち、低域レイヤ復号化部１１２から低解像度復号化画像を取得し、取得した低解像度復号化画像を拡大して拡大低解像度復号化画像を生成し、差分部１１６に渡す。拡大低解像度復号化画像の解像度は、中解像度画像の解像度に等しい。
【００６９】
本実施の形態では、既存の方法や装置との互換性に鑑みて、差分部１１６、中域レイヤＤＣＴ部１１８、および中域レイヤビット平面ＶＬＣ部１２０の符号化方法として、ＭＰＥＧ−４ ＦＧＳの拡張レイヤの符号化方法を使用する。
【００７０】
ここで、ビット平面とは、２進数で表されたいくつかの数値の同じビット位のみを並べたビット列のことである。また、ビット平面ＶＬＣとは、ビット平面ごとに可変長符号化処理を行う符号化方法である。
【００７１】
以下に、ビット平面符号化の概念を簡単に説明しておく。
【００７２】
たとえば、０から１５までの１０進数の整数から任意に選んだ４つの整数、「５」、「１４」、「３」、「１５」を伝送する場合を考える。１０進数の「５」、「１４」、「３」、「１５」を４ビットの２進数に直すと、それぞれ「０１０１」、「１１１０」、「００１１」、「１１１１」となる。そして、これらの数字を上位ビットからビット平面ごとに並べると、「０１０１」、「１１０１」、「０１１１」、「１０１１」となる。伝送速度が制限されている場合、上位のビット平面から優先して送信すれば、情報の劣化は少ない。具体的には、３つのビット平面しか伝送できない場合でも、「０１０１」、「１１０１」、「０１１１」から、１０進数の「４」、「１４」、「２」、「１４」を得ることができる。
【００７３】
映像符号化においてビット平面符号化を用いると、復号化の際にビット平面の数に応じて画質を選択することができる、つまり、画質スケーラビリティを得ることができる。
【００７４】
また、ビット平面符号化に用いられるＶＬＣであるビット平面ＶＬＣについても簡単に説明しておく。
【００７５】
ビット平面ＶＬＣでは、零（０）ラン（RUN）長符号化を用いており、８×８個のＤＣＴ係数を走査して、「１」が出現するまでの「０」の出現個数と、ビット平面のそれ以降の走査に「１」が出現しないことを示すＥＯＰ（End Of Plane）信号とを用いて可変長符号化を行う。ここで、走査とは、ＤＣＴ係数を順番に可変長符号化する処理のことである。
【００７６】
差分部１１６は、帯域分割部１０４から出力された中解像度画像と拡大部１１４から出力された拡大低解像度復号化画像との差分画像を生成する。すなわち、帯域分割部１０４から中解像度画像を取得するとともに、拡大部１１４から拡大低解像度復号化画像を取得し、両画像の差分を取って差分画像を生成し、中域レイヤＤＣＴ部１１８に渡す。
【００７７】
中域レイヤＤＣＴ部１１８は、差分部１１６から出力された差分画像をＤＣＴ処理する。すなわち、差分部１１６から差分画像を取得し、取得した差分画像を８×８画素ブロックごとにＤＣＴ処理して中域成分ＤＣＴ係数を生成し、中域レイヤビット平面ＶＬＣ部１２０に渡す。
【００７８】
中域レイヤビット平面ＶＬＣ部１２０は、中域レイヤＤＣＴ部１１８から出力されたＤＣＴ処理後の差分画像をビット平面ＶＬＣ処理して中域レイヤストリームを生成する。すなわち、中域レイヤＤＣＴ部１１８から中域成分ＤＣＴ係数を取得し、取得した中域成分ＤＣＴ係数をビット平面ごとにＶＬＣ処理して中域レイヤストリームを生成し、中域レイヤ出力部１２２に渡す。
【００７９】
中域レイヤ出力部１２２は、中域レイヤビット平面ＶＬＣ部１２０から出力された中域レイヤストリームを外部に出力する。すなわち、中域レイヤビット平面ＶＬＣ部１２０から中域レイヤストリームを取得し、映像符号化装置１００の外部に出力する。
【００８０】
水平レイヤＤＣＴ部１２４は、帯域分割部１０４で帯域分割して得られた水平成分をＤＣＴ処理する。すなわち、帯域分割部１０４から水平成分を取得し、取得した水平成分を８×８画素ブロックごとにＤＣＴ処理して水平成分ＤＣＴ係数を生成し、水平レイヤビット平面ＶＬＣ部１２６に渡す。
【００８１】
水平レイヤビット平面ＶＬＣ部１２６は、水平レイヤＤＣＴ部１２４から出力されたＤＣＴ処理後の水平成分をビット平面ＶＬＣ処理して水平レイヤストリームを生成する。すなわち、水平レイヤＤＣＴ部１２４から水平成分ＤＣＴ係数を取得し、取得した水平成分ＤＣＴ係数をビット平面ごとにＶＬＣ処理して水平レイヤストリームを生成し、水平レイヤ出力部１２８に渡す。
【００８２】
水平レイヤ出力部１２８は、水平レイヤビット平面ＶＬＣ部１２６から出力された水平レイヤストリームを外部に出力する。すなわち、水平レイヤビット平面ＶＬＣ部１２６から水平レイヤストリームを取得し、映像符号化装置１００の外部に出力する。
【００８３】
垂直レイヤＤＣＴ部１３０は、帯域分割部１０４で帯域分割して得られた垂直成分をＤＣＴ処理する。すなわち、帯域分割部１０４から垂直成分を取得し、取得した垂直成分を８×８画素ブロックごとにＤＣＴ処理して垂直成分ＤＣＴ係数を生成し、垂直レイヤビット平面ＶＬＣ部１３２に渡す。
【００８４】
垂直レイヤビット平面ＶＬＣ部１３２は、垂直レイヤＤＣＴ部１３０から出力されたＤＣＴ処理後の垂直成分をビット平面ＶＬＣ処理して垂直レイヤストリームを生成する。すなわち、垂直レイヤＤＣＴ部１３０から垂直成分ＤＣＴ係数を取得し、取得した垂直成分ＤＣＴ係数をビット平面ごとにＶＬＣ処理して垂直レイヤストリームを生成し、垂直レイヤ出力部１３４に渡す。
【００８５】
垂直レイヤ出力部１３４は、垂直レイヤビット平面ＶＬＣ部１３２から出力された垂直レイヤストリームを外部に出力する。すなわち、垂直レイヤビット平面ＶＬＣ部１３２から垂直レイヤストリームを取得し、映像符号化装置１００の外部に出力する。
【００８６】
対角レイヤＤＣＴ部１３６は、帯域分割部１０４で帯域分割して得られた対角成分をＤＣＴ処理する。すなわち、帯域分割部１０４から対角成分を取得し、取得した対角成分を８×８画素ブロックごとにＤＣＴ処理して対角成分ＤＣＴ係数を生成し、対角レイヤビット平面ＶＬＣ部１３８に渡す。
【００８７】
対角レイヤビット平面ＶＬＣ部１３８は、対角レイヤＤＣＴ部１３６から出力されたＤＣＴ処理後の対角成分をビット平面ＶＬＣ処理して対角レイヤストリームを生成する。すなわち、対角レイヤＤＣＴ部１３６から対角成分ＤＣＴ係数を取得し、取得した対角成分ＤＣＴ係数をビット平面ごとにＶＬＣ処理して対角レイヤストリームを生成し、対角レイヤ出力部１４０に渡す。
【００８８】
対角レイヤ出力部１４０は、対角レイヤビット平面ＶＬＣ部１３８から出力された対角レイヤストリームを外部に出力する。すなわち、対角レイヤビット平面ＶＬＣ部１３８から対角レイヤストリームを取得し、映像符号化装置１００の外部に出力する。
【００８９】
ここで、本発明の骨子である、帯域分割により生成された水平成分、垂直成分、および対角成分の符号化について説明する。
【００９０】
図３（Ａ）〜図３（Ｄ）は、図２（Ｂ）における４つの帯域成分のＤＣＴ係数の絶対値の統計の一例を示す３次元グラフである。ここでは、たとえば、元の映像は３５２×２８８画素の人物の動画像１００枚であり、これらの動画像に対し、８×８画素ブロックごとにＤＣＴ処理を行い、全画像の全画素ブロックのＤＣＴ係数において、周波数成分ごとに絶対値の平均値を算出したものである。
【００９１】
図３（Ａ）は、中解像度画像のＤＣＴ係数の絶対値の統計の一例である。このグラフから、中解像度画像のＤＣＴ係数は、水平低周波かつ垂直低周波に偏って分布していることがわかる。
【００９２】
図３（Ｂ）は、水平成分のＤＣＴ係数の絶対値の統計の一例である。このグラフから、水平成分のＤＣＴ係数は、垂直低周波に偏って分布していることがわかる。特に、水平成分のＤＣＴ係数は、水平低周波かつ垂直高周波が統計的に最も小さくなっている。
【００９３】
図３（Ｃ）は、垂直成分のＤＣＴ係数の絶対値の統計の一例である。このグラフから、垂直成分のＤＣＴ係数は、水平低周波に偏って分布していることがわかる。特に、垂直成分のＤＣＴ係数は、垂直低周波かつ水平高周波が統計的に最も小さくなっている。
【００９４】
図３（Ｄ）は、対角成分のＤＣＴ係数の絶対値の統計の一例である。このグラフから、対角成分のＤＣＴ係数は、水平高周波かつ垂直高周波に偏って分布していることがわかる。特に、対角成分のＤＣＴ係数は、水平低周波かつ垂直低周波が統計的に最も小さくなっている。
【００９５】
本発明者らは、帯域分割後の各成分のＤＣＴ係数の分布に統計上一定の偏りがあることを発見し、これを基に本発明を行った。すなわち、本発明では、ある解像度画像を帯域分割して得た各成分にＤＣＴ処理を行うことで、帯域成分ごとにＤＣＴ係数の分布に一定の偏りを発生させ（図３（Ａ）〜（Ｄ）参照）、これらの偏り（統計結果）を利用して符号化効率を向上させるようにしている。
【００９６】
以下、その方法を具体的に説明する。
【００９７】
図４（Ａ）〜図４（Ｃ）は、各成分の８×８ＤＣＴ係数の走査順序の一例を示す図である。ここで、図４（Ａ）は、水平成分の８×８ＤＣＴ係数の走査順序の一例を示し、図４（Ｂ）は、垂直成分の８×８ＤＣＴ係数の走査順序の一例を示し、図４（Ｃ）は、対角成分の８×８ＤＣＴ係数の走査順序の一例を示している。図４（Ａ）〜図４（Ｃ）において、走査は、矢印の順に行われる。すなわち、ジグザグスキャンが行われる。
【００９８】
ここでは、一例として、水平成分に対するジグザグスキャンを例にとって説明する。
【００９９】
上記のように、図４（Ａ）は、水平成分の８×８画素ブロックのＤＣＴ係数をビット平面ＶＬＣ処理する走査順序の一例を示しており、矢印の順に走査（ジグザグスキャン）を行う。すなわち、図３（Ｂ）に示す統計結果に基づいて、つまり、水平成分のＤＣＴ係数が垂直低周波に偏って分布している点に着目して、６４個のＤＣＴ係数を、垂直低周波を優先して垂直高周波へと水平に順次走査する。これにより、ビット平面ＶＬＣ処理の際には、ビット平面内の走査の最初の方には「１」の値が多く出現し、走査の最後の方には「０」の値が多く出現することになり、ＥＯＰ信号を用いて符号長を短くすることができる。なお、走査は、符号化の間、一定の順序で行う。
【０１００】
さらに詳細に説明すると、走査順序は、図４（Ａ）〜図４（Ｃ）に示す例に限定されない。
【０１０１】
図５（Ａ）〜図５（Ｅ）は、それぞれ水平成分に対する走査順序の一例を示している。上記のように、水平成分のＤＣＴ係数は、水平低周波かつ垂直高周波が統計的に最も小さくなっているため、たとえば、
・垂直低周波から垂直高周波へ、水平周波数軸方向に（水平低周波から水平高周波へ）走査すること（図５（Ａ）参照）
・垂直低周波から垂直高周波へ、水平周波数軸方向に（水平高周波から水平低周波へ）走査すること（図５（Ｂ）参照）
・垂直低周波から垂直高周波へ、水平周波数軸方向に途中から方向を変更して（垂直低周波では水平低周波から水平高周波へ、垂直高周波では水平高周波から水平低周波へ）走査すること（図５（Ｃ）参照）
・水平高周波かつ垂直低周波から水平低周波かつ垂直高周波へ、斜め方向に（水平高周波かつ垂直高周波から水平低周波かつ垂直低周波へ）走査すること（図５（Ｄ）参照）
・水平高周波かつ垂直低周波から水平低周波かつ垂直高周波へ、斜め方向に（水平低周波かつ垂直低周波から水平高周波かつ垂直高周波へ）走査すること（図５（Ｅ）参照）
の４つの形態をとることができる。なお、図４（Ａ）は、図５（Ａ）に対応している。
【０１０２】
図６（Ａ）〜図６（Ｅ）は、それぞれ垂直成分に対する走査順序の一例を示している。上記のように、垂直成分のＤＣＴ係数は、垂直低周波かつ水平高周波が統計的に最も小さくなっているため、たとえば、
・水平低周波から水平高周波へ、垂直周波数軸方向に（垂直低周波から垂直高周波へ）走査すること（図６（Ａ）参照）
・水平低周波から水平高周波へ、垂直周波数軸方向に（垂直高周波から垂直低周波へ）走査すること（図６（Ｂ）参照）
・水平低周波から水平高周波へ、垂直周波数軸方向に途中から方向を変更して（水平低周波では垂直低周波から垂直高周波へ、水平高周波では垂直高周波から垂直低周波へ）走査すること（図６（Ｃ）参照）
・水平低周波かつ垂直高周波から水平高周波かつ垂直低周波へ、斜め方向に（水平高周波かつ垂直高周波から水平低周波かつ垂直低周波へ）走査すること（図６（Ｄ）参照）
・水平低周波かつ垂直高周波から水平高周波かつ垂直低周波へ、斜め方向に（水平低周波かつ垂直低周波から水平高周波かつ垂直高周波へ）走査すること（図６（Ｅ）参照）
の４つの形態をとることができる。なお、図４（Ｂ）は、図６（Ａ）に対応している。
【０１０３】
図７（Ａ）および図７（Ｂ）は、それぞれ対角成分に対する走査順序の一例を示している。上記のように、対角成分のＤＣＴ係数は、水平低周波かつ垂直低周波が統計的に最も小さくなっているため、たとえば、
・水平高周波かつ垂直高周波から水平低周波かつ垂直低周波へ、斜め方向に（水平低周波かつ垂直高波から水平高周波かつ垂直低周波へ）走査すること（図７（Ａ）参照）
・水平高周波かつ垂直高周波から水平低周波かつ垂直低周波へ、斜め方向に（水平高周波かつ垂直低周波から水平低周波かつ垂直高周波へ）走査すること（図７（Ｂ）参照）
の２つの形態をとることができる。なお、図４（Ｃ）は、図７（Ａ）に対応している。
【０１０４】
次に、走査範囲の制限について説明する。
【０１０５】
図８（Ａ）〜図８（Ｄ）は、図４（Ａ）に示す走査順序で走査される、ビット平面ごとのＤＣＴ係数の数（つまり、走査の範囲）の一例を示す図である。ここで、図８（Ａ）は、ＤＣＴ係数のうち「１」の値を持つ最上位のビットを含むビット平面１を示し、図８（Ｂ）は、ビット平面１の１ビット下位のビット平面２を示し、図８（Ｃ）は、ビット平面２の１ビット下位のビット平面３を示し、図８（Ｄ）は、ビット平面３の１ビット下位のビット平面４を示している。図８（Ｂ）〜図８（Ｄ）において、「×」印は、これの付いたＤＣＴ係数を走査しないこと、つまり、符号化しないことを表している。
【０１０６】
このようにビット平面ごとに走査の範囲を制限してもよいのは、上位のビット平面ほど復号化画像の画質に与える影響が大きく、下位のビット平面ほど復号化画像の画質に与える影響が小さいこと、さらに、図３（Ｂ）に示すように、水平成分のＤＣＴ係数において、垂直高周波成分は垂直低周波成分ほど大きな値を持たず、画質への影響も小さいことからである。よって、図８（Ａ）〜図８（Ｄ）に示すように、符号化するビット平面が下位になるに従って、ＤＣＴ係数を走査する長さを短くして垂直低周波成分を優先して符号化し、垂直高周波成分の符号化を省略することによって、符号化効率と符号化速度を向上することができる。なお、各ビット平面を走査する長さは、あらかじめ定めておいてもよく、または、ビット平面の数などに合わせて適応的に変化させてもよい。
【０１０７】
なお、符号化の対象は、ＤＣＴ係数そのものに限定されない。たとえば、図９は、図３（Ｂ）に示す水平成分のＤＣＴ係数の絶対値のグラフを、水平周波数軸と平行な方向から見た図である。図９中の太線その他２次関数や平面関数などでＤＣＴ係数を近似して、その誤差を、たとえば、ビット平面ＶＬＣ処理（または量子化およびＶＬＣ処理）すると、誤差が小さいときに符号化する情報量が削減され、高い符号化効率を得ることができる。
【０１０８】
以上、水平成分の符号化に関して説明したことは、垂直成分および対角成分のＤＣＴ係数の符号化についても同様である。すなわち、それぞれ、図３（Ｃ）、図３（Ｄ）に示す統計結果に基づいて、たとえば、図４（Ｃ）、図４（Ｄ）の走査順序に従って、偏りの大きいＤＣＴ係数から優先して走査する。また、符号化するビット平面が下位になるに従って、偏りの小さいＤＣＴ係数の走査を省略する。
【０１０９】
次いで、上記構成を有する映像符号化装置１００の動作について、図１０に示すフローチャートを用いて説明する。なお、図１０に示すフローチャートは、映像符号化装置１００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１１０】
まず、ステップＳ１０００では、映像信号を入力する映像信号入力処理を行う。具体的には、映像信号入力部１０２で、入力した映像信号から同期信号を検出して、映像信号を構成する原画像を１フレームずつ高解像度原画像として帯域分割部１０４に渡す。
【０１１１】
そして、ステップＳ１１００では、画像の帯域分割処理を行う。具体的には、帯域分割部１０４で、映像信号入力部１０２から取得した高解像度原画像を、たとえば、上記の（式１）〜（式４）を用いて帯域分割し、中解像度画像を縮小部１０６および差分部１１６に、水平成分を水平レイヤＤＣＴ部１２４に、垂直成分を垂直レイヤＤＣＴ部１３０に、対角成分を対角レイヤＤＣＴ部１３６にそれぞれ渡す。
【０１１２】
その後、ステップＳ１２００〜ステップＳ１６００の処理、ステップＳ１７００の処理、ステップＳ１８００の処理、およびステップＳ１９００の処理を並列に行う。
【０１１３】
ステップＳ１２００では、画像の縮小処理を行う。具体的には、縮小部１０６で、帯域分割部１０４から取得した中解像度画像を縮小して低解像度画像を生成し、低域レイヤ符号化部１０８に渡す。
【０１１４】
そして、ステップＳ１３００では、低解像度画像を符号化する低域レイヤ符号化処理を行う。本実施の形態では、上記のように、既存の方法や装置との互換性に鑑みて、低域レイヤ符号処理の符号化方法として、公知のＭＰＥＧ−４ ＡＳＰを使用する。具体的には、低域レイヤ符号部１０８で、縮小部１０６から取得した低解像度画像に対して、ＤＣＴ、量子化、ＶＬＣ、予測符号化などのＭＰＥＧ符号化を行って、単独で復号化可能な低域レイヤストリームを生成し、低域レイヤ出力部１１０および低域レイヤ復号化部１１２にそれぞれ渡す。
【０１１５】
そして、ステップＳ１４００では、低解像度画像を復号化する低域レイヤ復号化処理を行う。具体的には、低域レイヤ復号化部１１２で、低域レイヤ符号化部１０８から取得した低域レイヤストリームを復号化して低解像度復号化画像を生成し、拡大部１１４に渡す。
【０１１６】
そして、ステップＳ１５００では、画像を拡大する拡大処理を行う。具体的には、拡大部１１４で、低域レイヤ復号化部１１２から取得した低解像度復号化画像を拡大して拡大低解像度復号化画像を生成し、差分部１１６に渡す。なお、上記のように、拡大低解像度復号化画像の解像度は、中解像度画像の解像度に等しい。
【０１１７】
そして、ステップＳ１６００では、中解像度画像を符号化する中域レイヤ符号化処理を行う。本実施の形態では、上記のように、既存の方法や装置との互換性に鑑みて、中域レイヤ符号化処理は、ＭＰＥＧ−４ ＦＧＳの拡張レイヤ符号化処理と同様である。
【０１１８】
図１１は、図１０の中域レイヤ符号化処理の手順の一例を示すフローチャートである。
【０１１９】
まず、ステップＳ１６１０では、差分処理を行う。具体的には、差分部１１６で、帯域分割部１０４から取得した中解像度画像と、拡大部１１４から取得した拡大低解像度復号化画像との差分を取って差分画像を生成し、中域レイヤＤＣＴ部１１８に渡す。
【０１２０】
そして、ステップＳ１６２０では、中域レイヤＤＣＴ処理を行う。具体的には、中域レイヤＤＣＴ部１１８で、差分部１１６から取得した差分画像をＤＣＴ処理して中域成分ＤＣＴ係数を生成し、中域レイヤビット平面ＶＬＣ部１２０に渡す。
【０１２１】
そして、ステップＳ１６３０では、中域レイヤビット平面ＶＬＣ処理を行う。具体的には、中域レイヤビット平面ＶＬＣ部１２０で、中域レイヤＤＣＴ部１１８から取得した中域成分ＤＣＴ係数をビット平面ＶＬＣ処理して中域レイヤストリームを生成し、中域レイヤ出力部１２２に渡した後、図１０のフローチャートにリターンする。
【０１２２】
一方、ステップＳ１７００では、水平成分を符号化する水平レイヤ符号化処理を行う。
【０１２３】
図１２は、図１０の水平レイヤ符号化処理の手順の一例を示すフローチャートである。
【０１２４】
まず、ステップＳ１７１０では、水平レイヤＤＣＴ処理を行う。具体的には、水平レイヤＤＣＴ部１２４で、帯域分割部１０４から取得した水平成分をＤＣＴ処理して水平成分ＤＣＴ係数を生成し、水平レイヤビット平面ＶＬＣ部１２６に渡す。
【０１２５】
そして、ステップＳ１７２０では、水平レイヤビット平面ＶＬＣ処理を行う。具体的には、水平レイヤビット平面ＶＬＣ部１２６で、水平レイヤＤＣＴ部１２４から取得した水平成分ＤＣＴ係数をビット平面ＶＬＣ処理して水平レイヤストリームを生成し、水平レイヤ出力部１２８に渡した後、図１０のフローチャートにリターンする。
【０１２６】
一方、ステップＳ１８００では、垂直成分を符号化する垂直レイヤ符号化処理を行う。
【０１２７】
図１３は、図１０の垂直レイヤ符号化処理の手順の一例を示すフローチャートである。
【０１２８】
まず、ステップＳ１８１０では、垂直レイヤＤＣＴ処理を行う。具体的には、垂直レイヤＤＣＴ部１３０で、帯域分割部１０４から取得した垂直成分をＤＣＴ処理して垂直成分ＤＣＴ係数を生成し、垂直レイヤビット平面ＶＬＣ部１３２に渡す。
【０１２９】
そして、ステップＳ１８２０では、垂直レイヤビット平面ＶＬＣ処理を行う。具体的には、垂直レイヤビット平面ＶＬＣ部１３２で、垂直レイヤＤＣＴ部１３０から取得した垂直成分ＤＣＴ係数をビット平面ＶＬＣ処理して垂直レイヤストリームを生成し、垂直レイヤ出力部１３４に渡した後、図１０のフローチャートにリターンする。
【０１３０】
一方、ステップＳ１９００では、対角成分を符号化する対角レイヤ符号化処理を行う。
【０１３１】
図１４は、図１０の対角レイヤ符号化処理の手順の一例を示すフローチャートである。
【０１３２】
まず、ステップＳ１９１０では、対角レイヤＤＣＴ処理を行う。具体的には、対角レイヤＤＣＴ部１３６で、帯域分割部１０４から取得した対角成分をＤＣＴ処理して対角成分ＤＣＴ係数を生成し、対角レイヤビット平面ＶＬＣ部１３８に渡す。
【０１３３】
そして、ステップＳ１９２０では、対角レイヤビット平面ＶＬＣ処理を行う。具体的には、対角レイヤビット平面ＶＬＣ部１３８で、対角レイヤＤＣＴ部１３６から取得した対角成分ＤＣＴ係数をビット平面ＶＬＣ処理して対角レイヤストリームを生成し、対角レイヤ出力部１４０に渡した後、図１０に示すフローチャートにリターンする。
【０１３４】
その後、ステップＳ２１００では、ステップＳ１６００〜ステップＳ１９００で生成されたストリームを出力するストリーム出力処理を行う。具体的には、低域レイヤ出力部１１０で、低域レイヤ符号化部１０８から取得した低域レイヤストリームを、映像符号化装置１００の外部に出力する。また、中域レイヤ出力部１２２で、中域レイヤビット平面ＶＬＣ部１２０から取得した中域レイヤストリームを、映像符号化装置１００の外部に出力する。また、水平レイヤ出力部１２８で、水平レイヤビット平面ＶＬＣ部１２６から取得した水平レイヤストリームを、映像符号化装置１００の外部に出力する。また、垂直レイヤ出力部１３４で、垂直レイヤビット平面ＶＬＣ部１３２から取得した垂直レイヤストリームを、映像符号化装置１００の外部に出力する。また、対角レイヤ出力部１４０で、対角レイヤビット平面ＶＬＣ部１３８から取得した対角レイヤストリームを、映像符号化装置１００の外部に出力する。
【０１３５】
そして、ステップＳ２２００では、一連の映像符号化処理を終了するか否かを判定する符号化終了判定処理を行う。具体的には、たとえば、映像信号入力部１０２で、映像符号化装置１００の外部から入力する映像の有無を判定し、入力映像がある場合は符号化処理を継続すると判定して（Ｓ２２００:ＮＯ）、ステップＳ１０００に戻り、入力映像がない場合は符号化処理を終了すると判定して（Ｓ２２００:ＹＥＳ）、一連の映像符号化処理を終了する。
【０１３６】
以上、本映像符号化においては、映像を符号化して複数の映像ストリームを生成する。
【０１３７】
次に、本実施の形態で符号化された映像ストリームを復号化する映像復号化方法について説明する。
【０１３８】
図１５は、本発明の実施の形態１に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図である。
【０１３９】
図１５に示す映像復号化装置２００は、図１に示す映像符号化装置１００が生成した各帯域のレイヤストリームを復号化して、復号化帯域成分を生成し、各帯域を合成する帯域合成を行って高解像度復元画像を得る。
【０１４０】
この映像復号化装置２００は、低域レイヤ入力部２０２、低域レイヤ復号化部２０４、低解像度映像信号出力部２０６、拡大部２０８、中域レイヤ入力部２１０、中域レイヤビット平面ＶＬＤ部２１２、中域レイヤＩＤＣＴ部２１４、加算部２１６、中解像度映像信号出力部２１８、水平レイヤ入力部２２０、水平レイヤビット平面ＶＬＤ部２２２、水平レイヤＩＤＣＴ部２２４、垂直レイヤ入力部２２６、垂直レイヤビット平面ＶＬＤ部２２８、垂直レイヤＩＤＣＴ部２３０、対角レイヤ入力部２３２、対角レイヤビット平面ＶＬＤ部２３４、対角レイヤＩＤＣＴ部２３６、帯域合成部２３８、および高解像度映像信号出力部２４０を有する。
【０１４１】
低域レイヤ入力部２０２は、低域レイヤストリームを入力する。すなわち、映像復号化装置２００の外部から低域レイヤストリームを入力し、低域レイヤ復号化部２０４に渡す。
【０１４２】
低域レイヤ復号化部２０４は、低域レイヤストリームを復号化して低解像度復号化画像を生成する。本実施の形態では、既存の方法や装置との互換性に鑑みて、低域レイヤ復号化部２０４の復号化方法として、公知のＭＰＥＧ−４ ＡＳＰを使用する。すなわち、低域レイヤ入力部２０２から低域レイヤストリームを取得し、取得した低域レイヤストリームに対して、予測復号化、ＶＬＤ（Variable Length Decoding：可変長復号化）、逆量子化、ＩＤＣＴ（Inverse Discrete Cosine Transform：逆ＤＣＴまたは逆離散コサイン変換）などを行ってＭＰＥＧ復号化して低解像度復号化画像を生成し、低解像度映像信号出力部２０６および拡大部２０８に渡す。低解像度復号化画像の解像度は、中解像度画像の解像度に等しい。
【０１４３】
低解像度映像信号出力部２０６は、低解像度復号化画像を映像復号化装置２００の外部に出力する。すなわち、低域レイヤ復号化部２０４から取得した低解像度復号化画像を映像復号化装置２００の外部に出力する。
【０１４４】
拡大部２０８は、低解像度復号化画像を拡大する。すなわち、低域レイヤ復号化部２０４から取得した低解像度復号化画像を拡大して拡大低解像度復号化画像を生成し、加算部２１６に渡す。なお、符号化と復号化とで整合性を取るため、拡大部２０８の拡大処理アルゴリズムは、映像符号化装置１００の拡大部１１４と同じアルゴリズムを用いることが望ましい。拡大低解像度復号化画像の解像度は、中解像度画像の解像度に等しい。
【０１４５】
中域レイヤ入力部２１０は、中域レイヤストリームを入力する。すなわち、映像復号化装置１００の外部から中域レイヤストリームを入力し、中域レイヤビット平面ＶＬＤ部２１２に渡す。
【０１４６】
本実施の形態では、既存の方法や装置との互換性に鑑みて、中域レイヤビット平面ＶＬＤ部２１２、中域レイヤＩＤＣＴ部２１４、および加算部２１６の復号化方法として、ＭＰＥＧ−４ ＦＧＳの拡張レイヤ復号化方法を使用する。
【０１４７】
中域レイヤビット平面ＶＬＤ部２１２は、中域レイヤストリームをビット平面ＶＬＤ処理する。すなわち、中域レイヤ入力部２１０から取得した中域レイヤストリームをビット平面ＶＬＤ処理して中域レイヤＤＣＴ係数を生成し、中域レイヤＩＤＣＴ部２１４に渡す。
【０１４８】
中域レイヤＩＤＣＴ部２１４は、中域レイヤのＤＣＴ係数をＩＤＣＴ（逆ＤＣＴ）処理する。すなわち、中域レイヤビット平面ＶＬＤ部２１２から取得した中域レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化差分画像を生成し、加算部２１６に渡す。
【０１４９】
加算部２１６は、画像を加算して中解像度復号化画像を生成する。すなわち、拡大部２０８から取得した拡大低解像度復号化画像と、中域レイヤＩＤＣＴ部２１４から取得した復号化差分画像とを加算して中解像度復号化画像を生成し、中解像度映像信号出力部２１８に渡す。中解像度復号化画像の解像度は、符号化した高解像度原画像の解像度の縦横半分で、画素数は４分の１である。
【０１５０】
中解像度映像信号出力部２１８は、中解像度復号化画像を映像復号化装置２００の外部に出力する。すなわち、加算部２１６から取得した中解像度復号化画像を映像復号化装置２００の外部に出力する。
【０１５１】
水平レイヤ入力部２２０は、水平レイヤストリームを入力する。すなわち、映像復号化装置２００の外部から水平レイヤストリームを入力し、水平レイヤビット平面ＶＬＤ部２２２に渡す。
【０１５２】
水平レイヤビット平面ＶＬＤ部２２２は、水平レイヤストリームをビット平面ＶＬＤ処理する。すなわち、水平レイヤ入力部２２０から取得した水平レイヤストリームをビット平面ＶＬＤ処理して水平レイヤＤＣＴ係数を生成し、水平レイヤＩＤＣＴ部２２４に渡す。
【０１５３】
水平レイヤＩＤＣＴ部２２４は、水平レイヤのＤＣＴ係数を逆ＤＣＴ処理する。すなわち、水平レイヤビット平面ＶＬＤ部２２２から取得した水平レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡す。
【０１５４】
垂直レイヤ入力部２２６は、垂直レイヤストリームを入力する。すなわち、映像復号化装置２００の外部から垂直レイヤストリームを入力し、垂直レイヤビット平面ＶＬＤ部２２８に渡す。
【０１５５】
垂直レイヤビット平面ＶＬＤ部２２８は、垂直レイヤストリームをビット平面ＶＬＤ処理する。すなわち、垂直レイヤ入力部２２６から取得した垂直レイヤストリームをビット平面ＶＬＤ処理して垂直レイヤＤＣＴ係数を生成し、垂直レイヤＩＤＣＴ部２３０に渡す。
【０１５６】
垂直レイヤＩＤＣＴ部２３０は、垂直レイヤのＤＣＴ係数を逆ＤＣＴ処理する。すなわち、垂直レイヤビット平面ＶＬＤ部２２８から取得した垂直レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化垂直成分を生成し、帯域合成部２３８に渡す。
【０１５７】
対角レイヤ入力部２３２は、対角レイヤストリームを入力する。すなわち、映像復号化装置２００の外部から対角レイヤストリームを入力し、対角レイヤビット平面ＶＬＤ部２３４に渡す。
【０１５８】
対角レイヤビット平面ＶＬＤ部２３４は、対角レイヤストリームをビット平面ＶＬＤ処理する。すなわち、対角レイヤ入力部２３２から取得した対角レイヤストリームをビット平面ＶＬＤ処理して対角レイヤＤＣＴ係数を生成し、対角レイヤＩＤＣＴ部２３６に渡す。
【０１５９】
対角レイヤＩＤＣＴ部２３６は、対角レイヤのＤＣＴ係数を逆ＤＣＴ処理する。すなわち、対角レイヤビット平面ＶＬＤ部２３４から取得した対角レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化対角成分を生成し、帯域合成部２３８に渡す。
【０１６０】
帯域合成部２３８は、帯域合成を行って高解像度復号化画像を生成する。すなわち、加算部２１６から取得した中解像度復号化画像と、水平レイヤＩＤＣＴ部２２４から取得した復号化水平成分と、垂直レイヤＩＤＣＴ部２３０から取得した復号化垂直成分と、対角レイヤＩＤＣＴ部２３６から取得した復号化対角成分とを帯域合成して高解像度復号化画像を生成し、高解像度映像信号出力部２４０に出力する。高解像度復号化画像の解像度は、符号化した高解像度原画像の解像度に等しい。
【０１６１】
下記の（式５）〜（式８）は、帯域合成方法の一例を示す式であって、上記（式１）〜（式４）を用いて帯域分割された帯域成分を合成するための式である。
【０１６２】
ｐ[2x][2y]＝ａ[x][y]−ｈ[x][y]−ｖ[x][y]−ｄ[x][y]        ‥（式５）
ｐ[2x+1][2y]＝ａ[x][y]＋ｈ[x][y]−ｖ[x][y]＋ｄ[x][y]      ‥（式６）
ｐ[2x][2y+1]＝ａ[x][y]−ｈ[x][y]＋ｖ[x][y]＋ｄ[x][y]      ‥（式７）
ｐ[2x+1][2y+1]＝ａ[x][y]＋ｈ[x][y]＋ｖ[x][y]−ｄ[x][y]    ‥（式８）
ここで、「ｐ」は、高解像度復号化画像の画素値、「ａ」は、中解像度復号化画像の画素値、「ｈ」は、復号化水平成分の画素値、「ｖ」は、復号化垂直成分の画素値、「ｄ」は、復号化対角成分の画素値である。添字［ｘ］、［ｙ］は、座標（ｘ,ｙ）の画素値である。
【０１６３】
この帯域合成方法では、上下左右に２画素ずつ並んだ４画素のブロックに高解像度復号化画像を区切り、その４画素の座標に対応する中解像度復号化画像および復号化水平・垂直・対角成分から、高解像度復号化画像を算出する。
【０１６４】
（式５）で計算される「ｐ」は、左上の画素値を表し、ａからｈとｖとｄを減じた値である。（式６）で計算される「ｐ」は、右上の画素値を表し、ａとｈとｄの和からｖを減じた値である。（式７）で計算される「ｐ」は、左下の画素値を表し、ａとｖとｄの和からｈを減じた値である。（式８）で計算される「ｐ」は、右上の画素値を表し、ａとｈとｖの和からｄを減じた値である。
【０１６５】
なお、符号化の帯域分割の際に上記（式１）〜（式４）以外を用いた場合、それに合わせた帯域合成方法を用いなければならない。
【０１６６】
高解像度映像信号出力部２４０は、高解像度復号化画像を映像復号化装置２００の外部に出力する。すなわち、帯域合成部２３８から取得した高解像度復号化画像を映像復号化装置２００の外部に出力する。
【０１６７】
次いで、上記構成を有する映像復号化装置２００の動作について、図１６に示すフローチャートを用いて説明する。なお、図１６に示すフローチャートは、映像復号化装置２００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１６８】
まず、ステップＳ３０００では、ストリームを入力するストリーム入力処理を行う。具体的には、低域レイヤ入力部２０２で、低域レイヤストリームを映像復号化装置２００の外部から入力し、低域レイヤ復号化部２０４に渡す。また、中域レイヤ入力部２１０で、中域レイヤストリームを映像復号化装置２００の外部から入力し、中域レイヤビット平面ＶＬＤ部２１２に渡す。また、水平レイヤ入力部２２０で、水平レイヤストリームを映像復号化装置２００の外部から入力し、水平レイヤビット平面ＶＬＤ部２２２に渡す。また、垂直レイヤ入力部２２６で、垂直レイヤストリームを映像復号化装置２００の外部から入力し、垂直レイヤビット平面ＶＬＤ部２２８に渡す。また、対角レイヤ入力部２３２で、対角レイヤストリームを映像復号化装置２００の外部から入力し、対角レイヤビット平面ＶＬＤ部２３４に渡す。
【０１６９】
その後、ステップＳ３１００〜ステップＳ３３００の処理、ステップＳ３４００の処理、ステップＳ３５００の処理、およびステップＳ３６００の処理を並列に行う。
【０１７０】
ステップＳ３１００では、低域レイヤストリームを復号化する低域レイヤ復号化処理を行う。具体的には、低域レイヤ復号化部２０４で、低域レイヤ入力部２０２から取得した低域レイヤストリームを復号化して低解像度復号化画像を生成し、低解像度映像信号出力部２０６および拡大部２０８にそれぞれ渡す。
【０１７１】
そして、ステップＳ３２００では、低解像度復号化画像を拡大する拡大処理を行う。具体的には、拡大部２０８で、低域レイヤ復号化部２０４から取得した低解像度復号化画像を拡大して拡大低解像度復号化画像を生成し、加算部２１６に渡す。
【０１７２】
そして、ステップＳ３３００では、中域レイヤストリームを復号化する中域レイヤ復号化処理を行う。
【０１７３】
図１７は、図１６の中域レイヤ復号化処理の手順の一例を示すフローチャートである。
【０１７４】
まず、ステップＳ３３１０では、中域レイヤビット平面ＶＬＤ処理を行う。具体的には、中域レイヤビット平面ＶＬＤ部２１２で、中域レイヤ入力部２１０から取得した中域レイヤストリームをビット平面ＶＬＤ処理して中域レイヤＤＣＴ係数を生成し、中域レイヤＩＤＣＴ部２１４に渡す。
【０１７５】
そして、ステップＳ３３２０では、中域レイヤＩＤＣＴ処理を行う。具体的には、中域レイヤＩＤＣＴ部２１４で、中域レイヤビット平面ＶＬＤ部２１２から取得した中域レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化差分画像を生成し、加算部２１６に渡す。
【０１７６】
そして、ステップＳ３３３０では、加算処理を行う。具体的には、加算部２１６で、拡大部２０８から取得した拡大低解像度復号化画像と、中域レイヤＩＤＣＴ部２１４から取得した復号化差分画像とを加算して中解像度復号化画像を生成し、中解像度映像信号出力部２１８および帯域合成部２３８に渡した後、図１６に示すフローチャートにリターンする。
【０１７７】
一方、ステップＳ３４００では、水平レイヤストリームを復号化する水平レイヤ復号化処理を行う。
【０１７８】
図１８は、図１６の水平レイヤ復号化処理の手順の一例を示すフローチャートである。
【０１７９】
まず、ステップＳ３４１０では、水平レイヤビット平面ＶＬＤ処理を行う。具体的には、水平レイヤビット平面ＶＬＤ部２２２で、水平レイヤ入力部２２０から取得した水平レイヤストリームをビット平面ＶＬＤ処理して水平レイヤＤＣＴ係数を生成し、水平レイヤＩＤＣＴ部２２４に渡す。
【０１８０】
そして、ステップＳ３４２０では、水平レイヤＩＤＣＴ処理を行う。具体的には、水平レイヤＩＤＣＴ部２２４で、水平レイヤビット平面ＶＬＤ部２２２から取得した水平レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡した後、図１６に示すフローチャートにリターンする。
【０１８１】
一方、ステップＳ３５００では、垂直レイヤストリームを復号化する垂直レイヤ復号化処理を行う。
【０１８２】
図１９は、図１６の垂直レイヤ復号化処理の手順の一例を示すフローチャートである。
【０１８３】
まず、ステップＳ３５１０では、垂直レイヤビット平面ＶＬＤ処理を行う。具体的には、垂直レイヤビット平面ＶＬＤ部２２８で、垂直レイヤ入力部２２６から取得した垂直レイヤストリームをビット平面ＶＬＤ処理して垂直レイヤＤＣＴ係数を生成し、垂直レイヤＩＤＣＴ部２３０に渡す。
【０１８４】
そして、ステップＳ３５２０では、垂直レイヤＩＤＣＴ処理を行う。具体的には、垂直レイヤＩＤＣＴ部２３０で、垂直レイヤビット平面ＶＬＤ部２２８から取得した垂直レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化垂直成分を生成し、帯域合成部２３８に渡した後、図１６に示すフローチャートにリターンする。
【０１８５】
一方、ステップＳ３６００では、対角レイヤストリームを復号化する対角レイヤ復号化処理を行う。
【０１８６】
図２０は、図１６の対角レイヤ復号化処理の手順の一例を示すフローチャートである。
【０１８７】
まず、ステップＳ３６１０では、対角レイヤビット平面ＶＬＤ処理を行う。具体的には、対角レイヤビット平面ＶＬＤ部２３４で、対角レイヤ入力部２３２から取得した対角レイヤストリームをビット平面ＶＬＤ処理して対角レイヤＤＣＴ係数を生成し、対角レイヤＩＤＣＴ部２３６に渡す。
【０１８８】
そして、ステップＳ３６２０では、対角レイヤＩＤＣＴ処理を行う。具体的には、対角レイヤＩＤＣＴ部２３６で、対角レイヤビット平面ＶＬＤ部２３４から取得した対角レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化対角成分を生成し、帯域合成部２３８に渡した後、図１６に示すフローチャートにリターンする。
【０１８９】
その後、ステップＳ３８００では、帯域合成処理を行う。具体的には、帯域合成部２３８で、加算部２１６から取得した中解像度復号化画像と、水平レイヤＩＤＣＴ部２１４から取得した復号化水平成分と、垂直レイヤＩＤＣＴ部２３０から取得した復号化垂直成分と、対角レイヤＩＤＣＴ部２３６から取得した復号化対角成分とを、たとえば、上記の（式５）〜（式８）を用いて帯域合成して高解像度復号化画像を生成し、高解像度映像信号出力部２４０に渡す。
【０１９０】
そして、ステップＳ３９００では、復号化画像を映像復号化装置２００の外部に出力する映像出力処理を行う。具体的には、低解像度映像信号出力部２０６で、低域レイヤ復号化部２０４から取得した低解像度復号化画像を映像復号化装置２００の外部に出力する。また、中解像度映像信号出力部２１８で、加算部２１６から取得した中解像度復号化画像を映像復号化装置２００の外部に出力する。また、高解像度映像信号出力部２４０で、帯域合成部２３８から取得した高解像度復号化画像を映像復号化装置２００の外部に出力する。
【０１９１】
そして、ステップＳ４０００では、一連の映像復号化処理を終了するか否かを判定する復号化終了判定処理を行う。具体的には、たとえば、低域レイヤ入力部２０２で、映像復号化装置２００の外部から入力する低域レイヤストリームの有無を判定し、入力低域レイヤストリームがある場合は復号化処理を継続すると判定して（Ｓ４０００:ＮＯ）、ステップＳ３０００に戻り、入力低域レイヤストリームがない場合は（Ｓ４０００:ＹＥＳ）、一連の映像復号化処理を終了する。
【０１９２】
以上、本映像復号化においては、複数の映像ストリームを復号化して低・中・高の解像度の復号化画像を生成する。
【０１９３】
このように、本実施の形態によれば、解像度スケーラビリティを有する映像符号化において、高解像度の映像を帯域分割して生成した水平・垂直・対角成分をＤＣＴ処理した場合、各ＤＣＴ係数の分布に統計上一定の偏りが発生するため、この偏り（統計結果）を利用して走査方法を決定することにより、効率的に符号化を行うことができる。
【０１９４】
また、高解像度の映像を帯域分割して生成した中解像度画像をさらに低域レイヤストリームと中域レイヤストリームに分けて符号化するため、合計３段階の解像度スケーラビリティを得ることができる。
【０１９５】
また、各帯域成分の８×８画素ブロックのＤＣＴ係数を符号化するための走査順序を帯域成分の傾向（偏りの統計結果）ごとに変更するため、帯域成分ごとに、走査において「０」のビットが走査の後半に偏り、これにより、符号長が短くなり、高い符号化効率を得ることができる。
【０１９６】
また、水平・垂直・対角成分のＤＣＴ係数をビット平面符号化処理するため、解像度スケーラビリティに加えて画質スケーラビリティを得ることができる。
【０１９７】
なお、たとえば、帯域のＤＣＴ係数の絶対値を関数で近似して誤差を符号化する場合には、符号化する情報をより少なくして高い符号化効率を得ることができる。
【０１９８】
（実施の形態２）
本実施の形態では、複数の帯域成分を符号化し１つのストリームに多重化することにより、高解像度の画質を効率的に向上することができる映像符号化方法について説明する。
【０１９９】
図２１は、本発明の実施の形態２に係る映像符号化方法を適用した映像符号化装置の構成を示すブロック図である。なお、この映像符号化装置３００は、図１に示す映像符号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０２００】
本実施の形態の特徴は、水平・垂直・対角レイヤストリームを１つのストリームに多重化することである。そのため、映像符号化装置３００は、図１に示す符号化装置１００における水平レイヤビット平面ＶＬＣ部１２６、水平レイヤ出力部１２８、垂直レイヤビット平面ＶＬＣ部１３２、垂直レイヤ出力部１３４、対角レイヤビット平面ＶＬＣ部１３８、および対角レイヤ出力部１４０に代えて、高域レイヤビット平面ＶＬＣ部３０２および高域レイヤ出力部３０４を有する。なお、この場合、水平レイヤＤＣＴ部１２４ａは、帯域分割部１０４から水平成分を取得し、取得した水平成分を８×８画素ブロックごとにＤＣＴ処理して水平成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。また、垂直レイヤＤＣＴ部１３０ａは、帯域分割部１０４から垂直成分を取得し、取得した垂直成分を８×８画素ブロックごとにＤＣＴ処理して垂直成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。また、対角レイヤＤＣＴ部１３６ａは、帯域分割部１０４から対角成分を取得し、取得した対角成分を８×８画素ブロックごとにＤＣＴ処理して対角成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。
【０２０１】
高域レイヤビット平面ＶＬＣ部３０２は、ＤＣＴ処理後の水平・垂直・対角成分をビット平面符号化して高域レイヤストリームを生成する。すなわち、水平レイヤＤＣＴ部１２４ａから取得した水平成分ＤＣＴ係数と、垂直レイヤＤＣＴ部１３０ａから取得した垂直成分ＤＣＴ係数と、対角レイヤＤＣＴ部１３６ａから取得した対角成分ＤＣＴ係数とを、ビット位ごとに順にビット平面ＶＬＣ処理して高域レイヤストリームを生成し、高域レイヤ出力部３０４に渡す。
【０２０２】
高域レイヤ出力部３０４は、高域レイヤストリームを外部に出力する。すなわち、高域レイヤビット平面ＶＬＣ部３０２から高域レイヤストリームを取得し、映像符号化装置３００の外部に出力する。
【０２０３】
ここで、本実施の形態の特徴である多重化について説明する。
【０２０４】
図２２（Ａ）〜図２２（Ｃ）は、それぞれ、水平成分、垂直成分、対角成分のＤＣＴ係数の模式図である。それぞれ、ビット平面１が最上位のビット平面を示し、以下、数字が小さくなるにつれてビット位が小さくなる。帯域成分が異なっていても、ビット位が大きいビット平面ほど画質に与える影響は大きく、たとえば、垂直成分のビット平面１は水平成分のビット平面５よりも画質に与える影響は大きい。
【０２０５】
よって、伝送速度の制限などにより、水平・垂直・対角成分の符号量が限られている場合は、各帯域成分の別を問わず、上位のビット平面から優先して符号化することにより、高い符号化効率を得ることができる。
【０２０６】
ＤＣＴ処理後の各帯域成分をビット平面ＶＬＣ処理してストリーム内に配置する順序は、たとえば、図１９（Ａ）〜図１９（Ｃ）に示すケースを例にとると、
水平１、
水平２、垂直１、
水平３、垂直２、
水平４、垂直３、対角１、
水平５、垂直４、対角２、
である。ここで、一例として、たとえば、「水平１」とは、水平成分のビット平面１のことである。
【０２０７】
なお、復号化の際に各ビット平面の符号がどの成分であるかを判別するために、ビット平面ごとに識別信号を挿入する。また、人間は、水平、垂直、対角の順に、変化に対して敏感な視覚特性を持っているため、ストリーム内に格納する順序も水平、垂直、対角の順とすると、伝送速度が限られている場合でも視覚的に敏感な水平成分の画質を優先して向上することができる。
【０２０８】
次いで、上記構成を有する映像符号化装置３００の動作について、図２３に示すフローチャートを用いて説明する。なお、図２３に示すフローチャートは、映像符号化装置３００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０２０９】
本実施の形態では、図２３に示すように、ステップＳ２０００を図１０に示すフローチャートに挿入し、ステップＳ１７００、ステップＳ１８００、およびステップＳ１９００を削除している。
【０２１０】
ステップＳ１０００〜ステップＳ１６００は、図１０に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ１１００が終了すると、ステップＳ１２００およびステップＳ２０００に進む。
【０２１１】
ステップＳ２０００では、高域成分を符号化する高域レイヤ符号化処理を行う。
【０２１２】
図２４は、図２３の高域レイヤ符号化処理の手順の一例を示すフローチャートである。ここでは、ステップＳ２０１０の処理、ステップＳ２０２０の処理、およびステップＳ２０３０の処理を並列に行う。
【０２１３】
ステップＳ２０１０では、水平成分をＤＣＴ処理する水平レイヤＤＣＴ処理を行う。具体的には、水平レイヤＤＣＴ部１２４ａで、帯域分割部１０４から取得した水平成分をＤＣＴ処理して水平成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。
【０２１４】
一方、ステップＳ２０２０では、垂直成分をＤＣＴ処理する垂直レイヤＤＣＴ処理を行う。具体的には、垂直レイヤＤＣＴ部１３０ａで、帯域分割部１０４から取得した垂直成分をＤＣＴ処理して垂直成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。
【０２１５】
一方、ステップＳ２０３０では、対角成分をＤＣＴ処理する対角レイヤＤＣＴ処理を行う。具体的には、対角レイヤＤＣＴ部１３６ａで、帯域分割部１０４から取得した対角成分をＤＣＴ処理して対角成分ＤＣＴ係数を生成し、高域レイヤビット平面ＶＬＣ部３０２に渡す。
【０２１６】
その後、ステップＳ２０４０では、水平・垂直・対角成分のＤＣＴ係数をビット平面ＶＬＣ処理する高域レイヤビット平面ＶＬＣ処理を行う。具体的には、高域レイヤビット平面ＶＬＣ部３０２で、水平レイヤＤＣＴ部１２４ａから取得した水平成分ＤＣＴ係数と、垂直レイヤＤＣＴ部１３０ａから取得した垂直成分ＤＣＴ係数と、対角レイヤＤＣＴ部１３６ａから取得した対角成分ＤＣＴ係数とを、ビット平面ごとに順にビット平面ＶＬＣ処理して高域レイヤストリームを生成し、高域レイヤ出力部３０４に渡した後、図２３に示すフローチャートにリターンする。
【０２１７】
ステップＳ２１００およびステップＳ２２００は、図１０に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ１６００およびステップＳ２０００の終了によってステップＳ２１００に進む。また、ステップＳ２１００では、低域レイヤ出力部１１０で、低域レイヤ符号化部１０８から取得した低域レイヤストリームを、中域レイヤ出力部１２２で、中域レイヤビット平面ＶＬＣ部１２０から取得した中域レイヤストリームを、高域レイヤ出力部３０４で、高域レイヤビット平面ＶＬＣ部３０２から取得した高域レイヤストリームを、それぞれ映像符号化装置３００の外部に出力する。
【０２１８】
次に、本実施の形態で符号化された映像ストリームを復号化する映像復号化方法について説明する。
【０２１９】
図２５は、本発明の実施の形態２に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置４００は、図１５に示す映像復号化装置２００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０２２０】
映像復号化装置４００は、図１５に示す映像復号化装置２００における水平レイヤ入力部２２０、水平レイヤビット平面ＶＬＤ部２２２、垂直レイヤ入力部２２６、垂直レイヤビット平面ＶＬＤ部２２８、対角レイヤ入力部２３２、および対角レイヤビット平面ＶＬＤ部２３４に代えて、高域レイヤ入力部４０２および高域レイヤビット平面ＶＬＤ部４０４を有する。
【０２２１】
高域レイヤ入力部４０２は、高域レイヤストリームを入力する。すなわち、映像復号化装置４００の外部から高域レイヤストリームを入力し、高域レイヤビット平面ＶＬＤ部４０４に渡す。
【０２２２】
高域レイヤビット平面ＶＬＤ部４０４は、高域レイヤストリームをビット平面ＶＬＤ処理する。すなわち、高域レイヤ入力部４０２から取得した高域レイヤストリームをビット平面ＶＬＤ処理して水平・垂直・対角レイヤＤＣＴ係数を生成し、水平レイヤＤＣＴ係数を水平レイヤＩＤＣＴ部２２４ａに、垂直レイヤＤＣＴ係数を垂直レイヤＩＤＣＴ部２３０ａに、対角レイヤＤＣＴ係数を対角レイヤＩＤＣＴ部２３６ａにそれぞれ渡す。
【０２２３】
ここで、水平レイヤＩＤＣＴ部２２４ａは、高域レイヤビット平面ＶＬＤ部４０４から取得した水平レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡す。また、垂直レイヤＩＤＣＴ部２３０ａは、高域レイヤビット平面ＶＬＤ部４０４から取得した垂直レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化垂直成分を生成し、帯域合成部２３８に渡す。また、対角レイヤＩＤＣＴ部２３６ａは、高域レイヤビット平面ＶＬＤ部４０４から取得した対角レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化対角成分を生成し、帯域合成部２３８に渡す。
【０２２４】
次いで、上記構成を有する映像復号化装置４００の動作について、図２６に示すフローチャートを用いて説明する。なお、図２６に示すフローチャートは、映像復号化装置４００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０２２５】
本実施の形態では、図２６に示すように、ステップＳ３７００を図１６に示すフローチャートに挿入し、ステップＳ３４００、ステップＳ３５００、およびステップＳ３６００を削除している。
【０２２６】
ステップＳ３０００〜ステップＳ３３００は、図１６に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ３０００が終了すると、ステップＳ３１００およびステップＳ３７００に進む。また、ステップＳ３０００では、低域レイヤ入力部２０２で、低域レイヤストリームを映像復号化装置４００の外部から入力し、低域レイヤ復号化部２０４に渡し、中域レイヤ入力部２１０で、中域レイヤストリームを映像復号化装置４００の外部から入力し、中域レイヤビット平面ＶＬＤ部２１２に渡し、高域レイヤ入力部４０２で、高域レイヤストリームを映像復号化装置４００の外部から入力し、高域レイヤビット平面ＶＬＤ部４０４に渡す。
【０２２７】
ステップＳ３７００では、高域レイヤストリームを復号化する高域レイヤ復号化処理を行う。
【０２２８】
図２７は、図２６の高域レイヤ復号化処理の手順の一例を示すフローチャートである。
【０２２９】
まず、ステップＳ３７１０では、高域レイヤストリームをビット平面ＶＬＤ処理する高域レイヤビット平面ＶＬＤ処理を行う。具体的には、高域レイヤビット平面ＶＬＤ部４０４で、高域レイヤ入力部４０２から取得した高域レイヤストリームをビット平面ＶＬＤ処理して水平・垂直・対角レイヤＤＣＴ係数を生成し、水平レイヤＤＣＴ係数を水平レイヤＩＤＣＴ部２２４ａに、垂直レイヤＤＣＴ係数を垂直レイヤＩＤＣＴ部２３０ａに、対角レイヤＤＣＴ係数を対角レイヤＩＤＣＴ部２３６ａにそれぞれ渡す。
【０２３０】
その後、ステップＳ３７２０の処理、ステップＳ３７３０の処理、およびステップＳ３７４０の処理を並列に行う。
【０２３１】
ステップＳ３７２０では、水平レイヤのＤＣＴ係数を逆ＤＣＴ処理する水平レイヤＩＤＣＴ処理を行う。具体的には、水平レイヤＩＤＣＴ部２２４ａで、高域レイヤビット平面ＶＬＤ部４０４から取得した水平レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡す。
【０２３２】
一方、ステップＳ３７３０では、垂直レイヤのＤＣＴ係数を逆ＤＣＴ処理する垂直レイヤＩＤＣＴ処理を行う。具体的には、垂直レイヤＩＤＣＴ部２３０ａで、高域レイヤビット平面ＶＬＤ部４０４から取得した垂直レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡す。
【０２３３】
一方、ステップＳ３７４０では、対角レイヤのＤＣＴ係数を逆ＤＣＴ処理する対角レイヤＩＤＣＴ処理を行う。具体的には、対角レイヤＩＤＣＴ部２３６ａで、高域レイヤビット平面ＶＬＤ部４０４から取得した対角レイヤＤＣＴ係数を逆ＤＣＴ処理して復号化水平成分を生成し、帯域合成部２３８に渡す。
【０２３４】
ステップＳ３８００〜ステップＳ４０００は、図１６に示すフローチャートのステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ３３００およびステップＳ３７００の終了によってステップＳ３８００に進む。
【０２３５】
このように、本実施の形態によれば、各帯域成分のビット平面の符号を多重化して符号化するため、効率的に画質を向上することができる。
【０２３６】
なお、本実施の形態では、水平・垂直・対角レイヤストリームを１つのストリームに多重化するようにしているが、これに限定されるわけではなく、中域・水平・垂直・対角レイヤストリームを１つのストリームに多重化することも可能である。
【０２３７】
（実施の形態３）
本実施の形態では、映像復号化装置の表示解像度・処理能力や伝送速度などに応じて、解像度と画質の選択が可能な高速な映像復号化方法について説明する。
【０２３８】
図２８は、本発明の実施の形態３に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置５００は、図１５に示す映像復号化装置２００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０２３９】
本実施の形態の特徴は、実施の形態１の映像符号化装置１００によって生成されたストリームを、表示解像度・処理能力や伝送速度などに応じて入力し復号化することである。そのため、映像復号化装置５００は、図１５に示す映像復号化装置２００における低域レイヤ入力部２０２、中域レイヤ入力部２１０、水平レイヤ入力部２２０、垂直レイヤ入力部２２６、および対角レイヤ入力部２３２に代えて、レイヤ入力部５０２を有する。
【０２４０】
レイヤ入力部５０２は、入力するストリームとそれらの符号量を選択して入力する。すなわち、映像復号化装置５００の外部または内部から映像復号化装置５００の状態を取得し、取得した状態情報に基づいて、低域・中域・水平・垂直・対角の各レイヤストリームの中から、入力するストリームおよび入力するストリームの符号量を選択し、選択したストリームを選択した符号量だけ入力する。そして、選択したストリームのうち、低域レイヤストリームは低域レイヤ復号化部２０４に、中域レイヤストリームは中域レイヤビット平面ＶＬＤ部２１２に、水平レイヤストリームは水平レイヤビット平面ＶＬＤ部２２２に、垂直レイヤストリームは垂直レイヤビット平面ＶＬＤ部２２８に、対角レイヤストリームは対角レイヤビット平面ＶＬＤ部２３４にそれぞれ渡す。
【０２４１】
ここで、映像復号化装置５００の状態とは、映像復号化装置５００の処理能力、復号化画像の表示装置の解像度、ストリームの伝送速度などのことである。これらに応じて、
（ａ）低域レイヤストリームのみ入力する
（ｂ）低域・中域レイヤストリームのみ入力する
（ｃ）低域・中域・水平レイヤストリームのみ入力する
（ｄ）低域・中域・垂直レイヤストリームのみ入力する
（ｅ）低域・中域・水平・垂直レイヤストリームのみ入力する
（ｆ）低域・中域・水平・垂直・対角レイヤストリームをすべて入力する
など、解像度の選択を行う。ただし、低域レイヤを復号化しなければ中・高解像度映像を復号化できないため、低域レイヤの入力を最優先する。また、入力する各ストリームの量を選択して入力することにより、映像復号化装置５００の処理能力やストリームの伝送速度に応じた画質を選択することができる。
【０２４２】
たとえば、具体的に、ストリームの伝送速度の制限により低域レイヤ以外のストリームが総符号量のＸ％しか復号化できない場合を考える。この場合、入力の方法として、たとえば、次の４つが考えられる。
【０２４３】
第１に、たとえば、中域・水平・垂直・対角レイヤを総符号量のＸ／４％ずつ入力して復号化する。
【０２４４】
第２に、たとえば、中域・水平・垂直・対角レイヤストリームの各Ｘ％の符号を入力して復号化する。
【０２４５】
第３に、たとえば、まず中域レイヤを入力し、中域レイヤの符号をすべて入力すれば次に水平レイヤ、水平レイヤの符号をすべて入力すれば次に垂直レイヤ、垂直レイヤの符号をすべて入力すれば次に対角レイヤというように、各レイヤを順に入力して復号化する。途中で総符号量のＸ％に達すれば入力を終了する。
【０２４６】
第４に、たとえば、生成された中域・水平・垂直・対角レイヤの各符号量の比に応じて各レイヤを入力して復号化する。
【０２４７】
なお、低域レイヤ復号化部２０４は、レイヤ入力部５０２から低域レイヤストリームを取得し、予測復号化、ＶＬＤ、逆量子化、逆ＤＣＴなどを用いてＭＰＥＧ復号化して低解像度復号化画像を生成し、低解像度映像信号出力部２０６および拡大部２０８にそれぞれ渡す。また、中域レイヤビット平面ＶＬＤ部２１２は、レイヤ入力部５０２から取得した中域レイヤストリームをビット平面ＶＬＤ処理して中域レイヤＤＣＴ係数を生成し、中域レイヤＩＤＣＴ部２１４に渡す。また、水平レイヤビット平面ＶＬＤ部２２２は、レイヤ入力部５０２から取得した水平レイヤストリームをビット平面ＶＬＤ処理して水平レイヤＤＣＴ係数を生成し、水平レイヤＩＤＣＴ部２２４に渡す。また、垂直レイヤビット平面ＶＬＤ部２２８は、レイヤ入力部５０２から取得した垂直レイヤストリームをビット平面ＶＬＤ処理して垂直レイヤＤＣＴ係数を生成し、垂直レイヤＩＤＣＴ部２３０に渡す。また、対角レイヤビット平面ＶＬＤ部２３４は、レイヤ入力部５０２から取得した対角レイヤストリームをビット平面ＶＬＤ処理して対角レイヤＤＣＴ係数を生成し、対角レイヤＩＤＣＴ部２３６に渡す。
【０２４８】
次いで、上記構成を有する映像復号化装置５００の動作について、図２９に示すフローチャートを用いて説明する。なお、図２９に示すフローチャートは、映像復号化装置５００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０２４９】
本実施の形態では、図２９に示すように、ステップＳ３０５０を図１６に示すフローチャートに挿入し、ステップＳ３０００を削除している。
【０２５０】
ステップＳ３０５０では、ストリーム入力処理を行う。具体的には、レイヤ入力部５０２で、映像復号化装置５００の外部または内部から映像復号化装置５００の状態を取得し、取得した状態情報に基づいて、低域・中域・水平・垂直・対角の各レイヤストリームの中から、入力するストリームおよび入力するストリームの符号量を選択し、選択したストリームを選択した符号量だけ入力する。そして、選択したストリームのうち、低域レイヤストリームは低域レイヤ復号化部２０４に、中域レイヤストリームは中域レイヤビット平面ＶＬＤ部２１２に、水平レイヤストリームは水平レイヤビット平面ＶＬＤ部２２２に、垂直レイヤストリームは垂直レイヤビット平面ＶＬＤ部２２８に、対角レイヤストリームは対角レイヤビット平面ＶＬＤ部２３４にそれぞれ渡す。
【０２５１】
ステップＳ３１００〜ステップＳ４０００は、図１６に示すフローチャートの各ステップと同様であるため、その説明を省略する。ただし、本実施の形態では、ステップＳ３１００では、低域レイヤ復号化部２０４は、レイヤ入力部５０２から低域レイヤストリームを取得し、ステップＳ３４００中のステップＳ３４１０（図１８参照）では、水平レイヤビット平面ＶＬＤ部２２２は、レイヤ入力部５０２から水平レイヤストリームを取得し、ステップＳ３５００中のステップＳ３５１０（図１９参照）では、垂直レイヤビット平面ＶＬＤ部２２８は、レイヤ入力部５０２から垂直レイヤストリームを取得し、ステップＳ３６００中のステップＳ３６１０（図２０参照）では、対角レイヤビット平面ＶＬＤ部２３４は、レイヤ入力部５０２から対角レイヤストリームを取得する。
【０２５２】
このように、本実施の形態によれば、復号化するレイヤストリームを選択するため、映像復号化装置の状態に応じた解像度スケーラビリティを得ることができる。
【０２５３】
また、復号化するレイヤストリームの符号量を選択するため、映像復号化装置の状態に応じた画質スケーラビリティを得ることができる。
【０２５４】
なお、本実施の形態では、実施の形態１の映像符号化装置１００が生成するストリームを対象にしているが、もちろん、同様の方法により、実施の形態２の映像符号化装置３００が生成するストリームを、表示解像度・処理能力や伝送速度に応じて入力して復号化することも可能である。
【０２５５】
（実施の形態４）
本実施の形態では、ビット平面ＶＬＣ処理ではなく、量子化してＶＬＣ処理する場合について説明する。量子化してＶＬＣ処理する場合においても、ビット平面ＶＬＣ処理を行う場合と同様の効果を得ることができる。ただし、量子化してＶＬＣ処理する場合は、ＥＯＢ信号を用いて符号長が短縮される。なお、ここでも、走査は、符号化の間、一定の順序で行う。
【０２５６】
図３０は、本発明の実施の形態４に係る映像符号化方法を適用した映像符号化装置の構成を示すブロック図である。なお、この映像符号化装置６００は、図１に示す映像符号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０２５７】
本実施の形態の特徴は、中域・水平・垂直・対角成分を符号化する際に、ビット平面ＶＬＣ処理ではなく、量子化してＶＬＣ処理することである。そのため、映像符号化装置６００は、図１に示す符号化装置１００における中域レイヤビット平面ＶＬＣ部１２０、水平レイヤビット平面ＶＬＣ部１２６、垂直レイヤビット平面ＶＬＣ部１３２、および対角レイヤビット平面ＶＬＣ部１３８に代えて、中域レイヤ量子化部６０２、中域レイヤＶＬＣ部６０４、水平レイヤ量子化部６０６、水平レイヤＶＬＣ部６０８、垂直レイヤ量子化部６１０、垂直レイヤＶＬＣ部６１２、対角レイヤ量子化部６１４、および対角レイヤＶＬＣ部６１６を有する。
【０２５８】
中域レイヤ量子化部６０２は、ＤＣＴ処理後の中域成分を量子化する。すなわち、中域レイヤＤＣＴ部１１８から取得した中域成分ＤＣＴ係数を量子化し、中域レイヤＶＬＣ部６０４に渡す。
【０２５９】
中域レイヤＶＬＣ部６０４は、量子化された中域成分ＤＣＴ係数をＶＬＣ処理して中域レイヤストリームを生成する。すなわち、中域レイヤ量子化部６０２から取得した量子化中域成分ＤＣＴ係数をＶＬＣ処理して中域レイヤストリームを生成し、中域レイヤ出力部１２２に渡す。
【０２６０】
水平レイヤ量子化部６０６は、ＤＣＴ処理後の水平成分を量子化する。すなわち、水平レイヤＤＣＴ部１２４から取得した水平成分ＤＣＴ係数を量子化し、水平レイヤＶＬＣ部６０８に渡す。
【０２６１】
水平レイヤＶＬＣ部６０８は、量子化された水平成分ＤＣＴ係数をＶＬＣ処理して水平レイヤストリームを生成する。すなわち、水平レイヤ量子化部６０６から取得した量子化水平成分ＤＣＴ係数をＶＬＣ処理して水平レイヤストリームを生成し、水平レイヤ出力部１２８に渡す。
【０２６２】
垂直レイヤ量子化部６１０は、ＤＣＴ処理後の垂直成分を量子化する。すなわち、垂直レイヤＤＣＴ部１３０から取得した垂直成分ＤＣＴ係数を量子化し、垂直レイヤＶＬＣ部６１２に渡す。
【０２６３】
垂直レイヤＶＬＣ部６１２は、量子化された垂直成分ＤＣＴ係数をＶＬＣ処理して垂直レイヤストリームを生成する。すなわち、垂直レイヤ量子化部６１０から取得した量子化垂直成分ＤＣＴ係数をＶＬＣ処理して垂直レイヤストリームを生成し、垂直レイヤ出力部１３４に渡す。
【０２６４】
対角レイヤ量子化部６１４は、ＤＣＴ処理後の対角成分を量子化する。すなわち、対角レイヤＤＣＴ部１３６から取得した対角成分ＤＣＴ係数を量子化し、対角レイヤＶＬＣ部６１６に渡す。
【０２６５】
対角レイヤＶＬＣ部６１６は、量子化された対角成分ＤＣＴ係数をＶＬＣ処理して対角レイヤストリームを生成する。すなわち、対角レイヤ量子化部６１４から取得した量子化対角成分ＤＣＴ係数をＶＬＣ処理して対角レイヤストリームを生成し、対角レイヤ出力部１４０に渡す。
【０２６６】
次いで、上記構成を有する映像符号化装置６００の動作について、図３１〜図３４に示すフローチャートを用いて説明する。なお、図３１〜図３４に示すフローチャートは、映像符号化装置６００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０２６７】
本実施の形態では、メインのフローチャートは、図１０に示すフローチャートと同様であるため、その説明を省略する。本実施の形態では、図３１に示すように、ステップＳ１６４０およびステップＳ１６５０を図１１に示すフローチャートに挿入し、ステップＳ１６３０を削除している。また、図３２に示すように、ステップＳ１７３０およびステップＳ１７４０を図１２に示すフローチャートに挿入し、ステップＳ１７２０を削除している。また、図３３に示すように、ステップＳ１８３０およびステップＳ１８４０を図１３に示すフローチャートに挿入し、ステップＳ１８２０を削除している。また、図３４に示すように、ステップＳ１９３０およびステップＳ１９４０を図１４に示すフローチャートに挿入し、ステップＳ１９２０を削除している。
【０２６８】
まず、図３１に示す中域レイヤ符号化処理において、ステップＳ１６１０およびステップＳ１６２０は、図１１に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０２６９】
ステップＳ１６４０では、中域レイヤ量子化処理を行う。具体的には、中域レイヤ量子化部６０２で、中域レイヤＤＣＴ部１１８から取得した中域成分ＤＣＴ係数を量子化し、中域レイヤＶＬＣ部６０４に渡す。
【０２７０】
そして、ステップＳ１６５０では、中域レイヤＶＬＣ処理を行う。具体的には、中域レイヤＶＬＣ部６０４で、中域レイヤ量子化部６０２から取得した量子化中域成分ＤＣＴ係数をＶＬＣ処理して中域レイヤストリームを生成し、中域レイヤ出力部１２２に渡した後、図１０に示すフローチャートにリターンする。
【０２７１】
次に、図３２に示す水平レイヤ符号化処理において、ステップＳ１７１０は、図１２に示すフローチャートのステップと同様であるため、その説明を省略する。
【０２７２】
ステップＳ１７３０では、水平レイヤ量子化処理を行う。具体的には、水平レイヤ量子化部６０６で、水平レイヤＤＣＴ部１２４から取得した水平成分ＤＣＴ係数を量子化し、水平レイヤＶＬＣ部６０８に渡す。
【０２７３】
そして、ステップＳ１７４０では、水平レイヤＶＬＣ処理を行う。具体的には、水平レイヤＶＬＣ部６０８で、水平レイヤ量子化部６０６から取得した量子化水平成分ＤＣＴ係数をＶＬＣ処理して水平レイヤストリームを生成し、水平レイヤ出力部１２８に渡した後、図１０に示すフローチャートにリターンする。
【０２７４】
また、図３３に示す垂直レイヤ符号化処理において、ステップＳ１８１０は、図１３に示すフローチャートのステップと同様であるため、その説明を省略する。
【０２７５】
ステップＳ１８３０では、垂直レイヤ量子化処理を行う。具体的には、垂直レイヤ量子化部６１０で、垂直レイヤＤＣＴ部１３０から取得した垂直成分ＤＣＴ係数を量子化し、垂直レイヤＶＬＣ部６１２に渡す。
【０２７６】
そして、ステップＳ１８４０では、垂直レイヤＶＬＣ処理を行う。具体的には、垂直レイヤＶＬＣ部６１２で、垂直レイヤ量子化部６１０から取得した量子化垂直成分ＤＣＴ係数をＶＬＣ処理して垂直レイヤストリームを生成し、垂直レイヤ出力部１３４に渡した後、図１０に示すフローチャートにリターンする。
【０２７７】
また、図３４に示す対角レイヤ符号化処理において、ステップＳ１９１０は、図１４に示すフローチャートのステップと同様であるため、その説明を省略する。
【０２７８】
ステップＳ１９３０では、対角レイヤ量子化処理を行う。具体的には、対角レイヤ量子化部６１４で、対角レイヤＤＣＴ部１３６から取得した対角成分ＤＣＴ係数を量子化し、対角レイヤＶＬＣ部６１６に渡す。
【０２７９】
そして、ステップＳ１９４０では、対角レイヤＶＬＣ処理を行う。具体的には、対角レイヤＶＬＣ部６１６で、対角レイヤ量子化部６１４から取得した量子化対角成分ＤＣＴ係数をＶＬＣ処理して対角レイヤストリームを生成し、対角レイヤ出力部１４０に渡した後、図１０に示すフローチャートにリターンする。
【０２８０】
次に、本実施の形態で符号化された映像ストリームを復号化する映像復号化方法について説明する。
【０２８１】
図３５は、本発明の実施の形態４に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置７００は、図１５に示す映像復号化装置２００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０２８２】
映像復号化装置７００は、図１５に示す映像復号化装置２００における中域レイヤビット平面ＶＬＤ部２１２、水平レイヤビット平面ＶＬＤ部２２２、垂直レイヤビット平面ＶＬＤ部２２８、および対角レイヤビット平面ＶＬＤ部２３４に代えて、中域レイヤＶＬＤ部７０２、中域レイヤ逆量子化部７０４、水平レイヤＶＬＤ部７０６、水平レイヤ逆量子化部７０８、垂直レイヤＶＬＤ部７１０、垂直レイヤ逆量子化部７１２、対角レイヤＶＬＤ部７１４、および対角レイヤ逆量子化部７１６を有する。
【０２８３】
中域レイヤＶＬＤ部７０２は、中域レイヤストリームをＶＬＤ処理する。すなわち、中域レイヤ入力部２１０から取得した中域レイヤストリームをＶＬＤ処理して量子化された中域成分ＤＣＴ係数を生成し、中域レイヤ逆量子化部７０４に渡す。
【０２８４】
中域レイヤ逆量子化部７０４は、中域成分の量子化ＤＣＴ係数を逆量子化する。すなわち、中域レイヤＶＬＤ部７０２から取得した量子化中域成分ＤＣＴ係数を逆量子化して量子化前の元の中域成分ＤＣＴ係数を生成し、中域レイヤＩＤＣＴ部２１４に渡す。
【０２８５】
水平レイヤＶＬＤ部７０６は、水平レイヤストリームをＶＬＤ処理する。すなわち、水平レイヤ入力部２２０から取得した水平レイヤストリームをＶＬＤ処理して量子化された水平レイヤＤＣＴ係数を生成し、水平レイヤ逆量子化部７０８に渡す。
【０２８６】
水平レイヤ逆量子化部７０８は、水平成分の量子化ＤＣＴ係数を逆量子化する。すなわち、水平レイヤＶＬＤ部７０６から取得した量子化水平成分ＤＣＴ係数を逆量子化して量子化前の元の水平成分ＤＣＴ係数を生成し、水平レイヤＩＤＣＴ部２２４に渡す。
【０２８７】
垂直レイヤＶＬＤ部７１０は、垂直レイヤストリームをＶＬＤ処理する。すなわち、垂直レイヤ入力部２２６から取得した垂直レイヤストリームをＶＬＤ処理して量子化された垂直レイヤＤＣＴ係数を生成し、垂直レイヤ逆量子化部７１２に渡す。
【０２８８】
垂直レイヤ逆量子化部７１２は、垂直成分の量子化ＤＣＴ係数を逆量子化する。すなわち、垂直レイヤＶＬＤ部７１０から取得した量子化垂直成分ＤＣＴ係数を逆量子化して量子化前の元の垂直成分ＤＣＴ係数を生成し、垂直レイヤＩＤＣＴ部２３０に渡す。
【０２８９】
対角レイヤＶＬＤ部７１４は、対角レイヤストリームをＶＬＤ処理する。すなわち、対角レイヤ入力部２３２から取得した対角レイヤストリームをＶＬＤ処理して量子化された対角レイヤＤＣＴ係数を生成し、対角レイヤ逆量子化部７１６に渡す。
【０２９０】
対角レイヤ逆量子化部７１６は、対角成分の量子化ＤＣＴ係数を逆量子化する。すなわち、対角レイヤＶＬＤ部７１４から取得した量子化対角成分ＤＣＴ係数を逆量子化して量子化前の元の対角成分ＤＣＴ係数を生成し、対角レイヤＩＤＣＴ部２３６に渡す。
【０２９１】
次いで、上記構成を有する映像復号化装置７００の動作について、図３６〜図３９に示すフローチャートを用いて説明する。なお、図３６〜図３９に示すフローチャートは、映像復号化装置７００の図示しない記憶装置（たとえば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０２９２】
本実施の形態では、メインのフローチャートは、図１６に示すフローチャートと同様であるため、その説明を省略する。本実施の形態では、図３６に示すように、ステップＳ３３１２およびステップＳ３３１４を図１７に示すフローチャートに挿入し、ステップＳ３３１０を削除している。また、図３７に示すように、ステップＳ３４１２およびステップＳ３４１４を図１８に示すフローチャートに挿入し、ステップＳ３４１０を削除している。また、図３８に示すように、ステップＳ３５１２およびステップＳ３５１４を図１９に示すフローチャートに挿入し、ステップＳ３５１０を削除している。また、図３９に示すように、ステップＳ３６１２およびステップＳ３６１４を図２０に示すフローチャートに挿入し、ステップＳ３６１０を削除している。
【０２９３】
まず、図３６に示す中域レイヤ復号化処理において、ステップＳ３３１２では、中域レイヤＶＬＤ処理を行う。具体的には、中域レイヤＶＬＤ部７０２で、中域レイヤ入力部２１０から取得した中域レイヤストリームをＶＬＤ処理して量子化された中域成分ＤＣＴ係数を生成し、中域レイヤ逆量子化部７０４に渡す。
【０２９４】
そして、ステップＳ３３１４では、中域レイヤ逆量子化処理を行う。具体的には、中域レイヤ逆量子化部７０４で、中域レイヤＶＬＤ部７０２から取得した量子化中域成分ＤＣＴ係数を逆量子化して量子化前の元の中域成分ＤＣＴ係数を生成し、中域レイヤＩＤＣＴ部２１４に渡す。
【０２９５】
ステップＳ３３２０およびステップＳ３３３０は、図１７に示すフローチャートの各ステップと同様であるため、その説明を省略する。
【０２９６】
次に、図３７に示す水平レイヤ復号化処理において、ステップＳ３４１２では、水平レイヤＶＬＤ処理を行う。具体的には、水平レイヤＶＬＤ部７０６で、水平レイヤ入力部２２０から取得した水平レイヤストリームをＶＬＤ処理して量子化された水平レイヤＤＣＴ係数を生成し、水平レイヤ逆量子化部７０８に渡す。
【０２９７】
そして、ステップＳ３４１４では、水平レイヤ逆量子化処理を行う。具体的には、水平レイヤ逆量子化部７０８で、水平レイヤＶＬＤ部７０６から取得した量子化水平成分ＤＣＴ係数を逆量子化して量子化前の元の水平成分ＤＣＴ係数を生成し、水平レイヤＩＤＣＴ部２２４に渡す。
【０２９８】
ステップＳ３４２０は、図１８に示すフローチャートのステップと同様であるため、その説明を省略する。
【０２９９】
また、図３８に示す垂直レイヤ復号化処理において、ステップＳ３５１２では、垂直レイヤＶＬＤ処理を行う。具体的には、垂直レイヤＶＬＤ部７１０で、垂直レイヤ入力部２２６から取得した垂直レイヤストリームをＶＬＤ処理して量子化された垂直レイヤＤＣＴ係数を生成し、垂直レイヤ逆量子化部７１２に渡す。
【０３００】
そして、ステップＳ３５１４では、垂直レイヤ逆量子化処理を行う。具体的には、垂直レイヤ逆量子化部７１２で、垂直レイヤＶＬＤ部７１０から取得した量子化垂直成分ＤＣＴ係数を逆量子化して量子化前の元の垂直成分ＤＣＴ係数を生成し、垂直レイヤＩＤＣＴ部２３０に渡す。
【０３０１】
ステップＳ３５２０は、図１９に示すフローチャートのステップと同様であるため、その説明を省略する。
【０３０２】
また、図３９に示す対角レイヤ復号化処理において、ステップＳ３６１２では、対角レイヤＶＬＤ処理を行う。具体的には、対角レイヤＶＬＤ部７１４で、対角レイヤ入力部２３２から取得した対角レイヤストリームをＶＬＤ処理して量子化された対角レイヤＤＣＴ係数を生成し、対角レイヤ逆量子化部７１６に渡す。
【０３０３】
そして、ステップＳ３６１４では、対角レイヤ逆量子化処理を行う。具体的には、対角レイヤ逆量子化部７１６で、対角レイヤＶＬＤ部７１４から取得した量子化対角成分ＤＣＴ係数を逆量子化して量子化前の元の対角成分ＤＣＴ係数を生成し、対角レイヤＩＤＣＴ部２３６に渡す。
【０３０４】
ステップＳ３６２０は、図２０に示すフローチャートのステップと同様であるため、その説明を省略する。
【０３０５】
このように、本実施の形態によれば、ビット平面ＶＬＣに代えて、量子化とＶＬＣを行うため、量子化を行った後、各帯域成分に対応するＤＣＴ処理の統計結果に応じた走査方法を用いてＶＬＣ処理を行うことにより、「０」のビットが走査の後半に偏り、たとえば、ＥＯＢ信号を早期に挿入することができ、これにより、符号長が短くなり、そもそも量子化処理が高効率であることと相俟って、より高い符号化効率を得ることができる。
【産業上の利用可能性】
【０３０６】
本発明に係る映像符号化方法は、解像度と画質を選択することができるため、たとえば、インターネットなどにおいて伝送速度、端末処理能力、または表示面積に合わせた解像度、符号量を提供する映像ストリーム配信用符号化方法として有用である。
【０３０７】
また、解像度と画質を選択し伝送量を微細に変更することができるため、たとえば、無線を用いた通信などの帯域変動に対しても柔軟に映像を伝送するための符号化方法としても適用が可能である。
【０３０８】
また、高速な符号化が可能であるため、たとえば、ＴＶ放送などにおいて、大画面テレビや携帯端末など表示解像度が異なる端末へのリアルタイム放送配信用符号化方法としても適用が可能である。
【０３０９】
また、符号化後も解像度や画質を変更して蓄積容量を適応的に削減することができるため、たとえば、警備用の監視カメラの映像の蓄積や娯楽映像配信のための蓄積用符号化方法としても適用が可能である。
【図面の簡単な説明】
【０３１０】
【図１】本発明の実施の形態１に係る映像符号化方法を適用した映像符号化装置の構成を表すブロック図
【図２】（Ａ）帯域分割前の高解像度原画像を示す図、（Ｂ）帯域分割後の各帯域成分を示す図、（Ｃ）低解像度画像を示す図
【図３】（Ａ）中解像度画像のＤＣＴ係数の絶対値の統計の一例を示す図、（Ｂ）水平成分のＤＣＴ係数の絶対値の統計の一例を示す図、（Ｃ）垂直成分のＤＣＴ係数の絶対値の統計の一例を示す図、（Ｄ）対角成分のＤＣＴ係数の絶対値の統計の一例を示す図
【図４】（Ａ）水平成分の８×８ＤＣＴ係数の走査順序の一例を示す図、（Ｂ）垂直成分の８×８ＤＣＴ係数の走査順序の一例を示す図、（Ｃ）対角成分の８×８ＤＣＴ係数の走査順序の一例を示す図
【図５】（Ａ）水平成分に対する走査順序の一例を示す図、（Ｂ）水平成分に対する走査順序の他の一例を示す図、（Ｃ）水平成分に対する走査順序のさらに他の一例を示す図、（Ｄ）水平成分に対する走査順序のさらに他の一例を示す図、（Ｅ）水平成分に対する走査順序のさらに他の一例を示す図
【図６】（Ａ）垂直成分に対する走査順序の一例を示す図、（Ｂ）垂直成分に対する走査順序の他の一例を示す図、（Ｃ）垂直成分に対する走査順序のさらに他の一例を示す図、（Ｄ）垂直成分に対する走査順序のさらに他の一例を示す図、（Ｅ）垂直成分に対する走査順序のさらに他の一例を示す図
【図７】（Ａ）対角成分に対する走査順序の一例を示す図、（Ｂ）対角成分に対する走査順序の他の一例を示す図
【図８】（Ａ）ビット平面１の走査範囲の一例を示す図、（Ｂ）ビット平面２の走査範囲の一例を示す図、（Ｃ）ビット平面３の走査範囲の一例を示す図、（Ｄ）ビット平面４の走査範囲の一例を示す図
【図９】図３（Ｂ）に示すグラフを水平周波数軸と平行な方向から見た図
【図１０】図１に示す映像符号化装置の動作の一例を示すフローチャート
【図１１】図１０に示す中域レイヤ符号化処理の手順の一例を示すフローチャート
【図１２】図１０に示す水平レイヤ符号化処理の手順の一例を示すフローチャート
【図１３】図１０に示す垂直レイヤ符号化処理の手順の一例を示すフローチャート
【図１４】図１０に示す対角レイヤ符号化処理の手順の一例を示すフローチャート
【図１５】本発明の実施の形態１に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図
【図１６】図１５に示す映像復号化装置の動作の一例を示すフローチャート
【図１７】図１６に示す中域レイヤ復号化処理の手順の一例を示すフローチャート
【図１８】図１６に示す水平レイヤ復号化処理の手順の一例を示すフローチャート
【図１９】図１６に示す垂直レイヤ復号化処理の手順の一例を示すフローチャート
【図２０】図１６に示す対角レイヤ復号化処理の手順の一例を示すフローチャート
【図２１】本発明の実施の形態２に係る映像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図２２】（Ａ）水平成分のＤＣＴ係数の模式図、（Ｂ）垂直成分のＤＣＴ係数の模式図、（Ｃ）対角成分のＤＣＴ係数の模式図
【図２３】図２１に示す映像符号化装置の動作の一例を示すフローチャート
【図２４】図２３に示す高域レイヤ符号化処理の手順の一例を示すフローチャート
【図２５】本発明の実施の形態２に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図
【図２６】図２５に示す映像復号化装置の動作の一例を示すフローチャート
【図２７】図２６に示す高域レイヤ復号化処理の手順の一例を示すフローチャート
【図２８】本発明の実施の形態３に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図
【図２９】図２８に示す映像復号化装置の動作の一例を示すフローチャート
【図３０】本発明の実施の形態４に係る映像符号化方法を適用した映像符号化装置の構成を示すブロック図
【図３１】図３０に示す映像符号化装置の中域レイヤ符号化処理の動作の一例を示すフローチャート
【図３２】図３０に示す映像符号化装置の水平レイヤ符号化処理の動作の一例を示すフローチャート
【図３３】図３０に示す映像符号化装置の垂直レイヤ符号化処理の動作の一例を示すフローチャート
【図３４】図３０に示す映像符号化装置の対角レイヤ符号化処理の動作の一例を示すフローチャート
【図３５】本発明の実施の形態４に係る映像復号化方法を適用した映像復号化装置の構成を示すブロック図
【図３６】図３５に示す映像復号化装置の中域レイヤ復号化処理の動作の一例を示すフローチャート
【図３７】図３５に示す映像復号化装置の水平レイヤ復号化処理の動作の一例を示すフローチャート
【図３８】図３５に示す映像復号化装置の垂直レイヤ復号化処理の動作の一例を示すフローチャート
【図３９】図３５に示す映像復号化装置の対角レイヤ復号化処理の動作の一例を示すフローチャート
【図４０】ＭＰＥＧ−４ ＦＧＳを適用した映像符号化装置の構成を示すブロック図
【符号の説明】
【０３１１】
１００、３００、６００  映像符号化装置
１０２  映像信号入力部
１０４  帯域分割部
１０６  縮小部
１０８  低域レイヤ符号部
１１０  低域レイヤ出力部
１１２  低域レイヤ復号化部
１１４、２０８  拡大部
１１６  差分部
１１８  中域レイヤＤＣＴ部
１２０  中域レイヤビット平面ＶＬＣ部
１２２  中域レイヤ出力部
１２４、１２４ａ  水平レイヤＤＣＴ部
１２６  水平レイヤビット平面ＶＬＣ部
１２８  水平レイヤ出力部
１３０、１３０ａ  垂直レイヤＤＣＴ部
１３２  垂直レイヤビット平面ＶＬＣ部
１３４  垂直レイヤ出力部
１３６、１３６ａ  対角レイヤＤＣＴ部
１３８  対角レイヤビット平面ＶＬＣ部
１４０  対角レイヤ出力部
２００、４００、５００、７００  映像復号化装置
２０２  低域レイヤ入力部
２０４  低域レイヤ復号化部
２０６  低解像度映像信号出力部
２１０  中域レイヤ入力部
２１２  中域レイヤビット平面ＶＬＤ部
２１４  中域レイヤＩＤＣＴ部
２１６  加算部
２１８  中解像度映像信号出力部
２２０  水平レイヤ入力部
２２２  水平レイヤビット平面ＶＬＤ部
２２４、２２４ａ  水平レイヤＩＤＣＴ部
２２６  垂直レイヤ入力部
２２８  垂直レイヤビット平面ＶＬＤ部
２３０、２３０ａ  垂直レイヤＩＤＣＴ部
２３２  対角レイヤ入力部
２３４  対角レイヤビット平面ＶＬＤ部
２３６、２３６ａ  対角レイヤＩＤＣＴ部
２３８  帯域合成部
２４０  高解像度映像信号出力部
３０２  高域レイヤビット平面ＶＬＣ部
３０４  高域レイヤ出力部
４０２  高域レイヤ入力部
４０４  高域レイヤビット平面ＶＬＤ部
５０２  レイヤ入力部
６０２  中域レイヤ量子化部
６０４  中域レイヤＶＬＣ部
６０６  水平レイヤ量子化部
６０８  水平レイヤＶＬＣ部
６１０  垂直レイヤ量子化部
６１２  垂直レイヤＶＬＣ部
６１４  対角レイヤ量子化部
６１６  対角レイヤＶＬＣ部
７０２  中域レイヤＶＬＤ部
７０４  中域レイヤ逆量子化部
７０６  水平レイヤＶＬＤ部
７０８  水平レイヤ逆量子化部
７１０  垂直レイヤＶＬＤ部
７１２  垂直レイヤ逆量子化部
７１４  対角レイヤＶＬＤ部
７１６  対角レイヤ逆量子化部
【図１】
2005117196.tif 000003
【図２】
2005117196.tif 000004
【図３】
2005117196.tif 000005
【図４】
2005117196.tif 000006
【図５】
2005117196.tif 000007
【図６】
2005117196.tif 000008
【図７】
2005117196.tif 000009
【図８】
2005117196.tif 000010
【図９】
2005117196.tif 000011
【図１０】
2005117196.tif 000012
【図１１】
2005117196.tif 000013
【図１２】
2005117196.tif 000014
【図１３】
2005117196.tif 000015
【図１４】
2005117196.tif 000016
【図１５】
2005117196.tif 000017
【図１６】
2005117196.tif 000018
【図１７】
2005117196.tif 000019
【図１８】
2005117196.tif 000020
【図１９】
2005117196.tif 000021
【図２０】
2005117196.tif 000022
【図２１】
2005117196.tif 000023
【図２２】
2005117196.tif 000024
【図２３】
2005117196.tif 000025
【図２４】
2005117196.tif 000026
【図２５】
2005117196.tif 000027
【図２６】
2005117196.tif 000028
【図２７】
2005117196.tif 000029
【図２８】
2005117196.tif 000030
【図２９】
2005117196.tif 000031
【図３０】
2005117196.tif 000032
【図３１】
2005117196.tif 000033
【図３２】
2005117196.tif 000034
【図３３】
2005117196.tif 000035
【図３４】
2005117196.tif 000036
【図３５】
2005117196.tif 000037
【図３６】
2005117196.tif 000038
【図３７】
2005117196.tif 000039
【図３８】
2005117196.tif 000040
【図３９】
2005117196.tif 000041
【図４０】
2005117196.tif 000042