(57)【要約】【課題】輝度成分と色差成分とを分離可能なＳＮＲスケーラビリティを導入することにより，主観画質を保持しつつ効率的に符号量を削減可能にする。【解決手段】各拡張階層における輝度信号の符号化データと色差信号の符号化データとを分離し，指定された各拡張階層毎の輝度信号および色差信号の出力順序に従って，輝度色差識別フラグ出力部１５により輝度信号と色差信号とを識別するための輝度色差識別フラグを出力し，輝度信号の符号化データまたは色差信号の符号化データを選択して，輝度信号符号化データ出力部１７または色差信号符号化データ出力部１８により，輝度信号の符号化データと色差信号の符号化データとを分離可能な形で単一の符号化ストリーム内に重畳して出力する。【選択図】図１
2008099044.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を階層毎に符号化し，基本階層と１または複数の拡張階層とからなる符号化ストリームを出力するスケーラブル符号化方法において，
画像シーケンスの各フレーム内の部分領域であるマクロブロック毎に輝度信号および色差信号に対して符号化データを生成する処理を，前記各階層毎に行う過程と，
基本階層の符号化データからなる符号化ストリームを出力する過程と，
各拡張階層における輝度信号の符号化データと色差信号の符号化データとを分離し，外部から指定された，または内部で定められた各拡張階層毎の輝度信号および色差信号の出力順序に従って，未出力の輝度信号の符号化データのうち基本階層に近い拡張階層の輝度信号の符号化データまたは未出力の色差信号の符号化データのうち基本階層に近い拡張階層の色差信号の符号化データを順次選択し，輝度信号と色差信号とを識別するための識別情報を前記選択した各符号化データに付加して符号化ストリーム内に格納することにより，輝度信号の符号化データと色差信号の符号化データとを分離可能な形で単一の符号化ストリーム内に重畳して出力する過程とを有する
ことを特徴とする色チャネルスケーラブル符号化方法。
【請求項２】
画像信号を階層毎に符号化し，基本階層と１または複数の拡張階層とからなる符号化ストリームを出力するスケーラブル符号化方法において，
画像シーケンスの各フレーム内の部分領域であるマクロブロック毎に輝度信号および色差信号に対して符号化データを生成する処理を，前記各階層毎に行う過程と，
基本階層の符号化データからなる符号化ストリームを出力する過程と，
拡張階層の符号化データについて，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納する第１の方式と，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両データを符号化ストリーム中に格納する第２の方式のいずれかを選択する過程と，
前記第１の方式が選択された場合に，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納して出力する過程と，
前記第２の方式が選択された場合に，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両符号化データを分離可能な形で単一の符号化ストリーム内に格納し出力する過程とを有する
ことを特徴とする色チャネルスケーラブル符号化方法。
【請求項３】
基本階層と１または複数の拡張階層とからなる符号化ストリームを復号するスケーラブル復号方法において，
入力した基本階層の符号化ストリームを復号する過程と，
入力した符号化ストリーム中の各拡張階層における輝度信号の符号化データおよび色差信号の符号化データに付加された輝度信号と色差信号とを識別するための識別情報を復号する過程と，
復号した識別情報が輝度信号を示すとき，その符号化データを，未復号の輝度信号の符号化データのうち基本階層に近い拡張階層の符号化データの輝度信号成分として復号する過程と，
復号した識別情報が色差信号を示すとき，その符号化データを，未復号の色差信号の符号化データのうち基本階層に近い拡張階層の符号化データの色差信号成分として復号する過程とを有する
ことを特徴とする色チャネルスケーラブル復号方法。
【請求項４】
基本階層と１または複数の拡張階層とからなる符号化ストリームを復号するスケーラブル復号方法において，
入力した基本階層の符号化ストリームを復号する過程と，
入力した拡張階層の符号化ストリームが，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納する第１の方式と，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両データを符号化ストリーム中に格納する第２の方式のいずれによって符号化されたものであるかを判定する過程と，
前記第１の方式により符号化されたものである場合に，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを復号する過程と，
前記第２の方式により符号化されたものである場合に，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を復号する過程と，
復号した識別情報が輝度信号を示すとき，その符号化データを輝度信号成分として復号し，前記識別情報が色差信号を示すとき，その符号化データを色差信号成分として復号する過程とを有する
ことを特徴とする色チャネルスケーラブル復号方法。
【請求項５】
画像信号を階層毎に符号化し，基本階層と１または複数の拡張階層とからなる符号化ストリームを出力するスケーラブル符号化装置において，
画像シーケンスの各フレーム内の部分領域であるマクロブロック毎に輝度信号および色差信号に対して符号化データを生成する処理を，前記各階層毎に行う手段と，
基本階層の符号化データからなる符号化ストリームを出力する手段と，
各拡張階層における輝度信号の符号化データと色差信号の符号化データとを分離し，外部から指定された，または内部で定められた各拡張階層毎の輝度信号および色差信号の出力順序に従って，未出力の輝度信号の符号化データのうち基本階層に近い拡張階層の輝度信号の符号化データまたは未出力の色差信号の符号化データのうち基本階層に近い拡張階層の色差信号の符号化データを順次選択し，輝度信号と色差信号とを識別するための識別情報を前記選択した各符号化データに付加して符号化ストリーム内に格納することにより，輝度信号の符号化データと色差信号の符号化データとを分離可能な形で単一の符号化ストリーム内に重畳して出力する手段とを備える
ことを特徴とする色チャネルスケーラブル符号化装置。
【請求項６】
画像信号を階層毎に符号化し，基本階層と１または複数の拡張階層とからなる符号化ストリームを出力するスケーラブル符号化装置において，
画像シーケンスの各フレーム内の部分領域であるマクロブロック毎に輝度信号および色差信号に対して符号化データを生成する処理を，前記各階層毎に行う手段と，
基本階層の符号化データからなる符号化ストリームを出力する手段と，
拡張階層の符号化データについて，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納する第１の方式と，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両データを符号化ストリーム中に格納する第２の方式のいずれかを選択する手段と，
前記第１の方式が選択された場合に，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納して出力する手段と，
前記第２の方式が選択された場合に，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両符号化データを分離可能な形で単一の符号化ストリーム内に格納し出力する手段とを備える
ことを特徴とする色チャネルスケーラブル符号化装置。
【請求項７】
基本階層と１または複数の拡張階層とからなる符号化ストリームを復号するスケーラブル復号装置において，
入力した基本階層の符号化ストリームを復号する手段と，
入力した符号化ストリーム中の各拡張階層における輝度信号の符号化データおよび色差信号の符号化データに付加された輝度信号と色差信号とを識別するための識別情報を復号する手段と，
復号した識別情報が輝度信号を示すとき，その符号化データを，未復号の輝度信号の符号化データのうち基本階層に近い拡張階層の符号化データの輝度信号成分として復号する手段と，
復号した識別情報が色差信号を示すとき，その符号化データを，未復号の色差信号の符号化データのうち基本階層に近い拡張階層の符号化データの色差信号成分として復号する手段とを備える
ことを特徴とする色チャネルスケーラブル復号装置。
【請求項８】
基本階層と１または複数の拡張階層とからなる符号化ストリームを復号するスケーラブル復号装置において，
入力した基本階層の符号化ストリームを復号する手段と，
入力した拡張階層の符号化ストリームが，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納する第１の方式と，輝度信号の符号化データと色差信号の符号化データとを分離し，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を付加し，当該拡張階層の輝度信号の符号化データまたは当該拡張階層の色差信号の符号化データとして，両データを符号化ストリーム中に格納する第２の方式のいずれによって符号化されたものであるかを判定する手段と，
前記第１の方式により符号化されたものである場合に，マクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを復号する手段と，
前記第２の方式により符号化されたものである場合に，当該拡張階層の輝度信号の符号化データおよび当該拡張階層の色差信号の符号化データに先立ち，輝度信号と色差信号とを識別するための識別情報を復号する手段と，
復号した識別情報が輝度信号を示すとき，その符号化データを輝度信号成分として復号し，前記識別情報が色差信号を示すとき，その符号化データを色差信号成分として復号する手段とを備える
ことを特徴とする色チャネルスケーラブル復号装置。
【請求項９】
請求項１または請求項２記載のスケーラブル符号化方法を，コンピュータに実行させるための色チャネルスケーラブル符号化プログラム。
【請求項１０】
請求項１または請求項２記載のスケーラブル符号化方法を，コンピュータに実行させるための色チャネルスケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
請求項３または請求項４記載のスケーラブル復号方法を，コンピュータに実行させるための色チャネルスケーラブル復号プログラム。
【請求項１２】
請求項３または請求項４記載のスケーラブル復号方法を，コンピュータに実行させるための色チャネルスケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，高能率画像信号符号化方法に関し，特に，色チャネル間のスケーラビリティを実現する階層符号化を行う色チャネルスケーラブル符号化方法およびその符号化ストリームを復号する色チャネルスケーラブル復号方法に関する。
【背景技術】
【０００２】
近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化におけるスケーラブル機能としては，
(ｉ) 異なる空間解像度の符号化ストリームを単一ストリームに重畳できる空間スケーラビリティ，
(ii) 異なる時間解像度の符号化ストリームを単一ストリームに重畳できる空間スケーラビリティ，
(iii)異なる復号画質の符号化ストリームを単一ストリームに重畳できるＳＮＲスケーラビリティ，
がある。
【０００３】
時間・空間・ＳＮＲスケーラビリティに対応した符号化方法として，Joint Scalable Coding Video(ＪＳＶＣ) が，国際標準化の場で規格化されている。非特許文献１で示されたＪＳＶＣは，ＡＶＣをベースとした符号化方式であり，空間スケーラビリティ，時間スケーラビリティは，各々，コーデックの階層化構造，階層型Ｂピクチャにより実現しており，ＳＮＲスケーラビリティは，画質の調整幅の大小により，ＦＧＳとＣＧＳとに分類されている。画質の調整幅の粗いＣＧＳは，空間スケーラビリティと同様，コーデックの階層化構造により実現され，一方，画質の調整幅の細かいＦＧＳは，変換係数に対するビットプレーン展開に類似した方法により実現されている。
【０００４】
具体的には，基本階層で用いられた量子化幅を拡張階層のレベルに応じて，順次，縮小した値を用いることにより，段階的な画質の向上を図っている。この符号化モードは，“progressive refinement”と呼ばれている。
【０００５】
図１０は，Ｈ．２６４におけるマクロブロックの輝度成分と色差成分の例を示している。Ｈ．２６４では，１６×１６［画素］の輝度成分（Ｙ），および２つの８×８［画素］の色差成分（Ｃｂ，Ｃｒ）をマクロブロックと呼び，このマクロブロック単位で変換係数を符号化ストリームへ変換している。この際，図１０に示すように，輝度成分の４つの８×８［画素］のサブブロックと同一サイズの２つの色差成分のサブブロックからなる６つのサブブロックに対して，各サブブロック内の変換係数が有意係数を含むか否かを表す６ビットの情報を付与している。これを“符号化ブロック・パターン（ＣＢＰ：Coded Block Pattern)”と呼ぶ。なお，図１０中のサブブロック内の数字は，各サブブロックに対するＣＢＰ内のビットの位置を表す。対応するＣＢＰ内のビットが“０”となるサブブロックについては，変換係数の情報は付加されない。これは符号量削減を狙った処理である。一方，同ビットが“１”となるサブブロックについては，変換係数の情報が付加される。
【非特許文献１】T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz, and M.Wien, "Jointdraft 6, JVT-S201", Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IECJTC1/SC29/WG11 and ITU-T SG16 Q.6) 19th Meeting: Geneva, Switzerland, 1-7 April, 2006.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＪＳＶＣ，Ｈ．２６４／ＡＶＣを始めとする動画像符号化方式において，入力映像の色差成分は，輝度成分に比べてダウンサンプリングされた信号が用いられてきた。４：２：２，４：２：０フォーマットと呼ばれる映像フォーマットがこれに当たる。こうした映像フォーマットは，輝度成分に比べて色差成分に対する感度が低いという生理学的な知見に基づき，符号量を削減する目的で導入されたものである。
【０００７】
色差成分のダウンサンプリングは，主観画質の低下を抑えつつ符号量を低減させる有効な手段である。しかし，こうした輝度成分と色差成分の感度の相対比は，空間方向・時間方向において一定でない。それは，画像信号の性質はフレーム毎に変化し，さらにフレーム内においても，局所的な変化を伴うことによる。こうした変化に応じて，色差成分に対する視覚感度の強度も変化する。
【０００８】
例えば，画素値が暗い領域では，明るい領域に比べて色差成分に対する感度は低下する。このため，フレーム内の局所的な性質に応じて，輝度成分と色差成分の符号量の比率を変化させることで，より効率的な符号量低減を達成できる可能性がある。
【０００９】
しかし，前述したＪＳＶＣは，輝度成分・色差成分に対して非分離形態での使用を想定して設計されたスケーラブル符号化方式である。このため，基本的には，輝度成分・色差成分に対して一様に画質調整を行うスケーラビリティのみしかサポートしていない。
【００１０】
ＪＳＶＣがサポートする類似の機能としては，輝度色差分離フラグluma＿chroma＿sep ＿flagによるＮＡＬユニット内の輝度情報と色差情報の出力順序の変更がある。しかし，ＮＡＬユニットの分割は想定外となっている。
【００１１】
輝度色差分離フラグの機能を以下に示す。本フラグが“０”にセットされた場合，各progressive refinement slice（以下，ＰＲスライスと略記する）内の符号化情報は，マクロブロック毎に輝度信号の符号化情報（輝度情報），色差信号の符号化情報（色差情報）の順で配置される。一方，本フラグが“１”にセットされた場合，各ＰＲスライス内の符号化情報は，各マクロブロックの輝度情報がマクロブロックの走査順に配置され，その後に，各マクロブロックの色差情報がマクロブロックの走査順に配置される。つまり，各ＰＲスライス内では，前半が輝度情報，後半が色差情報となる。
【００１２】
このように，輝度色差分離フラグluma＿chroma＿sep ＿flagは，輝度情報と色差情報の順序を入れ替える機能は提供している。しかし，本フラグを“１”にセットし，符号化ストリーム後半の色差情報のみを切り捨てて，輝度情報のみを復号しようとしても，輝度信号の復号が正しく行えず，輝度信号の復号値が劣化することになる。つまり，符号化ストリーム内における輝度情報と色差情報を分割可能なスケーラビリティ機能はサポートしてない。
【００１３】
図１１は，輝度色差分離フラグを１（luma＿chroma＿sep ＿flag＝１）にした場合の符号化ストリームの切り取り順序を示す。図１１において，丸で囲まれた数字が切り取り順序を表している。従来，輝度色差分離フラグによって，輝度情報と色差情報の順序を入れ替える機能は提供されているが，これには，さらに次の問題がある。輝度信号と色差信号の符号化情報の順序入れ替えは，図１１に示すように，単一のＰＲスライス内に閉じたものとなっている。このため，仮に，符号化ストリーム内における輝度情報と色差情報の分割がサポートされたとしても，ストリーム内における輝度信号と色差信号の符号化情報の分割は，複数のＰＲスライスに対して，横断的に行うことはできない。すなわち，図２に示すように，複数のＰＲスライスに対して横断的に色差情報の切り取り可能な符号化ストリームを生成することはできない。
【００１４】
図１２および図１３に従って，この問題をさらに具体的に説明する。図１２は，ＪＳＶＣにおける符号化ストリーム内での輝度，色差符号化ビットの配置例を示す。まず，図１２（ａ）に示すように，基本階層の符号化ビットを配置し，図１２（ｂ）に示すように，次に拡張階層１の輝度成分の符号化ビットを配置し，続いて図１２（ｃ）に示すように，色差成分の符号化ビットを配置する。同様に図１２（ｄ）〜（ｇ）に示すように，拡張階層２，拡張階層３についても，それぞれ輝度成分の符号化ビット，色差成分の符号化ビットの順番で符号化データを積み上げていく。
【００１５】
図１３（ａ）〜（ｇ）は，それぞれ図１２（ａ）〜（ｇ）に対応する符号化ストリームの構成を示している。図１３において，ＢＬは基本階層を表し，ＥＬ１，ＥＬ２，ＥＬ３は，各拡張階層を表す。また，太い斜線を付けた部分が基本階層の符号化データ，拡張階層において，網掛けの矩形が輝度成分の符号化ビット列，白い矩形が色差成分の符号化ビット列を表している。ＪＳＶＣにおける符号化ストリームでは，図１３（ａ）〜（ｇ）に示す順に，輝度成分および色差成分の符号化ビット列が付加されていく。輝度の符号化ビット列と色差の符号化ビット列は，符号化ストリーム内の位置により識別される。したがって，符号化ストリームを切り取って復号する場合には，図１３（ｆ）のように拡張階層ＥＬ３の色差成分の符号化ビット列，次に図１３（ｅ）のように，拡張階層ＥＬ３の輝度成分の符号化ビット列，さらに図１３（ｄ），（ｃ），（ｂ），（ａ）というように，色差成分と輝度成分の切り取りの順番が決まっており，これを変更することはできなかった。
【００１６】
このように，ＪＳＶＣでは，輝度成分と色差成分とを分離可能なＳＮＲスケーラビリティへのサポートは不完全なものとなっている。このため，符号化効率に関して改善の余地を残す。
【００１７】
以上の本発明の前提となる従来技術とその問題点を要約すると，以下の通りである。
(1) 現在の国際標準方式ＪＳＶＣ(Joint Scalable Coding Video) では，輝度・色差の情報分離がサポートされていないとの問題があった。
(2) 現在のＪＳＶＣでの画像符号化では，輝度・色差の情報の種類毎に，伝送されるビットストリーム上での位置（伝送される時間的順序）が決まっている。このため，途中の拡張階層のデータ（輝度情報あるいは色差情報）を抜いたら，復号器では復号できないとの問題があった。
(3) ビットストリームを切り捨てる処理（trancation処理）においては，ビットストリーム上での指定された位置よりも後方のストリームを捨てる。この切り捨てる処理においては，切り捨てられるデータの内容については復号処理を行わないので，データの種類が輝度情報なのか色差情報なのか，また，拡張階層の第何階層の情報なのかを知ることができない。
【００１８】
なお，復号器への入力は，ビットストリームの先頭から上記(3) の切り取り点（trancation point）までのデータのみである。復号器へは，ビットストリームの先頭から切り取り点までのデータと切り取り点の位置の情報が与えられる。
【００１９】
本発明はかかる事情に鑑みてなされたものであって，ＪＳＶＣに対して，輝度成分と色差成分とを分離可能なＳＮＲスケーラビリティ（チャネルスケーラビリティ）を導入することにより，効率的に符号量を削減するＳＮＲスケーラビリティ符号化を確立することを目的とする。
【課題を解決するための手段】
【００２０】
ＪＳＶＣでは，マクロブロック内の輝度符号化ビットと色差符号化ビットの符号化ストリーム内での配置が符号化器・復号器で共有される。前述したように，例えば，luma＿chroma＿sep ＿flag＝１にした場合，図１１に示した配置となる。各マクロブロック（図１０参照）内には１６×１６個の輝度信号に対する変換係数と２×８×８個の色差信号に対する変換係数とが存在するため，前述の通り両者の配置を共有し，符号化済み（復号済み）の係数の個数をカウントすることで，輝度と色差を識別している。このため，例えば図２に示すように，予め設定されていない輝度・色差の配置には対応できない。
【００２１】
なお，図２は，複数のＰＲスライスに対して横断的に色差情報の切り取り可能な符号化ストリームの例を示しており，丸で囲まれた数字が符号化ストリームを切り取る際の切り取り順序を示している。
【００２２】
本発明が目標とするのは，各拡張階層の輝度符号化ビット，色差符号化ビットの配置に柔軟性のある以下の符号化ストリームの構造の実現である。
・拡張階層において，輝度と色差を分離する。
・各拡張階層に追加する輝度信号と色差信号の順序を動的に変更可能にする。
【００２３】
ただし，同一信号における階層間の順序関係は保持するものとする。つまり，以下の条件下において，上記の適応処理を行う。
・階層間における輝度信号の順序は保持
・階層間における色差信号の順序は保持
拡張階層における輝度信号と色差信号の適応的な追加例を図３に示す。図３（ａ）の基本階層の信号に拡張階層の輝度信号，色差信号のいずれかを追加する場合，追加対象は，拡張階層１の輝度信号（図３（ａ）において丸付き数字の１を記した矩形），または拡張階層１の色差信号（図３（ａ）において丸付き数字の２を記した矩形）のいずれかとなる。ここで，同輝度信号（図３（ａ）において丸付き数字の１を記した矩形）を選んだ場合，図３（ｂ）のようになる。
【００２４】
さらに，図３（ｂ）の状態に拡張階層の輝度信号，色差信号のいずれかを追加する場合，その候補は，拡張階層２の輝度信号（図３（ｂ）において丸付き数字の１を記した矩形），または拡張階層１の色差信号（図３（ｂ）において丸付き数字の２を記した矩形）のいずれかとなる。なお，同様の処理を続けて，図３（ｅ）の状態になれば，拡張階層の輝度信号は全て積み上げられているため，次に追加できるのは，拡張階層２の色差信号（図３（ｅ）において丸付き数字の２を記した矩形）のみとなり，選択の必要は無い。
【００２５】
最終的に全ての拡張階層の信号を積み上げれば，図３（ｇ）の状態になる。また，図３（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ）の符号化ストリームは，各々，図４（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ）の構造を持つストリームに対応する。
【００２６】
そこで，本発明では，拡張階層毎に輝度符号化ビットと色差符号化ビットを分離した場合，輝度色差識別フラグ（１ビット）を各拡張階層の輝度符号化ビットおよび色差符号化ビットの先頭に付与し，同フラグを用いて，輝度符号化ビットと色差符号化ビットとを識別する。例えば，輝度色差識別フラグをluma＿chroma＿discrimination＿flagとすると，luma＿chroma＿discrimination＿flag＝０の場合，同フラグに続く符号化ビットは，輝度符号化ビットであるとし，luma＿chroma＿discrimination＿flag＝１の場合，同フラグに続く符号化ビットは，色差符号化ビットであるとする。
【００２７】
この規則に従うとすると，図４（ｇ）に示す符号化ビットの配置の場合，図５に示すように，輝度色差識別フラグ（破線で囲まれた数字が同フラグの値）が符号化ストリームに付加される。
【００２８】
なお，従来のＪＳＶＣはこうした輝度符号化ビットと色差符号化ビットの分離には対応していない。そこで，互換性を考えた場合，フレーム毎あるいはシーケンス毎に，上述の輝度・色差分離を行うこと示すフラグを与える必要がある。例えば，輝度色差分離フラグluma＿chroma＿sep ＿flagは“０”と“１”しか使用されていないため，luma＿chroma＿sep ＿flag＝２に，上述の輝度・色差分離を行うことを示すフラグの意味を持たせる。復号器では，輝度色差分離フラグluma＿chroma＿sep ＿flagの復号値が“２”の場合には，輝度符号化ビットあるいは色差符号化ビットの復号に先立ち，同フラグを復号することで，後続の符号化ビットを輝度符号化ビット，色差符号化ビットのいずれとして復号処理を行えばよいかを知る。
【発明の効果】
【００２９】
本発明により，輝度符号化ビットと色差符号化ビットを分離可能なチャネルスケーラブル符号化を実現できる。これによって，符号化ストリームの一部を切り取る際，色差符号化ビットのみを切り取り対象として指定することが可能となり，主観画質を保持しつつ，全体の符号量を削減できる。
【発明を実施するための最良の形態】
【００３０】
図１は，本発明の概要を説明するためのスケーラブル符号化装置のブロック図である。スケーラブル符号化装置１において，入力画像を階層符号化して各階層毎に符号化ビット列を出力する階層符号化部１０と，輝度信号・色差信号符号化データ出力部１３は，従来のＪＳＶＣの参照ソフトウェアであるＪＳＶＭによって実現されるものと同様の処理を行う。すなわち，本発明が従来技術と異なる部分は，例えばＪＳＶＭによる階層符号化部１０によりエントロピ符号化までの処理が終了し，各符号化情報がバイナリのビット列（符号化ビット）に変換された後の処理部分になる。
【００３１】
輝度色差分離フラグ判定部１１は，輝度色差分離フラグluma＿chroma＿sep ＿flagを判定し，輝度色差分離フラグの値が“２”の場合には，出力切り替え部１２を制御して，一点鎖線で囲まれた部分の処理を起動し，それ以外の場合には，輝度信号・色差信号符号化データ出力部１３によって符号化ストリームを出力する処理を行わせる。輝度信号・色差信号符号化データ出力部１３は，階層符号化部１０が出力するエントロピ符号化の符号化結果を入力として読み込み，ＪＳＶＭの規定に従い，例えばマクロブロック毎に輝度信号の符号化データと色差信号の符号化データとを対にして符号化ストリーム中に格納して出力する処理を行う。
【００３２】
輝度色差分離フラグの値が“２”の場合，輝度色差識別フラグ出力部１５，出力選択部１６，輝度信号符号化データ出力部１７，色差信号符号化データ出力部１８および階層レベル制御部１９によって，各拡張階層における輝度信号の符号化データと色差信号の符号化データとを分離可能な形で単一の符号化ストリーム内に重畳して出力する処理が行われる。
【００３３】
輝度色差識別フラグ出力部１５は，輝度色差信号出力順序指定部１４によって指定された各拡張階層毎の輝度信号および色差信号の出力順序に従って，輝度信号の符号化データを出力する場合には，“０”の輝度色差識別フラグを出力し，色差信号の符号化データを出力する場合には，“１”の輝度色差識別フラグを出力する（図５参照）。出力選択部１６は，輝度色差識別フラグが“０”の場合には，輝度信号符号化データ出力部１７を選択し，輝度色差識別フラグが“１”の場合には，輝度信号符号化データ出力部１７を選択する。輝度信号符号化データ出力部１７は，未出力の輝度信号の符号化データのうち基本階層に近い拡張階層の輝度信号の符号化データを，その階層における全マクロブロックの出力が終わるまで出力する。色差信号符号化データ出力部１８は，未出力の輝度信号の符号化データのうち基本階層に近い拡張階層の色差信号の符号化データを，その階層における全マクロブロックの出力が終わるまで出力する。階層レベル制御部１９は，輝度色差識別フラグ出力部１５および輝度信号符号化データ出力部１７，色差信号符号化データ出力部１８による出力を，すべての拡張階層に対する処理が終了するまで制御する。
【００３４】
次に，図６〜図９に従って，本発明の具体的な実施の形態を詳しく説明する。図６は，本発明の実施の形態による符号化処理のフローチャート，図７は，本発明の実施の形態による符号化装置の構成図，図８は，本発明の実施の形態による復号処理のフローチャート，図９は，本発明の実施の形態による復号装置の構成図である。
【００３５】
［フローチャート（符号化処理）］
本発明の符号化処理の実施形態について，図６を参照して説明する。
【００３６】
ステップＳ１０１：ＪＳＶＣの参照ソフトウェアであるＪＳＶＭが出力するエントロピ符号化の符号化結果を入力として読み込み，レジスタに出力する。
【００３７】
ステップＳ１０２：輝度色差分離フラグluma＿chroma＿sep ＿flagを入力として読み込み，同フラグが“２”か否かの判定を行い，判定結果が真値の場合，ステップＳ１０４に進む。そうでなければ，ステップＳ１０３に進む。
【００３８】
ステップＳ１０３：ＪＳＶＣの参照ソフトウェアであるＪＳＶＭが出力するエントロピ符号化の符号化結果を入力として読み込み，ＪＳＶＭの規定に従い，符号化ストリームとして書き出す。
【００３９】
ステップＳ１０４：各拡張階層における輝度信号，色差信号を入力として読み込み，各拡張階層毎に輝度色差識別フラグ（“０”または“１”）を生成し，輝度色差識別フラグを符号列とした輝度色差識別フラグ系列を出力する。輝度色差識別フラグの具体的な生成方法は，本実施の形態においては外部から与えられるものとする。
【００４０】
ステップＳ１０５：拡張階層の階層数をレジスタＮに書き出す。なお，階層数に関しては，外部から与えられるものとする。
【００４１】
ステップＳ１０６：レジスタｉ，ｋの値を“０”に初期化する。
【００４２】
ステップＳ１０７：輝度色差識別フラグ系列の第ｉ＋ｋビットを入力として読み込み，輝度色差識別フラグとして，符号化ストリームに出力する。
【００４３】
ステップＳ１０８：輝度色差分離フラグ系列の第ｉ＋ｋビットを入力として読み込み，同ビットが“０”か否かの判定を行い，判定結果が真値の場合，ステップＳ１０９に進む。そうでなければ，ステップＳ１１２に進む。
【００４４】
ステップＳ１０９：ステップＳ１０１で入力として読み込んだ符号化ビットを入力として読み込み，当該マクロブロックの輝度信号の符号化ビットを抽出し，符号化ストリームに書き出す。
【００４５】
ステップＳ１１０：ステップＳ１０９の処理を当該拡張階層における全てのマクロブロックについて行う。
【００４６】
ステップＳ１１１：レジスタｉの値を“１”だけインクリメントする。
【００４７】
ステップＳ１１２：ステップＳ１０１で入力として読み込んだ符号化ビットを入力として読み込み，当該マクロブロックの色差信号の符号化ビットを抽出し，符号化ストリームに書き出す。
【００４８】
ステップＳ１１３：ステップＳ１１２の処理を当該拡張階層における全てのマクロブロックについて行う。
【００４９】
ステップＳ１１４：レジスタｋの値を“１”だけインクリメントする。
【００５０】
ステップＳ１１５：ｉ＜Ｎかつｋ＜Ｎの条件を満たす場合には，ステップＳ１０７からステップＳ１１４の処理を繰り返す。同条件を満たさない場合には，ステップＳ１１６の処理に移る。
【００５１】
ステップＳ１１６：レジスタｉの値，およびレジスタＮの値を入力として読み込み，両値が等しいか否かの判定を行い，判定結果が真値の場合，ステップＳ１２０に進む。そうでなければ，ステップＳ１１７に進む。
【００５２】
ステップＳ１１７：ステップＳ１０９に同じ。
【００５３】
ステップＳ１１８：ステップＳ１１７の処理を当該拡張階層における全てのマクロブロックについて行う。
【００５４】
ステップＳ１１９：レジスタｉの値を“１”だけインクリメントする。
【００５５】
ステップＳ１２０：レジスタｋの値，およびレジスタＮの値を入力として読み込み，両値が等しいか否かの判定を行い，判定結果が真値の場合，処理を終了する。そうでなければ，ステップＳ１２１に進む。
【００５６】
ステップＳ１２１：ステップＳ１１２に同じ。
【００５７】
ステップＳ１２２：ステップＳ１２１の処理を当該拡張階層における全てのマクロブロックについて行う。
【００５８】
ステップＳ１２３：レジスタｋの値を“１”だけインクリメントする。
【００５９】
［符号化装置の構成図］
本発明の実施の形態に係る符号化装置の構成を，図７を参照して説明する。
【００６０】
エントロピ符号化ビット記憶部１０１：ＪＳＶＣの参照ソフトウェアであるＪＳＶＭが出力するエントロピ符号化の符号化結果を格納する。
【００６１】
輝度色差分離フラグ記憶部１０２：輝度色差分離フラグluma＿chroma＿sep ＿flagを格納する。
【００６２】
輝度色差分離フラグ判定部１０３：輝度色差分離フラグ記憶部１０２から輝度色差分離フラグluma＿chroma＿sep ＿flagを入力として読み込み，同フラグが“２”か否かの判定を行い，判定結果が真値の場合，輝度色差識別フラグ系列生成部１０６の処理に進む。そうでなければ，ＪＳＶＣ符号化ストリーム書き出し部１０４の処理に進む。
【００６３】
ＪＳＶＣ符号化ストリーム書き出し部１０４：エントロピ符号化ビット記憶部１０１からエントロピ符号化の符号化結果を入力として読み込み，ＪＳＶＭの規定に従い，符号化ストリームとして符号化ストリーム記憶部１０５に書き出す。
【００６４】
輝度色差識別フラグ系列生成部１０６：各拡張階層における輝度信号，色差信号を入力として読み込み，各拡張階層毎に輝度色差識別フラグ（“０”または“１”）を生成し，輝度色差識別フラグを符号列とした輝度色差識別フラグ系列を，輝度色差識別フラグ系列記憶部１０７に書き出す。なお，輝度色差識別フラグの具体的な生成方法は，本実施の形態では外部から与えられるものとする。
【００６５】
拡張階層数読み込み部１０８：拡張階層の階層数Ｎを入力として読み込み，拡張階層階層数記憶部１０９に書き出す。なお，階層数に関しては，外部から与えられるものとする。
【００６６】
カウンター初期化部１１０：レジスタｉ，ｋの値を“０”に初期化し，カウンター記憶部１１１に書き出す。
【００６７】
輝度色差識別フラグ読み込み部１１２：カウンター記憶部１１１のｉ，ｋの値，およぴ，輝度色差識別フラグ系列の第ｉ＋ｋビットを入力として読み込み，輝度色差識別フラグとして，輝度色差識別フラグ記憶部１１３に書き出す。
【００６８】
輝度色差識別フラグ符号化部１１４：輝度色差識別フラグ記憶部１１３から輝度色差識別フラグを入力として読み込み，符号化処理を行い，符号化ストリーム記憶部１１５に書き出す。具体的な符号化方法は，外部から与えられるものとする。例えば，算術符号化を用いる。符号化ストリーム記憶部１１５に書き出された輝度色差識別フラグの符号化ビットは，後述する輝度信号または色差信号の符号化ビットの前に付加されて出力される。
【００６９】
輝度色差識別フラグ判定部１１６：輝度色差識別フラグ記憶部１１３から輝度色差識別フラグを入力として読み込み，同フラグが“０”か否かの判定を行い，判定結果が真値の場合，輝度信号符号化ストリーム書き出し部１１７の処理に進む。そうでなければ，色差信号符号化ストリーム書き出し部１２２の処理に進む。
【００７０】
輝度信号符号化ストリーム書き出し部１１７：エントロピ符号化ビット記憶部１０１から符号化ビットを入力として読み込み，当該マクロブロックの輝度信号の符号化ビットを抽出し，符号化ストリーム記憶部１１８に書き出す。
【００７１】
最終マクロブロック判定部１１９：輝度信号符号化ストリーム書き出し部１１７により符号化ビットを符号化ストリーム記憶部１１８に書き出す処理を当該拡張階層における全てのマクロブロックについて行わせる。
【００７２】
カウンターインクリメント部１２０：レジスタｉの値を“１”だけインクリメントし，この値を輝度階層レベル記憶部１２１に書き出す。
【００７３】
色差信号符号化ストリーム書き出し部１２２：エントロピ符号化ビット記憶部１０１から符号化ビットを入力として読み込み，当該マクロブロックの色差信号の符号化ビットを抽出し，符号化ストリーム記憶部１２３に書き出す。
【００７４】
最終マクロブロック判定部１２４：色差信号符号化ストリーム書き出し部１２２により符号化ビットを符号化ストリーム記憶部１２３に書き出す処理を当該拡張階層における全てのマクロブロックについて行わせる。
【００７５】
カウンターインクリメント部１２５：レジスタｋの値を“１”だけインクリメントし，この値を色差階層レベル記憶部１２６に書き出す。
【００７６】
最終階層レベル判定部１２７：ｉ＜Ｎかつｋ＜Ｎの条件を満たす場合には，カウンター記憶部１１１から輝度階層レベル記憶部１２１または色差階層レベル記憶部１２６への記憶までの処理を繰り返す。ｋ＜Ｎかつｉ＝Ｎの場合には，色差階層レベル記憶部１３４の処理に移る。ｋ＝Ｎかつｉ＜Ｎの場合には，輝度階層レベル記憶部１２８の処理に移る。ｋ＝Ｎかつｉ＝Ｎの場合には，処理を終了する。
【００７７】
輝度階層レベル記憶部１２８：ｉの値を格納する。
【００７８】
輝度信号符号化ストリーム書き出し部１２９：エントロピ符号化ビット記憶部１０１の符号化ビットを入力として読み込み，当該マクロブロックの輝度信号の符号化ビットを抽出し，符号化ストリーム記憶部１３０に書き出す。
【００７９】
最終マクロブロック判定部１３１：輝度階層レベル記憶部１２８，輝度信号符号化ストリーム書き出し部１２９，符号化ストリーム記憶部１３０の処理を当該拡張階層における全てのマクロブロックについて行う。
【００８０】
最終階層レベル判定部１３２：ｉ＝Ｎの場合には，カウンターインクリメント部１３３の処理に移る。そうでなければ，処理を終了する。
【００８１】
カウンターインクリメント部１３３：レジスタｉの値を“１”だけインクリメントする。
【００８２】
色差階層レベル記憶部１３４：ｋの値を格納する。
【００８３】
色差信号符号化ストリーム書き出し部１３５：エントロピ符号化ビット記憶部１０１の符号化ビットを入力として読み込み，当該マクロブロックの色差信号の符号化ビットを抽出し，符号化ストリーム記憶部１３６に書き出す。
【００８４】
最終マクロブロック判定部１３７：色差階層レベル記憶部１３４，色差信号符号化ストリーム書き出し部１３５，符号化ストリーム記憶部１３６の処理を当該拡張階層における全てのマクロブロックについて行う。
【００８５】
最終階層レベル判定部１３８：ｋ＜Ｎの場合には，カウンターインクリメント部１３９の処理に移る。そうでなければ，処理を終了する。
【００８６】
カウンターインクリメント部１３９：レジスタｋの値を“１”だけインクリメントする。
【００８７】
［フローチャート（復号処理）］
本発明の復号処理の実施形態について，図８を参照して説明する。
【００８８】
ステップＳ２０１：図８の符号化処理が出力する符号化ストリームを入力として読み込み，レジスタに出力する。
【００８９】
ステップＳ２０２：ステップＳ２０１で読み込んだ符号化ストリーム中の輝度色差分離フラグluma＿chroma＿sep ＿flagに対する符号化ビット列を入力として読み込み，復号処理を行い，復号値をレジスタに書き出す。
【００９０】
ステップＳ２０３：輝度色差分離フラグluma＿chroma＿sep ＿flagを入力として読み込み，同フラグが“２”か否かの判定を行い，判定結果が真値の場合，ステップＳ２０５に進む。そうでなければ，ステップＳ２０４に進む。
【００９１】
ステップＳ２０４：ＪＳＶＣの参照ソフトウェアであるＪＳＶＭが出力する符号化ストリームを入力として読み込み，ＪＳＶＣの規定に従い，復号信号として書き出す。
【００９２】
ステップＳ２０５：ステップＳ２０１で読み込んだ符号化ストリーム中の拡張階層の階層数に対する符号化ビットを入力として読み込み，復号処理を行い，レジスタＮに書き出す。
【００９３】
ステップＳ２０６：レジスタｋ，ｉの値を“０”に初期化する。
【００９４】
ステップＳ２０７：ステップＳ２０１で読み込んだ符号化ストリーム中の輝度色差識別フラグに対する符号化ビットを入力として読み込み，復号処理を行い，レジスタに書き出す。
【００９５】
ステップＳ２０８：ステップＳ２０７で出力した輝度色差識別フラグを入力として読み込み，同ビットが“０”か否かの判定を行い，判定結果が真値の場合，ステップＳ２０９に進む。そうでなければ，ステップＳ２１２に進む。
【００９６】
ステップＳ２０９：ステップＳ２０１で読み込んだ符号化ストリーム中の当該マクロブロックの輝度信号の符号化ビットを入力として読み込み，復号処理を行い，復号信号として書き出す。
【００９７】
ステップＳ２１０：ステップＳ２０９の処理を当該拡張階層における全てのマクロブロックについて行う。
【００９８】
ステップＳ２１１：レジスタｉの値を“１”だけインクリメントする。
【００９９】
ステップＳ２１２：ステップＳ２０１で読み込んだ符号化ストリーム中の当該マクロブロックの色差信号の符号化ビットを入力として読み込み，復号処理を行い，復号信号として書き出す。
【０１００】
ステップＳ２１３：ステップＳ２１２の処理を当該拡張階層における全てのマクロブロックについて行う。
【０１０１】
ステップＳ２１４：レジスタｋの値を“１”だけインクリメントする。
【０１０２】
ステップＳ２１５：ｉ＜Ｎかつｋ＜Ｎの条件を満たす場合には，ステップＳ２０７からステップＳ２１４の処理を繰り返す。同条件を満たさない場合には，ステップＳ２１６の処理に移る。
【０１０３】
ステップＳ２１６：レジスタｉの値，およびレジスタＮの値を入力として読み込み，両値が等しいか否かの判定を行い，判定結果が真値の場合，ステップＳ２２０に進む。そうでなければ，ステップＳ２１７に進む。
【０１０４】
ステップＳ２１７：ステップＳ２０９に同じ。
【０１０５】
ステップＳ２１８：ステップＳ２１７の処理を当該拡張階層における全てのマクロブロックについて行う。
【０１０６】
ステップＳ２１９：レジスタｉの値を“１”だけインクリメントする。
【０１０７】
ステップＳ２２０：レジスタｋの値，およびレジスタＮの値を入力として読み込み，両値が等しいか否かの判定を行い，判定結果が真値の場合，処理を終了する。そうでなければ，ステップＳ２２１に進む。
【０１０８】
ステップＳ２２１：ステップＳ２１２に同じ。
【０１０９】
ステップＳ２２２：ステップＳ２２１の処理を当該拡張階層における全てのマクロブロックについて行う。
【０１１０】
ステップＳ２２３：レジスタｋの値を“１”だけインクリメントする。
【０１１１】
［復号装置の構成図］
本発明の実施の形態に係る復号装置の構成を，図９を参照して説明する。
【０１１２】
符号化ストリーム記憶部２０１：ＪＳＶＣの参照ソフトウェアであるＪＳＶＭが出力した符号化ストリームを格納する。
【０１１３】
輝度色差分離フラグ復号処理部２０２：符号化ストリーム記憶部２０１から読み出した符号化ストリームを入力とし，輝度色差分離フラグluma＿chroma＿sep ＿flagの符号化ビットに対する復号処理を行い，復号結果を輝度色差分離フラグ記憶部２０３に格納する。
【０１１４】
輝度色差分離フラグ判定部２０４：輝度色差分離フラグ記憶部２０３から輝度色差分離フラグluma＿chroma＿sep ＿flagを入力として読み込み，同フラグが“２”か否かの判定を行い，判定結果が真値の場合，拡張階層数復号処理部２０７に進む。そうでなければ，ＪＳＶＣ符号化ストリーム復号処理部２０５の処理に進む。
【０１１５】
ＪＳＶＣ符号化ストリーム復号処理部２０５：符号化ストリーム記憶部２０１から符号化ストリームを入力として読み込み，ＪＳＶＣの規定に従い，復号処理を行い，復号結果を復号信号記憶部２０６に書き出す。
【０１１６】
拡張階層階層数復号処理部２０７：符号化ストリーム記憶部２０１から読み出した符号化ストリームを入力とし，拡張階層の階層数Ｎの符号化ビットを抽出し，同符号化ビットに対する復号処理を行い，復号結果を拡張階層階層数記憶部２０８に書き出す。
【０１１７】
カウンター初期化部２０９：レジスタｉ，ｋの値を“０”に初期化し，カウンター記憶部２１０に書き出す。
【０１１８】
輝度色差識別フラグ復号処理部２１１：符号化ストリーム記憶部２０１から読み出した符号化ストリームを入力とし，輝度色差識別フラグの符号化ビットを抽出し，その符号化ビットに対する復号処理を行い，復号結果を輝度色差識別フラグ記憶部２１２に書き出す。
【０１１９】
輝度色差識別フラグ判定部２１３：輝度色差識別フラグ記憶部２１２から輝度色差識別フラグを入力として読み込み，同フラグが“０”か否かの判定を行い，判定結果が真値の場合，輝度信号符号化ストリーム復号処理部２１４の処理に進む。そうでなければ，色差信号符号化ストリーム復号処理部２１９の処理に進む。
【０１２０】
輝度信号符号化ストリーム復号処理部２１４：符号化ストリーム記憶部２０１から符号化ビットを入力として読み込み，当該マクロブロックの輝度信号の符号化ビットを抽出し，同符号化ビットに対する復号処理を行い，復号結果を復号信号記憶部２１５に書き出す。
【０１２１】
最終マクロブロック判定部２１６：輝度信号符号化ストリーム復号処理部２１４，復号結果を復号信号記憶部２１５の処理を当該拡張階層における全てのマクロブロックについて行わせる。
【０１２２】
カウンターインクリメント部２１７：レジスタｉの値を“１”だけインクリメントし，この値を輝度階層レベル記憶部２１８に書き出す。
【０１２３】
色差信号符号化ストリーム復号処理部２１９：符号化ストリーム記憶部２０１から符号化ビットを入力として読み込み，当該マクロブロックの色差信号の符号化ビットを抽出し，同符号化ビットに対する復号処理を行い，復号結果を復号信号記憶部２２０に書き出す。
【０１２４】
最終マクロブロック判定部２２１：色差信号符号化ストリーム復号処理部２１９，復号結果を復号信号記憶部２２０の処理を当該拡張階層における全てのマクロブロックについて行わせる。
【０１２５】
カウンターインクリメント部２２２：レジスタｋの値を“１”だけインクリメントし，この値を色差階層レベル記憶部２２３に書き出す。
【０１２６】
最終階層レベル判定部２２４：ｉ＜Ｎかつｋ＜Ｎの条件を満たす場合には，カウンター記憶部２１０から輝度階層レベル記憶部２１８または色差階層レベル記憶部２２３への記憶までの処理を繰り返す。ｋ＜Ｎかつｉ＝Ｎの場合には，色差階層レベル記憶部２３１の処理に移る。ｋ＝Ｎかつｉ＜Ｎの場合には，輝度階層レベル記憶部２２５の処理に移る。ｋ＝Ｎかつｉ＝Ｎの場合には，処理を終了する。
【０１２７】
輝度階層レベル記憶部２２５：ｉの値を格納する。
【０１２８】
輝度信号復号処理部２２６：符号化ストリーム記憶部２０１の符号化ビットを入力として読み込み，当該マクロブロックの輝度信号の符号化ビットを抽出し，同符号化ビットに対する復号処理を行い，復号結果を復号信号記憶部２２７に書き出す。
【０１２９】
最終マクロブロック判定部２２８：輝度階層レベル記憶部２２５，輝度信号復号処理部２２６，復号信号記憶部２２７の処理を当該拡張階層における全てのマクロブロックについて行わせる。
【０１３０】
最終階層レベル判定部２２９：ｉ＜Ｎの場合には，カウンターインクリメント部２３０の処理に移る。そうでなければ，処理を終了する。
【０１３１】
カウンターインクリメント部２３０：レジスタｉの値を“１”だけインクリメントする。
【０１３２】
色差階層レベル記憶部２３１：ｋの値を格納する。
【０１３３】
色差信号復号処理部２３２：符号化ストリーム記憶部２０１の符号化ビットを入力として読み込み，当該マクロブロックの色差信号の符号化ビットを抽出し，同符号化ビットに対する復号処理を行い，復号結果を復号信号記憶部２３３に書き出す。
【０１３４】
最終マクロブロック判定部２３４：色差階層レベル記憶部２３１，色差信号復号処理部２３２，復号信号記憶部２３３の処理を当該拡張階層における全てのマクロブロックについて行わせる。
【０１３５】
最終階層レベル判定部２３５：ｋ＜Ｎの場合には，カウンターインクリメント部２３６の処理に移る。そうでなければ，処理を終了する。
【０１３６】
カウンターインクリメント部２３６：レジスタｋの値を“１”だけインクリメントする。
【０１３７】
以上のように符号化装置および復号装置を構成することによって，本発明は，主観画質を保持しつつ，符号量を削減できるという効果がある。具体的には，主観画質への影響が少ない色差情報を削減可能になる。
【０１３８】
これは，本発明では符号化ストリームの一部を切り取る（trancate）際に，色差データだけを削減可能なデータ構造を採用していること，すなわち，輝度データと色差データの分離を実現するチャネルスケーラブル符号化のための，ビットストリームのデータ構造（シンタックス）を採用したことによる。さらに具体的には，符号化装置において，各拡張階層の中で輝度情報・色差情報をまとめて分離して，それぞれをブロック化することにしたことによる。復号装置では，これに対応した復号処理を行う。
【０１３９】
以上の符号化および復号の処理は，ハードウェアまたはファームウェアによって実現することができるとともに，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【０１４０】
【図１】本発明の概要を説明するためのスケーラブル符号化装置のブロック図である。
【図２】複数のＰＲスライスに対して横断的に色差情報の切り取り可能な符号化ストリームの例を示す図である。
【図３】本発明における符号化ストリーム内での輝度，色差符号化ビットの配置例を示す図である。
【図４】本発明における図３の配置例に対応する符号化ストリームの構成を示す図である。
【図５】符号化ストリーム内での輝度，色差符号化ビットに付与した輝度色差識別フラグの例を示す図である。
【図６】本発明の実施の形態による符号化処理のフローチャートである。
【図７】本発明の実施の形態による符号化装置の構成図である。
【図８】本発明の実施の形態による復号処理のフローチャートである。
【図９】本発明の実施の形態による復号装置の構成図である。
【図１０】Ｈ．２６４におけるマクロブロックの輝度成分と色差成分の例を示す図である。
【図１１】輝度色差分離フラグを“１”にした場合の符号化ストリームの切り取り順序を示す図である。
【図１２】ＪＳＶＣにおける符号化ストリーム内での輝度，色差符号化ビットの配置例を示す図である。
【図１３】ＪＳＶＣにおける図１２の配置例に対応する符号化ストリームの構成を示す図である。
【符号の説明】
【０１４１】
１    スケーラブル符号化装置
１０  階層符号化部
１１  輝度色差分離フラグ判定部
１２  出力切り替え部
１３  輝度信号・色差信号符号化データ出力部
１４  輝度色差信号出力順序指定部
１５  輝度色差識別フラグ出力部
１６  出力選択部
１７  輝度信号符号化データ出力部
１８  色差信号符号化データ出力部
１９  階層レベル制御部
【図１】
2008099044.tif 000003
【図２】
2008099044.tif 000004
【図３】
2008099044.tif 000005
【図４】
2008099044.tif 000006
【図５】
2008099044.tif 000007
【図６】
2008099044.tif 000008
【図７】
2008099044.tif 000009
【図８】
2008099044.tif 000010
【図９】
2008099044.tif 000011
【図１０】
2008099044.tif 000012
【図１１】
2008099044.tif 000013
【図１２】
2008099044.tif 000014
【図１３】
2008099044.tif 000015