(57)【要約】【課題】  映像階層符号化における解像度間の予測効率の向上を図る。【解決手段】  映像信号を空間デシメーション部104において空間解像度のデシメーションをおこなう。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ビットストリームを生成する。高解像度推定信号生成部106において、ベースレイヤローカルデコード信号から高解像度推定信号を生成する。入力映像信号と高解像度推定信号を用いて、エンハンスメントレイヤエンコード部107において予測を伴った符号化を行う。ベースレイヤエンコード部105及びエンハンスメントレイヤエンコード部107より得られたそれぞれのビットストリームを多重化部108において、多重化をおこない、ひとつのビットストリームを生成する。【選択図】      図１
2008136037.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化装置において、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大手段と、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第１及び第２の各符号化データを多重化する多重化手段と、
を備え、
前記空間的拡大手段は、前記第１の符号化手段での符号化に用いた量子化パラメータと、前記第の２符号化手段において前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化装置。
【請求項２】
入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化方法において、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小ステップと、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化ステップと、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大ステップと、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化ステップと、
前記第１及び第２の各符号化データを多重化する多重化ステップと、
を備え、
前記空間的拡大ステップは、前記第１の符号化ステップでの符号化に用いた量子化パラメータと、前記第の２符号化ステップにおいて前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化方法。
【請求項３】
入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る動作をコンピュータに実行させるための映像信号階層符号化プログラムにおいて、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大手段と、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第１及び第２の各符号化データを多重化する多重化手段と、
してコンピュータを機能させるための映像信号階層符号化プログラムであり、
前記空間的拡大手段は、前記第１の符号化手段での符号化に用いた量子化パラメータと、前記第の２符号化手段において前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の符号化、特に階層符号化に関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広い。
【０００３】
映像の空間解像度スケーラビリティを実現する従来技術として特許文献1がある。図11に特許文献1の符号化部1101と復号化部1103の構成例を示す。符号化部1101にはオリジナルの映像信号が入力され、符号化部1101で生成されたビットストリームが通信回線またはメディアなど1102を介して復号化部1103に伝送される。復号化部1103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。
【０００４】
符号化部1101は、空間デシメーション部（空間的縮小部）1104、ベースレイヤエンコード部1105、空間インターポレーション部（空間的拡大部）1106、エンハンスメントレイヤ符号化部1107および多重化部1108から構成される。
【０００５】
空間デシメーション部1104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。また、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部1105に出力する機能を有する。
【０００６】
ベースレイヤエンコード部1105は、空間デシメーション部1104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部1108へ出力する機能を有する。ここで、エンコードの方法には、MPEG-2などが用いられる。また、MPEG-2等におけるローカルデコード（局部復号）をおこなった信号を空間インターポレーション部1106へ出力する機能を有する。
【０００７】
空間インターポレーション部1106は、ベースレイヤエンコード部1105から出力されるローカルデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤエンコード部1107へ出力する機能を有する。
【０００８】
エンハンスメントレイヤエンコード部1107は、オリジナルの映像信号と空間インターポレーション部1106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。また、符号化されて生成されるビットストリームを多重化部1108に出力する機能を有する。
【０００９】
多重化部1108は、ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部1101の外部、例えば通信回線やメディアなど1102へ出力する機能を有する。
【００１０】
復号化部1103は、エクストラクト部1109、ベースレイヤデコード部1110、空間インターポレーション部1111およびエンハンスメントレイヤデコード部1112から構成される。
エクストラクト部1109は、ビットストリームを入力として受け付ける機能を有する。復号化部1103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部1110およびエンハンスメントレイヤデコード部1112に出力する機能を有する。
【００１１】
ベースレイヤデコード部1110は、エクストラクト部1109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を空間インターポレーション部1111と必要に応じてディスプレイ等への出力をおこなう機能を有する。ここで、復号にはMPEG-2デコーダなどを用いる。
【００１２】
空間インターポレーション部1111は、ベースレイヤデコード部1110から出力されるベースレイヤデコード信号を入力として受け付け、入力された信号をエンハンスメントレイヤの信号の解像度に空間インターポレーションする機能を有する。また、エンハンスメントレイヤの信号の解像度に空間インターポレーションされた信号をエンハンスメントレイヤデコード部1112へ出力する機能を有する。
【００１３】
エンハンスメントレイヤデコード部1112は、エクストラクト部1109から得られるビットストリームおよび空間インターポレーション部1111から出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。
【００１４】
図11に示した符号化部1101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図12に示す。
オリジナルの映像信号を、まず、空間デシメーション部1104において空間解像度のデシメーションをおこなう[ステップS1201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部1105を用いて符号化し、ビットストリームを生成する[ステップS1202]。生成されたビットストリームを多重化部1108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106へ送る。ベースレイヤエンコード部1105より得られるベースレイヤのローカルデコード信号を空間インターポレーション部1106において空間解像度のインターポレーションをおこなう[ステップS1203]。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部1107に送る。
【００１５】
オリジナルの映像信号と空間インターポレーション部1106の出力信号を用いて、エンハンスメントレイヤエンコード部1107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS1204]。そして、符号化により生成されたビットストリームを、多重化部1108へ送る。ベースレイヤエンコード部1105およびエンハンスメントレイヤエンコード部1107より得られたそれぞれのビットストリームを多重化部1108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS1205]。
【００１６】
図11に示した復号化部1103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図13に示す。
通信回線やメディア等1102からビットストリームをエクストラクト部1109を用いて受信する。ビットストリームを解析し、復号化部1103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部1110、エンハンスメントレイヤデコード部1112それぞれに対応したデータに分割して出力する[ステップS1301]。
【００１７】
エクストラクト部1109で分割したベースレイヤに対応するデータをベースレイヤデコード部1110で復号する[ステップS1302]。復号したベースレイヤデコード映像信号を空間インターポレーション部1111に出力し、必要があればディスプレイ等にも出力する。ベースレイヤデコード部1110より得られるベースレイヤのデコード映像信号を空間インターポレーション部1111において空間解像度のインターポレーションをおこなう[ステップS1303]。そして、空間インターポレーションした信号をエンハンスメントレイヤデコード部1112に送る。エクストラクト部1109で分割したエンハンスメントレイヤに対応するデータおよび空間インターポレーション部1111で空間インターポレーションした信号をエンハンスメントレイヤデコード部1112で復号する[ステップS1304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。
【００１８】
一方、画像拡大法の分野において、画像拡大時に拡大後の解像度に適切な高周波数成分を推定して付加する非特許文献1の技術がある。非特許文献1は、階層符号化におけるラプラシアンピラミッドの考え方を画像拡大法に応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度がひとつ高い階層のラプラシアン成分の推定を成し遂げる方法である。
【００１９】
図14に非特許文献1による高周波数成分推定を伴う画像拡大部1401の構成例を示す。高周波数成分を伴う画像拡大部1401は、第1のハイパスフィルタリング部1402、第1のインターポレーション部1403、振幅制限・定数倍処理部1404、第2のハイパスフィルタリング部1405、第2のインターポレーション部1406及び信号合成部1407で構成される。
【００２０】
第1のハイパスフィルタリング部1402は、拡大対象のオリジナルの信号を入力として受け付け、入力信号のラプラシアン成分を抽出する機能を有する。入力信号のラプラシアン成分の抽出は次のように行う。ここで、説明を簡単にするために、1次元の信号モデルを例にして、入力信号をG0(x)、入力信号から抽出されるラプラシアン成分をL0(x)とする。
【００２１】
【数１】
2008136037.tif 000003
【００２２】
【数２】
2008136037.tif 000004
【００２３】
ここで、ρは、ガウシアンフィルタの帯域を調整するためのパラメータである。また、第1のハイパスフィルタリング部1402は、入力信号から抽出したラプラシアン成分の信号を第1のインターポレーション部1403へ出力する機能を有する。
【００２４】
第1のインターポレーション部1403は、第1のハイパスフィルタリング部1402より出力されるラプラシアン成分の信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rL0(x)は、入力ラプラシアン成分信号をL0(x)とすると、
【００２５】
【数３】
2008136037.tif 000005
【００２６】
【数４】
2008136037.tif 000006
【００２７】
【数５】
2008136037.tif 000007
【００２８】
で与えられる。ここでint(・)は整数部分を取り出す操作を示す。また、第1のインターポレーション部1403は、インターポレーションした信号を振幅制限・定数倍処理部1404へ出力する機能を有する。
【００２９】
振幅制限・定数倍処理部1404は、第1のインターポレーション部1403より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は、入力される信号に対して、振幅制限と定数倍処理を行うことで実現される。生成される信号Ｌrバー(x)は、入力される信号を(EXPAND)rL0(x)とすると、
【００３０】
【数６】
2008136037.tif 000008
【００３１】
で与えられる。ここで、振幅制限のためのパラメータT及び定数倍処理のためのパラメータαrは、非特許文献1中で実験的に求められている。なお、パラメータαrは、拡大率に応じて可変である。また、振幅制限・定数倍処理部1404は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部1405へ出力する機能を有する。
【００３２】
第2のハイパスフィルタリング部1405は、振幅制限・定数倍処理部1404より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、振幅制限・定数倍処理より出力された信号から低域成分を取り除き、本来求めようとしている高周波数成分のみを得るものである。これは、入力される信号に対してハイパスフィルタリングをおこなうことで実現される。ハイパスフィルタリングされた信号、すなわち、推定された未知の高周波数成分Ｌrハット(x)は、入力される信号をＬrバー(x)とすると、
【００３３】
【数７】
2008136037.tif 000009
【００３４】
で与えられる。ここで、W(i)は式(2)に示したものである。また、第2のハイパスフィルタリング部1405は、推定された高周波数成分を信号合成部1407へ出力する機能を有する。
第2のインターポレーション部1406は、拡大対象のオリジナルの信号を入力として受け付け、その信号を所望の解像度となるように、任意倍率のインターポレーションをおこなう機能を有する。任意倍率のインターポレーションは次のように行う。任意倍率rにインターポレーションされた信号(EXPAND)rG0(x)は、入力信号をG0(x)とすると、
【００３５】
【数８】
2008136037.tif 000010
【００３６】
で与えられる。ここで、Wr(i)は式(4)と式(5)で示したものである。また、第2のインターポレーション部1406は、インターポレーションした信号を信号合成部1407へ出力する機能を有する。
【００３７】
信号合成部1407は、第2のハイパスフィルタリング部1405より出力される信号と第2のインターポレーション部1406より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて、高周波数成分推定を伴う画像拡大部1401の外部に出力する機能を有する。
【００３８】
図14に示した高周波数成分推定を伴う画像拡大部1401の構成例を用いて画像信号を拡大する手順を図15に示す。
まず、拡大対象の入力信号を第2のインターポレーション部1406において所望の解像度にインターポレーションする[ステップS1501]。
【００３９】
次に、第1のハイパスフィルタリング部1402を用いて拡大対象の入力信号からラプラシアン成分信号を抽出する[ステップS1502]。抽出したラプラシアン成分信号を第1のインターポレーション部1403において所望の解像度にインターポレーションする[ステップS1503]。インターポレーションした信号を振幅制限・定数倍処理部1404を用いて振幅制限・定数倍処理をおこなう[ステップS1504]。振幅制限定数倍処理をした信号に対して第2のハイパスフィルタリング部においてハイパスフィルタリング処理をおこない、推定された高周波数成分信号を得る[ステップS1505]。
【００４０】
最後に、入力信号をインターポレーションした信号と推定された高周波数成分信号を信号合成部1407を用いて足し合わせて、高周波数成分推定を伴う画像拡大処理された信号を得る[ステップS1506]。
【特許文献１】特開平7-162870号公報
【非特許文献１】高橋靖正, 田口亮, "高周波数成分推定を伴う任意倍率可能な画像拡大法," 信学論(A), vol. J84-A, no. 9, pp1192-1201, Sep. 2001.
【発明の開示】
【発明が解決しようとする課題】
【００４１】
映像の空間解像度スケーラビリティを実現する従来技術の一般的なものは、その一例として特許文献1（特開平7-162870号公報）に示されるように、ベースレイヤのローカルデコードをインターポレーションし、それをエンハンスメントレイヤ符号化における予測信号に用いている。これは、エンハンスメントレイヤに入力されるオリジナルの映像信号とベースレイヤの信号との間にある程度の相関がある、すなわち、オリジナルの映像信号の一部の周波数成分をベースレイヤの信号がもっていることを利用したものである。したがって、ベースレイヤのローカルデコード信号とエンハンスメントレイヤに入力されるオリジナルの映像信号との間の相関がより高ければ、符号化効率は高くなる。したがって、より効率的な符号化を実現する為には、ベースレイヤのローカルデコードを単純にインターポレーションして予測信号を得るのではなく、よりオリジナルの映像信号に近づけるような推定処理（高解像度化処理）をおこなって予測信号を得ることが必要であると考えられる。
【００４２】
ここで、非特許文献1を階層符号化の推定処理にそのまま適用することには問題がある。それは、非特許文献1が自然画像の拡大を対象につくられていることである。ベースレイヤのローカルデコード信号は、劣化した信号であり、本来の高い周波数成分をもたない。また、量子化の程度が粗い場合には、オリジナルの信号との相関が低くなった信号となっている。したがって、自然画像用にチューニングされた非特許文献1を単純に前述の推定処理に適用した場合、期待する符号化効率の効果が得られるとは限らない。
それに加え、エンハンスメントレイヤの量子化の程度を細かくしようとした場合には、オリジナルの信号と高い相関を持つ極めて高精度の推定画像が要求される。ベースレイヤのローカルデコード信号はすでに劣化した信号であり、この場合にもやはり十分な高周波数成分をもつ推定画像を作成することが困難であることが起こりうる。
【００４３】
本発明は、予測信号の適確な高解像度化処理を行って、より効率的な映像階層符号化を実現することを目的とする。
【課題を解決するための手段】
【００４４】
そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１）  入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化装置において、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大手段と、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第１及び第２の各符号化データを多重化する多重化手段と、
を備え、
前記空間的拡大手段は、前記第１の符号化手段での符号化に用いた量子化パラメータと、前記第の２符号化手段において前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化装置。
（２）  入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化方法において、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小ステップと、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化ステップと、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大ステップと、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化ステップと、
前記第１及び第２の各符号化データを多重化する多重化ステップと、
を備え、
前記空間的拡大ステップは、前記第１の符号化ステップでの符号化に用いた量子化パラメータと、前記第の２符号化ステップにおいて前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化方法。
（３）  入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて前記入力映像信号を空間解像度間予測により符号化することによって、異なる解像度の映像信号の各符号化データを得る動作をコンピュータに実行させるための映像信号階層符号化プログラムにおいて、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、局部復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記局部復号化処理で得られた局部復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る高解像度化処理を行う空間的拡大手段と、
前記第２の映像信号を予測信号として用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第１及び第２の各符号化データを多重化する多重化手段と、
してコンピュータを機能させるための映像信号階層符号化プログラムであり、
前記空間的拡大手段は、前記第１の符号化手段での符号化に用いた量子化パラメータと、前記第の２符号化手段において前記入力映像信号の符号化前段で得られ前記入力映像信号の符号化に用いられる量子化パラメータとに基づいて、高周波数成分推定の程度を制御する前記高解像度化処理を行い前記第２の映像信号を得るものである、
ことを特徴とする映像信号階層符号化プログラム。
【発明の効果】
【００４５】
本発明によれば、従来の映像階層符号化における階層間予測の為の単純なインターポレーション（空間的拡大）に変わる、予測信号の適確な高解像度化処理を新たにインターポレーションに導入することにより、階層間予測誤差をより小さくすることができ、効率的でより高品位な映像信号階層符号化を実現することが可能となる。
【００４６】
さらに、符号化部内で低解像度信号の符号化特性を考慮して、低解像度信号から入力映像信号（高解像度信号）により近い予測信号を生成する構成がとれる為、予測信号の高解像度化理をより強化した効率的な映像階層符号化を実現することが可能となる。
【００４７】
また、本発明では、低解像度信号の符号化特性を、ベースレイヤ量子化パラメータとエンハンスメントレイヤ量子化パラメータのみから判断することで、高解像度化処理の制御を少ない計算量で実現し、伝送時に新たなパラメータを追加する必要もないため、回路規模及び符号化効率の両方の観点から有用な効果を得ることが可能となる。
【発明を実施するための最良の形態】
【００４８】
本発明は、従来の階層符号化に階層間の予測効率を上げるための推定処理を導入することがまずひとつの新しい概念であり、それに加えて、入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化する過程で得られる局部復号化信号（ベースレイヤローカルデコード信号）を、ベースレイヤローカルデコード信号の符号化特性に基づいて入力映像信号に近づけることがもうひとつの新しい概念である。これらを実現するための構成、方法及びプログラムの実施例を以下に示す。なお、以下に示す実施例は、説明を簡単にするために二階層の階層符号化・復号化を例に挙げているが、これを多階層で実現しても良い。
［実施例１］
図1に、本発明の実施例１を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置の構成例を示す。符号化部101にはオリジナルの映像信号が入力され、符号化部101で生成されたビットストリームが通信回線またはメディアなど102を介して復号化部103に伝送される。復号化部103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。
【００４９】
符号化部101は、空間デシメーション部（空間的縮小手段）104、ベースレイヤエンコード部（第１の符号化手段）105、高解像度推定信号生成部（空間的拡大手段、第３の符号化手段）106、エンハンスメントレイヤ符号化部（第２の符号化手段）107および多重化部108から構成される。
【００５０】
空間デシメーション部104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。ここで、空間デシメーションの方法はいくつか考えられるが、ラプラシアンピラミッドと同様の関係を利用するために後述する高解像度推定信号生成部106で扱うフィルタに対応した方法を用いることが望ましい。そして、任意縮小率にも対応していることが望ましい。また、空間デシメーション部104は、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部105に出力する機能を有する。
【００５１】
ベースレイヤエンコード部105は、空間デシメーション部104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部108へ出力する機能を有する。ここで、エンコードの方法は、いくつか考えられるが、例えば、MPEG-2やH.264などのクローズドループのエンコーダなどが用いられる。時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。オープンループのエンコーダを用いた場合、そのエンコーダにはローカルデコード(リコンストラクト)機能を含むものとする。また、ベースレイヤエンコード部105内においてローカルデコード（局部復号）をおこなった信号及び符号化に用いた量子化パラメータを空間インターポレーション（空間的拡大部）機能を有する高解像度推定信号生成部106へ出力する機能を有する。
【００５２】
高解像度推定信号生成部106は、ベースレイヤエンコード部105から出力されるローカルデコード信号及びベースレイヤ量子化パラメータを、また、量子化制御部４２３からエンハンスメントレイヤの符号化に用いるエンハンスメントレイヤ量子化パラメータを入力として受け付け、ベースレイヤのローカルデコード信号からオリジナルの解像度の映像信号を推定する機能を有する。詳細については後述する。また、ベースレイヤのローカルデコード信号からオリジナルの高解像度映像信号を推定した信号をエンハンスメントレイヤエンコード部107へ出力する機能を有する。
【００５３】
エンハンスメントレイヤエンコード部107は、オリジナルの映像信号と高解像度推定信号生成部106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。詳細については後述する。また、符号化されて生成されるビットストリームを多重化部108に出力する機能を有する。
【００５４】
多重化部108は、ベースレイヤエンコード部105エンハンスメントレイヤエンコード部107より出力されるそれぞれのビットストリームを入力として受け付け、多重化してひとつのビットストリームを生成し、符号化部101の外部、例えば通信回線やメディアなど102へ出力する機能を有する。
【００５５】
復号化部103は、エクストラクト部（分離手段）109、ベースレイヤデコード部（第１の復号化手段）110、高解像度推定信号復元部（復元手段）111およびエンハンスメントレイヤデコード部（第２の復号化手段）112から構成される。
【００５６】
エクストラクト部109は、ビットストリームを入力として受け付ける機能を有する。復号化部103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112に出力する機能を有する。
【００５７】
ベースレイヤデコード部110は、エクストラクト部109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を高解像度推定信号復元部111と必要に応じてディスプレイ等への出力をおこなう機能を有する。また、復号に用いた量子化パラメータを高解像度推定信号復元部111へ出力する機能を有する。ここで、復号には、例えばMPEG-2やH.264などを用いる。また、時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。
【００５８】
高解像度推定信号復元部111は、ベースレイヤデコード部110から出力されるベースレイヤデコード信号及び量子化パラメータ、さらには、エンハンスメントレイヤデコード部112から量子化パラメータを入力として受け付ける機能を有する。また、その２つの量子化パラメータを用いて、ベースレイヤデコード信号から高解像度推定信号を復元し、その信号をエンハンスメントレイヤデコード部112へ出力する機能を有する。詳細については後述する。
【００５９】
エンハンスメントレイヤデコード部112は、エクストラクト部109から得られるビットストリーム及び高解像度推定信号復元部111から出力される高解像度推定信号を入力として受け付ける機能を有する。ビットストリームを復号し、そこで得られる信号と、高解像度推定信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。また、エンハンスメントレイヤデコード部112は、オリジナル映像信号の空間解像度の信号を復号するために用いる量子化パラメータを高解像度推定信号復元部111に出力する機能を有する。
【００６０】
図1に示した符号化部101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図2に示す。
オリジナルの映像信号を、まず、空間デシメーション部104において空間解像度のデシメーションをおこなう[ステップS201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ビットストリームを生成する[ステップS202]。生成されたビットストリームを多重化部108へ送り、符号化過程で得られるベースレイヤのローカルデコード信号及び量子化パラメータを高解像度推定信号生成部106へ送る。高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107を用いて高解像度映像信号を推定する[ステップS203]。詳細については後述する。そして、ここで生成した高解像度推定信号をエンハンスメントレイヤエンコード部107へ送る。オリジナルの映像信号と高解像度推定信号を用いて、エンハンスメントレイヤエンコード部107において空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS204]。そして、符号化により生成されたビットストリームを、多重化部108へ送る。ベースレイヤエンコード部105及びエンハンスメントレイヤエンコード部107より得られたそれぞれのビットストリームを多重化部108において、多重化をおこない、ひとつのビットストリームを生成する[ステップS205]。
【００６１】
図1に示した復号化部103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図3に示す。
通信回線やメディア等102に伝送または記録されたビットストリームを、エクストラクト部109を介して受信する。ビットストリームを解析し、復号化部103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部110及びエンハンスメントレイヤデコード部112それぞれに対応したデータに分割して出力する[ステップS301]。
【００６２】
エクストラクト部109で分割したベースレイヤに対応するデータをベースレイヤデコード部110で復号する[ステップS302]。復号したベースレイヤデコード映像信号及び量子化パラメータを高解像度推定信号復元部111に出力し、必要があればベースレイヤデコード映像信号をディスプレイ等にも出力する。ベースレイヤデコード部110より得られるベースレイヤのデコード映像信号とベースレイヤ量子化パラメータ、エンハンスメントレイヤデコード部１１２より得られるエンハンスメントレイヤ量子化パラメータ、を用いて高解像度推定信号を復元する[ステップS303]。そして、復元した高解像度推定信号をエンハンスメントレイヤデコード部112に送る。エンハンスメントレイヤデコード部112において、エクストラクト部109から得られるエンハンスメントレイヤに対応するデータを復号し、そこで得られる信号と高解像度推定信号を用いてオリジナルの映像信号の解像度の再生映像をデコードする[ステップS304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。
【００６３】
高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107の詳細な構成例を示したものが、図4である。
高解像度推定信号生成部106は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409で構成される。
【００６４】
第1のハイパスフィルタリング部403は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、式(1)、(2)では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。また、第1のハイパスフィルタリング部403は、ここで得た高周波数成分を第1のインターポレーション部404へ出力する機能を有する。
【００６５】
第1のインターポレーション部404は、第1のハイパスフィルタリング部403より出力される高周波数成分の信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(3)、(4)、(5)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(3)、(4)、(5)以外のものを用いても良い。また、第1のインターポレーション部404は、インターポレーションした信号を振幅制限・定数倍処理部405へ出力する機能を有する。
【００６６】
振幅制限・定数倍処理部405は、パラメータ及び第1のインターポレーション部404より出力される信号入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。未知の高周波数成分を推定するための第1工程は式(6)で与えられる。ここで、パラメータαrとTは、非特許文献1と同様のものを用いても良いが、本実施例では、拡大率だけではなくベースレイヤの量子化の程度と、エンハンスメントレイヤの量子化の程度にも推定精度が関わるため、適切なパラメータが得られるように、そのパラメータの決定をおこなう推定度判断部409に接続されている。この推定度判断部409より出力されるパラメータを用いて未知の高周波数成分を推定するための第1工程を実施する。また、振幅制限・定数倍処理部405は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部406へ出力する機能を有する。
【００６７】
第2のハイパスフィルタリング部406は、振幅制限・定数倍処理部405より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する機能を有する。未知の高周波数成分を推定するための第2工程は、式(7)で与えられる。ここでも、高周波数成分の抽出方法は式(7)以外のものを用いても良い。また、第2のハイパスフィルタリング部406は、推定された高周波数成分を信号合成部408へ出力する機能を有する。
【００６８】
第2のインターポレーション部407は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第2のインターポレーション部907は、インターポレーションした信号を信号合成部408へ出力する機能を有する。
【００６９】
信号合成部408は、第2のハイパスフィルタリング部406より出力される信号と第2のインターポレーション部407より出力される信号を入力として受け付ける機能を有する。また、入力されたそれぞれの信号を足し合わせて出力する機能を有する。
【００７０】
推定度判断部409は、ベースレイヤエンコード部105から出力されるベースレイヤの符号化に用いた量子化パラメータと量子化制御部423から出力されるエンハンスメントレイヤの符号化に用いる量子化パラメータとを入力として受け付ける機能を有する。そして、入力された量子化パラメータから適切な高周波数成分推定のためのパラメータαrとTを決定する機能を有する。前述のように、本発明による高周波数成分の推定は、ベースレイヤの量子化の程度、およびエンハンスメントレイヤの量子化の程度によってその精度が異なる。ベースレイヤの量子化パラメータが大きくなると、それに伴ってベースレイヤローカル信号の劣化が大きくなるため、高周波数成分の推定精度が悪くなり、かえって符号化効率の低下を招くことになる。また、エンハンスメントレイヤの量子化パラメータが小さい場合は、推定信号に要求される精度が高まるが、劣化したベースレイヤ信号から要求された精度を満足することが困難であり、この場合も符号化効率の低下を招くことがある。そこで、ベースレイヤの量子化パラメータとエンハンスメントレイヤの量子化パラメータ、および推定のためのパラメータαrとTの適切な関係をあらかじめ推定度判断部409に与えておき、これをもとにして、入力された量子化パラメータを適切な推定のためのパラメータαrとTに変換する。例えば、ベースレイヤの量子化パラメータとエンハンスメントレイヤの量子化パラメータ、αrの関係を図18に示すグラフのように定義しておく。ベースレイヤの量子化パラメータが小さくなるにつれ、エンハンスメントレイヤの量子化パラメータが大きくなるにつれ、αrが大きくなるように設定するが、なめらかに推移するのではなく、量子化パラメータが幾つ増えるごとにαrといったような不連続な関係であっても良い。ベースレイヤの量子化パラメータ、エンハンスメントレイヤの量子化パラメータからαrを算出する手段については、算術計算の形によってであっても良いし、量子化パラメータをインデックスとした図19に示すようなテーブルを記憶しておきそのテーブルを参照する形であっても良い。量子化パラメータを変換したαrとTを振幅制限・定数倍処理部405へ出力する機能を有する。
【００７１】
エンハンスメントレイヤエンコード部107は、フレームメモリ1：411、フレームメモリ2：412、動き推定部413、動き補償部414、イントラ予測部415、予測信号選択部416、予測誤差信号生成手段417、直交変換・量子化部418、エントロピー符号化部419、逆量子化・逆直交変換部420、信号合成部421及びデブロッキングフィルタ部422で構成される。この構成例は、H.264エンコーダの一部を変更したものであり、各部分は従来技術でほぼ実現可能である。
【００７２】
フレームメモリ1：411は、オリジナルの映像信号を入力として受け付け、少なくとも1GOP(Group Of Picture)分の信号を格納できる機能を有する。また、格納した信号を予測信号生成部417、動き推定部413へ、エンハンスメントレイヤエンコード部107と高解像度推定信号生成部106の処理の同期が取れるように対応するフレームの信号を出力する機能を有する。
【００７３】
フレームメモリ2：412は、デブロッキングフィルタ部422より出力される信号を入力として受け付け、少なくとも1フレーム分格納する機能を有する。そして、動き推定に必要なフレームの信号を動き推定部413へ、動き補償に必要なフレームの信号を動き補償部414へ出力する機能を有する。
【００７４】
動き推定部413は、フレームメモリ1：411及びフレームメモリ2：412より出力される信号を入力として受け付け、例えばH.264のような動き推定をおこなう機能を有する。動き推定によって得られた動き情報を動き補償部414及びエントロピー符号化部419へ出力する機能を有する。
【００７５】
動き補償部414は、フレームメモリ2：412より出力される信号及び動き情報を入力として受け付け、例えばH.264のような動き補償をおこなう機能を有する。また、動き補償によって得られた信号を予測信号選択部416へ出力する機能を有する。
【００７６】
イントラ予測部415は、信号合成部421より出力される信号を入力として受け付け、例えばH.264のようなイントラ予測をおこなう機能を有する。また、イントラ予測して得られた信号を予測信号選択部416へ出力する機能を有する。
【００７７】
予測信号選択部416は、動き補償部414、イントラ予測部415よりそれぞれから出力される信号及び高解像度推定信号を受け付け、入力される信号のうち、いずれかひとつを選択する、または、それぞれの信号に重みを与えて合成する機能を有する。信号の選択、合成の判断基準は任意である。例えば、符号化効率を重視する場合は、予測誤差信号の二乗平均が小さくなるように、信号を選択、合成する。また、予測信号選択部416は、選択または合成した信号を予測誤差信号生成部417及び信号合成手段421へ出力する機能を有する。
【００７８】
予測誤差信号生成部417は、フレームメモリ1：411より出力される信号及び予測信号選択部416より出力される予測信号を入力として受け付ける機能を有する。また、フレームメモリ1：411より出力される信号から予測信号を差し引いて予測誤差信号を生成し、それを直交変換・量子化部418へ出力する機能を有する。
【００７９】
直交変換・量子化部418は、予測誤差信号生成部417より出力される信号を、量子化制御部423より出力されるエンハンスメントレイヤ量子化パラメータを入力として受け付け、入力信号を直交変換及び量子化する機能を有する。直交変換には、DCTやウェーブレットなどが用いられる。H.264のように、直交変換と量子化を合成した手段を採用しても良い。また、直交変換及び量子化した信号をエントロピー符号化部419及び逆量子化・逆直交変換部420へ出力する機能を有する。
【００８０】
エントロピー符号化部419は、直交変換・量子化部418から出力される信号及び動き推定部913より出力される動き情報を入力として受け付け、それらをエントロピー符号化する機能を有する。また、エントロピー符号化の結果生成されるビットストリームをエンハンスメントレイヤエンコード部107の外部へ出力する機能、エントロピー符号化により生成されたビットストリームの発生符号量を量子化制御部423へ出力する機能を有する。
【００８１】
逆量子化・逆直交変換部420は、直交変換・量子化された状態の信号を入力として受け付け、その信号を逆量子化・逆直交変換する機能を有する。また、逆量子化・逆直交変換した信号を信号合成部421へ出力する機能を有する。
【００８２】
信号合成部421は、予測信号選択部416より出力される信号及び逆量子化・逆直交変換部420より出力される信号を入力として受け付け、2つの信号を合成する機能を有する。また、合成した信号をイントラ予測部415及びデブロッキングフィルタ部422へ出力する機能を有する。
【００８３】
デブロッキングフィルタ部422は、信号合成部421より出力される信号を入力として受け付け、入力された信号に対してデブロッキングフィルタ処理をおこなう機能を有する。ここで、デブロッキングフィルタは、例えばH.264で用いられているものなどがある。また、デブロッキングフィルタ処理した信号をフレームメモリ2：412へ出力する機能を有する。
【００８４】
量子化制御部423は、外部よりユーザの量子化要求を取得する機能と、エントロピー符号化部419より出力される発生符号量を取得する機能を有する。取得したユーザの量子化要求と発生符号量の両方、または一方を用いてエンハンスメントレイヤ量子化パラメータを決定する機能を有する。また、決定したエンハンスメントレイヤ量子化パラメータを直交変換・量子化部418と、推定度判断部409へ出力する機能を有する。
【００８５】
図4に示した高解像度推定信号生成部106の構成例を用いて高解像度推定信号を生成する手順を図5に示す。
まず、第2のインターポレーション部407を用いて入力信号をインターポレーションする[ステップS501]。
【００８６】
次に、推定度判断部409を用いて、量子化パラメータを推定パラメータαrとTに変換する[ステップS507]。
一方、第1のハイパスフィルタリング部403を用いて入力から高周波数成分信号を抽出する[ステップS502]。そして、抽出した高周波数成分信号を第1のインターポレーション部404においてインターポレーションする[ステップS503]。インターポレーションした信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。ここで、振幅制限及び定数倍処理に伴うパラメータは、推定度判断部409から与えられたものを用いる。第2のハイパスフィルタリング部406において、振幅制限及び定数倍処理した信号から推定した高周波数成分を抽出する[ステップS505]。信号合成部408を用いて入力信号をインターポレーションした信号と推定した高周波数成分を足し合わせ、高解像度推定信号を得る[ステップS506]。
【００８７】
図4に示したエンハンスメントレイヤエンコード部107の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を符号化する手順を図6に示す。
イントラ予測部415を用いてイントラ予測をおこなう[ステップS601]。イントラ予測した信号を予測信号選択部416へ送る。
【００８８】
一方、動き推定部413及び動き補償部414を用いて、動き推定及び動き補償(動き補償予測)をおこなう[ステップS602]。動き補償予測した信号を予測信号選択部416へ送る。
また、高解像度推定信号生成部106を用いて高解像度推定信号を生成する[ステップS603]。詳細については前述したとおりである。生成した高解像度推定信号を予測信号選択部416へ送る。
【００８９】
予測信号選択部416において、イントラ予測した信号、動き補償予測した信号及び高解像度推定信号のいずれかひとつを選択、または、それぞれの信号に重みを与えて合成する[ステップS604]。選択、または、合成して生成した予測信号をフレームメモリ1：411から出力される信号から差し引いて予測誤差信号を生成する[ステップS605]。予測誤差信号を直交変換・量子化部418を用いて直交変換及び量子化する[ステップS606]。直交変換及び量子化した信号及び動き情報を、エントロピー符号化部419を用いてエントロピー符号化する[ステップS607]。
【００９０】
符号化対象の信号を全て符号化した場合は、ここで処理を終了する。そうでない場合は、現在符号化している信号が他の信号の符号化時に参照されることが可能となるように、次に示す手順によってローカルデコード及びデブロッキング処理する[ステップS608]。
【００９１】
ステップS606で直交変換及び量子化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換する[ステップS609]。逆量子化及び逆直交変換した信号を、信号合成部421を用いて、予測信号と合成し、ローカルデコード信号を得る[ステップS610]。ローカルデコード信号をイントラ予測部415及びデブロッキングフィルタ部422へ送る。そして、ローカルデコード信号をデブロッキングフィルタ部422においてデブロッキングフィルタ処理する[ステップS611]。デブロッキングフィルタ処理した信号をフレームメモリ2：412に格納する[ステップS612]。
【００９２】
高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112の詳細な構成例を示したものが、図7である。
高解像度推定信号復元部111は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、信号合成部408、推定度判断部409で構成される。すなわち、高解像度推定信号復元部111は、符号化側の高解像度推定信号生成部106と同じもので実現できる。このため、図7の高解像度推定信号復元部111の各部分には、図4と同じ番号で示してある。なお、図7の高解像度推定信号復元部111の構成例を用いて高解像度推定信号を復元する手順を図9示したが、これについても符号化側における高解像度推定信号を生成する手順(図5)と同じである。
【００９３】
エンハンスメントレイヤデコード部702は、エントロピー復号化部710、フレームメモリ2：412、動き補償部414、イントラ予測部415、予測信号選択部416、逆量子化・逆直交変換部420、信号合成部420及びデブロッキングフィルタ部422で構成される。ここで、エントロピー復号化部710以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
【００９４】
エントロピー復号化部710は、エクストラクト部109より出力されるビットストリームのうち、エンハンスメントレイヤに相当するものを入力として受け付け、復号する機能を有する。また、復号した信号を逆量子化・逆直交変換部420へ、復号した動き情報を動き補償部414へ出力する機能を有する。また、復号したエンハンスメントレイヤ量子化パラメータ（オリジナル映像信号の空間解像度の信号を復号するために用いる量子化パラメータ）を推定度判断部409へ出力する機能を有する。
【００９５】
図7に示したエンハンスメントレイヤデコード部702の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を復号化する手順を図8に示す。
エクストラクト部109より得られるエンハンスメントレイヤに相当するビットストリームをエントロピー復号化部710で復号化する[ステップS801]。復号化した信号を逆量子化・逆直交変換部420で逆量子化及び逆直交変換して予測誤差信号を復元する[ステップS802]。注目するブロックが、イントラ予測、動き補償予測及び高解像度推定信号による予測のいずれが選択されていたか、または合成されていたかを解読し、それに対応する処理をおこなう[ステップS803]。イントラ予測が選択されていた場合、イントラ予測部415を用いてイントラ予測をおこなう[ステップS804]。一方、動き補償予測が選択されていた場合には、動き補償部414を用いて動き補償をおこなう[ステップS805]。また、高解像度推定信号による予測が選択されていた場合には、高解像度推定信号復元部111を用いて高解像度推定信号を復元する[ステップS806]。それぞれの信号が合成されていた場合には、ステップS804、ステップS805及びステップS806をすべて実行し、重みをつけて合成する。
【００９６】
ステップS804、ステップS805及びステップS806のいずれか、またはそれらの合成によって得られた信号と予測誤差信号を信号合成部421で合成する[ステップS807]。合成した信号をデブロッキングフィルタ部422でデブロッキングフィルタ処理する[ステップS808]。デブロッキングフィルタ処理した信号は復号映像信号としてディスプレイ等へ出力される。復号化対象ビットストリームが残されている場合、復号映像信号を参照フレームとしてフレームメモリ2：412に蓄積する[ステップS810]。そして、ステップS801からステップS810の処理を繰り返す[ステップS809]。
【００９７】
図10に、本発明の実施例を適用した符号化機能および復号化機能を備えた情報処理装置1001の一例のブロック図を示す。情報処理装置1001は、外部記憶装置1002、一時記憶装置1003、通信装置1004、入力装置1005、中央処理制御装置1006および出力装置1007で構成されており、コンピュータである中央処理制御装置1006により、上述の実施例１の符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1006に取り込まれても良いし、ネットワークを介して通信装置1004により受信されて中央処理制御装置1006に取り込まれても良い。
【００９８】
中央処理制御装置1006は、上記プログラムにより、図10の中央処理制御装置内に示すそれぞれの手段をハードウェアまたはソフトウェア処理にて実現する。
［実施例２］
本発明の実施例２を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置について説明する。この実施例２を適用した装置は、上述の実施例１を適用した高解像度推定信号生成部106(図4)および高解像度推定信号復元部111(図7)を一部変更したものである。実施例1におけるインターポレーションと高周波数成分抽出の処理の順序を変えることで、実施例1と同様の効果を得るとともに、さらにメモリ等の資源および処理量の幾分かの削減を実現する。
【００９９】
実施例1では、最初にベースレイヤ(ローカル)デコード信号に対して高周波数成分の抽出をおこない、抽出した高周波数成分と、ベースレイヤ(ローカル)デコード信号それぞれにインターポレーションを実施していた。これに対して実施例2では、最初にベースレイヤ(ローカル)デコード信号に対してインターポレーションをおこない、インターポレーションした信号の高周波数成分の抽出をおこなうことで、処理量やメモリ等の資源の幾分かの削減を実現する。なお、インターポレーションおよび高周波数成分の抽出をそれぞれ線形とすることで、それらの順序を変えても結果は同じとなる。ただし、実施例2では、インターポレーションした後に高周波数成分抽出をおこなう、すなわち、サンプリング周波数が変化した信号に対してのフィルタ処理をおこなうことになるため、ここで用いるフィルタは、それに対応したものを用いることが望ましい。以下に実施例2の詳細を示す。
【０１００】
図16に、実施例２適用の高解像度推定信号生成部1601を示す。高解像度推定信号生成部1601は、第1のインターポレーション部1602、第1のハイパスフィルタリング部1603、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、信号合成部408、推定度判断部409で構成される。ここで、第1のインターポレーション部1602及び第1のハイパスフィルタリング部1603以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。
【０１０１】
第1のインターポレーション部1602は、ベースレイヤの(ローカル)デコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションをおこなう機能を有する。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第1のインターポレーション部1602は、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ出力する機能を有する。
【０１０２】
第1のハイパスフィルタリング部1603は、第1のインターポレーション部1602より出力された信号を入力として受け付け、入力信号から高周波数成分を抽出する機能を有する。高周波数成分は前述の式(1)、(2)によって求める。ここで、実施例2の第1のハイパスフィルタリング部1603に入力される信号は、インターポレーションによってサンプリング周波数(解像度)が高くなっているため、式(2)の帯域をそれに応じたものに設定することが望ましい。例えば、拡大率が2倍の場合には、式(2)の帯域を実施例1の場合の半分に設定する。また、式(1)、(2)をそれ以外の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部1602、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。また、第1のハイパスフィルタリング部1603は、ここで得た高周波数成分を振幅制限・定数倍処理部405へ出力する機能を有する。
【０１０３】
図16に示した高解像度推定信号生成部1601の構成例を用いて高解像度推定信号を生成する手順を図17に示す。ここで、ステップS504からステップS507の各ステップは図5(実施例1)と同じである為、同じ番号で示してある。
【０１０４】
まず、第1のインターポレーション部1602を用いて入力信号をインターポレーションする[ステップS1701]。そして、インターポレーションの結果得られた信号を、インターポレーションした信号を第1のハイパスフィルタリング部1603及び信号合成部408へ送る。
【０１０５】
次に、第1のハイパスフィルタリング部1603を用いてインターポレーションした信号から高周波数成分信号を抽出する[ステップS1702]。抽出した高周波数成分信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理をおこなう[ステップS504]。それ以降は、実施例1の[ステップS505〜S507]と同様の手順で高解像度推定信号を生成する。
【０１０６】
なお、実施例2における復号側の高解像度推定信号復元部は、実施例2の図16の高解像度推定信号生成部1601と同様の構成で実現でき、高解像度推定信号を復元する手順も図17と同様である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の実施例１を適用した階層符号化・復号化装置の一例を示す構成図である。
【図２】図１に示す装置の符号化部の動作を示すフローチャートである。
【図３】図１に示す装置の復号化部の動作を示すフローチャートである。
【図４】図１に示す装置の符号化部における高解像度推定信号生成部及びエンハンスメントレイヤエンコード部を示す構成図である。
【図５】図４に示す高解像度推定信号生成部の動作を示すフローチャートである。
【図６】図４に示すエンハンスメントレイヤエンコード部の動作を示すフローチャートである。
【図７】図１に示す装置の復号化部における高解像度推定信号復元部及びエンハンスメントレイヤデコード部を示す構成図である。
【図８】図７に示すエンハンスメントレイヤデコード部の動作を示すフローチャートである。
【図９】図７に示す高解像度推定信号復元部の動作を示すフローチャートである。
【図１０】本発明の一実施例を適用した符号化および復号化プログラムを実行する情報処理装置の一例を示すブロック図である。
【図１１】従来技術の符号化部および復号化部を示す構成図である。
【図１２】従来技術の符号化部の動作を示すフローチャートである。
【図１３】従来技術の復号化部の動作を示すフローチャートである。
【図１４】従来技術の高周波数成分推定を伴う画像拡大部を示す構成図である。
【図１５】従来技術の高周波数成分推定を伴う画像拡大部の動作を示すフローチャートである。
【図１６】本発明の実施例２を適用した階層符号化・復号化装置における高解像度推定信号生成部を示す構成図である。
【図１７】図１６に示す高解像度推定信号生成部の動作を示すフローチャートである。
【図１８】実施例1を適用した階層符号化・復号化装置、及び実施例２を適用した階層符号化・復号化装置における推定度判断部で用いる量子化パラメータと推定用パラメータとの関係を示す図である。
【図１９】図4に示す推定度判断部をテーブルとして実現した場合の一例を示す図である。
【符号の説明】
【０１０８】
101  符号化部
102  通信回線またはメディア
103  復号化部
104  空間デシメーション部
105  ベースレイヤエンコード部
106  高解像度推定信号生成部
107  エンハンスメントレイヤエンコード部
108  多重化部
109  エクストラクト部
110  ベースレイヤデコード部
111  高解像度推定信号復元部
112  エンハンスメントレイヤデコード部
403  第1のハイパスフィルタリング部
404  第1のインターポレーション部
405  振幅制限・定数倍処理部
406  第2のハイパスフィルタリング部
407  第2のインターポレーション部
408  信号合成部
409  推定度判断部
411  フレームメモリ1
412  フレームメモリ2
413  動き推定部
414  動き補償部
415  イントラ予測部
416  予測信号選択部
417  予測誤差信号生成部
418  直交変換・量子化部
419  エントロピー符号化部
420  逆量子化・逆直交変換部
421  信号合成部
422  デブロッキングフィルタ部
423  量子化制御部
701  高解像度推定信号復元部
702  エンハンスメントレイヤデコード部
710  エントロピー復号化部
1001  情報処理装置
1002  外部記憶装置
1003  一時記憶装置
1004  通信装置
1005  入力装置
1006  中央処理制御装置
1007  出力装置
1101  符号化部
1102  通信回線またはメディア
1103  復号化部
1104  空間デシメーション部
1105  ベースレイヤエンコード部
1106  空間インターポレーション部
1107  エンハンスメントレイヤエンコード部
1108  多重化部
1109  エクストラクト部
1110  ベースレイヤデコード部
1111  空間インターポレーション部
1112  エンハンスメントレイヤデコード部
1401  高周波数成分推定を伴う画像拡大部
1402  第1のハイパスフィルタリング部
1403  第1のインターポレーション部
1404  振幅処理・定数倍処理部
1405  第2のハイパスフィルタリング部
1406  第2のインターポレーション部
1407  信号合成部
1601  高解像度推定信号生成部
1602  第1のインターポレーション部
1603   第1のハイパスフィルタリング部
【図１】
2008136037.tif 000011
【図２】
2008136037.tif 000012
【図３】
2008136037.tif 000013
【図４】
2008136037.tif 000014
【図５】
2008136037.tif 000015
【図６】
2008136037.tif 000016
【図７】
2008136037.tif 000017
【図８】
2008136037.tif 000018
【図９】
2008136037.tif 000019
【図１０】
2008136037.tif 000020
【図１１】
2008136037.tif 000021
【図１２】
2008136037.tif 000022
【図１３】
2008136037.tif 000023
【図１４】
2008136037.tif 000024
【図１５】
2008136037.tif 000025
【図１６】
2008136037.tif 000026
【図１７】
2008136037.tif 000027
【図１８】
2008136037.tif 000028
【図１９】
2008136037.tif 000029