(57)【要約】【課題】  高画質でかつ低いビットレートにて符号化可能な技術を提供することにある。【解決手段】  本発明に係る画像符号化装置は入力された画像を骨格画像とテクスチャ画像に分離する画像分離部(102)と、該分離された骨格画像の符号化を行う骨格画像符号化部(104)と、前記分離されたテクスチャ画像の符号化を行うテクスチャ画像符号化部(106)と、前記骨格画像及びテクスチャ画像に対する符号化処理に用いられるパラメータの調整を行うパラメータ調整部(107)と、前記パラメータの符号化を行うパラメータ符号化部(108)と、前記符号化された骨格画像、テクスチャ画像及びパラメータを多重化する符号多重化部(109)とを備えることを特徴とする。【選択図】  図１
2007184800.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化装置において、
入力された画像を、第１エッジ成分を含む第１画像と、該第１画像よりも低い周波数成分を含む画像であって、該第１エッジ成分よりも大きい第２エッジ成分及び平坦部を含む第２画像とに分離する画像分離部と、
該分離された骨格画像の符号化を行う第１画像符号化部と、
前記分離されたテクスチャ画像の符号化を行う第２画像符号化部と、
前記骨格画像及びテクスチャ画像に対する符号化処理に用いられるパラメータの符号化を行うパラメータ符号化部と、
前記符号化された第１及び第２画像、並びに前記符号化されたパラメータを多重化する符号多重化部と、を備えることを特徴とする画像符号化装置。
【請求項２】
画像符号化装置において、
入力された画像を骨格画像とテクスチャ画像に分離する画像分離部と、
該分離された骨格画像の符号化を行う第１画像符号化部と、
前記分離されたテクスチャ画像の符号化を行う第２画像符号化部と、
前記骨格画像及びテクスチャ画像に対する符号化処理に用いられる符号化パラメータの調整を行うパラメータ調整部と、
前記パラメータの符号化を行うパラメータ符号化部と、
前記符号化された骨格画像、テクスチャ画像及びパラメータを多重化する符号多重化部と、を備えることを特徴とする画像符号化装置。
【請求項３】
請求項１に記載の画像符号化装置において、前記パラメータ調整部は、前記符号多重化部から得られる情報を用いて前記第１画像符号化部と前記第２画像符号化部における符号化パラメータを調節することを特徴とする画像符号化装置。
【請求項４】
請求項１に記載の画像符号化装置において、更に、前記入力画像を記憶する原画像メモリと、前記画像分離部で分離された骨格画像を記憶する骨格画像メモリと、前記画像分離部で分離されたテクスチャ画像を記憶するテクスチャ画像メモリとを備えることを特徴とする画像符号化装置。
【請求項５】
請求項１に記載の画像符号化装置において、前記画像分離部は、Total Variation Filterを用いて前記入力画像から前記テクスチャ画像を分離することを特徴とする画像符号化装置。
【請求項６】
請求項１に記載の画像符号化装置において、前記第２画像符号化部は、入力画像を複数の領域に分割してテクスチャを抽出する領域分割・テクスチャ抽出部と、該抽出されたテクスチャの解析を行うテクスチャ解析部と、該解析されたテクスチャ及びパレメータを符号化するテクスチャ符号化部とを含むことを特徴とする画像符号化装置。
【請求項７】
請求項１に記載の画像符号化装置において、前記第１画像符号化部は、入力された骨格画像の解像度を変換する解像度変換部と、該解像度変換された骨格画像の符号化を行う画像符号化部とを含むことを特徴とする画像符号化装置。
【請求項８】
請求項１に記載の画像符号化装置において、前記画像分離部は、入力画像をブロックに分解しブロック単位で骨格画像とテクスチャ画像に分離し、
前記第１及び第２画像符号化部は、それぞれ前記ブロック単位で符号化を行うことを特徴とする画像符号化装置。
【請求項９】
請求項８に記載の画像符号化装置において、更に、
前記第１画像符号化部で符号化された骨格画像を複合化する骨格画像復号化部と、
前記複合化された骨格画像を、骨格画像用の参照画像として保持する骨格参照画像メモリと、
前記第２画像符号化部で符号化されたテクスチャ画像を複合化するテクスチャ画像復号化部と、
前記複合化されたテクスチャ画像を、テクスチャ画像用の参照画像として保持するテクスチャ参照画像メモリと、
前記保持された骨格画像用の参照画像と前記保持されたテクスチャ画像用の参照画像とを用いて、前記ブロック単位で動き補償を行うとともに動き予測画像を作成する予測・動き探索部と、を備え、
前記第１及び第２画像符号化部は、前記予測・動き探索部で作成された予測画像を用いて、それぞれ前記ブロック単位で符号化を行うことを特徴とする画像符号化装置。
【請求項１０】
画像複合化装置において、
入力されたストリームから骨格画像のストリームとテクスチャ画像のストリームとに分離する符号分離部と、
前記分離された骨格画像を復号する骨格画像復号化部と、
前記分離されたテクスチャ画像を復号するテクスチャ画像復号化部と、
前記複合化された骨格画像とテクスチャ画像を合成する画像合成部と、を備え、
個別に複合化された前記骨格画像と前記テクスチャ画像を合成して最終的な復号画像を得ることを特徴とする画像復号化装置。
【請求項１１】
請求項１０に記載の画像符号化装置において、前記符号分離部は、入力画像をブロックに分解しブロック単位で骨格画像とテクスチャ画像に分離し、
前記骨格画像復号化部と前記テクスチャ画像復号化部は、それぞれ前記ブロック単位で復号化を行うことを特徴とする画像符号化装置。
【請求項１２】
請求項１１に記載の画像複合化装置において、更に、
前記骨格画像復号化部で復号化された骨格画像を、骨格画像用の参照画像として保持する骨格参照画像メモリと、
前記テクスチャ画像復号化部で複合化されたテクスチャ画像を、テクスチャ画像用の参照画像として保持するテクスチャ参照画像メモリと、
前記保持された骨格画像用の参照画像と前記保持されたテクスチャ画像用の参照画像とを用いて、前記ブロック単位で動き補償を行うとともに動き予測画像を作成する予測・動き探索部と、を備え、
前記骨格画像復号化部及び前記テクスチャ画像符号化部は、前記予測・動き探索部で作成された予測画像を用いて、それぞれ前記ブロック単位で復号化を行うことを特徴とする画像符号化装置。
【請求項１３】
画像符号化方法において、
入力された画像を骨格画像とテクスチャ画像に分離し、
該分離された骨格画像を符号化し、
前記分離されたテクスチャ画像の符号化し、
前記骨格画像及びテクスチャ画像に対する符号化処理に用いられる符号化パラメータの調整を行い、
前記パラメータを符号化し、
前記符号化された骨格画像、テクスチャ画像及びパラメータを多重化することを特徴とする画像符号化方法。
【請求項１４】
画像複合化方法において、
入力されたストリームから骨格画像のストリームとテクスチャ画像のストリームとに分離し、
前記分離された骨格画像を復号し、
前記分離されたテクスチャ画像を復号し、
個別に符号化された前記骨格画像と前記テクスチャ画像を合成して最終的な復号画像を得ることを特徴とする画像復号化方法。
【請求項１５】
画像を符号化した画像符号化ストリームにおいて、
原画像から分離された骨格画像とテクスチャ画像に関して、それぞれ別々に符号化された骨格画像の符号化データとテクスチャ画像の符号化データが多重化されていることを特徴とする符号化ストリーム。
【請求項１６】
請求項１５に記載の符号化ストリームにおいて、前記符号化ストリームは、前記骨格画像の符号化データとテクスチャ画像の符号化データが多重化された符号化ストリームであって、骨格画像の符号化データとテクスチャ画像の符号化データを識別するためのフラグをもつことを特徴とする符号化ストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像を符号化する画像符号化技術、及び画像を復号化する画像復号化技術に関する。
【背景技術】
【０００２】
大容量の映像、音声情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
【０００３】
H.264/AVCを用いることによりHD(High Definition)画像を８〜１０Mbps程度のビットレートにて高画質に符号化することができるが、これを無線の帯域にて伝送するためにはさらに圧縮率を高める必要がある。このようなさらに高い圧縮率を持つ方式を実現するための方式として、Texture Analysis / Texture Synthesisと呼ばれるテクスチャ解析を用いた符号化方法が提案されている（例えば非特許文献１参照）。
【０００４】
テクスチャ解析符号化では、入力画像のうち一定のパターンで繰り返される箇所を要素テクスチャとテクスチャパラメータによって表現することによって極めて低いビットレートで高画質な符号化を行うことができる。原画像と復号画像の誤差を画素単位で比較すると必ずしも誤差は小さくならないが、主観的には既存方式と比べて精細度の高い画像符号化を実現することができる。
【０００５】
【非特許文献１】A. Dumitras, B. Haskell : “A Texture Replacement Method at the Encoder for Bit-Rate Reduction of Compressed Video”, IEEE Transactions of Circuits and Systems for Video Technology, Vol.12, No.2, pp.163-175, (2003).
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の非特許文献１に示すようなテクスチャ解析符号化では、一般的な画像を入力とした場合、テクスチャ解析の精度を上げることが難しく、低いビットレートで符号化することが困難であった。また上記符号化技術を複雑な画像に用いた場合、合成ノイズが発生することがあった。
【０００７】
本発明の目的は、高画質でかつ低いビットレートにて符号化可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、原画像を骨格画像とテクスチャ画像に分離してそれぞれ符号化し、これら個別に符号化された骨格画像とテクスチャ画像を多重化することを特徴とするものである。上記骨格画像とテクスチャ画像を符号化する際に用いられる符号化パラメータを、全体の符号量と画質の関係が最適になるように調節することが好ましい。上記原画像からテクスチャ画像を分離するための要素としては、例えばTotal Variation Filterを用いればよい。
【０００９】
また上記のように符号化された画像データを復号する場合には、個別に符号化された骨格画像とテクスチャ画像とをそれぞれ複合し、その複合された骨格画像とテクスチャ画像とを互いに合成して最終的な復号画像を得るようにすればよい。
【００１０】
上記骨格画像とテクスチャ画像の分離、骨格画像の符号化及びテクスチャ画像の符号化をブロック単位で行ってもよい。また、骨格画像の復号化及びテクスチャ画像の復号化、並びに骨格画像とテクスチャ画像の合成をブロック単位で行ってもよい。
【発明の効果】
【００１１】
本発明によれば、高画質を維持しながら従来よりも低いビットレートで画像を符号化することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例を、図面を参照して説明する。
【００１３】
図１は本発明による画像符号化装置の一実施例を示したものである。画像符号化装置は原画像を保持する原画像メモリ(101)と、第1画像である骨格画像と第２画像であるテクスチャ画像の分離を行う画像分離部(102)と、骨格画像を保持する骨格画像メモリ(103)と、骨格画像の符号化を行う骨格画像符号化部(104)と、テクスチャ画像を保持するテクスチャ画像メモリ(105)と、テクスチャ画像の符号化を行う第２画像符号化部であるテクスチャ画像符号化部(106)と、第1画像符号化部である骨格画像とテクスチャ画像の符号化精度の調整を行うパラメータ調整部(107)と、パラメータの符号化を行うパラメータ符号化部(108)と、符号化データの多重化を行う符号多重化部(109)を備える。
【００１４】
原画像メモリ(101)は入力画像を保持しこれを画像分離部(102)に渡す。画像分離部(102)は、画像を骨格画像とテクスチャ画像に分離する。分離方法としては、例えば下記参考文献に示されるTotal Variation Filter等を用いればよい。
参考文献１：L.Vese, S. Osher : “Modeling Textures with Total Variation Minimization and Oscillating Patterns in Image Processing”, Journal of Scientific Computing, 19, pp.553-572, (2003).
参考文献２：中川、小松、齊藤 : “対数輝度からの骨格/テクスチャ分離とその応用”, I-4.11, 映像メディア処理シンポジウム 2005, (2005).
上記参考文献１及び２に記載のものは、画像を平坦部分と強度の大きなエッジからなる骨格画像と、細かな模様の部分のみからなるテクスチャ画像に分離するためのTotal Variation Filterを提案するものである。このようなTotal Variation Filterを用いることによって、画像を骨格画像とテクスチャ画像に分離することができる。上記参考文献１及び２では、Total Variation Filterを原画像からテクスチャを分離してノイズを除去する場合や、テクスチャを強調した画像を作る場合に用いられているが、本実施例では、画像の符号化に応用するものである。
【００１５】
また、フィルタは高周波成分を分離する通常のハイパスフィルタを用いてもよいしWavelet Filterを用いてもよい。但し、Total Variation FilterとWavelet Filterを比較すると、前者は同じ画素数を持つ骨格画像とテクスチャ画像を同時に得られるのに対し、後者は１／４の画素数を持つ骨格画像１つとテクスチャ画像３つが得られるため、後者を用いる場合には複数のテクスチャ符号化処理が必要となる。輝度と色差を含めて分離してもよいし、輝度のみ分離して色差は骨格画像、またはテクスチャ画像にそのまま含めてもよい。
【００１６】
上記の例ではテクスチャ分離は２次元画像を対象として行うが、時間方向を含めて時空間の３次元に対して処理を行ってもよい。Total Variation Filterは対象画素の近傍点を処理対象として用いるが、これは時間方向にも拡張可能である。例えば対象フレームと、前後のフレームから動き補償予測によって対象フレームに対して作成した予測フレームを並べ、これらの処理対象画素と同じ位置にある画素を２次元のTotal Variation Filterの対象画素に加えることによって、処理を３次元に拡張することができる。
【００１７】
ここで骨格画像とは、画像の輝度の２次元的な分布の中で平坦な部分と一定以上の強度を持つエッジの部分を保存した画像である。低周波成分が多いため既存のハイブリッド符号化をベースとした符号化方式によって効率的に符号化を行うことができる。H.264/AVCを用いる場合にはイントラ予測や動き補償予測の精度を高くすることができ、高い符号化効率で符号化することができる。
【００１８】
テクスチャ画像は細かい模様のみからなる画像である。原画像から骨格画像を引く、または割ることによって得られる画像である。上記計算結果は負の値や小数を含む値となるため、一定数を加えてレベルをシフトするか、線形変換を行って通常の画像の値域に変換する。Total Variation Filterを用いると、テクスチャ画像は一定範囲の値に集中するため符号化や解析を行い易くなる。例えば非特許文献１の方法によってテクスチャ解析を行う場合でも、原画像をそのまま入力として用いるよりテクスチャ画像を入力として用いる方が、解析が容易となる。
【００１９】
骨格画像は骨格画像メモリ(103)に保持され、骨格画像符号化部(104)によって符号化される。骨格画像の符号化には既存のハイブリッド符号化をベースとした符号化方式を用いればよい。前述のように骨格画像は低周波成分が多いため既存方式を用いて効率良く符号化することができる。さらにアダマール変換を用いたり、動き予測の画素精度を変更したりすることによって、より骨格画像の符号化に適した方式にすることもできる。
テクスチャ画像はテクスチャ画像メモリ(105)に保持され、テクスチャ画像符号化部(106)によって符号化される。符号化方法は非特許文献１のような方法を用いればよい。テクスチャ分離を行っているため、通常の画像を用いる場合よりも精度高くテクスチャの解析を行うことができる。
【００２０】
上記のように骨格画像とテクスチャ画像のそれぞれについて、最も適した符号化方法を選択し、それぞれについて最適な符号化パラメータによって符号化を行うことによって、一定符号量に対する再合成画像の画質を最も高めることができる。また骨格画像とテクスチャ画像の両方に同じ符号化方式を用いてもよく、この場合にはテクスチャ分離の効果によってノイズを低減できるというメリットがある。
【００２１】
骨格画像とテクスチャ画像の両方の符号化にH.264/AVCを用いた場合の例を図１２に示す。このグラフにおいて、通常と書かれているものがテクスチャ分離を行わずに符号化した場合であり、再合成(S+)と書かれているものが骨格画像の画質を高くした（量子化パラメータQPを4下げた）場合であり、再合成(T+)と書かれているものがテクスチャ画像の画質を高くした（QPを4下げた）場合であり、再合成(縮小)と書かれているものが骨格画像のサイズを縦横半分の1/4に縮小し、符号化と復号化後、再合成する際に拡大して再合成した場合である。骨格画像とテクスチャ画像に同じ符号化方式を用いる場合には、全体のPSNR(Peak Signal-to-Noise Ratio)の値は小さくなるが、主観的な画質劣化はほとんど起こらない。また、骨格画像とテクスチャ画像の画質をそれぞれ制御した場合には、テクスチャ画像の画質を上げた場合(T+)、または、骨格画像のサイズを縮小した場合(縮小)の方が全体の画質を高くすることができる。
【００２２】
骨格画像符号化部(104)とテクスチャ画像符号化部(106)によって符号化されたデータは符号多重化部(109)によって多重化される。また、それぞれの符号化部において計測された符号化の誤差と符号量の情報はパラメータ調整部(107)に送られる。
【００２３】
パラメータ調整部(107)は、骨格画像の符号量と符号化誤差、及びテクスチャ画像の符号量と符号化誤差、及びこれらを合成した場合の符号化誤差を計測し、最終的に画像を再合成した場合の符号量に対する符号化誤差が最も小さくなるように、骨格画像とテクスチャ画像の符号化パラメータを調節する。例えば、骨格画像とテクスチャ画像の符号化に同じH.264/AVCを用いた場合、合計符号量が同じであっても、テクスチャ画像の符号量の割合を多くし骨格画像の符号量の割合を少なくした方が全体の画質を高められる。この割合は画像の特徴やフレームによって異なるため、適宜符号化パラメータを調節して骨格画像符号化部(104)とテクスチャ画像符号化部(106)を制御する。また符号量だけでなく、テクスチャ分離の分離割合についても画質にあわせて制御すればよい。
【００２４】
パラメータ符号化部(108)は、パラメータ調整部(107)の指定した符号化パラメータを符号化し、符号多重化部(109)に渡してストリームに多重化する。
【００２５】
図２はテクスチャ画像符号化部(106)を詳細に示したものである。テクスチャ画像符号化部(106)では、骨格画像符号化部(104)から送られた動き情報等を利用して、まず領域分割・テクスチャ抽出部(201)において画像の領域分割を行い、テクスチャの種類毎に分類する。分割された各領域を処理単位として次のテクスチャ解析部(202)における解析を行う。
【００２６】
テクスチャ解析部(202)では、それぞれの領域について繰り返しパターンで表現する場合の最も小さい単位となる要素テクスチャを作成し、他の部分を要素テクスチャのどのようなパターンで合成するかを示すテクスチャパラメータを算出する。これによって、各領域が要素テクスチャとテクスチャパラメータによって表現される。要素テクスチャは特定の模様を持つ小さな画像データである。テクスチャパラメータには、要素テクスチャを貼り付ける領域の範囲、位置、要素テクスチャの種類、要素テクスチャの貼り付け方法や繰り返しパターン、貼り付け後にフィルタをかける場合のフィルタの種類等が含まれる。
【００２７】
次にテクスチャ符号化部(203)では、テクスチャ解析部(202)によって解析された要素テクスチャとテクスチャパラメータを符号化して伝送する。
【００２８】
図３は骨格画像符号化部(104)を詳細に示したものである。解像度変換部(301)では入力された骨格画像の解像度変換を行う。例えば縮小フィルタを用いて縦横両方向について半分に縮小する。骨格画像は空間内の相関が高いためフィルタを用いて縮小してもそれほど劣化が起こらず、符号化を行った時に符号量を少なくできるというメリットがある。この解像度変換は行わないでもよい。
【００２９】
次に画像符号化部(302)において骨格画像の符号化を行う。これはH.264/AVCのような既存のハイブリッド符号化をベースにした符号化方法を用いればよい。動きベクトル等の情報をテクスチャ画像の符号化方式と共有するためにテクスチャ画像符号化部に伝送する。骨格画像を符号化した符号化データを出力する。
【００３０】
図４は本発明による画像復号化装置の一実施例を示したものである。画像復号化装置は骨格画像のデータとテクスチャ画像のデータを分離する符号分離部(401)と、骨格画像を復号化する骨格画像復号化部(402)と、テクスチャ画像を復号化するテクスチャ画像復号化部(403)と、復号された骨格画像とテクスチャ画像を再合成して出力画像を得る画像合成部(404)を備える。
【００３１】
符号分離部(401)は、符号化ストリームから骨格画像のデータとテクスチャ画像のデータを分離し、それぞれ骨格画像復号化部(402)とテクスチャ画像復号化部(403)に渡す。
【００３２】
骨格画像復号化部(402)では、骨格画像の復号化を行う。これは前記骨格画像符号化部(104)にて用いられている符号化方法に対応する復号化方法を用いればよい。これにより復号化した骨格画像を得て画像合成部(404)に渡す。
【００３３】
テクスチャ画像復号化部(403)では、テクスチャ画像の復号化を行う。これは前記テクスチャ画像符号化部(106)にて用いられている符号化方法に対応する復号化方法を用いればよい。これにより復号化したテクスチャ画像を得て画像合成部(404)に渡す。
【００３４】
画像合成部(404)は、骨格画像とテクスチャ画像を再合成して出力画像を得る。合成方法は前記画像分離部(102)に対応する方法を用いればよい。例えば、原画像から骨格画像を引くことによってテクスチャ画像を得た場合には、骨格画像とテクスチャ画像を画素毎に足し合わせれば再合成画像が得られる。テクスチャ画像について各画素にオフセットが足されている場合にはオフセットを差し引く。
【００３５】
図５はテクスチャ画像復号化部(403)を詳細に示したものである。テクスチャ復号化部(501)は、符号化された要素テクスチャとテクスチャパラメータを復号化する。要素テクスチャとテクスチャパラメータの内容については前述の通りである。
【００３６】
テクスチャ合成部(502)は、要素テクスチャとテクスチャパラメータからテクスチャ画像を合成する。要素テクスチャをテクスチャパラメータに従って指定された範囲内に対し貼り付け、繰り返し合成することによってテクスチャ画像が得られる。テクスチャ画像の合成には骨格画像を復号する際に用いられる動きベクトルの情報等を用いてもよい。
【００３７】
図６は骨格画像復号化部(402)を詳細に示したものである。画像復号化部(601)は、骨格画像の復号化を行う。これは前記骨格画像符号化部(302)にて用いられている符号化方法に対応する復号化方法を用いればよい。
【００３８】
解像度変換部(602)は、骨格画像の解像度変換を行う。これは前記骨格画像符号化部(104)の内部にて解像度変換が行われた場合、これを元に戻す処理を行う。例えば縮小フィルタを用いて縦横両方向に半分に縮小された場合、これに対応する拡大フィルタを用いて元の解像度に戻す。これにより、正しいサイズの骨格画像を得られる。
【００３９】
図７は本発明による画像符号化装置の別の一実施例を示したものである。画像符号化装置は原画像メモリ(701)と、ブロック画像分離部(702)と、骨格画像符号化部(703)と、予測・動き探索部(704)と、テクスチャ画像符号化部(705)と、骨格参照画像メモリ(706)と、骨格画像復号化部(707)と、テクスチャ参照画像メモリ(708)と、テクスチャ画像復号化部(709)と、一般の画像の符号化を行う画像符号化部(710)と、符号多重化部(710)を備える。
【００４０】
図７に示す実施例は、骨格画像とテクスチャ画像のテクスチャ分離を画像全体に対してではなく、一定のブロック単位で行う。またブロック単位で前述のテクスチャ分離を用いた符号化方法よりも既存の通常の画像符号化方法を用いた場合の方が良いと判断されるブロックについては、通常の画像符号化を行うことができる。これによって画像内部についても適応的にテクスチャ分離の画像符号化方法を用いることができ、さらなる圧縮率向上が可能となる。
【００４１】
原画像メモリ(701)は入力画像を保持する。ブロック画像分離部(702)は入力画像をブロック単位に分割し、このブロックを前記テクスチャ分離による符号化方法を用いて符号化するか、あるいは既存の通常の画像符号化方法を用いて符号化するかを判定する。通常の画像符号化を用いる場合には画像符号化部(710)にて処理する。テクスチャ分離による符号化方法を用いる場合には、ブロック単位で骨格画像とテクスチャ画像の分離を行い、骨格画像は骨格画像符号化部(703)にて符号化し、テクスチャ画像はテクスチャ画像符号化部(705)にて符号化する。
【００４２】
骨格画像符号化部(703)ではブロック単位で骨格画像の符号化を行う。符号化方法については前記の骨格画像符号化部(104)と同様である。
【００４３】
テクスチャ画像符号化部(705)ではブロック単位でテクスチャ画像の符号化を行う。符号化方法については前記のテクスチャ画像符号化部(106)と同様である。
【００４４】
予測・動き探索部(704)では骨格画像の参照画像、及びテクスチャ画像の参照画像から、それぞれ骨格画像のブロックとテクスチャ画像のブロックに対して、動き探索やイントラ予測等による予測ブロックの作成を行う。予測方法については、既存のH.264/AVC等の方式を用いればよい。
【００４５】
骨格参照画像メモリ(706)は骨格画像の参照画像を保持する。骨格画像復号化部(707)はブロック単位で骨格画像の復号化を行う。復号化方法については前記の骨格画像復号化部(402)と同様である。
【００４６】
テクスチャ参照画像メモリ(708)はテクスチャ画像の参照画像を保持する。テクスチャ画像復号化部(709)はブロック単位でテクスチャ画像の復号化を行う。復号化方法については前記のテクスチャ画像復号化部(403)と同様である。
【００４７】
画像符号化部(710)は、分割したブロックのうち、テクスチャ分離による符号化方法ではなく、既存の符号化方法を選択された場合に既存の符号化を行うものである。
【００４８】
符号多重化部(711)は各ブロックの符号化データを多重化して符号化ストリームとして出力する。
【００４９】
図８は本発明による画像復号化装置の別の一実施例を示したものである。画像復号化装置は符号分離部(801)と、骨格画像復号化部(802)と、予測・動き探索部(803)と、テクスチャ画像復号化部(804)と、骨格参照画像メモリ(805)と、テクスチャ参照画像メモリ(806)と、画像復号化部(807)と、ブロック画像合成部(808)を備える。
【００５０】
図８に示す実施例は、骨格画像とテクスチャ画像のテクスチャ分離を画像全体に対してではなく一定のブロック単位で行い符号化したストリームを復号化するものである。
【００５１】
符号分離部(801)は、符号化ストリームを分離して、既存の通常の符号化が行われたデータについては通常の復号化を行う画像復号化部(807)に渡し、テクスチャ分離による符号化における骨格画像の符号化データについては骨格画像復号化部(802)に渡し、テクスチャ画像の符号化データについてはテクスチャ画像復号化部(804)に渡す。
【００５２】
骨格画像復号化部(802)はブロック単位で骨格画像の復号化を行う。復号化方法については前記の骨格画像復号化部(707)(402)と同様である。
【００５３】
テクスチャ画像復号化部(804)はブロック単位でテクスチャ画像の復号化を行う。復号化方法については前記のテクスチャ画像復号化部(709)(403)と同様である。
【００５４】
予測・動き探索部(803)では骨格画像の参照画像、及びテクスチャ画像の参照画像から、それぞれ骨格画像のブロックとテクスチャ画像のブロックに対して、動き探索やイントラ予測等による予測ブロックの作成を行う。骨格参照画像メモリ(805)は骨格画像の参照画像を保持する。テクスチャ参照画像メモリ(806)はテクスチャ画像の参照画像を保持する。
【００５５】
画像復号化部(807)は、符号化されたブロックのうち、テクスチャ分離による符号化方法ではなく、既存の符号化方法を用いて符号化された場合に既存の復号化を行うものである。
【００５６】
ブロック画像合成部(808)は各ブロックについて、テクスチャ分離を用いた符号化の場合には、ブロック単位の骨格画像とテクスチャ画像を合成して再合成ブロックを作成する。既存の方式を用いて復号されたブロックについてはそれをそのまま当てはめる。これによって再合成画像が作成される。
【００５７】
図９は、テクスチャ分離を用いた符号化方法の概念を示した図である。本発明による画像符号化方法では、時間方向に並ぶ原画像のフレームをそれぞれのフレームにおいて骨格画像とテクスチャ画像に分離する。そして分離された骨格画像とテクスチャ画像はそれぞれ符号化され、多重化して伝送される。骨格画像とテクスチャ画像の分離については、フレーム内部だけでなく時間方向に並んだフレームの情報を用いて３次元的に分離を行ってもよい。この場合、まず動き補償によって予測画像を作成しこれに対して３次元テクスチャ分離処理を行うと、より効果的なテクスチャ分離が行える。
【００５８】
テクスチャ分離の方法としてはTotal Variation Filterを用いる。これは数１、２を用いて表される。
2007184800.tif 000003
2007184800.tif 000004
ここでαは処理を行う対象画素位置を示し、β、γはαの近傍の画素を示す。N(α)はαの近傍の画素の集合であり４近傍や８近傍を用いる。時空間処理を行う場合には、前後フレームのαと同じ位置の画素を近傍に加える。uは画素の輝度値を示す。w(u)は画素間の輝度の差に反比例した関数である。λはフィッティングパラメータと呼ばれるテクスチャの分離度を調整するパラメータである。Total Variation Filterでは数１のフィルタを繰り返しかけることによって骨格画像を作成する。画素の輝度は繰り返し処理された画像のものを用いるが、数１の第２項については常に入力画像の画素を用いる。
【００５９】
符号化されたストリームは骨格画像の符号化データとテクスチャ画像の符号化データをそれぞれ別々に伝送してもよいし、これらを多重化して一つのストリームとして伝送してもよい。骨格画像の符号化データとテクスチャ画像の符号化データを多重化する場合には、これらのデータを識別するためのフラグを設ける。
【００６０】
図１０に本発明による画像符号化方法の一実施例を示す。ステップ(1001)に始まりステップ(1009)に至る処理の流れを示している。
【００６１】
ステップ(1001)では画像を入力する。次にステップ(1002)では画像分離処理を行う。画像の分離処理はTotal Variation Filter等を利用してテクスチャの分離を行い、骨格画像とテクスチャ画像を作成する。ステップ(1003)では骨格画像とテクスチャ画像によって処理を分岐させる。骨格画像についてはステップ(1004)に進み、テクスチャ画像についてはステップ(1006)に進む。
【００６２】
ステップ(1004)では骨格画像について解像度変換を行う。前記のように、骨格画像は空間内相関が高いため、縮小フィルタを用いて画像を縮小することにより劣化を抑えながら効率よく符号化することができる。ステップ(1005)では骨格画像の符号化を行う。骨格画像の符号化方法については前述の通りである。
【００６３】
ステップ(1006)ではテクスチャ画像について領域分割とテクスチャ抽出を行う。ステップ(1007)ではテクスチャ解析を行う。ステップ(1008)ではテクスチャ符号化を行う。これらのステップで行われる処理については前述の通りである。そしてステップ(1009)では骨格画像とテクスチャ画像の符号化データの多重化を行う。
【００６４】
図１１に本発明による画像復号化方法の一実施例を示す。ステップ(1101)に始まりステップ(1107)に至る処理の流れを示している。
【００６５】
ステップ(1101)では符号化ストリームの分離処理を行う。符号化ストリームから骨格画像のデータとテクスチャ画像のデータを分離する。ステップ(1102)ではデータの種類について処理を分岐させる。骨格画像のデータについてはステップ(1103)に進み、テクスチャ画像のデータについてはステップ(1105)に進む。
【００６６】
ステップ(1103)では骨格画像の復号化を行う。ステップ(1104)では縮小されていた骨格画像を、拡大フィルタを用いて元の解像度に復元する。これらのステップで行われる処理については前述の通りである。
【００６７】
ステップ(1105)ではテクスチャの復号化を行う。ステップ(1106)ではテクスチャの合成を行う。これらのステップで行われる処理については前述の通りである。
【００６８】
ステップ(1107)では骨格画像とテクスチャ画像を再合成することによって、出力画像を作成する。
【００６９】
これらの処理によってテクスチャ分離を用いた画像の符号化と復号化が実現される。テクスチャ分離を用いることによって、骨格画像とテクスチャ画像をそれぞれに適した符号化方法によって効率的に圧縮することができ、既存方式よりも高い圧縮率を実現できる。特にテクスチャ画像の符号化方式にテクスチャ解析符号化を用いることによって、解析精度が高く合成ノイズの少ない符号化を実現できる。また、画質をそれぞれコントロールすることができるので主観画質を高くすることができる。
【００７０】
さらに、本実施例の画像符号化技術を画像記録装置、プレーヤ、携帯電話、デジタルカメラ等の映像処理装置に適用することによって、精度の高い映像処理装置を提供することができる。
【図面の簡単な説明】
【００７１】
【図１】本実施例に係る画像符号化装置のブロック図
【図２】本実施例に係る画像符号化装置の詳細な説明図
【図３】本実施例に係る画像符号化装置の詳細な説明図
【図４】本実施例に係る画像復号化装置のブロック図
【図５】本実施例に係る画像復号化装置の詳細な説明図
【図６】本実施例に係る画像復号化装置の詳細な説明図
【図７】本実施例に係る他の画像符号化装置のブロック図
【図８】本実施例に係る他の画像復号化装置のブロック図
【図９】本実施例に係る符号化処理の概念を説明した図
【図１０】本実施例に係る画像符号化方法の流れ図
【図１１】本実施例に係る画像復号化方法の流れ図
【図１２】骨格画像とテクスチャ画像の両方の符号化にH.264/AVCを用いた場合の画質評価結果を示す図
【符号の説明】
【００７２】
１０１…原画像メモリ、１０２…画像分離部、１０３…骨格画像メモリ、１０４…骨格画像符号化部、１０５…テクスチャ画像メモリ、１０６…テクスチャ画像符号化部、１０７…パラメータ調整部、１０８…パラメータ符号化部、１０９…符号多重化部、２０１…領域分割・テクスチャ抽出部、２０２…テクスチャ解析部、２０３…テクスチャ符号化部
３０１…解像度変換部、３０２…画像符号化部、４０１…符号分離部、４０２…骨格画像復号化部、４０３…テクスチャ画像復号化部、４０４…画像合成部、５０１…テクスチャ復号化部、５０２…テクスチャ合成部、６０１…画像復号化部、６０２…解像度変換部、７０１…原画像メモリ、７０２…ブロック画像分離部、７０３…骨格画像符号化部、７０４…予測・動き探索部、７０５…テクスチャ画像符号化部、７０６…骨格参照画像メモリ、７０７…骨格画像復号化部、７０８…テクスチャ参照画像メモリ、７０９…テクスチャ画像復号化部、７１０…画像符号化部、７１１…符号多重化部、８０１…符号分離部、８０２…骨格画像復号化部、８０３…予測・動き探索部、８０４…テクスチャ画像復号化部、８０５…骨格参照画像メモリ、８０６…テクスチャ参照画像メモリ、８０７…画像復号化部、８０８…ブロック画像合成部。
【図１】
2007184800.tif 000005
【図２】
2007184800.tif 000006
【図３】
2007184800.tif 000007
【図４】
2007184800.tif 000008
【図５】
2007184800.tif 000009
【図６】
2007184800.tif 000010
【図７】
2007184800.tif 000011
【図８】
2007184800.tif 000012
【図９】
2007184800.tif 000013
【図１０】
2007184800.tif 000014
【図１１】
2007184800.tif 000015
【図１２】
2007184800.tif 000016