(57)【要約】【課題】画像に注目領域を設定して画像を階層的符号化すると、符号化効率が悪くなる。【解決手段】解像度変換部１２は、各レイヤにおける空間解像度に合わせて、入力されたフレームの画像データを縮小し、各レイヤの画像データを基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０に与える。ＲＯＩ設定部１４は、動画フレーム上にレイヤ単位でＲＯＩ領域を設定する。基本レイヤ処理ブロック１２０は、解像度変換部１２により低解像度に変換された基本レイヤの画像を基本レイヤのＲＯＩ領域情報にしたがって分割し、ＲＯＩ領域毎に圧縮符号化して多重化部１８に出力する。拡張レイヤ処理ブロック１１０は、高解像度の拡張レイヤの画像を拡張レイヤのＲＯＩ領域情報にしたがって分割し、ＲＯＩ領域毎に圧縮符号化して多重化部１８に出力する。【選択図】図１
2007235314.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数のレイヤに分けて階層的に符号化する際、レイヤ単位で領域を独立に設定し、各レイヤにおいて前記領域毎に独立した符号化を行うことを特徴とする符号化方法。
【請求項２】
各レイヤの前記領域を特定する情報を前記画像の符号化データに含めることを特徴とする請求項１に記載の符号化方法。
【請求項３】
各レイヤにおいて設定された前記領域に合わせて、画像内の独立した符号化の単位であるスライスをレイヤ毎に独立に設定することを特徴とする請求項１または２に記載の符号化方法。
【請求項４】
前記画像に設定される複数の領域の内、いずれの２つの領域も互いに重なり部分をもつ場合、前記複数の領域はそれぞれ異なるレイヤに分けて設定することを特徴とする請求項１から３のいずれかに記載の符号化方法。
【請求項５】
前記領域は、他の領域とは異なる画質で符号化されることを特徴とする請求項１から４のいずれかに記載の符号化方法。
【請求項６】
前記複数のレイヤは、スケーラブル階層符号化における基本レイヤと基本レイヤ以外の拡張レイヤであることを特徴とする請求項１から５のいずれかに記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化する符号化方法、特に画像を階層的に符号化する符号化方法に関する。
【背景技術】
【０００２】
ブロードバンドネットワークが急速に発展しており、高品質な動画像を利用したサービスに期待が集まっている。また、ＤＶＤなど大容量の記録媒体が利用されており、高画質の画像を楽しむユーザ層が広がっている。動画像を通信回線で伝送したり、記録媒体に蓄積するために不可欠な技術として圧縮符号化がある。動画像圧縮符号化技術の国際標準として、ＭＰＥＧ４の規格やＨ．２６４／ＡＶＣ規格がある。また、１つのストリームで、符号量に応じて、異なる画質（たとえば高画質と低画質）、異なる解像度（たとえば高解像度と低解像度）、異なるフレームレート（たとえば高フレームレートと低フレームレート）の画像の圧縮および伸長を実現することのできる、Ｈ．２６４／ＡＶＣの拡張として規格化が進められているＳＶＣ（Scalable Video Coding）のような次世代画像圧縮技術がある。
【０００３】
次世代画像圧縮技術であるＳＶＣでは、動画像を複数の異なる解像度、フレームレート、画質で再生することができるように、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティなどの各種スケーラビリティをもたせて動画像を符号化する。これらのスケーラビリティを任意に組み合わせて符号化することも可能であり、ＳＶＣのスケーラビリティ機能は柔軟性に富んでいる。
【０００４】
ＳＶＣの要求仕様（Requirements）の１つにインタラクティブＲＯＩ（Interactive Region of Interest;ＩＲＯＩ）符号化がある。画像の注目領域（Region of Interest;ＲＯＩ）を他の領域とは異なる画質で符号化する技術としてＲＯＩ符号化がある。これに対して、ＳＶＣのインタラクティブＲＯＩ符号化は、動画像の再生時にユーザが画像を見ながら画面上で注目領域の位置やサイズを逐次指定可能であり、注目領域を異なる品質で再生することを可能にするものである。ＳＶＣでは動画像を各種のスケーラビリティをもたせて符号化するため、再生時にユーザが指定した注目領域を他の領域とは異なる品質で復号することが可能である。
【０００５】
特許文献１は、画像を階層的に符号化することで、パケットロスや帯域変動が起こる通信環境においても再生画像の品質を維持することのできる階層画像符号化技術を開示する。
【特許文献１】特開２００５−７９９５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＳＶＣでは画像を基本レイヤと拡張レイヤに分けて階層的に符号化する。画像に注目領域を設定すると、全レイヤに対して共通に注目領域が設定され、各レイヤで注目領域にしたがった領域分割をして領域単位で独立した符号化を行うことになるため、符号化効率が低下し、処理負荷も増えてしまう。
【０００７】
本発明はこうした状況に鑑みてなされたもので、その目的は、画像に領域を設定して階層的に符号化することのできる符号化技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の符号化方法は、画像を複数のレイヤに分けて階層的に符号化する際、レイヤ単位で領域を独立に設定し、各レイヤにおいて前記領域毎に独立した符号化を行う。
【０００９】
ここで「画像」（ピクチャ）は一枚の独立した静止画であっても、動画像を構成する時系列で並べられた画像の１つであってもよい。「画像」（ピクチャ）は符号化の単位であり、その概念にはフレーム、フィールド、ＶＯＰ（Video Object Plane）などを含む。
【００１０】
この態様によると、画像の階層符号化の際、レイヤ毎に独立して領域を設定して画像を符号化した符号化データを生成することができるため、符号化効率や処理効率を低下させることなく、画像に設定された領域単位で独立した符号化を行うことができる。
【００１１】
前記画像に設定される複数の領域の内、いずれの２つの領域も互いに重なり部分をもつ場合（このとき、これらの複数の領域は「互いに重なり部分をもつ」ということにする）、前記複数の領域はそれぞれ異なるレイヤに分けて設定してもよい。これにより、同一レイヤ内では領域の重なりを避けることができ、重なり部分を別に扱って符号化する必要がなくなり、符号化効率の低下を防ぐことができる。
【００１２】
たとえば、第１の領域と第２の領域が互いに重なり部分をもち、第２の領域と第３の領域も互いに重なり部分をもつが、第１の領域と第３の領域は重ならない場合、第１の領域と第２の領域は別々のレイヤに設定され、第２の領域と第３の領域も別々のレイヤに設定される。第１の領域と第３の領域は重ならないため、同一のレイヤに設定されてもよい。よって、この場合は、最低２つのレイヤがあればよく、たとえば、第１のレイヤに第２の領域を設定し、第２のレイヤに第１および第３の領域を設定することにより、各レイヤにおいて設定される領域に重なり部分がなくなる。
【００１３】
別の例として、第１〜第３の領域の内、任意の２つの領域が互いに重なり部分をもつ場合、すなわち、第１および第２の領域が互いに重なり部分をもち、第２および第３の領域も互いに重なり部分をもち、第１および第３の領域も互いに重なり部分をもつ場合は、第１、第２および第３の領域はそれぞれ異なるレイヤに設定される。たとえば、第１の領域は第１のレイヤに、第２の領域は第２のレイヤに、第３の領域は第３のレイヤに設定される。これにより、どのレイヤでも領域の重なりがなくなる。
【００１４】
前記複数のレイヤは、スケーラブル階層符号化における基本レイヤと基本レイヤ以外の拡張レイヤであってもよい。基本レイヤでは領域を設定せずに画像全体を符号化し、拡張レイヤでは領域を設定し、領域毎に独立した符号化を行ってもよい。
【００１５】
スケーラブル階層符号化とは、スケーラビリティをもたせて画像を階層的に符号化することであり、たとえば空間解像度、フレームレートおよび画質レベルなどの動画像の再生品質を異ならせて符号化し、複数の再生品質レベルの符号化データを生成することを含み、このようにしてスケーラブル階層符号化された動画像は、任意の再生品質レベルを選択して復号することができるというスケーラビリティをもつ。空間解像度を異ならせて符号化された動画像は、空間スケーラビリティを有し、フレームレートを異ならせて符号化された動画像は、時間スケーラビリティを有し、画質レベルを異ならせて符号化された動画像は、ＳＮＲスケーラビリティを有する。
【００１６】
複数の再生品質レベルの符号化データを階層構造をもたせて多重化すると、たとえば下位層の符号化データだけを復号すると、低い再生品質レベルで動画像が再生され、上位層の符号化データを含めて復号すると、高い再生品質レベルで動画像が再生される。
【００１７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１８】
本発明によれば、画像の設定された領域を効率良く階層符号化することができる。
【発明を実施するための最良の形態】
【００１９】
図１は、実施の形態に係る符号化装置１００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２０】
本実施の形態の符号化装置１００は、次世代画像圧縮技術であるＳＶＣ（Scalable Video Coding）に準拠して、動画像に空間（spatial）スケーラビリティ、時間（temporal）スケーラビリティ、およびＳＮＲ（signal to noise ratio）スケーラビリティの少なくとも１つをもたせて符号化する「スケーラブル符号化」を行う。
【００２１】
動画像の符号化には、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧ（Moving Picture Experts Group）シリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠する技術が用いられる。
【００２２】
なお、実施の形態では、動画像の符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はＭＰＥＧ−４におけるＶＯＰであってもよい。
【００２３】
符号化装置１００は、フレーム単位で動画像の入力を受け取り、動画像をスケーラブル符号化し、動画像の符号化ストリームを出力する。入力された動画フレームはフレームメモリに格納され、符号化に係る各処理部によって読み書きされる。
【００２４】
符号化装置１００は、空間スケーラビリティをもたせて動画像を符号化するために拡張レイヤ処理ブロック１１０と基本レイヤ処理ブロック１２０を有し、基本レイヤ処理ブロック１２０において低解像度で動画像を圧縮符号化し、拡張レイヤ処理ブロック１１０において高解像度で動画像を圧縮符号化する。これにより、階層毎に空間解像度の異なる動画像の符号化データが生成される。
【００２５】
また、符号化装置１００は、時間スケーラビリティをもたせて動画像を符号化するために、ＭＣＴＦ（Motion Compensated Temporal Filtering、動き補償時間方向フィルタ）技術を用いる。ＭＣＴＦ技術は、時間軸方向のサブバンド分割に動き補償を組み合わせたものであり、階層的な動き補償を行う。これにより、階層毎にフレームレートが異なる動画像の符号化データが生成される。
【００２６】
また、符号化装置１００は、ＳＮＲスケーラビリティをもたせて動画像を符号化するために、量子化ステップや量子化により切り捨てる下位ビット数を変えて動画像を圧縮符号化する。これにより、階層毎に画質の異なる動画像の符号化データが生成される。
【００２７】
なお、空間スケーラビリティ、時間スケーラビリティ、およびＳＮＲスケーラビリティは任意に組み合わせてよい。
【００２８】
ＲＯＩ設定部１４は、動画フレーム上にレイヤ単位でＲＯＩ領域を設定する。ＲＯＩ設定部１４は、インタラクティブ性のない通常のＲＯＩ領域の他、インタラクティブＲＯＩ領域も設定することができる。インタラクティブＲＯＩ領域内では動画像の再生の際に任意にＲＯＩ領域を設定可能である。以下、インタラクティブＲＯＩ領域と通常ＲＯＩ領域を総称する場合、単にＲＯＩ領域と呼ぶ。
【００２９】
インタラクティブＲＯＩ領域や通常ＲＯＩ領域などの注目領域は、ユーザが画像上の特定の領域を指定することによって選択されてもよく、画像の中心領域などあらかじめ定まった領域が選択されてもよい。また、人物や文字が映っている領域などの重要領域が注目領域として自動的に抽出されてもよい。また、動画像において特定のオブジェクト等の動きを追跡することによって注目領域がフレーム単位で自動的に選択されてもよい。
【００３０】
なお、注目領域といっても、必ずしも高画質で再生することだけを目的としない。たとえば、プライバシーを保護する目的では、人物の顔が写っている注目領域を低画質で再生することが必要となる。インタラクティブＲＯＩ符号化や通常のＲＯＩ符号化は、そのような目的でも用いられる。スケーラブル符号化された画像データを用いて、インタラクティブＲＯＩ領域内でプライバシー保護の必要のある領域は低解像度、低フレームレート、あるいは低画質で再生することができる。また、プライバシー保護の必要のある領域を通常ＲＯＩ領域に指定し、あらかじめ他の領域よりは解像度、フレームレートあるいは画質を落として符号化することもできる。
【００３１】
本実施の形態では、ＲＯＩ設定部１４は、レイヤ毎に独立にＲＯＩ領域を指定することができる。たとえば、基本レイヤにおいてＲＯＩ領域を指定するが、拡張レイヤにおいては基本レイヤのＲＯＩ領域に対応する領域をＲＯＩ領域に指定しなくてもよい。逆に、拡張レイヤにおいて、基本レイヤではＲＯＩ領域を指定していない領域をＲＯＩ領域に指定してもよい。拡張レイヤが複数ある場合、それぞれの拡張レイヤにおいて独立にＲＯＩ領域を指定することもできる。もちろん、レイヤ毎に独立にＲＯＩ領域を設定するだけでなく、基本レイヤと拡張レイヤの全レイヤを通じて共通の領域をＲＯＩ領域に設定してもよい。
【００３２】
ＲＯＩ設定部１４は、レイヤ単位でＲＯＩ領域を指定するための情報（以下、「ＲＯＩ領域情報」という）を拡張レイヤ処理ブロック１１０の画像分割部１０ａと可変長符号化部３０ａ、および基本レイヤ処理ブロック１２０の画像分割部１０ｂと可変長符号化部３０ｂに与える。
【００３３】
解像度変換部１２は、各レイヤにおける空間解像度に合わせて、入力されたフレームの画像データを縮小し、各レイヤの画像データを基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０に与える。解像度変換部１２は、基本レイヤ処理ブロック１２０には低解像度の画像、拡張レイヤ処理ブロック１１０には高解像度の画像を与える。
【００３４】
基本レイヤ処理ブロック１２０は、解像度変換部１２により低解像度に変換された基本レイヤの画像を基本レイヤのＲＯＩ領域情報にしたがって分割し、ＲＯＩ領域毎に圧縮符号化して多重化部１８に出力する。符号化対象となる各領域がインタラクティブＲＯＩ領域、通常ＲＯＩ領域、非ＲＯＩ領域のいずれであるかによって、基本レイヤ処理ブロック１２０における符号化処理は異なる。
【００３５】
基本レイヤ処理ブロック１２０は、基本レイヤにおいて、通常ＲＯＩ領域を非ＲＯＩ領域とは異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせで符号化する。たとえば、通常ＲＯＩ領域を非ＲＯＩ領域よりも高画質で符号化する場合、通常ＲＯＩ領域については、量子化の際に、異なる量子化テーブルを用いて、適用される量子化ステップを小さくしたり、量子化により切り捨てる下位ビット数を減らすなどにより、有効ビット数を多めに確保することで非ＲＯＩ領域よりも高画質で符号化する。
【００３６】
通常ＲＯＩ領域については、スケーラブル符号化により複数の異なる空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせてもよく、スケーラブル符号化を行わずに１つの空間解像度、フレームレートまたは画質レベル、あるいはこれらの組み合わせをもたせるだけにしてもよい。
【００３７】
インタラクティブＲＯＩ領域については、通常、スケーラブル符号化を実施する。これにより、インタラクティブＲＯＩ領域内でユーザが指定された領域のみを解像度、フレームレート、画質レベルのいずれかを高くして再生し、それ以外の領域は通常の品質で再生するといったインタラクティブ性をもたせることができる。
【００３８】
時間スケーラブル符号化を行う場合は、基本レイヤ処理ブロック１２０においてＭＣＴＦ部２０ｂが動作し、階層毎にフレームレートを異ならせた符号化が行われる。空間スケーラビリティ符号化を行う場合は、基本レイヤ処理ブロック１２０の他に拡張レイヤ処理ブロック１１０が動作し、階層毎に空間解像度を異ならせた符号化が行われる。ＳＮＲスケーラブル符号化を行う場合は、量子化ステップや量子化により切り捨てる下位ビット数を変えることにより、階層毎に画質を異ならせた符号化が行われる。
【００３９】
非ＲＯＩ領域については、通常はスケーラブル符号化を実施せず、基本レイヤ処理ブロック１２０において時間スケーラブル符号化に関係するＭＣＴＦ部２０ｂは動作せず、また、拡張レイヤ処理ブロック１１０を用いた空間スケーラブル符号化も行われない。
【００４０】
基本レイヤ処理ブロック１２０の各構成を説明する。
【００４１】
画像分割部１０ｂは、解像度変換部１２から基本レイヤのフレーム画像のデータを受け取り、ＲＯＩ設定部１４から基本レイヤに対して設定されたＲＯＩ領域情報を受け取る。画像分割部１０ｂは、ＲＯＩ設定部１４から与えられた基本レイヤのＲＯＩ領域情報にしたがって、入力されたフレームの領域を複数の小領域に分割する。小領域の一例として、スライスを用いる。スライスは、Ｈ．２６４／ＡＶＣにおける符号化の基本単位であり、１フレームを複数のスライスに分割してスライス単位で符号化することが可能である。本実施の形態では、ＲＯＩ領域がレイヤ毎に独立に指定されていることに伴い、スライスもレイヤ毎に独立して設定されることになる。
【００４２】
画像分割部１０ｂは、基本レイヤの画像のスライス分割に関する情報（「スライス情報」という）を可変長符号化部３０ｂに与える。スライス情報には、スライスグループのタイムを示す情報やスライスの領域情報が含まれる。
【００４３】
ＲＯＩ設定部１４により、基本レイヤにおいてＲＯＩ領域としてインタラクティブＲＯＩ領域のみが設定されている場合は、基本レイヤの画像の全体領域は、インタラクティブＲＯＩ領域と、それ以外の領域（以下、「非ＲＯＩ領域」という）とに分割される。非ＲＯＩ領域は１つのスライスとなり、インタラクティブＲＯＩ領域内は、インタラクティブ性をもたせるために、さらに小さく分割され、インタラクティブＲＯＩ領域内に複数のスライスが設定される。
【００４４】
ＲＯＩ設定部１４により、基本レイヤにおいてＲＯＩ領域としてインタラクティブＲＯＩ領域と通常ＲＯＩ領域の両方が設定されている場合は、基本レイヤの画像の全体領域は、インタラクティブＲＯＩ領域、通常ＲＯＩ領域、および非ＲＯＩ領域に分割され、通常ＲＯＩ領域に１つのスライス、非ＲＯＩ領域に別のスライスが設定され、インタラクティブＲＯＩ領域内には複数のスライスが設定される。
【００４５】
基本レイヤ処理ブロック１２０は、各スライスを他のスライスに依存することなく独立に符号化する。すなわち、各スライスは、他のスライスの画素データや動きベクトル情報を利用することなく、符号化対象スライス内に閉じた情報のみを利用して符号化される。
【００４６】
インタラクティブＲＯＩ領域をスライス単位で独立に符号化するのは、インタラクティブＲＯＩ領域内でスライス単位で部分的な領域をＲＯＩ領域として指定して復号することを可能とするためである。インタラクティブＲＯＩ領域が縦横に４分割され、１６個のスライスを含むとすると、インタラクティブＲＯＩ領域内ではスライス単位で独立したスケーラブル符号化がなされているため、動画像の復号の際、インタラクティブＲＯＩ領域内の任意のスライスを選び、選択したスライスについてスケーラブル符号化されたデータを利用して異なる品質で再生することができる。
【００４７】
たとえば、インタラクティブＲＯＩ領域内の指定領域について高画質画像が要求された場合、まず最低画質の画像を得るためにすべてのスライスについて最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、ＳＮＲスケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する画質になるまで復号する。
【００４８】
また、インタラクティブＲＯＩ領域内の指定領域について拡大画像が要求された場合、まず最低画質の画像を得るためにすべてのスライスについて最下位層のみ復号する。次に、ユーザによって指定された領域に対応するスライスのみについて、空間スケーラビリティの階層を上がりながら復号を繰り返し、ユーザが要求する解像度になるまで復号する。
【００４９】
基本レイヤ処理ブロック１２０は、通常ＲＯＩ領域、非ＲＯＩ領域の場合は、インタラクティブＲＯＩ領域のように注目領域の位置やサイズの任意指定が可能なインタラクティブ性をもたせる必要はないため、基本的にはスライスに分割することなく、通常ＲＯＩ領域、非ＲＯＩ領域の全体をそれぞれ１つのスライスに割り当てて符号化する。もっともインタラクティブ性以外の目的で必要に応じて通常ＲＯＩ領域、非ＲＯＩ領域についてもスライスに分割して符号化することはかまわない。
【００５０】
画像分割部１０ｂは、基本レイヤのフレームの画像データをスライス単位でＭＣＴＦ部２０ｂに与える。スライスを時間スケーラブル符号化する場合は、ＭＣＴＦ部２０ｂが動作する。ＭＣＴＦ部２０ｂは、ＭＣＴＦ技術にしたがった動き補償時間フィルタリングを実施する。ＭＣＴＦ部２０ｂは、動画像フレームから動きベクトルを求め、動きベクトルを用いて時間フィルタリングを実施する。時間フィルタリングは、ハール（Haar）ウェーブレット変換を用いて実施され、この結果、各階層に高域フレームと低域フレームとを含むフレームレートの異なる複数の階層に分解される。分解された高域フレームと低域フレームは階層毎にメモリに保持され、動きベクトルも階層毎にメモリに保持される。
【００５１】
ＭＣＴＦ部２０ｂにおける処理が終了すると、すべての階層の高域フレームと最終的な階層の低域フレームは、予測部２４ｂに送られ、すべての階層の動きベクトルは、動き符号化部２２ｂに送られる。
【００５２】
予測部２４ｂは、画像フレームのフレーム内予測を行い、フレーム内予測誤差画像をＤＣＴ部２６ｂに与える。ＤＣＴ部２６ｂは、予測部２４ｂから供給されたフレーム内予測誤差画像を離散コサイン変換（ＤＣＴ）し、得られたＤＣＴ係数を量子化部２８ｂに与える。量子化部２８ｂは、ＤＣＴ係数を量子化し、可変長符号化部３０ｂに与える。
【００５３】
可変長符号化部３０ｂは、ＲＯＩ設定部１４から基本レイヤのＲＯＩ領域情報を受け取り、画像分割部１０ｂから基本レイヤのスライス情報を受け取り、量子化部２８ｂから差分画像の量子化されたＤＣＴ係数を受け取る。可変長符号化部３０ｂは、基本レイヤのＲＯＩ領域情報、基本レイヤのスライス情報、およびＤＣＴ係数とを可変長符号化し、多重化部１８に与える。スライス情報は、フレーム画像を復号する際、スライスグループを特定し、各スライスの領域を特定するために必要となる。ＲＯＩ領域情報は、復号の際、通常ＲＯＩ領域、インタラクティブＲＯＩ領域、および非ＲＯＩ領域を特定するために必要となる。
【００５４】
ＳＮＲスケーラブル符号化を行う場合は、複数のビットプレーンの内、切り捨てる下位ビットプレーンの数を変えたり、量子化ステップを変えることで、階層毎に異なる画質の符号化データを生成する。
【００５５】
動き符号化部２２ｂは、ＭＣＴＦ部２０ｂから与えられた動きベクトル情報を符号化し、多重化部１８に与える。
【００５６】
空間スケーラブル符号化のために、基本レイヤ処理ブロック１２０の動き符号化部２２ｂおよび予測部２４ｂは、それぞれ基本レイヤにおける各フレームの動きベクトルとフレーム内予測誤差画像を拡張レイヤ処理ブロック１１０の動き符号化部２２ａおよび内挿処理部３２に与える。
【００５７】
次に、拡張レイヤ処理ブロック１１０の各構成を説明する。
【００５８】
画像分割部１０ａは、解像度変換部１２から拡張レイヤのフレーム画像のデータを受け取り、ＲＯＩ設定部１４から拡張レイヤに対して設定されたＲＯＩ領域情報を受け取る。基本レイヤの画像が低解像度であるのに対して、拡張レイヤの画像は高解像度である。画像分割部１０ａは、ＲＯＩ設定部１４から与えられた拡張レイヤのＲＯＩ領域情報にしたがって、入力されたフレームの領域を複数のスライスに分割する。基本レイヤと拡張レイヤでは異なるＲＯＩ領域が設定されるため、拡張レイヤと基本レイヤでは異なるスライス分割がなされることになる。
【００５９】
拡張レイヤ処理ブロック１１０による拡張レイヤの各スライスの符号化処理は、基本的には基本レイヤ処理ブロック１２０における基本レイヤの各スライスの符号化処理と同じであり、スライス毎に独立した符号化を行うが、拡張レイヤ処理ブロック１１０は、基本レイヤ処理ブロック１２０の予測符号化結果を利用して、基本レイヤと拡張レイヤの差分情報だけを符号化する。
【００６０】
ここで、基本レイヤと拡張レイヤでは設定されるＲＯＩ領域が異なるため、レイヤ間で差分符号化をする際、レイヤ間で対応する領域は、同一のＲＯＩ領域ではないことに留意する。たとえば、拡張レイヤでＲＯＩ領域でも、対応する基本レイヤの領域は非ＲＯＩ領域であったり、逆に拡張レイヤで非ＲＯＩ領域でも、対応する基本レイヤの領域はＲＯＩ領域であったりする。したがって、拡張レイヤ処理ブロック１１０は、拡張レイヤの各スライスの差分符号化の際、拡張レイヤの各スライスの領域に対応する基本レイヤの領域との間で差分を取ることになる。
【００６１】
拡張レイヤ処理ブロック１１０のＭＣＴＦ部２０ａは、基本レイヤ処理ブロック１２０のＭＣＴＦ部２０ｂと同じ動き補償時間フィルタリングを拡張レイヤの画像の各スライスに施し、動きベクトル情報を動き符号化部２２ａに、符号化データを予測部２４ａに与える。拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、基本レイヤ処理ブロック１２０の動き符号化部２２ｂから基本レイヤの画像の動きベクトルの情報を受け取る。拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、拡張レイヤの各スライスの動きベクトル情報と基本レイヤの対応する領域の動きベクトル情報との間で差分符号化を行い、階層間で差分符号化された動きベクトル情報を多重化部１８に与える。
【００６２】
基本レイヤと拡張レイヤ間で動きベクトル情報を差分符号化する際、基本レイヤにおける動きベクトルを拡張レイヤの解像度に合うように拡大する。たとえば、拡張レイヤの領域の高さおよび幅がそれぞれ、基本レイヤの対応する領域の高さおよび幅の２倍である場合、基本レイヤの対応領域について得られた動きベクトルを高さ方向、幅方向にそれぞれ２倍する。拡張レイヤ処理ブロック１１０の動き符号化部２２ａは、このようにして拡張レイヤの解像度に合わせて拡大された基本レイヤの動きベクトルと、拡張レイヤの動きベクトルとの間で差分を取って符号化する。このように階層間で動きベクトル情報を差分符号化することにより、拡張レイヤの各領域の動きベクトル情報をそのまま符号化するよりは、動きベクトル情報の符号量を減らすことができる。
【００６３】
内挿処理部３２は、基本レイヤ処理ブロック１２０の予測部２４ｂから基本レイヤの各領域の予測誤差画像を受け取り、拡張レイヤの解像度に合わせるために画素を内挿する処理を行う。内挿処理部３２は、内挿処理が施された基本レイヤの予測誤差画像を拡張レイヤ処理ブロック１１０の予測部２４ａに与える。
【００６４】
拡張レイヤ処理ブロック１１０の予測部２４ａは、ＭＣＴＦ部２０ａから与えられた画像フレームをフレーム内予測符号化する。さらに、拡張レイヤ処理ブロック１１０の予測部２４ａは、拡張レイヤの予測誤差画像と、拡張レイヤの解像度に合うように内挿された基本レイヤの予測誤差画像との間で差分符号化を行う。階層間で予測誤差画像の差分符号化を行うことにより、符号量を減らすことができる。
【００６５】
拡張レイヤ処理ブロック１１０のＤＣＴ部２６ａおよび量子化部２８ａによる処理は、基本レイヤ処理ブロック１２０のＤＣＴ部２６ｂおよび量子化部２８ｂによる処理と同じである。
【００６６】
拡張レイヤ処理ブロック１１０の可変長符号化部３０ａは、ＲＯＩ設定部１４から拡張レイヤのＲＯＩ領域情報を受け取り、画像分割部１０ａから拡張レイヤのスライス情報を受け取り、量子化部２８ａから予測誤差画像の量子化されたＤＣＴ係数を受け取る。可変長符号化部３０ａは、拡張レイヤのＲＯＩ領域情報、拡張レイヤのスライス情報、およびＤＣＴ係数を可変長符号化し、多重化部１８に与える。
【００６７】
多重化部１８は、基本レイヤ処理ブロック１２０から与えられる基本レイヤにおける符号化データと、拡張レイヤ処理ブロック１１０から与えられる拡張レイヤにおける符号化データとを１つにまとめた符号化ストリームを生成して出力する。各レイヤの符号化データには、画像データ、動きベクトル情報、ＲＯＩ領域情報、およびスライス情報が含まれる。
【００６８】
なお、本実施の形態では、各レイヤのＲＯＩ領域情報とスライス情報を可変長符号化部３０ａ、３０ｂにおいて符号化したが、各レイヤのＲＯＩ領域情報とスライス情報は符号化せずに、多重化部１８に与えて、符号化ストリームのヘッダに付加するようにしてもよい。
【００６９】
上記では、基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０とを別々に設け、それぞれ基本レイヤの低解像度画像、拡張レイヤの高解像度画像を符号化する構成を説明したが、基本レイヤ処理ブロック１２０と拡張レイヤ処理ブロック１１０で共通する構成要素は基本レイヤと拡張レイヤの間で共有してもよい。たとえば、基本レイヤ処理ブロック１２０の構成だけを設け、基本レイヤ処理ブロック１２０において基本レイヤの符号化を行い、基本レイヤにおける予測誤差画像と動きベクトル情報をメモリに保持する。次に、メモリに保持された基本レイヤの符号化結果を利用して、拡張レイヤの符号化処理を基本レイヤ処理ブロック１２０において実行する。このように基本レイヤにおける符号化処理の構成を拡張レイヤに流用すれば、符号化装置１００の回路規模を小さくすることができる。
【００７０】
上記の説明では、空間スケーラビリティの階層が基本レイヤと拡張レイヤの２つである場合を説明したが、３以上の空間スケーラビリティの階層をもたせてもよい。その場合は、最下位のレイヤに対しては基本レイヤ処理ブロック１２０を設け、それ以外のレイヤに対してはレイヤ毎に拡張レイヤ処理ブロック１１０の構成を設け、下位層に行くほど低解像度の画像を符号化するようにし、下位層から上位層へ予測誤差画像と動きベクトル情報を送り、各レイヤで差分符号化を行うように構成する。あるいは、基本レイヤ処理ブロック１２０だけを設けて、基本レイヤ処理ブロック１２０をレイヤ毎に繰り返し利用することにより各レイヤの符号化を逐次的に行うように構成してもよい。
【００７１】
以下、符号化装置１００によりレイヤ単位でＲＯＩ領域を設定して画像を符号化する例を説明する。
【００７２】
まず、比較のために、レイヤ単位でＲＯＩ領域を設定しないで画像を符号化する場合を説明する。図２は、基本レイヤと拡張レイヤの両方に共通するＲＯＩ領域を設定して符号化する例を示す。画像の基本レイヤ２００ａには通常ＲＯＩ領域２０２ａとインタラクティブＲＯＩ領域２０４ａが設定され、拡張レイヤ２００ｂにも同一位置に通常ＲＯＩ領域２０２ｂとインタラクティブＲＯＩ領域２０４ｂが設定されている。
【００７３】
このように、ＳＶＣにおいて画像に対してＲＯＩ領域を指定した場合、通常は、基本レイヤと拡張レイヤの双方に共通するＲＯＩ領域が設定され、画像は各レイヤにおいてＲＯＩ領域に合わせてスライスに分割される。
【００７４】
図２の例では、各レイヤにおいて、画像は、通常ＲＯＩ領域２０２ａ、２０２ｂ、インタラクティブＲＯＩ領域２０４ａ、２０４ｂ、それ以外の非ＲＯＩ領域に分割され、各領域にスライスが割り当てられる。また、通常ＲＯＩ領域２０２ａ、２０２ｂとインタラクティブＲＯＩ領域２０４ａ、２０４ｂの重複領域（斜線で図示した領域）は、通常ＲＯＩ領域２０２ａ、２０２ｂおよびインタラクティブＲＯＩ領域２０４ａ、２０４ｂとは別の独立した領域として処理する。このようにして画像は、各レイヤにおいて、通常ＲＯＩ領域、インタラクティブＲＯＩ領域、非ＲＯＩ領域、通常ＲＯＩ領域とインタラクティブ領域の重複領域の４つに分割され、スライスが割り当てられる。なお、インタラクティブＲＯＩ領域２０４ａ、２０４ｂについては、インタラクティブ性をもたせるためにさらに小領域に分割され、小領域毎にスライスが割り当てられる。
【００７５】
このように、通常のＳＶＣでは、ＲＯＩ領域を設定すると全レイヤについて同じ領域分割がなされ、レイヤ毎にその領域分割にしたがって領域単位の符号化がなされるため、符号化効率が落ち、また、処理負荷も大きくなる。そこで、本実施の形態では、レイヤ単位でＲＯＩ領域の設定を異ならせる。
【００７６】
図３（ａ）、（ｂ）は、基本レイヤと拡張レイヤでＲＯＩ領域の設定を異ならせて符号化する例を示す。図３（ａ）では、基本レイヤ２００ａにはＲＯＩ領域は設定されず、拡張レイヤ２００ｂにおいてのみ通常ＲＯＩ領域２０２ｂが設定されている。基本レイヤ２００ａは、ＲＯＩ領域が設定されていないため、領域分割することなく、画像の全体領域を符号化することができ、フレーム内の差分符号化の効率を上げることができる。
【００７７】
一方、拡張レイヤ２００ｂは、通常ＲＯＩ領域２０２ｂが設定されているため、通常ＲＯＩ領域２０２ｂと、それ以外の非ＲＯＩ領域の２つに分けて、領域毎に独立した符号化をすることになる。また、レイヤ間での差分符号化は、通常ＲＯＩ領域２０２ｂについては、基本レイヤ２００ａの同一位置の領域との差分を取って符号化することによりなされる。
【００７８】
図３（ｂ）は、基本レイヤ２００ａには通常ＲＯＩ領域２０２ａが設定され、拡張レイヤ２００ｂにはインタラクティブＲＯＩ領域２０４ｂが設定されている。基本レイヤ２００ａは、通常ＲＯＩ領域２０２ａとそれ以外の非ＲＯＩ領域の２つに分割されて符号化され、拡張レイヤ２００ｂは、インタラクティブＲＯＩ領域２０４ｂとそれ以外の非ＲＯＩ領域の２つに分割されて符号化される。
【００７９】
図２と図３（ｂ）を比較する。図２では、ＲＯＩ領域とインタラクティブＲＯＩ領域の重複部分も含めて、基本レイヤ２００ａでも拡張レイヤ２００ｂでも４つの領域に分けて符号化しなければならない。一方、図３（ｂ）のように、基本レイヤ２００ａにＲＯＩ領域を設定し、拡張レイヤ２００ｂにインタラクティブＲＯＩ領域を設定すれば、ＲＯＩ領域とインタラクティブＲＯＩ領域の重複部分を区別して符号化する必要もなくなり、基本レイヤ２００ａ、拡張レイヤ２００ｂともに２つの領域に分けて符号化するだけで済む。このため、符号化効率を高め、また処理負荷を低減することができる。
【００８０】
図３（ａ）の例では、通常ＲＯＩ領域２０２ｂは拡張レイヤ２００ｂに設けられているため、通常ＲＯＩ領域について空間スケーラビリティがあり、その領域を高解像度で表示することが可能である。
【００８１】
図３（ｂ）の例では、インタラクティブＲＯＩ領域２０４ｂは拡張レイヤ２００ｂに設けられているため、インタラクティブＲＯＩ領域については空間スケーラビリティがあり、高解像度で表示できるが、通常ＲＯＩ領域２０２ａは基本レイヤ２００ａに設定されているため、通常ＲＯＩ領域については空間スケーラビリティがなく、低解像度の表示しかできない。そこで、図３（ｂ）の例において、レイヤの数をさらに増やして、通常ＲＯＩ領域についても空間スケーラビリティをもたせるようにしてもよい。
【００８２】
図４は、３つのレイヤでＲＯＩ領域の設定を異ならせて符号化する例を示す。図３（ｂ）の例に比べて、レイヤを１つ増やし、基本レイヤ２００ａではＲＯＩ領域を設定せず、第１の拡張レイヤ２００ｂに通常ＲＯＩ領域２０２ｂを設定し、第２の拡張レイヤ２００ｃにインタラクティブＲＯＩ領域２０４ｃを設定する。基本レイヤ２００ａは低解像度、第１の拡張レイヤ２００ｂは中解像度、第２の拡張レイヤ２００ｃは高解像度の画像である。このように３つのレイヤに分けてＲＯＩ領域を設定することにより、通常ＲＯＩ領域とインタラクティブＲＯＩ領域の双方について空間スケーラビリティをもたせることができる。
【００８３】
図５〜図８は、レイヤ単位のＲＯＩ領域の設定の他の例を示す。図５〜図８では、簡単のため、通常ＲＯＩ領域とインタラクティブＲＯＩ領域を区別せずに、単にＲＯＩ領域として説明するが、いずれの場合も通常ＲＯＩ領域のみの設定、インタラクティブＲＯＩ領域のみの設定、通常ＲＯＩ領域とインタラクティブＲＯＩ領域が混在する設定のいずれであってもよい。
【００８４】
図５は、基本レイヤではＲＯＩ領域を設定せず、拡張レイヤでＲＯＩ領域を設定する例を示す。基本レイヤ２００ａにはＲＯＩ領域が設定されず、第１の拡張レイヤ２００ｂにＲＯＩ領域２１０ｂが設定され、第２の拡張レイヤ２００ｃにも第１の拡張レイヤ２００ｂのＲＯＩ領域２１０ｂと同一位置にＲＯＩ領域２１０ｃが設定されている。
【００８５】
第１の拡張レイヤ２００ｂのＲＯＩ領域２１０ｂを符号化する際、基本レイヤ２００ａの対応領域との差分を符号化する。第２の拡張レイヤ２００ｃのＲＯＩ領域２１０ｃを符号化する際は、第１の拡張レイヤ２００ｂの同一位置にＲＯＩ領域２１０ｂがあるため、第１の拡張レイヤ２００ｂのＲＯＩ領域２１０ｂとの差分を符号化する。ＲＯＩ領域に指定された領域は３段階の空間解像度でスケーラビリティをもつが、基本レイヤ２００ａではＲＯＩ領域を設定しないため、基本レイヤ２００ａは分割することなく符号化できる。
【００８６】
図６は、レイヤ単位で設定されたＲＯＩ領域がレイヤ間で入れ子構造をもつ例を示す。基本レイヤ２００ａにＲＯＩ領域２２０ａが設定され、第１の拡張レイヤ２００ｂには、基本レイヤ２００ａのＲＯＩ領域２２０ａよりも広いＲＯＩ領域２２２ｂが設定される。第２の拡張レイヤ２００ｃには、第１の拡張レイヤ２００ｂのＲＯＩ領域２２２ｂよりもさらに広いＲＯＩ領域２２４ｃが設定される。
【００８７】
第１の拡張レイヤ２００ｂのＲＯＩ領域２２２ｂを符号化する際、基本レイヤ２００ａのＲＯＩ領域２２０ａと重なる部分については、基本レイヤ２００ａのＲＯＩ領域２２０ａとの間で差分を計算するが、基本レイヤ２００ａのＲＯＩ領域２２０ａと重ならない外側の部分については、基本レイヤ２００ａの非ＲＯＩ領域との差分を計算する。第２の拡張レイヤ２００ｃのＲＯＩ領域２２４ｃを符号化する場合も同じである。
【００８８】
図６では、基本レイヤで指定したＲＯＩ領域を含む広いＲＯＩ領域を拡張レイヤで指定することでＲＯＩ領域に入れ子構造をもたせたが、逆に、基本レイヤで指定したＲＯＩ領域に含まれる狭いＲＯＩ領域を拡張レイヤで指定することでＲＯＩ領域に入れ子構造をもたせてもよい。後者の場合、中心部ほど高解像度の画像によるスケーラビリティをもたせることができる。
【００８９】
図７は、レイヤ毎にＲＯＩ領域の位置が異なる設定例を示す。基本レイヤ２００ａにＲＯＩ領域２３０ａが設定され、第１の拡張レイヤ２００ｂには、基本レイヤ２００ａのＲＯＩ領域２３０ａと一部が重なる位置にＲＯＩ領域２３２ｂが設定される。さらに、第２の拡張レイヤ２００ｃには、第１の拡張レイヤ２００ｂのＲＯＩ領域２３２ｂとは異なる位置にＲＯＩ領域２３４ｃが設定される。
【００９０】
異なる位置に複数のＲＯＩ領域を指定する場合でも、レイヤ単位でＲＯＩ領域を分けて設定するため、各レイヤにおける領域分割数を少なくすることができる。また、ＲＯＩ領域をレイヤ別に設けることで、ＲＯＩ領域にレイヤ間で重なりがあっても、同一レイヤでＲＯＩ領域が重なりをもつ場合を減らすことができるため、領域の分割数の増加を抑え、符号化効率を高めることができる。
【００９１】
図８は、レイヤ毎に異なる数のＲＯＩ領域が設定される例を示す。第１のＲＯＩ領域２４０ａ、２４０ｂ、２４０ｃは、基本レイヤ２００ａ、第１の拡張レイヤ２００ｂ、第２の拡張レイヤ２００ｃのすべてのレイヤに設けられ、第２のＲＯＩ領域２４２ｂ、２４２ｃは、第１の拡張レイヤ２００ｂと第２の拡張レイヤ２００ｃに設けられ、第３のＲＯＩ領域２４４ｃは、第２の拡張レイヤ２００ｃにのみ設けられる。
【００９２】
図８の画像には３つのＲＯＩ領域が存在するが、基本レイヤ２００ａでは１つのＲＯＩ領域だけ設定して符号化し、第１の拡張レイヤ２００ｂでは２つのＲＯＩ領域だけ設定して符号化するため、すべてのレイヤで３つのＲＯＩ領域を設定する場合に比べて、符号化効率が良くなる。図８の例では、階層が上がる、すなわち解像度が上がるにつれて、ＲＯＩ領域の個数が増える場合を示したが、逆に、低い解像度ほどＲＯＩ領域の個数を多く設定してもよい。
【００９３】
以上述べたように、本実施の形態の符号化装置１００によれば、レイヤ毎に独立したＲＯＩ領域を設定してスライスに割り当てるため、各レイヤで見た場合に領域の分割数を減らして符号化することができ、符号化効率を高め、処理負荷を軽減できる。
【００９４】
また、画像上でＲＯＩ領域が重なる場合でも、重なり合うＲＯＩ領域を異なるレイヤに分けて設定すれば、重なり合う領域を別のスライスに割り当てる必要がなくなるため、符号化効率が低下することがない。
【００９５】
ＲＯＩ領域として、通常ＲＯＩ領域だけではなく、インタラクティブＲＯＩ領域も同様にレイヤ毎に設定して符号化することができ、また、通常ＲＯＩ領域とインタラクティブＲＯＩ領域が混在する場合にも同様に符号化することができる。
【００９６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９７】
上記の実施の形態では、各レイヤに設定されたＲＯＩ領域にしたがって画像をスライスに分割する例を説明したが、本発明は、ＲＯＩに限らず、何らかの目的で画像に領域を設定する場合に広く適用することができる。また、画像に領域を設定しない場合であっても、レイヤ毎に異なるスライスを設定して符号化する必要がある場合にも本発明は有効である。ＳＶＣでは全レイヤを通じて同一のスライスを設定して符号化し、基本レイヤにのみスライスグループのタイプを指定するビットを与えるのが通常であるが、レイヤ毎にスライスの形状や個数を変えて符号化する必要がある場合は、基本レイヤだけでなく拡張レイヤにもスライスグループのタイプを指定するビットを与えればよい。
【００９８】
上記の実施の形態では、動画を例に階層符号化を説明したが、本発明は、静止画の階層符号化にも適用することができる。
【図面の簡単な説明】
【００９９】
【図１】実施の形態に係る符号化装置の構成図である。
【図２】基本レイヤと拡張レイヤの両方に共通するＲＯＩ領域を設定して符号化する例を示す図である。
【図３】基本レイヤと拡張レイヤでＲＯＩ領域の設定を異ならせて符号化する例を示す図である。
【図４】３つのレイヤでＲＯＩ領域の設定を異ならせて符号化する例を示す図である。
【図５】基本レイヤではＲＯＩ領域を設定せず、拡張レイヤでＲＯＩ領域を設定する例を示す図である。
【図６】レイヤ単位で設定されたＲＯＩ領域がレイヤ間で入れ子構造をもつ例を示す図である。
【図７】レイヤ毎にＲＯＩ領域の位置が異なる設定例を示す図である。
【図８】レイヤ単位のＲＯＩ領域の設定の他の例を示す図である。
【符号の説明】
【０１００】
１０ａ、１０ｂ  画像分割部、  １２  解像度変換部、  １４  ＲＯＩ設定部、  １８  多重化部、  ２０ａ、２０ｂ  ＭＣＴＦ部、  ２２ａ、２２ｂ  動き符号化部、  ２４ａ、２４ｂ  予測部、  ２６ａ、２６ｂ  ＤＣＴ部、  ２８ａ、２８ｂ  量子化部、  ３０ａ、３０ｂ  可変長符号化部、  ３２  内挿処理部、  １００  符号化装置、  １１０  拡張レイヤ処理ブロック、  １２０  基本レイヤ処理ブロック。
【図１】
2007235314.tif 000003
【図２】
2007235314.tif 000004
【図３】
2007235314.tif 000005
【図４】
2007235314.tif 000006
【図５】
2007235314.tif 000007
【図６】
2007235314.tif 000008
【図７】
2007235314.tif 000009
【図８】
2007235314.tif 000010