(57)【要約】【課題】伝送路のビットレートが小さい場合であっても、顕著な画質劣化を生じさせない映像符号化装置、映像符号化前処理装置、及びプログラムを提供する。【解決手段】入力映像を複数の階層映像に分割する映像分離部と、分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う映像処理部と、前記映像処理の後に、前記複数の階層映像を合成して出力映像を生成する映像合成部とにより、映像の前処理を行う。その後、符号化処理部において、前処理された映像信号に対してテンポラルスケーラブルを用いて符号化を行う。【選択図】図１
2019161413.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の符号化を行うための前処理を行う映像符号化前処理装置であって、
入力映像を複数の階層映像に分割する映像分離部と、
分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う映像処理部と、
前記映像処理の後に、前記複数の階層映像を合成して出力映像を生成する映像合成部と、
を備えることを特徴とする、映像符号化前処理装置。
【請求項２】
請求項１に記載の映像符号化前処理装置において、
前記映像処理は、帯域制限処理、デブロッキング処理、又はノイズ除去処理の少なくとも一つを含み、符号化難易度を低下させる処理であることを特徴とする、映像符号化前処理装置。
【請求項３】
請求項１又は２に記載の映像符号化前処理装置において、
前記映像処理部は、映像符号化の情報に基づいて前記映像処理の処理内容を変更することを特徴とする、映像符号化前処理装置。
【請求項４】
映像信号の符号化を行う符号化処理部と、前記符号化の前処理を行う前処理部とを有する映像符号化装置であって、
前記前処理部は、
入力映像を複数の階層映像に分割する映像分離部と、
分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う映像処理部と、
前記映像処理の後に、前記複数の階層映像を合成した映像を生成する映像合成部と、
を備えており、
前記符号化処理部は、
前記前処理部から出力された映像のハイブリッド符号化を行うことを特徴とする、映像符号化装置。
【請求項５】
請求項４に記載の映像符号化装置において、
前記映像処理は、帯域制限処理、デブロッキング処理、又はノイズ除去処理の少なくとも一つを含み、符号化難易度を低下させる処理であることを特徴とする、映像符号化装置。
【請求項６】
請求項４又は５に記載の映像符号化装置において、
前記映像処理部は、前記符号化処理部から出力される符号化状態を示す制御情報に基づいて、前記映像処理の処理内容を変更することを特徴とする、映像符号化装置。
【請求項７】
請求項４乃至６のいずれか一項に記載の映像符号化装置において、
前記映像分離部は、前記符号化処理部から出力される制御情報に基づいて、入力映像を階層映像に分割することを特徴とする、映像符号化装置。
【請求項８】
請求項４乃至７のいずれか一項に記載の映像符号化装置において、
前記符号化処理部は、テンポラルスケーラブルの符号化処理を行うことを特徴とする、映像符号化装置。
【請求項９】
コンピュータを、請求項１乃至３のいずれか一項に記載の映像符号化前処理装置として機能させるためのプログラム。
【請求項１０】
コンピュータを、請求項４乃至８のいずれか一項に記載の映像符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、映像符号化前処理装置、及びプログラムに関し、特に、テンポラルスケーラブル（時間スケーラブル）を用いて映像を符号化する装置、テンポラルスケーラブルを用いた映像符号化をする前段で映像に処理を行う装置、及びそのためのプログラムに関する。
【背景技術】
【０００２】
近年、スーパーハイビジョン（８Ｋ：7680ピクセル×4320ライン）と呼ばれる高精細映像の実用化が進められている。映像信号のフレームレートは、６０Ｈｚ（60/1.001Ｈｚも含む、以下同じ）が現在主流であり、１２０Ｈｚ（120/1.001Ｈｚも含む、以下同じ）の映像も規定されている。デジタル放送における映像符号化の標準規格では、１２０Ｈｚ映像を放送する際にはテンポラルスケーラブルを適用することが規定されている。テンポラルスケーラブルを用いた符号化の予測構造の例を図８に示す（非特許文献１）。
【０００３】
図８において、横軸はフレーム（画像）の表示順を示しており、四角枠で囲んだ数字はフレーム（画像）の符号化順を示している。ここでは、１６フレームごと（番号０のフレーム）にイントラ符号化（フレーム内予測のみを利用した符号化）を行っており、その間の１５フレームについてはフレーム間予測を用いた符号化を行っている。なお、図では、フレーム間予測を行う際の参照ピクチャ（フレーム）を矢印で示している。テンポラルスケーラブルにおいては、イントラ符号化フレームを含むフレーム群（例えば、偶数ピクチャ）がベースレイヤを構成し、他のフレーム群（例えば、奇数ピクチャ）がエンハンスメントレイヤとなっている。
【０００４】
テンポラルスケーラブルを用いて映像を符号化し、あるビットレートで伝送しようとする場合には、ベースレイヤ（基本階層）とエンハンスメントレイヤ（拡張階層）のそれぞれにビットレートを配分し、それらの合計のビットレートが伝送路のビットレート以内に収まらなければならない。
【０００５】
例えば、前述のスーパーハイビジョンにおいては、６０Ｈｚのフレームレートで映像信号を伝送するには８０〜１００Ｍｂｐｓの伝送ビットレートが必要であり、１２０Ｈｚのフレームレートで映像信号を伝送するには１２０Ｍｂｐｓ程度の伝送ビットレートが必要とされている。
【０００６】
また、テンポラルスケーラブルを用いて符号化及び伝送された映像は、ベースレイヤにおいて基本的な画質を維持すると共に、ベースレイヤにエンハンスメントレイヤを加えた映像においてはより画質の向上した映像を提供することが求められる。
【０００７】
なお、本発明は、スーパーハイビジョンの映像処理に限定されるものではない。また、本明細書では、フレームレートとして１２０Ｈｚを、テンポラルスケーラブルのフレームレート比率として１：１（ベースレイヤのフレームレート６０Ｈｚ、エンハンスメントレイヤのフレームレート６０Ｈｚ）の場合を主要な例として説明するが、必ずしもこれらのフレームレートに限定されるものではない。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ＡＲＩＢ  ＳＴＤ−Ｂ３２：「デジタル放送における映像符号化、音声符号化及び多重化方式」
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術では、テンポラルスケーラブルを用いて符号化された映像データを伝送路のビットレートで伝送する際に、まずベースレイヤに必要なビットレートを割り当て、残りのビットレートをエンハンスメントレイヤに割り当てることで、全体として伝送路のビットレートに収まるように制御するのが一般的である。一般的な符号化装置では、符号化後の符号量を観測して量子化パラメータを調整し、所定の範囲に収まるように出力ビットレートを制御している。
【００１０】
一定のビットレートに制御しようとしても、映像の内容は刻々変化するため、ある短い区間に着目するとビットレートは増減する。細かい絵柄が複雑に動いている絵柄、つまり符号化難易度の高い絵柄となったときには、ビットの増加が起こりやすくなる。この状態でベースレイヤにビットを割り当てると、全体のビットのほとんどがベースレイヤに割り当てられエンハンスメントレイヤのビットが不足することとなり、顕著な画質劣化が発生する要因となる。結果的に、エンハンスメントレイヤも含めた映像の総合的な品質は低下することとなってしまう。
【００１１】
また、符号化難易度の高い映像を符号化する場合に、エンハンスメントレイヤのビットが不足し、エンハンスメントレイヤに顕著な画質劣化が生じることを回避するために、ベースレイヤに割り当てられるビット量を同様に抑制する方法が考えられる。しかし、この場合は、ベースレイヤの画質が低下する。ベースレイヤは符号化処理の中でエンハンスメントレイヤの予測に使用されるため、ベースレイヤの画質を落とすと全体の符号化効率を低下させ、結果として、全体の画質を低下させてしまう。
【００１２】
本発明はこのような、テンポラルスケーラブルを用いて映像を符号化する場合に適した映像処理に関し、特に映像に対して出力ビットレートが低い（圧縮率が高い）場合の画質の向上を図ろうとするものである。
【００１３】
従って、上記のような問題点に鑑みてなされた本発明の目的は、映像データを符号化する際に、伝送路のビットレートが小さい場合であっても、顕著な画質劣化を生じさせない映像符号化装置、顕著な画質劣化を生じさせないで圧縮符号化ができるように映像符号化する前段で映像に処理を行う装置、及びそのためのプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するために本発明に係る映像符号化前処理装置は、映像信号の符号化を行うための前処理を行う映像符号化前処理装置であって、入力映像を複数の階層映像に分割する映像分離部と、分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う映像処理部と、前記映像処理の後に、前記複数の階層映像を合成して出力映像を生成する映像合成部と、を備えることを特徴とする。
【００１５】
また、前記映像符号化前処理装置は、前記映像処理が、帯域制限処理、デブロッキング処理、又はノイズ除去処理の少なくとも一つを含み、符号化難易度を低下させる処理であることが望ましい。
【００１６】
また、前記映像符号化前処理装置は、前記映像処理部が、映像符号化の情報に基づいて前記映像処理の処理内容を変更することが望ましい。
【００１７】
上記課題を解決するために本発明に係る映像符号化装置は、映像信号の符号化を行う符号化処理部と、前記符号化の前処理を行う前処理部とを有する映像符号化装置であって、前記前処理部は、入力映像を複数の階層映像に分割する映像分離部と、分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う映像処理部と、前記映像処理の後に、前記複数の階層映像を合成した映像を生成する映像合成部と、を備えており、前記符号化処理部は、前記前処理部から出力された映像のハイブリッド符号化を行うことを特徴とする。
【００１８】
また、前記映像符号化装置は、前記映像処理が、帯域制限処理、デブロッキング処理、又はノイズ除去処理の少なくとも一つを含み、符号化難易度を低下させる処理であることが望ましい。
【００１９】
また、前記映像符号化装置は、前記映像処理部が、前記符号化処理部から出力される符号化状態を示す制御情報に基づいて、前記映像処理の処理内容を変更することが望ましい。
【００２０】
また、前記映像符号化装置は、前記映像分離部が、前記符号化処理部から出力される制御情報に基づいて、入力映像を階層映像に分割することが望ましい。
【００２１】
また、前記映像符号化装置は、前記符号化処理部が、テンポラルスケーラブルの符号化処理を行うことが望ましい。
【００２２】
上記課題を解決するために本発明に係るプログラムは、コンピュータを、映像符号化前処理装置として機能させることを特徴とする。
【００２３】
上記課題を解決するために本発明に係るプログラムは、コンピュータを、映像符号化装置として機能させることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、伝送路のビットレートが小さい場合であっても、顕著な画質劣化を生じさせないで映像データを符号化することができる。特に、テンポラルスケーラブルを用いて映像を符号化する際に、符号化出力のビットレートが低く抑えられた場合であっても、ベースレイヤの画質を維持するとともに、全体（ベースレイヤ＋エンハンスメントレイヤ）の主観的な画質を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の映像符号化装置全体の構成を示すブロック図である。
【図２】本発明の前処理部（又は映像符号化前処理装置）の構成を示すブロック図である。
【図３】第１の実施例の前処理部の構成を示すブロック図である。
【図４】レイヤの同期をとる手段の例を説明する図である。
【図５】第２の実施例の前処理部の構成を示すブロック図である。
【図６】８Ｋ×４Ｋ画像を空間周波数の領域において１６の区画に区分した状態を示す図である。
【図７】本発明の符号化処理部の一例を示すブロック図である。
【図８】テンポラルスケーラブルを用いた符号化の予測構造の例である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について説明する。
【００２７】
図１は、本発明の映像符号化装置全体の構成を示すブロック図である。映像符号化装置１００は、前処理部２００と符号化処理部３００を備え、入力された映像を符号化し符号化ストリームを出力する。映像符号化装置１００は、テンポラルスケーラブル（時間スケーラブル）を用いて映像を符号化する装置であり、出力された符号化ストリームは、ベースレイヤ（基本階層）とエンハンスメントレイヤ（拡張階層）の情報が含まれている。
【００２８】
前処理部２００は、後述のとおり、入力された映像に対して、帯域制限やノイズ除去等の処理を行い、処理済みの映像を符号化処理部３００に出力する。なお、図１においては、前処理部２００は、映像符号化装置１００の構成の一部として記載されているが、前処理部２００を、独立した映像符号化前処理装置２００として構成することもできる。
【００２９】
符号化処理部３００は、帯域制限等の前処理が行われた映像信号を、テンポラルスケーラブルを用いて符号化処理する。この符号化処理は、映像入力の動き補償フレーム（画面）間予測と、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）等を利用したフレーム（画面）内情報圧縮と、エントロピー符号化を組み合わせた、いわゆる、ハイブリッド符号化方式を用いる。ハイブリッド符号化方式としては、例えば、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）や、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）等を採用することができる。
【００３０】
なお、符号化処理部３００の符号化処理の過程で得られた情報（符号化状態を示すの情報）を、制御情報として前処理部２００に送信し、前処理部２００での処理を制御することが望ましい。
【００３１】
本発明の映像符号化装置１００は、人間の視覚特性、すなわち、主観的な画質の向上を利用して、ビットレートが低いときのテンポラルスケーラブルにおける画質向上（画質低下の防止）を行うものである。一般的に、少ないビット量で符号化する場合、つまり高い圧縮率によって符号化する場合は、顕著な符号化劣化を生じさせるよりは、符号化難易度を低下させて符号化劣化の発生を軽減する方が、主観的な画質は向上する傾向がある。特にビットレートが低いときには、この傾向が顕著となりやすい。このため、ビットレートが低い場合等、圧縮率が高くなるときは、入力画像の持つ空間周波数を制限（帯域制限）したり、ノイズ（例えば、暗い背景に現れるザラツキのようなノイズ等）を除去したりするなどの画像情報量を低減する前処理が行われる。この場合、入力画像そのものが持っていた精細感は多少失われることがあるが、大きな符号化劣化が生じなければ主観的な画質は向上する。
【００３２】
テンポラルスケーラブルを用いて符号化する場合では、ベースレイヤへのビットレート割り当てを優先した結果、エンハンスメントレイヤのビットレートが不足するケースが想定される。本発明はこの場合でも、エンハンスメントレイヤに大きな画質劣化が生じないように、エンハンスメントレイヤに帯域制限等の前処理を施すことで総合的な主観画質を向上させることができる。このとき、ベースレイヤの画質は影響を受けない。
【００３３】
図２は、前処理部（又は映像符号化前処理装置）２００の構成を示すブロック図である。前処理部２００は、映像分離部２１０と、映像処理部２２０と、映像合成部２３０を備えており、入力された映像に階層別の映像処理を行って、映像を出力する。映像分離部２１０と映像処理部２２０には、符号化処理部３００からの制御情報を入力して、各部での処理を制御するようにしても良い。
【００３４】
映像分離部２１０は、テンポラルスケーラブル（時間スケーラブル）のために、映像入力を複数の階層に分離する。ここでは、２階層に分けており、一方をベースレイヤ（基本階層）の映像とし、他方をエンハンスメントレイヤ（拡張階層）の映像としている。なお、発明の実施の形態においては、２階層分離について説明するが、テンポラルスケーラブルは２階層分離に限られず、３階層や４階層に分離しても良い。
【００３５】
映像処理部２２０は、映像分離部２１０で分離された映像に対して、映像処理を行う。この映像処理は、上述の空間周波数を制限（帯域制限）したり、ノイズを除去したりする等の処理、或いは他の処理とすることができ、それぞれの階層は独立して処理を行う。映像処理は、全階層の映像信号に対して行うこともできるが、少なくとも１つの階層（エンハンスメントレイヤ）の映像に対して、画像情報量を低減する処理（すなわち、符号化難易度を低下させる処理）を行う。
【００３６】
映像合成部２３０は、映像処理部２２０で階層別の処理を行った映像信号を、再び合成し、連続した映像として出力する。この映像出力は、この後、符号化処理部３００に入力される。
【００３７】
なお、図２の前処理部（又は映像符号化前処理装置）２００は、テンポラルスケーラブルを用いた符号化処理の前段の処理に適しているが、テンポラルスケーラブルに限らず、映像信号のフレームを複数の群（階層）に分けて符号化処理を行う装置の前段に適用することが可能である。
【００３８】
図３に、前処理部（又は映像符号化前処理装置）の第１の実施例を示す。図３に示す前処理部２０１は、ＯＤＤ／ＥＶＥＮ分離部２１１と、帯域制限フィルタ２２１と、ＯＤＤ／ＥＶＥＮ合成部２３１を備える。
【００３９】
ＯＤＤ／ＥＶＥＮ分離部２１１は、図２の映像分離部２１０に相当する。ＯＤＤ／ＥＶＥＮ分離部２１１は、前処理部２０１に入力された映像を、ＯＤＤ映像（奇数ピクチャ）とＥＶＥＮ映像（偶数ピクチャ）に分離し、ＯＤＤ映像とＥＶＥＮ映像のいずれがベースレイヤであり、他方がエンハンスメントレイヤであるかを判定する。そして、ＯＤＤ／ＥＶＥＮ分離部２１１でベースレイヤとエンハンスメントレイヤに分離された映像は、映像処理部に出力される。なお、ここではフレームレート比率１：１（すなわち、ＯＤＤ／ＥＶＥＮ）で映像を分離したが、映像は、他のフレームレート比率で階層分離をしても良い。
【００４０】
ＯＤＤ／ＥＶＥＮ分離部２１１で映像をベースレイヤとエンハンスメントレイヤに分離する際に、後段の符号化処理部３００でテンポラルスケーラブル符号化する際のベースレイヤとエンハンスメントレイヤの区別は一致している必要がある。このため、符号化処理部３００からの制御情報によりレイヤの同期をとる機能を持たせる。同期をとる手法としては、例えば、イントラ符号化（画面内符号化）するフレームは必ずベースレイヤに属することから、符号化処理部３００からイントラ符号化したフレームのタイミングを制御情報の一部として前処理部２００に伝送するといった方法が考えられる。
【００４１】
レイヤの同期をとる手段の例を図４に基づいて説明する。図４は、ＯＤＤ／ＥＶＥＮ分離部２１１に、入力映像（１２０Ｈｚ）が時間とともに入力されている状態を示している。ここで、符号化処理部３００から制御情報として送られた「イントラ符号化フレームタイミング情報」に基づいて、入力映像のうち「＊」で示す映像が、この後符号化処理部３００でイントラ符号化処理される映像であることが判断できる。したがって、ＯＤＤ／ＥＶＥＮ分離部２１１は、この「＊」で示す映像を含むＥＶＥＮ映像（６０Ｈｚ）をベースレイヤとし、他方のＯＤＤ映像（６０Ｈｚ）をエンハンスメントレイヤとして、分離・出力する。こうして、制御情報により、前処理部２００と符号化処理部３００との同期をとることができる。
【００４２】
なお、同期をとる手段は、このような「イントラ符号化フレームタイミング情報」を送信する方法に限定されるものではない。ＯＤＤ映像とＥＶＥＮ映像のどちらがベースレイヤであるかを制御情報として直接伝達してもよく、ＯＤＤ／ＥＶＥＮ分離部２１１が映像と階層の関係を判断できる任意の手段を採用することができる。
【００４３】
帯域制限フィルタ２２１は、図２の映像処理部２２０に相当する。ベースレイヤとエンハンスメントレイヤへの映像処理は独立に行われる。この実施例では、エンハンスメントレイヤに対してのみ、帯域制限フィルタを用いた映像処理を行っており、ベースレイヤへの映像処理は行っていない。本発明では、少なくとも１つの階層（エンハンスメントレイヤ）の映像に対して、画像情報量を低減する処理（符号化難易度を低下させる処理）を行うことにより、総合的な主観画質を向上させる効果がある。
【００４４】
帯域制限フィルタ２２１は、帯域制限処理をフィルタで実現したものである。このフィルタは固定のフィルタを用いてもよいが、後述するように、符号化処理部３００から制御情報（例えば、符号化処理部での符号化状態を示す情報）に基づいて、帯域制限を時間とともに変更する処理を行ってもよい。
【００４５】
ＯＤＤ／ＥＶＥＮ合成部２３１は、図２の映像合成部２３０に相当する。ＯＤＤ／ＥＶＥＮ合成部２３１は、帯域制限フィルタ２２１で帯域制限を受けたエンハンスメントレイヤ（ＯＤＤ映像）と、何も映像処理を受けなかったベースレイヤ（ＥＶＥＮ映像）とを、交互に配置して連続の映像とする合成処理を行い、合成された映像を出力する。出力された映像は、エンハンスメントレイヤが帯域制限を受けたことのみが変化した、元の１２０Ｈｚの映像である。この映像出力は、後段の符号化処理部３００に入力される。
【００４６】
図５に、前処理部（又は映像符号化前処理装置）の第２の実施例を示す。図５に示す前処理部２０２は、ＯＤＤ／ＥＶＥＮ分離部２１１と、第１階層映像処理部２２２と、第２階層映像処理部２２３と、ＯＤＤ／ＥＶＥＮ合成部２３１を備える。第１の実施例と共通する構成は、説明を簡略化する。
【００４７】
ＯＤＤ／ＥＶＥＮ分離部２１１は、前処理部２０１に入力された映像を、ＯＤＤ映像とＥＶＥＮ映像に分離し、いずれがベースレイヤであり、他方がエンハンスメントレイヤであるかを判定し、ベースレイヤの映像を第１層映像処理部２２２に、また、エンハンスメントレイヤの映像を第２層映像処理部２２３にそれぞれ出力する。
【００４８】
第１層映像処理部２２２と第２層映像処理部２２３は、併せて、図２の映像処理部２２０に相当する。ベースレイヤとエンハンスメントレイヤへの映像処理は独立に行われる。本発明においては、特に、上位階層（エンハンスメントレイヤ）に対しての映像処理が、主観画質を向上させることに寄与する。第１の実施例のように、ベースレイヤへの前処理は行わなくてもよいが、エンハンスメントレイヤと同様の仕組みで前処理を行うことも可能である。
【００４９】
まず、第２層映像処理部２２３の映像処理について説明する。第２層映像処理部２２３では、符号化前処理として、帯域制限処理、デブロッキング処理、ノイズ除去処理等の符号化難易度を低下させる映像処理が行われる。なお、デブロッキング処理とは、ブロック境界をフィルタ等で平滑化する処理である。
【００５０】
第２層映像処理部２２３は符号化処理部３００からの制御情報によって制御される。制御情報は符号化処理部３００での符号化処理の状況によって変化する値が伝送される。制御情報は、エンハンスメントレイヤのビット量が著しく減少したり、大きな符号化ビットが発生したりするようなときに、エンハンスメントレイヤの映像の符号化難易度を低下させるように作用させることが望ましい。よって、制御情報としては、例えば、エンハンスメントレイヤの発生ビット量、ベースレイヤとエンハンスメントレイヤの発生ビット比、量子化パラメータ、局所復号画像の符号化誤差電力（ＰＳＮＲ：Peak Signal-to-Noise Ratio等)や客観評価値（ＳＳＩＭ：Structural Similarity等)、動きベクトル量等、様々な情報を利用することができ、またこれらの情報をもとに指標を生成して、制御情報としても良い。
【００５１】
また、第２層映像処理部２２３での映像処理は、フレーム全体に均一に施してもよいし、絵柄や符号化部での符号化ブロック形状等に基づくなどにより適応的に実施してもよい。
【００５２】
映像処理として入力映像の帯域制限を行う一例を示す。帯域制限の手法や制限する帯域には様々な方法が考えられるが、ここでは８Ｋ×４Ｋ画素の画像を空間周波数の帯域ごとに区画し、制御情報として受信するパラメータに応じて通過させる区画の数を変化させる方法を例示する。図６に、８Ｋ×４Ｋ画像を空間周波数の領域において１６の区画に区分した状態を示す。図中の各区画の番号を優先順位として、通過させる区画を制御する。図示した優先度の設定は、水平垂直方向を優先し斜め方向の優先度を下げた一例である。また、例えば、区画１〜３を第１区画グループ、区画４〜６を第２区画グループといったように、区画をいくつかのグループに分け、グループごとに制御するような方法も採用することができる。
【００５３】
第２層映像処理部２２３の帯域制限区画の制御の方法としては、例えば、符号化処理部３００から受信するエンハンスメントレイヤの量子化パラメータを用いることができる。量子化パラメータが最大値付近に固定されてしまうような状況では、発生ビットをそれ以上下げることができない状態となっている。この状態では著しい符号化劣化が発生してしまうため、入力画像の符号化難易度を下げるために入力画像の空間周波数を制限するように制御を行う。量子化パラメータが一定の値に下がるまで、優先度の低い方から区画を制限して通過する帯域を狭めていくこととし、ある程度まで下がったときは、逆に、順に通過させる区画を増やしていくように制御を行う。すなわち、映像符号化の情報に基づいて映像処理の処理内容を変更する。
【００５４】
第１層映像処理部２２２の映像処理は、第２層映像処理部２２３と異なるものとする。ベースレイヤは符号化処理の中でエンハンスメントレイヤの予測に使用されるため、基本的には、ベースレイヤに割り当てられるビット量の抑制は避けて、ベースレイヤの画質を高品質に保つ必要がある。よって、第１の実施例のように、ベースレイヤへの前処理は行わなくてもよい。しかし、伝送路の伝送レートに対して画像データ量が極めて大きく、エンハンスメントレイヤの空間周波数が極端に制限される場合には、ベースレイヤとエンハンスメントレイヤのバランスをとるため、ベースレイヤについても一部の帯域制限を行うことができる。
【００５５】
例えば、第２層映像処理部２２３においてエンハンスメントレイヤの通過帯域が図６の区画１〜１０以下となった場合に、第１層映像処理部２２２においてベースレイヤの通過帯域を図６の区画１〜１５に制限する等、第２層映像処理部２２３とは帯域制限の範囲が異なる処理（第２層映像処理部２２３と比較して制限度合いの低い帯域制限）をすることができる。また、帯域制限に限らず、エンハンスメントレイヤの帯域制限による画像劣化を補償する処理（例えば、ベースレイヤの画像強調処理等）を採用することもできる。
【００５６】
第１層及び第２層映像処理部２２２，２２３の処理は、入力画像の性質や符号化難易度に応じて制御してもよいし、ベースレイヤとエンハンスメントレイヤの符号化状態によって、帯域を制限する量を制御することとしてもよい。
【００５７】
このように、主にエンハンスメントレイヤの入力画像に対して帯域制限等の符号化前処理を、符号化処理部と連動して、ベースレイヤとエンハンスメントレイヤを分離して行うことで、総合的な画質の改善を図ることができる。
【００５８】
次に、映像符号化処理部について説明する。本発明の符号化処理部３００は制御情報を出力するための制御情報生成部を備える。
【００５９】
図７は、本発明の符号化処理部３００の一例を示すブロック図である。なお、図７では、フレーム内予測部などは省略しているが、周知の処理を適宜加えることができる。
【００６０】
符号化処理部３００は、映像入力（動画像フレーム）を入力して、符号出力（ビットストリーム）と制御情報を出力する。符号化処理部３００は、ブロック分割部３１１、減算器３１２、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）変換部３１３、量子化部３１４、逆量子化部３１５、逆変換部３１６、加算器３１７、フレームメモリ部３１８、動き検出部３１９、動き補償予測部３２０、エントロピー符号化部３２１，３２２、制御情報生成部３２３、を備えている。このうち、逆量子化部３１５、逆変換部３１６、加算器３１７、フレームメモリ部３１８、動き検出部３１９、及び動き補償予測部３２０が、動画像の局部復号器として機能する。
【００６１】
ブロック分割部３１１は、符号化処理部３００に入力される映像（動画像フレーム）を、符号化を行う単位である映像のブロックに分割する。
【００６２】
減算器３１２は、ブロック分割部３１１から出力される画像から、動き補償予測部３２０から出力される予測画像の減算処理を行い、両画像の差分画像をＤＣＴ変換部３１３に出力する。
【００６３】
ＤＣＴ変換部３１３は、減算器３１２から入力された差分画像に対して、離散コサイン変換による変換処理を行い、その変換係数を量子化部３１４に出力する。なお、離散コサイン変換は変換処理の代表的方法であるが、他の変換方法（離散サイン変換（ＤＳＴ）や、カルーネン・レーベ変換（ＫＬＴ）など）を行っても良い。
【００６４】
量子化部３１４は、ＤＣＴ変換部３１３から入力された変換係数の量子化処理を行い、その結果（以下、ＤＣＴ係数と呼ぶ）をエントロピー符号化部３２１及び逆量子化部３１５に出力する。
【００６５】
逆量子化部３１５は、量子化部３１４から入力されたＤＣＴ係数を逆量子化して、画像復号のための変換係数を生成し、これを逆変換部３１６へ出力する。
【００６６】
逆変換部３１６は、逆量子化部３１５から入力された変換係数を基に、離散コサイン逆変換（ＤＣＴ変換部３１３で行われた処理と反対の逆変換処理）を行い、画像を生成する。その結果を加算器３１７に出力する。
【００６７】
加算器３１７は、逆変換部３１６で逆変換されたデータ、すなわち、差分画像の復号処理されたデータと、後述の動き補償予測部３２０で処理された予測画像のデータとを加算し、その合成画像データをフレームメモリ部３１８に出力する。
【００６８】
フレームメモリ部３１８は、加算器３１７で生成された合成画像データを局所復号画像として蓄積する。フレームメモリ部３１８に蓄積された局所復号画像は、順次、動き検出部３１９及び動き補償予測部３２０に出力される。
【００６９】
動き検出部３１９は、ブロック分割部３１１から入力された映像（符号化対象ブロック）と、フレームメモリ部３１８からの局所復号画像に基づいて、画像の動きを検出（推定）し、検出された動きに関する情報を、動きベクトルとして出力する。動き検出部３１９は、時間予測動きベクトル候補と空間予測動きベクトル候補とを基に、適切な動きベクトルを導出する。なお、動きベクトルは、動き補償予測部３２０に出力されるとともに、送信先における復号に必要なデータであることから、例えば、時間又は空間予測動きベクトル候補のインデックスと差分ベクトルといった形でエントロピー符号化部３２２にも出力される。
【００７０】
動き補償予測部３２０は、フレームメモリ部３１８からの局所復号画像（前フレームの復号画像）と、動き検出部３１９から入力された画像の動きベクトル情報に基づいて、動き補償予測処理を行い、符号化対象フレームの予測画像を生成して、減算器３１２及び加算器３１７に出力する。
【００７１】
エントロピー符号化部３２１は、量子化部３１４から入力されたＤＣＴ係数（すなわち、画像の符号化データ）をエントロピー符号化（シンボル毎の出現確率に基づき異なる長さの符号語長を用いる符号化）して、符号出力（ビットストリーム）を作成し、その後、伝送路等への出力を行う。
【００７２】
また、エントロピー符号化部３２２は、動き検出部３１９から入力される動きベクトル等、画像の復号に必要なデータをエントロピー符号化して、符号出力を作成し、その後、伝送路等への出力を行う。
【００７３】
制御情報生成部３２３は、符号化処理部３００の各処理ブロックから符号化状態を表す数値等が入力され、これらに基づいて制御情報を出力する。符号化状態を表す数値としては、発生ビット量、ベースレイヤとエンハンスメントレイヤの発生ビット比、量子化パラメータ（量子化値）、局所復号画像の符号化誤差電力（ＰＳＮＲ等)や客観評価値（ＳＳＩＭ等)、動きベクトル量等が用いられる。制御情報としては、これら符号化状態を表す数値の一つ又は複数をそのまま制御情報として送るか、或いは、これら数値に基づいて符号化状態を示す指標を作成し、制御情報として出力する。なお、図４に示したように、イントラ符号化したフレームのタイミングを制御情報の一部として出力してもよい。
【００７４】
以上のように、符号化処理部３００が構成され、符号化処理が行われる。
【００７５】
このようにして、テンポラルスケーラブルを用いて符号化するシステムで、エンハンスメントレイヤのビットレートが低いようなときに、顕著な劣化を生じさせないように制御し、総合的な主観画質を改選するような映像符号化装置、及び映像符号化前処理装置を構成することができる。
【００７６】
また、上記の実施の形態では、映像符号化装置及び映像符号化前処理装置の構成と動作について説明したが、本発明はこれに限らず、テンポラルスケーラブル符号化を行う方法又はテンポラルスケーラブル符号化の前処理を行う方法として構成されてもよい。すなわち、図２のデータの流れに従って、入力映像を複数の階層映像に分割する工程と、分割された少なくとも一つの階層映像に対して画像情報量を低減する映像処理を行う工程と、前記映像処理の後に、前記複数の階層映像を合成して出力映像を生成する工程とを備えた方法として構成されても良い。
【００７７】
なお、上述した映像符号化装置又は映像符号化前処理装置として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、映像符号化装置又は符号化前処理装置の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００７８】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００７９】
１００  映像符号化装置
２００，２０１，２０２  前処理部（映像符号化前処理装置）
２１０  映像分離部
２１１  ＯＤＤ／ＥＶＥＮ分離部
２２０  映像処理部
２２１  帯域制限フィルタ
２２２  第１階層映像処理部
２２３  第２階層映像処理部
２３０  映像合成部
２３１  ＯＤＤ／ＥＶＥＮ合成部
３００  符号化処理部
３１１  ブロック分割部
３１２  減算器
３１３  ＤＣＴ変換部
３１４  量子化部
３１５  逆量子化部
３１６  逆変換部
３１７  加算器
３１８  フレームメモリ部
３１９  動き検出部
３２０  動き補償予測部
３２１，３２２  エントロピー符号化部
３２３  制御情報生成部
【図１】
2019161413.tif 000003
【図２】
2019161413.tif 000004
【図３】
2019161413.tif 000005
【図４】
2019161413.tif 000006
【図５】
2019161413.tif 000007
【図６】
2019161413.tif 000008
【図７】
2019161413.tif 000009
【図８】
2019161413.tif 000010