(57)【要約】【課題】ＨＥＶＣ方式を用いた再符号化時に再度入力画像の解析をせずに精度良く符号化時のＣＵサイズを決定することを可能にする。【解決手段】符号化動画像を復号した復号動画像を再符号化して再符号化動画像を生成する画像処理装置であって、復号動画像の画面サイズを変換する変換手段と、画面サイズが変換された復号動画像を再符号化するためのブロックサイズを決定する決定手段と、決定されたブロックサイズに従って、画面サイズが変換された復号動画像を符号化する符号化手段とを備え、決定手段は、符号化動画像を生成するための符号化処理に用いられた前ブロックサイズと、復号動画像及び画面サイズが変換された復号動画像の画面サイズの比率とに応じて、再符号化のためのブロックサイズを対応する前ブロックサイズよりも小さくなるように決定する。【選択図】  図１
2015076765.tif 000002
【特許請求の範囲】
【請求項１】
符号化動画像を復号した復号動画像を再符号化して再符号化動画像を生成する画像処理装置であって、
前記復号動画像の画面サイズを変換する変換手段と、
前記画面サイズが変換された復号動画像を再符号化するためのブロックサイズを決定する決定手段と、
前記決定されたブロックサイズに従って、前記画面サイズが変換された復号動画像を符号化する符号化手段と
を備え、
前記決定手段は、前記符号化動画像を生成するための符号化処理に用いられた前ブロックサイズと、前記復号動画像及び前記画面サイズが変換された復号動画像の画面サイズの比率とに応じて、前記再符号化のためのブロックサイズを対応する前ブロックサイズよりも小さくなるように決定することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記画面サイズが変換された復号動画像を第１のサイズのブロックの第１の画像領域に分割し、前記第１の画像領域のそれぞれに対応し、かつ、前記復号動画像における前記比率に応じた前記第１のサイズよりも大きいサイズを有する第１の参照領域における前記前ブロックサイズに基づき、前記第１の画像領域における前記再符号化のためのブロックサイズを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記第１の参照領域に前記第１のサイズよりも小さいサイズの前記前ブロックサイズが含まれる場合に、前記第１の画像領域を前記第１のサイズよりも小さい第２のサイズを有する第２の画像領域に分割し、前記第２の画像領域のそれぞれに対応し、かつ、前記復号動画像における前記比率に応じた前記第２のサイズよりも大きいサイズを有する第２の参照領域における前記前ブロックサイズに基づき、前記第２の画像領域における前記再符号化のためのブロックサイズを更に決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記第２のサイズが、前記ブロックサイズが取り得る最小のブロックサイズである場合、該第２のサイズを前記再符号化のためのブロックサイズに決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記符号化手段は、前記復号動画像を直交変換する直交変換手段を含み、
前記決定手段は、前記第２の参照領域に含まれる前記前ブロックサイズの全てが前記第２のサイズである場合、前記第２の画像領域を前記第２のサイズよりも小さい第３のサイズに分割し、前記第３のサイズを前記直交変換のためのブロックサイズに決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記直交変換するための第３のサイズは、ＨＥＶＣ規格で定義される４ｘ４画素の画像サイズであることを特徴とする請求項５に記載の画像処理装置。
い。
【請求項７】
前記再符号化するためのブロックサイズは、ＨＥＶＣ規格で定義される符号化単位の６４ｘ６４画素、３２ｘ３２画素、１６ｘ１６画素、及び、８ｘ８画素の画像サイズを含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
符号化動画像を復号した復号動画像を再符号化して再符号化動画像を生成する画像処理装置の制御方法であって、
変換手段が前記復号動画像の画面サイズを変換する変換工程と、
決定手段が前記画面サイズが変換された復号動画像を再符号化するためのブロックサイズを決定する決定工程と、
符号化手段が前記決定されたブロックサイズに従って、前記画面サイズが変換された復号動画像を符号化する符号化工程と
を備え、
前記決定工程では、前記符号化動画像を生成するための符号化処理に用いられた前ブロックサイズと、前記復号動画像及び前記画面サイズが変換された復号動画像の画面サイズの比率とに応じて、前記再符号化のためのブロックサイズを対応する前ブロックサイズよりも小さくなるように決定することを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、並びに、コンピュータプログラムに関する。
【背景技術】
【０００２】
従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。
【０００３】
圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なＭＰＥＧ２方式やＨ．２６４方式が一般的に用いられている。さらに近年では、より複雑な予測方式を用いて高効率な圧縮可能なＨＥＶＣ規格（ＩＳＯ／ＩＥＣ２３００８−２）が用いられるようになっている。
【０００４】
このＨＥＶＣ方式では、入力映像をＣｏｄｉｎｇＴｒｅｅＵｎｉｔ（ＣＴＵ）と呼ばれる画像ブロックの単位で分割して符号化を実行することが出来る。ＣＴＵは、６４ｘ６４、３２ｘ３２、１６ｘ１６から選択可能となる。そしてこのＣＴＵについて、予測、変換、量子化、エントロピー符号化の処理を、ＣｏｄｉｎｇＵｎｉｔ（ＣＵ）と呼ばれる符号化処理の単位でＣＴＵ内を階層的に分割して行う。そのため符号化器の性能として、符号化対象の入力画像の絵柄に応じて適切なＣＵサイズ決定して割り当てることが画質に大きく影響する。
【０００５】
一方で、上述の圧縮符号化した動画像コンテンツを、異なる再生装置やネットワークのスペックや帯域に応じて再配信するために、復号した後に再度符号化するトランスコード処理を行うことが知られている。通常トランスコード処理は、圧縮符号化したストリームデータをすべて画素レベルの画像データまで復号した後、再度はじめから符号化を行うため、復号時に用いたパラメタを流用して再符号化処理の一部を簡略化することができる（特許文献１を参照。）。特許文献１は、再符号化時に動きベクトル、ブロックタイプ、予測モードを画面サイズ比に合わせて修正して再利用する技術を開示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１０／０７９７９７号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述のＨＥＶＣ方式で符号化した動画データを再符号化する場合、特許文献１に開示の方法では、ＣＵサイズ決定ができないため、復号後の画像データを再度解析しなければない。その結果として回路規模および消費電力の増加、そして処理時間の増加を招くおそれがある。
【０００８】
そこで本発明は、ＨＥＶＣ方式を用いた再符号化時に再度入力画像の解析をせずに精度良く符号化時のＣＵサイズを決定することを可能にするものである。
【課題を解決するための手段】
【０００９】
上述の課題を解決するための本発明は、符号化動画像を復号した復号動画像を再符号化して再符号化動画像を生成する画像処理装置であって、
前記復号動画像の画面サイズを変換する変換手段と、
前記画面サイズが変換された復号動画像を再符号化するためのブロックサイズを決定する決定手段と、
前記決定されたブロックサイズに従って、前記画面サイズが変換された復号動画像を符号化する符号化手段とを備え、
前記決定手段は、前記符号化動画像を生成するための符号化処理に用いられた前ブロックサイズと、前記復号動画像及び前記画面サイズが変換された復号動画像の画面サイズの比率とに応じて、前記再符号化のためのブロックサイズを対応する前ブロックサイズよりも小さくなるように決定する。
【発明の効果】
【００１０】
本発明によれば、ＨＥＶＣ方式を用いた再符号化時に再度入力画像の解析をせずに精度良く符号化時のＣＵサイズを決定することができる。
【図面の簡単な説明】
【００１１】
【図１】発明に係る画像処理装置のシステム構成の一例を示す図。
【図２】発明の実施形態１に係る符号化部の構成の一例を示すブロック図。
【図３】発明の実施形態１に係る処理の一例を示すフローチャート。
【図４】発明の実施形態に係るＣＵサイズ分布情報の一例を示す図。
【図５】発明の実施形態１に係るＣＵサイズの決定処理を説明するための図。
【図６】発明の実施形態２に係る画像処理装置の構成の一例を示すブロック図。
【図７】発明の実施形態２に係る処理の一例を示すフローチャート。
【図８】発明の実施形態２に係るＣＵサイズの決定処理を説明するための図。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
＜全体システム構成＞
以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。図１には、本発明で適用する画像処理装置（或いは画像符号化装置）のシステム構成の一例を、図２には、符号化部のブロック構成図をそれぞれ示した。当該画像処理装置は、例えば、パーソナルコンピュータ、デジタルカメラ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、テレビなどの任意の情報処理端末とすることができる。
【００１３】
当該画像処理装置は、復号化部１００、ＣＵサイズ取得部１０１、比率設定部１０２、画面サイズ変換部１０３、符号化部１０４を含むように構成される。当該ブロックは、例えば専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、画像処理装置は、ピクチャ単位に復号処理と符号化処理を順次行うものとするが、パイプライン構成による並列化ができるようにしても良く、本発明で特に限定するものではない。
【００１４】
復号化部１００は、ＨＥＶＣ規格に従い符号化したビットストリームをデコードして得られた復号動画像を画面サイズ変換部１０３へ出力する。また、デコード処理過程でストリームから取得して、復号パラメタとして用いたＣＴＵ単位のＣＵサイズ情報を記憶保持し、ＣＵサイズ取得部１０１へ通知する。ＣＵサイズ取得部１０１は、復号化部１００にて復号した画像データにおいて、ＣＴＵを分割して量子化を行ったＣＵサイズを取得し、後述の符号化部１０４のＣＵサイズ決定部２０２に通知する。
【００１５】
比率設定部１０２は、ＣＰＵ等の図示せぬマイコン制御に基づいて、復号動画像の画面サイズと再符号化する画面サイズから、変換する画面サイズの比率を決定して、画面サイズ変換部１０３と、符号化部１０４のＣＵサイズ決定部２０２に通知する。画面サイズ変換部１０３は、復号化部１００より入力された復号動画像を、比率設定部１０２の設定に基づいて、画素データの間引きや補間処理を行い、異なる画面サイズへ変換して符号化部１０４へ出力する。符号化部１０４は、画面サイズ変換部１０３から入力された映像を、ＣＵサイズ取得部１０１と、比率設定部１０２の設定値に基づいてＨＥＶＣ規格に従いで符号化圧縮を行い、ビットストリーム出力する。
【００１６】
続いて、本発明の特徴となる当該符号化部１０４のブロック構成について、図２を用いて説明する。当該符号化部１０４は、フレームメモリ２０１、ＣＵサイズ決定部２０２、イントラ予測部２０３、インター予測部２０４、イントラ・インター判定部２０５、予測画像生成部２０６、直交変換部２０７、量子化部２０８、エントロピー符号化部２０９、符号量制御部２１０、逆量子化部２１１、逆直交変換部２１２、ループフィルタ２１３によって構成される。
【００１７】
フレームメモリ２０１は、サイズ変換部１０３から出力された画面サイズ変更後の復号動画像の各フレームデータや、後述の動き予測処理で用いる参照画像データを格納する。
ＣＵサイズ決定部２０２は、ＣＵサイズ取得部１０１および比率設定部１０２から復号動画像のＣＵサイズ分布と画面サイズ変換の比率について通知を受ける。そして、当該情報に応じて、符号化対象画像について、ＣＴＵ単位で当該画像ブロックの符号化単位としてのＣＵサイズの割り当てを決定する。
【００１８】
イントラ予測部２０３は、フレームメモリ２０１に格納されたフレーム画像データから符号化対象ブロックの画像データを読み出し、符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。そして、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部２０５へ通知する。
【００１９】
インター予測部２０４は、同様にフレームメモリ２０１に格納した符号化対象となる原画像と、すでに符号化済みの画像データから、ブロック単位で画素データ同士のパターンマッチングを行って動きベクトルを算出する。イントラ・インター判定部２０５は、前述のイントラ予測部２０３と、インター予測部２０４からの出力の結果に基づいて、符号化する予測方式を選択決定する。
【００２０】
具体的な選択方法として、符号化対象画像ブロックについてイントラ予測部２０３が計算した予測画像と、インター予測部２０４が求めた動きベクトルを用いて参照画像から生成した予測画像につき、符号化対象画像との予測誤差をそれぞれ導出し比較する。または、イントラ予測部２０３や、インター予測部２０４で予測誤差を求めておき、イントラ・インター判定部で評価値として取得した後、比較する方法でもよい。そして予測誤差の比較の結果、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部２０６に出力する。
【００２１】
予測画像生成部２０６は、イントラ・インター判定部２０５で選択された予測モードに応じて予測画像を生成する。生成された予測画像は直交変換部２０７前段の減算器で、入力画像との差分画像算出や、ローカルデコード画像生成のために逆直交変換部２１２後段の加算器に出力される。直交変換部２０７は、ブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。量子化部２０８は、目標符号量に基づいて量子化係数を算出し、直交変換部２０７で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化した係数データは、エントロピー符号化を行うためにエントロピー符号化部２０９と、参照画像や予測画像を算出するために逆量子化部２１１の両方へ出力される。
【００２２】
エントロピー符号化部２０９は、量子化済の係数や、インター予測の場合には動き予測で用いたベクトル値を、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化により情報圧縮する。そして、圧縮後の符号化データをビットストリームとして出力し、図示せぬメモリカードやハードディスクなどの記録媒体に記録する。符号量制御部２１０は、エントロピー符号化部２０９で出力した符号化データの符号量を取得する。そして、ビットレートやバッファモデルに基づいて１ピクチャ当たりの目標符号量を算出し、量子化部２０８に設定するフィードバック制御を行う。
【００２３】
逆量子化部２１１は、量子化部２０８にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。逆直交変換部２１２は、逆量子化部２１１から出力された係数データを画素データに逆直交変換する。ループフィルタ２１３は、逆直交変換部２１２から出力された画像データと予測画像とを加算した画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理を施した後、フレームメモリ２０１へ格納する。以上が本実施形態における符号化器のブロック構成である。
【００２４】
＜動作フロー＞
続いて、本発明の特徴となる上述のシステム構成を用いた処理について、図３を用いて説明する。当該処理は、ＣＵサイズ取得部１０１、比率設定部１０２、ＣＵサイズ決定部２０２にて実行する。また、当該フローはピクチャ単位に実行されるものとする。該フローチャートに対応する処理は、例えば、これらのブロックとして機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００２５】
はじめにＳ３０１では、ＣＵサイズ決定部２０２が比率設定部１０２から、復号動画像と、画面サイズ変換後の符号化対象となる入力動画像の画面サイズの比率Ｒを取得する。画面サイズ比率Ｒの情報は、例えば画面サイズ３８４０画素ｘ２１６０ラインの復号動画像を、縮小して１９２０画素ｘ１０８０ラインを符号化する場合は、水平および垂直方向の画素数比率が１／２になるのでＲ＝１／２とする。その他、例えば、画面サイズ１９２０画素ｘ１０８０ラインの復号動画像を、縮小して１２８０画素ｘ７２０ラインを符号化する場合のようにＲ＝２／３の場合もある。
【００２６】
続いて、Ｓ３０２では、ＣＵサイズ決定部２０２が、符号化動画像において量子化を行う画像ブロックサイズの最大値に相当するＣＴＵの画素サイズを決定する。ＣＴＵのサイズは符号化開始時に、６４ｘ６４、３２ｘ３２、１６ｘ１６の中から選択可能となっており、本実施形態では６４ｘ６４をＣＴＵサイズとして設定するが、本発明を実施する上で特に限定するものではない。以降、符号化器におけるインター予測、イントラ予測、量子化、直交変換およびエントロピー符号化の一連の処理は、このＣＴＵを階層的に分割したＣＵ単位で行うものとする。また、ＣＵサイズの割り当て処理は、当該ＣＴＵ内に含まれる全画像ブロックデータについてＣＵサイズが決定するまで再帰的に実行した後、符号化動画像の左上から右方向に順番にＣＴＵ単位で行っていくもののとする。
【００２７】
Ｓ３０３では、ＣＵサイズ決定部２０２が当該符号化対象ピクチャにおける全ての画像ブロックデータ対して、符号時のＣＵサイズが割り当て済みかを判断し、１ピクチャ分終了するまで繰り返して行う。ピクチャ内のすべてのＣＴＵについてＣＵサイズの割り当てが終了した場合は（Ｓ３０３のＹＥＳ）、当該フローを終了し、後続の符号化処理を行う。一方、ＣＵサイズ未割り当てのＣＴＵブロックが残っている場合（Ｓ３０３のＮＯ）、ＣＵサイズ決定部２０２がＳ３０４でさらに当該ＣＴＵブロック内の画像ブロックデータすべてについて、ＣＵサイズが割り当て済みかを判断する。この条件判断ステップにより、ＣＴＵブロック内の画像ブロックデータすべてについてＣＵサイズの割り当てが終了するまで繰り返し処理を行う。
【００２８】
当該ＣＴＵブロック内のＣＵサイズの割当てが全て決定済みの場合（Ｓ３０４のＹＥＳ）、ＣＵサイズ決定部２０２はＳ３０５で次のＣＴＵブロックが開始する画素位置へ処理位置を移動する。他方、ＣＵサイズが割り当てられていない画像ブロックがある場合（Ｓ３０４のＮＯ）、当該ＣＴＵブロック中に存在するＣＵサイズ未割り当て画像ブロック領域に、Ｓ３０６でＣＵサイズ候補領域Ｘを設定する。ＣＵサイズ候補領域Ｘの画像サイズは、Ｓ３０４から開始するＣＴＵ単位のループ処理の中で６４ｘ６４画素を初期値として開始する。その後、後段の処理結果に応じて３２ｘ３２、１６ｘ１６、８ｘ８と段階的に小さな画像サイズを設定する。
【００２９】
次に、ＣＵサイズ決定部２０２はＳ３０７で、ＣＵサイズ候補領域Ｘに、Ｓ３０１で取得した画面サイズ比Ｒの逆数を乗じた画像ブロック領域を、復号動画像におけるＣＵ分布を取得するための参照領域Ｙとして設定する。例えば、ＣＴＵブロックに対応する領域Ｘの画像サイズが６４ｘ６４画素、Ｒ＝１／２の場合、参照領域Ｙの画像サイズの初期値を１２８ｘ１２８画素に設定する。その後、領域Ｘが分割されて再設定されていく場合には、当該分割方法に応じて１２８ｘ１２８画素の初期の参照領域Ｙ内で、新たな参照領域Ｙが設定されていく。また、当該参照領域Ｙは復号動画像において、領域Ｘの再符号化対象の動画像における相対的位置と対応する位置に存在する。
【００３０】
続いてＣＵサイズ決定部２０２は、Ｓ３０８で、復号動画像においてＳ３０７で設定した画像ブロック参照領域Ｙ内に含まれる、ＣＵのサイズ情報（前ブロックサイズの情報）をＣＵサイズ取得部１０１より取得する。ＣＵサイズ情報としては、例えば図４に示したように、復号動画像のＹ領域に出現した各ＣＵサイズの個数で、テーブル形式で管理する方法等が有効である。図中の例は、Ｙ領域６４ｘ６４画素中で、３２ｘ３２画素のＣＵサイズが３個、１６ｘ１６画素のＣＵサイズが４個割り当てられている場合のテーブル構造である。
【００３１】
そしてＣＵサイズ決定部２０２はＳ３０９で、参照領域Ｙ内のＣＵサイズ分布情報に基づいて、Ｙ領域内のＣＵサイズがすべて、ＣＵサイズ候補領域Ｘの画像サイズより大きいＣＵで構成されているか否かを判断する。Ｓ３０９の結果、Ｙ領域内のＣＵサイズすべてが、領域Ｘの画像サイズより大きくなった場合（Ｓ３０９のＹＥＳ）は、Ｓ３１１で当該領域Ｘの画像サイズをＣＵサイズに決定する。一方、Ｙ領域内のＣＵサイズの分布で、領域Ｘの画像サイズ以下のＣＵサイズが含まれる場合（Ｓ３０９のＮＯ）は、ＣＵサイズ決定部２０２はＳ３１０で領域Ｘの画像サイズが８ｘ８であるか否かを判定する。Ｓ３１０の結果、領域Ｘの画像サイズが８ｘ８である場合（Ｓ３１０のＹＥＳ）は、ＣＵサイズ決定部２０２はＳ３１１で当該領域Ｘの画像サイズをＣＵサイズに決定する。一方、領域Ｘの画像サイズが８ｘ８でない場合（Ｓ３１０のＮＯ）は、再度Ｓ３０４に戻りＣＵサイズ候補領域Ｘの画像サイズを、規格上選択可能な範囲の中から一段小さい値に設定して、Ｓ３０９又はＳ３１０でＹＥＳ判定となるまで繰り返す。
【００３２】
例えば、前述の図４に記載の参照領域ＹにおけるＣＵサイズ分布の場合、候補領域Ｘの画像サイズを３２ｘ３２画素とすると、参照領域Ｙには画像サイズが１６ｘ１６となるＣＵが含まれる。よって、再符号化時の領域ＸにおけるＣＵサイズは３２ｘ３２よりも小さな値を設定すべきであると判断して、領域Ｘを４分割する。また、Ｙ領域内すべて３２ｘ３２画素のＣＵで構成されている場合であっても、当該Ｘ領域のＣＵサイズを３２ｘ３２より小さな値に設定して符号化するべく、領域Ｘを分割し、１６ｘ１６画素のサイズにする。さらにＹ領域内に１６ｘ１６画素のＣＵが含まれる場合、当該Ｘ領域のＣＵサイズを１６ｘ１６画素より小さな値に設定して符号化するべく、領域Ｘを４分割し、８ｘ８画素のサイズにする。８ｘ８画素まで分割した場合、それ以上小さくは分割できないので領域Ｘの画像サイズは８ｘ８画素になる。以上が、本発明による再符号化時のＣＵサイズ割り当て処理のフローである。
【００３３】
＜適用例＞
続いて、本発明による上述の動作フローを適用して再符号化時のＣＵサイズを決定した適用例について、図５を用いて説明する。図５の例では、簡単のために画面サイズが３８４画素ｘ２５６ラインの建物と木々を撮影した復号動画像（ａ）を、１９２画素ｘ１２８ラインの画面サイズの２分の１サイズに縮小して再符号化している（ｂ）。この時、復号動画像を出力する復号処理の過程で取得したＣＵサイズ分布として図中（ｃ）のような結果が得られた場合、上述した動作フローによって再符号化時のＣＵサイズは図中（ｄ）に示したサイズに決定、符号化される。
【００３４】
例えば、復号動画像の画面左上端の空に相当する画像領域は、画像データとして平坦で冗長性が高いため６４ｘ６４画素の大きなＣＵサイズで量子化されている。そして、この画像領域の再符号化には、ＣＵサイズとして３２ｘ３２画素が選択される。同様にして、復号動画像においてＣＵサイズ３２ｘ３２は、再符号化時は１６ｘ１６画素が採用される。
【００３５】
また、復号動画像の画素領域中にＣＵサイズ８ｘ８を一つでも含む場合は、図中（ｅ）に示すように再符号化動画像では対応する１６ｘ１６画素の中が、すべて最小ＣＵサイズ８ｘ８画素のブロック４つで構成されるブロック分割を行う。図中（ｅ）では、Ｙ領域の６４ｘ６４画素領域が３２ｘ３２画素のブロック３つ、１６ｘ１６画素のブロック２つ、８ｘ８画素のブロック８つで構成されている。この場合、領域Ｘは３２ｘ３２画素のブロックに対応する１６ｘ１６画素のＣＵサイズに決定されると共に、残りの１つの１６ｘ１６画素領域が８ｘ８画素ブロックの存在に基づき８ｘ８のＣＵサイズに決定される。
【００３６】
このように、本実施形態では、再符号化時のＣＵサイズを復号動画像の画面サイズ比とＣＵサイズの分布とに基づいて決定する。よって、符号化対象画像について絵柄や構造を再度画素レベルで解析する必要がなくなる。また、簡単なアルゴリズムで高速に計算できるので、再符号化時の処理時間増加を抑制できる。
なお、上記実施形態の説明では水平、垂直方向とも画面サイズの比率が１／２の場合を説明した。しかし、これ以外の比率についても、また水平と垂直の変換比が異なっても、水平、垂直について比率に応じた参照領域Ｙを設定し、そこに含まれる復号動画像のＣＵの分布に従って、より小さいＣＵサイズを優先して領域ＸのＣＵサイズを決定すればよい。
【００３７】
（第２の実施形態）
上述の実施形態１では、復号動画像のＣＵサイズ分布と、復号動画像と再符号化時の画面サイズの比率に基づいて、再符号化動画像におけるＣＵサイズを決定する方法を説明した。これに対し本実施形態では、復号動画像においてＣＵサイズに８ｘ８画素が選択されている場合、対応する再符号化の画像領域について、直交変換サイズを８ｘ８画素よりも小さなブロックサイズに設定することを、さらに異なる動作として実施する。これにより、復号動画像中の細かな構造を持つ、すなわち高周波成分を多く持つ画像データの分布を、再符号化時にも反映することができ、高画質を保てるようになる。
【００３８】
ここで直交変換を行う画素サイズはＨＥＶＣ規格で定義される、ＴｒａｎｓｆｏｒｍＵｎｉｔ（ＴＵ）と呼ばれる画像ブロックの単位で直交変換を行い、前述のＣＵと同じく階層的に分割することが出来る方式を採用する。ＴＵとして選択可能な画素サイズには３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４の４種類がある。以下、本実施形態について、図６、図７および図８を用いて説明する。なお、本実施形態の説明において、上述した実施形態１と共通する部分について、適宜説明を省略する。
【００３９】
＜全体システム構成＞
図６に示した実施形態２を実現する符号化部のブロック構成は、ＴＵサイズ決定部６０１を備える。当該ブロックは、ＣＵサイズ決定部２０２で決定したＣＵサイズに基づき、当該ＣＵブロックに含まれる画像について直交変換を行うためのブロックサイズを決定する。また直交変換部２０７は、ＴＵサイズ決定部６０１から決定されたＴＵサイズに基づいて対象となる画像ブロックについて直交変換を行う。その他のブロック機能については、実施形態１と同様であるため説明を省略する。
【００４０】
＜動作フロー＞
以下、本実施形態において特徴となるＣＵサイズおよびＴＵサイズ決定処理について、図７を用いて説明する。当該動作フローは、実施形態１のＳ３０１からＳ３１１までの処理に継続して実行される。Ｓ７０１では、Ｓ３０８で取得した復号動画像中の参照領域ＹのＣＵサイズ分布が、最小ＣＵサイズの８ｘ８画素のみで構成されているかを判断する。そして、復号動画像の参照領域Ｙ内の全てのＣＵサイズが８ｘ８画素であった場合（Ｓ７０１のＹＥＳ）は、符号化時の当該領域ＸにおけるＣＵの画素ブロックについて、４ｘ４画素の４ブロックに分割して直交変換を行うようにＴＵサイズを４ｘ４に設定する。一方、参照領域Ｙ中にＣＵサイズが８ｘ８画素よりも大きなＣＵが含まれる場合（Ｓ７０１のＮＯ）、ＴＵサイズ決定は行わず、Ｓ３０４に戻って処理を継続する。その際、ＴＵサイズが設定されなかったＣＵについては、従来通りのイントラ・インター予測での予測残差や予測モード等に基づいた決定を行う。
【００４１】
以上が、本実施形態における再符号化時のＣＵサイズおよびＴＵサイズ割り当て処理のフローである。
【００４２】
＜適用例＞
続いて、本発明による上記動作フローを適用した例について、図８を用いて説明する。図８（a）は復号動画像のＣＵサイズ分布、図８（b）は復号動画像を2:1の画面サイズ比率でリサイズして再符号化した時のＣＵサイズ分布を示す。さらに図８（ｃ）は再符号化動画像におけるＴＵサイズをそれぞれ示している。本実施形態でも、実施形態１と同様に画面サイズ比率に応じて、再符号化時のＣＵサイズを決定する。その上で、復号動画像中においてＣＵサイズが規格上選択可能な最小サイズ８ｘ８であった場合に、対応する符号化動画像のＣＵ内をさらに小さな４ｘ４の画素サイズをＴＵとして直交変換処理を行う。
【００４３】
図８（a）の復号動画像において８ｘ８画素のＣＵサイズを採用している画像ブロック領域は、元来絵柄として複雑な構造を持っていると判断できる。よって図８（ｂ）の再符号化時には、画像領域についてＣＵサイズを８ｘ８サイズに選択することに加え、斜線で示した８ｘ８のＣＵサイズについてさらにＴＵサイズを分割する設定が有効となる。結果、斜線部に相当する８ｘ８画素のＣＵサイズ領域では、図８（ｃ）に占めしたように、４ｘ４画素単位で直交変換を行うＴＵサイズとすることで、細かな構造を持つ絵柄の画質劣化を抑制することができる。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015076765.tif 000003
【図２】
2015076765.tif 000004
【図３】
2015076765.tif 000005
【図４】
2015076765.tif 000006
【図５】
2015076765.tif 000007
【図６】
2015076765.tif 000008
【図７】
2015076765.tif 000009
【図８】
2015076765.tif 000010