(57)【要約】【課題】動領域を有する画像の符号化画質を改善する。【解決手段】符号化ブロックサイズ決定装置１は、映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部１１と、動きベクトルから、フレーム画面全体が回転画像又はズーム画像であるか否かを判定し、判定結果を示す回転／ズーム判定情報を生成する回転／ズーム判定部１２と、回転／ズーム判定情報から、符号化における予測処理に用いる符号化ブロックのサイズを決定する符号化ブロックサイズ決定部１３と、を備える。【選択図】図１
2016213657.tif 000002
【特許請求の範囲】
【請求項１】
映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部と、
前記動きベクトルから、フレーム画面全体が回転画像又はズーム画像であるか否かを判定し、判定結果を示す回転／ズーム判定情報を生成する回転／ズーム判定部と、
前記回転／ズーム判定情報から、符号化における予測処理に用いる符号化ブロックのサイズを決定する符号化ブロックサイズ決定部と、
を備えることを特徴とする符号化ブロックサイズ決定装置。
【請求項２】
前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示している場合の前記符号化ブロックのサイズを、回転／ズーム画像でないことを示している場合の前記符号化ブロックのサイズ以下に決定することを特徴とする、請求項１に記載の符号化ブロックサイズ決定装置。
【請求項３】
前記動きベクトルから、原画像を均等に分割した分割ブロックごとに、大きな動きを有する大移動領域であるか否を判定し、判定結果を示す大移動領域判定情報を生成する大移動判定部を更に備え、
前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報、及び前記大移動領域判定情報から前記符号化ブロックのサイズを決定することを特徴とする、請求項１に記載の符号化ブロックサイズ決定装置。
【請求項４】
前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域でないことを示している場合には、該分割ブロック内の符号化ブロックのサイズを第１のサイズと決定し、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを、第１のサイズ以上の第２のサイズと決定し、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像でないことを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを第２のサイズ以上の第３のサイズと決定することを特徴とする、請求項３に記載の符号化ブロックサイズ決定装置。
【請求項５】
前記大移動判定部は、分割ブロック内における全ての動きベクトルの大きさの中央値又は平均値が第１の閾値以上である場合に、該分割ブロックは大移動領域であると判定することを特徴とする、請求項３又は４に記載の符号化ブロックサイズ決定装置。
【請求項６】
前記回転／ズーム判定部は、フレーム画面全体の動きベクトルの中央値又は平均値が第２の閾値以上、且つ内積が第３の閾値以下である場合に、フレーム画面全体が回転画像又はズーム画像であると判定することを特徴とする、請求項１から５のいずれか一項に記載の符号化ブロックサイズ決定装置。
【請求項７】
前記動き推定部は、ＳＵＲＦ特徴量のマッチングを行うことにより前記動きベクトルを生成することを特徴とする、請求項１から６のいずれか一項に記載の符号化ブロックサイズ決定装置。
【請求項８】
請求項１から７のいずれか一項に記載の符号化ブロックサイズ決定装置を備え、
前記符号化ブロックサイズ決定部により決定されたサイズの符号化ブロックを用いて予測処理を行うことを特徴とする符号化装置。
【請求項９】
コンピュータを、請求項１から７のいずれか一項に記載の符号化ブロックサイズ決定装置として機能させるためのプログラム。
【請求項１０】
コンピュータを、請求項８に記載の符号化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像や映像を符号化する際の符号化ブロックサイズを決定する符号化ブロックサイズ決定装置、符号化装置、及びプログラムに関する。
【背景技術】
【０００２】
映像の符号化方式として、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどが知られている。これらの符号化方式では、インター予測（フレーム間予測、画面間予測）、及びイントラ予測（フレーム内予測、画面内予測）が用いられる。インター予測は時間的に前後する参照フレームから予測画像を生成し、原画像との差分を符号化する予測符号化方式である。イントラ予測はフレーム内符号化されるブロックに対して、符号化済みの隣接ブロックの画素から予測画像を生成し、原画像との差分を符号化する予測符号化方式である。
【０００３】
非特許文献１には、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（以下、単に「ＨＥＶＣ」と称する。）では、符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）を階層的に４分木分割することで可変サイズの符号化ユニット（ＣＵ：Coding Unit）を生成することが開示されている。ＣＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、及び８×８画素の４種類である。インター予測を行う場合には、各ＣＵを更にインター予測用の予測ユニット（ＰＵ：Prediction Unit）に分割し、該ＰＵごとに予測処理を行う。また、イントラ予測を行う場合には、各ＣＵを更にイントラ予測用のＰＵに分割し、該ＰＵごとに予測処理を行う。
【０００４】
また、特許文献１には、ズーム時に高い符号化効率を実現できるように、ズームが行われている場合は、行われていない場合よりも小さい単位領域を用いて動き情報を算出し、符号化に用いることや、ズーム制御信号に基づいてズームが行われている場合は小さい単位領域を用いて動き情報を算出することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７１０７号公報
【非特許文献】
【０００６】
【非特許文献１】大久保榮監修、「インプレス標準教科書シリーズ  Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、2013年10月21日
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の技術では、回転やズームが存在する映像を符号化する場合には、ＲＤ（Rate Distortion）最適化手法により符号化パラメータの最適化を行ったとしても、予測処理時に回転やズームを考慮した適切なサイズのブロックを用いることができず、注視領域の一つである回転やズームなどを伴う動領域を有する画像の符号化画質が低くなるおそれがあった。
【０００８】
また、特許文献１に開示された技術は、カメラ等からのズーム制御情報を用いてズームにおける動き情報を算出するものであるが、映像符号化時には、一般的にズーム制御情報は存在しない。また、特許文献１に開示された技術は、ズーム時に高い符号化効率を実現できるようにすることを目的としており、回転する動きを考慮して処理するものではない。
【０００９】
かかる事情に鑑みてなされた本発明の目的は、映像における注視領域の一つである動領域を有する画像の符号化画質を改善することが可能な符号化ブロックサイズ決定装置、符号化装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明に係る符号化ブロックサイズ決定装置は、映像を入力して、符号化対象フレームと参照フレームとの間の動きベクトルを生成する動き推定部と、前記動きベクトルから、フレーム画面全体が回転画像又はズーム画像であるか否かを判定し、判定結果を示す回転／ズーム判定情報を生成する回転／ズーム判定部と、前記回転／ズーム判定情報から、符号化における予測処理に用いる符号化ブロックのサイズを決定する符号化ブロックサイズ決定部と、を備えることを特徴とする。
【００１１】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示している場合の前記符号化ブロックのサイズを、回転／ズーム画像でないことを示している場合の前記符号化ブロックのサイズ以下に決定することを特徴とする。
【００１２】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記動きベクトルから、原画像を均等に分割した分割ブロックごとに、大きな動きを有する大移動領域であるか否を判定し、判定結果を示す大移動領域判定情報を生成する大移動判定部を更に備え、前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報、及び前記大移動領域判定情報から前記符号化ブロックのサイズを決定することを特徴とする。
【００１３】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記符号化ブロックサイズ決定部は、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域でないことを示している場合には、該分割ブロック内の符号化ブロックのサイズを第１のサイズと決定し、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを、第１のサイズ以上の第２のサイズと決定し、前記回転／ズーム判定情報にてフレーム画面が回転／ズーム画像でないことを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを第２のサイズ以上の第３のサイズと決定することを特徴とする。
【００１４】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記大移動判定部は、分割ブロック内における全ての動きベクトルの大きさの中央値又は平均値が第１の閾値以上である場合に、該分割ブロックは大移動領域であると判定することを特徴とする。
【００１５】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記回転／ズーム判定部は、フレーム画面全体の動きベクトルの中央値又は平均値が第２の閾値以上、且つ内積が第３の閾値以下である場合に、フレーム画面全体が回転画像又はズーム画像であると判定することを特徴とする。
【００１６】
さらに、本発明に係る符号化ブロックサイズ決定装置において、前記動き推定部は、ＳＵＲＦ特徴量のマッチングを行うことにより前記動きベクトルを生成することを特徴とする。
【００１７】
また、上記課題を解決するため、本発明に係る符号化装置は、上記符号化ブロックサイズ決定装置を備え、前記符号化ブロックサイズ決定部により決定されたサイズの符号化ブロックを用いて予測処理を行うことを特徴とする。
【００１８】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化ブロックサイズ決定装置として機能させることを特徴とする。
【００１９】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、映像における注視領域の一つである動領域を有する画像の符号化画質を改善することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る符号化ブロックサイズ決定装置の構成例を示すブロック図である。
【図２】ＳＵＲＦ特徴量の算出方法を説明する図である。
【図３】参照フレーム間の予測構造例を示す図である。
【図４】回転／ズーム画像の動きベクトルのイメージを示す図である。
【図５】本発明の第２の実施形態に係る符号化ブロックサイズ決定装置の構成例を示すブロック図である。
【図６】本発明の第３の実施形態に係る符号化装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００２３】
（第１の実施形態）
本発明の第１の実施形態に係る符号化ブロックサイズ決定装置について、以下に説明する。図１は、本発明の第１の実施形態に係る符号化ブロックサイズ決定装置の構成例を示すブロック図である。図１に示す例では、符号化ブロックサイズ決定装置１は、動き推定部１１と、回転／ズーム判定部１２と、符号化ブロックサイズ決定部１３とを備える。
【００２４】
動き推定部１１は、映像（原画像群）を入力して、符号化対象フレーム（基準フレーム）と参照フレームとの間で動き推定を行って動きベクトルを生成し、動きベクトル情報を回転／ズーム判定部１２に出力する。ここで動き推定は、拡大・縮小、回転、照明変動などを検出でき、「火花が飛び散る映像」のような動きがランダムな映像であっても高精度に動き推定が可能となるように、ＳＵＲＦ（Speeded-Up Robust Features）特徴量を用いて行うのが好適である。また、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて動き推定を行ってもよい。
【００２５】
図２は、ＳＵＲＦ特徴量の算出方法を説明する図である。ＳＵＲＦ特徴量は、原画像に分散値を可変としたガウシアンフィルタを適用した画像において、ヘッセ（Hessian）行列値の極大点を探すことで複数の特徴点を抽出する。図２では左上図に示すように、８×８画素のブロックの中心点を特徴点としている。つぎに、各特徴点においてハールウェーブレット（Haar wavelet）を用いて強度の強い角度を３／π間隔で求める。そして、強度の強い方向を原方向として、図２の右下図に示すように２×２画素の領域ごとに、ハールウェーブレットを用いて水平方向の微分値ｄｘ及び垂直方向の微分値ｄｙを求めることにより、Σdx、Σ|dx|、Σdy、及びΣ|dy|の４つの特徴量を算出する。
【００２６】
図２に示すように特徴点を中心とする８×８画素のブロック単位で特徴量を算出すると、８×８画素のブロックには２×２画素の領域が４×４個存在するので、１つの特徴点において６４（＝４×４×４）次元の特徴量が得られる。なお、ＳＵＲＦの詳細については、例えば、H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。
【００２７】
ＳＵＲＦ特徴量を用いる場合、動き推定部１１は、符号化対象フレームと参照フレームとの間でＳＵＲＦ特徴量のマッチングを行うことにより、特徴点ごとに動きベクトルを求める。具体的には、符号化対象フレーム内の任意の特徴点Ａにおける特徴量に対して６４次元のユークリッド距離が最小となる参照フレーム内の特徴点Ｂをマッチング点として抽出し、特徴点ＡＢ間の水平方向及び垂直方向の位置ずれ量を動きベクトルとして算出する。ＳＵＲＦ特徴量のマッチングを用いた動き推定により、ランダムな動きが多い映像におけるインター予測精度（動き推定精度）を向上させることが可能となる。
【００２８】
図３は、参照フレーム間の予測構造例を示す図である。動き推定部１１は、インター予測の参照フレームを、参照フレーム間の予測構造情報を基に判定する。図３に示す例では、Ｐ1ピクチャを符号化対象フレームとすると、Ｉ0ピクチャが参照フレームとなるため、Ｐ1ピクチャとＩ0ピクチャ位置の原画像間でＳＵＲＦ特徴量によるマッチングを行う。また、Ｂ2ピクチャを符号化対象フレームとすると、Ｉ0ピクチャとＰ1ピクチャが参照フレームとなるため、Ｂ2ピクチャとＩ0ピクチャ位置、及びＢ2ピクチャとＰ1ピクチャ位置の原画像間で動き推定を行う。
【００２９】
なお、参照フレームの予測構造情報の入力は必須ではなく、参照フレームの予測構造情報を入力しないで、常に符号化対象フレームの１フレーム前（過去）の時間位置との原画像間で動き推定を行うようにしてもよい。
【００３０】
図１に戻ると、回転／ズーム判定部１２は、動き推定部１１から動きベクトル情報を入力して、フレーム画面全体が回転画像又はズーム画像であるか否かを判定する。そして、判定結果を示す回転／ズーム判定情報を生成し、符号化ブロックサイズ決定部１３に出力する。以下では、回転画像又はズーム画像を「回転／ズーム画像」と称する。回転／ズーム判定情報は、例えば回転／ズーム画像であると判定した場合に１、回転／ズーム画像でないと判定した場合に０とするフラグであってもよい。
【００３１】
図４（ａ）に回転画像の動きベクトルのイメージを示し、図４（ｂ）にズーム画像の動きベクトルのイメージを示す。図中の矢印は動きベクトルを示している。回転／ズーム判定部１２は、具体的には、フレーム画面全体における全ての動きベクトルの大きさの中央値又は平均値が閾値Ｔｒ以上（例えば、Ｔｒ＝２０）で、且つ内積が閾値Ｔｉ以下（例えば、Ｔｉ＝３）である場合には、該フレーム画面全体は回転／ズーム画像であると判定し、中央値又は平均値が閾値Ｔｒより小さいか、又は内積が閾値Ｔｉよりも小さい場合には、該フレーム画面全体は回転／ズーム画像でないと判定する。これはフレーム画面全体の動きベクトルがある程度の大きさであれば静止画像ではなく、内積が小さければ動きベクトルを打ち消しあう画像、すなわち、ある点を中心としてズームをする画像かフレーム画面内で大きく回転する画像である可能性が高いためである。
【００３２】
図１に戻ると、符号化ブロックサイズ決定部１３は、回転／ズーム判定部１２から入力される回転／ズーム判定情報から、符号化における予測処理に用いるブロック（符号化ブロック）のサイズを決定する。そして、符号化ブロックのサイズを示す符号化ブロックサイズ情報を生成し、外部に出力する。ここで、符号化における予測処理とは、インター予測、及び／又はイントラ予測を意味する。
【００３３】
具体的には、符号化ブロックサイズ決定部１３は、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示している場合には、符号化ブロックのサイズを、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像でないことを示している場合の符号化ブロックのサイズ以下に決定する。例えば、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像でないことを示している場合には、符号化ブロックのサイズをＲＤ最適化等の既知の手法で決めたサイズとし、回転／ズーム画像であることを示している場合には、符号化ブロックのサイズを８×８画素と決定する。
【００３４】
ＨＥＶＣにおいては、ＣＵが符号化ブロックに相当する。
【００３５】
上述したように、符号化ブロックサイズ決定装置１は、動き推定部１１により、符号化対象フレームと参照フレームとの間の動きベクトルを生成し、回転／ズーム判定部１２により、動きベクトルから回転／ズーム判定情報を生成し、符号化ブロックサイズ決定部１３により、回転／ズーム判定情報から、符号化ブロックのサイズを決定する。
【００３６】
映像を符号化する場合、回転／ズーム画像では符号化における予測処理の精度が低くなり、符号化画質が低くなりやすいが、本発明の第１の実施形態に係る符号化ブロックサイズ決定装置１では、回転／ズーム判定情報に応じて予測処理に用いるブロックのサイズを決定するため、回転やズームを伴う動領域の符号化画質を改善することが可能となり、その結果、視聴者の評価も向上させることが可能となる。
【００３７】
また、一般的に動き探索にはブロックマッチング法が用いられるが、回転／ズーム画像ではブロックマッチングの精度が低くなる。そこで、動き推定部１１において回転／ズームに頑健なＳＵＲＦ動き探索を行うことで、更に動領域の符号化画質を改善することが可能となる。
【００３８】
（第２の実施形態）
つぎに、本発明の第２の実施形態に係る符号化ブロックサイズ決定装置について説明する。図５は、第２の実施形態に係る符号化ブロックサイズ決定装置の構成例を示すブロック図である。図５に示す例では、符号化ブロックサイズ決定装置２は、動き推定部１１と、回転／ズーム判定部１２と、符号化ブロックサイズ決定部１３と、大移動判定部１４とを備える。第２の実施形態に係る符号化ブロックサイズ決定装置２は、第１の実施形態に係る符号化ブロックサイズ決定装置１と比較して、更に大移動判定部１４を備え、符号化ブロックサイズ決定部１３が回転／ズーム判定部１２及び大移動判定部１４の判定結果に基づいて動作する点が相違する。
【００３９】
符号化ブロックサイズ決定装置２は、原画像を均等に分割したブロック（分割ブロック）のサイズを示す分割ブロックサイズ情報を入力する。符号化ブロックは、分割ブロックを４分木分割したブロックとなる。
【００４０】
動き推定部１１は、第１の実施形態と同様に、映像（原画像群）を入力して、符号化対象フレーム（基準フレーム）と参照フレームとの間で動き推定を行って動きベクトルを生成する。そして、動きベクトル情報を回転／ズーム判定部１２及びに大移動判定部１４に出力する。
【００４１】
回転／ズーム判定部１２は、第１の実施形態と同様に、動き推定部１１から動きベクトル情報を入力して、フレーム画面全体が回転／ズーム画像であるか否かを判定する。そして、判定結果を示す回転／ズーム判定情報を生成し、符号化ブロックサイズ決定部１３に出力する。
【００４２】
大移動判定部１４は、分割ブロックのサイズを示す分割ブロックサイズ情報、及び動き推定部１１により生成された動きベクトル情報を入力して、分割ブロックごとに大きな動き（大移動）のある大移動領域であるか否かを判定する。そして、判定結果を示す大移動判定情報を生成し、符号化ブロックサイズ決定部１３に出力する。大移動判定情報は、例えば大移動領域であると判定した場合に１、大移動領域ででないと判定した場合に０とするフラグであってもよい。
【００４３】
大移動判定部１４は、具体的には任意の分割ブロック内における全ての動きベクトルの大きさの中央値又は平均値が閾値Ｔｖ以上である場合には、該分割ブロックは大移動領域であると判定し、中央値又は平均値が閾値Ｔｖよりも小さい場合には、該分割ブロックは大移動領域でないと判定する。
【００４４】
ＨＥＶＣにおいては、ＣＴＵが分割ブロックに相当する。
【００４５】
符号化ブロックサイズ決定部１３は、回転／ズーム判定部１２により生成された回転／ズーム判定情報、及び大移動判定部１４により生成された大移動判定情報に基づき、分割ブロックごとに符号化ブロックのサイズ示す符号化ブロックサイズ情報を生成し、外部に出力する。
【００４６】
具体的には、符号化ブロックサイズ決定部１３は、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域でないことを示している場合には、該分割ブロック内の符号化ブロックのサイズを第１のサイズと決定する。また、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像であることを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを、第１のサイズ以上の第２のサイズと決定する。また、回転／ズーム判定情報にてフレーム画面が回転／ズーム画像でないことを示しており、且つ大移動判定情報にて分割ブロックが大移動領域であることを示している場合には、該分割ブロック内の符号化ブロックのサイズを第２のサイズ以上の第３のサイズと決定する。
【００４７】
例えば、第１のサイズを８×８画素とし、第２のサイズを１６×１６画素又は３２×３２画素とし、第３のサイズを６４×６４画素とする。符号化ブロックのサイズを小さくすることにより回転／ズーム画像に対する予測精度を向上させることができ、符号化ブロックのサイズを大きくすることにより大移動領域に対する予測精度を向上させることができる。
【００４８】
上述したように、符号化ブロックサイズ決定装置２は、動き推定部１１により、符号化対象フレームと参照フレームとの間の動きベクトルを生成し、回転／ズーム判定部１２により、動きベクトルから回転／ズーム判定情報を生成し、大移動判定部１４により、動きベクトルから、分割ブロックごとに大移動領域判定情報を生成し、符号化ブロックサイズ決定部１３により、回転／ズーム判定情報及び大移動領域判定情報から、符号化ブロックのサイズを決定する。
【００４９】
映像を符号化する場合、回転／ズーム画像及び大移動領域では符号化における予測処理の精度が低くなり、符号化画質が低くなりやすいが、本発明の第２の実施形態に係る符号化ブロックサイズ決定装置２では、回転／ズーム判定情報及び大移動領域情報に応じて予測処理に用いるブロックのサイズを決定するため、回転、ズーム、又は大きな動きを伴う動領域の符号化画質を改善することが可能となり、その結果、視聴者の評価も向上させることが可能となる。
【００５０】
また、映像を符号化する場合、一般的に動き探索にブロックマッチング法が用いられるが回転／ズーム画像では、ブロックマッチングの精度が回転／ズーム及び大きな動きに頑健なＳＵＲＦ動き探索を行うことで、更に動領域の符号化画質を改善することが可能となる。
【００５１】
なお、上述した符号化ブロックサイズ決定装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化ブロックサイズ決定装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５２】
（第３の実施形態）
つぎに、本発明の第３の実施形態に係る符号化装置について説明する。図６は、第３の実施形態に係る符号化装置の構成例を示すブロック図である。図６に示す例では、符号化装置２０は、上述した符号化ブロックサイズ決定装置１又は２と、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、デブロッキングフィルタ２７と、メモリ２８と、イントラ予測部２９と、動き補償部３０と、切替えスイッチ３１と、可変長符号化部３２とを備える。符号化装置２０は、従来のＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどの符号化方式による符号化装置と比較して、符号化ブロックサイズ決定装置１又は２を更に備える点と、イントラ予測部２９及び動き補償部３０が符号化ブロックサイズ決定装置１又は２から符号化ブロックサイズ情報を入力して動作する点が相違する。
【００５３】
減算部２１は、原画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像との差分を算出し、差分画像を直交変換部２２に出力する。
【００５４】
直交変換部２２は、減算部２１から入力される差分画像に対してブロック単位で直交変換（例えば、ＤＣＴ：Discrete Cosine Transform）処理を施し、得られる直交変換係数を量子化部２３に出力する。
【００５５】
量子化部２３は、直交変換部２２から入力される直交変換係数に対して量子化テーブルを選択して量子化処理を行い、量子化された直交変換係数を逆量子化部２４及び可変長符号化部３２に出力する。
【００５６】
逆量子化部２４は、量子化部２３から入力される量子化された直交変換係数に対して逆量子化処理を行い、得られる直交変換係数を逆直交変換部２５に出力する。
【００５７】
逆直交変換部２５は、逆量子化部２４から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ：Inverse Discrete Cosine Transform）処理を施し、逆直交変換した画像を加算部２６に出力する。
【００５８】
加算部２６は、逆直交変換部２５から入力される逆直交変換した画像と、切替えスイッチ３１を介してイントラ予測部２９又は動き補償部３０から入力される予測画像とを加算して局部復号画像を生成し、生成した局部復号画像をデブロッキングフィルタ２７に出力する。
【００５９】
デブロッキングフィルタ２７は、符号化によりブロックの境界に発生するブロックノイズを除去するために、ブロック境界強度に応じて適応的にフィルタリング処理を施し、メモリ２８に出力する。
【００６０】
符号化ブロックサイズ決定装置１又は２は、上述したように映像を入力して符号化ブロックサイズ情報を生成する。本実施形態では、符号化ブロックサイズ決定装置１又は２は符号化ブロックサイズ情報をイントラ予測部２９及び動き補償部３０に出力するものとして以下説明するが、符号化ブロックサイズ情報をイントラ予測部２９及び動き補償部３０のいずれか一方にのみ出力してもよい。
【００６１】
イントラ予測部２９は、符号化ブロックのサイズを、符号化ブロックサイズ決定装置１又は２から入力される符号化ブロックサイズ情報が示すサイズに決定する。ＨＥＶＣにおいては、符号化ブロック（ＣＵ）をさらに分割してイントラ予測の処理単位である予測ユニット（ＰＵ）を決定する。イントラ予測部２９は、メモリ２８に記憶された局部復号画像を参照して、イントラ予測モードを選択してイントラ予測画像を生成する。そして、生成したイントラ予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力し、イントラ予測モードを可変長符号化部３２に出力する。
【００６２】
動き補償部３０は、符号化ブロックのサイズを、符号化ブロックサイズ決定装置１又は２から入力される符号化ブロックサイズ情報が示すサイズに決定する。ＨＥＶＣにおいては、符号化ブロック（ＣＵ）をさらに分割してインター予測の処理単位である予測ユニット（ＰＵ）を決定する。動き補償部３０は、原画像に対して、メモリ２８に記憶された過去及び／又は未来のフレームを参照し、動き推定により動きベクトルを生成し、生成した動きベクトルを可変長符号化部３２に出力する。また、動き補償部３０は、メモリ２８に記憶された復号画像に対し、生成した動きベクトルを用いて動き補償を行ってインター予測したインター予測画像を生成し、生成したインター予測画像を切替えスイッチ３１を介して減算部２１及び加算部２６に出力する。
【００６３】
切替えスイッチ３１は、イントラ予測部２９から入力されるイントラ予測画像と、動き補償部３０から入力されるインター予測画像とを切替えて、減算部２１及び加算部２６に出力する。
【００６４】
可変長符号化部３２は、量子化部２３から入力される量子化された直交変換係数についてスキャンを行って可変長符号化処理を施し、得られる符号化データを外部に出力する。また、可変長符号化部３２は、イントラ予測部２９から入力される予測モード、及び動き補償部３０から入力される動きベクトルの情報に可変長符号化処理を施し、得られる符号化データを外部に出力する。
【００６５】
このように、符号化装置２０は符号化ブロックサイズ決定装置１又は２を備え、イントラ予測部２９及び動き補償部３０は、符号化ブロックサイズ決定装置１又は２により決定されるサイズの符号化ブロックを用いて予測処理を行う。このため、本発明の第３の実施形態に係る符号化装置２０は、回転／ズーム又は大きな動きがある場合でも高精度かつ高確度な予測処理を行うことができ、符号化画質を向上させることができるようになる。
【００６６】
ここで、上述した符号化装置２０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２０の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００６７】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００６８】
１，２  符号化ブロックサイズ決定装置
１１  動き推定部
１２  回転/ズーム判定部
１３  符号化ブロックサイズ決定部
１４  大移動判定部
２０  符号化装置
２１  減算部
２２  直交変換部
２３  量子化部
２４  逆量子化部
２５  逆直交変換部
２６  加算部
２７  デブロッキングフィルタ
２８  メモリ
２９  イントラ予測部
３０  動き補償部
３１  切替えスイッチ
３２  可変長符号化部
【図１】
2016213657.tif 000003
【図２】
2016213657.tif 000004
【図３】
2016213657.tif 000005
【図４】
2016213657.tif 000006
【図５】
2016213657.tif 000007
【図６】
2016213657.tif 000008