(57)【要約】【課題】  ＨＥＶＣからＨ．２６４へのトランスコードにおいて、ＨＥＶＣに特有の予測ブロックサイズ、予測モードを、Ｈ．２６４の予測ブロックサイズ、予測モードに適切に変換しないと符号化効率が維持できないという課題があった。【解決手段】  第１符号化方式で第１パラメータを用いて符号化された第１符号化ストリームを復号して画像を生成する復号手段と、前記第１パラメータに含まれる第１予測ブロックサイズが所定のサイズ以上であるか判定する第１判定手段と、前記第１パラメータに含まれる第１予測モードが所定のモードであるか判定する第２判定手段と、前記第１及び第２判定手段の結果に基づいて、第２予測ブロックサイズを決定する決定手段と、前記復号手段で生成された前記画像を、前記決定手段で決定された第２予測ブロックサイズを含む第２パラメータを用いて第２符号化方式で符号化する符号化手段と、を有する。【選択図】  図１
2014096754.tif 000002
【特許請求の範囲】
【請求項１】
第１の符号化方式で第１の符号化パラメータを用いて符号化された第１の符号化ストリームを復号して、復号画像を生成する復号手段と、
前記第１の符号化パラメータに含まれる第１の予測ブロックサイズが所定のサイズ以上であるか否かを判定する第１の判定手段と、
前記第１の符号化パラメータに含まれる第１の予測モードが所定のモードであるか否かを判定する第２の判定手段と、
前記第１の判定手段によって判定された結果と前記第２の判定手段によって判定された結果とに基づいて、第２の予測ブロックサイズを決定する決定手段と、
前記復号手段で生成された前記復号画像を、前記決定手段で決定された第２の予測ブロックサイズを含む第２の符号化パラメータを用いて第２の符号化方式で符号化する符号化手段と、
を有することを特徴とする符号化方式変換装置。
【請求項２】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズ以上であると判定され、且つ、前記第２の判定手段によって前記第１の予測モードが前記所定のモードであると判定された場合に、前記第２の予測ブロックサイズを、前記所定のサイズに決定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項３】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズより小さいと判定された場合、または、前記第２の判定手段によって前記第１の予測モードが前記所定のモードでないと判定された場合に、前記第２の予測ブロックサイズを、前記所定のサイズより小さいサイズに決定することを特徴とする請求項１乃至請求項２のいずれか一項に記載の符号化方式変換装置。
【請求項４】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズより小さいと判定された場合、または、前記第２の判定手段によって前記第１の予測モードが前記所定のモードでないと判定された場合に、前記第２の符号化方式で用いることのできる予測ブロックサイズのうち、当該予測ブロックサイズで用いることのできる予測モード数が、前記第１の符号化方式の前記第１の予測ブロックサイズで用いることのできる予測モード数に対応する予測ブロックサイズを、第２の予測ブロックサイズに決定することを特徴とする請求項１乃至請求項２のいずれか一項に記載の符号化方式変換装置。
【請求項５】
さらに、前記第１の符号化ストリームの統計情報を取得する取得手段と、
前記取得手段によって取得された前記統計情報が、所定の値以下であるか否かを判定する第３の判定手段を有し、
前記決定手段は、前記第１の判定手段によって判定された結果と前記第２の判定手段によって判定された結果と前記第３の判定手段によって判定された結果に基づいて、前記第２の符号化パラメータに含まれる、第２の予測ブロックサイズまたは第２の変換ブロックサイズのうち少なくとも一つを決定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項６】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズ以上であると判定され、且つ、前記第２の判定手段によって前記第１の予測モードが前記所定のモードであると判定され、且つ、前記第３の判定手段によって前記統計情報が前記所定の値以下であると判定された場合に、前記第２の予測ブロックサイズを、前記所定のサイズに決定することを特徴とする請求項５に記載の符号化方式変換装置。
【請求項７】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズより小さいと判定された場合、または、前記第２の判定手段によって前記第１の予測モードが前記所定のモードでないと判定された場合、または、前記第３の判定手段によって前記統計情報が前記所定の値より大きいと判定された場合に、前記第２の予測ブロックサイズを、前記所定のサイズより小さいサイズに決定することを特徴とする請求項５乃至請求項６のいずれか一項に記載の符号化方式変換装置。
【請求項８】
前記決定手段は、前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズ以上であると判定され、且つ、前記第２の判定手段によって前記第１の予測モードが前記所定のモードであると判定され、且つ、前記第３の判定手段によって前記統計情報が前記所定の値以下であると判定された場合に前記第２の変換ブロックサイズを、第１のサイズに決定し、
前記第１の判定手段によって前記第１の予測ブロックサイズが前記所定のサイズより小さいと判定されたか、前記第２の判定手段によって前記第１の予測モードが前記所定のモードでないと判定されたか、または、前記第３の判定手段によって前記統計情報が前記所定の値より大きいと判定された場合に前記第２の変換ブロックサイズを、第２のサイズに決定し、
前記第１のサイズは前記第２のサイズより大きいことを特徴とする請求項５に記載の符号化方式変換装置。
【請求項９】
前記統計情報は、前記復号手段によって前記第１の符号化ストリームを復号する際に得られる、前記第１の符号化ストリームの符号量、予測残差、有意係数の有無を示すパラメータの少なくとも一つを含む情報であることを特徴とする請求項５乃至請求項８のいずれか一項に記載の符号化方式変換装置。
【請求項１０】
前記所定のモードは、平均値予測モード、または水平予測モード、または垂直予測モードのいずれかであることを特徴とする、請求項１乃至請求項９のいずれか一項に記載の符号化方式変換装置。
【請求項１１】
さらに、前記第１の符号化パラメータは、第１の予測ブロックサイズとは異なる第３の予測ブロックサイズを含み、
前記決定手段は、前記第１の予測ブロックサイズの個数と前記第３の予測ブロックサイズの個数とに基づいて、前記第２の符号化パラメータに含まれる前記第２の予測ブロックサイズを決定することを特徴とする請求項１に記載の符号化方式変換装置。
【請求項１２】
前記決定手段は、前記第１の符号化パラメータに含まれる前記第１の予測モードに基づいて、前記第２の符号化パラメータに含まれる前記第２の予測モードを決定することを特徴とする請求項１または請求項５のいずれか一項に記載の符号化方式変換装置。
【請求項１３】
前記第１の予測ブロックサイズ、及び前記第２の予測ブロックサイズは、イントラ予測の際に用いられるブロックサイズであることを特徴とする請求項１または請求項５のいずれか一項に記載の符号化方式変換装置。
【請求項１４】
第１の符号化方式で第１の符号化パラメータを用いて符号化された第１の符号化ストリームを復号して、復号画像を生成する復号手段と、
前記復号手段で生成された前記復号画像の解像度を、解像度変換情報を用いて変換する変換手段と、
前記変換手段によって解像度を変換された復号画像を、第２の符号化方式で第２の符号化パラメータを用いて符号化する符号化手段と、
前記解像度変換情報に基づいて、前記第２の符号化パラメータに含まれる予測モードを決定する第１の決定手段と、
を有することを特徴とする符号化方式変換装置。
【請求項１５】
さらに、前記解像度変換情報に基づいて、前記第２の符号化パラメータに含まれる予測ブロックサイズを決定する第２の決定手段を有することを特徴とする請求項１４に記載の符号化方式変換装置。
【請求項１６】
第１の符号化方式で第１の符号化パラメータを用いて符号化された第１の符号化ストリームを復号して、復号画像を生成する復号工程と、
前記第１の符号化パラメータに含まれる第１の予測ブロックサイズが所定のサイズ以上であるか否かを判定する第１の判定工程と、
前記第１の符号化パラメータに含まれる第１の予測モードが所定のモードであるか否かを判定する第２の判定工程と、
前記第１の判定工程によって判定された結果と前記第２の判定工程によって判定された結果とに基づいて、第２の予測ブロックサイズを決定する決定工程と、
前記復号工程で生成された前記復号画像を、前記決定工程で決定された第２の予測ブロックサイズを含む第２の符号化パラメータを用いて第２の符号化方式で符号化する符号化工程と、
を有することを特徴とする符号化方式変換方法。
【請求項１７】
コンピュータを、請求項１に記載の符号化方式変換装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は第一の符号化方式で符号化された動画像を復号し、第二の符号化方式で再符号化することで符号化方式を変換する符号化方式変換装置、符号化方式変換方法、及び符号化方式変換プログラムに関する。
【背景技術】
【０００２】
近年、ＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、Ｈ．２６４）等の符号化方式で符号化された動画像を、別の符号化方式で再度符号化するトランスコード機能の需要が高まってきている。
【０００３】
特許文献１では、トランスコード機能の一手法として、外部から入力されたＨ．２６４形式の動画像をＭＰＥＧ−２形式の動画像に変換する方法が提案されている。
【０００４】
一方、現在、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）において次世代の符号化方式である、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、ＨＥＶＣ）の標準化が進められている。
【０００５】
ＨＥＶＣでは、符号化を行うブロックの単位である符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ  ｕｎｉｔ）のサイズ（以下、ＣＵサイズと記す）が可変となっている。ＨＥＶＣにおいてＣＵサイズは、６４×６４画素から８×８画素までのブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素、または８×８画素のいずれか）を取り得る。また、イントラ予測（画面内予測）、及びインター予測（画面間予測）を行うブロックの単位である予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）のサイズ（以下、ＰＵサイズと記す）も可変である。ＰＵサイズは、６４×６４画素から４×４画素までのブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれか）を取り得る。さらに、直交変換等の変換を行うブロックの単位である変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のサイズ（以下、ＴＵサイズと記す）も可変である。ＴＵサイズは、３２×３２画素から４×４画素までのブロックサイズ（３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれか）を取り得る。
【０００６】
このため、符号化時にＣＵ、ＰＵ、及びＴＵの各サイズを其々適切に決定することで、符号化効率を向上させることが可能である。尚、１６×１６画素は水平方向１６画素、垂直方向１６画素のブロックを示し、本発明の実施形態においては、これを１６×１６画素と表記する。また、画素数が変化しても同様である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１４８０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ＨＥＶＣ以外の既存の符号化方式では、符号化ブロックのサイズが固定であるため、従来のトランスコードでは符号化方式変換後の符号化ブロックのサイズを探索する必要がなかった。例えばＨ．２６４では、符号化ブロックであるマクロブロックのサイズは１６×１６画素だけである。
【０００９】
一方、ＨＥＶＣでは、ＣＵサイズ（符号化ブロックのサイズ）が可変である。即ち、ＨＥＶＣの最大のＣＵサイズであるＬＣＵ（Ｌａｒｇｅ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）サイズは６４×６４画素であり、このＬＣＵ内を大きさの異なる複数のＣＵに分割して符号化することが可能である。ＰＵについても同様に、当該ＬＣＵ内に、大きさの異なる複数のＰＵに分割して符号化することが可能である。
【００１０】
さらに、ＨＥＶＣの予測モードはＨ．２６４の予測モードよりも多様であり、ＨＥＶＣ特有のモードも多数存在する。
【００１１】
このため、ＨＥＶＣからＨ．２６４へのトランスコードにおいて、ＨＥＶＣに特有の予測ブロックサイズ、及び予測モードを、Ｈ．２６４の予測ブロックサイズ、及び予測モードに其々適切に変換する必要があった。Ｈ．２６４における予測ブロックサイズ、及び予測モードを適切に用いないと、Ｈ．２６４で再符号化する際に予測によって算出される予測誤差が、ＨＥＶＣで符号化した際の予測によって算出された予測誤差よりも大きくなる。即ち、ＨＥＶＣからＨ．２６４へのトランスコードにおいて、Ｈ．２６４の予測ブロックサイズ、及び予測モードを適切に用いないと、予測誤差が大きくなり、符号化効率が低下してしまうという課題があった。
【００１２】
また、Ｈ．２６４で再符号化する際に、Ｈ．２６４で取り得る全通りの予測ブロックサイズ、及び予測モードに対して探索を行うと、ＨＥＶＣで符号化する際に用いた予測ブロックサイズ、及び予測モードを適切に変換できる。しかし、Ｈ．２６４で取り得る全通りの予測ブロックサイズ、及び予測モードに対して探索を行うため、探索の処理負荷（演算量）が大きくなり、トランスコードにかかる処理時間が増大するという課題があった。
【００１３】
尚、第１の符号化方式から第２の符号化方式へのトランスコードであって、前記第１の符号化方式の符号化ブロックのサイズが可変であるトランスコードにおいても同様の課題がある。
【００１４】
以上の課題を踏まえ、本発明は、トランスコードにおける再符号化時の予測ブロックサイズ、及び予測モードを探索する処理負荷を増加させずに、適切な予測ブロックサイズ、及び予測モードを決定することを目的とする。
【課題を解決するための手段】
【００１５】
上記の課題を解決するため、本発明の符号化方式変換装置は、下記の構成を有する。即ち、第１の符号化方式で第１の符号化パラメータを用いて符号化された第１の符号化ストリームを復号して、復号画像を生成する復号手段と、前記第１の符号化パラメータに含まれる第１の予測ブロックサイズが所定のサイズ以上であるか否かを判定する第１の判定手段と、前記第１の符号化パラメータに含まれる第１の予測モードが所定のモードであるか否かを判定する第２の判定手段と、前記第１の判定手段によって判定された結果と前記第２の判定手段によって判定された結果とに基づいて、第２の予測ブロックサイズを決定する決定手段と、前記復号手段で生成された前記復号画像を、前記決定手段で決定された第２の予測ブロックサイズを含む第２の符号化パラメータを用いて第２の符号化方式で符号化する符号化手段と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明により、トランスコードにおける再符号化時の予測ブロックサイズ、及び予測モードを探索する処理負荷を増加させずに、適切な予測ブロックサイズ、及び予測モードを決定することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施形態１の符号化方式変換装置のブロック図
【図２】実施形態１の再符号化パラメータ決定処理を表すフローチャート
【図３】Ｈ．２６４の４×４画素ブロック予測、及び８×８画素ブロック予測の予測モードを表す図
【図４】ＨＥＶＣの予測モードを表す図
【図５】実施形態１で決定される再符号化パラメータを表す図
【図６】実施形態１でテーブルを用いた符号化パラメータ決定処理を表す図
【図７】実施形態１における予測ブロックサイズの決定処理を表す図
【図８】ＨＥＶＣのＰＵサイズとＨ．２６４の予測ブロックサイズとの対応を表す図
【図９】ＨＥＶＣの予測モードとＨ．２６４の予測モードとの対応を表す図
【図１０】実施形態２の符号化方式変換装置のブロック図
【図１１】実施形態２の再符号化パラメータ決定処理を表すフローチャート
【図１２】実施形態３の符号化方式変換装置のブロック図
【図１３】解像度変換における６４×６４ＬＣＵ内部のＰＵサイズの変更を表す図
【図１４】実施形態３の代表予測モード決定処理を表すフローチャート
【図１５】実施形態３の再符号化パラメータ決定処理を表すフローチャート
【図１６】実施形態３の４×４画素ブロック予測または８×８画素ブロックのいずれかの選択を表す図
【図１７】本発明の符号化方式変換装置に適用可能なコンピュータのハードウェア構成例を示すブロック図
【発明を実施するための形態】
【００１８】
以下、添付の図面を参照し、本発明の好適な実施形態について説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１９】
＜実施形態１＞
図１は実施形態１の符号化方式変換装置のブロック図である。本実施形態における符号化方式変換装置は、復号部（復号手段）１０１、再符号化パラメータ決定部１０２、及び符号化部（符号化手段）１０３を有する。
【００２０】
復号部１０１は、入力された第一の符号化方式で符号化された符号化ストリーム（以下、第一の符号化ストリーム）を復号する。さらに、復号部１０１は、第一の符号化ストリームの復号時に用いた復号パラメータを再符号化パラメータ決定部１０２に送出し、第一の符号化ストリームを復号して得られた復号画像を符号化部１０３に送出する。再符号化パラメータ決定部１０２は、復号部１０１から入力された復号パラメータに基づいて、第二の符号化方式に再符号化する際に用いるパラメータ（以下、再符号化パラメータ）を決定し、決定した再符号化パラメータを符号化部１０３に送出する。符号化部１０３は、再符号化パラメータ決定部１０２から入力された再符号化パラメータに基づいて、復号部１０１から入力された復号画像を第二の符号化方式で符号化し、第二の符号化ストリームを出力する。
【００２１】
さらに、各部について以下で説明する。尚、説明を容易にするため、第一の符号化ストリームをＨＥＶＣ形式で符号化されたストリームとし、第二の符号化ストリームをＨ．２６４形式で符号化されたストリームとする。
【００２２】
復号部１０１は、第一の符号化ストリームを入力し、入力された第一の符号化ストリームを復号する。さらに、復号部１０１は、第一の符号化ストリームの復号時に得られた情報のうち、少なくとも、ＣＵサイズと、予測時のＰＵサイズと、予測モードとに関する情報を復号パラメータとして再符号化パラメータ決定部１０２に送出する。尚、本発明の実施形態において、予測とはイントラ予測（画面内予測）のことを示し、以下、イントラ予測を単に予測と表記する。同様に、本発明の実施形態において、イントラ予測モード、及びイントラ予測ブロックサイズについても、予測モード、及び予測ブロックサイズと表記する。
【００２３】
次に、再符号化パラメータ決定部１０２について説明する。図２は、再符号化パラメータ決定部１０２における、再符号化パラメータを決定するための処理を示すフローチャートである。尚、図２は、再符号化パラメータ決定部１０２に入力された復号パラメータに基づいて再符号化対象のＣＵが予測で符号化されていたと判定された場合の処理を表す。尚、インター予測（画面間予測）で符号化されていたＣＵに対するＰＵサイズや動きベクトル等のパラメータの決定方法としては、既存の種々の技術が適用可能である。さらに、図２において、ブロックサイズを１６ｘ１６と表記しているが、これは１６×１６画素と同義である。また、画素数が変化しても同様である。さらに、図２以降の図についても同様である。
【００２４】
再符号化パラメータ決定部１０２は、少なくとも１ＬＣＵ分の再符号化対象のブロックの復号パラメータを取得した後、再符号化パラメータを決定するための処理を開始する。本実施形態では、ＬＣＵサイズを６４×６４画素とする。以下、再符号化パラメータ決定部１０２が１ＬＣＵ（６４×６４画素）分に対応する再符号化対象のブロックの復号パラメータを取得したとして説明する。
【００２５】
まず、ステップＳ２０１において、再符号化パラメータ決定部１０２は、入力された第一の符号化ストリームの復号時に得られた復号パラメータに基づいて、再符号化対象のＣＵの予測におけるＰＵサイズを判定する。本実施形態のステップＳ２０１では、再符号化対象のＣＵの予測におけるＰＵサイズが所定のサイズ（１６×１６画素）より小さい場合はステップＳ２０４、当該ＰＵサイズが当該所定のサイズ以上の場合はステップＳ２０２の処理を夫々行う。
【００２６】
ステップＳ２０１でＰＵサイズが１６×１６画素より小さい（８×８画素以下）サイズの場合（Ｓ２０１のＮＯ）、再符号化パラメータ決定部１０２は、再符号化時の予測ブロックサイズを１６×１６画素以外（４×４画素または８×８画素）に設定する（Ｓ２０４）。ステップＳ２０１でＰＵサイズが１６×１６画素以上（１６×１６画素、３２×３２画素または６４×６４画素のいずれか）のサイズの場合（Ｓ２０１のＹＥＳ）、再符号化パラメータ決定部１０２は予測モードの判定を行う（Ｓ２０２）。
【００２７】
ここで、Ｈ．２６４及びＨＥＶＣにおける予測モードについて其々説明する。図３にＨ．２６４の予測モード、図４にＨＥＶＣの予測モードを示す。
【００２８】
図３（ａ）に示すように、Ｈ．２６４において、輝度サンプル（以下、輝度と記す）の４×４画素ブロック予測、及び８×８画素ブロック予測では、９つのモードが定義されている。尚、本実施形態において、４×４画素ブロック予測とは、４×４画素の予測ブロックサイズにおける予測のことである。また、画素数が変化しても同様である。図３（ｂ）は輝度の１６×１６画素ブロック予測の予測モードを示し、図３（ｃ）は色差サンプル（以下、色差と記す）の８×８画素ブロック予測の予測モードを示す。図３（ｂ）、及び図３（ｃ）に示すように、輝度の１６×１６画素ブロック予測、及び色差の８×８画素ブロック予測では、次の４つのモードが定義されている。即ち、Ｈ．２６４の輝度の１６×１６画素ブロック予測、及び色差の８×８画素ブロック予測では、水平予測（Ｈｏｒｉｚｏｎｔａｌ）、垂直予測（Ｖｅｒｔｉｃａｌ）、平均値予測（ＤＣ）、及び平面予測（Ｐｌａｎｅ）の４つのモードが定義されている。
【００２９】
これに対して、ＨＥＶＣにおいては、輝度の予測モードは、図４に示すように４×４画素、８×８画素、１６×１６画素、３２×３２画素、及び６４×６４画素の各ＰＵサイズに、３５個のモード（図４の０から３４）が其々定義されている。ＨＥＶＣにおける色差の予測モードも、輝度の予測モードで定義されている３５個のモードを用いることができる。さらに、色差の予測モードとして、輝度の予測モードと同じモードを用いる、輝度参照モードも定義されている。
【００３０】
Ｈ．２６４の輝度の予測のうち、最も予測ブロックサイズが大きいのは１６×１６画素ブロック予測である。また、Ｈ．２６４の輝度の１６×１６画素ブロック予測では、利用可能な予測モード数は図３（ｂ）に示したように４つである。一方、ＨＥＶＣの輝度の１６×１６画素ブロック予測では、利用可能な予測モード数は図４に示すように３５個である。このため、Ｈ．２６４で再符号化する際に、１６×１６画素ブロック予測を一律に適用すると適切な予測モードを選択できない。即ち、ＨＥＶＣの多様な予測モードを用いることで算出した予測誤差よりも、Ｈ．２６４で算出される予測誤差が大きくなり、符号化効率が低下してしまう可能性がある。よって、ＨＥＶＣからＨ．２６４に再符号化する際に、適切な予測モードを選択する必要がある。
【００３１】
図２に戻り、ステップＳ２０２以降の再符号化パラメータ決定部１０２における処理フローについて説明する。
【００３２】
ステップＳ２０２でＨＥＶＣの予測モードが所定のモードに相当する場合（Ｓ２０２のＹＥＳ）、再符号化パラメータ決定部１０２はＨ．２６４で再符号化する際の予測ブロックサイズを１６×１６画素とする（Ｓ２０３）。尚、当該所定のモードには、平均値予測モード、垂直予測モード、及び水平予測モードが含まれ、これらのモードはＨＥＶＣにおける予測、及びＨ．２６４における予測のどちらにおいても用いることができる。従って、ステップＳ２０２において、再符号化対象（ＨＥＶＣ）のＰＵの予測モードが所定のモードであるかを判定することで、再符号化（Ｈ．２６４）においてＨＥＶＣにおける予測モードを適用できるかを判定することができる。
【００３３】
また、ステップＳ２０３では、図７に示すように、ＨＥＶＣにおいて各サイズのＰＵが適用されている場合に、Ｈ．２６４の予測ブロックサイズを１６×１６画素とする。即ち、ＨＥＶＣにおいて６４×６４画素のＰＵ（６４×６４ＰＵ）が適用されている場合（図７（ａ））、６４×６４画素のブロック内の各１６×１６画素のブロックに対応するＨ．２６４のマクロブロックには、１６×１６画素ブロック予測を其々適用する。尚、ＨＥＶＣにおいて３２×３２ＰＵ（図７（ｂ））、及び１６×１６ＰＵ（図７（ｃ））が適用されている場合も同様に、１６×１６画素である各マクロブロックに対して、１６×１６画素ブロック予測を其々適用する。尚、本実施形態において、例えば１６×１６画素から成るＰＵを１６×１６ＰＵとも表記する。同様に、ＣＵ、及びＴＵについても１６×１６ＣＵ、及び１６×１６ＴＵと表記する。また、画素数が変化しても同様である。
【００３４】
一方、ステップＳ２０２でＨＥＶＣの予測モードが所定のモードでない場合（Ｓ２０２のＮＯ）、再符号化パラメータ決定部１０２は予測ブロックサイズを１６×１６画素以外（４×４画素または８×８画素のいずれか）に設定する（Ｓ２０４）。
【００３５】
この場合（ステップＳ２０２のＮＯ）、ＨＥＶＣの予測モードをＨ．２６４の予測に適用させることができない。このため、Ｈ．２６４の１６×１６画素ブロック予測を適用してしまうと適切な予測モードを選択することができない。また、Ｈ．２６４の４×４画素ブロック予測、及び８×８画素ブロック予測の予測モード数（図３（ａ））は、１６×１６画素ブロック予測の予測モード数（図３（ｂ））より多い。よって、ステップＳ２０４では、Ｈ．２６４における予測モード数が１６×１６画素ブロック予測より多い、４×４画素ブロック予測または８×８画素ブロック予測のいずれかを割り当てる。これにより、ＨＥＶＣの予測モードと同等または予測方向のより近いＨ．２６４の予測モードを選択することができるので、予測誤差の増加を抑えることができる。
【００３６】
以下、図２のステップＳ２０４の処理における、Ｈ．２６４の４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する方法について説明する。図８は、ＨＥＶＣのＰＵサイズとＨ．２６４の予測ブロックサイズとの対応を示す図である。
【００３７】
図８（ａ）に示すように、ＨＥＶＣの１６×１６画素の領域内がすべて４×４ＰＵである場合は、Ｈ．２６４の４×４画素ブロック予測を選択する。同様に図８（ｂ）に示すように、ＨＥＶＣの１６×１６画素の領域内がすべて８×８ＰＵである場合は、Ｈ．２６４の８×８画素ブロック予測を選択する。
【００３８】
一方、図８（ｃ）に示すように、ＨＥＶＣの１６×１６画素の領域内に４×４ＰＵと８×８ＰＵとが混在する場合は、Ｈ．２６４で再符号化する際に４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する。これは、Ｈ．２６４では１マクロブロック内で８×８画素ブロック予測と４×４画素ブロック予測とを併用できないためである。
【００３９】
この場合、ＨＥＶＣの１６×１６画素の領域内にある、４×４ＰＵの個数と８×８ＰＵの個数とを重み係数を用いて比較した結果に基づいて、Ｈ．２６４の予測ブロックサイズを決定してもよい。４×４ＰＵの個数と８×８ＰＵの個数とを重み係数を用いて比較するために、例えば式１を用いる。式１で、４×４ＰＵ、及び８×８ＰＵの個数を其々、ｎｕｍ＿４ｘ４ｐｕ、ｎｕｍ＿８ｘ８ｐｕと表記し、さらに重み係数をαと表記する。
【００４０】
１／４×ｎｕｍ＿４ｘ４ｐｕ≦α×ｎｕｍ＿８ｘ８ｐｕ（式１）
式１が成立する場合はＨ．２６４の８×８画素ブロック予測を選択し、式１が成立しない場合はＨ．２６４の４×４画素ブロック予測を選択する。尚、本発明はこれに限定されるものではなく、重み係数αを右辺に掛けなくてもよい。即ち、重み係数αを左辺に掛けても、もちろんよい。
【００４１】
図８（ｃ）では、４×４ＰＵは８×８ＣＵ０及び８×８ＣＵ３に各々存在するので、４×４ＰＵの個数を示すｎｕｍ＿４ｘ４ｐｕは８となる。一方、８×８ＰＵは８×８ＣＵ１及び８×８ＣＵ２に各々存在するので、８×８ＰＵの個数を示すｎｕｍ＿８ｘ８ｐｕは２となる。ここで、例えば重み付け係数αを１．１に設定した場合は式１が成立するので、Ｈ．２６４で再符号化対象のブロックを再符号化する際には８×８画素ブロック予測が適用される。
【００４２】
尚、重み係数αの値は固定値パラメータとしてもよいし、再符号化パラメータ決定部１０２の外部から与えられるパラメータとしてもよい。また、重み係数αの値は、Ｈ．２６４で再符号化する際に４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択した結果発生した符号量に基づいて、適応的に設定されるパラメータ等としてもよい。
【００４３】
そして、予測ブロックサイズを設定（Ｓ２０３またはＳ２０４）した後、ＨＥＶＣの予測モードと同等または予測方向の近いモードのいずれかを、Ｈ．２６４で再符号化する際の予測モードとして決定し（Ｓ２０５）、処理を終了する。
【００４４】
次に、図２のステップＳ２０５における、ＨＥＶＣの予測モードに対応する、Ｈ．２６４の予測モードの選択方法について説明する。図９は、ＨＥＶＣの予測モードに対応するＨ．２６４の予測モードを示す。尚、図９に示すＨ．２６４及びＨＥＶＣの予測モードは、図３及び図４に示す予測モードに対応する。
【００４５】
図９（ａ）は、ＨＥＶＣの予測モードに対応するＨ．２６４の輝度の４×４画素ブロック予測、及び８×８画素ブロック予測の予測モードを表す。ＨＥＶＣの予測モードが１（ＤＣ：平均値予測）の場合、Ｈ．２６４の予測モードの２（ＤＣ）を対応付ける。ＨＥＶＣの予測モードが２から８のいずれかである場合、Ｈ．２６４の予測モードのうち、同等または予測方向の近いモードである８を対応付ける。上述したＨ．２６４の２から８以外の予測モードについても同様に、ＨＥＶＣの予測モードと同等または予測方向の近いモードを対応させておく。
【００４６】
図９（ｂ）は、ＨＥＶＣの予測モードとＨ．２６４の輝度の１６×１６画素ブロック予測の予測モードとの対応を示したものである。
【００４７】
図９（ｃ）は、ＨＥＶＣの予測モードとＨ．２６４の色差の８×８画素ブロック予測の予測モードとの対応を示したものである。図９（ｃ）において、ＨＥＶＣの色差の輝度参照モードは、輝度の予測モードを色差の予測モードと同じモードを用いるモードであり、Ｈ．２６４には同等または類似するモードは存在しない。そのため、本実施形態では、ＨＥＶＣの輝度の予測モードから色差の予測モードを推定している。例えば、ＨＥＶＣの輝度の予測モードが１（ＤＣ：平均値予測）の場合、Ｈ．２６４の色差の予測モードは０（ＤＣ）を対応付ける。このように、ＨＥＶＣの輝度の予測モード（０から３４）を参照し、当該予測モードと同等または予測方向の近いモードを対応付けることで、Ｈ．２６４で再符号化する際の予測モード探索の処理負荷を軽減することが可能である。
【００４８】
尚、本実施形態ではＨＥＶＣの色差の予測画素を輝度の復号画素を参照して生成しているが、本発明はこれに限定されない。即ち、画像の画素が複数のコンポーネントで構成され、当該複数のコンポーネントの任意のＭ２番目のコンポーネントの予測画素をＭ１（Ｍ１≠Ｍ２）番目のコンポーネントの復号画素を参照して生成する場合にも、同様の処理を適用可能である。
【００４９】
上述したように、本実施形態において図２の処理フローを実行することにより、再符号化パラメータ決定部１０２に入力された復号パラメータに基づいて再符号化パラメータを決定することができ、下記のような効果が得られる。
【００５０】
まず、図２のステップＳ２０１でＹＥＳ、かつ、ステップＳ２０２でＹＥＳの場合、ステップＳ２０３の処理を行う。この処理により、符号化効率の低下（予測誤差の増加）を抑えつつ、再符号化時の予測ブロックサイズの探索に要する処理負荷を軽減することが可能である。
【００５１】
また、図２のステップＳ２０１でＹＥＳ、かつ、ステップＳ２０２でＮＯの場合、ステップＳ２０４の処理を行う。また、ステップＳ２０１でＮＯの場合も、ステップＳ２０４の処理を行う。これらの処理により、ＨＥＶＣの予測モードと同等または予測方向のより近いＨ．２６４の予測モードを選択することができるので、予測誤差の増加を抑えることができる。
【００５２】
即ち、本実施形態により、ＨＥＶＣからＨ．２６４へ再符号化する際に、予測ブロックサイズ、及び予測モードを探索する処理負荷を増加させずに、適切な予測ブロックサイズ、及び予測モードを決定することが可能である。
【００５３】
次に、上記の処理によって復号パラメータに基づいて決定される、再符号化時の再符号化パラメータの例を図５に示す。尚、図５で示す例における予測モードとは、輝度の予測モードを表す。
【００５４】
尚、図５に示した再符号化パラメータと復号パラメータとの対応関係をテーブル形式で配列に保持しておき、再符号化パラメータ決定部１０２は復号パラメータに基づき当該テーブルを参照することで再符号化パラメータを決定するようにしてもよい。
【００５５】
また、本実施形態では、図５に示す当該テーブルを再符号化パラメータ決定部１０２で保持するが、本発明はこれに限定されない。即ち、当該テーブルを外部の記録装置（記録部）が保持し、再符号化パラメータ決定部１０２は記録装置から当該テーブルを読み出すようにしても良い。
【００５６】
また、図６は、第一の符号化ストリーム（ＨＥＶＣ）における再符号化対象のブロックのＣＵサイズとＰＵサイズと予測モードとから決定されるインデックスに基づき、テーブル形式で配列に保存された再符号化パラメータを参照する処理を示す図である。図６において、第一の符号化パラメータを復号して得られた復号パラメータが、３２×３２ＰＵ、かつ所定の予測モードの場合、対応付けられたインデックスは０に決定される。そして、再符号化パラメータ決定部１０２は決定されたインデックス０に基づいて、予測ブロックサイズを格納した配列Ｐｒｅｄ＿ｓｉｚｅ［０］を参照する。Ｐｒｅｄ＿ｓｉｚｅ［０］には、１６×１６画素ブロック予測を示す情報が格納されており、再符号化パラメータ決定部１０２は、再符号化時の予測ブロックサイズを１６×１６画素ブロック予測に決定する。このように、再符号化パラメータをテーブル形式で保持し、当該テーブルを参照することで、図２に示す処理フローをソフトウェアの分岐処理として実現する場合よりも、高速に再符号化パラメータを決定することが可能となる。
【００５７】
再符号化パラメータ決定部１０２は、以上のように決定した予測ブロックサイズと予測モードとに関する情報を、再符号化パラメータとして符号化部１０３へ送出する。
【００５８】
符号化部１０３は、再符号化パラメータ決定部１０２から送出された再符号化パラメータに基づいて、復号部１０１から出力された復号画像をＨ．２６４形式で符号化する。
【００５９】
尚、本発明はこれに限定されるものではなく、本実施形態における再符号化パラメータ決定部１０２の機能を、図１に示す復号部１０１または符号化部１０３のいずれかの内部に設けてもよい。
【００６０】
また、本実施形態において再符号化パラメータ決定部１０２は、ＨＥＶＣで符号化された第一の符号化ストリームの再符号化対象のブロックの６４×６４ＰＵ、３２×３２ＰＵ及び１６×１６ＰＵに対して、所定の予測モードであるか否かを判定している。しかし、本発明はこれに限定されず、ＨＥＶＣ以外の符号化方式に適用する場合は、予測ブロックサイズ（ＨＥＶＣにおけるＰＵサイズ）を任意のＮ×Ｎ画素（Ｎ：自然数）の予測ブロックサイズに置き換えることも可能である。
【００６１】
また、再符号化パラメータ決定部１０２で決定された再符号化パラメータの一部だけを符号化部１０３で利用してもよい。例えば、当該再符号化パラメータのうち予測ブロックサイズだけを利用し、予測モードは符号化部１０３で探索する構成でもよい。
【００６２】
また、再符号化パラメータ決定部１０２で決定された再符号化パラメータを、符号化部１０３でさらに最適な再符号化パラメータを探索する際の初期値として用いる構成であってもよい。即ち、再符号化パラメータ決定部１０２で決定された再符号化パラメータを、符号化部１０３で再符号化する際に必ずしも用いなくてもよく、再符号化パラメータ再決定しても構わない。
【００６３】
さらに、４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する方法や、式１における重み係数αを決定する方法についても、実施形態中で説明した方法に限定されるものではない。
【００６４】
さらに、図２のＳ２０３では、平均値予測モード、水平予測モード、または垂直予測モードのいずれかであるかを判定しているが、本発明はこれに限定されない。即ち、ＨＥＶＣのＰｌａｎａｒ予測（ｉｎｔｒａ＿Ｐｌａｎａｒ）モードをＨ．２６４の平面予測（Ｐｌａｎｅ）モードに対応すると見なしてもよい。即ち、図２のステップＳ２０３において、平均値予測モード、水平予測モード、垂直予測モード、またはＰｌａｎａｒ予測モードのいずれかであるかを判定するようにしてもよい。
【００６５】
さらに、図９に示したＨＥＶＣの予測モードとＨ．２６４の予測モードとの対応も一例であり、図示した以外の対応付けを行ってもよい。
【００６６】
＜実施形態２＞
次に、図１０に示す本発明の実施形態２について説明する。図１０において、実施形態１の図１と差異がない部分には同一の符号を付している。
【００６７】
尚、実施形態１と同様に、説明を容易にするため第一の符号化ストリームをＨＥＶＣ形式で符号化されたストリームとし、第二の符号化ストリームをＨ．２６４形式で符号化されたストリームとする。
【００６８】
図１０において復号部（復号手段）３０１は、入力された第一の符号化ストリームを復号し、実施形態１の図１における復号部１０１と同様に、第一の符号化ストリームの復号時に用いた情報を復号パラメータとして再符号化パラメータ決定部３０２に送出する。さらに、復号部３０１は、第一の符号化ストリームを復号して得られた種々の統計情報も復号パラメータとして再符号化パラメータ決定部３０２に送出する。本実施形態において統計情報とは、ＨＥＶＣ復号時の予測残差に関する情報、有意係数（非０係数）の有無に関する情報、及びＨＥＶＣ符号化ストリームの符号量に関する情報の少なくとも一つを含む情報のことである。また、図１０において復号部３０１は、図１における復号部１０１と同様に、第一の符号化ストリームを復号して得られた復号画像を符号化部１０３に送出する。
【００６９】
再符号化パラメータ決定部３０２は、復号部３０１から取得した復号パラメータに基づき、図１１に示すフローで再符号化パラメータを決定する。より具体的に、再符号化パラメータ決定部３０２は、復号部３０１で第一の符号化ストリームを復号して得られた統計情報に基づき、Ｈ．２６４で再符号化する際に用いる予測ブロックサイズを決定する。
【００７０】
以下、図１１を用いて、再符号化パラメータ決定部３０２における再符号化パラメータの決定処理を説明する。
【００７１】
図１１のうち、実施形態１の図２と同等の処理には同一の符号を付している。図１１におけるステップＳ２０１、及びステップＳ２０２の処理は、図２のステップＳ２０１、及びステップＳ２０２の処理と同様である。
【００７２】
ＨＥＶＣの予測モードがＨ．２６４の所定の予測モード（平均値予測モード、垂直予測モード、または水平予測モードのいずれか）である場合に（Ｓ２０２のＹＥＳ）、復号部３０１で取得した統計情報を予め定めた閾値と比較する（Ｓ１１０１）。ステップＳ１１０１で統計情報が当該閾値以下である場合（Ｓ１１０１のＹＥＳ）、Ｈ．２６４で再符号化する際の予測ブロックサイズを１６×１６画素とする（Ｓ２０３）。一方、統計情報が当該閾値よりも大きい場合（Ｓ１１０１のＮＯ）、Ｈ．２６４で再符号化する際の予測ブロックサイズを８×８画素とする（Ｓ１１０２）。尚、本実施形態において、統計情報が閾値よりも大きい場合とは、復号部３０１で取得された変換係数の有意係数の個数が閾値以上の場合のことを意味するが、本発明はこれに限定されない。即ち、予測残差の分布・ＳＡＤ（差分絶対値：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、及び有意係数の個数が閾値以上の場合、及び、再符号化対象のブロックの符号量が閾値以上の場合としてもよい。
【００７３】
尚、Ｈ．２６４では、１６×１６画素ブロック予測または４×４画素ブロック予測のいずれかを適用した場合、マクロブロックを１６個の４×４画素ブロックに分割し、この分割された４×４画素ブロック単位で直交変換を行う。一方、Ｈ．２６４において８×８画素ブロック予測を適用した場合は、マクロブロックを４つの８×８画素ブロックに分割し、この分割された８×８画素ブロック単位で直交変換を行う。
【００７４】
尚、４×４画素ブロックの直交変換よりも８×８画素ブロックの直交変換の方が、周波数成分をより細かく残すことが可能である。即ち、本実施形態において、ステップＳ１１０１で統計情報が閾値以下であると判定された場合、１６×１６画素予測を適用するため、変換ブロックサイズは４×４画素となる。また、ステップＳ１１０１で統計情報が閾値より大きいと判定された場合、８×８画素予測を適用するため、変換ブロックサイズは８×８画素となる。これにより、統計情報に基づいて変換ブロックサイズを決定することができ、統計情報が閾値より大きい場合に統計情報が閾値以下である場合よりも大きい変換ブロックサイズを用いることで、再符号化時の符号化効率または画質のいずれかを向上させることができる。
【００７５】
各ステップＳ２０３、Ｓ２０４、及びＳ１１０２で予測ブロックサイズを決定した後、ＨＥＶＣの予測モードと同等あるいは予測方向の近いモードを、Ｈ．２６４で再符号化する際の予測モードとして決定し（Ｓ２０５）、処理を終了する。その他の処理については、実施形態１と同様である。
【００７６】
再符号化パラメータ決定部３０２は、以上のように決定した予測ブロックサイズと予測モードとに関する情報を、再符号化パラメータとして図１２の符号化部１０３へ送出する。
【００７７】
符号化部１０３は、再符号化パラメータ決定部３０２から入力された再符号化パラメータに基づいて、復号部３０１から入力された復号画像をＨ．２６４形式で符号化する。
【００７８】
本実施形態も実施形態１と同様に、ＨＥＶＣからＨ．２６４へ再符号化する際に、予測ブロックサイズと予測モードとの探索に要する処理負荷を増加させずに、適切な予測ブロックサイズと予測モードを決定することが可能である。
【００７９】
さらに、本実施形態では、ＨＥＶＣで符号化された第一の符号化ストリームを復号して得られた統計情報に基づいて、Ｈ．２６４へ再符号化する際に用いる１６×１６画素ブロック予測と８×８画素ブロック予測とを切り替えている。
【００８０】
従って、本実施形態では統計情報に基づいて予測ブロックサイズを決定することで、８×８画素ブロックの直交変換を適用した場合に符号化効率または画質のいずれかが向上するかを判定している。これにより、８×８画素ブロックの適用による符号化効率または画質のいずれかが向上すると推定される場合には、８×８画素ブロックの直交変換を選択することが可能となるので、再符号化時の符号化効率または画質のいずれかを向上させることが可能となる。ここで、例えば、ＨＥＶＣの予測誤差の分布が閾値以上の場合、ＨＥＶＣにおける予測が効率的でないと推定される。この場合、４×４画素変換よりも周波数成分を細かく残せる、８×８画素変換を選択する。よって、予測誤差の再現性が高まり、Ｈ．２６４で再符号化して得られる画像の画質を向上させることができる。
【００８１】
尚、本発明はこれに限定されるものではなく、本実施形態における再符号化パラメータ決定部３０２の機能を、図１０に示す復号部３０１または符号化部１０３のいずれかの内部に設けてもよい。
【００８２】
また、再符号化パラメータ決定部３０２で決定された再符号化パラメータの一部だけを符号化部１０３で利用してもよい。例えば、当該再符号化パラメータのうち予測ブロックサイズだけを利用し、予測モードは符号化部１０３で探索する構成でもよい。また、再符号化パラメータ決定部３０２で決定された再符号化パラメータを、符号化部１０３でさらに最適な再符号化パラメータを探索する際の初期値として用いる構成であってもよい。即ち、再符号化パラメータ決定部３０２で再符号化パラメータを決定した後、再び再符号化パラメータを探索してもよい。
【００８３】
尚、本実施形態では、図１１に示したフローチャートにおいて閾値比較のステップを一つ（Ｓ１１０１）だけ示しているが、本発明はこれに限定されるものではない。複数の統計情報に対して、閾値比較を其々実施し、それらの結果に基づいて予測ブロックサイズを決定するようにしてもよい。また、一つの統計情報を複数の閾値と比較するようにしてもよい。さらに、閾値は固定としてもよいし、再符号化パラメータ決定部１０２の外部モジュールから与えられるパラメータとしてもよい。また、Ｈ．２６４の４×４画素ブロックまたは８×８画素ブロックのいずれかの直交変換を選択した結果、再符号化時に発生した各符号量に基づいて適応的に設定されるパラメータを閾値としてもよい。
【００８４】
＜実施形態３＞
次に、図１２に示す本発明の実施形態３について説明する。図１２において実施形態１の図１と差異がない部分には同一の符号を付している。
【００８５】
尚、実施形態１と同様に、説明を容易にするため、第一の符号化ストリームをＨＥＶＣ形式で符号化されたストリームとし、第二の符号化ストリームをＨ．２６４形式で符号化されたストリームとする。
【００８６】
図１２において復号部１０１は、入力された第一の符号化ストリームを復号し、実施形態１の図１と同様に、第一の符号化ストリームの復号時に用いた情報を復号パラメータとして再符号化パラメータ決定部５０２に送出する。さらに、復号部１０１は第一の符号化ストリームを復号して得られた復号画像を解像度変換部（変換手段）５０４に送出する。解像度変換部５０４は、復号部１０１から入力された復号画像の解像度を変換（解像度変換）し、解像度変換した復号画像を符号化部１０３に送出する。さらに、解像度変換部５０４は、復号画像を解像度変換する際に用いられた情報（解像度変換情報）を再符号化パラメータ決定部５０２に送出する。再符号化パラメータ決定部５０２は、復号部１０１から入力された復号パラメータと解像度変換部５０４から入力された解像度変換情報とに基づき、再符号化パラメータを決定し符号化部１０３へ送出する。符号化部１０３は、再符号化パラメータ決定部５０２から入力された再符号化パラメータに基づいて、解像度変換部５０４で解像度変換された復号画像を第二の符号化方式で符号化し、第二の符号化ストリームを出力する。
【００８７】
ここで、解像度変換部５０４で復号画像を解像度変換する前後におけるＨＥＶＣのＰＵサイズの対応を、図１３を参照して説明する。図１３において、点線で囲った部分は解像度変換の前後で対応する画素位置を示す。尚、ここでは例として６４×６４画素であるＬＣＵが解像度変換部５０４に入力された場合を例に挙げて説明する。
【００８８】
図１３（ａ）は、解像度変換前の６４×６４画素のブロックがＰＵに分割されている様子を表したものである。図１３（ｂ）は、図１３（ａ）の６４×６４画素のブロックが水平方向と垂直方向とに其々１／２倍された３２×３２画素のブロックにおいて、対応するＰＵを表す。同様に図１３（ｃ）は、図１３（ａ）の６４×６４画素のブロックが水平方向と垂直方向とに其々１／４倍された１６×１６画素のブロックにおいて対応するＰＵの分割を表す。
【００８９】
まず、水平・垂直方向に其々１／２倍した場合について、図１３（ａ）及び図１３（ｂ）を用いて説明する。
【００９０】
図１３（ａ）において、３２×３２ＰＵ、１６×１６ＰＵ、８×８ＰＵ（図１３の灰色部分）が適用されていた画素領域は其々、図１３（ｂ）に示すように、１６×１６ＰＵ、８×８ＰＵ、４×４ＰＵが適用されているとみなすことができる。また、解像度変換後の各ＰＵの予測モードは、解像度変換前の対応する各ＰＵの予測モードと同一とみなすことができる。
【００９１】
一方、図１３（ａ）において、四つの４×４ＰＵで符号化されていた８×８画素（図１３の斜線部分）は、図１３（ｂ）に示すように解像度変換によって４×４画素に変換される。このため、解像度変換後の当該４×４画素に対応する４×４ＰＵの予測モードを決定する必要がある。本実施形態では、解像度変換前の複数のＰＵの予測モードから解像度変換後の予測で用いるモード（以降、代表予測モードと記す）を決定する。尚、代表予測モードの決定方法には、種々の従来技術を適用可能である。
【００９２】
次に、水平・垂直方向に其々１／４倍した場合について、図１３（ａ）及び図１３（ｃ）を用いて説明する。
【００９３】
図１３（ａ）において、３２×３２ＰＵと１６×１６ＰＵとが適用されていた画素領域は其々、図１３（ｃ）に示すように、８×８ＰＵと４×４ＰＵとが適用されているとみなすことができる。また、解像度変換後の各ＰＵの予測モードは、解像度変換前の対応する各ＰＵの予測モードと同一とみなすことが可能である。
【００９４】
一方、図１３（ａ）において、四つの４×４ＰＵで符号化された８×８画素（図１３の斜線部分）と、８×８ＰＵで符号化された三つの８×８画素（図１３の灰色部分）とからなる１６×１６画素は、図１３（ｃ）に示すように解像度変換によって４×４画素となる。このため、解像度変換後の当該４×４画素に対応する４×４ＰＵの予測モードを一つ決定する必要がある。従って、再符号化パラメータ決定部５０２は、解像度変換後の当該４×４画素に対応する代表予測モードを決定する。
【００９５】
次に、再符号化パラメータ決定部５０２について、図１４を用いて説明する。図１４は、再符号化パラメータ決定部５０２における、解像度変換部５０４から入力された解像度変換情報に基づいて代表予測モードを決定するための処理を示すフローチャートである。
【００９６】
再符号化パラメータ決定部５０２は、処理が開始されると、制御変数ｉを初期化する（Ｓ１４０１）。次に、再符号化パラメータ決定部５０２は、再符号化対象のブロックであるＬＣＵ内部に（２＾ｉ）×（２＾ｉ）ＰＵが含まれるか否かを判定する（Ｓ１４０２）。ここで、２＾ｉは２のｉ乗を表す。例えば、ｉ＝２の場合、（２＾ｉ）×（２＾ｉ）ＰＵは４×４ＰＵと同義である。
【００９７】
ステップＳ１４０２で当該ＬＣＵ内部に（２＾ｉ）×（２＾ｉ）ＰＵが含まれると判定された場合（Ｓ１４０２のＹＥＳ）、当該ＬＣＵ内部に存在する各（２＾ｉ）×（２＾ｉ）ＰＵを四つずつまとめて、対応する代表予測モードを決定する（Ｓ１４０３）。さらに再符号化パラメータ決定部５０２は、当該代表予測モードを示すフラグを設定する（Ｓ１４０４）。尚、ステップＳ１４０４で、再符号化パラメータ決定部５０２は代表予測モードを示すフラグを設定するが、ｎ≧２の場合、図１４に示す再符号化対象のブロックにおける処理で最後に当該フラグを設定されたモードを代表予測モードとして決定する。
【００９８】
ステップＳ１４０４の処理後、または当該ＬＣＵ内部に（２＾ｉ）×（２＾ｉ）ＰＵが含まれない場合（Ｓ１４０２のＮＯ）、再符号化パラメータ決定部５０２は変数ｉがｎ＋１と等しいか否かを判定する（Ｓ１４０５）。ここで、ｎは解像度変換情報であり、解像度変換部５０４において復号画像が水平方向及び垂直方向に其々１／（２＾ｎ）倍されることを意味する。即ち、ｎ＝１の時、水平方向及び垂直方向に其々１／２倍されることを示す。
【００９９】
ステップＳ１４０５で変数ｉがｎ＋１と等しいと判定された場合（Ｓ１４０５のＹＥＳ）、再符号化処理対象のブロックであるＬＣＵの処理を終了する。また、ステップＳ１４０５で変数ｉがｎ＋１と等しくないと判定された場合（Ｓ１４０５のＮＯ）、変数ｉをインクリメントし（Ｓ１４０６）、ステップＳ１４０２からステップＳ１４０５の処理を実施する。
【０１００】
例えばｎ＝１の場合、解像度変換部５０４において復号画像が水平方向及び垂直方向に其々１／２倍されることを意味する（図１３（ｂ））。この場合、解像度変換部５０４で解像度変換する前に、代表予測モードを求める必要がある解像度変換前の画像のＰＵは４×４ＰＵである。即ちｉ＝２である。従って、ステップＳ１４０５において、ｉ＝ｎ＋１となり、処理を終了する。
【０１０１】
また、ｎ＝２の場合、解像度変換部５０４において復号画像が水平方向及び垂直方向に其々１／４倍されることを意味する（図１３（ｃ））。この場合、解像度変換部５０４で解像度変換する前に、代表予測モードを求める必要がある解像度変換前の画像のＰＵは、４×４ＰＵ及び８×８ＰＵとなる。即ちｉ＝３である。従って、ステップＳ１４０５においてｉ≠（ｎ＋１）となるので、変数ｉをインクリメントし（Ｓ１４０６）、８×８ＰＵに対してステップＳ１４０２からステップＳ１４０５の処理を実施する。
【０１０２】
次に、解像度変換前に１６×１６画素の領域に４×４ＰＵと８×８ＰＵとが混在する場合（図１３（ａ））について説明する。まず、ｉ＝２の時に、ステップＳ１４０３において、解像度変換前の画像の四つの４×４ＰＵからなる８×８画素に対して代表予測モードを決定する。次に、ｉ＝３の時に、ステップＳ１４０３において、解像度変換前の画像の三つの８×８ＰＵと４×４ＰＵとからなる１６×１６画素に対する代表予測モードを、さらに決定することになる。尚、ｎが３以上の場合も同様の処理をする。
【０１０３】
図１５は、本実施形態の再符号化パラメータ決定部５０２における、再符号化パラメータを決定するための処理を示フローチャートである。図１５おいて実施形態１と差異がない部分には同一の符号を付している。
【０１０４】
本実施形態では、Ｈ．２６４の４×４画素ブロック予測または８×８画素ブロック予測のいずれかをステップＳ１５０１の処理において選択する際に、対応するブロックの予測モードが代表予測モードであるか否かを表すフラグの有無の情報を用いる。尚、対応するブロックの予測モードが代表予測モードである場合（当該フラグが設定されている場合）、後述する式２を用いて予測ブロックサイズを決定する。
【０１０５】
図１６は、図１５のステップＳ１５０１の処理において再符号化パラメータ決定部５０２が、解像度変換部５０４から入力された解像度変換情報に基づいて、４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する方法を示す図である。
【０１０６】
図１６（ａ）は解像度変換後の１６×１６画素を示す。尚、図１６（ａ）に示す１６×１６画素の画像は、図１３（ｃ）に示す１６×１６画素の画像に相当する。図１６（ａ）の斜線部分は、解像度変換部５０４から入力された解像度変換情報から特定される代表予測モードを有すＰＵであり、それ以外の部分は、解像度変換前の予測モードを再利用したＰＵである。
【０１０７】
また、図１３（ｂ）の点線内で示した部分のように、解像度変換後の画像において４×４ＰＵと８×８ＰＵとが混在していた場合、Ｈ．２６４で再符号化する前に４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する必要がある。これは、実施形態１で説明したように、Ｈ．２６４では１マクロブロック内で８×８画素ブロック予測と４×４画素ブロック予測とを併用することができないためである。
【０１０８】
本実施形態において、再符号化パラメータ決定部５０２は、ＨＥＶＣの１６×１６画素の領域内にある、４×４ＰＵの個数と８×８ＰＵの個数との重み付き予測結果に基づいて、式２を用いてＨ．２６４の予測ブロックサイズを決定する。
【０１０９】
また、実施形態１と同様に、４×４ＰＵ及び８×８ＰＵの個数は其々、ｎｕｍ＿４ｘ４ｐｕ、ｎｕｍ＿８ｘ８ｐｕと表記する。さらに、重み係数をβと表記する。尚、重み係数αは、実施形態１の式１で用いた重み係数αと同一のものとする。
【０１１０】
β×ｎｕｍ＿４ｘ４ｐｕ≦α×ｎｕｍ＿８ｘ８ｐｕ    （式２）
式２による比較結果に基づいて、再符号化パラメータ決定部５０２は、４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択する。
【０１１１】
尚、重み係数βは、代表予測モードを有する４×４ＰＵの個数に基づいて可変となる係数である。本実施形態において再符号化パラメータ決定部５０２は、式２が成立する場合は８×８画素ブロック予測を選択し（図１６（ｃ））、成立しない場合は４×４画素ブロック予測を選択する（図１６（ｂ））。
【０１１２】
次に、本実施形態における図１５のステップＳ１５０１で予測ブロックサイズを選択する例を、図１６を参照して説明する。図１６においては、代表予測モードを有する４×４ＰＵは一個である。例えば、この個数に基づく重み係数βを０．２とする。重み係数αは実施形態１と同様に、α＝１．１とする。図１６において、４×４ＰＵの個数は８個なのでｎｕｍ＿４ｘ４ｐｕは８であり、８×８ＰＵの個数は２個なのでｎｕｍ＿８ｘ８ｐｕは２である。従って、β＝０．２、α＝１．１の場合に式２は成立するため、再符号化パラメータ決定部５０２は８×８画素ブロック予測を選択する（図１６（ｃ））。β＝０．３の場合は式２が不成立となるため、再符号化パラメータ決定部５０２は４×４画素ブロック予測を選択する（図１６（ｂ））。
【０１１３】
図１５に戻り、再符号化パラメータ決定部５０２による再符号化パラメータの決定処理について説明する。再符号化パラメータ決定部５０２は再符号化の際に用いる予測ブロックサイズを決定した（Ｓ１５０１）後、同じく再符号化の際に用いる予測モードを決定する（Ｓ１５０２）。ステップＳ１５０２で再符号化パラメータ決定部５０２は、解像度変換後の対応する各ＰＵの予測モード（代表予測モードも含む）と同一、または予測方向の近い予測モードのいずれかを決定し、処理を終了する。
【０１１４】
尚、式２における重み係数βを決定する方法について、本実施形態で説明した方法に限定されない。即ち、本実施形態では、重み係数βの値は代表予測モードを有する４×４ＰＵの個数に依存しているが、その他のパラメータに基づいて可変としてもよい。例えば、代表予測モードを有する４×４ＰＵの個数だけでなく、Ｈ．２６４への再符号化時に４×４画素ブロック予測または８×８画素ブロック予測のいずれかを選択した結果発生した符号量に基づいて適応的に設定されるパラメータ等としてもよい。また、本実施形態は式２において重み係数βを左辺に掛けているが、本発明はこれに限定されない。即ち、重み係数βを式２の右辺に掛けても、もちろんよい。
【０１１５】
これにより本実施形態は、Ｈ．２６４へ再符号化する際の予測ブロックサイズを探索する処理負荷を増加させずに、ＨＥＶＣの予測ブロックサイズを、Ｈ．２６４で再符号化するための予測ブロックサイズに適切に変換することができる。また、本実施形態は、Ｈ．２６４へ再符号化する際の予測モードを探索する処理負荷を増加させずに、ＨＥＶＣの予測モードを、Ｈ．２６４で再符号化するための予測ブロックサイズに適切に変換することができる。
【０１１６】
さらに本実施形態では、第一の符号化ストリームを復号して得られた復号画像を解像度変換する際に用いられた解像度変換情報に基づいて、Ｈ．２６４で再符号化する際に用いる予測モードを選択している。これにより、解像度変換前の予測モードの再利用性に基づいて、適応的に再符号化時の予測ブロックサイズを切り替えることが可能となる。再利用性とは、ＨＥＶＣの平均値予測モード、水平予測モード、または垂直予測モードのいずれかのモードは、Ｈ．２６４の１６×１６画素予測でも用いることができるため、ＨＥＶＣの予測モードと同じモードをＨ．２６４で利用することを示す。
【０１１７】
尚、本発明はこれに限定されるものではなく、再符号化パラメータ決定部５０２の機能を、図１２に示す復号部１０１、符号化部１０３、または解像度変換部５０４のいずれかの内部に設けてもよい。
【０１１８】
また、再符号化パラメータ決定部５０２で決定された再符号化パラメータの一部だけを符号化部１０３で利用してもよい。例えば、当該再符号化パラメータのうち予測ブロックサイズだけを利用し、予測モードは符号化部１０３で探索する構成でもよい。また、再符号化パラメータ決定部５０２で決定された再符号化パラメータを、符号化部１０３でさらに最適な再符号化パラメータを探索する際の初期値として用いる構成であってもよい。即ち、再符号化パラメータ決定部５０２で再符号化パラメータを決定した後、再び再符号化パラメータを探索してもよい。
【０１１９】
＜実施形態４＞
上記実施形態１、実施形態２、及び実施形態３において、其々図１、図１０、及び図１２に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで実行しても良い。
【０１２０】
図１７は、上記実施形態１、実施形態２、及び実施形態３に係る符号化方式変換装置の各処理部が行う処理を実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２１】
ＣＰＵ１７０１は、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る符号化方式変換装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１７０１は、図１、図１０及び図１２に示した各処理部として機能することになる。
【０１２２】
ＲＡＭ１７０２は、外部記憶装置１７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１７０７を介して、外部から取得したデータ等を一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１７０２は、ＣＰＵ１７０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１７０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【０１２３】
ＲＯＭ１７０３は、本コンピュータの設定データや、ブートプログラム等を格納する。
【０１２４】
操作部１７０４は、キーボードやマウス等により構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１７０１に対して入力することができる。
【０１２５】
表示部１７０５は、ＣＰＵ１７０１による処理結果を表示する。また、表示部１７０５は、例えば液晶ディスプレイで構成される。
【０１２６】
外部記憶装置１７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１７０６には、オペレーティングシステム（ＯＳ）や、図１、図１０、及び図１２に示した各部の機能をＣＰＵ１７０１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１７０６には、処理対象としての各画像が保存されていても良い。
【０１２７】
外部記憶装置１７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１７０１による制御に従って適宜、ＲＡＭ１７０２にロードされ、ＣＰＵ１７０１による処理対象となる。
【０１２８】
Ｉ／Ｆ１７０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置等の他の機部を接続することができ、本コンピュータはこのＩ／Ｆ１７０７を介して様々な情報を取得したり、送出したりすることができる。
【０１２９】
バス１７０８は、上述の各部を繋ぐ。
【０１３０】
上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１７０１が中心となってその制御を行う。
【０１３１】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014096754.tif 000003
【図２】
2014096754.tif 000004
【図３】
2014096754.tif 000005
【図４】
2014096754.tif 000006
【図５】
2014096754.tif 000007
【図６】
2014096754.tif 000008
【図７】
2014096754.tif 000009
【図８】
2014096754.tif 000010
【図９】
2014096754.tif 000011
【図１０】
2014096754.tif 000012
【図１１】
2014096754.tif 000013
【図１２】
2014096754.tif 000014
【図１３】
2014096754.tif 000015
【図１４】
2014096754.tif 000016
【図１５】
2014096754.tif 000017
【図１６】
2014096754.tif 000018
【図１７】
2014096754.tif 000019