(57)【要約】【課題】符号化方式変換処理の処理量を削減することが可能になるとともに、符号化候補の探索処理候補削減による符号化効率、画質の低下を軽減する。【解決手段】本発明は、第１の符号化方式による入力ストリームを、第２の符号化方式による画像のストリームに変換する符号化方式変換装置において、入力ストリームを第１の符号化方式で復号する復号手段と、復号された復号画像を第２の符号化方式で符号化する符号化手段と、復号により得られるブロック毎に残差情報が符号化されていたか否かを示す第１の予測残差有無情報を用いて、符号化候補の探索時に、符号化対象領域の第１の残差有無情報が残差なしの場合に、第２の符号化方式による符号化の第２の残差有無情報に依存する符号化候補の探索制限を適用する符号化候補探索制御手段とを備える。【選択図】      図１
2015186252.tif 000002
【特許請求の範囲】
【請求項１】
第１の符号化方式により符号化された画像の入力ストリームを、第２の符号化方式により符号化した画像のストリームに変換する符号化方式変換装置において、
上記入力ストリームの画像を第１の符号化方式で復号する復号手段と、
上記復号手段により復号された復号画像を第２の符号化方式で符号化する符号化手段と、
上記復号手段による復号により得られるブロック毎に残差情報が符号化されていたか否かを示す第１の予測残差有無情報を用いて、上記符号化手段の符号化候補の探索時に、符号化対象領域の第１の残差有無情報が残差なしの場合に、第２の符号化方式による符号化の第２の残差有無情報に依存する符号化候補の探索制限を適用する符号化候補探索制御手段と
を備えることを特徴とする符号化方式変換装置。
【請求項２】
上記符号化候補探索制御手段が、探索中の符号化単位領域のサイズにおける最適な符号化モードの第２の残差有無情報が残差なしであり、かつ、この符号化単位領域に対応する対象領域の第１の残差有無情報が残差なしの場合に、符号化対象領域を更に小さな符号化単位に分割する符号化候補の探索を制限するものであることを特徴とする請求項１に記載の符号化方式変換装置。
【請求項３】
上記符号化候補探索制御手段が、符号化単位領域を予測単位領域に分割するインター予測候補についての第２の残差有無情報が残差なしであり、かつ、この符号化単位領域に対応する対象領域の第１の残差有無情報が残差なしの場合に、当該符号化単位領域を分割する予測単位領域の他のインター予測候補の探索を制限するものであることを特徴とする請求項１又は２に記載の符号化方式変換装置。
【請求項４】
上記符号化候補探索制御手段が、符号化単位領域全体を予測単位領域とするインター符号化候補の第２の残差有無情報が残差なしであり、かつ、この符号化単位領域に対応する対象領域の第１の残差有無情報が残差なしの場合に、符号化単位領域を複数の予測単位領域に分割するインター予測候補とイントラ予測候補との探索を制限するものであることを特徴とする請求項１〜３のいずれかに記載の符号化方式変換装置。
【請求項５】
上記復号手段が、上記第１の残差有無情報に加えて、復号画像に係る動きベクトル情報や符号化モード情報を抽出して上記符号化手段に与えて、
上記符号化手段が、上記復号手段からの動きベクトル情報や符号化モード情報を、第２の符号化方式による符号化処理に利用する
ことを特徴とする請求項１〜４のいずれかに記載の符号化方式変換装置。
【請求項６】
上記第１の符号化方式又は上記第２の符号化方式が、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ方式であることを特徴とする請求項１〜５のいずれかに記載の符号化方式変換装置。
【請求項７】
上記第１の符号化方式又は上記第２の符号化方式が、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ方式であることを特徴とする請求項１〜６のいずれかに記載の符号化方式変換装置。
【請求項８】
第１の符号化方式により符号化された画像の入力ストリームを、第２の符号化方式により符号化した画像のストリームに変換する符号化方式変換プログラムにおいて、
コンピュータを、
上記入力ストリームの画像を第１の符号化方式で復号する復号手段、
上記復号手段により復号された復号画像を第２の符号化方式で符号化する符号化手段、
上記復号手段による復号により得られるブロック毎に残差情報が符号化されていたか否かを示す第１の予測残差有無情報を用いて、上記符号化手段の符号化候補の探索時に、符号化対象領域の第１の残差有無情報が残差なしの場合に、第２の符号化方式による符号化の第２の残差有無情報に依存する符号化候補の探索制限を適用する符号化候補探索制御手段
として機能させることを特徴とする符号化方式変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方式変換装置及びプログラムに関し、特に符号化方式の異なる映像ストリームのトランスコードを行う符号化方式変換装置及びプログラムに適用し得るものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Moving  Picture  Experts  Group）により規格化されたＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Advanced  Video  Coding：以下、ＡＶＣとも呼ぶ。）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、動き補償予測等を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。
【０００３】
近年、更なる高画質化、高圧縮効率化のため、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（High  Efficiency  Video  Coding：以下、ＨＥＶＣとも呼ぶ。）が規定されている。
【０００４】
ＨＥＶＣは、これまでのＡＶＣ等の映像符号化方式における符号化単位となる１６×１６画素単位のマクロブロックを拡張して、８×８から６４×６４画素までの符号化単位であるコーディングユニット（以下、ＣＵ（Cording  Unit）と呼ぶ。）を４分木構造で表現することが可能となっており、多様なブロックサイズでの符号化が可能となっている（図３参照）。
【０００５】
さらに、ＣＵは、垂直／水平方向に分割した予測ユニット（以下、ＰＵと呼ぶ。）に分割可能であり、動き補償予測等はＣＵのブロックサイズ２Ｎ×２Ｎに対して、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎや非対称な分割形状などに分割した領域単位での予測が可能となっている（図４参照）。
【０００６】
現在、ＨＥＶＣを含む種々の映像符号化方式が混在して使用されており、符号化方式の異なる映像ストリームへのトランスコード技術が必要とされている。
【０００７】
符号化方式の異なる映像ストリームへの変換の場合、入力となる第１の符号化方式によるストリームをデコードし、復号画像を入力として第２の符号化方式によるエンコードを行う方法が一般に用いられる（図２参照）。
【０００８】
このようなトランスコードを効率的に行う方法として、例えば特許文献１では第１の符号化方式によるストリームから得られる動きベクトル情報を利用して第２の符号化方式によるエンコードを行う方法が開示されている。
【０００９】
ＨＥＶＣを第２の符号化方式として用いる場合、従来の符号化方式と異なり、多様なＣＵやＰＵの組み合わせが可能であるため、これらの組み合わせの中から最適な組み合わせを選択することが符号化効率に大きな影響を与える。最適な組み合わせを選択するためには、非常に多くの組み合わせの符号化候補に対して、符号化効率を表す符号化コストを評価する必要があり、この符号化候補の探索を効率的に行う技術が求められている。
【００１０】
例えば、非特許文献１ではＣＵの分割について、あるＣＵのサイズでインター予測モード／イントラ予測モードでの符号化コストの評価の結果、スキップモードが最適と評価された場合に、それより小さなＣＵに分割する探索を行わない方法が開示されている。
【００１１】
非特許文献２ではＰＵの分割について、あるＰＵ分割候補でのインター予測による符号化を評価した結果が、予測残差情報を符号化しない予測残差なしとなった場合に、その他のＰＵ分割候補の探索を省略する方法が開示されている。
【００１２】
非特許文献３ではＰＵの分割について、２Ｎ×２Ｎサイズでのインター予測による符号化候補を評価した結果が動きベクトル差分なし、予測残差情報なしとなった場合に、その他のインター予測のＰＵ分割候補、イントラ予測候補による符号化候補の探索を省略する方法が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００３−３０９８５１号公報
【非特許文献】
【００１４】
【非特許文献１】Ｋ．Ｃｈｏｉ，Ｅ．Ｓ．Ｊａｎｇ，“Ｃｏｄｉｎｇ  ｔｒｅｅ  ｐｒｕｎｉｎｇ  ｂａｓｅｄ  ＣＵ  ｅａｒｌｙ  ｔｅｒｍｉｎａｔｉｏｎ”，ＪＣＴＶＣ−Ｆ０９２，Ｊｕｌｙ  ２０１１，（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−Ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２５５５）
【非特許文献２】Ｒ．Ｈ．Ｇｗｅｏｎ，Ｙ．−Ｌ．Ｌｅｅ，Ｊ．Ｌｉｍ，  “Ｅａｒｌｙ  Ｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  ＣＵ  Ｅｎｃｏｄｉｎｇ  ｔｏ  Ｒｅｄｕｃｅ  ＨＥＶＣ  Ｃｏｍｐｌｅｘｉｔｙ”，ＪＣＴＶＣ−Ｆ０４５，Ｊｕｌｙ  ２０１１（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−Ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝２５０８）
【非特許文献３】Ｊ．Ｙａｎｇ，Ｊ．Ｋｉｍ，Ｋ．Ｗｏｎ，Ｈ．Ｌｅｅ，Ｂ．Ｊｅｏｎ，“Ｅａｒｌｙ  ｓｋｉｐ  ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  ＨＥＶＣ”，ＪＣＴＶＣ−Ｇ５４３，Ｎｏｖｅｍｂｅｒ  ２０１１（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−Ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝３８００）
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、これらの符号化単位（ＣＵ）や予測ユニット（ＰＵ）分割の探索候補の削減手法は符号化処理に必要な処理量の削減に有効ではあるが、その代償として符号化効率の低下を招き、画質劣化の原因となってしまうという課題が生じ得る。
【００１６】
そのため、符号化方式変換処理の処理量を削減することが可能になるとともに、符号化候補の探索処理の候補削減による符号化効率、画質の低下を軽減することができる符号化方式変換装置及びプログラムが求められている。
【課題を解決するための手段】
【００１７】
本発明は、前記課題を解決するためになされたものであり、次のような構成を採用する。
【００１８】
第１の本発明は、第１の符号化方式により符号化された画像の入力ストリームを、第２の符号化方式により符号化した画像のストリームに変換する符号化方式変換装置において、（１）入力ストリームの画像を第１の符号化方式で復号する復号手段と、（２）復号手段により復号された復号画像を第２の符号化方式で符号化する符号化手段と、（３）復号手段による復号により得られるブロック毎に残差情報が符号化されていたか否かを示す第１の予測残差有無情報を用いて、符号化候補の探索時に、符号化対象領域の全ての第１の残差有無情報が残差なしの場合に、第２の符号化方式による符号化の第２の残差有無情報に依存する符号化候補の探索制限を適用する符号化候補探索制御手段とを備えることを特徴とする符号化方式変換装置である。
【００１９】
第２の本発明は、第１の符号化方式により符号化された画像の入力ストリームを、第２の符号化方式により符号化した画像のストリームに変換する符号化方式変換プログラムにおいて、コンピュータを、（１）入力ストリームの画像を第１の符号化方式で復号する復号手段、（２）復号手段により復号された復号画像を第２の符号化方式で符号化する符号化手段、（３）復号手段による復号により得られるブロック毎に残差情報が符号化されていたか否かを示す第１の予測残差有無情報を用いて、符号化候補の探索時に、符号化対象領域の全ての第１の残差有無情報が残差なしの場合に、第２の符号化方式による符号化の第２の残差有無情報に依存する符号化候補の探索制限を適用する符号化候補探索制御手段として機能させることを特徴とする符号化方式変換プログラムである。
【発明の効果】
【００２０】
本発明によれば、符号化方式変換処理の処理量を削減することが可能になるとともに、符号化候補の探索処理の候補削減による符号化効率、画質の低下を軽減することができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態に係る符号化方式変換装置の構成を示すブロック図である。
【図２】従来の符号化方式変換装置の構成を示すブロック図である。
【図３】Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣにおける符号化単位の分割を示す図である。
【図４】Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣにおける符号化単位の予測ユニットへの分割を示す図である。
【発明を実施するための形態】
【００２２】
（Ａ）主たる実施形態
以下では、本発明に係る符号化方式装置及びプログラムの実施形態を、図面を参照しながら詳細に説明する。
【００２３】
（Ａ−１）実施形態の構成
本発明の実施形態では、本発明の符号化方式変換装置を図１に示すように構成する。
【００２４】
図１は、この実施形態に係る符号化方式変換装置１の構成を示すブロック図である。この実施形態に係る符号化方式変換装置１は、各部を搭載した専用ＩＣチップ等のハードウェア的に構成しても良いし、又は、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。
【００２５】
図１において、第１の実施形態に係る符号化方式変換装置１は、デコード部１１、エンコード部１２、符号化候補探索制御部１３を有する。
【００２６】
符号化方式変換装置１は、第１の符号化方式で符号化された入力ストリームを第１の符号化方式で復号し、その復号で得られた復号画像を、第２の符号化方式で符号化することで、符号化方式を変換した画像を出力ストリームとして出力するものである。
【００２７】
ここで、第１の符号化方式は、種々の映像符号化方式とすることができ、例えば、ＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ等のいずれかを適用することができる。
【００２８】
また、第２の符号化方式も、種々の映像符号化方式とすることができ、例えば、ＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ等のいずれかを適用することができる。なお、この実施形態では、第２の符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣである場合を例示する。
【００２９】
なお、第１の符号化方式と第２の符号化方式は、異なる種類の符号化方式であっても良いし、又は、同じ種類の符号化方式であっても良い。
【００３０】
デコード部１１は、第１の符号化方式で符号化された入力ストリームを第１の符号化方式でエントロピー復号して復号画像を生成し、その復号画像をエンコード部１２に与えるものである。また、デコード部１１は、エントロピー復号により得られたブロック単位の残差情報の有無を示す第１の予測残差有無情報を、符号化候補探索制御部１３に与えるものである。
【００３１】
図１に示すように、デコード部１１は、エントロピー復号部１０１、逆量子化部１０２、逆変換部１０３、予測画像生成部１０４、加算部１１３を有する。
【００３２】
エントロピー復号部１０１は、入力された入力ストリームをエントロピー復号して、符号化処理単位毎の変換係数、符号化モード情報、動きベクトル情報等を獲得する。また、エントロピー復号部１０１は、復号により得た、符号化処理単位毎の変換係数を逆量子化部１０２に与える。
【００３３】
ここで、入力ストリームの符号化方式（第１の符号化方式）がＭＰＥＧ−２の場合、エントロピー復号部１０１はハフマン符号化方式等を適用できる。この場合、エントロピー復号部１０１は、８×８離散コサイン変換の変換係数、１６×１６ブロック又は８×８ブロックのインター予測情報等を獲得する。
【００３４】
また、入力ストリームの符号化方式がＡＶＣの場合、エントロピー復号部１０１はコンテキスト適応可変長符号化方式（ＣＡＶＬＣ）やコンテキスト適応算術符号化方式（ＣＡＢＡＣ）等を適用でき、エントロピー復号部１０１は、４×４又は８×８の２通りのいずれかのブロックサイズの整数係数、４×４ブロックで９種類・８×８ブロックで９種類・１６×１６ブロックで４種類のいずれかのモードで予測したイントラ予測情報、１６×１６を７種類のいずれかのモードで動きを予測したインター予測情報等を獲得する。
【００３５】
さらに、入力ストリームの符号化方式がＨＥＶＣの場合、エントロピー復号部１０１はコンテキスト適用算術符号化方式（ＣＡＢＡＣ）等を適用でき、エントロピー復号部１０１は、４×４〜３２×３２のいずれかのブロックサイズの整数係数、４×４〜６４×６４ブロックの３５種類のいずれかのモードで予測したイントラ予測情報、８×４／４×８〜６４×６４のいずれかで動きを予測したインター予測情報等を獲得する。
【００３６】
エントロピー復号部１０１は、ブロック毎の離散コサイン変換の変換係数等が残差情報として入力ストリームに符号化されていたか否かの情報を、ブロック毎の第１の残差有無情報として符号化候補探索制御部１３に供給する。
【００３７】
逆量子化部１０２は、エントロピー復号部１０１により復号された変換係数を、量子化パラメータに従って逆量子化するものである。
【００３８】
逆変換部１０３は、逆量子化された変換係数を逆変換（逆離散コサイン変換等）して、残差画像を生成するものである。
【００３９】
予測画像生成部１０４は、動き補償やイントラ予測等を行って予測画像を生成するものである。
【００４０】
加算部１１３は、予測画像生成部１０４で生成した予測画像と、逆変換部１０３からの残差画像とを加算して、復号画像を生成するものである。加算部１１３は、生成した復号画像をエンコード部１２に出力する。
【００４１】
エンコード部１２は、デコード部１１により復号された復号画像を符号化対象画像として入力し、第２の符号化方式で符号化した符号化画像を含む情報を出力ストリームとして出力するものである。
【００４２】
図１において、エンコード部１２は、符号化候補生成部１１１、変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、予測画像生成部１１０、符号化候補選択部１１２、減算部１１４、加算部１１５を有する。
【００４３】
符号化候補生成部１１１は、後述する符号化候補探索制御部１３からの制御情報に基づいて、符号化単位（ＣＵ）のブロックサイズの分割情報や予測ユニット（ＰＵ）のブロックサイズの分割情報の組み合わせ、インター予測／イントラ予測の組み合わせ等の複数の符号化候補を生成するものである。符号化候補生成部１１１は、符号化候補探索制御部１３により探索を省略する符号化候補については生成しないようにする。これにより、符号化候補の探索に伴う処理量を減らすことができる。
【００４４】
減算部１１４は、予測画像生成部１１０で動き補償予測やイントラ予測を行って生成された予測画像と、符号化候補生成部１１１により生成された符号化対象画像の符号化候補領域との差分である予測残差信号を求めるものである。
【００４５】
変換部１０５は、減算部１１４からの予測残差信号を例えば離散コサイン等の空間変換を施して変換係数を求めるものである。
【００４６】
量子化部１０６は、変換部１０５による空間変換により得られた変換係数等を、第２の符号化方式の量子化パラメータに従って量子化するものである。量子化部１０６は、量子化した変数係数を、エントロピー符号化部１０７及び逆量子化部１０８に与える。
【００４７】
逆量子化部１０８は、量子化部１０６からの量子化された変数係数を、第２の符号化方式の量子化パラメータに従って逆量子化するものである。
【００４８】
逆変換部１０９は、逆量子化部１０８により逆量子化された変換係数を逆変換（逆離散コサイン変換等）して、残差画像を生成するものである。
【００４９】
予測画像生成部１１０は、動き補償やイントラ予測等を行って予測画像を生成するものである。予測画像生成部１１０は、生成した予測画像を減算部１１４及び加算部１１５に与える。
【００５０】
加算部１１５は、予測画像生成部１１０で生成された予測画像と、逆変換部１０３からの残差画像とを加算して、出力ストリームを第２の符号化方式による復号器で復号した場合に得られる復号画像を生成するものである。この生成された復号画像は、後続の符号化処理の参照画像として予測画像生成部１１０に与えられる。
【００５１】
エントロピー符号化部１０７は、量子化部１０６からの量子化された変換係数を、所定のエントロピー符号化方式で符号化を行い、符号化単位（ＣＵ）の分割情報や予測画像生成部１１０が用いた動きベクトル情報や予測モード情報と共に、符号化候補に対応する出力ストリームとして出力するものである。
【００５２】
なお、第２の符号化方式がＨＥＶＣの場合、コンテキスト適用算術符号化方式（ＣＡＢＡＣ）等を適用できる。また、第２の符号化方式がＭＰＥＧ−２の場合にはハフマン符号化方式等を適用でき、第２の符号化方式がＡＶＣの場合にはコンテキスト適応可変長符号化方式（ＣＡＶＬＣ）やコンテキスト適応算術符号化方式（ＣＡＢＡＣ）等を適用できる。
【００５３】
符号化候補選択部１１２は、符号化候補生成部１１２により生成された複数の符号化候補ごとに符号化処理を行った場合の符号化コスト（レート歪コスト）を評価し、符号化コストが最適な符号化候補を選択するものである。
【００５４】
符号化候補探索制御部１３は、デコード部１１におけるエントロピー復号で得られる第１の予測残差有無情報と、エンコード部１２における符号化候補の符号化コスト評価時に得られる第２の予測残差有無情報とに基づいて、符号化候補生成部１１１で生成する、符号化単位（ＣＵ）や予測ユニット（ＰＵ）の組み合わせといった複数の符号化候補の探索を制御するものである。
【００５５】
（Ａ−２）実施形態の動作
次に、第１の実施形態に係る符号化方式変換装置１における動作を、図１を参照しながら詳細に説明する。
【００５６】
まず、図１において、第１の符号化方式により符号化されたストリームをデコード部１１に入力する。デコード部１１では、エントロピー復号部１０１が入力ストリームに対してエントロピー復号を行い、例えば離散コサイン変換等の変換係数、符号化モード情報、動きベクトル情報等が獲得される。
【００５７】
エントロピー復号部１０１により得られた変換係数は、逆量子化部１０２・逆変換部１０３により逆量子化・逆変換されて加算部１１３に与えられる。加算部１１３では、予測画像生成部１０４により動き補償やイントラ予測等が行なわれて生成された予測画像と、逆変換部１０３からの残差画像とを加算して復号画像が求められる。
【００５８】
加算部１１３で得られた復号画像は、第２の符号化方式による符号化対象画像として、エンコード部１２に供給されると共に、後続する入力ストリームの復号処理の参照画像として予測画像生成部１０４に供給される。
【００５９】
デコード部１１において、エントロピー復号部１０１では、エントロピー復号により得られた、ブロック毎の離散コサイン変換の変換係数等が残差情報として符号化されていたか否かの情報が、ブロックごとの第１の予測残差有無情報として符号化候補探索制御部１３に供給される。
【００６０】
エンコード部１２では、デコード部１１からの復号画像を符号化対象画像として入力し、エンコード部１２は第２の符号化方式でエンコード処理を行う。
【００６１】
エンコード部１２において、符号化候補生成部１１１は、デコード部１１から入力された復号画像を、符号化単位（ＣＵ）、予測ユニット（ＰＵ）の組み合わせの符号化候補ごとに分割する。
【００６２】
減算部１１４は、予測画像生成部１１０で動き補償予測やイントラ予測を行って生成した予測画像と、入力された復号画像の符号化候補領域との差分である予測残差信号を求め、変換部１０５が離散コサイン変換等の空間変換を施した変換係数を算出し、量子化部１０６が、空間変換で得られた変換係数を量子化して量子化された変換係数を求める。
【００６３】
量子化された変換係数は、エントロピー符号化部１０７により例えば可変長符号や算術符号を用いた所定のエントロピー符号化がなされる。そのエントロピー符号化された情報は、予測画像生成部１１０で用いられた動きベクトル情報や予測モード情報と共に、出力ストリームとして出力される。
【００６４】
また、量子化部１０６により量子化された変換係数は、逆量子化部１０８、逆変換部１０９で逆量子化・逆変換される。逆変換された変換係数は、加算部１１５により、予測画像生成部１１０からの予測画像と加算される。これにより、出力ストリームを第２の符号化方式の復号器で復号した場合に得られる復号画像が生成される。また、加算部１１５からの出力される画像は、後続の画像の符号化処理の参照画像として予測画像生成部１１０に供給する。
【００６５】
エントロピー符号化部１０７は、量子化部１０６により量子化された変換係数をエントロピー符号化し、符号化単位（ＣＵ）の分割情報や、予測画像生成部１１０で用いた動きベクトル情報や予測モード情報と共に、符号化候補に対応するストリームを生成する。
【００６６】
なお、符号化候補の探索時は、エントロピー符号化部１０７は、ストリームの生成までは行わず、符号化候補に対応するストリームに必要となる符号量のみを符号化候補毎に算出し、符号化候補選択部１１２による符号化候補選択後に、エントロピー符号化部１０７は実際のストリームを生成するよう構成しても良い。つまり、符号化候補の探索時は、エントロピー符号化部１０７が各符号化候補毎のストリームに必要な符号量（レート）を生成して、その結果に基づいて、符号化候補毎の残差信号の有無を含む情報を第２の予測残差有無情報として符号化候補探索制御部１３に供給する。
【００６７】
量子化された変換係数は逆量子化部１０８、逆変換部１０９で逆量子化・逆変換して、加算部１１５が予測画像生成部１１０からの予測画像と逆量子化・逆変換された情報とを加算することで、符号化候補に対応するストリームを第２の符号化方式の復号器で復号した場合に得られる復号画像を生成する。
【００６８】
符号化候補の探索時は、加算部１１５により得られる復号画像と、入力された第１の符号化方式の復号画像の符号化候補領域との歪を元に符号化コストを評価する。符号化候補選択部１１２によって選択された、第２の符号化方式の復号画像は、後続の画像の符号化処理のインター予測の参照画像として予測画像生成部１１０に供給する。
【００６９】
符号化候補生成部１１１では、符号化単位（ＣＵ）の分割や予測ユニット（ＰＵ）の分割の組み合わせ、イントラ予測／インター予測の組み合わせ等、複数の符号化候補を生成する。
【００７０】
ここで、符号化候補生成部１１１による符号化候補の生成方法を説明する。
【００７１】
例えば、符号化候補生成部１１１による符号化候補の生成方法は、単純には、最も大きな符号化単位（ＣＵ）のブロックサイズから再帰的に、ある符号化単位（ＣＵ）のブロックサイズでのインター／イントラ符号化候補や、予測ユニット（ＰＵ）の分割候補を生成し、符号化単位（ＣＵ）をより小さな符号化単位（ＣＵ）に分割した場合の符号化候補を各符号化単位（ＣＵ）ごとに再帰的に生成する。
【００７２】
符号化候補選択部１１２は、エントロピー符号化部１０７生成された符号化候補毎に上記のような符号化処理を行った場合の符号化コスト（レート歪コスト）を評価して、符号化コストが最適となった符号化候補に対応するストリームを選択する。エントロピー符号化部１０７は、符号化候補選択部１１２により選択された符号化コストが最適な符号化候補に対応する出力ストリームを出力する。例えば、符号化候補選択部１１２は、符号化候補に対応するストリームに必要となる符号量（レート）と、第２の符号化方式の復号画像との歪を用いて符号化コストを評価する。
【００７３】
符号化候補探索制御部１３では、デコード部１１から得られる第１の予測残差有無情報と、エンコード部１２から得られる第２の予測残差有無情報とに基づいて、符号化候補生成部１１１で生成する符号化単位（ＣＵ）や予測ユニット（ＰＵ）の組み合わせといった複数の符号化候補の生成を制御する。
【００７４】
ここで、符号化単位（ＣＵ）や予測ユニット（ＰＵ）の組み合わせは、あらゆる組み合わせについて符号化コストを評価して最適な候補を選択するように処理を行えば符号化効率が高くなる。しかし、図３に示すように符号化単位（ＣＵ）は多種のブロックサイズがあり、又図４に示すように符号化単位の予測ユニットへの分割の組み合わせは多数の選択肢があるため、符号化単位（ＣＵ）や予測ユニット（ＰＵ）の組み合せは膨大となる。そのため、符号化コストを評価して最適な符号化候補を選択する処理の処理量は膨大なものとなる。一方、従来技術のように、符号化候補の評価時に得られる第２の予測残差有無情報のみを用いて符号化候補数を削減しようとすると、第１の符号化方式で予測画像を残差情報で補正する必要がある場合でも、ＨＥＶＣ等では残差信号に対する変換・量子化処理が異なるため、残差情報がなしとなる場合がある。そうすると、予測画像に対する残差情報で補正が必要である場合でも残差情報による補正を行うことができず、画像が劣化する場合も生じ得る。
【００７５】
そこで、この実施形態では、符号化候補探索制御部１３が、第２の予測残差有無情報だけでなく、第１の予測残差有無情報を考慮して、第２の予測残差有無情報に依存して符号化候補の探索に係る生成削除処理を行う。
【００７６】
符号化候補探索制御部１３による符号化候補の生成削除処理は、種々の方法を適用できるが、例えば以下の符号化候補の生成削減処理を適用することができる。
【００７７】
例えば、ある符号化単位（ＣＵ）のブロックサイズにおいてインター符号化候補、イントラ符号化候補の探索を行った結果、この符号化単位（ＣＵ）のブロックサイズにおける最適な符号化モードの第２の予測残差有無情報が残差なしとなり、かつ、この符号化単位（ＣＵ）の領域に対応する第１の予測残差有無情報が全て残差なしの場合は、符号化候補探索制御部１３は符号化単位（ＣＵ）をさらに小さな符号化単位（ＣＵ）に分割する符号化候補の生成を削減する処理を行う。すなわち、符号化候補探索制御部１３は、符号化単位（ＣＵ）を再帰的に分割する候補に対する探索処理を削減する。
【００７８】
また例えば、符号化候補探索制御部１３は、符号化単位（ＣＵ）のインター符号化候補の探索において、符号化単位（ＣＵ）を２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎといった予測ユニット（ＰＵ）に分割する符号化候補の評価結果の第２の予測残差有無情報が残差なしとなり、かつ、この符号化単位（ＣＵ）の領域に対応する第１の予測残差有無情報が全て残差なしの場合は、他の予測ユニット（ＰＵ）の分割サイズの符号化候補の生成を削減する処理を行う。すなわち、符号化候補探索制御部１３は、他の予測ユニット（ＰＵ）の分割サイズの符号化候補に対する探索処理を削減する。
【００７９】
さらに例えば、符号化候補探索制御部１３は、ある符号化単位（ＣＵ）のサイズでの探索について、符号化単位（ＣＵ）全体を予測ユニット（ＰＵ）とする２Ｎ×２Ｎのインター符号化候補の探索をまず行い、２Ｎ×２Ｎのインター符号化候補の評価結果の第２の予測残差有無情報が残差なしであり、かつ、この符号化単位（ＣＵ）の領域に対応する第１の残差有無情報が全て残差なしの場合は、符号化候補探索制御部１３は、符号化単位（ＣＵ）を複数の予測ユニット（ＰＵ）に分割するインター予測候補とイントラ予測候補との生成を削減する処理を行う。すなわち、符号化候補探索制御部１３は、同じ符号化単位（ＣＵ）のブロックサイズでの他の符号化候補に対する探索処理を削減する。
【００８０】
これらの符号化候補の生成削減処理は、上記３個の符号化候補の生成削減処理の方法を組み合わせて用いて処理するように構成してもよい。また、符号化候補探索制御部１３は、ユーザの設定により、符号化候補の生成削減処理の組み合わせ方を設定できるように構成しても良い。
【００８１】
以上の処理によって、第１の符号化方式によるストリームを第２の符号化方式によるストリームに変換する。
【００８２】
（Ａ−３）実施形態の効果
以上のように、この実施形態によれば、以下のような効果を得ることができる。
【００８３】
符号化方式変換処理における符号化候補の探索処理量を削減することが可能になるとともに、符号化候補の探索処理の候補削減による符号化効率、画質の低下を軽減することができる。
【００８４】
（Ｂ）他の実施形態
上述した実施形態においても、本発明の種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用可能である。
【００８５】
例えば、異なる符号化方式間のトランスコード処理に限定されず、同じ符号化方式間のビットレート変換や解像度変換等のトランスコード処理においても適用可能である。
【００８６】
上記第１及び第２の実施形態は、第１の符号化方式のストリームから得られる情報として予測残差の有無情報の利用に関して説明したが、その他にも動きベクトル情報や符号化モード情報を抽出して第２の符号化方式による符号化処理を効率的に行うように構成しても良い。
【００８７】
また、本発明は、上述した第１及び第２の実施形態で説明した構成を有する装置として構成するようにしても良い。例えば、パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン、ゲーム機、携帯端末、テレビジョン受像機、セットトップボックス、デジタルカメラ等に、本発明の構成が搭載されるようにしても良い。また、装置に搭載されるＣＰＵが本発明に係るプログラムを実行して実施するようにしても良い。
【００８８】
また、１台の装置上でなく、複数台の装置で連携して本発明を実現できるようにしても良い。さらに、本発明は、インターネットに代表されるネットワークと接続可能であり、ネットワークから入力ストリームを受信して符号化方式を変換するようにしても良い。
【００８９】
また、本発明に係る符号化方式変換装置を搭載する装置は、ＤＶＤディスクやＢｌｕ−Ｒａｙ（登録商標）ディスクやフラッシュ記憶装置等の記録媒体（ディスク）やデジタルビデオカメラ等の映像装置から入力ストリームを入力して、ディスプレイに出力映像を出力したり又は別の記録媒体（ディスク）に記録したりするようにしても良い。
【符号の説明】
【００９０】
１…符号化変換装置、
１１…デコード部、１０１…エントロピー復号部、１０２…逆量子化部、１０３…逆変換部、１０４…予測画像生成部、１１３…加算部、
１２…エンコード部、１１１…符号化候補生成部、１０５…変換部、１０６…量子化部、１０８…逆量子化部、１０９…逆変換部、１１０…予測画像生成部、１１４…減算部、１１５…加算部、
１３…符号化候補探索制御部。
【図１】
2015186252.tif 000003
【図２】
2015186252.tif 000004
【図３】
2015186252.tif 000005
【図４】
2015186252.tif 000006