(57)【要約】【課題】第１のタイプのストリームから第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することを可能にする画像処理装置を提供すること。【解決手段】本発明の装置は、第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に上記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する取得部４３１と、上記１以上の上記再符号化済マクロブロックに関する上記情報に基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の符号化複雑度を予測する予測部４３３と、を備える。【選択図】図４
2018157291.tif 000002
【特許請求の範囲】
【請求項１】
第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する取得部と、
前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測する予測部と、
を備える、画像処理装置。
【請求項２】
前記再符号化予定マクロブロックは、前記第１のタイプのストリームから復号された非圧縮データである、請求項１記載の画像処理装置。
【請求項３】
前記再符号化済マクロブロックに関する情報は、前記１以上の前記再符号化済マクロブロックに対応する前記第１のタイプのストリームの１以上のマクロブロックの符号化複雑度を含む、請求項１又は２記載の画像処理装置。
【請求項４】
前記１以上の前記再符号化済マクロブロックに対応する前記第１のタイプのストリームの前記１以上のマクロブロックの前記符号化複雑度は、当該１以上のマクロブロックの符号量と、当該１以上のマクロブロックの量子化パラメータとに基づいた値である、請求項３記載の画像処理装置。
【請求項５】
前記１以上の前記再符号化済マクロブロックに関する前記情報は、前記１以上の前記再符号化済マクロブロックの符号化複雑度を含む、請求項１乃至４のうちいずれか１項記載の画像処理装置。
【請求項６】
前記１以上の前記再符号化済マクロブロックの前記符号化複雑度は、前記１以上の前記再符号化済マクロブロックの符号量と、前記１以上の前記再符号化済マクロブロックの量子化パラメータとに基づいた値である、請求項５記載の画像処理装置。
【請求項７】
前記取得部は、前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームのマクロブロックの符号化複雑度を更に取得し、
前記予測部は、前記１以上の前記再符号化済マクロブロックに関する前記情報と、前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームの前記マクロブロックの前記符号化複雑度とに基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の前記符号化複雑度を予測する、請求項１乃至６のうちいずれか１項記載の画像処理装置。
【請求項８】
前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームのマクロブロックの符号化複雑度は、当該第１のタイプのストリームのマクロブロックのデータサイズと、当該第１のタイプのストリームのマクロブロックの量子化パラメータとに基づいた値である、請求項７記載の画像処理装置。
【請求項９】
前記取得部は、前記再符号化予定マクロブロックの前記再符号化を行うための目標符号量を更に取得し、
前記再符号化予定マクロブロックに行われる前記再符号化の前記符号化複雑度と、前記再符号化予定マクロブロックの前記再符号化を行うための目標符号量とに基づいて、前記再符号化予定マクロブロックの前記再符号化を行うための量子化パラメータを算出する算出部を、
更に備える、請求項１乃至８のうちいずれか１項記載の画像処理装置。
【請求項１０】
前記第２のタイプのストリームの画像サイズは、前記第１のタイプのストリームの画像サイズと異なる、請求項１乃至９のうちいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のタイプのストリームから第２のタイプのストリームへの再符号化に関する処理を行う画像処理装置に関する。
【背景技術】
【０００２】
デジタル放送及びＤＶＤ（Digital Versatile Disc）などの普及により、ＭＰＥＧ−２フォーマットで作成されたコンテンツが蓄積されている。一方、ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−４などのフォーマットで作成されたコンテンツの蓄積も進んでいる。このような種々のコンテンツの蓄積に伴って、異なる映像規格への変換、画像サイズの縮小及び拡大、又はビットレートの変更などの処理が必要となる。このような処理を実現するため、オリジナルのビットストリームを復号して画像サイズ及び符号化規格などが異なる新たなビットストリームへ再符号化する技術（トランスコード技術）が知られている。
【０００３】
トランスコード技術により再符号化されるビットストリームの符号量を制御するため、符号化の複雑さを表す符号化複雑度を推測し、その推測結果に基づいて発生符号量を制御する方法がある（例えば、特許文献１及び２参照。）。
【０００４】
具体的に、量子化ステップサイズをＱとし発生符号量をＢとすると、符号化複雑度Ｘは、Ｘ＝ＢＱの関係により算出することができる。例えば、再符号化が行われるビットストリームの符号化複雑度は、再符号化済のビットストリームを用いて算出した符号化複雑度Ｘの大きさに応じて推測することができる。このような推測結果に応じて出力ビットストリームの量子化ステップサイズを調整することにより、出力ビットストリームの発生符号量を制御することができる。
【０００５】
また、例えば、特許文献３には、上述した符号化複雑度をフレーム単位で推定することが、開示されている。特許文献４には、上述した符号化複雑度をピクチャ単位で推定することが、開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１１−５２５０９４号公報
【特許文献２】国際公開第２０１６／１４７８３６号
【特許文献３】特開２０１１−０１５２２０号公報
【特許文献４】特開２０１０−１８７３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至４に開示された手法などにより推測される複雑度は、必ずしも正確な値とは限らない。例えば、符号化複雑度の予測値が、実際に符号化した結果から求められる符号化複雑度の実測値よりも小さな値となる場合、再符号化が行われた出力ビットストリームの符号量は、予測される符号量よりも多くなってしまう。このように多量の符号量が発生する場合、画質破綻及びバッファオーバーフローなども発生するため、画質が劣化してしまう虞があった。
【０００８】
本発明の目的は、第１のタイプのストリームから第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することを可能にする画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する取得部と、前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測する予測部と、を備える。
【発明の効果】
【００１０】
本発明によれば、第１のタイプのストリームから第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】図１は、関連技術に係るトランスコード装置の概略構成を示すブロック図である。
【図２】図２は、入力ビットストリームと、入力ビットストリームが復号された非圧縮データと、非圧縮データが再符号化された出力ビットストリームとのそれぞれの例を、フレーム単位で示す図である。
【図３】図３は、本発明の実施形態に係るトランスコード装置の概略的な構成の一例を示す説明図である。
【図４】図４は、第１の実施形態に係る符号量制御部の概略的な構成の例を示すブロック図である。
【図５】図５は、第１のタイプのビットストリームと第２のタイプのビットストリームとのそれぞれの例を、マクロブロック単位で示す図である。
【図６】図６は、第２の実施形態に係る画像処理装置４００の概略的な構成の例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
【００１３】
説明は、以下の順序で行われる。
１．関連技術
２．本発明の実施形態の概要
３．トランスコード装置の構成
４．第１の実施形態
４．１．符号量制御部の構成
４．２．技術的特徴
５．第２の実施形態
５．１．画像処理装置の構成
５．２．技術的特徴
６．他の実施形態
【００１４】
＜＜１．関連技術＞＞
本発明の実施形態に関連する技術として、トランスコーディングを説明する。
【００１５】
図１は、トランスコーディングを行うトランスコード装置１０の概略構成を示すブロック図である。
【００１６】
トランスコード装置１０は、例えば入力ビットストリームから出力ビットストリームへの再符号化を行うため、例えば、図１に示すように、復号部１１、フォーマット変換部１２、符号化部１３、符号量制御部１４、及び出力バッファ１５を備える。
【００１７】
入力ビットストリームは、まず、復号部１１で非圧縮映像信号（非圧縮データ）に復号される。続いて、非圧縮データの画像サイズが、フォーマット変換部１２により変換される。そして、画像サイズの変換が行われた非圧縮データは、符号化部１３に供給される。符号化部１３は、画像サイズの変換が行われた非圧縮データの再符号化を、符号量制御部１４から与えられた量子化ステップによって行う。再符号化が行われたビットストリームは、出力バッファ１５へ供給された後、出力ビットストリームとして外部へ出力される。
【００１８】
例えば、符号量制御部１４は、量子化ステップサイズをＱとし発生符号量をＢとすると、符号化複雑度Ｘは、Ｘ＝ＢＱの関係により算出することができる。
【００１９】
符号量制御部１４は、例えばフレーム毎またはピクチャ毎に、入力ビットストリーム及び過去（再符号化済）の出力ビットストリームのそれぞれの符号化複雑度を保持する。そして、符号量制御部１４は、保持している符号化複雑度の大きさに応じて再符号化予定の出力ビットストリームの複雑度を推測して、出力バッファ１５０により監視されるバッファ占有量なども考慮して再符号化予定の出力ビットストリームの量子化ステップサイズを調整することができる。
【００２０】
具体的には、時刻ｔで再符号化予定のフレームの符号化複雑度ＸＥＸＰ（ｔ）は、次のようにして予測することができる。
【００２１】
まず、図２は、入力ビットストリーム２Ａと、入力ビットストリーム２Ａが復号された非圧縮データ２Ｂと、非圧縮データ２Ｂが再符号化された出力ビットストリーム２Ｃを、フレーム単位で示す図である。
【００２２】
例えば図２に示すように、時刻ｔで再符号化予定のフレームＩｅ（ｔ）の位置に対応する入力ビットストリームＩｂ（ｔ）の符号化複雑度をＸＤＥＣ（ｔ）とする。また、再符号化予定のフレームと同一ピクチャタイプであって再符号化予定のフレームよりも１フレーム過去の再符号化済のフレームＩｅ（ｔ−ｎ）の位置に対応する入力ビットストリームの符号化複雑度をＸＤＥＣ（ｔ−ｎ）とする。
【００２３】
すなわち、ＸＤＥＣ（ｔ）及びＸＤＥＣ（ｔ−ｎ）のそれぞれは、時刻ｔ及び時刻ｔ−ｎ時点でそれぞれ符号化した第２のタイプのストリームのフレームＩｅ（ｔ）及びフレームＩｅ（ｔ−ｎ）と同じフレーム位置の第１のタイプのストリームのフレームＩｂ（ｔ）及びフレームＩｂ（ｔ−ｎ）の符号化複雑度である。
【００２４】
さらに、時刻ｔ−ｎ時点で符号化した第２のタイプのストリームのフレームＩｅ（ｔ−ｎ）の符号化複雑度を、ＸＥＣＮ（ｔ−ｎ）とする。
【００２５】
上記のようなＸＤＥＣ（ｔ）、ＸＤＥＣ（ｔ−ｎ）、及びＸＥＣＮ（ｔ−ｎ）がＸ＝ＢＱの関係により算出されると、時刻ｔで再符号化予定のフレームの符号化複雑度ＸＥＸＰ（ｔ）は、下記の式１を用いて予測することができる。
【００２６】
【数１】
2018157291.tif 000003
【００２７】
＜＜２．本発明の実施形態の概要＞＞
まず、本発明の実施形態の概要を説明する。
【００２８】
（１）技術的課題
例えば、上述した符号量制御部１４により推測される符号化複雑度は、必ずしも正確な値とは限らない。とりわけ、図２に示した例において、ｎの値が大きい場合、すなわち同一ピクチャのフレーム間隔が長い場合、同一ピクチャのフレーム間の相関が小さくなり得る。これにより、符号化複雑度の予測値が実測値よりも大きく離れてしまう虞がある。
【００２９】
例えば、複雑度の予測値が、実際に符号化した結果から求められる複雑度の実測値よりも小さな値となる場合、出力ビットストリームの符号量は、予測される符号量よりも多くなる。このような意図しない多量の符号量が発生することにより、画質破綻及びバッファオーバーフローなども発生するため、画質が劣化してしまう虞があった。
【００３０】
本発明の実施形態の目的は、入力ビットストリームなどの第１のタイプのストリームから出力ビットストリームなどの第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することを可能にすることである。
【００３１】
（２）技術的特徴
本発明の実施形態では、例えば、第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に上記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得し、上記１以上の上記再符号化済マクロブロックに関する上記情報に基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の符号化複雑度を予測する。
【００３２】
これにより、例えば、第１のタイプのストリームから第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することが可能になる。
【００３３】
なお、上述した技術的特徴は本発明の実施形態の具体的な一例であり、当然ながら、本発明の実施形態は上述した技術的特徴に限定されない。
【００３４】
＜＜３．トランスコード装置の構成＞＞
図３を参照して、本発明の実施形態に係るトランスコード装置１の構成の例を説明する。図３は、本発明の実施形態に係るトランスコード装置１の概略的な構成の一例を示す説明図である。図３を参照すると、トランスコード装置１は、復号部１１０、フォーマット変換部１２０、符号化部１３０、符号量制御部１４０、及び出力バッファ１５０を備える。
【００３５】
例えば、トランスコード装置１は、ＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＡＶＣ／Ｈ．２６４、及びＨＥＶＣ／Ｈ．２６５などのフォーマットに準拠したビットストリームに関する処理（復号、符号化）を行う装置である。当然ながら、トランスコード装置１は、これらのフォーマットの例に関する処理を行う場合に限定されない。また、上記ビットストリームのフレーム画像は、一連のマクロブロックで構成されているものとする。トランスコード装置１は、マクロブロック単位で処理を行うものとする。
【００３６】
（１）復号部１１０
復号部１１０は、第１のタイプのストリームを非圧縮データに復号する。非圧縮データはフォーマット変換部１２０に供給される。
【００３７】
（２）フォーマット変換部１２０
フォーマット変換部１２０は、復号部１１０から供給された非圧縮データに対して、その画像サイズのフォーマット変換を行う。これにより、復号部１１０から供給された非圧縮データは、任意の画像サイズに変換される。画像サイズのフォーマット変換が行われた非圧縮データは、符号化部１３０に供給される。
【００３８】
（３）符号化部１３０
符号化部１３０は、画像サイズのフォーマットの変換が行われた非圧縮データを、第２のタイプのストリームに再符号化する。再符号化されたビットストリームは出力バッファ１５０に供給される。
【００３９】
（４）符号量制御部１４０
符号量制御部１４０は、具体的には後述するように、符号化部１３０との間で、非圧縮データを第２のタイプのストリームに再符号化するために用いるパラメータの送受信を行う。
（５）出力バッファ１５０
出力バッファ１５０は、符号化部１３０により再符号化された第２のタイプのストリームを一時的に格納し、フレームレート及びビットレートなどに基づく任意のタイミングで出力ビットストリームとして外部に出力する。
【００４０】
＜＜４．第１の実施形態＞＞
続いて、図４等を参照して、本発明の第１の実施形態を説明する。
【００４１】
＜４．１．符号量制御部の構成＞
次に、図４を参照して、第１の実施形態に係る符号量制御部１４０の構成の例を説明する。図４は、第１の実施形態に係る符号量制御部１４０の概略的な構成の例を示すブロック図である。図４に示すように、符号量制御部１４０は、通信部４１０、記憶部４２０、及び処理部４３０を備える。
【００４２】
（１）通信部４１０
通信部４１０は、トランスコード装置１内の他の処理部（例えば、復号部１１０、符号化部１３０、出力バッファ１５０）から信号を受信し、トランスコード装置１内の他の処理部（例えば符号化部１３０）へ信号を送信する。
【００４３】
（２）記憶部４２０
記憶部４２０は、符号量制御部１４０の動作のためのプログラム（命令）及びパラメータ、並びに様々なデータを、一時的又は恒久的に記憶する。当該プログラムは、符号量制御部１４０の動作のための１つ以上の命令を含む。
【００４４】
（３）処理部４３０
処理部４３０は、符号量制御部１４０の様々な機能を提供する。処理部４３０は、取得部４３１、予測部４３３、算出部４３５、及び提供部４３７を含む。なお、処理部４３０は、これらの構成要素以外の他の構成要素をさらに含み得る。すなわち、処理部４３０は、これらの構成要素の動作以外の動作も行い得る。取得部４３１、予測部４３３、算出部４３５、及び提供部４３７の具体的な動作は、後に詳細に説明する。
【００４５】
例えば、処理部４３０（取得部４３１）は、通信部４１０を介して、復号部１１０及び符号化部１３０などと通信する。
【００４６】
（４）実装例
記憶部４２０は、メモリ（例えば、不揮発性メモリ及び／若しくは揮発性メモリ）並びに／又はハードディスク等により実装されてもよい。取得部４３１、予測部４３３、算出部４３５、及び提供部４３７は、同一のプロセッサにより実装されてもよく、別々に異なるプロセッサにより実装されてもよい。上記メモリ（記憶部４２０）は、このようなプロセッサ（チップ）内に含まれてもよい。
【００４７】
符号量制御部１４０は、プログラム（命令）を記憶するメモリと、当該プログラム（命令）を実行可能な１つ以上のプロセッサとを含んでもよい。当該１つ以上のプロセッサは、上記プログラムを実行して、処理部４３０の動作（取得部４３１、予測部４３３、算出部４３５、及び提供部４３７の動作）を行ってもよい。上記プログラムは、処理部４３０の動作（取得部４３１、予測部４３３、算出部４３５、及び提供部４３７の動作）をプロセッサに実行させるためのプログラムであってもよい。
【００４８】
＜４．２．技術的特徴＞
次に、第１の実施形態の技術的特徴を説明する。
【００４９】
符号量制御部１４０（取得部４３１）は、第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に上記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する。そして、符号量制御部１４０（予測部４３３）は、上記１以上の上記再符号化済マクロブロックに関する上記情報に基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の符号化複雑度を予測する。
【００５０】
（１）ストリーム
上記第１のタイプのストリームは、例えば、トランスコード装置１（復号部１１０）に入力される符号化されたビットストリームである。また、第２のタイプのストリームは、トランスコード装置１（出力バッファ１５０）から出力される再符号化されたビットストリームである。
【００５１】
上記第２のタイプのストリームの画像サイズは、例えば、フォーマット変換部１２０により行われる画像サイズのフォーマット変換によって、上記第１のタイプのストリームの画像サイズと異なる。
【００５２】
（２）再符号化予定マクロブロック
上記再符号化予定マクロブロックは、上記第１のタイプのストリームから復号された非圧縮データである。具体的に、上記非圧縮データは、復号部１１０によって上記第１のタイプのストリームから復号されたマクロブロック単位の非圧縮データである。
【００５３】
−第１のタイプのストリームのマクロブロックの符号化複雑度
取得部４３１は、上記再符号化予定マクロブロックに対応する上記第１のタイプのストリームのマクロブロックの符号化複雑度を更に取得してもよい。
【００５４】
上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度は、例えば復号部１１０から供給され記憶部４２０に蓄積される。取得部４３１は、記憶部４２０にアクセスすることにより、上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度を取得する。
【００５５】
具体的に、上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度は、当該マクロブロックの符号量、及び当該マクロブロックの量子化パラメータに基づいた値である。具体的に、上記符号化複雑度は復号部１１０により算出される。
【００５６】
まず、復号部１１０は、上記第１のタイプのストリームから、マクロブロックの符号量、マクロブロックの量子化パラメータを抽出する。量子化パラメータとは、例えば量子化ステップサイズである。そして、復号部１１０は、抽出した符号量及び量子化ステップサイズの積を、上記第１のタイプのストリームにおける上記マクロブロックの上記符号化複雑度として算出することができる。
【００５７】
（３）再符号化済マクロブロック
上記再符号化済マクロブロックは、上記再符号化予定マクロブロックよりも前に上記再符号化が行われたマクロブロックである。具体的に、上記再符号化済マクロブロックは、符号化部１３０によって上記第２のタイプのストリームに再符号化されたマクロブロック単位の圧縮データである。
【００５８】
−再符号化済マクロブロックに関する情報
上記再符号化済マクロブロックに関する情報は、上記１以上の上記再符号化済マクロブロックに対応する上記第１のタイプのストリームの１以上のマクロブロックの符号化複雑度、及び上記１以上の上記再符号化済マクロブロックの符号化複雑度を含む。
【００５９】
上記１以上の上記再符号化済マクロブロックに対応する上記第１のタイプのストリームの１以上のマクロブロックとは、例えば図５に示すように、上記１以上の上記再符号化済マクロブロックと同じ位置を示す上記第１のタイプのストリームのマクロブロックである。
【００６０】
図５は、復号部１１０に入力される第１のタイプのビットストリーム４Ａと、符号化部１３０により符号化された第２のタイプのビットストリーム４Ｂとのそれぞれの例をマクロブロック単位で示す図である。
【００６１】
第１のタイプのビットストリーム４Ａは、例えば、上記再符号化予定マクロブロックと同じ位置を示すマクロブロック４１と、マクロブロック４１よりも前に再符号化が行われる複数個のマクロブロック４２とから構成される。上記複数個のマクロブロック４２は、例えば、図５に示すように、フレームの先頭（左上）に位置するマクロブロックから上記再符号化予定マクロブロックの手前に位置するマクロブロックまで並んだマクロブロックである。ここで、上記複数個のマクロブロック４２は、上記１以上の上記再符号化済マクロブロックに対応する上記第１のタイプのストリームの１以上のマクロブロックに当たる。
【００６２】
また、第２のタイプのビットストリーム４Ｂは、上記再符号化予定マクロブロックと同じ位置で再符号化が行われたマクロブロック４３と、マクロブロック４３よりも前に再符号化が行われた複数個のマクロブロック４４とから構成される。上記複数個のマクロブロック４４は、例えば、図５に示すように、フレームの先頭（左上）に位置するマクロブロックから上記再符号化予定マクロブロックの手前に位置するマクロブロックまで並んだマクロブロックである。ここで、上記複数個の連続したマクロブロック４４は、上記１以上の上記再符号化済マクロブロックに当たる。
【００６３】
−第１のタイプのストリームのマクロブロックの符号化複雑度
上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度は、例えば復号部１１０から供給され記憶部４２０に蓄積される。取得部４３１は、記憶部４２０にアクセスすることにより、上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度を取得する。
【００６４】
具体的に、上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度は、当該マクロブロックの符号量、及び当該マクロブロックの量子化パラメータに基づいた値である。具体的には、上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度は、復号部１１０により算出される。
【００６５】
まず、復号部１１０は、上記第１のタイプのストリームから、マクロブロックの符号量、マクロブロックの量子化パラメータを抽出する。量子化パラメータとは、例えば量子化ステップサイズである。そして、復号部１１０は、抽出した符号量及び量子化ステップサイズの積を、上記第１のタイプのストリームにおけるマクロブロックの符号化複雑度として算出することができる。
【００６６】
−再符号化済マクロブロックの符号化複雑度
上記１以上の上記再符号化済マクロブロックの上記符号化複雑度は、例えば符号化部１３０から供給され記憶部４２０に蓄積される。取得部４３１は、記憶部４２０にアクセスすることにより、上記１以上の上記再符号化済マクロブロックの上記符号化複雑度を取得する。
【００６７】
具体的に、上記１以上の上記再符号化済マクロブロックの上記符号化複雑度のそれぞれは、上記第２のタイプのストリームの上記マクロブロックの上記符号化複雑度である。上記第２のタイプのストリームの上記マクロブロックの上記符号化複雑度は、当該マクロブロックの符号量、及び当該マクロブロックの量子化パラメータに基づいた値である。具体的には、上記第２のタイプのストリームの上記マクロブロックの上記符号化複雑度は、次のようにして、符号化部１３０により算出される。
【００６８】
まず、符号化部１３０は、上記第２のタイプのストリームから、マクロブロックの符号量、マクロブロックの量子化パラメータを抽出する。量子化パラメータとは、例えば量子化ステップサイズである。そして、符号化部１３０は、抽出した符号量及び量子化ステップサイズの積を、上記第２のタイプのストリームにおける上記マクロブロックの上記符号化複雑度として算出することができる。
【００６９】
（４）符号化複雑度の予測
予測部４３３は、上記１以上の上記再符号化済マクロブロックに関する上記情報と、上記再符号化予定マクロブロックに対応する上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度とに基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の上記符号化複雑度を予測してもよい。
【００７０】
例えば、上記再符号化予定マクロブロックに対応する上記第１のタイプのストリームの上記マクロブロックの上記符号化複雑度をＸＤＥＣ（ｔＭＢ）とする。
【００７１】
また、上記１以上の上記再符号化済マクロブロックに対応する上記第１のタイプのストリームの１以上のマクロブロックの符号化複雑度の蓄積値を次のようなΣＸＤＥＣ（ｔＭＢ−１）とする。
ΣＸＤＥＣ（ｔＭＢ−１）＝ＸＤＥＣ（ｔＭＢ−１）＋ＸＤＥＣ（ｔＭＢ−２）＋・・・＋ＸＤＥＣ（０）
【００７２】
また、上記１以上の上記再符号化済マクロブロックの符号化複雑度の蓄積値を次のようなΣＸＥＮＣ（ｔＭＢ−１）とする。
ΣＸＥＮＤ（ｔＭＢ−１）＝ＸＥＮＤ（ｔＭＢ−１）＋ＸＥＮＤ（ｔＭＢ−２）＋・・・＋ＸＥＮＤ（０）
【００７３】
上述したＸＤＥＣ（ｔＭＢ）、ΣＸＤＥＣ（ｔＭＢ−１）及びΣＸＥＮＣ（ｔＭＢ−１）を用いて、予測部４３３は、上記再符号化予定マクロブロックに行われる上記再符号化の上記符号化複雑度ＸＥＸＰ（ｔＭＢ）を下記式２により予測することができる。
【００７４】
【数２】
2018157291.tif 000004
【００７５】
このようにして、予測部４４３は、マクロブロック毎に、上記再符号化予定マクロブロックに行われる上記再符号化の上記符号化複雑度を算出することができる。
【００７６】
（５）再符号化予定マクロブロックに行われる再符号化の目標符号量
取得部４３１は、上記再符号化予定マクロブロックの上記再符号化を行うための目標符号量を更に取得してもよい。上記目標符号量は、例えば、出力バッファ１５０から符号量制御部１４０に供給されるバッファ占有量およびバッファ上限値から求められる。
【００７７】
具体的に、出力バッファ１５０は、符号化部１３０から供給される上記第２のタイプのストリームを格納し、バッファ占有量を監視する。また、出力バッファ１５０は、第２のタイプのストリームバッファ上限値を抽出する。そして、抽出されたバッファ上限値とバッファ占有量とが符号量制御部１４０へ供給される。
【００７８】
（６）量子化パラメータ
−算出
算出部４３５は、上記再符号化予定マクロブロックに行われる上記再符号化の上記符号化複雑度と、上記再符号化予定マクロブロックに行われる上記再符号化の上記目標符号量とに基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の量子化パラメータを算出してもよい。
【００７９】
例えば、上記再符号化予定マクロブロックに行われる上記再符号化の上記符号化複雑度をＸＥＸＰ（ｔＭＢ）とする。また、上記再符号化予定マクロブロックに行われる上記再符号化の目標符号量をＴａｒＢｉｔとする。
【００８０】
上述したＸＥＸＰ（ｔＭＢ）、及びＴａｒＢｉｔを用いて、算出部４３５は、上記再符号化予定マクロブロックに行われる再符号化の量子化パラメータＱｓＥＸＰを、ＱｓＥＸＰ＝ＸＥＸＰ（ｔＭＢ）／ＴａｒＢｉｔにより算出することができる。
【００８１】
−提供
提供部４３７は、算出部４３５により算出された量子化パラメータＱｓＥＸＰを符号化部１３０に提供してもよい。このように量子化パラメータＱｓＥＸＰが符号化部１３０に提供されることで、符号化部１３０は、量子化パラメータＱｓＥＸＰを用いて、上記再符号化予定マクロブロックを、第２のタイプのストリームに再符号化することができる。
【００８２】
以上のようにして、符号量制御部１４０は、符号化複雑度をマクロブロックごとに正確に予測することができる。そして、符号量制御部１４０は、正確な符号化複雑度から得られる量子化パラメータを符号化部１３０に提供することができる。このようにして、符号量制御部１４０は、安定した符号量制御が可能となり、画質の向上を図ることができる。
【００８３】
＜＜５．第２の実施形態＞＞
続いて、図６を参照して、本発明の第２の実施形態を説明する。上述した第１の実施形態は、具体的な実施形態であるが、第２の実施形態は、より一般化された実施形態である。
【００８４】
＜５．１．画像処理装置の構成＞
まず、図６を参照して、第２の実施形態に係る画像処理装置４００の構成の例を説明する。図６は、第２の実施形態に係る画像処理装置４００の概略的な構成の例を示すブロック図である。図６を参照すると、画像処理装置４００は、取得部４４１及び予測部４４３を備える。取得部４４１及び予測部４４３の具体的な動作は、後に説明する。
【００８５】
画像処理装置４００は、プログラム（命令）を記憶するメモリと、当該プログラム（命令）を実行可能な１つ以上のプロセッサとを含んでもよく、当該１つ以上のプロセッサは、上記プログラムを実行して、取得部４４１及び予測部４４３の動作を行ってもよい。上記プログラムは、取得部４４１及び予測部４４３の動作をプロセッサに実行させるためのプログラムであってもよい。
【００８６】
＜５．２．技術的特徴＞
次に、第２の実施形態の技術的特徴を説明する。
【００８７】
第２の実施形態では、画像処理装置４００（取得部４４１）は、第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に上記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する。そして、画像処理装置４００（予測部４４０）は、上記１以上の上記再符号化済マクロブロックに関する上記情報に基づいて、上記再符号化予定マクロブロックに行われる上記再符号化の符号化複雑度を予測する。
【００８８】
例えば、画像処理装置４００は、上述した第１の実施形態に係る符号量制御部１４０であってもよい。すなわち、取得部４４１は、上述した第１の実施形態に係る取得部４３１の動作を行ってもよい。また、予測部４４３は、上述した第１の実施形態に係る予測部４３３の動作を行ってもよい。
【００８９】
なお、画像処理装置４００の動作は、上述した第１の実施形態に係る画像処理装置４００の動作の例に限定されない。
【００９０】
以上、第２の実施形態について説明した。第２の実施構成によれば、１以上の再符号化済マクロブロックに関する情報に基づいて、再符号化予定マクロブロックに行われる符号化複雑度を予測する。このようにマクロブロックごとに符号化複雑度を正確に予測できる。
【００９１】
＜＜６．他の実施形態＞＞
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
【００９２】
また、本明細書において説明した符号量制御部の構成要素（例えば、取得部、予測部、算出部、及び／又は提供部）を備える装置（例えば、符号量制御部を構成する複数の装置（又はユニット）のうちの１つ以上の装置（又はユニット）、又は上記複数の装置（又はユニット）のうちの１つのためのモジュール）が提供されてもよい。また、上記構成要素の処理を含む方法が提供されてもよく、上記構成要素の処理をプロセッサに実行させるためのプログラムが提供されてもよい。また、当該プログラムを記録したコンピュータに読み取り可能な非一時的記録媒体（Non-transitory  computer  readable  medium）が提供されてもよい。当然ながら、このような装置、モジュール、方法、プログラム、及びコンピュータに読み取り可能な非一時的記録媒体も本発明に含まれる。
【００９３】
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００９４】
（付記１）
第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得する取得部と、
前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測する予測部と、
を備える、画像処理装置。
【００９５】
（付記２）
前記再符号化予定マクロブロックは、前記第１のタイプのストリームから復号された非圧縮データである、付記１記載の画像処理装置。
【００９６】
（付記３）
前記再符号化済マクロブロックに関する情報は、前記１以上の前記再符号化済マクロブロックに対応する前記第１のタイプのストリームの１以上のマクロブロックの符号化複雑度を含む、付記１又は２記載の画像処理装置。
【００９７】
（付記４）
前記１以上の前記再符号化済マクロブロックに対応する前記第１のタイプのストリームの前記１以上のマクロブロックの前記符号化複雑度は、当該１以上のマクロブロックの符号量と、当該１以上のマクロブロックの量子化パラメータとに基づいた値である、付記３記載の画像処理装置。
【００９８】
（付記５）
前記１以上の前記再符号化済マクロブロックに関する前記情報は、前記１以上の前記再符号化済マクロブロックの符号化複雑度を含む、付記１乃至４のうちいずれか１項記載の画像処理装置。
【００９９】
（付記６）
前記１以上の前記再符号化済マクロブロックの前記符号化複雑度は、前記１以上の前記再符号化済マクロブロックの符号量と、前記１以上の前記再符号化済マクロブロックの量子化パラメータとに基づいた値である、付記５記載の画像処理装置。
【０１００】
（付記７）
前記取得部は、前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームのマクロブロックの符号化複雑度を更に取得し、
前記予測部は、前記１以上の前記再符号化済マクロブロックに関する前記情報と、前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームの前記マクロブロックの前記符号化複雑度とに基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の前記符号化複雑度を予測する、付記１乃至６のうちいずれか１項記載の画像処理装置。
【０１０１】
（付記８）
前記再符号化予定マクロブロックに対応する前記第１のタイプのストリームのマクロブロックの符号化複雑度は、当該第１のタイプのストリームのマクロブロックのデータサイズと、当該第１のタイプのストリームのマクロブロックの量子化パラメータとに基づいた値である、付記７記載の画像処理装置。
【０１０２】
（付記９）
前記取得部は、前記再符号化予定マクロブロックの前記再符号化を行うための目標符号量を更に取得し、
前記再符号化予定マクロブロックに行われる前記再符号化の前記符号化複雑度と、前記再符号化予定マクロブロックの前記再符号化を行うための目標符号量とに基づいて、前記再符号化予定マクロブロックの前記再符号化を行うための量子化パラメータを算出する算出部を、
更に備える、付記１乃至８のうちいずれか１項記載の画像処理装置。
【０１０３】
（付記１０）
前記第２のタイプのストリームの画像サイズは、前記第１のタイプのストリームの画像サイズと異なる、付記１乃至９のうちいずれか１項記載の画像処理装置。
【０１０４】
（付記１１）
第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得することと、
前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測することと、
を含む、方法。
【０１０５】
（付記１２）
第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得することと、
前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測することと、
をプロセッサに実行させるプログラム。
【０１０６】
（付記１３）
第１のタイプのストリームから第２のタイプのストリームへの再符号化が行われる再符号化予定マクロブロックよりも前に前記再符号化が行われた１以上の再符号化済マクロブロックに関する情報を取得することと、
前記１以上の前記再符号化済マクロブロックに関する前記情報に基づいて、前記再符号化予定マクロブロックに行われる前記再符号化の符号化複雑度を予測することと、
をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。
【産業上の利用可能性】
【０１０７】
第１のタイプのストリームから第２のタイプのストリームへの再符号化において、符号化の複雑さを表す符号化複雑度を精度良く予測することができる。
【符号の説明】
【０１０８】
１、１０        トランスコード装置
１１、１１０  復号部
１２、１２０  フォーマット変換部
１３、１３０  符号化部
１４、１４０  符号量制御部
１５、１５０  出力バッファ
４３１、４４１  取得部
４３３、４４３  予測部
４３５  算出部
４３７  提供部
【図１】
2018157291.tif 000005
【図２】
2018157291.tif 000006
【図３】
2018157291.tif 000007
【図４】
2018157291.tif 000008
【図５】
2018157291.tif 000009
【図６】
2018157291.tif 000010