(57)【要約】【課題】トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供すること。【解決手段】符号化された入力画像データの一のフレームの符号化複雑度を独立変数とし、出力画像データにおける一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、変換関数により、出力画像データにおけるフレームの符号化複雑度を算出する、推定符号化複雑度算出部と、算出された符号化複雑度に基づいて、目標符号量を割り当てる割当符号量算出部と、入力画像データにおける一のフレームが復号化された復号化画像の符号化を行う符号化部と、を有することを特徴とする動画像変換装置。【選択図】図１
2010187337.tif 000002
【特許請求の範囲】
【請求項１】
符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、
前記変換関数に従って、前記出力画像データにおける前記一のフレームの符号化複雑度の推定値である推定符号化複雑度を算出する、推定符号化複雑度算出部と、
前記推定符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出部と、
割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化部と、
を有することを特徴とする動画像変換装置。
【請求項２】
前記変換関数は、前記一次関数と、前記出力画像データにおける前記一のフレームの符号化複雑度を０以上の所定の定数とする直線と、のうち、前記出力画像データにおける前記一のフレームの符号化複雑度が大きい値を、出力値とすることを特徴とする請求項１記載の動画像変換装置。
【請求項３】
前記一次関数、及び、前記変換関数は、前記入力画像データ又は前記出力画像データのピクチャタイプ毎に算出されることを特徴とする請求項１又は２記載の動画像変換装置。
【請求項４】
前記入力画像データにおける先頭から所定数のフレームに対応する前記復号化画像の符号化処理が未だ行われない場合に、
前記推定符号化複雑度算出部は、前記推定符号化複雑度として、前記入力画像データにおける先頭から所定数のフレームの符号化複雑度を出力することを特徴とする請求項１ないし３何れか一項に記載の動画像変換装置。
【請求項５】
前記入力画像データのフレーム毎の符号化複雑度を、前記入力画像データに含まれる量子化に係る情報及び前記フレーム毎の符号量に基づいて取得する符号化情報取得部を有することを特徴とする請求項１ないし４何れか一項に記載の動画像変換装置。
【請求項６】
前記出力画像データのフレーム毎の符号化複雑度を、前記出力画像データを符号化する際の量子化に係る情報及び前記フレーム毎の符号量に基づいて取得する符号化情報取得部を有することを特徴とする請求項１ないし４何れか一項に記載の動画像変換装置。
【請求項７】
前記入力画像データを復号化して復号化画像を出力する復号化部と、
前記復号化画像を格納する記憶部と、
を有し、
前記符号化部は、前記記憶部に格納される復号化画像を符号化する請求項１ないし６何れか一項に記載の動画像変換装置。
【請求項８】
前記入力画像データを格納する記憶部と、
前記入力画像データを復号化して復号化画像を出力する復号化部と、
を有し、
前記符号化部は、前記復号化部から出力される復号化画像を符号化する請求項１ないし６何れか一項に記載の動画像変換装置。
【請求項９】
符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出ステップと、
前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出ステップと、
算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出ステップと、
割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化ステップと、
を有することを特徴とする動画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像変換装置及び方法、特に、符号化複雑度を用いて適応的な符号量割り当てを提供する動画像変換装置及び方法に関する。
【背景技術】
【０００２】
従来から、可変ビットレート制御により、動画像を符号化する技術、又は、入力画像ストリームを別の形式に再圧縮（以下、「トランスコード」という。）する技術がある。このような技術では、適応的な符号量割り当てを実現するために、これから符号化する画像シーケンスのフレーム毎の符号化の難しさ（以下、「符号化複雑度」という。）を長い区間精度良く推定することが重要となってくる。
【０００３】
シーケンスを通じて、量子化パラメータが同じ場合は、入力画像ストリームの発生符号量遷移は、シーケンスを通じての符号化複雑度遷移と同じと見なすことができ、各フレームの符号化複雑度に応じて符号量を割り当てることができる。
【０００４】
例えば、特開２００６−３３０１４号公報（特許文献１）では、トランスコードする際、入力画像ストリームの符号量の時間軸上の変化を前もって取得し、取得したトランスコード前の符号量遷移に基づき、出力画像ストリームの符号量を割り当て制御する映像信号変換装置等の発明が開示されている。特許文献１では、符号化複雑度と発生符号量の遷移は同じとみなすことで適応的な符号量割り当てを行う。
【０００５】
また例えば、米国登録特許７０９９３８９公報では、トランスコードする際、トランスコード終了後の入力画像ストリームの符号化複雑度と出力画像ストリームの符号化複雑度との比率を用いて、出力画像ストリームにおいて未だトランスコードされないフレームの符号化複雑度を推定する発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３３０１４号公報
【特許文献２】米国登録特許７０９９３８９公報
【特許文献３】特開平１０−０２３４１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、放送などで用いられる固定ビットレート制御では、量子化パラメータを変化させてビットレートを一定に保つため、発生符号量遷移と符号化複雑度遷移とが同じではなく、上記特許文献１に記載の発明では符号化複雑度を推定することができない。
【０００８】
また、例えば同じ画像をＭＰＥＧ−２とＨ．２６４とで符号化した場合、双方の符号化複雑度の関係は必ずしも比例になるとは限らない。そこで、上記特許文献２に示される符号化複雑度推定法では、これからトランスコードするフレームの入力画像ストリームに関する符号化複雑度が、すでにトランスコードが終了したフレームに対する符号化複雑度と離れるほど、推定の信頼度が低下する。
特許文献１及び特許文献２の手法を用いると、符号化複雑度の推定精度が低い場合には、適切な符号量割り当てが行えず、画質劣化を招く。
【０００９】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の動画像変換装置は次の如き構成を採用した。
【００１１】
本発明の動画像変換装置は、符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出部と、前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出部と、算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出部と、割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化部と、を有する構成とすることができる。
【００１２】
また、上記目的を達成するために、本発明の動画像変換方法は、符号化された入力画像データのフレーム毎の符号化複雑度と、前記入力画像データを変換処理して得られる出力画像データにおける前記フレーム毎の符号化複雑度と、に基づいて、前記入力画像データの一のフレームの符号化複雑度を独立変数とし、前記出力画像データにおける前記一のフレームの符号化複雑度を従属変数とする、一次関数の傾きと切片とを算出し、さらに、前記一次関数に基づく変換関数を算出する、符号化複雑度変換関数算出ステップと、前記変換関数により、前記出力画像データにおける前記一のフレームの符号化複雑度を算出する、推定符号化複雑度算出ステップと、算出された前記出力画像データにおける前記一のフレームの符号化複雑度に基づいて、前記一のフレームに対する目標符号量を割り当てる割当符号量算出ステップと、割り当てられた前記目標符号量により前記入力画像データにおける前記一のフレームが復号化された復号化画像の符号化を行う符号化ステップと、
を有する構成とすることができる。
【発明の効果】
【００１３】
本発明の動画像変換装置及び動画像変換方法によれば、トランスコード済みのフレームの、入力画像ストリームの符号化複雑度群及び出力画像ストリームの符号化複雑度群から、これから符号化するフレームの符号化複雑度の予測精度を向上させ、適応的に符号量を割り当てる動画像変換装置及び動画像変換方法を提供することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第一の実施形態に係わる映像変換装置の構成を示すブロック図である。
【図２】図２は、符号化部１０７の構成図である。
【図３】図３は、復号化部１０６の構成図である。
【図４】図４は、本発明の第一の実施形態の動作を示すフローチャートである。
【図５】図５は、ＧＯＰ内のピクチャ構造を表した概念図である。
【図６】図６は、ＭＰＥＧ−２とＨ．２６４／ＡＶＣの符号化複雑度の関係を表した概念図である。
【図７】図７は、符号化複雑度推定方法の概念図である。
【図８】復号化の処理と符号化の処理との間に、バッファを設ける構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本実施の形態を図面に基づき説明する。
【００１６】
〔本実施の形態〕
図１は、第１の実施形態に係る動画像変換装置の機能構成を示すブロック図である。本実施形態に係る動画像符号化装置は、符号化情報取得部１０１、バッファ１０２、符号化情報取得部１０３、バッファ１０４、バッファ１０５、復号化部１０６、符号化部１０７、符号化複雑度変換関数算出部１０８、推定符号化複雑度算出部１０９、割当符号量算出部１１０、及び、量子化スケール決定部１１１を有する。
【００１７】
符号化情報取得部１０１は、入力画像ストリームの符号化情報を算出する。符号化情報取得部１０１は、例えば、入力画像ストリームから、フレーム毎の符号化複雑度を算出する。より詳細には、入力画像ストリームから、量子化スケール及びフレーム毎の符号量を取得し、これらの値から、符号化複雑度を算出する。バッファ１０２は、符号化情報取得部１０１が算出した符号化情報、例えば、符号化複雑度を格納する。
【００１８】
符号化情報取得部１０３は、符号化部１０７により符号化されて生成する出力画像ストリームにおける、フレーム毎の量子化スケール及び発生符号量を取得し、フレーム毎の符号化複雑度を出力する。バッファ１０４は、符号化情報取得部１０３により取得された符号化複雑度を格納する。
【００１９】
バッファ１０５は、入力画像ストリームを格納する。復号化部１０６は、入力画像ストリームを復号して、復号画像を生成し、符号化部１０７に対して出力する。符号化部１０７は、復号化部１０６から出力される復号画像を符号化して再び画像ストリームにする。これにより、トランスコードが実現できる。
【００２０】
符号化複雑度変換関数算出部１０８は、これから符号化するフレームの符号化複雑度を算出する変換関数を算出する。符号化複雑度変換関数算出部１０８は、トランスコード済みのフレームの、入力画像ストリームにおける符号化複雑度と出力画像ストリームにおける符号化複雑度との比から、変換関数を算出する。より詳細には、入力画像ストリームにおける一のフレームの符号化複雑度と、同一のフレームの出力画像ストリームにおける符号化複雑度との比を算出し、複数のフレームの符号化複雑度の比から、変換関数を算出する。
【００２１】
推定符号化複雑度算出部１０９は、符号化複雑度変換関数算出部１０８が算出する関数により、これから符号化するフレームの符号化複雑度を算出する。これにより、これから符号化するフレームの符号化複雑度を推定することができる。
【００２２】
割当符号量算出部１１０は、推定符号化複雑度算出部１０９により算出された符号化複雑度に基づいて、フレーム毎に割り当てる符号量を算出する。この符号量を目標値、すなわち目標符号量として、量子化スケール決定部１１１及び符号化部１０７が符号化の処理を行う。量子化スケール決定部１１１は、算出される符号化複雑度と割り当てられた符号量とから、フレーム毎の量子化スケールを決定する。
【００２３】
図２は、符号化部１０７の機能構成の例を説明する図である。符号化部１０７は、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに準拠した符号化を行う。符号化部１０７は、動き検出部２０１、動き補償部２０２、減算部２０３、離散コサイン変換部２０４、量子化部２０５、エントロピー符号化部２０６、フレームメモリ２０７、加算部２０８、逆離散コサイン変換部２０９、及び、逆量子化部２１０を有する。なお、図中「離散コサイン変換」を「ＤＣＴ」と表記する。
【００２４】
動き検出部２０１は、符号化するフレームと参照するフレームとの間の動き検出を行い、動きベクトルを生成する。動き補償部２０２は、動きベクトルにより、参照するフレームに対する動き補償を行う。減算部２０３は、符号化するフレームと参照するフレームとの間の差分を取ることによりフレーム間の予測データを生成する。なお、参照するフレームに対して動き補償が行われた場合には、動き補償されたフレームと符号化するフレームとの間の差分データを生成する。
【００２５】
ＤＣＴ部２０４は、予測データ又は符号化するフレームのデータに対し、直交変換による周波数分解を行う。ＤＣＴ部２０４は、例えば、ＤＣＴを行う。量子化部２０５は、ＤＣＴ部２０４から出力される変換係数を量子化する。量子化部２０５は、量子化スケール決定部１１１により決定された量子化スケールに基づいて量子化を行う。これにより、符号化部１０７が出力する画像ストリームが、割り当てられた符号量になるように制御される。
【００２６】
エントロピー符号化部２０６は、量子化された変換係数に対し、エントロピー符号化処理を行う。エントロピー符号化部２０６は、例えば、ハフマン符号化処理又は算術符号化処理を行う。
【００２７】
逆量子化部２１０は、量子化部２０５から出力される量子化された変換係数を逆量子化する。逆ＤＣＴ部２０９は、逆量子化された変換係数に対し、逆直交変換処理を行う。逆ＤＣＴ部２０９は、例えば、逆ＤＣＴ処理を行う。
【００２８】
加算部２０８は、動き補償された参照するフレームと逆直交変換処理されて出力される予測データとを加算することにより、復号画像を生成する。フレームメモリ２０７は、復号画像を蓄積する。フレームメモリ２０７に格納される復号画像は、次以降に符号化されるフレームが参照するフレームとなる。
【００２９】
図３は、復号化部１０６の機能構成の例を説明する図である。復号化部１０６は、例えば、ＭＰＥＧ−２に準拠した復号化を行う。復号化部１０６は、また例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに準拠した復号化を行ってよい。復号化部１０６は、可変長復号化部３０１、逆量子化部３０２、逆離散コサイン変換部３０３、動き補償部３０４、及び、フレームメモリ３０５を有する。
【００３０】
可変長復号化部３０１は、入力される画像ストリームを可変長復号する。これにより、例えば、量子化された変換係数を出力する。逆量子化部３０２は、逆量子化処理を行って、変換係数を取得する。逆離散コサイン変換部３０３は、逆ＤＣＴ処理により、変換係数から画素データを取得する。逆離散コサイン変換部３０３が出力する画素データは、動き補償された画素データでもよい。なお、逆離散コサイン変換部３０３は、逆ＤＣＴ処理の他に、ＤＣＴの他の直行変換の逆変換処理を行ってよい。
【００３１】
動き補償部３０４は、逆直行変換処理された画素データに対し、動き補償を行う。これにより、復号化された画像が生成される。フレームメモリ３０５は、復号化された画像を格納する。フレームメモリ３０５に格納される画像は、次以降に復号される画像に対する動き補償処理、又は、予測処理の補償に用いられる。
【００３２】
本実施形態では、入力画像ストリームと出力画像ストリームとの予測構造は、同一のものとして変換する。すなわち、入力画像ストリームがＭＰＥＧ−２であり、出力画像ストリームがＨ．２６４の場合いは、ＭＰＥＧ−１のＩピクチャは、Ｈ．２６４のＩスライスに、ＭＰＥＧ−２のＰピクチャは、Ｈ．２６４のＰスライスに、ＭＰＥＧ−２のＢピクチャは、Ｈ．２６４のＢスライスに変換される。
【００３３】
図４は、本実施形態に係る動画像符号化装置の動作を示すフローチャートである。図４を用いて、本実施形態に係る動画像符号化装置の動作について説明する。
【００３４】
（ステップＳ０）
図４のステップＳ０では、未符号化の入力画像ストリームがＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）毎に読み込まれ、符号化情報取得部１０１が、フレーム毎の符号化複雑度を算出する。
【００３５】
図５は、ＧＯＰを説明する図である。１つのＧＯＰは、フレーム内符号化がされるＩピクチャ、過去のフレームのみを用いて前方向の動き補償予測を行うＰピクチャ、及び、過去・未来両方のフレームを用いて双方向の動き補償予測を行うＢピクチャのうち、１つ以上のピクチャから構成される。各ＧＯＰにおいて最初に符号化されるピクチャは必ずＩピクチャとなる。図５の例では１つのＧＯＰは１枚のＩピクチャ、４枚のＰピクチャ、及び、１０枚のＢピクチャ、合計１５枚のピクチャから１つのＧＯＰが構成されている。
【００３６】
図４に戻り、各フレームの符号化複雑度（Ｘ）は、当該フレームの平均量子化スケール（Ｑ）と当該フレームの符号量（Ｓ）を用いて、式（１）より求められる。
【００３７】
【数１】
2010187337.tif 000003
【００３８】
ここで、ｇｉ（ｉ＝Ｉ、Ｐ、Ｂ）はピクチャタイプ毎に決定される固定値である。なお、特許文献３には、同一のピクチャタイプであれば、画像によらずほぼ一定となることが記載されている。
【００３９】
なお、ここで求める符号化複雑度は、入力画像ストリームであるＭＰＥＧ−２ビットストリームを可変長復号化（ＶＬＤ：  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｄｅｃｏｄｅ）等により完全に解読する必要はない。例えば、ＭＰＥＧ−２のスライスヘッダには当該スライスで用いる量子化スケールの初期値が記述されているので、各フレーム全てのスライスヘッダを参照することで、そのフレームの平均量子化スケールを近似的に算出してよい。また、例えば、フレーム毎の符号量は、ピクチャヘッダ間の符号量をカウントすれば算出してよい。
【００４０】
バッファ１０２は、算出した各フレームの符号化複雑度を格納する。バッファ１０２には、例えば、１ＧＯＰ内にあるフレーム分の符号化複雑度を格納する。
【００４１】
（ステップＳ１）
以降の説明では、以下の変数を用いて説明する。
Ｆ（ｔ）：入力画像ストリームのｔ番目のフレーム
ｘ（ｔ）：Ｆ（ｔ）に対応するＭＰＥＧ−２符号化複雑度
Ｘ（ｔ）：Ｆ（ｔ）に対応するＨ．２６４へのトランスコードによって得られた符号化複雑度
ｐ（ｔ）：Ｆ（ｔ）に対応するＭＰＥＧ−２ピクチャタイプであり、ｐ（ｔ）＝（Ｉ,Ｐ,Ｂ）である。
【００４２】
ステップＳ１では、符号化複雑度変換関数算出部１０８が、トランスコード済みの複数のフレームの入力画像の符号化複雑度と出力画像の符号化複雑度とを用いて、入力画像ストリームの符号化複雑度と出力画像ストリームの符号化複雑度の関係を表す関数を算出する。
【００４３】
ここで、ｔ番目のフレームをトランスコードする場合について考える。バッファ１０２には、Ｌ枚のトランスコード済みのフレームのＭＰＥＧ−２の符号化複雑度：ｘ（ｔ−Ｌ），ｘ（ｔ−Ｌ＋１），．．．，ｘ（ｔ−１）と、Ｍ枚のトランスコード前のフレームのＭＰＥＧ−２の符号化複雑度：ｘ（ｔ），ｘ（ｔ＋１），．．．，ｘ（ｔ＋Ｍ−１）が保存されているものとする。
【００４４】
また、バッファ１０４には、後述するステップＳ７で生成されるＬ枚のＨ．２６４の符号化複雑度：Ｘ（ｔ−Ｌ），Ｘ（ｔ−Ｌ＋１），．．．，Ｘ（ｔ−１）が保存されているものとする。すでにトランスコードが終了したフレームに関しては、ＭＰＥＧ−２の符号化複雑度とＨ．２６４の符号化複雑度との組：（ｘ（ｔ−ｋ），Ｘ（ｔ−ｋ）），ｋ＝１，２，…，Ｌを形成することができる。
【００４５】
そこで、ピクチャタイプ毎に入力画像ストリームと出力画像ストリームのトランスコード済みフレームの符号化複雑度の組（ｘ（ｔ−ｋ），Ｘ（ｔ−ｋ））を複数個用いて、ピクチャタイプ毎に入力画像ストリームと出力画像ストリームの符号化複雑度の関係を表す関数を算出する。
【００４６】
あるフレームにおける発生符号量は、サイド情報部分の発生符号量とＤＣＴ係数の発生符号量の総和で求めることができる。ＭＰＥＧ−２からＨ．２６４へのトランスコードの場合には、Ｈ．２６４はＭＰＥＧ−２より画素の予測効率が高い。そこで、符号化複雑度が小さい画像に関しては、Ｈ．２６４はＭＰＥＧ−２と比較して、ＤＣＴ係数が０になりやすい。したがって、ＭＰＥＧ−２とＨ．２６４の符号化複雑度の関係は、図６に示す折れ線状に変化すると考えることができる。
【００４７】
本実施形態では、入力画像ストリームの符号化複雑度「ｘ」と出力画像ストリームの符号化複雑度「Ｘ」の関係を、図７に示す、最小二乗法によって線形近似される直線と所定の定数による直線とからなる折れ線で近似する。図７に示す折れ線により表される関数の入力値、すなわち、独立変数が、入力画像ストリームの符号化複雑度となる。図７に示す折れ線により表される関数の出力値、すなわち、従属変数が、出力画像ストリームの符号化複雑度となる。
【００４８】
線形近似によって得られた１次係数をａｉ，ａｐ，ａｂ、０次係数をｂｉ，ｂｐ，ｂｂとすると、図７に示す関数は、式（２）に示すピクチャタイプ毎の式により求めることができる。
【００４９】
【数２】
2010187337.tif 000004
【００５０】
なお、Ｃｉ，Ｃｐ，Ｃｂは、Ｈ．２６４で符号化したときの最小の割当符号量に対応する０以上の所定の定数であり、ＭＡＸ（Ａ、Ｂ）はＡとＢの大きい方を出力する関数である。
【００５１】
（ステップＳ２）
ステップＳ２では、ステップＳ１で算出した関数と、トランスコード前のＭＰＥＧ−２画像ストリームの符号化複雑度を用いて、トランスコード前のＨ．２６４符号化複雑度を推定する。
【００５２】
まず、推定符号化複雑度算出部１０９が、未トランスコードフレーム（Ｆ（ｔ），Ｆ（ｔ＋１），・・・，Ｆ（ｔ＋Ｍ））をＨ。２６４で符号化した際の符号化複雑度の推定値である推定符号化複雑度（Ｘ〜（ｔ），Ｘ〜（ｔ＋１），．．．，Ｘ〜（ｔ＋Ｍ））を算出する。この明細書中で、「Ｘ〜」は「Ｘ・チルダ（x-tilde）」、すなわち「Ｘ」の上に「〜（チルダ）」が配置された文字の代替表記として使われている。ステップＳ０において、ＭＰＥＧ−２の符号化複雑度は既知であるので、Ｘ〜（ｔ＋ｊ），（但し、ｊ＝０，１，・・・，Ｍ）は、式（３）を用いて表すことができる。
【００５３】
【数３】
2010187337.tif 000005
【００５４】
（ステップＳ３）
ステップＳ３では、割当符号量算出部１１０が、所定のビットレート：（Ｂｉｔｒａｔｅ）により、動画像を符号化するために必要なトランスコード対象画像へ割り当てる符号量を算出する。ここでは、まずステップＳ０で読み込まれている入力画像ストリームのうち、バッファ１０５に保持されているＭ枚のトランスコード前のフレーム全体に与える符号量（Ｓａｌｌ）を算出する。次に最初のＧＯＰに割り当てる符号量（Ｓｇｏｐ）を算出し、その後にＧＯＰ内の各ピクチャの割当符号量を算出する。
まず、未トランスコードフレーム全体に割り当てる符号量を式（４）とする。
【００５５】
【数４】
2010187337.tif 000006
ここで、ＦｒａｍｅＲａｔｅはフレームレートを表し、Ｓｄｉｆｆはひとつ前のＧＯＰを符号化する際に与えた符号量と、実際に発生した符号量との差である。
【００５６】
次に、Ｎ枚のトランスコード前のフレームのうち、最初のＧＯＰに符号量を割り当てる。例えば、各ＧＯＰにおけるフレーム毎の複雑度の総和を算出し、この総和を比例配分する。式（５）は、ＧＯＰ内にＮ枚のフレームが存在している場合、ＧＯＰ全体に割り当てる符号量（Ｓｇｏｐ）を、ＧＯＰ内のＮ枚のフレームの符号化複雑度の総和（Ｘ〜ｇｏｐ）を用いて表す式である。
【００５７】
【数５】
2010187337.tif 000007
【００５８】
次に各ＧＯＰ内にある各ピクチャに符号量を割り当てる。ＧＯＰ内にある各フレームに割り当てる符号量をＳ（ｔ＋ｋ），（但し、ｋ＝０，１，・・・，Ｎ−１）とした場合、Ｓ（ｔ＋ｋ）は、ステップＳ２で推定したＧＯＰ内の各ピクチャにおける符号化複雑度と式（５）により算出したＳｇｏｐから、式（６）で求められる。
【００５９】
【数６】
2010187337.tif 000008
ここで、Ｋｉ，Ｋｐ，Ｋｂは各ピクチャに対する符号量割当の重みを規定する定数を表している。
また、トランスコード開始直後のＭフレームに関しては、Ｘ〜（ｔ）を推定するのに十分な実績データがないため、式（６）において、推定符号化複雑度（Ｘ〜（ｔ））と入力画像ストリームの符号化複雑度（ｘ（ｔ））とは等しいものと仮定してＳ（ｔ）を算出する。
【００６０】
（ステップＳ４）
ステップＳ４では、ステップＳ０で読み込まれた入力画像ストリームのうち、バッファ１０５に格納されている１ＧＯＰ分の入力画像ストリームを、１フレームずつ復号化部１０６で復号化する。
【００６１】
（ステップＳ５）
次に、ステップ５では量子化スケール決定部１１１において、推定符号化複雑度算出部１０９から出力される推定符号化複雑度（Ｘ〜（ｔ＋ｋ））と、割当符号量算出部１１０から得た割当符号量（Ｓ（ｔ＋ｋ））とから、トランスコード対象画像に対する量子化スケール（Ｑ（ｔ＋ｋ））を算出する。ここでは、式（２）から導出される式（７）を用いて量子化パラメータを決定する。
【００６２】
【数７】
2010187337.tif 000009
【００６３】
（ステップＳ６）
ステップＳ６では、符号化部１０７が、ステップＳ５で求めた量子化スケールＱ（ｔ）に基づいて、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに準拠した方式で符号化を行い、符号化画像ストリームを出力する。
【００６４】
（ステップＳ７）
ステップＳ７では、符号化情報取得部１０３が、符号化が終了した出力画像ストリームが読み込まれた後に、読み込んだ出力画像ストリームのフレーム毎の量子化スケール、及び、発生符号量を取得する。符号化情報取得部１０３は、さらに、フレーム毎の符号化複雑度を式（１）により算出する。バッファ１０４は、算出されたフレーム毎の符号化複雑度を格納する。ここで、バッファ１０４には、例えば、少なくとも１ＧＯＰに対応するフレーム分の、トランスコードが終了した出力画像に対応するフレームの符号化複雑度を格納するとよい。
【００６５】
（ステップＳ８）
次にステップＳ８では、１ＧＯＰに含まれる全てのフレームの符号化が終了したかどうかの判定を行う。１ＧＯＰ分のフレームの符号化が終わっていない場合は、ステップＳ４まで戻り、ステップＳ４からステップＳ７を実行する。１ＧＯＰ分のフレームの符号化が終了した場合は、ステップＳ９に進む。
【００６６】
（ステップＳ９）
ステップＳ９では、シーケンスに含まれる全てのフレームの符号化が終了したかどうかの判定を行う。シーケンス内の全フレームの符号化が終了した場合は、全ての処理を終了する。シーケンス内の全フレームの符号化が終わっていない場合は、ステップＳ０からステップＳ８を実行する。
【００６７】
以上説明したように本実施形態では、トランスコード後の複数の入力画像ストリームと出力画像ストリームの符号化複雑度群から、一次近似した直線と所定の定数とにより表される折れ線の関数を用いて、入力画像ストリームおよび出力画像ストリームの符号化複雑度の関係を算出する。算出した近似直線にトランスコード前の入力画像ストリームの符号化複雑度を代入することで、トランスコード前の出力画像ストリームの符号化複雑度を推定する。これにより、入力画像ストリームと出力画像ストリームの符号化複雑度の関係が実際の符号化特性の違いに適合させることができるため、符号化複雑度の精度を向上させ適応的な符号量割り当てが可能となる。
【００６８】
なお、本発明は上記実施形態に係わらず、その主旨を逸脱しない限り、種々に変更することが可能である。
【００６９】
（変更例１）
上記実施形態では、入力画像ストリーム（ｘ（ｔ））と出力画像ストリームの複雑度（Ｘ（ｔ））の関係式を、線形近似を用いることで求めたが、必ずしもこれに限定されるものではない。入力画像ストリームの圧縮形式と出力画像ストリームの圧縮形式の特性に応じて種々の近似方式が適用できる。
【００７０】
（変更例２）
上記実施形態では、量子化スケールを式（７）により求めることとしたが、各フレームのトランスコード中に、予測発生符号量と実測発生符号量とのずれに応じて、量子化スケールをフィードバック的に変化させても良い。
【００７１】
（変更例３）
上記実施例では、入力画像ストリームをバッファに保存し、保存していたストリームを１フレーム毎に復号化することとした。これにより、符号化部１０７の処理は、復号化部１０６の処理と、パイプライン的に接続されるため、バッファ１０５の容量を小さくすることができる。
【００７２】
図８は、復号化の処理と符号化の処理との間に、バッファを設ける構成を示す図である。図８において、図１と同一の機能及び構成を有する各部は、図１と同一の符号を付し、ここでは説明を省略する。図８の復号化部４０６は、入力画像ストリームを復号する。バッファ４０５は、復号化部４０６が復号して得る復号画像を格納する。
【００７３】
図８の構成により、入力画像ストリームを先に１ＧＯＰ分復号化し、その復号化したフレームをバッファに保存することができる。これにより、符号化部１０７の処理と復号化部４０６の処理とを同期させる必要がなくなる。
【００７４】
なお、本発明の実施の形態に係る動画像変換装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る動画像変換方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。
【００７５】
本実施の形態によれば、入力画像ストリームと出力画像ストリームの符号化複雑度の関係が比例関係にない場合でも、適切な符号化複雑度の推定が行われる。これにより、実際の符号化複雑度に適合した符号量割当が実現でき、安定した画質を得ることができる動画像変換装置を提供できる。
【００７６】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【産業上の利用可能性】
【００７７】
以上のように、本発明にかかる動画像変換装置及び動画像変換方法は、符号化複雑度が異なる圧縮フォーマット間のトランスコードに有用である。
【符号の説明】
【００７８】
１０１  符号化情報取得部
１０２  バッファ
１０３  符号化情報取得部
１０４  バッファ
１０５  バッファ
１０６  復号化部
１０７  符号化部
１０８  符号化複雑度変換関数算出部
１０９  推定符号化複雑度算出部
１１０  割当符号量算出部
１１１  量子化スケール決定部
２０１  動き検出部
２０２、３０４  動き補償部
２０３  減算部
２０４  離散コサイン変換部
２０５  量子化部
２０６  エントロピー符号化部
２０７、３０５  フレームメモリ
２０８  加算部
２０９、３０３  逆離散コサイン変換部
２１０、３０２  逆量子化部
３０１  可変長復号化部
４０５  バッファ
４０６  復号化部
【図１】
2010187337.tif 000010
【図２】
2010187337.tif 000011
【図３】
2010187337.tif 000012
【図４】
2010187337.tif 000013
【図５】
2010187337.tif 000014
【図６】
2010187337.tif 000015
【図７】
2010187337.tif 000016
【図８】
2010187337.tif 000017