(57)【要約】【課題】画面間の相関を詳細に見積もって目標符号量を設定することにより、高効率な動画像符号化を実現すること。【解決手段】インターフレームの動きベクトルに基づいて、前記インターフレームと少なくとも一つのイントラフレームとを含むフレームグループ内でのフレーム間の相関の程度を示す評価値を取得する評価部と、前記評価値によって示される前記相関の程度が大きくなるほど、前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比が小さくなるように、前記フレームグループ内の符号量制御を行う符号量制御部と、前記目標符号量に基づく符号量制御に従って、前記フレームグループに含まれる各フレームを圧縮符号化する符号化部と、を有する動画像符号化装置。【選択図】図１
2010062999.tif 000002
【特許請求の範囲】
【請求項１】
インターフレームの動きベクトルに基づいて、前記インターフレームと少なくとも一つのイントラフレームとを含むフレームグループ内でのフレーム間の相関の程度を示す評価値を取得する評価部と、
前記評価値によって示される前記相関の程度が大きくなるほど、前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比が小さくなるように、前記フレームグループ内の符号量制御を行う符号量制御部と、
前記目標符号量に基づく符号量制御に従って、前記フレームグループに含まれる各フレームを圧縮符号化する符号化部と、
を有する動画像符号化装置。
【請求項２】
前記フレームグループが圧縮処理された前記動きベクトルを有する動画像データの符号データを復号する復号部を有し、
前記評価部は、前記復号部において前記符号データから復号された動きベクトルに基づき、前記評価値を取得する請求項１記載の動画像符号化装置。
【請求項３】
前記インターフレームに対する動き予測処理を行って動きベクトルを出力する動き予測部を有し、
前記評価部は、前記動き予測部から出力される動きベクトルに基づき、前記評価値を取得する請求項１記載の動画像符号化装置。
【請求項４】
前記圧縮処理部は、前記イントラフレームに含まれる画素に係る値と前記インターフレームに含まれる画素に係る値とを、それぞれ、所定の量子化幅により量子化する量子化処理部を有し、
前記符号量制御部は、
前記フレームグループにおいて既に圧縮処理されたフレームに対する量子化幅と、前記フレームグループにおいて既に圧縮処理されたフレームに対応する符号データの符号量とに基づいて、前記フレームグループに含まれる一のフレームに対する符号化複雑度を、該一のフレームと予測方式が同一である他の一のフレームが圧縮処理される毎に更新する符号化複雑度取得部と、
前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比、及び、前記符号化複雑度により、前記他の一のフレームの次に圧縮処理される処理フレームに対する目標符号量を設定する、符号量設定部と、
を有する請求項３記載の動画像符号化装置。
【請求項５】
前記符号量設定部は、
前記目標符号量の比、前記フレームグループにおいて既に圧縮処理されたイントラフレームの符号化複雑度と前記フレームグループにおいて既に圧縮処理されたインターフレームの符号化複雑度との比、前記評価値、及び、前記フレームグループに対する目標符号量の初期値と既に符号化処理されたフレームに対応する符号データの符号量との差により前記処理フレームに対する目標符号量を設定する請求項４記載の動画像符号化装置。
【請求項６】
前記符号データは、前記インターフレームが分割された矩形毎に、対応する動きベクトルを有し、
前記評価部は、
一の前記インターフレームにおいて、該インターフレームが有する矩形毎の動きベクトルの値と該矩形に隣接する矩形の動きベクトルとの差の絶対値の平均値を、前記評価値とする請求項１ないし５何れか一項に記載の動画像符号化装置。
【請求項７】
前記フレームグループにおいて、再生時間順にフレームが並ぶ際の先頭は、イントラフレームである請求項１ないし６何れか一項に記載の動画像符号化装置。
【請求項８】
前記評価部は、前記動きベクトルを、隣接するフレーム間の時間に基づく単位時間当たりの動き量を表す値に換算した値により前記評価値を取得する請求項１ないし７何れか一項に記載の動画像符号化装置。
【請求項９】
インターフレームの動きベクトルに基づいて、前記インターフレームと少なくとも一つのイントラフレームとを含むフレームグループ内でのフレーム間の相関の程度を示す評価値を取得する評価ステップと、
前記評価値によって示される前記相関の程度が大きくなるほど、前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比が小さくなるように、前記フレームグループ内の符号量制御を行う符号量制御ステップと、
前記目標符号量に基づく符号量制御に従って、前記フレームグループに含まれる各フレームを圧縮符号化する符号化ステップと、
を有する動画像符号化方法。
【請求項１０】
インターフレームの動きベクトルに基づいて、前記インターフレームと少なくとも一つのイントラフレームとを含むフレームグループ内でのフレーム間の相関の程度を示す評価値を取得する評価ステップと、
前記評価値によって示される前記相関の程度が大きくなるほど、前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比が小さくなるように、前記フレームグループ内の符号量制御を行う符号量制御ステップと、
前記目標符号量に基づく符号量制御に従って、前記フレームグループに含まれる各フレームを圧縮符号化する符号化ステップと、
を有する動画像符号化方法を、コンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及び、コンピュータプログラムに関する。
【背景技術】
【０００２】
従来から、動画像データを圧縮処理して符号データを生成する際に、フレーム毎の目標符号量の割り当てを好適に行うことにより、符号化効率を高める技術がある。複数のフレームが連続する動画像データでは、フレーム間の動き予測処理を行って差分を符号化する画面間予測フレームと、他のフレームを参照することなく符号化する画面内圧縮フレームとがある。その際に、フレーム間の相関が高い場合には、画面間予測フレームから参照されるフレームの目標符号量を大きくして復号画像の画質を高めることにより、そのフレームを参照する画面間予測フレームの画質を高めることができる。
【０００３】
すなわち、フレーム間の相関を見積もり、その評価値に基づいてフレーム毎に符号量を割り当てることにより、符号化された動画像の平均的な画質の向上を図ることができる。例えば、特開２００５−２１７４９９号公報（特許文献１）には、画面間予測フレームにおいて符号化処理が省略されたブロック又はマクロブロックの数を用いる画像処理装置等の発明が開示されている。特許文献１によれば、スキップマクロブロックの数等により、フレーム間の相関を見積もり、後続するフレームの符号化処理における符号量の割り当てを行うことにより、画質改善効果の高い動画像の符号化処理を効率的に行うことが記載されている。
【０００４】
【特許文献１】特開２００５−２１７４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に開示の画像処理装置等の発明によれば、スキップマクロブロック等の数を用いるため、マクロブロック毎では、相関が高いか低いかの２つの値しかなく、フレーム間の相関を十分に評価できないという課題があった。
【０００６】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画面間の相関を詳細に見積もって目標符号量を設定することにより、高効率な符号化を実現する動画像符号化装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の動画像符号化装置は次の如き構成を採用した。
【０００８】
本発明の動画像符号化装置は、インターフレームの動きベクトルに基づいて、前記インターフレームと少なくとも一つのイントラフレームとを含むフレームグループ内でのフレーム間の相関の程度を示す評価値を取得する評価部と、前記評価値によって示される前記相関の程度が大きくなるほど、前記イントラフレームの目標符号量に対する前記インターフレームの目標符号量の比が小さくなるように、前記フレームグループ内の符号量制御を行う符号量制御部と、前記目標符号量に基づく符号量制御に従って、前記フレームグループに含まれる各フレームを圧縮符号化する符号化部と、を有する。
なお、上記課題を解決するため、本発明は、上記動画像符号化装置によって実現される動画像符号化方法、又は、その動画像符号化方法をコンピュータに実行させるコンピュータプログラムとしてもよい。
【発明の効果】
【０００９】
本発明の動画像符号化装置、動画像符号化方法、及び、コンピュータプログラムによれば、画面間の相関を詳細に見積もって目標符号量を設定することにより、高効率な符号化を実現する動画像符号化装置、動画像符号化方法、及び、コンピュータプログラムを提供することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面に基づき説明する。なお、以下の実施の形態において画像又は動画像の「圧縮処理」を「符号化処理」又は「符号化」ともいう。また、「符号化データ」を「ストリーム」、「フレーム」を「画面」、「量子化幅」を「量子化ステップ幅」又は「量子化係数」ともいう。また、「符号量」を「ビットレート」ともいう。
【００１１】
また、以下の実施の形態において「インターフレーム」を「画面間予測フレーム」ともいい、「イントラフレーム」を「画面内予測フレーム」ともいう。
【００１２】
また、以下の実施の形態における「ＭＰＥＧ規格」とは、例えば、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ  １１１７２）、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８）、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ  １４４９６）、ＩＴＵ−Ｔ  Ｈ．２６４等の動画像符号化に係る規格である。
【００１３】
〔本発明の実施の形態〕
（動画像符号化装置の機能構成の例）
図１は、本発明の一実施の形態に係る動画像符号化装置を示すブロック図である。図１（ａ）の動画像再符号化装置１００は、符号化データを復号した後に再度符号化するトランスコード処理を行う。また、図１（ｂ）の動画像符号化装置２００は、入力される画像データを符号化処理して符号データを生成する。
【００１４】
図１（ａ）の動画像再符号化装置１００は、ＭＰＥＧ規格に準拠した動画像のトランスコード処理を行う。動画像再符号化装置１００は、復号部１１０、Ｓｉｄｅ情報取得部１２０、評価値計算部１３０、符号化部１４０、符号量制御部１５０を有する。
【００１５】
復号部１１０は、入力されるストリームに対し、符号化のフォーマットに対応する動画像復号処理を行って、復号画像を生成し、符号化部１４０に出力する。なお、「符号化のフォーマット」とは、例えば、符号化の規格のシンタックスである。復号部１１０は、また、復号処理の際に取得される他の情報は、Ｓｉｄｅ情報取得部１２０に対して出力する。
【００１６】
符号化部１４０は、復号部１１０から出力される復号画像に対し、Ｉｎｔｒａ／Ｉｎｔｅｒ予測、基底変換、量子化、符号化などを含む動画像符号化処理を行って符号化動画像を出力する。なお、「Ｉｎｔｒａ予測」とは、画面内圧縮処理のみが行われたフレームを表す情報であり、「Ｉｎｔｅｒ予測」とは、画面間予測処理が行われたフレームを表す情報である。符号化部１４０は、量子化処理部１４１を有する。量子化処理部１４１は、基底変換された画素のデータに対し、所定の量子化幅による量子化を行う。
【００１７】
Ｓｉｄｅ情報取得部１２０は、復号部１１０から復号画像を除くその他の情報を受け取り、画面間予測フレームについて各ブロックの動きベクトル及び予測方式の情報を取得する。Ｓｉｄｅ情報取得部１２０は、取得した情報を、フレーム毎に、評価値計算部１３０に出力する。
【００１８】
予測方式の情報とは、例えば、入力ストリームのピクチャ構造、予測構造、フレーム毎に含まれるマクロブロックの動き予測方式等の情報である。動き予測方式の情報とは、例えば、ＭＰＥＧ−４  Ｈ．２６４／ＡＶＣにおける、動き予測を行う際のブロックサイズの情報であり、ブロックサイズは、１６×１６、１６×８、８×１６、８×８である。動き予測方式の情報とは、また、前方予測、後方予測、時間／空間ダイレクトモード等の情報である。
【００１９】
予測方式 が同一であるピクチャとは、予測方式の情報が同一であるピクチャをいう。より詳細には、例えば、ピクチャ構造と予測構造とが同一であるピクチャをいう。
【００２０】
評価値計算部１３０は、入力された各ブロックの動きベクトル及び予測方式の情報に基づいて、フレーム毎に画面間相関の評価値を計算し出力する。
【００２１】
符号量制御部１５０は、符号化部１４０によって符号化されるフレーム毎に目標符号量を設定する。複雑度計算部１５１及び符号量設定部１５３を有する。複雑度計算部１５１は、符号化部１４０より出力されたフレーム毎の量子化係数と発生符号量とを取得する。複雑度計算部１５１は、取得した量子化係数と発生符号量とを乗じた値を符号化複雑度とし、符号化部１４０によって符号化されるフレーム毎に、そのフレームのフレームタイプと符号化複雑度とを対応づけて、符号量設定部１５３に対して出力する。
【００２２】
符号量設定部１５３は、評価値計算部１３０から出力される画面間相関の評価値と複雑度計算部１５１から出力される符号化複雑度と、の２つを入力として、各フレームの割り当て符号量を符号化部１４０に対して出力する。割り当て符号量は、符号化部１４０が符号化処理を行う際の目標符号量となる。なお、符号量設定部１５３は、例えば、ＭＰＥＧ−２  ＴＭ５をベースとした方式により、割り当て符号量を設定するとよい。
【００２３】
図１（ｂ）の動画像符号化装置２００は、入力される画像データを圧縮処理して符号データを生成する。図１（ｂ）の動画像符号化装置２００は、動き予測部２２０、評価値計算部１３０、符号化部１４０、及び、符号量制御部１５０を有する。図１（ｂ）の動画像符号化装置２００において、図１（ａ）の動画像再符号化装置１００と同一の機能及び構成を有するブロックにおいては、同一の符号を付し、ここでは説明を省略する。
【００２４】
動画像符号化装置２００は、入力される画像データを、符号化部１４０に入力して符号化処理を行う。動画像符号化装置２００は、また、入力される画像データを動き予測部２２０に入力して動き予測処理を行う。
【００２５】
動き予測部２２０は、入力画像データのうち、画面間予測を行うフレームの動き予測処理を行い、マクロブロック毎の動きベクトルを検出する。なお、動き予測部２２０は、入力画像データにおいて動き予測処理を行う他に、符号化部１４０によって生成された符号データを復号した復号画像において、動き予測処理を行ってもよい。これにより符号化の効率を高くすることができる。
【００２６】
（画面間予測の参照関係と評価値を計算するフレームの説明）
図２は、連続するフレームを有する動画像データにおける、画面間予測の参照関係と、評価値を計算するフレームを説明する図である。図２（ａ）は、例えば、図１（ａ）の動画像再符号化装置１００に入力される入力ストリームにおける、フレームの並び順を説明する図である。図２（ａ）の符号データは、復号された画像が表示される際の表示順に、フレームが並んでいる。図２（ａ）の符号データは、画面内圧縮フレームであるＩ−ｐｉｃｔｕｒｅと、画面間予測フレームであるＰ−ｐｉｃｔｕｒｅ、Ｂ−ｐｉｃｔｕｒｅを含み、先頭から、Ｉ１、Ｂ２、Ｂ３、Ｐ４・・・の順にフレームが並んでいる。
【００２７】
図２（ｂ）は、動画像再符号化装置１００又は動画像符号化装置２００によって生成される出力ストリームにおける、フレームの並び順を説明する図である。図２（ｂ）は、復号された画像が表示される際の表示順にフレームが並び、図２（ａ）の入力ストリームと同一の並び順となる。
【００２８】
図２では、一のＩ−ｐｉｃｔｕｒｅから、次のＩ−ｐｉｃｔｕｒｅの直前までの複数のフレームを、一のＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）としている。なお、本発明の実施の形態では、フレームの並び順は、図２の例に限らない。表示順において、ＧＯＰの先頭にＢ−ｐｉｃｔｕｒｅ又はＰ−ｐｉｃｔｕｒｅが含まれる構成でもよい。
【００２９】
図２の例では、Ｐ−ｐｉｃｔｕｒｅにおいて、動きベクトルの値を用いて画面間の相関を評価する。より詳細には、符号化対象のＩ−ｐｉｃｔｕｒｅに対して、復号部１１０において復号処理される際に、表示順における直後のＰ−ｐｉｃｔｕｒｅ において、評価値を取得する。
【００３０】
ここでは、フレームＰ４が復号部１１０において復号処理された際に、評価値計算部１３０が、Ｓｉｄｅ情報取得部１２０より、動きベクトル及び予測方式の情報を、フレームＰ４内の全マクロブロックについて取得する。評価値計算部１３０は、取得された情報により、画面間の相関の評価値を計算する。
【００３１】
なお、一のＧＯＰには、一以上のＰ−ｐｉｃｔｕｒｅが含まれ、動きベクトルの情報は、Ｐ−ｐｉｃｔｕｒｅ及びＢ−ｐｉｃｔｕｒｅに含まれている。本実施の形態では、例えば、一のＧＯＰに含まれるＰ−ｐｉｃｔｕｒｅのうち、表示順において、Ｉ−ｐｉｃｔｕｒｅに最も近いＰ−ｐｉｃｔｕｒｅを、評価値の取得に用いる。これにより、Ｉ−ｐｉｃｔｕｒｅの画質の影響を大きく受けるＩ−ｐｉｃｔｕｒｅ付近のＰ−ｐｉｃｔｕｒｅの画面間相関を高精度で見積もることができる。
【００３２】
なお、直前でなく直後のフレームを用いるのは、例えば、動画像の中で、シーンチェンジが発生する箇所にＩ−ｐｉｃｔｕｒｅを挿入することが多いためである。シーンチェンジが発生する箇所がＩ−ｐｉｃｔｕｒｅである場合には、そのＩ−ｐｉｃｔｕｒｅよりも表示順において前のフレームは、Ｉ−ｐｉｃｔｕｒｅとはシーンが異なるため、画面間の相関の評価値が大きく変化してしまい、好適な評価値が得られない可能性がある。
【００３３】
（画面間の相関の評価値を計算する処理）
図３は、画面間の相関の評価値を計算する処理を示すフロー図である。図３では、例えば、一のＰ−ｐｉｃｔｕｒｅが有するマクロブロック毎に対応づけられる動きベクトルに基づいて、画面間の相関の評価値の計算が行われる。図３の処理は、例えば、評価値計算部１３０によって行われる。
【００３４】
（ステップＳ１０１）
図３のステップＳ１０１では、Ｐ−ｐｉｃｔｕｒｅが有するマクロブロックのうち、Ｉｎｔｅｒ予測が行われたマクロブロックの動きベクトルに基づく処理が開始される。図４は、水平方向に連続する２つのマクロブロックＭａ及びマクロブロックＭｂが示されている。マクロブロックＭａ及びマクロブロックＭｂは、Ｉｎｔｅｒ予測が行われたマクロブロックであり、それぞれ、対応する動きベクトルａ及び動きベクトルｂを有する。
【００３５】
ここで、評価値を得るために、ベクトルａ及びベクトルｂの差分ベクトルを計算する。差分ベクトルは、それぞれ、Ｘ成分、Ｙ成分を有する。さらに、差分ベクトルの成分から、動きベクトルの差分値ＭＶ＿ｄｉｆｆを次式（１）式により計算する。
【００３６】
【数１】
2010062999.tif 000003
但し、
ｍｖＸ１、ｍｖＹ１は連続する２つのマクロブロックの内、一方のブロックの動きベクトルのｘ方向、ｙ方向の成分、
ｍｖＸ２、ｍｖＹ２は連続する２つのマクロブロックのうち、他方のブロックの動きベクトルのｘ方向、ｙ方向の成分、
である。
【００３７】
本実施の形態では、動きベクトルの値が小さく、かつ、等方的であるほど、画面間相関が高いとする。そのため、動きベクトルの差分値を用いることで、フレーム内の動きベクトルのバラつきを評価する。また、動きベクトルが大きいほど、動きのバラつきによる変動量が大きい傾向があることが多いため、差分値を用いることで、同時に動きベクトルの大きさも評価している。
【００３８】
なお、ＭＶ＿ｄｉｆｆを、評価値を計算しているフレームと、参照されているＩ−ｐｉｃｔｕｒｅである参照フレームとの時間距離で除算することで値の正規化を行っても良い。時間距離とは、例えば、フレーム間の距離であり、処理しているフレームと参照フレームとの間のフレーム数に基づく距離である。
【００３９】
また、連続する２つのマクロブロックが複数の動きベクトルを有する場合には、一の動きベクトルについて差分絶対値ＭＶ＿ｄｉｆｆを計算してもよく、それぞれの動きベクトルについて差分絶対値ＭＶ＿ｄｉｆｆを計算してもよい。このＭＶ＿ｄｉｆｆの評価値計算対象フレームの全マクロブロックについての和ＭＶ＿ｄｉｆｆ＿ｓｕｍを算出する。
次に、ＭＶ＿ｄｉｆｆを、評価値の計算対象となるフレームが有する全マクロブロックについて計算し、それらの和であるＭＶ＿ｄｉｆｆ＿ｓｕｍを算出する。
【００４０】
（ステップＳ１０２）
ステップＳ１０１に続いてステップＳ１０２に進み、ＭＶ＿ｄｉｆｆ＿ｓｕｍをフレーム内のＩｎｔｅｒ予測マクロブロックの数で除算を行い、平均動きベクトル差分ＭＶ＿ｄｉｆｆ＿ａｖｅを算出する。これにより、符号化対象動画像の画像サイズに寄らない値を取得することができる。
【００４１】
（ステップＳ１０３）
ステップＳ１０２に続いてステップＳ１０３に進み、ｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎを次式（２）により計算する。
【００４２】
【数２】
2010062999.tif 000004
【００４３】
ここで、ｍｂ＿ｎｕｍはフレーム内のマクロブロック数、ｉｎｔｅｒ＿ｍｂ＿ｎｕｍはフレーム内のＩｎｔｅｒ予測マクロブロック数である。これにより、動きベクトルの値に加えて、画面間相関が低いＩｎｔｒａ予測が用いられるマクロブロックの数を、評価値に反映させることができる。より詳細には、Ｉｎｔｒａ予測が用いられるマクロブロックの数に応じて評価値が大きくなり、評価の精度を高めることができる。
【００４４】
（ステップＳ１０４）
ステップＳ１０３に続いてステップＳ１０４に進み、ステップＳ１０１からステップＳ１０３までの処理により、評価値計算対象であるＰ−ｐｉｃｔｕｒｅについて、画面間相関の評価値ｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎが算出され、その値が取得される。
【００４５】
画面間の相関が高い場合には、Ｉ−ｐｉｃｔｕｒｅで始まるＧＯＰにおいて、Ｉｎｔｅｒ予測の起点となるＩ−ｐｉｃｔｕｒｅの画質が後続のＰ−ｐｉｃｔｕｒｅへ大きな影響を与える。逆に、画面間相関が低い場合には、Ｉ−ｐｉｃｔｕｒｅの画質の後続のＰ−ｐｉｃｔｕｒｅへは少ない。そのため、画面間相関が高低によりＩ−ｐｉｃｔｕｒｅの割り当て符号量を変えることで、効率的な符号量割り当てが可能となる。
【００４６】
（符号量割り当ての処理）
図５は、符号量割り当ての処理を示すフロー図である。図５の処理は、例えば、符号量制御部１５０により実行される。より詳細には、図５の処理は、符号化部１４０が、符号量を割り当てる対象となるフレームが符号化される前に実行され、図５の処理により取得された目標符号量が、符号化部１４０に送られる。符号化部１４０は、取得された目標符号量を元に量子化係数を設定し、そのフレームの符号化処理を行う。
【００４７】
（ステップＳ２０１）
図５のステップＳ２０１では、複雑度計算部１５１が、符号化部１４０によって符号化が行われた際の、ピクチャタイプ毎の符号化複雑度の値を取得する。ピクチャタイプとは、Ｉ、Ｐ、Ｂの３つのタイプである。ここでは、Ｘｉ，Ｘｐ，Ｘｂを、それぞれＩ−ｐｉｃｕｔｒｅ、Ｐ−ｐｉｃｔｕｒｅ、及び、Ｂ−Ｐｉｃｔｕｒｅの符号化複雑度とする。符号量設定部１５３は、符号化複雑度の値を保持し、複雑度計算部１５１から符号化複雑度が出力される度に、保持する値を更新する。
【００４８】
（ステップＳ２０２）
ステップＳ２０１に続いてステップＳ２０２に進み、符号量設定部１５３が、一のＧＯＰの符号化を開始する際に、そのＧＯＰに対する割り当て符号量ＧＯＰＢｉｔｓを、目標ビットレートから決定する。ＧＯＰＢｉｔｓは、符号データ全体の発生符号量を目標ビットレートに近づけるために、符号化済みフレームの発生符号量に基づいて、その値を増減させる。
【００４９】
なお、ＧＯＰの先頭にＩ−ｐｉｃｔｕｒｅがある場合には、Ｉ−ｐｉｃｔｕｒｅの符号化開始時を、ＧＯＰの符号化開始時としてもよい。
【００５０】
（ステップＳ２０３）
ステップＳ２０２に続いてステップＳ２０３に進み、符号量設定部１５３が、Ｉ−ｐｉｃｔｕｒｅに対する目標ビットレートを設定する。ここでは、複雑度の重み係数Ｋｐ、及び、Ｋｐを、次式（３）により計算する。
【００５１】
【数３】
2010062999.tif 000005
但し、Ｋｐｇａｉｎ、Ｋｂｇａｉｎ、α、βは所定の係数である。
なお、α、βは、画面間相関の評価値ｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎが小さいほど、Ｋｐ、Ｋｂが大きくなるようにα＞βとする。
【００５２】
図６は、式（３）のｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎに関係する項の値の推移を示す図である。Ｋｐ、Ｋｂは、次のＩ−ｐｉｃｔｕｒｅの符号量割り当て時まで同じ値を取る。
【００５３】
（ステップＳ２０４）
ステップＳ２０３に続いてステップＳ２０４に進み、符号量設定部１５３が、ＧＯＰに含まれる各フレームに対して割り当てる目標符号量を決定する。
【００５４】
図７は、ＧＯＰに含まれるフレーム毎に、目標符号量を割り当てることを説明する図である。図７（ａ）では、一のＧＯＰにおいて、符号化の順にフレームが並べられている。すなわち、図２（ａ）の表示順では、Ｉ１、Ｂ２、Ｂ３、Ｐ４・・・の順に並ぶフレームが、符号化順では、Ｉ１、Ｐ４、Ｂ２、Ｂ３・・・の順に並ぶ。目標符号量を割り当てる際には、ＧＯＰに含まれるフレームに対し、符号化順に目標符号量を割り当てていく。
【００５５】
図７（ｂ）に示すように、ＧＯＰに対する総符号量割り当てＴａに対し、フレーム毎に符号量を割り当てていく。より詳細には、まずＩ１に対する目標符号量ＴＩ１を割り当てる。ＴａからＴＩ１を減じた符号量残量の中から、次に符号化するＰ４に対する目標符号量ＴＰ４を割り当て、他のフレームについても、同様に行っていく。
【００５６】
ここで、Ｉ−ｐｉｃｕｔｒｅに対する目標符号量ＩＡｌｌｏｃＢｉｔｓは、次式（４）により、また、Ｐ−ｐｉｃｔｕｒｅ及びＢ−ｐｉｃｔｕｒｅに対する目標符号量Ｐ／ＢＡｌｌｏｃＢｉｔｓは、次式（５）により計算する。
いて決定する。
【００５７】
【数４】
2010062999.tif 000006
【数５】
2010062999.tif 000007
但し、Ｎｐは、符号化中のＧＯＰ内の残りのＰ−ｐｉｃｔｕｒｅのフレーム数、
Ｎｂは、符号化中のＧＯＰ内の残りのＢ−ｐｉｃｔｕｒｅのフレーム数、
ＲｅｍａｉｎＢｉｔｓは、ＧＯＰＢｉｔｓから、ＧＯＰ内の符号化済みのフレームの発生符号量を引いた値、
である。
【００５８】
式（４）では、ＧＯＰ全体に対する割り当て符号量を符号化複雑度で比例配分する際に、Ｐ／Ｂ−ｐｉｃｔｕｒｅの複雑度をＫｐ、Ｋｂで除している。これにより、ｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎが小さいほど、Ｉ−ｐｉｃｔｕｒｅへの割り当て符号量が多くなり、画面間相関が高いＧＯＰほどＩ−ｐｉｃｔｕｒｅへの割り当て符号量が増え、Ｉ−ｐｉｃｔｕｒｅ及び後続のＰ−ｐｉｃｔｕｒｅの復号画像の画質の向上が実現できる。
以上のステップＳ２０１からステップＳ２０４により、一のＧＯＰに含まれるフレーム毎に、目標符号量が設定される。
【００５９】
本実施形態の動画像符号化装置では、画面間の相関として、動きベクトルの差分値を元に評価値を算出し、その値に応じてＧＯＰごとにＩ−ｐｉｃｔｕｒｅへの割り当て符号量の配分量を動的に変化させる。これにより、Ｉｎｔｅｒ予測精度に応じて後続のＰ−ｐｉｃｔｕｒｅへの影響を考慮して、画面間予測の起点となるＩ−ｐｉｃｔｕｒｅの画質を決定することができ、符号化対象動画像の平均的な画質の向上が可能となる。
【００６０】
（実施の形態の他の例）
本発明の実施の形態は、上記の例に限定されるものでなく、種々変形して実施可能である。例えば、符号化部１４０が符号化処理を行うことなく、動きベクトルの予測と予測方式を決定する機能を有し、さらに、その動きベクトルと予測方式の情報を出力する機能を備えてもよい。この場合には、評価値計算部１３０は、符号化部１４０から出力される動きベクトルと予測方式の情報とを取得してもよい。
【００６１】
また、複雑度計算部１５１で計算される符号化複雑度は、量子化係数の累乗と発生符号量とを乗じた値でもよい。また、評価値計算部１３０で計算される動きベクトルの差分値ＭＶ＿ｄｉｆｆは、周囲のブロックとの差分絶対値の和や差分二乗和を用いてもよい。また、評価値計算部１３０により評価値を計算する対象となるフレームは、ＧＯＰに含まれる２番目以降のＰ−ｐｉｃｔｕｒｅ又はＢ−ｐｉｃｔｕｒｅでもよい。
【００６２】
また、符号量設定部１５３は、Ｐ−ｐｉｃｔｕｒｅに対する符号量割り当てを、Ｉ−ｐｉｃｔｕｒｅの直後及び後の数枚のＰ−ｐｉｃｔｕｒｅについて割り当て符号量を増やしてもよい。これにより、他のフレームに比して画質が良くなるＩ−ｐｉｃｔｕｒｅの復号画像の画質を、後続する他のフレームに伝搬させることができる。
【００６３】
また、上記の実施の形態では、動画像データを構成する「フレーム」毎に、ピクチャタイプや目標符号量を設定して符号化処理を行っているが、本発明の実施の形態は、この例に限らない。例えば、「スライス」毎に、タイプや目標符号量を設定して符号化処理を行う場合には、画面間予測を行うスライス毎に、評価値を計算してもよい。
【００６４】
また、本発明の実施の形態の動画像符号化装置は、ＭＰＥＧ規格の他に、ＳＭＰＴＥ  ＶＣ−１等の動画像符号化の規格に対応する符号データを処理する装置であればよい。より詳細には、本実施の形態に係る動画像符号化装置等によって生成される圧縮処理された動画像の符号データは、動き予測処理を伴う画面間予測処理が行われているとよい。動き予測処理とは、例えば、一の画面において動きベクトルを検出する処理である。
【００６５】
（コンピュータ等による実現）
なお、本発明の実施の形態に係る動画像符号化装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本発明の実施形態に係る動画像符号化方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行される。
【００６６】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【図面の簡単な説明】
【００６７】
【図１】動画像符号化装置を示すブロック図である。
【図２】画面間予測の参照関係と、評価値を計算するフレームを説明する図である。
【図３】画面間の相関の評価値を計算する処理を示すフロー図である。
【図４】隣接するマクロブロックの動きベクトルの差分ベクトルを説明する図である。
【図５】符号量割り当ての処理を示すフロー図である。
【図６】ｉｎｖｅｒｔ＿ｃｏｒｒｅｌａｔｉｏｎに関係する項の値の推移を示す図である。
【図７】ＧＯＰに含まれるフレーム毎に、目標符号量を割り当てることを説明する図である。
【符号の説明】
【００６８】
１００ 動画像再符号化装置
１１０ 復号部
１２０ Ｓｉｄｅ情報取得部
１３０ 評価値計算部
１４０ 符号化部
１４１ 量子化処理部
１５０ 符号量制御部
１５１ 複雑度計算部
１５３ 符号量設定部
２００ 動画像符号化装置
２２０ 動き予測部
【図１】
2010062999.tif 000008
【図２】
2010062999.tif 000009
【図３】
2010062999.tif 000010
【図４】
2010062999.tif 000011
【図５】
2010062999.tif 000012
【図６】
2010062999.tif 000013
【図７】
2010062999.tif 000014