(57)【要約】【課題】シーンチェンジに応じて調整したビット量で信号を符号化する。【解決手段】動画像信号からシーンチェンジの位置を検出するシーンチェンジ位置検出部１２と、動画像信号の単位時間ごとの符号化難易度ｄを算出する符号化難易度算出部１０と、上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出するビット量算出部１１と、上記ビット量ｂが所定の閾値より低い場合に、シーンチェンジ位置に基づき決定される所定の位置以前及び以降に割り当てるビット量を調整するビット量調整部と、上記動画像信号を遅延する遅延部１３と、上記シーンチェンジ位置に基づき、一部の画像構造を所定の画像構造に変更し、変更後の画像構造にしたがって、上記遅延部から出力される動画像信号を上記ビット量調整部による調整に基づき符号化を行う符号化部１４とを備える。【選択図】　図３
2004015351.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を所定の画像構造に基づき、符号化する符号化装置であって、
動画像信号の単位時間ごとの符号化難易度ｄを算出する符号化難易度算出手段と、
上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出するビット量算出手段と、
動画像信号からシーンチェンジ位置を検出するシーンチェンジ位置検出手段と、
上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する画像構造変更手段と、
上記ビット量ｂが所定の閾値より低い場合に、上記画像構造変更手段で画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行うビット量調整手段と、
動画像信号を遅延させて出力する遅延手段と、
上記画像構造変更手段により変更した画像構造に基づき、上記遅延手段から出力される動画像信号を上記ビット量調整手段の調整に応じて符号化する符号化手段とを備えること
を特徴とする符号化装置。
【請求項２】
上記画像構造は、所定枚数のＩピクチャ（Ｉｎｔｒａ符号化画像）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ符号化画像）及びＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｒｅｄｉｃｔｉｖｅ符号化画像）により形成されているＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅ）構造であること
を特徴とする請求項１記載の符号化装置。
【請求項３】
上記画像構造変更手段は、上記シーンチェンジ位置検出手段で検出したシーンチェンジ位置後の最初のＰピクチャをＩピクチャに変更すること
を特徴とする請求項２記載の符号化装置。
【請求項４】
上記ビット量調整手段は、上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前の動画像信号に本来割り当てる予定だったビット量をＲ＿ｐｒｅとし、減少するビットレート率をＳＣ＿ｒａｔｅとすると、上記位置以前の動画像信号に割り当てるビット量Ｒ＿ｐｒｅ’を、
Ｒ＿ｐｒｅ’＝Ｒ＿ｐｒｅ×ＳＣ＿ｒａｔｅ
に従い調整し、上記位置以降の動画像信号に本来割り当てる予定だったビット量をＲ＿ｐｏｓｔとすると、上記位置以降の動画像信号に割り当てるビット量Ｒ＿ｐｏｓｔ’を、
Ｒ＿ｐｏｓｔ’＝Ｒ＿ｐｏｓｔ＋（Ｒ＿ｐｒｅ−Ｒ＿ｐｒｅ’）
に従い調整すること
を特徴とする請求項１記載の符号化装置。
【請求項５】
動画像信号を所定の画像構造に基づき、符号化する符号化方法であって、
動画像信号の単位時間ごとの符号化難易度ｄを算出し、
上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出し、
動画像信号からシーンチェンジ位置を検出し、
上記シーンチェンジ位置に基づき、上記所定の画像構造を変更し、
上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、
動画像信号を遅延させて出力し、
変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化すること
を特徴とする符号化方法。
【請求項６】
コンピュータに、
動画像信号の単位時間ごとの符号化難易度ｄを算出する工程と、
上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出する工程と、
動画像信号からシーンチェンジ位置を検出する工程と、
上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する工程と、
上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行う工程と、
動画像信号を遅延させて出力する工程と、
変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化する工程を実行させるためのプログラム。
【請求項７】
動画像信号の単位時間ごとの符号化難易度ｄを算出する工程と、
上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出する工程と、
動画像信号からシーンチェンジ位置を検出する工程と、
上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する工程と、
上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行う工程と、
動画像信号を遅延させて出力する工程と、
変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化する工程を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル信号を効率的に符号化する高能率符号化における符号化装置及び方法、プログラム、記録媒体に関し、特に、動画像信号の符号化において、１パス方式で可変ビットレートの割当量を制御し符号化を行う符号化装置及び方法、プログラム、記録媒体に関する。
【０００２】
【従来の技術】ディジタルビデオ信号はデータ量が極めて多いため、これを小型で記憶容量の少ない記録媒体に長時間記録したい場合、ビデオ信号を高い圧縮率で効率よく符号化する高能率符号化手段が不可欠となる。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方法が提案されており、その一つにＭＰＥＧ方式がある。
【０００３】
このＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｉｍａｇｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）とは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１にて議論され、標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）符号化とを組み合わせたハイブリッド方式である。このＭＰＥＧ方式では、まずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落とし、その後、離散コサイン変換を用いて空間軸方向の冗長度を落とし、このようにしてビデオ信号を能率よく符号化する。また、ＭＰＥＧ方式では、上記動き補償予測符号化を行うために、Ｉピクチャ（Ｉｎｔｒａ符号化画像）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ符号化画像）及びＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｒｅｄｉｃｔｉｖｅ符号化画像）という３つの要素によるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅ）構造を用いている。
【０００４】
一般に、ビデオ信号は定常的でなく、各ピクチャの情報量は時間経過に伴って変化する。そのため可変ビットレート符号化を用いると同じ符号量で一定ビットレート符号化に比べて高画質が得られることが知られている。
【０００５】
例えば、いわゆるＤＶＤ−ｖｉｄｅｏに記録されるビデオ信号は、２パス方式の可変ビットレート符号化が、一般に用いられている。この２パス方式は、符号量を求めるための符号化処理と、求められた符号量に基づいてビットレートを可変制御しながら行う符号化処理との２度の符号化を行うものであり、使用可能な符号化ビット総量を有効に使うことが出来る利点があるが、処理時間が動画像シーケンスの時間長の約２倍必要という欠点があるため、リアルタイム処理には不向きである。
【０００６】
この処理時間を短くすることを目的とした１パス方式の可変ビットレート符号化方式が、例えば特願平７−３１１４１８号及び特願平９−１１３１４１号等の明細書及び図面等に開示されている。
【０００７】
ここで、図８に、従来の１パス方式の可変ビットレート符号化方法を適用した動画像の符号化装置の構成例を示し、また図９に１パス方式の可変ビットレート符号処理のフローチャートを示す。
【０００８】
符号化装置２は、図８に示すように、符号化難易度計算器２０と、割当ビット量計算器２１と、遅延器２２と、動画像符号化器２３とを備えている。符号化装置２において、入力端子Ａに供給された入力動画像信号は、符号化難易度計算器２０及び遅延器２２に送られる。符号化難易度計算器２０からの出力は、単位時間毎の割当ビット量を計算する割当ビット量計算器２１に送られ、割当ビット量計算器２１からの出力は動画像符号化器２３に送られる。動画像符号化器２３は、遅延器２２からの出力信号を、割当ビット量計算器２１からの割当ビット量に応じて符号化し、端子２０５より符号化ビットストリームとして出力する。
【０００９】
ここで、符号化装置２の動作を、図９のフローチャートに従って説明する。
【００１０】
ステップＳＴ１０において、符号化装置２は、入力端子Ａに供給された動画像信号を符号化難易度計算器２０に入力し、単位時間毎の入力画像の符号化難易度ｄを計算する。上記単位時間は、例えば０．５秒程度とされる。この符号化難易度の計算は、例えば、量子化ステップを固定して入力動画像信号をエンコードして、所定時間毎の発生符号量を計算することにより行われる。
【００１１】
ステップＳＴ１１において、符号化装置２は、割当ビット量計算器２１により、符号化難易度計算器２０から得られた符号化難易度ｄに対する割当ビット量ｂを計算により求める。この場合、予め、基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化する時の単位時間毎の符号化難易度ｄと割当ビット量ｂを関係付けておく。ここで、基準となる動画像シーケンスに対する単位時間毎の割当ビット量の総和は、目的の記録媒体の記憶容量以下にされている。この符号化難易度ｄと割当ビット量ｂの関係の例を図４に示す。
【００１２】
図４において、横軸は符号化難易度ｄを示し、縦軸は、基準となる動画像シーケンス内で符号化難易度ｄの出現確立ｈ（ｄ）を示している。そして、任意の符号化難易度に対する割当ビット量を関数ｂ（ｄ）に基づいて計算する。この関係は、例えば、映画等の動画像シーケンスを所定の平均ビットレートで符号化する実験を行い、その画質を評価し、試行錯誤を通じて経験的に求められるものであり、世の中のほとんどのシーケンスに適応可能な一般的な関係になっている。その求め方については、例えば、特願平７−３１１４１８号等の明細書及び図面に開示されている。割当ビット量計算器２１では、この図４の関係に基づいて、入力端子Ａからの入力画像の単位時間の符号化難易度ｄに対して、割当ビット量ｂを求める。
【００１３】
この１パス方式の符号化装置２における遅延器２２は、単位時間長の入力画像に対しての符号化難易度計算器２０と割当ビット量計算器２１での処理が単位時間内に終了するので、その画像信号の動画像符号化器２３への入力を単位時間だけ遅延するために設けられている。
【００１４】
また、ステップＳＴ１２において、符号化装置２は、動画像符号化器２３が、単位時間毎の入力動画像を、これに対応して割当ビット量計算器２１から与えられる割当ビット量になるように符号化する。すなわち、動画像符号化器２３は、割当符号量に基づいた量子化ステップサイズにより、単位時間毎の入力動画像をエンコードする。
【００１５】
このような１パス方式においては、画像信号の入力に応じて、ほぼリアルタイムで信号の符号化難易度に応じた最適な割当ビット量での可変ビットレート符号化が行える。
【００１６】
【発明が解決しようとする課題】
ところで、図４の関係は、ほとんどの動画像シーケンスに適用できるが、いくつかの特殊なシーケンスには対応できない。例えば、異なる入力画像信号が時間的に連続するつなぎ目の部分である。なお、このような入力画像信号のつなぎ目をシーンチェンジという。
【００１７】
上記シーンチェンジの部分では、連続した画像から差分を取り出して符号化し、元の画像を再構成する、いわゆる動き補償予測符号化が適用できないため一般的な入力画像信号と同等の画質を得るためには、シーンチェンジの部分により多くのビット量を割り当てるか、シーンチェンジの部分でＭＰＥＧのＧＯＰ構造を変える必要がある。例えば、ＰピクチャをＩピクチャに変更することで、シーンチェンジ時の画質の劣化を防ぐことが可能である。
【００１８】
しかし、ＧＯＰ構造を変更すると一般にそのＧＯＰでは、符号化効率が悪くなるため、単にＧＯＰ構造を変更しただけでは、一般的な入力画像信号と同等の画質を得るのは難しい。特に、１ＧＯＰに低レートのビット量しか割り当てられていないときには、ＰピクチャからＩピクチャに変更するときに必要となるビット量が足りなくなり、ＧＯＰ構造を変更したシーンの画質が劣化してしまう。
【００１９】
そこで、本発明では、シーンチェンジを検出し、ＧＯＰ構造を変更した場合でもシーンチェンジ部分の画質を向上させることが可能な符号化装置及び方法、プログラム、記録媒体を提案することを目的とする。
【００２０】
【課題を解決するための手段】
本発明に係る符号化装置は、上述の問題を解決するために、動画像信号を所定の画像構造に基づき、符号化する符号化装置であって、動画像信号の単位時間ごとの符号化難易度ｄを算出する符号化難易度算出手段と、上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出するビット量算出手段と、動画像信号からシーンチェンジ位置を検出するシーンチェンジ位置検出手段と、上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する画像構造変更手段と、上記ビット量ｂが所定の閾値より低い場合に、上記画像構造変更手段で画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行うビット量調整手段と、動画像信号を遅延させて出力する遅延手段と、上記画像構造変更手段により変更した画像構造に基づき、上記遅延手段から出力される動画像信号を上記ビット量調整手段の調整に応じて符号化する符号化手段とを備える。
【００２１】
このような符号化装置は、ビット量算出手段で算出したビット量ｂが所定の閾値より低い場合に、ビット量調整手段で画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、符号化手段で変更した画像構造に基づき、動画像信号をビット量調整手段の調整に応じて符号化を行う。
【００２２】
本発明に係る符号化方法は、上述の課題を解決するために、動画像信号を所定の画像構造に基づき、符号化する符号化方法であって、動画像信号の単位時間ごとの符号化難易度ｄを算出し、上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出し、動画像信号からシーンチェンジ位置を検出し、上記シーンチェンジ位置に基づき、上記所定の画像構造を変更し、上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、動画像信号を遅延させて出力し、変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化する。
【００２３】
このような符号化方法は、動画像信号を単位時間内に転送するビット量ｂが所定の閾値より低い場合に、シーンチェンジ位置に基づき変更した画像構造の位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、変更した画像構造に基づき、動画像信号を上記調整に応じて符号化する。
【００２４】
本発明に係るコンピュータにより実行させるためのプログラムは、上述の課題を解決するために、動画像信号の単位時間ごとの符号化難易度ｄを算出する工程と、上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出する工程と、動画像信号からシーンチェンジ位置を検出する工程と、上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する工程と、上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行う工程と、動画像信号を遅延させて出力する工程と、変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化する工程とを有する。
【００２５】
このようなプログラムは、コンピュータにより実行した際には、動画像信号を単位時間内に転送するビット量ｂが所定の閾値より低い場合に、シーンチェンジ位置に基づき変更した画像構造の位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、変更した画像構造に基づき、動画像信号を上記調整に応じて符号化する。
【００２６】
本発明に係る記録媒体は、上述の課題を解決するために、動画像信号の単位時間ごとの符号化難易度ｄを算出する工程と、上記符号化難易度ｄに基づき、上記動画像信号を単位時間内に転送するビット量ｂを算出する工程と、動画像信号からシーンチェンジ位置を検出する工程と、上記シーンチェンジ位置に基づき、上記所定の画像構造を変更する工程と、上記ビット量ｂが所定の閾値より低い場合に、画像構造の変更を行った位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行う工程と、動画像信号を遅延させて出力する工程と、変更した画像構造に基づき、遅延させて出力した動画像信号を上記調整に応じて符号化する工程を実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体である。
【００２７】
このような記録媒体を読み取り可能なコンピュータにより実行した際に、動画像信号を単位時間内に転送するビット量ｂが所定の閾値より低い場合に、シーンチェンジ位置に基づき変更した画像構造の位置以前に割り当てるビット量を減少させ、これによって得た余剰のビット量を上記位置以降に割り当てる調整を行い、変更した画像構造に基づき、動画像信号を上記調整に応じて符号化する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００２９】
まず、本発明の背景について説明する。例えば、光ディスクメディアのひとつである片面一層方式のＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）は、記録できるデータ量がＣＤの約７倍の約４．７ＧＢを実現した大容量メディアである。しかし、映像信号を何の処理も行わずにディジタル化し、記録しようとすると、長時間の記録ができない。例えば、ＮＴＳＣ方式の映像信号をディジタル化すると、１秒当たりのデータ量は、２０ＭＢ以上になる。なお、２０ＭＢは、７２０×４８０画素の画面を１秒に２９．９７枚、１画素あたり、輝度に８ビット、色に８ビットを与えるものとして計算した値である。
【００３０】
したがって、ＮＴＳＣ方式の映像信号を上記ＤＶＤに記録しようとすると、約４分程度の映像しか記録することができない。そこで、ＤＶＤでは、約１３３分の映像を記録できるようにＮＴＳＣ方式の映像信号を圧縮するＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ　Ｉｍａｇｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２を採用している。
【００３１】
ＭＰＥＧ２による動画像信号の圧縮方法は、画面内の相関を利用した圧縮である離散コサイン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）と、画面間の相関を利用した動き補償と、符号列の相関を利用した圧縮であるハフマン符号化の３つを組み合わせたものである。
【００３２】
ここで、動き補償について説明する。ＮＴＳＣ方式の映像信号は、１秒当たり３０フレームで構成されており、ちらつきを無くすためにこれをインターレース（飛び越し走査）方式でスキャンする。そのため、ディスプレイ装置では、１秒当たり６０フィールドで画面を表示している。なお、３０フレームは、５２５本の走査線から形成される３０枚の絵としている。
【００３３】
１秒あたり３０枚の絵のそれぞれについて見ると、連続した画像は、画面中の大きな面積が同一の要素で占められていることが多く、しかも、それは、短時間のうちには余り変化しない。
【００３４】
そこで、例えば、３０枚の絵のうちで変化する部分がある場合、その変化分（差分）のみを取り出して、その他の部分は１回だけ記録するようにする。そして、再生時にその差分を合成すれば、記録・再生のために必要な情報量は、少なくて済むことになる。このような、連続した画像から差分を取り出して符号化しもとの画像を再構成する手法は、１枚前の画像から現在の画像を予測するため予測符号化と呼ばれている。
【００３５】
また、画像の中の変化する部分、すなわち動きのある部分には、形が変わらず時間とともにただ画面上の位置が変わっていくものと、時間とともに形が変わっていくものとがある。前者の場合には、形のデータは、そのまま使うことが可能である。形が変わらずに時間とともに画面上の位置が変わっていく要素について、その変化分、すなわち、動きのずれの量を動きベクトルと呼ぶ。この動きベクトルを符号化し、符号化した信号を伝送すれば、より少ないデータ量で元の画像を再構成することができる。なお、予測符号化の中でこの動きベクトルを利用する方法を動き補償と呼ぶ。
【００３６】
つぎに、上述した予測符号化と動き補償の処理について図１を用いて説明する。予測符号化の処理では、例えば、時間の流れにしたがって再生されるべき画像Ａ及び画像Ｂがあった場合に、画像Ａ及び画像Ｂの内容に共通要素が多いので、画像Ａ及び画像Ｂをそのまま符号化するのではなく、画像Ａと画像Ｂからその差分である画像Ｃを生成し、生成した画像Ｃを画像Ａとともに符号化する。このように符号化された画像Ａ及び画像Ｃは、復号時に、画像Ａと画像Ｃを合成して画像Ｂを再構築することができる。なお、画像Ｃは、予測符号化画像と呼ばれている。
【００３７】
また、動き補償の処理では、画像をブロックに分割して、形が変わらず位置だけが変化した部分から、どの方向にどれだけ動いたかを示す動きベクトルを取り出して符号化を行う。上記動き補償と予測符号化と組み合わせることにより、効率良くデータの圧縮を行うことが可能となる。
【００３８】
また、ＭＰＥＧ２では、動き補償を用いた予測符号化を行うために、図２に示すように、Ｉピクチャ（Ｉｎｔｒａ符号化画像）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ符号化画像）及びＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　Ｐｒｅｄｉｃｔｉｖｅ符号化画像）という３つの要素によるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅ）構造を用いている。Ｉピクチャは、フレーム内符号化により作られるピクチャで、前画像からの予測符号化を行わないものである。Ｐピクチャは、ひとつ前の画像から予測符号化を行って作られるフレーム間順方向予測符号化画像であり、Ｉピクチャをもとにして作られるピクチャである。Ｂピクチャは、双方向予測符号化画像であり、前後の２枚のＰピクチャからの予測を行うことで作られるピクチャである。一般的に、１５枚のピクチャ・グループで１ＧＯＰを形成している。なお、１ＧＯＰは、１枚のＩピクチャと、４枚のＰピクチャと、１０枚のＢピクチャで構成されている。また、Ｉピクチャを生成するのに必要なビット量は、Ｂピクチャを生成するのに必要なビット量の５〜６倍であり、Ｐピクチャを生成するのに必要なビット量は、Ｂピクチャを生成するのに必要なビット量の２〜３倍である。
【００３９】
また、一般に、映像信号は定常的でなく、各ピクチャの情報量は時間経過に伴って変化する。そのため、可変ビットレート符号化を用いると、同じ符号量で符号化する固定ビットレート符号化に比べて高画質が得られることが知られている。
【００４０】
また、ＤＶＤに記録される映像信号は、２パス方式と呼ばれる可変ビットレート符号化が、一般に用いられている。この２パス方式は、符号量を求めるための符号化処理と、求められた符号量に基づいてビットレートを可変制御しながら符号化を行う符号化処理の２度の符号化処理を行うものであり、使用可能な符号化ビットの総量を有効に使うことが出来る利点がある。しかし、処理時間が動画像シーケンスの時間長の約２倍必要となる欠点があるため、リアルタイム処理には不向きである。
【００４１】
上記リアルタイム処理には、符号量の計算と、上記符号量に基づいてビットレートを可変制御することを１度に行い符号化する必要がある。このような処理を１パス方式という。本発明を適用した符号化装置１は、上記１パス方式を適用したものであり、入力された動画像信号からシーンチェンジ位置を検出し、上記動画像信号の単位時間ごとに割り当てるビット量が所定の閾値より低い場合に、上記シーンチェンジ位置に基づき決定される所定の位置以前に本来割り立てる予定だったビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整を行い、上記調整に応じて上記動画像信号を符号化する装置である。以下に、符号化装置１の構成と動作について詳述する。
【００４２】
符号化装置１は、図３に示すように、符号化難易度計算器１０と、割当ビット量計算器１１と、シーンチェンジ位置検出器１２と、遅延器１３と、動画像符号化器１４とを備える。符号化難易度計算器１０は、入力端子から供給された動画像信号を単位時間ごとに符号化難易度ｄを計算し、算出した符号化難易度ｄを割当ビット量計算器１１に出力する。上記単位時間は、０．５秒又は１ＧＯＰの経過時間とする。また、符号化難易度計算器１０は、量子化ステップを固定して入力された動画像信号をエンコードし、所定時間ごとの発生符号量を計算することにより符号化難易度ｄを計算している。なお、符号化難易度計算器１０は、動きが多いシーンには、符号化難易度ｄを高めに計算し、動きが少ないシーンには、符号化難易度ｄを低めに計算する。
【００４３】
割当ビット量計算器１１は、入力した符号化難易度ｄに対する割当ビット量ｂを計算により求める。この場合、予め、基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化する時の単位時間毎の符号化難易度ｄと割当ビット量ｂを関係付けておく。ここで、基準となる動画像シーケンスに対する単位時間毎の割当ビット量の総和は、目的の記録媒体の記憶容量以下にされている。この符号化難易度ｄと割当ビット量ｂの関係の例を図４に示す。
【００４４】
この図４において、横軸は符号化難易度ｄを示し、縦軸は、基準となる動画像シーケンス内で符号化難易度ｄの出現確立ｈ（ｄ）を示している。そして、任意の符号化難易度に対する割当ビット量を関数ｂ（ｄ）に基づいて計算する。この関係は、多くの動画像シーケンス（例えば映画）を所定の平均ビットレートで符号化する実験を行い、その画質を評価し、試行錯誤を通じて経験的に求められるものであり、世の中のほとんどのシーケンスに適応可能な一般的な関係になっている。割当ビット量計算器１１は、図４の関係に基づき、動画像信号の単位時間当たりの符号化難易度ｄに対して、割当ビット量ｂを算出する。割当ビット量計算器１１は、符号化難易度ｄが高い場合には、符号化するレートを高めることにより符号化によるノイズを低減する。なお、符号化難易度ｄが低い場合には、符号化によるノイズがあまり発生しないため、符号化するレートを低めに計算する。こうすることにより、動画像信号全体の画質は、均一になり、単位時間ごとの平均的なビット量が小さくなる。
【００４５】
しかし、従来の符号化装置では、３０分内又は１時間内で単位時間当たりのビット量を低く制御するアルゴリズムであるため、最初の数分間は特に制御をせずに多くのビット量を割り当て、後半に少ないビット量を割り当てる処理をすることがある。このような制御だと、例えば、動画像信号を１分間記録して、停止し、再び１分間記録するという細切れの再生動作を繰り返すと、多くのビット量が割り当てられてしまい、単位時間当たりの平均ビット量が高くなってしまう問題がある。本発明に係る符号化装置１は、特に細切れ再生動作を繰り返した場合において、短時間当たりの平均ビット量を低く制御できるものである。割当ビット量計算器１１は、例えば、２．８Ｍｂｐｓ〜１５Ｍｂｐｓ程度のビット量ｂを割り当てる。
【００４６】
また、割当ビット量計算器１１は、計算したビット量ｂが所定の閾値よりも低く、後述するシーンチェンジ位置検出器１２からシーンチェンジがあった旨の信号が供給されたとき、ビット量ｂをシーンチェンジ位置の前後で調整し、調整結果を動画像符号化器１４に出力する。なお、割当ビット量計算器１１による調整については、後述する。
【００４７】
シーンチェンジ位置検出器１２は、入力端子から供給された動画像信号からシーンチェンジ位置を検出し、検出した旨の信号を生成し、割当ビット量計算器１１及び動画像符号化器１４に出力する。
【００４８】
ここで、シーンチェンジ位置検出器１２の具体的な動作について以下に述べる。シーンチェンジ位置検出器１２は、動画像信号の各フレームを特徴付けるパラメータの大きな変化を検出することによりシーンチェンジ位置を検出している。したがって、シーンチェンジ位置検出器１２は、画面の輝度レベルやクロマレベルなどの信号の変化を検出できるものであれば良い。シーンチェンジ位置検出器１２は、例えば、平均輝度レベルの変化や、フレーム間の差分量や、フレーム間のレベル変動量等を用いてシーンチェンジ位置を検出する。
【００４９】
つぎに、上述したシーンチェンジ位置検出器１２によるシーンチェンジ位置の検出を図５に示すフローチャートを用いて説明する。
【００５０】
ステップＳＴ１において、シーンチェンジ位置検出器１２は、入力された動画像信号からシーンチェンジ位置の検出をしたがどうかを判定する。シーンチェンジ位置を検出した場合には、ステップＳＴ２に進む。
【００５１】
ステップＳＴ２において、シーンチェンジ位置検出器１２は、シーンチェンジ位置を検出した旨の信号を生成し、動画像符号化器１４に出力する。動画像符号化器１４は、シーンチェンジ位置に応じてＧＯＰ構造を変更する。
【００５２】
ステップＳＴ３において、シーンチェンジ位置検出器１２は、シーンチェンジ位置を検出した旨の信号を割当ビット量計算器１１に出力する。割当ビット量計算器１１は、シーンチェンジ位置に応じてシーンチェンジ位置の前後に割り当てるビット量を調整する。
【００５３】
遅延器１３は、少なくとも、符号化難易度計算器１０と割当ビット量計算器１１により動画像信号の単位時間あたりのビット量ｂを計算する時間分だけ、動画像信号を一時記憶する。遅延器１３は、動画像信号を一時記憶した後、動画像信号を動画像符号化器１４に供給する。
【００５４】
動画像符号化器１４は、供給された動画像信号を単位時間ごとに割当ビット量計算器１１から供給されるビット量ｂに応じて符号化を行う。また、動画像符号化器１４は、シーンチェンジ位置検出器１２からシーンチェンジがあった旨の信号が供給された場合に、ＧＯＰ構造を変更する。具体的には、図６に示すように、時間方向に、シーンチェンジ位置から最も近いＰピクチャをＩピクチャに変更する。動画像符号化器１４は、位置Ａにシーンチェンジが入ったときには、Ｐピクチャ（Ｐ５）をＩピクチャ（Ｉ５）に変更し、位置Ｂにシーンチェンジが入ったときには、Ｐピクチャ（Ｐ８）をＩピクチャ（Ｉ８）に変更し、位置Ｃにシーンチェンジが入ったときには、Ｐピクチャ（Ｐ１１）をＩピクチャ（Ｉ１１）に変更する。
【００５５】
上述したように、ＰピクチャからＩピクチャに変更すると、２〜３倍のビット量が必要となる。単位時間に割り当てられているビット量が所定の閾値よりも高い場合には、問題はないが、ビット量が所定の閾値よりも低い場合には、ＧＯＰ構造の変更によりビット量が足りなくなり、画質が劣化してしまう。そこで、割当ビット量計算器１１では、動画像信号の単位時間に割り当てるビット量ｂが所定の閾値よりも低いときに、シーンチェンジ位置の検出結果に応じて、シーンチェンジ位置に基づき決定される所定の位置以前に割り当てるビット量と上記所定の位置以降に割り当てるビット量とを調整する。
【００５６】
また、図７に示すように、ＰピクチャからＩピクチャに変更せずに、例えば、２ＧＯＰ内でピクチャの移動によりシーンチェンジに対応することができる。この場合には、２ＧＯＰ内でＰピクチャ（Ｐ１１）からＩピクチャ（Ｉ２）の位置を移動するだけなので、２ＧＯＰで必要とするビット量には大きな変化はないが、シーンチェンジ自体のエンコードが難しく、ビット量が多めに必要であるために、却ってシーチェンジ後に通常よりも多くビット量を割り振る必要が生じる。
【００５７】
ここで、割当ビット量計算器１１による調整作業について以下に述べる。割当ビット量計算器１１は、計算したビット量ｂが所定の閾値よりも低いときには、以下の調整を行う。上述したようなシーンチェンジが起こると、予測により符号化した画像が使用できず、シーンチェンジ後の画質が劣化することがある。そこで、後述する動画像符号化器１４では、シーンチェンジ位置検出器１２からシーンチェンジがあった旨の信号が供給されたときに、上記シーンチェンジに基づき、ＧＯＰ構造を変更する処理を行う。こうすることにより、シーンチェンジ時の画質の劣化を防ぐことができる。
【００５８】
しかし、ＧＯＰ構造を変更すると、一般的にそのＧＯＰでは符号化効率が悪くなり、単にＧＯＰ構造を変更しただけでは、一般的な動画像信号と同等の画質を得ることは難しい。そこで、割当ビット量計算器１１は、シーンチェンジ位置検出器１２からシーンチェンジがあった旨の信号が供給された場合に、シーンチェンジ位置に基づき決定される所定の位置以前に割り当てられているビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整を行い、調整結果を動画像符号化器１４に供給する。動画像符号化器１４は、供給された調整結果に基づき、遅延器１３から出力された動画像信号を符号化する。
【００５９】
割当ビット量計算器１１は、例えば、シーンチェンジ位置に基づき決定される所定の位置以前の動画像信号に本来割り当てる予定だったビット量をＲ＿ｐｒｅとし、減少するビットレート率をＳＣ＿ｒａｔｅとすると、上記所定の位置以前の動画像信号に割り当てるビット量Ｒ＿ｐｒｅ’を、
Ｒ＿ｐｒｅ’＝Ｒ＿ｐｒｅ×ＳＣ＿ｒａｔｅ
に従い調整し、シーンチェンジ位置に基づき決定される所定の位置以降の動画像信号に本来割り当てる予定だったビット量をＲ＿ｐｏｓｔとすると、上記所定の位置以降の動画像信号に割り当てるビット量Ｒ＿ｐｏｓｔ’を、
Ｒ＿ｐｏｓｔ’＝Ｒ＿ｐｏｓｔ＋（Ｒ＿ｐｒｅ−Ｒ＿ｐｒｅ’）
に従い調整する。
【００６０】
また、減少するビットレート率ＳＣ＿ｒａｔｅは、シーンチェンジ位置に応じて変化し、例えば、図６に示す位置Ａにシーンチェンジが入った場合には、ＳＣ＿ｒａｔｅ＝０．６とし、位置Ｂにシーンチェンジが入った場合には、ＳＣ＿ｒａｔｅ＝０．７とし、位置Ｃにシーンチェンジが入った場合には、ＳＣ＿ｒａｔｅ＝０．８とする。
【００６１】
動画像符号化器１４は、割当ビット検出器から供給される調整結果に応じて動画像信号に符号化を行う。
【００６２】
このように構成された符号化装置１は、割当ビット量計算器１１の計算により所定の閾値よりも低いビット量ｂを算出した場合、シーンチェンジ位置検出器１２で検出したシーンチェンジ位置に基づき、シーンチェンジ位置のビット量を調整し、シーンチェンジ位置の画像構造を変更し、変更した画像構造にしたがって上記調整に基づき動画像信号を符号化するので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行うことができ、割り当てられたビット量ｂの少ない単位時間内に生じたシーンチェンジによる画質の劣化を防ぐことができる。
【００６３】
なお、本発明の実施の形態は、上述例に限らず、コンピュータにより実行されりプログラムとしても良いし、上記プログラムを記録したコンピュータで読み取り可能な記録媒体としても良い。
【００６４】
【発明の効果】
以上詳細に説明したように、本発明に係る符号化装置は、ビット量算出手段で符号化難易度ｄに基づき、所定の閾値よりも低いビット量ｂを算出した場合、ビット量調整手段でシーンチェンジ位置に基づき決定される所定の位置以前に割り当てるビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整をし、符号化手段で上記調整に基づき、シーンチェンジ位置に基づき画像構造を変更し、変更した画像構造にしたがって動画像信号を符号化するので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行うことができ、割り当てられたビット量ｂの少ない単位時間内に生じたシーンチェンジによる画質の劣化を防ぐことができる。
【００６５】
また、本発明に係る符号化方法は、算出した符号化難易度ｄに基づき、所定の閾値よりも低いビット量ｂを算出した場合、シーンチェンジ位置に基づき決定される所定の位置以前に割り当てるビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整をし、上記調整に基づき、シーンチェンジ位置に基づき画像構造を変更し、変更した画像構造にしたがって動画像信号を符号化するので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行うことができ、割り当てられたビット量ｂの少ない単位時間内に生じたシーンチェンジによる画質の劣化を防ぐことができる。
【００６６】
また、本発明に係るプログラムは、コンピュータにより、算出した符号化難易度ｄに基づき、所定の閾値よりも低いビット量ｂを算出した場合、シーンチェンジ位置に基づき決定される所定の位置以前に割り当てるビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整をし、上記調整に基づき、シーンチェンジ位置に基づき画像構造を変更し、変更した画像構造にしたがって動画像信号を符号化するので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行う工程を実行させるので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行うことができ、割り当てられたビット量ｂの少ない単位時間内に生じたシーンチェンジによる画質の劣化を防ぐことができる。
【００６７】
さらに、本発明に係る記録媒体は、算出した符号化難易度ｄに基づき、所定の閾値よりも低いビット量ｂを算出した場合、シーンチェンジ位置に基づき決定される所定の位置以前に割り当てるビット量を減少し、これによって得た余剰のビット量を上記所定の位置以降に割り当てる調整をし、上記調整に基づき、シーンチェンジ位置に基づき画像構造を変更し、変更した画像構造にしたがって動画像信号を符号化するので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行う工程を実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体であるので、シーンチェンジ位置の画像構造を変更しても符号化効率のよい符号化を行うことができ、割り当てられたビット量ｂの少ない単位時間内に生じたシーンチェンジによる画質の劣化を防ぐことができる。
【図面の簡単な説明】
【図１】予測符号化の処理により非予測符号化画像から予測符号化画像を生成する様子を示す図である。
【図２】ＧＯＰ構造を示す構造図である。
【図３】本発明を適用した符号化装置の構成例を示すブロック図である。
【図４】符号化難易度ｄに対するマクロブロックの出現確率ｈ（ｄ）と、割当符号量ｂとを示す分布図である。
【図５】本発明を適用した符号化装置が備えるシーンチェンジ位置検出器によるシーンチェンジの検出動作を示すフローチャートである。
【図６】シーンチェンジ位置の検出に基づき、ＧＯＰ構造を変更する様子を示す図である。
【図７】２ＧＯＰ構造内でピクチャの移動を行う場合の図である。
【図８】従来の符号化装置の構成例を示すブロック図である。
【図９】従来の１パス方式の可変ビットレート符号化処理を説明するためのフローチャートである。
【符号の説明】
１　符号化装置、１０　符号化難易度計算器、１１　割当ビット量計算器、１２　シーンチェンジ位置検出器、１３　遅延器、１４　動画像符号化器
【図１】
2004015351.tif 000003
【図２】
2004015351.tif 000004
【図３】
2004015351.tif 000005
【図４】
2004015351.tif 000006
【図５】
2004015351.tif 000007
【図６】
2004015351.tif 000008
【図７】
2004015351.tif 000009
【図８】
2004015351.tif 000010
【図９】
2004015351.tif 000011