(57)【特許請求の範囲】
【請求項１】
符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式を用いた映像符号化装置が行う符号量制御方法において、
符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、
前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、
前記符号化対象ピクチャの特徴量と、前記符号化対象ピクチャと同じピクチャタイプの前記符号化済みピクチャの特徴量とを比較するステップと、
前記特徴量の比較結果から、前記符号化対象ピクチャの前記特徴量が前記符号化済みピクチャの前記特徴量の第１の閾値倍以上に増加しており、かつ、符号化済みピクチャの前記特徴量が第２の閾値以上であると判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップと
を有することを特徴とする符号量制御方法。
【請求項２】
請求項１に記載の符号量制御方法において、
前記特徴量として、輝度信号もしくは色差信号の、分散、平均値、およびフーリエ変換後の係数のうちのいずれかを用いる
ことを特徴とする符号量制御方法。
【請求項３】
請求項１に記載の符号量制御方法において、
前記発生符号量の推定に用いる符号化済みピクチャを決定する際、前記符号化対象ピクチャと同一ピクチャタイプの符号化済みピクチャを利用する
ことを特徴とする符号量制御方法。
【請求項４】
請求項１に記載の符号量制御方法において、
前記符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、事前に符号量制御パラメータを初期化する
ことを特徴とする符号量制御方法。
【請求項５】
請求項１に記載の符号量制御方法において、
前記符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、前記符号化対象ピクチャの特徴量から発生符号量を推定する
ことを特徴とする符号量制御方法。
【請求項６】
符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、
符号化対象ピクチャの特徴量を算出する手段と、
算出された符号化対象ピクチャの特徴量を記憶する記憶装置と、
前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、
前記符号化対象ピクチャの特徴量と、前記符号化対象ピクチャと同じピクチャタイプの前記符号化済みピクチャの特徴量とを比較する手段と、
前記特徴量の比較結果から、前記符号化対象ピクチャの前記特徴量が前記符号化済みピクチャの前記特徴量の第１の閾値倍以上に増加しており、かつ、符号化済みピクチャの前記特徴量が第２の閾値以上であると判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段と
を備えることを特徴とする符号量制御装置。
【請求項７】
請求項１に記載の符号量制御方法を、コンピュータに実行させるための符号量制御プログラム。
【請求項８】
請求項１に記載の符号量制御方法を、コンピュータに実行させるための符号量制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化の技術に関し、特に、映像の性質が大きく変化した場合でも、画質劣化を防止できるようにした符号量制御方法、符号量制御装置および符号量制御プログラムに関するものである。
本願は、２０１０年５月１２日に出願された特願２０１０−１０９８７９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
入力映像を決められたビットレートで符号化する際、符号化対象ピクチャの目標符号量を決定した後、その符号化対象ピクチャの複雑さから量子化幅を決定する必要がある。例えば、テクスチャが多い（複雑な）映像や動きが激しい映像は、符号化が難しく、発生符号量が増加しやすい。逆に、輝度変化が少ない映像や動きがない映像は、符号化が容易であるなど、映像ごとに符号化の複雑さは異なる。【０００３】
多くの符号化方法では、符号化対象ピクチャの複雑さとして、既に符号化済みピクチャの発生符号量などの符号化結果から複雑さを推定し、量子化幅を決定していた。同じような性質の映像が連続していることを前提に、符号化済みピクチャの符号化結果から、符号化対象ピクチャの複雑さを推定する。【０００４】
しかし、映像の性質が変化するような映像では、符号化済みピクチャの符号化結果を利用すると予測精度が低下し、符号化制御が不安定になったり、符号量割り当てが正しく行われず、画質が劣化する問題がある。【０００５】
そこで、特許文献１では、符号化済みピクチャと符号化対象ピクチャの画面内特徴量を利用して、“複雑さ指標”を補正する方法が提案されている。
すなわち、符号化済みピクチャの符号化結果から符号化対象ピクチャの発生符号量を推定する際、推定に用いる符号化済みピクチャと符号化対象ピクチャのそれぞれで画面内特徴量を算出し、符号量推定に用いる複雑さ指数を、画面内特徴量を用いて補正する。
これにより、フェードの様な徐々に複雑さが変化する映像でも安定した符号量制御を実現している。【０００６】
標準的な動画像符号化方式では、ピクチャ間予測やピクチャ内予測などの違いにより複数のピクチャタイプが存在する。ピクチャタイプが異なると複雑さも異なるため、複雑さの推定には、同一ピクチャタイプの符号化結果を用いる。
特許文献１でも、ピクチャタイプが考慮されており、ピクチャタイプ毎に処理を切り替える工夫がなされている。【０００７】
図４は、従来方法による複雑さ指標の推定方法を示すフローチャートである。
まず、符号化対象ピクチャの特徴量を算出する（ステップＳ１０１）。
次に、符号化済みピクチャの中で符号化対象ピクチャと同一ピクチャタイプの特徴量を抽出する（ステップＳ１０２）。
また、同一ピクチャタイプの複雑さ指標を抽出する（ステップＳ１０３）。
抽出した複雑さ指標を、ステップＳ１０１、Ｓ１０２で取得した特徴量を用いて補正する（ステップＳ１０４）。
補正した複雑さ指標を用いて、符号化対象ピクチャの符号化で発生する符号量を制御する（ステップＳ１０５）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−５５２６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１にもあるように、各ピクチャタイプの中でもイントラピクチャ（以下、I ピクチャ）は、挿入回数が少ないために挿入の間隔が広くなることが多い。そのため、特許文献１のように、複雑さ指標を補正する意味がある。
しかし、映像の変化が速い場合や、上述のようにＩピクチャの挿入間隔が長い場合、シーンチェンジと同様に、推定に用いる符号化済みピクチャと符号化対象ピクチャとが、完全に異なるシーンになっている可能性がある。【００１０】
この場合、同一ピクチャタイプであっても、複雑さ指標の傾向が異なる可能性があり、符号化済みピクチャの情報を参照しても推定精度は向上しない可能性がある。場合によっては、推定精度が悪化することも考えられる。【００１１】
図５に、映像の変化の例を示す。二重線で囲まれたピクチャがＩピクチャである。
図５中（Ａ）では、フェードインの映像に対するＩピクチャの位置を示す。Ｉピクチャの間隔に対し、フェードインの期間が短い場合、２つのＩピクチャは、全く別の映像となる。
図５中（Ｂ）は、短い期間でクロスフェードが発生している映像である。この例でも、２つのＩピクチャの映像は別のシーンとなる。【００１２】
このように、映像は徐々に変化していても、推定に用いる符号化済みピクチャと符号化対象ピクチャのピクチャ間距離によっては、まったく異なるシーンとなる可能性がある。全く異なるシーンでは、量子化幅と発生符号量の関係も大きく異なる可能性があり、複雑さの推定精度が低下する問題がある。
なお、この課題はＩピクチャに限らず、他のピクチャタイプでも同じである。【００１３】
本発明は、上記課題の解決を図り、映像の性質が大きく変化するような場合でも、適切な符号量制御により画質の劣化を防止できるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、上記課題を解決するため、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式における符号量制御方法において、符号化対象ピクチャの特徴量を算出し、記憶装置に記憶するステップと、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出するステップと、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較するステップと、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定するステップとを有する符号量制御方法を提供する。【００１６】
符号化対象ピクチャおよび符号化済みピクチャの特徴量として、映像信号（輝度信号または色差信号）の分散、平均値またはフーリエ変換後の係数を用いることができる。【００１７】
前記符号化対象ピクチャの発生符号量を推定するステップにおいて、両特徴量の差異が所定の基準より大きいか否かを判断する際、両特徴量の比率に対して閾値を与えて判定するようにしてもよい。
この場合、更に、前記特徴量の大きさに対しても閾値を与えて判定するようにしても良い。【００１８】
前記発生符号量の推定に用いる符号化済みピクチャを決定する際に、符号化対象ピクチャと同一ピクチャタイプの符号化済みピクチャを利用することが望ましい。【００１９】
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、事前に符号量制御パラメータを初期化するようにしてもよい。【００２０】
符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定する際、符号化対象ピクチャの特徴量から発生符号量を推定するようにしてもよい。【００２１】
本発明はまた、符号化対象ピクチャの発生符号量を推定し、符号量制御を行う映像符号化方式において用いられる符号量制御装置において、符号化対象ピクチャの特徴量を算出する手段と、算出された符号化対象ピクチャの特徴量を記憶する記憶装置と、前記記憶装置に蓄積しておいた、発生符号量推定に用いる符号化済みピクチャの特徴量を抽出する手段と、前記符号化対象ピクチャの特徴量と前記符号化済みピクチャの特徴量とを比較する手段と、前記特徴量の比較結果から、両特徴量の差異が所定の基準より大きいと判断され、かつ、前記符号化済みピクチャに比べて前記符号化対象ピクチャが複雑と判断された場合に、符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの発生符号量を推定し、それ以外の場合に、符号化済みピクチャの符号化結果をもとに符号化対象ピクチャの発生符号量を推定する手段とを備えることを特徴とする符号量制御装置も提供する。【００２２】
以上のように、本発明では、発生符号量の推定に用いる符号化済みピクチャと符号化対象ピクチャ間の映像の性質の違いを特徴量を使って判別し、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を符号量制御に利用しない。性質が大きく異なる映像に限って、符号化結果を利用しないことで、性質の異なる符号化結果から符号量推定を行うことがなくなり、符号量制御時における発生符号量の推定誤差が小さくなり、適切な符号量割り当てが可能となる。
【発明の効果】
【００２３】
本発明により、性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。
【図面の簡単な説明】
【００２４】
【図１】本発明による基本的な処理のフローチャートである。
【図２】本発明の実施例に係るフローチャートである。
【図３】本発明の実施例に係る装置の構成例を示す図である。
【図４】従来方法による複雑さ指標の推定方法を示すフローチャートである。
【図５】映像の変化例を示す図である。
【発明を実施するための形態】
【００２５】
本発明の実施形態について説明するに先立ち、本発明による処理の大筋について説明する。
【００２６】
上述のように、映像は徐々に変化していても、推定に用いる符号化済みピクチャと符号化対象ピクチャのピクチャ間距離によっては、まったく異なるシーンとなる可能性がある。全く異なるシーンでは、量子化幅と発生符号量の関係も大きく異なる可能性があり、従来の方法では、複雑さの推定精度が低下する可能性がある。
そこで、本発明では、性質が大きく異なる場合には、符号化済みピクチャの符号化結果を用いずに符号量制御を行う。
【００２７】
性質が大きく異なる場合でも、複雑さが増すケースと減るケースがあり、複雑さが増すケースのみ、符号化済みピクチャの符号化結果を用いずに符号量制御を行うこともできる。これは、複雑さが減るケースでは、過剰に符号量が発生することがないため、大きな問題とならない可能性があるからである。
【００２８】
性質の変化の度合いは、各ピクチャの特徴量を用いる。この特徴量としては、輝度信号または色差信号の分散や平均値、フーリエ変換後の係数など符号化開始前に算出可能な値を用いる。
【００２９】
特徴量の比較方法としては、２つのピクチャ間の差分や比率を算出し、閾値と比較を行う。例えば、比較結果が閾値を越えている場合、符号量制御関連のパラメータを初期化する。
加えて、特徴量の絶対的な値も条件に加えてもよい。例えば、輝度分散の比率で比較している場合、０．０１と１とでは、１００倍の違いがあるものの、どちらも輝度分散は小さく、必ずしも性質が異なるとは言えない。同じ１００倍でも、輝度分散が１０と１０００とでは、性質が大きく異なる可能性が高い。そのため、特徴量の絶対的な値も条件に加える。
先の例では、「符号化済みピクチャの輝度分散が１０以上で、比率が１００倍の場合」のようにできる。
【００３０】
なお、絶対的な値の比較は、符号化済みピクチャでなく符号化対象ピクチャで比較してもよい。先の例では、「符号化対象ピクチャの輝度分散が１０００以上で、比率が１００倍の場合」のようにできる。
【００３１】
符号化済みピクチャの符号化結果を用いずに符号量制御を行う際、符号化対象ピクチャの特徴量から周知の方法により発生符号量を推定してもよい。加えて、符号量制御に関するパラメータを初期化してもよい。
例えば、Ｉピクチャの符号化結果から続くＰピクチャやＢピクチャの発生符号量を決定している場合、Ｉピクチャの性質が大きく異なっている場合、ＰピクチャやＢピクチャについても、符号化済みピクチャの符号化結果を用いずに初期化した状態で符号量制御を行う。
【００３２】
図１は、本発明による基本的な処理のフローチャートである。
最初に符号化対象ピクチャの特徴量を算出する（ステップＳ１）。
続いて、符号化時に蓄積しておいた符号化済みピクチャの特徴量を取り出す（ステップＳ２）。
ステップＳ１とステップＳ２で求めた２つの特徴量を比較し（ステップＳ３）、性質が大きく異なると判断された場合には、符号化済みピクチャの符号化結果を用いずに符号量制御を行い（ステップＳ４）、似通っていると判断された場合には、符号化済みピクチャの符号化結果を利用して符号量制御を行う（ステップＳ５）。
なお、算出した特徴量は、後から利用するため、メモリに保持しておく。
【００３３】
以下、本発明の具体的な実施例について説明する。本実施例では、Ｉピクチャを対象にし、特徴量として輝度信号の分散を用いる。そして、比較対象とする符号化済みピクチャは、直前に符号化された符号化済みＩピクチャとする。
符号化済みピクチャの符号化結果を用いない条件として、
・輝度信号の分散（以下、輝度分散）が、Ｘ倍以上に増加していること、
・符号化済みピクチャの輝度分散が、ＴＨ以上であること、
の２つが同時に成立する場合とする。
ここで、Ｘは比率の閾値、ＴＨは輝度分散の閾値である。
【００３４】
また、性質が大きく異なると判断された場合には、Ｉピクチャだけでなく、他のピクチャタイプについても符号量制御に関する情報を初期化する。
【００３５】
本実施例に係るフローチャートを図２に示す。
最初に、符号化対象ピクチャがＩピクチャかどうかを確認する（ステップＳ１０）。
Ｉピクチャ以外の場合には、そのまま符号量制御を行う（ステップＳ１５）。
Ｉピクチャの場合には、符号化対象ピクチャの輝度分散Ａｃｔ（ｔ）を算出する（ステップＳ１１）。
続いて、直前に符号化済みのＩピクチャについて、その輝度分散Ａｃｔ（ｔ−Ｎ）を、符号化済みピクチャの特徴量を記憶しているメモリから取り出す（ステップＳ１２）。
【００３６】
２つの輝度分散Ａｃｔ（ｔ）とＡｃｔ（ｔ−Ｎ）を比較する（ステップＳ１３）。
ここでは、符号化済みピクチャの輝度分散Ａｃｔ（ｔ−Ｎ）が閾値ＴＨより大きく、かつ、Ａｃｔ（ｔ−Ｎ）をＸ倍した値が、符号化対象ピクチャの輝度分散Ａｃｔ（ｔ）より小さいかを確認する。
２つの条件式が同時に満たされた場合、符号化対象であるＩピクチャの発生符号量は、輝度分散から推定し、符号量制御に関するパラメータを初期化し（ステップＳ１４）、符号量制御を行う（ステップＳ１５）。
それ以外の場合には、そのまま符号量制御を行う（ステップＳ１５）。
【００３７】
なお、本実施例では、Ｉピクチャのみ輝度分散を算出しているが、輝度分散を量子化制御等に用いる場合には、全てのピクチャタイプで算出してもよい。
または、他の用途で算出している輝度分散や色差分散などの映像の複雑さを示す特徴量があれば、流用してもよい。
【００３８】
図３は、本実施例に係る装置の構成例を示す。
図３において、特に本実施例で従来の一般的な符号量制御を行う映像符号化装置と異なる特徴的な部分は、輝度分散算出部１０１、輝度分散メモリ１０２、特徴量比較部１０３、符号量制御部１０４の部分である。
【００３９】
輝度分散算出部１０１では、入力された映像の輝度分散を算出し、輝度分散メモリ１０２に記憶するとともに、特徴量比較部１０３に送る。
特徴量比較部１０３では、符号化対象ピクチャの輝度分散と、輝度分散メモリ１０２に蓄積された符号化済みピクチャの輝度分散を取り出し、両者を比較する。
比較の結果、性質が大きく異なると判断された場合には、初期化情報を出力し、符号量制御部１０４を初期化する。
符号量制御部１０４は、ビットレートと発生符号量から量子化ステップサイズを決定し、符号量を制御するが、初期化情報を受信した場合、内部状態を初期化してから符号量制御を行う。
【００４０】
図３において、点線で囲った部分以外は、従来のＭＰＥＧ−２、Ｈ．２６４その他の映像符号化を行う装置とほぼ同様である。
予測残差信号生成部１１０は、入力した映像信号とフレーム間予測信号との差分から予測残差信号を生成する。この予測残差信号は直交変換部１１１に入力され、ＤＣＴ変換等の直交変換による変換係数が出力される。変換係数は、量子化部１１２に入力され、量子化部１１２で、符号量制御部１０４によって設定された量子化ステップサイズに従って量子化される。この量子化された変換係数は、情報源符号化部１１３に入力され、情報源符号化部１１３においてエントロピ符号化される。
【００４１】
一方、量子化された変換係数は、逆量子化部１１４で逆量子化され、逆直交変換部１１５で逆直交変換されて、復号予測残差信号が生成される。この復号予測残差信号は、加算器１１６でフレーム間予測信号と加算され、復号信号が生成される。復号信号は、クリッピング部１１７でクリッピングされ、続くフレームの予測符号化における参照画像として用いるために、フレームメモリ１１８に格納される。
【００４２】
動き検出部１１９は、入力映像信号について動き探索により動き検出を行い、求まった動きベクトルを動き補償部１２０と情報源符号化部１１３へ出力する。情報源符号化部１１３では、動きベクトルについてエントロピ符号化する。動き補償部１２０では、動きベクトルに従ってフレームメモリ１１８を参照し、フレーム間予測信号を生成する。
【００４３】
以上の符号量制御の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを通して提供することも可能である。
【産業上の利用可能性】
【００４４】
本発明によれば、符号化対象ピクチャと性質が大きく異なる符号化済みピクチャの符号化結果を用いずに符号化対象ピクチャの符号量制御が可能となり、映像の性質が大きく異なる場合でも、符号量割り当てが適正化することで、符号量制御が引き起こす画質劣化を防ぐことができる。
【符号の説明】
【００４５】
１０１  輝度分散算出部
１０２  輝度分散メモリ
１０３  特徴量比較部
１０４  符号量制御部
１１０  予測残差信号生成部
１１１  直交変換部
１１２  量子化部
１１３  情報源符号化部
１１４  逆量子化部
１１５  逆直交変換部
１１６  加算器
１１７  クリッピング部
１１８  フレームメモリ
１１９  動き検出部
１２０  動き補償部
【図１】
0005580887.tif 000002
【図２】
0005580887.tif 000003
【図３】
0005580887.tif 000004
【図４】
0005580887.tif 000005
【図５】
0005580887.tif 000006