(57)【要約】【課題】符号化でマルチパスを用いることのできないリアルタイム処理では、シーンチェンジ後のレート制御パラメータの初期化に固定的に定めた初期値を使わざるを得ず、レート制御パラメータの最適値への収束が遅くなり、発生情報量的に不利であり、画質が不安定になりやすい。【解決手段】初期パラメータ設定部は、シーンチェンジ発生時、シーンチェンジとなったフレームとその次のフレームとの差分をＳＡＤ演算部から取得し、データベースから該差分に最も近い差分絶対値和の移動平均に対応するレート制御パラメータを読み出す。読み出したレート制御パラメートと、レート制御パラメータ初期値記憶部に記憶されたレート制御の各方式に応じたレート制御パラメータの初期値との中間の値をレート制御パラメータ現在値記憶部に格納し、差分絶対値和の移動平均に対応するレート制御パラメータをレート制御部におけるレート制御のパラメータに反映（初期化）する。【選択図】図１０
2010279079.tif 000002
【特許請求の範囲】
【請求項１】
原画像フレーム間の差分絶対値和を求めるＳＡＤ演算部と、
前記差分絶対値和の移動平均を順次計算するＳＡＤ移動平均計算部と、
ダイナミックに更新され、レート制御に用いられるレート制御パラメータを記憶するレート制御パラメータ現在値記憶部と、
前記レート制御パラメータの初期値を記憶するレート制御パラメータ初期値記憶部と、
データベースと、
原画像フレームを符号化する符号化部と、
を備え、
シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、前記差分絶対値和の移動平均をインデックスとして前記レート制御パラメータ現在値記憶部に記憶されたレート制御パラメータを前記データベースに登録し、
シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、
該当するインデックスのレート制御パラメータを読み出し、
該読み出されたレート制御パラメータと前記レート制御パラメータ初期値記憶部に記憶されたレート制御パラメータの初期値との中間の値を前記レート制御パラメータ現在値記憶部に初期設定し、
前記初期設定された中間の値に基づいて前記シーンチェンジとなったフレームを符号化することを特徴とする動画像符号化装置。
【請求項２】
前記現在値記憶部に格納される前記レート制御パラメータは、前記符号化部による原画像フレームの符号化の結果のフィードバックにより更新されることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記データベースは、有限のインデックス数のＦＩＦＯであることを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記前記レート制御パラメータ現在値記憶部に初期設定される前記中間の値は、画像データ又は符号化方式に応じて決定されることを特徴とする請求項１〜３のうちの何れか一項に記載の動画像符号化装置。
【請求項５】
コンピュータに、
シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、原画像フレーム間の差分絶対値和の移動平均をインデックスとして、レート制御に用いられるレート制御パラメータを前記コンピュータのデータベースに登録する機能と、
シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照する機能と、
該当するインデックスのレート制御パラメータを読み出す機能と、
該読み出されたレート制御パラメータとレート制御パラメータの初期値との中間の値をレート制御パラメータ記憶部に初期設定する機能と、
前記レート制御パラメータ記憶部に初期設定された中間の値に基づいて前記シーンチェンジとなったフレームを符号化する符号化機能と、
を実現させることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置、特に、符号化の前処理におけるシーンチェンジ検出と、それに関連した情報量割当制御やレート制御パラメータの初期化制御に関する。
【背景技術】
【０００２】
近年、符号化技術等の進展に伴い、画像データをディジタルデータとして扱い、静止画像や動画像のデータを、ディジタル信号により光ディスクや磁気ディスク等に蓄積して高品質な画像を再生することが普及してきている。また、伝送系では、ディジタルテレビ電話やディジタル放送のサービスが開始されている。このように画像データをディジタルデータとして扱うことを実現するためには、画像データのデータ量が非常に大きいため、それを効率的に符号化し、データ量を圧縮することが必要である。
【０００３】
図１２に示すのは、動画像を符号化する動画像符号化装置の大まかな概念を示す図であり、動画像符号化装置は、実際に動画像の符号化を行うエンコード部(300)と符号化に先立って、原画像からエンコード部(300)での符号化に用いる情報を抽出する前処理部(200)を備えている。
【０００４】
動画像の符号化においては、フレーム内の画素の相関に基づく各フレーム毎の情報圧縮のみならず、フレーム間の相関に基づく情報の圧縮が行われている。例えば、図１３に示すように、原画像の各フレームは、フレーム間の相関の絶対的基準となるＩフレーム（キーフレーム、Ｉピクチャ）、前のフレームを基準として差分が符号化されるＰフレーム（予測フレーム、Ｐピクチャ）、前後双方向のフレームの画素情報を使用して符号化するＢフレーム（双方向フレーム、Ｂピクチャ）に分類され、図１３の例では、１２フレームでひとまとまりのＧＯＰ（Group of Pictures）にグループ分けされる。前記前処理部(200)では、Ｉ、Ｐ、Ｂのピクチャタイプの判定も行われる。
【０００５】
また、動画像の符号化においては、シーンチェンジが発生した場合にそれを検出して次のシーンの先頭のフレームをＩフレームとする、すなわち、Ｉフレームを挿入する手法を採用することが知られている。これは、一つのシーン内のフレーム間には大きな相関があるのに対して、シーンが替われば相関が小さくなり、前のフレームとの差分を符号化しても、そのフレーム単独で符号化しても符号化に必要なデータ量にあまり変わりがない、あるいは、差分を符号化しきれずに画質が劣化するからである。以上のように、シーンチェンジ発生時にＩフレームを挿入するのであれば、シーンチェンジ発生の検出も、前記前処理部(200)で行われる。
【０００６】
下記特許文献１、２には、シーンチェンジ検出に関する技術が記載されている。特許文献１に記載されたものは、ビデオテープに記録された動画像を編集するためにシーンの変化したところを見つけるためのものであり、特許文献２に記載されたものは、同一シーンを有するフレーム群に共通する動画特性を決定し、それに基づいて一括した画像補正を行うためのものである。
【０００７】
また、下記特許文献３、４には、映画のフィルムなどからプルダウン変換して得られれた画像やその符号化について記載され、シーンチェンジ検出についても記載されている。さらに、特許文献４には、符号化に用いるビット配分についても記載されている。
【０００８】
図１４には、シーンチェンジ検出をフレーム間の差分絶対値和（ＳＡＤ）の時間変化量で行った場合に、アニメーションやプルダウン、編集などで複数フレームに同一データが用いられたときのシーンチェンジ誤検出例が示されている。静止画面があるとシーンが変わっていない場合でも、ＳＡＤの時間変化量は大きくなり、シーンチェンジの誤検出が起きることがあるのが分かる。
【０００９】
次に、動画像符号化において実施されている、符号化のための情報量割り当てとレート制御について簡単に説明する。動画像符号化における発生情報量を監視し、制御するために、符号化データは仮想的なＶＢＶ(video buffering verifier)バッファに入力されると仮定される。ＶＢＶは、符号器の出力に概念的に接続された仮想的な復号器である。符号器はＶＢＶがオーバフローしたりアンダーフローしたりしないようなビットストリームを出力しなければならない。そして、発生情報量がＶＢＶのどの範囲に入っているべきかが、それぞれの符号化規格で決まっている。
【００１０】
図１５は、次のフレームを符号化するときにどれだけのＶＢＶバッファを占有できるかを意味するＶＢＶバッファ占有量の時間的変化を例示する図である。したがって、ＶＢＶｍａｘは最大限バッファを使えるということであるから、バッファは空いているということであり、“０”は、明きがないということである。
【００１１】
符号化のための情報量割り当てとレート制御には、このＶＢＶバッファ占有量すなわちＶＢＶバッファの残量が考慮される。また、ＧＯＰ毎に符号化情報量が割り当てられており、その範囲内でさらにＧＯＰ内のフレームに情報量が割り当てられる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平０９−１３０７３２号公報
【特許文献２】特開２００２−１５２６６９号公報
【特許文献３】特開平０９−１４５７７９号公報
【特許文献４】特開平１０−３０４３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
動画像符号化において、シーンチェンジ発生時にＩフレームを挿入することが行われているが、決められた割当情報量の範囲でシーンチェンジが多発すると、Ｉフレームの符号化に情報量が取られてしまい、他のフレームの符号化のための情報量が枯渇し、画質劣化が著しくなる。
【００１４】
また、アニメーションやプルダウン、編集などで複数フレームに同一データが用いられた場合（時間軸が均等でない場合）、シーンチェンジの誤検出が起こることがある。
さらに、符号化でマルチパスを用いることのできないリアルタイム処理では、シーンチェンジ後のシーンの性質をあらかじめ知ることができないので、シーンチェンジ後にレート制御パラメータを初期化するときに、固定的に定めた初期値を使わざるを得ない。すると、レート制御パラメータが最適値に収束するのが遅くなり、本来であれば必要のない情報が必要となって発生情報量的に不利であり、画質が不安定になりやすい。
【課題を解決するための手段】
【００１５】
本発明の第１の態様によれば、ＶＢＶバッファの残量に応じてシーンチェンジ検出閾値を求め、シーンチェンジ検出値と前記シーンチェンジ検出閾値を比較し、該比較結果に応じてシーンチェンジが発生したか否かを判定をする。前記シーンチェンジ検出値は、原画像フレーム間の差分絶対値和の時間変化量とすることができる。そして、差分絶対値和の大きさを評価することにより、シーンチェンジが発生したとの判定を行わないようにしてもよい。
【００１６】
また、本発明の第２の態様によれば、ＶＢＶバッファの残量に応じてシーンチェンジ検出をキャンセルした場合には、ＧＯＰ割り当て情報量を追加し、及び／または、レート制御パラメータの初期化を行う。
【００１７】
さらに、本発明の第３の態様によれば、レート制御パラメータの初期化を、シーンチェンジとなったフレームと次のフレームの差分絶対値和に応じてダイナミックに行う。そのために、シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、フレーム間の差分絶対値和の移動平均をインデックスとしてその時点のレート制御パラメータをデータベースに登録し、シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、該当するインデックスのレート制御パラメータを読み出し、該読み出されたレート制御パラメータとあらかじめ所定の値に設定されたレート制御パラメータの初期値とから得られる値をレート制御パラメータの初期値としてレート制御を実行する。
【発明の効果】
【００１８】
本発明によれば、シーンチェンジが多発する場合でも、ＶＢＶバッファの空き容量に応じて検出をキャンセルすることができるので、Ｉフレームの符号化に情報量を過大に取られることがなくなり、画像劣化を防ぐことができる。そして、静止画面があるような場合でも、シーンチェンジの誤検出を避けるようにすることができる。
【００１９】
また、本発明によれば、シーンチェンジの検出をキャンセルした場合であっても、ＧＯＰ割り当て情報量の追加及び／または、レート制御パラメータの初期化を行うことにより、キャンセル後の符号化をより適切に行うことができる。
【００２０】
さらに本発明によれば、シーンチェンジ後のレートパラメータの収束を早めることができ、シーンチェンジ後であっても安定した画質を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の原理とその第１の態様を示す図である。
【図２】図１のシーンチェンジ検出値演算部の機能ブロック構成例を示す図である。
【図３】本発明によるシーンチェンジ検出の様相を示す図である。
【図４】シーンチェンジ誤検出を防ぐ第１の実施例を説明する図である。
【図５】シーンチェンジ誤検出を防ぐ第１の実施例におけるシ−ンチェンジ誤検出を防ぐ様相を示す図である。
【図６】シーンチェンジ誤検出を防ぐ第１の実施例を説明する図である。
【図７】本発明の適用される動画像符号化装置の機能ブロック構成例を示す図である。
【図８】本発明の第２の実施態様を説明するものである。
【図９】本発明の第３の態様においてデータベース登録処理を実施する機能ブロック構成例を示す図である。
【図１０】本発明の第３の態様においてデータベースを参照してレート制御パラメータの初期設定を実施する機能ブロック構成例を示す図である。
【図１１Ａ】本発明の第３の態様においてＧＯＰ毎にデータベース登録を行うフローを示す図である。
【図１１Ｂ】本発明の第３の態様においてシーンチェンジ毎にデータベース登録を行うフローを示す図である。
【図１１Ｃ】本発明の第３の態様においてデータベースを参照してレート制御パラメータの初期設定を実施するフローを示す図である。
【図１２】動画像符号化装置の大まかな概念を示す図である。
【図１３】ＧＯＰの構成例を示す図である。
【図１４】シーンチェンジ誤検出の発生を説明する図である。
【図１５】ＶＢＶバッファ占有量の時間的変化を示す図である。
【発明を実施するための形態】
【００２２】
図１は、本発明の原理とその第１の態様を示す図である。以下、図１乃至図６により本発明の第１の態様について説明する。図１に示すように、シーンチェンジ検出値演算部(10)が、原画像のフレーム間からシーンチェンジ検出を評価するためのシーンチェンジ検出値を計算し、閾値演算部(20)がＶＢＶバッファの残量に基づいてシーンチェンジ検出閾値を演算する。そして、シーンチェンジ判定部(30)は、シーンチェンジ検出値をシーンチェンジ検出閾値と比較して、比較結果に応じてシーンチェンジが発生したか否かを判定する。
【００２３】
シーンチェンジ検出閾値は、例えば、
シーンチェンジ検出閾値＝ピクチャ画素数×定数×（ＶＢＶバッファ最大値
÷ＶＢＶバッファ占有量）
で求めることができる。先に説明したとおり、ＶＢＶバッファ占有量は、あるフレームを符号化しようとするときに占有可能なバッファ量であるＶＢＶバッファの残量である。定数はＶＢＶバッファ占有量がＶＢＶバッファ最大値と等しくなったとき、すなわちシーンチェンジ検出閾値が最小値となったときにシーンチェンジを誤検出しないような大きさの値が選ばれる。
【００２４】
すると、閾値演算部(20)は、ＶＢＶバッファの残量が少なくなれば、高めのシーンチェンジ検出閾値を出力するので、実際にシーンチェンジが発生したときであっても、そのシーンチェンジ検出はキャンセルされ、動画像符号化装置でのシーンチェンジ発生時の動作は実行されない。したがって、ＶＢＶバッファの残量が少ないときには、発生情報量の多いＩフレームの挿入を避けることができる。
【００２５】
図２は、図１に記載されたシーンチェンジ検出値演算部(10)の機能ブロック構成例を示すものである。図２の例では、シーンチェンジ検出値演算部(10)は、原画像フレーム間の各画素の差分絶対値和（ＳＡＤ）を求めるＳＡＤ演算部(100)とそのＳＡＤの時間変化量を演算するＳＡＤ時間変化量演算部(110)から構成され、原画像フレーム間の各画素の差分絶対値和の時間変化量をシーンチェンジ検出値としている。
【００２６】
図３は、本発明によるシーンチェンジ検出の様相を示す図である。図示のとおり、ＶＢＶバッファの残量に余裕がある場合から余裕がない場合にわたって、シーンチェンジ検出値である差分絶対値和（ＳＡＤ）のグラフとシーンチェンジ検出閾値のグラフが記載されており、ＶＢＶバッファに余裕がない場合にはシーンチェンジを検出しないことが示されている。
【００２７】
次に、画像フレーム列に静止画面等が含まれているために発生するシーンチェンジの誤検出を防ぐ実施例を図４〜６により説明する。この実施例は、フレーム間の差分絶対値和の大きさを評価して、差分絶対値和が所定の閾値より小さければシーンチェンジ検出判定を行わないにしたものである。
【００２８】
図４に示す実施例は、差分絶対値和が所定の閾値以上の値でなければ、ＳＡＤ時間変化量演算部(110)において演算に用いる差分絶対値和の値を更新しないようにしてシーンチェンジ誤検出を防ぐものである。そのため、図２に示すシーンチェンジ検出値演算部(10)の機能ブロックである、ＳＡＤ演算部(100)とＳＡＤ時間変化量演算部(110)に、フレーム間の差分絶対値和を所定の閾値と比較してその大きさを評価するＳＡＤ評価部(120)等の機能ブロックを付加している。ラッチ部(130)は、１フレーム前の時点の選択部(140)の出力を選択部(140)に入力する。選択部(140)は、ＳＡＤ評価部(120)の評価結果に応じて、ＳＡＤ演算部(100)が演算した差分絶対値和が所定の閾値より小さければ、ラッチ部(130)からの入力を選択し、該差分絶対値和が所定の閾値以上であれば、該差分絶対値和を選択してＳＡＤ時間変化量演算部(110)に入力する。
【００２９】
図５は、図４に示す実施例におけるシ−ンチェンジ誤検出を防ぐ様相を示すものである。図１４に先に示したものと同様の静止画面の存在する原画像が入力された場合、静止画面の部分で差分絶対値和が所定の閾値より小さくなる。すると、差分絶対値和の更新が行われず、ＳＡＤ時間変化量演算部(110)に入力される差分絶対値和のグラフは、図５の実線のグラフのようになる。したがって、差分絶対値和の時間変化も大きくないので、シーンチェンジ判定部(30)がシーンチェンジを誤検出することがない。
【００３０】
図６は、差分絶対値和が所定の閾値より小さいとき、図４に示す実施例ではＳＡＤ時間変化演算部(110)において演算に用いる差分絶対値和の値を更新しないようにすることに換えて、シーンチェンジ判定部(30)がシーンチェンジが発生したとの判定を行わないようにした実施例の機能ブロック図である。シーンチェンジ検出値演算部(10)には図４に示した実施例と同様に、フレーム間の差分絶対値和を所定の閾値と比較してその大きさを評価するＳＡＤ評価部(120)が設けられるが、その出力は、シーンチェンジ判定部(30)に与えられ、シーンチェンジ判定部(30)は、ＳＡＤ評価部(120)から、前記差分絶対値和が所定の閾値以上の値ではないと通知された場合には、シーンチェンジ検出値とシーンチェンジ検出閾値の比較結果にかかわらず、シーンチェンジが発生したとの判定を行わない。
【００３１】
実際の動画像の性質から、誤検出防止のための上記シーンチェンジ判定の中止は３フレーム分で充分であり、シーンチェンジが発生したとの判定を行わないフレーム数の上限を３フレームとすることが好ましい。
【００３２】
なお、上記シ−ンチェンジ誤検出の手法を本発明の第１の態様における実施例として説明したが、シーンチェンジ検出閾値を固定値としてダイナミックに変更しない場合であっても、上記シ−ンチェンジ誤検出の手法が採用可能であることは明らかである。
【００３３】
次に、本発明の適用される動画像符号化装置の機能ブロック構成例を図７により説明する。図７の実線の矢印は処理フロー及び／またはデータフローを示し、点線の矢印はデータフローを示すものである。なお、フレーム間差分値演算等で用いられる比較される原画像フレームのデータフローは、図を簡略化するため、省略されている。
【００３４】
図７に記載された動画像符号化装置においては、まず、入力される原画像フレーム間の差分値演算がフレーム間差分値演算部(210)で行われる。フレーム間差分値演算部(210)は、図２に示したＳＡＤ演算部と(100)と同じものでもよいが、その機能に加えて、シーンチェンジ判定に用いるためのＳＡＤ時間変化量や、後に説明する実施例でレート制御のために使われるＳＡＤの移動平均値などを計算するものであってもよい。
【００３５】
ピクチャタイプ判定部(220)では、通常動作時のピクチャタイプ決定及びシーンチェンジ判定とシーンチェンジ時のピクチャタイプ決定が行われる。イントラピクチャ、すなわち入力された原画像フレームがＩフレームとして符号化されると判定されると、例えばH.264に対応した動画像符号化装置では、そのフレームはイントラ予測部(310)で、１フレームを１６ｘ１６等にブロック分割したマクロブロック間で予測処理が行われる。その際、処理済みのマクロブロックのデータが利用される。インターピクチャ、すなわち原画像フレームがＰフレームあるいはＢフレームとして符号化されると判定されると、動き検出部ＭＥ(320)においてマクロブロック単位で動きベクトルの検出が行われる。
【００３６】
動き検出部ＭＥ(320)において検出された動きベクトルは動き補償部ＭＣ(330)に供給され、動き補償部ＭＣ(330)での予測処理に用いられる。
予測処理の行われたイントラピクチャとインターピクチャのデータは、それぞれ差分演算部(341,342)で予測誤差が演算されて変換部(350)に供給されるとともに、参照画像を復元するために、加算部(391,392)に供給される。
【００３７】
変換部(350)では、予測誤差の空間情報を周波数情報に変換する。ここでは、符号化方式によって、ＤＣＴ（MPEG-4等）や整数変換（H.264）が行われ、変換係数が量子化部(360)に供給される。
【００３８】
量子化部(360)では、レート制御部(400)から与えられる量子化値に基づいて変換係数の量子化を行い、量子化された量子化係数は可変長符号化部(370)に供給されるとともに、逆量子化部(361)に供給される。
【００３９】
可変長符号化部(370)は量子化係数の符号化を行い、最終的な符号化データをビット列として出力するとともに、符号化に際しての発生情報量をレート制御部(400)にフィードバックする。
【００４０】
逆量子化部(361)は量子化係数の逆量子化を行って、変換係数を復元し、逆変換部(351)は、変換係数の逆変換を行って予測誤差の誤差情報を加算部(391,392)に供給する。
加算部(391,392)は、予測データと予測誤差データから参照画像を復元する。
【００４１】
レート制御部(400)は、可変長符号化部(370)からフィードバックされた発生情報量に基づいてレート制御パラメータの更新を行い、量子化部(360)に与える量子化値を制御する。データベース(500)を用いたレート制御パラメータの初期設定については、後に詳細に説明する。
【００４２】
次に、本発明の第２の態様について説明する。本発明の第２の態様は、現実にはシーンチェンジが発生したと考えられるにもかかわらず、シーンチェンジ検出をキャンセルした場合、ＧＯＰの切り直し（Ｉフレームの挿入）は行わないが、ＧＯＰ割り当て情報量を追加したり、レート制御パラメータの初期化を行う等のＧＯＰ切り直し時に本来行う動作を行うものであり、先に説明した本発明の第１の態様のサブの態様である。
【００４３】
図８は、上記本発明の第２の態様を実現するシーンチェンジ判定部(30)の実施例を示すものである。固定閾値設定部(31)に設定される固定閾値は、シーンチェンジ検出閾値の最小値以下の値とすることが適当であり、先に示したシーンチェンジ検出閾値の計算式から、例えば、画素数＊定数とすることができる。
【００４４】
シーンチェンジ検出値が固定閾値とシーンチェンジ検出閾値の間であることが第１比較部(32)と第２比較部(33)の出力から判明すると、判定信号生成部(34)は、シーンチェンジキャンセルを通知する信号と、ＧＯＰ割り当て情報量追加を指示する信号あるいはレート制御パラメータ初期化を指示する信号を出力する。ＧＯＰ割り当て情報量追加については、平均フレーム割り当て情報量の１フレーム分を上限とすることができる。
【００４５】
なお、ＧＯＰ割り当て情報量追加を指示する信号とレート制御パラメータ初期化を指示する信号は、両信号とも出力してもよいし、片方だけの出力でも可能である。また、シーンチェンジ判定部(30)からＧＯＰ割り当て情報量追加を指示する信号やレート制御パラメータ初期化を指示する信号を送出することに換えて、シーンチェンジキャンセル信号を受信した側で、シーンチェンジキャンセル信号受信を契機にＧＯＰ割り当て情報量追加をおこなったり、あるいはレート制御パラメータ初期化を行ってもよい。
【００４６】
次に、レート制御パラメータの初期化を、シーンチェンジとなったフレームと次のフレームの差分絶対値和に応じてダイナミックに行う本発明の第３の態様について説明する。
動画像においては、同じようなシーンが再登場して繰り返されることはよくあることである。このような場合でも、シーンチェンジ毎にレート制御パラメータを初期値に設定し、量子化処理を初期値を用いて開始するのは無駄である。そこで、先に用いたレート制御パラメータを利用することができれば、より早くレート制御パラメータを収束できることに着目して、本発明の第３の態様は考案されたものである。
【００４７】
以下、図９〜図１１Ｃにより本発明の第３の態様を詳細に説明する。なお、本発明の第３の態様は、以下の説明から理解されるように、本発明の第１の態様あるいは第２の態様のサブの態様として実施可能であるが、それらから独立した態様としても実施可能である。
【００４８】
まず、図９と図１１Ａ及び図１１Ｂを参照して、レート制御パラメータの初期値候補をデータベースに登録する処理について説明する。図９は、本発明の第３の態様においてデータベース登録処理を実施する機能ブロック構成例を示す図である。図１１ＡはＧＯＰ毎にデータベース登録を行うフローであり、図１１Ｂはシーンチェンジ毎にデータベース登録を行うフローである。それぞれについて、シーンチェンジ検出をキャンセルした場合にデータベース登録を行うオプションも記載されている。
【００４９】
ＳＡＤ移動平均計算部(510)は、ＳＡＤ演算部      (100)が逐次演算するＳＡＤの移動平均を、例えば図１１Ａに示すフローチャートのステップS110及び図１１Ｂに示すフローチャートのステップS210に記載した式
aveSAD_{k}=ROW*aveSAD_{k-1}+(1.0-ROW)*SAD_{k}
で計算する。ここで、ROWは移動平均の重みであり、１に近い値であるほど、aveSADの推移は緩やかになる。ここでは、例えば0.9とか0.99を採用することができる。
【００５０】
レート制御パラメータ現在値記憶部(410)は、実際にレート制御に使用されているレート制御パラメータが格納されている記憶機能ブロック部分を意味する。ここでのレート制御パラメータは、符号化の結果のフィードバックにより最適なものへと更新されている。
【００５１】
データベース登録部(520)は、それぞれのオプションに応じて、Ｉフレーム挿入、シーンチェンジ発生、シーンチェンジキャンセルを契機としてデータベース登録を行う。
例えばＧＯＰ毎にデータベース登録を行うのであれば、例えば図７に記載されたピクチャタイプ判定部(220)から通知されるＩフレーム挿入を契機として、その直前のフレームまでの移動平均とレート制御パラメータ現在値記憶部(410)に記憶されたレート制御パラメータを、移動平均をインデックスとしてデータベース(500)に登録する。図９のデータベース(500)に記載されたaveSAD_DATA1、{レート制御パラメータ１｝等はこのようにして登録された移動平均とレート制御パラメータを示している。以上の登録処理が、図１１ＡのステップＳ１２０からステップＳ１３０のフローに相当している。図１１ＡのステップＳ１４０とステップＳ１５０は、シーンチェンジキャンセル時にもデータベース登録を行う場合に実施されるフローであり、省略することも可能である。データベース(500)は、有限のインデックス数のＦＩＦＯとし、循環的に使うようにできる。
【００５２】
図１１Ｂに記載されたフローは、データベース登録が、シーンチェンジを契機として行われることを除いて、図１１Ａに記載されたフローと全く同様である。
次に、データベース(500)を用いたレート制御パラメータの初期化について、図１０と図１１Ｃを参照して説明する。図１０は本発明の第３の態様においてデータベースを参照してレート制御パラメータの初期設定を実施する機能ブロック構成例を示すものであり、図１１Ｃはその処理フローを示すものである。
【００５３】
図１０に示す初期パラメータ設定部(420)は、シーンチェンジ発生時、すなわち図１１Ｃに示すステップＳ３１０でＹＥＳとなったときに、シーンチェンジとなったフレームとその次のフレームとの差分SAD_nextをＳＡＤ演算部(100)から取得し、図１１ＣのステップＳ３２０及びステップＳ３３０に示すように、SAD_nextに最も近いaveSAD_DATAXを探索し、aveSAD_DATAXに対応するレート制御パラメータを読み出す。次にデータベース(500)から読み出したレート制御パラメートと、レート制御パラメータ初期値記憶部(405)に記憶されたレート制御の各方式に応じたレート制御パラメータの初期値との中間の値をレート制御パラメータ記憶部に格納することで、ステップＳ３４０に示すaveSAD_DATAXに対応するレート制御パラメータを、レート制御部(400)におけるレート制御のパラメータに反映（初期化）する。上記レート制御パラメータの初期化時に、データベース(500)から読み出したレート制御パラメートとレート制御パラメータ初期値記憶部(405)から読み出したレート制御パラメータの初期値との間のどの範囲の値を初期設定値として採用するかは、実際の画像データや符号化方式に応じて決めることができる。
【００５４】
図１１ＣのステップＳ３５０に示す処理は、図８に示した本発明の第２の態様において、シーンチェンジキャンセル時にレート制御パラメータの初期化を行うオプションを採用したときのためであり、その後の処理はシーンチェンジ発生時と同様である。ただし、この場合、SAD_nextは、シーンチェンジキャンセルとなったフレームと次のフレームの差分絶対値和となる。
【００５５】
以上、詳細に説明したように、本発明によれば、シーンチェンジが多発する場合でも、ＶＢＶバッファの空き容量に応じて検出をキャンセルすることができるので、Ｉフレームの符号化に情報量を過大に取られることがなくなり、画像劣化を防ぐことができる。そして、静止画面があるような場合でも、シーンチェンジの誤検出を避けるようにすることができる。
【００５６】
また、本発明によれば、シーンチェンジの検出をキャンセルした場合であっても、ＧＯＰ割り当て情報量の追加及び／または、レート制御パラメータの初期化を行うことにより、キャンセル後の符号化をより適切に行うことができる。
【００５７】
さらに本発明によれば、シーンチェンジ後のレートパラメータの収束を早めることができ、シーンチェンジ後であっても安定した画質を提供することができる。
また、上記本発明の各実施の態様において説明した機能ブロックにおいては、ハードウェアにより実現可能であるほか、コンピュータソフトウェアにより実現可能であるものが含まれることは明らかであり、機能ブロック毎にハードウェア、ソフトウェアを適宜組み合わせることも当業者が設計条件に応じて採用可能な範囲のものである。
したがって、本発明の実施例には、コンピュータを、本発明を実施する装置として機能させるプログラム、及び該プログラムを格納した記憶媒体も含まれる。
【００５８】
（付記１）原画像からシーンチェンジ検出値を演算するシーンチェンジ検出値演算部と、
ＶＢＶバッファの残量に応じてシーンチェンジ検出閾値を演算する閾値演算部と、
前記シーンチェンジ検出値と前記シーンチェンジ検出閾値を比較し、該比較結果に応じてシーンチェンジが発生したか否かを判定をするシーンチェンジ判定部と、
を備えたことを特徴とする動画像符号化装置。
（付記２）前記検出閾値を、ピクチャ画素数×定数×（ＶＢＶバッファ最大値÷ＶＢＶバッファ占有量）とすることを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記シーンチェンジ検出値演算部は、原画像フレーム間の差分絶対値和を求めるＳＡＤ演算部と該差分絶対値和の時間変化量を求めるＳＡＤ時間変化量演算部とを備え、該差分絶対値和の時間変化量を前記シーンチェンジ検出値とすることを特徴とする付記１に記載の動画像符号化装置。
（付記４）前記シーンチェンジ検出値演算部は、前記ＳＡＤ演算部が演算した差分絶対値和が所定の閾値以上の値であるか評価するＳＡＤ評価部を備え、
前記ＳＡＤ評価部の評価結果、前記差分絶対値和が所定の閾値以上の値でなければ、シーンチェンジが発生したとの判定を行わないことを特徴とする付記３に記載の動画像符号化装置。
（付記５）前記ＳＡＤ評価部の評価結果が、前記差分絶対値和が所定の閾値以上の値を示すものでなければ、前記ＳＡＤ時間変化演算部において演算に用いる差分絶対値和の値を更新しないことによりシーンチェンジが発生したとの判定を行わないことを特徴とする付記４に記載の動画像符号化装置。
（付記６）前記ＳＡＤ評価部は、前記評価結果を前記シーンチェンジ判定部に報知するものであり、前記シーンチェンジ判定部は、前記ＳＡＤ評価部から、前記差分絶対値和が所定の閾値以上の値ではないと通知された場合には、前記シーンチェンジ検出値と前記シーンチェンジ検出閾値の比較結果にかかわらず、シーンチェンジが発生したとの判定を行わないことを特徴とする付記４に記載の動画像符号化装置。
（付記７）前記シーンチェンジが発生したとの判定を行わないフレーム数の上限を３フレームとすることを特徴とする付記４に記載の動画像符号化装置。
（付記８）前記差分絶対値和の移動平均を順次計算するＳＡＤ移動平均計算部と、
ダイナミックに更新され、レート制御に用いられるレート制御パラメータを記憶するレート制御パラメータ現在値記憶部と、
前記レート制御パラメータの初期値を記憶するレート制御パラメータ初期値記憶部と、
データベースと、
を備え、
シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、前記差分絶対値和の移動平均をインデックスとして前記レート制御パラメータ現在値記憶部に記憶されたレート制御パラメータを前記データベースに登録し、
シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、
該当するインデックスのレート制御パラメータを読み出し、
該読み出されたレート制御パラメータと前記レート制御パラメータ初期値記憶部に記憶されたレート制御パラメータの初期値との中間の値を前記レート制御パラメータ現在値記憶部に初期設定することを特徴とする付記３に記載の動画像符号化装置。
（付記９）前記シーンチェンジ判定部は、前記シーンチェンジ検出値と前記シーンチェンジ検出閾値を比較して比較結果を出力する第１の比較部と、前記シーンチェンジ検出閾値の最小値以下の固定閾値が設定される固定閾値設定部と、該固定閾値と前記シーンチェンジ検出値を比較して比較結果を出力する第２の比較部とを備え、
前記第１の比較部の出力が、前記シーンチェンジ検出値が前記シーンチェンジ検出閾値以上であることを示す場合には、シーンチェンジ発生を報知する信号を出力し、前記第１の比較部の出力が、前記シーンチェンジ検出値が前記シーンチェンジ検出閾値以上ではなく、前記第２の比較部の出力が、前記シーンチェンジ検出値が前記固定閾値以上であることを示す場合には、シーンチェンジ検出をキャンセルすることを示すシーンチェンジキャンセル信号を出力することを特徴とする付記１に記載の動画像符号化装置。
（付記１０）前記シーンチェンジキャンセル信号とともに、ＧＯＰ割り当て情報量追加を指示する信号を出力することを特徴とする付記９に記載の動画像符号化装置。
（付記１１）前記ＧＯＰ割り当て情報量追加は、平均フレーム割当量１フレーム分を上限とすることを特徴とする付記１０に記載の動画像符号化装置。
（付記１２）前記シーンチェンジキャンセル信号とともに、レート制御パラメータの初期化を指示する信号を出力することを特徴とする付記９に記載の動画像符号化装置。
（付記１３）前記差分絶対値和の移動平均を順次計算するＳＡＤ移動平均計算部と、
ダイナミックに更新され、レート制御に用いられるレート制御パラメータを記憶するレート制御パラメータ現在値記憶部と、
前記レート制御パラメータの初期値を記憶するレート制御パラメータ初期値記憶部と、
データベースと、
を備え、
シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、前記差分絶対値和の移動平均をインデックスとして前記レート制御パラメータ現在値記憶部に記憶されたレート制御パラメータを前記データベースに登録し、
かつ、前記レート制御パラメータの初期化を指示する信号を受信すると、前記差分絶対値和の移動平均をインデックスとして前記レート制御パラメータ現在値記憶部に記憶されたレート制御パラメータを前記データベースに登録することを特徴とする付記１２に記載の動画像符号化装置。
（付記１４）シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、
該当するインデックスのレート制御パラメータを読み出し、
該読み出されたレート制御パラメータと前記レート制御パラメータ初期値記憶部に記憶されたレート制御パラメータの初期値との中間の値を前記レート制御パラメータ現在値記憶部に初期設定することを特徴とする付記１３に記載の動画像符号化装置。
（付記１５）前記レート制御パラメータの初期化を指示する信号を受信しととき、シーンチェンジキャンセルとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、
該当するインデックスのレート制御パラメータを読み出し、
該読み出されたレート制御パラメータと前記レート制御パラメータ初期値記憶部に記憶されたレート制御パラメータの初期値との中間の値を前記レート制御パラメータ現在値記憶部に初期設定することを特徴とする付記１４に記載の動画像符号化装置。
（付記１６）原画像フレーム間の差分絶対値和を求めるＳＡＤ演算部と、
前記差分絶対値和の移動平均を順次計算するＳＡＤ移動平均計算部と、
ダイナミックに更新され、レート制御に用いられるレート制御パラメータを記憶するレート制御パラメータ現在値記憶部と、
前記レート制御パラメータの初期値を記憶するレート制御パラメータ初期値記憶部と、
データベースと、
を備え、
シーンチェンジが発生する毎に、あるいはＧＯＰ毎に、前記差分絶対値和の移動平均をインデックスとして前記レート制御パラメータ現在値記憶部に記憶されたレート制御パラメータを前記データベースに登録し、
シーンチェンジが発生したときに、シーンチェンジとなったフレームと次のフレームの差分絶対値和で前記データベースを参照し、
該当するインデックスのレート制御パラメータを読み出し、
該読み出されたレート制御パラメータと前記レート制御パラメータ初期値記憶部に記憶されたレート制御パラメータの初期値との中間の値を前記レート制御パラメータ現在値記憶部に初期設定することを特徴とする動画像符号化装置。
（付記１７）コンピュータに、
原画像からシーンチェンジ検出値を演算するシーンチェンジ検出値演算機能と、
ＶＢＶバッファの残量に応じてシーンチェンジ検出閾値を演算する閾値演算機能と、
前記シーンチェンジ検出値と前記シーンチェンジ検出閾値を比較し、該比較結果に応じてシーンチェンジが発生したか否かを判定をするシーンチェンジ判定機能と、
を実施させることを特徴とする動画像符号化プログラム。
【符号の説明】
【００５９】
１０    シーンチェンジ検出値演算部
１１０  ＳＡＤ演算部
１１０  ＳＡＤ時間変化量演算部
１２０  ＳＡＤ評価部
１３０  ラッチ部
１４０  選択部
２０    閾値演算部
３０    シーンチェンジ判定部
３１    固定閾値設定部
３２    第１比較部
３３    第２比較部
３４    判定信号生成部
２００  前処理部
２１０  フレーム間差分値演算部
２２０  ピクチャタイプ判定部
３００  エンコード部
３１０  イントラ予測部
３２０  動き検出部ＭＥ
３３０  動き補償部ＭＣ
３４１，３４２  差分演算部
３５０  変換部
３５１  逆変換部
３６０  量子化部
３６１  逆量子化部
３７０  可変長符号化部
３９１，３９２  加算部
４００  レート制御部
４０５  レート制御パラメータ初期値記憶部
４１０  レート制御パラメータ現在値記憶部
４２０  初期パラメータ設定部
５００  データベース
５１０  ＳＡＤ移動平均計算部
５２０  データベース登録部
【図１】
2010279079.tif 000003
【図２】
2010279079.tif 000004
【図３】
2010279079.tif 000005
【図４】
2010279079.tif 000006
【図５】
2010279079.tif 000007
【図６】
2010279079.tif 000008
【図７】
2010279079.tif 000009
【図８】
2010279079.tif 000010
【図９】
2010279079.tif 000011
【図１０】
2010279079.tif 000012
【図１１Ａ】
2010279079.tif 000013
【図１１Ｂ】
2010279079.tif 000014
【図１１Ｃ】
2010279079.tif 000015
【図１２】
2010279079.tif 000016
【図１３】
2010279079.tif 000017
【図１４】
2010279079.tif 000018
【図１５】
2010279079.tif 000019