(57)【特許請求の範囲】
【請求項１】
入力画像信号のシーン変化点を検出し、シーン変化点からの距離を示す位置情報を含むシーン属性情報を出力する手段と、
該入力画像信号の符号化難易度を推定する手段と、
前記シーン属性情報と符号化難易度を基に、該入力画像信号の符号量を決定する手段とを具備し、
前記入力画像信号の符号量を決定する手段は、入力信号のシーン変化点からの距離が予め定められた閾値より小さいか否かの判断を行い、該距離が、該閾値より大きければ既知の方法で求められた目標符号量Ｔを割り当て、該閾値より小さければ前記符号化難易度を推定する手段からの符号化難易度を取得し、該符号化難易度の大きさに応じた大きさの重み係数（ただし、Ｗsc＞１）を選択し、目標符号量Ｔ×Ｗscを割り当てることを特徴とするシーン特性検出型動画像符号化装置。
【請求項２】
入力画像信号のシーン変化点を検出し、シーン変化点からの距離を示す位置情報を含むシーン属性情報を出力する手段と、
該入力画像信号の符号化難易度を推定する手段と、
該入力画像信号を前処理するフィルタ手段と、
前記シーン属性情報と符号化難易度を基に、該入力画像信号の符号量を決定する手段とを具備し、
前記フィルタ手段はシーン変化点に該当する入力画像信号に対し、前記符号化難易度に応じて、前記フィルタ手段のフィルタ特性を高周波数成分の遮断特性が強くなるように更新し、
前記入力画像信号の符号量を決定する手段は、入力信号のシーン変化点からの距離が予め定められた閾値より小さいか否かの判断を行い、該距離が、該閾値より大きければ既知の方法で求められた目標符号量Ｔを割り当て、該閾値より小さければ前記符号化難易度を推定する手段からの符号化難易度を取得し、該符号化難易度の大きさに応じた大きさの重み係数（ただし、Ｗsc＞１）を選択し、目標符号量Ｔ×Ｗscを割り当てることを特徴とするシーン特性検出型動画像符号化装置。
【請求項３】
請求項１または２に記載のシーン特性検出型動画像符号化装置において、
前記符号化難易度として、該入力画像信号に対して算出された輝度値ブロック内分散の平均を用い、該輝度値ブロック内分散の平均値が高いほど、多くの符号量を割り当てるようにしたことを特徴とするシーン特性検出型動画像符号化装置。
【請求項４】
請求項１ないし３のいずれかに記載のシーン特性検出型動画像符号化装置において、
前記符号量の割り当てを、マクロブロック単位で行うことを特徴とするシーン特性検出型動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はシーン特性検出型動画像符号化装置に関し、特にシーンチェンジ（変化点）に伴う画質の劣化を抑制できるようにしたシーン特性検出型動画像符号化装置に関する。
【０００２】
【従来の技術】
この種の従来装置として、動画像符号化装置、例えばＭＰＥＧ２符号化装置にＴＭ５(Test Model 5)に準じた仮想バッファ制御を導入した装置が考えられる。この装置では、目標符号量と発生符号量に差異が生ずると、この差異が量子化レート制御にフィードバックされる。このため、入力画像の符号化の難易度に多少の変動があっても、ある程度難易度に見合った符号量が割当てられるように量子化制御が行われる。
【０００３】
【発明が解決しようとする課題】
しかしながら、シーン変化点のような画像間に相関の低い画像が入力された場合には、発生符号量と目標符号量の差異が増大する可能性が高い。この場合、該目標符号量と発生符号量の差異は仮想バッファ占有量の大幅な変動を通じて量子化レート制御にフィードバックされるため、シーンの冒頭において画質が劣化する可能性が生ずる。
【０００４】
本発明の目的は、前記した従来技術の課題を解決し、シーン変化点発生時の画質劣化を極力抑制できるシーン特性検出型動画像符号化装置を提供することにある。
【０００５】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、入力画像信号のシーン変化点を検出し、シーン変化点からの距離を示す位置情報を含むシーン属性情報を出力する手段と、該入力画像信号の符号化難易度を推定する手段と、前記シーン属性情報と符号化難易度を基に、該入力画像信号の符号量を決定する手段とを具備し、前記入力画像信号の符号量を決定する手段は、入力信号のシーン変化点からの距離が予め定められた閾値より小さいか否かの判断を行い、該距離が、該閾値より大きければ既知の方法で求められた目標符号量Ｔを割り当て、該閾値より小さければ前記符号化難易度を推定する手段からの符号化難易度を取得し、該符号化難易度の大きさに応じた大きさの重み係数（ただし、Ｗsc＞１）を選択し、目標符号量Ｔ×Ｗscを割り当てるようにした点に第１の特徴がある。この特徴によれば、シーン変化点直後および該シーン変化点に近い入力画像信号の符号化による画質劣化を極力抑制できる。
【０００６】
また、本発明は、入力画像信号を符号化の前に前処理するフィルタ手段を具備し、前記シーン属性情報と符号化難易度を基に、当該入力画像信号に適用する前記フィルタ手段のフィルタ特性を更新するようにした点に第２の特徴がある。この特徴によれば、入力画像信号が、シーン変化点に該当し、かつ符号化難度が高い場合には、前記フィルタ手段のフィルタ特性を更新して、高周波成分を削減する処理が行われる。これにより、画質に大きな影響を与える入力画像信号の低周波成分に、より多くの符号量を割り当てることができるようになり、画質の劣化を抑制することができるようになる。
【０００７】
【発明の実施の形態】
以下に、本発明を図面を参照して説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
【０００８】
入力画像信号１は、並列接続された遅延メモリ２とシーン特性解析部３に入力する。遅延メモリ２は入力画像信号１がシーン特性解析部３で処理を受ける時間入力画像信号１を遅延する。シーン特性解析部３は、シーン変化点検出部３ａと符号化難易度推定部３ｂから構成されており、これらは周知のものを用いることができる。符号化難易度としては、例えば入力画像信号（例えば、フレーム）に対して算出された輝度値ブロック内分散の平均を用い、この分散値が大きいほど符号化難易度が大きいとすることができる。シーン変化点検出部３ａからはシーンの変化点を示すシーン属性情報ａが出力され、符号化難易度推定部３ｂからは符号化難易度情報ｂが出力される。これらの情報ａ，ｂは時空間領域フィルタ４とレート制御部５に送られる。
【０００９】
時空間領域フィルタ４は、図２に示されているように、シーン属性情報ａを取得し（ステップＳ１）、該シーン属性情報ａからシーン変化点になったことが分かると（ステップＳ２の判断が肯定）、符号化難易度情報ｂを取得する（ステップＳ３）。次いで、該符号化難易度情報ｂに基づいて、フィルタ特性すなわちフィルタ係数を更新する。これにより、符号化難度が高い場合には、高周波成分を削減する処理、例えば高周波数成分の遮断特性が強くなるように前記フィルタ手段のフィルタ特性を更新する処理がなされる。
【００１０】
時空間領域フィルタ４でフィルタ処理された入力画像信号は、予測信号減算器６および動き検出部７に入力される。動き検出部７では、該入力画像信号とフレームメモリ８から入力された参照画像とで動きベクトルｃが検出され、該動きベクトルｃは動き補償部９に入力される。補償部９では、該動きベクトルｃによって指定される画像信号をフレームメモリ８から抽出し、動き補償予測信号ｄとして予測信号減算器６および局所復号加算器１０に出力する。
【００１１】
予測信号減算器６は、入力画像信号から動き補償予測信号ｄを減算し、予測誤差信号ｅを出力する。予測誤差信号ｅは、高い符号化効率を得るために、直交変換部１１においてＤＣＴ（離散コサイン変換）などを用いて直交変換され、量子化部１２に送られる。該量子化部１２は、レート制御部５によりビット配分の制御を受けるが、その詳細は後述する。量子化部１２で量子化された信号は可変長符号化部１３でハフマン符号などの可変長符号に変換され、送信バッファ１４に一旦蓄積された後、回線に送出される。また、復号側と同一の予測信号を用いるために、量子化器１２で得られる量子化係数を逆量子化部１５で逆量子化し、逆直交変換部１６で予測誤差信号が局所的に復号される。さらに、動き補償予測信号ｄが復元された前記予測誤差信号と、局所復号加算部１０で加算され、フレームメモリ８に蓄積される。
【００１２】
次に，前記レート制御部５の機能を、図３のフローチャートを参照して説明する。ステップＳ１１では、レート制御部５はシーン属性ａを取得する。ステップＳ１２では、入力画像信号１のシーン変化点からの距離ｄscが、予め定められた閾値ｄthより小さいか否かの判断がなされる。そして、該距離ｄscが該閾値ｄthより小さければ、つまりシーン変化点に近い入力画像信号であれば、ステップＳ１３に進んで、符号化難易度ｂを取得する。ステップＳ１４では、該符号化難易度ｂの大きさに応じて、目標符号量に対する重み係数Ｗsc（１．０より大）を選択する。一方、前記ステップＳ１２の判断が否定の場合には、ステップＳ１５に進んで、目標符号量に対する重み係数Ｗscを１．０とする。
【００１３】
ステップＳ１６では、当該入力画像信号、例えば当該フレームに対する目標符号量Ｔが算出される。この目標符号量Ｔは従来の周知の方法で求めることができる。ステップＳ１７では、該目標符号量Ｔ×Ｗscが、新たな目標符号量として設定される。ここに、Ｗscは目標符号量に対する重み係数である。このため、入力画像信号がシーン変化点に近い場合には、目標符号量が通常より大きく設定されることになる。ステップＳ１８では、ステップＳ１７で求められた目標符号量Ｔを基に、マクロブロック単位で量子化精度、つまり量子化ステップサイズが算出される。ステップＳ１９では、前記量子化部１２が、レート制御部５から与えられた量子化精度に基づいてＤＣＴ係数を量子化する。
【００１４】
したがって、本実施形態によれば、シーン変化点に近い入力画像信号には大きな目標符号量Ｔが設定されるので、該入力画像信号には大きな符号量が割り当てられ、シーン変化点発生時の画質劣化を極力抑制できるようになる。また、符号化前にシーン変化点および符号化難易度を検出し、シーン変化点直後のフレームにおいては、以前のフレームよりやや高画質になるよう適応的なビット配分をすることができるので、シーン変化点直後のフレームに対し安定的な画質を維持できると共に、後続のフレームの符号化に割当て可能なビット数を確保することができ、後続フレームの画質の劣化を防止することができるようになる。
【００１５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、シーン特性の変化に追随可能な適応的な符号量配分（または、ビット配分）が可能となり、従来の動画像符号化で問題とされていたシーンの変わり目における一時的な画質劣化を解消することができるようになる。
【００１６】
また、前処理フィルタのフィルタ特性を適応的に設定できるようになるので、入力画像信号の高周波成分を削減して、画質に大きな影響を与える低周波成分に、より多くの符号量を割当てることができるようになる。このため、画質の劣化を抑制できるようになる。
【００１７】
図４は従来装置（同図(a) ）と本発明装置（同図(b) ）を用いた場合のシーン変化点前後の符号化割当てビット数と画質を示す図であり、横軸は時間ｔ、縦軸は高低が示されている。横軸のＰ0 ，Ｐ1 ，Ｐ2 ，…はフレーム（ピクチャ）を示す。従来装置では、同図(a) に示されているように、シーン変化点直後のフレームＰ3 内で安定な画質が得られないのに加え、次のフレームＰ4 に画質の劣化が生ずるが、本発明装置では、同図(b) に示されているように、シーン変化点直後のフレームＰ3 は安定な画質になると共に、フレームＰ3 より後のフレームに画質の劣化は生じない。
【００１８】
その理由は、従来装置では、シーン変化点直後においてはフレーム内符号化となるが、これに対して他のフレームと同様のレート制御が適用されるため、発生符号量が目標符号量を大きく上回る可能性がある。この結果、シーン変化点直後のフレームＰ3 内で安定な画質が得られないのに加え、該フレームＰ3 の符号化に多くのビット数を消費したため、後続のフレームの符号化に割当て可能なビット数が削減され、長期的な画質劣化につながるものと考えられる。
【００１９】
これに対して、本発明装置では、シーン変化点および符号化難易度を符号化前に検出し、シーン変化点直後のフレームにおいては、以前のフレームよりやや高画質になるよう適応的なビット配分をすることができるので、シーン変化点直後のフレームＰ3 を安定的な画像に維持できると共に、これを予測参照する後続のフレームの符号化において予測効率を高めた上で割当て可能なビット数を十分に確保することができ、後続フレームの画質の劣化を防止することができるようになる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の概略の構成を示すブロック図である。
【図２】  図１の時空間領域フィルタの処理を示すフローチャートである。
【図３】  図１のレート制御部の処理を示すフローチャートである。
【図４】  シーン変化点における従来装置と本発明装置の割当てビット数および画質の差異を説明する図である。
【符号の説明】
１…入力画像信号、２…遅延メモリ、３…シーン特性解析部、３ａ…シーン変化点検出部、３ｂ…符号化難易度推定部、４…時空間領域フィルタ、５…レート制御部、１２…量子化部。
【図１】
0003960451.tif 000002
【図２】
0003960451.tif 000003
【図３】
0003960451.tif 000004
【図４】
0003960451.tif 000005