(57)【特許請求の範囲】
【請求項１】
入力された動画像信号を複数の量子化ステップのいずれかに従い量子化する量子化手段と、
前記量子化手段により量子化された動画像信号を可変長符号化する符号化手段と、
前記複数の量子化ステップの値が記述された量子化テーブルを有し、前記入力された動画像信号に含まれるフレームのピクチャタイプ毎に前記量子化テーブルにおいて使用可能な量子化ステップの最小値を異なる値に設定し、当該設定された最小値よりも小さい値の量子化ステップを使用しないように前記量子化テーブルの使用範囲を制限する制御手段とを備え、
前記制御手段は、目標データレートに基づいて前記フレーム毎の目標符号量を決定し、符号化対象フレームに対する前記目標符号量と当該符号化対象フレームのピクチャタイプとに従って、当該符号化対象フレームを構成する各マクロブロックに対する量子化ステップを前記使用範囲の制限された量子化テーブルの中から決定することを特徴とする信号処理装置。
【請求項２】
前記制御手段は、前記量子化ステップの最小値を設定することによって得られる、前記符号化対象フレームの上側のマクロブロックにおいて前記目標符号量を下回った分の残余符号量を、前記符号化対象フレームの下側のマクロブロックに対して割り当てるよう制御することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記符号化手段から出力される動画像信号はＭＰＥＧ方式に従う信号であり、前記制御手段は前記入力された動画像信号に含まれるフレームのピクチャタイプであるＩピクチャ、Ｐピクチャ及びＢピクチャそれぞれ独立に前記量子化ステップの最小値を設定することを特徴とする請求項１記載の信号処理装置。
【請求項４】
前記制御手段は更に、前記入力された動画像信号の動きが大きい場合には前記Ｉピクチャの量子化ステップの最小値と、前記Ｐピクチャ及びＢピクチャの量子化ステップの最小値との差が小さくなるよう各ピクチャの量子化ステップの最小値を設定し、前記入力された動画像信号の動きが小さい場合には前記Ｉピクチャの量子化ステップの最小値と、前記Ｐピクチャ及びＢピクチャの量子化ステップの最小値との差が大きくなり、かつ前記Ｉピクチャの量子化ステップの最小値の方が小さくなるよう各ピクチャの量子化ステップの最小値を設定することを特徴とする請求項３記載の信号処理装置。
【請求項５】
同一フレーム内の信号のみを用いて符号化を行うイントラ符号化モードと、２つ以上の異なるフレームの信号を用いて符号化を行うインター符号化モードとを有し、前記制御手段は前記イントラ符号化モードにて符号化を行うフレームのピクチャタイプと前記インター符号化モードにて符号化を行うフレームのピクチャタイプとでそれぞれ独立に前記量子化ステップの最小値を決定することを特徴とする請求項１記載の信号処理装置。
【請求項６】
前記制御手段は更に、前記入力された動画像信号に含まれる複数のフレーム間の動きの程度に基づいて前記量子化ステップの最小値を決定することを特徴とする請求項１記載の信号処理装置。
【請求項７】
前記符号化対象フレームの参照フレームより予測画像信号を生成すると共に前記予測画像信号に対する動きベクトルを検出する動き補償予測手段を更に備え、前記制御手段は前記動き補償予測手段により検出された動きベクトルに基づいて前記入力された動画像信号に含まれる複数のフレーム間の動きを検出することを特徴とする請求項６記載の信号処理装置。
【請求項８】
入力された動画像信号を複数の量子化ステップのいずれかに従い量子化し、前記量子化された動画像信号を可変長符号化する方法であって、
前記複数の量子化ステップの値が記述された量子化テーブルを用い、前記入力された動画像信号に含まれるフレームのピクチャタイプ毎に前記量子化テーブルにおいて使用可能な量子化ステップの最小値を異なる値に設定し、当該設定された最小値よりも小さい値の量子化ステップを使用しないように前記量子化テーブルの使用範囲を制限する量子化制御工程を有し、
前記量子化制御工程では、目標データレートに基づいて前記フレーム毎の目標符号量を決定し、符号化対象フレームに対する前記目標符号量と当該符号化対象フレームのピクチャタイプとに従って、当該符号化対象フレームを構成する各マクロブロックに対する量子化ステップを前記使用範囲の制限された量子化テーブルの中から決定することを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理装置に関し、特に画像信号の符号化処理に関する。
【０００２】
【従来の技術】
画像信号の圧縮、符号化技術として、ＭＰＥＧ規格が知られている。
【０００３】
そして、画像信号を符号化してこのＭＰＥＧ規格に従うデータを生成する符号化回路に於いては、目標とするデータレートに基づいてピクチャ毎に目標とする符号量を決定している。そして、各ピクチャの目標符号量に基づいて、各ピクチャを構成する全てのマクロブロックに平均的に目標となる符号量を割り当てる。
【０００４】
その後、目標符号量となるよう、各マクロブロックを符号化する際の量子化ステップを決定し、符号化を行う。
【０００５】
【発明が解決しようとする課題】
このように、各マクロブロックに平均的に目標符号量を設定して量子化ステップを設定すると、以下のような問題が考えられる。
【０００６】
例えば、１つのＰピクチャあるいはＢピクチャ内にほとんど動きのない画像を含むマクロブロックと動きの激しい画像を含むマクロブロックとがある場合、動きの少ない画像のマクロブロックでは差分がほとんど発生しない。そのため、目標符号量を達成するために量子化ステップを小さく設定している。
【０００７】
逆に、動きの激しい画像のマクロブロックでは、差分データの値が大きくなるため、マクロブロックの符号量を目標符号用内に収めるため、量子化ステップを大きく設定しなければならない。
【０００８】
しかしながら、動きの少ない画像については量子化ステップを必要以上に小さくして符号化しても、符号量が増加するわりに視覚的にはそれほど大きな効果は得られない。一方、動きの大きな画像については量子化ステップを小さく設定することによる視覚的な効果が大きいが、量子化ステップを小さくしてしまうとマクロブロック毎に平均的に設定した目標符号量をこえてしまうため、量子化ステップを小さく設定することができない。
【０００９】
このように、従来では、マクロブロック毎に平均的に目標符号量を割り当てていたため、視覚効果の少ない部分について多くの符号を割り当て、視覚効果の高い部分については必要な符号量を割り当てることができない。
【００１０】
本発明はこのような問題点を解決することを目的とする。
【００１１】
本発明の他の目的は、無駄のない符号量の割り当てを実現する処にある。
【００１２】
本発明の更に他の目的は、視覚効果を考慮した最適な量子化ステップを決定する処にある。
【００１３】
【課題を解決するための手段】
前記課題を解決するため、本発明においては、入力された動画像信号を複数の量子化ステップのいずれかに従い量子化する量子化手段と、前記量子化手段により量子化された動画像信号を可変長符号化する符号化手段と、前記複数の量子化ステップの値が記述された量子化テーブルを有し、前記入力された動画像信号に含まれるフレームのピクチャタイプ毎に前記量子化テーブルにおいて使用可能な量子化ステップの最小値を異なる値に設定し、当該設定された最小値よりも小さい値の量子化ステップを使用しないように前記量子化テーブルの使用範囲を制限する制御手段とを備え、前記制御手段は、目標データレートに基づいて前記フレーム毎の目標符号量を決定し、符号化対象フレームに対する前記目標符号量と当該符号化対象フレームのピクチャタイプとに従って、当該符号化対象フレームを構成する各マクロブロックに対する量子化ステップを前記使用範囲の制限された量子化テーブルの中から決定することを特徴とする。
また、本発明においては、入力された動画像信号を複数の量子化ステップのいずれかに従い量子化し、前記量子化された動画像信号を可変長符号化する方法であって、前記複数の量子化ステップの値が記述された量子化テーブルを用い、前記入力された動画像信号に含まれるフレームのピクチャタイプ毎に前記量子化テーブルにおいて使用可能な量子化ステップの最小値を異なる値に設定し、当該設定された最小値よりも小さい値の量子化ステップを使用しないように前記量子化テーブルの使用範囲を制限する量子化制御工程を有し、前記量子化制御工程では、目標データレートに基づいて前記フレーム毎の目標符号量を決定し、符号化対象フレームに対する前記目標符号量と当該符号化対象フレームのピクチャタイプとに従って、当該符号化対象フレームを構成する各マクロブロックに対する量子化ステップを前記使用範囲の制限された量子化テーブルの中から決定することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
【００１５】
図２は本発明が適用される撮像装置の構成を示すブロック図である。
【００１６】
図２において、撮像部２０１はレンズやその駆動機構などの光学系、ＣＣＤなどの撮像素子、及び周知のカメラ信号処理回路などを有する。符号化部２０２は動き補償予測符号化を用いたＭＰＥＧ方式に従って撮像部２０１から出力される動画像信号を符号化し、記録部２０３に出力する。記録部２０３は符号化部２０２からの符号化された動画像信号に対し、誤り訂正用チェック符号や同期データ、その他の付加データを付加して記録フォーマットに従う形態に変換し、周知の光磁気記録方式により光磁気ディスク２０４に記録する。
【００１７】
また、制御部２０５はユーザ操作による操作部２０６からの指示に従い装置各部の動作を制御する。
【００１８】
次に、本形態の特徴的な構成である符号化部２０２について説明する。
【００１９】
図１は符号化部２０２の構成を示す図である。
【００２０】
図１の符号化部２０２は、前述の通り動き補償予測符号化を用いたＭＰＥＧ２方式に従って符号化処理を行う。ＭＰＥＧ２方式ではイントラ符号化とインター符号化とをフレーム毎に選択的に用いて符号化を行う。イントラ符号化とは同一フレーム内のデータのみを用いて符号化を行う方法であり、インター符号化とは複数のフレームを用いて符号化を行う方法である。
【００２１】
また、ＭＰＥＧ２では、１つのフレームのデータを全てイントラ符号化により符号化するＩピクチャ、前フレームを用いて予測符号化を行うＰピクチャ、前後のフレームを用いて予測符号化を行うＢピクチャの３つのピクチャタイプが規定されている。そして、Ｉピクチャから次のＩピクチャの直前のフレームまでをＧＯＰ（Group Of Pictures）と呼び、このＧＯＰを１つの符号化単位として扱うことができる。
【００２２】
図１において、撮像部２０１から出力された動画像信号は入力端子１０１を介して画面並べ替え回路１０２に出力される。画面並べ替え回路１０２は複数フレームの動画像信号を記憶できるメモリを有し、入力された動画像信号のフレームの順序を符号化のために適した順序に変更して出力する。
【００２３】
図３を用いて画面並べ替え回路１０２の動作を説明する。
【００２４】
図３の３０１は画面並べ替え回路１０２に入力される動画像信号のフレームの順序を示しており、第１フレーム、第２フレーム、第３フレーム・・・の順に入力される。３０２は画面並べ替え回路１０２から出力される動画像データの順序を示しており、第３フレーム、第１フレーム、第２フレーム・・・の順に出力される。
【００２５】
図４はこのように出力された動画像信号をＩピクチャ、Ｐピクチャ、Ｂピクチャとして符号化する様子を示す図である。
【００２６】
図４の４０１は図３のフレーム番号に対応しており、４０２は各フレームのピクチャタイプを示している。図４では１５フレームで１つのＧＯＰを構成しており、第３フレームが先頭のＩピクチャである。第１フレーム、第２フレームは１つ前のＧＯＰのＢピクチャであり、図４に示すように、第１フレーム及び第２フレームはＩピクチャである第３フレームの画像信号と、直前のＧＯＰのＰピクチャの画像信号とを用いて符号化される。また、第３フレームはＩピクチャであるため、第３フレームの画像データのみで符号化される。また、第６フレームはＰピクチャであり、直前のＩピクチャである第３フレームを用いて前方予測符号化される。以下、同様に、Ｂピクチャ、Ｐピクチャの画像信号をそれぞれ符号化する。
【００２７】
このような符号化処理を実現するため、画面並べ替え回路１０２より図３あるいは図４の順序で出力された画像信号はスイッチ１０３、減算器１０４及び動き補償予測符号化回路１１１に出力される。
【００２８】
スイッチ１０３はＩピクチャの画像信号が出力された場合には端子Ａ側に接続し、画面並べ替え回路１０２から出力された画像信号がそのままＤＣＴ回路１０５に出力される。
【００２９】
また、ＰピクチャあるいはＢピクチャの場合、スイッチ１０３はＢ端子側に接続する。減算器１０４は画面並べ替え回路１０２より出力されたＰピクチャあるいはＢピクチャの画像信号と、動き補償予測回路１１１からの予測画像信号との差分を得、スイッチ１０３を介してＤＣＴ回路１０５に出力する。これにより、時間軸方向の冗長度を削減している。
【００３０】
ＤＣＴ回路１０５はスイッチ１０３から出力されたＩピクチャの画像データまたは、Ｐピクチャ、Ｂピクチャの差分データをＤＣＴ処理し、量子化回路１０６に出力する。量子化回路１０６は後述のように量子化係数算出回路１１５により指示された量子化ステップに従ってＤＣＴ回路１０５から出力される各ピクチャのＤＣＴ係数を量子化し、逆量子化回路１０７及び可変長符号化回路１１２に出力する。
【００３１】
可変長符号化回路１１２は量子化された画像データを可変長符号化し、バッファメモリ１１３に出力する。バッファメモリ１１３に記憶された画像データは所定のタイミングで読み出され、出力端子１１６を介して記録部２０３に出力される。
【００３２】
一方、逆量子化回路１０７は量子化回路１０６からの画像信号を逆量子化し、逆ＤＣＴ回路１０８に出力する。逆ＤＣＴ回路１０８は逆量子化された画像信号を逆ＤＣＴ処理し、加算器１０９に出力する。
【００３３】
ここで、逆ＤＣＴ回路１０８からのデータがＩピクチャのデータの場合、スイッチ１１０はオフされ、逆ＤＣＴ回路１０８から出力された画像データは加算器１０９をそのまま通過して動き補償予測回路１１１に出力される。また、逆ＤＣＴ回路１０８からのデータがＰピクチャあるいはＢピクチャの場合、スイッチ１１０がオンされる。そして、加算器１０９により、減算器１０４に出力された予測画像信号と逆ＤＣＴ回路１０８からのデータ（ローカルデコードデータ）とを加算し、動き補償予測回路１１１に出力する。
【００３４】
動き補償予測回路１１１は加算器１０９から出力されるＩピクチャ及びＰピクチャのローカルデコードデータを記憶するメモリを有し、このＰピクチャあるいはＢピクチャのデータをそれぞれ複数画素からなる複数のマクロブロックに分割してマクロブロック谷に読み出す。そして、この画面並べ替え回路１０２から出力されたＰピクチャあるいはＢピクチャのデータとメモリに記憶された参照フレームの画像データとをマクロブロックを単位として比較し、より差分の少ない予測画像信号及びその動きベクトルを検出する。そして、予測画像信号を減算器１０４に出力すると共に、動きベクトルのデータを可変長符号化回路１１２に出力する。可変長符号化回路１１２はこの動きベクトルのデータも符号化し、画像データと共にバッファメモリ１１３に出力する。
【００３５】
レート制御回路１１４はバッファメモリ１１３に記憶されている符号化された画像データの量を監視し、量子化ステップ制御回路１１５に知らせる。量子化ステップ制御回路１１５は、バッファメモリ１１３に記憶されている画像データの量と画面並べ替え回路１０２から指示されたピクチャタイプの情報に基づいて、指定された目標データレートとなるよう各ピクチャの目標符号量を割り当てる。
【００３６】
このとき、本形態においては、指定された目標データレートに従い、ピクチャ毎の量子化ステップの最小値を定める。即ち、量子化ステップ制御回路１１５は、番号に応じて異なる量子化ステップが記入された量子化テーブルを持ち、この量子化テーブルのうち、量子化ステップの最小値として定めた番号よりも小さい量子化ステップを持つ量子化テーブルを使用しないようにする。例えば、目標データレートを６Ｍｂｐｓとしたとき、Ｉピクチャの最小値を８、Ｐピクチャを９、Ｂピクチャを１２とする。
【００３７】
そして、マクロブロック毎に平均的に目標符号量を割り当てて量子化ステップを算出する。ただし、この際、量子化ステップがピクチャ毎に設定した最小値を下回らないよう各マクロブロックの量子化ステップを設定する。このように量子化ステップを設定した結果、目標符号量を達成しないマクロブロックが存在する場合には、達成せずに余った符号量を、量子化ステップが最小値を下回っていない他のマクロブロックに割り当てる。
【００３８】
そして、量子化ステップ制御回路１１５は、最終的に設定した各マクロブロックの量子化ステップを量子化回路１０６に出力する。
【００３９】
図５は１フレームの多数のマクロブロックの量子化ステップの例を示す図である。
【００４０】
５０１は量子化ステップの最小値を設定しない場合の各マクロブロックの量子化ステップの様子を示す図であり、５０２は量子化ステップの最小値を設定した本形態の各マクロブロックの量子化ステップの様子を示す図である。５０１では、画面の上側のマクロブロックの量子化ステップが６〜８と比較的小さく設定され、下側のマクロブロックの量子化ステップが１４〜２０と比較的大きく設定されているが、量子化ステップの最小値を１０に設定した場合、５０２に示すように、画面の上側のマクロブロックの量子化ステップがほぼ１０となる。そして、このように量子化ステップを５０１に比べて大きくした結果発生した余分な符号量を、画面の下側のマクロブロックに割り当てることで、５０２の下側のマクロブロックの量子化ステップを１２〜１４と５０１よりも小さくすることができ、より高精細な画像を得ることができる。
【００４１】
このように、本形態では、ピクチャタイプ毎に量子化ステップの最小値を設定し、この最小値を下回らないように各マクロブロックの量子化ステップを設定しているので、量子化ステップを小さくしても視覚的な効果が期待できないマクロブロックに対して多くの符号量を割り当ててしまうことを避けることができる。
【００４２】
次に、第２の実施形態について説明する。本形態においても、適用される構成は図１、図２のものと同様である。
【００４３】
前述の実施形態では、指定された目標データレートに基づいて各ピクチャの目標符号量を割り当てていたが、本形態では更に、入力画像データの特徴により量子化ステップの最小値をピクチャ毎に設定する。
【００４４】
具体的には、画面並べ替え回路１０２により入力された画像データのフレーム間のデータを比較するか、あるいは、動き補償予測回路１１１により検出された動きベクトルの値を１フレーム合計した結果などから入力画像データの動きの程度を検出する。
【００４５】
動きが少ない場合には、ＰピクチャあるいはＢピクチャのデータは予測画像信号との差分値が小さくなると考えられるので、Ｉピクチャの量子化ステップの最小値をより小さく設定し、Ｐピクチャ、Ｂピクチャの量子化ステップの最小値をより大きく設定する。
【００４６】
また、動きが大きく、画像がランダムに動いている場合には、Ｉピクチャの量子化ステップの最小値をＰピクチャ、Ｂピクチャと変わらないように定める。
【００４７】
このように、入力画像の特徴に従って各ピクチャの量子化ステップの最小値を変更することで、画像の特徴に応じて効果的に符号量を割り当てることができる。
【００４８】
なお、第２の実施形態では、画面並べ替え回路１０２によりフレーム間の画像データを比較した結果や、あるいは、動きベクトルの合計などにより入力画像データの特徴を検出し、動きの程度を判定していたが、例えば、図２の撮像部２０１における手ぶれ補正機能を利用し、角速度センサや画像処理により得られた手ぶれ量を示すデータを撮像部２０１から入力してこれに基づいて入力画像データの動きを判定する構成をとることも可能である。
【００４９】
更に、操作部２０６によるズームキーの操作信号に基づいて動きを判定しても良い。
【００５０】
即ち、ズーム速度が遅い場合にはフレーム間で動きは検出されるものの、予測画像信号との差分値も少なくなると考えられるので、動きが少ないときと同様、Ｉピクチャの量子化ステップの最小値をより小さく設定し、Ｐピクチャ、Ｂピクチャの量子化ステップの最小値をより大きく設定する。
【００５１】
また、前述の各実施形態では、本発明を撮像装置に対して適用した場合について説明したが、これ以外にも、画像信号を量子化、符号化する場合に本発明を適用することができ、同様の効果をもつ。
【００５２】
また、図１の符号化部はこれらの構成の全てまたは一部を１つのＩＣチップとして構成することも可能であり、更に、図１の各機能をマイクロプロセッサや、レジスタ、ＲＡＭなどを用いたソフトウエア処理にて実現することも可能である。
【００５３】
この場合、図１の機能を達成するためのプログラムを記憶したメモリなどの記憶メディアも本発明を構成する。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、無駄のない符号量の割り当てを実現することができ、また、視覚効果を考慮した最適な量子化ステップを決定することができる。
【図面の簡単な説明】
【図１】本発明が適用される符号化部の構成を示す図である。
【図２】本発明が適用される撮像装置の構成を示す図である。
【図３】符号化処理に伴う画像データの順序の様子を示す図である。
【図４】予測符号化動作を示す図である。
【図５】１フレーム内の量子化ステップの様子を示す図である。
【図１】
0004769392.tif 000002
【図２】
0004769392.tif 000003
【図３】
0004769392.tif 000004
【図４】
0004769392.tif 000005
【図５】
0004769392.tif 000006