(57)【要約】符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持することを可能にする。  符号化装置２１０は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部１０３と、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部２１２と、決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する量子化部２０４と、量子化値を符号化して、動画像の符号化データを生成する符号化部１０５とを備えている。【特許請求の範囲】
【請求項１】
動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
を備えた符号化装置。
【請求項２】
前記量子化部は、複数種類のマトリクスを保持しており、
前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定する、請求項１に記載の符号化装置。
【請求項３】
前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、
前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせる、請求項２に記載の符号化装置。
【請求項４】
前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定する、請求項１に記載の符号化装置。
【請求項５】
前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持する、請求項４に記載の符号化装置。
【請求項６】
前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、
前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
【請求項７】
前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、
前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
【請求項８】
動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、
前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、
前記符号化データを記録媒体に書き込む記録部と
を備えた動画像記録システムであって、
前記符号化装置は、
前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
を備えた、動画像記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、動画像の画像データを高能率に圧縮符号化する技術に関する。
【背景技術】
【０００２】  近年、マルチメディアアプリケーションの発展に伴い、あらゆるメディアの情報（たとえば画像・音声・テキスト）をデジタルデータ化し、統一的に扱うことが一般的になってきた。このうち、たとえば画像、特に動画像のデジタルデータ（画像データ）のデータ量は非常に多くなるため、蓄積・伝送のためには動画像データを高能率に圧縮する圧縮技術が必要とされている。動画像の圧縮符号化のために開発された圧縮技術として、例えばＩＳＯ（国際標準化機構）によって規格化されたＭＰＥＧ−１／２／４等の圧縮方式が知られている。【０００３】  これらの圧縮方式においては、画像データを直交変換して量子化する際に、量子化マトリクスが指定される。量子化マトリクスの各要素は直交変換係数の各周波数成分に対応して設けられており、その要素値を用いて直交変換係数が量子化される。量子化マトリクスの値をどのように規定するかによって周波数空間内でのビット割当特性を制御できるため、量子化マトリクスは量子化処理の特徴（量子化特性）を示しているといえる。【０００４】  量子化マトリクスは、画面内（イントラ）符号化時と、画面間予測（インターまたはノン・イントラ）符号化のそれぞれに対して設定することができる。これにより予測方法ごとに異なる周波数ビット割当特性を持たせることが可能となっている。さらにＭＰＥＧ−２規格では、輝度データおよび色差データについて、それぞれ異なる量子化マトリクスを設定することも可能である。【０００５】  図１は、従来の動画像符号化装置１００の構成を示す。動画像符号化装置１００は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部１１１を備える。【０００６】  量子化マトリクスを用いた量子化演算は量子化部１０４において行われる。まず量子化部１０４は、量子化マトリクスの各係数値に量子化スケールを乗じて、量子化パラメータを算出する。量子化スケールは、圧縮符号化における目標ビットレート、および、可変長符号化部１０５で生成された符号化画像データの発生符号量に基づいて、レート制御部１１１によって生成される。【０００７】  そして量子化部１０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータで量子化し、その結果を量子化値として出力する。量子化のための演算処理では、主として直交変換係数を量子化パラメータで除算する処理を含む。可変長符号化部１０５はその量子化値を圧縮符号化して出力する。この結果、符号化画像データが得られる。【０００８】  ＭＰＥＧ−２規格では、標準的に用いられる量子化マトリクス（デフォルトマトリクス）が規定されている（図４（ａ）および（ｂ））。たとえば図４（ａ）に示すイントラ符号化用の量子化マトリクスでは、右下の要素ほど、より大きい値（より重みがつけられた値）が設定されている。この結果、直交変換係数の高周波成分の量子化精度は粗い。一方、図４（ｂ）に示すノン・イントラ符号化用のデフォルトマトリクスでは、すべての要素が同じ値であ���、重み付けの程度に差はない。よって、直交変換係数の高周波成分の量子化精度は同じである。言い換えれば、イントラ符号化用マトリクスは、低周波成分に相対的に多くのビット量が割り当てられるような周波数ビット割当特性となっているのに対し、ノン・イントラ符号化用マトリクスは、各周波数成分に均等にビット量が割り当てられるような周波数ビット割当特性となっている。【０００９】  従来は、上述の例とは異なる量子化マトリクスも利用されている（図５（ａ）および（ｂ））。図５（ａ）および（ｂ）に示すマトリクスはＭＰＥＧ−２の規格化段階のテストモデルで利用され、「ＴＭ５の量子化マトリクス」と呼ばれている。図５（ａ）および（ｂ）から明らかなように、いずれのマトリクスも、高周波成分の量子化精度を粗くするように係数値が重み付けされていることである。そのため、低周波成分に割り当てられるビット量は相対的に多くなる。【００１０】  ノン・イントラ符号化時の量子化スケールが同じであるとすると、高周波成分に関し、ＴＭ５の量子化マトリクスを利用した量子化値は、ＭＰＥＧ−２のデフォルトマトリクスを利用した量子化値よりも小さくなる。よって発生符号量を抑えることができる。これは、前者の方が高周波成分の情報がより多く削減されているためである。【００１１】  なお、ＭＰＥＧ−２規格では、２つのタイプの量子化スケールが規定されている。図２は、量子化スケールの割り当て表を示す。左欄の量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）１〜３１のそれぞれに対して、タイプ０（ｑｓｃａｌｅ＿ｔｙｐｅ＝０）およびタイプ１（ｑｓｃａｌｅ＿ｔｙｐｅ＝１）が規定されており、いずれか一方の値が量子化スケールとして割り当てられる。【００１２】  レート制御部１１１は、目標ビットレートおよび符号化画像データの発生符号量に基づいて量子化スケールの値を決定する。量子化スケールが同じであれば、周波数成分の量子化精度の粗さ、即ち周波数空間内でのビット割当特性は量子化マトリクスの係数値の大小によって決定される。【００１３】  上述の説明から明らかなように、量子化マトリクスおよび量子化スケールは量子化値に大きく影響する。たとえば特許文献１は、量子化スケールに基づいて画面単位で量子化マトリクスを更新する技術を開示している。
【特許文献１】日本国特開２００１−７８１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】  しかしながら、上述したような重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い量子化マトリクスを択一的に用いると、種々の問題が生じる。【００１５】  たとえば、上述の量子化マトリクスを用いると、所定の解像度の画像に対して低い目標ビットレートで圧縮符号化したときにブロックノイズ等が発生し、画質が劣化する。視覚への影響が大きい低周波成分の情報量までもが落とされるためである。より詳しくは、量子化マトリクスのみでは高周波成分の情報量を十分に落とすことができないため、量子化スケールを大きくして情報量をさらに落とす必要がある。しかし量子化スケールが大きくなると低周波成分の情報量も落ちる。【００１６】  一方、上述の量子化マトリクスを用いて高い目標ビットレートで圧縮符号化したときにも、画質が劣化する。その理由は、量子化スケールが１だけ変化したときに生じる画質変動が大きく、この画質変動が画質劣化として現れるためである。目標ビットレートが高いと、レート制御の結果、量子化スケールを小さい値で推移させることが多くなり、量子化スケールが１だけ変化した場合でも周波数空間内での割当ビット量が大きく変化してしまうからである。【００１７】  本発明の目的は、符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持する装置等を提供することにある。
【課題を解決するための手段】
【００１８】  本発明による符号化装置は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。【００１９】  前記量子化部は、複数種類のマトリクスを保持しており、前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定してもよい。【００２０】  前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせてもよい。【００２１】  前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定してもよい。【００２２】  前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持してもよい。【００２３】  前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。【００２４】  前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。【００２５】  本発明による動画像記録システムは、動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、前記符号化データを記録媒体に書き込む記録部とを有している。前記符号化装置は、前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。【００２６】  本発明によるコンピュータプログラムは、動画像の符号化データを出力するためのデータ処理装置またはシステムにおいて実行される。前記コンピュータプログラムは、前記コンピュータプログラムを実行した前記データ処理装置に、前記動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換するステップと、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定するステップと、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成するステップと、前記量子化値を符号化して、前記動画像の符号化データを生成するステップとを実行させる。
【発明の効果】
【００２７】  本発明の符号化装置によれば、圧縮符号化における目標ビットレートと解像度の情報に基づいて周波数空間内でのビット割当特性を決定し、目標とする画質ごとに適した量子化特性を用いて量子化する。これにより、常に良好な画質を維持することができる。【００２８】  具体的には、所定の解像度の動画像に対して比較的低い目標ビットレートで圧縮符号化するときには、低周波成分に相対的に多くのビット量が割り当てられる。これにより、ブロックノイズ等の顕著な画質劣化を防ぐことができる。また、所定の解像度の画像に対して比較的高い目標ビットレートで圧縮符号化するときには、量子化スケールの変化に対して割当ビット量の変化幅を小さくする。これにより、細かいビット割当制御が可能となり、画質変動を抑えることができる。
【図面の簡単な説明】
【００２９】
【図１】従来の動画像符号化装置１００の構成を示す図である。
【図２】量子化スケールの割り当て表を示す図である。
【図３】実施形態１によるレコーダ２００の構成を示す図である。
【図４】ＭＰＥＧ−２規格のマトリクス群を示す図である。
【図５】テストモデルのマトリクス群を示す図である。
【図６】図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す図である。
【図７】複数の符号化条件の例を示す図である。
【図８】目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す図である。
【図９】符号化装置２１０における符号化処理の手順を示すフローチャートである。
【図１０】予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を示す概念図である。
【図１１】実施形態２による符号化装置３００の構成を示す図である。
【図１２】実施形態２による複数の符号化条件の例を示す図である。
【図１３】ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す図である。
【図１４】決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示すフローチャートである。
【図１５】実施形態３によるレコーダ２５０の構成を示す図である。
【図１６】符号化装置４００の構成を示す図である。
【符号の説明】
【００３０】  １００  従来の動画像の符号化装置
１０１  入力画像メモリ
１０２  減算部
１０３  直交変換部
１０４  量子化部
１０５  可変長符号化部
１０６  逆量子化部
１０７  逆直交変換部
１０８  加算部
１０９  参照画像メモリ
１１０  動き検出／動き補償部
１１１  レート制御部
２００  レコーダ
２０４  量子化部
２０５  映像信号受信部
２１０  実施形態１による動画像の符号化装置
２１１  レート制御部
２１２、３１２、４１２  周波数ビット割当特性決定部
２１５−１、２１５−２  記録部
３００  実施形態２による動画像の符号化装置
４００  実施形態３による動画像の符号化装置
４１３  解像度変換部
５００  実施形態３による動画像の復号化装置
【発明を実施するための最良の形態】
【００３１】  以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。以下の説明においては、データ処理装置は動画像を録画するためのレコーダ、および／または、レコーダに含まれる動画像を圧縮符号化する符号化装置であるとする。【００３２】  （実施形態１）
図３は、本実施形態によるレコーダ２００の構成を示す。レコーダ２００は、たとえばテレビ放送信号を受信してハードディスクや光ディスクに録画する番組の録画機として実現され、または、ユーザが被写体の映像／音声をハードディスクや光ディスクに記録するカムコーダとして実現される。【００３３】  レコーダ２００は、映像信号受信部２０５と、符号化装置２１０と、記録部２１５−１および２１５−２を有している。映像信号受信部２０５は、テレビ放送のアナログ信号を受信して、その信号をデジタル信号（デジタルデータ）に変換して出力するチューナである。または、映像信号受信部２０５は、被写体の映像をデジタルデータとして出力するＣＣＤ素子である。【００３４】  符号化装置２１０は、動画像のデジタルデータを圧縮符号化して、符号化画像データを生成する。符号化装置２１０は、たとえば１つの基板上に実装されてエンコーダボードとして実現される。【００３５】  記録部２１５−１は、たとえばハードディスクドライブである。また、記録部２１５−２は、たとえば光ディスクドライブである。ハードディスクドライブおよび光ディスクドライブは、それぞれ、ハードディスクおよび光ディスクに、符号化された画像データ（映像データストリーム）を書き込み、書き込まれたそのデータを読み出すことができる。なお、図面の簡単化のため、記録部２１５−２は光ディスクとして示されている。【００３６】  符号化装置２１０は１つの筐体として実現することもできる。このときは、レコーダ２００は、たとえばチューナとしての映像信号受信部２０５、符号化装置２１０および記録装置２１５−１／２１５−２から構成される記録システムとして捉えることができる。【００３７】  次に、符号化装置２１０を詳細に説明する。符号化装置２１０は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部２０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部２１１と、周波数ビット割当特性決定部２１２とを備えている。【００３８】  符号化装置２１０は、動画像を構成する画像（ピクチャ）のデータを、２つの符号化方法のいずれかにより圧縮符号化する。すなわち、画面内（イントラ）符号化、および、画面間予測（インターまたはノン・イントラ）符号化である。以下に符号化装置２１０の機能を概説する。【００３９】  まず符号化装置２１０は、入力画像メモリ１０１において受け取った画像データを、直交変換部１０３において周波数成分の係数に変換する。そして、周波数ビット割当特性決定部２１２（以下「決定部２１２」と記述する）は、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、符号化処理に利用する量子化マトリクスを決定する。【００４０】  量子化部２０４は、決定されたマトリクスに基づいて周波数成分の係数の各々を量子化し、量子化値を生成する。そして可変長符号化部１０５はその量子化値を符号化して、動画像の符号化データを生成して出力する。【００４１】  以下、符号化装置２１０の各構成要素を説明する。【００４２】  入力画像メモリ１０１は、入力された���ピクチャの画像データを符号化時まで格納しておくためのメモリである。入力画像メモリ１０１は、符号化順序の変更による画像データの出力遅延に対して十分な記憶容量を有する。入力された各ピクチャの画像データは符号化時に複数のブロックに分割され、ブロック単位で符号化される。入力画像メモリ１０１は、ブロック単位で画像データを出力することができる。【００４３】  なおＭＰＥＧ規格では、１６画素×１６画素の集合をマクロブロックと呼ぶ。そして、それより小さい単位のブロック（たとえば８画素×８画素の集合）をサブマクロブロックと呼ぶ。ただし、符号化の処理によって単位が変わるため、以下では、マクロブロックおよびサブマクロブロックを総称して「ブロック」と呼ぶこととする。【００４４】  減算部１０２は、入力画像メモリ１０１から出力されたブロック単位の入力画像データを正入力端子に入力する。動き補償予測を行わないイントラ符号化の場合は、正入力端子から入力された入力画像データをそのまま出力する。一方、動き補償予測を行うノン・イントラ符号化の場合は、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データを負入力端子に入力して減算を行い、減算結果としてブロック単位の予測誤差画像データを出力する。【００４５】  直交変換部１０３は、減算部１０２から出力されたブロック単位の画像データを、直交変換して周波数成分に変換する。直交変換として、たとえば離散コサイン変換が知られている。【００４６】  レート制御部２１１は、圧縮符号化における目標ビットレート、可変長符号化部１０５で生成された前に処理された符号化画像データの発生符号量、および決定部２１２で決定された量子化マトリクスの情報に基づいて、量子化部２０４で使用する量子化スケールを決定する。量子化スケールタイプは一般的に固定されているが、固定されていなくてもよい。決定された量子化スケールは、図２のテーブルを参照して量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）に対応づけられる。この量子化スケールコードは、後述する可変長符号化部１０５において符号化される。【００４７】  なお、目標ビットレートは、たとえばユーザによって録画開始前に直接設定される。または、ユーザによって目標ビットレートと対応付けられた録画モードが選択されることによって設定される。目標ビットレートは圧縮符号化の符号化条件である。【００４８】  決定部２１２は、目標ビットレートと画像の解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。量子化マトリクスは予め複数準備されている。たとえば図４から図６の各（ａ）および（ｂ）には、決定部２１２によって決定される複数の量子化マトリクスの例が示されている。換言すれば、決定部２１２はこれらのマトリクスの中から、適切な量子化マトリクスを選択する。決定部２１２によって行われる処理の詳細は後述する。【００４９】  図４から図６に示すマトリクス群を説明する。図４はＭＰＥＧ−２規格のマトリクス群を示す。図５はテストモデルのマトリクス群を示す。図６は、図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す。各図の���ａ）および（ｂ）として示す各マトリクスは、それぞれイントラ符号化時およびノン・イントラ符号化に用いられる。図６の（ａ）に示すマトリクスの要素値は、（１，１）成分を除き、図４の（ａ）に示すマトリクスの要素値の約１／２である。また、図６（ｂ）に示すマトリクスの要素値は、図４（ｂ）に示すマトリクスの要素値の１／２である。【００５０】  上述の図４から図６の各（ａ）および（ｂ）として示す各マトリクスは、決定部２１２内、量子化部２０４内または図示しないＲＯＭまたはＲＡＭ内にマトリクスデータとして保持されてもよい。または、量子化部２０４内にハードウェア回路として実装されていてもよい。後者においては、決定部２１２はどのハードウェア回路を用いるかを決定し、量子化処理がそのハードウェア回路を利用して行われるように信号経路を切り替える指示を送るように機能すればよい。なお、後述の方法により、量子化マトリクスをリアルタイムに計算することもできる。【００５１】  再び図３を参照する。【００５２】  量子化部２０４は、決定部２１２で決定された量子化マトリクスの各要素値に、レート制御部２１１で決定された量子化スケールを乗じて量子化パラメータを算出する。量子化パラメータもまた、マトリクスとして得られる。そして量子化部２０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータ（対応するマトリクスの要素値）で量子化し、その結果を量子化値として出力する。この量子化処理は、主として直交変換係数を量子化パラメータで除算することによって行われる。【００５３】  可変長符号化部１０５は、量子化部２０４から出力された量子化値を可変長符号化し、符号化画像データを出力する。ノン・イントラ符号化の場合には、可変長符号化部１０５はさらに動き検出／動き補償部１１０で求められた動きベクトル等の情報と共に量子化値を可変長符号化し、符号化画像データを出力する。【００５４】  逆量子化部１０６は、量子化部２０４から出力された量子化値を、逆量子化して直交変換係数を生成する。このとき逆量子化に際しては、量子化部２０４で使用した量子化パラメータと同じ量子化パラメータが利用される。【００５５】  逆直交変換部１０７は、逆量子化部１０６から出力された直交変換係数を逆直交変換して復号化画像データを生成する。このとき、減算部１０２においてイントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の入力画像データに対する復号化画像を生成する。一方、減算部１０２においてノン・イントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の予測誤差画像データに対する復号化画像を生成する。【００５６】  加算部１０８は、予測誤差画像データの復号化画像と、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データとを加算し、最終的な復号化画像データを生成する。【００５７】  参照画像メモリ１０９は、符号化時に使用される参照画像データを格納し保持しておくための記憶容量を有している。参照画像メモリ１０９は、イントラ符号化時には逆直交変換部１０７で生成されたブロック単位の復号化画像データをそのまま格納する。一方参照画像メモリ１０９は、ノン・イントラ符号化時には加算部１０８で生成されたブロック単位の復号化画像データを格納する。参照画像メモリ１０９に格納された復号化画像データは、以降の入力画像に対して、動き補償による画面間予測符号化を行う際の参照画像として用いられる。【００５８】  動き検出部／動き補償部１１０は、入力画像メモリ１０１から出力されたブロック単位の入力画像データに対して、参照画像メモリ１０９に格納されている参照画像データの指定された範囲から類似するブロック領域を検出し、その移動量に相当する動きベクトルを決定する。さらに、参照画像メモリ１０９に格納されている画面間予測符号化用の参照画像から、動き検出によって決定された動きベクトルを用いて、ブロック単位の動き補償画像データを生成する。【００５９】  次に、決定部２１２の処理を詳細に説明する。【００６０】  決定部２１２に入力される目標ビットレートと解像度はいずれもレコーダ２００で用いられる符号化条件として、ユーザから指定されるパラメータである。図７は、複数の符号化条件の例を示す。目標ビットレートと解像度に応じて、符号化条件（１）〜（３）のいずれの条件に該当するかが決定され、それにより、採用すべき量子化マトリクスが決定される。なお、図７では、採用される量子化マトリクスが図番号によって示されているが、これは説明の便宜のためである。実際の処理では、対応する図番号の量子化マトリクスが採用される構成になっていればよく、実際に図７に示すテーブルが格納されていなくてもよい。後述する図８、図１２についても同様である。【００６１】  なお、イントラ符号化およびノン・イントラ符号化のいずれの符号化を行うかによって、決定部２１２は各図の（ａ）または（ｂ）のいずれを選択するかを決定する。たとえばイントラ符号化処理が行われるとすると、決定部２１２は、符号化条件（１）〜（３）のいずれに該当するかを特定し、その後、図４、図５および図６の各（ａ）のうちから１つのマトリクスを選択する。【００６２】  図７に示す例では、目標ビットレートに応じて符号化条件（１）〜（３）のうちの１つが特定される。解像度はいずれも「７２０ｘ４８０」の標準解像度（Ｓｔａｎｄａｒｄ  Ｄｉｆｉｎｉｔｉｏｎ；ＳＤ）で固定されている。【００６３】  符号化条件（１）は、解像度「７２０ｘ４８０」に対して目標ビットレートは８Ｍｂｐｓであり、比較的高い。ＭＰＥＧ−２規格のデフォルトマトリクス（図４）をそのまま用いるとレート制御で決定される量子化スケールが比較的小さい値で推移することが多くなるため、係数値の小さい量子化マトリクス（図６）を使用する。これにより、量子化スケールの値が入力画像に応じて大きく変動してもその変化に対する細かいビット割当制御が可能になり、画質変動を抑制できる。【００６４】  符号化条件（２）は、「７２０ｘ４８０」に対して目標ビットレートが符号化条件（１）よりも低い４Ｍｂｐｓである。この条件はＭＰＥＧ―２の圧縮方式において標準的な符号化条件であるため、ＭＰＥＧ−２規格のデフォルトマトリクス（図４）を使用する。【００６５】  符号化条件（３）は「７２０ｘ４８０」に対して目標ビットレートは２Ｍｂｐｓであり、比較的低い。一般的には、目標ビットレートに適合させるために量子化スケールが比較的大きく設定され、ブロックノイズが顕著になる傾向にある。そこでこの条件に該当するときには、高周波成分に対する係数値が大きい量子化マトリクス（図５）を使用する。これにより、量子化スケールを比較的小さくして低周波成分（特に直流成分）の再現性を高めることができる。すなわちブロックノイズを低減できる。【００６６】  ここで、符号化条件の特徴を説明する。符号化条件（１）〜（３）において、圧縮符号化後のデータサイズが同じであるとすると、目標ビットレートの比に基づいて入力された動画像のシーケンスの長さは１：２：４となる。言い換えれば、符号化条件（１）はデータサイズよりも画質を優先する用途に適しており、符号化条件（３）は画質よりもデータサイズを優先する用途に適している。そのため  符号化条件（１）は「ファインモード（画質優先モード）」、符号化条件（２）は「ノーマルモード（標準モード）」、符号化条件（３）は「エコノミーモード（容量優先モード）」のように、記録モードの差異として規定することもできる。【００６７】  図７に示す量子化マトリクスの決定方法によれば、解像度が同じであっても用途に応じて異なる量子化マトリクスを採用することができる。すなわち高画質が要求される用途においては、量子化スケールの変化に対して割当ビット量の変化幅が小さくなる量子化マトリクスを選択することにより、画質変動に起因する画質劣化を抑えることができる。一方、データサイズが優先される用途においては、低周波成分に相対的に多くのビット量が割り当てられる量子化マトリクスを選択することにより、ブロックノイズ等の顕著な画質劣化を抑え安定した画質を得ることができる。よって、良好なビット割当特性を有する符号化装置２１０を提供できる。【００６８】  なお、図７の例では、目標ビットレートとして複数の特定の数値（８．０Ｍｂｐｓ、４．０Ｍｂｐｓおよび２．０Ｍｂｐｓ）を挙げたが、複数の数値範囲を利用してもよい。たとえば８．０Ｍｂｐｓに代えて６．０〜１０．０Ｍｂｐｓ、４．０Ｍｂｐｓに代えて４．０〜６．０Ｍｂｐｓ、２．０Ｍｂｐｓに代えて２．０〜４．０Ｍｂｐｓなどのようにしてもよい。そして、ユーザから指定された目標ビットレートが属する範囲に対応させて、符号化条件を定めてもよい。【００６９】  このように複数の記録モードを持つシステムにおいては、各記録モードによって求められる画質が異なってくるため、符号化ノイズや画質変動に起因する画質劣化を考慮しながら周波数空間のビット割り当て特性を決定する必要がある。本実施形態においては、ユーザが指定する記録モードによって符号化条件（目標ビットレートおよび解像度）が決まる、すなわち符号化の難しさに関する指標である圧縮利率が決まるので、圧縮率の情報を利用意することは高画質の実現に有効であるといえる。【００７０】  図７に示す例では、目標ビットレートは異なるが、動画像の解像度が同じであるときの符号化条件を示した。しかし、動画像の解像度が異なっていてもよい。【００７１】  たとえば図８は、目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す。図８に示す量子化マトリクスの決定方法によれ���、解像度が「７２０ｘ４８０」以外であっても対応できる。【００７２】  図８のテーブルにおいて、符号化条件（４）〜（６）は図７の符号化条件（１）〜（３）と同じである。符号化条件（１）〜（３）は解像度が「１９２０ｘ１０８０」の映像、即ち高品位（Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ；ＨＤ）の映像に関し、目標ビットレートに応じた量子化マトリクスを定めている。【００７３】  図８に示す周波数ビット割当特性によれば、先の例と同様、目標ビットレートが高いほど量子化スケールの変化に対して割当ビット量の変化幅が小さくなり、目標ビットレートが低いほど低周波成分に相対的に多くのビット量が割り当てられる。また、符号化条件（７）および（８）は解像度「３５２ｘ４８０」が指定された場合、例えば「７２０ｘ４８０」を水平方向にダウンサンプリングしてから圧縮符号化するような場合に相当し、この場合も同様に目標ビットレートに応じて周波数ビット割当特性が決定される。【００７４】  次に、符号化装置２１０の処理手順を説明する。あるピクチャについてイントラ符号化処理を行うときの処理を例に挙げる。【００７５】  図９は、符号化装置２１０における符号化処理の手順を示す。ステップＳ９１において、符号化装置２１０は動画像データを受け取って、入力画像メモリ１０１に格納する。次のステップＳ９２において、入力画像メモリ１０１はピクチャの一部（ブロック）ごとの画像データを出力する。ステップＳ９３において、直交変換部１０３は、そのブロックの画像データ（画素値）を直交変換して直交変換係数を生成する。【００７６】  次に、ステップＳ９４において、決定部２１２は、動画像の解像度および予め指定された目標ビットレートに基づいて量子化マトリクスを決定する。そしてステップＳ９５において、量子化部２０４は決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する。ステップＳ９６において、可変長符号化部１０５は、量子化値を圧縮符号化して符号化データを生成する。生成された符号化データは記録部２１５−１／２１５−２に出力される。【００７７】  そしてステップＳ９７において、そのピクチャのすべてのブロックを符号化したか否かが判定される。すべてのブロックを符号化していないときはステップ９２からの処理を継続し、符号化が完了したときには処理は終了する。【００７８】  図９を参照しながら符号化装置２１０の処理手順を説明したが、レコーダ２００の処理手順は、図９に対して処理ステップを追加することによって容易に実現される。具体的には、まずステップＳ９１の前に映像信号を受信するステップを追加する。次に、ステップＳ９６の後に符号化データを記録部２１５−１／２１５−２に書き込むステップを追加する。そして、ステップＳ９７からＹｅｓに進んだ後に、すべての動画像データの符号化が完了するまで処理を終了しないように、処理をループさせるステップを追加すればよい。【００７９】  なお、ステップＳ９４の処理はブロック単位で実行しているが、これに限らず、ピクチャ単位で実行してもよいし、録画開始時に一回だけ実行してもよい。【００８０】  なお、本実施形態においては、符号化条件を表す目標ビットレートと解像度のいくつかの組み合��せについて説明したが、その他の組み合わせに対しても種々の量子化マトリクスを対応付けて決定することが可能である。【００８１】  また、本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して量子化マトリクスを対応付けているが、目標ビットレートあるいは解像度のいずれかのみを用いて量子化マトリクスを決定するようにしてもよい。【００８２】  本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して、図７および図８に規定するテーブルを参照して量子化マトリクスを決定するとした。しかし、目標ビットレートあるいは解像度の情報に基づいて量子化マトリクスを決定する限り、他の方法を採用してもよい。【００８３】  本実施形態においては、予め保持された３つの量子化マトリクス（図４〜図６）のうちの１つを符号化処理に適用するマトリクスとして選択し、決定していた。しかし、決定部２１２または量子化部２０４が量子化マトリクスを１つまたは２つ保持し、それらを利用して他の量子化マトリクスをリアルタイムで生成してもよい。【００８４】  以下、図１０を参照しながら、量子化マトリクスを生成する処理を説明する。以下の処理は、たとえば決定部２１２がソフトウェアによって実現することができる。なお、量子化マトリクスが量子化部２０４において保持されているときには、決定部２１２が量子化部２０４からその量子化マトリクスを読み出して、処理を行えばよい。【００８５】  図１０は、予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を概念的に示す。（ａ）に示す量子化マトリクスＡは、目標ビットレートＲＡ、動画像がＨＤ品質のときに採用されるとする。また、（ｂ）に示す量子化マトリクスＢは、目標ビットレートＲＢ、動画像がＨＤ品質のときに採用されるとする。【００８６】  以下の説明では、目標ビットレートＲＡは符号化装置２１０において処理可能な最低ビットレート、目標ビットレートＲＢは最高ビットレートとする。ただしこれは例であり、目標ビットレートＲＡおよびＲＢは、最高ビットレートと最低ビットレートとの間に存在すればよい。【００８７】  量子化マトリクスＣの（ｉ，ｊ）要素をＣｉｊなどと記述する。８画素×８画素のマクロブロック単位で符号化を行うときは、ｉおよびｊは１から８までの自然数である。【００８８】  要素ｃｉｊは、量子化マトリクスＡおよびＢの対応する要素ａｉｊおよびｂｉｊ、目標ビットレートＲＡおよびＲＢの関数として規定することができる。図１０の（ｃ）は、要素ｃｉｊを求めるための関数Ｆのグラフを示している。横軸は目標ビットレート、縦軸は要素の値を示す。【００８９】  たとえば関数Ｆは、始点を（ＲＡ，ａｉｊ）および終点を（ＲＢ，ｂｉｊ）とする線分（一次関数）として規定される。そしてユーザによって指定された目標ビットレートＲｃに基づいて、要素ｃｉｊを求めることができる。なお、関数は任意であり、各（ｉ，ｊ）要素ごとに任意の定めてもよい。【００９０】  すべてのｉおよびｊの組について要素ｃｉｊを求めることにより、量子化マトリクスＣを得ることができる。図１０の（ｄ）は、目標ビットレートＲｃ、動画像がＨＤ品質の���きに採用される量子化マトリックスＣを示す。なお、量子化マトリクスＣの要素を一括して求める必要はなく、量子化処理時に要素１ずつ求めてもよい。【００９１】  上述の処理においては、２つの量子化マトリクスＡおよびＢを保持する必要があるが、１つの量子化マトリクスのみでも処理は可能である。たとえば上述の量子化マトリクスＡと、単位ビットレートあたりの要素値のステップ値（増加幅）を規定し、たとえば決定部２１２が予め保持していればよい。これにより決定部２１２は、目標ビットレートＲｃが指定されると、目標ビットレートＲＡからの差に応じて要素値を増減させて量子化マトリクスＣの要素を求めることができる。【００９２】  （実施形態２）
図１１は、実施形態２による符号化装置３００の構成を示す。符号化装置３００は、実施形態１において説明した符号化装置２１０に代えて、図３のレコーダ２００の一部として実装されうる。【００９３】  以下、符号化装置３００を説明する。なお、符号化装置３００の構成要素のうち、実施形態１による符号化装置２１０の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。【００９４】  符号化装置３００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部３１２を備える。【００９５】  周波数ビット割当特性決定部３１２（以下、「決定部３１２」と記述する。）は、圧縮符号化の符号化条件として指定された目標ビットレートと解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。さらに決定部３１２は、レート制御部２１１で決定された量子化スケールの情報に基づいてピクチャ単位で周波数ビット割当特性を補正し、量子化マトリクスを変更する。【００９６】  以下、決定部３１２を詳細に説明する。【００９７】  図１２は、本実施形態による複数の符号化条件の例を示す。図１２に示されるように、圧縮符号化の目標ビットレートと解像度の組み合わせに対して、２種類の量子化マトリクス（ＴＹＰＥ１およびＴＹＰＥ２）が設定されている。【００９８】  量子化マトリクス（ＴＹＰＥ１）は、図７のテーブルで定められている量子化マトリクスと同じ周波数ビット割当特性を持つ。符号化開始時にはこの量子化マトリクス（ＴＹＰＥ１）が使用される。【００９９】  一方、量子化マトリクス（ＴＹＰＥ２）は、所定の条件下で発生符号量を低く抑えるために用いられる。具体的には、レート制御部２１１において、実際に発生した符号量から計算される実ビットレートを目標ビットレートに抑えられないとき、または、ブロックノイズによる画質劣化が顕著であると判断したときである。【０１００】  ここで量子化マトリクスの切り替え例を説明する。いま、解像度「７２０ｘ４８０」で目標ビットレートとして２Ｍｂｐｓが指定されたとする。符号化開始時は、図５に示す量子化マトリクスが使用される。この量子化マトリクスは、重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い。【０１０１】  その後、動きが速い動画像などの圧縮符号化が困難な入力画像が続き、レート制御で目標ビットレートに抑えられないとき、または、量子化後の低周波成分の値が所定の閾値を平均して下回るときには、図１３に示す量子化マトリクスを採用する。図１３は、ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す。（ａ）はイントラ符号化時に利用され、（ｂ）はノン・イントラ符号化時に利用される。これにより、低周波成分へ割り当てられるビット量が相対的に多くなり、画質劣化を抑えられる。【０１０２】  図１４は、決定部３１２において実行される、量子化マトリクスを切り替える���めの制御手順の例を示す。処理の開始時は、量子化マトリクス（ＴＹＰＥ１）が設定されている。符号化開始後は、図１４に示す処理を各ピクチャの符号化前に行う。【０１０３】  まずステップＳ１４１において、決定部３１２は量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ１）よりも小さいか否かを判断する。小さいときはステップＳ１４２に進み、小さくないときはステップＳ１４３に進む。【０１０４】  ステップＳ１４２において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ１））に設定する。このときは、所望のレート制御が実現されている。【０１０５】  一方、ステップＳ１４３では、決定部３１２は、量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ２）以上か否かを判断する。閾値（Ｑｔｈ２）以上のときはステップＳ１４４に進み、閾値（Ｑｔｈ２）以上でないときは、量子化マトリクスの変更に対してヒステリシスを持たせるために、直前のピクチャで用いていた量子化マトリクスをそのまま用いる。そして処理は終了する。【０１０６】  ステップＳ１４４において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ２））に設定する。このときは、レート制御が破綻する可能性がある、あるいはブロックノイズが顕著であることを意味する。【０１０７】  図１４の説明から明らかなように、閾値Ｑｔｈ１およびＱｔｈ２は、それぞれ量子化マトリクス（ＴＹＰＥ１）と量子化マトリクス（ＴＹＰＥ２）を切替えるための値である（Ｑｔｈ１≦Ｑｔｈ２とする）。一方、Ｑｓｃａｌｅはレート制御部においてピクチャ単位で決定される量子化スケールである。【０１０８】  上述の処理のように、レート制御で決定される量子化スケールが大きい場合、高周波成分をさらに粗く量子化するような量子化マトリクスに変更することによって量子化スケールを小さくすることができ、ブロックノイズによる画質劣化を抑えることができる。【０１０９】  なお、本実施形態においては、符号化開始時の量子化マトリクス（ＴＹＰＥ１）以外の量子化マトリクスとして１種類の量子化マトリクス（ＴＹＰＥ２）のみを設定しているが、２種類以上の量子化マトリクスを切替えてもかまわない。【０１１０】  また、本実施形態においては、量子化スケールを閾値処理して量子化マトリクスの変更に関する判定を行っているが、判定条件に用いる情報はレート制御の状態と相関のある情報であれば量子化スケールでなくてもよい。【０１１１】  本実施形態においては、テーブルを参照することにより、次の量子化マトリクスを決定しているが、レート制御の状態を示す情報に基づいて量子化マトリクスを決定する方法であれば他の方法でもかまわない。【０１１２】  （実施形態３）
図１５は、本実施形態によるレコーダ２５０の構成を示す。レコーダ２５０は、符号化装置４００と、復号化装置５００と、記録部２１５−１／２１５−２とを備えている。【０１１３】  レコーダ２５０は、たとえばＨＤ品質のデジタル放送番組の符号化画像データが記録部２１５−１／２１５−２に蓄積されているときにおいて、その符号化画像データをＳＤ品質に変換（ダウンサンプリング）して再圧縮符号化する際に利用される。またはレコーダ２５０は、比較的高いビットレートで圧縮符号化された符号化画像データを、ダビングのために再圧縮符号化する際に利用される。再圧縮符号化に際して、復号化装置５００は符号化画像データを一旦復号化し、符号化装置４００は復号化された画像データを再度符号化する。なお、記録部２１５−１／２１５−２に蓄積されていない符号化画像データを利用することも可能である。【０１１４】  図１５においては、レコーダ２５０は１つの機器として記載されている。しかし、符号化装置４００、復号化装置５００および記録部２１５−１／２１５−２を１つの機器として相互に接続することにより、動画像記録システムとして実現してもよい。【０１１５】  以下、まず復号化装置５００を説明する。図１５に示す復号化装置５００は、あらかじめ圧縮符号化された符号化画像データを復号化して復号化画像データを生成する。そして復号化の過程において、復号化装置５００は符号化画像データの周波数ビット割当特性、実ビットレート、その符号化画像データの解像度の情報（以下「解像度１の情報」と記述する。）を抽出する。【０１１６】  復号化装置５００は、符号化処理と逆の処理を行うことができればよい。したがって、たとえば符号化装置２１０（図３）の可変長符号化部１０５の逆の処理を行う復号化部、逆量子化部１０６、逆直交変換部１０７、参照画像メモリ１０９および動き検出／動き補償部１１０を設けることにより、符号化画像データの復号化が可能になる。なお、動き検出／動き補償部１１０は動き補償に関する機能のために必要とされる。【０１１７】  次に符号化装置４００を説明する。図１６は、符号化装置４００の構成を示す。符号化装置４００の構成要素のうち、実施形態１の符号化装置２１０または実施形態２による符号化装置３００の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。【０１１８】  符号化装置４００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部４１２、解像度変換部４１３を備える。【０１１９】  まず解像度変換部４１３は、復号化装置５００で復号化された復号化画像データに対し、復号化装置５００における復号化の過程で抽出された解像度１の情報、および、再圧縮符号化の符号化条件としてユーザから指定された解像度の情報（以下「解像度２の情報」と記述する。）に基づいて解像度を変換し、再圧縮符号化に対する入力画像データを生成する。解像度変換を行わない場合は、復号化画像をそのまま再圧縮符号化の入力画像データとし���出力すればよい。【０１２０】  周波数ビット割当特性決定部４１２（以下「決定部４１２」と記述する）は、復号化装置５００から符号化画像データの周波数ビット割当特性、実ビットレート、解像度１の情報を取得する。さらに決定部４１２は、再圧縮符号化の符号化条件としてユーザから指定された目標ビットレートおよび解像度２の情報を受け取る。そして決定部４１２は、それらに基づいて、再圧縮符号化における周波数ビット割当特性を決定する。【０１２１】  決定部４１２において、周波数ビット割当特性を決定する算出式の例を数１に示す。【０１２２】
【数１】
2006098226.tif 000002
【０１２３】  ここで、Ｍ１＿ｉｊ、Ｒ１、Ｈ１、Ｖ１は、それぞれ復号化する前の符号化画像データが持つ周波数ビット割当特性、実ビットレート、水平解像度、垂直解像度を表す。また、Ｍ２＿ｉｊ、Ｒ２、Ｈ２、Ｖ２は、それぞれ再圧縮符号化における周波数ビット割当特性、目標ビットレート、水平解像度、垂直解像度を表す。なお、ここでは周波数ビット割当特性は周波数空間座標（ｉ，ｊ）に対応する形のマトリクスとして示しており、量子化時に用いられる量子化マトリクスに対応している。このように再圧縮符号化処理を行う場合に、復号化前の符号化画像データが持つ周波数ビット割当特性を用いることにより、再圧縮符号化の過程で損なわれる周波数成分の情報量を少なくすることができる。【０１２４】  なお、本実施形態においてＲ１は実ビットレートとしているが、Ｒ１は復号化する前の符号化データに対して管理情報等に含まれるビットレート（例えば、過去の符号化時に用いた目標ビットレート）でもかまわない。【０１２５】  なお、数１は例であり、周波数ビット割当特性の算出式は他の数式を用いてもよい。たとえば、量子化マトリクスの直流成分の係数値を変えずに、高周波成分の係数値を変化させるようにしてもよい。【０１２６】  上述の復号化装置５００および符号化装置４００における処理によって、再符号化画像データが生成されると、記録部２１５−１／２１５−２によって記録媒体に書き込まれる。これにより、画像品質の変換、動画像を構成する各ピクチャの画素数の変換、ビットレートの変換等が行われる。【０１２７】  上述の符号化装置および復号化装置において実行される処理は、汎用コンピュータにおいてコンピュータプログラムを実行することによって実現できる。そのようなコンピュータプログラムは、例えば図９および図１４に示すフローチャートに規定された処理を実行する命令を含んでいる。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録されて、製品として市場を流通する。またはコンピュータプログラムは、インターネットに代表される通信ネットワークを介して伝送される。
【産業上の利用可能性】
【０１２８】  本発明にかかる動画像符号化装置は、動画像データを圧縮符号化する際の目標ビットレートの高低にかかわらず常に良好な画質を維持することができる。その実用的価値は非常に高い。このような動画像符号化装置は、１つの基板上に実装され、または、他の機器に組み込むことができるため、種々の動画像のデジタル記録機器への応用が可能である。
【図１】
2006098226.tif 000003
【図２】
2006098226.tif 000004
【図３】
2006098226.tif 000005
【図４】
2006098226.tif 000006
【図５】
2006098226.tif 000007
【図６】
2006098226.tif 000008
【図７】
2006098226.tif 000009
【図８】
2006098226.tif 000010
【図９】
2006098226.tif 000011
【図１０】
2006098226.tif 000012
【図１１】
2006098226.tif 000013
【図１２】
2006098226.tif 000014
【図１３】
2006098226.tif 000015
【図１４】
2006098226.tif 000016
【図１５】
2006098226.tif 000017
【図１６】
2006098226.tif 000018
【手続補正書】
【提出日】平成19年5月1日(2007.5.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
を備えた符号化装置。
【請求項２】
前記量子化部は、複数種類のマトリクスを保持しており、
前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定する、請求項１に記載の符号化装置。
【請求項３】
前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、
前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせる、請求項２に記載の符号化装置。
【請求項４】
前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定する、請求項１に記載の符号化装置。
【請求項５】
前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持する、請求項４に記載の符号化装置。
【請求項６】
前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、
前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
【請求項７】
前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、
前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出する、請求項１に記載の符号化装置。
【請求項８】
動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、
前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、
前記符号化データを記録媒体に書き込む記録部と
を備えた動画像記録システムであって、
前記符号化装置は、
前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、
前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、
決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、
前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部と
を備えた、動画像記録システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像データを高能率に圧縮符号化する技術に関する。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、あらゆるメディアの情報（たとえば画像・音声・テキスト）をデジタルデータ化し、統一的に扱うことが一般的になってきた。このうち、たとえば画像、特に動画像のデジタルデータ（画像データ）のデータ量は非常に多くなるため、蓄積・伝送のためには動画像データを高能率に圧縮する圧縮技術が必要とされている。動画像の圧縮符号化のために開発された圧縮技術として、例えばＩＳＯ（国際標準化機構）によって規格化されたＭＰＥＧ−１／２／４等の圧縮方式が知られている。
【０００３】
これらの圧縮方式においては、画像データを直交変換して量子化する際に、量子化マトリクスが指定される。量子化マトリクスの各要素は直交変換係数の各周波数成分に対応して設けられており、その要素値を用いて直交変換係数が量子化される。量子化マトリクスの値をどのように規定するかによって周波数空間内でのビット割当特性を制御できるため、量子化マトリクスは量子化処理の特徴（量子化特性）を示しているといえる。
【０００４】
量子化マトリクスは、画面内（イントラ）符号化時と、画面間予測（インターまたはノン・イントラ）符号化のそれぞれに対して設定することができる。これにより予測方法ごとに異なる周波数ビット割当特性を持たせることが可能となっている。さらにＭＰＥＧ−２規格では、輝度データおよび色差データについて、それぞれ異なる量子化マトリクスを設定することも可能である。
【０００５】
図１は、従来の動画像符号化装置１００の構成を示す。動画像符号化装置１００は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部１１１を備える。
【０００６】
量子化マトリクスを用いた量子化演算は量子化部１０４において行われる。まず量子化部１０４は、量子化マトリクスの各係数値に量子化スケールを乗じて、量子化パラメータを算出する。量子化スケールは、圧縮符号化における目標ビットレート、および、可変長符号化部１０５で生成された符号化画像データの発生符号量に基づいて、レート制御部１１１によって生成される。
【０００７】
そして量子化部１０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータで量子化し、その結果を量子化値として出力する。量子化のための演算処理では、主として直交変換係数を量子化パラメータで除算する処理を含む。可変長符号化部１０５はその量子化値を圧縮符号化して出力する。この結果、符号化画像データが得られる。
【０００８】
ＭＰＥＧ−２規格では、標準的に用いられる量子化マトリクス（デフォルトマトリクス）が規定されている（図４（ａ）および（ｂ））。たとえば図４（ａ）に示すイントラ符号化用の量子化マトリクスでは、右下の要素ほど、より大きい値（より重みがつけられた値）が設定されている。この結果、直交変換係数の高周波成分の量子化精度は粗い。一方、図４（ｂ）に示すノン・イントラ符号化用のデフォルトマトリクスでは、すべての要素が同じ値であり、重み付けの程度に差はない。よって、直交変換係数の高周波成分の量子化精度は同じである。言い換えれば、イントラ符号化用マトリクスは、低周波成分に相対的に多くのビット量が割り当てられるような周波数ビット割当特性となっているのに対し、ノン・イントラ符号化用マトリクスは、各周波数成分に均等にビット量が割り当てられるような周波数ビット割当特性となっている。
【０００９】
従来は、上述の例とは異なる量子化マトリクスも利用されている（図５（ａ）および（ｂ））。図５（ａ）および（ｂ）に示すマトリクスはＭＰＥＧ−２の規格化段階のテストモデルで利用され、「ＴＭ５の量子化マトリクス」と呼ばれている。図５（ａ）および（ｂ）から明らかなように、いずれのマトリクスも、高周波成分の量子化精度を粗くするように係数値が重み付けされていることである。そのため、低周波成分に割り当てられるビット量は相対的に多くなる。
【００１０】
ノン・イントラ符号化時の量子化スケールが同じであるとすると、高周波成分に関し、ＴＭ５の量子化マトリクスを利用した量子化値は、ＭＰＥＧ−２のデフォルトマトリクスを利用した量子化値よりも小さくなる。よって発生符号量を抑えることができる。これは、前者の方が高周波成分の情報がより多く削減されているためである。
【００１１】
なお、ＭＰＥＧ−２規格では、２つのタイプの量子化スケールが規定されている。図２は、量子化スケールの割り当て表を示す。左欄の量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）１〜３１のそれぞれに対して、タイプ０（ｑｓｃａｌｅ＿ｔｙｐｅ＝０）およびタイプ１（ｑｓｃａｌｅ＿ｔｙｐｅ＝１）が規定されており、いずれか一方の値が量子化スケールとして割り当てられる。
【００１２】
レート制御部１１１は、目標ビットレートおよび符号化画像データの発生符号量に基づいて量子化スケールの値を決定する。量子化スケールが同じであれば、周波数成分の量子化精度の粗さ、即ち周波数空間内でのビット割当特性は量子化マトリクスの係数値の大小によって決定される。
【００１３】
上述の説明から明らかなように、量子化マトリクスおよび量子化スケールは量子化値に大きく影響する。たとえば特許文献１は、量子化スケールに基づいて画面単位で量子化マトリクスを更新する技術を開示している。
【特許文献１】特開２００１−７８１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述したような重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い量子化マトリクスを択一的に用いると、種々の問題が生じる。
【００１５】
たとえば、上述の量子化マトリクスを用いると、所定の解像度の画像に対して低い目標ビットレートで圧縮符号化したときにブロックノイズ等が発生し、画質が劣化する。視覚への影響が大きい低周波成分の情報量までもが落とされるためである。より詳しくは、量子化マトリクスのみでは高周波成分の情報量を十分に落とすことができないため、量子化スケールを大きくして情報量をさらに落とす必要がある。しかし量子化スケールが大きくなると低周波成分の情報量も落ちる。
【００１６】
一方、上述の量子化マトリクスを用いて高い目標ビットレートで圧縮符号化したときにも、画質が劣化する。その理由は、量子化スケールが１だけ変化したときに生じる画質変動が大きく、この画質変動が画質劣化として現れるためである。目標ビットレートが高いと、レート制御の結果、量子化スケールを小さい値で推移させることが多くなり、量子化スケールが１だけ変化した場合でも周波数空間内での割当ビット量が大きく変化してしまうからである。
【００１７】
本発明の目的は、符号化の目標ビットレートの高低にかかわらず、常に良好な画質を維持する装置等を提供することにある。
【課題を解決するための手段】
【００１８】
本発明による符号化装置は、動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
【００１９】
前記量子化部は、複数種類のマトリクスを保持しており、前記決定部は、前記複数種類のマトリクスのうち、前記量子化処理に使用するマトリクスを決定してもよい。
【００２０】
前記量子化部は、前記複数種類のマトリクスにそれぞれ対応する回路を有しており、前記決定部は、前記量子化部に対して、前記量子化処理に使用するマトリクスに対応する回路に信号経路を切り替えさせてもよい。
【００２１】
前記決定部は、解像度および目標ビットレートに関する複数種類の組と、前記複数種類のマトリクスとの対応関係を規定した条件テーブルを保持しており、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて前記条件テーブルを参照し、対応するマトリクスを決定してもよい。
【００２２】
前記決定部は、特定の数値および特定の数値範囲の少なくとも一方を前記目標ビットレートとして規定した条件テーブルを保持してもよい。
【００２３】
前記量子化部は、異なる２つの目標ビットレートにそれぞれ対応付けられた２種類のマトリクスを保持しており、前記決定部は、指定された目標ビットレートが前記２つの目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、および、前記２種類のマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
【００２４】
前記量子化部は、特定の目標ビットレートに対応付けられた１つのマトリクスを保持しており、前記決定部は、予め単位ビットレートあたりのステップ値を保持しており、指定された目標ビットレートが前記特定の目標ビットレートとは異なるときは、少なくとも前記指定された目標ビットレート、前記ステップ値、および、前記１つのマトリクスに基づいて演算を行い、前記量子化処理に使用するマトリクスを算出してもよい。
【００２５】
本発明による動画像記録システムは、動画像の映像信号を受信して、前記動画像を表示するための画像データを出力する映像信号受信部と、前記画像データに基づいて前記動画像の符号化データを出力する符号化装置と、前記符号化データを記録媒体に書き込む記録部とを有している。前記符号化装置は、前記画像データを、所定の単位で複数の周波数成分の係数に変換する変換部と、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定する決定部と、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成する量子化部と、前記量子化値を符号化して、前記動画像の符号化データを生成する符号化部とを備えている。
【００２６】
本発明によるコンピュータプログラムは、動画像の符号化データを出力するためのデータ処理装置またはシステムにおいて実行される。前記コンピュータプログラムは、前記コンピュータプログラムを実行した前記データ処理装置に、前記動画像を表示するための画像データを、所定の単位で複数の周波数成分の係数に変換するステップと、前記動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、周波数ビット割当特性を規定するためのマトリクスを決定するステップと、決定されたマトリクスに基づいて前記係数の各々を量子化し、量子化値を生成するステップと、前記量子化値を符号化して、前記動画像の符号化データを生成するステップとを実行させる。
【発明の効果】
【００２７】
本発明の符号化装置によれば、圧縮符号化における目標ビットレートと解像度の情報に基づいて周波数空間内でのビット割当特性を決定し、目標とする画質ごとに適した量子化特性を用いて量子化する。これにより、常に良好な画質を維持することができる。
【００２８】
具体的には、所定の解像度の動画像に対して比較的低い目標ビットレートで圧縮符号化するときには、低周波成分に相対的に多くのビット量が割り当てられる。これにより、ブロックノイズ等の顕著な画質劣化を防ぐことができる。また、所定の解像度の画像に対して比較的高い目標ビットレートで圧縮符号化するときには、量子化スケールの変化に対して割当ビット量の変化幅を小さくする。これにより、細かいビット割当制御が可能となり、画質変動を抑えることができる。
【発明を実施するための最良の形態】
【００２９】
以下、添付の図面を参照しながら、本発明によるデータ処理装置の実施形態を説明する。以下の説明においては、データ処理装置は動画像を録画するためのレコーダ、および／または、レコーダに含まれる動画像を圧縮符号化する符号化装置であるとする。
【００３０】
（実施形態１）
図３は、本実施形態によるレコーダ２００の構成を示す。レコーダ２００は、たとえばテレビ放送信号を受信してハードディスクや光ディスクに録画する番組の録画機として実現され、または、ユーザが被写体の映像／音声をハードディスクや光ディスクに記録するカムコーダとして実現される。
【００３１】
レコーダ２００は、映像信号受信部２０５と、符号化装置２１０と、記録部２１５−１および２１５−２を有している。映像信号受信部２０５は、テレビ放送のアナログ信号を受信して、その信号をデジタル信号（デジタルデータ）に変換して出力するチューナである。または、映像信号受信部２０５は、被写体の映像をデジタルデータとして出力するＣＣＤ素子である。
【００３２】
符号化装置２１０は、動画像のデジタルデータを圧縮符号化して、符号化画像データを生成する。符号化装置２１０は、たとえば１つの基板上に実装されてエンコーダボードとして実現される。
【００３３】
記録部２１５−１は、たとえばハードディスクドライブである。また、記録部２１５−２は、たとえば光ディスクドライブである。ハードディスクドライブおよび光ディスクドライブは、それぞれ、ハードディスクおよび光ディスクに、符号化された画像データ（映像データストリーム）を書き込み、書き込まれたそのデータを読み出すことができる。なお、図面の簡単化のため、記録部２１５−２は光ディスクとして示されている。
【００３４】
符号化装置２１０は１つの筐体として実現することもできる。このときは、レコーダ２００は、たとえばチューナとしての映像信号受信部２０５、符号化装置２１０および記録装置２１５−１／２１５−２から構成される記録システムとして捉えることができる。
【００３５】
次に、符号化装置２１０を詳細に説明する。符号化装置２１０は、入力画像メモリ１０１と、減算部１０２と、直交変換部１０３と、量子化部２０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、参照画像メモリ１０９と、動き検出／動き補償部１１０と、レート制御部２１１と、周波数ビット割当特性決定部２１２とを備えている。
【００３６】
符号化装置２１０は、動画像を構成する画像（ピクチャ）のデータを、２つの符号化方法のいずれかにより圧縮符号化する。すなわち、画面内（イントラ）符号化、および、画面間予測（インターまたはノン・イントラ）符号化である。以下に符号化装置２１０の機能を概説する。
【００３７】
まず符号化装置２１０は、入力画像メモリ１０１において受け取った画像データを、直交変換部１０３において周波数成分の係数に変換する。そして、周波数ビット割当特性決定部２１２（以下「決定部２１２」と記述する）は、動画像の解像度および予め指定された符号化の目標ビットレートに基づいて、符号化処理に利用する量子化マトリクスを決定する。
【００３８】
量子化部２０４は、決定されたマトリクスに基づいて周波数成分の係数の各々を量子化し、量子化値を生成する。そして可変長符号化部１０５はその量子化値を符号化して、動画像の符号化データを生成して出力する。
【００３９】
以下、符号化装置２１０の各構成要素を説明する。
【００４０】
入力画像メモリ１０１は、入力された各ピクチャの画像データを符号化時まで格納しておくためのメモリである。入力画像メモリ１０１は、符号化順序の変更による画像データの出力遅延に対して十分な記憶容量を有する。入力された各ピクチャの画像データは符号化時に複数のブロックに分割され、ブロック単位で符号化される。入力画像メモリ１０１は、ブロック単位で画像データを出力することができる。
【００４１】
なおＭＰＥＧ規格では、１６画素×１６画素の集合をマクロブロックと呼ぶ。そして、それより小さい単位のブロック（たとえば８画素×８画素の集合）をサブマクロブロックと呼ぶ。ただし、符号化の処理によって単位が変わるため、以下では、マクロブロックおよびサブマクロブロックを総称して「ブロック」と呼ぶこととする。
【００４２】
減算部１０２は、入力画像メモリ１０１から出力されたブロック単位の入力画像データを正入力端子に入力する。動き補償予測を行わないイントラ符号化の場合は、正入力端子から入力された入力画像データをそのまま出力する。一方、動き補償予測を行うノン・イントラ符号化の場合は、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データを負入力端子に入力して減算を行い、減算結果としてブロック単位の予測誤差画像データを出力する。
【００４３】
直交変換部１０３は、減算部１０２から出力されたブロック単位の画像データを、直交変換して周波数成分に変換する。直交変換として、たとえば離散コサイン変換が知られている。
【００４４】
レート制御部２１１は、圧縮符号化における目標ビットレート、可変長符号化部１０５で生成された前に処理された符号化画像データの発生符号量、および決定部２１２で決定された量子化マトリクスの情報に基づいて、量子化部２０４で使用する量子化スケールを決定する。量子化スケールタイプは一般的に固定されているが、固定されていなくてもよい。決定された量子化スケールは、図２のテーブルを参照して量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）に対応づけられる。この量子化スケールコードは、後述する可変長符号化部１０５において符号化される。
【００４５】
なお、目標ビットレートは、たとえばユーザによって録画開始前に直接設定される。または、ユーザによって目標ビットレートと対応付けられた録画モードが選択されることによって設定される。目標ビットレートは圧縮符号化の符号化条件である。
【００４６】
決定部２１２は、目標ビットレートと画像の解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。量子化マトリクスは予め複数準備されている。たとえば図４から図６の各（ａ）および（ｂ）には、決定部２１２によって決定される複数の量子化マトリクスの例が示されている。換言すれば、決定部２１２はこれらのマトリクスの中から、適切な量子化マトリクスを選択する。決定部２１２によって行われる処理の詳細は後述する。
【００４７】
図４から図６に示すマトリクス群を説明する。図４はＭＰＥＧ−２規格のマトリクス群を示す。図５はテストモデルのマトリクス群を示す。図６は、図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す。各図の（ａ）および（ｂ）として示す各マトリクスは、それぞれイントラ符号化時およびノン・イントラ符号化に用いられる。図６の（ａ）に示すマトリクスの要素値は、（１，１）成分を除き、図４の（ａ）に示すマトリクスの要素値の約１／２である。また、図６（ｂ）に示すマトリクスの要素値は、図４（ｂ）に示すマトリクスの要素値の１／２である。
【００４８】
上述の図４から図６の各（ａ）および（ｂ）として示す各マトリクスは、決定部２１２内、量子化部２０４内または図示しないＲＯＭまたはＲＡＭ内にマトリクスデータとして保持されてもよい。または、量子化部２０４内にハードウェア回路として実装されていてもよい。後者においては、決定部２１２はどのハードウェア回路を用いるかを決定し、量子化処理がそのハードウェア回路を利用して行われるように信号経路を切り替える指示を送るように機能すればよい。なお、後述の方法により、量子化マトリクスをリアルタイムに計算することもできる。
【００４９】
再び図３を参照する。
【００５０】
量子化部２０４は、決定部２１２で決定された量子化マトリクスの各要素値に、レート制御部２１１で決定された量子化スケールを乗じて量子化パラメータを算出する。量子化パラメータもまた、マトリクスとして得られる。そして量子化部２０４は、直交変換部１０３から出力された直交変換係数の各周波数成分の値を、対応する量子化パラメータ（対応するマトリクスの要素値）で量子化し、その結果を量子化値として出力する。この量子化処理は、主として直交変換係数を量子化パラメータで除算することによって行われる。
【００５１】
可変長符号化部１０５は、量子化部２０４から出力された量子化値を可変長符号化し、符号化画像データを出力する。ノン・イントラ符号化の場合には、可変長符号化部１０５はさらに動き検出／動き補償部１１０で求められた動きベクトル等の情報と共に量子化値を可変長符号化し、符号化画像データを出力する。
【００５２】
逆量子化部１０６は、量子化部２０４から出力された量子化値を、逆量子化して直交変換係数を生成する。このとき逆量子化に際しては、量子化部２０４で使用した量子化パラメータと同じ量子化パラメータが利用される。
【００５３】
逆直交変換部１０７は、逆量子化部１０６から出力された直交変換係数を逆直交変換して復号化画像データを生成する。このとき、減算部１０２においてイントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の入力画像データに対する復号化画像を生成する。一方、減算部１０２においてノン・イントラ符号化が選択された場合は、逆直交変換部１０７は、ブロック単位の予測誤差画像データに対する復号化画像を生成する。
【００５４】
加算部１０８は、予測誤差画像データの復号化画像と、動き検出／動き補償部１１０から出力されたブロック単位の動き補償画像データとを加算し、最終的な復号化画像データを生成する。
【００５５】
参照画像メモリ１０９は、符号化時に使用される参照画像データを格納し保持しておくための記憶容量を有している。参照画像メモリ１０９は、イントラ符号化時には逆直交変換部１０７で生成されたブロック単位の復号化画像データをそのまま格納する。一方参照画像メモリ１０９は、ノン・イントラ符号化時には加算部１０８で生成されたブロック単位の復号化画像データを格納する。参照画像メモリ１０９に格納された復号化画像データは、以降の入力画像に対して、動き補償による画面間予測符号化を行う際の参照画像として用いられる。
【００５６】
動き検出部／動き補償部１１０は、入力画像メモリ１０１から出力されたブロック単位の入力画像データに対して、参照画像メモリ１０９に格納されている参照画像データの指定された範囲から類似するブロック領域を検出し、その移動量に相当する動きベクトルを決定する。さらに、参照画像メモリ１０９に格納されている画面間予測符号化用の参照画像から、動き検出によって決定された動きベクトルを用いて、ブロック単位の動き補償画像データを生成する。
【００５７】
次に、決定部２１２の処理を詳細に説明する。
【００５８】
決定部２１２に入力される目標ビットレートと解像度はいずれもレコーダ２００で用いられる符号化条件として、ユーザから指定されるパラメータである。図７は、複数の符号化条件の例を示す。目標ビットレートと解像度に応じて、符号化条件（１）〜（３）のいずれの条件に該当するかが決定され、それにより、採用すべき量子化マトリクスが決定される。なお、図７では、採用される量子化マトリクスが図番号によって示されているが、これは説明の便宜のためである。実際の処理では、対応する図番号の量子化マトリクスが採用される構成になっていればよく、実際に図７に示すテーブルが格納されていなくてもよい。後述する図８、図１２についても同様である。
【００５９】
なお、イントラ符号化およびノン・イントラ符号化のいずれの符号化を行うかによって、決定部２１２は各図の（ａ）または（ｂ）のいずれを選択するかを決定する。たとえばイントラ符号化処理が行われるとすると、決定部２１２は、符号化条件（１）〜（３）のいずれに該当するかを特定し、その後、図４、図５および図６の各（ａ）のうちから１つのマトリクスを選択する。
【００６０】
図７に示す例では、目標ビットレートに応じて符号化条件（１）〜（３）のうちの１つが特定される。解像度はいずれも「７２０ｘ４８０」の標準解像度（Ｓｔａｎｄａｒｄ  Ｄｉｆｉｎｉｔｉｏｎ；ＳＤ）で固定されている。
【００６１】
符号化条件（１）は、解像度「７２０ｘ４８０」に対して目標ビットレートは８Ｍｂｐｓであり、比較的高い。ＭＰＥＧ−２規格のデフォルトマトリクス（図４）をそのまま用いるとレート制御で決定される量子化スケールが比較的小さい値で推移することが多くなるため、係数値の小さい量子化マトリクス（図６）を使用する。これにより、量子化スケールの値が入力画像に応じて大きく変動してもその変化に対する細かいビット割当制御が可能になり、画質変動を抑制できる。
【００６２】
符号化条件（２）は、「７２０ｘ４８０」に対して目標ビットレートが符号化条件（１）よりも低い４Ｍｂｐｓである。この条件はＭＰＥＧ―２の圧縮方式において標準的な符号化条件であるため、ＭＰＥＧ−２規格のデフォルトマトリクス（図４）を使用する。
【００６３】
符号化条件（３）は「７２０ｘ４８０」に対して目標ビットレートは２Ｍｂｐｓであり、比較的低い。一般的には、目標ビットレートに適合させるために量子化スケールが比較的大きく設定され、ブロックノイズが顕著になる傾向にある。そこでこの条件に該当するときには、高周波成分に対する係数値が大きい量子化マトリクス（図５）を使用する。これにより、量子化スケールを比較的小さくして低周波成分（特に直流成分）の再現性を高めることができる。すなわちブロックノイズを低減できる。
【００６４】
ここで、符号化条件の特徴を説明する。符号化条件（１）〜（３）において、圧縮符号化後のデータサイズが同じであるとすると、目標ビットレートの比に基づいて入力された動画像のシーケンスの長さは１：２：４となる。言い換えれば、符号化条件（１）はデータサイズよりも画質を優先する用途に適しており、符号化条件（３）は画質よりもデータサイズを優先する用途に適している。そのため  符号化条件（１）は「ファインモード（画質優先モード）」、符号化条件（２）は「ノーマルモード（標準モード）」、符号化条件（３）は「エコノミーモード（容量優先モード）」のように、記録モードの差異として規定することもできる。
【００６５】
図７に示す量子化マトリクスの決定方法によれば、解像度が同じであっても用途に応じて異なる量子化マトリクスを採用することができる。すなわち高画質が要求される用途においては、量子化スケールの変化に対して割当ビット量の変化幅が小さくなる量子化マトリクスを選択することにより、画質変動に起因する画質劣化を抑えることができる。一方、データサイズが優先される用途においては、低周波成分に相対的に多くのビット量が割り当てられる量子化マトリクスを選択することにより、ブロックノイズ等の顕著な画質劣化を抑え安定した画質を得ることができる。よって、良好なビット割当特性を有する符号化装置２１０を提供できる。
【００６６】
なお、図７の例では、目標ビットレートとして複数の特定の数値（８．０Ｍｂｐｓ、４．０Ｍｂｐｓおよび２．０Ｍｂｐｓ）を挙げたが、複数の数値範囲を利用してもよい。たとえば８．０Ｍｂｐｓに代えて６．０〜１０．０Ｍｂｐｓ、４．０Ｍｂｐｓに代えて４．０〜６．０Ｍｂｐｓ、２．０Ｍｂｐｓに代えて２．０〜４．０Ｍｂｐｓなどのようにしてもよい。そして、ユーザから指定された目標ビットレートが属する範囲に対応させて、符号化条件を定めてもよい。
【００６７】
このように複数の記録モードを持つシステムにおいては、各記録モードによって求められる画質が異なってくるため、符号化ノイズや画質変動に起因する画質劣化を考慮しながら周波数空間のビット割り当て特性を決定する必要がある。本実施形態においては、ユーザが指定する記録モードによって符号化条件（目標ビットレートおよび解像度）が決まる、すなわち符号化の難しさに関する指標である圧縮利率が決まるので、圧縮率の情報を利用意することは高画質の実現に有効であるといえる。
【００６８】
図７に示す例では、目標ビットレートは異なるが、動画像の解像度が同じであるときの符号化条件を示した。しかし、動画像の解像度が異なっていてもよい。
【００６９】
たとえば図８は、目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す。図８に示す量子化マトリクスの決定方法によれば、解像度が「７２０ｘ４８０」以外であっても対応できる。
【００７０】
図８のテーブルにおいて、符号化条件（４）〜（６）は図７の符号化条件（１）〜（３）と同じである。符号化条件（１）〜（３）は解像度が「１９２０ｘ１０８０」の映像、即ち高品位（Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ；ＨＤ）の映像に関し、目標ビットレートに応じた量子化マトリクスを定めている。
【００７１】
図８に示す周波数ビット割当特性によれば、先の例と同様、目標ビットレートが高いほど量子化スケールの変化に対して割当ビット量の変化幅が小さくなり、目標ビットレートが低いほど低周波成分に相対的に多くのビット量が割り当てられる。また、符号化条件（７）および（８）は解像度「３５２ｘ４８０」が指定された場合、例えば「７２０ｘ４８０」を水平方向にダウンサンプリングしてから圧縮符号化するような場合に相当し、この場合も同様に目標ビットレートに応じて周波数ビット割当特性が決定される。
【００７２】
次に、符号化装置２１０の処理手順を説明する。あるピクチャについてイントラ符号化処理を行うときの処理を例に挙げる。
【００７３】
図９は、符号化装置２１０における符号化処理の手順を示す。ステップＳ９１において、符号化装置２１０は動画像データを受け取って、入力画像メモリ１０１に格納する。次のステップＳ９２において、入力画像メモリ１０１はピクチャの一部（ブロック）ごとの画像データを出力する。ステップＳ９３において、直交変換部１０３は、そのブロックの画像データ（画素値）を直交変換して直交変換係数を生成する。
【００７４】
次に、ステップＳ９４において、決定部２１２は、動画像の解像度および予め指定された目標ビットレートに基づいて量子化マトリクスを決定する。そしてステップＳ９５において、量子化部２０４は決定されたマトリクスに基づいて係数の各々を量子化し、量子化値を生成する。ステップＳ９６において、可変長符号化部１０５は、量子化値を圧縮符号化して符号化データを生成する。生成された符号化データは記録部２１５−１／２１５−２に出力される。
【００７５】
そしてステップＳ９７において、そのピクチャのすべてのブロックを符号化したか否かが判定される。すべてのブロックを符号化していないときはステップ９２からの処理を継続し、符号化が完了したときには処理は終了する。
【００７６】
図９を参照しながら符号化装置２１０の処理手順を説明したが、レコーダ２００の処理手順は、図９に対して処理ステップを追加することによって容易に実現される。具体的には、まずステップＳ９１の前に映像信号を受信するステップを追加する。次に、ステップＳ９６の後に符号化データを記録部２１５−１／２１５−２に書き込むステップを追加する。そして、ステップＳ９７からＹｅｓに進んだ後に、すべての動画像データの符号化が完了するまで処理を終了しないように、処理をループさせるステップを追加すればよい。
【００７７】
なお、ステップＳ９４の処理はブロック単位で実行しているが、これに限らず、ピクチャ単位で実行してもよいし、録画開始時に一回だけ実行してもよい。
【００７８】
なお、本実施形態においては、符号化条件を表す目標ビットレートと解像度のいくつかの組み合わせについて説明したが、その他の組み合わせに対しても種々の量子化マトリクスを対応付けて決定することが可能である。
【００７９】
また、本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して量子化マトリクスを対応付けているが、目標ビットレートあるいは解像度のいずれかのみを用いて量子化マトリクスを決定するようにしてもよい。
【００８０】
本実施形態においては、符号化条件を表す目標ビットレートと解像度の組み合わせに対して、図７および図８に規定するテーブルを参照して量子化マトリクスを決定するとした。しかし、目標ビットレートあるいは解像度の情報に基づいて量子化マトリクスを決定する限り、他の方法を採用してもよい。
【００８１】
本実施形態においては、予め保持された３つの量子化マトリクス（図４〜図６）のうちの１つを符号化処理に適用するマトリクスとして選択し、決定していた。しかし、決定部２１２または量子化部２０４が量子化マトリクスを１つまたは２つ保持し、それらを利用して他の量子化マトリクスをリアルタイムで生成してもよい。
【００８２】
以下、図１０を参照しながら、量子化マトリクスを生成する処理を説明する。以下の処理は、たとえば決定部２１２がソフトウェアによって実現することができる。なお、量子化マトリクスが量子化部２０４において保持されているときには、決定部２１２が量子化部２０４からその量子化マトリクスを読み出して、処理を行えばよい。
【００８３】
図１０は、予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を概念的に示す。（ａ）に示す量子化マトリクスＡは、目標ビットレートＲA、動画像がＨＤ品質のときに採用されるとする。また、（ｂ）に示す量子化マトリクスＢは、目標ビットレートＲB、動画像がＨＤ品質のときに採用されるとする。
【００８４】
以下の説明では、目標ビットレートＲAは符号化装置２１０において処理可能な最低ビットレート、目標ビットレートＲBは最高ビットレートとする。ただしこれは例であり、目標ビットレートＲAおよびＲBは、最高ビットレートと最低ビットレートとの間に存在すればよい。
【００８５】
量子化マトリクスＣの（ｉ，ｊ）要素をｃijなどと記述する。８画素×８画素のマクロブロック単位で符号化を行うときは、ｉおよびｊは１から８までの自然数である。
【００８６】
要素ｃijは、量子化マトリクスＡおよびＢの対応する要素ａijおよびｂij、目標ビットレートＲAおよびＲBの関数として規定することができる。図１０の（ｃ）は、要素ｃijを求めるための関数Ｆのグラフを示している。横軸は目標ビットレート、縦軸は要素の値を示す。
【００８７】
たとえば関数Ｆは、始点を（ＲA，ａij）および終点を（ＲB，ｂij）とする線分（一次関数）として規定される。そしてユーザによって指定された目標ビットレートＲcに基づいて、要素ｃijを求めることができる。なお、関数は任意であり、各（ｉ，ｊ）要素ごとに任意の定めてもよい。
【００８８】
すべてのｉおよびｊの組について要素ｃijを求めることにより、量子化マトリクスＣを得ることができる。図１０の（ｄ）は、目標ビットレートＲｃ、動画像がＨＤ品質のときに採用される量子化マトリックスＣを示す。なお、量子化マトリクスＣの要素を一括して求める必要はなく、量子化処理時に要素１ずつ求めてもよい。
【００８９】
上述の処理においては、２つの量子化マトリクスＡおよびＢを保持する必要があるが、１つの量子化マトリクスのみでも処理は可能である。たとえば上述の量子化マトリクスＡと、単位ビットレートあたりの要素値のステップ値（増加幅）を規定し、たとえば決定部２１２が予め保持していればよい。これにより決定部２１２は、目標ビットレートＲcが指定されると、目標ビットレートＲAからの差に応じて要素値を増減させて量子化マトリクスＣの要素を求めることができる。
【００９０】
（実施形態２）
図１１は、実施形態２による符号化装置３００の構成を示す。符号化装置３００は、実施形態１において説明した符号化装置２１０に代えて、図３のレコーダ２００の一部として実装されうる。
【００９１】
以下、符号化装置３００を説明する。なお、符号化装置３００の構成要素のうち、実施形態１による符号化装置２１０の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
【００９２】
符号化装置３００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部３１２を備える。
【００９３】
周波数ビット割当特性決定部３１２（以下、「決定部３１２」と記述する。）は、圧縮符号化の符号化条件として指定された目標ビットレートと解像度に基づいて周波数空間内でのビット割当特性を求め、量子化部２０４で使用する量子化マトリクスを決定する。さらに決定部３１２は、レート制御部２１１で決定された量子化スケールの情報に基づいてピクチャ単位で周波数ビット割当特性を補正し、量子化マトリクスを変更する。
【００９４】
以下、決定部３１２を詳細に説明する。
【００９５】
図１２は、本実施形態による複数の符号化条件の例を示す。図１２に示されるように、圧縮符号化の目標ビットレートと解像度の組み合わせに対して、２種類の量子化マトリクス（ＴＹＰＥ１およびＴＹＰＥ２）が設定されている。
【００９６】
量子化マトリクス（ＴＹＰＥ１）は、図７のテーブルで定められている量子化マトリクスと同じ周波数ビット割当特性を持つ。符号化開始時にはこの量子化マトリクス（ＴＹＰＥ１）が使用される。
【００９７】
一方、量子化マトリクス（ＴＹＰＥ２）は、所定の条件下で発生符号量を低く抑えるために用いられる。具体的には、レート制御部２１１において、実際に発生した符号量から計算される実ビットレートを目標ビットレートに抑えられないとき、または、ブロックノイズによる画質劣化が顕著であると判断したときである。
【００９８】
ここで量子化マトリクスの切り替え例を説明する。いま、解像度「７２０ｘ４８０」で目標ビットレートとして２Ｍｂｐｓが指定されたとする。符号化開始時は、図５に示す量子化マトリクスが使用される。この量子化マトリクスは、重み付けの傾斜、すなわち量子化マトリクスの要素間の変化の程度が比較的緩い。
【００９９】
その後、動きが速い動画像などの圧縮符号化が困難な入力画像が続き、レート制御で目標ビットレートに抑えられないとき、または、量子化後の低周波成分の値が所定の閾値を平均して下回るときには、図１３に示す量子化マトリクスを採用する。図１３は、ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す。（ａ）はイントラ符号化時に利用され、（ｂ）はノン・イントラ符号化時に利用される。これにより、低周波成分へ割り当てられるビット量が相対的に多くなり、画質劣化を抑えられる。
【０１００】
図１４は、決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示す。処理の開始時は、量子化マトリクス（ＴＹＰＥ１）が設定されている。符号化開始後は、図１４に示す処理を各ピクチャの符号化前に行う。
【０１０１】
まずステップＳ１４１において、決定部３１２は量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ１）よりも小さいか否かを判断する。小さいときはステップＳ１４２に進み、小さくないときはステップＳ１４３に進む。
【０１０２】
ステップＳ１４２において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ１））に設定する。このときは、所望のレート制御が実現されている。
【０１０３】
一方、ステップＳ１４３では、決定部３１２は、量子化スケール（Ｑｓｃａｌｅ）が閾値（Ｑｔｈ２）以上か否かを判断する。閾値（Ｑｔｈ２）以上のときはステップＳ１４４に進み、閾値（Ｑｔｈ２）以上でないときは、量子化マトリクスの変更に対してヒステリシスを持たせるために、直前のピクチャで用いていた量子化マトリクスをそのまま用いる。そして処理は終了する。
【０１０４】
ステップＳ１４４において、決定部３１２は、使用する量子化マトリクスをタイプ１（量子化マトリクス（ＴＹＰＥ２））に設定する。このときは、レート制御が破綻する可能性がある、あるいはブロックノイズが顕著であることを意味する。
【０１０５】
図１４の説明から明らかなように、閾値Ｑｔｈ１およびＱｔｈ２は、それぞれ量子化マトリクス（ＴＹＰＥ１）と量子化マトリクス（ＴＹＰＥ２）を切替えるための値である（Ｑｔｈ１≦Ｑｔｈ２とする）。一方、Ｑｓｃａｌｅはレート制御部においてピクチャ単位で決定される量子化スケールである。
【０１０６】
上述の処理のように、レート制御で決定される量子化スケールが大きい場合、高周波成分をさらに粗く量子化するような量子化マトリクスに変更することによって量子化スケールを小さくすることができ、ブロックノイズによる画質劣化を抑えることができる。
【０１０７】
なお、本実施形態においては、符号化開始時の量子化マトリクス（ＴＹＰＥ１）以外の量子化マトリクスとして１種類の量子化マトリクス（ＴＹＰＥ２）のみを設定しているが、２種類以上の量子化マトリクスを切替えてもかまわない。
【０１０８】
また、本実施形態においては、量子化スケールを閾値処理して量子化マトリクスの変更に関する判定を行っているが、判定条件に用いる情報はレート制御の状態と相関のある情報であれば量子化スケールでなくてもよい。
【０１０９】
本実施形態においては、テーブルを参照することにより、次の量子化マトリクスを決定しているが、レート制御の状態を示す情報に基づいて量子化マトリクスを決定する方法であれば他の方法でもかまわない。
【０１１０】
（実施形態３）
図１５は、本実施形態によるレコーダ２５０の構成を示す。レコーダ２５０は、符号化装置４００と、復号化装置５００と、記録部２１５−１／２１５−２とを備えている。
【０１１１】
レコーダ２５０は、たとえばＨＤ品質のデジタル放送番組の符号化画像データが記録部２１５−１／２１５−２に蓄積されているときにおいて、その符号化画像データをＳＤ品質に変換（ダウンサンプリング）して再圧縮符号化する際に利用される。またはレコーダ２５０は、比較的高いビットレートで圧縮符号化された符号化画像データを、ダビングのために再圧縮符号化する際に利用される。再圧縮符号化に際して、復号化装置５００は符号化画像データを一旦復号化し、符号化装置４００は復号化された画像データを再度符号化する。なお、記録部２１５−１／２１５−２に蓄積されていない符号化画像データを利用することも可能である。
【０１１２】
図１５においては、レコーダ２５０は１つの機器として記載されている。しかし、符号化装置４００、復号化装置５００および記録部２１５−１／２１５−２を１つの機器として相互に接続することにより、動画像記録システムとして実現してもよい。
【０１１３】
以下、まず復号化装置５００を説明する。図１５に示す復号化装置５００は、あらかじめ圧縮符号化された符号化画像データを復号化して復号化画像データを生成する。そして復号化の過程において、復号化装置５００は符号化画像データの周波数ビット割当特性、実ビットレート、その符号化画像データの解像度の情報（以下「解像度１の情報」と記述する。）を抽出する。
【０１１４】
復号化装置５００は、符号化処理と逆の処理を行うことができればよい。したがって、たとえば符号化装置２１０（図３）の可変長符号化部１０５の逆の処理を行う復号化部、逆量子化部１０６、逆直交変換部１０７、参照画像メモリ１０９および動き検出／動き補償部１１０を設けることにより、符号化画像データの復号化が可能になる。なお、動き検出／動き補償部１１０は動き補償に関する機能のために必要とされる。
【０１１５】
次に符号化装置４００を説明する。図１６は、符号化装置４００の構成を示す。符号化装置４００の構成要素のうち、実施形態１の符号化装置２１０または実施形態２による符号化装置３００の構成要素と機能が共通するものに対しては同じ参照符号を付し、その説明は省略する。
【０１１６】
符号化装置４００は、入力画像メモリ１０１、減算部１０２、直交変換部１０３、量子化部２０４、可変長符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算部１０８、参照画像メモリ１０９、動き検出／動き補償部１１０、レート制御部２１１、周波数ビット割当特性決定部４１２、解像度変換部４１３を備える。
【０１１７】
まず解像度変換部４１３は、復号化装置５００で復号化された復号化画像データに対し、復号化装置５００における復号化の過程で抽出された解像度１の情報、および、再圧縮符号化の符号化条件としてユーザから指定された解像度の情報（以下「解像度２の情報」と記述する。）に基づいて解像度を変換し、再圧縮符号化に対する入力画像データを生成する。解像度変換を行わない場合は、復号化画像をそのまま再圧縮符号化の入力画像データとして出力すればよい。
【０１１８】
周波数ビット割当特性決定部４１２（以下「決定部４１２」と記述する）は、復号化装置５００から符号化画像データの周波数ビット割当特性、実ビットレート、解像度１の情報を取得する。さらに決定部４１２は、再圧縮符号化の符号化条件としてユーザから指定された目標ビットレートおよび解像度２の情報を受け取る。そして決定部４１２は、それらに基づいて、再圧縮符号化における周波数ビット割当特性を決定する。
【０１１９】
決定部４１２において、周波数ビット割当特性を決定する算出式の例を数１に示す。
【０１２０】
Ｍ２＿ｉｊ＝Ｍ１＿ｉｊ＊（Ｒ１＊Ｈ２＊Ｖ２）／（Ｒ２＊Ｈ１＊Ｖ１）    （数１）
【０１２１】
ここで、Ｍ１＿ｉｊ、Ｒ１、Ｈ１、Ｖ１は、それぞれ復号化する前の符号化画像データが持つ周波数ビット割当特性、実ビットレート、水平解像度、垂直解像度を表す。また、Ｍ２＿ｉｊ、Ｒ２、Ｈ２、Ｖ２は、それぞれ再圧縮符号化における周波数ビット割当特性、目標ビットレート、水平解像度、垂直解像度を表す。なお、ここでは周波数ビット割当特性は周波数空間座標（ｉ，ｊ）に対応する形のマトリクスとして示しており、量子化時に用いられる量子化マトリクスに対応している。このように再圧縮符号化処理を行う場合に、復号化前の符号化画像データが持つ周波数ビット割当特性を用いることにより、再圧縮符号化の過程で損なわれる周波数成分の情報量を少なくすることができる。
【０１２２】
なお、本実施形態においてＲ１は実ビットレートとしているが、Ｒ１は復号化する前の符号化データに対して管理情報等に含まれるビットレート（例えば、過去の符号化時に用いた目標ビットレート）でもかまわない。
【０１２３】
なお、数１は例であり、周波数ビット割当特性の算出式は他の数式を用いてもよい。たとえば、量子化マトリクスの直流成分の係数値を変えずに、高周波成分の係数値を変化させるようにしてもよい。
【０１２４】
上述の復号化装置５００および符号化装置４００における処理によって、再符号化画像データが生成されると、記録部２１５−１／２１５−２によって記録媒体に書き込まれる。これにより、画像品質の変換、動画像を構成する各ピクチャの画素数の変換、ビットレートの変換等が行われる。
【０１２５】
上述の符号化装置および復号化装置において実行される処理は、汎用コンピュータにおいてコンピュータプログラムを実行することによって実現できる。そのようなコンピュータプログラムは、例えば図９および図１４に示すフローチャートに規定された処理を実行する命令を含んでいる。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録されて、製品として市場を流通する。またはコンピュータプログラムは、インターネットに代表される通信ネットワークを介して伝送される。
【産業上の利用可能性】
【０１２６】
本発明にかかる動画像符号化装置は、動画像データを圧縮符号化する際の目標ビットレートの高低にかかわらず常に良好な画質を維持することができる。その実用的価値は非常に高い。このような動画像符号化装置は、１つの基板上に実装され、または、他の機器に組み込むことができるため、種々の動画像のデジタル記録機器への応用が可能である。
【図面の簡単な説明】
【０１２７】
【図１】従来の動画像符号化装置１００の構成を示す図である。
【図２】量子化スケールの割り当て表を示す図である。
【図３】実施形態１によるレコーダ２００の構成を示す図である。
【図４】ＭＰＥＧ−２規格のマトリクス群を示す図である。
【図５】テストモデルのマトリクス群を示す図である。
【図６】図４に示すマトリクス群のおよそ半分の要素値を有するマトリクス群を示す図である。
【図７】複数の符号化条件の例を示す図である。
【図８】目標ビットレートおよび動画像の解像度が異なるときの符号化条件を示す図である。
【図９】符号化装置２１０における符号化処理の手順を示すフローチャートである。
【図１０】予め保持された２つの量子化マトリクスＡおよびＢを用いて、量子化マトリクスＣを生成する方法を示す概念図である。
【図１１】実施形態２による符号化装置３００の構成を示す図である。
【図１２】実施形態２による複数の符号化条件の例を示す図である。
【図１３】ＴＭ５の量子化マトリクス（図５）よりさらに重み付けの傾斜が大きい量子化特性をもつ量子化マトリクスを示す図である。
【図１４】決定部３１２において実行される、量子化マトリクスを切り替えるための制御手順の例を示すフローチャートである。
【図１５】実施形態３によるレコーダ２５０の構成を示す図である。
【図１６】符号化装置４００の構成を示す図である。
【符号の説明】
【０１２８】
１００  従来の動画像の符号化装置
１０１  入力画像メモリ
１０２  減算部
１０３  直交変換部
１０４  量子化部
１０５  可変長符号化部
１０６  逆量子化部
１０７  逆直交変換部
１０８  加算部
１０９  参照画像メモリ
１１０  動き検出／動き補償部
１１１  レート制御部
２００  レコーダ
２０４  量子化部
２０５  映像信号受信部
２１０  実施形態１による動画像の符号化装置
２１１  レート制御部
２１２、３１２、４１２  周波数ビット割当特性決定部
２１５−１、２１５−２  記録部
３００  実施形態２による動画像の符号化装置
４００  実施形態３による動画像の符号化装置
４１３  解像度変換部
５００  実施形態３による動画像の復号化装置
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006098226.tif 000019
【図２】
2006098226.tif 000020
【図３】
2006098226.tif 000021
【図４】
2006098226.tif 000022
【図５】
2006098226.tif 000023
【図６】
2006098226.tif 000024
【図７】
2006098226.tif 000025
【図８】
2006098226.tif 000026
【図９】
2006098226.tif 000027
【図１０】
2006098226.tif 000028
【図１１】
2006098226.tif 000029
【図１２】
2006098226.tif 000030
【図１３】
2006098226.tif 000031
【図１４】
2006098226.tif 000032
【図１５】
2006098226.tif 000033
【図１６】
2006098226.tif 000034
【国際調査報告】
2006098226.tif 000035
2006098226.tif 000036
2006098226.tif 000037
2006098226.tif 000038