(57)【要約】【課題】  記録対象とする画像信号の番組の種類に応じて、記録時間内の所定時間毎に効率よくビット量を割り当てることによって、高画質な符号化画像を得る。【解決手段】  番組の記録時間内の所定時間毎の符号化難易度を番組のジャンル情報に対応付けした統計情報テーブルを用い、入力画像信号のジャンル情報を基に番組の記録時間内の所定時間単位への割り当てビット量を算出する情報量配分統計手段、算出した割り当てビット量、特徴パラメータ、マクロブロック単位の発生ビット量およびマクロブロック量子化幅のピクチャ当たりの平均値からピクチャ単位の目標ビット量を算出する情報量配分計算手段、算出したピクチャ単位の目標ビット量とマクロブロック単位の発生ビット量に基づいて量子化幅を算出する符号化制御手段を備える。【選択図】        図１
2006314048.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号を符号化して可変長のビットストリームデータを生成し、生成したビットストリームデータを記録媒体に記録する画像記録装置において、
入力された画像信号をマクロブロック単位の画像データに変換すると共に、特徴パラメータを演算する画像前処理手段と、
前記変換されたマクロブロック単位の画像データに対して、指示された量子化幅に従って符号化を行い、記録する可変長のビットストリームデータを出力すると共に、マクロブロック単位の発生ビット量を出力する画像符号化手段と、
固定のマクロブロック量子化幅と前記画像符号化手段で符号化を行った場合のビット発生量とから予め換算された番組の記録時間内の所定時間毎の符号化難易度を番組のジャンル情報毎に対応付けした統計情報テーブルを有し、入力された画像信号に対して与えられたジャンル情報を基に前記統計情報テーブルの符号化難易度から番組の記録時間内の所定時間単位への割り当てビット量を算出する情報量配分統計手段と、
前記算出された所定時間単位への割り当てビット量、前記画像前処理手段から得られた特徴パラメータ、前記画像符号化手段からのマクロブロック単位の発生ビット量およびマクロブロック量子化幅のピクチャ当たりの平均値に基づいてピクチャ単位の目標ビット量を算出する情報量配分計算手段と、
前記情報量配分計算手段で算出されたピクチャ単位の目標ビット量と前記画像符号化手段からのマクロブロック単位の発生ビット量に基づいて前記画像符号化手段に指示する量子化幅を算出すると共に、その際、前記情報量配分計算手段に与えるマクロブロック量子化幅のピクチャ当たりの平均値を生成する符号化制御手段とを備えたことを特徴とする画像記録装置。
【請求項２】
ジャンル情報は、入力画像信号に対してユーザ設定された情報であることを特徴とする請求項１記載の画像記録装置。
【請求項３】
画像信号に伴い電子番組表が入力される場合に、当該電子番組表から現在入力されている画像信号の番組の種類を表すジャンル情報を抽出する付加情報解析手段を備えたことを特徴とする請求項１記載の画像記録装置。
【請求項４】
付加情報解析手段により電子番組表から抽出されたジャンル情報とユーザ設定により与えられるジャンル情報のいずれかを選択するセレクタを備えたことを特徴とする請求項３記載の画像記録装置。
【請求項５】
情報量配分統計部は、画像符号化手段で符号化した際に用いた量子化幅とマクロブロック単位の発生ビット量に基づいて符号化難易度を算出し、入力された画像信号の番組のジャンル情報と対応付けてその番組の記録時間内の所定時間単位毎に統計情報テーブルに蓄積することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像信号をＤＶＤ等の記録媒体に記録する画像記録装置に関するものである。
【背景技術】
【０００２】
近年、地上波放送等の番組をデジタルビデオ信号に変換し、この動画像データを符号化してハードディスクやＤＶＤディスク等の各種記録媒体に記録するＤＶＤレコーダ等の画像記録装置が広く普及している。画像記録装置で用いられている動画像データを高能率に圧縮する符号化技術としては、例えば国際標準規格であるＭＰＥＧ２（Moving Picture Experts Group 2）符号化方式がある。この方式は、動き補償予測符号化とＤＣＴ（Discrete Cosine Transform：離散コサイン変換）符号化および可変長符号化を組み合わせたハイブリッド符号化方式である。
ＭＰＥＧ２符号化方式におけるレート制御法には、リアルタイムに動画像符号化および復号を行うシステムを想定したＣＢＲ（Constant Bit Rate：固定ビットレート）符号化と、ＤＶＤレコーダのように符号化したビットストリームデータを一旦記録媒体に保存し、非リアルタイムで復号を行うシステムを想定したＶＢＲ（Variable Bit Rate：可変ビットレート）符号化がある。可変ビットレート符号化を用いる場合は、入力される動画像データの特徴に応じて必要な情報量を割り当てることが可能となるため、固定ビットレート符号化を用いる場合に比べて高画質な画像を得ることが出来たり、または同じ容量の記録媒体に対して長時間の録画が可能となったりするという利点がある。
【０００３】
上記のような可変ビットレート符号化においては、入力画像データの特徴に応じて最適な情報量の割り当てをすることが重要となる。一般的に２パス符号化方式を用いれば、１パス目の符号化結果を用いて最適な情報量の割り当てが可能となるが、処理時間が記録する入力シーケンス時間の２倍必要となるため、リアルタイム処理が必要な記録装置には不向きである。また、２パス符号化方式は、入力シーケンスを２回符号化するためにメモリ等の遅延器が必要となり回路規模が増大してしまうという問題もある。
【０００４】
このような問題を解決するために、リアルタイムに可変ビットレート符号化を行う１パス符号化において、入力信号の単位時間毎の符号化難易度を求め、予め標準化された単位時間毎の符号化難易度と割り当て符号量とを関係づけ、これを参考値として実際の割り当て符号量を求めて符号化を行い、符号化ビット総量が一定のデータ容量内に収まるように制御する方法が提案されている（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００４−２１５３０８号公報（第８頁〜１３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上のような従来の１パス可変ビットレート符号化における符号化制御法では、入力信号の単位時間毎の符号化難易度から実際の割り当て符号量を求める際に、所定の記録時間分を符号化した時の発生ビット量の総和が、記録媒体に記録できるビット量以下になるように実際の割り当て符号量を制御することによって、所定の記録時間分の入力信号を収録できることを保証している。具体的には、単位時間毎の入力信号を一定の割り当てビット量（すなわち、平均レート）で符号化する場合の現在までの割り当てビット量の総和と、現在までの実際の発生ビット量の総和の差分を取り、その値が正の時には符号化難易度に応じて平均レート以上の割り当てビット量を与えることを許可することにより、記録時間を保証している。しかし、このような符号化制御方法では、例えば所定の記録時間内の前半に符号化難易度の高い入力信号が続いた場合に割り当てビット量を多くすることによって、後半に同程度の符号化難易度の入力信号が入った場合の画質が前半に比べて極端に劣化してしまったり、所定の記録時間内において符号化難易度の低い画像が続いた場合に、割り当てビット量が少なくて記録媒体に記録できるビット量が余ってしまい、記録媒体で使用可能なビット量を全て使った場合に比べて画質が劣化してしまったりするという問題点があった。
【０００７】
この発明は、上記問題点を解決するためになされたもので、入力画像シーケンス（ここでは、番組）のジャンル情報に応じて、記録時間内の所定時間毎に効率よくビット量を割り当てることによって、高画質な符号化画像を得る画像記録装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像記録装置は、入力された画像信号を符号化して可変長のビットストリームデータを生成し、生成したビットストリームデータを記録媒体に記録する画像記録装置において、入力された画像信号をマクロブロック単位の画像データに変換すると共に、特徴パラメータを演算する画像前処理手段と、変換されたマクロブロック単位の画像データに対して、指示された量子化幅に従って符号化を行い、記録する可変長のビットストリームデータを出力すると共に、マクロブロック単位の発生ビット量を出力する画像符号化手段と、固定のマクロブロック量子化幅と画像符号化手段で符号化を行った場合のビット発生量とから予め換算された番組の記録時間内の所定時間毎の符号化難易度を番組のジャンル情報毎に対応付けした統計情報テーブルを有し、入力された画像信号に対して与えられたジャンル情報を基に統計情報テーブルの符号化難易度から番組の記録時間内の所定時間単位への割り当てビット量を算出する情報量配分統計手段と、算出された所定時間単位への割り当てビット量、画像前処理手段から得られた特徴パラメータ、画像符号化手段からのマクロブロック単位の発生ビット量およびマクロブロック量子化幅のピクチャ当たりの平均値に基づいてピクチャ単位の目標ビット量を算出する情報量配分計算手段と、情報量配分計算手段で算出されたピクチャ単位の目標ビット量と画像符号化手段からのマクロブロック単位の発生ビット量に基づいて画像符号化手段に指示する量子化幅を算出すると共に、その際、情報量配分計算手段に与えるマクロブロック量子化幅のピクチャ当たりの平均値を生成する符号化制御手段とを備えたものである。
【発明の効果】
【０００９】
この発明によれば、入力画像シーケンスをその番組のジャンル情報と対応付けて、記録時間内の所定時間単位の符号化難易度の統計情報を用いることにより、効率よくビット量を割り当てて符号化を行うようにしているので、経過時間に関わらず平均して高画質な符号化画像が得られる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による画像記録装置の全体構成を表すブロック図である。
図１において、画像前処理部１は、入力された画像信号ｓ1を符号化処理のマクロブロック単位の画像データｓ2に変換すると共に、特徴パラメータｓ9を演算する手段である。画像符号化部２は、マクロブロック単位の画像データｓ2に対して、指示された量子化幅に従って符号化を行い、可変長のビットストリームデータｓ3を出力すると共に、マクロブロック単位の発生ビット量ｓ13を出力する手段である。画像記録部３は、可変長のビットストリームデータｓ3を記録媒体４に記録する手段である。付加情報解析部５は、地上波放送等から得られるＥＰＧ（Electronic Program Guide：電子番組表）ｓ4から、現在入力されている画像信号の番組の種類を表すジャンル情報ｓ5を抽出する手段である。セレクタ６は、ＥＰＧから抽出されたジャンル情報ｓ5とユーザ設定によるジャンル情報ｓ6のいずれかを選択する手段である。情報量配分統計部７は、入力された画像信号に対応して与えられたジャンル情報ｓ7を基に、予め備えた統計情報テーブルの符号化難易度から番組の記録時間（一つの番組を構成しているコンテンツを記録する時間に相当）内の所定時間単位への割り当てビット量ｓ8を算出する手段である。情報量配分計算部８は、所定時間単位への割り当てビット量ｓ8、特徴パラメータｓ9、実際の発生ビット量ｓ11およびマクロブロック量子化幅のピクチャ当たりの平均値ｓ12に基づいて、ピクチャ単位の目標ビット量ｓ10を算出する手段である。符号化制御部９は、ピクチャ単位の目標ビット量ｓ10と実際に発生したマクロブロック単位の発生ビット量ｓ13からマクロブロックの量子化幅ｓ14を算出すると共に、マクロブロック量子化幅のピクチャ当たりの平均値ｓ12を生成する手段である。
【００１１】
次に動作について説明する。
画像前処理部１は、地上波放送等から入力される画像信号ｓ1に対してフィルタ演算や特徴パラメータｓ9の演算等を行い、画像信号をマクロブロック単位の画像データｓ2に変換する。画像符号化部２は、符号化制御部９により算出されたマクロブロックの量子化幅ｓ14に基づきマクロブロック単位の画像データｓ2を符号化し、符号化によって生成された可変長のビットストリームデータｓ3を画像記録部３に出力すると共に、マクロブロック単位の発生ビット量ｓ13を符号化制御部９に出力する。画像記録部３は、生成されたビットストリームデータｓ3をＤＶＤディスク等の記録媒体４に記録する。
【００１２】
付加情報解析部５は、地上波放送等から得られるＥＰＧｓ4から、このＥＰＧから録画を開始する番組のジャンル情報ｓ5を抽出する。また、ＥＰＧを伴わない画像信号に対しては、ユーザがマンマシンインタフェースを通じてジャンル情報ｓ6を設定することもできる。セレクタ６によって選択されたジャンル情報ｓ7は情報量配分統計部７に入力される。情報量配分統計部７は、番組のジャンル情報毎に番組の記録時間内の所定時間毎の符号化難易度がどのように推移するかを表わした統計情報テーブルを予め備えている。ここで、符号化難易度とは、ある固定のマクロブロック量子化幅と画像符号化部２が備える符号化パラメータ（動き予測、イントラ／インター予測判定等）を用いて符号化を行った場合の実際のビット発生量とから換算されるパラメータである。この符号化難易度の統計情報を、予め様々なジャンルに対して取得しておき、統計情報テーブルとして形成しておく。
【００１３】
図２に上記ジャンル情報の一例を示し、図３にジャンル毎の符号化難易度の経過時間における推移の一例を示す。図２に示したような様々なジャンル情報に対して、図３に示したように経過時間における符号化難易度の推移を統計情報として蓄積しておく。図３では、ニュースやアニメ等は経過時間に対して符号化難易度の変化が少なく、また全体的に符号化難易度は低い傾向にあるが、スポーツ等は経過時間全般に渡って符号化難易度が高い傾向があることを表している。また、ドラマ等は番組の最後の方の時間帯に山場のシーンが多いため符号化難易度が高い傾向がある。音楽等は、歌うシーンにフラッシュ等の映像が多いため難易度の高いシーンが多いが、トークのシーンは難易度の低いシーンが多いため、難易度の変化が大きい傾向がある。
【００１４】
情報量配分統計部７は、この符号化難易度の統計情報に基づいて、番組の記録時間内の所定時間単位での割り当てビット量ｓ8を算出する。そのため、番組の記録時間の１／Ｎを所定時間とし、各所定時間における符号化難易度の平均値、番組の記録時間全体の符号化難易度の平均値および各所定時間における符号化難易度の平均値を求め、これら用いて式（１）より、各所定期間への割り当てビット量ｓ8を算出する。
Ｉ（ｋ）＝（Ｒ×Ｌ／Ｎ）×（αｋ／αｓｅｑ）              （１）
ここで、Ｉ（ｋ）はｋ番目の所定時間における割り当てビット量、Ｒは指定された記録モードにおける平均ビットレート（ｂｉｔ／ｓｅｃ．）、Ｌは番組の記録時間（ｓｅｃ．）、番組の記録時間の１／Ｎを所定時間、αｋはｋ番目の所定期間における符号化難易度の平均値、αｓｅｑは番組の記録時間全体の符号化難易度の平均値を表す。
【００１５】
情報量配分計算部８は、所定時間単位への割り当てビット量ｓ8を基に、式（２）に従ってＧＯＰ（Group Of Pictures）単位の目標ビット量ＴＧＯＰを算出する。
ＴＧＯＰ＝αｇｏｐ／αｋ×（Ｉ（ｋ）／Ｎｇｏｐ）          （２）
ここで、αｇｏｐは１ＧＯＰ前の符号化による実際の発生ビット量ｓ11とマクロブロック量子化幅のピクチャ当たりの平均値ｓ12から得られるＧＯＰ単位の符号化難易度、Ｎｇｏｐは所定時間における総ＧＯＰ数を表す。
【００１６】
次に、情報量配分計算部８は、このＧＯＰ単位の目標ビット量から式（３）に従って、ピクチャ単位の目標ビット量ｓ10を算出する。
Ｔｘ＝Ｔｉ＝ＲＧＯＰ／（１＋Ｎｐ・Ｘｐ／Ｘｉ・Ｋｐ＋Ｎｂ・Ｘｂ／Ｘｉ・Ｋｂ）
Ｔｘ＝Ｔｐ＝ＲＧＯＰ／（Ｎｐ＋Ｎｂ・Ｋｐ・Ｘｂ／Ｋｂ・Ｘｐ）
Ｔｘ＝Ｔｂ＝ＲＧＯＰ／（Ｎｂ＋Ｎｐ・Ｋｂ・Ｘｐ／Ｋｐ・Ｘｂ）
（３）
ここで、Ｔｉはこれから符号化するＩピクチャの１ピクチャ当たりの目標ビット量、Ｔｐはこれから符号化するＰピクチャの１ピクチャ当たりの目標ビット量、Ｔｂはこれから符号化するＢピクチャの１ピクチャの情報発生量の目標値、ＲＧＯＰは１ピクチャの実際の発生ビット量ｓ11により算出されたＧＯＰ内の未符号化ピクチャに対して割り当てられるビット量、Ｘｉ，Ｘｐ，ＸｂはＩピクチャ、Ｐピクチャ、Ｂピクチャ毎に画像の複雑さを示すパラメータ、Ｋｐ，Ｋｂは特徴パラメータｓ9でありＩピクチャの量子化スケールコードを基準とした時のＰピクチャ、Ｂピクチャの量子化スケールコードの比率、Ｎｐ，ＮｂはＧＯＰ内でまだ符号化されていないＰピクチャ、Ｂピクチャの枚数を表す。
【００１７】
このとき、所定時間単位での割り当てビット量ｓ8は、符号化難易度の統計情報に基づいて算出されたものであり、実際の入力画像シーケンスを符号化することによって得られるＧＯＰ単位の符号化難易度αｇｏｐから算出されるＧＯＰ単位の目標ビット量ＴＧＯＰを目標として符号化した結果、発生ビット量が割り当てビット量ｓ8を超過または不足する場合が起こり得る。そこで所定時間単位に、割り当てビット量ｓ8の補正を式（４）に従って行う。
Ｉ’（ｋ＋１）＝Ｉ（ｋ＋１）＋｛Ｉ（ｋ）−Ｇ（ｋ）｝／（Ｎ−ｋ）    （４）
ここで、Ｉ’（ｋ）はｋ番目の所定時間における割り当てビット量の補正値、Ｇ（ｋ）はｋ番目の所定時間における実際の発生ビット量、ｋ＝１，２，３，…を表す。
【００１８】
符号化制御部９は、ピクチャ単位の目標ビット量ｓ10と実際に発生したマクロブロック単位の発生ビット量ｓ13から式（５）に従ってマクロブロックの量子化幅ｓ14を算出する。
Ｑｊ＝Ｑ０＋３１／ｒ×（Ｓｊ−１−Ｔｘ×（ｊ−１）／ＭＢｃｎｔ）      （５）
ここで、Ｑｊはｊ番目のマクロブロックの量子化幅、Ｑ０はピクチャ先頭の量子化幅、ｒはビットレートに依存するリアクションパラメータ、Ｓｊはピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量の累算値、Ｔｘは各ピクチャタイプにおける１ピクチャ当たりの目標ビット量、（ｊ−１）はマクロブロック数、ＭＢｃｎｔは１ピクチャ内の総マクロブロック数を表す。
【００１９】
以上のように、実施の形態１によれば、入力画像シーケンスをその番組のジャンル情報と対応付けて、番組の記録時間内の所定時間単位の符号化難易度の統計情報を基に、効率よくビット量を割り当てて符号化を行うようにしているので、経過時間に関わらず平均して高画質な符号化画像を得ることができる。
【００２０】
実施の形態２．
上記実施の形態１では、符号化難易度の経過時間における推移をジャンル毎に統計情報テーブルとして予め備えていることについて説明したが、この実施の形態２では、画像符号化部２によって実際に符号化を行った結果得られる情報を基にこの統計情報を蓄積していくことについて述べる。
図４はこの発明の実施の形態２による画像記録装置の全体構成を表すブロック図である。図において、符号化制御部９が出力するマクロブロック単位の発生ビット量ｓ11とマクロブロック量子化幅のピクチャ当たりの平均値ｓ12を情報量配分統計部７にも入力するようにしている点が図１の構成と異なる。
【００２１】
次に、実施の形態１と異なる点の動作について説明する。
情報量配分統計部７は、番組のジャンルに基づいて記録時間内の所定時間毎の符号化難易度の推移を統計情報テーブルとして有しているが、それに加えて実際の符号化を行って得られるピクチャ単位の発生ビット量ｓ11とマクロブロック量子化幅のピクチャ当たりの平均値ｓ12を用いて、符号化難易度を算出する。図５に量子化幅と発生ビット量の関係の一例を示す。図５に示したように、量子化幅と発生ビット量の関係は符号化難易度に応じて決まるため、ピクチャ単位の発生ビット量ｓ11とマクロブロック量子化幅のピクチャ当たりの平均値ｓ12を、事前に備えてあるテーブルで使用した固定のマクロブロック量子化幅に換算し、符号化難易度を求める。この符号化難易度をジャンル情報ｓ7と関連付けて、新たな符号化難易度の統計情報として情報量配分統計部７に蓄積していく。以降の情報量配分計算部８および符号化制御部９は、実施形態１と同様の動作を行う。
【００２２】
以上のように、この実施の形態２によれば、番組のジャンル情報と対応付けた符号化難易度の統計情報を、記録を行うたびに算出して蓄積するようにしたので、統計情報の精度を上げていくことができる。
【００２３】
実施の形態３．
上記実施の形態２では、画像符号化部２によって実際に符号化を行った結果得られる情報を基に符号化難易度の統計情報を蓄積するようにしていた。画像記録部３によって記録媒体４に記録を行わない場合でも、新たな統計情報を蓄積する方法がある。
画像信号ｓ1とＥＰＧｓ4が入力されている場合、ある固定のマクロブロック量子化幅と画像符号化部２が備える符号化パラメータを用いて画像符号化のみを行い、これによって、実施の形態２と同様に符号化難易度を求める。この求めた符号化難易度をジャンル情報ｓ7と関連付けて、新たな統計情報として情報量配分統計部７に蓄積していくようにすればよい。
【００２４】
以上のように、実施の形態３によれば、画像信号とＥＰＧが入力されていれば、ユーザの操作を必要とせずに番組のジャンル情報と対応付けた符号化難易度の統計情報を蓄積するので、さらに統計情報の精度を上げていくことができる。
【図面の簡単な説明】
【００２５】
【図１】この発明の実施の形態１による画像記録装置の全体構成を表すブロック図である。
【図２】この発明の実施の形態１に係るジャンル情報の一例を示す説明図である。
【図３】この発明の実施の形態１に係るジャンル毎の符号化難易度の推移例を示す説明図である。
【図４】この発明の実施の形態２による画像記録装置の全体構成を表すブロック図である。
【図５】この発明の実施の形態２に係る量子化幅と発生ビット量の関係の例を示す説明図である。
【符号の説明】
【００２６】
１  画像前処理部、２  画像符号化部、３  画像記録部、４  記録媒体、５  付加情報解析部、６  セレクタ、７  情報量配分統計部、８  情報量配分計算部、９  符号化制御部。
【図１】
2006314048.tif 000003
【図２】
2006314048.tif 000004
【図３】
2006314048.tif 000005
【図４】
2006314048.tif 000006
【図５】
2006314048.tif 000007