(57)【要約】【課題】  動画像全体の画質が均質で最良となるように、記録媒体の記録可能容量に応じて、ビットストリームを可変ビットレートで記録できるようにする。【解決手段】入力動画像信号を第１のビットレートに圧縮符号化する第１の符号化器５１と、第１の符号化器５１による符号化時の圧縮度に対応する第１の符号化情報を第１の圧縮データに多重する多重回路５３と、多重化データを記録媒体５７に書き込む手段５５と、記録媒体５７から多重化データを再生する手段５９と、再生された多重化データを第１の符号化情報と第１の圧縮データに分離する分離回路２００と、分離された第１の圧縮データから第２の符号化情報に基づいて可変ビットレートの第２の圧縮データを生成する第２の符号化手段２０５，２２０と、第２の圧縮データの目標総データ量に基づいて第１の符号化情報を第２の符号化情報に変換して第２の符号化手段２２０に与える制御回路２１０とを有する。【選択図】        図３
2008182723.tif 000002
【特許請求の範囲】
【請求項１】
第１の記録媒体と、前記第１の記録媒体よりも記録可能容量の小さい第２の記録媒体と、入力動画像信号を第１のビットレートの第１の圧縮データに圧縮符号化する第１の符号化手段と、前記第１の圧縮データを前記第１の記録媒体に記録する第１の記録手段と、前記第１の圧縮データを復号し復号画像信号を生成する復号手段と、前記復号画像信号を前記第２のビットレートの第２の圧縮データに圧縮符号化する第２の符号化手段と、前記第２の圧縮データを前記第２の記録媒体に記録する第２の記録手段とを備え、
前記第２の符号化手段は、前記復号手段からの復号画像信号を前記第１のビットレートよりも小さい第２のビットレートで、且つ前記第２の圧縮データの総データ量が前記第２の記録媒体の記録可能容量よりも小さくなるように符号化することを特徴とする記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送等の動画像を容量に制限のある記録媒体に記録する記録装置に関する。
【背景技術】
【０００２】
動画像信号の圧縮符号化方式として、Ｈ．２６１規格、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格等の標準が提案されている。これらの方式では、動き補償付き予測符号化、変換符号化、可変長符号化等の周知の技術が取り入れられている。
【０００３】
例えば、ＭＰＥＧ規格では、前方予測符号化、後方予測符号化、双方向予測符号化が行われる。このため、時間的に後の画面や時間的に前の画面との差分をとる必要があり、図６のように、まず、ビデオ信号の並び変え(10)が行われる。
【０００４】
次に、動き補償の単位である１６×１６画素のマクロブロックに分割するマクロブロック化(11)が行われ、さらに、時間的に後の画面や時間的に前の画面で最も良く一致するとして検索された領域との差分がとられる(23)。なお、イントラマクロブロックの場合は差分はとられず、そのままＤＣＴ12に入力される。
【０００５】
上記差分値又はイントラマクロブロックは、８×８画素のブロック単位でＤＣＴ変換されて(12)、８×８の係数行列とされる。また、この８×８の係数行列の各係数Ｃijが各々量子化される(13)。ここで、量子化とは、各係数Ｃijに固有の定数Ｋij（量子化行列テーブルで与えられる定数）に量子化サイズＱＳを乗算した値で、各係数Ｃijを除算して、余りを丸める処理をいう。これにより、上記係数行列の高周波項の係数が削減されてデータ量が大きく圧縮される。この圧縮データが可変長符号化(15)されて、バッファ16に入力される。
【０００６】
一方、上述の時間的に後の画面や時間的に前の画面は、逆量子化17及び逆ＤＣＴ18により再現されて、画像メモリ19に格納されている。なお、逆量子化17及び逆ＤＣＴ18されるデータが前述の差分値の場合は、画像メモリ19内のデータが加算されて(24)、上述の時間的に後の画面や時間的に前の画面が再現される。この画像メモリ19内の再現画面内で、カレントマクロブロック（減算(23)対象のマクロブロック）と最も良く一致する領域が検索される。これを、動き検出(22)といい、この動きを考慮して減算(23)することを動き補償(20)という。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述のように、量子化は、
Ｃij／（Ｋij×ＱＳ）
のように行われる。つまり、量子化サイズＱＳを大きくすると、高周波項の係数の削減度が大きくなって、データの圧縮度が大きくなる。従来の動画像の圧縮符号化方式では、圧縮符号化後のビットストリームは固定ビットレートとされている。つまり、可変長符号化(15)後のビットストリームがビットレート制御部14によって監視され、ビットレートの検出値が目標の値となるように、前記量子化サイズＱＳが制御されている。
【０００８】
近年、バッファサイズの改良等により、可変ビットレートのビットストリーム出力が許容されるようになっている。つまり、バッファ16の出力として、可変ビットレートのビットストリームが許容されるようになっている。図５は可変ビットレートのソフトのヒットレートの時間的な推移を示す。この可変ビットレートのビットストリームを、例えば、ホ
ームビデオ等にデジタル記録したい場合、記録媒体の記録容量との関係で、ビットレート制御が問題となる。即ち、従来はビットレートが固定であったため、番組の記録時間が判っていれば、記録媒体に必要な記録容量は、
ビットレート×記録時間
として求めることが可能であった。
【０００９】
しかし、可変ビットレートで記録する場合には、全符号量を予め知ることができず、記録媒体の記録可能容量をオーバーする恐れがある。また、記録媒体の容量をオーバーしないように平均の圧縮度を高めに設定すると、動画像の全体の画質が低下するという問題が生ずる。これは、可変ビットレートが、動画像の全体の画質を改善する目的で導入されたという経緯からも、避けたいことである。
【００１０】
本発明は上記の事情に鑑みたものであり、動画像全体の画質が均質で最良となるように、記録媒体の記録可能容量に応じて、ビットストリームを可変ビットレートで記録できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、第１の記録媒体と、前記第１の記録媒体よりも記録可能容量の小さい第２の記録媒体と、入力動画像信号を第１のビットレートの第１の圧縮データに圧縮符号化する第１の符号化手段と、前記第１の圧縮データを前記第１の記録媒体に記録する第１の記録手段と、前記第１の圧縮データを復号し復号画像信号を生成する復号手段と、前記復号画像信号を前記第２のビットレートの第２の圧縮データに圧縮符号化する第２の符号化手段と、前記第２の圧縮データを前記第２の記録媒体に記録する第２の記録手段とを備え、前記第２の符号化手段は、前記復号手段からの復号画像信号を前記第１のビットレートよりも小さい第２のビットレートで、且つ前記第２の圧縮データの総データ量が前記第２の記録媒体の記録可能容量よりも小さくなるように符号化することを特徴とする。
【発明の効果】
【００１２】
動画像全体の画質が均質で最良となるように、記録媒体の記録可能容量に応じて符号化することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００１４】
図１を参照しながら説明する。
【００１５】
この実施例は、放送系の動画像信号に推奨ビットレート等の符号化情報が多重されている場合である。例えば、動画像信号がＮＴＳＣ信号であれば、上記符号化情報は、垂直帰線期間（垂直ブランキング期間）内や、第１画素列及び／又は最終画素列（通常は非表示）に挿入されたり、或いは、映像信号中に多重されており、これが、分離回路１００にて分離される。
【００１６】
ここで、各画面もしくは各場面の各推奨ビットレートは、当該動画像全体の目標平均ビットレートや目標総データ量（＜目的の記録媒体の容量）に対応付けられていることが望ましい。例えば、或る任意の場面の推奨ビットレートは、目標平均ビットレートが２Mbpsの場合、３Mbpsの場合、４Mbpsの場合、５Mbpsの場合等のように、各目標平均ビットレートに各々対応付けて多重もしくは挿入されていることが望ましい。その理由は、ビットストリーム中には、ビットレートにかかわらずデータ量が不変のデータ（動きベクトルデータ，ヘッダデータ等）が含まれており、且つ、その統計的な分布も一様ではないため、例えば、目標平均ビットレートが２Mbpsの場合の或る場面の推奨ビットレートを単純に２倍したとしても、目標平均ビットレートが４Mbpsの場合の当該或る場面の推奨ビットレート
には合致しないためである。
【００１７】
分離回路１００にて分離された動画像信号は符号化器１２０へ送られ、一方、符号化情報はビットレート制御回路１１０へ送られる。符号化器１２０は、動画像信号を所定の方式で圧縮符号化して、圧縮符号化データのビットストリームを出力する回路であり、例えば、ＤＣＴ回路、量子化回路、可変長符号化回路、局部復号回路（逆量子化回路、逆ＤＣＴ回路）、フレームメモリ、動き補償付き予測回路等で構成される。ビットレート制御回路１１０は、符号化器１２０が出力するビットストリームのビットレートが各画面もしくは各場面の符号化情報に対応するビットレートになるように、上記量子化回路と上記逆量子化回路での各場面もしくは各場面の量子化ステップ幅を制御する。符号化情報として推奨ビットレートではなく推奨量子化ステップ幅が与えられている場合には、その推奨量子化ステップ幅がそのまま用いられる。
【００１８】
なお、符号化情報は、各画面毎に多重又は挿入される場合や、各場面もしくは数枚〜数十枚の画面を単位とする各場面毎に多重又は挿入される場合がある。後者の場合であれば、多重又は挿入されている符号化情報をメモリの所定の領域に記憶しておき、順に読み出して上述の制御に供すればよい。
【実施例２】
【００１９】
図２を参照しながら説明する。
【００２０】
この実施例は、ディスク等の記録媒体に記録されている動画像信号を再生して圧縮符号化する場合であり、推奨ビットレート等の符号化情報は、各画面の先頭毎に記録されている場合、数枚〜数十枚の画面を単位とする各場面の先頭に記録されている場合の他、リードインエリアや、当該動画像信号（プログラム）の先頭に記録されている場合もある。
【００２１】
分離回路以降の構成は実施例１と同様であるため、説明は省略して、実施例１と同一の符号にて示した。
【実施例３】
【００２２】
図３を参照しながら説明する。
【００２３】
この実施例では、図中の第１の符号化器５１及び第２の符号化器２２０として、ＤＣＴ回路と、該ＤＣＴ回路による変換後のＤＣＴ係数を量子化する回路を備えた符号化器（例：ＭＰＥＧエンコーダ等）を想定している。
【００２４】
この実施例では、動画像信号を固定の量子化ステップ幅で第１のビットストリームに圧縮符号化して第１の記録媒体（大容量の記録媒体）に記録した後、該第１の記録媒体を読み出して動画像データに復号し、復号後の動画像データを各画面もしくは各場面に最適なビットレートの第２のビットストリームに圧縮符号化して、第２の記録媒体（比較的小容量の記録媒体）に記録している。
【００２５】
各画面もしくは各場面に最適なビットレートとは、動画像の全体を通して各画面もしくは各場面の主観的な画質（視聴者に感じられる画質）が略一様になるように制御されたビットレートである。換言すれば、視聴者の目に画質の劣化が目立ち難い画面もしくは場面（動きの速い場面等）では圧縮度を上げて発生ビット量を減らし、劣化が目立ち易い画面もしくは場面（動きの遅い場面等）では圧縮度を下げて発生ビット量を増やすように制御されたビットレートである。
【００２６】
このため、実施例３では、第１のビットストリームの総データ量と第２のビットストリームの目標総データ量（＜第２の記録媒体の記録可能容量）に基づいて、各画面もしくは各場面の発生ビット量が決定され、各画面もしくは各場面のビットレートが制御される。例えば、第２のビットストリームの目標総データ量が第１のビットストリームの総データ量の半分であれば、各画面もしくは各場面の発生ビット量が各々第１のビットストリームの半分となるように、各画面もしくは各場面のビットレートが制御される。
【００２７】
受信機から入力される動画像信号は、まず、第１の符号化器５１で圧縮符号化され、この圧縮符号化されたビットストリームに、多重化回路５３にて符号化情報が多重されるとともに、当該ビットストリームの総データ量情報が付加される。こうして、第１のビットストリームが生成される。この第１のビットストリームが書込装置５５によって第１の記録媒体５７に記録される。符号化情報としては、本実施例３では、各画面もしくは各場面の発生ビット量情報が用いられる。
【００２８】
記録媒体５７に記録された第１のビットストリームは、読出装置５９によって読み出される。この時、前記総データ量情報が最初に読み出される。読み出された第１のビットストリームは、分離回路２００にて、前記総データ量情報及び前記発生ビット量情報と、残りのデータとに分離される。分離された前記総データ量情報及び前記発生ビット量情報はビットレート制御回路２１０へ送られ、一方、前記残りのデータは復号器２０５へ送られる。
【００２９】
復号器２０５では、前記残りのデータが動画像データに復号される。この復号のパラメータとしては、前記第１の符号化器５１で用いられたパラメータが用いられる。復号された動画像データは第２の符号化器２２０へ送られる。第２の符号化器２２０では、ビットレート制御回路２１０から随時送られて来るパラメータに従って圧縮符号化が行われる。このパラメータは、各画面もしくは各場面の発生ビット量が、前記総データ量情報及び前記発生ビット量情報と、第２のビットストリームの目標総データ量とで定まる値となるように、前述のようにしてビットレート制御回路２１０にて決定されたパラメータである。
【００３０】
このようにして生成された第２のビットストリームは、第２の書込装置６１によって第２の記録媒体６３に記録される。なお、上述の説明から明らかなように、第１の記録媒体５７としては大容量の記録媒体が必要であるが、第２の記録媒体６３では、第１の記録媒体５７ほどの記録容量は必要とされない。
【実施例４】
【００３１】
図３を参照しながら説明する。
【００３２】
この実施例は、実施例３と同じブロック図によって記述される。
【００３３】
本実施例４が前記実施例３と異なる点は、第１のビットストリームを可変ビットレートではなく固定ビットレートになるように生成し、且つ、符号化情報として、第１のビットストリームの各画面もしくは各場面の発生ビット量ではなく、各マクロブロックの量子化ステップ幅と第１のビットストリーム全体の平均の量子化ステップ幅を用いている点である。
【００３４】
周知のように、固定ビットレートのビットストリームを出力する圧縮符号化器では、ＤＣＴ・量子化・可変長符号化後のビットストリームのビットレートが目標ビットレートになるように、量子化ステップ幅を制御している。つまり、検出されるビットレートが目標ビットレートより大きければ量子化ステップ幅を大きくして圧縮度を上げ、検出されるビットレートが目標ビットレートより小さければ量子化ステップ幅を小さくして圧縮度を下げている。したがって、量子化ステップ幅と発生ビット量には相関がある、この相関を利用して、本実施例４では、第２のビットストリームのビットレートを最適に制御している。
【００３５】
例えば、第１のビットストリームの量子化ステップ幅の平均値が１０であった場合、第１のビットストリームに於いて量子化ステップ幅が１５であった領域では、第２のビットストリームの発生ビット量が第２のビットストリームの平均の発生ビット量の１．５倍となるように制御し、また、第１のビットストリームに於いて量子化ステップ幅が５であった領域では、第２のビットストリームの発生ビット量が第２のビットストリームの平均の発生ビット量の半分となるように制御すればよい。
【００３６】
なお、本実施例４では、第１のビットストリームが固定ビットレートであるため、その総データ量を、
第１のビットレート×記録時間
として求めることができる。
【００３７】
また、第２のビットストリームの平均の発生ビット量は、
第２のビットストリームの総データ量÷記録時間
として求めることができる。
【実施例５】
【００３８】
図４（ａ）を参照しながら説明する。
【００３９】
実施例５では、放送局から送信するビデオ信号に、符号化情報として各画面もしくは各場面の発生ビット量と総データ量を多重している。このため、前記実施例３と同様に、固定の量子化ステップ幅を用いてビデオ信号が圧縮符号化され、その際、各画面もしくは各場面の発生ビット量が観測される。また、上記圧縮符号化データの総データ量が演算される。これらが、ビデオ信号に多重されて送信される。多重は、前記実施例１と同様に、垂直帰線期間（垂直ブランキング期間）内や、第１画素列及び／又は最終画素列（通常は非表示）に挿入することで、また、映像信号中に多重することで行われ得る。なお、総データ量は、送信の先頭に付加される。
【００４０】
また、ビデオ信号ではなく、ビデオ信号を圧縮符号化したビットストリームに上記の符号化情報を多重して送信してもよい。
【実施例６】
【００４１】
図４（ｂ）を参照しながら説明する。
【００４２】
実施例６では、放送局から送信するビデオ信号に、符号化情報として各マクロブロックの量子化ステップ幅と平均の量子化ステップ幅を多重している。このため、前記実施例４と同様に、ビデオ信号が固定ビットレートのビットストリームに圧縮符号化される。その際、各マクロブロックの量子化ステップ幅が記憶され、また、平均の量子化ステップ幅が演算される。これらが、ビデオ信号の垂直帰線期間（垂直ブランキング期間）内や、第１画素列及び／又は最終画素列（通常は非表示）に挿入されたり、ビデオ信号中に多重されて送信される。
【００４３】
なお、ビデオ信号ではなく、ビデオ信号を圧縮符号化したビットストリームに上記の符号化情報を多重して送信してもよい。
【図面の簡単な説明】
【００４４】
【図１】実施例１の概略構成を示すブロック図。
【図２】実施例２の概略構成を示すブロック図。
【図３】実施例３及び４の概略構成を示すブロック図。
【図４】（ａ）は実施例５の概略構成を示すブロック図、（ｂ）は実施例６の概略構成を示すブロック図。
【図５】可変ビットレートのソフトのビットレートの推移を示す説明図。
【図６】ＭＰＥＧエンコーダを示すブロック図。
【符号の説明】
【００４５】
５１  第１符号化器
５３  多重回路
５５  書込装置
５７  第１記録媒体
５９  読出装置
２００  分離回路
２０５  復号化器
２１０  ビットレート制御回路
２２０  第２符号化器
６１  書込装置
６３  第２記録媒体
【図１】
2008182723.tif 000003
【図２】
2008182723.tif 000004
【図３】
2008182723.tif 000005
【図４】
2008182723.tif 000006
【図５】
2008182723.tif 000007
【図６】
2008182723.tif 000008