(57)【要約】【課題】  ２パス方式の可変ビットレートの符号化処理において、ビデオ信号の入力を１回とする。【解決手段】  入力ビデオ信号Ｓ21を所定のビットレートで第１段階の符号化処理をするとともに、単位時間ごとの符号化難易度ｄを求める回路２２と、その符号化ビデオ信号Ｓ22を保存する記録媒体２３とを設ける。符号化難易度ｄのデータから第２段階の符号化処理を行うときの単位時間ごとのビット割り当て量ｂを計算する回路２８と、記録媒体２３に保存された符号化ビデオ信号Ｓ22を、入力ビデオ信号Ｓ21に相当するビデオ信号Ｓ24に復号化処理をする回路２４とを設ける。復号化処理のされたビデオ信号Ｓ24に対して、回路２８により計算されたビット割り当て量ｂにしたがって第２段階の符号化処理を行う回路２５を設ける。回路２５から２パス方式の可変ビットレートの符号化処理のされたビデオ信号Ｓ25を取り出す。【選択図】  図１
2005064790.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像信号を２パス方式により符号化処理する装置において、
上記入力動画像信号を所定のビットレートで第１段階の符号化処理をするとともに、その単位時間ごとの符号化難易度を求める第１の回路と、
上記第１段階の符号化処理のされた符号化動画像信号を保存する記録媒体と、
上記符号化難易度のデータから第２段階の符号化処理を行うときの単位時間ごとのビット割り当て量を計算する第２の回路と、
上記記録媒体に保存された上記符号化動画像信号を、上記入力動画像信号に相当する動画像信号に復号化処理をする第３の回路と、
この第３の回路により復号化処理のされた動画像信号に対して、上記第２の回路により計算された上記ビット割り当て量にしたがって上記第２段階の符号化処理を行う第４の回路と
を有し、
上記第４の回路から出力される符号化動画像信号を上記２パス方式の符号化処理の出力として取り出す
ようにした動画像信号の符号化装置。
【請求項２】
請求項１に記載の符号化装置において、
上記符号化難易度のデータを、上記記録媒体と同一あるいは別の記録媒体にいったん保存する
ようにした動画像信号の符号化装置。
【請求項３】
請求項１あるいは請求項２に記載の符号化装置において、
上記第１の回路と、上記第４の回路とを兼用する
ようにした動画像信号の符号化装置。
【請求項４】
入力動画像信号を２パス方式により符号化処理する場合において、
上記入力動画像信号を所定のビットレートで第１段階の符号化処理をするとともに、その単位時間ごとの符号化難易度を求め、
上記第１段階の符号化処理のされた符号化動画像信号を記録媒体に保存し、
上記符号化難易度のデータから第２段階の符号化処理を行うときの単位時間ごとのビット割り当て量を計算し、
上記記録媒体に保存された上記符号化動画像信号を、上記入力動画像信号に相当する動画像信号に復号化処理をし、
この復号化処理のされた動画像信号に対して、上記計算されたビット割り当て量にしたがって上記第２段階の符号化処理を行い、
この第２段階の符号化処理をした符号化動画像信号を出力として取り出す
ようにした動画像信号の符号化方法。
【請求項５】
入力動画像信号を２パス方式により符号化処理して記録する装置において、
上記入力動画像信号を所定のビットレートで第１段階の符号化処理をするとともに、その単位時間ごとの符号化難易度を求める第１の回路と、
上記第１段階の符号化処理のされた符号化動画像信号を保存する記録媒体と、
上記符号化難易度のデータから第２段階の符号化処理を行うときの単位時間ごとのビット割り当て量を計算する第２の回路と、
上記記録媒体に保存された上記符号化動画像信号を、上記入力動画像信号に相当する動画像信号に復号化処理をする第３の回路と、
この第３の回路により復号化処理された動画像信号に対して、上記第２の回路により計算された上記ビット割り当て量にしたがって上記第２段階の符号化処理を行う第４の回路と、
この第４の回路から出力される符号化動画像信号を別の記録媒体に記録する
ようにした動画像信号の記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像信号、特にデジタルビデオ信号を２パス方式により可変ビットレートで符号化処理する符号化装置およびその符号化方法と、それらを用いた記録装置とに関する。
【背景技術】
【０００２】
動画像信号としてビデオ信号が一般的であるが、アナログビデオ信号をデジタルビデオ信号に変換すると、データ量がきわめて多くなる。したがって、デジタルビデオ信号を記憶容量の小さい記録媒体に長時間にわたって記録する場合には、そのデジタルビデオ信号を高能率符号化することが不可欠となる。
【０００３】
このような要求を満たす高能率符号化方法として、ビデオ信号の相関性を利用した符号化方法が提案されており、その一つにＭＰＥＧ方式がある。このＭＰＥＧ方式は、動き補償予測符号化、と離散コサイン変換（ＤＣＴ）符号化とを組み合わせたハイブリッド方式である。
【０００４】
すなわち、ＭＰＥＧ方式は、まず、ビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を低減し、次に、離散コサイン変換を用いることにより空間軸方向の冗長度を低減するものであり、ビデオ信号を能率よく符号化することができる。
【０００５】
ところで、ビデオ信号は一般に定常的ではなく、各フレームの情報量は時間の経過に伴って変化する。このため、可変ビットレートの符号化処理によりビデオ信号を符号化すると、固定ビットレートの符号化処理の場合に比べ、同じデータ量でより高画質となることが知られている。
【０００６】
また、近年、ＤＶＤ録画再生装置やデジタルムービーカメラ（ＤＶ録画装置一体型カメラ）の普及により、ビデオ信号の編集や複製が日常的に行われるようになり、高画質化の要求が高まっている。例えば、いわゆるDVD-videoに記録されるビデオ信号の符号化には、一般に２パス方式の可変ビットレート符号化を使用し、記録媒体の容量を有効に使うようにしている。
【０００７】
図５は、２パス方式の可変ビットレート符号化方法を適用したビデオ信号の符号化装置の構成例を示し、図６は、その符号化処理のフローチャートを示す。
【０００８】
すなわち、図５において、入力ビデオ信号Ｓ11を入力端子１１から第１の動画像符号化回路１２に供給してビットレートを固定した状態で動画像符号化処理を行い、固定ビットレートの符号化ビデオ信号を生成するとともに、入力ビデオ信号Ｓ11の単位時間（例えばフレーム期間）ごとに、その生成された符号化ビデオ信号から符号化難易度ｄを求める（図６のステップ１０１）。ただし、このとき生成された符号化ビデオ信号は、符号化難易度ｄを求めたら破棄する。
【０００９】
次に、動画像符号化回路１２により求めた符号化難易度ｄのデータを、割り当てビット量計算回路１３に供給し、符号化難易度ｄに対する単位時間ごとの割り当てビット量ｂを算出する（ステップ１０２）。
【００１０】
この場合、基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化するときの符号化難易度（単位時間ごとの符号化難易度）ｄと、割り当てビット量ｂとを関係づけておく。また、基準となる動画像シーケンスに対する単位時間ごとの割り当てビット量ｂの総和は、目的とする記録時間と、平均ビットレートとの積以下とする。
【００１１】
図７は、その符号化難易度ｄと割り当てビット量ｂとの関係を示す。この図７において、曲線ｈ(d)は、基準となる動画像シーケンス内で符号化難易度ｄの出現確率を示す。そして、任意の符号化難易度ｄに対する割り当てビット量ｂは、関数ｂ(d)に基づいて求める。
【００１２】
この関数ｂ(d)は、多くの動画像シーケンス（例えば映画のビデオ信号）を所定の平均ビットレートで符号化するとともに、その画質を評価するという試行錯誤を通じて実験的・経験的に求めたものであり、ほとんどの動画像シーケンスに適応可能な一般的な関数である。なお、関数ｂ(d)の求め方については、例えば「特願平７−３１１４１８号」の明細書および図面に示されている。
【００１３】
こうして、関数ｂ(d)を用いて、入力ビデオ信号Ｓ11に対して、単位時間ごとに割り当てビット量ｂを求める。
【００１４】
次に、もとの入力ビデオ信号Ｓ11を第２の動画像符号化回路１４に供給するとともに、割り当てビット量計算回路１３により求めた割り当てビット量ｂのデータを動画像符号化回路１４に供給し、入力ビデオ信号Ｓ11を、単位時間ごとに、割り当てビット量ｂになるように符号化し、その符号化ビデオ信号Ｓ14を出力端子１５に取り出す（ステップ１０３）。
【００１５】
したがって、この取り出された符号化ビデオ信号Ｓ14は、入力ビデオ信号Ｓ11を、最適な割り当てビット量ｂで可変ビットレート符号化した符号化ビデオ信号となる。
【００１６】
この符号化方式は、もとの入力ビデオ信号Ｓ11を固定ビットレートで符号化して符号化難易度ｄを求め（第１段階の符号化処理）、この符号化難易度ｄに基づいてもとの入力ビデオ信号Ｓ11を改めて可変ビットレートで符号化（第２段階の符号化処理）しているので、２パス方式である。
【００１７】
なお、上記の技術に関連する資料として例えば下記の文献がある。
【特許文献１】特開平９−１８８７２号公報
【特許文献２】特開平９−１８８７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述したように２パス方式の可変ビットレート符号化方式においては、同じ入力ビデオ信号Ｓ11を第１の動画像符号化回路１２に供給し、その後、第２の動画像符号化回路１４にも供給する必要がある。もちろん、第１の動画像符号化回路１２と、第２の動画像符号化回路１４とは、同一の回路を兼用することができるが、同じ入力ビデオ信号Ｓ11を２度にわたって動画像符号化回路１２、１４に供給する必要がある。
【００１９】
しかし、一般の家庭において、地上波放送や衛星放送などを記録する場合に、同じビデオ信号を２度にわたって動画像符号化回路１２、１４に供給することは非常に困難である。
【００２０】
この発明は、このような問題点を解決しようとするものである。
【課題を解決するための手段】
【００２１】
この発明においては、
入力動画像信号を２パス方式により符号化処理する装置において、
上記入力動画像信号を所定のビットレートで第１段階の符号化処理をするとともに、その単位時間ごとの符号化難易度を求める第１の回路と、
上記第１段階の符号化処理のされた符号化動画像信号を保存する記録媒体と、
上記符号化難易度のデータから第２段階の符号化処理を行うときの単位時間ごとのビット割り当て量を計算する第２の回路と、
上記記録媒体に保存された上記符号化動画像信号を、上記入力動画像信号に相当する動画像信号に復号化処理をする第３の回路と、
この第３の回路により復号化処理のされた動画像信号に対して、上記第２の回路により計算された上記ビット割り当て量にしたがって上記第２段階の符号化処理を行う第４の回路と
を有し、
上記第４の回路から出力される符号化動画像信号を上記２パス方式の符号化処理の出力として取り出す
ようにした動画像信号の符号化装置
とするものである。
【発明の効果】
【００２２】
この発明によれば、入力動画像信号の符号化難易度に応じた最適な割り当てビット量で可変ビットレート符号化処理を行うことができる。また、２パス方式でありながら、同じ動画像信号を２度にわたって必要とすることがなく、したがって、一般の家庭において、地上波放送や衛星放送などを容易に記録することができる。さらに、第２段階の符号化処理の処理速度を高速化することができる。
【発明を実施するための最良の形態】
【００２３】
１．第１の実施例
図１は、この発明による２パス方式の可変ビットレート符号化方法を適用したビデオ信号の記録装置の一例を示し、図２は、その記録処理のフローチャートを示す。
【００２４】
すなわち、図１において、入力ビデオ信号Ｓ21を入力端子２１から第１の動画像符号化回路２２に供給してビットレート（量子化ステップサイズ）を固定した状態で動画像符号化処理を行って固定ビットレートの符号化ビデオ信号（符号化ビットストリーム）Ｓ22を生成するとともに、入力ビデオ信号Ｓ21の単位時間（例えばフレーム期間）ごとに、その生成された符号化ビデオ信号Ｓ22から符号化難易度ｄを求める（図２のステップ２０１）。
【００２５】
ここで、入力ビデオ信号Ｓ21の符号化難易度ｄの計算は、
Ｑ：単位時間ごとの動画像符号化処理時の量子化ステップ
Ｇ：単位時間ごとの符号化動画信号の生成量
とすると、
ｄ＝Ｑ×Ｇ
とされる。ただし、この式を満たしていれば、動画像符号化処理時のビットレートは可変してもよい。
【００２６】
そして、動画像符号化回路２２により生成された符号化ビデオ信号Ｓ22を、ＨＤＤなどの記録媒体２３にいったん保存するとともに、動画像符号化回路２２により生成された符号化難易度ｄのデータは、メモリなどの記録媒体２７にいったん保存する（ステップ２０２）。
【００２７】
次に、記録媒体２７に保存した符号化難易度ｄのデータを、割り当てビット量計算回路２８に供給し、符号化難易度ｄに対する単位時間ごとの割り当てビット量ｂを算出する（ステップ２０３）。この割り当てビット量ｂの算出方法は、図５〜図７により述べたとおりである。
【００２８】
こうして、関数ｂ(d)を用いて、入力ビデオ信号Ｓ21に対して、単位時間ごとに割り当てビット量ｂを求める。
【００２９】
続いて、記録媒体２３に保存した符号化ビデオ信号Ｓ22を動画像復号化回路２４に供給してもとの入力ビデオ信号Ｓ21に相当するビデオ信号Ｓ24を復号化する（ステップ２０４）。この場合、図７の関係に基づいて、復号化したビデオ信号Ｓ24の単位時間の符号化難易度ｄに対して、割り当てビット量ｂを与える。
【００３０】
次に、動画像復号化回路２４から出力されるビデオ信号Ｓ24を第２の動画像符号化回路２５に供給するとともに、割り当てビット量計算回路２８により求めた割り当てビット量ｂのデータを動画像符号化回路２５に供給し、ビデオ信号Ｓ24を、単位時間ごとに、割り当てビット量ｂになるように符号化する（ステップ２０５）。
【００３１】
したがって、動画像符号化回路２５からは、入力ビデオ信号Ｓ21を、最適な割り当てビット量ｂで可変ビットレート符号化した符号化ビデオ信号Ｓ25が出力されることになるので、この符号化ビデオ信号Ｓ25を記録媒体２６に記録する（ステップ２０６）。なお、この記録媒体２６は、ＨＤＤ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＤＶＤ−ＲＡＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、Blu-ray Disc、ＡＯＤなどとすることができる。
【００３２】
こうして記録された符号化ビデオ信号Ｓ25は、通常の再生装置および再生方法により再生することができるので、それらについては、説明は省略する。
【００３３】
こうして、この記録装置によれば、入力ビデオ信号Ｓ21を高能率符号化処理して記録することができるが、この場合、入力ビデオ信号Ｓ21に対する符号化処理を２パス方式の可変ビットレートの符号化処理としているので、入力ビデオ信号Ｓ21の符号化難易度に応じた最適な割り当てビット量で可変ビットレートの符号化処理を行うことができる。
【００３４】
また、動画像符号化回路２２により符号化難易度ｄを求めるときに得られる固定ビットレートの符号化ビデオ信号Ｓ22を、破棄しないで記録媒体２３にいったん保存し、この保存した符号化ビデオ信号Ｓ22から目的とする可変ビットレートの符号化ビデオ信号Ｓ25を形成しているので、２パス方式でありながら、同じ入力ビデオ信号Ｓ21を２度にわたって必要とすることがなく、したがって、一般の家庭において、地上波放送や衛星放送などを容易に記録することができる。
【００３５】
さらに、記録媒体２３にいったん保存した符号化ビデオ信号Ｓ22から目的とする可変ビットレートの符号化ビデオ信号Ｓ25を形成するので、記録媒体２３以降の回路の処理を高速化することができ、目的とする可変ビットレートの符号化ビデオ信号Ｓ25を短時間で得ることができる。
【００３６】
また、記録媒体２３は、符号化処理されたビデオ信号Ｓ22を保存するのであるから、もとの未処理の入力ビデオ信号Ｓ21を保存する場合に比べ、容量を小さくすることができる。
【００３７】
２．第２の実施例
図３は、動画像符号化回路２２から出力される固定ビットレートの符号化ビデオ信号Ｓ22および符号化難易度ｄのデータを記録媒体２３に保存し、動画像符号化回路２５により可変ビットレートの符号化処理を行うとき、固定ビットレートの符号化ビデオ信号Ｓ22および符号化難易度ｄのデータを記録媒体２３から取り出して使用するようにした場合である。なお、このときのフローチャートは図２のそれと同様なので、省略する。
【００３８】
したがって、この装置は、例えば、ＨＤＤと、ＤＶＤ±ＲＷやＤＶＤ−ＲＡＭのドライブとを有する記録再生装置に適用することができる。また、例えば、子供の成長記録をＤＶＤ±Ｒなどに入れて配るとき、その複製の作成が容易であるとともに、短時間となる。
【００３９】
さらに、記録媒体２３を、ＤＶＤ±ＲＷなどの取り出し可能な記録媒体とすれば、可変ビットレートの動画像符号化処理を行うために必要な素材を一つにまとめて外部に保存したり、持ち歩くことができる。
【００４０】
３．第３の実施例
デジタルムービーカメラにより撮影したビデオ信号をＤＶＤ±Ｒなどに保存する場合、デジタルムービーカメラから同じビデオ信号を２度にわたって得ることができる。
【００４１】
そこで、図４に示す例においては、まず、デジタルムービーカメラ３０により撮影したビデオ信号Ｓ30をデジタルムービーカメラ３０から再生し、入力端子２１を通じて動画像符号化回路２２に供給し、ビットレートを固定した状態で符号化難易度ｄを求め、この符号化難易度ｄのデータを記録媒体２７に保存する。なお、このとき動画像符号化回路２２において生成された符号化ビデオ信号は破棄する。また、デジタルムービーカメラ３０と入力端子２１との接続は、ＩＥＥＥ１３９４にしたがったものとすることができる。
【００４２】
次に、デジタルムービーカメラ３０から同じビデオ信号Ｓ30を再び再生して動画像符号化回路２５に供給する。また、このとき、記録媒体２７から符号化難易度ｄのデータを取り出して割り当てビット量計算回路２８に供給し、最適な割り当てビット量ｂを求め、この割り当てビット量ｂを動画像符号化回路２５に供給する。こうして、動画像符号化回路２５において、デジタルムービーカメラ３０から２度目に再生されたビデオ信号Ｓ30を、単位時間ごとに、割り当てビット量ｂになるように符号化する。
【００４３】
したがって、動画像符号化回路２５からは、再生ビデオ信号Ｓ30を、最適な割り当てビット量ｂで可変ビットレート符号化した符号化ビデオ信号Ｓ25が出力されることになるので、この符号化ビデオ信号を記録媒体２６に記録する。なお、このときのフローチャートは図２のそれと同様なので、省略する。
【００４４】
そして、この装置の場合には、デジタルムービーカメラ３０から同じビデオ信号Ｓ30を２度にわたって再生するようにしているので、例えば図１の装置における記録媒体２３を省略することができる。
【００４５】
また、記録媒体２７をＤＶＤ±ＲＷなどの取り出し可能な媒体とするとともに、デジタルムービーカメラ３０が撮影に使用したＤＶカセットとをセットで扱うようにすれば、動画像符号化回路２５における第２段階の動画像符号化処理に必要な素材を一つにまとめて保管したり、持ち歩くことが可能となる。したがって、取り扱いが非常に容易な２パス方式の可変ビットレート符号化処理を一般の家庭に提供することができる。
【００４６】
４．その他
上述において、動画像符号化回路２２と動画像符号化回路２５とは兼用とすることができる。また、入力ビデオ信号Ｓ21を動画像符号化処理する方法として、ＤＶ、ＭＰＥＧ２、ＪＶＴなどが適用可能である。さらに、動画像符号化回路２２から出力される符号化難易度ｄのデータを記録媒体２７に保存する代わりに、動画像符号化回路１４が割り当てビット数ｂのデータを使用するまで、遅延させることもできる。
【００４７】
また、上述においては、符号化難易度ｄを求めるときの単位期間をフレーム期間としたが、例えば0.5秒のように、フレーム期間よりも十分に長くすることもできる。そして、その場合には、符号化難易度ｄのデータを保存する記録媒体２７の容量を削減することができる。
【００４８】
〔略語の一覧〕
ＡＯＤ        ：Advanced Optical Disc
ＣＤ          ：Compact Disc
ＣＤ−Ｒ      ：CD Recordable
ＣＤ−ＲＷ    ：CD ReWritable
ＤＣＴ        ：Discrete Cosine Transform
ＤＶ          ：Digital Video
ＤＶＤ        ：Digital Versatile Disc
ＤＶＤ−ＲＡＭ：DVD Random Access Memory
ＤＶＤ±Ｒ    ：DVD Recordable and +Recordable
ＤＶＤ±ＲＷ  ：DVD ReWritable and +ReWritable
ＨＤＤ        ：Hard Disk Drive
ＩＥＥＥ      ：Institute of Electrical and Electronics Engineers
ＪＶＴ        ：Joint Video Team
ＭＰＥＧ      ：Moving Picture Image Coding Experts Group
ＭＰＥＧ２    ：MPEG Phase 2
【図面の簡単な説明】
【００４９】
【図１】この発明の一形態を示す系統図である。
【図２】この発明の一形態を示すフローチャートである。
【図３】この発明の他の形態を示す系統図である。
【図４】この発明の他の形態を示す系統図である。
【図５】この発明を説明するための系統図である。
【図６】この発明を説明するためのフローチャートである。
【図７】この発明を説明するための特性図である。
【符号の説明】
【００５０】
２２および２５…動画像符号化回路、２３、２６および２７…記録媒体、２４…動画像復号化回路、２８…割り当てビット量計算回路
【図１】
2005064790.tif 000003
【図２】
2005064790.tif 000004
【図３】
2005064790.tif 000005
【図４】
2005064790.tif 000006
【図５】
2005064790.tif 000007
【図６】
2005064790.tif 000008
【図７】
2005064790.tif 000009