(57)【要約】【課題】１パス目の符号化後の映像信号に編集を行った場合でも、画質を劣化させずに効率良く２パス目の符号化を実行すること。【解決手段】映像信号符号化装置では、１パス目はスイッチＳＷ７の接続先がａ側にあり、ＤＶビデオデコーダ２がＤＶビデオストリームをＤＶ復号し、ＭＰＥＧビデオエンコーダ１がその映像信号をＭＰＥＧ符号化して符号化制御情報を出力し、ＤＶ多重化処理部３がそれらを多重化して記録媒体４に記録する。そして、再符号化制御情報生成部５は、その符号化制御情報に基づき再符号化制御情報を生成し、２パス目にスイッチＳＷ７の接続先がｂ側になると、ＭＰＥＧビデオエンコーダ１は、再符号化制御情報に基づきＭＰＥＧ符号化を行う。そのため、記録媒体４に記録されたＤＶストリームに対しユーザが編集を行った場合でも、その編集を反映させて２パス目の符号化を行うことができる。【選択図】図１
2008211556.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をＤＶ符号化したＤＶビデオストリームを入力して、ＭＰＥＧビデオストリームを出力する映像信号符号化装置であって、
前記ＤＶビデオストリームを復号して映像信号を出力するＤＶビデオデコーダと、
前記映像信号をＭＰＥＧ符号化してＭＰＥＧ符号化の際の符号化制御情報を出力するＭＰＥＧビデオエンコーダと、
前記ＤＶビデオストリームと前記符号化制御情報とを記録する記録媒体と、
前記記録媒体に記録された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成部と、を有し、
前記ＤＶビデオデコーダは、
前記記録媒体に記録された前記ＤＶビデオストリームを復号して映像信号を出力し、
前記ＭＰＥＧビデオエンコーダは、
前記ＤＶビデオデコーダからの前記記録媒体に記録された前記ＤＶビデオストリームを復号した前記映像信号を前記再符号化制御情報に基づいてＭＰＥＧ符号化し、ＭＰＥＧビデオストリームとして出力する、
ことを特徴する映像信号符号化装置。
【請求項２】
請求項１記載の映像信号符号化装置において、
前記再符号化制御情報生成部は、
前記ＤＶビデオストリームに多重化された前記符号化制御情報に基づいて生成した前記再符号化制御情報を、前記符号化制御情報と置き換える、
ことを特徴する映像信号符号化装置。
【請求項３】
請求項１または請求項２記載の映像信号符号化装置において、
前記再符号化制御情報生成部は、
前記符号化制御情報に含まれる各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行って目標符号量および再符号化平均レートを求め、前記符号化制御情報に含まれる各ピクチャの発生符号量および符号化平均レートを、前記目標符号量および再符号化平均レートに置き換えて前記再符号化制御情報にすることを特徴する映像信号符号化装置。
【請求項４】
映像信号をＤＶ符号化したＤＶビデオストリームを入力して、ＭＰＥＧビデオストリームを出力する映像信号符号化方法であって、
前記ＤＶビデオストリームを復号して映像信号を出力するステップと、
前記映像信号をＭＰＥＧ符号化してＭＰＥＧ符号化の際の符号化制御情報を出力するステップと、
前記ＤＶビデオストリームと前記符号化制御情報とを記録媒体に記録するステップと、
前記記録媒体に記録された前記符号化制御情報に基づいて再符号化制御情報を生成するステップと、
前記記録媒体に記録された前記ＤＶビデオストリームを復号して映像信号を出力するステップと、
前記映像信号を前記再符号化制御情報に基づいてＭＰＥＧ符号化し、ＭＰＥＧビデオストリームとして出力するステップと、
を有することを特徴とする映像信号符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号をＤＶ（Digital Video）符号化したＤＶビデオストリームを入力して、ＭＰＥＧビデオストリームを出力する映像信号符号化装置および映像信号符号化方法に関するものである。
【背景技術】
【０００２】
従来より、ＭＰＥＧ等の符号化方式を採用した、映像信号符号化装置が検討されている。ＭＰＥＧ符号化方式のビデオ規格は、ISO-IEC1172-2,ITU-TH.262/ISO-IEC13818-2に詳細な説明がなされているので、ここでは省略する。
【０００３】
ＭＰＥＧ２では、ＶＢＶの規定を固定転送レート（ＣＢＲ）データだけでは無く、可変転送レート（ＶＢＲ）データに対しても規定を設け、様々な応用に対応するため２種の方法で規定できるようにしている。この規定の区別はvbv＃delayの値によってなされており、従来技術に記したvbv＃delayが全て最大値oxffffで無い場合と、各ピクチャのvbv＃delayがoxffffの場合である。vbv＃delayがoxffffの場合、ＶＢＶに対するデータの入力レートは、ＶＢＶバッファの占有量で決定され、ＶＢＶバッファに空きがあるときはピークレートRmax、空きの無い場合には零となる。初期状態に於いてＶＢＶバッファ占有量は零であり、バッファに空きが無くなった時点で復号を開始する。
【０００４】
符号化時の画質劣化を極力抑えるために、映像信号の難易度に応じて符号化レートを変動させる可変レートによる符号化が有効となる。
【０００５】
可変レートによる符号化方法としては、リアルタイム性が要求される装置に関して、１パス可変レート符号化が考えられ、例えば、特開平９−２３４２３号公報において提案されている。１パス可変レート符号化とは、所定時間毎の入力画像の難易度を求め、これにより割り当て符号量を決定し対象記録媒体の容量等に応じた一定時間の符号化を行うものである。そして、この入力画像の難易度と割り当て符号量の関係は、一般の入力信号により予め統計処理等で標準化されたものである。
【０００６】
また、あまりリアルタイム性が要求されない、オーサリングシステム等では、例えば、特開平６−１４１２９８号公報に公開されているような予め記録媒体に記録されている映像信号について仮符号化を行い、映像信号の難易度に応じた割り当て符号量を算出し、この結果を用いて再度符号化を行ういわゆるパス２符号化方法が採用されている。
【０００７】
現在ＤＶカムコーダ等のデジタルムービーカメラが普及し、このコンテンツの編集及びハードディスク、光ディスク等に長時間記録するために、ＭＰＥＧ等の高能率符号化を用いて再符号化する要求がある。この再符号化に伴う映像信号の画質劣化は最小限に抑えることが望まれ、上記パス２符号化を適用した符号化装置が考えられ、例えば、特開２００５−６４７９０号公報の従来装置等では、デジタルムービーカメラによるパス２符号化の適用構成例について記述されている。
【特許文献１】特開平９−２３４２３号公報
【特許文献２】特開平６−１４１２９８号公報
【特許文献３】特開２００５−６４７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ＤＶビデオストリームをＭＰＥＧ符号化する場合、１パス可変レート符号化では、入力映像の難易度が予測不可能な状態において、入力映像に対する的確な符号量配分が困難である。例えば、一定時間の終盤において難易度が高い映像が連続して入力された場合、この映像の符号化に関しては、極端に画質が劣化する可能性が有る。
【０００９】
そこで、パス２符号化を適用することにより、記録した映像信号全てに関する符号化制御情報から変換されるレートより、局所的な目標符号量等の算出を行い、これをもとに再符号化することにより、効率的な可変レート制御が可能になる。
【００１０】
しかし、上述の特開２００５−６４７９０号公報記載の従来の映像信号符号化装置では、１パス目の符号化の際、符号化難易度を計算して記録媒体に一旦記録しておき、２パス目の符号化の際、その符号化難易度から単位時間あたりの割り当てビット量を算出して、２パス目の符号化の際、この割り当てビット量を元に最適な割り当てビット量で可変ビットレートの符号化処理を行うようにしているため、１パス目の符号化後の映像信号に編集を行った場合、２パス目の符号化の際、そのまま１パス目の符号化の際に計算した符号化難易度に基づく割り当てビット量で可変ビットレートの符号化処理を行うと、編集前の符号化難易度に基づく割り当てビット量で２パス目の符号化を行うことになり、画質が劣化するなどの問題がある。
【００１１】
そこで、本発明は、１パス目の符号化後の映像信号に編集を行った場合でも、画質を劣化させずに効率良く２パス目の符号化を実行することができる映像信号符号化装置および映像信号符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の映像信号符号化装置は、映像信号をＤＶ符号化したＤＶビデオストリームを入力して、ＭＰＥＧビデオストリームを出力する映像信号符号化装置であって、前記ＤＶビデオストリームを復号して映像信号を出力するＤＶビデオデコーダと、前記映像信号をＭＰＥＧ符号化してＭＰＥＧ符号化の際の符号化制御情報を出力するＭＰＥＧビデオエンコーダと、前記ＤＶビデオストリームと前記符号化制御情報とを記録する記録媒体と、前記記録媒体に記録された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成部と、を有し、前記ＤＶビデオデコーダは、前記記録媒体に記録された前記ＤＶビデオストリームを復号して映像信号を出力し、前記ＭＰＥＧビデオエンコーダは、前記ＤＶビデオデコーダからの前記記録媒体に記録された前記ＤＶビデオストリームを復号した前記映像信号を前記再符号化制御情報に基づいてＭＰＥＧ符号化し、ＭＰＥＧビデオストリームとして出力する、映像信号符号化装置である。ここで、前記再符号化制御情報生成部は、前記ＤＶビデオストリームに多重化された前記符号化制御情報に基づいて生成した前記再符号化制御情報を、前記符号化制御情報と置き換えるようにしても良いし、前記再符号化制御情報生成部は、前記符号化制御情報に含まれる各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行って目標符号量および再符号化平均レートを求め、前記符号化制御情報に含まれる各ピクチャの発生符号量および符号化平均レートを、前記目標符号量および再符号化平均レートに置き換えて前記再符号化制御情報にするようにしても良い。
【００１３】
また、本発明の映像信号符号化方法は、映像信号をＤＶ符号化したＤＶビデオストリームを入力して、ＭＰＥＧビデオストリームを出力する映像信号符号化方法であって、前記ＤＶビデオストリームを復号して映像信号を出力するステップと、前記映像信号をＭＰＥＧ符号化してＭＰＥＧ符号化の際の符号化制御情報を出力するステップと、前記ＤＶビデオストリームと前記符号化制御情報とを記録媒体に記録するステップと、前記記録媒体に記録された前記符号化制御情報に基づいて再符号化制御情報を生成するステップと、前記記録媒体に記録された前記ＤＶビデオストリームを復号して映像信号を出力するステップと、前記映像信号を前記再符号化制御情報に基づいてＭＰＥＧ符号化し、ＭＰＥＧビデオストリームとして出力するステップと、を有する映像信号符号化方法である。
【発明の効果】
【００１４】
本発明によれば、記録媒体に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報生成部が再符号化制御情報を生成し、この再符号化制御情報に基づいてＭＰＥＧエンコーダがＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体に記録されたＤＶストリームに対し編集を行った場合でも、その編集を反映させて再符号化制御情報が生成され、この再符号化制御情報に基づき２パス目の符号化が行われるため、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【発明を実施するための最良の形態】
【００１５】
実施の形態１．
図1は、本発明に係る映像信号符号化装置の実施の形態の構成例を示すブロック図である。
【００１６】
図１において、この実施の形態の映像信号符号化装置は、ＭＰＥＧビデオエンコーダ１、ＤＶビデオデコーダ２、ＤＶ多重化処理部３、ＨＤＤやメモリ、ＤＶＤ等の書き換え可能な記録媒体４、再符号化制御情報生成部５、ＤＶ分離化処理部６、スイッチＳＷ７を有している。
【００１７】
次に、図６に示すフローチャートを参照して、図１に示す映像信号符号化装置の動作を説明する。
【００１８】
まず、図１に示す映像信号符号化装置では、図示しないＣＰＵからの指令もしくは、ユーザ等の設定等により、１回目の符号化であるパス１処理であるか、２回目の符号化であるパス２処理であるかにより、スイッチＳＷ７は、接続先をａ側またはｂ側に切替える（ステップ６００）。
【００１９】
まず、１回目の符号化であるパス１処理の場合、スイッチＳＷ７は、接続先を図１に示すようにa側に接続しており（ステップ６００“パス１”）、外部からのＤＶストリームはＤＶ分離化処理部６及びＤＶ多重化処理部３に入力される（ステップ６１０）。ここで、ＤＶストリームは、他の装置により、ＤＶビデオストリームやＤＶオーディオデータ等が多重化されたストリームである。なお、ＤＶ規格についてはIEC-61834に規格されている。
【００２０】
ＤＶ分離化処理部６は、記録媒体４からＤＶストリームを読み出し、ＤＶストリームをＤＶビデオストリームとＤＶオーディオデータとに分離して、ＤＶビデオストリームはＤＶビデオデコーダ７へ出力する（ステップ６１５）。この時、つまり１パス目は、再符号化制御情報を出力しない。ＤＶ分離化処理部６の構成例については後述する図６にて説明する。
【００２１】
ＤＶビデオデコーダ７は、ＤＶ分離化処理部６からのＤＶビデオストリームを入力してＤＶビデオデコードを行い、映像信号をＭＰＥＧビデオエンコーダ１へ出力する（ステップ６２０）。
【００２２】
ＭＰＥＧビデオエンコーダ１は、ＤＶビデオデコーダ７から入力された映像信号に対してＭＰＥＧ符号化を行い、ピクチャ単位の符号化制御情報を生成して出力する（ステップ６２５）。この時、つまり１パス目は、ＭＰＥＧビデオストリームの出力は必要無い。ＭＰＥＧビデオエンコーダ１の詳細は後述する図２に説明する。
【００２３】
ＤＶ多重化処理部３は、外部からのＤＶビデオストリームに対し、ＭＰＥＧビデオエンコーダ１から入力された符号化制御情報を、ＤＶ規格で定義されているＳＯＦＴ  ＭＯＤＥ  ＰＡＣＫによりフレーム単位で格納して多重化し（ステップ６３０）、符号化制御情報を多重化したＤＶストリームを、ハードディスクやメモリ、光ディスク等の記録媒体４に出力して記録する（ステップ６３５）。ここで、ピクチャ単位の符号化制御情報とＤＶパック領域に格納したフレームとは、同期しているものとする。ここで、パック領域はメーカが自由に定義できる領域である。ＤＶ多重化処理部３の構成例及び符号化制御情報構成例については後述する。
【００２４】
そして、記録媒体４にＤＶストリームが記録されると、再符号化制御情報生成部５は、少なくとも１回、記録媒体４からＤＶストリームを読み出し、ＤＶパック領域に構成されたピクチャ毎の符号化制御情報に基づいてピクチャ毎の再符号化制御情報を生成し（ステップ６４０）、もとの符号化制御情報が構成されていたパケットを再符号化制御情報に置き換えて、記録媒体４に記録する（ステップ６４５）。その方法及び再符号化制御情報構成例については後述する。
【００２５】
ここで、再符号化制御情報生成部５が少なくとも１回、再符号化制御情報を生成するとしたのは、記録媒体４に記録されたＤＶストリームがユーザにより編集や更新される場合があるので、再符号化制御情報生成部５は、ユーザからのＤＶストリームの編集や更新指示がある毎に、あるいは記録媒体４に記録されたＤＶストリームが編集や更新されるか否かを、ＤＶストリームの記録時間や更新時間等に基づき監視して、記録媒体４に記録されたＤＶストリームが編集や更新される度に、複数回、再符号化制御情報を算出するからである。このように、ＤＶストリームＳ１の編集や更新指示がある毎に再符号化制御情報生成処理を行うようにすればば、パス２符号化処理の開始の指示があれば、すぐにパス２符号化処理を開始できる効果を有する。
【００２６】
なお、再符号化制御情報は、パス２ＭＰＥＧ符号化が行われる際に生成されていれば十分であるので、記録媒体４に記録されたＤＶストリームが編集や更新される度に、ピクチャ毎の再符号化制御情報を算出するのではなく、ＭＰＥＧビデオエンコーダ１において２パス目の再符号化が行われる前に生成されていれば良いので、ユーザやＣＰＵ等によるパス２符号化の指示、例えばスイッチＳＷ７の接続先のスイッチｂ側への切替え指令を再符号化制御情報生成部５が検出して、その時にピクチャ毎の再符号化制御情報を算出するようにしても良い。このようにすれば、記録媒体４に記録されたＤＶストリームがユーザにより編集や更新が複数回行われても、再符号化制御情報生成部５における再符号化制御情報の計算は１回で済ませることができ、再符号化制御情報の計算回数の削減による消費電力等を削減できることになる。また、ＤＶストリームＳ１の編集や更新指示がある毎や、パス２符号化処理の直前だけでなく、ユーザが再符号化制御情報生成処理の実行を直接指定したり、さらにはタイマ等により再符号化制御情報生成処理の実行タイミングを指定して、夜間など本装置の処理負荷の小さいときに、実行させるようにしても勿論よい。
【００２７】
次に、再符号化であるパス２符号化処理について説明する。
【００２８】
ユーザやＣＰＵ等によりパス２符号化の指示があると、パス２符号化処理が開始され、そのパス２符号化の指示により、スイッチＳＷ７は、その接続先をb側に切替える（ステップ６５０）。
【００２９】
つぎに、ユーザやＣＰＵ等によりパス２符号化の指示により、ＤＶ分離化処理部６は、スイッチＳＷ７を介して、記録媒体４から符号化制御情報の代わりに再符号化制御情報が多重化されたＤＶストリームを読み出し入力して、ＤＶビデオストリームとＤＶオーディオデータと再符号化制御情報とに分離する（ステップ６５５）。ＤＶ分離化処理部６は、分離したＤＶビデオストリームはＤＶビデオデコーダ２に出力する一方、ＤＶストリームのＤＶパック領域に格納されていた再符号化制御情報、すなわちＤＶビデオデコーダ２で出力される映像信号とフレーム同期した再符号化制御情報をＭＰＥＧビデオエンコーダ１へ出力する。
【００３０】
ＤＶビデオデコーダ７は、ＤＶ分離化処理部６からのＤＶビデオストリームを入力してＤＶビデオデコードを行い（ステップ６６０）、映像信号としてＭＰＥＧビデオエンコーダ１へ出力する。
【００３１】
ＭＰＥＧビデオエンコーダ１は、ＤＶビデオデコーダ２からの映像信号を、ＤＶ分離化処理部６からの再符号化制御情報を用いてＭＰＥＧ符号化を行い（ステップ６６５）、ＭＰＥＧビデオストリームとして外部等へ出力する。この時、つまり２パス目は符号化制御情報の出力は必要無い。
【００３２】
以上のようなパス１処理およびパス２処理を行う映像信号符号化装置をレコーダとしてカムコーダ等に搭載し、上記出力されたＭＰＥＧビデオストリームをハードディスク、光ディスクに記録することが可能である。
【００３３】
次に、図１に示す映像信号符号化装置の各構成要素の詳細について説明する。
【００３４】
図２は、図１に示すＭＰＥＧビデオエンコーダ１の構成例を示すブロック図である。
【００３５】
図２において、ＭＰＥＧビデオエンコーダ１は、第１の画像メモリ１１、減算器１２、ＤＣＴ部１３、量子化部１４、ＶＬＣ部１５、アクティビティ検出部１６、符号量制御部１７、符号化制御情報生成部１８、動き補償予測部１９、逆量子化部２０、逆ＤＣＴ部２１、加算器２２、第２の画像メモリ２３を有している。
【００３６】
次に図２に示すＭＰＥＧビデオエンコーダ１の動作を説明すると、ＭＰＥＧビデオエンコーダ１に入力された映像信号は、まず、第１の画像メモリ１１に入力され記憶される。
【００３７】
第１の画像メモリ１１には、複数フレームの画像データが記憶される。記憶された画像データは例えば、輝度データが１６×１６画素、色データ(Ｃｂ／Ｃｒ)はそれぞれ１６×８画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。
【００３８】
同様にブロック化された画像データは、動き補償予測部１９に入力され、動き補償予測部１９は、まず、第１の画像メモリ１１から読み出された画像データと、第２の画像メモリ２３から読み出されたフレームまたはフィールド毎にローカルデコードされた再生画像データとより、フレーム間またはフィールド間予測の動きベクトルが検出される。
【００３９】
そして、動き補償予測部１９は、この動きベクトルと、第２の画像メモリ２３より読み出した再生画像データとから動き補償を行い、動き補償画像データは減算器１２へ出力する一方、動きベクトルおよび予測モードはＶＬＣ１５へ出力する。
【００４０】
減算器１２では、第１の画像メモリ１１から読み出された画像データと、動き補償予測部１９からの動き補償画像データを入力して減算を行い、減算結果である差分画像データをＤＣＴ部１３へ出力する。
【００４１】
ＤＣＴ部１３では、差分画像データを入力してＤＣＴ変換（離散コサイン変換）して、ＤＣＴ係数を量子化部１４へ出力する。
【００４２】
量子化部１４では、ＤＣＴ部１３からのＤＣＴ係数を入力して量子化を行い、量子化データをＶＬＣ部１５へ出力すると共に、量子化の際の量子化スケール（量子化ステップともいう。）などの量子化パラメータを符号化制御情報生成部１８へ出力する。ここで、量子化スケールとしては、面内の平均量子化スケール等が考えられる。
【００４３】
ＶＬＣ部１５は、パス１符号化の際は、量子化部１４からの量子化データ、動き補償予測部１９からの動きベクトルおよび予測モードを入力しエントロピー符号化して、エントロピー符号化の際のピクチャ単位の発生符号量およびピクチャタイプを、符号量制御部１７および符号化制御情報生成部１８に出力する。ここで、ピクチャ単位の発生符号量とは、例えば、可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域対する総和などが考えられる。
【００４４】
また、ＶＬＣ部１５は、２回目の符号化であるパス２符号化の際は、量子化部１４からの量子化データ、動き補償予測部１９からの動きベクトルおよび予測モードを入力してエントロピー符号化してＭＰＥＧビデオストリームとして外部へ出力すると共に、エントロピー符号化の際のピクチャ単位の発生符号量およびピクチャタイプを、符号量制御部１７および符号化制御情報生成部１８に出力する。
【００４５】
符号化制御情報生成部１８では、１回目の符号化であるパス1符号化の際は、量子化部１４よりピクチャ毎の量子化パラメータを入力して平均量子化スケールを算出し、算出した平均量子化スケールと、アクティビティ検出部１６から入力されたアクティビティと、ＶＬＣ部１５からの発生符号量およびピクチャタイプとにより符号化制御情報を構築して出力する。
【００４６】
ところで、Ｉ，Ｐピクチャは、後で動き補償予測の参照データとして用いられるため、逆量子化および逆ＤＣＴのローカルデコードを行う必要がある。
【００４７】
そのため、逆量子化部２０では、量子化部１４からの量子化データを入力して逆量子化を行いＤＣＴ係数に戻して出力する。次いで、逆ＤＣＴ部２１は、ＤＣＴ係数を入力して逆ＤＣＴを行い差分再生画像に戻して出力する。加算器２２では、差分再生画像と、動き補償予測部１９からの動き補償画像データとを入力して加算し、再生画像データとして第２の画像メモリ２３に出力して記憶する。
【００４８】
ところで、符号量制御部１７では、パス１符号化の際は、ＶＬＣ１５から入力される発生符号量およびピクチャタイプと、アクティビティ検出部１６からのアクティビティとに基づいて符号量制御を行い、量子化部１４に量子化制御情報を出力する。また、パス２符号化の際、符号量制御部１７は、後述するように再符号化制御情報に含まれるピクチャ毎の目標符号量、再符号化平均レート、ピクチャタイプなどに基づいて符号量制御を行う。
【００４９】
発生符号量と量子化スケールとは、ほぼ反比例の関係があり、発生符号量を増加させるには、量子化スケールを小さくする一方、発生符号量を減少させるには量子化スケール大きくする。また、Ｐピクチャは、ひとつ前のＩピクチャもしくはＰピクチャから、Ｂピクチャは時間的に両側のＩピクチャとＰピクチャから予測されている関係上、Ｉピクチャが劣化すると、連動して他のピクチャも劣化する。したがって、Ｉピクチャの画質は最も重要で符号も十分に配分しなければならない。そこで、参照画像（リファレンス）となるＩピクチャ、Ｐピクチャの画質劣化を抑える目的で、ＭＰＥＧビデオエンコーダ１におけるＭＰＥＧ符号化の時は、映像信号符号化装置の時のピクチャタイプと同じピクチャタイプで再符号化を行なう。
【００５０】
一方、アクティビティ検出部１６では、第１の画像メモリ１１から画像データを読み出し、ピクチャ毎のアクティビティの総和を算出し出力する。アクティビティは、面内のブロック単位の変化を示すもので、例えば、図９に示すような８×８画素のブロック単位で求める。
【００５１】
図９は、アクティビティ検出部１６におけるピクチャ毎のアクティビティの算出方法を示している。
【００５２】
即ち、図９に示すように、水平方向、垂直方向それぞれに隣接するピクセル間の絶対値差分を算出し、ブロック単位ごとの総和を算出する。面内のブロック単位の変化大きい時、アクティビティは大きくなり、面内のブロック単位の変化小さい時、アクティビティは小さくなる。そして、アクティビティ検出部１６では、ピクチャの全領域に対して上記計算を行い、ピクチャ全体での総和を算出して出力する。アクティビティの単位ブロックは、ＭＰＥＧ符号化の最小単位のブロック（８ｘ８画素）としている。
【００５３】
図３は、図1に示すＤＶ多重化処理部３の構成例を示すブロック図である。
【００５４】
図３において、ＤＶ多重化処理部３は、バッファメモリ３１、ＤＶ  ＭＵＸ３２、符号化制御情報ＤＶパケット生成部３３を有している。
【００５５】
図３に示すＤＶ多重化処理部３の動作を説明すると、外部のＤＶエンコーダ（図示せず）等から入力されたＤＶストリームはいったんバッファメモリ３１に記録される。また、符号化制御情報ＤＶパケット生成部３３は、ＭＰＥＧビデオエンコーダ１から出力される符号化制御情報を入力して、例えば、図７に示すような構造の符号化制御情報を構築し出力する。
【００５６】
図７（ａ），（ｂ）は、符号化制御情報ＤＶパケット生成部３３が生成する符号化制御情報の構造の一例を示している。
【００５７】
ＤＶパケット構造の符号化制御情報は、図７（ａ），（ｂ）に示すように、ＰＣ０〜ＰＣ４の５バイトの２つのデータから構成されており、ＰＣ０が“１１１１００００”の場合、図７（ａ）に示すように、ＰＣ１としてＭＡＫＥＲ ＣＯＤＥ、ＰＣ２としてＴＤＰを含んでいる。ＭＡＫＥＲ ＣＯＤＥは、メーカーごとに割り当てられた、１バイトのメーカー識別コードで、ＴＤＰはこのパックに続くＯＰＴＩＯＮパック数を表すバイナリーコードである。詳細に関しては、ＤＶ規格（ＩＥＣ−６１８３４）に明記されている。また、ＤＶパケット構造の符号化制御情報は、ＰＣ３としてデータ識別、ピクチャタイプ、ＴＤＰ、ＰＣ４として符号化平均レートを含んでいる。データ識別は、符号化制御情報か、再符号化制御情報かを識別するものである。
【００５８】
また、ＤＶパケット構造の符号化制御情報は、さらに、図７（ｂ）に示すように、ＰＣ０が“１１１１０００１”の場合、ＰＣ１およびＰＣ２としてパス１ＭＰＥＧエンコーダ１のＶＬＣ１５における発生符号量、ＰＣ３として量子化部１４からの量子化情報、ＰＣ４としてアクティビティ検出部１６からのアクティビティを含んでいる。
【００５９】
そして、ＤＶ  ＭＵＸ３２では、バッファメモリ３１から読み出したＤＶストリームと、符号化制御情報ＤＶパケット生成部３３で生成されたＤＶパケット構造の符号化制御情報とを多重化してＭＰＥＧビデオエンコーダ１に出力する。ここで、バッファメモリ３１からのＤＶストリームの読み出しタイミングは、各ストリームのフレームとピクチャの符号化制御情報の同期をとるようにする。
【００６０】
ここで、図１のＭＰＥＧビデオエンコーダ１から出力される符号化制御情報の並びは、例えば、図１０（ａ）に示すように、ＭＰＥＧ符号化オーダーになっている。そのため、ＤＶ多重化処理部３のＤＶ  ＭＵＸ３２では、図１０（ｂ）に示すように、ＤＶフレーム並び、すなわち入力される映像信号の並びに並び替える。通常、ＤＶエンコード処理とＭＰＥＧエンコード処理にかかる時間は、リアルタイム処理を前提にすると、フレーム間予測符号化を行う場合、ＭＰＥＧエンコード処理時間の方が大きい。
【００６１】
図４は、図１に示す再符号化制御情報生成部５の構成例を示すブロック図である。
【００６２】
図４において、再符号化制御情報生成部５は、符号化制御情報分離化処理部５１、バッファメモリ５２、再符号化制御情報演算部５３、再符号化制御情報多重化処理部５４を有している。
【００６３】
次に図４に示す再符号化制御情報生成部５の動作を説明すると、再符号化制御情報生成部５では、まず、符号化制御情報分離化処理部５１が、記録媒体４に記録されているＤＶビデオストリームを読み出し、符号化制御情報が格納されているＤＶパケットを検出し、検出したＤＶパケットより符号化制御情報を抽出してバッファメモリ５２に蓄える。
【００６４】
再符号化制御情報演算部５３では、符号化制御情報分離化処理部５１から入力された図７（ａ）、（ｂ）に示すような全てのピクチャの符号化制御情報と、パス２ＭＰＥＧ符号化によるＭＰＥＧストリームの目標符号量とに基づいて、再符号化平均レートを求める。そして、再符号化制御情報演算部５３は、求めた再符号化平均レートを含めた図８（ａ）、（ｂ）に示すようなピクチャ毎の再符号化制御情報を生成し、バッファメモリ５２に蓄える。
【００６５】
図８（ａ）、（ｂ）は、再符号化制御情報演算部５３が生成する再符号化制御情報の構造の一例を示している。
【００６６】
ＤＶパケット構造の再符号化制御情報は、図７（ａ），（ｂ）に示す符号化制御情報とほぼ同じ構造で、ＰＣ０〜ＰＣ４の５バイトの２つのデータから構成されている。つまり、ＰＣ０が“１１１１００００”の場合、図８（ａ）に示すように、ＰＣ４として符号化平均レートが再符号化平均レートに置き換わっており、それ以外のデータは、図７（ａ）に示す符号化制御情報と同じである。
【００６７】
また、ＰＣ０が“１１１１０００１”の再符号化制御情報は、図８（ｂ）に示すように、ＰＣ１およびＰＣ２のパス１ＭＰＥＧエンコーダ１のＶＬＣ１５における発生符号量がＭＰＥＧエンコーダ８から出力されるＭＰＥＧストリームの目標符号量に置き換わり、ＰＣ４のアクティビティが“１１１１１１１１”の無効データに置き換わっている。
【００６８】
ここで、ＰＣ４の再符号化平均レートは、図８（ａ）では、１つしか設定していないが、ＭＰＥＧエンコーダ８が適応的に選択できるように事前に複数の平均レートに対して計算して設定することも可能である。その時は、図８に示す再符号化制御情報を複数組み合わせて構成することになる。これにより、ＭＰＥＧエンコーダ８がＭＰＥＧ再符号化する時に複数の平均レート選択が可能になる。
【００６９】
また、ＭＰＥＧエンコーダ８が再符号化する時のピクチャタイプは、前述のとおり映像信号符号化装置におけるＭＰＥＧビデオエンコーダ１におけるＭＰＥＧ符号化時と同じであることが望ましいので、ユーザの編集がない場合は、ピクチャタイプは符号化制御情報のものと変更しないようにする。ただし、ユーザにより編集等が加えられ、ピクチャタイプや目標符号量が変更する場合は、ピクチャ単位の符号化制御情報をもとに、再符号化制御情報演算部５３で適切な再符号化時のピクチャタイプや目標符号量を設定する。例えば、ピクチャの削除や挿入等の編集後の最初のピクチャのピクチャタイプは、Ｉピクチャとしたり、ピクチャに画像を追加する編集をした場合は、そのピクチャの目標符号量を増大する如きである。
【００７０】
再符号化制御情報多重化処理部５４では、記録媒体４からＤＶビデオストリームを読み出して、ＤＶビデオストリームから符号化制御情報が設けられたＤＶパケットを検出し、図７（ａ），（ｂ）に示すようなピクチャ単位の符号化制御情報を、図８（ａ），（ｂ）に示すようなピクチャ単位の再符号化制御情報に置き換える。つまり、同じフレームの符号化制御情報は、同じフレームの再符号化制御情報に置き換わることになる。
【００７１】
次に、再符号化制御情報演算部５３における再符号化制御情報の生成方法の一例について説明する。
【００７２】
再符号化制御情報演算部５３は、まず各ピクチャの発生符号量、平均量子化スケール、アクティビティ等のパラメータに対してピクチャタイプごとに重み付け処理を行う。例えば、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で重み付けを行うが、後述するように設定平均レートが低い場合、一般的にＢピクチャの劣化が目立つため、この劣化を抑えるために、Ｉ，Ｐピクチャとの目標符号量の差を小さくするように、ＢピクチャをＩピクチャ、Ｐピクチャより重くなるように重み付けを行う。そして、全時間に渡る平均を算出基準として、各ピクチャの上記パラメータを比較し、符号量配分比率を算出する。そして符号量配分比率に応じたレートを各Ｉピクチャ、Ｐピクチャ、Ｂピクチャの枚数に乗じることで、目標符号量を算出する。
【００７３】
図１１は、Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示したものである。
【００７４】
図１１に示すように、例えば、９Ｍｂｐｓの平均符号量等というように設定平均レートが高い場合、再符号化制御情報演算部５３は、参照画像（リファレンス）となるＩ，Ｐピクチャには、より多くの符号量を割り当てるように重み付けを行う。これに対し、例えば、４Ｍｂｐｓの平均符号量等というように設定平均レートが低い場合、再符号化制御情報演算部５３は、Ｂピクチャの劣化を抑えるために、Ｉ，ＰピクチャとＢピクチャとの目標符号量の差が小さくなるように重み付けを行う。
【００７５】
図５は、図１に示すＤＶ分離化処理部６の構成例を示すブロック図である。
【００７６】
図５において、ＤＶ分離化処理部６は、再符号化制御情報抽出部６１、ＤＶ  ＤＥＭＵＸ６２を有している。
【００７７】
図５に示すＤＶ分離化処理部６の動作を説明すると、ＤＶ分離化処理部６では、パス１符号化の際は、スイッチＳＷ７接続先がａ側であり、スイッチＳＷ７を介し外部からのＤＶビデオストリームを入力しているので、ＤＶ  ＤＥＭＵＸ６２は、ＤＶビデオストリーム、ＤＶオーディオデータを分離して、ＤＶビデオストリームはＤＶビデオでコーダ７へ出力する。一方、パス２符号化の際はスイッチＳＷ７接続先がｂ側であり、ＤＶ分離化処理部６は、スイッチＳＷ７を介し記録媒体４と接続されるので、ＤＶ  ＤＥＭＵＸ６２は、記録媒体４に記録されたＤＶストリームからＤＶビデオストリーム、ＤＶオーディオデータを分離し、更に再符号化制御情報が格納されているＤＶパケットを分離して再符号化制御情報抽出部６１へ出力する。
【００７８】
再符号化制御情報抽出部６１では、ＤＶ  ＤＥＭＵＸ６２から入力されたＤＶパケットより、再符号化制御情報を抽出し、ＭＰＥＧビデオエンコーダ１へ出力する。ここで、再符号化平均レートが複数設定されている場合、再符号化制御情報抽出部６１は、ユーザが設定した、あるいはＭＰＥＧビデオエンコーダ１から指定された再符号化時の平均レート（平均符号量）に応じた再符号化制御情報を選択して出力することも可能である。
【００７９】
そして、ＭＰＥＧビデオエンコーダ１では、パス２符号化の際は、図２に示すように、ＶＬＣ部１５が量子化部１４からの量子化データ、動き補償予測部１９からの動きベクトルおよび予測モードを入力して、これらを可変長符号化しＭＰＥＧビデオストリームを出力すると共に、ピクチャ単位の発生符号量を出力する。
【００８０】
その際、符号量制御部１７では、ＶＬＣ部１５から入力される発生符号量と、図１に示すＤＶ分離化処理部６からのピクチャ毎の目標符号量やピクチャタイプ、再符号化平均レートを含む再符号化制御情報とに基づいて符号量制御を行ない、量子化部１４に量子化制御情報を出力する。
【００８１】
このように、ＭＰＥＧビデオエンコーダ１では、上述の特開２００５−６４７９０号公報記載の従来の映像信号符号化装置のように、映像信号符号化装置における１パス目の符号化の際の符号化難易度から単位時間あたりの割り当てビット量を算出して、２パス目の符号化の際、この割り当てビット量を元に最適な割り当てビット量で可変ビットレートの符号化処理を行うのではなく、ＭＰＥＧビデオエンコーダ１の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づきＭＰＥＧビデオエンコーダ１が２パス目のＭＰＥＧ符号化を行う。
【００８２】
従って、本実施の形態１の映像信号符号化装置によれば、ＭＰＥＧビデオエンコーダ１の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてＭＰＥＧビデオエンコーダ１が２パス目のＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行って、ピクチャタイプや発生符号量が変わる場合でも、再符号化制御情報生成部５はそのユーザの編集を反映して目標符号量やピクチャタイプ、再符号化平均レートを設定した再符号化制御情報を生成するので、ユーザの編集を反映させて２パス目の符号化を行うことが可能となる。
【００８３】
その結果、ユーザが１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行って、ピクチャタイプや発生符号量が変わる場合でも、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【００８４】
なお、上記実施の形態１では、外部から入力するＤＶストリームにＤＶオーディオデータが多重化されているものと説明したが、本発明では、これに限らず、ＤＶストリームにＤＶオーディオデータが多重化されていなくても良く、この場合には、ＤＶオーディオデータの分離は省略しても勿論よい。
【００８５】
実施の形態２．
上記実施の形態１の説明では、ＭＰＥＧビデオエンコーダ１は、パス１符号化の際、映像信号をＩ、Ｐ、Ｂピクチャタイプそれぞれのタイプにより符号化して符号化制御情報を生成するように説明したが、本実施の形態２の映像信号符号化装置では、パス１符号化後の編集を前提として、ピクチャタイプを全てイントラピクチャ（Ｎ＝１、Ｍ＝１）で構成し、量子化スケールを固定として符号化するようにしたものである。これにより、フレーム間符号化時の難易度が発生符号量に反映されないが、フレーム内の難易度がより顕著に発生符号量に反映されることになる。
【００８６】
この方法は、特にフレーム単位の編集等を頻繁に行う時に有効である。
【００８７】
図１２は、図２に示すＭＰＥＧビデオエンコーダ１の構成例のうち、本実施の形態２のＭＰＥＧビデオエンコーダ１がパス１符号化の際、必要とする構成例を示すブロック図である。
【００８８】
つまり、本実施の形態２の映像信号符号化装置のＭＰＥＧビデオエンコーダ１では、パス１符号化の際は、全て入力映像信号を、Ｉピクチャにより符号化し、符号量制御も行わないので、図１２に示すように、図２に示すＭＰＥＧビデオエンコーダ１の構成例のうち、第１の画像メモリ１１、ＤＣＴ部１３、量子化部１４、ＶＬＣ部１５、アクティビティ検出部１６、符号化制御情報生成部１８のみを使用する。なお、本実施の形態２の映像信号符号化装置のＭＰＥＧビデオエンコーダ１では、パス２符号化の際は、図２に示す構成全てを使用して、上述の実施の形態１の場合と同様に動作する。
【００８９】
次に、本実施の形態２の映像信号符号化装置のＭＰＥＧビデオエンコーダ１のパス１符号化の際の動作を説明すると、映像信号が入力すると第１の画像メモリ１１に入力され記憶される。第１の画像メモリ１１には、複数フレームの画像データが記憶される。記憶された画像データは、例えば、輝度データが16×16画素、色データ（Ｃｂ／Ｃｒ）はそれぞれ16×8画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ8×8画素のブロックとして処理される。
【００９０】
ＤＣＴ部１３では、画像データを入力しＤＣＴ（離散コサイン変換）を行って、ＤＣＴ係数を出力する。
【００９１】
量子化部１４では、ＤＣＴ係数を入力して量子化を行い、量子化データを出力する。
【００９２】
符号化制御情報生成部１８では、入力されたアクティビティ、発生符号量で符号化制御情報を構築出力する。この時ピクチャタイプは全てイントラ、量子化パラメータは固定値となる。
【００９３】
ＶＬＣ部１５では、量子化データを入力してピクチャ単位の発生符号量を出力する。ここで、ピクチャ単位の発生符号量とは、例えば可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域対する総和などが考えられる。
【００９４】
アクティビティ検出部１６では、第１の画像メモリ１１から画像データを読み出し、ピクチャ毎のアクティビティの総和を算出し出力する。
【００９５】
従って、本実施の形態２の映像信号符号化装置によれば、上記実施の形態１と同様に、ＭＰＥＧビデオエンコーダ１の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてＭＰＥＧビデオエンコーダ１が２パス目のＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行い、記録媒体４に記録されたＤＶストリームを構成するピクチャのピクチャタイプや発生符号量が変わる場合でも、再符号化制御情報生成部５はそのユーザの編集を反映して目標符号量やピクチャタイプ、再符号化平均レートを設定した再符号化制御情報を生成するので、ユーザの編集を反映させて２パス目の符号化を行うことができ、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【００９６】
また、特に、本実施の形態２の映像信号符号化装置では、ＭＰＥＧビデオエンコーダ１が映像信号を全てイントラピクチャで、かつ、量子化スケールを固定としてＭＰＥＧ符号化して符号化制御情報を生成し、ＭＰＥＧビデオエンコーダ１の再符号化制御情報生成部５がこの符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてＭＰＥＧビデオエンコーダ１が２パス目のＭＰＥＧ符号化を行うので、映像信号符号化装置における符号化制御情報により、フレーム間符号化時の難易度が発生符号量に反映されないものの、フレーム内の難易度がより顕著に発生符号量に反映されるので、フレーム単位の編集等を頻繁に行う時に特に有効になり、このような場合に画質を劣化させずに効率良く２パス目の符号化を実行できることになる。
【図面の簡単な説明】
【００９７】
【図１】本発明に係る映像信号符号化装置の実施の形態の構成例を示すブロック図である。
【図２】図１に示すＭＰＥＧビデオエンコーダ１の構成例を示すブロック図である。
【図３】図1に示すＤＶ多重化処理部３の構成例を示すブロック図である。
【図４】図１に示す再符号化制御情報生成部５の構成例を示すブロック図である。
【図５】図１に示すＤＶ分離化処理部６の構成例を示すブロック図である。
【図６】本発明に係る映像信号符号化装置の実施の形態の処理手順を示すフローチャートである。
【図７】（ａ），（ｂ）それぞれ、符号化制御情報ＤＶパケット生成部３３が生成する符号化制御情報の構造の一例を示す説明図である。
【図８】（ａ）、（ｂ）それぞれ、再符号化制御情報演算部５３が生成する再符号化制御情報の構造の一例を示す説明図である。
【図９】アクティビティ検出部１６におけるピクチャ毎のアクティビティの算出方法を示す説明図である。
【図１０】（ａ）、（ｂ）それぞれ、ＤＶ多重化処理部３における符号化制御情報の並び替えを示す説明図である。
【図１１】Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示す説明図である。
【図１２】図２に示すＭＰＥＧビデオエンコーダ１の構成例のうち、本実施の形態２のＭＰＥＧビデオエンコーダ１がパス１符号化の際、必要とする構成例を示すブロック図である。
【符号の説明】
【００９８】
１  ＭＰＥＧビデオエンコーダ
２  ＤＶビデオデコーダ２
３  ＤＶ多重化処理部
４  記録媒体
５  再符号化制御情報生成部
６  ＤＶ分離化処理部
７  スイッチＳＷ
【図１】
2008211556.tif 000003
【図２】
2008211556.tif 000004
【図３】
2008211556.tif 000005
【図４】
2008211556.tif 000006
【図５】
2008211556.tif 000007
【図６】
2008211556.tif 000008
【図７】
2008211556.tif 000009
【図８】
2008211556.tif 000010
【図９】
2008211556.tif 000011
【図１０】
2008211556.tif 000012
【図１１】
2008211556.tif 000013
【図１２】
2008211556.tif 000014