(57)【要約】【課題】１パス目の符号化後の映像信号に編集を行った場合でも、画質を劣化させずに効率良く２パス目の符号化を実行すること。【解決手段】パス１符号化部１００では、ＤＶビデオエンコーダ２が映像信号をＤＶ符号化するのと同時に、パス１ＭＰＥＧビデオエンコーダ１がその映像信号をＭＰＥＧ符号化して符号化制御情報を出力し、ＤＶ多重化処理部３がそれらを多重化してＤＶストリームとして出力する。パス２符号化部２００では、再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づき再符号化制御情報を生成し、この再符号化制御情報に基づきパス２ＭＰＥＧビデオエンコーダ８がＭＰＥＧ符号化を行う。そのため、記録媒体４に記録されたＤＶストリームに対しユーザが編集を行った場合でも、ユーザの編集を反映させて２パス目の符号化を行うことができる。【選択図】図１
2008211555.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を入力してＤＶ符号化しＤＶビデオストリームを出力するパス１符号化部と、
前記パス１符号化部からのＤＶビデオストリームを入力してＭＰＥＧ符号化するパス２符号化部と、を有する映像信号符号化装置であって、
前記パス１符号化部は、
前記映像信号をＤＶ符号化し、ＤＶビデオストリームを出力するＤＶ符号化部と、
前記映像信号をＭＰＥＧ符号化し、ＭＰＥＧ符号化の際の符号化制御情報を出力するパス１ＭＰＥＧ符号化部と、
前記ＤＶ符号化部からの前記ＤＶビデオストリームに、前記ＭＰＥＧ符号化部からの前記符号化制御情報を多重化して前記ＤＶストリームとして出力するＤＶ多重化処理部と、を有し、
前記パス２符号化部は、
前記ＤＶストリームを記録する記録媒体と、
前記記録媒体に記録された前記ＤＶストリームに多重化された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成部と、
前記ＤＶストリームに多重化された前記ＤＶビデオストリームを復号して映像信号として出力するＤＶ復号部と、
前記再符号化制御情報生成部によって生成された前記再符号化制御情報に基づいて前記ＤＶ復号部からの映像信号をＭＰＥＧ符号化するパス２ＭＰＥＧ符号化部と、を有する映像信号符号化装置。
【請求項２】
請求項１記載の映像信号符号化装置において、
前記再符号化制御情報生成部は、
前記ＤＶビデオストリームに多重化された前記符号化制御情報に基づいて生成した前記再符号化制御情報を、前記符号化制御情報と置き換えることを特徴する映像信号符号化装置。
【請求項３】
請求項１または請求項２記載の映像信号符号化装置において、
前記再符号化制御情報生成部は、
前記符号化制御情報に含まれる各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行って目標符号量および再符号化平均レートを求め、前記符号化制御情報に含まれる各ピクチャの発生符号量および符号化平均レートを、前記目標符号量および再符号化平均レートに置き換えて前記再符号化制御情報にすることを特徴する映像信号符号化装置。
【請求項４】
請求項１〜請求項３のいずれか一の請求項に記載の映像信号符号化装置において、
前記パス１ＭＰＥＧ符号化部は、
前記映像信号をＭＰＥＧ符号化する際、全てイントラ符号化すると共に、量子化スケールを固定して量子化し、符号化制御情報として前記映像信号のアクティビティと、エントロピー符号化の際の発生符号量とをピクチャ毎に出力することを特徴とする映像信号再符号化装置。
【請求項５】
映像信号を入力してＤＶ符号化しＤＶビデオストリームを出力するパス１符号化ステップと、
前記パス１符号化ステップからのＤＶビデオストリームを入力してＭＰＥＧ符号化するパス２符号ステップと、を有する映像信号符号化方法であって、
前記パス１符号化ステップは、
前記映像信号をＤＶ符号化し、ＤＶビデオストリームを出力するＤＶ符号化ステップと、
前記映像信号をＭＰＥＧ符号化し、ＭＰＥＧ符号化の際の符号化制御情報を出力するパス１ＭＰＥＧ符号化ステップと、
前記ＤＶ符号化ステップからの前記ＤＶビデオストリームに、前記ＭＰＥＧ符号化ステップからの前記符号化制御情報を多重化して前記ＤＶストリームとして出力するＤＶ多重化処理ステップと、を有し、
前記パス２符号化ステップは、
前記ＤＶストリームを記録媒体に記録するステップと、
前記記録媒体に記録された前記ＤＶストリームに多重化された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成ステップと、
前記ＤＶストリームに多重化された前記ＤＶビデオストリームを復号して映像信号として出力するＤＶ復号ステップと、
前記再符号化制御情報生成ステップによって生成された前記再符号化制御情報に基づいて前記ＤＶ復号ステップからの映像信号をＭＰＥＧ符号化するパス２ＭＰＥＧ符号化ステップと、を有する映像信号符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を入力しＤＶ（Digital Video）符号化してＤＶビデオストリームを出力するパス１符号化部と、パス１符号化部からのＤＶビデオストリームをＤＶ復号すると共に、ＭＰＥＧ符号化するパス２符号化部と、を有する映像信号符号化装置および映像信号符号化方法に関するものである。
【背景技術】
【０００２】
従来より、ＭＰＥＧ等の符号化方式を採用した、映像信号符号化装置が検討されている。ＭＰＥＧ符号化方式のビデオ規格は、ISO-IEC1172-2,ITU-TH.262/ISO-IEC13818-2に詳細な説明がなされているので、ここでは省略する。
【０００３】
ＭＰＥＧ２では、ＶＢＶの規定を固定転送レート（ＣＢＲ）データだけでは無く、可変転送レート（ＶＢＲ）データに対しても規定を設け、様々な応用に対応するため２種の方法で規定できるようにしている。この規定の区別はvbv＃delayの値によってなされており、従来技術に記したvbv＃delayが全て最大値oxffffで無い場合と、各ピクチャのvbv＃delayがoxffffの場合である。vbv＃delayがoxffffの場合、ＶＢＶに対するデータの入力レートは、ＶＢＶバッファの占有量で決定され、ＶＢＶバッファに空きがあるときはピークレートRmax、空きの無い場合には零となる。初期状態に於いてＶＢＶバッファ占有量は零であり、バッファに空きが無くなった時点で復号を開始する。
【０００４】
符号化時の画質劣化を極力抑えるために、映像信号の難易度に応じて符号化レートを変動させる可変レートによる符号化が有効となる。
【０００５】
可変レートによる符号化方法としては、リアルタイム性が要求される装置に関して、１パス可変レート符号化が考えられ、例えば、特開平９−２３４２３号公報において提案されている。１パス可変レート符号化とは、所定時間毎の入力画像の難易度を求め、これにより割り当て符号量を決定し対象記録媒体の容量等に応じた一定時間の符号化を行うものである。そして、この入力画像の難易度と割り当て符号量の関係は、一般の入力信号により予め統計処理等で標準化されたものである。
【０００６】
また、あまりリアルタイム性が要求されない、オーサリングシステム等では、例えば、特開平６−１４１２９８号公報に公開されているような予め記録媒体に記録されている映像信号について仮符号化を行い、映像信号の難易度に応じた割り当て符号量を算出し、この結果を用いて再度符号化を行ういわゆる２パス符号化方法が採用されている。
【０００７】
現在ＤＶカムコーダ等のデジタルムービーカメラが普及し、このコンテンツの編集及びハードディスク、光ディスク等に長時間記録するために、ＭＰＥＧ等の高能率符号化を用いて再符号化する要求がある。この再符号化に伴う映像信号の画質劣化は最小限に抑えることが望まれ、上記２パス符号化を適用した符号化装置が考えられ、例えば、特開２００５−６４７９０号公報の従来装置等では、デジタルムービーカメラによる２パス符号化の適用構成例について記述されている。
【特許文献１】特開平９−２３４２３号公報
【特許文献２】特開平６−１４１２９８号公報
【特許文献３】特開２００５−６４７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ＤＶビデオストリームをＭＰＥＧ符号化する場合、１パス可変レート符号化では、入力映像の難易度が予測不可能な状態において、入力映像に対する的確な符号量配分が困難である。例えば、一定時間の終盤において難易度が高い映像が連続して入力された場合、この映像の符号化に関しては、極端に画質が劣化する可能性が有る。
【０００９】
そこで、２パス符号化を適用することにより、記録した映像信号全てに関する符号化制御情報から変換されるレートより、局所的な目標符号量等の算出を行い、これをもとに再符号化することにより、効率的な可変レート制御が可能になる。
【００１０】
しかし、上述の特開２００５−６４７９０号公報記載の従来の映像信号符号化装置では、１パス目の符号化の際、符号化難易度を計算して記録媒体に一旦記録しておき、２パス目の符号化の際、その符号化難易度から単位時間あたりの割り当てビット量を算出して、２パス目の符号化の際、この割り当てビット量を元に最適な割り当てビット量で可変ビットレートの符号化処理を行うようにしているため、１パス目の符号化後の映像信号に編集を行った場合、２パス目の符号化の際、そのまま１パス目の符号化の際に計算した符号化難易度に基づく割り当てビット量で可変ビットレートの符号化処理を行うと、編集前の符号化難易度に基づく割り当てビット量で２パス目の符号化を行うことになり、画質が劣化するなどの問題がある。
【００１１】
そこで、本発明は、１パス目の符号化後の映像信号に編集を行った場合でも、画質を劣化させずに効率良く２パス目の符号化を実行することができる映像信号符号化装置および映像信号符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の映像信号符号化装置は、映像信号を入力してＤＶ符号化しＤＶビデオストリームを出力するパス１符号化部と、前記パス１符号化部からのＤＶビデオストリームを入力してＭＰＥＧ符号化するパス２符号化部と、を有する映像信号符号化装置であって、前記パス１符号化部は、前記映像信号をＤＶ符号化し、ＤＶビデオストリームを出力するＤＶ符号化部と、前記映像信号をＭＰＥＧ符号化し、ＭＰＥＧ符号化の際の符号化制御情報を出力するパス１ＭＰＥＧ符号化部と、前記ＤＶ符号化部からの前記ＤＶビデオストリームに、前記ＭＰＥＧ符号化部からの前記符号化制御情報を多重化して前記ＤＶストリームとして出力するＤＶ多重化処理部と、を有し、前記パス２符号化部は、前記ＤＶストリームを記録する記録媒体と、前記記録媒体に記録された前記ＤＶストリームに多重化された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成部と、前記ＤＶストリームに多重化された前記ＤＶビデオストリームを復号して映像信号として出力するＤＶ復号部と、前記再符号化制御情報生成部によって生成された前記再符号化制御情報に基づいて前記ＤＶ復号部からの映像信号をＭＰＥＧ符号化するパス２ＭＰＥＧ符号化部と、を有する映像信号符号化装置である。ここで、前記再符号化制御情報生成部は、前記ＤＶビデオストリームに多重化された前記符号化制御情報に基づいて生成した前記再符号化制御情報を、前記符号化制御情報と置き換えるものであったり、前記再符号化制御情報生成部は、前記符号化制御情報に含まれる各ピクチャの発生符号量、平均量子化スケール、アクティビティに対してピクチャタイプごとに重み付け処理を行って目標符号量および再符号化平均レートを求め、前記符号化制御情報に含まれる各ピクチャの発生符号量および符号化平均レートを、前記目標符号量および再符号化平均レートに置き換えて前記再符号化制御情報にするものでも良い。また、前記パス１ＭＰＥＧ符号化部は、前記映像信号をＭＰＥＧ符号化する際、全てイントラ符号化すると共に、量子化スケールを固定して量子化し、符号化制御情報として前記映像信号のアクティビティと、エントロピー符号化の際の発生符号量とをピクチャ毎に出力するものでも良い。
【００１３】
また、本発明の映像信号符号化方法は、映像信号を入力してＤＶ符号化しＤＶビデオストリームを出力するパス１符号化ステップと、前記パス１符号化ステップからのＤＶビデオストリームを入力してＭＰＥＧ符号化するパス２符号ステップと、を有する映像信号符号化方法であって、前記パス１符号化ステップは、前記映像信号をＤＶ符号化し、ＤＶビデオストリームを出力するＤＶ符号化ステップと、前記映像信号をＭＰＥＧ符号化し、ＭＰＥＧ符号化の際の符号化制御情報を出力するパス１ＭＰＥＧ符号化ステップと、前記ＤＶ符号化ステップからの前記ＤＶビデオストリームに、前記ＭＰＥＧ符号化ステップからの前記符号化制御情報を多重化して前記ＤＶストリームとして出力するＤＶ多重化処理ステップと、を有し、前記パス２符号化ステップは、前記ＤＶストリームを記録媒体に記録するステップと、前記記録媒体に記録された前記ＤＶストリームに多重化された前記符号化制御情報に基づいて再符号化制御情報を生成する再符号化制御情報生成ステップと、前記ＤＶストリームに多重化された前記ＤＶビデオストリームを復号して映像信号として出力するＤＶ復号ステップと、前記再符号化制御情報生成ステップによって生成された前記再符号化制御情報に基づいて前記ＤＶ復号ステップからの映像信号をＭＰＥＧ符号化するパス２ＭＰＥＧ符号化ステップと、を有する映像信号符号化方法である。
【発明の効果】
【００１４】
本発明によれば、記録媒体に記録されたＤＶストリームに多重化された符号化制御情報に基づいてパス１符号化部の再符号化制御情報生成部が再符号化制御情報を生成し、この再符号化制御情報に基づいてパス２ＭＰＥＧエンコーダが２パス目のＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体に記録されたＤＶストリームに対し編集を行った場合でも、その編集を反映させて再符号化制御情報が生成され、この再符号化制御情報に基づき２パス目の符号化が行われるため、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【発明を実施するための最良の形態】
【００１５】
実施の形態１．
図1は、本発明に係る映像信号符号化装置の実施の形態の構成例を示すブロック図である。
【００１６】
図１において、この実施の形態の映像信号符号化装置は、１パス目の符号化部であるパス１符号化部１００と、２パス目の符号化部であるパス２符号化部２００とを有しており、パス１符号化部１００は、パス１ＭＰＥＧビデオエンコーダ１、ビデオエンコーダ２、ＤＶ多重化処理部３とを有している一方、パス２符号化部２００は、ＨＤＤ等の記録媒体４、再符号化制御情報生成部５、ＤＶ分離化処理部６、ＤＶビデオデコーダ７、パス２ＭＰＥＧビデオエンコーダ８とを有している。
【００１７】
次に、図１に示す映像信号符号化装置の動作を説明する。
【００１８】
パス１符号化部１００では、まず外部からの映像信号を入力されると、パス１ＭＰＥＧビデオエンコーダ１及びＤＶビデオエンコーダ２に分配して、パス１ＭＰＥＧビデオエンコーダ１では、入力された映像信号に対してＭＰＥＧ符号化を行い、ピクチャ単位の符号化制御情報を生成しＤＶ多重化処理部３へ出力する。この時、パス１ＭＰＥＧビデオエンコーダ１は、ＭＰＥＧビデオストリームの出力せずに、ＭＰＥＧ符号化の際のピクチャ単位の符号化制御情報のみをＤＶ多重化処理部３へ出力する。パス１ＭＰＥＧビデオエンコーダ１の詳細は後述する図２にて説明する。
【００１９】
一方、ＤＶビデオエンコーダ２では、入力された映像信号をＤＶエンコードし、ＤＶビデオストリームを出力する。ＤＶエンコードに関しては、ＤＶ（Digital Video）規格（IEC-61834）に詳細な説明がなされているので、ここでは省略する。
【００２０】
なお、上記パス１ＭＰＥＧビデオエンコーダ１とＤＶビデオエンコーダ２とは同時に動作するものとするが、時間をずらして行っても勿論よい。
【００２１】
ＤＶ多重化処理部３は、ＤＶビデオエンコーダ２からのＤＶビデオストリームと、外部からのＤＶオーディオデータとを入力して多重化し、更にパス１ＭＰＥＧビデオエンコーダ１から出力された符号化制御情報を入力として、ＤＶ規格で定義されているＳＯＦＴ ＭＯＤＥ ＰＡＣＫにフレーム単位で格納し、ＤＶストリームＳ１として出力する。パス１ＭＰＥＧビデオエンコーダ１からのピクチャ単位の符号化制御情報と、ＤＶビデオエンコーダ２からのＤＶパック領域に格納したフレームとは同期して、ＤＶパック領域に格納するものとする。このＤＶパック領域は、メーカが自由に定義出来る領域である。ＤＶ多重化処理部３の構成例及び符号化制御情報構成例については後述する図３にて説明する。
【００２２】
以上がパス１符号化部１００の処理の概略である。このようなパス１符号化部１００を、例えば、ＤＶカムコーダに搭載し、実時間処理することが可能である。なお、パス１符号化部１００から出力されたＤＶストリームＳ１は、ＤＶ規格に準拠しており、パス１ＭＰＥＧビデオエンコーダ１からの符号化制御情報も含め、ＤＶテープ等のメデイアに記録したり、IEEE1394にしたがってパス２符号化部２００に出力することができる。
【００２３】
次に、パス２符号化部２００では、上述のようにしてパス１符号化部１００で生成されたＤＶビデオストリームを、まずは、ハードディスクや、大容量のメモリ、書き換え可能なＤＶＤ等の光ディスク等のデータの書き換え可能な記録媒体４に記録する。
【００２４】
すると、再符号化制御情報生成部５では、記録媒体４に記録されたＤＶストリームＳ１のＤＶパック領域に構成されたピクチャ毎の符号化制御情報に基づいて、後述するようにピクチャ毎の再符号化制御情報を算出し、もとの符号化制御情報が構成されていた無効パケットを、新たに算出した再符号化制御情報に置き換えて記録する。その方法及び再符号化制御情報構成例については後述する図４にて説明する。
【００２５】
ここで、記録媒体４に記録されたＤＶストリームＳ１がユーザにより編集や更新される場合があるので、再符号化制御情報生成部５における再符号化制御情報の算出タイミングは、例えば、ユーザからのＤＶストリームＳ１の編集や更新指示がある毎に、あるいは記録媒体４に記録されたＤＶストリームＳ１が編集や更新されるか否かを、ＤＶストリームＳ１の記録時間や更新時間等に基づき監視して、記録媒体４に記録されたＤＶストリームＳ１が編集や更新される度に、ピクチャ毎の再符号化制御情報を算出する。なお、パス２ＭＰＥＧビデオエンコーダ８においてパス２ＭＰＥＧ符号化が行われる際に、再符号化制御情報が算出されれば十分であるので、記録媒体４に記録されたＤＶストリームＳ１が編集や更新される度に、ピクチャ毎の再符号化制御情報を算出するのではなく、パス２符号化部２００において再符号化が行われる直前、すなわちＤＶ分離化処理部６が記録媒体４からＤＶストリームＳ１を読み出す際に、記録媒体４への読み出し指令を再符号化制御情報生成部５が検出して、その時にピクチャ毎の再符号化制御情報を算出するようにしても良い。以上のように、ＤＶストリームＳ１の編集や更新指示がある毎に再符号化制御情報生成処理を行っておけば、パス２符号化処理の開始の指示があれば、すぐにパス２符号化処理を開始できる効果を有する一方、パス２符号化処理の直前にのみ再符号化制御情報生成処理を行うようにした場合には、記録媒体４に記録されたＤＶストリームＳ１がユーザにより編集や更新が複数回行われても、再符号化制御情報生成部５における再符号化制御情報の計算は一回で済ませることができ、消費電力等を削減することができるという効果を有する。また、ＤＶストリームＳ１の編集や更新指示がある毎や、パス２符号化処理の直前だけでなく、ユーザが再符号化制御情報生成処理の実行を直接指定したり、さらにはタイマ等により再符号化制御情報生成処理の実行タイミングを指定して、夜間など本装置の処理負荷の小さいときに、実行させるようにしても勿論よい。
【００２６】
ＤＶ分離化処理部６は、記録媒体４からＤＶストリームＳ１を読み出し、ＤＶビデオストリームとＤＶオーディオデータとに分離して出力すると共に、ＤＶストリームＳ１のＤＶパック領域に格納された再符号化制御情報を分離し、ＤＶビデオデコーダ７に出力するＤＶストリームとフレーム同期してパス２ＭＰＥＧビデオエンコーダ８に出力する。ＤＶ分離化処理部６の構成例については後述する図５にて説明する。
【００２７】
ＤＶビデオデコーダ７では、ＤＶ分離化処理部６からのＤＶビデオストリームを入力してＤＶビデオデコードを行い、映像信号をパス２ＭＰＥＧビデオエンコーダ８に出力する。
【００２８】
パス２ＭＰＥＧビデオエンコーダ８は、ＤＶビデオデコーダ７からの映像信号を、ＤＶ分離化処理部６からの再符号化制御情報に基づいてＭＰＥＧ符号化を行い、ＭＰＥＧビデオストリームを出力する。パス２ＭＰＥＧビデオエンコーダ８の詳細については後述する図６にて説明する。
【００２９】
以上がパス２符号化部２００の概略である。このようなパス２符号化部２００をカムコーダ等のレコーダとして搭載し、上記出力されたＭＰＥＧビデオストリームをハードディスク、光ディスクに記録することが可能である。
【００３０】
次に、図１に示す映像信号符号化装置の各構成要素の詳細について説明する。
【００３１】
図２は、図１に示すパス１ＭＰＥＧビデオエンコーダ１の構成例を示すブロック図である。
【００３２】
図２において、パス１ＭＰＥＧビデオエンコーダ１は、第１の画像メモリ１１、減算器１２、ＤＣＴ部１３、量子化部１４、ＶＬＣ部１５、アクティビティ検出部１６、符号量制御部１７、符号化制御情報生成部１８、動き補償予測部１９、逆量子化部２０、逆ＤＣＴ部２１、加算器２２、第２の画像メモリ２３を有している。
【００３３】
次に図２に示すパス１ＭＰＥＧビデオエンコーダ１の動作を説明すると、パス１ＭＰＥＧビデオエンコーダ１に入力された映像信号は、まず、第１の画像メモリ１１に入力され記憶される。
【００３４】
第１の画像メモリ１１には、複数フレームの画像データが記憶される。記憶された画像データは例えば、輝度データが１６×１６画素、色データ(Ｃｂ／Ｃｒ)はそれぞれ１６×８画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。
【００３５】
同様にブロック化された画像データは、動き補償予測部１９に入力され、動き補償予測部１９は、まず、第１の画像メモリ１１から読み出された画像データと、第２の画像メモリ２３から読み出されたフレームまたはフィールド毎にローカルデコードされた再生画像データとより、フレーム間あまたはフィールド間予測の動きベクトルが検出される。
【００３６】
そして、動き補償予測部１９は、この動きベクトルと、第２の画像メモリ２３より読み出した再生画像データとから動き補償を行い、動き補償画像データは減算器１２へ出力する一方、動きベクトルおよび予測モードはＶＬＣ１５へ出力する。
【００３７】
減算器１２では、第１の画像メモリ１１から読み出された画像データと、動き補償予測部１９からの動き補償画像データを入力して減算を行い、減算結果である差分画像データをＤＣＴ部１３へ出力する。
【００３８】
ＤＣＴ部１３では、差分画像データを入力してＤＣＴ変換（離散コサイン変換）して、ＤＣＴ係数を量子化部１４へ出力する。
【００３９】
量子化部１４では、ＤＣＴ部１３からのＤＣＴ係数を入力して量子化を行い、量子化データをＶＬＣ部１５へ出力すると共に、量子化の際の量子化スケール（量子化ステップともいう。）などの量子化パラメータを符号化制御情報生成部１８へ出力する。ここで、量子化スケールとしては、面内の平均量子化スケール等が考えられる。
【００４０】
ＶＬＣ部１５では、量子化部１４からの量子化データ、動き補償予測部１９からの動きベクトルおよび予測モードを入力しエントロピー符号化して、エントロピー符号化の際のピクチャ単位の発生符号量およびピクチャタイプを、符号量制御部１７および符号化制御情報生成部１８に出力する。ここで、ピクチャ単位の発生符号量とは、例えば、可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域対する総和などが考えられる。
【００４１】
符号化制御情報生成部１８では、量子化部１４よりピクチャ毎の量子化パラメータを入力して平均量子化スケールを算出し、算出した平均量子化スケールと、アクティビティ検出部１６から入力されたアクティビティと、ＶＬＣ部１５からの発生符号量およびピクチャタイプとにより符号化制御情報を構築して出力する。
【００４２】
ところで、Ｉ，Ｐピクチャは、後で動き補償予測の参照データとして用いられるため、逆量子化および逆ＤＣＴのローカルデコードを行う必要がある。
【００４３】
そのため、逆量子化部２０では、量子化部１４からの量子化データを入力して逆量子化を行いＤＣＴ係数に戻して出力する。次いで、逆ＤＣＴ部２１は、ＤＣＴ係数を入力して逆ＤＣＴを行い差分再生画像に戻して出力する。加算器２２では、差分再生画像と、動き補償予測部１９からの動き補償画像データとを入力して加算し、再生画像データとして第２の画像メモリ２３に出力して記憶する。
【００４４】
ところで、符号量制御部１７では、ＶＬＣ１５から入力される発生符号量およびピクチャタイプと、アクティビティ検出部１６からのアクティビティとに基づいて符号量制御を行い、量子化部１４に量子化制御情報を出力する。
【００４５】
発生符号量と量子化スケールとは、ほぼ反比例の関係があり、発生符号量を増加させるには、量子化スケールを小さくする一方、発生符号量を減少させるには量子化スケール大きくする。また、Ｐピクチャは、ひとつ前のＩピクチャもしくはＰピクチャから、Ｂピクチャは時間的に両側のＩピクチャとＰピクチャから予測されている関係上、Ｉピクチャが劣化すると、連動して他のピクチャも劣化する。したがって、Ｉピクチャの画質は最も重要で符号も十分に配分しなければならない。そこで、参照画像（リファレンス）となるＩピクチャ、Ｐピクチャの画質劣化を抑える目的で、パス２符号化部２００におけるＭＰＥＧ符号化の時は、パス１符号化部１００の時のピクチャタイプと同じピクチャタイプで再符号化を行なう。
【００４６】
一方、アクティビティ検出部１６では、第１の画像メモリ１１から画像データを読み出し、ピクチャ毎のアクティビティの総和を算出し出力する。アクティビティは、面内のブロック単位の変化を示すもので、例えば、図９に示すような８×８画素のブロック単位で求める。
【００４７】
図９は、アクティビティ検出部１６におけるピクチャ毎のアクティビティの算出方法を示している。
【００４８】
即ち、図９に示すように、水平方向、垂直方向それぞれに隣接するピクセル間の絶対値差分を算出し、ブロック単位ごとの総和を算出する。面内のブロック単位の変化大きい時、アクティビティは大きくなり、面内のブロック単位の変化小さい時、アクティビティは小さくなる。そして、アクティビティ検出部１６では、ピクチャの全領域に対して上記計算を行い、ピクチャ全体での総和を算出して出力する。アクティビティの単位ブロックは、ＭＰＥＧ符号化の最小単位のブロック（８ｘ８画素）としている。
【００４９】
図３は、図1に示すＤＶ多重化処理部３の構成例を示すブロック図である。
【００５０】
図３において、ＤＶ多重化処理部３は、バッファメモリ３１、ＤＶ  ＭＵＸ３２、符号化制御情報ＤＶパケット生成部３３を有している。
【００５１】
図３に示すＤＶ多重化処理部３の動作を説明すると、ＤＶビデオエンコーダ２から入力されたＤＶビデオストリームと、外部から入力されたＤＶオーディオストリームとがＤＶ多重化処理部３に入力されると、いったんバッファメモリ３１に記録される。符号化制御情報ＤＶパケット生成部３３は、パス１ＭＰＥＧビデオエンコーダ１から出力される符号化制御情報を入力して、例えば、図７に示すような構造の符号化制御情報を構築し出力する。
【００５２】
図７（ａ），（ｂ）は、符号化制御情報ＤＶパケット生成部３３が生成する符号化制御情報の構造の一例を示している。
【００５３】
ＤＶパケット構造の符号化制御情報は、図７（ａ），（ｂ）に示すように、ＰＣ０〜ＰＣ４の５バイトの２つのデータから構成されており、ＰＣ０が“１１１１００００”の場合、図７（ａ）に示すように、ＰＣ１としてＭＡＫＥＲ ＣＯＤＥ、ＰＣ２としてＴＤＰを含んでいる。ＭＡＫＥＲ ＣＯＤＥは、メーカーごとに割り当てられた、１バイトのメーカー識別コードで、ＴＤＰはこのパックに続くＯＰＴＩＯＮパック数を表すバイナリーコードである。詳細に関しては、ＤＶ規格（ＩＥＣ−６１８３４）に明記されている。また、ＤＶパケット構造の符号化制御情報は、ＰＣ３としてデータ識別、ピクチャタイプ、ＴＤＰ、ＰＣ４として符号化平均レートを含んでいる。データ識別は、符号化制御情報か、再符号化制御情報かを識別するものである。
【００５４】
また、ＤＶパケット構造の符号化制御情報は、さらに、図７（ｂ）に示すように、ＰＣ０が“１１１１０００１”の場合、ＰＣ１およびＰＣ２としてパス１ＭＰＥＧエンコーダ１のＶＬＣ１５における発生符号量、ＰＣ３として量子化部１４からの量子化情報、ＰＣ４としてアクティビティ検出部１６からのアクティビティを含んでいる。
【００５５】
そして、ＤＶ  ＭＵＸ３２では、バッファメモリ３１から読み出したＤＶビデオストリームと、ＤＶオーディオストリームと、更に符号化制御情報ＤＶパケット生成部３３で生成されたＤＶパケット構造の符号化制御情報とを多重化してＤＶストリームＳ１としてパス２符号化部２００に出力する。ここで、バッファメモリ３１からのＤＶビデオストリームと、ＤＶオーディオストリームの読み出しタイミングは、各ストリームのフレームとピクチャの符号化制御情報の同期をとるようにする。
【００５６】
ここで、図１のパス１ＭＰＥＧビデオエンコーダ１から出力される符号化制御情報の並びは、例えば、図１０（ａ）に示すように、ＭＰＥＧ符号化オーダーになっている。そのため、ＤＶ多重化処理部３のＤＶ  ＭＵＸ３２では、図１０（ｂ）に示すように、ＤＶフレーム並び、すなわち入力される映像信号の並びに並び替える。通常、ＤＶエンコード処理とＭＰＥＧエンコード処理にかかる時間は、リアルタイム処理を前提にすると、フレーム間予測符号化を行う場合、ＭＰＥＧエンコード処理時間の方が大きい。
【００５７】
図４は、図１に示す再符号化制御情報生成部５の構成例を示すブロック図である。
【００５８】
図４において、再符号化制御情報生成部５は、符号化制御情報分離化処理部５１、バッファメモリ５２、再符号化制御情報演算部５３、再符号化制御情報多重化処理部５４を有している。
【００５９】
次に図４に示す再符号化制御情報生成部５の動作を説明すると、再符号化制御情報生成部５では、まず、符号化制御情報分離化処理部５１が、記録媒体４に記録されているＤＶビデオストリームを読み出し、符号化制御情報が格納されているＤＶパケットを検出し、検出したＤＶパケットより符号化制御情報を抽出してバッファメモリ５２に蓄える。
【００６０】
再符号化制御情報演算部５３では、符号化制御情報分離化処理部５１から入力された図７（ａ）、（ｂ）に示すような全てのピクチャの符号化制御情報と、パス２ＭＰＥＧ符号化によるＭＰＥＧストリームの目標符号量とに基づいて、再符号化平均レートを求める。そして、再符号化制御情報演算部５３は、求めた再符号化平均レートを含めた図８（ａ）、（ｂ）に示すようなピクチャ毎の再符号化制御情報を生成し、バッファメモリ５２に蓄える。
【００６１】
図８（ａ）、（ｂ）は、再符号化制御情報演算部５３が生成する再符号化制御情報の構造の一例を示している。
【００６２】
ＤＶパケット構造の再符号化制御情報は、図７（ａ），（ｂ）に示す符号化制御情報とほぼ同じ構造で、ＰＣ０〜ＰＣ４の５バイトの２つのデータから構成されている。つまり、ＰＣ０が“１１１１００００”の場合、図８（ａ）に示すように、ＰＣ４として符号化平均レートが再符号化平均レートに置き換わっており、それ以外のデータは、図７（ａ）に示す符号化制御情報と同じである。
【００６３】
また、ＰＣ０が“１１１１０００１”の再符号化制御情報は、図８（ｂ）に示すように、ＰＣ１およびＰＣ２のパス１ＭＰＥＧエンコーダ１のＶＬＣ１５における発生符号量がパス２ＭＰＥＧエンコーダ８から出力されるＭＰＥＧストリームの目標符号量に置き換わり、ＰＣ４のアクティビティが“１１１１１１１１”の無効データに置き換わっている。
【００６４】
ここで、ＰＣ４の再符号化平均レートは、図８（ａ）では、１つしか設定していないが、パス２ＭＰＥＧエンコーダ８が適応的に選択できるように事前に複数の平均レートに対して計算して設定することも可能である。その時は、図８に示す再符号化制御情報を複数組み合わせて構成することになる。これにより、パス２ＭＰＥＧエンコーダ８がＭＰＥＧ再符号化する時に複数の平均レート選択が可能になる。
【００６５】
また、パス２ＭＰＥＧエンコーダ８が再符号化する時のピクチャタイプは、前述のとおりパス１符号化部１００におけるパス１ＭＰＥＧビデオエンコーダ１におけるＭＰＥＧ符号化時と同じであることが望ましいので、ユーザの編集がない場合は、ピクチャタイプは符号化制御情報のものと変更しないようにする。ただし、ユーザにより編集等が加えられ、ピクチャタイプや目標符号量が変更する場合は、ピクチャ単位の符号化制御情報をもとに、再符号化制御情報演算部５３で適切な再符号化時のピクチャタイプや目標符号量を設定する。例えば、ピクチャの削除や挿入等の編集後の最初のピクチャのピクチャタイプは、Ｉピクチャとしたり、ピクチャに画像を追加する編集をした場合は、そのピクチャの目標符号量を増大する如きである。
【００６６】
再符号化制御情報多重化処理部５４では、記録媒体４からＤＶビデオストリームを読み出して、ＤＶビデオストリームから符号化制御情報が設けられたＤＶパケットを検出し、図７（ａ），（ｂ）に示すようなピクチャ単位の符号化制御情報を、図８（ａ），（ｂ）に示すようなピクチャ単位の再符号化制御情報に置き換える。つまり、同じフレームの符号化制御情報は、同じフレームの再符号化制御情報に置き換わることになる。
【００６７】
次に、再符号化制御情報演算部５３における再符号化制御情報の生成方法の一例について説明する。
【００６８】
再符号化制御情報演算部５３は、まず各ピクチャの発生符号量、平均量子化スケール、アクティビティ等のパラメータに対してピクチャタイプごとに重み付け処理を行う。例えば、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で重み付けを行うが、後述するように設定平均レートが低い場合、一般的にＢピクチャの劣化が目立つため、この劣化を抑えるために、Ｉ，Ｐピクチャとの目標符号量の差を小さくするように、ＢピクチャをＩピクチャ、Ｐピクチャより重くなるように重み付けを行う。そして、全時間に渡る平均を算出基準として、各ピクチャの上記パラメータを比較し、符号量配分比率を算出する。各ピクチャの符号量配分比率を設定したレートでのピクチャ単位の平均符号量に乗じることで目標符号量を算出する。
【００６９】
図１１は、Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示したものである。
【００７０】
図１１に示すように、例えば、９Ｍｂｐｓの平均符号量等というように設定平均レートが高い場合、再符号化制御情報演算部５３は、参照画像（リファレンス）となるＩ，Ｐピクチャには、より多くの符号量を割り当てるように重み付けを行う。これに対し、例えば、４Ｍｂｐｓの平均符号量等というように設定平均レートが低い場合、再符号化制御情報演算部５３は、Ｂピクチャの劣化を抑えるために、Ｉ，ＰピクチャとＢピクチャとの目標符号量の差が小さくなるように重み付けを行う。
【００７１】
図５は、図１に示すＤＶ分離化処理部６の構成例を示すブロック図である。
【００７２】
図５において、ＤＶ分離化処理部６は、再符号化制御情報抽出部６１、ＤＶ  ＤＥＭＵＸ６２を有している。
【００７３】
図５に示すＤＶ分離化処理部６の動作を説明すると、ＤＶ分離化処理部６では、まず、ＤＶ  ＤＥＭＵＸ６２が記録媒体４に記録されたＤＶビデオストリームを読み出し、ＤＶビデオストリーム、ＤＶオーディオデータを分離して出力すると共に、再符号化制御情報が格納されているＤＶパケットを分離して再符号化制御情報抽出部６１へ出力する。
【００７４】
再符号化制御情報抽出部６１では、ＤＶ  ＤＥＭＵＸ６２から入力されたＤＶパケットより、再符号化制御情報を抽出し、パス２ＭＰＥＧビデオエンコーダ８へ出力する。ここで、再符号化平均レートが複数設定されている場合、再符号化制御情報抽出部６１は、ユーザが設定した、あるいはパス２ＭＰＥＧビデオエンコーダ８から指定された再符号化時の平均レート（平均符号量）に応じた再符号化制御情報を選択して出力することも可能である。
【００７５】
図６は、図１に示すパス２符号化部２００のパス２ＭＰＥＧビデオエンコーダ８の構成例を示すブロック図である。
【００７６】
図６において、パス２ＭＰＥＧビデオエンコーダ８は、第１の画像メモリ８１、減算器８２、ＤＣＴ部８３、量子化部８４、ＶＬＣ部８５、符号量制御部８７、動き補償予測部８９、逆量子化部９０、逆ＤＣＴ部９１、加算器９２、第２の画像メモリ９３を有しており、パス１ＭＰＥＧビデオエンコーダ１が備えているアクティビティ検出部１６および符号化制御情報生成部１８に相当する構成を備えていない。
【００７７】
このように、パス２符号化部２００のパス２ＭＰＥＧビデオエンコーダ８の基本構成は、図２に示すパス１符号化部１００側のパス１ＭＰＥＧビデオエンコーダ１の構成と同じであるので、主に異なる部分について説明する。
【００７８】
つまり、パス２ＭＰＥＧビデオエンコーダ８では、ＶＬＣ部８５が量子化部８４からの量子化データ、動き補償予測部８９からの動きベクトルおよび予測モードを入力して、これらを可変長符号化しＭＰＥＧビデオストリームを出力すると共に、ピクチャ単位の発生符号量を出力する。
【００７９】
符号量制御部８７では、ＶＬＣ部８５から入力される発生符号量と、図１に示すＤＶ分離化処理部６からのピクチャ毎の目標符号量やピクチャタイプ、再符号化平均レートを含む再符号化制御情報とに基づいて符号量制御を行ない、量子化部８４に量子化制御情報を出力する。他の各ブロックの動作は、図２に示すパス１ＭＰＥＧビデオエンコーダ１と同様であるので省略する。
【００８０】
このように、パス２ＭＰＥＧビデオエンコーダ８では、上述の特開２００５−６４７９０号公報記載の従来の映像信号符号化装置のように、パス１符号化部１００における１パス目の符号化の際の符号化難易度から単位時間あたりの割り当てビット量を算出して、２パス目の符号化の際、この割り当てビット量を元に最適な割り当てビット量で可変ビットレートの符号化処理を行うのではなく、パス２符号化部２００の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づきパス２ＭＰＥＧビデオエンコーダ８が２パス目のＭＰＥＧ符号化を行う。
【００８１】
従って、本実施の形態１の映像信号符号化装置によれば、パス２符号化部２００の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてパス２ＭＰＥＧビデオエンコーダ８が２パス目のＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行って、ピクチャタイプや発生符号量が変わる場合でも、再符号化制御情報生成部５はそのユーザの編集を反映して目標符号量やピクチャタイプ、再符号化平均レートを設定した再符号化制御情報を生成するので、ユーザの編集を反映させて２パス目の符号化を行うことが可能となる。
【００８２】
その結果、ユーザが１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行って、ピクチャタイプや発生符号量が変わる場合でも、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【００８３】
なお、上記実施の形態１では、外部から入力するＤＶストリームにＤＶオーディオデータを多重化したり分離するものと説明したが、本発明では、これに限らず、ＤＶストリームにＤＶオーディオデータが多重化する必要がなければ、ＤＶオーディオデータの多重化や分離は省略しても勿論よい。
【００８４】
実施の形態２．
実施の形態２の映像信号符号化装置は、パス１符号化部１００側における１パス後の編集を前提として、ピクチャタイプを全てイントラピクチャ（Ｎ＝１、Ｍ＝１）で構成し、量子化スケールを固定として符号化するようにしたものである。これにより、フレーム間符号化時の難易度が発生符号量に反映されないが、フレーム内の難易度がより顕著に発生符号量に反映されることになる。
【００８５】
この方法は、特にフレーム単位の編集等を頻繁に行う時に有効である。
【００８６】
図１２は，実施の形態２の映像信号符号化装置のパス１ＭＰＥＧビデオエンコーダ１’の構成例を示すブロック図である。
【００８７】
図１２において、本実施の形態２の映像信号符号化装置のパス１ＭＰＥＧビデオエンコーダ１’は、画像メモリ１０１、ＤＣＴ部１０３、量子化部１０４、ＶＬＣ部１０５、アクティビティ検出部１０６、符号化制御情報生成部１０８とを有している。
【００８８】
本実施の形態２の映像信号符号化装置のパス１ＭＰＥＧビデオエンコーダ１‘の動作を説明すると、映像信号が入力すると画像メモリ１０１に入力され記憶される。画像メモリ１０１には、複数フレームの画像データが記憶される。記憶された画像データは、例えば、輝度データが16×16画素、色データ（Ｃｂ／Ｃｒ）はそれぞれ16×8画素単位のブロックで処理され、色データに関しては縦方向にサブサンプリングし、それぞれ8×8画素のブロックとして処理される。
【００８９】
ＤＣＴ部１０３では、画像データを入力しＤＣＴ（離散コサイン変換）を行って、ＤＣＴ係数を出力する。
【００９０】
量子化部１０４では、ＤＣＴ係数を入力して量子化を行い、量子化データを出力する。
【００９１】
符号化制御情報生成部１０８では、入力されたアクティビティ、発生符号量で符号化制御情報を構築出力する。この時ピクチャタイプは全てイントラ、量子化パラメータは固定値となる。
【００９２】
ＶＬＣ部１０５では、量子化データを入力してピクチャ単位の発生符号量を出力する。ここで、ピクチャ単位の発生符号量とは、例えば可変長符号化で得られた所定のブロック（１６×１６画素）単位の符号量のピクチャ全領域対する総和などが考えられる。
【００９３】
アクティビティ検出部１０６では、画像メモリ１０１から画像データを読み出し、ピクチャ毎のアクティビティの総和を算出し出力する。
【００９４】
従って、本実施の形態２の映像信号符号化装置によれば、上記実施の形態１と同様に、パス２符号化部２００の再符号化制御情報生成部５が記録媒体４に記録されたＤＶストリームに多重化された符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてパス２ＭＰＥＧビデオエンコーダ８が２パス目のＭＰＥＧ符号化を行うので、１パス目の符号化後に記録媒体４に記録されたＤＶストリームに対しユーザが編集を行い、記録媒体４に記録されたＤＶストリームを構成するピクチャのピクチャタイプや発生符号量が変わる場合でも、再符号化制御情報生成部５はそのユーザの編集を反映して目標符号量やピクチャタイプ、再符号化平均レートを設定した再符号化制御情報を生成するので、ユーザの編集を反映させて２パス目の符号化を行うことができ、画質を劣化させずに効率良く２パス目の符号化を実行することができる。
【００９５】
また、特に、本実施の形態２の映像信号符号化装置では、パス１符号化部１００側では、パス１ＭＰＥＧビデオエンコーダ１’が映像信号を全てイントラピクチャで、かつ、量子化スケールを固定としてＭＰＥＧ符号化して符号化制御情報を生成し、パス２符号化部２００の再符号化制御情報生成部５がこの符号化制御情報に基づいて再符号化制御情報を生成し、この再符号化制御情報に基づいてパス２ＭＰＥＧビデオエンコーダ８が２パス目のＭＰＥＧ符号化を行うので、パス１符号化部１００における符号化制御情報により、フレーム間符号化時の難易度が発生符号量に反映されないものの、フレーム内の難易度がより顕著に発生符号量に反映されるので、フレーム単位の編集等を頻繁に行う時に特に有効になり、このような場合に画質を劣化させずに効率良く２パス目の符号化を実行できることになる。
【図面の簡単な説明】
【００９６】
【図１】本発明に係る映像信号符号化装置の実施の形態の構成例を示すブロック図である。
【図２】図１に示すパス１ＭＰＥＧビデオエンコーダ１の構成例を示すブロック図である。
【図３】図1に示すＤＶ多重化処理部３の構成例を示すブロック図である。
【図４】図１に示す再符号化制御情報生成部５の構成例を示すブロック図である。
【図５】図１に示すＤＶ分離化処理部６の構成例を示すブロック図である。
【図６】図１に示すパス２符号化部２００のパス２ＭＰＥＧビデオエンコーダ８の構成例を示すブロック図である。
【図７】（ａ），（ｂ）それぞれ、符号化制御情報ＤＶパケット生成部３３が生成する符号化制御情報の構造の一例を示す説明図である。
【図８】（ａ）、（ｂ）それぞれ、再符号化制御情報演算部５３が生成する再符号化制御情報の構造の一例を示す説明図である。
【図９】アクティビティ検出部１６におけるピクチャ毎のアクティビティの算出方法を示す説明図である。
【図１０】（ａ）、（ｂ）それぞれ、ＤＶ多重化処理部３における符号化制御情報の並び替えを示す説明図である。
【図１１】Ｉ、Ｐピクチャの間隔を示すＭ値＝３の時の各符号化平均レートによるフレーム単位の目標符号量例を示す説明図である。
【図１２】実施の形態２の映像信号符号化装置のパス１ＭＰＥＧビデオエンコーダ１’の構成例を示すブロック図である。
【符号の説明】
【００９７】
１００  パス１符号化部
１  パス１側ＭＰＥＧビデオエンコーダ
２  ＤＶビデオエンコーダ
３  ＤＶ多重化処理部
２００  パス２符号化部
４  記録媒体
５  再符号化制御情報生成部
６  ＤＶ分離化処理部
７  ＤＶビデオデコーダ
８  パス２側ＭＰＥＧビデオエンコーダ
【図１】
2008211555.tif 000003
【図２】
2008211555.tif 000004
【図３】
2008211555.tif 000005
【図４】
2008211555.tif 000006
【図５】
2008211555.tif 000007
【図６】
2008211555.tif 000008
【図７】
2008211555.tif 000009
【図８】
2008211555.tif 000010
【図９】
2008211555.tif 000011
【図１０】
2008211555.tif 000012
【図１１】
2008211555.tif 000013
【図１２】
2008211555.tif 000014