(57)【特許請求の範囲】
【請求項１】
復号前の符号化時の各マクロブロックに対応する各符号化パラメータが重畳されている復号画像信号に対して、前記復号画像信号から分離した前記各符号化パラメータに基づき高能率予測符号化を行う画像信号符号化装置であり、前記各符号化パラメータは、各マクロブロック単位の符号化情報であるマクロブロック符号化パラメータと、画像単位の符号化情報の一部であるピクチャ符号化パラメータとを含むものである画像信号符号化装置において、
一画像単位に相当する前記復号画像信号から分離した前記各符号化パラメータ内から、前記復号画像信号への復号を行った画像信号復号装置の識別信号を検出する検出手段と、
前記検出された識別信号に対して同一の識別信号毎に、その識別信号が検出された各符号化パラメータ内から抽出したピクチャ符号化パラメータを合わせることにより一画像単位の符号化情報が得られたか否かを判断し、前記一画像単位の符号化情報が得られた場合、前記検出された識別信号が全て同一であるか否かを判断し、前記検出された識別信号が同一でない場合、前記一画像単位の符号化情報が得られた各符号化パラメータから検出されている識別信号が一種類であるか否かを判断して、その判断結果に基づいて、前記取得された一画像単位の符号化情報がそれぞれ符号化時に有効であるか無効であるかを判断する第１の判断手段と、
前記検出された識別信号に基づき、前記分離した各符号化パラメータにおける前記マクロブロック符号化パラメータがそれぞれ符号化時に有効であるか無効であるかを判断する第２の判断手段とを設け、
有効と判断されたマクロブロック符号化パラメータ及びピクチャ符号化パラメータに関してはそのマクロブロック符号化パラメータ及びピクチャ符号化パラメータを符号化に用い、無効と判断されたマクロブロック符号化パラメータ及びピクチャ符号化パラメータに関してはそのマクロブロック符号化パラメータ及びピクチャ符号化パラメータに相当する情報を生成して符号化に用いる、
ことを特徴とする画像信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、復号前の符号化パラメータが重畳されて復号画像信号を再符号化する画像信号符号化装置に関する。そして、この発明は特に、複数の復号画像信号を切り替えることによって編集された復号画像信号を再度符号化する場合に、良好な再符号化を可能とする画像信号符号化装置を提供することを目的としている。
【０００２】
【従来の技術】
近年、デジタル化された画像・音声信号に対し高能率予測符号化による圧縮を行い、その圧縮された情報を用いて、衛星波、地上波、電話回線などの伝送路により情報を配信するサービスが実用化されている。このようなサービスにおいて、動画像信号・音声信号の高能率予測符号化方式として国際規格であるMPEG2が用いられている。MPEG2は、画像信号の隣接画素間の相関（空間方向の相関）、及び、フレームもしくはフィールドの相関（時間方向の相関）を利用して、画像信号の情報量を圧縮する符号化方式である。
【０００３】
MPEG2規格における画像符号化は次のようなアルゴリズムで処理される。まず時間的に連続する画像フレームを、基準フレームと予測フレームにふりわける。基準フレームは空間方向の相関のみを用いることでそのフレームの符号化データのみで復元することができる。予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関とを共に用いることにより、基準フレームに対してより符号化効率を高めることができる。予測フレームは、復号された基準フレームと符号化データより復元される。
【０００４】
具体的なMPEG2画像符号化で用いられる符号化体系について図３を用いて説明する。基準フレームであるIフレームは定期的に存在し復号処理の基準となる。また、予測フレームには、時間的に前の基準フレームからの予測のみで符号化されるPフレームと、時間的に前後の2つの基準フレームから予測符号化されるBフレームが存在する。Pフレームは、自身が予測フレームであると共に続くBフレームやPフレームの基準フレームにもなる。
【０００５】
Iフレームの画像信号は輝度信号で水平16画素×垂直16画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に8×8画素単位の2次元ブロックに分割され、直交変換の一種であるDCT（離散コサイン変換）処理が行われる。DCT変換後の信号はその2次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって低域成分を細かく高域成分を荒く量子化し、その量子化の係数成分と係数成分がない（係数0）ものとの連続する長さを可変長符号化することにより、情報量を圧縮している。
【０００６】
Pフレームの画像信号は、Iフレームと同様に16×16画素のマクロブロックに分割される。Pフレームでは、マクロブロック毎に基準フレームとの間の動きベクトルを計算する。動きベクトルの検出は一般的にブロックマッチングにより求められる。マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを16×16画素にブロック化した各画素の差分絶対値総和（もしくは差分二乗総和）を求め、その最小値をとる動きベクトルの値を、検出された動きベクトルとして出力する。
【０００７】
マクロブロックの各画素は、動きベクトルにより切り出された2次元ブロックの各画素との差分がとられる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Iフレームよりも荒い量子化処理が可能となる。実際には差分ブロックを符号化するか非差分ブロック（Intraブロック）を符号化するかを選択し（予測モード判定）、選択されたブロックに対してIフレームと同様のDCT・可変長符号化処理を施し、情報量が圧縮される。
【０００８】
Bフレームは、Pフレームと同様の処理が行われるが、基準フレームが前後に存在するため、それぞれの基準フレームとの間で動きベクトルを検出する。Bフレームでは予測の選択肢が、前基準フレームからの予測（Forward予測）・後基準フレームからの予測（Backward予測）・２つの予測ブロックの画素毎平均値（Average予測）、の3種類存在し、Intraブロックを合わせた4種類から予測モード判定を行う。Bフレームは、時間的に前後の基準フレームから予測が可能となるため、Pフレームよりもさらに予測効率が向上する。よって、一般的にPフレームよりもさらに荒く量子化される。選択されたブロックはI、Pフレームと同様の符号化処理がなされる。
【０００９】
Bフレームは復号される為に、時間的に後の基準フレームからの予測処理が行われるため、基準フレームは、Bフレームに先行して符号化される。そのため、入力された画像信号は図４に示される順番に並べ替えが行われ、符号化される。復号処理では、逆の並べ替えを行ない出力することにより、入力された画像信号の順番に復号画像が再生される。
【００１０】
MPEG2画像符号化を実現する従来の一般的な符号化装置と復号装置とをそれぞれ図６，図７に示し説明する。
【００１１】
図６に示される符号化装置では、入力されたデジタル画像信号がフレームメモリ（入力画像メモリ）１に記録され、符号化シンタックスに従って符号化される順番に並べ替えを行うための遅延がなされる。入力画像メモリ１から出力されたデジタル信号は、2次元ブロック変換回路２にてマクロブロックが切り出される。
【００１２】
基準フレームにおいては、マクロブロックデータは直交変換回路４にて8×8画素単位でDCT変換が行われ、量子化回路４に送られる。量子化回路４において量子化されたDCT係数は、符号化回路５において符号化テーブル１６の係数に対応したアドレスを参照することにより可変長または固定長の符号化が行われ、マルチプレクサ６により上記符号化データと画面内でのマクロブロックの場所等を示す付加情報（符号化パラメータ）とが多重化され、ビットストリームとして出力される。
【００１３】
一方、量子化回路４で量子化されたDCT係数は逆量子化回路７、逆直交変換回路８において逆量子化及び逆DCT処理が行われ、符号化ビットストリームが復号されてデブロック回路９及び加算回路１０を介して参照画像メモリ１１に格納される。
【００１４】
続いて予測フレームにおいては、入力画像メモリ１から切り出されたマクロブロックデータと参照画像メモリ１１に格納されている画像との間で動きベクトル検出回路１２によって、画像間での動きベクトルが求められる。出力された動きベクトルにより、予測ブロックが動き補償予測回路１３により参照画像メモリ１１から切り出され、動き補償予測回路１３では予測モードの選択を行ない、符号化する入力画像ブロックとの差分信号を減算器１４で生成し直交変換回路３に送り出す。差分信号は前記フレームの各ブロックと同様の処理が行われ、DCT係数が量子化処理され動きベクトルや予測モード（符号化パラメータ）と共にビットストリームとして出力される。
【００１５】
符号量の制御に関しては、出力されたストリームの符号量と符号量制御回路１５において目標とする符号量との比較がとられ、目標符号量に近づけるために量子化回路４の量子化の細かさ（量子化スケール）を制御する。３種類の情報量の異なるフレームタイプに対し、設定された符号化レートに対してそれぞれのフレームタイプの性質と出現頻度を用いて、各フレームに対する目標符号量を算出する。また目標符号量は、復号装置のストリームバッファを仮想的にシミュレートして、バッファのオーバーフロー・アンダーフローが起きないように制限される。量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係があることを利用して、各フレームタイプ毎に目標符号量に対する量子化スケール値を計算し、量子化処理を行う。ブロック毎に目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ビットストリームを抑える。
【００１６】
図７に示される復号装置では、まず入力されたビットストリームがストリームバッファ３１に蓄えられる。符号化ビットストリームには仮想的にシミュレートされたバッファ値が書かれており、そのバッファ値分ビットストリームが蓄えられてから復号処理を行うことにより、バッファが破綻して復号処理が止まることを防いでいる。ビットストリームは、可変長復号回路３２にて量子化スケール、予測モード、動きベクトル等の符号化パラメータを分離すると共に、量子化されたDCT係数を復号する。復号されたDCT係数は符号化回路内と同様の逆量子化回路３３、逆直交変換回路３４において逆量子化及び逆DCT処理が行われ、Intraブロックもしくは差分ブロックが復号され、デブロック回路３５を介して加算器３６に送られる。
【００１７】
予測ブロックの場合には、動き補償予測回路３７にて復号した予測モードと動きベクトル値より、参照画像メモリ３８から切り出された予測ブロックとの加算が加算器３６で行われ、マクロブロックの画像信号が復元される。IまたはPフレームの場合には復元されたマクロブロックデータは参照画像メモリ３８に書き込まれる。Bフレームの場合には、出力フレームメモリ３９に蓄えられ画像信号として出力される。参照画像メモリ３８に書かれたI、Pフレームの画像データは図５のタイミングに合わせて、出力するタイミングで出力フレームメモリ３９に加えられBフレームと同様に出力される。
【００１８】
このような画像符号化を用いた情報配信するシステムにおいて、一旦符号化されたストリームを復号して再度符号化処理を行う必要性が存在する。一つは情報を取材・記録された場所から情報を配信する場所に伝送する場合である。伝送路としては有線・無線の通信回線や記録媒体が考えられるが、伝送路と配信するシステムの伝送路の所有する帯域幅が異なる場合には、ビットストリームのビットレートを変更する必要がある。他には、記録された画像信号を編集・加工する場合が存在する。複数の画像信号を繋ぎあわせたり、画像信号上に文字テロップ等を挿入するような場合には、ストリームを復号する事なしに実現することは難しい。
【００１９】
このような、再符号化処理を行う装置（トランスコーダ）において、再符号化時の符号化劣化を少なくするために、トランスコーダで伝送される画像信号（復号されたベースバンド信号）上に、符号化された際のフレームタイプ等のフレーム符号化情報やマクロブロック符号化パラメータを重畳させて伝送する方式が考えられている。
【００２０】
MPEG2符号化においては、Iフレーム、Pフレーム、Bフレームの順で画像信号の品質が劣化している場合が一般的である。Iフレームは基準となるフレームであるため、他のフレームより細かく量子化されていると共に、他の画像からの参照がないため、参照フレーム劣化の影響を受けない。Pフレーム、Bフレームとなるにつれて、荒く量子化されると共に参照フレーム劣化の影響を受けやすい。再符号化する時にBフレームとなっていたフレームをIフレームとして符号化すると、劣化の大きかった画像を基準フレームとして使用したため、予測されるフレームがその劣化の影響を受け、再符号化した際の画質劣化が大きくなる。符号化パラメータを参照して、再符号化時のフレームタイプを合わせてやることで、上記劣化要因が低減される。また、符号化パラメータ内のマクロブロック符号化パラメータを用いることで、動きベクトル検出のための処理量を削減できると共に、量子化スケールと符号化ビット数より、マクロブロックの持っている情報量の指針が得られ、ビットレート変換時に良好な符号量コントロールが期待できる。
【００２１】
再符号化のための符号化パラメータは、時間的、空間的に、ビデオ信号に対応づけて、復号処理手段から再符号化処理手段に伝送する必要がある。
【００２２】
これを実現するための伝送方法として、標準テレビ品質4:2:2デジタルコンポーネントビデオ信号にMPEG-2ビデオの符号化パラメータを重畳して伝送する規定を定めたSMPTE 319Mがある。また、高品位テレビ品質4:2:2デジタルコンポーネントビデオ信号にMPEG-2ビデオの符号化パラメータを重畳して伝送する規定を定めるべくSMPTE 351M案が現在審議中である。
【００２３】
符号化パラメータの具体的な重畳方法についてSMPTE 319Mを例として説明する。ベースバンド信号は輝度信号（Y）及び２つの色差信号（Cb,Cr）が４：２：２のサンプリング比率で伝送され、それぞれ１画素の値が10ビットで構成されている（1024レベル）。MPEG2画像符号化においては、復号画像の情報量は8ビット（256レベル）で構成されるので、復号画像信号の下位2ビットは伝送不要領域となる。この領域に、符号化パラメータを重畳する。SMPTE 319M  Table 3の例では、伝送不要領域の内のCb,Crの最下位ビットを重畳領域としている。
【００２４】
具体的に重畳する符号化パラメータの例としてSMPTE 319Mにて規格化された符号化パラメータ（SMPTE 319M  Figure 1参照）を説明する。各々のマクロブロックを構成する16×16画素の領域毎に、各マクロブロック単位の符号化情報であるマクロブロック符号化パラメータと、フレーム符号化情報（画像単位の符号化情報）の一部であるピクチャ符号化パラメータとを書き込む。（このマクロブロック符号化パラメータとピクチャ符号化パラメータとを合わせてここでは符号化パラメータと呼んでいる。）
Cb,CrのLSBを合わせると256ビット存在し、その２５６ビットがSMPTE 319M  Figure 1の情報を示す。マクロブロック符号化パラメータとしては、動きベクトル値、予測モード、量子化スケール、有効DCT係数を有する8×8ブロックのパターン（coded#block#pattern）等の付加情報と、各付加情報及びDCT係数を符号化した際に要したビット数を情報として記録する。
【００２５】
また、picture#element#informationの領域には、SMPTE 319M  Table 4で示されるようなフレーム符号化情報がマクロブロック毎に分割されて（この分割されたものがピクチャ符号化パラメータである）書き込まれる。この領域はマクロブロック毎に32ビットずつ存在し、フレーム全体に渡ってすべてのマクロブロックのpicture#element#informationを集めると、複数回コピーされたフレーム符号化情報が復元できる。
【００２６】
このような、符号化パラメータを復号装置から符号化装置に伝送するトランスコーダの例を図８に示す。この例では、復号装置と符号化装置との間に合成装置を挿入し、復号されたベースバンド信号に対して編集加工された画像を符号化装置で再符号化するものである。図８に示す復号装置及び符号化装置の構成図を図９，図１０にそれぞれ示し説明する。なお、図６，図７にそれぞれ示した符号化装置、復号装置と同様な部分には同一の符号を付し、その部分の説明は省略する。
【００２７】
図９に示す復号装置の可変長復号回路３２は、復号した際のフレーム符号化情報とマクロブロック符号化パラメータ及び、マクロブロックの符号化ビット数を算出し、符号化情報生成回路４１に入力する。符号化情報生成回路４１においては、符号化パラメータであるピクチャ符号化パラメータ及びマクロブロック符号化パラメータをSMPTE 319M  Figure 1のようなビットパターンにフォーマットし、符号化情報メモリ４２に蓄える。
【００２８】
符号化情報重畳回路４３においては、出力フレームバッファ３９に蓄えられている画像情報と、符号化情報メモリ４２に蓄えられている符号化パラメータを入力し、画像情報の色差信号のLSBビットに符号化パラメータを重畳する。符号化情報メモリ４２は、I、P、Bフレームの出力並び替えに対応するように複数フレーム分具備しており、符号化情報重畳回路４３はフレームタイプによりとり出す符号化パラメータの順番を変更する。
【００２９】
図１０に示す符号化装置においては、符号化情報分離回路２１にて入力画像メモリの画像信号から符号化パラメータを抜き取る。抜き取られた符号化パラメータは、符号化情報メモリ２２に蓄えられる。符号化シンタックス制御回路２４では、抜き取られた符号化パラメータからフレームタイプを検出し、入力画像を符号化順に並べ替える制御を行う。フレームの符号化パラメータを抜き取ることが出来ない場合には、非検出信号が符号化情報分離回路２１から送られ、従来の通常の符号化処理と同様に符号化装置内で符号化シンタックスを構成し、符号化処理を行う（符号化パラメータが重畳されていない画像信号に対する処理と同様の通常の符号化処理を行う）。マクロブロック情報生成回路２３では、符号化情報メモリ２２に格納されている符号化パラメータを符号化シンタックスに応じて順番を入れ替えて読み込み、各マクロブロックに対する符号化パラメータを抜き出す。
【００３０】
抜き出された符号化パラメータは、動き補償予測回路１３、符号量制御回路１５に伝送される。動き補償予測回路１３では、符号化パラメータに存在する動きベクトルと予測モードを用い、参照画像メモリ１１から予測ブロックを切り出し、符号化する入力画像ブロックとの差分信号を生成し、直交変換回路３に送り出す。フレームでの符号化パラメータもしくは、マクロブロック毎の符号化パラメータを抜き取ることができなかった場合には、非検出信号が符号化情報分離回路２１から動き補償予測回路１３に送られ、従来の符号化処理と同様に動きベクトル検出及び予測モード選択処理が行われる。
【００３１】
符号量制御回路１５では、マクロブロック毎の符号化した際の量子化スケール及び要したビット数が符号化パラメータとして入力され、現在制御ターゲットである符号化ビットレートでの設定符号量と比較処理を行うことにより、適切な量子化スケールを決定し、符号化処理を行う。
【００３２】
【発明が解決しようとする課題】
符号化された画像信号を一度復号してから編集する際に、複数の復号装置から出力されるベースバンド復号信号を切り替えて編集する場合がある。この編集処理を行うトランスコーディング装置としては、例えば、図８に示したように、複数の復号装置と一つの符号化装置との間に画像切替器を挿入した装置が考えられる。復号したベースバンド信号（画像信号）に対して、切替タイミングに応じて画像切替器によって切り替え処理を行い、その切り替え処理を行ったベースバンド信号を符号化装置に入力して再符号化する。この場合、切替タイミングにおけるフレーム単位の符号化情報の連続性が断ち切られることを認識できずに、誤った符号化情報を再符号化時に使用してしまう問題があった。また、切替タイミングがフレーム内で起こるような場合には、マクロブロック符号化パラメータが一画面内（一画像単位内）の部分によって異なる復号装置の出力、つまり異なるストリームの符号化パラメータとなり、再符号化時に誤って使用すると動きベクトルや予測モード等のマクロブロック符号化パラメータに矛盾が生じ、画質の劣化を生じる問題が発生する。また、符号化パラメータが破壊されたと認識できた場合でも、フリーで再符号化を行うことになり、良好なトランスコーディング機能が実現できなかった。
【００３３】
本発明は、複数の復号画像信号を切り替えることによって編集された復号画像信号を再度符号化する場合に、良好な再符号化が行える画像信号符号化装置を提供することを目的としている。
【００３４】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置を提供するものである。
【００３５】
復号前の符号化時の各マクロブロックに対応する各符号化パラメータが重畳されている復号画像信号に対して、前記復号画像信号から分離した前記各符号化パラメータに基づき高能率予測符号化を行う画像信号符号化装置であり、前記各符号化パラメータは、各マクロブロック単位の符号化情報であるマクロブロック符号化パラメータと、画像単位の符号化情報の一部であるピクチャ符号化パラメータとを含むものである画像信号符号化装置において、
一画像単位に相当する前記復号画像信号から分離した前記各符号化パラメータ内から、前記復号画像信号への復号を行った画像信号復号装置の識別信号を検出する検出手段と、
前記検出された識別信号に対して同一の識別信号毎に、その識別信号が検出された各符号化パラメータ内から抽出したピクチャ符号化パラメータを合わせることにより一画像単位の符号化情報が得られたか否かを判断し、前記一画像単位の符号化情報が得られた場合、前記検出された識別信号が全て同一であるか否かを判断し、前記検出された識別信号が同一でない場合、前記一画像単位の符号化情報が得られた各符号化パラメータから検出されている識別信号が一種類であるか否かを判断して、その判断結果に基づいて、前記取得された一画像単位の符号化情報がそれぞれ符号化時に有効であるか無効であるかを判断する第１の判断手段と、
前記検出された識別信号に基づき、前記分離した各符号化パラメータにおける前記マクロブロック符号化パラメータがそれぞれ符号化時に有効であるか無効であるかを判断する第２の判断手段とを設け、
有効と判断されたマクロブロック符号化パラメータ及びピクチャ符号化パラメータに関してはそのマクロブロック符号化パラメータ及びピクチャ符号化パラメータを符号化に用い、無効と判断されたマクロブロック符号化パラメータ及びピクチャ符号化パラメータに関してはそのマクロブロック符号化パラメータ及びピクチャ符号化パラメータに相当する情報を生成して符号化に用いる、
ことを特徴とする画像信号符号化装置。
【００３６】
【発明の実施の形態】
本発明の一実施例を用いた切り替え編集を可能とするトランスコーディング装置（概略構成は図８と同様）を例として、その一実施例の各部を説明する。図１に一実施例における画像信号復号装置の構成図を示す。なお、従来例である図９に示すものと同様の部分には同一の符号を付し、その部分の具体的な説明は省略する。
【００３７】
可変長復号回路３２は、従来例と同様に復号した際のピクチャ符号化パラメータとマクロブロック符号化パラメータ及び、マクロブロックの符号化ビット数を算出し、符号化情報生成回路５２に入力する。符号化情報生成回路５２においては、ピクチャ符号化パラメータ及びマクロブロック符号化パラメータに加えて、復号装置自身の識別を示す値（Decoder ID）が記録されている復号装置識別信号メモリ５１の情報を入力し、ビットパターンにフォーマットし、符号化情報メモリ４２に蓄える。
【００３８】
符号化パラメータ（各マクロブロック単位の符号化情報であるマクロブロック符号化パラメータと、フレーム符号化情報（画像単位の符号化情報）の一部であるピクチャ符号化パラメータとを合わせてここでは符号化パラメータと呼ぶ）の具体的なフォーマットの例としては、前述したSMPTE 319M  Figure 1に示すものを用いるが、そのフォーマットのマクロブロック符号化パラメータ領域においてReserved Areaとなっている部分の内の４ビット程度（例えば垂直方向０ビット目、水平方向６〜９ビット目）を、Decoder ID追加用エリアとして用いる。
【００３９】
Decoder IDは外部から設定が可能であり、トランスコーディング時に複数の復号装置間で異なったIDを設定することにより、識別可能な信号とすることができる。
【００４０】
符号化情報重畳回路４３においては、従来と同様に出力フレームメモリ３９に蓄えられている画像情報と符号化情報メモリ４２に蓄えられている符号化情報である符号化パラメータとを入力し、画像情報の色差信号のLSBビットに符号化パラメータを重畳する。
【００４１】
次に、一実施例における画像信号符号化装置の構成図を図２に示し、これについて説明する。なお、従来例である図１０に示すものと同様の部分には同一の符号を付し、その部分の具体的な説明は省略する。
【００４２】
マクロブロック情報生成回路７０は、従来例で示した機能と共に、符号化パラメータ内のDecoder IDを抜き出し、Decoder IDメモリ７１に格納する。
【００４３】
１フレーム分（一画像単位分）のマクロブロック情報が蓄えられると、そのフレームが単一復号装置からの出力で構成されているかどうかが認識できる。フレーム情報判断回路７３では、１フレーム分の各マクロブロックから検出したDecoder IDと、抜き取られたフレーム単位の符号化情報であるフレーム符号化情報（ピクチャ符号化パラメータを所定の個数合わせて一つのフレーム符号化情報となる）より、フレーム符号化情報の有効無効を判断しフレーム情報を取得する。全てのマクロブロックにおいて符号化パラメータが抜き取り可能であって、かつDecoder IDメモリ７１のマクロブロック毎のDecoder ID値が全て同一であったら、単一復号装置の出力だと判断する。また、１フレーム前のDecoder IDと比較し、Decoder IDが異なる場合にフレーム単位での画像信号の切替点と判断する。
【００４４】
具体的なフレーム情報取得のアルゴリズムを図１１に沿って説明する。まず、１フレーム分の各マクロブロックから検出した同一のDecoder ID毎に、そのDecoder IDが検出された各符号化パラメータ内から抽出したピクチャ符号化パラメータを合わせることにより得られるフレーム符号化情報を格納する（ステップＳ１）。
【００４５】
どのDecoder IDにおいてもフレーム符号化情報が得られなかった場合には（ステップＳ２）、フレームタイプは符号化装置内で予め管理されたフレームタイプを用いる（ステップＳ３）。フレーム符号化情報が抽出できたDecoder IDが存在する場合には（ステップＳ２）、全てのマクロブロックにおいて符号化パラメータが抜き取り可能であって、かつマクロブロック毎のDecoder IDが全て同一である（これを条件１とする）かをチェックする（ステップＳ４）。この条件１を満たす場合には、抜き取られたフレーム符号化情報を使用候補として選択する（ステップＳ５）。
【００４６】
条件１を満たさない場合には（ステップＳ４）、フレーム符号化情報が抽出できたDecoder IDが複数存在するかどうかをチェックし（ステップＳ６）、一つの場合には抽出したフレーム符号化情報を使用候補として選択する（ステップＳ５）。複数の場合には、１フレーム前に検出されたDecoder IDと同一IDに対応するフレーム符号化情報を優先して使用候補として選択する（ステップＳ７，ステップＳ５）。
【００４７】
使用候補として選択されたフレーム符号化情報は、１フレーム前に選択されたフレーム符号化情報に対応するDecoder IDと同じDecoder IDに対応している場合には（ステップＳ８）、その選択されたフレーム符号化情報内のフレームタイプ及びそのフレーム符号化情報内の他の付加情報をそのまま再符号化に用いる（ステップＳ９）。
【００４８】
同一IDでない場合（ステップＳ８）、もしくは、ステップＳ７において１フレーム前に検出されたDecoder IDと同一IDに対応するフレーム符号化情報が存在しない場合、選択されたフレーム符号化情報のフレームタイプをチェックする（ステップＳ１１）。ステップＳ７においてＮｏの場合、複数のフレーム符号化情報からの選択は単純に最初に取得できたDecoder  IDに対応したフレーム符号化情報（即ち、最初に取得できたDecoder  IDと同じDecoder  IDが検出された各符号化パラメータから得られたフレーム符号化情報）でかまわない（ステップＳ１０）。
【００４９】
ステップＳ１１においてフレームタイプがIフレームの場合には、フレーム内で完結した符号化を行うため、独立したDecoder  IDを持つフレームであっても付加情報が有用となる。よって、ステップＳ１０で選択されたフレーム符号化情報内のフレームタイプ及びそのフレーム符号化情報内の他の付加情報をそのまま再符号化に用いる。
【００５０】
フレームタイプがPフレームの場合には（ステップＳ１２）、入力が切り替わったと判断し（ステップＳ７において前のフレームとDecocer IDが異なると判断されているので）、フレームタイプをIフレームに変更し、選択したフレーム符号化情報内の付加情報は使用できないものとして破棄する（ステップＳ１３）。
【００５１】
Bフレームの場合には、Bフレームが連続するフレーム数を制限するために、１フレーム前がIフレームもしくはPフレームの時のみ（ステップＳ１４）、フレームタイプをそのままBフレームとする（ステップＳ１５）。それ以外の場合はフレームタイプをIフレームとし、いずれの場合にも選択したフレーム符号化情報内付加情報は破棄する（ステップＳ１３）。
【００５２】
次に、符号化シンタックス制御回路２４では、選択されたフレームタイプより入力画像を符号化順に並べ替える制御を行うと共に、フレーム情報判断回路７３で有効と判断されたフレーム符号化情報に対しては、その値を用いてフレーム単位の制御を行う。また、Decoder IDメモリ７１には、参照画像メモリ１１と同様に、基準フレームとなる画像のDecoder IDが格納されてコントロールされる。
【００５３】
有為無為検出回路７２は、Decoder IDメモリ７１からDecoder IDが供給されると共に符号化情報メモリ２２からマクロブロック符号化パラメータが供給されて、入力画像信号から分離されたマクロブロック符号化パラメータの使用が可能か否かを判断する。有為無為検出回路７２では、符号化対象マクロブロックから検出されたDecoder IDを読み取ると共に、符号化対象マクロブロックにおけるマクロブロック符号化パラメータ内の予測モードがIntraブロックでない場合には、そのマクロブロック符号化パラメータから動きベクトル値を読み取り、予測された参照画像データが存在するマクロブロックのDecoder  IDのアドレス値を計算する。
【００５４】
動きベクトル値が水平方向X画素、垂直方向Y画素、マクロブロックの先頭位置のポイントが水平方向H、垂直方向Vの場合、必要となるDecoder  IDが存在するアドレス値は４種類存在し、マクロブロック位置が、
（１）水平（H＋X）／16、垂直（V＋Y）／16
（２）水平（H＋X＋１５）／16、垂直（V+Y）／16
（３）水平（H＋X）／16、垂直（V＋Y＋15）／16
（４）水平（H＋X＋１５）／16、垂直（V＋Y＋１５）／16
となる。これらのアドレス値から読み込んだDecoder ID及び自マクロブロックのDecoder IDが全て一致している場合、マクロブロック符号化パラメータは有為であるとする。ただし、マクロブロック符号化パラメータの予測モードが前方向予測の場合には、前方向の参照画像のDecoder IDのみ、後方向予測の場合には、後方向の参照画像のDecoder  IDのみを参照して判断すればよい。
【００５５】
また、符号化シンタックス制御回路２４からは、フレーム毎に認識されたDecoder  IDがフレームタイプと共に有為無為検出回路７２に入力される。入力されたDecoder IDと自マクロブロックのDecoder IDとが異なる場合には、マクロブロック符号化パラメータは無為であるとする。
【００５６】
有為無為検出回路７２の出力信号と、フレーム情報判断回路７３で取得したフレーム情報と、符号化情報分離回路２１によるマクロブロック毎の符号化情報の非検出信号を参照し、マクロブロック毎の符号化処理を行う。即ち、有為無為検出回路７２が有為と判断した場合には、符号化対象マクロブロックに対応する前記の分離したマクロブロック符号化パラメータ及びフレーム情報判断回路７３で取得したフレーム情報に基づき符号化対象マクロブロックの符号化を行う。有為無為検出回路７２が無為と判断した場合、及び符号化情報分離回路２１から非検出信号が出力された場合には、新たにマクロブロック符号化パラメータに該当する情報を生成し、その情報とフレーム情報判断回路７３で取得したフレーム情報とに基づき前記符号化対象マクロブロックの符号化を行う。
【００５７】
以上説明したように、本実施例の装置によれば、符号化された複数の画像信号を一旦復号して、その復号した複数の画像信号を切り替えることにより編集を行った後に再度符号化処理を行う場合に、復号装置で出力する画像信号上に、復号前の符号化時の符号化パラメータを保持すると共に、各復号装置を識別できる識別信号をマクロブロック毎に符号化パラメータに付加し書き込むようにした。従って、再符号化時に識別信号を検出することにより、フレーム単位での復号画像信号の切り替え（フレーム単位での復号装置の切り替え）が判断できると共に、フレーム内での復号装置の切り替えも認識することができる。
【００５８】
識別信号が連続している状態では、フレーム情報（復号画像信号から分離抽出したフレーム符号化情報から得られる情報）は完全に保持されたままであるので、そのフレーム情報を用いて再符号化処理を行えるため、再符号化時のIフレームの位置を以前に符号化されていたストリームのIフレームの位置を合わせることができ、再符号化時の画像劣化を低減できる。さらに、検出された識別信号の組み合わせに基づき再符号化処理を制御することで、切り替え点で符号化シンタックスの不具合や符号量制御の乱れを引き起こすような変化が生じることを防止できる。
【００５９】
また、検出された識別信号を用いることにより、符号化対象マクロブロックのマクロブロック符号化パラメータが再符号化時のコントロールと整合が取れているかを管理し、予測処理を行う際の参照画像の予測ブロック内に整合の取れていない領域が存在するか否かを容易に認識することができ、誤った符号化パラメータを使って再符号化処理を行うことを防止できる。これにより、再符号化に有効な符号化パラメータを適切に使用できるようになり、良好なトランスコーディング機能が実現できる。
【００６０】
【発明の効果】
以上の通り、本発明の画像信号符号化装置は、復号した複数の復号画像信号（復号前の各符号化パラメータが重畳されている復号画像信号）を切り替えることによって編集した復号画像信号を再度符号化する場合に、良好な再符号化を行うことができる。
【図面の簡単な説明】
【図１】一実施例における画像信号復号装置の構成図である。
【図２】一実施例における画像信号符号化装置の構成図である。
【図３】  MPEG2画像符号化で用いられる符号化体系を示す図である。
【図４】  MPEG2符号化時の符号化順並べ替えのタイミングを示す図である。
【図５】復号時のストリーム到達順と復号画像の出力順の関係を示す図である。
【図６】  MPEG2画像符号化装置の構成図である。
【図７】  MPEG2画像復号装置の構成図である。
【図８】切り替え編集理を可能とするトランスコーディング装置の構成図である。
【図９】トランスコーディング機能を有する従来のMPEG2画像復号装置の構成図である。
【図１０】トランスコーディング機能を有する従来のMPEG2画像符号化装置の構成図である。
【図１１】一実施例におけるフレーム情報取得アルゴリズムを示す図である。
【符号の説明】
２１  符号化情報分離回路
２２  符号化情報メモリ
２４  符号化シンタックス制御回路
５１  復号装置識別信号メモリ
５２  符号化情報生成回路
７０  マクロブロック情報生成回路
７１  Decoder IDメモリ
７２  有為無為検出回路
７３  フレーム情報判断回路
【図１】
0004193162.tif 000002
【図２】
0004193162.tif 000003
【図３】
0004193162.tif 000004
【図４】
0004193162.tif 000005
【図５】
0004193162.tif 000006
【図６】
0004193162.tif 000007
【図７】
0004193162.tif 000008
【図８】
0004193162.tif 000009
【図９】
0004193162.tif 000010
【図１０】
0004193162.tif 000011
【図１１】
0004193162.tif 000012