(57)【特許請求の範囲】
【請求項１】
画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、
上記復号手段からの画像信号の出力先を切り換える第１の切り換え手段と、
上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、
上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、
上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、
上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第２の切り換え手段と、
上記復号手段からの表示コントロールパラメータの出力先を切り換える第３の切り換え手段と、
上記第３の切り換え手段からの表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第４の切り換え手段と、
上記第２の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段と
を有し、
上記復号手段にて復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段及び上記ダミー信号除去手段を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化手段に送る
ことを特徴とする信号処理装置。
【請求項２】
上記復号手段にて復号された画像信号を上記後処理手段にて後処理して出力する際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記後処理手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記後処理手段に送ることを特徴とする請求項１記載の信号処理装置。
【請求項３】
上記復号手段からの符号化パラメータ又は外部からの符号化パラメータのいずれか一方に切り換える第５の切り換え手段をさらに有し、
上記前処理手段にて前処理された画像信号を上記符号化手段にて符号化して出力する際には、上記第２の切り換え手段は上記前処理手段からの画像信号を上記符号化手段に送り、上記第４の切り換え手段は上記前処理手段からの表示コントロールパラメータを上記符号化手段に送り、上記第５の切り換え手段は上記外部からの符号化パラメータを上記符号化手段に送ることを特徴とする請求項１記載の信号処理装置。
【請求項４】
上記後処理手段における処理は、画像信号及び表示コントロールパラメータに基づいて行う、プルダウン処理、クロマ信号のアップサンプリング、画像からの矩形型ウインドウの切り出し処理又は表示画枠サイズへのサンプリング変換処理を含み、上記前処理手段における処理は、画像信号の逆プルダウン処理、クロマ信号のダウンサンプリングを含むことを特徴とする請求項１記載の信号処理装置。
【請求項５】
画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号工程と、
上記復号工程により得られた画像信号の出力先を第１の切り換え手段により切り換える工程と、
上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理工程と、
上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入工程と、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理工程と、
上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去工程と、
上記前処理工程により得られた画像信号又は上記ダミー信号除去工程により得られた画像信号のいずれか一方に第２の切り換え手段により切り換える工程と、
上記復号工程により得られた表示コントロールパラメータの出力先を第３の切り換え手段により切り換える工程と、
上記第３の切り換え手段からの表示コントロールパラメータ又は上記前処理工程により得られた表示コントロールパラメータのいずれか一方に第４の切り換え手段により切り換える工程と、
上記第２の切り換え手段からの画像信号、上記復号工程により得られた符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化工程と
を有し、
上記復号工程にて復号された画像信号を上記符号化工程にて符号化する再符号化の際には、上記第１の切り換え手段は上記復号工程により得られた画像信号を上記ダミー信号挿入工程及び上記ダミー信号除去工程を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去工程により得られた画像信号を上記符号化工程に送り、上記第３の切り換え手段は上記復号工程により得られた表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化工程に送る
ことを特徴とする信号処理方法。
【請求項６】
画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、
上記復号手段からの画像信号の出力先を切り換える第１の切り換え手段と、
上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、
上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、
上記復号手段からの表示コントロールパラメータの出力先を切り換える第３の切り換え手段と
を有し、
上記復号手段にて復号された画像信号を符号化装置に送って符号化する再符号化の際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記符号化装置に送る
ことを特徴とする信号復号装置。
【請求項７】
上記復号手段にて復号された画像信号を上記後処理手段にて後処理して出力する際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記後処理手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記後処理手段に送ることを特徴とする請求項６記載の信号復号装置。
【請求項８】
画像信号が符号化されたビットストリームを復号して得られた画像信号を所定のフォーマットに変換するためにダミー信号が挿入されて得られた画像信号と、上記復号の際に得られた符号化パラメータ及び表示コントロールパラメータとが供給され、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、
上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、
上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第２の切り換え手段と、
上記復号の際に得られた表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第４の切り換え手段と、
上記第２の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段と
を有し、
上記復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記ダミー信号が挿入された画像信号を上記ダミー信号除去手段を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記復号の際に得られた表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化手段に送る
ことを特徴とする信号符号化装置。
【請求項９】
上記復号の際に得られた符号化パラメータ又は外部からの符号化パラメータのいずれか一方に切り換える第５の切り換え手段をさらに有し、
上記前処理手段にて前処理された画像信号を上記符号化手段にて符号化して出力する際には、上記第２の切り換え手段は上記前処理手段からの画像信号を上記符号化手段に送り、上記第４の切り換え手段は上記前処理手段からの表示コントロールパラメータを上記符号化手段に送り、上記第５の切り換え手段は上記外部からの符号化パラメータを上記符号化手段に送ることを特徴とする請求項８記載の信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力されたビットストリームを復号して画像信号とし、この画像信号を再びビットストリームとして出力する信号処理装置及び方法、信号復号装置、並びに信号符号化装置に関する。
【０００２】
【従来の技術】
近年、画像信号の圧縮符号化に、動き補償処理（ＭＣ；motion compensation）及び離散余弦変換（ＤＣＴ；descrete cosine transform） 等の直交変換による冗長度低減処理とを組み合わせたＭＰＥＧ（moving picture experts group）や、ＭＰＥＧ２が広く用いられるようになった。
【０００３】
非圧縮の映像データを上記ＭＰＥＧ等の手法により、画像内符号化画像（Ｉピクチャ）、順方向予測符号化画像（Ｐピクチャ）、双方向予測符号化画像（Ｂピクチャ）のような符号化画像に圧縮して光磁気ディスク等の蓄積媒体に記録したり、あるいは通信回線を使用して伝送したりする。
【０００４】
ここで、ビットストリームが画像信号となされ、その画像信号が再びビットストリームに変換されることがある。例えば、映画フィルムからビデオに変換するには、映画の１秒２４コマをテレビ／ビデオの１秒３０フレームに変換するため、４コマから５フレームを作るいわゆる２：３プルダウンの処理が行われる。
【０００５】
ビットストリームを復号して、その復号動画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合の従来の信号処理装置の概略的な構成を図７に示す。
【０００６】
この図７に示す従来の信号処理装置は、外部から入力されるビットストリームＳ２６を復号する復号器であるデコーダ１０１と、上記デコーダ１０１にて復号された画像信号に後処理であるポスト処理を施すポスト処理回路１０２と、ポスト処理回路１０２からの画像信号に符号化の前処理を施すプリ処理回路１０３と、上記プリ処理回路１０３からの画像信号を符号化する符号化器であるエンコーダ１０４とから構成される。
【０００７】
デコーダ１０１は、入力されるビットストリームＳ２６を復号して、復号画像Ｓ２０を出力する。また、デコーダ１０１は、入力されるビットストリームＳ２６から復号画像Ｓ２０に対する表示コントロールパラメータＳ２３を復号して、この表示コントロールパラメータＳ２３をポスト処理回路１０２に出力する。次に示す表示コントロールパラメータＳ２３は、ＭＰＥＧ２ｖｉｄｅｏ規格で規定されているものである：
horizontal_size,vertical_size,frame_rate,display_horizontal_size,display_vertical_size,aspect_ratio_information,progressive_frame,repeat_first_field,top_field_first,frame_centre_horizontal_offset,frame_centre_vertical_offset。
【０００８】
ポスト処理回路１０２は、表示コントロールパラメータＳ２３に基づいて、復号画像Ｓ２０を処理して、処理画像Ｓ２１を出力する。具体的には、top_field_first,repeat_first_fieldに基づいて、２：３プルダウン処理を行い、また、progressive_frameに基づいて、クロマ信号を４：２：０フォーマットから４：２：２フォーマットへアップサンプリングを行い、また、horizontal_size,vertical_size,display_horizontal_size,display_vertical_size,aspect_ratio_information,frame_centre_horizontal_offset,frame_centre_vertical_offsetに基づいて、画像からの矩形型ウインドウの切り出し処理、及び表示画枠サイズへのサンプリング処理変換、すなわちアップサンプリング又はダウンサンプリングを行う。
【０００９】
ここで、４：２：０フォーマットとは、ＭＰＥＧ２のＭＰ＠ＭＬ（メインプロファイル／メインレベル）で採用されるビデオ信号の符号化のコンポーネント形式である。この４，２，０と言う数字は、ビデオ画像の横方向のライン（走査線）に含まれる輝度（Ｙ）信号と二つの色差（ＣｂとＣｒ）信号の標本化周波数の比、すなわち解像度の比を示している。４：２：２フォーマットについても同様である。
【００１０】
処理画像Ｓ２１は、プリ処理回路１０３に入力される。プリ処理回路１０３は、入力画像Ｓ２１に対して、逆３：２プルダウン処理、クロマ信号の４：２：２フォーマットから４：２：０フォーマットへのダウンサンプリング処理などを行って、処理画像Ｓ２２を出力する。また、プリ処理回路１０３は、処理画像Ｓ２２から処理画像Ｓ２１への逆処理の内容を表すパラメータとして、表示コントロールパラメータＳ２４を出力する。
【００１１】
エンコーダ１０４は、処理画像Ｓ２２を符号化し、また、処理画像Ｓ２２の表示コントロールパラメータＳ２４を符号化された処理画像Ｓ２２のビットストリームのヘッダ情報として符号化して、ビットストリームＳ２７を出力する。
【００１２】
ところで、ＭＰＥＧビデオビットストリームを復号して、その復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化する時の符号化パラメータＳ２５であるピクチャコーディングタイプ（picture_coding_type） を元のビットストリームの時と同じにすると有効なことが広く知られている。そのため、デコーダ１０１からエンコーダ１０４へ符号化パラメータＳ２５が入力されている。この符号化パラメータＳ２５の情報は、復号画像Ｓ２０と処理画像Ｓ２２のピクチャが１：１に対応している場合に有効となる。
【００１３】
【発明が解決しようとする課題】
しかし、復号画像Ｓ２０と処理画像Ｓ２２のピクチャが１：１に対応している保証がないため、符号化パラメータＳ２５を有効に使えない場合がある。
【００１４】
復号画像Ｓ２０と処理画像Ｓ２２が１：１に対応しない原因としては、プリ処理回路１０３のポスト処理回路１０２に対する逆２：３プルダウン処理が、完全な逆処理にならない可能性があること、ポスト処理回路１０２で表示画枠サイズの変換処理を行っていること、が挙げられる。
【００１５】
また、ポスト処理回路１０２で行われるクロマ信号のアップサンプリング処理とプリ処理回路１０３で行われるクロマ信号のダウンサンプリング処理を繰り返して行うことによるクロマ信号の劣化も問題になる。
【００１６】
さらに、外部から入力されるビットストリームＳ２６としては、種々の信号規格のものがあり、これをデコーダ１０１でデコードして得られた復号画像Ｓ２０についても、１画面の画素数や単位時間当たりの画面数等が種々あるため、これを伝送する際には、それぞれの規格に応じたインターフェースを介して伝送することが必要とされ、それぞれの規格に応じたハードウェアやソフトウェアを用意しなければならず問題である。
【００１７】
本発明は、上述の問題点に鑑みてなされたものであって、画像信号を符号化したビットストリームを復号した画像を伝送する際に、元の画像の規格が種々異なっていても既存のインターフェースを利用することができ、また、符号化パラメータの情報を有効に利用して、画像信号を符号化したビットストリームを復号した画像を高画質に符号化することができるような信号処理装置及び方法、信号復号装置、並びに信号符号化装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る信号処理装置は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、上記復号手段からの画像信号の出力先を切り換える第１の切り換え手段と、上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第２の切り換え手段と、上記復号手段からの表示コントロールパラメータの出力先を切り換える第３の切り換え手段と、上記第３の切り換え手段からの表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第４の切り換え手段と、上記第２の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段とを有し、上記復号手段にて復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段及び上記ダミー信号除去手段を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化手段に送ることを特徴としている。
また、本発明に係る信号処理方法は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号工程と、上記復号工程により得られた画像信号の出力先を第１の切り換え手段により切り換える工程と、上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理工程と、上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入工程と、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理工程と、上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去工程と、上記前処理工程により得られた画像信号又は上記ダミー信号除去工程により得られた画像信号のいずれか一方に第２の切り換え手段により切り換える工程と、上記復号工程により得られた表示コントロールパラメータの出力先を第３の切り換え手段により切り換える工程と、上記第３の切り換え手段からの表示コントロールパラメータ又は上記前処理工程により得られた表示コントロールパラメータのいずれか一方に第４の切り換え手段により切り換える工程と、上記第２の切り換え手段からの画像信号、上記復号工程により得られた符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化工程とを有し、上記復号工程にて復号された画像信号を上記符号化工程にて符号化する再符号化の際には、上記第１の切り換え手段は上記復号工程により得られた画像信号を上記ダミー信号挿入工程及び上記ダミー信号除去工程を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去工程により得られた画像信号を上記符号化工程に送り、上記第３の切り換え手段は上記復号工程により得られた表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化工程に送ることを特徴としている。
【００１９】
また、本発明に係る信号復号装置は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、上記復号手段からの画像信号の出力先を切り換える第１の切り換え手段と、上記第１の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、上記第１の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、上記復号手段からの表示コントロールパラメータの出力先を切り換える第３の切り換え手段とを有し、上記復号手段にて復号された画像信号を符号化装置に送って符号化する再符号化の際には、上記第１の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段に送り、上記第３の切り換え手段は上記復号手段からの表示コントロールパラメータを上記符号化装置に送ることを特徴としている。
【００２０】
また、本発明に係る信号符号化装置は、画像信号が符号化されたビットストリームを復号して得られた画像信号を所定のフォーマットに変換するためにダミー信号が挿入されて得られた画像信号と、上記復号の際に得られた符号化パラメータ及び表示コントロールパラメータとが供給され、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第２の切り換え手段と、上記復号の際に得られた表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第４の切り換え手段と、上記第２の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第４の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段とを有し、上記復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記ダミー信号が挿入された画像信号を上記ダミー信号除去手段を介して上記第２の切り換え手段に送り、上記第２の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記復号の際に得られた表示コントロールパラメータを上記第４の切り換え手段を介して上記符号化手段に送ることを特徴としている。
【００２１】
【発明の実施の形態】
以下、本発明に係る信号処理装置及び方法、信号復号装置、並びに信号符号化装置の実施の形態について、図面を参照しながら説明する。
【００２２】
本発明の実施の形態となる信号処理装置は、図１に示すように、信号復号装置１１と、信号符号化装置１２とを具備し、信号復号装置１１は、外部から供給されるビットストリームＳ１０を復号して画像信号Ｓ１及び表示コントロールパラメータＳ６を出力する復号手段であるデコーダ１と、デコーダ１から出力される画像信号Ｓ１を与えられ、ダミー信号挿入回路７又はポスト処理回路２に接続される被選択端子Ｂのいずれか一方に切り換える第１の切り換え手段である第１のスイッチＳＷ１とを有している。
【００２３】
デコーダ１は、入力されるビットストリームＳ１０をデコードして、処理画像の画像信号Ｓ１を出力する。また、デコーダ１は、ビットストリームＳ１０から画像信号Ｓ１に対応する表示コントロールパラメータＳ６及び符号化パラメータＳ８を復号する。次に示す表示コントロールパラメータＳ６は、ＭＰＥＧvideo 規格で規定されているものである：
horizontal_size,vertical_size,frame_rate,display_horizontal_size,display_vertical_size,aspect_ratio_information,progressive_frame,repeat_first_field,top_field_first,frame_centre_horizontal_offset,frame_centre_vertical_offset。
【００２４】
符号化パラメータＳ８は、次に示す通りである：
表示コントロールパラメータを除くシーケンスレイヤのヘッダ情報、表示コントロールパラメータを除くピクチャレイヤヘッダのパラメータ、動きベクトル情報（mb_type,frame_motion_type or field_motion_type，動きベクトル）、dct_type、量子スケール。
【００２５】
また、図１の信号処理装置の信号復号装置１１は、デコーダ１から出力される表示コントロールパラメータＳ６を与えられ、この表示コントロールパラメータＳ６を、ダミー信号挿入回路７に接続される被選択端子Ａ（第４のスイッチＳＷ４に接続される被選択端子Ａへも供給される）又はポスト処理回路２に接続される被選択端子Ｂのいずれか一方に切り換える第３のスイッチＳＷ３と、ダミー信号挿入回路７と、デコーダ１から第１のスイッチＳＷ１を介して画像信号Ｓ１を、第３のスイッチＳＷ３を介して表示コントロールパラメータＳ６を与えられ、この画像信号Ｓ１及び表示コントロールパラメータＳ６に復号後の後処理であるポスト処理を施した画像信号Ｓ２として外部に出力する後処理手段であるポスト処理回路２を有している。
【００２６】
ポスト処理回路２は、デコーダ１からスイッチＳＷ３を介して与えられる表示コントロールパラメータＳ６に基づいて、画像信号Ｓ１を処理した画像信号Ｓ２を外部に出力する。具体的には、top_field_first,repeat_first_fieldに基づいて、２：３プルダウン処理を行い、また、progressive_frame に基づいて、クロマ信号を４：２：０フォーマットから４：２：２フォーマットへアップサンプリングを行い、また、horizontal_size,vertical_size,display_horizontal_size,display_vertical_size,aspect_ratio_information,frame_centre_horizontal_offset,frame_centre_vertical_offsetに基づいて、画像からの矩形型ウインドウの切り出し処理、及び表示画枠サイズへのサンプリング処理変換、すなわちアップサンプリング又はダウンサンプリングを行う。
【００２７】
ダミー信号挿入回路７は、復号画像信号を所定のフォーマットに変換するためにダミー信号を挿入して、所定のフォーマットの画像を出力する。例えば、符号化されたビットストリームが、ＭＰＥＧ２のＭＰ＠ＭＬの場合、上記の所定のフォーマットの画像とは、ＣＣＩＲ（ＩＴＵ−Ｒ）Rec.601 フォーマット（４：２：２ component digital）である。
【００２８】
次に、図１の信号処理装置の信号符号化装置１２は、ダミー信号が挿入された画像信号からダミー信号を除去するダミー信号除去回路８と、外部から供給される画像信号Ｓ４に前処理であるプリ処理を施してビットストリーム及び表示コントロールパラメータを出力する前処理手段であるプリ処理回路３と、ダミー信号除去回路８の出力画像Ｓ１４が供給される被選択端子Ａ及びプリ処理回路３に接続される被選択端子Ｂのいずれか一方を切り換えてエンコーダ４に画像信号Ｓ５を与える第２の切り換え手段である第２のスイッチＳＷ２とを有している。
【００２９】
プリ処理回路２は、外部からの画像信号Ｓ４に対して、逆３：２プルダウン処理、クロマ信号の４：２：２フォーマットから４：２：０フォーマットへのダウンサンプリングなどを行って、画像信号をスイッチＳＷ２に与える。また、プリ処理回路３は、画像信号Ｓ４への逆処理の内容を表すパラメータとして、表示コントロールパラメータをスイッチＳＷ４に出力する。
【００３０】
ダミー信号除去回路８は、ダミー信号挿入回路７から供給されるダミー信号を含む所定のフォーマットの画像Ｓ１３からダミー信号を除去して、画像信号Ｓ１４を出力する。画像信号Ｓ３と画像信号Ｓ１４は、同じ信号である。
【００３１】
また、信号処理装置の信号符号化装置１２は、第３のスイッチＳＷ３の被選択端子Ａに接続される被選択端子Ａ及びプリ処理回路２からの表示コントロールパラメータが与えられる被選択端子Ｂのいずれか一方を切り換えてエンコーダ４に表示コントロールパラメータＳ７を与える第４のスイッチＳＷ４と、プリ処理回路３から第２のスイッチＳＷ２を介して与えられる画像信号Ｓ５及び第４のスイッチＳＷ４を介して与えられる表示コントロールパラメータＳ７を符号化する符号化手段であるエンコーダ４とを有している。
【００３２】
エンコーダ４は、ダミー信号除去回路８又はプリ処理回路３のいずれか一方からそれぞれスイッチＳＷ２を介して与えられる画像信号Ｓ５を符号化し、また、表示コントロールパラメータＳ７を画像信号Ｓ５のヘッダ情報として符号化して、ビットストリームＳ１１を出力する。
【００３３】
また、図１の信号処理装置の信号符号化装置１２は、デコーダ１から被選択端子Ａに与えられる符号化パラメータＳ８又は外部から供給される符号化パラメータＳ９のいずれか一方に切り換えてエンコーダ４に与える第５のスイッチＳＷ５を有している。
【００３４】
ここで、ＭＰＥＧビットストリームを復号して、その復号画像を再びＭＰＥＧ符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化するときのピクチャコーディングタイプ（picture_coding_type） を元のビットストリームと同じにすると有効であることが広く知られている。そのため、デコーダ１からエンコーダ４は、スイッチＳＷ５を介して符号化パラメータＳ８が入力されている。また、外部からの符号化パラメータＳ９が上記スイッチＳＷ５を介して入力される場合もある。
【００３５】
ビットストリームＳ１０を復号して、その復号動画像を再び符号化して、ビットストリームＳ１１を出力する場合、スイッチＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４，ＳＷ５は、Ａ側にスイッチされる。
【００３６】
すなわち、ビットストリームを復号して、その復号動画像を再びＭＰＥＧ化する場合、図１に示す符号化パラメータＳ８は、デコーダ１からエンコーダ４へ指示される。エンコーダ４は、入力された符号化パラメータに基づいて、画像信号Ｓ５符号化してビットストリームを出力する。
【００３７】
通常に、ビットストリームＳ１０をデコードして、復号された画像信号Ｓ２を出力する場合には、スイッチＳＷ１，ＳＷ３はＢ側にスイッチされる。
【００３８】
通常に、画像信号Ｓ４をエンコードして、ビットストリームＳ１１を出力する場合、スイッチＳＷ２，ＳＷ４，ＳＷ５は、Ｂ側にスイッチされる。
【００３９】
このように、信号処理装置は、ビットストリームをデコードして、このデコード画像を再びエンコードしたビットストリームを出力する場合、デコーダ１のポスト処理とエンコーダ４のプリ処理をスルーにしてＭＰＥＧビデオビットストリームから取り出した符号化パラメータを、エンコーダへ入力して、エンコーダは、入力された符号化パラメータに基づいて、画像を符号化する。
【００４０】
ダミー信号挿入回路７は、デコード画像Ｓ３に対して、所定の方法でダミー信号を挿入して、ＣＣＩＲ（ＩＴＵ−Ｒ）Rec.601 フォーマットの画像Ｓ１３を出力する。そして、ダミー信号除去回路８は、所定の約束に従って、入力された画像からダミー信号を除去することにより、ダミー信号挿入回路７がダミー信号を挿入する前の画像を復元する。
【００４１】
図２〜図４に、ダミー信号挿入回路７とダミー信号除去回路の具体例を示す。図２は、デコード画像Ｓ３が７２０画素×４８０ラインよりも小さいときの例である。図３は、デコード画像Ｓ３を２：３プルダウンするときの例である。図４は、４：２：０フォーマットのデコード画像Ｓ３を４：２：２フォーマットにアップサンプリングするときの例である。ダミー信号を挿入して、画像信号Ｓ１３を、所定のフォーマットに固定することにより、画像信号Ｓ１３の伝送のコントロールが容易になる。
【００４２】
すなわち、図２において、（Ａ）に示すように、入力データとして３５２画素×４８０ラインの画像がダミー信号挿入回路７に供給され、３６８画素×４８０ラインのダミーデータが付加されることによって、図２の（Ｂ）に示すように、７２０画素×４８０ラインの画像となる。これは、上記ＣＣＩＲ（ＩＴＵ−Ｒ）Rec.601 フォーマットの規格に合った画像データであるから、既存の例えばいわゆるＳＤＩ（Serial Digital Interface）等のインターフェースを介して伝送することができる。これによって、例えば３５２画素×４８０ラインの画像のフォーマットに対応したインターフェースのハードウェアやソフトウェアを用意しなくとも、デコードされた画像を伝送することができる。信号符号化装置１２側では、伝送された７２０画素×４８０ラインの画像をダミー信号除去回路８に送ることで、３６８画素×４８０ラインのダミーデータを除去し、図２の（Ｃ）に示すように、オリジナルの３５２画素×４８０ラインの画像データを得ることができる。
【００４３】
また、図３は、デコード画像Ｓ３を２：３プルダウンするときの例を示している。すなわち、図３の（Ａ）は、元の２４コマ／秒で構成される映画フィルム等の画像信号を示し、各画面をＦA,ＦB,ＦC,ＦD,... で示している。この２４コマ／秒の画像を３０フレーム／秒（６０フィールド／秒）のＮＴＳＣ方式の画像に変換する２−３プルダウン処理の際には、この画像信号の各画面（フレーム）に対して、それぞれ図３の（Ｂ）に示すtop_fieid_first フラグと、図３の（Ｃ）に示すrepeat_first_fieldフラグとが対応付けされる。top_fieid_first フラグは、元の２４コマ／秒の画像の当該フレームを３０フレーム／秒（６０フィールド／秒）の画像のトップフィールドから割り当てることを意味し、また、repeat_first_fieldフラグは、最初のフィールドを繰り返して元の１フレームを３フィールドに割り当てることを意味している。この場合、図１の信号復号装置１１のダミー信号挿入回路７において、図３の（Ｄ）に示すように、繰り返されるフィールドの位置に、図中「×」印で示すダミーデータを挿入することで、ＮＴＳＣの画像データに変換することができ、既存の例えば上記いわゆるＳＤＩ等のインターフェースを介して伝送することができる。ここで、図３の（Ｄ）のフィールドａ１，ａ２等は、図３の（Ａ）の元のフレームＦA 等を２フィールドに割り当てて得られたものを示している。図１の信号符号化装置１２側では、ダミー信号除去回路８でダミーデータを除去することにより、図３の（Ｅ）に示すように、元の２４コマ／秒の画像（に相当する２フィールド単位の画像）が得られる。
【００４４】
次に、図４は、ダミー信号挿入回路７において、４：２：０フォーマットのデコード画像Ｓ３を４：２：２フォーマットにアップサンプリングするときの例を示している。この図４の（Ａ）は、４：２：０フォーマットにおける輝度サンプル「×」及び色差サンプル「○」の２次元画素配列を示し、色差サンプル「○」の位置で２つの色差Ｃr,Ｃb がとられている。ダミー信号挿入回路７は、このようなデコード画像Ｓ３にダミーデータを挿入することで、図３の（Ｂ）に示すような４：２：２フォーマットの画像信号に変換している。この図３の（Ｂ）中の「□」印がダミーデータを示している。
【００４５】
ここで、４：２：２フォーマットの画像信号の輝度成分の画素をＹ，色差成分の画素をＣr,Ｃb とするとき、伝送フォーマット上での各画素データは、１ライン当たり７２０個の輝度Ｙと、３６０個ずつの色差Ｃr,Ｃb とが、
Ｃb Ｙ Ｃr Ｙ Ｃb Ｙ Ｃr Ｙ Ｃb Ｙ Ｃr Ｙ ・・・
のように配列される。これに対して、上記ダミーデータ「□」が挿入された４：２：２フォーマットの画像信号は、
Ｃb Ｙ Ｃr Ｙ □ Ｙ □ Ｙ Ｃb Ｙ Ｃr Ｙ □ Ｙ □ Ｙ ・・・
のような配列となる。このダミーデータが挿入された４：２：２フォーマットの画像信号は、既存のいわゆるＳＤＩ等のインターフェースを用いて伝送することができる。
【００４６】
図１の信号符号化装置１２側では、ダミーデータが挿入された４：２：２フォーマットの画像信号からダミーデータを除去し、図３の（Ｃ）に示すような元の４：２：０フォーマットの画像信号を得ている。
【００４７】
次に、図１の信号復号装置１１内のデコーダ１及び信号符号化装置１２内のエンコーダ４の具体的な回路構成の一例について説明する。
【００４８】
デコーダ１においては、図５に示すように、入力されるＭＰＥＧ２規格のビットストリームがバッファ４１に蓄えられ、バッファ４１からのビットストリームは可変長復号回路４２にて可変長復号され、この可変長復号回路４２にては、表示コントロールパラメータ及び符号化パラメータが得られる。逆ＤＣＴ回路４３は可変長復号回路４２からの出力に逆離散コサイン変換（ＤＣＴ）を施し、逆量子化回路４４にては逆ＤＣＴ回路４３からの出力が逆量子化される。
【００４９】
逆量子化回路４４からの出力は、加算回路４５にて、この加算回路４５から１フレームの画像を記憶するフレームメモリ４６及び動き補償を行う動き補償回路４７を介して得られた信号と加算され、上記フレームメモリ４６及びピクチャの順序を並べ替えるピクチャ順序並べ替え回路４８に入力され、このピクチャ順序並べ替え回路４８の出力は、デコーダ１からの出力画像となる。
【００５０】
エンコーダ４においては、図６に示すように、１フレームの画像を記憶するフレームメモリ２１に入力画像が入力され、フレームメモリ２１からの出力は動き予測回路２２に入力されて動き予測が行われる。この動き予測回路からの出力はピクチャ順序並べ替え回路２３に与えられ、また、動きベクトルが動き補償回路３３に入力される。
【００５１】
ピクチャ順序並べ替え回路２３からの出力は加算回路２４に与えられる。加算回路２４において、ピクチャ順序並べ替え回路２３の出力から動き補償回路３３の出力の減算がなされ、その結果がＤＣＴ変換を行うＤＣＴ回路２５に与えられる。
【００５２】
ＤＣＴ回路２５に続いて量子化を施す量子化回路２６から得られる出力は、一方は可変長符号化を施す可変長符号化回路２７及びデータを蓄えるバッファを経てこのエンコーダ４からの出力となり、他方は逆量子化を施す逆量子化回路２９及び逆ＤＣＴ変換を施す逆ＤＣＴ回路３０を経て、加算回路３１に達する。加算回路３１においては、逆ＤＣＴ回路３０及び動き補償回路３３からの出力が加算され、その結果がフレームメモリ３２に与えられる。
【００５３】
以上説明した本発明の実施の形態によれば、デコーダのポスト処理とエンコーダのプリ処理をスルーにして画質劣化を抑え、ダミーデータを挿入することで既存の所定フォーマットの画像信号形態での伝送を可能にすると共に、伝送された画像信号からダミーデータを除去し、元の符号化パラメータに基づいて画像を符号化するので、既存のインターフェースを介して容易に伝送でき、画像を高画質のままで再符号化することができる。
【００５４】
【発明の効果】
本発明によれば、ビットストリームを復号して得られた画像信号にダミー信号を挿入することで所定のフォーマットに変換して伝送することにより、既存の所定フォーマットのインターフェースを介しての伝送が可能となり、複数種類の画像フォーマット毎にインターフェースのハードウェアやソフトウェアを用意する必要がなくなり、既存の設備をそのまま用いて、ビットストリームを復号した画像信号をポスト処理等を介さずに高画質のままで伝送することができる。
【００５５】
符号化側では、伝送された画像信号中のダミー信号を除去して得られた画像を符号化することにより、プリ処理等による画質劣化なく再符号化が行える。
【００５６】
また、デコーダのポスト処理とエンコーダのプリ処理をスルーにし、入力された符号化パラメータに基づいて画像を符号化するので、画像を高画質に符号化することができる。
【図面の簡単な説明】
【図１】信号処理装置の概略的な構成を示すブロック図である。
【図２】デコード画像が７２０画素×４８０ラインよりも小さいときの例を説明するための図である。
【図３】デコード画像を２：３プルダウンするときの例を説明するための図である
【図４】４：２：０フォーマットのデコード画像を４：２：２フォーマットにアップサンプリングするときの例を説明するための図である。
【図５】信号処理装置のデコーダの構成を示すブロック図である。
【図６】信号処理装置のエンコーダの構成を示すブロック図である。
【図７】従来の信号処理装置の構成を示すブロック図である。
【符号の説明】
１  デコーダ、  ２  ポスト処理回路、  ３  プリ処理回路、  ４  エンコーダ、  ７  ダミー信号挿入回路、  ８  ダミー信号除去回路、  １１  信号復号装置、  １２  信号符号化装置
【図１】
0004193252.tif 000002
【図２】
0004193252.tif 000003
【図３】
0004193252.tif 000004
【図４】
0004193252.tif 000005
【図５】
0004193252.tif 000006
【図６】
0004193252.tif 000007
【図７】
0004193252.tif 000008