(57)【要約】【課題】  画像ストリームの変換処理において、再符号化時に良好な符号化ストリームを生成することが可能な画像ストリーム変換装置（トランスコーダ）を提供する。【解決手段】  ヘッダ抽出回路４が、画像変換を行う対象となる画像ストリームに係るヘッダ情報を抽出し、シンタックス評価回路５が、このヘッダ情報を参照して、画像ストリームの符号化シンタックスが正当であるか否かの判定を行う。ここで、符号化シンタックスが正当ではない（誤りである）と判定された場合には、例えば、ピクチャタイプの変更などの符号化特性の変更に係る評価を行うことによって、適切な符号化シンタックスの探索を行う。そして、シンタックス再構成回路６及び符号化情報変換回路９によって、より良好な再符号化ストリームの生成のために、再符号化条件の再構成が行われる。【選択図】  図１
2006086863.tif 000002
【特許請求の範囲】
【請求項１】
画像ストリームの復号処理を行うとともに、前記復号処理によって復号された前記画像ストリームの再符号化処理を行うための画像ストリーム変換装置において、
前記画像ストリームに係るヘッダ情報を抽出するヘッダ情報抽出手段と、
前記ヘッダ情報抽出手段によって抽出された前記ヘッダ情報を参照し、前記画像ストリームの符号化シンタックスに基づく前記画像ストリームの再符号化処理を行った場合に、良好な符号化ストリームを生成することができるか否かを判定するとともに、前記良好な符号化ストリームを生成することができないと判定された場合には、前記符号化シンタックスを変更するか否かの判定を行うシンタックス評価手段と、
前記シンタックス評価手段による適切な前記符号化シンタックスに係る判定結果に基づいて、前記画像ストリームの前記符号化シンタックスを再構成するシンタックス再構成手段と、
前記シンタックス再構成手段によって再構成された前記符号化シンタックスに基づいて、前記画像ストリームの前記再符号化処理に利用される前記画像ストリームに係る符号化情報の変換処理を行う符号化情報変換手段とを、
有することを特徴とする画像ストリーム変換装置。
【請求項２】
前記シンタックス評価手段が、前記画像ストリームにおけるピクチャごとの所要ビット数、動きベクトル値、予測モードの画面内分布状態、量子化スケールのフレーム総和のうちの少なくとも１つのパラメータを用いて、前記画像ストリームの各ピクチャのピクチャタイプに基づく前記画像ストリームの再符号化処理を行った場合に、良好な符号化ストリームを生成することができるか否かを判定するとともに、前記良好な符号化ストリームを生成することができないと判定された場合には、前記ピクチャタイプを変更するか否かの判定を行うことを特徴とする請求項１に記載の画像ストリーム変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化されたビットストリーム（画像ビットストリーム、画像ストリーム、符号化ストリームなどと呼ばれることもある）に対して、再変換処理を行い解像度・符号化ビットレート・符号化方式などを変換することが可能な画像ストリーム変換装置（トランスコーダとも呼ばれる）に関し、特に、画像の特性を考慮した良好な変換方法を実現することが可能な画像ストリーム変換装置に関する。
【背景技術】
【０００２】
近年、デジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、衛星波、地上波、電話回線などの様々な伝送路を通じて、情報を配信するサービスが実用化されている。このようなサービスでは、動画像・音声などの情報を配信する際、動画像・音声の高能率符号化方式として、国際規格であるＭＰＥＧ２（Moving Picture Experts Group Phase 2）が用いられている。ＭＰＥＧ２は、画像信号の隣接画素間（空間方向）の相関や、隣接フレーム間又は隣接フィールド間（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。
【０００３】
ＭＰＥＧ２規格における画像符号化は、下記のようなアルゴリズムで処理される。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは、空間方向の相関のみを用いて符号化することで、そのフレームの符号化データのみで、元の画像を復元することができる。一方、予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関とを用いて符号化することにより、基準フレームに比べて高い符号化効率を実現することができる。なお、予測フレームの符号化データは、復元された基準フレームと、予測フレームの符号化データとによって復元される。
【０００４】
次に、具体的なＭＰＥＧ２画像符号化で用いられる符号化体系について、図４を用いて説明する。なお、図４では、必要に応じて、識別可能となるように各ピクチャタイプに番号を付している。図４（Ａ）中に『Ｉ』と示されている基準フレームであるＩピクチャ（Ｉフレーム）は、定期的に存在し、復号処理の基準となる情報である。一方、予測フレームには、図４（Ａ）中に『Ｐ』と示されている、時間的に前（過去）の基準フレームからの予測のみで符号化されるＰピクチャ（Ｐフレーム）と、図４（Ａ）中に『Ｂ』と示されている、時間的に前後（過去と未来）の２つの基準フレームから予測符号化されるＢピクチャ（Ｂフレーム）とが存在する。なお、図４（Ａ）中の矢印は、Ｐピクチャ及びＢピクチャに係る予測方向を示すものである。Ｐピクチャは、自身が予測フレームであるとともに、他のＰピクチャやＢピクチャの基準フレームとしても利用される。
【０００５】
Ｉピクチャの画像信号は、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８画素×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。
【０００６】
ＤＣＴ処理後の信号は、その２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく、高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化することにより、情報量を圧縮している。
【０００７】
Ｐピクチャの画像信号も、Ｉピクチャと同様に、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックの単位に分割される。Ｐピクチャでは、マクロブロックごとに基準フレームとの間の動きベクトルが計算される。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平１６画素×垂直１６画素にブロック化した各画素との差分絶対値総和（あるいは差分２乗総和）が求められ、その最小値を取る動きベクトルの値が、検出された動きベクトルとして出力される。
【０００８】
マクロブロックの各画素は、動きベクトルにより切り出された２次元ブロックの各画素との差分が取られる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Ｉピクチャよりも粗い量子化処理が可能となる。実際には、差分ブロックを符号化するか、あるいは非差分ブロック（イントラ（Intra）ブロック）を符号化するかが選択され（予測モード判定）、選択されたブロックに対してＩピクチャと同様のＤＣＴ・可変長符号化処理が施されて情報量が圧縮される。
【０００９】
また、Ｂピクチャに関しても、Ｐピクチャと同様の処理が行われるが、基準フレームであるＩ、Ｐピクチャが時間的に前後に存在しており、各基準フレームとの間で動きベクトルの検出が行われる。Ｂピクチャでは予測の選択肢が、前基準フレームからの予測（フォワード（Forward）予測）・後基準フレームからの予測（バックワード（Backward）予測）・２つの予測ブロックの画素ごとの平均値（アベレージ（Average）予測）の３種類存在し、イントラブロックのみで復号を行う方式を合わせた４種類の方式の中から予測モード判定が行われる。
【００１０】
Ｂピクチャは、時間的に前後の基準フレームから予測が可能となるため、Ｐピクチャよりも更に予測効率が向上する。したがって、一般的に、Ｂピクチャは、Ｐピクチャよりも更に粗く量子化される。なお、Ｂピクチャとして選択されたブロックは、Ｉ、Ｐピクチャと同様の符号化処理が行われる。
【００１１】
Ｂピクチャの復号処理では、時間的に後の基準フレームからの予測処理も行われるため、この基準フレームは、Ｂピクチャに先行して符号化される必要がある。このため、符号化処理の際に、記録入力された画像信号は、図４（Ｂ）に示されるように、Ｂピクチャの基準フレームであるＩピクチャ又はＰピクチャの後にＢピクチャが配置されるように、順序の並べ替えが行われて符号化される。すなわち、符号化処理時には、復号処理時の符号化順序に鑑みて、原画像の入力オーダの順序の並べ替えが行われる。一方、復号処理では、図４（Ｃ）に示すように、図４（Ｂ）の順序に対して逆の並べ替えを行って出力することにより、入力された画像信号の順序で復号画像が再生可能となる。
【００１２】
次に、ＭＰＥＧ２画像符号化を実現するための一般的な符号化装置と復号装置について説明する。まず、従来の技術において一般的な符号化装置について説明する。図５は、従来の技術に係る一般的な符号化装置の一例を示すブロック図である。図５において、入力端子２０１から入力されたデジタル画像信号（入力画像信号）は、入力画像メモリ２０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うために遅延される。そして、入力画像メモリ２０２から出力されたデジタル画像信号は、２次元ブロック変換回路２０３において、マクロブロックの切り出し処理が行われる。
【００１３】
基準フレームに関するマクロブロックデータは、減算器２０４を介して直交変換回路２０５に供給され、ここで、水平８画素×垂直８画素単位でＤＣＴ処理が行われて、ＤＣＴ係数が算出される。ＤＣＴ係数は、さらに輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロック単位にまとめられて、量子化回路２０６に送られる。量子化回路２０６においては、例えば、周波数成分ごとに異なる値を持つ量子化マトリクスによって、ＤＣＴ係数ごとに異なる値で除算することにより、量子化処理が行われる。量子化処理されたＤＣＴ係数は符号化回路２１４に送られ、符号化回路２１４において、符号化テーブル２１５の係数に対応したアドレスを参照することにより、可変長又は固定長の符号化が行われる。そして、マルチプレクサ２１６において、上記の符号化回路２１４における処理後の符号化データと、２次元ブロック変換回路２０３からの画面内でのマクロブロックの場所などを示す付加情報とが多重化され、画像ストリームバッファ２１８にいったん格納された後、ビットストリーム（出力画像ビットストリーム）として出力端子２１９から出力される。
【００１４】
また、量子化回路２０６において量子化されたＤＣＴ係数は、逆量子化回路２１２及び逆直交変換回路２１３において逆量子化処理及び逆ＤＣＴ処理が行われて、量子化されたＤＣＴ係数が復号され、加算器２１０及びデブロック回路２１１を介して参照画像メモリ２０９に供給されて格納される。この参照画像メモリ２０９に格納された画像は、予測フレームの符号化処理時に利用される。
【００１５】
一方、予測フレームに関しては、入力画像メモリ２０２から切り出されたマクロブロックデータと参照画像メモリ２０９に格納されている画像との間で、動きベクトル検出回路２０７によって画像間における動きベクトルが求められる。動きベクトル検出回路２０７において求められた動きベクトルは、動き補償予測回路２０８に供給され、ここで、参照画像メモリ２０９からの参照画像から予測ブロックの切り出し処理が行われる。動き補償予測回路２０８では、切り出された複数の予測ブロックに従って、最適な予測モードの選択が行われ、符号化すべき入力画像ブロックとの差分信号が、直交変換回路２０５に送出される。この差分信号に関しては、上述の基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理されて、動きベクトルや予測モードと共に出力画像ビットストリームとしてマルチプレクサ２１６から、画像ストリームバッファ２１８を経て、出力端子２１９より出力される。
【００１６】
なお、符号量の制御に関しては、符号量制御回路２１７において、マルチプレクサ２１６から出力されたビットストリームの符号量と、目標とする符号量（目標符号量）との比較が行われ、目標符号量に近づけるために量子化回路２０６の量子化の細かさ（量子化スケール）の制御が行われる。そして、上述した３種類の情報量の異なるピクチャタイプ（フレームタイプ）に対し、設定された符号化ビットレートに対する各ピクチャタイプの性質及び出現頻度を用いて、各フレームに対する目標符号量が算出される。
【００１７】
また、目標符号量は、仮想的に復号装置シミュレートされたストリームバッファ（ＶＢＶ（Video Buffer Verifier）バッファと呼ばれる）に対して、バッファのオーバーフロー・アンダーフローが起きないように制限される。また、量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係があることを利用して、フレームタイプごとに目標符号量に対する量子化スケール値が計算されて、量子化処理が行われる。そして、ブロックごとに目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ストリームを抑えるように制御される。
【００１８】
次に、従来の技術において一般的な復号装置について説明する。図６は、従来の技術に係る一般的な復号装置の一例を示すブロック図である。図６において、まず、入力端子１０１から入力された画像ビットストリーム（画像ストリーム）が、画像ストリームバッファ１０２に蓄えられる。なお、画像ビットストリームには仮想的にシミュレートされたバッファ値が書かれており、そのバッファ値分だけ、画像ビットストリームが画像ストリームバッファ１０２に蓄えられてから下記の復号処理が行われるようにすることによって、バッファが破綻して復号処理が止まることを防ぐことが可能となる。画像ストリームバッファ１０２から出力された画像ビットストリームは、可変長復号回路１０３において、量子化スケール、予測モード、動きベクトルなどの付加情報が分離されるとともに、量子化されたＤＣＴ係数の復号が行われる。
【００１９】
復号されたＤＣＴ係数に関しては、符号化回路（図５に示す符号化装置）内の逆量子化回路２１２及び逆直交変換回路２１３と同様の処理が行われ、逆量子化回路１０５及び逆直交変換回路１１１において逆量子化処理及び逆ＤＣＴ処理が行われ、イントラブロック又は差分ブロックが復号されて、加算器１０７に供給される。また、予測ブロックの場合には、可変長復号回路１０３で復号された予測モードと動きベクトル値とにより、動き補償予測回路１０６において、参照画像メモリ１０９から読み出された参照画像信号（当該処理の前に、既に格納されたＩピクチャやＰピクチャの画像信号）から予測ブロックの切り出し処理が行われる。これにより、復号されたイントラブロック又は差分ブロックと、動き補償予測回路１０６において切り出された予測ブロックとの加算が加算器１０７にて行われ、マクロブロックの画像信号が復元される。
【００２０】
加算器１０７における加算処理によって復元されたマクロブロックデータ（マクロブロックの画像信号）は、デブロック回路１０８に供給されて、画像スキャン順に画像信号に戻される。このとき、Ｉ又はＰピクチャの場合には、参照画像メモリ１０９に書き込まれ、Ｂピクチャの場合には、出力フレームメモリ１１０にいったん蓄えられた後、画像信号（出力画像信号）として出力される。なお、参照画像メモリ１０９に蓄積されたＩ又はＰピクチャの画像データは、図４（Ａ）〜（Ｃ）に示すような画像出力タイミングに従って、出力フレームメモリ１１０にいったん蓄積された後、Ｂピクチャと同様に画像信号（出力画像信号）として出力される。
【００２１】
また、上述のような画像符号化技術を用いて、画像情報の配信を行うシステムにおいては、いったん符号化されたビットストリームを復号した後、再度符号化処理を行う必要性が存在する。例えば、情報を取材・記録した場所から情報を配信する場所に伝送する場合、伝送路としては有線・無線の通信回線や記録媒体が考えられるが、情報を取材・記録した場所から情報を配信する場所に伝送するための伝送路の帯域幅と、情報を配信するシステムの伝送路の帯域幅とが異なるような場合には、再度符号化処理を行って、ビットストリームのビットレートを変更する必要がある。例えば、放送局が取材を行ってＶＴＲなどに記録した画像データを編集した後、放送する場合がこのような条件に当てはまる。また、放送などで送られてきた符号化ストリームを所定の記録メディアに記録したい場合にも、記録メディアの記録容量・記録レートに合わせた形で画像ストリームを再符号化することが必要となることもある。上述のような再符号化処理を行う装置は、トランスコーダ（画像ストリーム変換装置）と呼ばれる。トランスコーダにおける復号装置及び符号化装置の基本構成は、例えば、復号装置の画像出力（例えば、図６に示す出力端子１１２）と符号化装置の画像入力（例えば、図５に示す入力端子２０１）とが、直接接続された構成によって実現可能である。
【００２２】
このようなトランスコーダでは、再符号化時の符号化劣化を少なくするために、トランスコーダで伝送される画像信号（復号されたベースバンド信号）上に、符号化された際のピクチャタイプなどのフレーム情報やマクロブロック付加情報（以降、符号化情報と呼ぶ）を重畳させて伝送する方式が考えられている。例えば、ＭＰＥＧ２符号化においては、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で画像信号の品質が劣化している場合が一般的である。Ｉピクチャは基準となるフレームであるため、他のフレームより細かく量子化されているとともに、他の画像からの参照がないため、参照フレーム劣化の影響を受けない。一方、ＰピクチャやＢピクチャに関しては、Ｐピクチャ、Ｂピクチャの順で、粗く量子化され、参照フレーム劣化の影響を受けやすい。
【００２３】
トランスコーダでは、上述の符号化情報を有効に利用することによって、再符号化処理後の符号化データの品質向上や、効率的な再符号化処理を図ることが可能である。例えば、トランスコーダにおける再符号化の際に、符号化情報を参照して、トランスコーダにおける復号前の符号化データにおけるピクチャタイプと、再符号化時のピクチャタイプとを合わせることによって、上記の劣化要因を低減させることが可能である。また、マクロブロック付加情報を参照することによって、動きベクトル検出のための処理量を削減できるとともに、量子化スケール及び符号化ビット数を参照することによって、マクロブロックの持っている情報量の指針が得られ、ビットレート変換時に良好な符号量コントロールを行うことが可能となる。
【００２４】
ここで、上述のような符号化情報を伝送するトランスコーダにおける復号装置及び符号化装置の構成について説明する。図７は、従来の技術に係る一般的なストリーム変換記録装置の一例を示すブロック図である。なお、基本的には、図７に示すストリーム変換記録装置は、図５に図示されている符号化装置と、図６に図示されている復号装置とをつなげた構成であり、以下では、図７に示すストリーム変換記録装置において付加された機能ブロックについてのみ説明するとともに、画像符号化に関する部分についてのみ説明する。
【００２５】
画像ストリーム変換装置の構成要素である復号装置１００の可変長復号回路２（図６に示す可変長復号回路１０３に対応）は、画像ストリームを復号した際のフレーム情報、マクロブロック付加情報、マクロブロックの符号化ビット数を算出し、算出データを符号化情報生成回路７に供給する。符号化情報生成回路７は、フレーム情報及びマクロブロック付加情報をフレームごとにまとめてフォーマットし、符号化情報メモリ８に格納する。
【００２６】
符号化情報メモリ８は、Ｉ、Ｐ、Ｂピクチャの出力並び替えに対応するように、出力フレームメモリ３（図６に示す出力フレームメモリ１１０に対応）が蓄える複数フレーム分の記憶容量を備えている。符号化情報メモリ８に格納されたフレーム情報及びマクロブロック付加情報からなる符号化情報は、符号化情報重畳回路１０に供給され、符号化情報重畳回路１０において、ピクチャタイプにより取り出す符号化情報の順番が変更され、復号装置１００内の出力フレームメモリ３から出力される画像データ（出力画像信号）と同期して出力される。すなわち、符号化情報重畳回路１０から出力されるデータは、復号装置１００内の出力フレームメモリ３から出力される画像データに付随した符号化情報である。この符号化情報重畳回路１０から出力された符号化情報は、符号化情報メモリ１１に格納される。また、このとき、画像ストリーム変換装置の構成要素である符号化装置２００において、出力フレームメモリ３から出力された画像データ（画像信号）が入力フレームメモリ１４（図５に示す入力画像メモリ２０２に対応）に格納される。
【００２７】
符号化情報メモリ１１に格納された符号化情報は、符号化情報分離回路１２によって読み取られる。そして、符号化情報分離回路１２は、符号化情報からフレーム情報及びマクロブロック付加情報を分離し、符号化シンタックス制御回路１３とマクロブロック情報生成回路１５へ送る。符号化シンタックス制御回路１３では、送られてきたフレーム情報からフレームタイプを検出して、入力画像を符号化順に並べ替える制御が行われる。なお、符号化情報分離回路１２において、フレームの符号化情報を抜き取ることができなかった場合には、符号化情報分離回路１２から符号化シンタックス制御回路１３に非検出信号が送られ、符号化シンタックス制御回路１３において、通常の符号化処理と同様に符号化装置２００内で符号化シンタックスが構成されて、符号化処理が行われる。一方、マクロブロック情報生成回路１５は、符号化情報分離回路１２において符号化シンタックスに応じて順序が入れ替えられたマクロブロック付加情報を、符号化情報分離回路１２から受け取る。
【００２８】
マクロブロック情報生成回路１５は、符号化情報分離回路１２から受け取った符号化情報を、符号化装置２００内の動き補償予測回路１６（図５に示す動き補償予測回路２０８に対応）及び符号量制御回路１７（図５に示す符号量制御回路２１７に対応）に供給する。動き補償予測回路１６は、符号化情報に存在する動きベクトルと予測モードを用いて、参照画像メモリ１８（図５に示す参照画像メモリ２０９に対応）から予測ブロックを切り出して減算器１９（図５に示す減算器２０４に対応）に供給し、ここで、符号化する入力フレームメモリ１４からの入力画像ブロックとの差分信号を生成して、その差分信号を直交変換回路２０（図５に示す直交変換回路２０５に対応）に送出する。なお、符号化情報分離回路１２において、ピクチャの符号化情報あるいはマクロブロックごとの符号化情報を抜き取ることができなかった場合には、符号化情報分離回路１２からマクロブロック情報生成回路１５に非検出信号が送られ、符号化装置２００内において、通常の符号化処理と同様の動きベクトル検出及び予測モード選択処理が行われる。
【００２９】
また、符号量制御回路１７は、符号化時におけるマクロブロックごとの量子化スケールと、この処理に要したビット数とが符号化情報として供給され、これらの供給された情報と、現在制御ターゲットとなっている符号化ビットレートでの設定符号量との比較処理を行う。これにより、符号量制御回路１７において、適切な量子化スケールが決定されて、符号化処理が行われる。なお、上述の説明では、符号化情報メモリ８、１１を別々に設けているが、復号装置１００と符号化装置２００とが一体となっているトランスコーダなどにおいては、これらの符号化情報メモリ８、１１を１つにまとめることが可能である。
【００３０】
また、上述のトランスコーダにおける処理とは異なり、符号化情報の抽出は行わず、入力画像ストリームのピクチャタイプを再符号化の際のピクチャタイプとして常に継承できるようにすることによって、ＭＰＥＧ符号化における復号回路や符号化回路の並べ替え処理の削減を図る方法も存在する。この方法は、例えば、下記の特許文献１に開示されている。
【特許文献１】特開２０００−９２４９７号公報（段落００１９〜００２５、図１）
【発明の開示】
【発明が解決しようとする課題】
【００３１】
従来の画像ストリーム変換装置では、再符号化を行う際は、入力される画像ストリームの符号化処理が理想の符号化処理に近いという想定に基づいて、画像ストリームから抽出される符号化情報やピクチャタイプなどを正しい情報として取り扱い、再符合化の際にこれらの情報をそのまま反映させることが一般的である。例えば、上述の特許文献１に開示されている技術もこの考え方に基づいていると言える。
【００３２】
しかしながら、例えば、入力された画像ストリームの素性が悪く、最善の符号化処理がなされていないような場合に、入力された画像ストリームに係る符号化情報を再符号化時に引き継いでしまうと、再符号化された画像ストリームにおいても、入力された画像ストリームに見られる悪い影響（品質劣化などの影響）を引き継いでしまうことになり、精度の悪い画像ストリーム変換処理が行われるという弊害が起こることがある。すなわち、従来の技術のように、オリジナルの画像ストリームを再符号化する際に、オリジナルの画像ストリームに係るパラメータをそのまま引き継いで反映させた場合、状況によっては、オリジナルの画像ストリームが有する都合の悪いパラメータもそのまま引き継がれてしまうという問題がある。
【００３３】
また、例えば、放送などを通じて受信した画像ストリームを圧縮して、記録メディアに記録する場合など、入力された画像ストリームに対して符号化ビットレートを大幅に変更して、符号化ビットレートに則さない再符号化処理を行う場合（特に低い符号化ビットレートに変換するような場合）には、適切かつ充分な圧縮処理を行うことができず、再符号化処理の際に、画像品質が大幅に劣化してしまうという問題がある。
【００３４】
上記の問題に鑑み、本発明は、１度符号化処理が行われた画像の符号化ストリームを復号するとともに、再度必要な符号量・画像サイズなどに変換して再符号化する画像ストリーム変換処理において、再符号化時に良好な符号化ストリームを生成することが可能な画像ストリーム変換装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記の目的を達成するため、本発明によれば、画像ストリームの復号処理を行うとともに、前記復号処理によって復号された前記画像ストリームの再符号化処理を行うための画像ストリーム変換装置において、
前記画像ストリームに係るヘッダ情報を抽出するヘッダ情報抽出手段と、
前記ヘッダ情報抽出手段によって抽出された前記ヘッダ情報を参照し、前記画像ストリームの符号化シンタックスに基づく前記画像ストリームの再符号化処理を行った場合に、良好な符号化ストリームを生成することができるか否かを判定するとともに、前記良好な符号化ストリームを生成することができないと判定された場合には、前記符号化シンタックスを変更するか否かの判定を行うシンタックス評価手段と、
前記シンタックス評価手段による適切な前記符号化シンタックスに係る判定結果に基づいて、前記画像ストリームの前記符号化シンタックスを再構成するシンタックス再構成手段と、
前記シンタックス再構成手段によって再構成された前記符号化シンタックスに基づいて、前記画像ストリームの前記再符号化処理に利用される前記画像ストリームに係る符号化情報の変換処理を行う符号化情報変換手段とを、
有することを特徴とする画像ストリーム変換装置が提供される。
【００３６】
さらに、本発明によれば、上記の発明において、前記シンタックス評価手段が、前記画像ストリームにおけるピクチャごとの所要ビット数、動きベクトル値、予測モードの画面内分布状態、量子化スケールのフレーム総和のうちの少なくとも１つのパラメータを用いて、前記画像ストリームの各ピクチャのピクチャタイプに基づく前記画像ストリームの再符号化処理を行った場合に、良好な符号化ストリームを生成することができるか否かを判定するとともに、前記良好な符号化ストリームを生成することができないと判定された場合には、前記ピクチャタイプを変更するか否かの判定を行うことを特徴とする請求項１に記載の画像ストリーム変換装置が提供される。
【発明の効果】
【００３７】
本発明に係る画像ストリーム変換装置は、変換前の画像ストリームの符号化情報の再判定と、必要に応じて符号化情報の再構成を行うことにより、再符号化時に良好な符号化ストリームを生成することができるという効果を有している。
【発明を実施するための最良の形態】
【００３８】
以下、図面を参照しながら、本発明の実施の形態における画像ストリーム変換装置について説明する。図１は、本発明の実施の形態における画像ストリーム変換装置の一例を示すブロック図である。なお、図１に示す画像ストリーム変換装置は、上述した従来の技術に係る画像ストリーム変換装置（図７参照）と共通する構成要素を有しており、ここでは、これらの共通する構成要素の説明については省略する。
【００３９】
図１に示す画像ストリーム変換装置は、符号化処理が行われた画像の符号化ストリームをいったん復号した後に再符号化する際に、復号前の符号化ストリームを解析し、再符号化の際の所定の条件に、符号化情報に係る様々なパラメータの変更又は継承を決定することによって、再符号化時の符号化シンタックス制御処理、動きベクトルの検出処理、符号量制御処理などを適切かつ良好に行うことができるように構成されている。以下、具体的に、図１に示す画像ストリーム変換装置の構成及び動作について説明する。
【００４０】
画像ストリーム変換装置の構成要素である復号装置１００の画像ストリームバッファ１（図６に示す画像ストリームバッファ１０２に対応）に入力ビットストリーム（画像ストリーム）が格納されると、復号装置１００の可変長復号回路２（図６に示す可変調復号回路１０３に対応）に出力される前に、即座にヘッダ抽出回路４に供給される。ヘッダ抽出回路４では、復号処理に先んじて（あるいは、復号処理とは独立して）、画像ストリームのヘッダ情報の抽出処理が行われる。このヘッダ情報の抽出処理では、基本的には、ＭＰＥＧ画像ストリームの各ピクチャのピクチャタイプ及び所要ビット量の抽出や計算が行われる。なお、所要ビット数は、ピクチャヘッダの間隔を計算することによって抽出可能である。
【００４１】
また、ヘッダ抽出回路４に、復号装置１００の可変長復号回路２と同様の復号処理機能を設けてもよく、この場合には、動きベクトル・予測モード・量子化スケールなどを算出することも可能である。なお、以下では、可変長復号回路２に復号処理機能が設けられており、上記の各パラメータの算出も可能な場合を想定して説明する。
【００４２】
シンタックス評価回路５では、ヘッダ抽出回路４によって抽出されたヘッダ情報を参照することによって、符号化ストリームの符号化特性の評価が行われる。このとき、基本的に、Ｉピクチャに対しては、そのままＩピクチャで符号化を行うようにシンタックス（符号化シンタックスとも呼ばれる）の変更処理を行わず（シンタックスの継承）、一方、Ｐピクチャ／Ｂピクチャに対しては、ヘッダ情報よりシンタックスの有効性判断を行う。なお、入力される符号化ストリームやそのヘッダ情報からは、符号化ストリームにおけるピクチャごとの所要ビット数、動きベクトル値、予測モードの画面内分布状態やその頻度、量子化スケール値など、画像の符号化特性に係る様々なパラメータを取得することが可能であり、シンタックス評価回路５では、これらのパラメータのいずれか１つ又はそれらの組み合わせを利用して、符号化特性の評価を行うことが可能である。
【００４３】
シンタックス評価回路５におけるＰピクチャ／Ｂピクチャの評価アルゴリズムに関しては、例えば、以下のような方法で行うことが可能である。なお、ここでは、１つの基準ピクチャ（Ｉピクチャ又はＰピクチャ）とその間のＢピクチャとをペアにした評価単位によって評価を行う。
【００４４】
ここで、図２を参照しながら、本発明に係る画像ストリーム変換装置のシンタックス評価回路５における基準ピクチャの正誤判定について説明する。図２は、本発明の実施の形態における画像ストリーム変換装置のシンタックス評価回路の基準ピクチャの正誤判定動作を示すフローチャートである。
【００４５】
まず、基準ピクチャがＩピクチャであるか、あるいはＰピクチャであるかの判定が行われる（ステップＳ１００１）。基準ピクチャがＩピクチャの場合には、このＩピクチャに関しては位置を変化させない。したがって、基準ピクチャ判定が正しいと判断される（ステップＳ１００３）。
【００４６】
一方、基準ピクチャがＰピクチャの場合には、このＰピクチャに係る予測的中精度（予測効率）の計測による判断が行われる。この場合、例えば、Ｐピクチャの要したビット数Bits(P)及び量子化スケール値AvgQ(P)を判断して、Bits(P)が閾値α以下で、かつAvgQ(P)が閾値β以下の場合（ステップＳ１００５で『はい』）には、基準ピクチャ判定が正しいと判定される。なお、閾値α及びβは、入力ストリームの符号化ビットレートによってコントロールされる変数である。また、量子化スケール値AvgQ(P)は、予測誤差の起こる可能性を示すパラメータと言える。上述のように、基準ピクチャ判定が正しいと判定された場合には、該当フレームのシンタックスは継承されて再符号化されることとなる。
【００４７】
一方、上述の判定で正しいと判定されなかった場合（ステップＳ１００５で『いいえ』）には、最後に入力されたＩピクチャ（復号された際の基準となるＩピクチャ）のビット数Bits(PrevI)及び量子化スケール値AvgQ(PrevI)と、当該Ｐピクチャのビット数Bits(P)及び量子化スケール値AvgQ(P)との比較が行われる。この比較では、例えば、ビット数と量子化スケール値との積を用いることが可能である。
【００４８】
例えば、Ｐピクチャと最後に入力されたＩピクチャとの比較において、
Bits(P)*AvgQ(P)*γ ＞ Bits(PrevI)*AvgQ(PrevI)
PrevIは最後のＩピクチャを表す表記
の関係にある場合（ステップＳ１００７で『はい』）には、基準ピクチャ判定は誤りであると判定され、このＰピクチャはＩピクチャに修正される（ステップＳ１００９）。なお、上記の式に用いられているγは、Ｐピクチャの予測モード内のイントラモード数より算出される変数である。
【００４９】
また、上記の式の条件を満たさない場合（ステップＳ１００７で『いいえ』）には、基準ピクチャ判定が正しいと判定され、このＰピクチャのシンタックスは変更されずに保持され、Ｐピクチャのまま継承される（ステップＳ１１１１）。以上のように、基準ピクチャ判定に係るシンタックスの継承又は変更が決定される。
【００５０】
次に、図３を参照しながら、本発明に係る画像ストリーム変換装置のシンタックス評価回路５におけるＢピクチャの判定について説明する。図３は、本発明の実施の形態における画像ストリーム変換装置のシンタックス評価回路のＢピクチャの判定動作を示すフローチャートである。
【００５１】
Ｂピクチャの判定では、上述したＰピクチャの判定と同様にビット数及び量子化スケール値と共に、さらに、予測モードの出現度合いを判定材料として用いることが可能である。このＢピクチャの判定は、上述した基準ピクチャ判定の正誤判定動作の結果に基づいて行われる。すなわち、上述の基準ピクチャ判定の正誤判定動作では、基準ピクチャ判定が正しいか誤りであるかの判定結果が取得され、シンタックス評価回路５は、この判定結果に応じたＢピクチャの判定動作を行う。なお、以下の説明では、基準ピクチャがＰピクチャの場合を一例に挙げて説明するが、基準ピクチャがＩピクチャの場合も同様の処理が行われる。
【００５２】
Ｂピクチャの判定を行う際、まず、基準ピクチャ判定が正しいか誤りであるかの判定結果が取得される（ステップＳ２００１）。基準ピクチャ判定が正しいと判定されている場合（ステップＳ２００１で『はい』）には、Ｂピクチャに対して、孤立フレーム（周りに予測に値するフレームがないフレーム）であるか否かの判定が行われる。この孤立フレーム判定では、例えば、ビット数と量子化スケール値との積を用いることが可能である。
【００５３】
例えば、基準ピクチャ（ここでは、Ｐピクチャ）と、判定対象のＢピクチャとの比較において、
Bits(B)*AvgQ(B)*Δ ＞ Bits(P)*AvgQ(P)
の関係にあり、かつ予測モードのイントラモード数が閾値ε以上（すなわち、面内予測数がε以上）の場合（ステップＳ２００３で『はい』）には、このＢピクチャは孤立フレームであると判定され、このＢピクチャのピクチャタイプはＩピクチャに変更される（ステップＳ２００５）。なお、上記の式に用いられているΔは、Ｂピクチャの予測モード内のイントラモード数より算出される変数である。
【００５４】
また、上記の式の条件を満たさない場合（ステップＳ２００３で『いいえ』）には、Ｂピクチャは孤立フレームではないと判定されて、このＢピクチャのシンタックスは変更されずに保持され、Ｂピクチャのまま継承される（ステップＳ２００７）。
【００５５】
一方、Ｐピクチャの基準ピクチャ判定が誤りであると判定されている場合（ステップＳ２００１で『いいえ』）には、例えば、Ｂピクチャにおいてシーンの切り替わり（シーンチェンジ）が発生したことを想定して、切り替わりポイントの探索と、その探索結果に応じたシンタックスの保持・変更が行われる（ステップＳ２００９）。
【００５６】
ここで、図４に図示されているような周期Ｍ＝３の場合における切り替わりポイントの探索（ステップＳ２００９の処理）の一例について説明する。周期Ｍ＝３の場合には、Ｐピクチャ間（又は、ＩピクチャとＰピクチャとの間）に２フレームのＢピクチャが存在している（Ｂ１、Ｂ２とする）。切り替わりポイントの探索では、まず、これらのＢピクチャＢ１、Ｂ２のそれぞれに関して、前後の予測モードの出現頻度の比較が行われる。
【００５７】
このとき、ＢピクチャＢ１、Ｂ２の両方において、前方予測（フォワード予測）の出現頻度が閾値以上である場合（すなわち、ＢピクチャＢ１、Ｂ２共に、前方予測が支配的であると判断される場合）には、ＢピクチャＢ２の後にシーンチェンジがあることが予想される。この場合には、ＢピクチャＢ２をＰピクチャに変更することが望ましい。
【００５８】
また、ＢピクチャＢ１、Ｂ２の両方において、後方予測（バックワード予測）の出現頻度が閾値以上である場合（すなわち、ＢピクチャＢ１、Ｂ２共に、後方予測が支配的であると判断される場合）には、ＢピクチャＢ１の前にシーンチェンジがあることが予想される。この場合には、ＢピクチャＢ１、Ｂ２共に、そのままのシンタックスを保つことが望ましい。なお、シーンの変わり目でＧＯＰ（Group of Pictures）をクローズドＧＯＰにすることによって、ＢピクチャＢ１、Ｂ２をその前のＧＯＰに依存させないようにすることも可能であり、この場合には、クローズドＧＯＰフラグを設定する情報の出力を行う。
【００５９】
また、ＢピクチャＢ１において前方予測の出現頻度が閾値以上であり、かつＢピクチャＢ２において後方予測の出現頻度が閾値以上の場合（すなわち、ＢピクチャＢ１では、前方予測が支配的であると判断され、ＢピクチャＢ２では、後方予測が支配的であると判断される場合）には、ＢピクチャＢ１とＢピクチャＢ２との間にシーンチェンジがあることが予想される。この場合には、ＢピクチャＢ１をＰピクチャに変更することが望ましい。なお、この場合も、シーンの変わり目をクローズドＧＯＰに設定することが可能である。また、上述以外の各条件に関しては、基本的に、シンタックスをそのまま保持することが望ましい。
【００６０】
以上のように、シンタックス評価回路５によって、シンタックスの保持又は変更の判定処理が行われ、この判定結果情報は、シンタックス評価回路５からシンタックス再構成回路６に供給される。シンタックス再構成回路６では、この判定結果情報に従って、シンタックスの更新が行われ、符号化情報変換回路９に供給される。
【００６１】
符号化情報変換回路９では、符号化情報メモリ８から供給されるピクチャタイプと、シンタックス再構成回路６から供給される更新されたシンタックスで生成されたピクチャタイプとの比較が行われ、これらのピクチャタイプが異なる場合には、動きベクトルと予測モードに関しての変換処理を行う。例えば、ピクチャタイプの比較の結果、ＢピクチャがＰピクチャになったと判断された場合には、動きベクトルに関しては、予測モードがフォワード予測（前参照画像からの予測）の場合にはそのまま使用し、バックワード予測又はアベレージ予測の場合には、イントラモードに変換される。
【００６２】
また、直後のＢピクチャ（例えば、ＢピクチャＢ２）がＰピクチャに変化したＢピクチャ（例えば、ＢピクチャＢ１）に関しては、このＢピクチャＢ１の後方参照画像が、入力画像ストリームの時点でＢピクチャＢ２であった画像に変化することになる。この場合には、ＢピクチャＢ１が後方予測されていた場合には、動きベクトルが予測フレーム間の距離に比例して縮小される。なお、上述のように、基本的には、ＢピクチャＢ１、Ｂ２間にシーンチェンジなどが存在し、ＢピクチャＢ１に関しては前方予測が支配的であると判断されている場合（後方予測がほとんどない場合）に、ＢピクチャＢ１の直後のＢピクチャＢ２がＰピクチャに変更されるため、動きベクトルの縮小による弊害はほとんど発生しないことが予想される。
【００６３】
このように、符号化情報変換回路９では、動きベクトルと予測モードに関しての変換処理が行われるとともに、ピクチャタイプの書き替えなどを始めとする符号化情報の更新も行われる。そして、符号化情報変換回路９において更新された符号化情報は、符号化情報重畳回路１０に供給され、その後は、この更新された符号化情報に基づいて、従来の技術と同様の符号化処理が行われることとなる。
【００６４】
なお、上述の実施の形態では、シンタックス評価回路５に供給される判定材料として、入力画像ストリームの符号化情報のみを利用しているが、例えば、所定の再生時刻で符号化処理を終了したり、特定のフレームにＩピクチャを挿入したりする場合や、特定のフレームでＧＯＰを切り替えたい場合などにおいて、これらの位置を指定するためのフレーム位置指定情報を外部から入力することによって、上記の判定材料と同様に、このフレーム位置指定情報を利用したシンタックス切り替え処理が可能となる。この場合には、入力画像ストリームの符号化情報の有効部分を判断するとともに、補正可能な部分に関しての情報補正を行うことができるため、単に符号化装置２００でシンタックスの切り替えを行う場合に比べて、符号化効率が向上する。
【００６５】
なお、本発明は、例えば、入力画像シーケンスの符号化・復号処理（変換処理）と同時にシンタックス評価処理を行うことによって実現することも可能である。また、本発明は、例えば、再符号化を行う入力画像ストリームが記録媒体に記録されている状態の場合には、あらかじめシーケンス全体に対してシンタックス評価処理を行って、その結果情報（シーケンス全体に係るシンタックスの保持又は変更に関する情報）を記録媒体やバッファなどに蓄えておき、その後、入力画像シーケンスの変換処理を行う際に、この結果情報を参照することによって実現することも可能である。
【００６６】
また、上述の実施の形態では、本発明に係る画像ストリーム変換装置の構成要素の一例として、回路や模式的なブロックなどのハードウェア要素を図示しながら説明しているが、従来の画像ストリーム変換装置と同様に、コンピュータが実行可能なソフトウェア（プログラム）によって、これらのハードウェア要素を実現することも可能である。
【産業上の利用可能性】
【００６７】
本発明に係る画像ストリーム変換装置は、再符号化時に良好な符号化ストリームを生成することができるという効果を有しており、画像符号化されたビットストリームの再変換（トランスコード）を行うための技術分野に適用可能である。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態における画像ストリーム変換装置の一例を示すブロック図である。
【図２】本発明の実施の形態における画像ストリーム変換装置のシンタックス評価回路の基準ピクチャの正誤判定動作を示すフローチャートである。
【図３】本発明の実施の形態における画像ストリーム変換装置のシンタックス評価回路のＢピクチャの判定動作を示すフローチャートである。
【図４】従来の技術に係るＭＰＥＧ２画像符号化における処理及び出力時の画像の並びを模式的に示す図であり、（Ａ）は、ＭＰＥＧ２画像符号化で用いられている符号化体系を示す図、（Ｂ）は、ＭＰＥＧ２画像符号化時の符号化順序の並べ替えを示す図、（Ｃ）は、ＭＰＥＧ２画像復号時のストリーム到達順序及び復号画像出力順序を示す図である。
【図５】従来の技術に係る一般的な符号化装置の一例を示すブロック図である。
【図６】従来の技術に係る一般的な復号装置の一例を示すブロック図である。
【図７】従来の技術に係る一般的なストリーム変換記録装置の一例を示すブロック図である。
【符号の説明】
【００６９】
１、１０２、２１８  画像ストリームバッファ
２、１０３  可変長復号回路
３、１１０  出力フレームメモリ
４  ヘッダ抽出回路
５  シンタックス評価回路
６  シンタックス再構成回路
７  符号化情報生成回路
８、１１  符号化情報メモリ
９  符号化情報変換回路
１０  符号化情報重畳回路
１２  符号化情報分離回路
１３  符号化シンタックス制御回路
１４  入力フレームメモリ
１５  マクロブロック情報生成回路
１６、１０６、２０８  動き補償予測回路
１７、２１７、４０３  符号量制御回路
１８、１０９、２０９  参照画像メモリ
１９、２０４  減算器
２０、２０５  直交変換回路
１００  復号装置
１０１、２０１  入力端子
１０４、２１５  符号化テーブル
１０５、２１２  逆量子化回路
１０７、２１０  加算器
１０８、２１１  デブロック回路
１１１、２１３  逆直交変換回路
１１２、２１９  出力端子
２００  符号化装置
２０２、４０４  入力画像メモリ
２０３  ２次元ブロック変換回路
２０６  量子化回路
２０７  動きベクトル検出回路
２１４  符号化回路
２１６  マルチプレクサ
【図１】
2006086863.tif 000003
【図２】
2006086863.tif 000004
【図３】
2006086863.tif 000005
【図４】
2006086863.tif 000006
【図５】
2006086863.tif 000007
【図６】
2006086863.tif 000008
【図７】
2006086863.tif 000009