(57)【要約】【課題】  画像符号化処理において、安定した符号量制御を実現することを可能とし、制御すべき所定の符号量との誤差が小さく、画質の良好な符号化画像を生成する。【解決手段】  複数フレームによって構成される画像信号の符号化の際に、符号化すべき複数フレーム分の画像信号を入力画像メモリ４０４に格納できるようにするとともに、予測符号化回路１５０でいったん符号化されたフレームの再符号化を行うか否かを判断するための再符号化制御回路４０２を設ける。これによって、例えば、入力画像メモリへのフレームの入力よりも符号化処理を速く行えるように設定することが可能となり、符号化処理の誤差や入力画像メモリ内のフレーム充足度などの様々な条件に基づいて、適切な符号化制御パラメータを用いたフレームの再符号化処理をフレーム単位（ピクチャ単位）で行えるようになる。【選択図】  図１
2006108785.tif 000002
【特許請求の範囲】
【請求項１】
画像信号における符号化対象となる複数フレームのうちの所定数のフレームを格納するフレームバッファと、
前記フレームバッファに格納された前記フレームの符号化処理を行うとともに、再符号化処理に係る所定の指示情報を受けた場合には、いったん符号化処理を行った前記フレームの再符号化処理を行う符号化処理手段と、
前記符号化処理手段による符号化後の前記フレームを格納するストリームバッファと、
前記符号化処理手段から前記ストリームバッファに対して出力する出力フレーム数の制御を行うとともに、前記符号化処理手段による符号化処理に係る誤差の測定を行い、さらには、前記再符号化処理に係る所定の指示情報に基づいて、前記符号化処理手段において行われる前記再符号化処理に係る符号化制御パラメータの更新処理を行う符号量制御手段と、
符号化処理の開始、終了、シーン切り替わりポイントのタイミングの指示を行う符号化制御手段と、
前記フレームバッファ内のバッファ充足度、前記符号量制御手段による誤差測定結果、前記符号化制御手段からの前記指示、前記フレームのピクチャタイプのうちの少なくとも１つの情報に基づいて、前記再符号化処理を行うか否かを判断するとともに、前記再符号化処理を行うと判断した場合には、フレーム単位で前記再符号化処理を行うための所定の指示情報を出力して、前記再符号化処理の制御を行う再符号化制御手段とを、
有する画像符号化装置。
【請求項２】
画像信号における符号化対象となる複数フレームのうちの所定数のフレームを格納するフレームバッファと、
前記フレームバッファに格納された前記フレームの符号化処理を行うとともに、再符号化処理に係る所定の指示情報を受けた場合には、いったん符号化処理を行った前記フレームの再符号化処理を行う符号化処理手段と、
前記符号化処理手段による符号化後の前記フレームを、前記所定数のフレーム分だけ格納するストリームバッファと、
前記符号化処理手段から前記ストリームバッファに対して出力する出力フレーム数の制御を行うとともに、前記符号化処理手段による符号化処理に係る誤差の測定を行い、さらには、前記再符号化処理に係る所定の指示情報に基づいて、前記符号化処理手段において行われる前記再符号化処理に係る符号化制御パラメータの更新処理を行う符号量制御手段と、
前記フレームバッファ内のバッファ充足度、前記符号量制御手段による誤差測定結果、前記フレームのピクチャタイプのうちの少なくとも１つの情報に基づいて、前記再符号化処理を行うか否かを判断するとともに、前記再符号化処理を行うと判断した場合には、フレーム単位で前記再符号化処理を行うための所定の指示情報を出力して、前記再符号化処理の制御を行う再符号化制御手段とを、
有する画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ２（Moving Picture Experts Group Phase 2）などの動画像の画像符号化を実施するための画像符号化装置に関し、特に、視覚的な画質劣化を抑えながら、所定の符号量に所定のタイミングで画像符号化を行うように制御することが可能な画像符号化装置に関する。
【背景技術】
【０００２】
近年、デジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、衛星波、地上波、電話回線などの様々な伝送路を通じて、情報を配信するサービスが実用化されている。このようなサービスでは、動画像・音声などの情報を配信する際、動画像・音声の高能率符号化方式として、国際規格であるＭＰＥＧ２（Moving Picture Experts Group Phase 2）が用いられている。ＭＰＥＧ２は、画像信号の隣接画素間（空間方向）の相関や、隣接フレーム間又は隣接フィールド間（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。
【０００３】
ＭＰＥＧ２規格における画像符号化は、下記のようなアルゴリズムで処理される。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは、空間方向の相関のみを用いて符号化することで、そのフレームの符号化データのみで、元の画像を復元することができる。一方、予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関とを用いて符号化することにより、基準フレームに比べて高い符号化効率を実現することができる。なお、予測フレームの符号化データは、復元された基準フレームと、予測フレームの符号化データとによって復元される。
【０００４】
次に、具体的なＭＰＥＧ２画像符号化で用いられる符号化体系について、図５を用いて説明する。なお、図５では、必要に応じて、識別可能となるように各ピクチャタイプに番号を付している。図５（Ａ）中に『Ｉ』と示されている基準フレームであるＩピクチャ（Ｉフレーム）は、定期的に存在し、復号処理の基準となる情報である。一方、予測フレームには、図５（Ａ）中に『Ｐ』と示されている、時間的に前（過去）の基準フレームからの予測のみで符号化されるＰピクチャ（Ｐフレーム）と、図５（Ａ）中に『Ｂ』と示されている、時間的に前後（過去と未来）の２つの基準フレームから予測符号化されるＢピクチャ（Ｂフレーム）とが存在する。なお、図５（Ａ）中の矢印は、Ｐピクチャ及びＢピクチャに係る予測方向を示すものである。Ｐピクチャは、自身が予測フレームであるとともに、他のＰピクチャやＢピクチャの基準フレームとしても利用される。
【０００５】
Ｉピクチャの画像信号は、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８画素×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。
【０００６】
ＤＣＴ処理後の信号は、その２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく、高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化することにより、情報量を圧縮している。
【０００７】
Ｐピクチャの画像信号も、Ｉピクチャと同様に、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックの単位に分割される。Ｐピクチャでは、マクロブロックごとに基準フレームとの間の動きベクトルが計算される。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平１６画素×垂直１６画素にブロック化した各画素との差分絶対値総和（あるいは差分二乗総和）が求められ、その最小値を取る動きベクトルの値が、検出された動きベクトルとして出力される。
【０００８】
マクロブロックの各画素は、動きベクトルにより切り出された２次元ブロックの各画素との差分が取られる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Ｉピクチャよりも粗い量子化処理が可能となる。実際には、差分ブロックを符号化するか、あるいは非差分ブロック（イントラ（Intra）ブロック）を符号化するかが選択され（予測モード判定）、選択されたブロックに対してＩピクチャと同様のＤＣＴ・可変長符号化処理が施されて情報量が圧縮される。
【０００９】
また、Ｂピクチャに関しても、Ｐピクチャと同様の処理が行われるが、基準フレームであるＩ、Ｐピクチャが時間的に前後に存在しており、各基準フレームとの間で動きベクトルの検出が行われる。Ｂピクチャでは予測の選択肢が、前基準フレームからの予測（フォワード（Forward）予測）・後基準フレームからの予測（バックワード（Backward）予測）・２つの予測ブロックの画素ごとの平均値（アベレージ（Average）予測）の３種類存在し、イントラブロックのみで復号を行う方式を合わせた４種類の方式の中から予測モード判定が行われる。
【００１０】
Ｂピクチャは、時間的に前後の基準フレームから予測が可能となるため、Ｐピクチャよりも更に予測効率が向上する。したがって、一般的に、Ｂピクチャは、Ｐピクチャよりも更に粗く量子化される。なお、Ｂピクチャとして選択されたブロックは、Ｉ、Ｐピクチャと同様の符号化処理が行われる。
【００１１】
Ｂピクチャの復号処理では、時間的に後の基準フレームからの予測処理も行われるため、この基準フレームは、Ｂピクチャに先行して符号化される必要がある。このため、符号化処理の際に、記録入力された画像信号は、図５（Ｂ）に示されるように、Ｂピクチャの基準フレームであるＩピクチャ又はＰピクチャの後にＢピクチャが配置されるように、順序の並べ替えが行われて符号化される。すなわち、符号化処理時には、復号処理時の符号化順序に鑑みて、原画像の入力オーダの順序の並べ替えが行われる。一方、復号処理では、図５（Ｃ）に示すように、図５（Ｂ）の順序に対して逆の並べ替えを行って出力することにより、入力された画像信号の順序で復号画像が再生可能となる。
【００１２】
次に、ＭＰＥＧ２画像符号化を実現するための一般的な画像符号化装置と復号装置について説明する。まず、従来の技術において一般的な画像符号化装置について説明する。図６は、従来の技術に係る一般的な画像符号化装置の一例を示すブロック図である。図６において、入力端子２０１から入力されたデジタル画像信号（入力画像信号）は、入力画像メモリ２０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うために遅延される。そして、入力画像メモリ２０２から出力されたデジタル画像信号は、２次元ブロック変換回路２０３において、マクロブロックの切り出し処理が行われる。
【００１３】
基準フレームに関するマクロブロックデータは、減算器２０４を介して直交変換回路２０５に供給され、ここで、水平８画素×垂直８画素単位でＤＣＴ変換が行われて、ＤＣＴ係数が算出される。ＤＣＴ係数は、さらに輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロック単位にまとめられて、量子化回路２０６に送られる。量子化回路２０６においては、例えば、周波数成分ごとに異なる値を持つ量子化マトリクスによって、ＤＣＴ係数ごとに異なる値で除算することにより、量子化処理が行われる。量子化処理されたＤＣＴ係数は符号化回路２１４に送られ、符号化回路２１４において、符号化テーブル２１５の係数に対応したアドレスを参照することにより、可変長又は固定長の符号化が行われる。そして、マルチプレクサ２１６において、上記の符号化回路２１４における処理後の符号化データと、２次元ブロック変換回路２０３からの画面内でのマクロブロックの場所などを示す付加情報とが多重化され、画像ストリームバッファ２１８にいったん格納された後、ビットストリーム（出力画像ビットストリーム）として出力端子２１９から出力される。
【００１４】
また、量子化回路２０６において量子化されたＤＣＴ係数は、逆量子化回路２１２及び逆直交変換回路２１３において逆量子化処理及び逆ＤＣＴ処理が行われて、量子化されたＤＣＴ係数が復号され、加算器２１０及びデブロック回路２１１を介して参照画像メモリ２０９に供給されて格納される。この参照画像メモリ２０９に格納された画像は、予測フレームの符号化処理時に利用される。
【００１５】
一方、予測フレームに関しては、入力画像メモリ２０２から切り出されたマクロブロックデータと参照画像メモリ２０９に格納されている画像との間で、動きベクトル検出回路２０７によって画像間における動きベクトルが求められる。動きベクトル検出回路２０７において求められた動きベクトルは、動き補償予測回路２０８に供給され、ここで、参照画像メモリ２０９からの参照画像から予測ブロックの切り出し処理が行われる。動き補償予測回路２０８では、切り出された複数の予測ブロックに従って、最適な予測モードの選択が行われ、符号化すべき入力画像ブロックとの差分信号が、直交変換回路２０５に送出される。この差分信号に関しては、上述の基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理されて、動きベクトルや予測モードと共にビットストリームとしてマルチプレクサ２１６から、画像ストリームバッファ２１８を経て、出力端子２１９より出力される。
【００１６】
なお、符号量の制御に関しては、符号量制御回路２１７において、マルチプレクサ２１６から出力されたビットストリームの符号量と、目標とする符号量（目標符号量）との比較が行われ、目標符号量に近づけるために量子化回路２０６の量子化の細かさ（量子化スケール）の制御が行われる。そして、上述した３種類の情報量の異なるピクチャタイプ（フレームタイプ）に対し、設定された符号化ビットレートに対する各ピクチャタイプの性質及び出現頻度を用いて、各フレームに対する目標符号量が算出される。
【００１７】
また、目標符号量は、仮想的に復号装置シミュレートされたストリームバッファ（ＶＢＶ（Video Buffer Verifier）バッファと呼ばれる）に対して、バッファのオーバーフロー・アンダーフローが起きないように制限される。また、量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係があることを利用して、フレームタイプごとに目標符号量に対する量子化スケール値が計算されて、量子化処理が行われる。そして、ブロックごとに目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ストリームを抑えるように制御される。
【００１８】
次に、従来の技術において一般的な復号装置について説明する。図７は、従来の技術に係る一般的な復号装置の一例を示すブロック図である。図７において、まず、入力端子１０１から入力された画像ビットストリーム（画像ストリーム）が、画像ストリームバッファ１０２に蓄えられる。なお、画像ビットストリームには仮想的にシミュレートされたバッファ値が書かれており、そのバッファ値分だけ、画像ビットストリームが画像ストリームバッファ１０２に蓄えられてから下記の復号処理が行われるようにすることによって、バッファが破綻して復号処理が止まることを防ぐことが可能となる。画像ストリームバッファ１０２から出力された画像ビットストリームは、可変長復号回路１０３において、量子化スケール、予測モード、動きベクトルなどの付加情報が分離されるとともに、量子化されたＤＣＴ係数の復号が行われる。
【００１９】
復号されたＤＣＴ係数に関しては、符号化回路（図６に示す符号化装置）内の逆量子化回路２１２及び逆直交変換回路２１３と同様の処理が行われ、逆量子化回路１０５及び逆直交変換回路１１１において逆量子化処理及び逆ＤＣＴ処理が行われ、イントラブロック又は差分ブロックが復号されて、加算器１０７に供給される。また、予測ブロックの場合には、可変長復号回路１０３で復号された予測モードと動きベクトル値とにより、動き補償予測回路１０６において、参照画像メモリ１０９から読み出された参照画像信号（当該処理の前に、既に格納されたＩピクチャやＰピクチャの画像信号）から予測ブロックの切り出し処理が行われる。これにより、復号されたイントラブロック又は差分ブロックと、動き補償予測回路１０６において切り出された予測ブロックとの加算が加算器１０７にて行われ、マクロブロックの画像信号が復元される。
【００２０】
加算器１０７における加算処理によって復元されたマクロブロックデータ（マクロブロックの画像信号）は、デブロック回路１０８に供給されて、画像スキャン順に画像信号に戻される。このとき、Ｉ又はＰピクチャの場合には、参照画像メモリ１０９に書き込まれ、Ｂピクチャの場合には、出力フレームメモリ１１０にいったん蓄えられた後、画像信号（出力画像信号）として出力される。なお、参照画像メモリ１０９に蓄積されたＩ又はＰピクチャの画像データは、図５（Ａ）〜（Ｃ）に示すような画像出力タイミングに従って、出力フレームメモリ１１０にいったん蓄積された後、Ｂピクチャと同様に画像信号（出力画像信号）として出力される。
【００２１】
また、上述のような画像符号化技術を用いて、画像情報の配信を行うシステムにおいては、いったん符号化されたビットストリームを復号した後、再度符号化処理を行う必要性が存在する。例えば、情報を取材・記録した場所から情報を配信する場所に伝送する場合、伝送路としては有線・無線の通信回線や記録媒体が考えられるが、情報を取材・記録した場所から情報を配信する場所に伝送するための伝送路の帯域幅と、情報を配信するシステムの伝送路の帯域幅とが異なるような場合には、再度符号化処理を行って、ビットストリームのビットレートを変更する必要がある。例えば、放送局が取材を行ってＶＴＲなどに記録した画像データを編集した後、放送する場合がこのような条件に当てはまる。また、放送などで送られてきた符号化ストリームを所定の記録メディアに記録したい場合にも、記録メディアの記録容量・記録レートに合わせた形で画像ストリームを再符号化することが必要となることもある。上述のような再符号化処理を行う装置は、トランスコーダ（画像ストリーム変換装置）と呼ばれる。トランスコーダにおける復号装置及び符号化装置の基本構成は、例えば、復号装置の画像出力（例えば、図７に示す出力端子１１２）と符号化装置の画像入力（例えば、図６に示す入力端子２０１）とが、直接接続された構成によって実現可能である。
【００２２】
このようなトランスコーダでは、再符号化時の符号化劣化を少なくするために、トランスコーダで伝送される画像信号（復号されたベースバンド信号）上に、符号化された際のピクチャタイプなどのフレーム情報やマクロブロック付加情報（以降、符号化情報と呼ぶ）を重畳させて伝送する方式が考えられている。例えば、ＭＰＥＧ２符号化においては、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で画像信号の品質が劣化している場合が一般的である。Ｉピクチャは基準となるフレームであるため、他のフレームより細かく量子化されているとともに、他の画像からの参照がないため、参照フレーム劣化の影響を受けない。一方、ＰピクチャやＢピクチャに関しては、Ｐピクチャ、Ｂピクチャの順で、粗く量子化され、参照フレーム劣化の影響を受けやすい。
【００２３】
トランスコーダでは、上述の符号化情報を有効に利用することによって、再符号化処理後の符号化データの品質向上や、効率的な再符号化処理を図ることが可能である。例えば、トランスコーダにおける再符号化の際に、符号化情報を参照して、トランスコーダにおける復号前の符号化データにおけるピクチャタイプと、再符号化時のピクチャタイプとを合わせることによって、上記の劣化要因を低減させることが可能である。また、マクロブロック付加情報を参照することによって、動きベクトル検出のための処理量を削減できるとともに、量子化スケール及び符号化ビット数を参照することによって、マクロブロックの持っている情報量の指針が得られ、ビットレート変換時に良好な符号量コントロールを行うことが可能となる。
【００２４】
ここで、上述のような符号化情報を伝送するトランスコーダにおける復号装置及び符号化装置の構成について説明する。図８は、従来の技術に係る一般的なストリーム変換記録装置の一例を示すブロック図である。なお、基本的には、図８に示すストリーム変換記録装置は、図６に図示されている符号化装置と、図７に図示されている復号装置とをつなげた構成であり、以下では、図８に示すストリーム変換記録装置において付加された機能ブロックについてのみ説明するとともに、画像符号化に関する部分についてのみ説明する。
【００２５】
画像ストリーム変換装置の構成要素である復号装置１００の可変長復号回路２（図７に示す可変長復号回路１０３に対応）は、画像ストリームを復号した際のフレーム情報、マクロブロック付加情報、マクロブロックの符号化ビット数を算出し、算出データを符号化情報生成回路７に供給する。符号化情報生成回路７は、フレーム情報及びマクロブロック付加情報をフレームごとにまとめてフォーマットし、符号化情報メモリ８に格納する。
【００２６】
符号化情報メモリ８は、Ｉ、Ｐ、Ｂピクチャの出力並び替えに対応するように、出力フレームメモリ３（図７に示す出力フレームメモリ１１０に対応）が蓄える複数フレーム分の記憶容量を備えている。符号化情報メモリ８に格納されたフレーム情報及びマクロブロック付加情報からなる符号化情報は、符号化情報重畳回路１０に供給され、符号化情報重畳回路１０において、ピクチャタイプにより取り出す符号化情報の順番が変更され、復号装置１００内の出力フレームメモリ３から出力される画像データ（出力画像信号）と同期して出力される。すなわち、符号化情報重畳回路１０から出力されるデータは、復号装置１００内の出力フレームメモリ３から出力される画像データに付随した符号化情報である。この符号化情報重畳回路１０から出力された符号化情報は、符号化情報メモリ１１に格納される。また、このとき、画像ストリーム変換装置の構成要素である符号化装置２００において、出力フレームメモリ３から出力された画像データ（画像信号）が入力フレームメモリ１４（図６に示す入力画像メモリ２０２に対応）に格納される。
【００２７】
符号化情報メモリ１１に格納された符号化情報は、符号化情報分離回路１２によって読み取られる。そして、符号化情報分離回路１２は、符号化情報からフレーム情報及びマクロブロック付加情報を分離し、符号化シンタックス制御回路１３とマクロブロック情報生成回路１５へ送る。符号化シンタックス制御回路１３では、送られてきたフレーム情報からフレームタイプを検出して、入力画像を符号化順に並べ替える制御が行われる。なお、符号化情報分離回路１２において、フレームの符号化情報を抜き取ることができなかった場合には、符号化情報分離回路１２から符号化シンタックス制御回路１３に非検出信号が送られ、符号化シンタックス制御回路１３において、通常の符号化処理と同様に符号化装置２００内で符号化シンタックスが構成されて、符号化処理が行われる。一方、マクロブロック情報生成回路１５は、符号化情報分離回路１２において符号化シンタックスに応じて順序が入れ替えられたマクロブロック付加情報を、符号化情報分離回路１２から受け取る。
【００２８】
マクロブロック情報生成回路１５は、符号化情報分離回路１２から受け取った符号化情報を、符号化装置２００内の動き補償予測回路１６（図６に示す動き補償予測回路２０８に対応）及び符号量制御回路１７（図６に示す符号量制御回路２１７に対応）に供給する。動き補償予測回路１６は、符号化情報に存在する動きベクトルと予測モードを用いて、参照画像メモリ１８（図６に示す参照画像メモリ２０９に対応）から予測ブロックを切り出して減算器１９（図６に示す減算器２０４に対応）に供給し、ここで、符号化する入力フレームメモリ１４からの入力画像ブロックとの差分信号を生成して、その差分信号を直交変換回路２０（図６に示す直交変換回路２０５に対応）に送出する。なお、符号化情報分離回路１２において、ピクチャの符号化情報あるいはマクロブロックごとの符号化情報を抜き取ることができなかった場合には、符号化情報分離回路１２からマクロブロック情報生成回路１５に非検出信号が送られ、符号化装置２００内において、通常の符号化処理と同様の動きベクトル検出及び予測モード選択処理が行われる。
【００２９】
また、符号量制御回路１７は、符号化時におけるマクロブロックごとの量子化スケールと、この処理に要したビット数とが符号化情報として供給され、これらの供給された情報と、現在制御ターゲットとなっている符号化ビットレートでの設定符号量との比較処理を行う。これにより、符号量制御回路１７において、適切な量子化スケールが決定されて、符号化処理が行われる。なお、上述の説明では、符号化情報メモリ８、１１を別々に設けているが、復号装置１００と符号化装置２００とが一体となっているトランスコーダなどにおいては、これらの符号化情報メモリ８、１１を１つにまとめることが可能である。
【００３０】
また、上述のトランスコーダにおける処理とは異なり、符号化情報の抽出は行わず、入力画像ストリームのピクチャタイプを再符号化の際のピクチャタイプとして常に継承できるようにすることによって、ＭＰＥＧ符号化における復号回路や符号化回路の並べ替え処理の削減を図る方法も存在する。この方法は、例えば、下記の特許文献１に開示されている。
【００３１】
また、ＭＰＥＧ２規格のような所定フレームごとの符号量の変動を許容する画像符号化技術において、出力される画像ビットストリームが目標符号量となるように制御する方法として、一般的に、例えば下記のような手法が採用されている。
【００３２】
例えば、一定時間の目標符号量に対し、各ピクチャタイプの符号化画像が持つ情報量に応じて、フレームごとの目標符号量が割り当てられていくようにする。具体的には、以前に符号化された各ピクチャタイプの要した符号量をBits、各ピクチャタイプの量子化スケール値の平均値をAvgQとした場合に、各ピクチャタイプの持つ複雑度の近似値Cを、上記の符号量と量子化スケール値の平均値との積によって算定することが可能である。
C(T) = Bits(T)*AvgQ(T)
（T：ピクチャタイプ）
【００３３】
このとき、上記の各ピクチャタイプの複雑度の近似値Cを用いて、符号化制御で想定される一定時間（例えば、Ｆフレーム）内に与えられる目標符号量TotalBitsに対して、各ピクチャタイプが用いられるフレーム数をFnumとした場合、符号化されるピクチャタイプがそれぞれＩ、Ｐ、Ｂピクチャの場合におけるフレームの目標符号量Budget(I) 、Budget(P)、 Budget(B)は、
Budget(I) = {TotalBits*C(I)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
Budget(P) = {TotalBits*C(P)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
Budget(B) = {TotalBits*C(B)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
と算出される。
【００３４】
このようにして算出された目標符号量Budgetに対して、ピクチャ内の各マクロブロックの量子化スケールを決定し、量子化・符号化に係る符号量を制御する方法としては、一般的に、フィードバック制御が行われる。以下、このフィードバック制御の一例について説明する。
【００３５】
フィードバック制御では、量子化スケールを決定するための量子化制御バッファ（ＱＢバッファ）が設けられ、ＱＢバッファの位置によって量子化スケールが決定される。なお、ＱＢバッファの初期値としては、直前に同一ピクチャタイプによって符号化された際の最終量子化スケールを示すバッファポイントQB_Pointが設定される。また、マクロブロックごとに予定される目標符号量MB_Budgetに関しては、ピクチャ内の各マクロブロックに対して、均一に割り当てられているとする。
【００３６】
ここで、マクロブロックの符号化で生成されたビット数を使用符号量MB_Used[N]とした場合、次のマクロブロックの量子化スケールを示すバッファポイントQB_Point[N+1]は、例えば、目標符号量MB_Budget[N]と使用符号量MB_Used[N]との差分値によって、バッファポイントQB_Point[N]を補正した値とすることが可能である。
QB_Point[N+1] = QB_Point[N]+MB_Used[N]-MB_Budget[N]
ただし、Ｎはマクロブロック位置を表す。
【００３７】
この場合、目標符号量MB_Budget[N]に対して使用符号量MB_Used[N]が多くなると、次のマクロブロック位置のバッファポイントQB_Point[N+1]が上昇して量子化スケールが上がり、逆に、使用符号量MB_Used[N]が少なくなるとQB_Point[N+1]が下降して量子化スケールが下がることになる。すなわち、使用符号量MB_Used[N]の増減に従って、次のマクロブロック位置のバッファポイントQB_Point[N+1]が増減して、量子化スケールが決定され、その結果、一定の符号量に近づけるような制御が行われることとなる。
【００３８】
また、デジタル放送などで画像ストリームをリアルタイムに送出する場合に、異なる解像度やフォーマットの番組などを切り替えるために、複数のエンコーダからの出力切り替えを行う場合がある。このような場合には、デコーダからの再生画像をいったん停止させないようにするために、複数のエンコーダの仮想バッファ位置を、番組切り替えのタイミングで同じ位置に制御する必要がある。所定のタイミングで仮想バッファ位置を合わせるためには、あるフレームの符号化に対して、固定の符号量でストリームを生成させる必要がある。また、画像ストリームを編集する場合にも、所定のフレームまでの総符号ビット量を完全に一致させることによって、容易に画像ストリームの挿入を行うことを可能とするために、固定の符号量で符号化させることが必要となる。なお、制御すべき所定の符号量以下に、符号量を抑えた場合には、スタッフィングビットとよばれる無効情報を詰め込むことによって、固定の符号量に合わせ込むことも可能であるが、この場合には、情報を無駄に使ってしまうことになり、符号化された画像ストリームの画質が劣化することになる。
【００３９】
また、上記の条件ではない場合に関しても、シーンが変化した場合に入力画像の特性が変化した場合や、ピクチャ内での符号量制御が乱れた場合などには、画面内の全体又は一部が、高い量子化スケールで符号化されてしまい、その結果、視覚的な劣化が生じることがある。
【００４０】
また、ある一定時間の画像データに対して、全体の符号化ストリームが一定の符号量となるように制御したり、シーンが変化した場合の特性変化に対応して、良好な符号化処理を実現したりするための方法としては、例えば、下記の特許文献２に開示されている技術が知られている。この特許文献２には、画像信号の仮符号化を行って仮符号量を求め、この仮符号量の総和が所定値になるように目標転送レートを設定することによって、画像信号全体の符号量制御を向上させる方法が開示されている。また、いったん復号した後に再符号化を行う画像ストリームのトランスコード（画像ストリーム変換）を行う場合には、再符号化時に、入力された画像ストリームの解析を行うことによって符号量制御の安定化を図ることも可能である。
【特許文献１】特開２０００−９２４９７号公報（段落００１９〜００２５、図１）
【特許文献２】特開平６−１４１２９８号公報（段落００１５〜００１８、図１）
【発明の開示】
【発明が解決しようとする課題】
【００４１】
しかしながら、リアルタイムで符号化処理を行う場合や、画像ストリーム変換処理を行う場合には、あるタイミングに対して符号量を一定値に制御させるための高精度の符号化制御方式が要求される。また、さらに、精度良く符号化できなかった場合には、そのリカバリを可能とする符号化制御方式が実現される必要もある。
【００４２】
上述の特許文献２に開示されている技術は、あるタイミングでリアルタイムに、所定の符号量に制御を行うことは不可能であり、あるタイミングに対して符号量を一定値に制御させることが必要な条件下では、有用な技術として利用することはできない。
【００４３】
また、画像ストリーム変換を行う際に、再符号化時に、入力された画像ストリームの解析を行うことによって符号量制御の安定化を図る方法では、入力された画像ストリームに対して、再符号化時の符号化ビットレートや解像度などの条件が大きく異なる場合には、瞬間的に符号量制御が乱れ、その結果、視覚的な画質劣化が生じる可能性がある。
【００４４】
上記の問題に鑑み、本発明は、画像符号化処理において、安定した符号量制御を実現することを可能とし、制御すべき所定の符号量との誤差が小さく、画質の良好な符号化画像を生成することを可能とする画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００４５】
上記の目的を達成するため、本発明によれば、画像信号における符号化対象となる複数フレームのうちの所定数のフレームを格納するフレームバッファと、
前記フレームバッファに格納された前記フレームの符号化処理を行うとともに、再符号化処理に係る所定の指示情報を受けた場合には、いったん符号化処理を行った前記フレームの再符号化処理を行う符号化処理手段と、
前記符号化処理手段による符号化後の前記フレームを格納するストリームバッファと、
前記符号化処理手段から前記ストリームバッファに対して出力する出力フレーム数の制御を行うとともに、前記符号化処理手段による符号化処理に係る誤差の測定を行い、さらには、前記再符号化処理に係る所定の指示情報に基づいて、前記符号化処理手段において行われる前記再符号化処理に係る符号化制御パラメータの更新処理を行う符号量制御手段と、
符号化処理の開始、終了、シーン切り替わりポイントのタイミングの指示を行う符号化制御手段と、
前記フレームバッファ内のバッファ充足度、前記符号量制御手段による誤差測定結果、前記符号化制御手段からの前記指示、前記フレームのピクチャタイプのうちの少なくとも１つの情報に基づいて、前記再符号化処理を行うか否かを判断するとともに、前記再符号化処理を行うと判断した場合には、フレーム単位で前記再符号化処理を行うための所定の指示情報を出力して、前記再符号化処理の制御を行う再符号化制御手段とを、
有する画像符号化装置が提供される。
【００４６】
また、上記の目的を達成するため、本発明によれば、画像信号における符号化対象となる複数フレームのうちの所定数のフレームを格納するフレームバッファと、
前記フレームバッファに格納された前記フレームの符号化処理を行うとともに、再符号化処理に係る所定の指示情報を受けた場合には、いったん符号化処理を行った前記フレームの再符号化処理を行う符号化処理手段と、
前記符号化処理手段による符号化後の前記フレームを、前記所定数のフレーム分だけ格納するストリームバッファと、
前記符号化処理手段から前記ストリームバッファに対して出力する出力フレーム数の制御を行うとともに、前記符号化処理手段による符号化処理に係る誤差の測定を行い、さらには、前記再符号化処理に係る所定の指示情報に基づいて、前記符号化処理手段において行われる前記再符号化処理に係る符号化制御パラメータの更新処理を行う符号量制御手段と、
前記フレームバッファ内のバッファ充足度、前記符号量制御手段による誤差測定結果、前記フレームのピクチャタイプのうちの少なくとも１つの情報に基づいて、前記再符号化処理を行うか否かを判断するとともに、前記再符号化処理を行うと判断した場合には、フレーム単位で前記再符号化処理を行うための所定の指示情報を出力して、前記再符号化処理の制御を行う再符号化制御手段とを、
有する画像符号化装置が提供される。
【発明の効果】
【００４７】
本発明に係る画像符号化装置は、画像符号化処理において、安定した符号量制御を実現することが可能となり、制御すべき所定の符号量との誤差が小さく、画質の良好な符号化画像を生成することが可能となるという効果を有している。
【発明を実施するための最良の形態】
【００４８】
以下、図面を参照しながら、本発明の第１〜第３の実施の形態について説明する。
【００４９】
＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態における画像符号化装置の一例を示すブロック図である。なお、図１に示す画像符号化装置は、上述した従来の技術に係る画像符号化装置（図６参照）と共通する構成要素を有しており、ここでは、これらの共通する構成要素の説明については省略する。また、図１に示す画像符号化装置における予測符号化回路１５０は、従来の技術に係る画像符号化装置（図６参照）と完全に一致した構成要素を有している。
【００５０】
図１に示す本発明に係る画像符号化装置は、図６に示す従来の技術に係る画像符号化装置に加えて、符号化制御回路４０１、再符号化制御回路４０２を有している。また、符号量制御回路４０３は、図６に示す符号量制御回路２１７の機能に加えて、さらに、再符号化制御回路４０２からの再符号化制御情報ReEncに応じた処理を行うための機能を有している。また、入力画像メモリ４０４には、従来の画像符号化装置の入力画像メモリ（例えば、図６の入力画像メモリ２０２）が、符号化シンタックスに従って符号化される順番に並べ替えを行うための遅延分（周期Ｍ＝３の場合には２フレーム分）程度のフレーム蓄積容量を有しているのと比較して、Ｎフレーム分のフレームを更に格納することが可能な追加メモリが設けられている。また、入力画像メモリ４０４と同様に、画像ストリームバッファ４０５も、復号装置のストリームバッファに想定される量に加えて、Ｎフレームの時間に相当する画像ビットストリームを蓄積できる量のバッファサイズを備えており、Ｎフレーム分のフレームを蓄積した後に、復号装置の仮想バッファのシミュレートに合わせた形で、出力端子２１９を介して画像ビットストリームを出力できるように構成されていることが望ましい。
【００５１】
画像符号化装置の入力端子２０１から入力された入力画像信号（デジタル画像信号）は、入力画像メモリ４０４に供給される。入力画像メモリ４０４に格納された画像信号は、予測符号化回路１５０からの要求に従って、入力画像メモリ４０４から２次元ブロック変換回路２０３に出力され、これによって、従来の予測符号化回路１５０における処理と同様に、画像符号化処理が行われるように構成されている。
【００５２】
一方、再符号化制御回路４０２は、予測符号化回路１５０に対して、再符号化制御情報ReEncを出力することによって、予測符号化回路１５０が入力画像信号を更新して新規ピクチャを符号化する処理を行うか、あるいは、現在符号化しているピクチャを再符号化する処理を行うかの制御を行うことが可能なように構成されている。また、さらに、再符号化制御回路４０２から予測符号化回路１５０に対して出力される再符号化制御情報ReEncによって、予測符号化回路１５０において符号化された符号化画像の消去に係る制御も行われるように構成されている。
【００５３】
これにより、再符号化制御回路４０２からの制御によって、予測符号化回路１５０が新規ピクチャを符号化する場合には、直前に符号化されたピクチャがメモリから消去され、一方、予測符号化回路１５０がピクチャの再符号化を行う場合には、再符号化が行われるまでピクチャに係る情報が保持されるようになる。なお、再符号化制御回路４０２から出力される再符号化制御情報ReEncは、予測符号化回路１５０と同様に、符号量制御回路４０３に対しても供給される。
【００５４】
符号量制御回路４０３は、従来の処理と同様に、符号化するビット量の制御を行うとともに、さらに、想定された目標符号量Budgetと、発生した使用符号量BitUsedとの誤差Budget-BitUsedや、１ピクチャの符号化開始時のQB_Point[0]と、各マクロブロックで符号化された際の最大ＱＢバッファポイントQB_Point_maxとの差分値QB_Point_max-QB_Point[0]などの算出を行う。なお、誤差Budget-BitUsedは、目標符号量と、実際に使用された使用符号量とのずれを表すパラメータ、差分値QB_Point_max-QB_Point[0]は、量子化スケールの変動（画質の乱れ）を表すパラメータと言える。
【００５５】
そして、この算出結果から、符号化処理に係る精度を表すとともに再符号化を行うか否かの指標として用いられる制御応答精度情報αが計算され、計算された制御応答精度情報αは、再符号化制御回路４０２に供給される。なお、制御応答精度情報αの計算式の一例は、例えば、以下の通りである。
α=β*abs(Budget-BitUsed)/Budget + γ*(QB_Point_max-QB_Point[0])
ただし、β、γは正の定数
【００５６】
また、再符号化制御回路４０２は、上述の再符号化制御情報ReEncの生成と共に、画像ストリームバッファ４０５の書き込みポインタの制御を行うように構成されている。これにより、例えば、予測符号化回路１５０に対して新規ピクチャの符号化を行うように制御する場合には、同時に、画像ストリームバッファ４０５に対して、予測符号化回路１５０によって更新された書き込みポインタを保持する制御が行われ、一方、予測符号化回路１５０に対して再符号化を行うように制御する場合には、同時に、画像ストリームバッファ４０５に対して、１ピクチャ前の符号化終了時のポインタ値に書き込みポインタを戻す制御が行われる。
【００５７】
上述のように、再符号化制御回路４０２は、再符号化制御情報ReEncの生成・出力を行うことによって、画像信号の再符号化を行う。この再符号化制御回路４０２における再符号化制御情報ReEncの生成は、例えば、入力画像メモリ４０４のバッファ充足度（蓄えられているピクチャ数）、符号量制御回路４０３からの制御応答精度情報α、符号化制御回路４０１からのトリガー情報などの再符号化条件の判定結果に基づいて行われる。
【００５８】
以下、図２を参照しながら、再符号化制御回路４０２において再符号化を行うか否かの判定アルゴリズムについて説明する。図２は、本発明の第１の実施の形態における画像符号化装置の再符号化制御回路の判定アルゴリズムを示すフローチャートである。再符号化制御回路４０２は、まず、入力画像メモリ４０４のバッファ充足度の確認を行う（ステップＳ１）。入力画像メモリ４０４の空きバッファ量（ピクチャ数）Ｃ＝０の場合（ステップＳ１で『はい』）には、再符号化制御回路４０２は、再符号化制御情報ReEnc＝オフ（ＯＦＦ）を出力し（ステップＳ６）、再符号化処理を行わないように制御する。
【００５９】
一方、入力画像メモリ４０４の空きバッファ量Ｃ＞０の場合（ステップＳ１で『いいえ』）には、符号化制御回路４０１からのトリガー情報の確認を行う（ステップＳ２）。符号化制御回路４０１は、符号化処理の開始、終了（例えば、最終ピクチャ）、シーンの変化点（シーン切り替わりポイント）や、一定時間単位で総ビット数を固定にしたい場合の最終ピクチャを示すＧＯＰ（Group of Pictures）などを設定することが可能である。符号化制御回路４０１は、例えば、このような符号化処理の開始ピクチャや最終ピクチャを指定するタイミング情報を、再符号化を要求する情報をトリガー情報として再符号化制御回路４０２に出力する。
【００６０】
再符号化制御回路４０２は、符号化制御回路４０１から、再符号化を要求するトリガー情報を受けた場合（ステップＳ２で『はい』）には、符号量制御回路４０３から供給される制御応答精度情報αと、所定の閾値ThreshAとの比較を行う（ステップＳ４）。この比較結果がα＞ThreshAの場合（ステップＳ４で『はい』）には、再符号化制御回路４０２は、再符号化制御情報ReEnc＝オン（ＯＮ）を出力する（ステップＳ５）。一方、α≦ThreshAの場合（ステップＳ４で『いいえ』）には、再符号化制御情報ReEnc＝オフを出力する（ステップＳ６）。
【００６１】
また、符号化制御回路４０１からトリガー情報を受けなかった場合（ステップＳ２で『いいえ』）には、通常の画像符号化処理における応答精度の劣化に対する補償を行うために、再符号化制御情報αが閾値ThreshB[T][C]（＞ThreshA）と比較される（ステップＳ３）。なお、閾値ThreshB[T][C]は、符号化されたピクチャのピクチャタイプＴと、入力画像メモリ４０４の空きバッファ量Ｃとに応じて異なる値となる。例えば、基準となるフレームの符号化精度に対する再符号化処理を優先するために、Ｉピクチャ＜Ｐピクチャ＜ＢピクチャとなるようにThreshB[T][C]を低く設定し、また、入力画像メモリ４０４の空きバッファ量Ｃが大きくなるほど、再符号化処理に対する余裕度が増すために閾値を低く設定することが望ましい。この結果、基準となるフレームや入力画像メモリ４０４に余裕がある状態のときに、再符号化が行われやすくなる。
【００６２】
ステップＳ３における比較結果がα＞ThreshB[T][C]の場合（ステップＳ３で『はい』）には、再符号化制御回路４０２は、再符号化制御情報ReEnc＝オンを出力し（ステップＳ５）、一方、α≦ThreshB[T][C]の場合（ステップＳ３で『いいえ』）には、再符号化制御情報ReEnc＝オフを出力する（ステップＳ６）。
【００６３】
次に、上述のように決定され、再符号化制御回路４０２から出力された再符号化制御情報ReEncの値（オン／オフ）を受けた場合の符号量制御回路４０３の動作について説明する。符号量制御回路４０３では、再符号化制御情報ReEncがオンの場合に、再符号化を行うための符号化制御パラメータの更新処理が行われる。以下、符号量制御回路４０３における符号化制御パラメータの更新処理の一例について説明する。
【００６４】
符号量制御回路４０３は、再符号化制御回路４０２から再符号化制御情報ReEnc＝オンを受けた場合、まず、最後に符号化されたピクチャの複雑度Ｃの計算を行う。具体的には、最後に符号化されたピクチャの量子化スケールの平均値をAvgQ、このピクチャに要した符号量をBitsとした場合に、このピクチャの複雑度Ｃは、C＝Bits*AvgQによって計算される。また、符号量制御回路４０３は、１つ前の同一ピクチャタイプの複雑度Ｃ-1を保持できるように構成されており、最後に符号化されたピクチャの複雑度Ｃと、１つ前の同一ピクチャタイプの複雑度Ｃ-1との差分値ΔＣ＝abs|C-C-1|を計算して、ΔＣと所定の閾値ThreshCとの比較を行う。
【００６５】
ΔＣ＜ThreshCの場合には、１つ前の同一ピクチャタイプとの比較において、複雑度が大きく変化していないと判断されて、以前に設定された目標符号量Budgetがそのまま再符号化の際の目標符号量（再符号化目標符号量NewBudget）に設定される。一方、Ｃ≧ThreshCの場合には、例えば、下記の式を用いて、再符号化目標符号量NewBudgetの算出が新たに行われる。
NewBudget= {TotalBits*C} / {Fnum(I)*C(I)+Fnum(P)*C(P)+Fnum(B)*C(B)}
ただしＴは、ピクチャタイプ
【００６６】
このようにして、符号量制御回路４０３において設定された再符号化目標符号量NewBudgetは、予測符号化回路１５０に供給され、この再符号化目標符号量NewBudgetに基づく再符号化の符号量制御が行われる。また、再符号化処理を行う場合のＱＢバッファの初期ポイントも同様にして更新される。なお、ＱＢバッファの初期ポイントは、想定される初期量子化スケール値Qiniをバッファポイント変換テーブルQBTable[Qini]で変換することで求められる。Qiniの算出方法は、例えば、以下のようになる。
Qini=Bits*AvgQ/NewBudget
【００６７】
以上、説明したように、上述した本発明の第１の実施の形態では、画像信号の符号化を行う際に、入力画像メモリの空きバッファ量に余裕を持たせて、その余裕分（フレーム数）と、符号化処理の制御精度とに基づいて、フレーム単位で再エンコード処理（２パス処理）を行うか否かを判断し、その判断結果に基づく符号化処理／再符号化処理を行うように構成されている。すなわち、入力画像メモリの空きバッファ量に余裕がある場合には、例えば、符号化処理の開始、終了、シーン切り替わりポイントなどが指定された場合、符号量制御の制御安定度（目標符号量と使用符号量とのずれが大きくなった場合や、量子化スケールが大きくなった場合）などの様々な条件に応じて、こうした条件に当てはまるピクチャの再符号化を行うか否かが決定されるとともに、再符号化を行う際に、一度符号化した際の符号化情報に基づいて符号化制御パラメータの更新（目標符号量や量子化スケールの再設定）が行われるように構成されている。これにより、画像符号化処理において、安定した符号量制御を実現することが可能となり、制御すべき所定の符号量との誤差が小さく、画質の良好な符号化画像を生成することが可能となる。
【００６８】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。図３は、本発明の第２の実施の形態における画像符号化装置の一例を示すブロック図である。この図３に示す画像符号化装置は、図１に示す画像符号化装置において、入力画像信号の供給元や出力画像ビットストリームの出力先として、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）５００が設けられている点に特徴を有している。なお、図３では、入力画像信号の供給元及び出力画像ビットストリームの出力先が、同一のＨＤＤ５００となっているが、それぞれ異なるＨＤＤ５００とすることも可能である。また、ＨＤＤ５００の代わりに、デジタル画像データの格納及び書き込みが可能なその他のデータ格納／書き込み手段を用いることも可能である。
【００６９】
ＨＤＤ５００は、デジタル画像データの格納や書き込みが可能なデータ格納／書き込み手段の一例であり、画像符号化装置は、このＨＤＤ５００に格納されているデジタル画像データを非リアルタイムで読み込むことが可能であるとともに、最終的に画像ストリームバッファ４０５から出力する出力画像ビットストリームを、ＨＤＤ５００に書き込むことが可能なように構成されている。
【００７０】
なお、図１に示す画像符号化装置は、入力・出力が等速処理、内部符号化処理が１倍速より高速な処理を実現するシステム構成であるのに対して、図３に示す画像符号化装置は、入力・出力・内部符号化処理共に、１倍速より高速な処理を実現するシステム構成である。なお、この第２の実施の形態では、入力フレームの速度はＨＤＤ５００からの読み込みパフォーマンスに依存する。
【００７１】
次に、図３に示す画像符号化装置の概要について説明する。入力画像メモリ４０４は、上述の第１の実施の形態と同様に、Ｎフレームの追加メモリが用意される。ＨＤＤ５００から読み込まれた入力画像信号が、入力画像メモリ４０４にＮ−１フレーム分だけ格納された時点で符号化処理が開始されることが望ましい。この符号化処理の開始の際に、入力画像メモリ４０４から再符号化制御回路４０２に対して、フレームメモリの充足度が供給される。なお、再符号化制御回路４０２におけるフレームメモリ充足度の判断方法は、上述の第１の実施の形態と同様であるが、符号化処理の開始時に、上述の第１の実施の形態ではＣ＝Ｎとなるのに対して、この第２の実施の形態ではＣ＝１となる。
【００７２】
図３に示す画像符号化装置では、ＨＤＤ５００からの入力画像信号の読み込み速度（入力画像信号の入力周期）と符号化処理に係る速度とを、それぞれ独立して設定することが可能である。したがって、例えば、符号化処理に係る速度が、ＨＤＤ５００からの入力画像信号の読み込み速度よりも大きくなるように制御することによって、符号化処理を先行させることが可能となり、先行して符号化処理を行った余剰時間を再符号化処理に割り当てることが可能となる。その結果、符号化処理において発生する余剰時間において、再符号化処理を行うことが可能となり、符号化処理の開始時に、不要な再符号化処理が行われることを回避することが可能となる。
【００７３】
また、ＨＤＤ５００からの入力画像信号の読み込みが符号化処理と比較して遅い場合（これは、例えば、ＨＤＤ５００と画像符号化装置との間のデータ転送速度に依存する）には、入力画像メモリ４０４にフレームを蓄積した状態で符号化処理を開始することによって、符号化処理の開始時に、不要な再符号化処理が行われることを回避することが可能となる。なお、この第２の実施の形態では、出力画像ビットストリームの出力も非リアルタイムであるため、画像ストリームバッファ４０５は、ＨＤＤ５００への出力速度に応じた大きさのバッファを用意すればよく、ＨＤＤ５００への書き込み速度に応じて、必要な場合（例えば、ＨＤＤ５００への書き込み速度が符号化処理と比較して遅い場合）には、符号化処理を一時停止する制御が行われる。したがって、この第２の実施の形態では、上述の第１の実施の形態のように、画像ストリームバッファ４０５に、Ｎフレーム分の追加ストリームバッファを設ける必要はない。
【００７４】
以上、説明したように、上述した本発明の第２の実施の形態では、入力画像信号の入力周期と独立して符号化処理を制御できるように構成されており、その結果、先行して符号化処理を行った場合に発生する余剰時間を再符号化処理に割り当てることが可能となる。これにより、入力画像信号の速度に合わせた符号化処理を実現できるとともに、効率的に再符号化処理を行うことが可能となる。
【００７５】
また、さらに、再符号量制御回路４０２が、例えば、符号量制御の制御安定度や外部から指令されるトリガー情報による精度が要求されるピクチャ指定などに従って、再符号化処理を行うか否かの判断を行うことにより、再符号化処理が可能なピクチャの総数があまり多く割り当てられない場合にも、必要な部分（必要なピクチャ）に効果的に再符号化処理を割り当てることが可能となり、瞬間的に十分な情報量を与えられなくなることによる画質の劣化を防ぎ、良好な符号化処理を実現することが可能となる。
【００７６】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。図４は、本発明の第３の実施の形態における画像ストリーム変換装置の一例を示すブロック図である。なお、図４に示す画像ストリーム変換装置は、上述した従来の技術に係る画像ストリーム変換装置（図８参照）と共通する構成要素を有しており、ここでは、これらの共通する構成要素の説明については省略する。
【００７７】
図４に示す画像ストリーム変換装置は、基本的には、図７に図示されている復号装置（復号装置１００）と、図１に図示されている画像符号化装置（符号化装置２００）とをつなげた構成である。すなわち、図４に示す画像ストリーム変換装置は、復号処理によって生成された出力フレーム及び符号化情報に基づくトランスコードに係る再符号化処理を行う際に、入力画像メモリの空きバッファ量に余裕を持たせて、その余裕分（フレーム数）と、符号化処理の制御精度とに基づいて、フレーム単位で再エンコード処理（２パス処理）を行うか否かを判断することが可能なように、符号化制御回路３１（図１に示す符号化制御回路４０１に対応）及び再符号化制御回路３２（図１に示す再符号化制御回路４０２に対応）が設けられている。
【００７８】
上記の構成によって、図４に示す画像ストリーム変換装置は、画像ストリームのトランスコードを行う際に、画像ストリーム変換の過程で生成される画像信号の符号化装置２００への入力周期とは独立して、再符号化処理を制御できるように構成されており、その結果、トランスコードに係る再符号化処理を先行して行った場合に発生する余剰時間を、符号量制御の安定化やストリーム変換精度の向上を目的とする再符号化処理に割り当てることが可能となる。
【００７９】
また、上述の第１〜第３の実施の形態では、本発明に係る画像ストリーム変換装置の構成要素の一例として、回路や模式的なブロックなどのハードウェア要素を図示しながら説明しているが、従来の画像ストリーム変換装置と同様に、コンピュータが実行可能なソフトウェア（プログラム）によって、これらのハードウェア要素を実現することも可能である。また、上述の第１〜第３の実施の形態では、１フレーム単位での再符号化処理を挙げているが、バッファ量Ｃが十分大きな場合には、２フレーム以上の単位での再符号化処理も同様の判断によって実現可能である。
【産業上の利用可能性】
【００８０】
本発明に係る画像符号化装置は、画像符号化処理において、安定した符号量制御を実現することを可能とし、制御すべき所定の符号量との誤差が小さく、画質の良好な符号化画像を生成することを可能とするという効果を有しており、ＭＰＥＧ２などの動画像の画像符号化技術に適用可能である。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施の形態における画像符号化装置の一例を示すブロック図である。
【図２】本発明の第１の実施の形態における画像符号化装置の再符号化制御回路の判定アルゴリズムを示すフローチャートである。
【図３】本発明の第２の実施の形態における画像符号化装置の一例を示すブロック図である。
【図４】本発明の第３の実施の形態における画像ストリーム変換装置の一例を示すブロック図である。
【図５】従来の技術に係るＭＰＥＧ２画像符号化における処理及び出力時の画像の並びを模式的に示す図であり、（Ａ）は、ＭＰＥＧ２画像符号化で用いられている符号化体系を示す図、（Ｂ）は、ＭＰＥＧ２画像符号化時の符号化順序の並べ替えを示す図、（Ｃ）は、ＭＰＥＧ２画像復号時のストリーム到達順序及び復号画像出力順序を示す図である。
【図６】従来の技術に係る一般的な画像符号化装置の一例を示すブロック図である。
【図７】従来の技術に係る一般的な復号装置の一例を示すブロック図である。
【図８】従来の技術に係る一般的なストリーム変換記録装置の一例を示すブロック図である。
【符号の説明】
【００８２】
１、１０２、２１８、４０５  画像ストリームバッファ
２、１０３  可変長復号回路
３、１１０  出力フレームメモリ
４  ヘッダ抽出回路
５  シンタックス評価回路
６  シンタックス再構成回路
７  符号化情報生成回路
８、１１  符号化情報メモリ
９  符号化情報変換回路
１０  符号化情報重畳回路
１２  符号化情報分離回路
１３  符号化シンタックス制御回路
１５  マクロブロック情報生成回路
１６、１０６、２０８  動き補償予測回路
１７、２１７、４０３  符号量制御回路
１８、１０９、２０９  参照画像メモリ
１９、２０４  減算器
２０、２０５  直交変換回路
３１、４０１  符号化制御回路
３２、４０２  再符号化制御回路
１００  復号装置
１０１、２０１  入力端子
１０４、２１５  符号化テーブル
１０５、２１２  逆量子化回路
１０７、２１０  加算器
１０８、２１１  デブロック回路
１１１、２１３  逆直交変換回路
１１２、２１９  出力端子
１５０  予測符号化回路
２００  符号化装置
２０２、４０４  入力画像メモリ
２０３  ２次元ブロック変換回路
２０６  量子化回路
２０７  動きベクトル検出回路
２１４  符号化回路
２１６  マルチプレクサ
５００  ＨＤＤ（ハードディスクドライブ）
【図１】
2006108785.tif 000003
【図２】
2006108785.tif 000004
【図３】
2006108785.tif 000005
【図４】
2006108785.tif 000006
【図５】
2006108785.tif 000007
【図６】
2006108785.tif 000008
【図７】
2006108785.tif 000009
【図８】
2006108785.tif 000010