(57)【要約】【課題】  映像が滑らかに変化するようなシーン（例えば、フェードシーン）において、画質劣化を抑制した良好な画像符号化制御を実現することが可能な画像符号化装置を提供する。【解決手段】  アクティビティ算出回路３０１が、入力された画像信号の各フレームの周波数成分（例えば、アクティビティ（フレーム内複雑度））や、各フレームのＤＣ成分を算出し、その算出結果（フレーム内情報量）をアクティビティ保持メモリ３０２に蓄積する。シーン検出回路３０３は、アクティビティ保持メモリに蓄積されたフレーム内情報量を読み出して、フレーム内情報量の時間的推移を検証し、フェードシーンに係るフレームを検出する。そして、アクティビティ予測回路３０４において、フェードシーンに係るフレームの後続フレームのフレーム内情報量が予測され、その予測結果に基づいて、符号量制御回路３０５において、後続フレームに必要な目標符号量が推定される。【選択図】  図１
2006086861.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の符号化を行う画像符号化装置であって、
前記符号化の対象となる前記画像信号の時間的に連続する複数フレームのそれぞれに関する周波数成分及びＤＣ成分の少なくとも１つを算出して、この算出結果をフレーム内情報量として出力するフレーム内情報量算出手段と、
前記フレーム内情報量算出手段から出力された前記複数フレームのそれぞれに関する前記フレーム内情報量を保持するフレーム内情報量保持手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内情報量に基づいて、前記複数フレームの後続のフレームに関する前記フレーム内情報量を予測するフレーム内情報量予測手段と、
前記フレーム内情報量予測手段で予測された前記後続のフレームに関する前記フレーム内情報量に基づいて、前記後続のフレームにおいて必要となる発生符号量を推定するとともに、前記画像信号の符号化後の画像ビットレートが所定値となるように、推定された前記後続のフレームの前記発生符号量に基づいて、前記複数フレームのそれぞれに関する前記発生符号量の制御を行う符号量制御手段とを、
有する画像符号化装置。
【請求項２】
画像信号の符号化を行う画像符号化装置であって、
前記符号化の対象となる前記画像信号の時間的に連続する複数フレームのそれぞれに関するフレーム内複雑度及びＤＣ成分を算出するフレーム内情報量算出手段と、
前記フレーム内情報量算出手段で算出された前記複数フレームのそれぞれに関する前記フレーム内複雑度及び前記ＤＣ成分を保持するフレーム内情報量保持手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内複雑度及び前記ＤＣ成分に基づき、前記複数フレームの前記フレーム内複雑度及び前記ＤＣ成分の時間的変化を検証することによって、前記複数のフレームによって表示されるシーンがフェード状態か否かを判定するシーン検出手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内複雑度と、前記シーン検出手段による前記フェード状態か否かの判定結果に基づいて、前記複数フレームの後続のフレームに関する前記フレーム内複雑度を予測するフレーム内情報量予測手段と、
前記フレーム内情報量予測手段で予測された前記後続のフレームに関する前記フレーム内複雑度に基づいて、前記後続のフレームにおいて必要となる発生符号量を推定するとともに、前記画像信号の符号化後の画像ビットレートが所定値となるように制御するために、推定された前記後続のフレームの前記発生符号量に基づいて、前記複数フレームのそれぞれに関する前記発生符号量の制御を行う符号量制御手段とを、
有する画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ２（Moving Picture Experts Group Phase 2）などの動画像の画像符号化を実施するための画像符号化装置に関し、特に、画像符号化の際に、視覚的な劣化を抑制することが可能な画像符号化装置に関する。
【背景技術】
【０００２】
近年、デジタル化された画像信号に対して高能率符号化による圧縮された情報を用いて、衛星波、地上波、電話回線などの様々な伝送路を通じて、情報を配信するサービスが実用化されている。このようなサービスでは、動画像・音声などの情報を配信する際、動画像・音声の高能率符号化方式として、国際規格であるＭＰＥＧ２が用いられている。ＭＰＥＧ２は、画像信号の隣接画素間（空間方向）の相関や、隣接フレーム間又は隣接フィールド間（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。
【０００３】
ＭＰＥＧ２規格における画像符号化は、下記のようなアルゴリズムで処理される。まず、時間的に連続する画像フレームを、基準フレームと予測フレームに振り分ける。基準フレームは、空間方向の相関のみを用いて符号化することで、そのフレームの符号化データのみで、元の画像を復元することができる。一方、予測フレームは、基準となるフレームからの時間方向の相関と空間方向の相関とを用いて符号化することにより、基準フレームに比べて高い符号化効率を実現することができる。なお、予測フレームの符号化データは、復元された基準フレームと、予測フレームの符号化データとによって復元される。
【０００４】
次に、具体的なＭＰＥＧ２画像符号化で用いられる符号化体系について、図４を用いて説明する。なお、図４では、必要に応じて、識別可能となるように各ピクチャタイプに番号を付している。図４（Ａ）中に『Ｉ』と示されている基準フレームであるＩピクチャ（Ｉフレーム）は、定期的に存在し、復号処理の基準となる情報である。一方、予測フレームには、図４（Ａ）中に『Ｐ』と示されている、時間的に前（過去）の基準フレームからの予測のみで符号化されるＰピクチャ（Ｐフレーム）と、図４（Ａ）中に『Ｂ』と示されている、時間的に前後（過去と未来）の２つの基準フレームから予測符号化されるＢピクチャ（Ｂフレーム）とが存在する。なお、図４（Ａ）中の矢印は、Ｐピクチャ及びＢピクチャに係る予測方向を示すものである。Ｐピクチャは、自身が予測フレームであるとともに、他のＰピクチャやＢピクチャの基準フレームとしても利用される。
【０００５】
Ｉピクチャの画像信号は、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックと呼ばれる処理単位に分割される。分割されたマクロブロックのデータは、更に８画素×８画素単位の２次元ブロックに分割され、直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）処理が行われる。
【０００６】
ＤＣＴ処理後の信号は、その２次元ブロックの周波数成分に準じた値を示すため、一般的な画像では低域に成分が集中する。また、高周波数成分の情報劣化は低周波数成分の情報劣化よりも視覚的に目立ちにくい性質がある。よって、低域成分を細かく、高域成分を粗く量子化し、その係数成分と成分が無い係数０の連続する長さを可変長符号化することにより、情報量を圧縮している。
【０００７】
Ｐピクチャの画像信号も、Ｉピクチャと同様に、輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロックの単位に分割される。Ｐピクチャでは、マクロブロックごとに基準フレームとの間の動きベクトルが計算される。動きベクトルの検出は、一般的にブロックマッチングにより求められる。このブロックマッチングでは、マクロブロックの各画素と、動きベクトル値だけマクロブロックの存在する水平・垂直の位置を動かした場所の基準フレームを水平１６画素×垂直１６画素にブロック化した各画素との差分絶対値総和（あるいは差分２乗総和）が求められ、その最小値を取る動きベクトルの値が、検出された動きベクトルとして出力される。
【０００８】
マクロブロックの各画素は、動きベクトルにより切り出された２次元ブロックの各画素との差分が取られる。正確な動きベクトルが検出された場合には、差分ブロックの情報量は元のマクロブロックの持っている情報量よりも大幅に少なくなるため、Ｉピクチャよりも粗い量子化処理が可能となる。実際には、差分ブロックを符号化するか、あるいは非差分ブロック（イントラ（Intra）ブロック）を符号化するかが選択され（予測モード判定）、選択されたブロックに対してＩピクチャと同様のＤＣＴ・可変長符号化処理が施されて情報量が圧縮される。
【０００９】
また、Ｂピクチャに関しても、Ｐピクチャと同様の処理が行われるが、基準フレームであるＩ、Ｐピクチャが時間的に前後に存在しており、各基準フレームとの間で動きベクトルの検出が行われる。Ｂピクチャでは予測の選択肢が、前基準フレームからの予測（フォワード（Forward）予測）・後基準フレームからの予測（バックワード（Backward）予測）・２つの予測ブロックの画素ごとの平均値（アベレージ（Average）予測）の３種類存在し、イントラブロックのみで復号を行う方式を合わせた４種類の方式の中から予測モード判定が行われる。
【００１０】
Ｂピクチャは、時間的に前後の基準フレームから予測が可能となるため、Ｐピクチャよりも更に予測効率が向上する。したがって、一般的に、Ｂピクチャは、Ｐピクチャよりも更に粗く量子化される。なお、Ｂピクチャとして選択されたブロックは、Ｉ、Ｐピクチャと同様の符号化処理が行われる。
【００１１】
Ｂピクチャの復号処理では、時間的に後の基準フレームからの予測処理も行われるため、この基準フレームは、Ｂピクチャに先行して符号化される必要がある。このため、符号化処理の際に、記録入力された画像信号は、図４（Ｂ）に示されるように、Ｂピクチャの基準フレームであるＩピクチャ又はＰピクチャの後にＢピクチャが配置されるように、順序の並べ替えが行われて符号化される。すなわち、符号化処理時には、復号処理時の符号化順序に鑑みて、原画像の入力オーダの順序の並べ替えが行われる。一方、復号処理では、図４（Ｃ）に示すように、図４（Ｂ）の順序に対して逆の並べ替えを行って出力することにより、入力された画像信号の順序で復号画像が再生可能となる。
【００１２】
次に、ＭＰＥＧ２画像符号化を実現するための一般的な符号化装置と復号装置について説明する。まず、従来の技術において一般的な符号化装置について説明する。図５は、従来の技術に係る一般的な画像符号化装置の一例を示すブロック図である。図５において、入力端子２０１から入力されたデジタル画像信号（入力画像信号）は、入力画像メモリ２０２に供給されて記憶され、符号化シンタックスに従って符号化される順番に並べ替えを行うために遅延される。そして、入力画像メモリ２０２から出力されたデジタル画像信号は、２次元ブロック変換回路２０３において、マクロブロックの切り出し処理が行われる。
【００１３】
基準フレームに関するマクロブロックデータは、減算器２０４を介して直交変換回路２０５に供給され、ここで、水平８画素×垂直８画素単位でＤＣＴ処理が行われて、ＤＣＴ係数が算出される。ＤＣＴ係数は、さらに輝度信号に基づいて水平１６画素×垂直１６画素のマクロブロック単位にまとめられて、量子化回路２０６に送られる。量子化回路２０６においては、例えば、周波数成分ごとに異なる値を持つ量子化マトリクスによって、ＤＣＴ係数ごとに異なる値で除算することにより、量子化処理が行われる。量子化処理されたＤＣＴ係数は符号化回路２１４に送られ、符号化回路２１４において、符号化テーブル２１５の係数に対応したアドレスを参照することにより、可変長又は固定長の符号化が行われる。そして、マルチプレクサ２１６において、上記の符号化回路２１４における処理後の符号化データと、２次元ブロック変換回路２０３からの画面内でのマクロブロックの場所などを示す付加情報とが多重化され、画像ストリームバッファ２１８にいったん格納された後、ビットストリーム（出力画像ビットストリーム）として出力端子２１９から出力される。
【００１４】
また、量子化回路２０６において量子化されたＤＣＴ係数は、逆量子化回路２１２及び逆直交変換回路２１３において逆量子化処理及び逆ＤＣＴ処理が行われて、量子化されたＤＣＴ係数が復号され、加算器２１０及びデブロック回路２１１を介して参照画像メモリ２０９に供給されて格納される。この参照画像メモリ２０９に格納された画像は、予測フレームの符号化処理時に利用される。
【００１５】
一方、予測フレームに関しては、入力画像メモリ２０２から切り出されたマクロブロックデータと参照画像メモリ２０９に格納されている画像との間で、動きベクトル検出回路２０７によって画像間における動きベクトルが求められる。動きベクトル検出回路２０７において求められた動きベクトルは、動き補償予測回路２０８に供給され、ここで、参照画像メモリ２０９からの参照画像から予測ブロックの切り出し処理が行われる。動き補償予測回路２０８では、切り出された複数の予測ブロックに従って、最適な予測モードの選択が行われ、符号化すべき入力画像ブロックとの差分信号が、直交変換回路２０５に送出される。この差分信号に関しては、上述の基準フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が量子化処理されて、動きベクトルや予測モードと共に出力画像ビットストリームとしてマルチプレクサ２１６から、画像ストリームバッファ２１８を経て、出力端子２１９より出力される。
【００１６】
なお、符号量の制御に関しては、符号量制御回路２１７において、マルチプレクサ２１６から出力されたビットストリームの符号量と、目標とする符号量（目標符号量）との比較が行われ、目標符号量に近づけるために量子化回路２０６の量子化の細かさ（量子化スケール）の制御が行われる。そして、上述した３種類の情報量の異なるピクチャタイプ（フレームタイプ）に対し、設定された符号化ビットレートに対する各ピクチャタイプの性質及び出現頻度を用いて、各フレームに対する目標符号量が算出される。
【００１７】
また、目標符号量は、仮想的に復号装置シミュレートされたストリームバッファ（ＶＢＶ（Video Buffer Verifier）バッファと呼ばれる）に対して、バッファのオーバーフロー・アンダーフローが起きないように制限される。また、量子化スケールは、スケールと出力符号量とが一般的にほぼ反比例の関係があることを利用して、フレームタイプごとに目標符号量に対する量子化スケール値が計算されて、量子化処理が行われる。そして、ブロックごとに目標符号量に近づく方向に量子化スケールを変動させることによって、目標符号量内に符号化ストリームを抑えるように制御される。
【００１８】
次に、従来の技術において一般的な復号装置について説明する。図６は、従来の技術に係る一般的な復号装置の一例を示すブロック図である。図６において、まず、入力端子１０１から入力された画像ビットストリーム（画像ストリーム）が、画像ストリームバッファ１０２に蓄えられる。なお、画像ビットストリームには仮想的にシミュレートされたバッファ値が書かれており、そのバッファ値分だけ、画像ビットストリームが画像ストリームバッファ１０２に蓄えられてから下記の復号処理が行われるようにすることによって、バッファが破綻して復号処理が止まることを防ぐことが可能となる。画像ストリームバッファ１０２から出力された画像ビットストリームは、可変長復号回路１０３において、量子化スケール、予測モード、動きベクトルなどの付加情報が分離されるとともに、量子化されたＤＣＴ係数の復号が行われる。
【００１９】
復号されたＤＣＴ係数に関しては、符号化回路（図５に示す画像符号化装置）内の逆量子化回路２１２及び逆直交変換回路２１３と同様の処理が行われ、逆量子化回路１０５及び逆直交変換回路１１１において逆量子化処理及び逆ＤＣＴ処理が行われ、イントラブロック又は差分ブロックが復号されて、加算器１０７に供給される。また、予測ブロックの場合には、可変長復号回路１０３で復号された予測モードと動きベクトル値とにより、動き補償予測回路１０６において、参照画像メモリ１０９から読み出された参照画像信号（当該処理の前に、既に格納されたＩピクチャやＰピクチャの画像信号）から予測ブロックの切り出し処理が行われる。これにより、復号されたイントラブロック又は差分ブロックと、動き補償予測回路１０６において切り出された予測ブロックとの加算が加算器１０７にて行われ、マクロブロックの画像信号が復元される。
【００２０】
加算器１０７における加算処理によって復元されたマクロブロックデータ（マクロブロックの画像信号）は、デブロック回路１０８に供給されて、画像スキャン順に画像信号に戻される。このとき、Ｉ又はＰピクチャの場合には、参照画像メモリ１０９に書き込まれ、Ｂピクチャの場合には、出力フレームメモリ１１０にいったん蓄えられた後、画像信号（出力画像信号）として出力される。なお、参照画像メモリ１０９に蓄積されたＩ又はＰピクチャの画像データは、図４（Ａ）〜（Ｃ）に示すような画像出力タイミングに従って、出力フレームメモリ１１０にいったん蓄積された後、Ｂピクチャと同様に画像信号（出力画像信号）として出力される。
【００２１】
また、ＭＰＥＧ２規格のような所定フレームごとの符号量の変動を許容する画像符号化技術において、出力される画像ビットストリームが目標符号量となるように制御する方法として、一般的に、例えば下記のような手法が採用されている。
【００２２】
例えば、一定時間の目標符号量に対し、各ピクチャタイプの符号化画像が持つ情報量に応じて、フレームごとの目標符号量が割り当てられていくようにする。具体的には、以前に符号化された各ピクチャタイプの要した符号量をBits、各ピクチャタイプの量子化スケール値の平均値をAvgQとした場合に、各ピクチャタイプの持つ複雑度の近似値Cを、上記の符号量と量子化スケール値の平均値との積によって算定することが可能である。
C(T) = Bits(T)*AvgQ(T)
（T：ピクチャタイプ）
【００２３】
このとき、上記の各ピクチャタイプの複雑度の近似値Cを用いて、符号化制御で想定される一定時間（例えば、Ｆフレーム）内に与えられる目標符号量TotalBitsに対して、各ピクチャタイプが用いられるフレーム数をFnumとした場合、符号化されるピクチャタイプがそれぞれＩ、Ｐ、Ｂピクチャの場合におけるフレームの目標符号量Budget(I) 、Budget(P)、 Budget(B)は、
Budget(I) = {TotalBits*C(I)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
Budget(P) = {TotalBits*C(P)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
Budget(B) = {TotalBits*C(B)} / {Fnum(I)*C(I) + Fnum(P)*C(P) + Fnum(B)*C(B)}
と算出される。
【００２４】
このようにして算出された目標符号量は、過去の入力画像の符号化難易度から設定される、未来の入力画像に対する目標符号量である。したがって、この目標符号量に従った符号量の制御によれば、難易度の変化が少ないシーンが変化しない場合において、良好な制御を行うことが可能となる。しかしながら、シーンの変化に対しては追従が遅く、例えば、フェードイン、シーンチェンジ、画面の移動による動き、解像度の変化などに対しては、制御が乱れることがあり、その結果、符号化された画像の品質が大幅に劣化してしまうおそれがある。
【００２５】
一方、シーンの変化に対応するために、入力画像の輝度成分の変化を参照することによって、フェードイン／アウトやシーンチェンジの場面の判断を行う制御方法も知られている。この制御方法では、例えば、輝度信号（ＤＣ成分：直流成分）のフレーム内総和のフレーム間の変化率を計測することによってシーンの変化を認識するとともに、その変化率に対応した各フレームの目標符号量の修正が行われる。なお、この制御方法は、例えば、下記の特許文献１に開示されている。
【特許文献１】特開平８−３１７３８７号公報（図１、３、４、段落００１５〜００３６）
【発明の開示】
【発明が解決しようとする課題】
【００２６】
例えば、特許文献１に開示されている技術によれば、入力画像の輝度成分だけが変化していくようなシーン変化（例えば、視覚的に目立つような輝度変化の大きい場面）に対する符号化制御に係る効率を向上させることは可能である。しかしながら、フェードイン／アウトやシーンチェンジ時に輝度成分が変化しないようなケースは数多く存在し、例えば、同じ場面で撮影されている２つのシーンが切り替わる場合や、黒レベルではなくグレイレベルからのフェードイン／アウトなどのシーン変化が起こる場合には、上述の特許文献１に開示されている技術では、シーンの変化を正確に検出することは不可能である。
【００２７】
また、上述の特許文献１に開示されている技術では、シーン変化が検出された場合に、符号化するフレームに対して、逐次、その変動に対応した目標符号量を割り当てることになるため、例えば、複雑な画像がフェードインにより現れてくる場合などには、フェードインの途中で符号量を割り当て過ぎてしまうこととなり、フェードイン終了直後の複雑な画像に対して、充分な符号量を割り当てることができなくなってしまうという弊害が生じるおそれがある。
【００２８】
また、未来の入力画像に対しての符号化の難易度をあらかじめ測定しておき、その結果を基にして符号量の制御を行う手法として、一般的に、２パスエンコードと呼ばれる方式が存在している。しかしながら、この方式によれば、符号化する素材（入力画像）として２度同じ画像を必要とするため、符号化の対象となる入力画像として、いったん他の記録媒体に記録された画像データを利用しなければならないという制約が生じる。
【００２９】
特に、カメラからの信号を入力して符号化する場合や、編集処理を行った画像データを直接符号化する場合、２パスエンコードによる処理を行うことは困難である。したがって、入力画像を直接符号化する場合には、２パスエンコードによる処理を行わずに、シーンの変化に対する予測又は判断を行うことによって符号量の割り当てを変化させ、安定した符号量の制御を行う必要がある。
【００３０】
上記の問題に鑑み、本発明は、映像が滑らかに変化するようなシーン（例えば、フェードシーン）において、画質劣化を抑制した良好な画像符号化制御を実現することが可能な画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記の目的を達成するため、本発明によれば、画像信号の符号化を行う画像符号化装置であって、
前記符号化の対象となる前記画像信号の時間的に連続する複数フレームのそれぞれに関する周波数成分及びＤＣ成分の少なくとも１つを算出して、この算出結果をフレーム内情報量として出力するフレーム内情報量算出手段と、
前記フレーム内情報量算出手段から出力された前記複数フレームのそれぞれに関する前記フレーム内情報量を保持するフレーム内情報量保持手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内情報量に基づいて、前記複数フレームの後続のフレームに関する前記フレーム内情報量を予測するフレーム内情報量予測手段と、
前記フレーム内情報量予測手段で予測された前記後続のフレームに関する前記フレーム内情報量に基づいて、前記後続のフレームにおいて必要となる発生符号量を推定するとともに、前記画像信号の符号化後の画像ビットレートが所定値となるように、推定された前記後続のフレームの前記発生符号量に基づいて、前記複数フレームのそれぞれに関する前記発生符号量の制御を行う符号量制御手段とを、
有する画像符号化装置が提供される。
【００３２】
また、上記の目的を達成するため、本発明によれば、画像信号の符号化を行う画像符号化装置であって、
前記符号化の対象となる前記画像信号の時間的に連続する複数フレームのそれぞれに関するフレーム内複雑度及びＤＣ成分を算出するフレーム内情報量算出手段と、
前記フレーム内情報量算出手段で算出された前記複数フレームのそれぞれに関する前記フレーム内複雑度及び前記ＤＣ成分を保持するフレーム内情報量保持手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内複雑度及び前記ＤＣ成分に基づき、前記複数フレームの前記フレーム内複雑度及び前記ＤＣ成分の時間的変化を検証することによって、前記複数のフレームによって表示されるシーンがフェード状態か否かを判定するシーン検出手段と、
前記フレーム内情報量保持手段に保持された前記複数フレームの前記フレーム内複雑度と、前記シーン検出手段による前記フェード状態か否かの判定結果に基づいて、前記複数フレームの後続のフレームに関する前記フレーム内複雑度を予測するフレーム内情報量予測手段と、
前記フレーム内情報量予測手段で予測された前記後続のフレームに関する前記フレーム内複雑度に基づいて、前記後続のフレームにおいて必要となる発生符号量を推定するとともに、前記画像信号の符号化後の画像ビットレートが所定値となるように制御するために、推定された前記後続のフレームの前記発生符号量に基づいて、前記複数フレームのそれぞれに関する前記発生符号量の制御を行う符号量制御手段とを、
有する画像符号化装置が提供される。
【発明の効果】
【００３３】
本発明に係る画像符号化装置は、入力画像の周波数成分やＤＣ成分などのフレーム内情報量を参照することによって確実に映像が滑らかに変化するようなシーン（例えば、フェードシーン（フェードインやフェードアウトのシーン））の検出を行うとともに、当該フレーム内情報量の時間連続性を利用して、未来のフレームのフレーム内情報量を予測し、その予測結果に基づいて、目標符号量などの符号量制御パラメータの補正を行うように構成されており、例えば、フェードシーンにおいて、画質劣化を抑制した良好な画像符号化制御を実現することが可能となる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しながら、本発明の実施の形態における画像符号化装置について説明する。図１は、本発明の実施の形態における画像符号化装置の一例を示すブロック図である。なお、図１に示す画像符号化装置は、上述した従来の技術に係る画像符号化装置（図５参照）と共通する構成要素を有しており、ここでは、これらの共通する構成要素の説明については省略する。
【００３５】
図１に示す画像符号化装置は、フレーム内情報量（アクティビティ（画面のフレーム内複雑度）などの画面内相関関係を表す周波数成分や、輝度平均値などの各画素に係る情報を表すＤＣ成分）の時間的推移に基づいて、一定時間後の入力フレームの複雑度を推測するためのアルゴリズムを実行することが可能である。すなわち、図１に示す画像符号化装置は、複数のフレームに係るアクティビティの変化を検出することによって、シーンの状態を推測するとともに将来の入力画像を予測し、その予測結果に基づいて、目標符号量の割り当てを行うことによって、例えば、カメラなどのリアルタイムで生成された入力画像に対して、入力画像内の素材の変化に対する追従の遅延や劣化の少ない画像符号化処理を実現し、特にフェードシーンに対して、良好な画像符号量の制御を実現することが可能である。以下、具体的に、図１に示す画像符号化装置の構成及び動作について説明する。
【００３６】
図１に示す本発明に係る画像符号化装置は、図５に示す従来の技術に係る画像符号化装置に加えて、アクティビティ算出回路３０１、アクティビティ保持メモリ３０２、シーン検出回路３０３、アクティビティ予測回路３０４を有している。これらの構成要素は、本発明に関連したアクティビティに係る処理を行うために設けられている。また、符号量制御回路３０５は、図５に示す符号量制御回路２１７の機能に加えて、さらに、上述のアクティビティに係る処理結果に基づいた処理を行うための機能を有している。なお、その他の構成要素に関しては、図５に示す従来の技術に係る符号化装置に設けられた構成要素と同一の機能を有しているので、ここでは説明を省略する。
【００３７】
画像符号化装置の入力端子２０１から入力された入力画像信号（デジタル画像信号）は、入力画像メモリ２０２に供給されるとともに、アクティビティ算出回路３０１にも供給される。このアクティビティ算出回路３０１は、各フレームの画像の複雑度の算出を行うことが可能である。アクティビティ算出回路３０１で算出されるアクティビティとしては、例えば、隣接する画素間の差分（例えば、輝度や色差信号などの任意の画素情報の差分）の大きさから計算される各フレームの画像の水平・垂直方向の高周波数成分の値が利用可能である。
【００３８】
具体的には、以下の式のように、入力画像の上下左右の隣り合う画素の差分絶対値を積算することによってアクティビティを示すパラメータ（アクティビティFAct）の算出が可能である。
FAct=Σ{abs(Pixel[x,y]-Pixel[x+1,y])+abs(Pixel[x,y]−Pixel[x,y+1])}
/(Width*Height*α)
ただし、Σは、xが0からWidth-2、yが0からHeight-2までの積算を表す。また、αは定数、absは絶対値、Widthは画像全体の水平方向の幅、Heightは画像全体の垂直方向の高さ、Pixelは任意の画素情報を表す。
【００３９】
上記のように、アクティビティ算出回路３０１からは、例えば、各画素情報の差分の積算が、画面の大きさWidth×Heightに合わせて正規化されることによって算出されたアクティビティが出力される。
【００４０】
また、さらに、アクティビティ算出回路３０１では、例えば、以下の式のように、入力画像の輝度平均値FDCも同時に算出され、出力される。
FDC=Σpixel[x,y]/(Width*Height)
【００４１】
これらの値FAct（アクティビティ）、FDC（輝度平均値）は、アクティビティ算出回路３０１から出力された後、アクティビティ保持メモリ３０２に格納される。アクティビティ保持メモリ３０２は、これらのアクティビティ算出回路３０１から出力されたアクティビティFAct、輝度平均値FDCを蓄積できるように構成されており、例えば、過去Ｎフレーム分のアクティビティFAct、輝度平均値FDCを格納するとともに、新しいアクティビティFAct、輝度平均値FDCを格納する際には、一番古い値（Ｎ＋１フレーム前の値）が破棄されるように構成されている。
【００４２】
例えば、図４（Ａ）〜（Ｃ）に示すような符号化シンタックス（周期Ｍ＝３）で符号化体系が構成されており、Ｉピクチャ及びＰピクチャの符号化を行う場合には、自分自身のフレームを含めて過去Ｎフレームの算出されたアクティビティFAct及び輝度平均値FDCが格納されており、１フレーム前及び２フレーム前に関しては未符号化のフレームとなる。一方、Ｂピクチャの符号化を行う場合には、自分自身のフレームに対して未来のフレームの３フレーム（フレーム内符号済みＩ／Ｐピクチャが１フレーム）と過去Ｎ−３フレームの算出されたアクティビティが格納されている。
【００４３】
一方、シーン検出回路３０３は、上記のアクティビティ保持メモリ３０２に格納されたアクティビティFAct及び輝度平均値FDCを読み出して、フレーム間におけるこれらの値の連続性を調べることによって、フェードイン／アウトなどの検出を行う。ここで、シーン検出回路３０３におけるフェードイン／アウトの検出アルゴリズムについて、図２及び図３を参照しながら説明する。
【００４４】
図２は、本発明の実施の形態における画像符号化装置のシーン検出回路のフェードイン／アウトの検出アルゴリズムの一例を示すフローチャートの１ページ目である。なお、アクティビティ保持メモリ３０２に格納されている最新のフレーム（すなわち、Ｎ番目のフレーム）のアクティビティ及び輝度平均値をFAct(N)及びFDC(N)、１フレーム前のフレーム（すなわち、Ｎ−１番目のフレーム）のアクティビティ及び輝度平均値をFAct(N−1)及びFDC(N-1)、Ｎフレーム前のフレーム（すなわち、０番目のフレーム）のアクティビティ及び輝度平均値をFAct(0)及びFDC(0)と記載することにする。また、Ｎは定数、ＰはＮ−１より小さい定数である。
【００４５】
シーン検出回路３０３では、フェードイン／アウトのシーンを検出するために、Ｎフレーム間のアクティビティFActの変化が計測され、このアクティビティFActが一様な変化をしているか否かが調べられる。具体的には、まず、変数Ｉ、ＪがそれぞれＪ＝０、Ｉ＝Ｊ＋１に設定され（ステップＳ１、Ｓ２）、FAct(J)とFAct(N)との大きさの比較が行われる（ステップＳ３）。
【００４６】
ここで、FAct(J)≦FAct(N)の場合（ステップＳ３で『はい』）、すなわち、最新のフレームのアクティビティがＮ−Ｊフレーム前のアクティビティより大きい場合か同値の場合には、Ｎ−Ｊフレーム前から最新のフレームまでのアクティビティの変化が広義の単調増加の関係にあるか否かが調べられる。すなわち、変数Ｉを初期値Ｊ＋１からＮ−１までインクリメントしながら、すべての変数Ｉに対して、FAct(I-1)≦FAct(I)≦FAct(N)の関係となっているか否かが調べられる（ステップＳ４〜Ｓ６）。そして、すべての変数Ｉに対して、FAct(I-1)≦FAct(I)≦FAct(N)の関係が成立する場合には、Ｎ−Ｊフレーム前から最新のフレームまでのアクティビティが広義の単調増加の関係にあり、Ｊフレーム〜最新のフレーム（Ｎフレーム）のシーンがフェードイン状態の可能性があると判定される（ステップＳ７：仮フェードイン判定）。
【００４７】
また、ステップＳ４で任意の変数Ｉに関してFAct(I-1)≦FAct(I)≦FAct(N)の関係が成立しない場合には、Ｊフレーム〜最新のフレーム（Ｎフレーム）のシーンがフェードインではないと判断されて、ステップＳ８に進み、変数Ｊが１つインクリメント（Ｊ＝Ｊ＋１）される。そして、変数Ｊが定数Ｍを超えるまで（ステップＳ９で『いいえ』）、上述のフェード判定が行われる一方、変数Ｊが定数Ｍを超えた場合（ステップＳ９で『はい』）には、最終的に、判定対象となる入力画像（アクティビティ保持メモリ３０２に格納されているＮフレームの入力画像）に関して、フェード未検出と判定される（ステップＳ１４）。
【００４８】
一方、FAct(J)≦FAct(N)ではない場合（ステップＳ３で『いいえ』）、すなわち、FAct(J)＞FAct(N)となっており、最新のフレームのアクティビティがＮ−Ｊフレーム前のアクティビティよりも小さい場合には、Ｎ−Ｊフレーム前から最新のフレームまでのアクティビティの変化が広義の単調減少の関係にあるか否かが調べられる。この場合には、変数Ｉを初期値Ｊ＋１からＮ−１までインクリメントしながら、すべての変数Ｉに対して、FAct(I-1)≧FAct(I)≧FAct(N)の関係となっているか否かが調べられる（ステップＳ１０〜Ｓ１２）。
【００４９】
そして、上述したステップＳ４〜Ｓ６における広義の単調増加の関係にあるか否かを調べる場合と同様に、すべての変数Ｉに対して、FAct(I-1)≧FAct(I)≧FAct(N)の関係が成立する場合には、Ｎ−Ｊフレーム前から最新のフレームまでのアクティビティが広義の単調減少の関係にあり、Ｊフレーム〜最新のフレーム（Ｎフレーム）のシーンがフェードアウト状態の可能性があると判定される（ステップＳ１３：仮フェードアウト判定）。また、広義の単調減少の関係が成立しない場合には、ステップＳ８に進んで、変数Ｊが１つインクリメントされて、再びフェード判定が行われる一方、変数Ｊが定数Ｍを超えた場合には、フェード未検出と判定される。
【００５０】
以上のように、シーン検出回路３０３では、Ｎ−Ｊフレーム前（ただし、０≦Ｊ≦Ｍ）から最新のフレームまでのシーンのフェード判定が行われ、その結果、アクティビティが広義の単調増加の関係にある仮フェードイン判定（ステップＳ７）、アクティビティが広義の単調減少の関係にある仮フェードアウト判定（ステップＳ１３）、フェード未検出（ステップＳ１４）のうちのいずれか１つの判定が行われる。
【００５１】
また、上述の処理によって、仮フェードイン判定又は仮フェードアウト判定がなされた場合には、さらに、輝度平均値FDCの変化を調べることによって、フェードシーンか否かの判定を行うことが望ましい。図３は、本発明の実施の形態における画像符号化装置のシーン検出回路のフェードイン／アウトの検出アルゴリズムの一例を示すフローチャートの２ページ目である。なお、図３に示す仮フェード検出（ステップＳ２１）は、図２において、仮フェードイン判定（ステップＳ７）又は仮フェードアウト判定（ステップＳ１３）の判定結果が得られた状態を表している。
【００５２】
シーン検出回路３０３は、仮フェードイン判定又は仮フェードアウト判定の判定結果を得た場合（ステップＳ２１）には、さらに、当該仮フェード検出の判定結果が得られた判定対象区間（Ｊフレームから最新のフレームまでの区間）のＤＣ成分の推移を観測する。この判定では、例えば、判定対象区間における輝度平均値FDCが、増加傾向又は減少傾向の状態にあるか否かが検証される。
【００５３】
具体的には、まず、変数ＩがＩ＝Ｊ＋１（ただし、Ｊは、上述の仮フェード検出の判定結果が得られた判定対象区間を特定する定数）に設定され（ステップＳ２２）、FDC(J)とFDC(N)との大きさの比較が行われる（ステップＳ２３）。
【００５４】
ここで、FDC(J)≦FDC(N)の場合（ステップＳ２３で『はい』）、すなわち、最新のフレームの輝度平均値がＮ−Ｊフレーム前の輝度平均値より大きい場合か同値の場合には、Ｎ−Ｊフレーム前から最新のフレームまでの輝度平均値の変化が増加傾向にあるか否かが調べられる。すなわち、変数Ｉを初期値Ｊ＋１からＮ−１までインクリメントしながら、すべての変数Ｉに対して、FDC(I-1)-β≦FDC(I)≦FDC(N)+βの関係となっているか否かが調べられる（ステップＳ２４〜Ｓ２６）。なお、上記の式の所定値βは、輝度平均値の変化の誤差（隣接するフレーム間において、輝度平均値が±βの範囲内だけの揺らぎ）を許容するために設定される値である。所定値βは、例えば、Ｎ−Ｊフレーム前から最新のフレームまでのＤＣ差分値FDC(N)-FDC(J)の１０分の１程度の値に設定されることが望ましい。
【００５５】
そして、すべての変数Ｉに対して、FDC(I-1)-β≦FDC(I)≦FDC(N)+βの関係が成立する場合には、Ｎ−Ｊフレーム前から最新のフレームまでの輝度平均値の変化が増加傾向にあり、Ｊフレーム〜最新のフレーム（Ｎフレーム）のシーンがフェードシーンであると決定される（ステップＳ２７：フェード検出）。なお、ステップＳ２７におけるフェード検出では、ステップＳ２１における仮フェードイン判定又は仮フェードアウト判定の判定結果に応じて、フェードイン検出又はフェードアウト検出の決定がなされる。また、ステップＳ２４で任意の変数Ｉに関してFDC(I-1)-β≦FDC(I)≦FDC(N)+βの関係が成立しない場合には、当該判定対象区間に係るシーンはフェードシーンではないと決定される（ステップＳ３２：フェード未検出）。
【００５６】
一方、FDC(J)≦FDC(N)ではない場合（ステップＳ２３で『いいえ』）、すなわち、FDC(J)＞FDC(N)となっており、最新のフレームの輝度平均値がＮ−Ｊフレーム前の輝度平均値よりも小さい場合には、Ｎ−Ｊフレーム前から最新のフレームまでのアクティビティの変化が減少傾向にあるか否かが調べられる。すなわち、変数Ｉを初期値Ｊ＋１からＮ−１までインクリメントしながら、すべての変数Ｉに対して、FDC(I-1)+β≧FDC(I)≧FDC(N)-βの関係となっているか否かが調べられる（ステップＳ２８〜Ｓ３０）。なお、上述したステップＳ２４における増加傾向か否かを調べる場合と同様に、このステップＳ２８においても、輝度平均値の変化の誤差を許容するために、上述の所定値βが設定されることが望ましい。
【００５７】
そして、すべての変数Ｉに対して、FDC(I-1)+β≧FDC(I)≧FDC(N)-βの関係が成立する場合には、Ｎ−Ｊフレーム前から最新のフレームまでの輝度平均値の変化が減少傾向にあり、Ｊフレーム〜最新のフレーム（Ｎフレーム）のシーンがフェードシーンであると決定される（ステップＳ３１：フェード検出）。なお、ステップＳ３１におけるフェード検出では、ステップＳ２１における仮フェードイン判定又は仮フェードアウト判定の判定結果に応じて、フェードイン検出又はフェードアウト検出の決定がなされる。また、ステップＳ２８で任意の変数Ｉに関してFDC(I-1)+β≧FDC(I)≧FDC(N)-βの関係が成立しない場合には、当該判定対象区間に係るシーンはフェードシーンではないと決定される（ステップＳ３２：フェード未検出）。
【００５８】
なお、図３に示す輝度平均値を利用した検出アルゴリズムにおいて、輝度平均値FDCの増加傾向及び減少傾向の両方の検証を行っている理由は、例えば、白地に黒い文字が浮かび上がる（あるいは白地上の黒い文字が消えていく）ような、輝度平均値の高い画像から輝度平均値を下げる画像が浮かび上がる（あるいは消えていく）フェードと、黒地に白い文字が浮かび上がる（あるいは黒地上の白い文字が消えていく）ような、輝度平均値の低い画像から輝度平均値を上げる画像が浮かび上がる（あるいは消えていく）フェードの両方を考慮できるようにするためである。
【００５９】
以上の検出アルゴリズムによって、シーン検出回路３０３は、アクティビティFActや、更には輝度平均値FDCを参照して、フェードシーンの検出を行うことが可能である。シーン検出回路３０３においてフェードシーンが検出された場合には、シーン検出回路３０３からアクティビティ予測回路３０４に対して、当該フェードシーンを特定するための値（例えば、上述の最新のフレームを特定する値Ｎや、フェードシーンの区間を特定する値Ｊの値）や、アクティビティの増加（フェードイン）及び減少（フェードアウト）のどちらが検出されたのかを示すフラグが供給される。
【００６０】
アクティビティ予測回路３０４は、シーン検出回路３０３からの情報に応じて、未来のフレームに係るアクティビティの予測を行う。アクティビティ予測回路３０４は、例えばＩ／Ｐピクチャの場合には、未符号化のＢフレームの２フレームを含めた現在のフレーム（Ｎフレーム）の２フレーム前のフレーム（Ｎ−２フレーム）から、符号量制御に係るコントロールの対象となる一定時間後(例えば、Ｌフレーム後)のフレーム（Ｎ＋Ｌフレーム）までの間のアクティビティの予測値（予測アクティビティ値PredAct）の生成を行う。予測アクティビティ値としては、Ｎ−２フレームからＮフレームまでのアクティビティに関しては、実測アクティビティ値が利用可能である一方、Ｎ＋１フレームからＮ＋Ｌフレームまでのアクティビティに関しては、アクティビティ値の予測を行って、その予測結果が利用される。
【００６１】
なお、シーン検出回路３０３がフェードシーンではないと判断したフレームに関しては、アクティビティ予測回路３０４は、例えば、シーンの変化がないという想定で、各フレームの予測アクティビティ値PredActに、最新のフレーム（Ｎフレーム）の実測アクティビティ値を出力することが可能である。
【００６２】
一方、シーン検出回路３０３によってフェードシーンであると判断されている場合には、Ｋフレームの予測アクティビティ値PredAct(K)（ただし、変数Ｋは、Ｎ＋１≦Ｋ≦Ｎ＋Ｌ）は、Ｊフレーム、Ｎフレーム、Ｎ−１フレームのそれぞれの実測アクティビティ値から予測される。
【００６３】
すなわち、FAct(J)≦FAct(N)の場合には、
PredAct(K) = FAct(J)
＋min[{FAct(N)-FAct(J)}*(K-J)/(J-N), {FAct(N)-FAct(N-1)}*(K-J)]
と予測可能である。
【００６４】
また、FAct(J)＞FAct(N)の場合には、
PredAct(K) = FAct(J)
−min[{FAct(J)-FAct(N)}*(K-J)/(J-N), {FAct(N-1)-FAct(N)}*(K-J)]
と予測可能である。
【００６５】
なお、上述の２つの式では、Ｊフレーム〜Ｎフレームの勾配と、Ｎ−１フレーム〜Ｎフレームの勾配のうちの小さい値を予測勾配として採用している。また、上述の式によって算出される予測アクティビティ値PredAct(K)は、最小想定値MinAct及び最大想定値MaxActによって帯域が制限される（すなわち、MinAct＜PredAct(I)＜MaxAct）。
【００６６】
また、Ｂピクチャの場合も同様に、現在のフレームに係る符号化シンタックスを考慮すると、符号化するフレームがＮ−３フレームとなり、符号化済みのＮ−１フレーム又はＮ−２フレームを含めてＮフレームまでの実測値が出ているため、Ｎ−３フレームからＮフレームまでは、実測アクティビティ値が利用可能である一方、Ｎ＋１フレームからＮ＋Ｌフレームまでは、Ｉ／Ｐピクチャの場合と同様に、アクティビティ値の予測を行って、その予測結果が利用される。
【００６７】
符号量制御回路３０５は、アクティビティ予測回路３０４によって生成・出力される予測アクティビティ値PredActを用いて、目標符号量の補正・算出を行う。符号量制御回路３０５内には、最後に符号化された各ピクチャタイプの符号量Bits(T)と量子化スケール平均値AvgQ(T)から計算された複雑度の近似値C(T)=Bits(T)*AvgQ(T)（ただし、Ｔはピクチャタイプ）が保持されるとともに、さらに、最後に符号化された各ピクチャタイプの実測アクティビティ値SuvAct(T)が保持されるように構成されている。
【００６８】
符号量制御回路３０５には、シーン検出回路３０３から、フェードシーンか否かを示すフラグが供給される。シーン検出回路３０３から供給されるフラグがフェードシーンではないことを示している場合には、符号量制御回路３０５は、予測アクティビティ値PredActを用いて、Ｉピクチャの複雑度の近似値C(I)のみの補正を行う。なお、フェードシーンではない場合には、PredActは、当該Ｉピクチャのフレームの実測アクティビティ値、又は次のＩピクチャに最もフレーム間距離の近いフレームの実測アクティビティ値となる。
【００６９】
すなわち、Ｉピクチャの複雑度の近似値C(I)の補正式は、
Crev(I)=C(I)*PredAct(NextI)/SuvAct(I)
と表すことが可能である。なお、NextIは、符号化シンタックスにより決定される次のＩピクチャが出現するフレームを指している。
【００７０】
また、上述の式によって変換されたCrev(I)を用いて、各ピクチャタイプＩ、Ｐ、Ｂのそれぞれの目標符号量Budgetを、以下のように設定することが可能である。
Budget(I)={TotalBits*Crev(I)}/{Fnum(I)*Crev(I)+Fnum(P)*C(P)+Fnum(B)*C(B)}
Budget(P)={TotalBits*C(P)}/{Fnum(I)*Crev(I)+Fnum(P)*C(P)+Fnum(B)*C(B)}
Budget(B)={TotalBits*C(B)}/{Fnum(I)*Crev(I)+Fnum(P)*C(P)+Fnum(B)*C(B)}
【００７１】
一方、シーン検出回路３０３から供給されるフラグがフェードシーンであることを示している場合には、符号量制御回路３０５は、目標符号量に関連する想定フレーム数すべてに対して、複雑度の近似値C(T)をフレームごとに変換して、目標符号量を求める。このとき、符号化するピクチャをＮとすると、Ｎフレーム〜Ｎ＋Ｌフレームまでの複雑度の近似値C(T(W))(ただし、Ｔ（Ｗ）はＷフレームのピクチャタイプ、ＷはＮ〜Ｎ＋Ｌ）に対して補正が行われる。
【００７２】
例えば、ピクチャタイプT(W)がＩピクチャの場合には、
Crev(W)=C(I)*PredAct(W)/SuvAct(I)
のように補正可能である。
【００７３】
また、例えば、ピクチャタイプT(W)がＰピクチャの場合には、
Crev(W)=C(P)*γ+C(P)*{PredAct(W)/SuvAct(P)}*(1-γ)
ただし、γは定数（０＜γ＜１）
のように補正可能である。
【００７４】
また、例えば、ピクチャタイプT(W)がＢピクチャの場合には、
Crev(W)=C(B)*Δ+C(B)*{PredAct(W)/SuvAct(B)}*(1-Δ)
ただし、Δは定数（０＜Δ＜１）
のように補正可能である。
【００７５】
上記の各ピクチャタイプT(W)に係る複雑度の近似値の補正値Crev(W)を用いて、最終的に、目標符号量は以下の式で求められる。
Budget(N)=TotalBits*Crev(N)/ΣCrev(W)
ただし、ΣはＷ＝Ｎ〜Ｎ＋Ｌまでの総和
【００７６】
このようにして最終的に求められた目標符号量の補正値は、符号量制御回路３０５から量子化回路２０６に供給される。量子化回路２０６では、従来の画像符号化処理と同様に、この目標符号量の補正値を新たな目標符号量として利用し、画像ビットストリームの符号量を新たな目標符号量に近づけるように、量子化スケールの制御が行われる。
【００７７】
以上の動作により、入力画像のアクティビティや輝度平均値を参照することによって確実にフェードシーンの検出を行うとともに、アクティビティの時間連続性を利用して、未来のフレームのアクティビティ（予測アクティビティ値）を予測し、その予測結果に基づいて、目標符号量などの符号量制御パラメータの補正を行うことが可能となり、その結果、特に、フェードシーンにおける画質劣化を抑制することが可能となる。
【００７８】
また、本発明によれば、特に、黒やグレイなどの一様なシーンから、複雑な映像がフェードインによって現れてくるようなシーンに対しても、あらかじめフェードシーンの傾向を認識して、フレームごとの目標符号量を設定することが可能となるため、複雑な映像に対して将来必要となるであろう情報量をあらかじめ予約した状態で、目標符号量の割り当てを行うことが可能となる。これにより、従来の技術では、特にフェードイン終了直後の複雑な画像に対して、適切な符号量の割り当てが困難となってしまうという弊害が生じ、画質の劣化が発生してしまうような場合でも、本発明によれば、特にフェードイン終了直後の複雑な画像に対して、良好な符号量制御を実現することが可能となる。
【００７９】
なお、上述の実施の形態では、主にフェードシーンに対する画像符号化制御について説明したが、映像の傾向が滑らかに変化するようなシーン（例えば、画面のパンやエフェクトなどによるシーン変化）に関しても、本発明に係る画像符号化制御を適用することが可能であり、上述のフェードシーンに対して適用した場合と同様に、良好な符号量制御を実現することが可能である。
【００８０】
また、上述の実施の形態では、本発明に係る画像符号化装置の構成要素の一例として、回路や模式的なブロックなどのハードウェア要素を図示しながら説明しているが、従来の画像符号化装置と同様に、コンピュータが実行可能なソフトウェア（プログラム）によって、これらのハードウェア要素を実現することも可能である。
【産業上の利用可能性】
【００８１】
本発明に係る画像符号化装置は、映像が滑らかに変化するようなシーン（例えば、フェードシーン）において、画質劣化を抑制した良好な画像符号化制御を実現することが可能であり、ＭＰＥＧ２などの動画像の画像符号化を実施するための画像符号化技術に適用可能である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態における画像符号化装置の一例を示すブロック図である。
【図２】本発明の実施の形態における画像符号化装置のシーン検出回路のフェードイン／アウトの検出アルゴリズムの一例を示すフローチャートの１ページ目である。
【図３】本発明の実施の形態における画像符号化装置のシーン検出回路のフェードイン／アウトの検出アルゴリズムの一例を示すフローチャートの２ページ目である。
【図４】従来の技術に係るＭＰＥＧ２画像符号化における処理及び出力時の画像の並びを模式的に示す図であり、（Ａ）は、ＭＰＥＧ２画像符号化で用いられている符号化体系を示す図、（Ｂ）は、ＭＰＥＧ２画像符号化時の符号化順序の並べ替えを示す図、（Ｃ）は、ＭＰＥＧ２画像復号時のストリーム到達順序及び復号画像出力順序を示す図である。
【図５】従来の技術に係る一般的な画像符号化装置の一例を示すブロック図である。
【図６】従来の技術に係る一般的な復号装置の一例を示すブロック図である。
【符号の説明】
【００８３】
１０１、２０１  入力端子
１０２、２１８  画像ストリームバッファ
１０３  可変長復号回路
１０４、２１５  符号化テーブル
１０５、２１２  逆量子化回路
１０６、２０８  動き補償予測回路
１０７、２１０  加算器
１０８、２１１  デブロック回路
１０９、２０９  参照画像メモリ
１１０  出力フレームメモリ
１１１、２１３  逆直交変換回路
１１２、２１９  出力端子
２０２  入力画像メモリ
２０３  ２次元ブロック変換回路
２０４  減算器
２０５  直交変換回路
２０６  量子化回路
２０７  動きベクトル検出回路
２１４  符号化回路
２１６  マルチプレクサ
２１７、３０５  符号量制御回路
３０１  アクティビティ算出回路
３０２  アクティビティ保持メモリ
３０３  シーン検出回路
３０４  アクティビティ予測回路
【図１】
2006086861.tif 000003
【図２】
2006086861.tif 000004
【図３】
2006086861.tif 000005
【図４】
2006086861.tif 000006
【図５】
2006086861.tif 000007
【図６】
2006086861.tif 000008