(57)【特許請求の範囲】
【請求項１】
複数の画面からなる画像情報を各画面の空間的及び時間的相関関係に基づいて圧縮する際に、前記画像情報からフェード画像を検出するフェード検出装置であって、
二つの画面間における画素毎の画素値の差分絶対値を算出すると共に、当該差分絶対値の一画面における全画素分の総和である差分絶対値和を算出する差分絶対値和算出手段と、
一画面を細分化した画素ブロック単位で、二つの画面間における画素毎の画素値の差分絶対値を算出すると共に、当該画素ブロック内の前記差分絶対値の総和である差分絶対値和が最小となる画素ブロック対を所定の画素範囲内にて検出する画素ブロック対検出手段と、
検出された各画素ブロック対毎の差分絶対値和の一画面分の総和である予測誤差絶対値和を算出する予測誤差絶対値和算出手段と、
前記差分絶対値和算出手段による差分絶対値和と、前記予測誤差絶対値和算出手段による予測誤差絶対値和とに基づいて、前記画像情報がフェード画像であるか否かを判定する判定手段と、
を備え、
前記判定手段は、前記差分絶対値和を第１の基準値と比較する第１の比較手段と、前記予測誤差絶対値和を第２の基準値と比較する第２の比較手段とを備え、前記第１の比較手段による比較の結果、前記差分絶対値和が前記第１の基準値よりも小であり、且つ前記第２の比較手段による比較の結果、前記予測誤差絶対値和が前記第２の基準値よりも大である状態が、前記画面により構成される画像が４つ以上に亘って連続した場合に、当該画面により構成される画像がフェード画像であると判定することを特徴とするフェード検出装置。
【請求項２】
前記第１の基準値は、少なくともシーンチェンジが行われた画面間における前記差分絶対値和と、フェード画像または通常の画像を構成する画面間における前記差分絶対値和との境界値であり、前記第２の基準値は、フェード画像を構成する画面間またはシーンチェンジが行われた画面間における前記予測誤差絶対値和と、通常の画像を構成する画面間における前記予測誤差絶対値和との境界値であることを特徴とする請求項１に記載のフェード検出装置。
【請求項３】
請求項１又は２の何れか一項に記載のフェード検出装置と、フレームメモリを用いて原画像の画面を圧縮処理の順序に従って並べ替える前処理手段と、画像情報の直交変換を行う直交変換手段と、直交変換された画像情報に対して所定の量子化スケールコードを用いて量子化を行う量子化手段と、当該量子化された画像情報を可変長符号化する符号化手段と、量子化された画像情報を直交変換された画像情報に変換する逆量子化手段と、直交変換の逆変換を行う逆変換手段と、フレームメモリを備え、当該逆変換された画像情報と新たに圧縮処理の対象となる画像情報とに基づいて動きベクトルを検出し、当該逆変換された画像情報に対して当該動きベクトルを用いることにより動き補償を行う動き補償手段と、当該動き補償により得られた予測画像と原画像との差分を演算する演算手段とを備え、
前記差分絶対値和算出手段は、前記前処理手段のフレームメモリを用いて前記差分絶対値和を算出する手段であり、
前記予測誤差絶対値和算出手段は、前記動き補償手段のフレームメモリを用いて前記予測誤差絶対値和を算出する手段である、
ことを特徴とする情報符号化装置。
【請求項４】
前記符号化手段は、前記画像情報に対して所定の符号化レートによりＭＰＥＧ２（Moving Picture Expert Group 2）方式の圧縮符号化を行うことを特徴とする請求項３に記載の情報符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動き補償によるフレーム間予測符号化及びフレーム内符号化を行う情報符号化装置、及びこの情報符号化装置においてフェード画像を検出するフェード検出装置の技術分野に属する。
【０００２】
【従来の技術】
従来、情報、特にディジタル情報を符号化して例えば記録媒体に記録したり、または放送電波を介して伝送する方法として、種々の符号化方法が提案されているが、その中で、従来のＣＤ（Compact Disc）に比して約７倍の記録容量を高めた光ディスクであるＤＶＤにおける動画像の記録には、ＭＰＥＧ方式が用いられている。
【０００３】
ここで、当該ＭＰＥＧ方式とは、符号化したい画像と当該画像に対して時間的に先行する参照画像または時間的に後になる参照画像との差分に対してＤＣＴ（Discrete Cosine Transform（離散コサイン変換））を施すと共に量子化して得られた情報、及び当該画像における１６画素×１６画素の画素を含む正方形の画素のブロックであるマクロブロック単位の、参照画像と符号化したい画像との間で何等かの画像の動きがある場合における当該動きの方向と量を示すベクトルである動きベクトルの差分を可変長符号化して伝送または記録することにより、本来、膨大な情報量となる画像情報を高能率に圧縮することが可能となる符号化技術である。
【０００４】
ところで、画像を圧縮する場合に、単調な画像と複雑な画像を全て同じ圧縮率で圧縮してしまうと、例えばそれが複雑な画像であった場合には、過度に圧縮されることに起因して圧縮後の画像に劣化が生じる。
【０００５】
例えば、輝度値が最低値から最高値へ、または最高値から最低値へ一方向に変化する、いわゆるフェード画像に対して低ビットレートでＭＰＥＧ符号化を行うと、ブロック歪が見えやすくなることが知られている。
【０００６】
従って、従来は、符号化対象の画像からフェード画像を検出すると共に、フェード画像が検出された場合には、フェード画像に適したレートに変えたり、フェード画像に適した動き補償を行うという対策が採られていた。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記従来のフェード画像の検出は、フィールド毎の輝度値の累積値を算出すると共に、当該累積値の時間的変化を数フィールドに亘って観測し、当該累積値が段階的に変化していればフェード画像であると判定していた。
【０００８】
このような時間的変化を観測する方式では、フェード画像と判定されるまでに数フレームの遅延が生じ、そのためフェード画像と判定してから画像に符号化処理を加えるにはその遅延分のフレームメモリを必要とするという問題があった。
【０００９】
また、従来の検出方式では、フィールド毎の輝度値の変化に基づいて検出を行っているため、シーンチェンジあるいは複雑な画像をフェード画像と誤検出するという問題があった。
【００１０】
そこで、本発明は、このような問題を解決し、フェード画像判定用に別個のフレームメモリを設けることなく、正確にフェード画像を判定することのできるフェード検出装置及びこのフェード検出装置を備えた情報符号化装置を提供することを課題としている。
【００１１】
【課題を解決するための手段】
請求項１に記載のフェード検出装置は、複数の画面からなる画像情報を各画面の空間的及び時間的相関関係に基づいて圧縮する際に、前記画像情報からフェード画像を検出するフェード検出装置であって、二つの画面間における画素毎の画素値の差分絶対値を算出すると共に、当該差分絶対値の一画面における全画素分の総和である差分絶対値和を算出する差分絶対値和算出手段と、一画面を細分化した画素ブロック単位で、二つの画面間における画素毎の画素値の差分絶対値を算出すると共に、当該画素ブロック内の前記差分絶対値の総和である差分絶対値和が最小となる画素ブロック対を所定の画素範囲内にて検出する画素ブロック対検出手段と、検出された各画素ブロック対毎の差分絶対値和の一画面分の総和である予測誤差絶対値和を算出する予測誤差絶対値和算出手段と、前記差分絶対値和算出手段による差分絶対値和と、前記予測誤差絶対値和算出手段による予測誤差絶対値和とに基づいて、前記画像情報がフェード画像であるか否かを判定する判定手段と、を備え、前記判定手段は、前記差分絶対値和を第１の基準値と比較する第１の比較手段と、前記予測誤差絶対値和を第２の基準値と比較する第２の比較手段とを備え、前記第１の比較手段による比較の結果、前記差分絶対値和が前記第１の基準値よりも小であり、且つ前記第２の比較手段による比較の結果、前記予測誤差絶対値和が前記第２の基準値よりも大である状態が、前記画面により構成される画像が４つ以上に亘って連続した場合に、当該画面により構成される画像がフェード画像であると判定することを特徴とする。
【００１２】
請求項１に記載のフェード検出装置によれば、差分絶対値和算出手段により、二つの画面間における画素毎の画素値の差分絶対値が算出され、更に当該差分絶対値の一画面における全画素分の総和が差分絶対値和として算出される。
【００１３】
また、画素ブロック対検出手段により、一画面を細分化した画素ブロック単位で、二つの画面間における画素毎の画素値の差分絶対値が算出され、更に当該画素ブロック内の前記差分絶対値の総和として差分絶対値和が算出される。そして、当該画素ブロック内の差分絶対値和が最小となる画素ブロック対が所定の画素範囲内にて検出される。
【００１４】
更に、前記画素ブロック対検出手段により検出された各画素ブロック対毎の差分絶対値和の一画面分の総和が、予測誤差絶対値和算出手段により予測誤差絶対値和として算出される。
【００１５】
そして、判定手段は、第１の比較手段により、前記差分絶対値和と第１の基準値との比較を行う。その結果、前記差分絶対値和が前記第１の基準値よりも小さい場合には、前記差分絶対値和の算出の元となった画像は、フェード画像または通常の画像であると判定される。次に、前記判定手段は、第２の比較手段により、前記予測誤差絶対値和と第２の基準値との比較を行う。その結果、前記予測誤差絶対値和が前記第２の基準値よりも大きい場合には、前記予測誤差絶対値和の算出の元となった画像は、シーンチェンジ、あるいはフェード画像、もしくは通常の画像よりも画面間の相関が低い複雑な画像であると判定される。従って、前記差分絶対値和が前記第１の基準値よりも小さく、且つ前記予測誤差絶対値和が前記第２の基準値よりも大きい場合には、その画像はフェード画像である可能性が高い。但し、希にシーンチェンジであっても前記差分絶対値和が前記第１の基準値よりも小さくなることがあり、この場合には、前記差分絶対値和が前記第１の基準値よりも小さく、且つ前記予測誤差絶対値和が前記第２の基準値よりも大きいという条件だけでは、フェード画像とシーンチェンジとの判別が困難となる。しかしながら、フェード画像においては、前記差分絶対値和が前記第１の基準値よりも小さく、且つ前記予測誤差絶対値和が前記第２の基準値よりも大きいという状態が、画面により構成される画像が４つ以上に亘って連続して起こり得るのに対し、シーンチェンジにおいては、前記のような状態はフェード画像のように連続しては起こり得ない。そこで、前記判定手段は、前記差分絶対値和が前記第１の基準値よりも小さく、且つ前記予測誤差絶対値和が前記第２の基準値よりも大きい状態が、画面により構成される画像が４つ以上に亘って連続した場合に、当該画面により構成される画像がフェード画像であると判定する。以上のように、本発明によれば、フェード画像が、前記複雑な画像、前記シーンチェンジ、あるいは前記通常の画像と誤って判定されることがなく、正確な判定が行われる。
【００１８】
請求項２に記載のフェード検出装置は、前記課題を解決するために、請求項１に記載のフェード検出装置において、前記第１の基準値は、少なくともシーンチェンジが行われた画面間における前記差分絶対値和と、フェード画像または通常の画像を構成する画面間における前記差分絶対値和との境界値であり、前記第２の基準値は、フェード画像を構成する画面間またはシーンチェンジが行われた画面間における前記予測誤差絶対値和と、通常の画像を構成する画面間における前記予測誤差絶対値和との境界値であることを特徴とする。
【００１９】
請求項２に記載のフェード検出装置によれば、前記第１の比較手段により、前記差分絶対値和と比較される前記第１の基準値は、少なくともシーンチェンジが行われた画面間における前記差分絶対値和と、フェード画像または通常の画像を構成する画面間における前記差分絶対値和との境界値である。従って、この比較の結果、前記差分絶対値和が前記第１の基準値よりも小さい場合には、前記差分絶対値和の算出の元となった画像は、フェード画像または通常の画像であると判定される。
【００２０】
また、前記第２の比較手段により、前記予測誤差絶対値和と比較される前記第２の基準値は、フェード画像を構成する画面間またはシーンチェンジが行われた画面間における前記予測誤差絶対値和と、通常の画像を構成する画面間における前記予測誤差絶対値和との境界値である。従って、この比較の結果、前記予測誤差絶対値和が前記第２の基準値よりも大きい場合には、前記予測誤差絶対値和の算出の元となった画像は、シーンチェンジ、あるいはフェード画像であると判定される。
【００２１】
以上により、前記差分絶対値和が前記第１の基準値よりも小さく、且つ前記予測誤差絶対値和が前記第２の基準値よりも大きい場合には、その画像はフェード画像である可能性が高く、フェード画像がシーンチェンジと誤って判定されることなく正確に判定されることになる。
【００２２】
請求項３に記載の情報符号化装置は、前記課題を解決するために、請求項１又は２に記載のフェード検出装置と、フレームメモリを用いて原画像の画面を圧縮処理の順序に従って並べ替える前処理手段と、画像情報の直交変換を行う直交変換手段と、直交変換された画像情報に対して所定の量子化スケールコードを用いて量子化を行う量子化手段と、当該量子化された画像情報を可変長符号化する符号化手段と、量子化された画像情報を直交変換された画像情報に変換する逆量子化手段と、直交変換の逆変換を行う逆変換手段と、フレームメモリを備え、当該逆変換された画像情報と新たに圧縮処理の対象となる画像情報とに基づいて動きベクトルを検出し、当該逆変換された画像情報に対して当該動きベクトルを用いることにより動き補償を行う動き補償手段と、当該動き補償により得られた予測画像と原画像との差分を演算する演算手段とを備え、前記差分絶対値和算出手段は、前記前処理手段のフレームメモリを用いて前記差分絶対値和を算出する手段であり、前記予測誤差絶対値和算出手段は、前記動き補償手段のフレームメモリを用いて前記予測誤差絶対値和を算出する手段であることを特徴とする。
【００２３】
請求項３に記載の情報符号化装置によれば、まず、前処理手段により、フレームメモリを用いた原画像の画面の並べ替えが行われ、原画像の画面は、圧縮処理の順序に従って並べ替えられる。
【００２４】
次に、前記前処理手段により並べ替えられた原画像の画面の画像情報は、直交変換手段によって直交変換され、この直交変換された画像情報は、量子化手段により所定の量子化スケールコードを用いて量子化される。
【００２５】
そして、当該量子化された画像情報は符号化手段により可変長符号化され、画像情報の圧縮が行われることになる。
【００２６】
一方、前記量子化手段によって量子化された画像情報は、逆量子化手段によって、直交変換された画像情報に変換され、更に逆変換手段によって直交変換の逆変換が行われ、元の原画像が復元される。
【００２７】
また、動き補償手段により、新たに圧縮符号化される原画像と、前記復元された原画像との間で動きベクトルが検出され、更に前記復元された画像に対して当該動きベクトルを用いた動き補償が行われる。
【００２８】
そして、新たに圧縮符号化される原画像と、前記動き補償により得られた予測画像との差分が、演算手段により演算され、当該差分について、上述のように直交変換手段による直交変換、量子化手段による量子化、及び符号化手段による可変長符号化が行われる。
【００２９】
また、以上のような圧縮符号化工程において、前記差分絶対値和算出手段は、前記前処理手段のフレームメモリを用いて前記差分絶対値和を算出する。更に、、前記予測誤差絶対値和算出手段は、前記動き補償手段のフレームメモリを用いて前記予測誤差絶対値和を算出する。そして、前記判定手段は、これらの差分絶対値和及び予測誤差絶対値和に基づいて、圧縮符号化処理の対象となっている画像がフェード画像であるか否かを正確に判定する。また、フェード画像と判定された場合には、フェード画像に適した圧縮符号化処理が行われることになる。
【００３０】
以上のように本発明によれば、フェード画像の判定用に別個のフレームメモリを用いることなく、前処理手段及び動き補償手段のフレームメモリを用いてフェード画像の判定処理が行われるため、従前の情報符号化装置を有効に利用してコストの上昇を抑える。
【００３１】
請求項４に記載の情報符号化装置は、前記課題を解決するために、請求項３に記載の情報符号化装置において、前記符号化手段は、前記画像情報に対して所定の符号化レートによりＭＰＥＧ２（Moving Picture Expert Group 2）方式の圧縮符号化を行うことを特徴とする。
【００３２】
請求項４に記載の情報符号化装置によれば、前記符号化手段は、前記画像情報に対して所定の符号化レートによりＭＰＥＧ２（Moving Picture Expert Group 2）方式の圧縮符号化を行うので、画像情報における画質の劣化を最小限としつつ当該画像情報の圧縮符号化が行われる。
【００３３】
【発明の実施の形態】
以下、本発明に好適な実施の形態を、添付図面に基づいて説明する。なお、以下に説明する実施の形態は、前記ＭＰＥＧ方式のうちのＭＰＥＧ２方式に準拠して動画像の圧縮符号化を行う符号化装置に対して本発明を適用した場合の実施の形態である。
【００３４】
まず、本実施形態におけるフェード検出装置を備えた符号化装置の構成及び概要動作について、図１を用いて説明する。
【００３５】
図１は本実施形態における符号化装置の概略構成を示すブロック図である。図１に示すように、本実施形態の符号化装置は、前処理手段としての前処理部１と、差分絶対値和算出手段としての差分絶対値和算出部２と、動き補償手段としての動き量検出部３と、予測誤差絶対値和算出手段としての予測誤差絶対値和算出部４と、演算手段としての加算器５と、直交変換手段としてのＤＣＴ（Discrete Cosine Transform）部６と、量子化手段としての量子化部７と、符号化手段としのて符号割り当て部８と、逆量子化手段としての逆量子化部９と、逆変換手段としての逆ＤＣＴ部１０と、加算器１１と、前記動き量検出部３と共に動き補償手段を構成するフレーム間／内予測部１２と、判定手段としての判定部１３とにより構成されている。以下、各部について詳しく説明する。
【００３６】
（１）前処理部１
前処理部１は、フィールド画像として入力される画像情報をフレーム画像として取り扱うと共に、原画像の順序に従って時系列上に並べられるフレーム画像を圧縮符号化処理の順序に従って並べ替える処理部である。前処理部１には、これらの処理を行うためのフレームメモリが備えられており、前処理部１は、符号化装置の外部から入力されるディジタル情報信号Ｓｄのうち、画像情報を、前記フレームメモリに蓄積する。この画像情報は、図２に示すように第１フィールド画像と第２フィールド画像から成る複数のフィールド画像で構成されており、各フィールド画像は各フィールド画面を構成する画素毎にディジタル化されている。前処理部１は、このような第１フィールド画像と第２フィールド画像を前記フレームメモリに蓄積すると共に、第１フィールド画像と第２フィールド画像を前記フレームメモリ上で図２に示すようなフレーム画像として取り扱う。次に、前処理部１は、フレーム画像を圧縮符号化処理の対象として、以下に説明する動き量検出部３及び加算器５へ出力する。この時、前処理部１は、前記フレーム画像を原画像の時系列に沿った順序で出力するのではなく、圧縮符号化処理の順序に従って並べ替えた上で出力する。
【００３７】
ここで、ＭＰＥＧ２方式における原画像の順序と圧縮符号化処理の順序について図２を用いてその概要を説明する。ＭＰＥＧ２方式においては、圧縮符号化された画像情報は、ビデオパックと称される情報単位から構成されており、このビデオパックは、更に一または複数のＧＯＰ（Group Of Picture）と称される情報単位から構成されている。図２では、一のＧＯＰ２０が、約０．５秒の再生時間に換算される１５枚のフレーム画像から構成されている場合を示している。但し、このフレーム画像数は原則であり、ＭＰＥＧ２方式では一のＧＯＰ２０に含まれるフレーム画像数は一定ではない。
【００３８】
図２において、符号「Ｉ」で示されるフレーム画像は、Ｉピクチャ（Intra-coded picture：イントラ符号化画像）と呼ばれ、自らの画像のみで完全なフレーム画像を再生することができる画像をいう。
【００３９】
また、符号「Ｐ」で示されるフレーム画像は、Ｐピクチャ（Predictive-coded Picture：前方向予測符号化画像）と呼ばれ、前方向の予測符号化処理により生成される画像である。前方向の予測符号化処理とは、現在符号化の対象となっている画像よりも先に復号化されることになる画像の予測画像を作成し、この予測画像と現在符号化の対象となっている画像との差分を符号化する処理である。ここで、「先に復号化されることになる画像」とは、例えば符号化処理後に光ディスク等の記録媒体に画像の記録を行ったとすると、画像を再生する際にはその記録媒体に記録された順序に従って復号化が行われることになるが、この復号化の順序が時間的に先行する画像のことを言う。また、予測画像は、先に符号化したピクチャを復号化し、復号化した画像に対して動き補償を行うことにより作成する画像である。Ｐピクチャとして符号化を行う場合には、先に符号化されたＩピクチャまたはＰピクチャに基づいて予測画像が作成される。
【００４０】
更に、符号「Ｂ」で示されるフレーム画像は、Ｂピクチャ（Bidirectionally predictive-coded picture：両方向予測符号化画像）といい、前方向と後方向の両方向に亘る予測符号化処理により生成される画像である。後方向の予測符号化処理とは、現在符号化の対象となっている画像よりも後に復号化されることになる画像の予測画像を作成し、この予測画像と現在符号化の対象となっている画像との差分を符号化する処理である。ここで、「後に復号化されることになる画像」とは、例えば記録媒体への記録後における復号化の順序が時間的に後になる画像のことを言う。つまり、Ｂピクチャとして符号化を行う場合には、先に符号化されたＩピクチャまたはＰピクチャであって、記録媒体への記録後における復号化の順序が時間的に先になる画像と後になる画像との二つの画像に基づいて、それぞれ二つの予測画像が作成される。
【００４１】
なお、図２においては、各ピクチャ間の予測関係（補償関係）を各ピクチャの上部または下部に記載した矢印で示している。ここで、予測関係とは、予測符号化処理の対象となる画像と、参照される画像との関係をいい、予測符号化処理とは、ある画像の信号値を、時間的に前または後の画像の信号値との差分を用いて表す処理のことをいう。上述したＩピクチャは、予測メモリを用いないフレーム内予測符号化（イントラ符号化）により作成され、Ｐピクチャは、一つの予測メモリを用いる前方向フレーム間予測、Ｂピクチャは、二つの予測メモリを用いる両方向フレーム間予測により作成される。
【００４２】
このように、ＭＰＥＧ２方式においては、前方予測を行うＰピクチャだけでなく、両方向予測を行うＢピクチャが挿入されるため、原画像の順序とは異なる順序で圧縮符号化処理を行う必要がある。そこで、前処理部１は、例えば図２に示すように、第１画像と第２画像をスキップして次の第３画像を先に、また、第４画像と第５画像をスキップして次の第６画像を先に圧縮符号化処理の対象画像として後述する各部に出力する。その結果、第３画像はＩピクチャに、また第６画像はＰピクチャとして符号化される。次に、前処理部１は、先程スキップした第１画像、第２画像、第４画像、及び第５画像を前記対象画像として順次出力する。その結果、これらの画像はそれぞれＢピクチャとして符号化され、ＰピクチャとＩピクチャの間、あるいは二つのＰピクチャ間に挿入され、各ピクチャが図２に示すような時間的前後関係及び予測関係を有するＧＯＰ２０が形成される。
【００４３】
本実施形態においては、１５枚のピクチャで一つのＧＯＰ２０を構成しており、前処理部１は、ＧＯＰ２０の先頭のピクチャがＩピクチャで、その後２枚おきにＰピクチャがあり、ＩピクチャとＰピクチャの間またはＰピクチャの間に２枚のＢピクチャが挿入されるように、予め決められた順序でＩ，Ｂ，Ｐのピクチャタイプを決定する。
【００４４】
（２）差分絶対値和算出部２
差分絶対値和算出部２は、原画像の順序において互いに隣り合うフレーム画像間の全画素の輝度値と色差の差分値を算出する処理部である。但し、差分絶対値和算出部２は、フレーム画像として前記算出処理を行うのではなく、前処理部１のフレームメモリに蓄積した各フレーム画像に対応するフィールド画像を用いて前記算出処理を行う。例えば、図２に示すフレーム画像のうち、第１画像と第２画像との間で前記算出処理を行う場合には、まず、第１画像に対応する第１フィールド画像の全画素と、第２画像に対応する第１フィールド画像の全画素について、輝度値と色差の差分の絶対値を算出する。つまり、第２画像に対応する第１フィールド画像をF21とし、第１画像に対応する第１フィールド画像をF11とすると、第１フィールド画像F21におけるある一つの画素の輝度値がY1、色差がCb1、Cr1であり、当該画素に対応する第１フィールド画像F11における画素の輝度値がY1'、色差がCb1'、Cr1'である場合には、
差分絶対値和１＝sum｜Y1-Y1'｜ + sum｜Cb1-Cb1'｜ + sum｜Cr1-Cr1'｜
となる。ここで、上式におけるsumは、１フィールド画像内の全画素分の合計を求めることを意味している。
【００４５】
次に、第２画像に対応する第２フィールド画像をF22とし、第１画像に対応する第２フィールド画像をF12とすると、第２フィールド画像F22におけるある一つの画素の輝度値がY2、色差がCb2、Cr2であり、当該画素に対応する第２フィールド画像F12における画素の輝度値がY2'、色差がCb2'、Cr2'である場合には、
差分絶対値和２＝sum｜Y2-Y2'｜ + sum｜Cb2-Cb2'｜ + sum｜Cr2-Cr2'｜
となる。
【００４６】
そして、前記差分絶対値和１と差分絶対値和２との合計を求めることにより、フレーム画像である第１画像と第２画像の間の差分絶対値和を算出する。
【００４７】
このような差分絶対値和を算出することにより、時間的に前後するフレーム画像間の相関を検出することができ、また、この相関から画像がフェード画像であるか否かの大まかな判定を行うことができる。例えば、画像の輝度値が徐々に増加または減少するフェード画像の場合には、前後の画面の相関は比較的高く、差分絶対値和は小さくなる。これに対し、画面が切り替わる所謂シーンチェンジの場合には、前記の画面の相関は全く無く、差分絶対値和は大きくなる。
【００４８】
本実施形態においては、差分絶対値和算出部２の算出結果を後述する判定部１３に出力し、判定部１３において差分絶対値和を用いたフェード画像の判定とそれに応じた処理を行っている。この判定部１３におけるフェード画像の判定処理については後述する。
【００４９】
（３）動き量検出部３
動き量検出部３は、前処理部１から符号化処理順に出力されるフレーム画像に基づいて、動きベクトルを算出する処理部である。ここで、動きベクトルについて詳説すると、当該動きベクトルは、後述するフレーム間／内予測部１２において実行される動き補償処理に用いられるものである。動き量検出部３は、まず、図３に示すように現在符号化の対象となっている第Ｎ画像を、ｎ画素×ｎ画素の画素を含むマクロブロックＢ１〜Ｂｍに分割する。そして、第Ｎ画像のある一つのマクロブロックＢｉ内の各画素と、第Ｎ画像よりも先に符号化された第Ｎ−１画像の当該マクロブロックＢｉに対応する位置のマクロブロックＢ’ｉ内の各画素との差分の絶対値を、マクロブロックＢｉ内の全ての画素について加算することにより、差分絶対値和を求める。次に、第Ｎ−１画像内に、マクロブロックＢ’ｉを中心にして所定の範囲Ｕを設定し、この範囲Ｕ内においてマクロブロックＢ’ｉの位置をずらしながら、前記差分絶対値和を求める。そして、このようにして求めた差分絶対値和の中から、値が最小となるマクロブロックＢ’ｉの画像を、マクロブロックＢｉの画像に最も近い画像であると判定し、このマクロブロックＢ’ｉの第Ｎ−１画像内における空間的な位置を求める。そして、マクロブロックＢｉとマクロブロックＢ’ｉとの移動関係を動きベクトルとする。
【００５０】
以下、動き量検出部１３は、同様の処理を第Ｎ画像内の全てのマクロブロックＢ１〜Ｂｍについて行い、求めた動きベクトルをベクトル信号Ｓｖとしてフレーム間／内予測部１２に出力する。
【００５１】
（４）予測誤差絶対値和算出部４
予測誤差絶対値和算出部４は、前記動き量検出部３で前記動きベクトルを求める際に算出した各マクロブロックＢ１〜Ｂｍにおける差分絶対値和を、１つのフレーム画像分合計して、予測誤差絶対値和（以下、ディストーション値とする）を算出する。そして、この算出したディストーション値を、後述する判定部１３に出力する。
【００５２】
このようなディストーション値を算出することにより、時間的に前後するフレーム画像間において画像に動きがある場合であっても、対応する画像同士の相関を精度良く検出することができ、また、この相関から画像がフェード画像であるか否かの精度の良い判定を行うことができる。本実施形態においては、予測誤差絶対値和算出部４からディストーション値を後述する判定部１３に出力し、判定部１３において上述した差分絶対値和を用いたフェード画像の判定と共に、このディストーション値を用いたフェード画像の判定を行っている。この判定部１３におけるフェード画像の判定処理については後述する。
【００５３】
（５）加算器３
加算器３は、前処理部１から出力される前処理後のディジタル情報信号Ｓｄを非反転入力すると共に、後述するフレーム間／内予測部１２から出力される補償信号Ｓｅを反転入力して、これらの間の加算処理を行う処理部である。この加算処理の結果、ディジタル情報信号Ｓｄと補償信号Ｓｅとの差分である減算信号Ｓａが生成され、後述するＤＣＴ部６に出力される。フレーム間予測が行われる場合には、符号化処理の対象となっているフレーム画像と予測画像間の輝度値の差分が全画素について求められ、この差分を各画素ごとに備えた差分画像が前記減算信号Ｓａに含まれることになる。一方、イントラ符号化が行われる場合には、予測画像が作成されないため、符号化処理の対象となっているフレーム画像自体が前記減算信号Ｓａに含まれることになる。
【００５４】
（６）ＤＣＴ部６
ＤＣＴ部６は、加算器３から出力される減算信号Ｓａに含まれる差分画像あるいはイントラ符号化の対象となっているフレーム画像を上述したマクロブロック３０よりも更に細かなｐ画素×ｐ画素（ｐ＜ｎ）の正方形の画素ブロックに分割し、各画素ブロックごとに離散コサイン変換と呼ばれる直交変換を行う処理部である。直交変換とは、画像を空間周波数の周波数成分へ分解する処理であり、ＤＣＴ部６は直交変換により得られた各周波数項の係数をｐ×ｐの正方形の画素ブロックにおける各画素に周波数の大きさ順に割り当てる。変換前においては、輝度値等の画素値はランダムに分布しているが、前記各画素に割り当てられた係数を画素値として見た場合、変換後には比較的大きな値の画素値が低周波項側に集中するという性質を有している。ＤＣＴ部６はこのような処理の結果としての変換信号Ｓｄｃを量子化部７へ出力する。
【００５５】
（７）量子化部７
量子化部７は、所定の量子化スケールコードで、ＤＣＴ部６から出力される変換信号Ｓｄｃを量子化し、量子化信号Ｓｑを生成する処理部であり、この量子化信号Ｓｑを符号割り当て部８及び逆量子化部９へ出力する。具体的には、前記変換信号Ｓｄｃに含まれる画素ブロックごとの係数を、各画素について所定の量子化スケールコードで除算し、余りを丸める処理を行う。これにより、大きな値が集中する低周波項側を除く殆どの画素値が０となり、圧縮率を高くとることができる。
【００５６】
（８）符号割り当て部８
符号割り当て部８は、量子化部７から出力される量子化信号Ｓｑに含まれるＤＣＴ係数に対して、出現確率の高い値に短い符号長を割り当て、出現確率の低い値に長い符号長を割り当てる可変長符号化処理を行う処理部である。この処理の結果、元のディジタル情報信号ＳｄをＭＰＥＧ２方式で圧縮符号化した信号である圧縮情報信号Ｓｑｄが生成され、符号割り当て部８は、この圧縮情報信号Ｓｑｄを図示しない符号化バッファメモリに出力する。この圧縮情報信号Ｓｑｄに上述したＩピクチャ、Ｂピクチャ、あるいはＰピクチャが含まれる。
【００５７】
（９）逆量子化部９
逆量子化部９は、量子化信号Ｓｑに対して逆量子化を施し、逆量子化信号Ｓｉｑを生成する処理部であり、逆量子化信号Ｓｉｑを逆ＤＣＴ部１０へ出力する。逆量子化は、量子化信号Ｓｑに含まれる画素ブロックごとの量子化された係数に、各画素について前記所定の量子化スケールコードを積算する。
【００５８】
（１０）逆ＤＣＴ部１０
逆ＤＣＴ部１０は、逆量子化部９から出力される逆量子化信号Ｓｉｑに対して逆ＤＣＴ（逆離散コサイン変換）を施し、逆変換信号Ｓｉｄを生成する処理部であり、逆変換信号Ｓｉｄを加算器１１へ出力する。逆ＤＣＴ（逆離散コサイン変換）は、各周波数項の画像を各周波数項の係数の割合に従って重ね合わせる処理であり、これによりイントラ符号化が行われた画像については、原画像のフレーム画像が復号化されることになる。また、フレーム間予測が行われた場合には差分画像が復号化されることになる。
【００５９】
（１１）加算器１１
加算器１１は、逆ＤＣＴ部１０から出力される逆変換信号Ｓｉｄと、後述するフレーム間／予測部１２から出力される補償信号Ｓｅとを加算する処理部である。この加算処理により、フレーム間予測が行われた場合の原画像のフレーム画像が復号化されることになる。加算器１１は、加算結果としての加算信号Ｓｂをフレーム間／予測部１２に出力する。
【００６０】
（１２）フレーム間／内予測部１２
フレーム間／内予測部１２は、前記動き量検出部１３から出力されるベクトル信号Ｓｖ内に含まれる動きベクトルと、加算器１１から出力される加算信号Ｓｂに含まれる復号化された原画像のフレーム画像とに基づいて、フレーム間予測を用いた動き補償処理を行う処理部である。フレーム間／内予測部１２には、２つの予測メモリが備えられており、両方向の予測を可能にしている。例えば、図２における第４画像、第５画像、第６画像、及び第９画像を例にとると、まず、第６画像についてＤＣＴ部６及び量子化部７により符号化が行われ、更に逆量子化部９及び逆ＤＣＴ部１０により第６画像の復号化が行われる。そして、この復号化された第６画像は、一旦フレーム間／内予測部１２の第１の予測メモリに蓄積され、次に、第９画像についての符号化が行われる。この符号化は、第１の予測メモリに蓄積された第６画像と、後述する動きベクトルとからフレーム間／内予測部１２によって予測画像が作成され、この予測画像と第９画像との差分画像に対して行われる。従って、逆量子化部９及び逆ＤＣＴ部１０による復号化される画像は、この差分画像となるが、加算器１１において、この差分画像と第１の予測メモリに蓄積された第６画像とが加算されることにより、第９画像が復号化されることになる。そして、この第９画像は第２の予測メモリに蓄積される。次に、第４画像の符号化が行われる。この符号化は、前方向予測と後方向予測とを用いて行われるが、まず前方向予測を用いた符号化は、第１の予測メモリに蓄積された第６画像と動きベクトルとから作成された予測画像と、第４画像との差分画像に対して行われる。次に、後方向予測を用いた符号化は、第２の予測メモリに蓄積された第９画像と動きベクトルとから作成された予測画像と、第４画像との差分画像に対して行われる。なお、第５画像についても第４画像と同様に符号化が行われる。このように、２つの予測メモリを備えたフレーム間／予測部１２により、両方向予測を用いた符号化が可能となっている。
【００６１】
ここで、予測画像の作成例について説明する。例えば、図４に示すように、時刻Ｔ１における第Ｎ−１画像のマクロブロックＡの画像が、時刻Ｔ２（＞Ｔ１）における第Ｎ画像のマクロブロックＢの画像に変化したものであるとすると、動き量検出部３において、動きベクトルＶ１が求められる。フレーム間／内予測部１２は、この動きベクトルＶ１に基づいて、予測メモリに蓄積された第Ｎ−１画像におけるマクロブロックＡの画像をマクロブロックＡ’に移動させて予測画像を作成する。従って、加算器３の加算処理によって作成される差分画像は、マクロブロックＢの画像とマクロブロックＡ’の画像との差分画像となる。そして、この差分画像と動きベクトルＶ１とが符号化されることになる。
【００６２】
以上のように、動きベクトルを用いた動き補償処理を行うことにより、実際に符号化する情報量を、画像情報そのものをそのまま符号化する場合に比して相当量圧縮して当該画像情報を符号化することができる。
【００６３】
なお、フレーム間／内予測部１２には、ピクチャ符号化の対象となっている画像が、Ｉピクチャ、Ｂピクチャ、あるいはＰピクチャの何れの形式で符号化されるべき画像であるかという情報を、前処理部１から受け取ると共に、当該情報に基づいてフレーム間予測を行うか、あるいはイントラ符号化を行うかを判定し、イントラ符号化を行うと判定した場合には、補償信号Ｓｅを加算器３に出力しないように構成されている。
【００６４】
（１３）判定部１３
判定部１３は、前記差分絶対値和算出部２から出力される差分絶対値和と、前記動き量検出部３から出力されるディストーション値とからフェード画像を判定する処理部である。以下、図５及び図６のフローチャートに基づいて、判定部１３における判定処理について説明する。
【００６５】
（フェード画像の判定処理）
まず、前処理部１において、上述したように原画像の符号化処理の順序に従う並べ替えが行われると、差分絶対値和算出部２は、前処理部１のフレームメモリに蓄積された各原画像のフィールド画像に基づいて、符号化処理の順序が前後する二つの原画像のフィールド画像から、差分絶対値和を算出する。そして、差分絶対値和算出部２は、この差分絶対値和を出力し、判定部１３はこの差分絶対値和を読み出す（ステップＳ１）。例えば、図２の例では、１番目に符号化処理される画像は第３画像であり、２番目に符号化処理されるのは第６画像である。今、符号化処理の対象となっている画像が第６画像であるとすると、差分絶対値和算出部２は、第６画像の第１フィールド画像と第３画像の第１フィールド画像との差分絶対値、及び第６画像の第２フィールド画像と第３画像の第２フィールド画像との差分絶対値を算出し、これらを合計して第６画像の第３画像に対する差分絶対値和を出力する。そして、判定部１３はこの差分絶対値和を読み出し、次に、この差分絶対値和に基づいて、第６画像が第３画像に対してどの程度の相関を有しているのかを判定する。具体的には、前記差分絶対値和が第１の基準値としての所定の閾値Ｔｈ１よりも大きいか否かを判定する（ステップＳ２）。この閾値Ｔｈ１は、フレーム画像間の相関が低い複雑な画像、あるいは画面が切り替わるシーンチェンジと、フレーム画像間の相関が高いフェード画像、あるいは通常の画像とを区別できるように、実験的に決定されるものである。
【００６６】
具体的には、視覚的に、フェード画像、シーンチェンジ、複雑な画像、及び通常シーンと判断した画像をそれぞれ５種類ずつ選び出し、それぞれの画像において、第ｎフレーム画像と、第ｎ−１フレーム画像との間で差分絶対値和を算出し、フェード画像または通常シーンと、シーンチェンジまたは複雑な画像との境界値である前記閾値Ｔｈ１を求めた。
【００６７】
例えば、視覚的にフェード画像と判断した５種類の画像のうちの１種類の画像について、第ｎフレーム画像の第１フィールド画像におけるある一つの画素の輝度値がY1、色差がCb1、Cr1であり、当該画素に対応する第ｎ−１フレーム画像の第１フィールド画像における画素の輝度値がY1'、色差がCb1'、Cr1'であるとすると、次式により差分絶対値和１を求める。
【００６８】
差分絶対値和１＝sum｜Y1-Y1'｜ + sum｜Cb1-Cb1'｜ + sum｜Cr1-Cr1'｜
ここで、上式におけるsumは、１フィールド画像内の全画素分の合計を求めることを意味している。
【００６９】
次に、前記第ｎフレーム画像の第２フィールド画像におけるある一つの画素の輝度値がY、色差がCb2、Cr2であり、当該画素に対応する前記第ｎ−１フレーム画像の第２フィールド画像における画素の輝度値がY2'、色差がCb2'、Cr2'であるとすると、次式により差分絶対値和２を求める。
【００７０】
差分絶対値和２＝sum｜Y2-Y2'｜ + sum｜Cb2-Cb2'｜ + sum｜Cr2-Cr2'｜
次に、前記差分絶対値和１と差分絶対値和２との合計を求めることにより、視覚的にフェード画像と判断した５種類の画像のうちの１種類の画像における、１フレーム分離れた画像の差分絶対値和を算出する。以下、視覚的にフェード画像と判断した他の４種類の画像についても同様に差分絶対値和を求める。次に、視覚的にシーンチェンジ、複雑な画像、及び通常シーンと判断した画像のそれぞれについて同様にして差分絶対値和を求める。
【００７１】
そして、以上のようにして求めた各画像の差分絶対値和を解析すると、フェード画像または通常シーンにおける差分絶対値和と、シーンチェンジまたは複雑な画像における差分絶対値和との間に境界値が存在する。そこで、この境界値を閾値Ｔｈ１として採用する。なお、本実施形態における閾値Ｔｈ１は、ＭＰＥＧ２のフルレゾリューション時の画素値（７２０＊４８０）に基づいて算出した。画素値が異なれば、閾値Ｔｈ１の値も異なるので、注意する必要がある。
【００７２】
但し、閾値Ｔｈ１が具体的にどのような値であっても、フェード画像または通常シーンにおける差分絶対値和は、閾値Ｔｈ１よりも小さく、シーンチェンジまたは複雑な画像における差分絶対値和は、閾値Ｔｈ１よりも大きくなる。
【００７３】
従って、読み出した差分絶対値和が閾値Ｔｈ１よりも小さければ、フレーム画像間の相関が高く、符号化処理される一連の画像がフェード画像、あるいは通常の画像である可能性があると考えられる。そこで、この場合には、フラグＦ１の値を「１」にセットする（ステップＳ３）。一方、読み出した差分絶対値和が閾値Ｔｈ１よりも大きければ、フレーム画像間の相関が低く、符号化処理される一連の画像がフェード画像である可能性が低く、シーンチェンジあるいは複雑な画像であると考えられる。そこで、この場合には、フラグＦ１の値を「０」にリセットする（ステップＳ３）。
【００７４】
次に、前処理部１から出力されたフレーム画像は、動き量検出部３に入力され、動き量検出部３において、上述した動きベクトルの検出が実行され、また予測誤差絶対値和算出部４において、上述したディストーション値の算出が実行される。そして、判定部１３は、図６に示すように差絶対値和算出部４においてディストーション値の算出が終了したか否かを判定し（ステップＳ１０）、ディストーション値の算出が終了した場合には（ステップＳ１０：ＹＥＳ）、予測誤差絶対値和算出部４から、ディストーション値を読み出す（ステップＳ１１）。例えば、図２の例で、現在符号化処理の対象となっている画像が第６画像であるとすると、予測誤差絶対値和算出部４は、第６画像の各マクロブロックについて、第３画像の対応するマクロブロックとの間の各画素ごとの輝度値の差分絶対値を算出し、それらをマクロブロックごとに合計し、更にそれらを１フレーム画像分合計してディストーション値を出力する。そして、判定部１３はこのディストーション値を読み出し、次に、このディストーション値に基づいて、第６画像が第３画像に対してどの程度の相関を有しているのかを更に細かく判定する。具体的には、前記ディストーション値が第２の基準値としての所定の閾値Ｔｈ２よりも大きいか否かを判定する（ステップＳ１２）。この閾値Ｔｈ２は、フレーム画像間の輝度値の相関がマクロブロック単位でも非常に高い通常の画像と、フレーム画像間の輝度値の相関がマクロブロック単位では低くなる複雑な画像、あるいはシーンチェンジ、もしくはフェード画像とを区別できるように、実験的に決定されるものである。
【００７５】
具体的には、前記閾値Ｔｈ１を算出した時と同じ画像を用いて、次式により第ｎフレーム画像と第ｎ−１フレーム画像との間のディストーション値を算出する。
【００７６】
ディストーション値＝sum｜Y-Y'｜
ここで、上式におけるsumは、１フレーム画像内のマクロブロックごとに算出したディストーション値を１フレーム画像分累積して合計を求めることを意味している。また、Yは第ｎフレーム画像におけるマクロブロックごとに算出した輝度値であり、Y'は第ｎ−１フレーム画像におけるマクロブロックごとに算出した輝度値である。
【００７７】
以上のようなディストーション値を、視覚的にフェード画像と判断した５種類の画像について算出し、以下、視覚的にシーンチェンジ、複雑な画像、及び通常シーンと判断した画像のそれぞれについて同様にしてディストーション値を求める。
【００７８】
そして、以上のようにして求めた各画像のディストーション値を解析すると、通常シーンにおけるディストーション値と、フェード画像、シーンチェンジまたは複雑な画像におけるディストーション値との間に境界値が存在する。そこで、この境界値を閾値Ｔｈ２として採用する。なお、本実施形態における閾値Ｔｈ２は、前記閾値Ｔｈ１と同様にＭＰＥＧ２のフルレゾリューション時の画素値（７２０＊４８０）に基づいて算出した。画素値が異なれば、閾値Ｔｈ２の値も異なるので、注意する必要がある。
【００７９】
但し、閾値Ｔｈ２が具体的にどのような値であっても、通常シーンにおけるディストーション値は、閾値Ｔｈ２よりも小さく、フェード画像、シーンチェンジまたは複雑な画像におけるディストーション値は、閾値Ｔｈ２よりも大きくなる。
【００８０】
従って、読み出したディストーション値が閾値Ｔｈ２よりも大きければ、符号化処理される一連の画像が、複雑な画像、あるいはシーンチェンジ、もしくはフェード画像である可能性があると考えられる。そこで、この場合には、フラグＦ２を「１」にセットする（ステップＳ１３）。一方、読み出したディストーション値が閾値Ｔｈ２よりも小さければ、符号化処理される一連の画像が通常の画像である可能性が高いと考えられる。そこで、この場合には、フラグＦ２を「０」にリセットする（ステップＳ１４）。
【００８１】
次に、フラグＦ２がセットされているか否かを判定し（ステップＳ１５）、セットされている場合には、フラグＦ２がセットされた画像の枚数をカウントする（ステップＳ１６）。これは、フェード画像が、複数の画像に亘って連続して閾値Ｔｈ２を超えるディストーション値を示す性質があるのに対し、シーンチェンジにおいてはフェード画像程連続して閾値Ｔｈ２を超えるディストーション値を示すことはないためであり、フェード画像とシーンチェンジとの判別を正確に行うために用いられるものである。一方、フラグＦ２がセットされていない場合には、画像の枚数を０にクリアする（ステップＳ１７）。
【００８２】
そして、フラグＦ１が「１」にセットされ、且つ、フラグＦ２が「１」にセットされ、且つ、画像の枚数が４枚を超えたか否かを判定する（ステップＳ１８）。つまり、フラグＦ１が「１」セットされている場合には、その画像がフェード画像あるいは通常の画像である可能性が高く、フラグＦ２が「１」にセットされている場合には、その画像が、フェード画像、あるいは複雑な画像、もしくはシーンチェンジである可能性が高い。従って、この両方のフラグが「１」セットされている場合には、その画像がフェード画像である可能性が極めて高くなる。
【００８３】
但し、希ではあるが、シーンチェンジの場合であっても、差分絶対値和が閾値Ｔｈ１よりも大きくなり、誤ってフラグＦ１が「１」セットされてしまうことがある。このような場合には、シーンチェンジであっても、フラグＦ１とフラグＦ２の両方のフラグが「１」にセットされてしまう。
【００８４】
しかしながら、シーンチェンジとフェード画像とでは、ディストーション値が閾値Ｔｈ２よりも大きくなる状態の連続性に違いが見られる。つまり、フェード画像においては、連続して複数のフレーム画像間に亘ってディストーション値が閾値Ｔｈ２よりも大きくなり、例えば４枚以上の画像に亘って、フラグＦ２が「１」にセットされた状態で符号化処理が行われる。
これに対し、シーンチェンジの発生によりディストーション値が閾値Ｔｈ２よりも大きくなるのは、時間的に連続する２枚のフレーム画像間のみであり、上述したような符号化処理の順序でディストーション値の判定が行われたとしても、フェード画像のように４枚数以上の枚数に亘って連続してディストーション値が閾値Ｔｈ２よりも大きくなることはない。
【００８５】
そこで、本実施形態においては、シーンチェンジをフェード画像と誤判定することを防止するために、フラグＦ２が「１」にセットされている時の画像の枚数をカウントし（ステップＳ１５）、フラグＦ２が「０」にリセットされている時には画像の枚数をクリアする（ステップＳ１７）ように構成すると共に、フラグＦ１とフラグＦ２の両方のフラグが「１」にセットされた状態における符号化処理の行われる画像の枚数を判定することとし、この画像の枚数が４枚以上となった時にフェード画像と判定するように構成した（ステップＳ１８）。
【００８６】
そして、フラグＦ１が「１」セットされ、且つフラグＦ２が「１」にセットされ、且つ画像の異数が４枚以上と判定された場合には（ステップＳ１８：ＹＥＳ）、現在符号化処理の対象となっている画像がフェード画像であると判定して、フェード画像に対応した処理を行う（ステップＳ１９）。例えば、フェード画像に対しては、動きベクトルを使用せずに、差分絶対値和の算出時のようにフレーム画像全体で差分を算出する処理が適しているので、判定部１３からフレーム間／内予測部１２に対して、このようなフェード画像用の処理を行うように指示を出す。あるいは、判定部１３は、符号割り当て部８に対して、フェード画像に適した符号化レートを用いるように指示を出す。このように構成することにより、再生画像の歪みを低減させることができる。
【００８７】
本実施形態は、以上のようにしてフェード画像を判定するので、正確な判定が可能であり、また、判定用に用いたフレームメモリは、従前の装置に備えられている前処理部とフレーム間／内予測部のフレームメモリをそのまま用いることができるので、従前の装置の有効な利用が可能となり、コストの上昇を抑えることができる。
【００８８】
（判定の具体例）
次に、図５、図６、図７及び図８を用いて、具体的な事例を基にして前記判定処理を説明する。まず、フェード画像の場合について説明する。例えば、図７において第４画像から第１８画像までがフェード画像であり、現在の符号化処理の対象が第６画像であったとすると、差分絶対値和算出部２において、原画像の順序で第６画像の一つ前のフレームである第５画像と、当該第６画像との間で、差分絶対値和が算出される。フェード画像においては、原画像の順序で隣接するフレーム画像間の差分絶対値和は閾値Ｔｈ１よりも小さくなるため、判定部１３においては第６画像の第５画像に対する差分絶対値和が閾値Ｔｈ１よりも小さいと判定され（ステップＳ２）、フラグＦ１が「１」にセットされる（ステップＳ３）。次に、動き量検出部３においては、第６画像について動きベクトルの検出が行われると共に、既にＩピクチャとして符号化された第３画像との間でディストーション値の算出が行われる。フェード画像の場合には、符号化処理の順序における各フレーム画像間のディストーション値は閾値Ｔｈ２よりも大きくなるため、判定部１３において第６画像の第３画像に対するディストーション値は閾値Ｔｈ２よりも大きいと判定され（ステップＳ１２）、フラグＦ２が「１」にセットされる（ステップＳ１３）。そして、判定部１３はフラグＦ２が「１」にセットされたので画像の枚数をカウントし（ステップＳ１６）、画像の枚数は「１」となる。その結果、フラグＦ１とフラグＦ２は「１」セットされているが画像の枚数が「１」であるため、ステップＳ１８において「ＮＯ」と判定される。
【００８９】
次に、第１画像と第２画像が符号化処理の対象となるが、これらは通常の画像であり、原画像の順序で前後の画像間の相関は高く、判定部１３はこれの画像に対して算出される差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１を「１」にセットする。また、ディストーション値は第３画像との間、及び第６画像との間で算出され、第６画像はフェード画像であり、第１画像及び第２画像との間ではある程度の大きなディストーション値が得られる。しかし、第３画像と第１画像及び第２画像はフェード画像ではない通常の画像であるので、大きなディストーション値は得られない。従って、第１画像及び第２画像に対する最終的なディストーション値は閾値Ｔｈ２よりも小さくなり（ステップＳ１２）、フラグＦ２は「０」にリセットされる（ステップＳ１４）。従って、画像の枚数はクリアされ、ステップＳ１８においては、「ＮＯ」と判定される。
【００９０】
次に、符号化処理の対象は第９画像となり、第８画像と第９画像との間で差分絶対値和が算出され、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１を「１」にセットする（ステップＳ３）。また、動き量検出部３においては、第６画像と第９画像との間でディストーション値が算出され、判定部１３においてはこのディストーション値がＴｈ２よりも大きいと判定され（ステップＳ１２）、フラグＦ２が「１」にセットされる（ステップＳ１３）。判定部１３においては、ここでもフラグＦ２が「１」にセットされているので（ステップＳ１５）、画像の枚数をカウントし（ステップＳ１６）、画像の枚数は「１」となる。従って、この場合もステップＳ１８の判定においては「ＮＯ」と判定される。
【００９１】
次に、符号化処理の対象は第４画像となり、第３画像と第４画像との間で差分絶対値和が算出され、判定部１３においてはこの差分絶対値和が閾値Ｔｈ１よりも小さいと判定され（ステップＳ２）、フラグＦ１が「１」にセットされる（ステップＳ３）。また、動き量検出部３においては、第６画像と第３画像及び第９画像と第３画像との間でディストーション値が算出されるが、これらの画像はフェード画像であるので、閾値Ｔｈ２よりも大きなディストーション値が得られ、判定部１３はこのディストーション値をＴｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。そして、判定部１３においては、フラグＦ２が「１」にセットされているので（ステップＳ１５）、画像の枚数のカウントを行い（ステップＳ１６）、画像の枚数は「２」になる。従って、ステップＳ１８の判定においては、「ＮＯ」と判定される。
【００９２】
次に、符号化処理の対象は第５画像となり、第４画像と第５画像との間で差分絶対値和が算出されるが、これらはフェード画像であるので、互いの相関が高く、判定部１３においてはこの差分絶対値和が閾値Ｔｈ１よりも小さいと判定され（ステップＳ２）、フラグＦ１が「１」にセットされる（ステップＳ３）。また、動き量検出部３においては、第６画像と第５画像及び第９画像と第５画像の間でディストーション値が算出されるが、第４画像の場合と同様に、判定部１３はこのディストーション値を閾値Ｔｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。そして、フラグＦ２が「１」にセットされているので（ステップＳ１５）、更に画像の枚数がカウントされ（ステップＳ１６）、画像の枚数はここにおいて「３」となる。従って、ステップＳ１８の判定においては、「ＮＯ」と判定される。
【００９３】
次に、符号化処理の対象は第１２画像となり、第１１画像との間で差分絶対値和が算出されるが、これらの画像はフェード画像であり、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１を「１」にセットする（ステップＳ３）。また、動き量検出部３においては、第９画像との間でディストーション値が算出されるが、これらの画像はフェード画像であるので、閾値Ｔｈ２よりも大きなディストーション値が得られ、判定部１３はこのディストーション値をＴｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。そして、判定部１３においては、フラグＦ２が「１」にセットされているので（ステップＳ１５）、画像の枚数のカウントを行い（ステップＳ１６）、画像の枚数は「４」になる。従って、ステップＳ１８の判定においては、「ＹＥＳ」と判定され、ここでフェード画像であるとの判定が行われる。そして、フェード画像に応じた動き補償を行うように、判定部１３からフレーム間／内予測部１２に対して指示を出力する（ステップＳ１９）。
【００９４】
以下、同様にして処理が繰り返されると、フラグＦ１とフラグＦ２は共に「１」にセットされ、画像枚数は次々にカウントされて増加していく。従って、ステップＳ１８おいては「ＹＥＳ」と判定され、フェード画像としての処理が継続されることになる。
【００９５】
次に、シーンチェンジが生じた場合について図８を用いて説明する。例えば、第５像と第６画像の間でシーンチェンジが生じたとし、現在の符号化処理の対象が第６画像であったとすると、差分絶対値和算出部２においては第５画像と第６画像の間で差分絶対値和が算出される。シーンチェンジが生じた第５画像と第６画像の間の相関は全くなく、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも大きいと判定し（ステップＳ２）、フラグＦ１を「０」にリセットする（ステップＳ４）。また、動き量検出部３においては、１フレーム分前に符号化処理の対象となった第３画像と、当該第６画像の間でディストーション値が算出されるが、第１画像から第５画像までの画像と、第６画像以降の画像については、マクロブロック単位で見ても相関は全くなく、判定部１３は、このディストーション値を閾値Ｔｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。従って、この場合には、フラグＦ１が「１」にセットされていないので、判定部１３はステップＳ１８において、「ＮＯ」と判定する。
【００９６】
次に、第１画像及び第２画像が符号化処理の対象となるが、これらの画像はシーンチェンジ前の通常の画像であり、差分絶対値和は閾値Ｔｈ１よりも小さいので（ステップＳ２）、フラグＦ１が「１」にセットされ（ステップＳ３）、また、ディストーション値は閾値Ｔｈ２よりも小さくなるために（ステップＳ１２）、フラグＦ２が「０」にリセットされる（ステップＳ１４）。また、この期間は画像の枚数のカウントも行われない（ステップＳ１７）。従って、ステップＳ１８においては「ＮＯ」と判定される。
【００９７】
次に、第９画像が符号化処理の対象となり、第８画像と第９画像との間の差分絶対値和が算出される。これらの画像はシーンチェンジ後の画像であり、通常の画像であるから、差分絶対値和は閾値Ｔｈ１よりも小さく（ステップＳ２）、フラグＦ１が「１」にセットされる（ステップＳ３）。また、既にＰピクチャとして符号化された第６画像との間でディストーション値が算出されるが、第６画像と第９画像はシーンチェンジ後の通常の画像であるから、ディストーション値は閾値Ｔｈ２よりも小さく（ステップＳ１２）、フラグＦ２は「０」にリセットされる（ステップＳ１４）。また、画像の枚数はカウントされない（ステップＳ１７）。従って、ステップＳ１８においては「ＮＯ」と判定される。
【００９８】
次に、第４画像が符号化処理の対象となるり、第３画像と第４画像との間で差分絶対値和が算出される。第３画像と第４画像は、シーンチェンジ前の通常であり相関が高い画像であるから、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１が「１」にセットされる（ステップＳ３）。また、第６画像及び第９画像との間でディストーション値が算出されるが、第４画像はシーンチェンジ前の画像であり、第６画像と第９画像はシーンチェンジ後の画像であるから、これらの画像間における相関は全くなく、判定部１３はこのディストーション値を閾値Ｔｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。フラグＦ２が「１」にセットされているため（ステップＳ１５）、画像の枚数がカウントされ（ステップＳ１６）、画像の枚数は「１」となる。この場合には、フラグＦ１が「１」にセットされ、且つフラグＦ２が「１」にセットされているが、画像の枚数は「１」であるから、ステップＳ１８においては、「ＮＯ」と判定される。
【００９９】
次に、第５画像が符号化処理の対象となり、第４画像と第５画像との間で差分絶対値和が算出される。第４画像と第５画像はシーンチェンジ前の通常の画像であるから、互いの相関は高く、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１を「１」にセットする（ステップＳ３）。また、第６画像及び第９画像との間でディストーション値が算出され、第４画像の場合と同様に、判定部１３はこのディストーション値を閾値Ｔｈ２よりも大きいと判定し（ステップＳ１２）、フラグＦ２を「１」にセットする（ステップＳ１３）。また、フラグＦ２が「１」にセットされているので（ステップＳ１５）、画像の枚数をカウントし（ステップＳ１６）、画像の枚数は「２」となる。この場合には、フラグＦ１が「１」にセットされ、且つフラグＦ２が「１」にセットされているが、画像の枚数は「２」であるから、ステップＳ１８においては、「ＮＯ」と判定される。
【０１００】
次に、第１２画像が符号化処理の対象となり、第１１画像との間で差分絶対値和が算出されるが、これらはシーンチェンジ後の通常の画像であるため、相関が高く、判定部１３はこの差分絶対値和を閾値Ｔｈ１よりも小さいと判定し（ステップＳ２）、フラグＦ１を「１」にセットする（ステップＳ３）。また、第９画像との間でディストーション値が算出されるが、これらもシーンチェンジ後の通常の画像であるため、判定部１３はこのディストーション値を閾値Ｔｈ２よりも小さいと判定し（ステップＳ１２）、フラグＦ２を「０」にリセットする（ステップＳ１４）。このように、フラグＦ２が「０」にリセットされるので（ステップＳ１５）、判定部１３は、画像の枚数を０にクリアする（ステップＳ１７）。従って、この場合には、フラグＦ２が「１」にセットされておらず、画像の枚数は「０」であるから、ステップＳ１８においては、「ＮＯ」と判定される。
【０１０１】
以上のように、シーンチェンジが生じ場合においても、フラグＦ１とフラグＦ２の両方が「１」にセットされ、画像の枚数のカウントが行われる場合があるが、シーンチェンジは複数の画像に亘って連続して起こる現象ではないため、画像の枚数がフェード画像の場合のように「４」以上に達することはない。
【０１０２】
また、図８において、第６画像の処理時に、シーンチェンジであるにも拘わらず誤ってフラグＦ１が「１」にセットされてしまったとしても、次に処理される第１画像において、フラグＦ１及びフラグＦ２の両方が「０」にリセットされるので、この場合においても画像の枚数が「４」以上となることはない。
【０１０３】
このように、本実施形態においては、フェード画像をシーンチェンジと誤ることなく正確に判定することができる。
【０１０４】
また、複雑な画像の場合については詳しい説明を省略するが、複雑な画像の場合には、フラグＦ１が常に「０」にリセットされているので、ステップＳ１８における判定は常に「ＮＯ」となり、フェード画像を複雑な画像と誤って判定してしまうこともない。
【０１０５】
なお、上述した実施形態においては、Ｉピクチャ、Ｂピクチャ、あるいはＰピクチャのピクチャタイプを、予め前処理部１で規則的に決定する例について説明したが、本発明はこのような構成に限定されるものではなく、例えば処理対象となる画像間の相関に基づいてピクチャタイプを決定するようにしても良い。
【０１０６】
なお、上述の実施形態ではＭＰＥＧ２方式の圧縮符号化に対して本発明を適用した場合について説明したが、本発明は、これ以外に、符号化のレートを最適化しつつ実時間で符号化を行う符号化装置に対して広く適用することができる。
【０１０７】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。
【０１０８】
【発明の効果】
請求項１に記載のフェード検出装置によれば、二つの画面間における画素毎の画素値の差分絶対値を算出すると共に、当該差分絶対値の一画面における全画素分の総和である差分絶対値和を算出する手段と、一画面を細分化した画素ブロック単位で前記差分絶対値を算出すると共に、当該画素ブロック内の前記差分絶対値の総和である差分絶対値和が最小となる画素ブロック対を所定の画素範囲内にて検出する手段と、検出された各画素ブロック対毎の差分絶対値和の一画面分の総和である予測誤差絶対値和を算出する手段とを備え、前記差分絶対値和と、前記予測誤差絶対値和とに基づいて、前記画像情報がフェード画像であるか否かを判定するので、シーンチェンジ等と誤ることなく、正確にフェード画像を判定することができる。また、前記差分絶対値和が第１の基準値よりも小であり、且つ前記予測誤差絶対値和が第２の基準値よりも大である状態が、画面により構成される画像が４つ以上に亘って連続した場合に、当該画面により構成される画像がフェード画像であると判定するので、フェード画像が、複雑な画像、シーンチェンジ、あるいは通常の画像と誤って判定されることを防止でき、正確な判定を行うことができる。
【０１１０】
請求項２に記載のフェード検出装置によれば、前記第１の基準値を、少なくともシーンチェンジが行われた画面間における前記差分絶対値和と、フェード画像または通常の画像を構成する画面間における前記差分絶対値和との境界値とし、前記第２の基準値を、フェード画像を構成する画面間またはシーンチェンジが行われた画面間における前記予測誤差絶対値和と、通常の画像を構成する画面間における前記予測誤差絶対値和との境界値としたので、フェード画像がシーンチェンジと誤って判定されることを防止でき、正確な判定を行うことができる。
【０１１１】
請求項３に記載の情報符号化装置によれば、請求項１又は２に記載のフェード検出装置と、前処理手段と、直交変換手段と、量子化手段と、符号化手段と、逆量子化手段と、逆変換手段と、動き補償手段と、演算手段とを備え、前記差分絶対値和算出手段を、前記前処理手段のフレームメモリを用いて前記差分絶対値和を算出する手段とし、前記予測誤差絶対値和算出手段を、前記動き補償手段のフレームメモリを用いて前記予測誤差絶対値和を算出する手段としたので、フェード画像の判定用に別個のフレームメモリを用いる必要がないので、従前の情報符号化装置を有効に利用してコストの上昇を抑えることができる。
【０１１２】
請求項４に記載の情報符号化装置によれば、前記符号化手段を、前記画像情報に対して所定の符号化レートによりＭＰＥＧ２（Moving Picture Expert Group 2）方式の圧縮符号化を行う手段としたので、画像情報における画質の劣化を最小限としつつ当該画像情報の圧縮符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるフェード検出装置を備えた符号化装置の概略構成を示すブロック図である。
【図２】図１の符号化装置に入力される原画像、及び当該符号化装置により圧縮化される前のフレーム画像、並びに当該符号化装置により圧縮化されたフレーム画像の関係を示す図である。
【図３】図１の符号化装置の動き量検出部における動きベクトル検出方法及び予測誤差絶対値和算出部におけるディストーション値の算出方法を説明するための図である。
【図４】図１の符号化装置のフレーム間／内予測部による予測画像の作成方法を説明するための図である。
【図５】図１の符号化装置の判定部における差分絶対値和を用いた判定処理を示すフローチャートである。
【図６】図１の符号化装置の判定部におけるディストーション値を用いた判定処理を示すフローチャートである。
【図７】図１の符号化装置の判定部におけるフェード画像の判定例を説明する図である。
【図８】図１の符号化装置の判定部におけるシーンチェンジの判定例を説明する図である。
【符号の説明】
１  前処理部
２  差分絶対値和算出部
３  動き量検出部
４  予測誤差絶対値和算出部
５  加算器
６  ＤＣＴ
７  量子化
８  符号割り当て部
９  逆量子化部
１０  逆ＤＣＴ部
１１  加算器
１２  フレーム間／内予測部
１３  判定部
【図１】
0003957915.tif 000002
【図２】
0003957915.tif 000003
【図３】
0003957915.tif 000004
【図４】
0003957915.tif 000005
【図５】
0003957915.tif 000006
【図６】
0003957915.tif 000007
【図７】
0003957915.tif 000008
【図８】
0003957915.tif 000009