(57)【特許請求の範囲】
【請求項１】
所定のフレーム毎に、映像信号の連続するフレームの１つを順次判定対象のフレームに設定し、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する映像信号処理装置であって、
前記判定対象のフレームの直流レベルを検出する直流レベル検出手段と、
前記判定対象のフレームを動き補償して得られる差分データの総和を検出する差分検出手段と、
前記直流レベル及び前記総和に基づいて、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する演算処理手段とを有し、
前記演算処理手段は、
前記直流レベルが前記直流レベルの平均値より一定値以上立ち上がった場合、前記フラッシュのフレームと判定し、
前記直流レベルが前記直流レベルの平均値より一定値以上立ち下がった場合、前記フラッシュから復帰したフレームと判定し、
前記フラッシュのフレーム及びフラッシュから復帰したフレームと判定と判定しなかった場合において、前記直流レベルが前記直流レベルの平均値より一定値以上変化した場合、又は前記総和が前記総和の平均値より一定値以上変化した場合、シーンチェンジのフレームと判定し、
前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュから復帰したフレーム、フラッシュのフレームであると判定した場合、
前記直流レベルの平均値、前記総和の平均値を前値ホールドして続く前記判定対象のフレームを判定した後、
前記平均値の計算に使用する複数フレームから、シーンチェンジのフレーム、フラッシュから復帰したフレーム、フラッシュのフレーム以前のフレームを除外して前記直流レベル検出手段、前記差分検出手段で前記直流レベルの平均値、前記総和の平均値を検出し、前記続く判定対象より以降の判定対象のフレームを判定する
ことを特徴とする映像信号処理装置。
【請求項２】
前記フラッシュから復帰したフレーム、フラッシュのフレーム及びシーンチェンジのフレームを基準にして、フレーム内符号化処理及びフレーム間符号化処理を割り当てて、前記映像信号を符号化処理する
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記映像信号の末尾側より、前記フラッシュから復帰したフレーム、シーンチェンジのフレームをフレーム間符号化処理に割り当てる
ことを特徴とする請求項２に記載の映像信号処理装置。
【請求項４】
所定のフレーム毎に、映像信号の連続するフレームの１つを順次判定対象のフレームに設定し、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する映像信号処理方法であって、
前記判定対象のフレームの直流レベルを検出する直流レベル検出のステップと、
前記判定対象のフレームを動き補償して得られる差分データの総和を検出する差分検出のステップと、
前記直流レベル及び前記総和に基づいて、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する演算処理のステップとを有し、
前記演算処理のステップは、
前記直流レベルが前記直流レベルの平均値より一定値以上立ち上がった場合、前記フラッシュのフレームと判定し、
前記直流レベルが前記直流レベルの平均値より一定値以上立ち下がった場合、前記フラッシュから復帰したフレームと判定し、
前記フラッシュのフレーム及びフラッシュから復帰したフレームと判定と判定しなかった場合において、前記直流レベルが前記直流レベルの平均値より一定値以上変化した場合、又は前記総和が前記総和の平均値より一定値以上変化した場合、シーンチェンジのフレームと判定し、
前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュから復帰したフレーム、フラッシュのフレームであると判定した場合、
前記直流レベルの平均値、前記総和の平均値を前値ホールドして続く前記判定対象のフレームを判定した後、
前記平均値の計算に使用する複数フレームから、シーンチェンジのフレーム、フラッシュから復帰したフレーム、フラッシュのフレーム以前のフレームを除外して前記直流レベル検出手段、前記差分検出手段で前記直流レベルの平均値、前記総和の平均値を検出し、前記続く判定対象より以降の判定対象のフレームを判定する
ことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置及び映像信号処理方法に関し、例えばＭＰＥＧ（Moving Picture Experts Group）により映像信号を伝送する場合に適用することができる。本発明は、所定フレーム単位で、直流レベルの変化を基準にしてフラッシュから復帰したフレーム及びフラッシュのフレームを検出した後、動き補償して得られる差分データの総和の変化を基準にして、シーンチェンジのフレームを検出することにより、簡易かつ確実にシーンチェンジ及びフラッシュを検出することができるようにする。
【０００２】
【従来の技術】
従来、映像信号の伝送においては、ＭＰＥＧ方式により映像信号のデータ量を低減して効率良く伝送するようになされている。
【０００３】
すなわちＭＰＥＧ方式のエンコーダにおいては、連続するフレームをＧＯＰ（Group Of Pictures ）単位で区切り、少なくとも１のフレームをＩピクチャーに割り当て、残りをＰピクチャー又はＢピクチャーに割り当てる。
【０００４】
ここでエンコーダは、Ｉピクチャーについては、連続する映像信号をマクロブロック単位で分割し、連続するマクロブロック毎に、ディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。これによりエンコーダは、Ｉピクチャーをフレーム内符号化処理する。
【０００５】
またエンコーダは、Ｐピクチャーについては、Ｐピクチャー又はＩピクチャーを予測フレームに設定して、マクロブロック毎に動き補償し、その結果得られる予測誤差（差分データ）をディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。これによりエンコーダは、Ｐピクチャーをフレーム間符号処理する。
【０００６】
さらにエンコーダは、Ｂピクチャーについては、適応的にフレーム間符号化処理する。すなわちエンコーダは、前フレーム予測による場合は、直前のＰピクチャー又はＩピクチャーを予測フレームに設定し、後フレーム予測による場合は、直後のＰピクチャー又はＩピクチャーを予測フレームに設定する。また双方向予測による場合は、前後のＰピクチャー又はＩピクチャーを平均値化して予測フレームを設定する。エンコーダは、この予測フレームを基準にしてマクロブロック毎に動き補償し、動き補償して得られる予測誤差を、ディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。
【０００７】
このようにして符号化するにつき、映像信号は、一般にフレーム相関が大きい特徴があり、これによりＰピクチャー及びＢピクチャーについては、フレーム間符号化処理により効率良く符号化処理することができる。これによりこの種の映像信号の伝送においては、限られた周波数帯域を有効に利用して、効率良く映像信号を伝送できるようになされている。
【０００８】
【発明が解決しようとする課題】
ところで映像信号は、場面が切り換わるシーンチェンジ、ストロボ発光等により被写体の明るさが急激に上昇するフラッシュにおいて、連続するフレーム間で連続性が乱れ、相関が急激に低下する。すなわちこのような場合、予測効率が低下する。
【０００９】
この場合に、ＭＰＥＧでは、大きな予測誤差を短時間で伝送することが困難なことにより、このシーンチェンジした直後のフレーム、フラッシュの発生したフレームがＰピクチャーに設定されると、数フレーム間、復号した画像の画質が劣化することになる。
【００１０】
この欠点を解消する１つの方法として、シーンチェンジ、フラッシュに対応するようにＩピクチャーを設定する方法が考えられる。このためにはシーンチェンジ、フラッシュを確実に検出することが必要になる。特に、放送局設備等にあっては、リアルタイムで映像信号を符号化処理して送出することが必要になることにより、シーンチェンジ、フラッシュを短時間で検出することが必要になる。
【００１１】
本発明は以上の点を考慮してなされたもので、短時間で、確実にシーンチェンジ、フラッシュを検出することができる映像信号処理装置及び映像信号処理方法を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、所定のフレーム毎に、映像信号の連続するフレームの１つを順次判定対象のフレームに設定し、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する映像信号処理装置に適用して、前記判定対象のフレームの直流レベルを検出する直流レベル検出手段と、前記判定対象のフレームを動き補償して得られる差分データの総和を検出する差分検出手段と、前記直流レベル及び前記総和に基づいて、前記判定対象のフレームが、シーンチェンジのフレーム、フラッシュのフレーム又はフラッシュから復帰したフレームであるかを判定する演算処理手段とを有し、前記演算処理手段は、前記判定対象のフレームが、シーンチェンジのフレームであると判定した場合、前記直流レベルの平均値、前記総和の平均値を前置ホールドして続く前記判定対象のフレームを判定した後、前記平均値の計算に使用する複数フレームから、シーンチェンジのフレーム、フラッシュから復帰したフレーム、フラッシュのフレーム以前のフレームを除外して前記直流レベル検出手段、前記差分検出手段で前記直流レベルの平均値、前記総和の平均値を検出し、前記続く判定対象より以降の判定対象のフレームを判定する。
【００１３】
直流レベルの変化を基準にして、フラッシュから復帰したフレーム及びフラッシュのフレームを検出すれば、簡易な処理により検出することができる。また続いて映像信号を動き補償して得られる差分データの総和の変化を基準にして、シーンチェンジのフレームを検出すれば、シーンチェンジを簡易に検出することができる。これによりこれらの処理を所定のブロック単位で実施して、このブロック分の遅延時間により短時間でシーンチェンジ等を検出することができる。
【００１４】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１５】
図２は、本発明の実施の形態に係るエンコーダを示すブロック図である。このエンコーダ１では、放送局施設に適用され、符号化制御回路４により全体の動作を制御して、ディジタルビデオ信号ＤＶ１を符号化処理する。
【００１６】
すなわちエンコーダ１において、並び替え回路３は、複数フレーム分の容量を有するメモリ回路で構成され、符号化制御回路４により制御されて、図３に示すように、ディジタルビデオ信号ＤＶ１を１５フレーム単位で区切り、さらにこの１５フレームを３フレーム単位で区切る。並び替え回路３は、この各３フレームにおいて、第３のフレーム、第１のフレーム、第２のフレームが連続するように、ディジタルビデオ信号ＤＶ１のフレームを並び替えて出力する（図３（Ａ）及び（Ｂ））。このエンコーダ１では、この１５フレームがＩＧＯＰに設定される。
【００１７】
マクロブロック化回路５は、メモリ回路で構成され、この並び替え回路３より出力されるディジタルビデオ信号ＤＶ２を入力し、ＭＰＥＧについて規定されたマクロブロックの順序で、このディジタルビデオ信号ＤＶ２を構成する輝度データ、色差データの配列を入れ換えて出力する。
【００１８】
動き検出回路６は、符号化制御回路４により制御されて予測フレームを設定し、この予測フレームを基準にしてマクロブロック化回路５の出力データより動きベクトルを検出する。ここで動き検出回路６は、図３（Ｃ）において予測フレームとの関係を矢印により示すように、マクロブロック単位で、ディジタルビデオ信号ＤＶ１のフレームの３フレーム毎にＰピクチャーを設定し、残るフレームをＢピクチャーに設定したとした場合の動きベクトルを検出する。
【００１９】
この動き検出において、動き検出回路６は、ブロックマッチングの手法を適用して、所定の動きベクトル検出範囲で動きベクトルを検出する。すなわち動き検出回路６は、予測フレーム上でマクロブロックを変位させたとして、重なり合う予測フレームとマクロブロック間の各画像データでそれぞれ差分データを検出し、この差分データの累積値の最も小さな変位位置より動きベクトルを検出する。
【００２０】
動き検出回路６は、検出した動きベクトルにおけるこの累積値ＭＥ（検出した動きベクトルにより動き補償して得られる差分データの累積値に一致する）をシーンチェンジ、フラッシュ検出回路７に出力し、また動きベクトルＶをＦＩＦＯ８に出力する。ＦＩＦＯ８は、この動きベクトルＶを所定のタイミングで動き補償回路９に出力する。
【００２１】
すなわち動き検出回路６は、Ｐピクチャーに設定したとするフレームについては、直前のＰピクチャーに設定したとするフレームを予測フレームに設定し、前フレーム予測により動きベクトルを検出する。さらのこの検出した動きベクトルにおけるこの累積値ＭＥをシーンチェンジ、フラッシュ検出回路７に出力する。
【００２２】
これに対して動き検出回路６は、Ｂピクチャーに設定したとするフレームについては、直前のＰピクチャーに設定したとするフレームを予測フレームに設定した前フレーム予測により動きベクトルを検出する。また動き検出回路６は、直後のＰピクチャーに設定したとするフレームを予測フレームに設定した後フレーム予測により動きベクトルを検出し、さらに前後のＰピクチャーに設定したとするフレームの平均値を予測フレームに設定した双方向予測による動きベクトルを検出する。さらに動き検出回路６は、これら検出した動きベクトルから、符号化制御回路４により制御されて最適な動きベクトルを選択して出力する。
【００２３】
このとき動き検出回路６は、Ｂピクチャーについては、累積値ＭＥのシーンチェンジ、フラッシュ検出回路７への出力を中止する。
【００２４】
動き補償回路９は、予測フレームを保持するフレームメモリと、このメモリのアドレスを制御するメモリ制御回路とで構成され、符号化制御回路４の制御により、加算回路１０から出力されるＩピクチャー、Ｐピクチャーの画像データを保持する。
【００２５】
さらに動き補償回路９は、符号化制御回路４よりフレーム間符号化の処理が指定されると、ＦＩＦＯ８より出力される動きベクトルＶに応じて、予測フレームの画像データを順次出力する。このとき動き補償回路９は、Ｂピクチャーについては、前フレーム又は後フレームを選択して、又は前フレーム及び後フレームを平均値化して予測フレームを生成する。これに対してＰピクチャーについては、前フレーム予測により保持した画像データを出力する。これに対して動き補償回路９は、フレーム内符号化の処理が指定されると、画像データの出力を中止する。
【００２６】
減算回路１１は、ＦＩＦＯ１２を介して、マクロブロック化回路５の出力データと、動き補償回路９の出力データを入力する。ここでフレーム内符号化の処理が指定されると、動き補償回路９から画像データの出力が中止されることにより、減算回路１１は、この場合マクロブロック化回路５の出力データをそのままディスクリートコサイン変換回路（ＤＣＴ）１４に出力する。
【００２７】
これに対してフレーム間符号化の処理が指定された場合は、マクロブロック化回路５の出力データより動き補償回路９の出力データを減算し、その結果得られる差分データをディスクリートコサイン変換回路１４に出力する。
【００２８】
ディスクリートコサイン変換回路１４は、順次入力される入力データをディスクリートコサイン変換処理して出力する。量子化回路１５は、符号化制御回路４により制御されてこのディスクリートコサイン変換回路１４の出力データを量子化して出力する。
【００２９】
逆量子化回路１６は、量子化回路１５とは逆の特性により、この量子化回路１５の出力データを量子化し、これにより量子化回路１５の入力データを再現する。逆ディスクリートコサイン変換回路（ＤＣＴ）１８は、逆量子化回路１６の出力データを逆ディスクリートコサイン変換処理し、ディスクリートコサイン変換回路１４の入力データを再現する。
【００３０】
加算回路１０は、符号化制御回路４により制御されて、所定期間の間、動き補償回路９の出力データと逆ディスクリートコサイン変換回路１８の出力データとを加算して出力する。これにより加算回路１０は、このエンコーダ１において必要とされる予測フレームの画像データを生成して、動き補償回路９に出力する。
【００３１】
可変長符号化回路（ＶＬＣ）１９は、量子化回路１５の出力データを可変長符号化処理して出力し、バッファ回路２０は、この出力データを保持して一定の転送速度により出力する。このときバッファ回路２０は、符号化制御回路４より出力されるヘッダ等のデータを付加して、保持したデータを出力する。
【００３２】
符号化制御回路４は、このエンコーダ１全体の動作を制御し、ディジタルビデオ信号ＤＶ１を区切った１５フレームで１ＧＯＰを形成するように、バッファ回路２０にヘッダ等を設定する。またディジタルビデオ信号ＤＶ１を３フレーム周期でＩピクチャー又はＰピクチャーに設定すると共に、この間のフレームについてはＢピクチャーに設定し、この一連の設定に対応するように、バッファ回路２０にヘッダ等を設定する。これによりエンコーダ１では、ＭＰＥＧに規定されたフォーマットによりディジタルビデオ信号ＤＶ１を符号化して出力するようになされている。
【００３３】
この設定において符号化制御回路４は、シーンチェンジ、フラッシュ検出回路７の検出結果に従って、後述する処理手順を実行してＩピクチャー又はＰピクチャーを設定する。
【００３４】
図４に示すようにシーンチェンジ、フラッシュ検出回路７は、累積加算器２２を有するマイクロコンピュータにより構成され、フレーム毎に、累積加算器２２によりディジタルビデオ信号ＤＶ１の平均輝度レベルを検出する。
【００３５】
すなわち累積加算器２２において、加算回路２３は、マクロブロック化回路５より出力されるディジタルビデオ信号ＤＶ２より、輝度データを選択的に入力し、レジスタ２４の出力データと加算して出力する。レジスタ２４は、この加算回路２３の出力データを保持して出力し、クリア信号ＣＬＲによりフレーム周期で保持した内容をクリアする。これにより累積加算器２２は、次式の演算処理を実行し、ディジタルビデオ信号ＤＶ２の輝度データをフレーム単位で累積加算し、各フレームにおける輝度レベルの直流レベルＤＣsum を検出して出力する。
【００３６】
【数１】
0003871075.tif 000002
なおここでｆcurr(x,y) は、１つのマクロブロック（ｘs ≦ｘ≦ｘe ，ｙs ≦ｙ≦ｙe ）における画像データの値を示す。
【００３７】
中央処理ユニット（ＣＰＵ）２６は、ランダムアクセスメモリ（ＲＡＭ）２７にワークエリアを確保してリードオンリメモリ（ＲＯＭ）２８に格納された処理プログラムを実行し、符号化制御回路４にＩピクチャーの設定を指示する。
【００３８】
すなわち中央処理ユニット２６は、Ｉピクチャー又はＰピクチャーに設定するフレームについて、次式の演算処理を実行することにより、動き検出回路６から出力される累積値ＭＥを各フレームで累積加算し、これにより動き補償した際の差分データを一画面分累積した累積値ＭＥresid （以下ＭＥ残差と呼ぶ）を検出する。
【００３９】
【数２】
0003871075.tif 000003
なおここでは動きベクトルを（mvx ，mvy ) とし、ｆref (x＋mvx ，y ＋mvy ) は、動きベクトルにより変位させた予測フレームの画像データの値を示す。
【００４０】
ここで図５に示すように、時点ｔ１のフレームでシーンチェンジが発生すると、ＭＥ残差ＭＥresid は、ディジタルビデオ信号の連続性が失われることにより、ピーク状に増大する。これに対して直流レベルＤＣsum は、シーンチェンジの前後の映像に応じた値になる。
【００４１】
これに対して図６に示すように、時点ｔ２でフラッシュが発生すると、ＭＥ残差ＭＥresid は、時点ｔ２のフレームと続くフレームとでピーク状に増大し、このピークの前後では、ほぼ等しい値となる。これに対して直流レベルＤＣsum は、時点ｔ２のフレームでピーク状に増大し、このピークの前後では、ほぼ等しい値となる。なおこのＭＥ残差ＭＥresid 及び直流レベルＤＣsum の特徴を図７にまとめて示す。
【００４２】
中央処理ユニット２６は、このようなＭＥ残差ＭＥresid 及び直流レベルＤＣsum の特徴を有効に利用して、図１及び図８に示す処理手順を実行し、シーンチェンジ、フラッシュ、フラッシュからの復帰を検出する。中央処理ユニット２６は、この検出結果に基づいて、符号化制御回路４に制御データを出力し、それぞれＢピクチャー間のフレームをＩピクチャー、Ｐピクチャーに設定する。
【００４３】
このとき中央処理ユニット２６は、Ｐピクチャー又はＩピクチャーに設定するフレームについてだけ（すなわち図３（Ｂ）について上述した第３のフレームについてだけ）、この処理手順を実行し、その分処理を簡略化する。但し、以下の説明では、この第３のフレームが連続しているものとして説明する。
【００４４】
すなわち中央処理ユニット２６は、ステップＳＰ１からステップＳＰ２に移り、ここで所定の基準値ＴＨfoutを越えて、直流レベルＤＣsum が平均値ＤＣave より立ち下がったか否か判断する。ここで平均値ＤＣave は、初期状態においては、値０に、また連続性のあるフレームが連続する場合は、直前の４フレームの直流レベルＤＣsum を平均値化して生成される。またシーンチェンジ、フラッシュから復帰した場合には、直前の直流レベルＤＣsum が設定され、その後最大４フレームまで順次フレーム数を増大して直流レベルＤＣsum を平均値化して生成される。
【００４５】
ここでフレーム間で連続性が保たれている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ３に移り、ここで所定の基準値ＴＨfin を越えて、直流レベルＤＣsum が平均値ＤＣave より立ち上がったか否か判断する。この場合同様に、フレーム間で連続性が保たれている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ４に移り、ここで所定の基準値ＴＨdch を越えて、直流レベルＤＣsum が平均値ＤＣave より変化した否か判断する。
【００４６】
この場合もフレーム間で連続性が保たれている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ５に移り、所定の基準値ＴＨmch を越えて、ＭＥ残差ＭＥresid が平均値ＭＥave より立ち上がっているか否か判断する。ここで平均値ＭＥave は、後述する処理により、最大４フレームのＭＥ残差ＭＥresid を平均値化して生成される。
【００４７】
この場合もフレーム間で連続性が保たれている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ６に移り、ここでこのフレームをノーマルのフレームに設定する。続いて中央処理ユニット２６は、ステップＳＰ７（図８）に移り、ＭＥ残差ＭＥresid の平均値ＭＥave を算出する要素変数Ｎｍｅが値０か否か判断する。ここでこの要素変数Ｎｍｅは、シーンチェンジ、フラッシュ等が検出されると、値０にセットされ、その後後述の処理手順により順次フレーム単位でインクリメントされる。
【００４８】
従ってフレーム間で連続性が保たれている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ８に移り、平均値ＭＥave を算出のための更新処理を実行する。ここで中央処理ユニット２６は、図９に示すステップＳＰ９からステップＳＰ１０に移り、平均値ＭＥave を算出するために保持した直前４個のＭＥ残差ＭＥresid を、処理対象でなる最新のフレームより逆上った４個のＭＥ残差ＭＥresid に更新する。
【００４９】
続いて中央処理ユニット２６は、ステップＳＰ１１に移り、平均値ＭＥave を算出する要素変数Ｎｍｅを値１だけインクリメントした後、続くステップＳＰ１２において、この要素変数Ｎｍｅが値４を越えるか否か判断する。ここで肯定結果が得られると、中央処理ユニット２６は、ステップＳＰ１３に移り、ここで要素変数Ｎｍｅを値４に設定した後、ステップＳＰ１４よりメインルーチンに戻る。これに対して要素変数Ｎｍｅが値４以下の場合、直接ステップＳＰ１２からステップＳＰ１４に移り、メインルーチンに戻る。
【００５０】
これにより中央処理ユニット２６は、フレーム間で連続性が保たれている場合、現在のフレームより逆上った最大４個のＭＥ残差ＭＥresid の平均値ＭＥave を算出するために保持する。
【００５１】
このようにして平均値ＭＥave を算出のための更新処理を完了すると、中央処理ユニット２６は、続いてステップＳＰ１６（図８）に移り、ここで直流レベルＤＣsum について、平均値ＤＣave 算出のための更新処理を実行する。
【００５２】
ここで中央処理ユニット２６は、図１０に示す処理手順を実行して、この平均値ＤＣave 算出のための更新処理を実行する。すなわち中央処理ユニット２６は、ステップＳＰ１８からステップＳＰ１９に移り、ここで平均値ＤＣave を算出するために保持した直前４個の直流レベルＤＣsum を、処理対象でなる最新のフレームより逆上った４個の直流レベルＤＣsum に更新する。
【００５３】
続いて中央処理ユニット２６は、ステップＳＰ２０に移り、平均値ＤＣave を算出するための要素変数Ｎｄｃを値１だけインクリメントした後、続くステップＳＰ２１において、この要素変数Ｎｄｃが値４を越えるか否か判断する。ここで肯定結果が得られると、中央処理ユニット２６は、ステップＳＰ２２に移り、ここで要素変数Ｎｄｃを値４に設定した後、ステップＳＰ２３よりメインルーチンに戻る。これに対して要素変数Ｎｄｃが値４以下の場合、直接ステップＳＰ２１からステップＳＰ２３に移り、メインルーチンに戻る。
【００５４】
このようにして平均値ＤＣave を算出のための更新処理を完了すると、中央処理ユニット２６は、続いてステップＳＰ２５（図８）に移り、ここでＭＥ残差の平均値ＭＥave 算出処理を実行する。
【００５５】
ここで中央処理ユニット２６は、図１１に示す処理手順を実行して、この平均値ＭＥave 算出の処理を実行する。すなわち中央処理ユニット２６は、ステップＳＰ２６からステップＳＰ２７に移り、要素変数Ｎｍｅが値４か否か判断する。ここでこの要素変数Ｎｍｅは、シーンチェンジ等が検出された場合に値０にセットされた後、値４を越えない範囲で、上述の平均値ＭＥave 算出のための更新処理により順次インクリメントされることにより、４フレーム以上、連続性が保たれている場合、肯定結果を得ることができる。
【００５６】
これによりこのステップＳＰ２７において肯定結果が得られると、中央処理ユニット２６は、ステップＳＰ２８に移り、上述の平均値ＭＥave 算出のための更新処理において更新された４個のＭＥ残差ＭＥresid より平均値ＭＥave を算出する。なおここで中央処理ユニット２６は、シフト演算処理により平均値ＭＥave を算出する。すなわち４個のＭＥ残差ＭＥ（０）、ＭＥ（１）、ＭＥ（２）、ＭＥ（３）を加算した後、加算結果を２ビットシフトして平均値ＭＥave を算出する。このようにして平均値ＭＥave を算出すると、中央処理ユニット２６は、ステップＳＰ２９よりメインルーチンに戻る。
【００５７】
これに対してステップＳＰ２７において否定結果が得られると、中央処理ユニット２６は、ステップＳＰ３０に移り、ここで要素変数Ｎｍｅが値２以上か否か判断する。ここでこの要素変数Ｎｍｅは、シーンチェンジ等が検出された後の、連続性のある２フレーム目及び３フレーム目ではそれぞれ値２及び値３に保持されていることにより、この場合中央処理ユニット２６は、肯定結果が得られ、ステップＳＰ３１に移る。
【００５８】
ここで中央処理ユニット２６は、上述の平均値ＭＥave 算出のための更新処理において更新された４個のＭＥ残差ＭＥresid より、最新のＭＥ残差ＭＥresid を２個選択し、シフト演算処理によりこの２個のＭＥ残差ＭＥより平均値ＭＥave を算出する。すなわち中央処理ユニット２６は、２個のＭＥ残差ＭＥ（０）、ＭＥ（１）を加算した後、加算結果を１ビットシフトして平均値ＭＥave を算出する。このようにして平均値ＭＥave を算出すると、中央処理ユニット２６は、ステップＳＰ２９よりメインルーチンに戻る。
【００５９】
これに対してステップＳＰ３０において否定結果が得られると、中央処理ユニット２６は、ステップＳＰ３２に移り、ここで要素変数Ｎｍｅが値１か否か判断する。ここでシーンチェンジ等が検出された後の１フレーム目の場合、要素変数Ｎｍｅが値０より値１にインクリメントされることにより、中央処理ユニット２６は、肯定結果が得られると、ステップＳＰ３２よりステップＳＰ３３に移り、最新のＭＥ残差ＭＥresid （ＭＥ（０））を平均値ＭＥave に設定した後ステップＳＰ２９よりメインルーチンに戻る。
【００６０】
これに対してステップＳＰ３２において否定結果が得られると、この場合シーンチェンジ等が検出された直後と考えられることにより、平均値ＭＥave を更新することなく、ステップＳＰ２９よりメインルーチンに戻る。これにより中央処理ユニット２６は、ＭＥ残差ＭＥresid を平均値化して処理することにより、ノイズの影響を有効に回避して確実にシーンチェンジ等を検出できるようになされている。また、シーンチェンジ等が発生した場合、発生直後は、前値ホールドして平均値が大きく変化しないようになされている。
【００６１】
かくしてこのようにして平均値ＭＥave を算出すると、中央処理ユニット２６は、ステップＳＰ３５に移り（図８）、直流レベルＤＣsum の平均値ＤＣave 算出処理を実行する。
【００６２】
ここで中央処理ユニット２６は、図１２に示す処理手順を実行して、この平均値ＤＣave 算出の処理を実行する。すなわち中央処理ユニット２６は、ステップＳＰ３６からステップＳＰ３７に移り、要素変数Ｎｄｃが値４か否か判断する。ここでこの要素変数Ｎｄｃは、シーンチェンジ等が検出された場合に値１にセットされた後、値４を越えない範囲で、上述の平均値ＤＣave 算出のための更新処理により順次インクリメントされる。これによりシーンチェンジ等が検出された場合に、この検出されたフレーム以降、３フレーム以上、連続性が保たれている場合、肯定結果を得ることができる。
【００６３】
これによりこのステップＳＰ３７において、肯定結果が得られると、中央処理ユニット２６は、ステップＳＰ３８に移り、上述の平均値ＤＣave 算出のための更新処理において更新された４個の直流レベルＤＣsum より平均値ＤＣave を算出する。なおここで中央処理ユニット２６は、シフト演算処理により平均値ＤＣave を算出する。すなわち４個の直流レベルＤＣ（０）、ＤＣ（１）、ＤＣ（２）、ＤＣ（３）を加算した後、加算結果を２ビットシフトして平均値ＤＣave を算出する。このようにして平均値ＤＣave を算出すると、中央処理ユニット２６は、ステップＳＰ３９よりメインルーチンに戻る。
【００６４】
これに対してステップＳＰ３７において否定結果が得られると、中央処理ユニット２６は、ステップＳＰ４０に移り、ここで要素変数Ｎｄｃが値２以上か否か判断する。ここでこの要素変数Ｎｄｃは、シーンチェンジ等が検出された後の、連続性のある１フレーム目及び２フレーム目ではそれぞれ値２及び値３に保持されていることにより、この場合中央処理ユニット２６は、肯定結果が得られ、ステップＳＰ４１に移る。
【００６５】
ここで中央処理ユニット２６は、上述の平均値ＤＣave 算出のための更新処理において更新された４個の直流レベルＤＣsum より、最新の直流レベルＤＣsum を２個選択し、シフト演算処理によりこの２個の直流レベルＤＣsum より平均値ＤＣave を算出する。すなわち中央処理ユニット２６は、２個の直流レベルＤＣ（０）、ＤＣ（１）を加算した後、加算結果を１ビットシフトして平均値ＤＣave を算出する。このようにして平均値ＤＣave を算出すると、中央処理ユニット２６は、ステップＳＰ３９よりメインルーチンに戻る。
【００６６】
これに対してステップＳＰ４０において否定結果が得られると、中央処理ユニット２６は、ステップＳＰ４２に移り、最新の直流レベルＤＣsum （ＤＣ（０））を平均値ＤＣave に設定した後ステップＳＰ２９よりメインルーチンに戻る。これにより中央処理ユニット２６は、直流レベルＤＣsum を平均値化して処理することにより、ノイズの影響を有効に回避して確実にシーンチェンジ等を検出できるようになされている。また、シーンチェンジ等が発生した場合、この変化に追従して平均値が変化するように、平均値算出の個数（要素変数Ｎｄｃに相当する）を可変するようになされている。
【００６７】
かくしてこのようにして順次平均値ＭＥave 、ＤＣave を更新すると、中央処理ユニット２６は、ステップＳＰ４４（図８）よりこの処理手順を終了する。
【００６８】
これに対してこのようにして更新される平均値ＤＣave に対して、所定の基準値ＴＨfoutを越えて直流レベルＤＣsum が立ち下がると、この場合フラッシュにより一時的に増大した直流レベルＤＣsum が元のレベルに戻ったと判断することができる。この場合中央処理ユニット２６は、ステップＳＰ２（図１）において肯定結果が得られることにより、ステップＳＰ４５に移り、ここでこのフレームをフラッシュから復帰したフレームに設定する。
【００６９】
ちなみに、フラッシュにおいては、連続して発生する場合があり、このように３フレーム間隔内でディジタルビデオ信号ＤＶ１について、フラッシュの復帰を検出する場合、直前のＩピクチャ又はＰピクチャに設定するフレームでフラッシュが発生し、その後Ｉフレーム間において続くＢピクチャで再びフラッシュが発生した場合に、このステップＳＰ２においてフラッシュからの復帰が検出される。
【００７０】
この場合中央処理ユニット２６は、ステップＳＰ４６（図８）に移り、ここで要素変数Ｎｄｃを値１にセットする。これによりこの要素変数Ｎｄｃは、続いて連続性のあるフレームが続く場合、値４を越えない範囲で順次インクリメントされることになる。さらに中央処理ユニット２６は、平均値ＤＣave を算出するために保持した直前４個の直流レベルＤＣsum を、最新の直流レベル（すなわちフラッシュの復帰したフレームの直流レベルでなる）ＤＣsum より直前４フレームの直流レベルＤＣsum で更新する。
【００７１】
これにより直流レベルＤＣsum の平均値ＤＣave は、要素変数Ｎｄｃが値１にセットされた後、順次インクリメントされることにより、フラッシュからの復帰と判断されると、このフレームの直流レベルＤＣsum が平均値ＤＣave にセットされた後、最大４フレームの範囲で、順次続くフレームの直流レベルＤＣsum を加えて、４フレームを越える場合は、最新の４フレームにより算出されるようになされている。かくするにつき、直流レベルＤＣsum の平均値ＤＣave は、フラッシュの復帰等により変化すると、この変化に追従して変化するようになされている。
【００７２】
さらにこのステップＳＰ４６において、中央処理ユニット２６は、要素変数Ｎｍｅを値０にセットする。これにより中央処理ユニット２６は、フラッシュからの復帰と判断した場合は、上述の平均値ＭＥave の算出処理において、直前の値を前値ホールドする。さらにこのフラッシュの復帰による大きく変化するＭＥ残差ＭＥresid を平均値算出基準より除外し、これにより平均値ＭＥave の大きな変動を有効に回避する。
【００７３】
なお、シーンチェンジにおいても、所定の基準値ＴＨfoutを越えて、直流レベルＤＣsum が平均値ＤＣave より立ち下がる場合がある。従ってこの実施の形態において、中央処理ユニット２６は、このようなシーンチェンジにおいても、フラッシュと同一の処理手順により処理し、その分処理手順を簡略化するようになされている。
【００７４】
かくしてこのようにして要素変数Ｎｍｅを値０にセットすると、中央処理ユニット２６は、ステップＳＰ４６よりステップＳＰ２５に移り、上述した平均値ＭＥave の算出処理を実行する。
【００７５】
これに対して平均値ＤＣave から、所定の基準値ＴＨfin を越えて直流レベルＤＣsum が立ち上がると、この場合フラッシュにより直流レベルＤＣsum が増大したと判断することができる。この場合中央処理ユニット２６は、ステップＳＰ３（図１）において肯定結果が得られることにより、ステップＳＰ４７に移り、ここでこのフレームをフラッシュのフレームに設定する。
【００７６】
さらに中央処理ユニット２６は、ステップＳＰ４６（図８）に移り、フラッシュからの復帰の場合と同様に、要素変数Ｎｄｃ、Ｎｍｅを更新し、また直流レベルＤＣsum の平均値ＤＣave を設定する。
【００７７】
これに対してシーンチャンジにおいては、フラッシュ及びフラッシュからの復帰程ではないものの、直流レベルＤＣsum が平均値ＤＣave より変化する場合がある。この場合中央処理ユニット２６は、ステップＳＰ４（図１）において肯定結果が得られることにより、ステップＳＰ４８に移り、このフレームをシーンチェンジのフレームに設定した後、ステップＳＰ４６（図８）に移り、フラッシュ及びフラッシュからの復帰と同様の処理を実行する。
【００７８】
またシーンチェンジにおいては、ＭＥ残差ＭＥresid が変化し、直流レベルＤＣsum が変化しない場合もある。この場合中央処理ユニット２６は、ステップＳＰ５（図１）において、肯定結果が得られることにより、ステップＳＰ４８に移り、このフレームをシーンチェンジのフレームに設定した後、ステップＳＰ４６（図８）に移る。
【００７９】
かくするにつき、このようにしてシーンチェンジ等が検出されて要素変数Ｎｍｅが順次インクリメントされることにより、中央処理ユニット２６は、シーンチェンジ等が検出された直後のフレームで、ステップＳＰ７（図８）において肯定結果が得られることになる。この場合中央処理ユニット２６は、ステップＳＰ７よりステップＳＰ４９に移り、要素変数Ｎｍｅを値１にセットする。これにより中央処理ユニット２６は、シーンチェンジ等を検出した場合は、ＭＥ残差ＭＥresid の平均値ＭＥave をホールドした後、続くフレームでＭＥ残差をリセットするようになされている。なお中央処理ユニット２６は、同時に平均値ＭＥave を算出するために保持した直前４個のＭＥ残差ＭＥresid を、処理対象でなるフレームより逆上った４個のＭＥ残差ＭＥresid に更新する。
【００８０】
かくして中央処理ユニット２６は、この図１及び図８の処理手順を実行することにより、直流レベルＤＣsum を基準にしてシーンチェンジ等を検出した後、この検出に漏れるシーンチェンジをＭＥ残差ＭＥresid を基準にして検出するようになされ、これにより簡易かつ確実にシーンチェンジ等を検出できるようになされている。
【００８１】
このようにして１ＧＯＰ分のディジタルビデオ信号ＤＶ２について、シーンチェンジ等を検出すると、中央処理ユニット２６は、図１３及び図１４に示す処理手順を実行し、Ｉピクチャーを設定する。なお中央処理ユニット２６は、Ｐピクチャー又はＩピクチャーに設定するフレームについてだけ、この処理手順を実行し、その分処理を簡略化する。
【００８２】
すなわち中央処理ユニット２６は、ステップＳＰ５０からステップＳＰ５１に移り、処理対象のフレームでなる現フレームをＧＯＰの最後のフレームに設定した後、ステップＳＰ５２に移り、ここで現フレームがフラッシュからの復帰か否か判断する。
【００８３】
ここで否定結果が得られると、中央処理ユニット２６は、ステップＳＰ５３に移り、現フレームがＧＯＰの最初のフレームか否か判断する。ここで否定結果が得られると、中央処理ユニット２６は、ステップＳＰ５４に移り、現フレームを１フレーム前のフレームに設定してステップＳＰ５２に戻る。
【００８４】
これにより中央処理ユニット２６は、ステップＳＰ５２−ＳＰ５３−ＳＰ５４−ＳＰ５２の処理手順を繰り返し、１ＧＯＰ中のＰピクチャー又はＩピクチャーに設定されるフレームを後ろ側より辿り、順次フラッシュからの復帰か否か判断する。この１ＧＯＰの中のＰピクチャー又はＩピクチャーに設定されるフレーム中で、フラッシュからの復帰が検出されると、中央処理ユニット２６は、ステップＳＰ５２よりステップＳＰ５５に（図１４）移り、現ピクチャーをＩピクチャーに設定する。さらに中央処理ユニット２６は、残るＢピクチャー以外のフレームをＰピクチャーに設定した後、ステップＳＰ５６に移ってこのＧＯＰの処理を終了する。
【００８５】
これにより図３（Ｅ１）に示すように、Ｐピクチャー又はＩピクチャーに設定されるフレームと、その間のＢピクチャのフレームとでフラッシュが発生し、続くフレームがＩピクチャーに設定されることになる。
【００８６】
これに対して１ＧＯＰ中のＰピクチャー又はＩピクチャーに設定されるフレーム内でフレームからの復帰が検出されない場合、中央処理ユニット２６は、ステップＳＰ５３（図１３）からステップＳＰ５６に移る。ここで中央処理ユニット２６は、再び処理対象のフレームでなる現フレームをＧＯＰの最後のフレームに設定した後、ステップＳＰ５７に移り、ここで現フレームがフラッシュでなく、かつシーンチェンジ（図１について上述したステップＳＰ４又はステップＳＰ５において肯定結果が得られた場合が該当する）か否か判断する。
【００８７】
ここで否定結果が得られると、中央処理ユニット２６は、ステップＳＰ５８に移り、現フレームがＧＯＰの最初のフレームか否か判断する。ここで否定結果が得られると、中央処理ユニット２６は、ステップＳＰ５９に移り、現フレームを１フレーム前のフレームに設定してステップＳＰ５７に戻る。
【００８８】
これにより中央処理ユニット２６は、ステップＳＰ５７−ＳＰ５８−ＳＰ５９−ＳＰ５７の処理手順を繰り返し、１ＧＯＰ中のＰピクチャー又はＩピクチャーに設定されるフレームを後ろ側より辿り、順次フラッシュでなく、かつシーンチェンジか否か判断する。この１ＧＯＰの中のＰピクチャー又はＩピクチャーに設定されるフレーム中で、フラッシュでなく、かつシーンチェンジのフレームが検出されると、中央処理ユニット２６は、ステップＳＰ５７よりステップＳＰ５５（図１４）に移り、現ピクチャーをＩピクチャーに設定する。さらに中央処理ユニット２６は、残るＢピクチャー以外のフレームをＰピクチャーに設定した後、ステップＳＰ５６に移ってこのＧＯＰの処理を終了する。
【００８９】
これにより図３（Ｅ２）に示すように、Ｐピクチャー又はＩピクチャーに設定されるフレームでシーンチェンジが発生した場合、このフレームがＩピクチャーに設定されることになる。なお図１について上述した処理手順においては、直前の２つのＢピクチャーでシーンチェンジが発生した場合も、このＰピクチャー又はＩピクチャーに設定されるフレームでシーンチェンジが発生した判断されることにより、このＰピクチャー又はＩピクチャーに設定されるフレームがＩピクチャーに設定されることになる。
【００９０】
これに対して１ＧＯＰ中にフラッシュからの復帰及びシーンチェンジの何れも存在しない場合、ステップＳＰ５８において肯定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ５８からステップＳＰ６０（図１４）に移る。ここで中央処理ユニット２６は、再び処理対象のフレームでなる現フレームをＧＯＰの最後のフレームに設定した後、ステップＳＰ６１に移り、ここで現フレームがフラッシュでないことを確認する。
【００９１】
ここで否定結果が得られると（すなわち図１について上述したステップＳＰ３において肯定結果が得られた場合が該当する）、中央処理ユニット２６は、ステップＳＰ６２に移り、現フレームがＧＯＰの最初のフレームか否か判断する。ここで否定結果が得られると、中央処理ユニット２６は、ステップＳＰ６３に移り、現フレームを１フレーム前のフレームに設定してステップＳＰ６１に戻る。
【００９２】
これにより中央処理ユニット２６は、ステップＳＰ６１−ＳＰ６２−ＳＰ６３−ＳＰ６２の処理手順を繰り返し、１ＧＯＰ中のＰピクチャー又はＩピクチャーに設定されるフレームを後ろ側より辿って、順次フラッシュでないフレームを検出する。
【００９３】
この処理ループを繰り返している際に、フラッシュでないフレームが検出されると、中央処理ユニット２６は、ステップＳＰ６１において肯定結果が得られることにより、ステップＳＰ６１からステップＳＰ５５に移り、現ピクチャーをＩピクチャーに設定する。さらに中央処理ユニット２６は、残るＢピクチャー以外のフレームをＰピクチャーに設定した後、ステップＳＰ５６に移ってこのＧＯＰの処理を終了する。
【００９４】
これに対して１ＧＯＰの中で、Ｐピクチャー又はＩピクチャーに設定されるフレームの何れもがフラッシュの場合、ステップＳＰ６２において肯定結果が得られることにより、ステップＳＰ６２からステップＳＰ５５に移り、この場合は１ＧＯＰの最初のフレームをＩピクチャーに、残りをＰピクチャーに設定する。これにより中央処理ユニット２６は、１ＧＯＰに１個、Ｉピクチャーを配置するようになされている。
【００９５】
以上の構成において、順次入力されるディジタルビデオ信号ＤＶ１は、並び替え回路３において、１５フレーム単位で区切られ、さらにこの１５フレームが３フレーム単位で区切られ、この各３フレームにおいて、第３のフレーム、第１のフレーム、第２のフレームが連続するように並び替えられ、この第１及び第２のフレームがＢピクチャーに、第３のフレームがＰピクチャー又はＩピクチャーに割り当てられる。
【００９６】
このように並び替えられたディジタルビデオ信号ＤＶ２は、続くマクロブロック化回路５において、ＭＰＥＧについて規定されたマクロブロックの順序で、輝度データ、色差データの配列が入れ換られて出力される。
【００９７】
このうちの輝度データは、シーンチェンジ検出回路（図４）の累積加算器２２において、フレーム単位で累積加算され、各フレームの直流レベルＤＣsum が検出され、この検出された直流レベルＤＣsum のうち、Ｐピクチャー又はＩピクチャーに割り当てられるフレームの直流レベルＤＣsum が、中央処理ユニット２６に入力される。
【００９８】
またディジタルビデオ信号ＤＶ２は、動き検出回路６において、各ピクチャーに対応する動きベクトルが検出され、このときＰピクチャー又はＩピクチャーに割り当てられるフレームについては、Ｐピクチャーに割り当てたとして動きベクトルが検出される。この動きベクトルの検出に使用される動き補償して残る差分データの累積値ＭＥが、Ｐピクチャー又はＩピクチャーに割り当てられるフレームについて、中央処理ユニット２６に入力され、この累積値ＭＥが１フレーム単位で累積されてＭＥ残差ＭＥresid が検出される。
【００９９】
これにより中央処理ユニット２６において、ＭＥ残差ＭＥresid 及び直流レベルＤＣsum の変化を基準にしてシーンチェンジ等が検出される。すなわち中央処理ユニット２６において（図１）、直流レベルＤＣsum が平均値ＤＣave より大きく立ち下がった場合、フラッシュからの復帰と判断されるのに対し（ステップＳＰ２）、直流レベルＤＣsum が平均値ＤＣave より大きく立ち上がると、フラッシュと判断される（ステップＳＰ３）。またこれらの場合以外で、直流レベルＤＣsum が平均値ＤＣave より所定値以上変化すると、シーンチェンジと判断され（ステップＳＰ４）、さらにこれら以外の場合でＭＥ残差ＭＥresid が平均値ＭＥave は、より大きく変化すると、この場合もシーンチェンジと判断される（ステップＳＰ５）。
【０１００】
この判断において、直流レベルＤＣsum の平均値ＤＣave は、フラッシュ等に追従して値が変化するように、更新処理され（図８、ステップＳＰ４６、ＳＰ２５、ＳＰ３５）、ＭＥ残差ＭＥresid の平均値ＭＥave は、フラッシュ等に追従して値が変化しないように、前値ホールドされる（図８、ステップＳＰ４６、ＳＰ２５、ＳＰ３５）。これによりディジタルビデオ信号ＤＶ２は、ノイズの影響を有効に回避して、確実にシーンチェンジ等が検出される。
【０１０１】
このようなシーンチェンジ等の検出が１ＧＯＰ分完了すると、ディジタルビデオ信号ＤＶ２は、中央処理ユニット２６において、Ｉピクチャー、Ｐピクチャーの設定処理が開始される（図１３、図１４）。すなわち中央処理ユニット２６では、Ｉピクチャー又はＰピクチャーに設定されるフレームについて、１ＧＯＰの後ろ側より、順次フラッシュからの復帰か否か判断され、１フレームでもフラッシュの復帰が検出されると（ステップＳＰ５２）、このフラッシュからの復帰のフレームがＩピクチャーに、残りがＰピクチャーに設定される。
【０１０２】
これに対してＩピクチャー又はＰピクチャーに設定されるフレームについて、１ＧＯＰの中で、フラッシュからの復帰が検出されない場合、１ＧＯＰの後ろ側より、フラッシュでなく、かつシーンチェンジのフレームが検出される。ここで１フレームでもこのようなフレームが検出されると（ステップＳＰ５７）、このフレームがＩピクチャーに、残りがＰピクチャーに設定される。
【０１０３】
これに対してＩピクチャー又はＰピクチャーに設定されるフレームについて、１ＧＯＰの中で、このようなフレームすら存在しない場合、１ＧＯＰの後ろ側より、フラッシュでないフレームが検出され、１フレームでもこのようなフレームが検出されると（ステップＳＰ６１）、このフレームがＩピクチャーに、残りがＰピクチャーに設定される。
【０１０４】
またこのようなフレームすら検出できない場合、１ＧＯＰの先頭フレームがＩピクチャーに、残りがＢピクチャー又はＰピクチャーに設定される。
【０１０５】
このピクチャーの設定によりディジタルビデオ信号ＤＶ２は、符号化制御回路４により全体の動作が制御されて、Ｉピクチャーがフレーム内符号化処理されて、Ｐピクチャー及びＢピクチャーがフレーム間符号化処理される。
【０１０６】
すなわちＩピクチャーにおいて、ディジタルビデオ信号ＤＶ２は、マクロブロック単位で、ディスクリートコサイン変換回路１４においてディスクリートコサイン変換処理された後、量子化回路１５で量子化され、続く可変長符号化回路１９で可変長符号化処理され、バッファ回路２０を介して出力される。このとき逆量子化回路１６で量子化回路１５の出力データが逆量子化処理された後、続く逆ディスクリートコサイン変換回路１８において逆ディスクリートコサイン変換処理され、その処理結果が動き補償回路９に蓄積されて予測フレームが保持される。
【０１０７】
またＰピクチャー等にあっては、動き補償回路９より動きベクトルの分だけアドレスの変位してなる予測フレームの画像データが出力され、この画像データとの間の差分データが、ほぼＩピクチャーの場合と同様にして符号化処理されて出力される。このときＰピクチャーにあっては、逆ディスクリートコサイン変換回路１８の出力データに動き補償回路９の出力データが加算され、これにより予測フレームが動き補償回路９に蓄積される。
【０１０８】
以上の構成によれば、ＩＧＯＰを単位にして、ＭＥ残差ＭＥresid 及び直流レベルＤＣsum の変化を基準にしてシーンチェンジ等を検出することにより、簡易かつ確実にシーンチェンジ等を検出することができる。従ってその分リアルタイムで映像信号を符号化処理して送出する場合に、適切にＩピクチャーを設定することができ、その分復号画像の画質劣化を有効に回避することができる。
【０１０９】
実際上、上述の実施の形態においては、ほぼ１ＧＯＰの遅延時間により適切にＩピクチャーを設定することができる。また動きベクトルの検出に使用される累積値ＭＥを用いてＭＥ残差ＭＥresid を検出することにより、全体構成を簡略化することができる。
【０１１０】
さらにＰピクチャー又はＩピクチャーに設定するフレームについてだけフラッシュ等を検出したことにより、その分短時間でフラッシュ等を検出することができる。
【０１１１】
なお上述の実施の形態においては、シフト演算により平均値ＭＥave 、ＤＣave 算出のための更新処理を実行する場合について述べたが、本発明はこれに限らず、通常の演算処理を適用してもよい。
【０１１２】
さらに上述の実施の形態においては、Ｉピクチャ又はＰピクチャに設定するフレームについてだけ、フラッシュ等を検出する場合について述べたが、実用上充分な処理時間を確保できる場合は全てのフレームについてフラッシュ等を検出しても良い。
【０１１３】
また上述の実施の形態においては、１５フレームで１ＧＯＰを形成する場合、３フレーム毎にＩピクチャー又はＰピクチャーを設定する場合について述べたが、本発明はこれに限らず、必要に応じてこれらの設定は種々に変更することができる。
【０１１４】
さらに上述の実施の形態においては、動きベクトルの検出に使用した累積値ＭＥを利用してＭＥ残差ＭＥresid を検出する場合について述べたが、本発明はこれに限らず、専用の演算処理回路を構成してもよい。
【０１１５】
また上述の実施の形態においては、ＭＰＥＧによりディジタルビデオ信号を符号化する場合について述べたが、本発明はこれに限らず、例えばディスクリートコサイン変換処理に代えてハー変換処理を適用する場合等、種々の予測符号化に広く適用することができる。
【０１１６】
また上述の実施の形態においては、ディジタルビデオ信号を符号化する際にシーンチェンジ等を検出する場合について述べたが、本発明はこれに限らず、シーンチェンジ等の検出結果によりディジタルビデオ信号の周波数特性を補正する場合等、種々の映像信号処理装置に広く適用することができる。
【０１１７】
【発明の効果】
上述のように本発明によれば、所定フレーム単位で、直流レベルの変化を基準にしてフラッシュから復帰したフレーム及びフラッシュのフレームを検出した後、動き補償して得られる差分データの総和の変化を基準にして、シーンチェンジのフレームを検出することにより、簡易かつ確実にシーンチェンジ及びフラッシュを検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るエンコーダにおけるシーンチェンジ等の検出の説明に供するフローチャートである。
【図２】図１のエンコーダの全体構成を示すブロック図である。
【図３】ディジタルビデオ信号の並び替えの説明に供するタイムチャートである。
【図４】シーンチェンジ、フラッシュ検出回路を示すブロック図である。
【図５】シーンチェンジの説明に供する特性曲線図である。
【図６】フラッシュの説明に供する特性曲線図である。
【図７】シーンチェンジ、フラッシュの特徴を示す図表である。
【図８】図１の続きの処理手順を示すフローチャートである。
【図９】ＭＥ残差の平均値算出のための更新処理を示すフローチャートである。
【図１０】直流レベルの平均値算出のための更新処理を示すフローチャートである。
【図１１】ＭＥ残差の平均値算出処理を示すフローチャートである。
【図１２】直流レベルの平均値算出処理を示すフローチャートである。
【図１３】Ｉピクチャーの設定処理を示すフローチャートである。
【図１４】図１３の続きの処理手順を示すフローチャートである。
【符号の説明】
１……エンコーダ、４……符号化制御回路、６……動き検出回路、７……シーンチェンジ、フラッシュ検出回路、２２……累積加算器、２６……中央処理ユニット
【図１】
0003871075.tif 000004
【図２】
0003871075.tif 000005
【図３】
0003871075.tif 000006
【図４】
0003871075.tif 000007
【図５】
0003871075.tif 000008
【図６】
0003871075.tif 000009
【図７】
0003871075.tif 000010
【図８】
0003871075.tif 000011
【図９】
0003871075.tif 000012
【図１０】
0003871075.tif 000013
【図１１】
0003871075.tif 000014
【図１２】
0003871075.tif 000015
【図１３】
0003871075.tif 000016
【図１４】
0003871075.tif 000017