(57)【特許請求の範囲】
【請求項１】
映像信号の各フレームの直流レベルを検出する直流レベル検出手段と、
前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出手段と、
前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレームを検出する演算処理手段とを有し、
前記演算処理手段は、
末尾側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が一定値以上立ち上がったフレームを、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレームとして検出する
ことを特徴とする映像信号処理装置。
【請求項２】
映像信号の各フレームの直流レベルを検出する直流レベル検出手段と、
前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出手段と、
前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュのフレームを検出する演算処理手段とを有し、
前記演算処理手段は、
先頭側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が一定値以上立ち上がったフレームを、前記映像信号のシーンチェンジのフレーム及びフラッシュのフレームとして検出する
ことを特徴とする映像信号処理装置。
【請求項３】
前記フレームの検出結果に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレームにフレーム内符号化処理を割り当てる
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項４】
前記誤差値が、最小自乗誤差値である
ことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
【請求項５】
映像信号の各フレームの直流レベルを検出する直流レベル検出のステップと、
前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出のステップと、
前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレームを検出する演算処理のステップとを有し、
前記演算処理のステップは、
末尾側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が一定値以上立ち上がったフレームを、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレームとして検出する
ことを特徴とする映像信号処理方法。
【請求項６】
映像信号の各フレームの直流レベルを検出する直流レベル検出のステップと、
前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出のステップと、
前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュのフレームを検出する演算処理のステップとを有し、
前記演算処理のステップは、
先頭側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が一定値以上立ち上がったフレームを、前記映像信号のシーンチェンジのフレーム及びフラッシュのフレームとして検出する
ことを特徴とする映像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置及び映像信号処理方法に関し、例えばＭＰＥＧ（Moving Picture Experts Group）により映像信号を伝送する場合に適用することができる。本発明は、直流レベル及び動き補償して得られる差分データの総和を曲線近似して得られる誤差値より、シーンチェンジのフレーム等を検出することにより、確実にシーンチェンジ等を検出することができるようにする。
【０００２】
【従来の技術】
従来、映像信号の伝送においては、ＭＰＥＧ方式により映像信号のデータ量を低減して効率良く伝送するようになされている。
【０００３】
すなわちＭＰＥＧ方式のエンコーダにおいては、連続するフレームをＧＯＰ（Group Of Pictures ）単位で区切り、少なくとも１のフレームをＩピクチャーに割り当て、残りをＰピクチャー又はＢピクチャーに割り当てる。
【０００４】
ここでエンコーダは、Ｉピクチャーについては、連続する映像信号をマクロブロック単位で分割し、連続するマクロブロック毎に、ディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。これによりエンコーダは、Ｉピクチャーをフレーム内符号化処理する。
【０００５】
またエンコーダは、Ｐピクチャーについては、Ｐピクチャー又はＩピクチャーを予測フレームに設定して、マクロブロック毎に動き補償し、その結果得られる予測誤差（差分データ）をディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。これによりエンコーダは、Ｐピクチャーをフレーム間符号処理する。
【０００６】
さらにエンコーダは、Ｂピクチャーについては、適応的にフレーム間符号化処理する。すなわちエンコーダは、前フレーム予測による場合は、直前のＰピクチャー又はＩピクチャーを予測フレームに設定し、後フレーム予測による場合は、直後のＰピクチャー又はＩピクチャーを予測フレームに設定する。また双方向予測による場合は、前後のＰピクチャー又はＩピクチャーを平均値化して予測フレームを設定する。エンコーダは、この予測フレームを基準にしてマクロブロック毎に動き補償し、動き補償して得られる予測誤差を、ディスクリートコサイン変換処理、量子化処理、可変長符号化処理する。
【０００７】
このようにして符号化するにつき、映像信号は、一般にフレーム相関が大きい特徴があり、これによりＰピクチャー及びＢピクチャーについては、フレーム間符号化処理により効率良く符号化処理することができる。これによりこの種の映像信号の伝送においては、限られた周波数帯域を有効に利用して、効率良く映像信号を伝送できるようになされている。
【０００８】
【発明が解決しようとする課題】
ところで映像信号は、場面が切り換わるシーンチェンジ、ストロボ発光等により被写体の明るさが急激に上昇するフラッシュにおいて、連続するフレーム間で連続性が乱れ、相関が急激に低下する。すなわちこのような場合、予測効率が低下する。
【０００９】
この場合に、ＭＰＥＧでは、大きな予測誤差を短時間で伝送することが困難なことにより、このシーンチェンジした直後のフレーム、フラッシュの発生したフレームがＰピクチャーに設定されると、数フレーム間、復号した画像の画質が劣化することになる。
【００１０】
この欠点を解消する１つの方法として、シーンチェンジ、フラッシュに対応するようにＩピクチャーを設定する方法が考えられる。このためにはシーンチェンジ等を確実に検出することが必要になる。
【００１１】
本発明は以上の点を考慮してなされたもので、確実にシーンチェンジ等を検出することができる映像信号処理装置及び映像信号処理方法を提案しようとするものである。
【００１２】
【課題を解決するための手段】
かかる課題を解決するため請求項１又は請求項２の発明においては、映像信号処理装置に適用して、映像信号の各フレームの直流レベルを検出する直流レベル検出手段と、前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出手段と、前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレーム、又はシーンチェンジのフレーム及びフラッシュのフレームを検出する演算処理手段とを有し、前記演算処理手段は、末尾側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が前記一定値以上立ち上がるフレームを、前記シーンチェンジのフレーム及びフラッシュから復帰したフレームとして検出し、又は先頭側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が前記一定値以上立ち上がるフレームを、前記シーンチェンジのフレーム及びフラッシュのフレームとして検出する。
【００１３】
また請求項５又は請求項６の発明は、映像信号処理方法に適用して、映像信号の各フレームの直流レベルを検出する直流レベル検出のステップと、前記映像信号を動き補償して得られる差分データの総和を各フレームで検出する差分検出のステップと、前記直流レベル及び前記総和に基づいて、前記映像信号のシーンチェンジのフレーム及びフラッシュから復帰したフレーム、又はシーンチェンジのフレーム及びフラッシュのフレームを検出する演算処理のステップとを有し、前記演算処理のステップは、末尾側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が前記一定値以上立ち上がるフレームを、前記シーンチェンジのフレーム及びフラッシュから復帰したフレームとして検出し、又は先頭側のフレームから順次、前記直流レベルを曲線近似して得られる近似曲線に対する前記直流レベルの誤差値及び前記総和を曲線近似して得られる近似曲線に対する前記総和の誤差値が前記一定値以上立ち上がるフレームを、前記シーンチェンジのフレーム及びフラッシュのフレームとして検出する。
【００１４】
直流レベル又は映像信号を動き補償して得られる差分データの総和を曲線近似して得られる誤差値においては、連続するフレーム間で連続性が保持されている場合、小さな値が得られる。これに対して、連続するフレーム間で連続性が乱れている場合、誤差値においては、値が大きくなる。これによりこの誤差値を基準にしてシーンチェンジ等を確実に検出することができる。
【００１５】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１６】
図２は、本発明の実施の形態に係るエンコーダを示すブロック図である。このエンコーダ１では、光ディスクの編集作業に適用される。このエンコーダ１は、ディジタルビデオ信号ＤＶ１を事前に処理してＩピクチャーを設定した後（以下事前の処理と呼ぶ）、その後、この事前の処理による設定に従って改めてディジタルビデオ信号ＤＶ１を符号化処理する。従ってこのエンコーダ１には、事前の処理において、符号化対象でなる一連のディジタルビデオ信号ＤＶ１が入力された後、符号化処理においてこのディジタルビデオ信号ＤＶ１が改めて入力される。
【００１７】
すなわちエンコーダ１において、並び替え回路３は、複数フレーム分の容量を有するメモリ回路で構成され、符号化制御回路４により制御されて動作を切り換える。この並び替え回路３は、事前の処理において、順次入力されるディジタルビデオ信号ＤＶ１を３フレーム単位で区切り、各区切りの先頭フレームを選択的に出力する。これにより並び替え回路３は、図３に示すように、ディジタルビデオ信号ＤＶ１の第１、第４、第７、……のフレームが順次連続してなるディジタルビデオ信号ＤＶ３を出力する（図３（Ａ）及び（Ｃ１））。
【００１８】
これに対して符号化処理において、並び替え回路３は、事前の処理により設定されたピクチャーの配列に従って、ディジタルビデオ信号ＤＶ１のフレームを並び替えて出力する（図３（Ａ）及び（Ｂ））。すなわちこの場合は、事前の処理において選択した第１、第４、第７、……のフレームをＩピクチャー又はＰピクチャーに設定し、残りをＢピクチャーに設定するように、ディジタルビデオ信号ＤＶ１のフレームを並び替えて出力する。すなわち、この場合並び替え回路３は、ディジタルビデオ信号ＤＶ１を３フレーム単位で区切り、それぞれ各区切りの先頭フレームが直前の区切りの先頭に配置されるように、ディジタルビデオ信号ＤＶ１のフレームを並び替えて出力する。
【００１９】
マクロブロック（ＭＢ）化回路５は、メモリ回路で構成され、事前の処理及び符号化処理において、この並び替え回路３より出力されるディジタルビデオ信号ＤＶ２又はＤＶ３を入力し、ＭＰＥＧについて規定されたマクロブロックの順序で、このディジタルビデオ信号ＤＶ２又はＤＶ３を構成する輝度データ、色差データの配列を入れ換えて出力する。
【００２０】
動き検出回路６は、符号化制御回路４により制御されて、事前の処理においては、マクロブロック化回路５より出力されるディジタルビデオ信号ＤＶ３について、順次連続するフレーム間で、直前のフレームを予測フレームに設定した動きベクトルを検出する（図３（Ｃ１））。なおこの図３においては、予測フレームとの関係により動きベクトルを矢印により示す。
【００２１】
これに対して符号化処理において、動き検出回路６は、この事前の処理により設定されたピクチャーの配列に従って、予測フレームを設定し、この予測フレームを基準にしてマクロブロック化回路５の出力データより動きベクトルを検出する（図３（Ｃ２））。
【００２２】
この動き検出において、動き検出回路６は、ブロックマッチングの手法を適用して、所定の動きベクトル検出範囲で動きベクトルを検出する。すなわち動き検出回路６は、予測フレーム上でマクロブロックを変位させたとして、重なり合う予測フレームとマクロブロック間の各画像データでそれぞれ差分データを検出し、この差分データの累積値ＭＥの最も小さな変位位置より動きベクトルを検出する。
【００２３】
動き検出回路６は、事前の処理において、検出した動きベクトルにおける累積値ＭＥ（検出した動きベクトルにより動き補償して得られる差分データの累積値に一致する）をシーンチェンジ、フラッシュ検出回路７に出力する。
【００２４】
これに対して符号化処理において、動き検出回路６は、検出した動きベクトルＶをＦＩＦＯ８に出力する。ＦＩＦＯ８は、この動きベクトルＶを所定のタイミングで動き補償回路９に出力する。すなわち動き検出回路６は、Ｐピクチャーに設定するフレームについては、直前のＰピクチャー又はＩピクチャーを予測フレームに設定して動きベクトルを検出する。
【００２５】
これに対して動き検出回路６は、Ｂピクチャーについては、直前の２つのＰピクチャー又はＩピクチャーを予測フレームに設定した前フレーム予測又は後フレーム予測により２種類の動きベクトルを検出する。また動き検出回路６は、直前の２つのＰピクチャー又はＩピクチャーの平均値を予測フレームに設定して動きベクトルを検出する。さらに動き検出回路６は、これら検出した動きベクトルから、符号化制御回路４により制御されて最適な動きベクトルを選択して出力する。
【００２６】
かくするにつき動き検出回路６は、事前の処理において、符号化処理ではＰピクチャー及びＩピクチャーに設定されるフレームを全てＰピクチャーに設定して、このＰピクチャーだけで順次動きベクトルＶ及び累積値ＭＥを検出することになる。
【００２７】
動き補償回路９は、予測フレームを保持するフレームメモリと、このメモリのアドレスを制御するメモリ制御回路とで構成され、符号化制御回路４の制御により、事前の処理においては動作を停止する。これに対して符号化処理において、動き補償回路９は、加算回路１０から出力されるＩピクチャー、Ｐピクチャーの画像データを保持し、ＦＩＦＯ８より出力される動きベクトルＶに応じて保持した画像データを順次出力する。すなわち符号化制御回路４よりフレーム間符号化の処理が指定されると、ＦＩＦＯ８より出力される動きベクトルＶに応じて、予測フレームの画像データを動きベクトルＶに応じて変位したタイミングにより出力する。
【００２８】
このときＢピクチャーについては、前フレーム又は後フレームを選択して、又は前フレーム及び後フレームを平均値化して予測フレームを生成する。これに対してフレーム内符号化の処理が指定されると、画像データの出力を中止する。
【００２９】
減算回路１１は、符号化制御回路４により制御されて事前の処理においては動作を停止する。これに対して符号化処理において、減算回路１１は、ＦＩＦＯ１２を介して、マクロブロック化回路５の出力データと、動き補償回路９の出力データを入力し、差分データを出力する。このときフレーム内符号化の処理が指定されると、動き補償回路９から画像データの出力が中止されることにより、減算回路１１は、この場合マクロブロック化回路５の出力データをそのままディスクリートコサイン変換回路（ＤＣＴ）１４に出力する。
【００３０】
ディスクリートコサイン変換回路１４は、事前の処理においては動作を停止する。これに対して符号化処理において、順次入力される入力データをディスクリートコサイン変換処理して出力する。量子化回路１５は、符号化制御回路４により制御されて、事前の処理で動作を停止し、符号化処理においては、ディスクリートコサイン変換回路１４の出力データを量子化して出力する。
【００３１】
逆量子化回路１６は、符号化処理において、量子化回路１５とは逆の特性により、この量子化回路１５の出力データを量子化し、これにより量子化回路１５の入力データを再現する。逆ディスクリートコサイン変換回路（ＤＣＴ）１８は、逆量子化回路１６の出力データを逆ディスクリートコサイン変換処理し、ディスクリートコサイン変換回路１４の入力データを再現する。
【００３２】
加算回路１０は、符号化制御回路４により制御されて、符号化処理において、所定期間の間、動き補償回路９の出力データと逆ディスクリートコサイン変換回路１８の出力データとを加算して出力する。これにより加算回路１０は、このエンコーダ１において必要とされる予測フレームの画像データを生成して、動き補償回路９に出力する。
【００３３】
可変長符号化回路（ＶＬＣ）１９は、量子化回路１５の出力データを可変長符号化処理して出力し、バッファ回路２０は、この出力データを保持して一定の転送速度により出力する。このときバッファ回路２０は、符号化制御回路４より出力されるヘッダ等のデータを付加して、保持したデータを出力する。
【００３４】
符号化制御回路４は、このエンコーダ１全体の動作を制御し、事前の処理においては、並べ替え回路３、マクロブロック化回路５、動き検出回路６のみ動作を立ち上げる。これによりエンコーダ１では、ディジタルビデオ信号ＤＶ１のＩピクチャー又はＰピクチャーに設定するフレーム間で、順次、動きベクトルＶ及び累積値ＭＥを検出する。
【００３５】
これに対して符号化処理においては、この事前の処理により設定されたピクチャー配列により、動き補償回路９等の動作を制御し、またバッファ回路２０にヘッダ等を設定する。これによりエンコーダ１では、ＭＰＥＧに規定されたフォーマットによりディジタルビデオ信号ＤＶ１を符号化して出力するようになされている。
【００３６】
図４に示すようにシーンチェンジ、フラッシュ検出回路７は、累積加算器２２を有するマイクロコンピュータにより構成され、事前の処理において、フレーム毎に、累積加算器２２によりディジタルビデオ信号ＤＶ３（ＤＶ１）の平均輝度レベルを検出する。
【００３７】
すなわち累積加算器２２において、加算回路２３は、マクロブロック化回路５より出力されるディジタルビデオ信号ＤＶ３より、輝度データを選択的に入力し、レジスタ２４の出力データと加算して出力する。レジスタ２４は、この加算回路２３の出力データを保持して出力し、クリア信号ＣＬＲによりフレーム周期で保持した内容をクリアする。これにより累積加算器２２は、次式の演算処理を実行して、ディジタルビデオ信号ＤＶ３（ＤＶ１）の輝度データをフレーム単位で累積加算し、各フレームにおける輝度レベルの直流レベルＤＣsum を検出して出力する。
【００３８】
【数１】
0003871076.tif 000002
なおここでｆcurr(x,y) は、１つのマクロブロック（ｘs ≦ｘ≦ｘe ，ｙs ≦ｙ≦ｙe ）における画像データの輝度レベルを示す。
【００３９】
中央処理ユニット（ＣＰＵ）２６は、ランダムアクセスメモリ（ＲＡＭ）２７にワークエリアを確保してリードオンリメモリ（ＲＯＭ）２８に格納された処理プログラムを実行し、符号化制御回路４にＩピクチャーの設定を指示する。
【００４０】
すなわち中央処理ユニット２６は、ディジタルビデオ信号ＤＶ３の各フレーム毎に、次式の演算処理を実行することにより、ディジタルビデオ信号ＤＶ１のＩピクチャー又はＰピクチャーに設定するフレームについて、動き検出回路６から出力される累積値ＭＥを各フレームで累積加算し、これにより動き補償した際の差分データを一画面分累積した累積値ＭＥresid （以下ＭＥ残差と呼ぶ）を検出する。
【００４１】
【数２】
0003871076.tif 000003
なおここでは動きベクトルを（mvx ，mvy ) とし、ｆref (x＋mvx ，y ＋mvy ) は、動きベクトルにより変位させた予測フレームの画像データの値を示す。
【００４２】
ここで図５に示すように、時点ｔ１のフレームでシーンチェンジが発生すると、ディジタルビデオ信号の連続性が失われることにより、ＭＥ残差ＭＥresid は、ピーク状に増大する。これに対して直流レベルＤＣsum は、シーンチェンジの前後の映像に応じた値になる。
【００４３】
これに対して図６に示すように、時点ｔ２でフラッシュが発生すると、ＭＥ残差ＭＥresid は、時点ｔ２のフレームと続くフレームとでピーク状に増大し、このピークの前後では、ほぼ等しい値となる。これに対して直流レベルＤＣsum は、時点ｔ２のフレームでピーク状に増大し、このピークの前後では、ほぼ等しい値となる。なおこのＭＥ残差ＭＥresid 及び直流レベルＤＣsum の特徴を図７にまとめて示す。
【００４４】
中央処理ユニット２６は、このようなＭＥ残差ＭＥresid 及び直流レベルＤＣsum の特徴を有効に利用して、図１及び図１０に示す処理手順を実行し、シーンチェンジのフレーム及びフラッシュから復帰したフレームを検出する。また中央処理ユニット２６は、この検出結果に基づいて、ディジタルビデオ信号ＤＶ１のＢピクチャー間のフレームを、Ｉピクチャー、Ｐピクチャーに設定する。
【００４５】
すなわち中央処理ユニット２６は、事前の処理において、順次検出されるＭＥ残差ＭＥresid 及び直流レベルＤＣsum を一旦ワークエリアに格納して保持し、ディジタルビデオ信号ＤＶ３についてこのＭＥ残差ＭＥresid 及び直流レベルＤＣsum の検出を完了すると、ステップＳＰ１からステップＳＰ２に移り、ここでフラッシュ等の状態を示すフラグｐｒｅｖを値０にセットする。
【００４６】
続いて中央処理ユニット２６は、ステップＳＰ３に移り、判定対象のフレームを特定する変数ｃｕｒｒに、最後のフレーム番号から所定の数値Ｎｕｍ−１を減じた数字をセットする。ここで最後のフレーム番号は、この事前の処理対象となったディジタルビデオ信号ＤＶ３のフレーム数であり、数値Ｎｕｍは、この処理において最小自乗法が適用される判定区間（サンプリング数）である。これにより中央処理ユニット２６は、ディジタルビデオ信号ＤＶ３の末尾のフレームより、このサンプリング数だけ逆上ったフレームを処理対象のフレームに設定し、順次この処理手順を繰り返すことにより、時間軸を逆に辿ってシーンチェンジ等を検出する。
【００４７】
続いて中央処理ユニット２６は、ステップＳＰ４に移り、ここで変数ｃｕｒｒにより特定されるフレームについて、ＭＥ残差の最小自乗誤差を検出する。すなわち中央処理ユニット２６は、数値Ｎｕｍで指定される判定区間を対象としてＭＥ残差ＭＥresid を次式により二次曲線に近似する。ここでｘは、この判定区間のＭＥ残差ＭＥresid に順次対応するフレームの番号でなる。
【数３】
0003871076.tif 000004
【００４８】
中央処理ユニット２６は、この（３）式の近似式より、次式
【数４】
0003871076.tif 000005
の演算処理を実行し、この判定区間における定数ａ、ｂ、ｃを計算する。なおここでこの中央処理ユニットは、変数ｃｕｒｒにより特定されるフレームを先頭にして、このフレームから末尾側Ｎｕｍフレームを、この演算処理の判定区間に設定する。また次式によりＡを計算する。
【数５】
0003871076.tif 000006
【００４９】
さらに中央処理ユニット２６は、計算した定数ａ、ｂ、ｃを用いて、次式の演算処理を実行し、これにより変数ｃｕｒｒにより特定されるフレームについて、ＭＥ残差ＭＥresid の最小自乗誤差ｆを計算する。
【数６】
0003871076.tif 000007
【００５０】
続いて中央処理ユニット２６は、ステップＳＰ５に移り、ここで変数ｃｕｒｒにより特定されるフレームについて、直流レベルＤＣsum の最小自乗誤差を検出する。すなわち中央処理ユニット２６は、数値Ｎｕｍによる判定区間の直流レベルＤＣsum を次式により二次曲線に近似する。
【数７】
0003871076.tif 000008
【００５１】
中央処理ユニット２６は、この（７）式の近似式より、次式
【数８】
0003871076.tif 000009
の演算処理を実行し、この判定区間における定数ａ、ｂ、ｃを計算する。このとき中央処理ユニット２６は、ＭＥ残差ＭＥresid による最小自乗誤差を検出する場合に比して、判定区間を先頭側に１フレームだけずらして一連の演算処理を実行する。また上述の（５）式により値Ａを算出する。
【００５２】
さらに中央処理ユニット２６は、計算した定数ａ、ｂ、ｃを用いて、次式の演算処理を実行し、これにより変数ｃｕｒｒにより特定されるフレームについて、直流レベルＤＣsum の最小自乗誤差ｆを計算する。
【数９】
0003871076.tif 000010
【００５３】
このようにしてＭＥ残差ＭＥresid 及び直流レベルＤＣsum の最小自乗誤差ｆをそれぞれ計算すると、中央処理ユニット２６は、ステップＳＰ６に移り、ＭＥ残差ＭＥresid 及び直流レベルＤＣsum の最小自乗誤差ｆが共に所定の基準値ＴＨme及びＴＨdc以下か否か判断する。
【００５４】
ここで図８に示すように、判定区間を５サンプリングに設定した場合、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeは、この判定区間が末尾側より、シーンチェンジのフレーム（時点ｔ１）に差しかかると急激に値が増大する。またこの判定区間がシーンチェンジのフレーム（時点ｔ１）を通り過ぎるまで大きな値に保持される。
【００５５】
これに対して直流レベルＤＣsum の最小自乗誤差ｆdcは、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeから、１フレームだけ判定区間が先頭フレーム側に移動したタイミングで立ち上がり、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeと同時に立ち下がる。
【００５６】
また図９に示すように、フラッシュの場合、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeは、この判定区間が末尾側より、フラッシュ（時点ｔ２）から復帰したフレームに差しかかると急激に値が増大し、またこの判定区間がフラッシュのフレームを通り過ぎるまで大きな値に保持される。
【００５７】
これに対して直流レベルＤＣsum の最小自乗誤差ｆdcは、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeに比して、１フレームだけこの判定区間が先頭フレーム側に移動したタイミングで立ち上がり、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeと同時に立ち下がる。
【００５８】
これによりＭＥ残差ＭＥreid の最小自乗誤差ｆmeについて注目すると、先頭側より見て、そのフレームは値が大きく、続くフレームでは値の小さなフレームが、シーンチェンジのフレーム及びフラッシュから復帰したフレームと判断することができる。また直流レベルＤＣsumの最小自乗誤差ｆdcについて注目すると、先頭側より見て、そのフレームの直前は値が大きく、そのフレーム以降では値の小さなフレームが、シーンチェンジのフレーム及びフラッシュから復帰したフレームと判断することができる。
【００５９】
これを逆方向の末尾側から見たとき、ＭＥ残差ＭＥreid の最小自乗誤差ｆmeについては、値が大きく立ち上がったフレームがシーンチェンジのフレーム及びフラッシュから復帰したフレームになり、直流レベルＤＣsum の最小自乗誤差ｆdcについては、値が大きく立ち上がったフレームの手前のフレームがシーンチェンジのフレーム及びフラッシュから復帰したフレームになる。
【００６０】
フレーム間予測により符号化する場合、このようにシーンチェンジのフレーム及びフラッシュから復帰したフレームをフレーム間符号化処理に設定すると画質劣化が長引くことになる。このようなフレームは、シーンチェンジのフレームか、フラッシュから復帰したフレームかを区別することなく、フレーム内符号化処理して、すなわちＩピクチャーに設定して復号画像の画質劣化を向上することができる。
【００６１】
これにより中央処理ユニット２６は、このように末尾側から見て、ＭＥ残差ＭＥresid の最小自乗誤差ｆmeが大きく立ち上がったフレーム、直流レベルＤＣsum の最小自乗誤差ｆdcが大きく立ち上がったフレームの直前のフレームを検出し、シーンチェンジとフラッシュから復帰したフレームとを纏めて検出する。さらに検出したフレーム間でシーンチェンジとフラッシュとで区別することなくＩピクチャーを設定し、その分処理を簡略化する。
【００６２】
すなわち中央処理ユニット２６は、ステップＳＰ６において、肯定結果が得られると、ステップＳＰ７に移り（図１０）、ここでフラッシュ等の状態を示すフラグｐｒｅｖを改めて値０にセットする。続いて中央処理ユニット２６は、ステップＳＰ８に移り、判定対象のフレームを特定する変数ｃｕｒｒが値１か否か判断することにより、先頭フレームまで処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ９において変数ｃｕｒｒを値１だけ減算した後、ステップＳＰ４に戻る。
【００６３】
これにより中央処理ユニット２６は、フレーム間で連続性が保持されている場合、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ４の処理手順を繰り返す。
【００６４】
このようにして処理を繰り返している際に、シーンチェンジ又はフラッシュから復帰したフレームが判定対象のフレームになると、ステップＳＰ６において否定結果が得られ、中央処理ユニット２６は、ステップＳＰ１０に移る。ここで中央処理ユニット２６は、フラッシュ等の状態を示すフラグｐｒｅｖが値１にセットされているか否か判断する。
【００６５】
ここで直前までフレーム間の連続性が保持されている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ１１に移り、ここで判定対象のフレーム番号をフラッシュ等を示す識別フラグｐｒｉｏｒと共にワークエリアに記録する。中央処理ユニット２６は、この識別フラグｐｒｉｏｒ及び対応するフレーム番号の記録により、Ｉピクチャーの設定候補をリスト化する。
【００６６】
続いて中央処理ユニット２６は、ステップＳＰ１２に移り、フラッシュ等の状態を示すフラグｐｒｅｖを値１にセットした後、ステップＳＰ８に戻る。これにより中央処理ユニット２６は、続いて先頭側のフレームを判定する場合、ステップＳＰ６において否定結果が得られ、続くステップＳＰ１０においてもＭＥ残差ＭＥresid の最小自乗誤差ｆme又は直流レベルＤＣsum の最小自乗誤差ｆdcが大きく立ち上がっていることにより否定結果が得られることになる。
【００６７】
この場合中央処理ユニット２６は、ステップＳＰ１０から直接ステップＳＰ１２に移り、最小自乗誤差の判定区間がシーンチェンジ、フラッシュのフレームを通過するまで、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ１０−ＳＰ１２−ＳＰ８−ＳＰ９−ＳＰ４の処理手順を繰り返す。また最小自乗誤差の判定区間がシーンチェンジ、フラッシュのフレームを通過すると、ステップＳＰ６において肯定結果が得られることにより、再びステップＳＰ６において否定結果が得られるまでの期間の間、ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ４の処理手順を繰り返す。
【００６８】
このようにして処理を繰り返して、ディジタルビデオ信号ＤＶ３の先頭フレームになると、中央処理ユニット２６は、ステップＳＰ８において肯定結果が得られることにより、ステップＳＰ１３に移ってこの処理手順を終了する。
【００６９】
かくして中央処理ユニット２６は、この処理により検出したシーンチェンジ及びフラッシュから復帰したフレームをワークエリアに記録して、リストを作成する。
【００７０】
ところでこのようにして検出したフレームをＩピクチャーに設定する場合、単に検出されたフレームだけをＩピクチャーに設定すると、Ｉピクチャー間の間隔が極端に長くなり、途中からの再生が困難になる。このため中央処理ユニット２６は、図１１に示す処理手順を実行し、この作成したリストに従って、Ｉピクチャーを適切に設定する。
【００７１】
すなわち中央処理ユニット２６は、ステップＳＰ２０からステップＳＰ２１に移り、ここで予め設定された全てのチャプターについて、先頭フレームをＩピクチャーに設定する。続いて中央処理ユニット２６は、ステップＳＰ２２に移り、上述の処理手順により作成したリストが空か否か判断する。
【００７２】
ここでこのリストにシーンチェンジのフレーム等が記録されている場合、否定結果が得られることにより、中央処理ユニット２６は、ステップＳＰ２３に移り、このリストから要素を１つ取り出す。すなわち中央処理ユニット２６は、このリストより先の処理手順により検出したフレーム番号を取り出して、取り出したフレーム番号をこのリストより削除する。
【００７３】
続いて中央処理ユニット２６は、ステップＳＰ２４に移り、ここでこのフレーム番号のフレームをＩピクチャーにセットした後、ステップＳＰ２２に戻る。これにより中央処理ユニット２６は、ステップＳＰ２２−ＳＰ２３−ＳＰ２４−ＳＰ２２の処理手順を繰り返し、リストに登録されたシーンチェンジのフレーム及びフラッシュから復帰したフレームを全てＩピクチャーに設定する。
【００７４】
このようにしてリストに登録されたシーンチェンジのフレーム及びフラッシュから復帰したフレームを全てＩピクチャーに設定すると、中央処理ユニット２６は、ステップＳＰ２２において肯定結果が得られることにより、ステップＳＰ２５に移る。
【００７５】
ここで中央処理ユニット２６は、事前に設定された最大ＧＯＰ（ＭＡＸ  ＧＯＰ）の長さを越えるＧＯＰが存在するか否か判断する。なおこの場合には、Ｉピクチャーから次のＩピクチャーまでを１つのＧＯＰとして取り扱う。ここで肯定結果が得られると、中央処理ユニット２６は、ステップＳＰ２６に移り、この最大ＧＯＰの長さを越えるＧＯＰの１つを処理対象に設定する。
【００７６】
続いて中央処理ユニット２６は、ステップＳＰ２７において、この処理対象に設定したＧＯＰの長さ（フレーム数）を検出し、この検出した長さを基準にして、最大ＧＯＰの長さを越えない範囲で、処理対象に設定したＧＯＰを順次均等に区分する。これにより中央処理ユニット２６は、このＧＯＰに設定すべきＩピクチャーの個数ｎを計算する。
【００７７】
続いて中央処理ユニット２６は、ステップＳＰ２８に移り、このＧＯＰの各区分した先頭フレームをＩピクチャーに設定し、これによりこのＧＯＰにｎ個のＩピクチャーを設定した後、ステップＳＰ２５に戻る。これにより中央処理ユニット２６は、順次ステップＳＰ２５−ＳＰ２６−ＳＰ２７−ＳＰ２８−ＳＰ２５の処理手順を繰り返し、全てのＧＯＰを最大ＧＯＰ以下の長さに設定する。さらにこの設定が完了すると、ステップＳＰ２８において否定結果が得られることにより、ステップＳＰ２５からステップＳＰ２９に移り、この処理手順を終了する。
【００７８】
これにより符号化制御回路４は、この処理手順により設定されたＩピクチャー以外の、Ｂピクチャー間のフレームについては、Ｐピクチャーに設定して符号化処理を実行する（図３（Ｄ１）及び（Ｄ２））。
【００７９】
以上の構成において、順次入力されるディジタルビデオ信号ＤＶ１は、事前の処理において、並び替え回路３により３フレーム単位で区切られ、この各３フレームの先頭フレームだけが選択されて続くマクロブロック化回路５に入力され、ここでＭＰＥＧについて規定されたマクロブロックの順序で、輝度データ、色差データの配列が入れ換られて出力される。
【００８０】
このうちの輝度データは、シーンチェンジ、フラッシュ検出回路（図４）の累積加算器２２において、フレーム単位で累積加算され、各フレームの直流レベルＤＣsum が検出され、この検出された直流レベルＤＣsum が、中央処理ユニット２６に入力される。
【００８１】
またこのマクロブロック化回路５の出力データは、動き検出回路６において、連続するフレーム間で動きベクトルが検出され、動きベクトルの検出に使用される動き補償して残る差分データの累積値ＭＥが、中央処理ユニット２６に入力され、この累積値ＭＥが１フレーム単位で累積されてＭＥ残差ＭＥresid が検出される。これにより中央処理ユニット２６において、ＭＥ残差ＭＥresid 及び直流レベルＤＣsum の変化を基準にしてシーンチェンジ等が検出される。
【００８２】
すなわち中央処理ユニット２６において（図１）、このＭＥ残差ＭＥresid 及び直流レベルＤＣsum は、ディジタルビデオ信号ＤＶ１の末尾側より、所定の判定区間が順次先頭側に移動されながら、この判定区間で二次関数により曲線近似され、この曲線近似における最小自乗誤差が順次検出される。
【００８３】
このときＭＥ残差ＭＥresid においては、判定対象のフレームが先頭フレームになるように判定区間が設定されて最小自乗誤差が順次検出され、直流レベルＤＣsum においては、判定対象のフレームより１フレーム先頭側のフレームが先頭フレームになるように判定区間が設定されて最小自乗誤差が順次検出される。
【００８４】
これにより末尾側より順次フレームを辿って、ＭＥ残差ＭＥresid の最小自乗誤差が立ち上がったフレームが、シーンチェンジのフレーム又はフラッシュから復帰したフレームとして検出されるのに対し、ＭＥ残差ＭＥresid の最小自乗誤差が立ち上がるフレームの直前フレームがシーンチェンジのフレーム又はフラッシュから復帰したフレームとして検出される。
【００８５】
この検出されたフレームは、リスト化されて中央処理ユニット２６に保持され、ディジタルビデオ信号ＤＶ３の全フレームについて、シーンチェンジ等の検出処理が完了すると、このリストによりＩピクチャーの設定処理が実行される（図１１）。
【００８６】
この処理において、ディジタルビデオ信号ＤＶ１は、予め設定された全てのチャプターの先頭フレームがＩピクチャーに設定された後、リスト化されたシーンチェンジ等のフレームがＩピクチャーに設定される。続いてディジタルビデオ信号ＤＶ１は、最大ＧＯＰの長さを越えないように、Ｉピクチャーが等間隔で設定されて各ＧＯＰが分割され、これによりＩピクチャーの設定処理が完了する。
【００８７】
このようにしてＩピクチャーが設定されると、ディジタルビデオ信号ＤＶ１より３フレーム間隔で抽出した残りのフレームがＰピクチャーに設定され、残るフレームがＢピクチャーに設定される。
【００８８】
このようにしてピクチャーの配列が設定されると、ディジタルビデオ信号ＤＶ１は、改めてこのエンコーダ１に供給され、このピクチャー配列に従って符号化処理されて出力される。
【００８９】
以上の構成によれば、事前の処理において、末尾側のフレームから辿って、ＭＥ残差ＭＥresid 及び直流レベルＤＣsum を曲線近似して最小自乗誤差を検出したことにより、この最小自乗誤差に基づいて、シーンチェンジ及びフラッシュによるＭＥ残差ＭＥresid 及び直流レベルＤＣsum の変化を確実に検出することができる。従ってこの最小自乗誤差を立ち上がりよりシーンチェンジのフレーム及びフラッシュから復帰したフレームを検出して、確実にシーンチェンジのフレーム及びフラッシュから復帰したフレームを検出することができる。
【００９０】
さらにこのときこの最小自乗誤差検出用の判定区間をＭＥ残差ＭＥresid と直流レベルＤＣsum とで１フレームずらして設定したことにより、ＭＥ残差ＭＥresid と直流レベルＤＣsum とで同様の処理により最小自乗誤差を検出し、また検出した最小自乗誤差を同じように判定してシーンチェンジのフレーム及びフラッシュから復帰したフレームを検出することができ、これにより簡易にシーンチェンジ等を検出することができる。
【００９１】
このとき末尾側のフレームから辿って、シーンチェンジのフレーム及びフラッシュから復帰したフレームを検出することにより、Ｉフレームに設定する必要のないフラッシュのフレームを無視して、シーンチェンジのフレーム及びフラッシュから復帰したフレームを何ら区別することなく確実に検出することができる。従ってこの検出したフレームをＩピクチャーに設定して、その分全体の処理を簡略化することができる。
【００９２】
さらにＰピクチャー又はＩピクチャーに設定するフレームについてだけフラッシュ等を検出したことにより、その分短時間でフラッシュ等を検出することができる。
【００９３】
さらに全チャプターの先頭フレームをＩピクチャーに設定した後、シーンチェンジ等のフレームをＩピクチャーに設定し、続いて最大ＧＯＰの長さを越えないように、Ｉピクチャーを設定したことにより、このようにして検出したシーンチェンジのフレーム等をＩピクチャーに設定する際に、必要個数以上にＩピクチャーを設定することなく、かつ最大ＧＯＰを満足するようにＩピクチャーを設定することができる。これにより適切にＩピクチャーを設定することができる。
【００９４】
なお上述の実施の形態においては、二次曲線に近似して最小自乗誤差を検出する場合について述べたが、本発明はこれに限らず、必要に応じて種々の曲線に近似して最小自乗誤差を検出する場合に広く適用することができる。
【００９５】
また上述の実施の形態においては、末尾より辿って最小自乗誤差を検出する場合について述べたが、本発明はこれに限らず、シーンチェンジ及びフラッシュを検出する場合は、先頭側より辿って、最小自乗誤差の立ち上がりを検出することによりシーンチェンジ及びフラッシュを区別することなく検出することができる。
【００９６】
また上述の実施の形態においては、最小自乗誤差の立ち上がりを検出する場合について述べたが、本発明はこれに限らず、最小自乗誤差の立ち下がりより、シーンチェンジ等を検出しても良い。なおこの場合末尾側より辿って最小自乗誤差を検出しても良く、先頭側より辿って最小自乗誤差を検出しても良い。またＭＥ残差等の変化を併せて判断して、シーンチェンジ、フラッシュ、フラッシュからの復帰を個別に検出することもできる。
【００９８】
さらに上述の実施の形態においては、最小自乗誤差を基準にして検出したシーンチェンジ等に対してピクチャーを設定する場合について述べたが、本発明はこれに限らず、単なるピクチャーの設定に関しては、他の検出手法によりシーンチェンジ等を検出してもよい。
【００９９】
また上述の実施の形態においては、事前の処理において、判定対象のフレームだけを抽出してＭＥ残差、直流レベルを検出する場合について述べたが、本発明はこれに限らず、併せて他のフレームについてＭＥ残差、直流レベルを検出する場合、さらにはシーンチェンジ等を検出してもよい。
【０１００】
さらに上述の実施の形態においては、動きベクトルの検出に使用した累積値ＭＥを利用してＭＥ残差ＭＥresid を検出する場合について述べたが、本発明はこれに限らず、専用の演算処理回路を構成してもよい。
【０１０１】
また上述の実施の形態においては、ＭＰＥＧによりディジタルビデオ信号を符号化する場合について述べたが、本発明はこれに限らず、例えばディスクリートコサイン変換処理に代えてハー変換処理を適用する場合等、種々の予測符号化に広く適用することができる。
【０１０２】
また上述の実施の形態においては、ディジタルビデオ信号を符号化する際にシーンチェンジ等を検出する場合について述べたが、本発明はこれに限らず、シーンチェンジ等の検出結果によりディジタルビデオ信号の周波数特性を補正する場合等、種々の映像信号処理装置に広く適用することができる。
【０１０３】
【発明の効果】
上述のように本発明によれば、直流レベル及び動き補償して得られる差分データの総和を曲線近似して得られる誤差値より、シーンチェンジのフレーム等を検出することにより、確実にシーンチェンジ等を検出することができる
【図面の簡単な説明】
【図１】本発明の実施の形態に係るエンコーダにおけるシーンチェンジ等の検出の説明に供するフローチャートである。
【図２】図１のエンコーダの全体構成を示すブロック図である。
【図３】ディジタルビデオ信号の処理の説明に供するタイムチャートである。
【図４】シーンチェンジ、フラッシュ検出回路を示すブロック図である。
【図５】シーンチェンジの説明に供する特性曲線図である。
【図６】フラッシュの説明に供する特性曲線図である。
【図７】シーンチェンジ、フラッシュの特徴を示す図表である。
【図８】シーンチェンジにおける最小自乗誤差を示す特性曲線図である。
【図９】フラッシュにおける最小自乗誤差を示す特性曲線図である。
【図１０】図１の続きの処理手順を示すフローチャートである。
【図１１】Ｉピクチャーの設定処理を示すフローチャートである。
【符号の説明】
１……エンコーダ、４……符号化制御回路、６……動き検出回路、７……シーンチェンジ、フラッシュ検出回路、２２……累積加算器、２６……中央処理ユニット
【図１】
0003871076.tif 000011
【図２】
0003871076.tif 000012
【図３】
0003871076.tif 000013
【図４】
0003871076.tif 000014
【図５】
0003871076.tif 000015
【図６】
0003871076.tif 000016
【図７】
0003871076.tif 000017
【図８】
0003871076.tif 000018
【図９】
0003871076.tif 000019
【図１０】
0003871076.tif 000020
【図１１】
0003871076.tif 000021