(57)【要約】      （修正有）【課題】動き検出方法及び動き検出装置に関し、例えばフォーマット変換装置等に適用して、従来に比して動き検出の精度を向上する。【解決手段】フレーム間差分の絶対値ＳＤの変化ＳＤＤに応じて、リカーシブルフィルタ２４における帰還率を可変することにより、ノイズによる誤検出を有効に回避して、静止画への切り替わりを確実に検出し、動き検出の精度を向上する。【選択図】        図１
2004194151.tif 000002
【特許請求の範囲】
【請求項１】
リカーシブフィルタによりフレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回し、前記リカーシブフィルタの出力値を判定して動き検出する動き検出方法において、
前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変することを特徴とする動き検出方法。
【請求項２】
少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させる
ことを特徴とする請求項１に記載の動き検出方法。
【請求項３】
少なくとも前記フレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、前記帰還率を減少させる
ことを特徴とする請求項１又は請求項２に記載の動き検出方法。
【請求項４】
フレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回演算するリカーシブフィルタと、
前記リカーシブフィルタの出力値を判定して動き検出結果を出力する判定回路と、
前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変する帰還量制御回路と
を備える動き検出装置。
【請求項５】
前記帰還量制御回路は、
少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させる
ことを特徴とする請求項４に記載の動き検出装置。
【請求項６】
前記帰還量制御回路は、
少なくとも前記フレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、前記帰還率を減少させる
ことを特徴とする請求項４又は請求項５に記載の動き検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動き検出方法及び動き検出装置に関し、例えばフォーマット変換装置等に適用することができる。本発明は、フレーム間差分の絶対値の変化に応じて、リカーシブフィルタにおける帰還率を可変することにより、従来に比して動き検出の精度を向上する。
【０００２】
【従来の技術】
従来、ビデオ信号のフォーマット変換、ＨＤＴＶ（High Definition Television）アップコンバータ、倍速変換装置等においては、静止画の領域ではフィールド間ライン内挿処理を選択し、動画の領域ではフィールド内ライン内挿処理を選択し、これらフィールド間ライン内挿処理、フィールド内ライン内挿処理によりライン数を変換することにより、ライン内挿処理による解像度の劣化を防止するようになされている。
【０００３】
すなわち図３に示すように、このようなライン内挿装置１においては、ビデオ信号Ｓ１をそれぞれフィールド内ライン内挿処理回路２、フィールド間ライン内挿処理回路３に入力し、それぞれフィールド内ライン内挿処理、フィールド間ライン内挿処理によりビデオ信号を生成する。またビデオ信号Ｓ１を動き検出回路４に入力し、ここで動き検出の処理を実行する。ライン内挿装置１においては、この動き検出回路４における動き検出結果に基づいて、選択回路５を制御することにより、それぞれ静止画及び動画の領域でフィールド間ライン内挿処理による処理結果、フィールド内ライン内挿処理の処理結果を選択出力し、これによりライン内挿処理によるビデオ信号Ｓ２を出力するようになされている。
【０００４】
このようなライン内挿処理においては、動きの誤検出により画像歪みが発生する場合がある。すなわちこの種の動き検出においては、フレーム間差分値を判定して動き検出するようになされており、これによりノイズにより動きを誤検出する場合がある。
【０００５】
例えばこのような動きの誤検出が、図４に示すように、走査線の幅程度により延長する水平線の領域で発生した場合、この水平線の領域では、フィールド間ライン内挿処理による処理結果とフィールド内ライン内挿処理による処理結果とが切り換えられてビデオ信号が出力されることにより、これらフィールド間ライン内挿処理、フィールド内ライン内挿処理による解像度の相違が顕著に現れ、これによりいわゆる虫食い現象と呼ばれる画像歪みが発生する。
【０００６】
このため従来のライン内挿装置においては、例えば特開平４−３４４７８０号公報に提案されているように、リカーシブフィルタを用いて動き検出するようになされている。
【０００７】
すなわち図５は、リカーシブフィルタを示すブロック図である。動き検出回路においては、このリカーシブフィルタ１１にフレーム間差分の絶対値ＳＤを入力する。このリカーシブフィルタ１１において、最大値選択回路（ＭＡＸ）１２は、帰還量設定回路１３の出力値と、このフレーム間差分の絶対値ＳＤとを入力し、値の大きな側を選択して出力する。遅延回路（Ｄ）１４は、フィールドメモリにより構成され、この最大値選択回路１２の出力値を１フィールドの期間だけ遅延させて出力し、帰還量設定回路１３は、この遅延回路１４の出力値を値１より小さな所定の帰還率により重み付けして最大値選択回路に帰還する。
【０００８】
これによりリカーシブフィルタ１１においては、図６に示すように、フレーム間差分の絶対値ＳＤが一時的に立ち上がった場合、この一時的に立ち上がった値を帰還量設定回路１３に設定された帰還量に応じて順次減衰させて、最大値選択回路１２、遅延回路１４、帰還量設定回路１３によるループ回路を巡回させるようになされている。なおこの図６においては、帰還率を値０．６に設定し、０フィールド目に、フレーム間差分の絶対値が値１２８に立ち上がった場合であり、フィールドを繰り返し毎に、この値１２８が、値７６．６、値４６．０８……に減衰することが判る。
【０００９】
最大値選択回路１５は、順次入力されるフレーム間差分の絶対値ＳＤと遅延回路１４の出力値とを入力し、値の大きな側を選択して出力する。これによりリカーシブフィルタ１１においては、フレーム間差分に現れる動きを時間軸方向に拡大して出力するようになされ、動き検出回路においては、この最大値選択回路１５の出力値を判定して動き検出するようになされている。
【００１０】
【特許文献１】
特開平４−３４４７８０号公報
【００１１】
【発明が解決しようとする課題】
ところで従来のリカーシブフィルタを用いた動き検出においては、フレーム間差分に現れる動きをリカーシブフィルタで時間軸方向に拡大することにより、いわゆる虫食い現象については防止し得るものの、一旦、動画の領域と判断した場合に、この領域が静止画の領域に切り換わった場合でも、一定の期間の間、動画の領域と誤って判断してしまう問題がある。
【００１２】
すなわち図６の例では、フレーム間差分の絶対値ＳＤが一旦値１２８に立ち上がると、続いてフレーム間差分の絶対値ＳＤが値０により連続している場合でも、約１０フィールド経過しなければ値０に立ち下がり得ず、これにより動きを誤検出してしまう。
【００１３】
これにより従来のリカーシブフィルタによる動き検出においては、ライン内挿装置に適用して、動いている画像が止まった場合、正しく静止画の領域と動き検出されるまでの間、フィールド内ライン内挿が誤って選択され、これによりフィールド内ライン内挿処理による画像と、フィールド間ライン内挿処理による画像とのずれによる画像歪みが発生する欠点があった。なおこのような画像歪みにおいては、具体的に、エッジ領域が変動して観察される図形歪みである。
【００１４】
本発明は以上の点を考慮してなされたもので、リカーシブフィルタを用いた動き検出において、従来に比して動き検出の精度を向上することができる動き検出方法及び動き検出装置を提案しようとするものである。
【００１５】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、リカーシブフィルタによりフレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回し、前記リカーシブフィルタの出力値を判定して動き検出する動き検出方法に適用して、前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変する。
【００１６】
また請求項２の発明においては、請求項１の構成において、少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させる。
【００１７】
また請求項３の発明においては、請求項１又は請求項２の構成において、少なくとも前記フレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、前記帰還率を減少させる。
【００１８】
また請求項４の発明においては、動き検出装置に適用して、フレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回演算するリカーシブフィルタと、前記リカーシブフィルタの出力値を判定して動き検出結果を出力する判定回路と、前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変する帰還量制御回路とを備えるようにする。
【００１９】
また請求項５の発明においては、請求項４の構成において、前記帰還量制御回路は、少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させる。
【００２０】
また請求項６の発明においては、請求項４又は請求項５の構成において、前記帰還量制御回路は、少なくとも前記フレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、前記帰還率を減少させる。
【００２１】
請求項１の構成により、リカーシブフィルタによりフレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回し、前記リカーシブフィルタの出力値を判定して動き検出する動き検出方法に適用して、前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変すれば、フレーム間差分値に現れる動きの時間軸方向への拡大の程度を、フレーム間差分値の変化に応じて可変することができる。これにより一旦、動きの領域と判定して静止画の領域に切り換わった場合に、速やかに静止画の領域と判定することができる。
【００２２】
また請求項２の構成によれば、請求項１の構成において、少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させることにより、具体的に、動画の領域においては、フレーム間差分値に現れる動きを時間軸方向に拡大する程度を増大させることができる。
【００２３】
また請求項３の構成によれば、請求項１又は請求項２の構成において、少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させることにより、具体的に、動画の領域から静止画の領域に切り換わった場合に、時間軸方向への拡大の程度を小さくして、速やかに静止画の領域と判定することができる。
【００２４】
また請求項４の構成により、動き検出装置に適用して、フレーム間差分の絶対値を所定の帰還率により順次減衰させて巡回演算するリカーシブフィルタと、前記リカーシブフィルタの出力値を判定して動き検出結果を出力する判定回路と、前記フレーム間差分の絶対値の変化に応じて、前記帰還率を可変する帰還量制御回路とを備えるようにすれば、フレーム間差分値に現れる動きの時間軸方向への拡大の程度を、フレーム間差分値の変化に応じて可変することができる。これにより一旦、動きの領域と判定して静止画の領域に切り換わった場合に、速やかに静止画の領域と判定することができる。
【００２５】
また請求項５の構成によれば、請求項４の構成において、前記帰還量制御回路は、少なくとも前記フレーム間差分の絶対値の変化量が所定値より小さい場合に、前記帰還率を増大させることにより、具体的に、動画の領域においては、フレーム間差分値に現れる動きを時間軸方向に拡大する程度を増大させることができる。
【００２６】
また請求項６の構成によれば、請求項４又は請求項５の構成において、前記帰還量制御回路は、少なくとも前記フレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、前記帰還率を減少させることにより、具体的に、動画の領域から静止画の領域に切り換わった場合に、時間軸方向への拡大の程度を小さくして、速やかに静止画の領域と判定することができる。
【００２７】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００２８】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る動き検出装置を示すブロック図である。なお以下の説明においては、輝度信号Ｙを用いて動き検出する場合について説明するが、動き検出においては、色差信号を用いるようにしてもよい。またこの図１の構成において、図５について上述したリカーシブフィルタ１１と同一の構成については、対応する符号を付して示し、重複した説明は省略する。
【００２９】
すなわちこの動き検出装置２１において、フレームメモリ（ＦＭ）２２は、輝度信号Ｙを入力し、１フレームの期間、遅延して出力する。続く差分演算回路２３は、このフレームメモリ２２の出力信号から順次入力される輝度信号Ｙを減算した後、絶対値化し、これによりフレーム間差分の絶対値ＳＤを出力する。
【００３０】
リカーシブフィルタ２４は、帰還量設定回路２５に設定された帰還量に応じて、このフレーム間差分の絶対値ＳＤを順次減衰させて、最大値選択回路１２、遅延回路（Ｄ）１４、帰還量設定回路２５によるループ回路を巡回させ、この巡回値と順次入力されるフレーム間差分の絶対値ＳＤとの間で値の大きい側を最大値選択回路１５で選択して出力する。これによりリカーシブフィルタ２４は、フレーム間差分に現れる動きを時間軸方向に拡大して出力するようになされている。
【００３１】
リカーシブフィルタ２４において、帰還量設定回路２５は、帰還量制御回路２７の制御により、帰還量を可変するようになされ、この動き検出装置２１では、この帰還量の可変により、静止画の領域に切り換わった際における動きの誤検出を防止するようになされている。
【００３２】
かくするにつき動き検出装置２１においては、このリカーシブフィルタ２４の出力値を比較回路２８に入力し、この比較回路２８で所定の判定基準値αと比較することにより、動き検出結果ＳＪを出力するようになされている。
【００３３】
この動き検出装置２１において、遅延回路２９は、フィールドメモリにより構成され、差分演算回路２３から出力されるフレーム間差分の絶対値ＳＤを１フィールドの期間、遅延させて出力する。差分演算回路３０は、この遅延回路２９の出力値と、差分演算回路２３から出力されるフレーム間差分の絶対値ＳＤとの差分値ＳＤＤを計算して出力する。これによりこの動き検出装置２１では、フレーム間差分絶対値ＳＤ（図２（Ａ））との対比により図２（Ｂ）に示すように、このフレーム間差分絶対値ＳＤの変化を検出するようになされている。
【００３４】
帰還量制御回路２７は、このフレーム間差分絶対値ＳＤの変化に応じて帰還量設定回路２５における帰還量を可変する。すなわち帰還量制御回路２７は、フレーム間差分絶対値ＳＤの差分値ＳＤＤをさらに絶対値化して第１の判定基準値と比較することににより、フレーム間差分絶対値ＳＤの変化量がこの第１の判定基準値より小さい場合に、帰還量設定回路２５における帰還量を標準の値から増大させる。これにより帰還量制御回路２７は、図２（Ｂ）において、ほぼ一定の動きによるフレーム間差分絶対値ＳＤが立ち上がってなる期間Ｔ１、この領域の動きが停止した後の期間Ｔ２においてのみ、フレーム間差分絶対値ＳＤに現れる動きを時間軸方向に拡大し、ノイズによる動きの誤検出を有効に回避し、虫食いの現象等を回避するようになされ、またさらにはこれら以外の期間では、時間軸方向に動きを拡大する程度を小さくし、これにより静止画への切り換わりを迅速に検出できるようになされている。
【００３５】
さらにこの実施の形態において、帰還量制御回路２７は、フレーム間差分絶対値ＳＤの差分値ＳＤＤを第２の判定基準値と比較することにより、フレーム間差分絶対値の変化量が所定値より大きく減衰した場合に、帰還量設定回路２５における帰還量を標準の値から減少させる。これにより帰還量制御回路２７は、図２（Ｂ）において、動きが停止した後の、フレーム間差分絶対値ＳＤの差分値ＳＤＤがこの第２の判定基準値より立ち下がっている期間Ｔ３の間、すなわち動画から静止画に遷移する期間の間、帰還率を減少させ、リカーシブフィルタ２４における巡回値を急速に減衰させるようになされている。
【００３６】
これにより従来のリカーシブフィルタによる動き検出結果ＳＪ１（図２（Ｃ））との比較により図３（Ｄ）に示すように、この動き検出装置２１においては、ノイズによる動きの誤検出を有効に回避し、動画から静止画に切り換わった場合には、即座に静止画の領域との判定結果ＳＪを検出できるようになされている。
【００３７】
（２）実施の形態の動作
以上の構成において、この動き検出装置２１において、輝度信号Ｙは、フレームメモリ２２、差分演算回路２３によりフレーム間差分絶対値ＳＤが検出され、このフレーム間差分絶対値ＳＤがリカーシブフィルタ２４に入力される。このリカーシブフィルタ２４において、フレーム間差分絶対値ＳＤは、値の立ち上がりが最大値選択回路１２により選択され、この選択された値が順次所定の帰還率により順次減衰されて巡回され、これによりフレーム間差分値に現れる輝度信号Ｙの動きが時間軸方向に拡大される。またこのようにして得られる巡回値が最大値選択回路１５により選択されて比較回路２８で判定されることにより、輝度信号Ｙについて動きが検出され、この動き検出結果ＳＪが例えばライン内挿処理におけるフィールド内ライン内挿処理結果とフィールド間ライン内挿処理結果との選択に利用される。
【００３８】
このようにして輝度信号Ｙの動きを検出するにつき、この動き検出装置２１では、フレーム間差分絶対値ＳＤが遅延回路２９に入力され、ここで１フィールド分遅延されて差分演算回路３０により元のフレーム間差分絶対値ＳＤから減算される。これにより動き検出装置２１では、フレーム間差分絶対値ＳＤの変化を示すフレーム間差分絶対値ＳＤの差分値ＳＤＤが検出される。
【００３９】
動き検出装置２１では、この差分値ＳＤＤが絶対値化された後、第１の判定基準値により判定され、この判定結果により、フレーム間差分絶対値ＳＤの変化量がこの第１の判定基準値より小さい場合に、リカーシブフィルタ２４における帰還量が標準の値から増大される。これにより動き検出装置２１では、フレーム間差分に現れる動きを時間軸方向に拡大してノイズによる動きの誤検出を有効に回避できるようになされている。
【００４０】
また動き検出装置２１では、この差分値ＳＤＤが第２の判定基準値により判定され、この判定結果により、フレーム間差分絶対値ＳＤの変化量が第２の判定基準値より大きく減衰した場合、リカーシブフィルタ２４における帰還量が標準の値から減少される。これにより動き検出装置２１では、動画から静止画に切り換わった場合に、リカーシブフィルタ２４における巡回値が短時間で減衰し、速やかに静止画の領域との判定結果ＳＪが検出される。
【００４１】
これにより動き検出装置２１では、フレーム間差分の絶対値ＳＤの変化に応じて、リカーシブフィルタ２４における帰還率を可変し、従来に比して動き検出の精度を向上するようになされている。
【００４２】
（３）実施の形態の効果
以上の構成によれば、フレーム間差分の絶対値の変化に応じて、リカーシブフィルタにおける帰還率を可変することにより、ノイズによる誤検出を有効に回避して、静止画への切り換わりを確実に検出することができ、これにより従来に比して動き検出の精度を向上することができる。これにより例えばライン内挿処理に適用して、画像歪みの発生を従来に比して格段的に低減することができる。
【００４３】
すなわち具体的に、フレーム間差分の絶対値の変化量が所定値より小さい場合に、リカーシブフィルタにおける帰還率を増大させることにより、動画の領域においては、フレーム間差分値に現れる動きを時間軸方向に拡大する程度を増大させ、静止画に切り換わる遷移帰還においては、この時間軸方向への拡大の程度を低減することができ、これにより従来に比して動き検出の精度を向上することができる。
【００４４】
またフレーム間差分の絶対値の変化量が所定値より大きく減衰した場合に、リカーシブフィルタにおける帰還率を減少させることにより、動画の領域から静止画の領域に切り換わった場合に、時間軸方向への拡大の程度を一段と小さくして、速やかに静止画の領域と判定することができる。
【００４５】
（４）他の実施の形態
なお上述の実施の形態においては、リカーシブフィルタにおける帰還量を標準値から増大させ、また低減させる場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、何れか一方のみ実施するようにしてもよい。
【００４６】
また上述の実施の形態においては、リカーシブフィルタの出力値を判定基準値により判定して動き検出する場合について述べたが、本発明はこれに限らず、例えば比較回路に代えて正規化回路を設けて動きを判定する場合等、種々の判定方法を広く適用することができる。
【００４７】
また上述の実施の形態においては、隣接するフレーム間におけるフレーム間差分絶対値を用いて動き検出する場合について述べたが、本発明はこれに限らず、例えば隣々接のフレーム間におけるフレーム間差分絶対値を用いて動き検出する場合等にも広く適用することができる。
【００４８】
【発明の効果】
上述のように本発明によれば、フレーム間差分の絶対値の変化に応じて、リカーシブフィルタにおける帰還率を可変することにより、ノイズによる誤検出を有効に回避して、静止画への切り換わりを確実に検出することができ、これにより従来に比して動き検出の精度を向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る動き検出装置を示すブロック図である。
【図２】図１の動き検出装置における動作の説明に供する信号波形図である。
【図３】ライン内挿処理の説明に供するブロック図である。
【図４】虫食い現象の説明に供する平面図である。
【図５】リカーシブフィルタを示すブロック図である。
【図６】図５のリカーシブフィルタの動作の説明に供する特性曲線図である。
【符号の説明】
１……ライン内挿装置、４……動きベクトル検出回路、１１、２４……リカーシブフィルタ、１２、１５……最大値選択回路、１３、２５……帰還量設定回路、１４、２９……遅延回路、２３、３０……差分演算回路、２７……帰還量制御回路
【図１】
2004194151.tif 000003
【図２】
2004194151.tif 000004
【図３】
2004194151.tif 000005
【図４】
2004194151.tif 000006
【図５】
2004194151.tif 000007
【図６】
2004194151.tif 000008