(57)【要約】【課題】フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を検出し、適応的に圧縮符号化を行う画像処理装置を提供する。【解決手段】一連のインターレース画像からノンインターレース画像を形成するインターレース変換手段と、上記インターレース変換手段により得られるノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段により得られるウェーブレット係数の内、少なくとも１ＬＨのサブバンドの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とする。【選択図】　図１
2004126923.tif 000002
【特許請求の範囲】
【請求項１】
一連のインターレース画像からノンインターレース画像を形成するインターレース変換手段と、
上記インターレース変換手段により得られるノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換手段と、
上記ウェーブレット変換手段により得られるウェーブレット係数の内、少なくとも１ＬＨのサブバンドの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とするインターレース画像の処理装置。
【請求項２】
請求項１に記載のインターレース画像の処理装置において、
上記判定手段は、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して仮の符号化処理を実行し、当該仮の符号化処理により得られる符号量に基づいて、インターレース画像内の被写体の移動速度を判定することを特徴とするインターレース画像の処理装置。
【請求項３】
連続するインターレース画像からノンインターレース画像を形成するインターレース変換工程と、
上記インターレース変換手段により得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換工程と、
上記ウェーブレット変換工程により得られるウェーブレット係数の内、少なくとも１ＬＨのサブバンドの係数値に基づいて、インターレース画像内の被写体の移動速度を判定する判定工程を行うことを特徴とするインターレース画像の処理方法。
【請求項４】
請求項３に記載のインターレース画像の処理方法において、
上記判定工程では、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して仮の符号化処理を実行し、上記仮の符号化処理により得られる符号量に基づいて、インターレース画像内の被写体の移動速度を判定することを特徴とするインターレース画像の処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画の処理装置、特に一連のインターレース画像の処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている。また、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生することにより動画表示を行うＭｏｔｉｏｎＪＰＥＧ２０００という規格もある。
【０００３】
【発明が解決しようとする課題】
ビデオカメラ等によって撮られる一連のインターレース画像には、１つ前のフレームのインターレース画像との比較において、フレーム間における被写体の移動量（変化量）という静止画には無いパラメータが存在する。上記移動量というパラメータを用いてフレーム内における被写体の移動速度を検出し、適応的に圧縮符号化処理を実行するＭｏｔｉｏｎＪＰＥＧ２０００形式の動画像処理装置が、既にいくつか提案されている。
【０００４】
上記ＭｏｔｉｏｎＪＰＥＧ２０００形式の動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行う。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
【０００５】
本発明は、上記フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定し、当該判定結果に基づいて処理を行う画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１のインターレース画像の処理装置は、連続するインターレース画像からノンインターレース画像を形成するインターレース変換手段と、上記インターレース変換手段により得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段により得られるウェーブレット係数の内、少なくとも１ＬＨのサブバンドの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とする。
【０００７】
本発明の第２のインターレース画像の処理装置は、上記第１のインターレース画像の処理装置において、上記判定手段は、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して仮の符号化処理を実行し、当該仮の符号化処理により得られる符号量に基づいて、インターレース画像内の被写体の移動速度を判定することを特徴とする。
【０００８】
本発明の第１のインターレース画像の処理方法は、連続するインターレース画像からノンインターレース画像を形成するインターレース変換工程と、上記インターレース変換手段により得られるノンインターレース画像のデータに対して２次元離散ウェーブレット変換を行うウェーブレット変換工程と、上記ウェーブレット変換工程により得られるウェーブレット係数の内、少なくとも１ＬＨのサブバンドの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定工程を行うことを特徴とする。
【０００９】
本発明の第２のインターレース画像の処理方法は、上記第１のインターレース画像の処理方法において、上記判定工程では、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して仮の符号化処理を実行し、上記仮の符号化処理により得られる符号量に基づいて、インターレース画像内における被写体の移動速度を判定することを特徴とする。
【００１０】
【発明の実施の形態】
本発明の画像処理装置は、ビデオカメラ等により連続して撮り込まれる２フレーム分のインターレース画像を合成して得られる１枚のノンインターレース画像の画像データを処理対象とし、上記ノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数の内、１ＬＨのサブバンドの係数値及び符号量が撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度（高速／低速）を判定し、判定結果に応じて、より効果的な符号化処理を実行することを特徴とする。
【００１１】
以下、添付の図面を用いて本発明の画像処理装置の実施の形態、及び、フレーム内での被写体の移動速度の判定処理についての種々の変形例について説明する。図１は、インターレース画像の処理装置１０の全体構成を示す図である。インターレース画像の処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用されるＲＡＭ３、マン・マシン・インターフェースであるキーボード４及びマウス５、ディスプレイ６、主記録装置であり、ビデオカメラ８で撮影した映像の符号化処理途中における画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）７、並びに、ビデオカメラ８で構成される。
【００１２】
図２は、ビデオカメラ８により撮影される一連のフレームを示す図である。ビデオカメラ８は、撮影の開始時間ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔｎまでの間に１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式でスキャンする。
【００１３】
図３の（ａ）〜（ｄ）は、ビデオカメラ８により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。インターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（実線で示す走査ライン）のスキャンを行う。これによりインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成るノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００１４】
なお、上記ノンインターレース画像のデータは、インターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成することができる。
【００１５】
図３の（ｃ）に示すくし型のずれの量Ｌは、被写体１５のインターレース画像内での移動速度に比例して長くなる。図３の（ｄ）に示すように、上記くし型のずれを有するノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブバンドの係数値は、横のエッジ成分Ｅ１の合計、即ち、被写体１５のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブバンドの係数値は、縦のエッジ成分Ｅ２の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置１０では、１ＬＨのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。
【００１６】
図４は、画像処理装置１０のＣＰＵ１が実行する画像処理プログラムのメインルーチンのフローチャートである。まず、ビデオカメラ８により一連の複数のフレーム（図２を参照）で構成されるインターレース形式の画像データを取得する（ステップＳ１）。具体的には、ビデオカメラ８により１／６０秒単位でスキャンされるインターレース画像のデータをＲＡＭ３又はハードディスク７に記録する。なお、連続するフレームのインターレース画像のデータの取得方法としては、上記ビデオカメラ８を用いる他、例えば、圧縮符号化前の状態でハードディスク７に一連の複数のフレーム分のインターレース画像のデータを記録しておき、当該データを順に読み出すことも考えられる。
【００１７】
連続してスキャンされるフレーム２枚分のインターレース画像を合成（いわゆるインターレース変換）し、図３の（ｃ）に示したようなノンインターレース画像を形成する（ステップＳ２）。当該インターレース変換処理は、例えば、２枚の連続してスキャンされたインターレース画像の画像データを、ＲＡＭ３にスキャンしたライン毎に交互に出力することにより行う。または、先に読み込んだインターレース画像のデータをＲＡＭ３内に設けたノンインターレース画像のデータマップに展開した後、引き続きスキャンするインターフェース画像のデータを上記データマップに書き込むことにより行っても良い。
【００１８】
上記インターレース変換により得られたノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ３）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データに付いてのみ説明する。
【００１９】
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、得られるウェーブレット係数をＲＡＭ３又はハードディスク７に記録する（ステップＳ４）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施した後、処理後のデータをＲＡＭ３またはハードディスク７に記録する（ステップＳ５）。スカラ量子化後、ＪＰＥＧ２０００に規定の手順によるエントロピー符号化処理（いわゆる係数モデリング処理）を施し、処理後のデータをＲＡＭ３又はハードディスク７に記録する（ステップＳ６）。上記ステップＳ３からステップＳ６までの処理は、ＪＰＥＧ２０００に準拠して行う周知の処理である。
【００２０】
次にデータ削減処理を行う（ステップＳ７）。当該処理は、画像処理装置１０独自の処理であり、後に詳しく説明するように、ＲＡＭ３又はハードディスク７に記録されている１ＬＨのサブバンドのウェーブレット係数に基づいて被写体の移動速度が高速であるのか、又は低速であるのかを判定する速度判定処理と、当該処理により被写体が高速で移動していると判定された画像については、上記ＲＡＭ３又はハードディスク７に記録されているエントロピ符号化後のデータに対し、ＬＨ成分を重視したデータ削減処理を施し、被写体が低速で移動していると判定された画像については、ＨＬ成分を重視したデータ削減処理を施す処理のことをいう。
【００２１】
上記データ削減処理後のデータにＪＰＥＧ２０００に規定されている算術符号化処理を実行し（ステップＳ８）、得られる符号データをハードディスク７に記録する（ステップＳ９）。全てのフレーム処理が終了していない場合（ステップＳ１０でＮＯ）、上記ステップＳ１に戻り、ビデオカメラ８により次に撮影された画像の符号化処理を実行する。他方、ビデオカメラ８による撮影が終了し、全ての符号化処理が終了した場合（ステップＳ１０でＹＥＳ）、処理を終了する。
【００２２】
上述するように、ステップＳ１、Ｓ２、Ｓ７以外の処理（ステップＳ３〜Ｓ６，Ｓ８）は、全てＪＰＥＧ２０００の規格に従う手順で実行されるものであり、これらの処理は、ステップＳ９及びステップＳ１０の処理と共に、ハードウェア回路により実現しても良い。これにより処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【００２３】
更に、インターレース変換（ステップＳ２）やデータ削減処理（ステップＳ７）をハード回路により実現しても良い。例えば、インターレース変換の処理は、最初にスキャンしたインターレース画像の画像データを保持しておく第１レジスタと、引き続きスキャンしたインターレース画像の画像データを保持しておく第２レジスタと、第２レジスタへのデータの書き込み終了と共に、第１及び第２レジスタからライン毎に交互にデータをノンインターレース用の画像メモリ又はバッファメモリに出力する第１リレースイッチと、第１及び第２レジスタからデータを出力している間、引き続きスキャンされるインターレース画像を保持するための第３及び第４レジスタ並びに当該第４レジスタへのデータの書き込み終了と共に第３及び第４レジスタからライン毎に交互にデータを上記ノンインターレース用の画像メモリ又はバッファメモリに出力する第２リレースイッチを用意することによりハード回路として実現することができる。これにより処理の高速化が図られる。
【００２４】
図５は、データ削減処理（図４、ステップＳ７）のフローチャートである。まず、レベル３の２次元離散ウェーブレット変換（図４、ステップＳ４）により得られたウェーブレット係数の１ＬＨのサブバンドの係数値に基づいて、フレーム内の被写体の移動速度が高速／低速の何れであるのかの判定を行う（ステップＳ１１）。当該処理内容については以下に詳しく説明する。
【００２５】
上記ステップＳ１１における速度判定処理の結果、高速と判断された場合（ステップＳ１２でＹＥＳ）、以下のＬＨ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ６において実行したエントロピー符号化後のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から２ビット分のデータを削除する（ステップＳ１３）。更に、図４のステップＳ６において実行したエントロピー符号化後のデータの内、３ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から１ビット分のデータを削除する（ステップＳ１４）。
【００２６】
他方、インターレース画像内における被写体の移動速度が低速であると判断された場合（ステップＳ１２でＮＯ）、以下のＨＬ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ６において実行したエントロピー符号化後のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から３ビット分のデータを削除する（ステップＳ１５）。低速の場合、図４のステップＳ６において実行したエントロピー符号化後のデータの内の３ＬＨのサブバンドのデータは削除しない。上記処理の後、図４のメインルーチンにリターンする。
【００２７】
図６の（ａ）は、上記エントロピー符号化後のデータをビットプレーンに分解した状態を示す図であり、図６の（ｂ）は、図５に示すフローチャートのステップＳ１１において高速と判断された場合にステップＳ１３及びＳ１４において実行する処理内容を図解するものである。図６の（ｂ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから２ビット分のデータを削除する。また、３ＬＨのサブバンドの係数の内、最下位ビットのデータを削除する。
【００２８】
また、図６の（ｃ）は、上記ステップＳ１１において低速と判断された場合にステップＳ１５において実行する処理内容を図解するものである。図６の（ｃ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから３ビット分のデータを削除する。この場合、３ＬＨのサブバンドの係数のデータは削除しない。
【００２９】
図７は、速度判定処理（図５、ステップＳ１１）の具体的な処理内容のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行したレベル３の２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ２０）。次に１ＨＬの係数の絶対値の和であるｓｕｍ１ＨＬを求める（ステップＳ２１）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ２２）。上記ｓｐｅｅｄは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとるためである。
【００３０】
上記ステップＳ２２において求めた係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ１よりも大きい場合には（ステップＳ２３でＹＥＳ）、フレーム内での被写体の移動速度が高速であると判定することができる（ステップＳ２４）。他方、係数ｓｐｅｅｄがしきい値Ｖｔｈ１よりも小さい場合には（ステップＳ２３でＮＯ）、フレーム内での被写体の移動速度が低速であると判定することができる（ステップＳ２５）。上記判定の後、図５のフローチャートにリターンする。
【００３１】
以上に説明するように、画像処理装置１０では、符号化を行う画像データに対して行ったレベル３の２次元離散ウェーブレット変換により得られるウェーブレット係数の内、特に１ＬＨのサブバンドの係数値及び符号量が、撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対し、１ＨＬのサブバンドの係数値及び符号量は、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度を検出し、検出した値に応じて、より効果的な符号化処理を実行する。これにより、フレーム間の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記物体の移動速度を検出し、適応的に圧縮符号化を行うことができる。
【００３２】
（２）変形例１
上記画像処理装置１０では、図７のフローに示すように、１ＬＨ及び１ＨＬのサブバンドの係数値に基づいてフレーム内の被写体の移動速度の判定を行ったが、ウェーブレット係数の内、１ＬＨの係数値がくし型のずれの部分におけるエッジについての情報を含むのに対し、２ＬＨのサブバンドの係数値は、当該くし型のずれを含む２画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値になる。そこで、速度判定処理の変形例として、１ＨＬの代わりに２ＬＨのサブバンドの係数値を用いて被写体の移動速度を判定するものを以下に説明する。
【００３３】
図８は、速度判定処理（図５のステップＳ１１）の変形例１のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行した２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨのサブバンドの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ３０）。次に、２ＬＨのサブバンドの係数の絶対値の和であるｓｕｍ２ＬＨを求める（ステップＳ３１）。ｓｕｍ１ＬＨ／ｓｕｍ２ＬＨの値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ３２）。係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ２より大きい場合（ステップＳ３３でＹＥＳ）、フレーム内の被写体が高速で移動している判定する（ステップＳ３４）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ２以下の場合（ステップＳ３３でＮＯ）、フレーム内の被写体が低速で移動していると判定する（ステップＳ３５）。上記判定の後、図５のフローチャートにリターンする。
【００３４】
（３）変形例２
ウェーブレット係数の内、第１レベルの係数（１ＬＨ，１ＨＬ，１ＬＬ）は、インターレース画像を合成して形成したノンインターレース画像に表れるくし型のずれの部分についての情報が反映される。これに対して第２レベルの係数（２ＬＨ，２ＨＬ，２ＬＬ）は、上記くし型のずれを２画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値であると考えられる。変形例２では、上記考えに基づいて求められる判定式の内、横方向に長く伸びるエッジ部分を多く有する被写体が静止又は低速で移動している場合を高速に移動していると誤判定することなく、フレーム内を被写体が高速で移動していることを実験的に最も正確に判定できた判定式を用いてフレーム内の被写体の移動速度を判定するものを用いる場合について説明する。
【００３５】
図９は、速度判定処理（図５のステップＳ１１）の変形例２のフローチャートである。まず、図４に示したメインルーチンのステップＳ４において実行した２次元離散ウェーブレット変換により得られるウェーブレット係数から１ＬＨの係数の絶対値の和であるｓｕｍ１ＬＨを求める（ステップＳ４０）。１ＨＬの係数の絶対値の和であるｓｕｍ１ＨＬを求める（ステップＳ４１）。２ＬＨの係数の絶対値の和であるｓｕｍ２ＬＨを求める（ステップＳ４２）。２ＨＬの係数の絶対値の和であるｓｕｍ２ＨＬを求める（ステップＳ４３）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の値をフレーム内における被写体の移動速度を表す数値ｓｐｅｅｄとして求める（ステップＳ４４）。係数ｓｐｅｅｄが実験的に定められるしきい値Ｖｔｈ３より大きい場合（ステップＳ４５でＹＥＳ）、フレーム内の被写体が高速で移動している判断する（ステップＳ４６）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ３以下の場合（ステップＳ４５でＮＯ）、フレーム内の被写体が低速で移動していると判断する（ステップＳ４７）。上記判定の後、図５のフローチャートにリターンする。
【００３６】
（４）他の変形例
上述するようにフレーム内の被写体の移動速度は、１ＬＨのウェーブレット係数の値に比例するが、当該ウェーブレット係数を５：３のロスレス・フィルタを用いて符号化して得られる１ＬＨのサブバンドの符号データの量にも当然比例する。以下、図７、図８及び図９に示した３つの速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合について順に簡単に説明する。
【００３７】
図１０は、図７に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ５０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ５１）。１ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＨＬを求める（ステップＳ５２）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬの計算により係数ｓｐｅｅｄを求める（ステップＳ５３）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ４より大きい場合には（ステップＳ５４でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ５５）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ４以下の場合には（ステップＳ５４でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ５６）。上記判定処理の後、図５のフローチャートにリターンする。
【００３８】
図１１は、図８に示した速度判定処理を仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ６０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ６１）。２ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＬＨを求める（ステップＳ６２）。ｓｕｍ１ＬＨ／ｓｕｍ２ＬＨの計算により係数ｓｐｅｅｄを求める（ステップＳ６３）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ５より大きい場合には（ステップＳ６４でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ６５）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ５以下の場合には（ステップＳ６４でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ６６）。上記判定処理の後、図５のフローチャートにリターンする。
【００３９】
図１２は、図９に示した速度判定処理を仮の算術符号化処理により得られる符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ６において実行したエントロピー符号化により得られるデータに対し、仮の算出符号化処理を施す（ステップＳ７０）。符号化後のデータの内、１ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＬＨを求める（ステップＳ７１）。１ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ１ＨＬを求める（ステップＳ７２）。２ＬＨのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＬＨを求める（ステップＳ７３）。２ＨＬのサブバンドの係数を符号化したデータの符号量の合計であるｓｕｍ２ＨＬを求める（ステップＳ７４）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の計算により係数ｓｐｅｅｄを求める（ステップＳ７５）。求めた係数ｓｐｅｅｄの値が実験的に定められるしきい値Ｖｔｈ６より大きい場合には（ステップＳ７６でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判定する（ステップＳ７７）。一方、係数ｓｐｅｅｄがしきい値Ｖｔｈ６以下の場合には（ステップＳ７６でＮＯ）、フレーム内の被写体の移動速度は低速であると判定する（ステップＳ７８）。上記判定処理の後、図５のフローチャートにリターンする。
【００４０】
以上に説明するように図１０〜図１２に示す３つの変形例を用いてもフレーム内の被写体の移動速度を簡単に判定することができる。
【００４１】
【発明の効果】
本発明の第１のインターレース画像の処理装置では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【００４２】
本発明の第２のインターレース画像の処理装置では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られる符号の量に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【００４３】
本発明の第１のインターレース画像の処理方法では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【００４４】
本発明の第２のインターレース画像の処理方法では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られる符号の量に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。
【図面の簡単な説明】
【図１】画像処理装置の全体構成図である。
【図２】ビデオカメラにより１／６０秒単位で撮影される一連のフレーム画像を示す図である。
【図３】（ａ）〜（ｄ）は、ビデオカメラにより得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。
【図４】画像処理装置の実行する処理のメインルーチンを示す図である。
【図５】データ削減処理のフローチャートである。
【図６】（ａ）〜（ｃ）は、フレーム内の被写体の移動速度に応じたデータ削減処理の様子を示す図である。
【図７】速度判定処理のフローチャートである。
【図８】速度判定処理の変形例のフローチャートである。
【図９】速度判定処理の変形例のフローチャートである。
【図１０】速度判定処理の変形例のフローチャートである。
【図１１】速度判定処理の変形例のフローチャートである。
【図１２】速度判定処理の変形例のフローチャートである。
【符号の説明】１　ＣＰＵ、２　ＲＯＭ、３　ＲＡＭ、４　キーボード、５　マウス、６　ディスプレイ、７　ハードディスク、８　ビデオカメラ。
【図１】
2004126923.tif 000003
【図２】
2004126923.tif 000004
【図３】
2004126923.tif 000005
【図４】
2004126923.tif 000006
【図５】
2004126923.tif 000007
【図６】
2004126923.tif 000008
【図７】
2004126923.tif 000009
【図８】
2004126923.tif 000010
【図９】
2004126923.tif 000011
【図１０】
2004126923.tif 000012
【図１１】
2004126923.tif 000013
【図１２】
2004126923.tif 000014