(57)【要約】    【課題】  フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定し、当該判定結果に基づいて処理を行う画像処理装置を提供する。    【解決手段】  一連のインターレース画像から形成したノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段により得られる各サブバンドのウェーブレット係数を上記サブバンドより小さな画素マトリクスより成るコードブロックに分割し、少なくとも１ＬＨのサブバンドの各コードブロックの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とする。【選択図】図１
2004159313.tif 000002
【特許請求の範囲】
【請求項１】
ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換手段と、
上記ウェーブレット変換手段により得られる各サブバンドのウェーブレット係数を上記サブバンドより小さな画素マトリクスより成るコードブロックに分割し、少なくとも１ＬＨのサブバンドの各コードブロックの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とするノンインターレース画像の処理装置。
【請求項２】
請求項１に記載のノンインターレース画像の処理装置において、
上記判定手段は、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して符号化処理を実行し、当該符号化処理により得られる符号量に基づいて、ノンインターレース画像内の被写体の移動速度を判定することを特徴とするノンインターレース画像の処理装置。
【請求項３】
ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換工程と、
上記ウェーブレット変換手段により得られる各サブバンドのウェーブレット係数を上記サブバンドよりも小さな画素マトリクスより成るコードブロックに分割し、少なくとも１ＬＨのサブバンドの各コードブロックの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定工程とで成ることを特徴とするノンインターレース画像の処理方法。
【請求項４】
請求項３に記載のノンインターレース画像の処理方法において、
上記判定工程では、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して符号化処理を実行し、当該符号化処理により得られる符号量に基づいて、ノンインターレース画像内の被写体の移動速度を判定することを特徴とするノンインターレース画像の処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の処理装置、特に一連の複数のインターレース画像より得られるノンインターレース画像の処理を行う画像処理装置及び処理方法に関する。
【背景技術】
【０００２】
近年、高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている。また、上記ＪＰＥＧ２０００形式で符号化された静止画像を連続して再生することにより動画表示を行うMotionＪＰＥＧ２０００という規格もある。
【０００３】
ビデオカメラ等によって撮られる一連のインターレース画像には、１つ前のフレームのインターレース画像との比較において、フレーム間における被写体の移動量（変化量）という静止画には無いパラメータが存在する。上記移動量というパラメータを用いてフレーム内における被写体の移動速度を検出し、適応的に圧縮符号化処理を実行する動画像処理装置が、既にいくつか提案されている（例えば、特許文献１を参照）。
【特許文献１】特公平０４−７７５１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記動画像処理装置では、フレーム間における被写体の画像データの差分を求め、求めた差分データに基づいて移動速度を求める演算処理を行う。このため、処理するデータ量が多く、演算に時間を要すると共に、多くのメモリを必要としていた。
【０００５】
本発明は、上記フレーム間における被写体の画像データの差分を用いることなく、少ない量のデータを用いて、かつ、簡単な演算処理により、上記被写体の移動速度を判定し、当該判定結果に基づいて処理を行うノンインターレース画像の画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１のノンインターレース画像の画像処理装置は、ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換手段と、上記ウェーブレット変換手段により得られる各サブバンドのウェーブレット係数を上記サブバンドより小さな画素マトリクスより成るコードブロックに分割し、少なくとも１ＬＨのサブバンドの各コードブロックの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定手段とを備えることを特徴とする。
【０００７】
本発明の第２のノンインターレース画像の画像処理装置は、上記第１のノンインターレース画像の画像処理装置において、上記判定手段は、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して符号化処理を実行し、当該符号化処理により得られる符号量に基づいて、ノンインターレース画像内の被写体の移動速度を判定することを特徴とする。
【０００８】
本発明の第１のノンインターレース画像の画像処理方法は、ノンインターレース画像のデータに対してレベル１以上の２次元離散ウェーブレット変換を行うウェーブレット変換工程と、上記ウェーブレット変換手段により得られる各サブバンドのウェーブレット係数を上記サブバンドよりも小さな画素マトリクスより成るコードブロックに分割し、少なくとも１ＬＨのサブバンドの各コードブロックの係数値に基づいて、インターレース画像内における被写体の移動速度を判定する判定工程とで成ることを特徴とする。
【０００９】
本発明の第２のノンインターレース画像の画像処理方法は、上記第１のノンインターレース画像の画像処理方法において、上記判定工程では、上記少なくとも１ＬＨのサブバンドのウェーブレット係数に対して符号化処理を実行し、当該符号化処理により得られる符号量に基づいて、ノンインターレース画像内の被写体の移動速度を判定することを特徴とする。
【発明の効果】
【００１０】
本発明の第１のノンインターレース画像の処理装置及び処理方法では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドのコードブロック単位の係数値に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。また、サブバンドよりも細かなコードブロック単位の係数値に基づいてフレーム内の被写体の移動速度の判定を行うことにより、例えば、静止画の中で比較的小さな被写体だけが高速で移動する場合も適切に認識することができる。
【００１１】
また、本発明の第２のノンインターレース画像の処理装置及び処理方法では、２次元離散ウェーブレット変換により得られる１ＬＨのサブバンドの係数値を仮に算術符号化することにより得られるコードブロック単位の符号の量に基づいてフレーム内の被写体の移動速度を判定する。これにより、フレーム間の被写体の移動量を求めることなく、簡単な演算処理により被写体の移動速度の判定を行うことができる。また、サブバンドよりも細かなコードブロック単位の係数値に基づいてフレーム内の被写体の移動速度の判定を行うことにより、例えば、静止画の中で比較的小さな被写体だけが高速で移動する場合も適切に認識することができる。
【発明を実施するための最良の形態】
【００１２】
（１）実施の形態
本発明のインターレース画像の処理装置は、ＪＰＥＧ２０００に準拠した符号化処理を実行する装置であり、ビデオカメラ等により連続して撮り込まれる一連の複数のインターレース画像より得られる１枚のノンインターレース画像の画像データを処理対象とする。以下、文中において、ノンインターレース画像とは、上記一連の複数のインターレース画像より得られる１枚の画像のことを意味する。
【００１３】
本発明の画像処理装置は、上記ノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数の内、１ＨＬのサブバンドの係数値及び符号量は、１ＬＨのサブバンドの係数値及び符号量が撮像するフレーム内での被写体の横方向の移動速度に応じて増加するのに対して、ほぼ一定の値を示すことに着目し、当該特性を利用してフレーム内での被写体の横方向の移動速度（高速／低速）を、サブバンドよりも小さな、例えば、３２×３２画素マトリクスよりなるコードブロック単位に判定し、判定結果に基づいてフレーム内の被写体の移動速度について判断する。サブバンド単位で被写体の移動速度を判定する場合に比べ、コートブロック単位での判断結果に基づいて総合的な速度判定を行うことで、静止画（風景）の中を比較的小さな被写体だけが高速で移動する場合を、正しく認識することができる。
【００１４】
以下、添付の図面を用いて本発明の画像処理装置の実施の形態、及び、フレーム内での被写体の移動速度の判定処理についての種々の変形例について説明する。図１は、インターレース画像の処理装置１０の全体構成を示す図である。インターレース画像の処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用されるＲＡＭ３、マン・マシン・インターフェースであるキーボード４及びマウス５、ディスプレイ６、主記録装置であり、ビデオカメラ８で撮影した映像の符号化処理途中における画像データ及び符号化処理後の符号データを記録するハードディスク（ＨＤ）７、並びに、ビデオカメラ８で構成される。
【００１５】
図２は、ビデオカメラ８により撮影される一連のフレームを示す図である。ビデオカメラ８は、撮影の開始時間ｔ０と共にフレーム０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフレーム１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔｎまでの間に１／６０秒単位で合計ｎ枚のフレームの画像をインターレース形式でスキャンする。
【００１６】
図３の（ａ）〜（ｄ）は、ビデオカメラ８により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。インターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（実線で示す走査ライン）のスキャンを行う。これによりインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成るノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００１７】
なお、上記ノンインターレース画像のデータは、インターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成することができる。
【００１８】
図３の（ｃ）に示すくし型のずれの量Ｌは、被写体１５のインターレース画像内での移動速度に比例して長くなる。図３の（ｄ）に示すように、上記くし型のずれを有するノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブバンドの係数値は、横のエッジ成分Ｅ１の合計、即ち、被写体１５のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブバンドの係数値は、縦のエッジ成分Ｅ２の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置１０では、１ＬＨのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度をコードブロック単位で判定する。
【００１９】
図４は、画像処理装置１０のＣＰＵ１が実行する画像処理プログラムのメインルーチンのフローチャートである。まず、ビデオカメラ８により一連の複数のフレーム（図２を参照）で構成されるインターレース形式の画像データを取得する（ステップＳ１）。具体的には、ビデオカメラ８により１／６０秒単位でスキャンされるインターレース画像のデータをＲＡＭ３又はハードディスク７に記録する。なお、連続するフレームのインターレース画像のデータの取得方法としては、上記ビデオカメラ８を用いる他、例えば、圧縮符号化前の状態でハードディスク７に一連の複数のフレーム分のインターレース画像のデータを記録しておき、当該データを順に読み出すことも考えられる。
【００２０】
連続してスキャンされるフレーム２枚分のインターレース画像を合成（いわゆるインターレース変換）し、図３の（ｃ）に示したようなノンインターレース画像を形成する（ステップＳ２）。当該インターレース変換処理は、例えば、２枚の連続してスキャンされたインターレース画像の画像データを、ＲＡＭ３にスキャンしたライン毎に交互に出力することにより行う。または、先に読み込んだインターレース画像のデータをＲＡＭ３内に設けたノンインターレース画像のデータマップに展開した後、引き続きスキャンするインターフェース画像のデータを上記データマップに書き込むことにより行っても良い。
【００２１】
上記インターレース変換により得られたノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ３）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データについてのみ説明する。
【００２２】
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、ウェーブレット係数をコードブロックに分割し、得られるウェーブレット係数をＲＡＭ３又はハードディスク７に記録する（ステップＳ４）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施した後、処理後のデータをＲＡＭ３またはハードディスク７に記録する（ステップＳ５）。上記ステップＳ３からステップＳ５までの処理は、ＪＰＥＧ２０００に準拠して行う周知の処理である。
【００２３】
次にデータ削減処理を行う（ステップＳ６）。当該処理は、画像処理装置１０独自の処理であり、後に詳しく説明するように、ＲＡＭ３又はハードディスク７に記録されている１ＬＨのサブバンドのウェーブレット係数に基づいて被写体の移動速度が高速であるのか、又は低速であるのかをコードブロック単位の情報に基づいて判定する速度判定処理と、当該処理によりフレーム内の被写体が高速で移動していると判定されたコードブロックの画像については、上記ＲＡＭ３又はハードディスク７に記録されているエントロピー符号化後のデータに対し、ＬＨ成分を重視したデータ削減処理を施し、被写体が低速で移動していると判定された画像については、ＨＬ成分を重視したデータ削減処理を施す処理のことをいう。
【００２４】
上記データ削減処理後、各ブロックに分割されたウェーブレット係数をビットプレーンに分割し、ＪＰＥＧ２０００に規定の手順による算術符号化処理（いわゆる係数モデリング処理）を施し、処理後のデータをＲＡＭ３又はハードディスク７に記録する（ステップＳ７）。
【００２５】
上記算術符号化により得られた符号のデータを用いてＪＰＥＧ２０００に規定されている符号形成理を実行し（ステップＳ８）、得られる符号データをハードディスク７に記録する（ステップＳ９）。全てのフレーム処理が終了していない場合（ステップＳ１０でＮＯ）、上記ステップＳ１に戻り、ビデオカメラ８により次に撮影された画像の符号化処理を実行する。他方、ビデオカメラ８による撮影が終了し、全ての符号化処理が終了した場合（ステップＳ１０でＹＥＳ）、処理を終了する。
【００２６】
上述するように、ステップＳ１、Ｓ２、Ｓ６以外の処理（ステップＳ３，Ｓ４，Ｓ５，Ｓ７，Ｓ８）は、全てＪＰＥＧ２０００の規格に従う手順で実行されるものであり、これらの処理は、ステップＳ９及びステップＳ１０の処理と共に、ハードウェア回路により実現しても良い。これにより処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【００２７】
更に、インターレース変換（ステップＳ２）やデータ削減処理（ステップＳ６）をハード回路により実現しても良い。例えば、インターレース変換の処理は、最初にスキャンしたインターレース画像の画像データを保持しておく第１レジスタと、引き続きスキャンしたインターレース画像の画像データを保持しておく第２レジスタと、第２レジスタへのデータの書き込み終了と共に、第１及び第２レジスタからライン毎に交互にデータをノンインターレース用の画像メモリ又はバッファメモリに出力する第１リレースイッチと、第１及び第２レジスタからデータを出力している間、引き続きスキャンされるインターレース画像を保持するための第３及び第４レジスタ並びに当該第４レジスタへのデータの書き込み終了と共に第３及び第４レジスタからライン毎に交互にデータを上記ノンインターレース用の画像メモリ又はバッファメモリに出力する第２リレースイッチを用意することによりハード回路として実現することができる。これにより処理の高速化が図られる。
【００２８】
図５は、データ削減処理（図４、ステップＳ６）のフローチャートである。まず、レベル３の２次元離散ウェーブレット変換（図４、ステップＳ４）により得られたウェーブレット係数の１ＬＨのサブバンドの各コードブロック単位の係数値に基づいて、フレーム内の被写体の移動速度が高速／低速の何れであるのかの判定を行う（ステップＳ１１）。当該処理内容については以下に詳しく説明する。
【００２９】
上記ステップＳ１１における速度判定処理の結果、高速と判断された場合（ステップＳ１２でＹＥＳ）、以下のＬＨ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から２ビット分のデータを削除する（ステップＳ１３）。更に、図４のステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータの内、３ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から１ビット分のデータを削除する（ステップＳ１４）。
【００３０】
他方、インターレース画像内における被写体の移動速度が低速であると判断された場合（ステップＳ１２でＮＯ）、以下のＨＬ成分を重視したデータの削減処理を行う。これにより、良好な再現性を保ちながら、更なるデータの削減を可能にする。具体的には、図４のステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータの内、１ＬＨのサブバンドのデータをビットプレーンに展開した場合の最下位ビット（ＬＳＢ）から３ビット分のデータを削除する（ステップＳ１５）。低速の場合、図４のステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータの内、３ＬＨのサブバンドのデータは削除しない。上記処理の後、図４のメインルーチンにリターンする。
【００３１】
図６の（ａ）は、上記スカラ量子化後のウェーブレット係数のデータを、サブバンドに分割した後、各サブバンド毎にビットプレーンに分解した状態を示す図であり、図６の（ｂ）は、図５に示すフローチャートのステップＳ１１において高速と判断された場合にステップＳ１３及びＳ１４において実行する処理内容を図解するものである。図６の（ｂ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから２ビット分のデータを削除する。また、３ＬＨのサブバンドの係数の内、最下位ビットのデータを削除する。
【００３２】
また、図６の（ｃ）は、上記ステップＳ１１において低速と判断された場合にステップＳ１５において実行する処理内容を図解するものである。図６の（ｃ）に斜線を付して示すように、ビットプレーンに分解された１ＬＨのサブバンドの係数の内、最下位ビットから３ビット分のデータを削除する。この場合、３ＬＨのサブバンドの係数のデータは削除しない。
【００３３】
図７は、速度判定処理（図５、ステップＳ１１）のフローチャートである。まず、レベル３の２次元離散ウェーブレット変換により得られたウェーブレット係数を、例えば、３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ２０）。図８は、上記分割処理により各サブバンド（1LH,1HL,1HH,2LH,2HL,2HH,3LL,3LH,3HL,3HH）内に生成されるコードブロックを示す図である。１ＬＨ及び１ＨＬのサブバンドは、合計でｎ個のコードブロックに分割される。また、２ＬＨ及び２ＨＬのサブバンドは、合計でｍ個のコードブロックに分割される。以下、サブバンド内の各コードブロックを変数ＣＢの値で特定するが、理解の容易のため、図には、例えば、１ＬＨのサブバンドのＣＢ＝１のコードブロックをＣＢ１と記す。変数ＣＢの値は、例えば、１ＨＬのサブバンドの領域に複数の矢印で示すように、各サブバンド内で、いわゆるラスタ走査順序に従い１づつ増加する。
【００３４】
再び、図７のフローチャートを参照する。初期値としてコードブロックを表す変数ＣＢの値を１に設定し、動いていると判断された有意コードブロック・カウント値ＣＢＣを０に設定し、有意コードブロックについて求めるレートの合計値ＴＲを０に設定する（ステップＳ２１）。１ＬＨのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ２２）。１ＨＬのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ２３）。上記求めた係数を用いてｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｒａｔｅを算出する（ステップＳ２４）。上記変数ｒａｔｅは、フレーム内における被写体の移動速度に略比例して変化すると考えることができる。というのは、上述したように、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合、横方向にしか移動しないため、比較的安定した値をとるためである。
【００３５】
上記求めた変数ｒａｔｅの値が実験的に当該コードブロック内の被写体が動いていると判断できるしきい値ｔｈ０より大きい場合には（ステップＳ２５でＹＥＳ）、有意コードブロック・カウント値ＣＢＣの値に１を加算し（ステップＳ２６）、レート合計値ＴＲの値に変数ｒａｔｅの値を累算する（ステップＳ２７）。
【００３６】
上記変数ｒａｔｅの値がしきい値ｔｈ０以下の場合（ステップＳ２５でＮＯ）、又は、ｎ個のコードブロック全てについて速度判定処理が終了していない場合（ステップＳ２８でＮＯ）には、変数ＣＢに１を加算した後に（ステップＳ２９）上記ステップＳ２２に戻り、コードブロック単位の処理を続行する。
【００３７】
他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には、これまで動いていると判断した有意コードブロックの数及びそれらの変数ｒａｔｅの合計値ＴＲに基づく速度判定処理を実行する（ステップＳ３０〜Ｓ３３）。
【００３８】
全てのコードブロックについて変数ｒａｔｅの判断が行われた後（ステップＳ２８でＹＥＳ）、レート合計値ＴＲの値を、動いていると判断された有意コードブロックの数ＣＢＣで除算して変数ｓｐｅｅｄを求める（ステップＳ３０）。当該変数ｓｐｅｅｄは、動いていると判断されたコードブロックの変数ｒａｔｅの平均値であり、当該値が、実験的に求められるしきい値ｔｈ１よりも大きい場合（ステップＳ３１でＹＥＳ）、フレーム内の被写体が高速で移動していると判断する（ステップＳ３２）。他方、変数ｓｐｅｅｄの値がしきい値ｔｈ１以下の場合には（ステップＳ３１でＮＯ）、フレーム内の被写体が低速で移動していると判断する（ステップＳ３３）。
【００３９】
上記構成の処理装置１０によれば、サブバンド単位で被写体の移動速度を判定する場合に比べ、コートブロック単位での判断結果に基づいて総合的な速度判定を行うことで、静止画（風景）の中を比較的小さな被写体だけが高速で移動する場合に、これを、正しく高速であると判定することができる。
【００４０】
（２）変形例１
上記画像処理装置１０では、コートブロック単位での判断結果に基づいて総合的な速度判定処理として、動いていると判断されたコードブロックの移動度を表す変数ｒａｔｅの平均値に基づいて、フレーム内の被写体が移動しているか否かについて判断したが、以下に、動いていると判断されたコードブロックの過半数が高速で移動していると判断された場合に、フレーム内の被写体が高速で移動していると判断する速度判定処理の変形例１について説明する。
【００４１】
まず、レベル３の２次元離散ウェーブレット変換により得られたウェーブレット係数を３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ４０）。初期値としてコードブロックを表す変数ＣＢの値を１に設定し、動いていると判断された有意コードブロック・カウント値ＣＢＣを０に設定し、動いていると判断された有意コードブロックの内、被写体が高速で移動していると判断されたコードブロックの変数ＨＣＢを０に設定する（ステップＳ４１）。１ＬＨのコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ４２）。１ＨＬの対応するコードブロックＣＢの係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ４３）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｒａｔｅを算出する（ステップＳ４４）。求めた変数ｒａｔｅが実験的求められるしきい値ｔｈ０よりも大きい場合（ステップＳ４５でＹＥＳ）、コードブロックＣＢ内の被写体が動いていると判断して有意コードブロック数ＣＢＣの値に１を加算する（ステップＳ４６）。更に、変数ｒａｔｅが実験的に求められるしきい値ｔｈ１よりも大きい場合（ステップＳ４７でＹＥＳ）、動いていると判断されたコードブロックの内、被写体が高速で移動していると判断されたコードブロックの数を表す変数ＨＣＢの値に１を加算する（ステップＳ４８）。
【００４２】
変数ｒａｔｅがしきい値ｔｈ０以下（ステップＳ４５でＮＯ）、しきい値ｔｈ１イか（ステップＳ４７でＮＯ）、または、ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ４９でＮＯ）、変数ＣＢに１を加算した後（ステップＳ５０）、上記ステップＳ４２に戻り、コードブロック単位での移動速度の判定処理を続行する。
【００４３】
他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ４９でＹＥＳ）、動いていると判断された有意コードブロックの数ＨＣＢが、動いていると判断された有意コードブロックの数の過半数（ＣＢＣ／２）より多いか否かについて調べる。多い場合（ステップＳ５１でＹＥＳ）、フレーム内の被写体は高速で移動していると判断する（ステップＳ５２）。また同じか少ない場合（ステップＳ５１でＮＯ）、フレーム内の被写体は低速で移動していると判断する（ステップＳ５３）。当該処理の後、メインルーチンにリターンする。
【００４４】
（３）他の変形例
上述するようにフレーム内の被写体の移動速度は、１ＬＨのウェーブレット係数の値に比例するが、当該ウェーブレット係数を５：３のロスレス・フィルタを用いて符号化して得られる１ＬＨのサブバンドの符号データの量にも当然比例する。以下、図７及び図９に示した２つの速度判定処理を仮算術符号化処理により求めた符号の量に基づいて行う場合について順に簡単に説明する。
【００４５】
図１０は、図７に示した速度判定処理を、仮の算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータを３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ６０）。各コードブロックのウェーブレット係数をビットプレーンに分割し、各ビットプレーンのデータに対して仮算術符号化処理を施す（ステップＳ６１）。初期値としてコードブロックを表す変数ＣＢの値を１に設定し、動いていると判断された有意コードブロック・カウント値ＣＢＣを０に設定し、有意コードブロックについて求めるレートの合計値ＴＲを０に設定する（ステップＳ６２）。１ＬＨのコードブロックＣＢの符号量の和ｓｕｍ１ＬＨを算出する（ステップＳ６３）。１ＨＬのコードブロックＣＢの符号量の和ｓｕｍ１ＨＬを算出する（ステップＳ６４）。上記求めた係数を用いてｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｒａｔｅを算出する（ステップＳ６５）。上記求めた変数ｒａｔｅの値が実験的に当該コードブロック内の被写体が動いていると判断できるしきい値ｔｈ２より大きい場合には（ステップＳ６６でＹＥＳ）、有意コードブロック・カウント値ＣＢＣの値に１を加算し（ステップＳ６７）、レート合計値ＴＲの値に変数ｒａｔｅの値を累算する（ステップＳ６８）。
【００４６】
変数ｒａｔｅの値がしきい値ｔｈ２以下の場合（ステップＳ６６でＮＯ）、または、ｎ個のコードブロック全てについて速度判定処理が終了していない場合（ステップＳ６９でＮＯ）には、変数ＣＢに１を加算した後（ステップＳ７０）、上記ステップＳ６３に戻り、コードブロック単位の処理を続行する。
【００４７】
他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ６９でＹＥＳ）、これまで動いていると判断した有意コードブロックの数及びそれらのｒａｔｅの合計値ＴＲに基づく速度判定処理を実行する（ステップＳ７１〜Ｓ７４）。
【００４８】
ｎ個全てのコードブロックについて変数ｒａｔｅの判断が行われた後（ステップＳ６９でＹＥＳ）、レート合計値ＴＲの値を、動いていると判断された有意コードブロックの数ＣＢＣで除算して変数ｓｐｅｅｄを求める（ステップＳ７１）。当該変数ｓｐｅｅｄは、動いていると判断されたコードブロックの変数ｒａｔｅの平均値であり、当該値が、実験的に求められるしきい値ｔｈ３よりも大きい場合に（ステップＳ７２でＹＥＳ）、フレーム内の被写体が高速で移動していると判断する（ステップＳ７３）。
【００４９】
他方、変数ｓｐｅｅｄの値がしきい値ｔｈ３以下の場合には（ステップＳ７２でＮＯ）、フレーム内の被写体が低速で移動していると判断する（ステップＳ７４）。
【００５０】
図１１は、図９に示した速度判定処理を、仮算術符号化処理により求めた符号の量に基づいて行う場合の処理手順を示す図である。まず、図４のメインルーチンのステップＳ５において実行したスカラ量子化後のウェーブレット係数のデータを３２×３２画素マトリクスで成るコードブロックに分割する（ステップＳ８０）。各コードブロックのウェーブレット係数をビットプレーンに分割し、各ビットプレーンのデータに対して算術符号化処理を施す（ステップＳ８１）。初期値としてコードブロックを表す変数ＣＢの値を１に設定し、動いていると判断された有意コードブロック・カウント値ＣＢＣを０に設定し、動いていると判断された有意コードブロックの内、被写体が高速で移動していると判断されたコードブロックの数ＨＣＢを０に設定する（ステップＳ８２）。１ＬＨのコードブロックＣＢの符号量の和ｓｕｍ１ＬＨを算出する（ステップＳ８３）。１ＨＬの対応するコードブロックＣＢの符号量の和ｓｕｍ１ＨＬを算出する（ステップＳ８４）。ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ＝ｒａｔｅを算出する（ステップＳ８５）。求めた変数ｒａｔｅが実験的求められるしきい値ｔｈ２よりも大きい場合（ステップＳ８６でＹＥＳ）、コードブロックＣＢ内の被写体が動いていると判断して有意コードブロック数ＣＢＣの値に１を加算する（ステップＳ８７）。更に、変数ｒａｔｅが実験的に求められるしきい値ｔｈ４よりも大きい場合（ステップＳ８８でＹＥＳ）、動いていると判断されたコードブロックの内、被写体が高速で移動していると判断されたコードブロックの数を表す変数ＨＣＢの値に１を加算する（ステップＳ９９）。
【００５１】
変数ｒａｔｅの値がしきい値ｔｈ２以下の場合（ステップＳ８６でＮＯ）、しきい値ｔｈ３以下の場合（ステップＳ８８でＮＯ）、または、ｎ個のコードブロック全てについて上記移動速度に応じたデータ削減処理が終了していない場合には（ステップＳ９０でＮＯ）、変数ＣＢに１を加算した後（ステップＳ９１）、上記ステップＳ８３に戻り、コードブロック単位での移動速度の判定処理を続行する。
【００５２】
他方、ｎ個のコードブロック全てについて上記処理が完了した場合、即ち変数ＣＢ＝ｎの場合には（ステップＳ９０でＹＥＳ）、動いていると判断された有意コードブロックの数ＨＣＢが、動いていると判断された有意コードブロックの数の過半数（ＣＢＣ／２）より多いか否かについて調べる。多い場合（ステップＳ９２でＹＥＳ）、フレーム内の被写体は高速で移動していると判断する（ステップＳ９３）。また同じか少ない場合（ステップＳ９２でＮＯ）、フレーム内の被写体は低速で移動していると判断する（ステップＳ９４）。当該処理の後、メインルーチンにリターンする。
【００５３】
以上に説明するように図１０及び図１１に示す２つの変形例を用いてもコードブロック単位の被写体の移動速度を簡単に判定することができる。これにより、サブバンド単位で被写体の移動速度を判定する場合に比べて、例えば、静止画の中で被写体だけが移動する場合に、静止画の部分と動画の部分とを分けて適応的に処理することができる。
【図面の簡単な説明】
【００５４】
【図１】画像処理装置の全体構成図である。
【図２】ビデオカメラにより１／６０秒単位で撮影される一連のフレーム画像を示す図である。
【図３】（ａ）〜（ｄ）は、ビデオカメラにより得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。
【図４】画像処理装置の実行する処理のメインルーチンを示す図である。
【図５】データ削減処理のフローチャートである。
【図６】（ａ）〜（ｃ）は、被写体の移動速度の判定結果に基づいてコードブロック単位で行うデータ削減処理の様子を示す図である。
【図７】速度判定処理のフローチャートである。
【図８】ウェーブレット係数のコードブロック化を説明するための図である。
【図９】速度判定処理の変形例のフローチャートである。
【図１０】速度判定処理の変形例のフローチャートである。
【図１１】速度判定処理の変形例のフローチャートである。
【符号の説明】
【００５５】
１  ＣＰＵ、２  ＲＯＭ、３  ＲＡＭ、４  キーボード、５  マウス、６  ディスプレイ、７  ハードディスク、８  ビデオカメラ、１０  画像処理装置、１５  被写体。
【図１】
2004159313.tif 000003
【図２】
2004159313.tif 000004
【図３】
2004159313.tif 000005
【図４】
2004159313.tif 000006
【図５】
2004159313.tif 000007
【図６】
2004159313.tif 000008
【図７】
2004159313.tif 000009
【図８】
2004159313.tif 000010
【図９】
2004159313.tif 000011
【図１０】
2004159313.tif 000012
【図１１】
2004159313.tif 000013