(57)【要約】【課題】特に、連続するフィールドのインターレース画像から生成されるノンインターレース画像を処理対象とする画像処理装置であって、フレーム内の被写体の移動速度に応じて再生画像の画質を劣化を防ぎながら、良好な画像データの圧縮符号化を実現する画像処理装置を提供する。【解決手段】本発明の画像処理装置は、連続する２枚のインターレース画像で成るノンインターレース画像の画像データを符号データに符号化する画像処理装置において、上記符号データの量を削減するデータ削減手段であって、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性が高くなるように符号データの量を削減するデータ削減手段を備えることを特徴とする。【選択図】  図１
2004194062.tif 000002
【特許請求の範囲】
【請求項１】
連続する２枚のインターレース画像で成るノンインターレース画像の画像データを符号データに符号化する画像処理装置において、
上記符号データの量を削減するデータ削減手段であって、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性を劣化させる箇所の符号データの削減量を少なくするデータ削減手段を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
上記データ削減手段は、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、上記２枚のフィールドのインターレース画像の間で生じるくし型の画像のずれの再現性を劣化させる箇所の符号データの削減量を少なくする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、
上記データ削減手段は、上記量子化を行う際に使用する量子化ステップ数を標準値より大きくすることにより符号データの削減を行い、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくする画像処理装置。
【請求項４】
請求項１又は請求項２に記載の画像処理装置は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、
上記データ削減手段は、上記量子化後の係数の下位ビットデータを破棄することにより符号データの削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数の下位ビットデータを破棄する量を少なくする画像処理装置。
【請求項５】
請求項１又は請求項２に記載の画像処理装置は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、
上記データ削減手段は、上記符号データの下位ビットのデータを破棄してデータ削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、上記符号データの下位ビットデータを破棄する量を少なくする画像処理装置。
【請求項６】
請求項３乃至請求項５の何れかに記載の画像処理装置では、周波数変換として２次元離散ウェーブレット変換を行う画像処理装置。
【請求項７】
連続する２枚のインターレース画像で成るノンインターレース画像の画像データを符号データに符号化する画像処理方法において、
上記符号データの量を削減するデータ削減工程であって、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性を劣化させる箇所の符号データの削減量を少なくするデータ削減工程を含むことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において、
上記データ削減工程は、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、上記２枚のフィールドのインターレース画像の間で生じるくし型の画像のずれの再現性を劣化させる箇所の符号データの削減量を少なくする画像処理方法。
【請求項９】
請求項７又は請求項８に記載の画像処理方法は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、
上記データ削減工程は、上記量子化を行う際に使用する量子化ステップ数を標準値より大きくすることにより符号データの削減を行い、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくする画像処理方法。
【請求項１０】
請求項７又は請求項８に記載の画像処理方法は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、
上記データ削減工程は、上記量子化後の係数の下位ビットデータを破棄することにより符号データの削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数の下位ビットデータを破棄する量を少なくする画像処理方法。
【請求項１１】
請求項７又は請求項８に記載の画像処理方法は、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、
上記データ削減工程は、上記符号データの下位ビットのデータを破棄してデータ削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、上記符号データの下位ビットデータを破棄する量を少なくする画像処理方法。
【請求項１２】
請求項９乃至請求項１１の何れかに記載の画像処理方法では、周波数変換として２次元離散ウェーブレット変換を行う画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ウェーブレット変換を利用して画像データの圧縮符号化を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来より、画像データをＤＣＴ変換や２次元離散ウェーブレット変換により周波数領域の係数に変換し、当該係数を周波数毎に量子化し、量子化後の係数をエントロピー符号化する種々の画像処理装置が知られている。例えば、再生画像の劣化を防ぎつつデータ圧縮量を増やすことを目的として、上記量子化で使用する量子化ステップサイズを画質制御単位（例えば、ウェーブレット変換を利用する場合、各サブバンド単位）に変更する画像処理装置が提案されている（例えば、特許文献１を参照）。
【０００３】
【特許文献１】
特開平０８−１８６８１６号公報
【０００４】
【発明が解決しようとする課題】
上記特許文献１に開示される画像処理装置では、２次元離散ウェーブレット変換を利用するが、変換後のウェーブレット係数を量子化する際の量子化ステップサイズを輝度信号に関してＬＨ，ＨＬ，ＨＨのサブバンドの順で大きくし、色差信号に関してＨＬ，ＬＨ，ＨＨのサブバンドの順で大きくする。
【０００５】
上記量子化ステップサイズの調整処理の内容は、ＭＰＥＧの標準画像である“Mobile calendar”を用いた実験データに基づいて得られたものであり、一般的な中間調画像の特質に基づいて特定されたものではない。
【０００６】
また、ビデオカメラにより１／６０秒毎に連続して取り込まれる２枚のフィールドのインターレース画像より成るノンインターレース画像には、水平方向の被写体の移動速度に応じたくし型の画素のずれが生じる。上記画像処理装置では、上記くし型の画素のずれ量が被写体の移動速度により変化することを考慮していないため、被写体の移動速度によっては、元々一本であった縦線が２本になったり再生画像の輪郭が左右にぶれたりして画質が大きく劣化する。
【０００７】
本発明は、特に、連続するフィールドのインターレース画像から生成されるノンインターレース画像を処理対象とする画像処理装置であって、フレーム内の被写体の移動速度に応じて再生画像の画質を劣化を防ぎながら、良好な画像データの圧縮符号化を実現する画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の第１の画像処理装置は、連続する２枚のインターレース画像で成るノンインターレース画像の画像データを符号データに符号化する画像処理装置において、上記符号データの量を削減するデータ削減手段であって、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性を劣化させる箇所の符号データの削減量を少なくするデータ削減手段を備えることを特徴とする。
【０００９】
本発明の第２の画像処理装置は、上記第１の画像処理装置において、上記データ削減手段は、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、上記２枚のフィールドのインターレース画像の間で生じるくし型の画像のずれの再現性を劣化させる箇所の符号データの削減量を少なくすることを特徴とする。
【００１０】
本発明の第３の画像処理装置は、上記第１又は第２の画像処理装置が、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、上記データ削減手段は、上記量子化を行う際に使用する量子化ステップ数を標準値より大きくすることにより符号データの削減を行い、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくすることを特徴とする。
【００１１】
本発明の第４の画像処理装置は、上記第１又は第２の画像処理装置が上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、上記データ削減手段は、上記量子化後の係数の下位ビットデータを破棄することにより符号データの削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数の下位ビットデータを破棄する量を少なくすることを特徴とする。
【００１２】
本発明の第５の画像処理装置は、上記第１又は第２の画像処理装置が、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理装置であり、上記データ削減手段は、上記符号データの下位ビットのデータを破棄してデータ削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、上記符号データの下位ビットデータを破棄する量を少なくすることを特徴とする。
【００１３】
本発明の第６の画像処理装置は、上記第３乃至第５の何れかの画像処理装置において、周波数変換として２次元離散ウェーブレット変換を行うことを特徴とする。
【００１４】
本発明の第１の画像処理方法は、連続する２枚のインターレース画像で成るノンインターレース画像の画像データを符号データに符号化する画像処理方法において、上記符号データの量を削減するデータ削減工程であって、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性を劣化させる箇所の符号データの削減量を少なくするデータ削減工程を含むことを特徴とする。
【００１５】
本発明の第２の画像処理方法は、上記第１の画像処理方法において、上記データ削減工程は、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、上記２枚のフィールドのインターレース画像の間で生じるくし型の画像のずれの再現性を劣化させる箇所の符号データの削減量を少なくすることを特徴とする。
【００１６】
本発明の第３の画像処理方法は、上記第１又は第２の画像処理方法が、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、上記データ削減工程は、上記量子化を行う際に使用する量子化ステップ数を標準値より大きくすることにより符号データの削減を行い、上記ノンインターレース画像内の被写体の移動速度の増加に伴い、高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくすることを特徴とする。
【００１７】
本発明の第４の画像処理方法は、上記第１又は第２の画像処理方法が、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、上記データ削減工程は、上記量子化後の係数の下位ビットデータを破棄することにより符号データの削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数の下位ビットデータを破棄する量を少なくすることを特徴とする。
【００１８】
本発明の第５の画像処理方法は、上記第１又は第２の画像処理方法が、上記ノンインターレース画像の画像データを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の係数をエントロピー符号化して符号データを生成する画像処理方法であり、上記データ削減工程は、上記符号データの下位ビットのデータを破棄してデータ削減を行い、ノンインターレース画像内の被写体の移動速度の増加に伴い、上記符号データの下位ビットデータを破棄する量を少なくすることを特徴とする。
【００１９】
本発明の第６の画像処理方法は、上記第３乃至第５の何れかの画像処理方法であって、周波数変換として２次元離散ウェーブレット変換を行うことを特徴とする。
【００２０】
【発明の実施の形態】
（１）発明の概要
本発明の画像処理装置は、連続する２つのフィールドのインターレース画像から生成されるノンインターレース画像（フレーム）を処理対象とし、当該ノンインターレース画像の画像データを画像データを周波数領域の係数に変換し、当該係数を周波数毎に量子化し、量子化後の係数をエントロピー符号化する画像処理装置であって、フレーム内の被写体の移動速度の増加に対して、人の視覚特性を考慮して、ノンインターレース画像に表れるくし型の画像のずれの再現性を高めるように、即ち、画像のエッジ部分の再現性を劣化させる箇所の符号データの削減量を少なくするデータ削減処理（量子化によるデータ削減を含む）を実行する。具体的には、以下の３通りの手法でデータ削減処理を実行する。なお、これら３つの手法のデータ削減処理を実行する実施の形態１乃至３の画像処理装置については、後に詳しく説明する。
【００２１】
データ削減処理の第１の手法では、処理対象であるノンインターレース画像のデータを、周波数変換、例えば、ＪＰＥＧではＤＣＴ変換、また、ＪＰＥＧ２０００では２次元離散ウェーブレット変換により周波数領域の係数に変換し、周波数毎の係数に対して行う量子化を利用してデータ削減を行う。この際、フレーム内の被写体の移動速度の増加に伴い、高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくする。そして量子化後の係数をエントロピー符号化する。当該第１の手法は、以下に説明する実施の形態１に係る画像処理装置で採用する。
【００２２】
データ削減処理の第２の手法では、処理対象であるノンインターレース画像のデータを周波数変換し、当該変換により得られる周波数毎の係数の量子化を行った後、当該量子化後の周波数毎の係数を画質制御単位（例えば、ＪＰＥＧ２０００ではサブバンドやコードブロックがこれに相当する）に分割し、フレーム内の被写体の移動速度に応じて、分割した係数の内、最終的に必要な部分（例えば、ＪＰＥＧ２０００では必要なサブバンド単位のビットプレーン又はコードブロック単位のビットプレーンの内、必要な部分）だけの係数のエントロピー符号化を行うことによりデータ削減を行う。この際、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数の下位ビットデータを破棄する量を少なくする。当該第２の手法は、以下に説明する実施の形態２に係る画像処理装置で採用する。
【００２３】
データ削減処理の第３の手法では、処理対象であるノンインターレース画像のデータを周波数変換し、当該変換により得られる周波数毎の係数を量子化し、量子化後の周波数毎の係数をエントロピー符号化した後、フレーム内の被写体の移動速度に応じて最終的に不要なエントロピー符号の破棄を行うことによりデータ削減を行う。当該エントロピー符号の破棄は、重要度の低いものから画質制御単位の係数のビットプレーン（例えば、ＪＰＥＧ２０００では、サブバンドやコードブロックの係数のビットプレーン）単位で行う。この際、ノンインターレース画像内の被写体の移動速度の増加に伴い、高周波数帯域の係数をエントロピー符号化して得られる符号データの下位ビットデータを破棄する量が少なくなるように重要度を調節する。当該第３の手法は、以下に説明する実施の形態３に係る画像処理装置で採用する。
【００２４】
（２）実施の形態１
実施の形態１に係る画像処理装置１０は、ＪＰＥＧ２０００に準拠した符号化処理を実行し、周波数変換である２次元離散ウェーブレット変換により得られるウェーブレット係数に対して行うスカラ量子化の量子化ステップサイズを、画質制御単位であるサブバンド単位で、フレーム内の被写体の移動速度に応じて変化させる。より詳しくは、処理対象であるノンイインターレース画像内の被写体の移動速度の増加に伴い、当該ノンインターレース画像内に現れるくし型の画像のずれの再現性を高めるように、画像のエッジ部分の再現性を劣化させ得る箇所である高い周波数帯域の係数を量子化する際に用いる量子化ステップ数の値を小さくする。
【００２５】
図１は、画像処理装置１０の構成を示す図である。画像処理装置１０は、ＪＰＥＧ２０００に準拠する画像データの圧縮符号化処理装置であり、中央演算処理装置（以下、ＣＰＵ）１を中心に、制御プログラムを記憶しているＲＯＭ２、符号化処理の実行時にワークメモリとして利用されるＲＡＭ３、キーボード４、マウス５、ディスプレイ６、ハードディスク７、ビデオカメラ８で構成される。
【００２６】
ＲＡＭ３の第１画像データ領域３ａ及び第２画像データ領域３ｂには、ビデオカメラ８により連続して撮影される２つのフィールドのインターレース画像で形成されるノンインターレース画像の画像データがＣＰＵ１の制御により交互に書き込まれる。
【００２７】
より具体的には、図２に示すように、１／６０秒単位で連続して読み込まれるフィールド０〜ｎのインターレース画像の内、例えば、フィールド０のインターレース画像Ａ（図３の（ａ）を参照）の画像データをＲＡＭ３の第１画像データ領域３ａに書き込んだ後、１ライン単位で交互に未だデータの書き込まれていない領域に１／６０秒後に読み取られる次のフィールド１のインターレース画像（図３の（ｂ）を参照）の画像データを補充するように書き加える。これにより、図３の（ｃ）に示すようなノンインターレース画像の画像データがＲＡＭ３の第１画像データ領域３ａに形成される。
【００２８】
同様にして、ＣＰＵ１は、フィールド２及び３のインターレース画像Ａ及びＢの画像データを第２画像データ領域３ｂに書き込みノンインターレース画像の画像データを形成する。第１画像データ領域３ａに書き込まれたノンインターレース画像の画像データは、第２画像データ領域３ｂに次に形成されるノンインターレース画像の画像データの書き込みが完了するまでの間（約１／３０秒の間）に、ＣＰＵ１により符号化される。
【００２９】
ＣＰＵ１は、符号化処理により生成する符号データを第１符号データ領域３ｃに書き込み、符号化処理の完了に伴い第１符号データ領域３ｃに書き込んだ符号データをハードディスク７に格納する。
【００３０】
一方、第２画像データ領域３ｂにノンインターレース画像の画像データの書き込みが完了した場合には、ＣＰＵ１は、符号化処理により生成される符号データを第２符号データ領域３ｄに書き込み、符号化処理の完了に伴い第２符号データ領域３ｄに書き込んだ符号データをハードディスク７に格納する。
【００３１】
なお、ＣＰＵ１は、ＲＡＭ３の第１画像データ領域３ａ及び第２画像データ領域３ｂに書きこまれた符号化前のノンインターレース画像のデータを、一旦全てハードディスク７に記録した後、当該記録したノンインターレース画像の画像データを読み出し、順に符号化処理しても良い。
【００３２】
図３の（ａ）〜（ｄ）は、ビデオカメラ８により得られるインターレース画像からノンインターレース画像を生成する際に生じる現象と当該現象を利用する移動速度の判定原理について説明するための図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（再び実線で示す走査ライン）をスキャンする。
【００３３】
インターレース画像Ａの画像データをＲＡＭ３の第１又は第２画像データ領域３ａ又は３ｂに書き込んだ後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（図３の（ｂ）において実線で示す走査ライン）のスキャンを行う。これによりインターレース画像Ｂが撮影される。スキャンしたインターレース画像Ｂの画像データは、ＣＰＵ１により、直前のフィールドのインターレース画像Ａのデータが書き込まれたＲＡＭ３の第１又は第２画像データ領域３ａ又は３ｂに、当該インターレース画像Ａがスキャンしていないライン（図３の（ａ）の点線で示すライン）の画像データを補充するように書き加える。
【００３４】
撮影中、フィールドのインターレース画像Ａのあるラインをスキャンしてから、次のフィールドのインターレース画像Ｂの直ぐ下の画素のラインをスキャンするのに１／６０秒が経過する。図３の（ａ）に示すインターレース画像Ａと図３の（ｂ）に示すインターレース画像Ｂを比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、ＲＡＭ３の第１又は第２画像データ領域３ａ又は３ｂに形成されるノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００３５】
図３の（ｃ）及び（ｄ）に示すくし型のずれの量Ｌは、被写体１５のインターレース画像内での移動速度に比例して長くなる。図３の（ｄ）に示すように、上記くし型のずれを有するノンインターレス画像の画像データを２次元離散ウェーブレット変換して得られる１ＬＨのサブバンドの係数値は、横のエッジ成分Ｅ１の合計、即ち、被写体１５のインターレース画像内での移動速度に比例して増加する。また、１ＨＬのサブバンドの係数値は、縦のエッジ成分Ｅ２の合計に比例して係数値が増加するが、一般の撮影では殆どの被写体は横方向に移動するという経験則に従い、被写体の移動速度によって殆ど変化しないものであるとして取り扱う。以下に説明するように、画像処理装置１０では、１ＬＨのサブバンドの係数値の上記特性を利用して、インターレース画像内での被写体の移動速度を判定する。
【００３６】
図４は、ＣＰＵ１の実行する符号化処理のメインルーチンのフローチャートである。まず、ＲＡＭ３の第１（又は第２）画像データ領域３ａ（又は３ｂ）に書き込みの完了したノンインターレース画像の画像データを読み出す（ステップＳ１）。読み出したノンインターレース画像の画像データをＹ（輝度）、Ｃｂ，Ｃｒ（色差）の３つの信号に変換（いわゆる色変換）する（ステップＳ２）。
【００３７】
色変換により得られるＹ，Ｃｂ，Ｃｒの３つの信号に対して、それぞれ周波数変換として、２次元離散ウェーブレット変換を実行する（ステップＳ３）。当該変換により得られるＹ、Ｃｂ，Ｃｒ成分のウェーブレット係数に対して、速度対応量子化処理を実行する（ステップＳ４）。なお、速度対応量子化処理の内容については後に詳細に説明する。
【００３８】
速度対応量子化後のＹ，Ｃｂ，Ｃｒ成分の各データに対し、ＪＰＥＧ２０００に規定の係数モデリング処理及び算術符号化処理で成るエントロピー符号化処理を実行する（ステップＳ５）。エントロピー符号化後、ＲＡＭ３の第１（又は第２）符号データ領域３ｃ（又は３ｄ）に書き込まれた符号データをハードディスク７に格納する（ステップＳ６）。
【００３９】
未だ処理すべきフレームの画像データが存在する場合には（ステップＳ７でＮＯ）、上記ステップＳ１に戻り、前回、画像データの読み出しを行った画像データ領域とは異なる側の画像データ領域（３ｂ又は３ａ）に書き込まれたノンインターレース画像の画像データを読み出す。ビデオカメラ８による撮影を止め、最後のフレーム（図２に示すフィールドｎ−１及びフィールドｎよりなるフレーム）のノンインターレース画像の画像データの符号化処理が完了した場合（ステップＳ７でＹＥＳ）、符号化処理を終了する。
【００４０】
図５は、速度対応量子化（図４、ステップＳ４）のフローチャートである。ここでは、分解レベル１のウェーブレット変換により得られるサブバンド１ＨＬの係数に基づいてフレーム内の被写体の移動速度を判定し、判定結果に基づいて画質制御単位であるサブバンド単位に異なる量子化ステップを特定し、特定した量子化ステップを用いた量子化を行う。より具体的には、被写体の移動速度の増加に伴い、高周波成分の係数に対する量子化ステップの数を小さくすることで、くし型の画像のずれの再現性を向上する。これにより、原画像で縦１本の線が再生画像で２本の線になったり、画像が左右にぶれたりすることを防止する。また、速度に応じて使用する量子化ステップを画質制御単位毎に最適化することで、再現画像の画質劣化を防止しつつ、良好なデータ削減を実現する。
【００４１】
まず、１ＬＨのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ１０）。次に、１ＨＬのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ１１）。２ＬＨのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ２ＬＨを算出する（ステップＳ１２）。２ＨＬのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ２ＨＬを算出する（ステップＳ１３）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の演算により変数ｓｐｅｅｄを算出する（ステップＳ１４）。
【００４２】
ここで、ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬは、１ＬＨの係数の値が画像の横方向のエッジ量の増加、即ち、フレーム内での被写体の移動速度の上昇に比例して増えるのに対して、１ＨＬの係数の値が画像の縦方向のエッジ量に比例する値を取り、経験上、被写体は殆どの場合横方向にしか移動しないため、比較的安定した値をとることから、くし型部分の長さ、即ち被写体の単位時間あたりの移動量（移動速度）を反映する。また、分解レベル２のウェーブレット係数（２ＬＨ，２ＨＬ，２ＬＬ）は、上記くし型のずれを２画素分のラインを単位として求めた値であるため、被写体の移動速度によらず比較的安定した値であると考えられる。従って、上記ステップＳ１４において実行する数式は、原画像に含まれるくし型以外の高周波の垂直、水平方向の割合（ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）で、（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）を正規化するものである。このため変数ｓｐｅｅｄは、フレーム内における被写体の移動速度を正確に反映するものであると考えることができる。
【００４３】
変数ｓｐｅｅｄが実験的に求めたしきい値ｔｈ１より大きい場合には（ステップＳ１５でＹＥＳ）、高速用量子化ステップを使用した量子化処理を実行する（ステップＳ１６）。当該量子化処理は、各分解レベル（１〜５）における各サブバンド単位（ＬＬ，ＨＬ，ＬＨ，ＨＨ）のＹ，Ｃｂ，Ｃｒの各成分のウェーブレット係数に対して行われる。
【００４４】
変数ｓｐｅｅｄが上記しきい値ｔｈ１以下であるが（ステップＳ１５でＮＯ）、しきい値ｔｈ２（但し、ｔｈ２＜ｔｈ１である）よりも大きい場合には（ステップＳ１６でＹＥＳ）、中速用量子化ステップを使用した量子化処理を実行する（ステップＳ１８）。
【００４５】
変数ｓｐｅｅｄがしきい値ｔｈ２以下の場合（ステップＳ１７でＮＯ）、低速用量子化ステップを使用した量子化処理を実行する（ステップＳ１９）。
【００４６】
上記ステップＳ１６，Ｓ１８，Ｓ１９の何れかの処理を実行した後、メインルーチンにリターンする。
【００４７】
図６は、高速用量子化ステップを使用した量子化処理（図５、ステップＳ１６）のフローチャートである。まず、分解レベルを表す変数ｎの値を５に設定する（ステップＳ２０）。ハードディスク７より図７の（ａ）〜（ｃ）に示すＹ，Ｃｂ，Ｃｒ成分の分解レベル５〜１に対応する正規化分母のデータ、及び、図８の（ａ）〜（ｃ）に示すＹ，Ｃｂ，Ｃｒ成分の分解レベル５〜１に対応する高速用重みデータをＲＡＭ３の作業領域（図１に示す空き領域）に読み出す（ステップＳ２１）。
【００４８】
まず、Ｙ，Ｃｂ，Ｃｒ成分の分解レベルｎのサブバンドＬＬの全ウェーブレット係数について順に量子化を行う（ステップＳ２２）。具体的には、次の「数１」を用いてＹ，Ｃｂ，Ｃｒの各成分別に、分解レベルｎのサブバンドＬＬのウェーブレット係数の量子化値“ｑ”を順に全て算出し、ＲＡＭ３の作業領域に保存する。
【００４９】
【数１】
2004194062.tif 000003
【００５０】
ここで、Ｙ，Ｃｂ，Ｃｒ成分の分解レベルｎのサブバンドＬＬの量子化ステップ数（Δｂ）は、（図７の（ａ）〜（ｃ）の図表に示す分解レベルｎのサブバンドＬＬの正規化分母の値）／（図８の（ａ）〜（ｃ）の図表に示す分解レベルｎのサブバンドＬＬの高速用の重み係数の値）を算出することで求められる。なお、当該演算により求められた量子化ステップ数（Δｂ）の値を図９の（ａ）〜（ｃ）に示す。
【００５１】
以下、同様の手順でＹ，Ｃｂ，Ｃｒ各成分毎に分解レベルｎのサブバンドＨＬの全ウェーブレット係数に対して量子化を行い（ステップＳ２３）、Ｙ，Ｃｂ，Ｃｒ各成分毎に分解レベルｎのサブバンドＬＨの全ウェーブレット係数に対して量子化を行い（ステップＳ２４）、Ｙ，Ｃｂ，Ｃｒ各成分毎に分割レベルｎのサブバンドＬＨの全ウェーブレット係数に対して量子化を行い（ステップＳ２４）、最後に、Ｙ，Ｃｂ，Ｃｒ各成分毎に分解レベルｎのサブバンドＨＨの全ウェーブレット係数に対して量子化を行う（ステップＳ２５）。
【００５２】
分解レベルを表す変数ｎの値が１でない場合には（ステップＳ２６でＮＯ）、係数ｎより１を減算した後（ステップＳ２７）、上記ステップＳ２３〜Ｓ２５の処理を実行する。他方、係数ｎの値が１の場合には（ステップＳ２６でＹＥＳ）、量子化処理を終了して図５のフローチャートにリターンする。
【００５３】
なお、中速用量子化ステップを使用した量子化処理（図５、ステップＳ１８）は、上述した高速用量子化ステップを使用した量子化処理の内、ハードディスク７から読み出す重み係数のデータが図８の（ａ）〜（ｃ）の図表に示すデータの代わりに図１０の（ａ）〜（ｃ）の図表に示すデータになるだけで、量子化ステップ数の算出方法などについては、全く同じである。このため、重複した説明は省く。
【００５４】
即ち、中速用量子化ステップを使用した量子化処理（ステップＳ１８）で用いる数式は、上記「数１」と同じであるが、上記量子化ステップ数（Δｂ）は、（図７の（ａ）〜（ｃ）に示す正規化分母の値）／（図１０の（ａ）〜（ｃ）に示す中速用の重み係数）を演算して求められる図１１の（ａ）〜（ｃ）に示す各値になる。
【００５５】
同様に、低速用量子化ステップを使用した量子化処理（図５、ステップＳ１９）は、上述した高速用量子化ステップを使用した量子化処理の内、ハードディスク７から読み出す重み係数のデータが図８の（ａ）〜（ｃ）の図表に示すデータの代わりに図１２の（ａ）〜（ｃ）の図表に示すデータになるだけで、量子化ステップ数の算出方法などについては、全く同じであるため、ここでの重複した説明は省く。
【００５６】
即ち、低速用量子化ステップを使用した量子化処理（ステップＳ１９）で用いる数式も、上記「数１」と同じであるが、上記量子化ステップ数（Δｂ）は、（図７の（ａ）〜（ｃ）に示す正規化分母の値）／（図１２の（ａ）〜（ｃ）に示す中速用の重み係数）を演算して求められる図１３の（ａ）〜（ｃ）に示す各値になる。
【００５７】
上述した量子化ステップ（Δｂ）の算出時に用いる図８、図１０、図１２の各速度別の重み成分は、低速になる程、再生画像の解像度に影響する高域の分解レベル及びサブバンドに対する重みを大きくし、高速に移動している画像程、くし型部分の量子化を抑えるように設定してある。このように、被写体の移動速度に応じて適切な量子化を行うことで、再生画像の画質低下を抑えつつ、圧縮率を高めることができる。
【００５８】
更には、図８、図１０、図１２の各速度別の重み成分のかわりに、分解レベル２まで特にＬＨ成分を重視して量子化を抑える図１４、図１６、図１８の重み成分を用いても良い。この場合の量子化ステップ数（Δｂ）は、図１５，図１７、図１９に示す値になる。これにより、くし型部分の再現性をより良好にすることができる。
【００５９】
（３）実施の形態２
実施の形態２における画像処理装置は、基本的な構成は実施の形態１に係る画像処理装置１０と同じであり、以下、同じ構成物には同じ参照番号を用いて説明する。実施の形態２に係る画像処理装置は、実施の形態１に係る画像処理装置１０を制御するＣＰＵ１の実行する符号化処理において、２次元離散ウェーブレット変換により得られるウェーブレット係数を、被写体の移動速度に応じて決まるテーブルに従いビットプレーン単位で削減する（当該ビットプレーンのデータを全て０に置きかえる）ことを特徴とする。より詳しくは、ノンインターレース画像内の被写体の移動速度の増加に応じて、当該ノンインターレース画像内に現れるくし型の画像のずれの再現性を高めるため、画像のエッジ部分の再現性に影響を与える高周波成分（１ＨＬ、１ＬＨ等）のウェーブレット係数のビットプレーンの削除枚数を少なくする。
【００６０】
図２０は、実施の形態２における画像処理装置（図示せず）のＣＰＵ１が実行する符号化処理のフローチャートである。まず、ＲＡＭ３の第１（又は、第２）画像データ領域３ａ（又は３ｂ）に書き込みの完了したノンインターレース画像の画像データを読み出す（ステップＳ３０）。読み出したノンインターレース画像の画像データをＹ（輝度）、Ｃｂ，Ｃｒ（色差）の３つの信号に変換（いわゆる色変換）する（ステップＳ３１）。
【００６１】
色変換により得られるＹ，Ｃｂ，Ｃｒの３つの信号に対して、それぞれ周波数変換として、２次元離散ウェーブレット変換を実行する（ステップＳ３２）。当該変換により得られるＹ，Ｃｂ，Ｃｒ各成分のウェーブレット係数に対してＪＰＥＧ２０００に準拠したスカラ量子化を行う（ステップＳ３３）。
【００６２】
当該量子化後のＹ，Ｃｂ，Ｃｒ各成分のウェーブレット係数をサブバンド単位でビットプレーンに分解し、フレーム内の被写体の移動速度に対応して、サブバンド単位で個別に、再現画像に与える影響の少ないビットプレーンのデータを削除するデータ削減処理を実行する（ステップＳ３４）。なお、当該処理の内容については後に詳しく説明する。
【００６３】
上記速度対応データ削減処理の後、ＪＰＥＧ２０００に準拠したエントロピー符号化処理（係数モデリング処理及び算術符号化処理により成る）を実行する（ステップＳ３５）。ＣＰＵ１によりＲＡＭ３の第１符号データ領域３ｃ又は第２符号データ領域３ｄに書き込まれる符号データをハードディスク７に保存する（ステップＳ３６）。
【００６４】
未だ処理すべきフレームの画像データが存在する場合には（ステップＳ３７でＮＯ）、上記ステップＳ３０に戻り、前回、画像データの読み出しを行った画像データ領域とは異なる側の画像データ領域（３ｂ又は３ａ）に書き込まれたノンインターレース画像の画像データを読み出す。ビデオカメラ８による撮影を止め、全てのフレーム（図２に示すフィールドｎ−１及びフィールドｎよりなるフレーム）のノンインターレース画像の画像データの符号化処理が完了した場合には（ステップＳ３７でＹＥＳ）、符号化処理を終了する。
【００６５】
図２１は、速度対応データ削減処理（図２０、ステップＳ３４）のフローチャートである。まず、１ＬＨのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ４０）。次に、１ＨＬのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ４１）。引き続き、２ＬＨのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ２ＬＨを算出する（ステップＳ４２）。２ＨＬのサブバンドのウェーブレット係数の絶対値の和ｓｕｍ２ＨＬを算出する（ステップＳ４３）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／（ｓｕｍ２ＬＨ／ｓｕｍ２ＬＨ）の演算より変数ｓｐｅｅｄを算出する（ステップＳ４４）。
【００６６】
上記ステップＳ４４で算出される変数ｓｐｅｅｄは、実施の形態１の欄でも説明したように、フレーム内の被写体の移動速度に比例した値であると解される。そこで、変数ｓｐｅｅｄが実験的に求められたしきい値ｔｈ３よりも大きい場合（ステップＳ４５でＹＥＳ）、フレーム内の被写体の移動速度は高速であると判断して、高速用データ削減処理を実行する（ステップＳ４６）。具体的には、図２２に示すように、Ｙ，Ｃｂ，Ｃｒの各成分の量子化後のウェーブレット係数をサブバンド毎にビットプレーンに展開し、図２３の（ａ）〜（ｃ）に表示するビットプレーンの枚数分だけ、各分解レベルのサブバンドの最下位のビットプレーンからデータを破棄する（データを０にする）。例えば、Ｙ成分のウェーブレット係数では、分解レベル１のＨＨ成分、即ち１ＨＨのサブバンドの最下位のビットプレーン１枚分のデータを破棄する。
【００６７】
また、変数ｓｐｅｅｄの値がしきい値ｔｈ３以下であるが、しきい値ｔｈ４よりも大きい場合には（ステップＳ４７でＹＥＳ）、フレーム内の被写体の移動速度は低速であると判断して、中速用データ削減処理を実行する（ステップＳ４８）。具体的には、Ｙ，Ｃｂ，Ｃｒの各成分の量子化後のウェーブレット係数をサブバンド毎にビットプレーンに展開し、図２４の（ａ）〜（ｃ）に表示する枚数分だけ、各分解レベルのサブバンドの最下位のビットプレーンからデータを破棄する。例えば、Ｙ成分のウェーブレット係数では、分解レベル１のＨＬ，ＬＨ，ＨＨ成分、即ち１ＨＬ，１ＬＨ，１ＨＨのサブバンドの最下位のビットプレーン２枚，２枚，３枚分のデータを破棄する。
【００６８】
他方、変数ｓｐｅｅｄの値がしきい値ｔｈ３以下の場合には（ステップＳ４９でＮＯ）、低速用データ削減処理を実行する（ステップＳ４９）。具体的には、Ｙ，Ｃｂ，Ｃｒの各成分の量子化後のウェーブレット係数をサブバンド毎にビットプレーンに展開し、図２５の（ａ）〜（ｃ）に表示する枚数分だけ、各分解レベルのサブバンドの最下位のビットプレーンからデータを破棄する。例えば、Ｙ成分のウェーブレット係数では、分解レベル１のＨＬ，ＬＨ，ＨＨ成分、即ち１ＨＬ，１ＬＨ，１ＨＨのサブバンドの最下位のビットプレーン５枚，５枚，８枚分のデータを破棄し、更に、分解レベル２のＨＬ，ＬＨ，ＨＨ成分、即ち２ＨＬ，２ＬＨ，２ＨＨのサブバンドの最下位のビットプレーン１枚，１枚，２枚分のデータを破棄する。
【００６９】
上記ステップＳ４６，Ｓ４８，Ｓ４９の何れかの処理終了後、図２０に示したメインルーチンにリターンする。
【００７０】
以上に説明するように実施の形態２に係る画像処理装置では、ノンインターレース画像内の被写体の移動速度の増加に応じて、当該ノンインターレース画像内に現れるくし型の画像のずれの再現性を維持するため、高周波成分（１ＨＬ、１ＬＨ等）のウェーブレット係数のビットプレーンの削除枚数を少なくする。これにより、再現画像の画質劣化を防止しつつ、良好なデータ削減を実現する。
【００７１】
なお、図２３、図２４、図２５の各速度別のビットトランケートを行う代わりに、分解レベル２まで特にＬＨ成分を重視して量子化を抑える図２６、図２７、図２８の図表に示す内容のビットトレンケートを実行しても良い。これにより、良好な圧縮率を保持しつつも、特に高速で移動している被写体に現れるくし型の画像のずれの再現性を向上させることができる。
【００７２】
（４）実施の形態３
実施の形態３における画像処理装置は、基本的な構成は実施の形態１に係る画像処理装置１０と同じであり、以下、同じ構成物には同じ参照番号を用いて説明する。実施の形態３に係る画像処理装置は、予定符号量の設定画面（図３４を参照）を介して設定された予定符号量になるまで、フレーム内の被写体の移動速度に応じて最終的に不要なエントロピー符号を破棄することによりデータの削減を行う。当該エントロピー符号の破棄は、重要度の低いものから画質制御単位の係数のビットプレーン（例えば、ＪＰＥＧ２０００では、サブバンドやコードブロックの係数のビットプレーン）単位で行う。この際、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性に影響を与える，高周波数帯域の係数をエントロピー符号化して得られる符号データの下位ビットデータを破棄する量が少なくなるように重要度を調節する。
【００７３】
図２９は、実施の形態３に係る画像処理装置のＣＰＵの実行する符号化処理のフローチャートである。まず、ＲＡＭ３の第１（又は、第２）画像データ領域３ａ（又は３ｂ）に書き込みの完了したノンインターレース画像の画像データを読み出す（ステップＳ６０）。読み出したノンインターレース画像の画像データをＹ（輝度）、Ｃｂ，Ｃｒ（色差）の３つの信号に変換（いわゆる色変換）する（ステップＳ６１）。
【００７４】
色変換により得られるＹ，Ｃｂ，Ｃｒの３つの信号に対して、それぞれ周波数変換として、２次元離散ウェーブレット変換を実行する（ステップＳ６２）。当該変換により得られるＹ，Ｃｂ，Ｃｒ各成分のウェーブレット係数に対してＪＰＥＧ２０００に準拠したスカラ量子化を行う（ステップＳ６３）。スカラ量子化後のＹ，Ｃｂ，Ｃｒ成分のウェーブレット係数にＪＰＥＧ２０００に準拠したエントロピー符号化処理（係数モデリング処理及び算術符号化処理より成る）を実行する（ステップＳ６４）。
【００７５】
符号量が予定値に収まるように、符号化処理により得られる符号データの画質制御単位である３２×３２画素マトリクスで成るコードブロックのビットプレーンのデータを重要度の低いものから順に破棄する（データの値を０に置きかえる）データ削減処理を実行する（ステップＳ６５）。なお、当該処理の内容については後に詳しく説明する。
【００７６】
上記速度対応データ削減処理の後、ＣＰＵ１によりＲＡＭ３の第１符号データ領域３ｃ又は第２符号データ領域３ｄに書き込まれる符号データをハードディスク７に保存する（ステップＳ６６）。
【００７７】
未だ処理すべきフレームの画像データが存在する場合には（ステップＳ６７でＮＯ）、上記ステップＳ６０に戻り、前回画像データの読み出しを行った画像データ領域とは異なる側の第２又は第１画像データ領域（３ｂ又は３ａ）に書き込まれたノンインターレース画像の画像データを読み出す。ビデオカメラ８により撮影を止め、全てのフレーム（図２に示すフィールドｎ−１及びフィールドｎよりなるフレーム）のノンインターレース画像の符号化処理が完了した場合には（ステップＳ６７でＹＥＳ）、符号化処理を終了する。
【００７８】
図３０は、速度対応データ削減処理（図２９、ステップＳ６５）のフローチャートである。まず、図３１に示すように、符号データを３２×３２画素マトリクスよりなるｎ個（例えば、１０２４×１０２４画素の画像データの場合、１０２４個である。）のコードブロックに分割する（ステップＳ７０）。コードブロックを特定する変数ＣＢを１に設定する（ステップＳ７１）。１ＬＨのサブバンドのコードブロックＣＢの符号データの絶対値の和ｓｕｍ１ＬＨを算出する（ステップＳ７２）。１ＨＬのサブバンドのコードブロックＣＢの符号データの絶対値の和ｓｕｍ１ＨＬを算出する（ステップＳ７３）。２ＬＨのサブバンドのコードブロックＣＢの符号データの絶対値の和ｓｕｍ２ＬＨを算出する（ステップＳ７４）。２ＨＬのサブバンドのコードブロックＣＢの符号データの絶対値の和ｓｕｍ２ＨＬを算出する（ステップＳ７５）。（ｓｕｍ１ＬＨ／ｓｕｍ１ＨＬ）／(ｓｕｍ２ＬＨ／ｓｕｍ２ＨＬ）の演算より変数ｓｐｅｅｄを算出する（ステップＳ７６）。
【００７９】
上記ステップＳ７６で算出される変数ｓｐｅｅｄは、実施の形態１の欄でも説明したように、フレーム内の被写体の移動速度に比例した値であると解される。そこで変数ｓｐｅｅｄの値が実験的に求められるしきい値ｔｈ５よりも大きい場合（ステップＳ７７でＹＥＳ）、フレーム内の被写体が高速で移動していると判断し、図８に示した高速用の視覚重みを用いて符号の重用度Ｇ（ＣＢ）を算出する（ステップＳ７８）。当該符号の重要度Ｇ（ＣＢ）は、図３２に示すように、３２×３２ビットのコードブロックの１６枚の各ビットプレーンについて求める。なお、当該処理の内容については後に詳しく説明する。
【００８０】
一方、変数ｓｐｅｅｄの値が実験的に求められるしきい値ｔｈ５以下であるが、しきい値ｔｈ６以下ではない場合（ステップＳ７９でＮＯ）、フレーム内の被写体が中速で移動していると判断し、図１０に示した中速用の視覚重みを用いて符号の重要度Ｇ（ＣＢ）算出処理を実行する（ステップＳ８０）。当該符号の重要度Ｇ（ＣＢ）は、３２×３２ビットのコードブロックの１６枚の各ビットプレーンについて求める。
【００８１】
変数ｓｐｅｅｄの値が実験的に求められるしきい値ｔｈ６以下の場合（ステップＳ７９でＮＯ）、図１２に示した低速用の視覚重みを用いた符号の重要度Ｇ（ＣＢ）の算出処理を実行する（ステップＳ８１）。当該符号の重要度Ｇ（ＣＢ）は、３２×３２ビットのコードブロックの１６枚の各ビットプレーンについて求める。
【００８２】
ＣＢ≠ｎの場合（ステップＳ８２でＮＯ）、変数ＣＢに１を加算して（ステップＳ８３）、上記ステップＳ７２に戻る。他方、ＣＢ＝ｎの場合（ステップＳ８２でＹＥＳ）、図３３に示すフローチャートのステップＳ８４に進み、ｎ個のコードブロックの１６枚のビットプレーン、即ち全部でｎ×１６枚のビットプレーンについて求められた符号の重要度Ｇ（ＣＢ）の値を、コードブロックＣＢ及び当該コードブロックのＬＳＢからのビットプレーンの枚数ｍの情報と共に、低いものから順に並べ替える（ソートする）（ステップＳ８４）。
【００８３】
上記ソート処理の後、ディスプレイ６に図３４に示す予定符号量ＤＳ（Data Sizeの略）設定画面５０を表示させる（ステップＳ８５）。
【００８４】
図３２に示すように、設定画面５０内に設けられている予定符号量の数値設定欄５１内にキーボード４を用いて予定符号量（例えば１５０ｋｂｉｔ等）を設定し、設定キー５２がマウス５によりクリックされた場合（ステップＳ８６でＹＥＳ）、現状で最もＬＳＢ側に位置する全ビットプレーンの内、最も重要度Ｇ（ＣＢ）ｍの低いコードブロックＣＢのビットプレーン１枚分のデータを破棄する（ステップＳ８７）。データ破棄した後の符号量が上記設定画面５０において設定された予定符号量ＤＳ以下の場合（ステップＳ８８でＮＯ）、ステップＳ８７に戻り、そのときに最もＬＳＢ側に位置する全ビットプレーンの内、最も重要度Ｇ（ＣＢ）の低いコードブロックＣＢのビットプレーン１枚のデータを破棄する。データ破棄後の符号量が予定符号量ＤＳに満たない値になった場合（ステップＳ８８でＹＥＳ）、速度対応データ削減処理を終了してメインルーチンにリターンする。
【００８５】
図３５は、高速用の視覚重みを用いた符号の重要度Ｇ（ＣＢ）ｍの算出処理（図３０、ステップＳ７８）のフローチャートである。まず、１つのコードブロックを構成するビットプレーンの枚数（本例では１６枚）を表す変数ｍの値を１に設定する（ステップＳ９０）。コードブロックＣＢ（ＣＢは１〜ｎ）のＬＳＢから数えてｍ枚目のビットプレーンのデータの重要度Ｇ（ＣＢ）ｍを求める（ステップＳ９１）。
【００８６】
上記重要度Ｇ（ＣＢ）ｍは、（コードブロックＣＢのｍ枚目のビットプレーンのデータを全て破棄した場合の量子化誤差の増分×視覚重み係数）／（ビットプレーン内にある有効な符号の総量）の演算式で求められるが、フローチャートに示すように、｛２＾（ｍ−１）−２＾（ｍ−２）｝×（ＬＳＢから数えてｍ枚目のビットプレーンに含まれる有効な符号の数）×視覚重み係数]／（ビットプレーン内にある有効な符号の和）の演算式で求めることができる。
【００８７】
重要度Ｇ（ＣＢ）ｍが上記演算式に近似できる理由を以下に述べておく。上記のコードブロックＣＢのｍ枚目のビットプレーンのデータを全て破棄した場合の量子化誤差の増分の算出方法は、種々存在し、数学的に厳密な方法は、例えば、「２００２年にKluwer出版社より発行されたD.S.Taubuman and M.W.Marcelinによる著、“JPEG2000: Image Compression Fundamentals, Standards and Practice”」に記載されている。しかし、本画像処理装置１０では、“ＬＳＢ（最下位ビット）から数えてｍ枚目のビットプレーンの符号を破棄した場合の１ウェーブレット係数あたりの量子化誤差”を２＾（ｍ−１）で近似する。ビットプレーンをＬＳＢから１枚破棄することは、誤差的観点からは係数を２で割ることと等価であり、その誤差は確率的には２＾（ｍ−１）だからである。
【００８８】
よって、“コードブロックＣＢのＬＳＢから数えてｍ枚目のビットプレーンの符号を破棄した場合の量子化誤差の増分”は、｛２＾（ｍ−１）−２＾（ｍ−２）｝×（ＬＳＢから数えてｍ枚目のビットプレーンに含まれる有効な係数の数）と近似することができる。従って、コードブロックＣＢのＬＳＢから数えてｍ枚目のビットプレーンの重要度Ｇ（ＣＢ）ｍは、｛２＾（ｍ−１）−２＾（ｍ−２）｝×（ＬＳＢから数えてｍ枚目のビットプレーンに含まれる有効な符号の数）×視覚重み係数]／（ビットプレーン内にある有効な符号の和）の演算式に近似することができるのである。
【００８９】
上記重要度Ｇ（ＣＢ）ｍ算出後において、変数ｍの値が１６でない場合（ステップＳ９２でＮＯ）、変数ｍに１を加算してステップＳ９１に戻り、コードブロックＣＢの次のビットプレーンの重要度Ｇ（ＣＢ）ｍを求める。変数ｍが１６の場合（ステップＳ９２でＹＥＳ）、コードブロックＣＢの全１６枚のビットプレーンの重要度の算出が完了したと判断して処理を終了しリターンする。
【００９０】
なお、ビットプレーンのデータを破棄する順序を、各コードブロックＣＢの最もＬＳＢ側に位置する有効なビットプレーンであって最も重要度Ｇ（ＣＢ）ｍの低いものから順とする以外、ラグランジュの未定乗数法を用いて決めても良い。ＪＰＥＧ２０００におけるラグランジュの未定乗数法の実装法についても上述した“D.S.Taubman等による著、“JPEG2000: Image Compression Fundamentals, Standards and Practice”に詳しく説明されている。
【００９１】
中速用の視覚重みを用いた符号の重要度Ｇ（ＣＢ）ｍの算出処理（図３０、ステップＳ８０）及び低速用の視覚重みを用いた符号の重要度Ｇ（ＣＢ）ｍの算出処理（ステップＳ８１）の処理内容は、それぞれ符号の重要度Ｇ（ＣＢ）ｍを算出する際に用いる視覚重みの係数を図１０及び図１２に示す図表の内容に換えるだけであり、それ以外の処理内容は全く同じであるため、ここでの重複した説明は省く。
【００９２】
なお、高速、中速、低速用の視覚重み係数として、図８、図１０、図１２の各速度別の重み成分のかわりに、分解レベル２まで特にＬＨ成分を重視して量子化を抑える図１４、図１６、図１８の重み成分を用いても良い。これにより、くし型部分の再現性をより良好にすることができる。
【００９３】
なお、図３５のステップＳ９１に示す重要度Ｇ（ＣＢ）ｍの算出式の代わりに、（コードブロックＣＢのｍ枚目のビットプレーンのデータを全て破棄した場合の量子化誤差の増分×視覚重み係数／マスキング係数）／（ビットプレーン内にある有効な符号の総量）の算出式を用いても良い。ここで、マスキング係数とは、（コードブロックＣＢに含まれる係数の絶対値の和／コードブロックＣＢに含まれる係数）＾αで定義される係数であり、上記αは実験の結果、０＜α≦１であり、一例としてα＝１を採用する。
【００９４】
更には、上記マスキング係数の代わりに、（コードブロックＣＢの１ＬＨのサブバンドの係数の絶対値の和）／（コードブロックＣＢの１ＨＬのサブバンドの係数の絶対値の和）又は、（コードブロックＣＢの１ＬＨのサブバンドの符号量）／（コードブロックＣＢの１ＨＬのサブバンドの符号量）の演算式により求められる係数をノンインターレース画像に表れるくし型の指標値として用いることも考えられる。
【００９５】
以上に説明するように、実施の形態３に係る画像処理装置では、エントロピー符号化処理御に、画質制御単位であるコードブロックのビットプレーン単位で重要度を調べ、予定の符号量ＤＳ未満になるまで、重要度の低いビットプレーンのデータから順に破棄するが、この際、ノンインターレース画像内の被写体の移動速度の増加に伴い、画像のエッジ部分の再現性を劣化させ得る箇所である，高周波数帯域の係数をエントロピー符号化して得られる符号データの下位ビットデータを破棄する量が少なくなるように上記重要度を調節する。これにより、再生画像に最も影響を与えることなく良好な画像圧縮を実現することができる。
【００９６】
【発明の効果】
本発明の画像処理装置又は画像処理方法によれば、連続する２つのフィールドのインターレース画像から生成されるノンインターレース画像（フレーム）を処理対象とする画像処理装置であって、フレーム内の被写体の移動速度の増加に対して、人の視覚特性を考慮して、ノンインターレース画像に表れるくし型の画像のずれの再現性を高めるように、データ削減処理（量子化によるデータ削減を含む）を実行することができる。
【図面の簡単な説明】
【図１】実施の形態１に係る画像処理装置の全体構成図である。
【図２】ビデオカメラで撮影されるインターレース画像の様子を示す図である。
【図３】（ａ）〜（ｄ）は、ノンインターレース画像からノンインターレース画像を形成する際に生じるくし型のずれについて説明するための図である。
【図４】ＣＰＵの実行する符号化処理のフローチャートである。
【図５】速度対応量子処理のフローチャートである。
【図６】高速用量子化ステップを使用した量子化処理のフローチャートである。
【図７】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの正規化分母を示す表である。
【図８】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用の重み係数を示す表である。
【図９】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用量子化ステップを示す表である。
【図１０】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用の重み係数を示す表である。
【図１１】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用量子化ステップを示す表である。
【図１２】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用の重み係数を示す表である。
【図１３】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用量子化ステップを示す表である。
【図１４】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用の重み係数を示す表である。
【図１５】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用量子化ステップを示す表である。
【図１６】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用の重み係数を示す表である。
【図１７】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用量子化ステップを示す表である。
【図１８】（ａ）〜（ｃ）は、量子化ステップを求める際に用いるＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用の重み係数を示す表である。
【図１９】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用量子化ステップを示す表である。
【図２０】実施の形態２の画像処理装置のＣＰＵが実行する符号化処理のフローチャートである。
【図２１】速度対応データ削減処理のフローチャートである。
【図２２】Ｙ成分の高速用ビットトランケーションの内容を図式的に示す図である。
【図２３】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用ビットトランケート数を示す表である。
【図２４】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用ビットトランケート数を示す表である。
【図２５】（ａ）〜（ｃ）は、Ｙ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用ビットトランケート数を示す表である。
【図２６】（ａ）〜（ｃ）は、別の重み係数を用いた場合のＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの高速用ビットトランケート数を示す表である。
【図２７】（ａ）〜（ｃ）は、別の重み係数を用いた場合のＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの中速用ビットトランケート数を示す表である。
【図２８】（ａ）〜（ｃ）は、別の重み係数を用いた場合のＹ，Ｃｂ，Ｃｒ各成分の分解レベル５〜１に対する各サブバンドの低速用ビットトランケート数を示す表である。
【図２９】実施の形態３に係る画像処理装置のＣＰＵの実行する符号化処理のフローチャートである。
【図３０】速度対応データ削減処理のフローチャートである。
【図３１】符号データをｎ個のコードブロックに分割した状態を示す図である。
【図３２】コードブロックをビットプレーンに分解した状態を示す図である。
【図３３】速度対応データ削減処理のフローチャートの続きである。
【図３４】ディスプレイに表示される予定符号量ＤＳの設定画面である。
【図３５】高速用の視覚重みを用いた符号の重要度の算出処理のフローチャートである。
【符号の説明】１  ＣＰＵ、２  ＲＯＭ、３  ＲＡＭ、３ａ  第１画像データ領域、３ｂ  第２画像データ領域、３ｃ  第１符号データ領域、３ｄ  第２符号データ領域、４  キーボード、５  マウス、６  ディスプレイ、７  ハードディスク、８  ビデオカメラ、１０  画像処理装置。
【図１】
2004194062.tif 000004
【図２】
2004194062.tif 000005
【図３】
2004194062.tif 000006
【図４】
2004194062.tif 000007
【図５】
2004194062.tif 000008
【図６】
2004194062.tif 000009
【図７】
2004194062.tif 000010
【図８】
2004194062.tif 000011
【図９】
2004194062.tif 000012
【図１０】
2004194062.tif 000013
【図１１】
2004194062.tif 000014
【図１２】
2004194062.tif 000015
【図１３】
2004194062.tif 000016
【図１４】
2004194062.tif 000017
【図１５】
2004194062.tif 000018
【図１６】
2004194062.tif 000019
【図１７】
2004194062.tif 000020
【図１８】
2004194062.tif 000021
【図１９】
2004194062.tif 000022
【図２０】
2004194062.tif 000023
【図２１】
2004194062.tif 000024
【図２２】
2004194062.tif 000025
【図２３】
2004194062.tif 000026
【図２４】
2004194062.tif 000027
【図２５】
2004194062.tif 000028
【図２６】
2004194062.tif 000029
【図２７】
2004194062.tif 000030
【図２８】
2004194062.tif 000031
【図２９】
2004194062.tif 000032
【図３０】
2004194062.tif 000033
【図３１】
2004194062.tif 000034
【図３２】
2004194062.tif 000035
【図３３】
2004194062.tif 000036
【図３４】
2004194062.tif 000037
【図３５】
2004194062.tif 000038