【手続補正書】
【提出日】平成16年1月30日(2004.1.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】
第１のフィ−ルド画像および第２のフィールド画像から構成されるフレーム画像の複雑度を決定するために用いられ、前記フレーム画像が複数のモジュールに分割されて処理される場合に、前記複数のモジュールのそれぞれについて、当該モジュールを構成する複数の画素値の各々と当該モジュールを構成する複数の画素値の平均値との差分の自乗和平均値を算出する画像処理装置であって、
前記第１のフィールド画像を構成する複数の画素値と前記第２のフィールド画像を構成する複数の画素値とを順に連続して入力し、当該入力された複数の画素値を自乗する第１の演算回路と、
前記複数のモジュールのそれぞれに対応して設けられた複数の第１の記憶回路を有し、前記第１の演算回路の演算結果の累積値を、前記第１の演算回路が演算に用いた画素値が属する前記モジュールに対応する前記１の記憶回路に書き込む第１の累積回路と、
前記モジュールを構成する画素の数による前記第１の累積回路の累積値の除算に相当する処理を行う第１の処理回路と、
前記複数のモジュールのそれぞれに対応して設けられた複数の第２の記憶回路を有し、前記入力された複数の画素値の累積値を、当該画素値が属する前記モジュールに対応する前記第２の記憶回路に書き込む第２の累積回路と、
前記モジュールを構成する画素の数による前記第２の累積回路の累積値の除算に相当する処理を行う第２の処理回路と、
前記第２の処理回路の処理結果を自乗する第２の演算回路と、
前記第１の処理回路の処理結果と、前記第２の演算回路の演算結果との差分である前記自乗和平均値を算出する第３の演算回路と
を有する画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
第１のフィ−ルド画像および第２のフィールド画像から構成されるフレーム画像の複雑度を決定するために用いられ、前記フレーム画像が複数のモジュールに分割されて処理される場合に、前記複数のモジュールのそれぞれについて、当該モジュールを構成する複数の画素値の各々と当該モジュールを構成する複数の画素値の平均値との差分の自乗和平均値を画像処理装置が算出する画像処理方法であって、
前記画像処理装置が、前記第１のフィールド画像を構成する複数の画素値と前記第２のフィールド画像を構成する複数の画素値とを順に連続して入力し、当該入力された複数の画素値を自乗する第１のステップと、
前記第１のステップの演算結果の累積値を、複数の第１の記憶回路のうち、前記第１のステップの演算に用いた画素値が属する前記モジュールに対応する前記１の記憶回路に書き込む第２のステップと、
前記モジュールを構成する画素の数による前記第２のステップの累積値の除算に相当する処理を行う第３のステップと、
前記入力された複数の画素値の累積値を、複数の第２の記憶回路のうち、当該画素値が属する前記モジュールに対応する前記第２の記憶回路に書き込む第４のステップと、
前記モジュールを構成する画素の数による前記第４のステップの累積値の除算に相当する処理を行う第５のステップと、
前記第５のステップの処理結果を自乗する第６のステップと、
前記第３のステップの処理結果と、前記第５のステップの演算結果との差分である前記自乗和平均値を算出する第７のステップと
を有し、
前記第１、第２および第３のステップと、前記第４、第５および第６のステップとを並行して行う
画像処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
上記式（１），（２）の演算は、例えば、図１に示す画像処理装置１２１を用いて行われる。
画像処理装置１２１は、入力端子１００、加算回路１０１、レジスタ１０２、シフト回路１０３、レジスタ１０４、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）回路１０５、減算回路１０６、自乗回路１０７、加算回路１０８、レジスタ１０９、シフト回路１１０および出力端子１１１を有する。
画像処理装置１２１では、入力端子１００からサブブロックの画素データが順に入力される。
そして、当該入力した画素データとレジスタ１０２からフィードバックした画素データとを加算回路１０１で加算し、その加算結果をレジスタ１０２を介してシフト回路１０３に出力することで、１サブブロック分の画素データについて処理を終了したときに、レジスタ１０４に、当該サブブロックの画素データの平均値Ｐ＿ｍｅａｎが格納される。
それと並行して、ＦＩＦＯ回路１０５を介して、当該サブブロックの画素データＰｋが、減算回路１０６に出力される。
そして、減算回路１０６で、当該画素データＰｋからレジスタ１０４へ入力した平均値Ｐ＿ｍｅａｎが減算され、その減算結果が自乗回路１０７で自乗されてデータ（Ｐｋ−Ｐ＿ｍｅａｎ）2 が生成される。
ここで、ｋは１〜６４の整数である。
そして、減算回路１０６およびレジスタ１０９によって、当該サブブロック内の全ての画素データＰｋについてのデータ（Ｐｋ−Ｐ＿ｍｅａｎ）2 が加算され、続いて、当該加算結果がシフト回路１１０でＬＳＢに向けて６ビットシフトされ、データｖａｒ＿ｓｂｌｋが出力端子１１１に出力される。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
動き予測回路２２は、ビデオ信号Ｓ１２のフレーム画像を基に、動きベクトル信号Ｓ２２を生成し、これを動き補償回路２１に出力する。
バッファ２３は、可変長符号化回路１６からのデータＳ１６を記憶し、これを目標のビットレートに応じたビットストリームデータ（圧縮符号化データ）Ｓ２３としてビデオ出力端子２６に出力する。
レート制御回路２４は、バッファ２３からのビットストリームデータＳ２３を基に量子化スケールを生成し、当該量子化スケールに、アクティビティ演算回路２５からのアクティビティデータＳ２５を乗じて量子化スケールＳ２４を生成し、これを量子化回路１５に出力する。
アクティビティ演算回路２５は、ビデオ信号Ｓ１２を基に、符号化および量子化対象となるフレーム画像の複雑度を示すアクティビティデータ（本発明の指標データ）Ｓ２５を生成し、これをレート制御回路２４に出力する。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
平均値演算回路３４は、メモリ３３から以前のフレーム画像についてのデータａｃｔｊの平均値ａｖｇ＿ａｃｔを算出し、これをアクティビティ演算回路３５に出力する。
アクティビティ演算回路３５は、ａｃｔｊ演算回路３２から入力したデータａｃｔｊを、平均値演算回路３４から入力した平均値ａｖｇ＿ａｃｔを用いて、上記式（４）に基づいて，正規化してアクティビティデータＳ２５（Ｎ＿ａｃｔｊ）を生成し、これを図２に示すレート制御回路２４に出力する。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
そして、平均値演算回路３４が、メモリ３３から以前のフレーム画像についてのデータａｃｔｊの平均値ａｖｇ＿ａｃｔを算出し、これをアクティビティ演算回路３５に出力する。
そして、アクティビティ演算回路３５が、ａｃｔｊ演算回路３２から入力したデータａｃｔｊを、平均値演算回路３４から入力した平均値ａｖｇ＿ａｃｔを用いて、上記式（４）に基づいて，正規化してアクティビティデータＳ２５（Ｎ＿ａｃｔｊ）を生成し、これを図２に示すレート制御回路２４に出力する。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
第３実施形態
当該実施形態は、第４、第５および第７の発明に対応した実施形態である。
本実施形態では、図２に示す画像処理装置１のビデオ入力端子１１がインターレースでラスタースキャンされたビデオ信号Ｓ１１を入力した場合について説明する。
この場合には、ビデオ信号Ｓ１１の各フレーム画像データは、第１のフィールド画像データと第２のフィールド画像データとで構成されている。
本実施形態では、アクティビティ演算回路のｖａｒ＿ｓｂｌｋ演算回路の構成が、第１実施形態で説明した図３に示すｖａｒ＿ｓｂｌｋ演算回路３１とは異なり、それ以外の構成は基本的に第１実施形態と同じである。


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
自乗回路３０１は、入力端子３００から入力したビデオ信号Ｓ１２内の画素データＰｋを自乗して生成したデータＰｋ2 を加算回路３０２に出力する。
加算回路３０２は、自乗回路３０１からのデータＰｋ2 と、スイッチ回路３１２からのデータとを加算してスイッチ回路３１１に出力する。
スイッチ回路３１１は、制御回路３１５による切り替え制御に基づいて、加算回路３０２からのデータに対応する画素が属するサブブロックに対応したレジスタ３０３−１〜３０３−１８を選択し、加算回路３０２から入力したデータを当該選択したレジスタに書き込ませる。
レジスタ３０３−１〜３０３−１８は、それぞれ１フレーム画像中の１８個のサブブロックに対応したデータを格納する。


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
以下、図６に示すｖａｒ＿ｓｂｌｋ演算回路１３１の動作例を説明する。
先ず、入力端子３００が、図２に示す画像並べ替え回路１２からのインターレースでラスタースキャンされたビデオ信号Ｓ１２を入力する。
そして、自乗回路３０１が、入力端子３００から入力したビデオ信号Ｓ１２内の画素データＰｋを自乗して生成したデータＰｋ2 を加算回路３０２に出力する。
そして、加算回路３０２が、自乗回路３０１からのデータＰｋ2 と、スイッチ回路３１１からのデータとを加算してスイッチ回路３１１に出力する。
そして、スイッチ回路３１１が、制御回路３１５による切り替え制御に基づいて、加算回路３０２からのデータに対応する画素が属するサブブロックに対応したレジスタ３０３−１〜３０３−１８を選択し、加算回路３０２から入力したデータを当該選択したレジスタに書き込ませる。
そして、スイッチ回路３１２が、制御回路３１５による切り替え制御に基づいて、加算回路３０２で加算を行うデータが属するサブブロックに対応するレジスタ３０３−１〜３０３−１８を選択し、当該選択したレジスタから読み出されたデータを加算回路３０２およびシフト回路３０４に出力する。