(57)【要約】【課題】  画質を低下させずデータ量を削減することができる画像処理装置及び撮像装置を提供する。【解決手段】  ＣＣＤ１２により撮像されて得られた動画像信号と、フィルタにより抽出した動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うにあたり、アパーチャ補正後の動画像信号のデータ総量が目標量以下となるようにアパーチャ補正に用いられるゲインを調整する。【選択図】  図５
2006067406.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、
前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように前記アパーチャ補正手段を制御する制御手段と、
を含む画像処理装置。
【請求項２】
前記制御手段は、前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように、前記ゲイン、前記フィルタの形状、及び前記フィルタのフィルタ係数の少なくとも１つを変更することにより前記アパーチャ補正手段を制御する請求項１記載の画像処理装置。
【請求項３】
前記データ量は、高周波成分のデータ量である請求項１または請求項２記載の画像処理装置。
【請求項４】
前記データ量は、前記動画像信号の所定フレーム単位のデータ量である請求項１乃至請求項３のいずれか１項記載の画像処理装置。
【請求項５】
入力された動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、
前記アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるように前記アパーチャ補正手段を制御する制御手段と、
を含む画像処理装置。
【請求項６】
前記制御手段は、前記アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるように、前記ゲイン、前記フィルタの形状、及び前記フィルタのフィルタ係数の少なくとも１つを変更することにより前記アパーチャ補正手段を制御する請求項５記載の画像処理装置。
【請求項７】
前記高周波成分の割合は、前記動画像信号の所定フレーム単位の高周波成分の割合である請求項６記載の画像処理装置。
【請求項８】
被写体を連続的に撮像する撮像手段と、
前記撮像手段による撮像によって得られた動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、
前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように前記アパーチャ補正手段を制御する制御手段と、
前記アパーチャ補正手段によってアパーチャ補正された動画像信号を圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画像信号を記録する記録手段と、
を含む撮像装置。
【請求項９】
被写体を連続的に撮像する撮像手段と、
前記撮像手段による撮像によって得られた動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、
前記アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるように前記アパーチャ補正手段を制御する制御手段と、
前記アパーチャ補正手段によってアパーチャ補正された動画像信号を圧縮する圧縮手段と、
前記圧縮手段により圧縮された動画像信号を記録する記録手段と、
を含む撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び撮像装置に関し、特に、動画像信号のデータ量を削減することができる画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
近年、着脱可能な記録メディアに動画像信号を圧縮して記録できるデジタルカメラが広く普及してきている。これに伴い、動画像信号の長時間記録に対するニーズが高まってきている。
【０００３】
そこで、圧縮率が高めになるような固定の圧縮パラメータを用いて圧縮して長時間記録を実現させる方法が広く採用されている。
【０００４】
また、フィルタ部において１フレーム内の垂直ラインや水平ラインの画素を間引いたり、動画像信号の符号化部で用いられる量子化ステップを粗くすることにより情報量の削減を行う動画像符号化装置及び方法（例えば、特許文献１参照。）も知られている。
【特許文献１】特開２０００−１６５８８２公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の圧縮パラメータを固定にして圧縮する方法では、画質が著しく劣化する、という問題が発生する。
【０００６】
また、上述の従来の動画像符号化装置及び方法では、ラインや画素を間引いたり、量子化ステップを粗くすることにより情報量の削減を行うことにより圧縮率をアップさせるため、画像データ自体が単純化され、画質の劣化は著しいものとなる。
【０００７】
本発明は、上記問題を解決すべく成されたもので、画質を低下させずデータ量を削減することができる画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明の画像処理装置は、入力された動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように前記アパーチャ補正手段を制御する制御手段と、を含んで構成されている。
【０００９】
アパーチャ補正手段は、入力された動画像信号とフィルタにより抽出した動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行う。なお、アパーチャ補正は、動画像信号に輪郭強調等のエッジ補正を施して高周波成分の低下を補償する処理であり、画像処理の分野において以前より広く行われてきた処理である。アパーチャ補正では、抽出された高周波成分に対してゲインを乗算した信号が元の画像信号に加算されるため、高周波成分が増幅される。
【００１０】
制御手段は、アパーチャ補正後の動画像信号のデータ量が所定量以下となるようにアパーチャ補正手段を制御する。ここでいうデータ量は、動画像信号の全帯域の成分のデータ量であってもよいし、高周波成分のデータ量であってもよい。また、動画像信号の１フレームのデータ量とすることもできるが、所定フレーム単位のデータ量とすることもできる。所定フレーム単位のデータ量であれば、処理効率がアップし、負荷も軽減される。
【００１１】
また、制御手段は、前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように、前記ゲイン、前記フィルタの形状、及び前記フィルタのフィルタ係数の少なくとも１つを変更することによりアパーチャ補正手段を制御することができる。
【００１２】
例えば、ゲインを小さくすることによって動画像信号の高周波成分の増幅（高周波成分のデータ量の増幅）を抑えることができるため、動画像信号全体のデータ量（高周波成分のデータ量）を削減することができる。
【００１３】
また、このようにアパーチャ補正された動画像信号を圧縮する場合には、高周波成分の増幅が抑えられた分だけ量子化処理時の圧縮率が向上するため、圧縮データ量を削減することができる。
【００１４】
また、ゲインを小さくしても、ある程度は高周波成分が増幅されてアパーチャ補正されるため、画質が著しく劣化することはなく、更に、高周波成分の増幅がある程度抑えられことによって、高周波成分が過度に含まれる場合に発生しやすいノイズ（モスキートノイズ等）の発生を防止することができる。
【００１５】
また、アパーチャ補正手段で高周波成分があまり抽出されないように（すなわち、より低周波側の成分が抽出されるように）フィルタの形状やフィルタ係数を変更することによって、動画像信号にアパーチャ補正を施しても、高周波成分については増幅度を抑えることができ、高周波成分のデータ量を削減することができる。また、このように高周波成分の増幅が抑えられることにより、アパーチャ補正された動画像信号を圧縮する場合も、圧縮率を向上させることができる。これにより、圧縮したときのデータ量を削減することができる。
【００１６】
このように、アパーチャ補正後の動画像信号のデータ量が所定量以下となるようにアパーチャ補正手段を制御するようにしたため、画質を低下させずデータ量を削減することができる。
【００１７】
第２の発明の画像処理装置は、入力された動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、前記アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるように前記アパーチャ補正手段を制御する制御手段と、を含んで構成されている。
【００１８】
この画像処理装置の制御手段は、アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるようにアパーチャ補正手段を制御する。
【００１９】
また、この制御手段も、第１の発明の制御手段と同様に、前記ゲイン、前記フィルタの形状、及び前記フィルタのフィルタ係数の少なくとも１つを変更することにより前記アパーチャ補正手段を制御することができる。
【００２０】
また、前記高周波成分の割合は、前記動画像信号の所定フレーム単位の高周波成分の割合とすることができる。
【００２１】
第２の発明の画像処理装置も、第１の発明の画像処理装置と同様に、アパーチャ補正手段を制御して、アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるようにしたため、画質を低下させずデータ量を削減することができる。
【００２２】
また第３の発明の撮像装置は、被写体を連続的に撮像する撮像手段と、前記撮像手段による撮像によって得られた動画像信号とフィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、前記アパーチャ補正後の動画像信号のデータ量が所定量以下となるように前記アパーチャ補正手段を制御する制御手段と、前記アパーチャ補正手段によってアパーチャ補正された動画像信号を圧縮する圧縮手段と、前記圧縮手段により圧縮された動画像信号を記録する記録手段と、を含んで構成されている。
【００２３】
第３の発明の撮像装置も、第１の発明の画像処理装置と同様に作用するため、画質を低下させずデータ量を削減することができる。
【００２４】
また、第４の発明の撮像装置は、被写体を連続的に撮像する撮像手段と前記撮像手段による撮像によって得られた動画像信号と、フィルタにより抽出した前記動画像信号の高周波成分に対して所定のゲインを乗算した信号とを用いて、アパーチャ補正を行うアパーチャ補正手段と、前記アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるように前記アパーチャ補正手段を制御する制御手段と、前記アパーチャ補正手段によってアパーチャ補正された動画像信号を圧縮する圧縮手段と、前記圧縮手段により圧縮された動画像信号を記録する記録手段と、を含んで構成されている。
【００２５】
第４の発明の撮像装置も、第２の発明の画像処理装置と同様に作用するため、画質を低下させずデータ量を削減することができる。
【発明の効果】
【００２６】
以上説明したように本発明の画像処理装置及び撮像装置によれば、画質を低下させずデータ量を削減することができる、という優れた効果を奏する。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００２８】
図１は、本実施の形態に係るデジタルカメラ１０の電気系の主要構成を示した図である。このデジタルカメラ１０は動画像の撮影・記録が可能であり、図示されるように、デジタルカメラ１０には、被写体からの光を撮像素子（ＣＣＤ）１２の受光面に結像させるためのレンズ１１、レンズ１１を通過した被写体からの光を受光面で受光して被写体像を示すＲ、Ｇ、Ｂ３色のカラーアナログ画像信号を出力するＣＣＤ１２、ＣＣＤ１２に対する同期信号を生成するタイミングジェネレータ１４、ＣＣＤ１２から入力したアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換部１６とが設けられている。
【００２９】
また、デジタルカメラ１０には、制御回路２０及びデジタル信号処理回路３０が設けられ、各々ＢＵＳを介して電気的に接続されている。
【００３０】
制御回路２０は、デジタルカメラ１０の動作全体の制御を行う。制御回路２０は、ＣＰＵ２２と、ＲＯＭ２４と、ＲＡＭ２６とを含んで構成されている。ＣＰＵ２２は、ＲＯＭ２４に記録されたプログラムにより各種処理を実行する。デジタル信号処理回路３０は、ＣＰＵ２０の制御に従って動作する。
【００３１】
デジタル信号処理回路３０は、Ａ／Ｄ変換部１６からのデジタル画像信号に対して所定のデジタル信号処理を施す。具体的には、入力されたデジタル画像信号をＲＧＢ―ＹＣ変換部３２で輝度（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）に変換した後、一旦データバッファ３４に蓄える。その後、ＡＰＴ回路３６で、ゲイン調整回路３３で演算されたゲインを用いてアパーチャ補正を施し、圧縮回路３８で圧縮する。このように処理された画像信号は、記録メディアＩ／Ｆ４０を介してデジタルカメラ１０に対して着脱可能な記録メディアに出力され記録されたり、不図示の液晶ディスプレイに出力され表示されたりする。
【００３２】
なお、ゲイン調整回路３３には、ゲインを変更（調整）するための情報がＣＰＵ２１から入力される。ゲイン調整回路３３は入力された情報に基づいてゲインを演算する。ゲイン調整回路３３で演算されたゲインは、ゲイン格納用のレジスタに格納され、ＡＰＴ回路３６は、該レジスタの値を参照してアパーチャ補正を行う。
【００３３】
なお、通常は、ゲイン格納用レジスタには、デジタルカメラ１０に予め設定されているゲイン（初期設定ゲイン）が格納されており、ＡＰＴ回路３６は該レジスタに格納されているゲインを用いてアパーチャ補正するが、後述するように、本実施の形態では、初期設定ゲインによってアパーチャ補正することによりデータ量が多くなってしまう場合には、ゲイン調整回路３３によりゲインが調整され、レジスタの値が書き換えられる。
【００３４】
次に、図２を参照して、本実施の形態に係るＡＰＴ回路３６の構成について説明する。同図に示すように、ＡＰＴ回路３６は、予め定められた高周波数帯域を通過させるハイ・パス・フィルタ（以下、「ＨＰＦ」という。）３６Ａと、乗算器３６Ｂと、加算器３６Ｃとを含んで構成されている。
【００３５】
ＨＰＦ３６Ａには、ＲＧＢ―ＹＣ変換部３２で変換された輝度信号Ｙが入力され、輝度信号Ｙから所定のフィルタを用いて所定高周波帯域の成分（高周波成分）を抽出し、乗算器３６Ｂに出力する。乗算器３６Ｂでは、ＨＰＦ３６Ａから入力された高周波帯域の成分に対してゲイン調整回路３３が演算したゲインを乗算して、加算器３６Ｃに出力する。加算器３６Ｃでは、入力された輝度信号Ｙに対して、乗算器３６Ｂにより上記ゲインに応じて増幅された高周波成分が加算され、画像（被写体像）のエッジ部分が強調された状態の輝度信号Ｙ’が生成されて出力される。
【００３６】
図３は、動画像撮影時にＣＰＵ２２により実行される処理ルーチンを示したフローチャートである。デジタルカメラ１０に設けられた不図示の撮影ボタンが押下され動画像撮影が開始されたときに、本処理ルーチンが開始される。
【００３７】
ステップ１００では、パラメータＤH及びＤNに０を代入し、パラメータｎに１を代入する。
【００３８】
パラメータＤHは、Ｎフレーム分の動画像信号を初期設定ゲインを用いてアパーチャ補正した場合の、高周波成分の領域の面積に相当するデータ量を算出するために用いられるパラメータである。また、パラメータＤNは、Ｎフレーム分の動画像信号を初期設定ゲインを用いてアパーチャ補正した場合の全帯域の面積に相当するデータ総量を算出するために用いられるパラメータである。また、ｎは、処理対象となるフレームを計数するためのパラメータである。
【００３９】
ステップ１０２では、ＲＧＢ―ＹＣ変換部３２で変換された輝度信号Ｙを取り込む。ステップ１０４では、取り込んだ輝度信号Ｙを周知のＤＣＴ（離散コサイン変換）により画像空間周波数・振幅に変換する。
【００４０】
ステップ１０６では、第ｎフレームの画像について、初期設定ゲインを用いてアパーチャ補正が行われた場合の高周波成分の領域の面積Ｓａ及び全帯域の成分の面積Ｓｂを演算して求める。図４では、細実線がアパーチャ補正を施す前の全帯域の画像信号を示し、太点線がアパーチャ補正を施した後の画像信号を示している。ここで求められる面積Ｓａは、図４の領域３の網掛領域の面積である。
【００４１】
ステップ１０８では、面積Ｓａに相当するデータ量を所定の関数により導出して、パラメータＤHに加算し、面積Ｓｂに相当するデータ量を所定の関数により導出して、パラメータＤNに加算する。
【００４２】
ステップ１１０では、パラメータｎをインクリメントする。
【００４３】
ステップ１１２では、パラメータｎが、Ｎを越えたか否かを判断する。Ｎは、予めデジタルカメラ１０に設定された値である。
【００４４】
ステップ１１２で、パラメータｎがＮを越えていないと判断した場合には、ステップ１０２に戻って、次のフレームの輝度信号Ｙを取込み、上記と同様の処理を繰り返す。
【００４５】
一方、デジタル信号処理回路３０では、ＲＧＢ−ＹＣ変換部３２から出力された動画像信号は、Ｎフレーム単位でデータバッファ３４に蓄積され、後述するようにゲインが調整された時点で、該蓄積されたＮフレームの動画像信号が順次ＡＰＴ回路に出力されて処理される。すなわち、本実施の形態ではＮフレーム単位でリアルタイムにゲインが調整されて処理される。
【００４６】
ステップ１１２で、パラメータｎがＮを越えたと判断した場合には、ステップ１１４に移行し、図５（Ａ）に示されるように、データ総量ＤNが目標量ＤTを越えるか否かを判断する。なお、この目標量ＤTは、予めデジタルカメラ１０に設定されている値であってもよいし、操作者により予め設定することができるようにしてもよいし、圧縮した動画像信号を記録する記録メディアのメモリ残量に応じて変更されるようにしてもよい。
【００４７】
ステップ１１４で、データ総量ＤNは目標量ＤT以下であると判断した場合には、ステップ１２８で、ゲイン格納用レジスタのゲインを初期設定ゲインに変更する。なお、このときレジスタに格納されているゲインが初期設定ゲインである場合には、ここでの変更は不要である。
【００４８】
また、ステップ１１４で、図５（Ｂ）に示されるように、データ総量ＤNが目標量ＤTを越えていると判断した場合には、ステップ１１６において、アパーチャ補正後のデータ総量ＤNが目標量ＤT以下となるようにゲインが変更されるように、ゲイン調整回路３３に、高周波成分のデータ量ＤHを示す情報、及びデータ総量ＤNを示す情報を出力する。
【００４９】
該情報が入力されたゲイン調整回路３３では、該情報に基づいてデータ総量ＤNが目標量ＤT以下となるようにゲインを演算し、ゲイン格納用のレジスタに該演算したゲインを格納する。
【００５０】
具体的には、ＡＰＴ回路３６では、ゲインによって高周波成分が増幅されるが、このゲインを小さくすることによって、高周波成分のデータ量ＤHの増幅を抑えることができ、これによりデータ総量ＤNを減少させることができる。具体的には、図５（Ｂ）に示されるように、データ総量ＤNから目標量ＤTを差し引いたデータ削減必要量だけ高周波成分のデータ量ＤHの増幅が抑えられる程度にゲインを小さくすれば、データ総量ＤNを目標量ＤT以下にすることができる。ゲイン調整回路３３は、データ削減必要量だけ増幅が抑えられるようにゲインを演算して、上記レジスタに格納する。
【００５１】
ステップ１１８では、ＡＰＴ回路３６に対してアパーチャ補正を行うように指示する。
【００５２】
指示を受けたＡＰＴ回路３６は、データバッファ３４に記憶されたＮフレーム分の動画像信号について、ゲイン格納用のレジスタに格納されているゲインを用いてフレーム順に順次アパーチャ補正を実行する。これにより、図５（Ｃ）に示されるように、各フレームのデータ量が初期設定ゲインでアパーチャ補正される場合に比べて少なくなり、Ｎフレーム分の動画像信号のデータ総量ＤNが目標量ＤT以下になる。
【００５３】
ステップ１２０では、圧縮回路３８に対してアパーチャ補正が実行された動画像信号を圧縮するように指示する。
【００５４】
指示を受けた圧縮回路３８は、アパーチャ補正された動画像信号を圧縮する。圧縮は量子化テーブルを用いて量子化した後符号化することにより行われるが、一般的には、高周波側の成分が多すぎると量子化を行っても高周波成分を示すデータが０にならないケースが多くなり、圧縮率は低下する。
【００５５】
そこで、アパーチャ補正後の動画像信号のデータ量が（目標量よりも）多くなってしまう場合には、上記のようにゲインを小さくしてアパーチャ補正時の高周波成分の増幅を抑えるようにすることにより、圧縮率も向上し、圧縮したときのデータ量を削減することができる。
【００５６】
ステップ１２２では、圧縮回路３８で圧縮された動画像信号を記録メディアＩ／Ｆ４０を介して不図示の記録メディアに記録する。
【００５７】
ステップ１２４では、動画像の撮影が終了したか否かを判断する。撮影の終了は、撮影ボタン押下が解除されたか否かで判断することができる。ここで撮影が終了していないと判断した場合には、ステップ１００に戻り、次のＮフレームについて、上記と同様の処理を行い、ゲインを調整してアパーチャ補正が行われるように制御する。
【００５８】
ステップ１２４で、動画像の撮影が終了したと判断した場合には、ステップ１２６で、ゲイン格納用レジスタに格納されているゲインを初期設定ゲインに戻して、本処理ルーチンを終了する。
【００５９】
以上説明したように、アパーチャ補正が行われた場合のＮフレーム分のデータ総量ＤNが目標量ＤT以下となるようにゲインを調整するようにしたため、動画像信号のデータ量を削減することができる。
【００６０】
すなわち、ゲインを小さくすることによって動画像信号の高周波成分の増幅（高周波成分のデータ量の増幅）を抑えることができ、動画像信号全体のデータ量を減少させることができる。また、圧縮の際には、高周波成分の増幅が抑えられた分だけ圧縮率が向上するため、圧縮したときのデータ量を減少させることができる。
【００６１】
また、ゲインを小さくしても、ある程度は高周波成分が増幅されてアパーチャ補正されるため、画質が著しく劣化することはなく、更に、高周波成分の増幅がある程度抑えられことによって、高周波成分が過度に含まれる場合に発生しやすいノイズ（モスキートノイズ等）の発生を防止することができる。
【００６２】
従って、画質を維持しつつ動画像信号のデータ量を削減することができ、長時間記録が可能となる。
【００６３】
なお、上記実施の形態では、動画像信号をＮフレーム単位でバッファリングして該Ｎフレームの動画像信号をアパーチャ補正するためのゲインをリアルタイムに制御する例について説明したが、これに限定されず、例えば、動画像信号をバッファリングせずに、フィードバック制御するようにしてもよい。
【００６４】
具体的には、処理対象のＮフレーム分の動画像信号については、直前のＮフレーム分の動画像信号のアパーチャ補正後のデータ総量ＤN及び高周波成分のデータ量ＤHとに基づいて調整されたゲインを用いてアパーチャ補正し、更に、このアパーチャ補正が行われたＮフレーム分の動画像信号のデータ総量ＤN及び高周波成分のデータ量ＤHとに基づいてゲインを調整し、該調整したゲインを、次のＮフレームをアパーチャ補正するために用いるようにする。これにより、動画像信号をバッファリングする必要がなくなり、処理速度が向上する。
【００６５】
動画像信号は、時間的に連続して撮影することにより得られる画像信号であるため、連続するＮフレームの空間周波数特性はほとんど変化しない。従って、直前のＮフレームの動画像信号から求められたゲインを用いてアパーチャ補正しても（フィードバック制御を行っても）、画質が劣化することはない。ただし、シーンが急激に変化した場合には、空間周波数特性も変化するため、シーンが急激に変化したことを検出する手段を設け、シーンが急激に変化したことを検出した場合には、そのときだけリアルタイム制御に切替えるような構成にすることが好ましい。
【００６６】
また、上記実施の形態では、制御回路２０（ＣＰＵ２２）によるソフトウエア制御によりアパーチャ補正に用いられるゲインを調整する例について説明したが、上記図３のフローチャートで説明した各処理をハードウエアで実現するようにしてもよい。
【００６７】
さらにまた、上記実施の形態では、Ｎフレーム毎にゲインを調整する場合を例に挙げて説明したが、例えば、一定時間単位のフレーム毎にゲインを調整するようにしてもよい。また、１フレーム単位でゲインを調整することも可能である。なお、装置の処理速度が十分でない場合には、複数フレーム単位でゲインを調整する方が処理効率が向上する。
【００６８】
また、上述した実施の形態では、アパーチャ補正後のＮフレーム分のデータ総量ＤNが目標量ＤT以下となるようにゲインを調整する例について説明したが、これに限定されず、例えば、アパーチャ補正後のＮフレーム分の高周波成分の領域の面積が目標量以下となるようにゲインを調整するようにしてもよい。
【００６９】
図６は、アパーチャ補正後のＮフレーム分の高周波成分の領域の面積が目標量を越えるか否かを判断してゲインを調整する場合の処理ルーチンを示したフローチャートである。
【００７０】
ステップ２００では、パラメータＳHに０を代入し、パラメータｎに１を代入する。
【００７１】
ここで、パラメータＳHは、図４に示されるように、Ｎフレーム分の動画像信号を空間周波数・振幅に変換したときの高周波成分の領域（領域３）のアパーチャ補正後の面積を算出するために用いられるパラメータである。また、ｎは、処理対象となるフレームを計数するためのパラメータである。
【００７２】
ステップ２０２では、ＲＧＢ―ＹＣ変換部３２で変換された輝度信号Ｙを取り込む。ステップ２０４では、取り込んだ輝度信号Ｙを周知のＤＣＴ（離散コサイン変換）により画像空間周波数・振幅に変換する。
【００７３】
ステップ２０６では、第ｎフレームの画像について、初期設定ゲインを用いてアパーチャ補正が行われた場合の高周波成分の領域の面積Ｓを演算して求める。
【００７４】
ステップ２０８では、演算した面積ＳをＳHに加算する。
【００７５】
ステップ２１０では、パラメータｎをインクリメントする。
【００７６】
ステップ２１２では、パラメータｎが、Ｎを越えたか否かを判断する。Ｎは、予めデジタルカメラ１０に設定された値である。
【００７７】
ステップ２１２で、パラメータｎがＮを越えていないと判断した場合には、ステップ２０２に戻って、次のフレームの輝度信号Ｙを取込み、上記と同様の処理を繰り返す。
【００７８】
ステップ２１２で、パラメータｎがＮを越えたと判断した場合には、ステップ２１４で、上記演算されたＮフレーム分の高周波成分の面積ＳHが目標量ＳTを越えているか否かを判断する。なお、この目標量は、予めデジタルカメラ１０に設定されている値であってもよいし、操作者により予め設定することができるようにしてもよいし、圧縮した動画像信号を記録する記録メディアのメモリ残量に応じて変更されるようにしてもよい。
【００７９】
ステップ２１４で、面積ＳHは目標量ＳT以下であると判断した場合には、ステップ２２８で、ゲイン格納用レジスタのゲインを初期設定ゲインに変更する。なお、このときレジスタに格納されているゲインが初期設定ゲインである場合には、ここでの変更は不要である。
【００８０】
また、ステップ２１４で、面積ＳHは目標量ＳTを超えていると判断した場合には、ステップ２１６で、面積ＳHが目標量Ｓth以下となるようにゲインが変更されるように、ゲイン調整回路３３に、面積ＳHを示す情報を出力する。
【００８１】
該情報が入力されたゲイン調整回路３３では、該情報に基づいて所定の演算式により、面積ＳHが目標量ＳT以下となるようにゲインを演算し、ゲイン格納用のレジスタに該演算したゲインを格納する。
【００８２】
ステップ２１８からステップ２２８までの処理は、図３で説明したステップ１１８からステップ１２８までの処理と同様であるため、説明を省略する。
【００８３】
なお、高周波成分の面積が目標量以下となるようにゲインを調整するということは、高周波成分のデータ量が所定値以下となるようにゲインを調整する、ということと等価である。従って、アパーチャ補正が行われた場合のＮフレーム分の高周波成分の面積が目標量以下となるようにゲインを調整するように制御することによっても、動画像信号のデータ量を削減することができる。
【００８４】
また、上述した実施の形態では、ＡＰＴ回路３６で用いられるゲインを変更する例について説明したが、本発明はこれに限定されず、例えば、ＨＰＦ３６Ａの形状を変更するようにしてもよい。以下、フィルタの形状を変更する例について具体的に説明する。
【００８５】
一般的には、フィルタの中央部に配置されたフィルタ係数と、周辺部に配置されたフィルタ係数とが離れているほど、より低周波側の成分が抽出される。
【００８６】
例えば、各係数が斜め方向に配置されたフィルタ（画像の斜め方向の空間周波数の高周波成分を抽出するフィルタ）を例に挙げると、図７（Ａ）に示される３×３の形状のフィルタと図７（Ｂ）に示される５×５の形状のフィルタとを比較した場合、図７（Ｂ）に示される５×５の形状のフィルタを用いたほうが、中央部に配置されたプラスのフィルタ係数と周辺部に配置されたマイナスのフィルタ係数とが離れているため、高周波の成分が抽出されにくくなる。図７を参照して説明すると、ＨＰＦ３６Ａを、図７（Ａ）から図７（Ｂ）に切り替えることにより、抽出される空間周波数帯域は、図７（Ｃ）に示されるように、低周波側（ａ→ｂ）にシフトする。
【００８７】
このようにフィルタを切替えることにより、ＡＰＴ回路３６において増幅される周波数帯域は、低周波側にシフトする。従って、抽出される高周波成分が少なくなるため、ＡＰＴ回路３６でアパーチャ補正を施しても、高周波成分については増幅度を抑えることができ、高周波成分のデータ量を削減することができる。このように高周波成分の増幅が抑えられることにより、圧縮回路３８における量子化処理において、圧縮率を向上させることができる。これにより、圧縮したときのデータ量を削減することができる。
【００８８】
また、フィルタの形状ではなく、フィルタのフィルタ係数を変更するようにしてもよい。
【００８９】
通常、ＡＰＴ回路３６において高周波成分を抽出するためのフィルタは、複数のフィルタが組み合わされて構成されている場合が多い。２次元の画像について考えると、画像の空間周波数は、横方向（水平方向）、縦方向（垂直方向）、及び斜め方向の３方向で表現される。従って、各方向の空間周波数から高周波成分を抽出する場合には、これらを抽出するためのフィルタが組み合わされて構成されたフィルタが用いられる。このとき、フィルタ係数は、複数のフィルタの組み合わせの割合（重み付け）を変更することにより変更することができる。
【００９０】
ここで、図８（Ａ）に示されるように、各係数が水平方向に配置されたフィルタＦ１（画像の水平方向の空間周波数の高周波成分を抽出するフィルタ）と各係数が斜め方向に配置されたフィルタＦ２（画像の斜め方向の空間周波数の高周波成分を抽出するフィルタ）とを組み合わせて用いる場合を例に挙げて説明する。
【００９１】
まず、図８（Ｂ）に示されるように、フィルタＦ１とフィルタＦ２の重み付けを、各々0.5として組み合わせると、図示されるようにフィルタ係数が決定されフィルタＦ３ａが形成される。このフィルタＦ３ａによれば、水平方向及び斜め方向のいずれの方向の空間周波数においても均等に高周波成分が抽出されることとなる。
【００９２】
一方、図８（Ｃ）に示されるように、フィルタＦ１の重み付けを0.25とし、フィルタＦ２の重み付けを0.75として組み合わせると、図示されるようにフィルタ係数が決定されフィルタＦ３ｂが形成される。このフィルタＦ３ｂによれば、水平方向よりも斜め方向の空間周波数の高周波成分が多く抽出されることとなる。
【００９３】
例えば、上記図３のステップ１１６や図６のステップ２１６に代えて、以下の処理を行う。
【００９４】
まず、水平方向、及び斜め方向の２方向の動画像信号の空間周波数の特性を比較する。比較の結果、高周波成分の割合が大きな方向の空間周波数の重み付けが小さくなるように各フィルタの重み付けを変更する。
【００９５】
例えば、２方向のうち、水平方向の高周波成分の割合が、斜め方向の高周波成分の割合よりも大きい場合には、水平方向の高周波成分の抽出が抑えられるように、フィルタＦ１の重み付けを小さくして、図８（Ｃ）に示されるようなフィルタＦ３ｂを形成することができる。このフィルタＦ３ｂがＡＰＴ回路３６で用いられるように制御する。
【００９６】
これにより、高周波成分の割合が比較的大きい方向については、高周波成分の抽出が抑えられる。従って、ＡＰＴ回路３６でアパーチャ補正を施しても、高周波成分については増幅度を抑えることができ、高周波成分のデータ量を削減することができる。このように高周波成分の増幅が抑えられることにより、圧縮回路３８における量子化処理において、圧縮率を向上させることができる。従って、圧縮したときのデータ量を削減することができる。
【００９７】
なお、上記では、２方向の高周波成分を抽出するためのフィルタを例に挙げて説明したが、動画像信号の水平方向、垂直方向、斜め方向の３方向の高周波成分を抽出するためのフィルタの場合も、上記と同様に制御することができる。
【００９８】
また、フィルタの形状及びフィルタ係数の双方を変更するようにしてもよい。
【００９９】
例えば、まず、水平方向、垂直方向、及び斜め方向の各方向の動画像信号の空間周波数の特性を比較する。比較の結果、高周波成分の割合が最も大きな方向の高周波成分を抽出するためのフィルタの重み付けが最も大きくなるように各フィルタの重み付けを変更する。更に、重み付けを大きくしたフィルタの形状を、フィルタの中央部に配置された係数と、周辺部に配置された係数とが離れるように変更する。このように形成されたフィルタがＡＰＴ回路３６で用いられるように制御する。
【０１００】
これにより、高周波成分の割合が最も大きな方向について、高周波成分の抽出を抑えることができる。
【０１０１】
さらにまた、ゲイン、フィルタの形状、及びフィルタのフィルタ係数の全てを変更するようにしてもよい。すなわち、上記のようにフィルタの形状及びフィルタ係数の双方を変更すると共に、上記実施の形態で説明したようにゲインを調整する。これによっても、好適に高周波成分のデータ量（動画像信号のデータ量）を削減することができる。
【０１０２】
また、上記実施の形態では、上述した実施の形態では、アパーチャ補正後のＮフレーム分のデータ総量ＤNが目標量ＤT以下となるようにゲインを調整する例について説明したが、これに限定されず、例えば、アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるようにゲインを調整するようにしてもよい。
【０１０３】
例えば、上記図３のステップ１１４及びステップ１１６に代えて、以下の処理を行う。
【０１０４】
まず、データ総量ＤNに対する高周波成分のデータ量ＤHの割合（ＤH／ＤN）が所定の閾値Ｄthを越えるか否かを判断し、越えると判断した場合に、ＤH／ＤNが閾値Ｄth以下となるようにゲインが変更されるように、ゲイン調整回路３３に、高周波成分のデータ量ＤHを示す情報、及びデータ総量ＤNを示す情報を出力する。
【０１０５】
該情報が入力されたゲイン調整回路３３では、該情報に基づいてＤH／ＤNが閾値Ｄth以下となるようにゲインを演算し、ゲイン格納用のレジスタに該演算したゲインを格納する。
【０１０６】
なお、データ量の比（ＤH／ＤN）ではなく、面積比を用いて制御してもよい。
【０１０７】
このように、アパーチャ補正後の動画像信号の全帯域の成分に対する高周波成分の割合が所定の割合以下となるようにゲインを調整するようにしても、上記実施の形態と同様に画質を維持しつつ動画像信号のデータ量を削減することができ、長時間記録が可能となる。
【０１０８】
また、上述した実施の形態では、デジタルカメラ１０を例に挙げて説明したが、本発明はこのような撮像装置だけに限定されるものではない。例えば、図１に示す電気系の構成において、制御回路２０及びデジタル信号処理回路３０から構成される画像処理装置にも適用可能である。
【図面の簡単な説明】
【０１０９】
【図１】本実施の形態に係るデジタルカメラの電気系の主要構成を示した図である。
【図２】ＡＰＴ回路の構成を示した図である。
【図３】動画像撮影時にＣＰＵにより実行される処理ルーチンを示したフローチャートである。
【図４】動画像信号を画像空間周波数・振幅に変換したときの一例を示した図である。
【図５】Ｎフレームの動画像信号に対するアパーチャ補正のゲインを調整する過程を模式的に示した図である。
【図６】動画像撮影時にＣＰＵにより実行される処理ルーチンの他の例を示したフローチャートである。
【図７】フィルタの形状を変更してＡＰＴ回路のアパーチャ補正を制御する場合の具体例を示した図である。
【図８】フィルタ係数を変更してＡＰＴ回路のアパーチャ補正を制御する場合の具体例を示した図である。
【符号の説明】
【０１１０】
１０  デジタルカメラ
２０  制御回路
３０  デジタル信号処理回路
３３  ゲイン調整回路
３６  ＡＰＴ回路
３６Ａ  ＨＰＦ
３６Ｂ  乗算器
３６Ｃ  加算器
３８  圧縮回路
４０  記録メディアＩ／Ｆ
【図１】
2006067406.tif 000003
【図２】
2006067406.tif 000004
【図３】
2006067406.tif 000005
【図４】
2006067406.tif 000006
【図５】
2006067406.tif 000007
【図６】
2006067406.tif 000008
【図７】
2006067406.tif 000009
【図８】
2006067406.tif 000010