(57)【要約】【課題】信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得る。【解決手段】可動量制御部２７は、CMOSイメージャ１が出力する第１の画像信号のレベル分布に応じて、CMOSイメージャ１を制御する。一方、クラスコード発生部２３は、第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類し、係数発生部２４は、そのクラスのタップ係数を出力する。予測演算部２４は、第１の画像信号と、係数発生部２４が出力するタップ係数とを用いた演算を行うことにより、第２の画像信号を求める。本発明は、例えば、CMOSイメージャが形成された１チップの半導体などに適用できる。【選択図】図２
2005051638.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、
前記第１の画像信号のレベル分布に応じて、前記撮像手段を制御する制御手段と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段と
を備えることを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズを有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする信号処理装置。
【請求項３】
請求項１に記載の信号処理装置において、
前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
ことを特徴とする信号処理装置。
【請求項４】
請求項３に記載の信号処理装置において、
前記CMOSセンサと一体的に構成されている
ことを特徴とする信号処理装置。
【請求項５】
請求項１に記載の信号処理装置において、
前記撮像手段は、CCD(Charge Coupled Device)である
ことを特徴とする信号処理装置。
【請求項６】
請求項１に記載の信号処理装置において、
前記クラス分類手段は、
前記第１の画像信号から、前記クラス分類に用いるクラスタップとなる画素を抽出するクラスタップ抽出手段と、
前記クラスタップの画素のダイナミックレンジに応じて、前記クラスタップの画素の１ビットのレベル分布を求め、そのレベル分布に応じたクラスを表すクラスコードを発生するクラスコード発生手段と
を有する
ことを特徴とする信号処理装置。
【請求項７】
請求項６に記載の信号処理装置において、
前記制御手段は、前記１ビットのレベル分布におけるビットの反転回数に応じて、前記撮像手段を制御する
ことを特徴とする信号処理装置。
【請求項８】
請求項６に記載の信号処理装置において、
前記制御手段は、前記クラスタップの画素のダイナミックレンジに応じて、前記撮像手段を制御する
ことを特徴とする信号処理装置。
【請求項９】
請求項６に記載の信号処理装置において、
前記演算手段は、前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、その第１の画像信号の１フレームまたは１フィールド前の第１の画像信号のレベル分布に応じて得られた前記クラスのタップ係数とを用いた演算を行う
ことを特徴とする信号処理装置。
【請求項１０】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、
前記第１の画像信号のアクティビティを検出するアクティビティ検出手段と、
前記第１の画像信号のアクティビティに応じて、前記撮像手段を制御する制御手段と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段と
を備えることを特徴とする信号処理装置。
【請求項１１】
請求項１０に記載の信号処理装置において、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズを有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする信号処理装置。
【請求項１２】
請求項１０に記載の信号処理装置において、
前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
ことを特徴とする信号処理装置。
【請求項１３】
請求項１０に記載の信号処理装置において、
前記撮像手段は、CCD(Charge Coupled Device)である
ことを特徴とする信号処理装置。
【請求項１４】
請求項１０に記載の信号処理装置において、
前記アクティビティ検出手段は、前記第１の画像信号の所定の複数画素のダイナミックレンジを、前記アクティビティとして求める
ことを特徴とする信号処理装置。
【請求項１５】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、
前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力手段と、
前記パラメータに応じて、前記撮像手段を制御する制御手段と、
学習により獲得された係数種データと、前記パラメータとから、前記クラスごとのタップ係数を生成するタップ係数生成手段と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段と
を備えることを特徴とする信号処理装置。
【請求項１６】
請求項１５に記載の信号処理装置において、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズを有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする信号処理装置。
【請求項１７】
請求項１５に記載の信号処理装置において、
前記撮像手段は、CMOS(Complementary Metal Oxide Semiconductor)センサである
ことを特徴とする信号処理装置。
【請求項１８】
請求項１５に記載の信号処理装置において、
前記撮像手段は、CCD(Charge Coupled Device)である
ことを特徴とする信号処理装置。
【請求項１９】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記第１の画像信号のレベル分布に応じて、前記撮像手段を制御する制御ステップと、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を備えることを特徴とする信号処理方法。
【請求項２０】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記第１の画像信号のアクティビティを検出するアクティビティ検出ステップと、
前記第１の画像信号のアクティビティに応じて、前記撮像手段を制御する制御ステップと、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップと、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を備えることを特徴とする信号処理方法。
【請求項２１】
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、
前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力ステップと、
前記パラメータに応じて、前記撮像手段を制御する制御ステップと、
学習により獲得された係数種データと、前記パラメータとから、前記クラスごとのタップ係数を生成するタップ係数生成ステップと、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップと
を備えることを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および信号処理方法に関し、特に、例えば、画像信号の信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにする信号処理装置および信号処理方法に関する。
【背景技術】
【０００２】
従来の画像信号を処理する信号処理装置では、例えば、被写体光（被写体からの光）を電気信号である画像信号に変換することにより被写体を撮像するCCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャ（CMOSセンサ）などの撮像手段が出力する画像信号が信号処理される。
【０００３】
信号処理は、多くの場合、撮像手段が出力する画像信号の画質を改善するために行われる。このような信号処理としては、例えば、単板のCCDから得られる、R(red),G(green),B(blue)信号のうちのいずれかだけ有する画素を、そのR,G,B信号のすべてを有する画素に変換する、いわゆるデモザイクと呼ばれる信号処理がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】国際公開第００／４９８１２号パンフレット。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、CCDやCMOSイメージャなどの撮像手段は、そこに入射する光（被写体光）を、画素に対応する範囲（面積）で、ある露光時間の間に受光し、その受光量に対応する画像信号を出力する。従って、撮像手段は、時間的および空間的に連続な光を、画素に対応する範囲で、露光時間の間だけ、いわばサンプリングし、そのサンプリング結果を、画像信号として出力しているということができる。
【０００６】
このように、撮像手段が出力する画像信号は、時間的および空間的に連続な光のサンプリング結果であるから、元の光に含まれる情報の一部が欠落したものとなっている。このため、撮像手段が出力する画像信号は、元の光に対応する画像の画質よりも劣化したものとなる。
【０００７】
撮像手段の後段では、例えば、上述のように、元の光よりも画質の劣化した画像信号を、元の光の画質に近づける信号処理が行われるが、従来においては、撮像手段は、その後段で行われる信号処理に無関係に動作し、画像信号を出力する。
【０００８】
即ち、撮像手段は、その後段でどのような信号処理が行われるかに無関係に、いわば画一的に動作して、画像信号を出力する。従って、撮像手段の後段で行われる信号処理において改善される画質には、ある程度の限界がある。
【０００９】
一方、撮像手段において、その後段で行われる信号処理にとって適切な画像信号が出力されれば、その信号処理によって、より画質の改善した画像信号を得ることができる。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、第１の画像信号のレベル分布に応じて、撮像手段を制御する制御手段と、学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力手段と、制御手段において制御された撮像手段が出力する第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算手段とを備えることを特徴とする。
【００１２】
本発明の第２の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、第１の画像信号のアクティビティを検出するアクティビティ検出手段と、第１の画像信号のアクティビティに応じて、撮像手段を制御する制御手段と、学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力手段と、制御手段において制御された撮像手段が出力する第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算手段とを備えることを特徴とする。
【００１３】
本発明の第３の信号処理装置は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段と、第２の画像信号の解像度を表すパラメータを出力するパラメータ出力手段と、パラメータに応じて、撮像手段を制御する制御手段と、学習により獲得された係数種データと、パラメータとから、クラスごとのタップ係数を生成するタップ係数生成手段と、制御手段において制御された撮像手段が出力する第１の画像信号と、クラス分類手段において得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算手段とを備えることを特徴とする。
【００１４】
本発明の第１の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、第１の画像信号のレベル分布に応じて、撮像手段を制御する制御ステップと、学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、制御ステップにおいて制御された撮像手段が出力する第１の画像信号と、クラス分類ステップにおいて得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとを備えることを特徴とする。
【００１５】
本発明の第２の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、第１の画像信号のアクティビティを検出するアクティビティ検出ステップと、第１の画像信号のアクティビティに応じて、撮像手段を制御する制御ステップと、学習により獲得されたクラスごとのタップ係数を出力するタップ係数出力ステップと、制御ステップにおいて制御された撮像手段が出力する第１の画像信号と、クラス分類ステップにおいて得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとを備えることを特徴とする。
【００１６】
本発明の第３の信号処理方法は、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップと、第２の画像信号の解像度を表すパラメータを出力するパラメータ出力ステップと、パラメータに応じて、撮像手段を制御する制御ステップと、学習により獲得された係数種データと、パラメータとから、クラスごとのタップ係数を生成するタップ係数生成ステップと、制御ステップにおいて制御された撮像手段が出力する第１の画像信号と、クラス分類ステップにおいて得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号を求める演算ステップとを備えることを特徴とする。
【００１７】
本発明の第１の信号処理装置および信号処理方法においては、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類が行われ、第１の画像信号のレベル分布に応じて、撮像手段が制御される。さらに、学習により獲得されたクラスごとのタップ係数が出力され、制御された撮像手段が出力する第１の画像信号と、クラス分類によって得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号が求められる。
【００１８】
本発明の第２の信号処理装置および信号処理方法においては、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類が行われる。さらに、第１の画像信号のアクティビティが検出され、そのアクティビティに応じて、撮像手段が制御される。そして、学習により獲得されたクラスごとのタップ係数が出力され、制御された撮像手段が出力する第１の画像信号と、クラス分類によって得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号が求められる。
【００１９】
本発明の第３の信号処理装置および信号処理方法においては、被写体からの光である被写体光を画像信号に変換する撮像手段が出力する第１の画像信号のレベル分布に応じて、第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類が行われる。さらに、第２の画像信号の解像度を表すパラメータが出力され、そのパラメータに応じて、撮像手段が制御される。また、学習により獲得された係数種データと、パラメータとから、クラスごとのタップ係数が生成される。そして、制御された撮像手段が出力する第１の画像信号と、クラス分類によって得られたクラスのタップ係数とを用いた演算を行うことにより、第２の画像信号が求められる。
【発明の効果】
【００２０】
本発明によれば、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２３】
請求項１に記載の信号処理装置は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段（例えば、図２のクラスタップ抽出部２２およびクラスコード発生部２３）と、
前記第１の画像信号のレベル分布に応じて、前記撮像手段を制御する制御手段（例えば、図２の可動量制御部２７）と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段（例えば、図２の係数発生部２４）と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段（例えば、図２の予測演算部２５）と
を備えることを特徴とする。
【００２４】
請求項２に記載の信号処理装置は、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズ（例えば、図６の集光レンズ５２）を有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする。
【００２５】
請求項６に記載の信号処理装置は、
前記クラス分類手段は、
前記第１の画像信号から、前記クラス分類に用いるクラスタップとなる画素を抽出するクラスタップ抽出手段（例えば、図２のクラスタップ抽出部２２）と、
前記クラスタップの画素のダイナミックレンジに応じて、前記クラスタップの画素の１ビットのレベル分布を求め、そのレベル分布に応じたクラスを表すクラスコードを発生するクラスコード発生手段（例えば、図２のクラスコード発生部２３）と
を有する
ことを特徴とする。
【００２６】
請求項１０に記載の信号処理装置は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段（例えば、図１３のクラスタップ抽出部２２およびクラスコード発生部２３）と、
前記第１の画像信号のアクティビティを検出するアクティビティ検出手段（例えば、図１３のアクティビティ検出部７６）と、
前記第１の画像信号のアクティビティに応じて、前記撮像手段を制御する制御手段（例えば、図１３の可動量制御部７７）と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力手段（例えば、図１３の係数発生部２４）と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段（例えば、図１３の予測演算部２５）と
を備えることを特徴とする。
【００２７】
請求項１１に記載の信号処理装置は、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズ（例えば、図６の集光レンズ５２）を有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする。
【００２８】
請求項１５に記載の信号処理装置は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理装置において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類手段（例えば、図２５のクラスタップ抽出部２２およびクラスコード発生部２３）と、
前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力手段（例えば、図２５の操作部８５）と、
前記パラメータに応じて、前記撮像手段を制御する制御手段（例えば、図２５の可動量制御部１１７）と、
学習により獲得された係数種データと、前記パラメータとから、前記クラスごとのタップ係数を生成するタップ係数生成手段（例えば、図２５の係数発生部２４）と、
前記制御手段において制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類手段において得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算手段（例えば、図２５の予測演算部２５）と
を備えることを特徴とする。
【００２９】
請求項１６に記載の信号処理装置は、
前記撮像手段は、各画素毎に被写体光を集光する集光レンズ（例えば、図６の集光レンズ５２）を有し、
前記制御手段は、前記集光レンズの位置を制御する
ことを特徴とする。
【００３０】
請求項１９に記載の信号処理方法は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップ（例えば、図９のステップＳ１１およびＳ１２の処理）と、
前記第１の画像信号のレベル分布に応じて、前記撮像手段を制御する制御ステップ（例えば、図９のステップＳ１３の処理）と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップ（例えば、図９のステップＳ１６の処理）と、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップ（例えば、図９のステップＳ１７の処理）と
を備えることを特徴とする。
【００３１】
請求項２０に記載の信号処理方法は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップ（例えば、図１５のステップＳ４１およびＳ４２の処理）と、
前記第１の画像信号のアクティビティを検出するアクティビティ検出ステップ（例えば、図１５のステップＳ４３の処理）と、
前記第１の画像信号のアクティビティに応じて、前記撮像手段を制御する制御ステップ（例えば、図１５のステップＳ４４の処理）と、
学習により獲得された前記クラスごとのタップ係数を出力するタップ係数出力ステップ（例えば、図１５のステップＳ４７の処理）と、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップ（例えば、図１５のステップＳ４８の処理）と
を備えることを特徴とする。
【００３２】
請求項２１に記載の信号処理方法は、
第１の画像信号を第２の画像信号に変換する信号処理を行う信号処理方法において、
被写体からの光である被写体光を画像信号に変換する撮像手段（例えば、図１のCMOSイメージャ１）が出力する前記第１の画像信号のレベル分布に応じて、前記第２の画像信号を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行うクラス分類ステップ（例えば、図２５のクラスタップ抽出部２２およびクラスコード発生部２３が行う処理）と、
前記第２の画像信号の解像度を表すパラメータを出力するパラメータ出力ステップ（例えば、図２５の操作部８５が行う処理）と、
前記パラメータに応じて、前記撮像手段を制御する制御ステップ（例えば、図２５の可動量制御部１１７が行う処理）と、
学習により獲得された係数種データと、前記パラメータとから、前記クラスごとのタップ係数を生成するタップ係数生成ステップ（例えば、図２５の係数発生部２４が行う処理）と、
前記制御ステップにおいて制御された前記撮像手段が出力する第１の画像信号と、前記クラス分類ステップにおいて得られた前記クラスのタップ係数とを用いた演算を行うことにより、前記第２の画像信号を求める演算ステップ（例えば、図２５の予測演算部２５が行う処理）と
を備えることを特徴とする。
【００３３】
図１は、本発明を適用したセンサシステム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成例を示している。
【００３４】
このセンサシステムは、CMOSイメージャ１とDRC(Digital Reality Creation)回路２から構成され、被写体からの光（被写体光）をセンシングし、その被写体に対応する高画質の画像信号を出力するようになっている。
【００３５】
即ち、CMOSイメージャ１は、被写体光を受光し、その受光量に応じた電気信号としての画像信号を、DRC回路２に供給する。
【００３６】
DRC回路２は、CMOSイメージャ１から供給される画像信号を対象に信号処理を行い、その画像信号よりも高画質の画像信号（以下、適宜、高画質画像信号という）を得て出力する。さらに、DRC回路２は、CMOSイメージャ１から供給される画像信号に応じて、CMOSイメージャ１を制御する。これにより、CMOSイメージャ１は、DRC回路２で行われる信号処理にとって適切な画像信号を出力するように制御される。
【００３７】
従って、図１のセンサシステムによれば、CMOSイメージャ１は、DRC回路２で行われる信号処理にとって適切な画像信号を出力するので、DRC回路２は、その画像信号を対象として信号処理を行うことにより、高画質の画像信号を得ることができる。
【００３８】
図２は、図１のDRC回路２の第１の構成例を示している。
【００３９】
図２においては、DRC回路２は、CMOSイメージャ１が出力する画像信号に対して、信号処理を施すDRC部１１と、CMOSイメージャ１から供給される画像信号に応じて、CMOSイメージャ１を制御する制御部１２とから構成されている。
【００４０】
DRC部１１は、各種の信号処理を行うが、そのうちの１つとして、画像信号を、第１の画像信号から第２の画像信号に変換する画像変換処理がある。
【００４１】
ここで、例えば、第１の画像信号を低解像度の画像信号とするとともに、第２の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像信号を低Ｓ／Ｎ(Siginal/Noise)の画像信号とするとともに、第２の画像信号を高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を所定のサイズの画像信号とするとともに、第２の画像信号を、第１の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００４２】
従って、画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。
【００４３】
DRC部１１は、CMOSイメージャ１が出力する画像信号を第１の画像信号として、その第１の画像信号を、第２の画像信号としての高画質の画像信号に変換する。
【００４４】
即ち、DRC部１１では、CMOSイメージャ１から供給される画像信号が、第１の画像信号として、予測タップ抽出部２１およびクラスタップ抽出部２２に供給される。
【００４５】
予測タップ抽出部２１は、第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出する。
【００４６】
具体的には、予測タップ抽出部２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的および時間的に最も近い位置にある第１の画像信号の画素）に対して、空間的または時間的に近い位置にある複数の画素を、第１の画像信号から、予測タップとして抽出する。
【００４７】
クラスタップ抽出部２２は、注目画素を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うのに用いる第１の画像信号を構成する画素の幾つかを、クラスタップとして抽出する。
【００４８】
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
【００４９】
予測タップ抽出部２１で得られた予測タップは、予測演算部２５に供給され、クラスタップ抽出部２２で得られたクラスタップは、クラスコード発生部２３に供給される。
【００５０】
クラスコード発生部２３は、クラスタップ抽出部２２からのクラスタップを構成する画素のレベル分布に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数発生部２４に供給する。
【００５１】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００５２】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００５３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生部２３は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生（出力）する。
【００５４】
なお、クラスコード発生部２３には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラスコード発生部２３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００５５】
従って、クラスコード発生部２３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００５６】
ここで、クラスタップ抽出部２２において、CMOSイメージャ１が出力する画像信号からクラスタップが得られ、クラスコード発生部２３において、そのクラスタップからクラスコードが得られる。従って、クラスタップ抽出部２２およびクラスコード発生部２３において、クラス分類を行うクラス分類部が構成されているとみることができる。
【００５７】
係数発生部２４は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラスコード発生部２３から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラスコード発生部２３から供給されるクラスコードが表すクラスのタップ係数）を、予測演算部２５に供給（出力）する。
【００５８】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【００５９】
予測演算部２５は、予測タップ抽出部２１が出力する予測タップと、係数発生部２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【００６０】
制御部１２は、CMOSイメージャ１が出力する画像信号のレベル分布に応じて、CMOSイメージャ１を制御する。
【００６１】
即ち、制御部１２には、CMOSイメージャ１が出力する画像信号から抽出されたクラスタップのクラスコードが、クラスコード発生部２３から供給される。制御部１２では、DL(Delay Line)２６が、クラスコード発生部２３から供給されるクラスコードを一時記憶し、その記憶したクラスコードを、可動量制御部２７に供給する。
【００６２】
可動量制御部２７は、DL２６から供給されるクラスコードに応じて、CMOSイメージャ１を制御する。
【００６３】
ここで、クラスコード発生部２３は、例えば、上述したように、クラスタップをADRC処理することによって、クラスコードを発生する。このクラスコードは、CMOSイメージャ１が出力した画像信号から抽出されたクラスタップを構成する複数の画素（の画素値）を再量子化した再量子化値の並びであるから、そのクラスタップを構成する複数の画素、即ち、CMOSイメージャ１が出力した画像信号のレベル分布を表しているということができる。従って、クラスコードに応じてCMOSイメージャ１を制御する可動量制御部２７は、CMOSイメージャ１が出力した画像信号のレベル分布に応じて、CMOSイメージャ１を制御しているということができる。
【００６４】
次に、図３は、予測タップとクラスタップのタップ構造の例を示している。
【００６５】
図３左側は、クラスタップのタップ構造の例を示している。図３では、９個の画素で、クラスタップが構成されている。即ち、図３では、CMOSイメージャ１が出力する画像信号のうちの、注目画素に対応する画素と、その画素の上方向、下方向、左方向、右方向に隣接する２画素それぞれとから、いわば十字形状のクラスタップが構成されている。
【００６６】
図３右側は、予測タップのタップ構造の例を示している。図３では、１３個の画素で、予測タップが構成されている。即ち、図３では、CMOSイメージャ１が出力する画像信号のうちの、注目画素に対応する画素を中心として縦方向に並ぶ５画素、注目画素に対応する画素の左と右に隣接する画素それぞれを中心として縦方向に並ぶ３画素、および注目画素に対応する画素から左と右に１画素だけ離れた画素それぞれから、いわばひし形状のクラスタップが構成されている。
【００６７】
次に、図２の予測演算部２５における予測演算と、その予測演算に用いられるタップ係数の学習について説明する。
【００６８】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００６９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００７０】
【数１】
2005051638.tif 000003
・・・（１）
【００７１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００７２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００７３】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【００７４】
【数２】
2005051638.tif 000004
・・・（２）
【００７５】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【００７６】
【数３】
2005051638.tif 000005
・・・（３）
【００７７】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００７８】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００７９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８０】
【数４】
2005051638.tif 000006
・・・（４）
【００８１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００８２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（１４）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００８３】
【数５】
2005051638.tif 000007
・・・（５）
【００８４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００８５】
【数６】
2005051638.tif 000008
・・・（６）
【００８６】
式（５）と（６）から、次式が得られる。
【００８７】
【数７】
2005051638.tif 000009
・・・（７）
【００８８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００８９】
【数８】
2005051638.tif 000010
・・・（８）
【００９０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【００９１】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【００９２】
次に、図４は、式（８）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【００９３】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【００９４】
学習装置において、学習用画像信号は、教師データ生成部３１と生徒データ生成部３３に供給される。
【００９５】
教師データ生成部３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部３２に供給する。
【００９６】
教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像信号を記憶する。
【００９７】
生徒データ生成部３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部３４に供給する。
【００９８】
生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。
【００９９】
予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２の予測タップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。
【０１００】
クラスタップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２のクラスタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部３７に供給する。
【０１０１】
クラスコード発生部３７は、クラスタップ抽出部３６が出力するクラスタップに基づき、図２のクラスコード発生部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力する。
【０１０２】
足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行う。
【０１０３】
即ち、足し込み部３８には、教師データ記憶部３２に記憶された教師データｙk、予測タップ抽出部３５が出力する予測タップｘn,k、クラスコード発生部３７が出力するクラスコードが供給される。
【０１０４】
そして、足し込み部３８は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０５】
さらに、足し込み部３８は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１０６】
即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１０７】
そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。
【０１０８】
タップ係数算出部３９は、足し込み部３８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１０９】
図１のDRC部１１における係数発生部２４には、例えば、以上のようにして求められたクラスごとのタップ係数ｗmが記憶されている。
【０１１０】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０１１１】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
【０１１２】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１１３】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
【０１１４】
次に、図５のフローチャートを参照して、図４の学習装置の処理（学習処理）について、説明する。
【０１１５】
まず最初に、ステップＳ１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部３１は、学習用画像信号を、所定のカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレーム（またはフィールド）の教師データ（学習用画像信号）について、生徒データを生成して出力する。
【０１１６】
教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。
【０１１７】
その後、ステップＳ２に進み、予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ２では、予測タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された生徒データから予測タップを構成し、足し込み部３８に供給するとともに、クラスタップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された生徒データからクラスタップを構成し、クラスコード発生部３７に供給する。
【０１１８】
そして、ステップＳ３に進み、クラスコード発生部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部３８に出力して、ステップＳ４に進む。
【０１１９】
ステップＳ４では、足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行い、ステップＳ５に進む。
【０１２０】
ステップＳ５では、予測タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、予測タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ２に戻り、以下、同様の処理が繰り返される。
【０１２１】
また、ステップＳ５において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部３８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部３９に供給し、ステップＳ６に進む。
【０１２２】
ステップＳ６では、タップ係数算出部３９は、足し込み部３８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１２３】
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１２４】
次に、図６は、図１のセンサシステムの構成例を示している。
【０１２５】
図６左側は、図１のセンサシステムの平面図である。
【０１２６】
センサシステムは、例えば、半導体プロセスにより、１チップ上に構成されている。図６では、１チップの右上部分に、CMOSイメージャ１が構成され、他の部分に、DRC回路２その他の電子回路が構成されている。
【０１２７】
CMOSイメージャ１は、図６右上に示すように、画素に相当する、いわゆるセルが多数格子状に配置されて構成されている。CMOSイメージャ１の各画素は、図６右下に示すように、フォトダイオード５１、集光レンズ５２、およびMEMS部５３などから構成されている。
【０１２８】
フォトダイオード５１は、そこに入射する光を受光し、その受光量に応じた電気信号を発生して出力する。このフォトダイオード５１が出力する電気信号が、個々の画素の画素値である。
【０１２９】
集光レンズ５２は、いわゆるオンチップレンズ(On Chip Lens)で、フォトダイオード５１の受光面に対向する位置に配置されている。集光レンズ５２は、光を集光し、その集光した光を、フォトダイオード５１に出射する。集光レンズ５２において光を集光し、フォトダイオード５１に出射することにより、フォトダイオード５１における光の利用効率を向上させることができる。
【０１３０】
MEMS部５３は、MEMS技術により構成された可動部品であり、集光レンズ５２を保持している。MEMS部５３が駆動されることにより、フォトダイオード５１の受光面に対する集光レンズ５２の位置が移動する。
【０１３１】
なお、CMOSイメージャ１の画素は、その他、アンプなどの電子回路も有しているが、その図示は省略する。
【０１３２】
図２の制御部１２における可動量制御部２７は、MEMS部５３を駆動することにより、集光レンズ５２の位置を制御する。
【０１３３】
そこで、図７および図８を参照して、可動量制御部２７による集光レンズ５２の位置の制御について説明する。
【０１３４】
いま、例えば、図７に示すように、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１に近い位置と、遠い位置との２通りの位置に移動させることができることとする。さらに、ここでは、図７左側に示すように、集光レンズ５２の位置が、フォトダイオード５１から遠い位置である場合には、狭い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。また、図７右側に示すように、集光レンズ５２の位置が、フォトダイオード５１から近い位置である場合には、広い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。なお、集光レンズ５２の位置と、集光レンズ５２からフォトダイオード５１に出射される被写体光の範囲との関係は、上述した場合と逆の場合であることもあり得る。
【０１３５】
フォトダイオード５１では、集光レンズ５２から出射される被写体光が受光され、その受光量の積分値にほぼ比例する電気信号が画素値として出力される。このように、フォトダイオード５１において、受光量が積分されて画素値とされることから、その画素値においては、被写体光の微細な変化が失われる（量子化される）。この積分によって、被写体光の微細な変化が失われることを、以下、適宜、積分効果という。フォトダイオード５１において受光される被写体光の範囲が広いほど、積分効果が大となり、被写体光の微細な変化が多く失われ、解像度の低い画像（あるいは動きボケのある画像）が得られる。
【０１３６】
被写体光に対応する画像が、レベル変化が小さい平坦な画像（平坦部）である場合には、ノイズが目立つ。そこで、この場合、フォトダイオード５１に、広い範囲の被写体光を受光させることにより、積分効果によって、フォトダイオード５１が出力する画素値による画像に含まれるノイズを低減することができる。
【０１３７】
また、被写体光に対応する画像が、レベル変化の比較的大きな画像（レベル変化の比較的激しい画像）（非平坦部）である場合には、フォトダイオード５１に、広い範囲の被写体光を受光させると、積分効果によって、フォトダイオード５１が出力する画素値による画像は、大きなレベル変化が、いわば鈍ったものとなり、解像度が劣化することになる。そこで、この場合、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像を、被写体光の大きなレベル変化が比較的忠実に反映されたものとすることができる。
【０１３８】
一方、DRC部１１が行う信号処理（画像変換処理）では、フォトダイオード５１が出力する画素値から予測タップが構成され、その予測タップを用いた演算によって、注目画素（の画素値）が予測される。従って、平坦な画像から構成（抽出）された予測タップの画素にノイズが含まれている場合には、注目画素の予測精度が劣化する。また、予測タップの画素が、本来は、レベル変化の大きい画像の画素であるのに、レベル変化が鈍った画像の画素となっている場合にも、注目画素の予測精度が劣化する。
【０１３９】
即ち、DRC部１１において、高精度で注目画素を予測し、より高画質の画像信号を得ることができるように、適切な信号処理を行うためには、平坦な画像については、ノイズがより少ない画素から予測タップを構成する必要がある。また、レベル変化の大きい画像については、そのレベル変化がより忠実に反映された画素から予測タップを構成する必要がある。
【０１４０】
上述したように、フォトダイオード５１に、広い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像に含まれるノイズを低減することができる。また、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、フォトダイオード５１が出力する画素値による画像を、被写体光の大きなレベル変化が比較的忠実に反映されたものとすることができる。
【０１４１】
従って、平坦な画像については、フォトダイオード５１に、広い範囲の被写体光を受光させ、レベル変化の大きい画像については、フォトダイオード５１に、狭い範囲の被写体光を受光させることにより、DRC部１１において、高精度で注目画素を予測し、より高画質の画像信号を得ることができるように、適切な信号処理を行うことができる。
【０１４２】
そこで、可動量制御部２７は、クラスコード発生部２３からDL２６を介して供給されるクラスコードに応じて、集光レンズ５２の位置を、次のように制御する。
【０１４３】
即ち、図８は、クラスコード発生部２３が出力するクラスコードの例を示している。なお、図８は、図３左側に示した十字形状のクラスタップが１ビットADRC処理されることにより得られるクラスコードを示している。また、図８では、図３左側に示したクラスタップを構成する９画素を、画素Ｐ１乃至Ｐ９として、その画素値を、画素Ｐ１乃至Ｐ９の順で１列に並べて示してある。
【０１４４】
１ビットADRC処理によれば、クラスタップを構成する画素の最大値（最大の画素値）MAXと、最小値（最小の画素値）MINとの平均値で、クラスタップを構成する各画素（の画素値）が再量子化される。即ち、最大値MAXと最小値MINとの平均値未満の画素（値）は０とされ、その平均値以上の画素は１とされる。
【０１４５】
従って、画像の平坦部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が小さいために、例えば、図８左側に示すように、"000000001"のような、隣接するビットにおいてビット反転がほとんど生じないクラスコードが得られる。
【０１４６】
一方、画像の変化の大きい部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が大きいために、例えば、図８右側に示すように、"1011010101"のような、隣接するビットにおいてビット反転が生じている回数が多いクラスコードが得られる。
【０１４７】
従って、クラスコードによれば、隣接するビットにおけるビット反転の回数が少ない場合には、画像が平坦であることを認識することができ、ビット反転の回数が多い場合には、画像のレベル変化が大きいことを認識することができる。
【０１４８】
そこで、可動量制御部２７は、クラスコードにおけるビット反転の回数が少ない場合には、フォトダイオード５１で得られる画素値による画像が平坦であるとして、集光レンズ５２の位置を、図７右側に示したように、フォトダイオード５１に近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させる。また、可動量制御部２７は、クラスコードにおけるビット反転の回数が多い場合には、フォトダイオード５１で得られる画素値による画像がレベル変化が大の画像であるとして、集光レンズ５２の位置を、図７左側に示したように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させる。
【０１４９】
次に、図９のフローチャートを参照して、図２のDRC回路２の信号処理について説明する。
【０１５０】
なお、ここでは、DRC部１１において、第Ｎ＋１フレーム（またはフィールド）のある画素を注目画素として、その注目画素を予測するものとする。
【０１５１】
この場合、CMOSイメージャ１から、第Ｎフレームの画像信号が出力されると、クラスタップ抽出部２２は、ステップＳ１１において、CMOSイメージャ１が出力した第Ｎフレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とする十字形状の画素を、注目画素のクラスタップ（図３）として抽出し、クラスコード発生部２３に供給して、ステップＳ１２に進む。即ち、ここでは、第Ｎ＋１フレームの注目画素のクラスタップが、その１フレーム前の第Ｎフレームの画像信号から抽出される。
【０１５２】
ステップＳ１２では、クラスコード発生部２３は、クラスタップ抽出部２２から供給されるクラスタップを１ビットADRC処理することによって、注目画素のクラスコードを求め、係数発生部２４に供給するとともに、DL２６を介して可動量制御部２７に供給して、ステップＳ１３に進む。
【０１５３】
ステップＳ１３では、可動量制御部２７は、DL２６を介して供給されるクラスコードに対応して、集光レンズ５２の位置を制御する制御情報を生成（決定）し、ステップＳ１４に進む。ステップＳ１４では、可動量制御部２７は、直前のステップＳ１３で生成した制御情報にしたがい、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２を、フォトダイオード５１に近い位置または遠い位置に移動させる。
【０１５４】
その後、第Ｎ＋１フレームの撮像タイミングとなって、CMOSイメージャ１において、第Ｎ＋１フレームの画像信号が撮像されて出力されると、ステップＳ１４からＳ１５に進み、予測タップ抽出部２１は、CMOSイメージャ１が出力する第Ｎ＋１フレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とするひし形状の画素を、注目画素の予測タップ（図３）として抽出し、予測演算部２５に供給して、ステップＳ１６に進む。
【０１５５】
即ち、ステップＳ１４では、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置が制御されている。従って、ステップＳ１５では、そのように集光レンズ５２の位置が制御された画素のフォトダイオード５１から出力される画素値から、注目画素の予測タップが構成される。
【０１５６】
ステップＳ１６では、係数発生部２４が、クラスコード発生部２３から供給される注目画素のクラスコードが表すクラスのタップ係数を出力する。即ち、係数発生部２４は、例えば、図４の学習装置における学習によってあらかじめ獲得されたクラスごとのタップ係数を記憶しており、そのクラスごとのタップ係数の中から、注目画素のクラスコードが表すクラスのタップ係数を読み出し、予測演算部２５に出力する。
【０１５７】
そして、ステップＳ１６からＳ１７に進み、予測演算部２５は、予測タップ抽出部２１から供給される予測タップと、係数発生部２４から供給されるタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求め、処理を終了する。
【０１５８】
以上の処理が、第Ｎ＋１フレームの画素を、順次、注目画素として行われ、さらには、第Ｎ＋２フレーム以降についても行われる。
【０１５９】
なお、ここでは、注目画素のクラスタップを、その注目画素のフレームである第Ｎ＋１フレームの１フレーム前の第Ｎフレームの画像信号から抽出するようにしたが、注目画素のクラスタップは、その注目画素のフレームである第Ｎ＋１フレームの画像信号から抽出するようにすることも可能である。
【０１６０】
また、第Ｎ＋１フレームにおいて、ある画素＃Ａが注目画素となった場合と、その画素に近い画素＃Ｂが注目画素になった場合とで、CMOSイメージャ１の同一画素の集光レンズ５２が、異なる位置に制御されることがあり得る。この場合は、例えば、CMOSイメージャ１において、画素＃Ａが注目画素となった場合の集光レンズ５２の位置と、画素＃Ｂが注目画素となった場合の集光レンズ５２の位置において、第Ｎ＋１フレームの画像信号を時分割で撮像すればよい。あるいは、例えば、先または後に注目画素となった画素に対する集光レンズ５２の位置を優先させてもよい。
【０１６１】
さらに、ここでは、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置を制御することとしたが、その他、例えば、注目画素に最も近い画素だけや、その画素から任意の距離の範囲にある画素すべてなどの集光レンズ５２の位置を制御するようにすることも可能である。
【０１６２】
次に、図１０のフローチャートを参照して、図９のステップＳ１３の処理（クラスコードに対応して制御情報を生成する制御情報生成処理）について、詳述する。
【０１６３】
まず最初に、ステップＳ２１において、可動量制御部２７は、注目画素のクラスコードの隣接するビットにおけるビット反転の回数を算出して、ステップＳ２２に進む。
【０１６４】
即ち、例えば、図８左側に示したように、クラスコードが"000000001"である場合には、先頭(MSB(Most Significant bit))から８番目と９番目のビットにおいて、０から１に１度だけ反転しているので、ビット反転の回数として、１が算出される。また、例えば、図８右側に示したように、クラスコードが"101101010"である場合には、先頭から１番目と２番目のビットが１から０に反転し、先頭から２番目と３番目のビットが０から１に反転し、先頭から４番目と５番目のビットが１から０に反転し、先頭から５番目と６番目のビットが０から１に反転し、先頭から６番目と７番目のビットが１から０に反転し、先頭から７番目と８番目のビットが０から１に反転し、先頭から８番目と９番目のビットが１から０に反転しているので、ビット反転の回数として、７が算出される。
【０１６５】
ステップＳ２２では、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きいかどうかを判定する。ここで、クラスコードが、上述のように９ビットの場合（あるいは、クラスタップを構成する画素数が９画素の場合）は、所定の閾値として、例えば、３などを採用することができる。
【０１６６】
ステップＳ２２において、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きいと判定された場合、即ち、例えば、クラスコードが、図８右側に示したように"101101010"であり、そのビット反転の回数が７回で、所定の閾値である３より大きい場合、ステップＳ２３に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０１６７】
一方、ステップＳ２２において、注目画素のクラスコードにおけるビット反転の回数が、所定の閾値より大きくないと判定された場合、即ち、例えば、クラスコードが、図８左側に示したように"000000001"であり、そのビット反転の回数が１回で、所定の閾値である３より大きくない場合、ステップＳ２４に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近が平坦であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０１６８】
なお、ここでは、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル分布を表す情報として、クラスタップから得られるクラスコードを用いることとしたが、クラスタップ以外にも、例えば、予測タップその他の注目画素の位置付近の任意の複数の画素を、注目画素の位置付近のレベル分布を表す情報として用いることが可能である。
【０１６９】
また、上述の場合には、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１から近い位置と遠い位置との２つの位置のいずれかに制御するようにしたが、集光レンズ５２の位置は、その他、３以上の位置のいずれかに制御することも可能である。
【０１７０】
即ち、図１１は、フォトダイオード５１からある距離の位置を基準位置として、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置それぞれに制御した状態を示している。
【０１７１】
なお、ここでも、上述したように、集光レンズ５２の位置が、フォトダイオード５１から遠いほど、狭い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射され、集光レンズ５２の位置が、フォトダイオード５１から近いほど、広い範囲の被写体光が集光レンズ５２からフォトダイオード５１に出射されるものとする。
【０１７２】
可動量制御部２７は、図１１に示したように、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御する場合も、クラスコードに対応して、集光レンズ５２の位置を制御する。
【０１７３】
即ち、クラスコードにおけるビット反転の回数が少なく、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近が、平坦部分である場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１右側に示すように、フォトダイオード５１から近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させるようにする。また、クラスコードにおけるビット反転の回数が多く、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近のレベル変化が大きい場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１左側に示すように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させるようにする。さらに、クラスコードにおけるビット反転の回数が多くも少なくもなく、従って、CMOSイメージャ１が出力する画像信号のうちの注目画素の位置付近のレベル変化が大きくはないが、それほど小さくもない、いわば中間の場合には、可動量制御部２７は、集光レンズ５２の位置を、図１１の左から２番目に示すように、基準位置に制御し、これにより、フォトダイオード５１に、狭くはないが広くもない、いわば中間の範囲の被写体光を受光させるようにする。
【０１７４】
次に、図１２のフローチャートを参照して、図１１に示したように、集光レンズ５２の位置が、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御される場合の、図９のステップＳ１３の制御情報生成処理について説明する。
【０１７５】
まず最初に、ステップＳ３１において、可動量制御部２７は、注目画素のクラスコードの隣接するビットにおけるビット反転の回数を算出して、ステップＳ３２に進む。なお、ここでも、図１０における場合と同様に、クラスコードが９ビットで構成されるものとする。この場合、クラスコードにおけるビット反転の回数は最小で０回であり、最大で８回である。
【０１７６】
ステップＳ３２では、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、比較的少ない、例えば、０乃至２の範囲の回数であるかどうかを判定する。
【０１７７】
ステップＳ３２において、注目画素のクラスコードにおけるビット反転の回数が、０乃至２の範囲の回数であると判定された場合、ステップＳ３３に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が小であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０１７８】
また、ステップＳ３２において、注目画素のクラスコードにおけるビット反転の回数が、０乃至２の範囲の回数でないと判定された場合、ステップＳ３４に進み、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、比較的多い、例えば、６乃至８の範囲の回数であるかどうかを判定する。
【０１７９】
ステップＳ３４において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数であると判定された場合、ステップＳ３５に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０１８０】
また、ステップＳ３４において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数でないと判定された場合、ステップＳ３６に進み、可動量制御部２７は、注目画素のクラスコードにおけるビット反転の回数が、多くも少なくもない、例えば、３乃至５の範囲の回数であるかどうかを判定する。
【０１８１】
ステップＳ３６において、注目画素のクラスコードにおけるビット反転の回数が、３乃至５の範囲の回数であると判定された場合、ステップＳ３７に進み、可動量制御部２７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が中であるとして、集光レンズ５２の位置を、基準位置とする（基準位置に移動させる）制御情報、即ち、フォトダイオード５１に中間の範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０１８２】
また、ステップＳ３６において、注目画素のクラスコードにおけるビット反転の回数が、６乃至８の範囲の回数でないと判定された場合、可動量制御部２７は、エラーであるとして、制御情報を生成せずに、リターンする。なお、この場合、集光レンズ５２の位置は、例えば、前回の位置に維持される。
【０１８３】
なお、上述のように、クラスコードを９ビットとし、そのクラスコードにおけるビット反転の回数に応じて、集光レンズ５２の位置を制御する場合には、集光レンズ５２の位置は、最大で９カ所とすることができる。
【０１８４】
次に、図１３は、図１のDRC回路２の第２の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１３のDRC回路２は、制御部１２に代えて、制御部６２が設けられている他は、基本的に、図２における場合と同様に構成されている。
【０１８５】
制御部６２は、アクティビティ検出部７６および可動量制御部７７から構成されている。
【０１８６】
アクティビティ検出部７６には、クラスタップ抽出部２２が出力する注目画素のクラスタップが供給されるようになっている。アクティビティ検出部７６は、クラスタップ抽出部２２から供給される注目画素のクラスタップから、CMOSイメージャ１が出力する画像信号における注目画素の位置付近のアクティビティを検出し、可動量制御部７７に供給する。ここで、アクティビティとしては、例えば、注目画素のクラスタップを構成する画素のダイナミックレンジ（クラスタップを構成する画素の最大の画素値と最小の画素値との差）や、注目画素のクラスタップを構成する画素の隣接するものどうしの差分絶対値の総和、注目画素のクラスタップを構成する画素それぞれと、その平均値との差分の絶対値の総和などを採用することができる。
【０１８７】
なお、ここでは、アクティビティとしては、例えば、注目画素のクラスタップを構成する画素のダイナミックレンジを採用することとする。
【０１８８】
可動量制御部７７は、アクティビティ検出部７６から供給されるアクティビティに応じて、図２の可動量制御部２７における場合と同様に、CMOSイメージャ１を制御する。即ち、可動量制御部７７は、アクティビティ検出部７６から供給されるアクティビティに応じて、注目画素の予測タップとなる画素の集光レンズ５２の位置を制御する。
【０１８９】
即ち、図１４は、クラスタップ抽出部２２が出力するクラスタップの例を示している。なお、図１４では、図３左側に示したクラスタップを構成する９画素を、画素Ｐ１乃至Ｐ９として、その画素値を、画素Ｐ１乃至Ｐ９の順で１列に並べて示してある。
【０１９０】
画像の平坦部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が小さいために、例えば、図１４左側に示すように、そのダイナミックレンジDRは、ある小さな値となる。
【０１９１】
一方、画像の変化の大きい部分から抽出されたクラスタップについては、そのクラスタップを構成する画素Ｐ１乃至Ｐ９の画素値の変化が大きいために、例えば、図１４右側に示すように、そのダイナミックレンジDRは、ある大きな値となる。
【０１９２】
従って、クラスタップのダイナミックレンジが小さい場合には、画像が平坦であることを認識することができ、ダイナミックレンジが大きい場合には、画像のレベル変化が大きいことを認識することができる。
【０１９３】
そこで、可動量制御部７７は、クラスタップのダイナミックレンジが小さい場合には、フォトダイオード５１で得られる画素値による画像が平坦であるとして、集光レンズ５２の位置を、図７右側に示したように、フォトダイオード５１に近い位置に制御し、これにより、フォトダイオード５１に、広い範囲の被写体光を受光させる。また、可動量制御部７７は、クラスタップのダイナミックレンジが大きい場合には、フォトダイオード５１で得られる画素値による画像がレベル変化が大の画像であるとして、集光レンズ５２の位置を、図７左側に示したように、フォトダイオード５１から遠い位置に制御し、これにより、フォトダイオード５１に、狭い範囲の被写体光を受光させる。
【０１９４】
次に、図１５のフローチャートを参照して、図１３のDRC回路２の信号処理について説明する。
【０１９５】
なお、ここでは、図９における場合と同様に、DRC部１１において、第Ｎ＋１フレーム（またはフィールド）のある画素を注目画素とし、その注目画素を予測するものとする。
【０１９６】
この場合、CMOSイメージャ１から、第Ｎフレームの画像信号が出力されると、クラスタップ抽出部２２は、ステップＳ４１において、CMOSイメージャ１が出力した第Ｎフレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とする十字形状の画素を、注目画素のクラスタップ（図３）として抽出し、クラスコード発生部２３とアクティビティ検出部７６に供給して、ステップＳ４２に進む。即ち、ここでも、図９における場合と同様に、第Ｎ＋１フレームの注目画素のクラスタップが、その１フレーム前の第Ｎフレームの画像信号から抽出される。
【０１９７】
ステップＳ４２では、クラスコード発生部２３は、クラスタップ抽出部２２から供給されるクラスタップを、例えば１ビットADRC処理することなどによって、注目画素のクラスコードを求め、係数発生部２４に供給して、ステップＳ４３に進む。
【０１９８】
ステップＳ４３では、アクティビティ検出部７６は、クラスタップ抽出部２２からの注目画素のクラスタップのダイナミックレンジをアクティビティとして検出し、可動量制御部７７に供給して、ステップＳ４４に進む。
【０１９９】
ステップＳ４３では、可動量制御部７７は、アクティビティ検出部７６から供給されるクラスタップのダイナミックレンジに対応して、集光レンズ５２の位置を制御する制御情報を生成（決定）し、ステップＳ４５に進む。ステップＳ４５では、可動量制御部７７は、直前のステップＳ４３で生成した制御情報にしたがい、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２を所定の位置に移動させる。
【０２００】
その後、第Ｎ＋１フレームの撮像タイミングとなって、CMOSイメージャ１において、第Ｎ＋１フレームの画像信号が撮像されて出力されると、ステップＳ４５からＳ４６に進み、予測タップ抽出部２１は、CMOSイメージャ１が出力する第Ｎ＋１フレームの画像信号から、注目画素の位置に最も近い位置の画素を中心とするひし形状の画素を、注目画素の予測タップ（図３）として抽出し、予測演算部２５に供給して、ステップＳ４７に進む。
【０２０１】
即ち、ステップＳ４５では、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置が制御されている。従って、ステップＳ４６では、そのように集光レンズ５２の位置が制御された画素のフォトダイオード５１から出力される画素値から、注目画素の予測タップが構成される。
【０２０２】
ステップＳ４７では、係数発生部２４が、クラスコード発生部２３から供給される注目画素のクラスコードが表すクラスのタップ係数を、予測演算部２５に出力して、ステップＳ４８に進む。
【０２０３】
ステップＳ４８では、予測演算部２５は、予測タップ抽出部２１から供給される予測タップと、係数発生部２４から供給されるタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求め、処理を終了する。
【０２０４】
以上の処理が、第Ｎ＋１フレームの画素を、順次、注目画素として行われ、さらには、第Ｎ＋２フレーム以降についても行われる。
【０２０５】
なお、ここでは、注目画素のクラスタップを、その注目画素のフレームである第Ｎ＋１フレームの１フレーム前の第Ｎフレームの画像信号から抽出するようにしたが、注目画素のクラスタップは、その注目画素のフレームである第Ｎ＋１フレームの画像信号から抽出するようにすることも可能である。
【０２０６】
また、第Ｎ＋１フレームにおいて、ある画素＃Ａが注目画素となった場合と、その画素に近い画素＃Ｂが注目画素になった場合とで、CMOSイメージャ１の同一画素の集光レンズ５２が、異なる位置に制御されることがあり得る。この場合は、例えば、CMOSイメージャ１において、画素＃Ａが注目画素となった場合の集光レンズ５２の位置と、画素＃Ｂが注目画素となった場合の集光レンズ５２の位置において、第Ｎ＋１フレームの画像信号を撮像すればよい。あるいは、例えば、先または後に注目画素となった画素に対する集光レンズ５２の位置を優先させてもよい。
【０２０７】
さらに、ここでは、注目画素の予測タップとなる画素におけるMEMS部５３を制御することにより、その画素の集光レンズ５２の位置を制御することとしたが、その他、例えば、注目画素に最も近い画素だけや、その画素から任意の距離の範囲にある画素すべてなどの集光レンズ５２の位置を制御するようにすることも可能である。
【０２０８】
次に、図１６のフローチャートを参照して、図７に示したように、集光レンズ５２の位置が、フォトダイオード５１から近い位置と遠い位置の２つの位置のうちのいずれかに制御される場合の、図１５のステップＳ４４の処理（クラスタップのアクティビティに対応して制御情報を生成する制御情報生成処理）について説明する。
【０２０９】
まず最初に、ステップＳ５１において、可動量制御部７７は、最大のダイナミックレンジによって、注目画素のクラスタップのダイナミックレンジを正規化して、ステップＳ５２に進む。即ち、可動量制御部７７は、クラスタップのダイナミックレンジを、CMOSイメージャ１が出力する画像信号が取り得る最大値と最小値との差である最大のダイナミックレンジで除算することにより、クラスタップのダイナミックレンジを正規化する。ここで、以下、適宜、正規化されたクラスタップのダイナミックレンジを正規化ダイナミックレンジという。なお、クラスタップのダイナミックレンジの正規化は、必ずしも行う必要はない。
【０２１０】
ステップＳ５２では、可動量制御部７７は、正規化ダイナミックレンジが、所定の閾値より大きいかどうかを判定する。ここで、所定の閾値としては、例えば、０．５などを採用することができる。
【０２１１】
ステップＳ５２において、正規化ダイナミックレンジが、所定の閾値より大きいと判定された場合、ステップＳ５３に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０２１２】
一方、ステップＳ５２において、正規化ダイナミックレンジが、所定の閾値より大きくないと判定された場合、ステップＳ５４に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近が平坦であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０２１３】
なお、ここでは、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のアクティビティを表す情報として、クラスタップのダイナミックレンジを用いることとしたが、クラスタップ以外にも、例えば、予測タップその他の注目画素の位置付近の任意の複数の画素の最大値と最小値との差を、注目画素の位置付近のアクティビティを表す情報として用いることが可能である。
【０２１４】
また、上述の場合には、MEMS部５３を駆動することにより、集光レンズ５２の位置を、フォトダイオード５１から近い位置と遠い位置との２つの位置のいずれかに制御するようにしたが、集光レンズ５２の位置は、その他、３以上の位置のいずれかに制御することも可能である。
【０２１５】
即ち、図１７は、図１１に示したように、集光レンズ５２の位置を、基準位置、フォトダイオード５１から近い位置、遠い位置の３つの位置のうちのいずれかに制御する場合の、図１５のステップＳ４４の制御情報生成処理を説明するフローチャートである。
【０２１６】
まず最初に、ステップＳ６１において、可動量制御部７７は、注目画素のクラスタップのダイナミックレンジを正規化することにより、注目画素のクラスタップのダイナミックレンジの、最大のダイナミックレンジに対する割合である正規化ダイナミックレンジを求め、ステップＳ６２に進む。
【０２１７】
ステップＳ６２では、可動量制御部７７は、正規化ダイナミックレンジが、比較的小さい、例えば、０．３未満の値であるかどうかを判定する。
【０２１８】
ステップＳ６２において、正規化ダイナミックレンジが、０．３未満の値であると判定された場合、ステップＳ６３に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が小であるとして、集光レンズ５２の位置を、フォトダイオード５１から近い位置とする（近い位置に移動させる）制御情報、即ち、フォトダイオード５１に広い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０２１９】
また、ステップＳ６２において、正規化ダイナミックレンジが、０．３未満の値でないと判定された場合、ステップＳ６４に進み、可動量制御部７７は、正規化ダイナミックレンジが、小さくも大きくもない、例えば、０．３以上０．６未満の値であるかどうかを判定する。
【０２２０】
ステップＳ６４において、正規化ダイナミックレンジが、０．３以上０．６未満の値であると判定された場合、ステップＳ６５に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が中であるとして、集光レンズ５２の位置を、基準位置とする（基準位置に移動させる）制御情報、即ち、フォトダイオード５１に中間の範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０２２１】
また、ステップＳ６４において、正規化ダイナミックレンジが、０．３以上０．６未満の値でないと判定された場合、ステップＳ６６に進み、可動量制御部７７は、正規化ダイナミックレンジが、比較的大きい、例えば、０．６以上の値であるかどうかを判定する。
【０２２２】
ステップＳ６６において、正規化ダイナミックレンジが、０．６以上の値であると判定された場合、ステップＳ６７に進み、可動量制御部７７は、CMOSイメージャ１で撮像される画像の、注目画素の位置付近のレベル変化が大であるとして、集光レンズ５２の位置を、フォトダイオード５１から遠い位置とする（遠い位置に移動させる）制御情報、即ち、フォトダイオード５１に狭い範囲の被写体光を入射させるように、集光レンズ５２の位置を制御する制御情報を生成し、リターンする。
【０２２３】
また、ステップＳ６６において、正規化ダイナミックレンジが、０．６以上の値でないと判定された場合、可動量制御部７７は、エラーであるとして、制御情報を生成せずに、リターンする。なお、この場合、集光レンズ５２の位置は、例えば、前回の位置に維持される。
【０２２４】
次に、上述の場合には、図２や図１３の係数発生部２４に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、係数発生部２４では、その他、例えば、タップ係数の、いわば種となる係数種データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成することが可能である。
【０２２５】
図１８は、係数種データとパラメータとから、クラスごとのタップ係数を生成する係数発生部２４の構成例を示している。
【０２２６】
係数メモリ８１は、係数生成部８２から供給されるクラスごとのタップ係数を記憶する。そして、係数メモリ８１は、クラスコード発生部２３からクラスコードが供給されると、そのクラスコードが表すクラスのタップ係数を、記憶しているクラスごとのタップ係数の中から読み出し、予測演算部２５に出力する。
【０２２７】
係数生成部８２は、係数種メモリ８３に記憶されている係数種データと、パラメータメモリ８４に記憶されたパラメータとに基づいて、クラスごとのタップ係数を生成し、係数メモリ８１に供給して上書きする形で記憶させる。
【０２２８】
係数種メモリ８３は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０２２９】
パラメータメモリ８４は、ユーザが操作部８５を操作した場合に、その操作に応じて、操作部８５が出力するパラメータを上書きする形で記憶する。
【０２３０】
操作部８５は、例えば、ユーザによって操作される操作つまみなどであり、その操作に対応した値のパラメータを、パラメータメモリ８４に出力する。このパラメータは、予測演算部２５で求められる画素値で構成される画像の解像度などに対応する。なお、図２および図１３においては、操作部８５の図示は省略してある。
【０２３１】
図１８の係数発生部２４においては、ユーザによる操作部８５の操作に応じて、係数メモリ８１に記憶（セット）されるクラスごとのタップ係数、即ち、予測演算部２５で用いられるクラスごとのタップ係数が更新される。
【０２３２】
そこで、図１９のフローチャートを参照して、図１８の係数発生部２４で行われるクラスごとのタップ係数を更新する処理（タップ係数更新処理）について説明する。
【０２３３】
まず最初に、ステップＳ７１において、パラメータメモリ８４は、操作部８５からパラメータが供給されたかどうかを判定し、供給されたと判定した場合、ステップＳ７２に進み、パラメータメモリ８４は、その供給されたパラメータを上書きする形で記憶し、ステップＳ７３に進む。
【０２３４】
また、ステップＳ７１において、操作部８５からパラメータが供給されていないと判定された場合、ステップＳ７２をスキップして、ステップＳ７３に進む。
【０２３５】
従って、パラメータメモリ８４では、ユーザにより操作部８５が操作され、これにより、操作部８５から、そのユーザによる操作に対応したパラメータが供給された場合、その供給されたパラメータによって、記憶内容が更新される。
【０２３６】
ステップＳ７３では、係数生成部８２が、係数種メモリ８３からクラスごとの係数種データを読み出すとともに、パラメータメモリ８４からパラメータを読み出し、その係数種データとパラメータに基づいて、クラスごとのタップ係数を求める。そして、ステップＳ７４に進み、係数生成部８２は、そのクラスごとのタップ係数を、係数メモリ８１に供給し、上書きする形で記憶させる。そして、ステップＳ７４からＳ７１に戻り、以下、同様の処理が繰り返される。
【０２３７】
なお、図１９において、ステップＳ７３およびＳ７４の処理は、パラメータメモリ８４に、新たなパラメータ上書きされた場合に行い、他の場合はスキップすることが可能である。
【０２３８】
次に、係数生成部８２におけるタップ係数の生成と、係数種メモリ８３に記憶させる係数種データの学習について説明する。
【０２３９】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０２４０】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２４１】
一方、係数生成部８２では、タップ係数ｗnが、係数種メモリ８３に記憶された係数種データと、パラメータメモリ８４に記憶されたパラメータとから生成されるが、この係数生成部８２におけるタップ係数ｗnの生成が、係数種データとパラメータを用いた、例えば次式によって行われることとする。
【０２４２】
【数９】
2005051638.tif 000011
・・・（９）
【０２４３】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
【０２４４】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０２４５】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０２４６】
【数１０】
2005051638.tif 000012
・・・（１０）
【０２４７】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０２４８】
【数１１】
2005051638.tif 000013
・・・（１１）
【０２４９】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０２５０】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０２５１】
【数１２】
2005051638.tif 000014
・・・（１２）
【０２５２】
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０２５３】
【数１３】
2005051638.tif 000015
・・・（１３）
【０２５４】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０２５５】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０２５６】
【数１４】
2005051638.tif 000016
・・・（１４）
【０２５７】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０２５８】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２５９】
【数１５】
2005051638.tif 000017
・・・（１５）
【０２６０】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２６１】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２６２】
【数１６】
2005051638.tif 000018
・・・（１６）
【０２６３】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０２６４】
【数１７】
2005051638.tif 000019
・・・（１７）
【０２６５】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０２６６】
【数１８】
2005051638.tif 000020
・・・（１８）
【０２６７】
【数１９】
2005051638.tif 000021
・・・（１９）
【０２６８】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０２６９】
【数２０】
2005051638.tif 000022
・・・（２０）
【０２７０】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２７１】
図１８の係数種メモリ８３においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２０）を解く学習を行うことにより求められた係数種データβm,nが記憶されており、係数生成部８２では、その係数種データβm,nと、パラメータメモリ８４に記憶されたパラメータｚから、式（９）にしたがって、タップ係数ｗnが生成される。そして、予測演算部２５において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０２７２】
次に、図２０は、式（２０）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７３】
学習装置には、係数種データβm,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０２７４】
学習装置において、学習用画像信号は、教師データ生成部３１と生徒データ生成部３３に供給される。
【０２７５】
教師データ生成部３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部３２に供給する。即ち、ここでは、教師データ生成部３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部３２に供給する。
【０２７６】
教師データ記憶部３２は、教師データ生成部３１から供給される教師データとしての高画質画像信号を記憶する。
【０２７７】
生徒データ生成部３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部３４に供給する。即ち、生徒データ生成部３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部３４に供給する。
【０２７８】
ここで、生徒データ生成部３３には、学習用画像信号の他、図１８のパラメータメモリ８４に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部９１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部３３には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部９１から供給されるようになっている。
【０２７９】
生徒データ生成部３３は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。
【０２８０】
従って、この場合、生徒データ生成部３３では、図２１に示すように、学習用画像信号としての高画質画像信号について、Ｚ＋１種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。
【０２８１】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータｚに対応する低画質画像信号ほど、解像度が低い。
【０２８２】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部３３において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータｚに対応する分だけ低下させた低画質画像信号を生成するものとする。
【０２８３】
図２０に戻り、生徒データ記憶部３４は、生徒データ生成部３３から供給される生徒データを記憶する。
【０２８４】
予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２や図１３の予測タップ抽出部２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部９２に供給する。
【０２８５】
クラスタップ抽出部３６は、注目教師画素について、生徒データ記憶部３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図２や図１３のクラスタップ抽出部２２が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部３７に供給する。
【０２８６】
なお、予測タップ抽出部３５とクラスタップ抽出部３６には、パラメータ生成部９１が生成するパラメータｚが供給されるようになっており、予測タップ抽出部３５とクラスタップ抽出部３６は、パラメータ生成部９１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像信号）を用いて、予測タップとクラスタップをそれぞれ構成する。
【０２８７】
クラスコード発生部３７は、クラスタップ抽出部３６が出力するクラスタップに基づき、図２や図１３のクラスコード発生部２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部９２に出力する。
【０２８８】
パラメータ生成部９１は、図１８のパラメータメモリ８４に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部３３に供給する。また、パラメータ生成部９１は、生成したパラメータｚを、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２にも供給する。
【０２８９】
足し込み部９２は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに行う。
【０２９０】
即ち、足し込み部９２には、教師データ記憶部３２に記憶された教師データｙk、予測タップ抽出部３５が出力する予測タップｘi,k（ｘj,k）、およびクラスコード発生部３７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部９１から供給されるようになっている。
【０２９１】
そして、足し込み部９２は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０２９２】
さらに、足し込み部９２は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０２９３】
即ち、足し込み部９２は、前回、注目教師画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目教師画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２９４】
そして、足し込み部９２は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９３に供給する。
【０２９５】
係数種算出部９３は、足し込み部９２から供給されるクラスごとの正規方程式を解くことにより、クラスごとの係数種データβm,nを求めて出力する。
【０２９６】
次に、図２２のフローチャートを参照して、図２０の学習装置の処理（学習処理）について、説明する。
【０２９７】
まず最初に、ステップＳ８１において、教師データ生成部３１と生徒データ生成部３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部３１には、パラメータ生成部９１が生成するＺ＋１個の値のパラメータｚが供給され、生徒データ生成部３１は、学習用画像信号を、パラメータ生成部９１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０２９８】
教師データ生成部３１が出力する教師データは、教師データ記憶部３２に供給されて記憶され、生徒データ生成部３３が出力する生徒データは、生徒データ記憶部３４に供給されて記憶される。
【０２９９】
その後、ステップＳ８２に進み、パラメータ生成部９１は、パラメータｚを、初期値としての、例えば０にセットし、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２に供給して、ステップＳ８３に進む。ステップＳ８３では、予測タップ抽出部３５は、教師データ記憶部３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ８３では、予測タップ抽出部３５が、注目教師画素について、生徒データ記憶部３４に記憶された、パラメータ生成部９１が出力するパラメータｚに対する生徒データ（注目教師画素となっている教師データに対応する学習用画像信号を、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを構成（抽出）し、足し込み部９２に供給するとともに、クラスタップ抽出部３６が、やはり、注目教師画素について、生徒データ記憶部３４に記憶された、パラメータ生成部９１が出力するパラメータｚに対する生徒データからクラスタップを構成（抽出）し、クラスコード発生部３７に供給する。
【０３００】
そして、ステップＳ８４に進み、クラスコード発生部３７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を、図２や図１３のクラスコード発生部２３における場合と同様にして行い、その結果得られるクラスに対応するクラスコードを、足し込み部９２に出力して、ステップＳ８５に進む。
【０３０１】
ステップＳ８５では、足し込み部９２は、教師データ記憶部３２から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部３５から供給される予測タップ、パラメータ生成部９１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部９２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラスコード発生部３７からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ８６に進む。
【０３０２】
ステップＳ８６では、パラメータ生成部９１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ８６において、パラメータ生成部９１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ８７に進み、パラメータ生成部９１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、予測タップ抽出部３５およびクラスタップ抽出部３６、並びに足し込み部９２に出力する。そして、ステップＳ８３に戻り、以下、同様の処理が繰り返される。
【０３０３】
また、ステップＳ８６において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ８８に進み、予測タップ抽出部３５が、教師データ記憶部３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ８８において、注目教師画素としていない教師データが、まだ、教師データ記憶部３２に記憶されていると判定された場合、予測タップ抽出部３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ８２に戻り、以下、同様の処理が繰り返される。
【０３０４】
また、ステップＳ８８において、注目教師画素としていない教師データが、教師データ記憶部３２に記憶されていないと判定された場合、足し込み部９２は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９３に供給し、ステップＳ８９に進む。
【０３０５】
ステップＳ８９では、係数種算出部９３は、足し込み部９２から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０３０６】
なお、学習用画像信号の数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９３は、例えば、デフォルトの係数種データを出力するようになっている。
【０３０７】
ところで、図２０の学習装置では、図２１に示したように、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号に、パラメータｚに対応して解像度を劣化させた低画質画像信号を生徒データとして、式（１１）によって係数種データβm,nとパラメータｚに対応する変数ｔmとで表されるタップ係数ｗn、並びに生徒データｘnから、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、図２３に示すようにして行うことが可能である。
【０３０８】
即ち、図２３の実施の形態では、図２１の実施の形態における場合と同様に、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号を、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像信号を生徒データとして、まず最初に、タップ係数ｗn、並びに生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図２３の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０３０９】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図４の学習装置における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０３１０】
ところで、ここでは、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから、タップ係数が求められるが、いま、この式（１１）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０３１１】
【数２１】
2005051638.tif 000023
・・・（２１）
【０３１２】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０３１３】
【数２２】
2005051638.tif 000024
・・・（２２）
【０３１４】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０３１５】
【数２３】
2005051638.tif 000025
・・・（２３）
【０３１６】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０３１７】
【数２４】
2005051638.tif 000026
・・・（２４）
【０３１８】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０３１９】
【数２５】
2005051638.tif 000027
・・・（２５）
【０３２０】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０３２１】
【数２６】
2005051638.tif 000028
・・・（２６）
【０３２２】
【数２７】
2005051638.tif 000029
・・・（２７）
【０３２３】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０３２４】
【数２８】
2005051638.tif 000030
・・・（２８）
【０３２５】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０３２６】
次に、図２４は、式（２８）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図４または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３２７】
足し込み部３８には、クラスコード発生部３７が出力する注目教師画素についてのクラスコードと、パラメータ生成部９１が出力するパラメータｚが供給されるようになっている。そして、足し込み部３８は、教師データ記憶部３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部３７から供給されるクラスコードごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに行う。
【０３２８】
即ち、足し込み部３８には、教師データ記憶部３２に記憶された教師データｙk、予測タップ抽出部３５が出力する予測タップｘn,k、クラスコード発生部３７が出力するクラスコード、およびパラメータ生成部９１が出力する、予測タップｘn,kを構成するのに用いられた生徒データを生成したときのパラメータｚが供給される。
【０３２９】
そして、足し込み部３８は、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０３３０】
さらに、足し込み部３８は、やはり、クラスコード発生部３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０３３１】
即ち、足し込み部３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０３３２】
そして、足し込み部３８は、教師データ記憶部３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部３９に供給する。
【０３３３】
タップ係数算出部３９は、足し込み部３８から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部１０１に供給する。
【０３３４】
足し込み部１０１は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０３３５】
即ち、足し込み部１０１は、パラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３３６】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０３３７】
さらに、足し込み部１０１は、パラメータｚから式（１０）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３３８】
足し込み部１０１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１０２に供給する。
【０３３９】
係数種算出部１０２は、足し込み部１０１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０３４０】
図１８の係数種メモリ８３には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０３４１】
ここで、図１８の係数発生部２４においては、例えば、係数種メモリ８３を設けずに、図２４のタップ係数算出部３９が出力するパラメータｚの各値ごとの最適なタップ係数ｗnをメモリに記憶させておき、パラメータメモリ８４に記憶されたパラメータｚに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ８１にセットするようにすることも可能である。但し、この場合、パラメータｚが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ８３を設け、係数種データを記憶させておく場合には、係数種メモリ８３の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種メモリ８３として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータｚの値とから、式（９）によりタップ係数ｗnが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗnを得ることができる。そして、その結果、予測演算部２５が第２の画像信号として出力する高画質画像信号の画質（いまの場合は、解像度）を、無段階に滑らかに調整することが可能となる。
【０３４２】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０３４３】
この場合、DRC部１１では、パラメータｚに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータｚは、解像度に対応するパラメータであるということができる。
【０３４４】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０３４５】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータｚに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０３４６】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を、パラメータｚに対応して間引いた画像信号を生徒データとして、または、パラメータｚに対応するサイズの画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
【０３４７】
係数種メモリ８３に、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておく場合、DRC部１１では、パラメータｚに対応して、画像信号のノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０３４８】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０３４９】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、学習装置（図２０、図２４）において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０３５０】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０３５１】
また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０３５２】
さらに、学習装置（図２０、図２４）において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０３５３】
次に、係数発生部２４において、図１８で示したように、解像度などに対応したパラメータに応じてクラスごとのタップ係数を生成するようにした場合には、CMOSイメージャ１を、クラスコードやクラスタップのアクティビティに応じて制御するのではなく、パラメータに応じて制御するようにすることが可能である。
【０３５４】
図２５は、パラメータに応じて、CMOSイメージャ１を制御するDRC回路２の構成例を示している。なお、図中、図２または図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５のDRC回路２は、制御部１２におけるDL２６および可動量制御部２７に代えて、可動量制御部１１７が設けられている他は、基本的に、図２における場合と同様に構成されている。
【０３５５】
図２５においては、ユーザが操作部８５を操作することにより、その操作に応じたパラメータｚが、係数発生部２４と可動量制御部１１７に供給される。係数発生部２４は、図１８に示したように構成されており、操作部８５から供給されるパラメータｚに基づいて、クラスごとのタップ係数を生成し、そのタップ係数のうちの、クラスコード発生部２３から供給されるクラスコードが表すクラスのタップ係数を、予測演算部２５に出力する。
【０３５６】
可動量制御部１１７は、操作部８５から供給されるパラメータｚに応じて、CMOSイメージャ１を制御する。
【０３５７】
即ち、係数発生部２４では、パラメータｚが大の場合は、解像度を大きく向上させるタップ係数が生成され、パラメータｚが小の場合には、解像度を多少向上させるタップ係数が生成される。DRC部１１において、解像度を大きく向上させるタップ係数が用いられる場合には、予測タップとなる画素も解像度が高い方が、DRC部１１で行われる信号処理にとって適切である。また、DRC部１１において、解像度を多少向上させるタップ係数が用いられる場合には、予測タップとなる画素の解像度はあまり高くない方が、DRC部１１で行われる信号処理にとって適切である。
【０３５８】
そこで、可動量制御部１１７は、パラメータｚが大で、解像度を大きく向上させるタップ係数が生成される場合には、フォトダイオード５１に狭い範囲の被写体光を入射させるように、例えば、集光レンズ５２の位置を、フォトダイオード５１から遠い位置に制御する。また、可動量制御部１１７は、パラメータｚが小で、解像度を多少向上させるタップ係数が生成される場合には、フォトダイオード５１に広い範囲の被写体光を入射させるように、例えば、集光レンズ５２の位置を、フォトダイオード５１に近い位置に制御する。
【０３５９】
なお、DRC回路２は、専用のハードウェアにより実現することもできるし、CPU(Central Processing Unit)（DSP(Digital Signal Processor)を含む）や半導体メモリなどからなるマイクロコンピュータなどのコンピュータに、上述の処理を行わせるプログラムを実行させることによって実現することもできる。
【０３６０】
プログラムは、コンピュータにあらかじめインストールしておく他、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に記録し、いわゆるパッケージソフトウエアとして提供することができる。
【０３６１】
また、プログラムは、上述したようなリムーバブル記録媒体からマイクロコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、あるいはLAN(Local Area Network)、インターネットといったネットワークを介して、ダウンロードしてインストールすることができる。
【０３６２】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３６３】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。
【０３６４】
以上のように、CMOSイメージャ１において、その後段のDRC部１１で行われる信号処理にとって適切な画像信号が出力されるように、CMOSイメージャ１を制御するようにしたので、DRC部１１の信号処理によって、より画質の改善した画像信号を得ることができる。
【０３６５】
なお、本実施の形態では、CMOSイメージャ（CMOSセンサ）によって画像を撮像するようにしたが、画像を撮像する手段としては、その他、例えば、CCDを用いることも可能である。
【０３６６】
また、本実施の形態では、CMOSイメージャ１とDRC回路２とを１チップ上に形成するようにしたが、CMOSイメージャ１とDRC回路２とは、別のチップ上に形成することも可能である。
【０３６７】
さらに、本実施の形態では、集光レンズ５２の位置を制御することにより、フォトダイオード５１に入射する被写体光の範囲を制御したが、フォトダイオード５１に入射する被写体光の範囲を制御する方法は、集光レンズ５２の位置を制御する方法に限定されるものではない。即ち、例えば、CMOSイメージャ１の各画素に、MEMS技術による絞り機構を設け、絞りを調整することなどにより、フォトダイオード５１に入射する被写体光の範囲を制御することが可能である。また、フォトダイオード５１に入射する被写体光の範囲を制御する他、例えば、フォトダイオード５１における被写体光の受光時間（露光時間）などを制御することも可能である。
【図面の簡単な説明】
【０３６８】
【図１】本発明を適用したセンサシステムの一実施の形態の構成例を示すブロック図である。
【図２】DRC回路２の第１の構成例を示すブロック図である。
【図３】クラスタップと予測タップを示す図である。
【図４】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図５】タップ係数を学習する学習処理を説明するフローチャートである。
【図６】本発明を適用したセンサシステムの構成例を示す平面図である。
【図７】集光レンズ５２の位置の制御を説明するための図である。
【図８】クラスコードを説明する図である。
【図９】DRC回路２の処理を説明するフローチャートである。
【図１０】制御情報生成処理を説明するフローチャートである。
【図１１】集光レンズ５２の位置の制御を説明するための図である。
【図１２】制御情報生成処理を説明するフローチャートである。
【図１３】DRC回路２の第２の構成例を示すブロック図である。
【図１４】クラスタップのダイナミックレンジを説明する図である。
【図１５】DRC回路２の処理を説明するフローチャートである。
【図１６】制御情報生成処理を説明するフローチャートである。
【図１７】制御情報生成処理を説明するフローチャートである。
【図１８】係数発生部２４の構成例を示すブロック図である。
【図１９】タップ係数更新処理を説明するフローチャートである。
【図２０】係数種データを学習する学習装置の第１の構成例を示すブロック図である。
【図２１】係数種データの学習を説明するための図である。
【図２２】係数種データを学習する学習処理を説明するフローチャートである。
【図２３】係数種データの学習を説明するための図である。
【図２４】係数種データを学習する学習装置の第２の構成例を示すブロック図である。
【図２５】DRC回路２の第３の構成例を示すブロック図である。
【符号の説明】
【０３６９】
１  CMOSイメージャ，  ２  DRC回路，  １１  DRC部，  １２  制御部，  ２１  予測タップ抽出部，  ２２  クラスタップ抽出部，  ２３  クラスコード発生部，  ２４  係数発生部，  ２５  予測演算部，  ２６  DL，  ２７  可動量制御部，  ５１  フォトダイオード，  ５２  集光レンズ，  ５３  MEMS部，  ６２  制御部，  ７６  アクティビティ検出部，  ７７  可動量制御部，  ８１  係数メモリ，  ８２  係数生成部，  ８３  係数種メモリ，  ８４  パラメータメモリ，  ８５  操作部，  １１７  可動量制御部
【図１】
2005051638.tif 000031
【図２】
2005051638.tif 000032
【図３】
2005051638.tif 000033
【図４】
2005051638.tif 000034
【図５】
2005051638.tif 000035
【図６】
2005051638.tif 000036
【図７】
2005051638.tif 000037
【図８】
2005051638.tif 000038
【図９】
2005051638.tif 000039
【図１０】
2005051638.tif 000040
【図１１】
2005051638.tif 000041
【図１２】
2005051638.tif 000042
【図１３】
2005051638.tif 000043
【図１４】
2005051638.tif 000044
【図１５】
2005051638.tif 000045
【図１６】
2005051638.tif 000046
【図１７】
2005051638.tif 000047
【図１８】
2005051638.tif 000048
【図１９】
2005051638.tif 000049
【図２０】
2005051638.tif 000050
【図２１】
2005051638.tif 000051
【図２２】
2005051638.tif 000052
【図２３】
2005051638.tif 000053
【図２４】
2005051638.tif 000054
【図２５】
2005051638.tif 000055