(57)【要約】【課題】  信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得る。【解決手段】  信号処理部４は、３つのCMOSセンサなどを有する３板式の撮像手段としてのセンサ部１の出力から得られる第１の画像信号に対して、画像変換処理を施し、第２の画像信号を出力する。さらに、信号処理部４は、第２の画像信号を評価し、その評価に対応して、センサ部１が有する３つのCMOSセンサの配置位置を制御する。本発明は、例えば、ビデオカメラやスチルカメラなどに適用できる。【選択図】図１
2005051640.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、
前記第２のディジタル画像信号を評価する評価手段と、
前記評価手段の評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記評価手段は、
前記第１または第２のセンサが、第１の配置状態のときに得られる前記第２のディジタル画像信号と、前記第１または第２のセンサが、第２の配置状態のときに得られる前記第２のディジタル画像信号との間の相関を求める相関演算手段を有し、
前記相関に応じて、前記第２のディジタル画像信号の画質を評価する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
前記注目画素のクラスに応じた係数を出力する係数出力手段と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段を有する
ことを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記係数出力手段は、
前記係数の種となる種データを記憶している記憶手段と、
所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段と
を有する
ことを特徴とする請求項３に記載の信号処理装置。
【請求項６】
前記第１および第２のセンサは、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１に記載の信号処理装置。
【請求項７】
前記撮像手段をさらに備える
ことを特徴とする請求項１に記載の信号処理装置。
【請求項８】
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと
を備えることを特徴とする信号処理方法。
【請求項９】
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項１０】
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
が記録されている記録媒体。
【請求項１１】
所定のパラメータを取得する取得手段と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御手段と、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と
を備えることを特徴とする信号処理装置。
【請求項１２】
前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けたパラメータテーブルを記憶する記憶手段をさらに備え、
前記制御手段は、前記パラメータテーブルにおいて、前記所定のパラメータと対応付けられている配置状態に、前記第１または第２のセンサを制御する
ことを特徴とする請求項１１に記載の信号処理装置。
【請求項１３】
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
所定の係数の種となる種データを記憶している記憶手段と、
前記所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段と
前記生成手段において生成されたクラスごとの前記係数のうちの前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１１に記載の信号処理装置。
【請求項１４】
前記第１および第２のセンサは、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１１に記載の信号処理装置。
【請求項１５】
前記撮像手段をさらに備える
ことを特徴とする請求項１１に記載の信号処理装置。
【請求項１６】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御ステップと、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと
を備えることを特徴とする信号処理方法。
【請求項１７】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御ステップと、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項１８】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御ステップと、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【請求項１９】
所定のパラメータを取得する取得手段と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段と、
前記第２のディジタル画像信号を評価する評価手段と、
前記評価手段の評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶手段と
を備えることを特徴とする信号処理装置。
【請求項２０】
前記評価手段は、
前記第１または第２のセンサが、第１の配置状態のときに得られる前記第２のディジタル画像信号と、前記第１または第２のセンサが、第２の配置状態のときに得られる前記第２のディジタル画像信号との間の相関を求める相関演算手段を有し、
前記相関に応じて、前記第２のディジタル画像信号の画質を評価する
ことを特徴とする請求項１９に記載の信号処理装置。
【請求項２１】
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
所定の係数の種となる種データを記憶している記憶手段と、
前記所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段と
前記生成手段において生成されたクラスごとの前記係数のうちの前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１９に記載の信号処理装置。
【請求項２２】
前記第１および第２のセンサは、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１９に記載の信号処理装置。
【請求項２３】
前記撮像手段をさらに備える
ことを特徴とする請求項１９に記載の信号処理装置。
【請求項２４】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップと
を備えることを特徴とする信号処理方法。
【請求項２５】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項２６】
所定のパラメータを取得する取得ステップと、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、
前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップの評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および信号処理方法、プログラム、並びに記録媒体に関し、特に、例えば、画像信号の信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにする信号処理装置および信号処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
例えば、ディジタル（スチル／ビデオ）カメラなどの撮像装置では、被写体光（被写体からの光）を電気信号である画像信号に変換するセンサとしての、例えば、CCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャ（CMOSセンサ）などを有する撮像手段において、被写体光が受光され、その受光量に応じた画像信号が出力される。
【０００３】
撮像手段としては、例えば、単板式や３板式と呼ばれるものがある。単板式では、Ｒ(Red)，Ｇ(Gree)，Ｂ(Blue)の光を透過する色フィルタが、いわゆるベイヤー配列と呼ばれるパターンに配置された光学フィルタを用い、センサの画素に、Ｒ，Ｇ，Ｂの光のうちのいずれかが入射される。従って、センサの各画素では、Ｒ，Ｇ，Ｂの光のうちのいずれかが受光され、１画素につき、Ｒ，Ｇ，Ｂのうちのいずれかの信号成分を有する画像信号が出力される。このように、単板式では、センサから得られる画像を構成する各画素が、Ｒ，Ｇ，Ｂのうちのいずれかの信号成分のみ有するため、後段の回路において、各画素が有していない信号成分の補間が行われる。即ち、例えば、Ｒ信号（成分）のみ有している画素に注目すると、その注目画素については、その画素に近いＧ信号のみ有する画素と、Ｂ信号のみ有する画素などによって、注目画素のＧ信号とＢ信号が予測される（例えば、特許文献１参照）。
【０００４】
一方、３板式では、例えば、撮像手段が、Ｒ，Ｇ，Ｂそれぞれ用の３つのセンサで構成され、Ｒ用のセンサでＲの光が，Ｇ用のセンサでＧの光が，Ｂ用のセンサでＢの光が、それぞれ受光され、１画素につき、Ｒ信号、Ｇ信号、およびＢ信号を有する画像信号が出力される。
【０００５】
ここで、３板式の撮像装置では、ある光線に注目すると、その注目光線が、プリズムによって、Ｒ，Ｇ，Ｂそれぞれの光に分光され、Ｒの光はＲ用のセンサで、Ｇの光はＧ用のセンサで、Ｂの光はＢ用のセンサで、それぞれ受光される。従って、Ｒ，Ｇ，Ｂそれぞれ用のセンサは、注目光線のＲ，Ｇ，Ｂそれぞれの光が、Ｒ，Ｇ，Ｂそれぞれ用のセンサの同一位置の画素で受光されるように、光学的に等価な（同一の）位置に配置される。
【０００６】
なお、垂直方向の解像度が向上した画像信号を得るため、Ｇ用のセンサを、Ｒ用のセンサおよびＢ用のセンサに対して、１／２画素分だけずれた位置に配置した撮像装置も提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開2002-135797号公報。
【０００８】
【特許文献２】特開平08-256345号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、撮像手段の後段では、多くの場合、撮像手段が出力する画像信号の画質を改善するための信号処理が行われる。
【００１０】
即ち、撮像手段が有するセンサとしてのCCDやCMOSセンサなどは、そこに入射する光（被写体光）を、画素に対応する範囲で、ある露光時間の間に受光し、その受光量に対応する画像信号を出力する。従って、センサは、時間的および空間的に連続な光を、画素に対応する範囲で、露光時間の間だけ、いわばサンプリングし、そのサンプリング結果を、画像信号として出力しているということができる。
【００１１】
このように、撮像手段が出力する画像信号は、時間的および空間的に連続な光のサンプリング結果であるから、元の光に含まれる情報の一部が欠落したものとなっている。このため、撮像手段が出力する画像信号は、元の光に対応する画像の画質よりも劣化したものとなる。
【００１２】
撮像手段の後段では、撮像手段が出力する、上述のように元の光よりも画質の劣化した画像信号を高画質化するための信号処理が行われる。
【００１３】
ところで、従来においては、撮像手段は、その後段で行われる信号処理に無関係に動作し、画像信号を出力する。
【００１４】
このように、撮像手段は、その後段でどのような信号処理が行われるかに無関係に、いわば画一的に動作して、画像信号を出力する。従って、撮像手段の後段で行われる信号処理において改善される画質には、ある程度の限界がある。
【００１５】
一方、撮像手段において、その後段で行われる信号処理にとって適切な画像信号が出力されれば、その信号処理によって、より画質の改善した画像信号を得ることができる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の信号処理装置は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、第２のディジタル画像信号を評価する評価手段と、評価手段の評価に対応して、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段とを備えることを特徴とする。
【００１８】
本発明の第１の信号処理方法は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップとを備えることを特徴とする。
【００１９】
本発明の第１のプログラムは、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップとを備えることを特徴とする。
【００２０】
本発明の第１の記録媒体は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップとを備えることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２１】
本発明の第２の信号処理装置は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における第１または第２のセンサのうちの少なくとも一方の配置状態を、所定のパラメータに対応して制御する制御手段と、撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段とを備えることを特徴とする。
【００２２】
本発明の第２の信号処理方法は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における第１または第２のセンサのうちの少なくとも一方の配置状態を、所定のパラメータに対応して制御する制御ステップと、撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップとを備えることを特徴とする。
【００２３】
本発明の第２のプログラムは、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における第１または第２のセンサのうちの少なくとも一方の配置状態を、所定のパラメータに対応して制御する制御ステップと、撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップとを備えることを特徴とする。
【００２４】
本発明の第２の記録媒体は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における第１または第２のセンサのうちの少なくとも一方の配置状態を、所定のパラメータに対応して制御する制御ステップと、撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップとを備えることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２５】
本発明の第３の信号処理装置は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段と、第２のディジタル画像信号を評価する評価手段と、評価手段の評価に対応して、所定のパラメータと、第１または第２のセンサの配置状態とを対応付けて記憶する記憶手段とを備えることを特徴とする。
【００２６】
本発明の第３の信号処理方法は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、所定のパラメータと、第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップとを備えることを特徴とする。
【００２７】
本発明の第３のプログラムは、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、所定のパラメータと、第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップとを備えることを特徴とする。
【００２８】
本発明の第３の記録媒体は、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップと、第２のディジタル画像信号を評価する評価ステップと、評価ステップの評価に対応して、所定のパラメータと、第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップとを備えることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２９】
本発明の第１の信号処理装置および信号処理方法、プログラム、並びに記録媒体においては、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理が施され、第２のディジタル画像信号が出力される。さらに、第２のディジタル画像信号が評価され、その評価に対応して、第１または第２のセンサのうちの少なくとも一方の配置状態が制御される。
【００３０】
本発明の第２の信号処理装置および信号処理方法、プログラム、並びに記録媒体においては、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における第１または第２のセンサのうちの少なくとも一方の配置状態が、所定のパラメータに対応して制御されるとともに、撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理が施され、第２のディジタル画像信号が出力される。
【００３１】
本発明の第３の信号処理装置および信号処理方法、プログラム、並びに記録媒体においては、画像信号の第１の成分を取得する第１のセンサと、画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、所定のパラメータに対応した画像変換処理が施され、第２のディジタル画像信号が出力される。さらに、第１または第２のセンサのうちの少なくとも一方の配置状態が制御されるとともに、第２のディジタル画像信号が評価され、その評価に対応して、所定のパラメータと、第１または第２のセンサの配置状態とが対応付けられて記憶される。
【発明の効果】
【００３２】
本発明によれば、信号処理にとって適切な画像信号を得ることができ、さらに、その画像信号を信号処理することにより、例えば、高画質の画像信号を得ることができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３５】
請求項１に記載の信号処理装置は、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段（例えば、図５の画像変換部３１Ｇ）と、
前記第２のディジタル画像信号を評価する評価手段（例えば、図６の判定評価部４３）と、
前記評価手段の評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段（例えば、図６の制御信号出力部４４）と
を備えることを特徴とする。
【００３６】
請求項２に記載の信号処理装置は、
前記評価手段は、
前記第１または第２のセンサが、第１の配置状態のときに得られる前記第２のディジタル画像信号と、前記第１または第２のセンサが、第２の配置状態のときに得られる前記第２のディジタル画像信号との間の相関を求める相関演算手段（例えば、図６の相関算出部４２）を有し、
前記相関に応じて、前記第２のディジタル画像信号の画質を評価する
ことを特徴とする。
【００３７】
請求項３に記載の信号処理装置は、
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図１０の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、図１０のクラス分類部１２３）と、
前記注目画素のクラスに応じた係数を出力する係数出力手段（例えば、図１０の係数出力部１２４）と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図１０の演算部１２５）と
を有する
ことを特徴とする。
【００３８】
請求項４に記載の信号処理装置は、
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段（例えば、図１１の係数メモリ１８１）を有する
ことを特徴とする。
【００３９】
請求項５に記載の信号処理装置は、
前記係数出力手段は、
前記係数の種となる種データを記憶している記憶手段（例えば、図１８の係数種メモリ１８３）と、
所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段（例えば、図１８の係数生成部１８２と
を有する
ことを特徴とする。
【００４０】
請求項７に記載の信号処理装置は、
前記撮像手段（例えば、図１のセンサ部１）をさらに備える
ことを特徴とする。
【００４１】
請求項８に記載の信号処理方法は、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップ（例えば、図８のステップＳ２の処理）と、
前記第２のディジタル画像信号を評価する評価ステップ（例えば、図８のステップＳ２の処理）と、
前記評価ステップの評価に対応して、前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップ（例えば、図８のステップＳ５の処理）と
を備えることを特徴とする。
【００４２】
請求項９に記載のプログラムおよび請求項１０に記載の記録媒体に記録されたプログラムの各ステップと発明の実施の形態との対応関係は、請求項８に記載の信号処理方法における場合と同様である。
【００４３】
請求項１１に記載の信号処理装置は、
所定のパラメータを取得する取得手段（例えば、図２７のステップＳ１９１の処理）と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御手段（例えば、図２６の制御信号出力部２２１）と、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段（例えば、図２５の画像信号変換部３１Ｇ）と
を備えることを特徴とする。
【００４４】
請求項１２に記載の信号処理装置は、
前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けたパラメータテーブルを記憶する記憶手段（例えば、図２６のパラメータテーブル記憶部２２２）をさらに備え、
前記制御手段は、前記パラメータテーブルにおいて、前記所定のパラメータと対応付けられている配置状態に、前記第１または第２のセンサを制御する
ことを特徴とする。
【００４５】
請求項１３に記載の信号処理装置は、
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図１７の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、図１７のクラス分類部１２３）と、
所定の係数の種となる種データを記憶している記憶手段（例えば、図１８の係数種メモリ１８３）と、
前記所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段（例えば、図１８の係数生成部１８２）と
前記生成手段において生成されたクラスごとの前記係数のうちの前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図１７の演算部１２５）と
を有する
ことを特徴とする。
【００４６】
請求項１５に記載の信号処理装置は、
前記撮像手段（例えば、図１５のセンサ部１）をさらに備える
ことを特徴とする。
【００４７】
請求項１６に記載の信号処理装置は、
所定のパラメータを取得する取得ステップ（例えば、図２７のステップＳ１９１の処理）と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段における前記第１または第２のセンサのうちの少なくとも一方の配置状態を、前記所定のパラメータに対応して制御する制御ステップ（例えば、図２７のステップＳ１９２の処理）と、
前記撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップ（例えば、図２７のステップＳ１９４の処理）と
を備えることを特徴とする。
【００４８】
請求項１７に記載のプログラムおよび請求項１８に記載の記録媒体に記録されたプログラムの各ステップと発明の実施の形態との対応関係は、請求項１６に記載の信号処理方法における場合と同様である。
【００４９】
請求項１９に記載の信号処理装置は、
所定のパラメータを取得する取得手段（例えば、図３０のステップＳ２０１の処理）と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段（例えば、図２８の画像変換部２３４）と、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御手段（例えば、図２８のコントローラ２３７）と、
前記第２のディジタル画像信号を評価する評価手段（例えば、図２９の判定評価部２４３）と、
前記評価手段の評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶手段（例えば、図２８の位置記憶部２３６）と
を備えることを特徴とする。
【００５０】
請求項２０に記載の信号処理装置は、
前記評価手段は、
前記第１または第２のセンサが、第１の配置状態のときに得られる前記第２のディジタル画像信号と、前記第１または第２のセンサが、第２の配置状態のときに得られる前記第２のディジタル画像信号との間の相関を求める相関演算手段（例えば、図２９の相関算出部２４２）を有し、
前記相関に応じて、前記第２のディジタル画像信号の画質を評価する
ことを特徴とする。
【００５１】
請求項２１に記載の信号処理装置は、
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図１７の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、クラス分類部１２３）と、
所定の係数の種となる種データを記憶している記憶手段（例えば、図１８の係数種メモリ１８３）と、
前記所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段（例えば、図１８の係数生成部１８２）と
前記生成手段において生成されたクラスごとの前記係数のうちの前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図１７の演算部１２５）と
を有する
ことを特徴とする。
【００５２】
請求項２３に記載の信号処理装置は、
前記撮像手段（例えば、図２８のセンサ部２３１）をさらに備える
ことを特徴とする。
【００５３】
請求項２４に記載の信号処理装置は、
所定のパラメータを取得する取得ステップ（例えば、図３０のステップＳ２０１の処理）と、
画像信号の第１の成分を取得する第１のセンサと、前記画像信号の第２の成分を取得する第２のセンサとを、少なくとも有する撮像手段の出力から得られる第１のディジタル画像信号に対して、前記所定のパラメータに対応した画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップ（例えば、図３０のステップＳ２０３の処理）と、
前記第１または第２のセンサのうちの少なくとも一方の配置状態を制御する制御ステップ（例えば、図３０のステップＳ２０６の処理）と、
前記第２のディジタル画像信号を評価する評価ステップ（例えば、図３０のステップＳ２０４の処理）と、
前記評価ステップの評価に対応して、前記所定のパラメータと、前記第１または第２のセンサの配置状態とを対応付けて記憶する記憶ステップ（例えば、図３０のステップＳ２０７の処理）と
を備えることを特徴とする。
【００５４】
請求項２５に記載のプログラムおよび請求項２６に記載の記録媒体に記録されたプログラムの各ステップと発明の実施の形態との対応関係は、請求項２４に記載の信号処理方法における場合と同様である。
【００５５】
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示している。
【００５６】
なお、図１の撮像装置は、例えば、ディジタルスチルカメラやディジタルビデオカメラなどに適用することができる。
【００５７】
センサ部１は、画素に対応する複数の光電変換素子を有し、そこに入射する被写体光を受光し、その受光量に対応した電気信号としての画像信号を、信号調整部２に供給する。また、センサ部１は、信号処理部４から供給される制御信号に応じて、その状態を変化させる。
【００５８】
信号調整部２は、センサ部１から出力される画像信号に含まれる、いわゆるリセットノイズを除去するためのCDS(Correlated  Double  Sampling)処理を行い、その処理の結果得られる画像信号を、A/D(Analog/Digital)変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、即ち、画像信号をサンプリングして量子化し、その結果得られるディジタル画像信号を、信号処理部４に供給する。
【００５９】
信号処理部４は、A/D変換部３からのディジタル画像信号（以下、適宜、単に、画像信号ともいう）を、第１の画像信号として、その第１の画像信号に対して、所定の画像変換処理を施し、その結果得られるディジタル画像信号を、第２の画像信号として、出力部５に出力する。また、信号処理部４は、画像変換処理の結果得られた第２の画像信号を評価し、その評価に対応して、センサ部１の状態を制御する制御信号を、センサ部１に供給する。
【００６０】
出力部５は、信号処理部４が出力する第２の画像信号を受信して出力する。即ち、出力部５は、信号処理部４からの第２の画像信号を、図示せぬ外部端子から出力し、あるいは、図示せぬモニタに表示させる。また、出力部５は、第２の画像信号を、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、半導体メモリなどの図示せぬ記録媒体に記録し、あるいは、電話回線、インターネット、LANその他の有線または無線の伝送媒体を介して送信する。
【００６１】
以上のように構成される撮像装置では、センサ部１において、被写体光が受光され、その受光量に対応した電気信号としての画像信号が、信号調整部２およびA/D変換部３を介して、信号処理部４に供給される。信号処理部４は、センサ部１から信号調整部２およびA/D変換部３を介して供給される画像信号を、第１の画像信号として、その第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善された第２の画像信号を、出力部５に出力する。出力部５では、信号処理部４から供給される第２の画像信号が出力される。
【００６２】
また、信号処理部４は、センサ部１からの第１の画像信号に対して画像変換処理を施すことにより得られた第２の画像信号を評価する。さらに、信号処理部４は、その評価に対応して、センサ部１の状態を制御するする制御信号を、センサ部１に供給する。
【００６３】
センサ部１は、信号処理部４から供給される制御信号に応じて、その状態を変化させ、その変化後の状態において得られる画像信号を出力する。
【００６４】
即ち、センサ部１は、例えば、３板式の撮像手段であり、画像信号のＲ，Ｇ，Ｂそれぞれの成分を取得する３つのセンサ（後述する図３のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂ）から構成される。従って、センサ部１は、１画素につき、Ｒ信号，Ｇ信号，Ｂ信号を有する画像信号を出力する。そして、センサ部１は、信号処理部４から供給される制御信号にしたがい、３つのセンサの１以上の配置状態を変更する。従って、信号処理部４の制御信号によれば、センサ部１が有するセンサの配置状態が制御される。ここで、センサの配置状態には、センサの配置位置と、センサの姿勢（回転状態）とが含まれる。但し、本実施の形態では、説明を簡単にするため、信号処理部４の制御信号によって、センサ部１が有するセンサの配置位置を制御するものとする。なお、センサの姿勢を制御することも可能である。
【００６５】
図２は、図１の信号処理部４および出力部５の構成例を示している。
【００６６】
信号処理部４は、３つの信号処理部１１Ｒ，１１Ｇ，１１Ｂで構成されている。
【００６７】
信号処理部１１Ｒは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に画像変換処理を施すことにより、第２の画像信号のＲ信号（成分）を得て、出力部５に供給する。
【００６８】
信号処理部１１Ｇは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に画像変換処理を施すことにより、第２の画像信号のＧ信号（成分）を得て、出力部５に供給する。さらに、信号処理部１１Ｇは、第２の画像信号のＧ信号を評価し、その評価に対応して、センサ部１のセンサの配置状態を制御する。
【００６９】
信号処理部１１Ｂは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に画像変換処理を施すことにより、第２の画像信号のＢ信号（成分）を得て、出力部５に供給する。
【００７０】
なお、ここでは、信号処理部１１Ｇにおいて、第２の画像信号のＧ信号を評価し、その評価に対応して、センサ部１のセンサの配置状態を制御するようにしたが、センサ部１の制御は、その他、例えば、第２の画像信号のＧ信号以外であるＲ信号またはＢ信号のうちのいずれかを評価して行うことも可能であるし、第２の画像信号のＲ，Ｇ，Ｂ信号のうちの２以上を評価して行うことも可能である。
【００７１】
出力部５は、出力部１２Ｒ，１２Ｇ，１２Ｂで構成されている。出力部１２Ｒ，１２Ｇ，１２Ｂは、信号処理部１１Ｒ，１１Ｇ，１１Ｂが出力する第２の画像信号のＲ信号、Ｇ信号、Ｂ信号をそれぞれ受信して出力する。
【００７２】
なお、以下、適宜、信号処理部１１Ｒ，１１Ｇ、または１１Ｂを、信号処理部１１とも記載する。
【００７３】
次に、図３は、図２（図１）のセンサ部１の構成例を示している。
【００７４】
被写体光は、レンズ２１に入射し、レンズ２１は、その被写体光を、プリズム２２を介して、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂ上に、それぞれ集光させる。
【００７５】
即ち、レンズ２１に入射した被写体光は、プリズム２２に出射される。プリズム２２は、レンズ２１からの被写体光を、Ｒ，Ｇ，Ｂの光に分光し、そのＲ，Ｇ，Ｂの光を、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂが配置されている方向に出射する。
【００７６】
Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、例えば、フォトダイオード等の光電変換素子で構成され、プリズム２２からのＲ，Ｇ，Ｂの光を受光し、これにより、その受光量に対応する電気信号としてのＲ信号、Ｇ信号、Ｂ信号を取得して、信号調整部２に出力する。
【００７７】
ここで、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，およびＢ受光部２３Ｂとしては、例えば、CCD(Charge Coupled Device)を採用することができる。但し、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，およびＢ受光部２３Ｂは、CCDに限定されるものではなく、CMOS(Complementary Metal Oxide Semiconductor)センサや、a-Se（アモルファスセレン）半導体の光導電ターゲット内で生じる電子のなだれ増倍現象を利用した撮像管であるHARP(High Gain Avalanche Rushing Amorphous Photoconductor)などとすることも可能である。
【００７８】
Ｒ制御部２４Ｒ，Ｇ制御部２４Ｇ，Ｂ制御部２４Ｂは、信号処理部１１Ｇから供給される制御信号にしたがい、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を移動させる制御をそれぞれ行う。
【００７９】
なお、ここでは、説明を簡単にするため、Ｒ制御部２４Ｒは、Ｒ受光部２３Ｒの全体の配置位置を制御するものとする。Ｇ制御部２４ＧとＢ制御部２４Ｂも、同様に、Ｇ受光部２３ＧとＢ受光部２３Ｂそれぞれの全体の配置位置を制御するものとする。但し、例えば、MEMS(Micro-Electro-Mechanical Systems)技術を利用することにより、Ｒ受光部２３Ｒとして、画素の配置位置を実質的に変化（移動）させることができるものを採用し、Ｒ制御部２４Ｒにおいては、Ｒ受光部２３Ｒの個々の画素の配置位置を独立に制御するようにすることも可能である。Ｇ受光部２３ＧおよびＧ制御部２４Ｇと、Ｂ受光部２３ＢおよびＢ制御部２４Ｂについても、同様である。
【００８０】
次に、図４を参照して、Ｒ制御部２４Ｒ，Ｇ制御部２４Ｇ，Ｂ制御部２４ＢによるＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂそれぞれの制御について説明する。
【００８１】
図４上側に示すように、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、それぞれ有限の面積を有する画素（１つのフォトダイオード等に対応）を有し、各画素で受光された光量に対応する画像信号（画素値）を出力する。
【００８２】
なお、図４では、画素は、一辺が有限長の正方形の形状とされている。
【００８３】
いま、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂそれぞれの画素の位置を、その画素である正方形の重心位置で表すこととし、それぞれの画素を、●印、○印、×印で表す。ビデオカメラやスチルカメラなどの撮像装置の製造時においては、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、対応する画素の位置が、光学的に同一位置となるように配置される。即ち、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、ある光線のＲ，Ｇ，Ｂそれぞれの光が、対応する画素で受光されるように、光学的に等価な（同一の）位置に配置される。
【００８４】
Ｒ制御部２４Ｒ，Ｇ制御部２４Ｇ，Ｂ制御部２４Ｂは、信号処理部１１Ｇから供給される制御信号にしたがい、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を移動させる。
【００８５】
即ち、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置は、固定ではなく、移動可能となっており、従って、センサ部１において、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂそれぞれの、対応する画素は、光学的に同一位置にあるとは限らない。
【００８６】
いま、図４下側に示すように、Ｒ受光部２３Ｒの画素（図４において●印で示す）の位置を基準とした、Ｇ受光部２３Ｇの画素（図４において○印で示す）の水平方向と垂直方向のずれ量を、ＰｈGとＰｖGと表すとともに、Ｂ受光部２３Ｂの画素（図４において×印で示す）の水平方向と垂直方向のずれ量を、ＰｈBとＰｖBと表すこととする。
【００８７】
Ｒ制御部２４Ｒ，Ｇ制御部２４Ｇ、およびＢ制御部２４Ｂは、信号処理部１１Ｇから供給される制御信号にしたがったずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBとなるように、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を移動する。
【００８８】
なお、この場合、例えば、Ｒ受光部２３Ｒの位置を固定して、Ｇ受光部２３ＧとＢ受光部２３Ｂだけを移動させれば良い。但し、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂのうちの、Ｒ受光部２３Ｒ以外の１つを固定して、他の２つを移動させることもできるし、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂのすべてを移動させるようにすることも可能である。
【００８９】
次に、図５は、図２の信号処理部１１の構成例を示している。
【００９０】
信号処理部１１Ｒ，１１Ｇ，および１１Ｂには、センサ部１が出力する画像信号が、信号調整部２およびA/D変換部３を介して、第１の画像信号として供給される。
【００９１】
信号処理部１１Ｒは、画像変換部３１Ｒと画像記憶部３２Ｒで構成されている。
【００９２】
信号処理部１１Ｒに供給される第１の画像信号は、画像変換部３１Ｒに供給される。画像変換部３１Ｒは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＲのディジタル画像信号を、第２の画像信号のＲ信号として、画像記憶部３２Ｒに供給する。
【００９３】
画像記憶部３２Ｒは、画像変換部２１から供給される第２の画像信号を一時記憶する。さらに、画像記憶部３２Ｒは、記憶した第２の画像信号の中から、信号処理部１１Ｇ（の評価部３３）から供給される、画像を選択する選択情報にしたがった第２の画像信号を読み出し、出力部５に供給する。
【００９４】
信号処理部１１Ｇは、画像変換部３１Ｇ、画像記憶部３２Ｇ、および評価部３３で構成されている。
【００９５】
信号処理部１１Ｇに供給される第１の画像信号は、画像変換部３１Ｇに供給される。画像変換部３１Ｒは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＧのディジタル画像信号を、第２の画像信号のＧ信号として、画像記憶部３２Ｇと評価部３３に供給する。
【００９６】
画像記憶部３２Ｇは、画像変換部２１から供給される第２の画像信号を一時記憶する。さらに、画像記憶部３２Ｇは、記憶した第２の画像信号の中から、評価部３３から供給される、画像を選択する選択情報にしたがった第２の画像信号を読み出し、出力部５に供給する。
【００９７】
評価部３３は、画像変換部３１Ｇから供給される第２の画像信号（のＧ信号）を評価し、その評価に対応して、センサ部１に制御信号を供給することにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する。さらに、評価部３３は、第２の画像信号の評価に対応して、選択情報を、画像記憶部３２Ｇに供給するとともに、信号処理部１１Ｒの画像記憶部３２Ｒ、および信号処理部１１Ｂの画像記憶部３２Ｂに供給する。
【００９８】
信号処理部１１Ｂは、画像変換部３１Ｂと画像記憶部３２Ｂで構成されている。
【００９９】
信号処理部１１Ｂに供給される第１の画像信号は、画像変換部３１Ｂに供給される。画像変換部３１Ｂは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＢのディジタル画像信号を、第２の画像信号のＢ信号として、画像記憶部３２Ｂに供給する。
【０１００】
画像記憶部３２Ｂは、画像変換部２１から供給される第２の画像信号を一時記憶する。さらに、画像記憶部３２Ｂは、記憶した第２の画像信号の中から、信号処理部１１Ｇ（の評価部３３）から供給される、画像を選択する選択情報にしたがった第２の画像信号を読み出し、出力部５に供給する。
【０１０１】
なお、画像変換部３１Ｒ，３１Ｇ，３１Ｂそれぞれは、同様に構成されており、以下、適宜、画像変換部３１Ｒ，３１Ｇ、または３１Ｂを、画像変換部３１と記載する。また、画像記憶部３２Ｒ，３２Ｇ，３２Ｂそれぞれも、同様に構成されており、以下、適宜、画像記憶部３２Ｒ，３２Ｇ、または３２Ｂを、画像記憶部３２と記載する。
【０１０２】
図６は、図５の評価部３３の構成例を示している。
【０１０３】
評価部３３は、記憶部４１、相関算出部４２、判定評価部４３、および制御信号出力部４４で構成され、画像変換部３１Ｇから供給される第２の画像信号（のＧ信号）の画質を評価する。
【０１０４】
即ち、記憶部４１は、画像変換部３１Ｇから供給される第２の画像信号を一時記憶する。
【０１０５】
相関算出部４２は、記憶部４１に記憶された、画像変換部３１Ｇから前回供給された第２の画像信号と、画像変換部３１Ｇから今回供給された第２の画像信号との相関を演算し、その演算の結果得られる相関値を、判定評価部４３に供給する。
【０１０６】
判定評価部４３は、相関算出部４２から供給される相関値に基づいて、画像変換部３１Ｇが出力した第２の画像信号を評価し、その第２の画像信号の画質が高い、または低い旨の評価結果を得る。さらに、判定評価部４３は、第２の画像信号の評価結果を、制御信号出力部４４に供給するとともに、その評価結果に対応して、図５の画像記憶部３２Ｒ，３２Ｇ、および３２Ｂに、選択情報を出力する。
【０１０７】
制御信号出力部４４は、判定評価部４３からの第２の画像信号の評価結果に対応して、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する制御信号を、センサ部１（のＲ制御部２４Ｒ，Ｇ制御部２４Ｇ，Ｂ制御部２４Ｂ）に供給し、これにより、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する。
【０１０８】
以上のように構成される評価部３３では、記憶部４１は、画像変換部３１Ｇから供給される第２の画像信号を順次記憶する。そして、相関算出部４２は、画像変換部３１Ｇから第２の画像信号が新たに供給されると、その第２の画像信号と、前回、画像変換部３１Ｇから供給されて記憶部４１に記憶された第２の画像信号との間の相関値を演算する。
【０１０９】
ここで、２つの画像信号（２フレーム（フィールド）の画像信号）の相関値としては、例えば、その２つの画像信号の同一位置の画素の画素値のすべてまたは一部の差分絶対値の総和の逆数などを採用することができる。
【０１１０】
相関演算部４２は、得られた相関値を、判定評価部４３に供給する。判定評価部４３は、相関算出部４２から供給される相関値に基づいて、画像変換部３１Ｇが出力した第２の画像信号を評価し、その第２の画像信号の画質が高い、または低い旨の評価結果を得る。判定評価部４３は、第２の画像信号の画質が低い旨の評価結果を得た場合、その評価結果を、制御信号出力部４４に供給する。
【０１１１】
制御信号出力部４４は、判定評価部４３からの第２の画像信号の画質が低い旨の評価結果を受信すると、その評価結果に対応して、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する制御信号、即ち、図４で説明した、Ｒ受光部２３Ｒの画素の位置を基準とした、Ｇ受光部２３Ｇの画素のずれ量ＰｈGおよびＰｖG、並びにＢ受光部２３Ｂの画素のずれ量ＰｈBおよびＰｖBを、いままでと異なる値とする制御信号を、センサ部１に供給する。なお、現在のずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBをコンポーネントとする４次元のベクトルを、ベクトルＰ（＝ＰｈG，ＰｖG，ＰｈB，ＰｖB）と表すとともに、４次元の微小ベクトルを、ベクトル△Ｐと表すこととすると、制御信号出力部４４は、あるフレームの撮影時において、まだ設定していないベクトルＰ＋△Ｐを新たに設定し、そのベクトルＰ＋△Ｐのコンポーネントの値となるずれ量に、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する制御信号を出力する。ここで、微小ベクトルΔＰのコンポーネントは、例えば乱数とすることができる。
【０１１２】
この場合、センサ部１（図３）では、制御信号出力部４４から供給された制御信号にしたがい、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ、またはＢ受光部２３Ｂの配置位置が移動される。さらに、センサ部１では、その移動後のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ、およびＢ受光部２３Ｂにおいて、被写体光が受光され、その受光量に対応する画像信号が出力される。センサ部１が出力する画像信号は、信号調整部２およびA/D変換部３を介して、新たな第１の画像信号として、信号処理部１１に供給される。信号処理部１１（図５）の画像変換部３１は、その新たな第１の画像信号に対して、画像変換処理を施し、その結果得られる新たな第２の画像信号を、画像記憶部３２に供給して記憶させる。さらに、画像変換部３１Ｒは、新たな第２の画像信号を、評価部３３に供給する。
【０１１３】
評価部３３では、相関算出部４２が、画像変換部３１Ｒからの新たな第２の画像信号を受信し、その第２の画像信号と、前回、画像変換部３１Ｇから供給されて記憶部４１に記憶された第２の画像信号との間の相関値を演算して、判定評価部４３に供給する。
【０１１４】
以上の処理が繰り返されることにより、判定評価部４３では、各値のずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBにおいて撮像された第１の画像信号から得られた第２の画像信号についての相関値が取得される。
【０１１５】
ここで、図７は、各値のずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBと、そのずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBにおいて撮像された第１の画像信号から得られた第２の画像信号を用いて求められた相関値との関係を示している。
【０１１６】
相関値は、あるずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBで得られた第２の画像信号と、そのずれ量から、上述の微小ベクトル△Ｐに対応する微小な量だけずれたずれ量ＰｈG’，ＰｖG’，ＰｈB’，ＰｖB’で得られた第２の画像信号との相関を表す。
【０１１７】
従って、あるずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBにおける相関値が低いと言うことは、ずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBで得られた第２の画像信号が、エッジ等が鈍ってぼけた画質の低いものであるということになる。一方、あるずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBにおける相関値が高いということは、そのずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBで得られた第２の画像信号が、エッジ等が明確な画質の高いものであるということになる。
【０１１８】
そこで、図６の判定評価部４３は、相関算出部４２から供給される相関値が低い場合には、第２の画像信号の画質が低いと評価し、相関値が高い場合、即ち、例えば、図７に示すように、相関値の極大値（または最大値）が得られた場合には、第２の画像信号の画質が高いと評価する。そして、判定評価部４３は、第２の画像信号の画質が高い旨の評価結果が得られた場合、その評価結果が得られたときの相関値の演算に用いられた２つの第２の画像信号のうちのいずれか一方を選択する旨の選択情報を、画像記憶部３２（図５）に出力する。
【０１１９】
画像記憶部３２Ｒ，３２Ｇ，３２Ｂそれぞれでは、上述したように、そこに記憶された第２の画像信号の中から、選択情報にしたがった第２の画像信号、即ち、画質が高い旨の評価結果が得られた第２の画像信号が読み出され、出力部５に供給される。
【０１２０】
次に、図８のフローチャートを参照して、図２（図１）の撮像装置の動作について説明する。
【０１２１】
撮像装置では、まず最初に、ステップＳ１において、センサ部１が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して（被写体を撮像して）、信号調整部２に供給する。信号調整部２は、センサ部１から供給される画像信号に対して、CDS処理を施し、A/D変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、第１の画像信号として、信号処理部１１に供給して、ステップＳ１からＳ２に進む。
【０１２２】
ステップＳ２では、信号処理部１１（図５）の画像変換部３１が、A/D変換部３から供給された第１の画像信号に対して、画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を、画像記憶部３２に供給して記憶させる。さらに、ステップＳ２では、画像変換部３１Ｇが、画像変換処理の結果得られた第２の画像信号を、評価部３３に供給し、ステップＳ３に進む。
【０１２３】
ステップＳ３では、評価部３３は、画像変換部３１Ｇから供給される第２の画像信号を評価する評価処理を行い、ステップＳ４に進む。ステップＳ４では、評価部３３は、直前のステップＳ３における第２の画像信号の評価結果として、その第２の画像信号の画質が高い旨の評価結果が得られたかどうかを判定する。
【０１２４】
ステップＳ４において、第２の画像信号の画質が高い旨の評価結果が得られなかったと判定された場合、ステップＳ５に進み、評価部３３は、センサ部１に対して、ずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを指定する制御信号を供給することにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を移動させ、ステップＳ１に戻る。
【０１２５】
ステップＳ１では、直前のステップＳ５で移動された配置位置のセンサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂそれぞれにおいて、画像信号が取得され、以下、同様の処理が繰り返される。
【０１２６】
そして、ステップＳ４において、第２の画像信号の画質が高い旨の評価結果が得られたと判定された場合、評価部３３は、その評価結果が得られた第２の画像信号を選択する旨の選択情報を、画像記憶部３２に供給し、ステップＳ６に進む。
【０１２７】
ステップＳ６では、画像記憶部３２Ｒ，３２Ｇ，３２Ｂは、ステップＳ２においていままでに記憶した第２の画像信号の中から、評価部３３からの選択情報にしたがった第２の画像信号、即ち、画質が高い第２の画像信号を選択して読み出し、出力部５に出力して、１フレーム（または１フィールド）の画像についての処理を終了する。
【０１２８】
撮像装置では、図８のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
【０１２９】
次に、図９のフローチャートを参照して、図８のステップＳ３において図６の評価部３３が行う評価処理について説明する。
【０１３０】
評価処理では、まず最初に、ステップＳ１１において、記憶部４１が、直前のステップＳ２（図８）で画像変換部３１Ｇから供給される第２の画像信号を記憶するとともに、相関算出部４２が、その第２の画像信号を受信する。さらに、ステップＳ１１では、相関算出部４２が、画像変換部３１Ｇから供給された第２の画像信号と、記憶部４１が前回のステップＳ１１で記憶した第２の画像信号との相関値を演算し、判定評価部４３に供給して、ステップＳ１２に進む。
【０１３１】
ステップＳ１２では、判定評価部４３は、相関算出部４２から供給される相関値を、その相関値を求めるのに用いられた２つの第２の画像信号のうちのいずれか一方が撮像されたときのずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBと対応付けて、一時記憶し、ステップＳ１３に進む。ここで、判定評価部４３は、相関算出部４２から供給される相関値を求めるのに用いられた２つの第２の画像信号のうちのいずれか一方が撮像されたときのずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを、制御信号出力部４４から取得する。
【０１３２】
ステップＳ１３では、判定評価部４３は、いままでのステップＳ１２で記憶した相関値とずれ量との関係について、相関値の極大値が得られたかどうかを判定する。ステップＳ１３において、相関値の極大値が得られていないと判定された場合、ステップＳ１４に進み、判定評価部４３は、第２の画像信号が低画質である旨の評価を行い、図８のステップＳ４にリターンする。
【０１３３】
この場合、図８のステップＳ４では、判定評価部４３は、第２の画像信号の画質が高い旨の評価結果が得られなかったと判定し、その評価結果、即ち、第２の画像信号の画質が低い旨の評価結果を、制御信号出力部４４に供給して、ステップＳ５に進む。そして、ステップＳ５において、制御信号出力部４４は、判定評価部４３からの第２の画像信号の画質が低い旨の評価結果を受信し、その評価結果に対応して、センサ部１に対し、新たなずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを指定する制御信号を供給する。
【０１３４】
図９に戻り、ステップＳ１３において、相関値の極大値が得られたと判定された場合、ステップＳ１５に進み、判定評価部４３は、第２の画像信号が高画質である旨の評価を行い、図８のステップＳ４にリターンする。
【０１３５】
この場合、図８のステップＳ４では、判定評価部４３は、第２の画像信号の画質が高い旨の評価結果が得られたと判定し、その評価結果が得られた第２の画像信号、即ち、極大値の相関値を求めるときに用いられた２つの第２の画像信号のうちのいずれか一方を選択する旨の選択情報を、画像記憶部３２に供給し、ステップＳ６に進む。
【０１３６】
そして、ステップＳ６では、上述したように、画像記憶部３２Ｒ，３２Ｇ，３２Ｂは、ステップＳ２においていままでに記憶した第２の画像信号の中から、評価部３３からの選択情報にしたがった第２の画像信号、即ち、画質が高い第２の画像信号を選択して読み出す。
【０１３７】
以上のように、第２のディジタル画像信号を評価し、その評価に対応して、ずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを制御することにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御するようにしたので、ずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBに対応する位置に配置されたＲ受光部２３Ｒ，Ｇ受光部２３Ｇ、およびＢ受光部２３Ｂを有するセンサ部１において、画像変換部３１での画像変換処理にとって、適切な画像信号が出力され、その結果、画像変換部３１において、高画質の第２の画像信号を得ることができる。
【０１３８】
なお、上述の場合には、ステップＳ１３において、相関値の極大値が得られたと判定された場合に、第２の画像信号が高画質である旨の評価を行うこととしたが、その他、ステップＳ１３において、所定の閾値以上の相関値の極大値が得られたと判定された場合に、第２の画像信号が高画質である旨の評価を行うようにすること等も可能である。
【０１３９】
また、上述の場合には、第２の画像信号の評価を、相関値に基づいて行うようにしたが、第２の画像信号の評価は、その他、例えば、各値のずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBに対して得られる第２の画像信号のS/Nなどに基づいて行うこと等も可能である。さらに、第２の画像信号の評価は、外部から入力するようにしても良い。即ち、例えば、第２の画像信号を表示し、その表示画像を見たユーザから、第２の画像信号の評価を入力してもらうようにしても良い。
【０１４０】
さらに、ずれ量については、あらかじめ幾つかの値を用意しておき、その幾つかの値のずれ量すべてに対する相関値を求め、最も高い相関値が得られたときの２つの第２の画像信号の一方を、図８のステップＳ６において出力するようにすることが可能である。
【０１４１】
また、１フレーム（フィールド）の期間中に可能な回数だけ、図８のステップＳ１乃至Ｓ５のループ処理を行い、そのループ処理において得られた相関値のうちの最も高い相関違えられたときの２つの第２の画像信号のうちの一方を、ステップＳ６において出力するようにすることも可能である。
【０１４２】
次に、図１０は、図５の画像変換部３１の構成例を示すブロック図である。
【０１４３】
画像変換部３１は、そこに供給される第１の画像信号に対して、画像変換処理を施し、その画像変換処理によって得られる第２の画像信号を出力する。
【０１４４】
ここで、例えば、第１の画像信号を低解像度の画像信号とするとともに、第２の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像信号を低Ｓ／Ｎ(Siginal/Noise)の画像信号とするとともに、第２の画像信号を高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を所定のサイズの画像信号とするとともに、第２の画像信号を、第１の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【０１４５】
画像変換部３１においては、画像変換処理の対象である第１の画像信号が、予測タップ抽出部１２１および特徴抽出部１２２に供給される。
【０１４６】
予測タップ抽出部１２１は、第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出する。
【０１４７】
具体的には、予測タップ抽出部１２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的および時間的に最も近い位置にある第１の画像信号の画素）に対して、空間的または時間的に近い位置にある複数の画素を、第１の画像信号から、予測タップとして抽出する。そして、予測タップ抽出部１２１は、注目画素についての予測タップを、演算部１２５に供給する。
【０１４８】
特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給する。ここで、注目画素の特徴としては、例えば、注目画素に対応する第１の画像信号の画素に対して、空間的または時間的に近い位置にある複数の画素の画素値（第１の画像信号）のレベル分布などを採用することができる。
【０１４９】
クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給する。即ち、クラス分類部１２３は、注目画素の特徴がスカラー量で表される場合、そのスカラー量そのものや、そのスカラー量を量子化して得られる量子化値を、クラスコードとして出力する。また、注目画素の特徴が、複数のコンポーネントからなるベクトル量で表される場合、クラス分類部１２３は、そのベクトル量をベクトル量子化して得られる値や、ADRC(Adaptive Dynamic Range Coding)を行うことにより得られる値を、クラスコードとして出力する。
【０１５０】
ここで、KビットADRCにおいては、例えば、注目画素の特徴を表すベクトル量を構成するコンポーネントの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、注目画素の特徴を構成するコンポーネントがKビットに再量子化される。即ち、注目画素の特徴を構成する各コンポーネントから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、注目画素の特徴を構成するKビットの各コンポーネントを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、注目画素の特徴を表すベクトル量が、例えば、１ビットADRC処理された場合には、その注目画素の特徴を構成する各コンポーネントは、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各コンポーネントが１ビットとされる（２値化される）。そして、その１ビットのコンポーネントを所定の順番で並べたビット列が、ADRCコードとして出力される。クラス分類部１２３は、例えば、注目画素の特徴をADRC処理して得られるADRCコードを、クラスコードとして出力する。
【０１５１】
係数出力部１２４は、クラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１２３から供給されるクラスコードのクラスのタップ係数を、演算部１２５に出力する。
【０１５２】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１５３】
演算部１２５は、予測タップ抽出部１２１が出力する予測タップと、係数出力部１２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、演算部１２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【０１５４】
次に、図１１は、図１０の係数出力部１２４の第１の構成例を示している。
【０１５５】
図１１においては、係数出力部１２４は、係数メモリ１８１で構成されている。
【０１５６】
係数メモリ１８１は、後述する学習によりあらかじめ求められたクラスごとのタップ係数を記憶している。そして、係数メモリ１８１は、クラス分類部１２３からクラスコードが与えられると、そのクラスコードのクラスのタップ係数を読み出し、演算部１２５に供給する。
【０１５７】
次に、図１０の演算部１２５における予測演算と、その予測演算に用いられる、図１１の係数メモリ１８１に記憶されるタップ係数の学習について説明する。
【０１５８】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１５９】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１６０】
【数１】
2005051640.tif 000003
・・・（１）
【０１６１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１６２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１６３】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１６４】
【数２】
2005051640.tif 000004
・・・（２）
【０１６５】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１６６】
【数３】
2005051640.tif 000005
・・・（３）
【０１６７】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１６８】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１６９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１７０】
【数４】
2005051640.tif 000006
・・・（４）
【０１７１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１７２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（１４）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１７３】
【数５】
2005051640.tif 000007
・・・（５）
【０１７４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１７５】
【数６】
2005051640.tif 000008
・・・（６）
【０１７６】
式（５）と（６）から、次式が得られる。
【０１７７】
【数７】
2005051640.tif 000009
・・・（７）
【０１７８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１７９】
【数８】
2005051640.tif 000010
・・・（８）
【０１８０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１８１】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１８２】
次に、図１２は、式（８）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１８３】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０１８４】
学習装置において、学習用画像信号は、教師データ生成部１３１と生徒データ生成部１３３に供給される。
【０１８５】
教師データ生成部１３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部１３２に供給する。即ち、ここでは、教師データ生成部１３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部１３２に供給する。
【０１８６】
教師データ記憶部１３２は、教師データ生成部１３１から供給される教師データとしての高画質画像信号を記憶する。
【０１８７】
生徒データ生成部１３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部１３４に供給する。即ち、生徒データ生成部１３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部１３４に供給する。
【０１８８】
生徒データ記憶部１３４は、生徒データ生成部１３３から供給される生徒データを記憶する。
【０１８９】
予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図１０の予測タップ抽出部１２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。
【０１９０】
特徴抽出部１３６は、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素を用い、図１０の特徴抽出部１２２における場合と同様にして、注目教師画素の特徴を抽出し、クラス分類部１３７に供給する。
【０１９１】
クラス分類部１３７は、特徴抽出部１３６が出力する注目教師画素の特徴に基づき、図１０のクラス分類部１２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力する。
【０１９２】
足し込み部１３８には、クラス分類部１３７が出力する注目教師画素についてのクラスコードが供給される。そして、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに行う。
【０１９３】
即ち、足し込み部１３８には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘn,k、クラス分類部１３７が出力するクラスコードが供給される。
【０１９４】
そして、足し込み部１３８は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１９５】
さらに、足し込み部１３８は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１９６】
即ち、足し込み部１３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１９７】
そして、足し込み部１３８は、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１３９に供給する。
【０１９８】
タップ係数算出部１３９は、足し込み部１３８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１９９】
図１１の係数メモリ１８１には、図１２の学習装置で求められるクラスごとのタップ係数ｗmが記憶されている。
【０２００】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０２０１】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
【０２０２】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０２０３】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。その他、教師データおよび生徒データとする画像信号を所定のものとすることで、タップ係数としては、画素数の変換や、アスペクト比の変換、その他の任意の画像変換を行うものを得ることが可能である。
【０２０４】
次に、図１３のフローチャートを参照して、図１２の学習装置の処理（学習処理）について、説明する。
【０２０５】
まず最初に、ステップＳ５１において、教師データ生成部１３１と生徒データ生成部１３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部１３１は、学習用画像信号を、所定のカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、生徒データを生成して出力する。
【０２０６】
教師データ生成部１３１が出力する教師データは、教師データ記憶部１３２に供給されて記憶され、生徒データ生成部１３３が出力する生徒データは、生徒データ記憶部１３４に供給されて記憶される。
【０２０７】
その後、ステップＳ５２に進み、予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ５２では、予測タップ抽出部１３５が、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データから予測タップを構成し、足し込み部１３８に供給して、ステップＳ５３に進む。
【０２０８】
ステップＳ５３では、特徴抽出部１３６が、注目教師画素の特徴を、生徒データ記憶部１３４に記憶された生徒データを用いて抽出し、クラス分類部１３７に供給して、ステップＳ５４に進む。
【０２０９】
ステップＳ５４では、クラス分類部１３７は、特徴抽出部１３６からの注目教師画素についての注目画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力して、ステップＳ５５に進む。
【０２１０】
ステップＳ５５では、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１３７から供給されるクラスコードごとに行い、ステップＳ５６に進む。
【０２１１】
ステップＳ５６では、予測タップ抽出部１３５が、教師データ記憶部１３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５６において、注目教師画素としていない教師データが、まだ、教師データ記憶部１３２に記憶されていると判定された場合、予測タップ抽出部１３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ５２に戻り、以下、同様の処理が繰り返される。
【０２１２】
また、ステップＳ５６において、注目教師画素としていない教師データが、教師データ記憶部１３２に記憶されていないと判定された場合、足し込み部１３８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１３９に供給し、ステップＳ５７に進む。
【０２１３】
ステップＳ５７では、タップ係数算出部１３９は、足し込み部１３８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０２１４】
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０２１５】
図１１の係数メモリ１８１には、以上のようにして得られたクラスごとのタップ係数が記憶されている。
【０２１６】
但し、図５の画像変換部３１Ｒの係数メモリ１８１には、教師データとして、画像信号のＲ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。また、図５の画像変換部３１Ｇの係数メモリ１８１には、教師データとして、画像信号のＧ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。同様に、図５の画像変換部３１Ｂの係数メモリ１８１には、教師データとして、画像信号のＢ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。
【０２１７】
次に、図１４のフローチャートを参照して、図１０の画像変換部３１による画像変換処理について説明する。なお、図１４で説明する画像変換処理は、図８のステップＳ２で行われる処理である。
【０２１８】
ステップＳ６１において、予測タップ抽出部１２１は、第２の画像信号を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素とし、さらに、その注目画素の画素値（第２の画像信号）を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出して、ステップＳ６２に進む。
【０２１９】
ステップＳ６２では、特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給して、ステップＳ６３に進む。ステップＳ６３では、クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給して、ステップＳ６４に進む。ステップＳ６４では、係数出力部１２４は、クラス分類部１２３から供給されるクラスコードのクラスのタップ係数を読み出し、演算部１２５に出力して、ステップＳ６５に進む。
【０２２０】
ステップＳ６５では、演算部１２５は、予測タップ抽出部１２１から供給される予測タップと、係数出力部１２４が出力した、注目画素のクラスのタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求める。
【０２２１】
なお、画像変換部３１では、以上のステップＳ６１乃至Ｓ６５の処理が、１画面の第２の画像信号の画素すべてを、注目画素として行われ、その後リターンする。
【０２２２】
次に、図１５は、本発明を適用した撮像装置の他の一実施の形態の構成例を示している。なお、図中、図１または図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の撮像装置は、操作部１８５が新たに設けられている他は、基本的に、図１または図２における場合と同様に構成されている。
【０２２３】
操作部１８５は、例えば、ユーザによって操作される操作つまみなどであり、その操作に対応したパラメータを、信号処理部４に出力する。
【０２２４】
なお、図１５において、信号処理部４は、図２に示したように、信号処理部１１Ｒ，１１Ｇ，１１Ｂで構成されている。
【０２２５】
図１６は、図１５の信号処理部４を構成する信号処理部１１Ｒ，１１Ｇ，１１Ｂの構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６において、信号処理部１１Ｒ，１１Ｇ，１１Ｂは、図５における場合と同様に構成されている。但し、画像変換部３１（３１Ｒ，３１Ｇ，３１Ｂ）に対して、操作部１８５が出力するパラメータが供給されるようになっており、画像変換部３１は、そのパラメータに対応した画像変換処理を行う。
【０２２６】
図１７は、図１６の画像変換部３１の構成例を示している。なお、図中、図１０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の画像変換部３１は、図１０における場合と同様に構成されている。但し、係数出力部１２４に対して、操作部１８５が出力するパラメータが供給されるようになっている。
【０２２７】
図１８は、図１７の係数出力部１２４の構成例（係数出力部１２４の第２の構成例）を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してある。
【０２２８】
図１１では、係数出力部１２４に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、図１８では、係数出力部１２４において、タップ係数の、いわば種となる係数種データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成するようになっている。
【０２２９】
係数メモリ１８１は、係数生成部１８２から供給されるクラスごとのタップ係数を記憶する。そして、係数メモリ１８１は、クラス分類部１２３からクラスコードが供給されると、そのクラスコードが表すクラスのタップ係数を、記憶しているクラスごとのタップ係数の中から読み出し、演算部１２５に出力する。
【０２３０】
係数生成部１８２は、係数種メモリ１８３に記憶されている係数種データと、パラメータメモリ１８４に記憶されたパラメータとに基づいて、クラスごとのタップ係数を生成し、係数メモリ１８１に供給して上書きする形で記憶させる。
【０２３１】
係数種メモリ１８３は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０２３２】
パラメータメモリ１８４は、ユーザが操作部１８５を操作した場合に、その操作に応じて、操作部１８５が出力するパラメータを上書きする形で記憶する。
【０２３３】
図１８の係数出力部１２４においては、ユーザによる操作部１８５の操作に応じて、係数メモリ１８１に記憶（セット）されるクラスごとのタップ係数、即ち、演算部１２５で用いられるクラスごとのタップ係数が更新される。
【０２３４】
そこで、図１９のフローチャートを参照して、図１８の係数出力部１２４で行われるクラスごとのタップ係数を更新する処理（タップ係数更新処理）について説明する。
【０２３５】
まず最初に、ステップＳ１７１において、パラメータメモリ１８４は、操作部１８５からパラメータが供給されたかどうかを判定し、供給されたと判定した場合、ステップＳ１７２に進み、パラメータメモリ１８４は、その供給されたパラメータを上書きする形で記憶し、ステップＳ１７３に進む。
【０２３６】
また、ステップＳ１７１において、操作部１８５からパラメータが供給されていないと判定された場合、ステップＳ１７２をスキップして、ステップＳ１７３に進む。
【０２３７】
従って、パラメータメモリ１８４では、ユーザにより操作部１８５が操作され、これにより、操作部１８５から、そのユーザによる操作に対応したパラメータが供給された場合、その供給されたパラメータによって、記憶内容が更新される。
【０２３８】
ステップＳ１７３では、係数生成部１８２が、係数種メモリ１８３からクラスごとの係数種データを読み出すとともに、パラメータメモリ１８４からパラメータを読み出すことにより、係数種データとパラメータを取得し、その係数種データとパラメータに基づいて、クラスごとのタップ係数を求める。そして、ステップＳ１７４に進み、係数生成部１８２は、そのクラスごとのタップ係数を、係数メモリ１８１に供給し、上書きする形で記憶させる。そして、ステップＳ１７４からＳ１７１に戻り、以下、同様の処理が繰り返される。
【０２３９】
図１７の画像変換部３１では、以上のようにして、パラメータを用いて更新されるタップ係数を用いて、式（１）により、第１の画像信号を第２の画像信号に変換する画像変換処理、即ち、パラメータに対応した画像変換処理が行われる。
【０２４０】
なお、図１９において、ステップＳ１７３およびＳ１７４の処理は、パラメータメモリ１８４に、新たなパラメータ上書きされた場合に行い、他の場合はスキップすることが可能である。
【０２４１】
次に、係数生成部１８２におけるタップ係数の生成と、係数種メモリ１８３に記憶させる係数種データの学習について説明する。
【０２４２】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０２４３】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２４４】
一方、係数生成部１８２では、タップ係数ｗnが、係数種メモリ１８３に記憶された係数種データと、パラメータメモリ１８４に記憶されたパラメータとから生成されるが、この係数生成部１８２におけるタップ係数ｗnの生成が、係数種データとパラメータを用いた、例えば次式によって行われることとする。
【０２４５】
【数９】
2005051640.tif 000011
・・・（９）
【０２４６】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβn,1，βn,2，・・・，βn,Mを用いて求められるようになっている。
【０２４７】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０２４８】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０２４９】
【数１０】
2005051640.tif 000012
・・・（１０）
【０２５０】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０２５１】
【数１１】
2005051640.tif 000013
・・・（１１）
【０２５２】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０２５３】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０２５４】
【数１２】
2005051640.tif 000014
・・・（１２）
【０２５５】
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０２５６】
【数１３】
2005051640.tif 000015
・・・（１３）
【０２５７】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０２５８】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０２５９】
【数１４】
2005051640.tif 000016
・・・（１４）
【０２６０】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０２６１】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２６２】
【数１５】
2005051640.tif 000017
・・・（１５）
【０２６３】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２６４】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２６５】
【数１６】
2005051640.tif 000018
・・・（１６）
【０２６６】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０２６７】
【数１７】
2005051640.tif 000019
・・・（１７）
【０２６８】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０２６９】
【数１８】
2005051640.tif 000020
・・・（１８）
【０２７０】
【数１９】
2005051640.tif 000021
・・・（１９）
【０２７１】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０２７２】
【数２０】
2005051640.tif 000022
・・・（２０）
【０２７３】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２７４】
図１７の係数種メモリ１８３においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２０）を解く学習を行うことにより求められた係数種データβm,nが記憶されており、係数生成部１８２では、その係数種データβm,nと、パラメータメモリ１８４に記憶されたパラメータｚから、式（９）にしたがって、タップ係数ｗnが生成される。そして、演算部１２５において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像信号の画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０２７５】
次に、図２０は、式（２０）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２７６】
学習装置には、係数種データβm,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０２７７】
学習装置において、学習用画像信号は、教師データ生成部１３１と生徒データ生成部１３３に供給される。
【０２７８】
教師データ生成部１３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部１３２に供給する。即ち、ここでは、教師データ生成部１３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部１３２に供給する。
【０２７９】
教師データ記憶部１３２は、教師データ生成部１３１から供給される教師データとしての高画質画像信号を記憶する。
【０２８０】
生徒データ生成部１３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部１３４に供給する。即ち、生徒データ生成部１３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部１３４に供給する。
【０２８１】
ここで、生徒データ生成部１３３には、学習用画像信号の他、図１８のパラメータメモリ１８４に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部１９１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部１３３には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１９１から供給されるようになっている。
【０２８２】
生徒データ生成部１３３は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。
【０２８３】
従って、この場合、生徒データ生成部１３３では、図２１に示すように、学習用画像信号としての高画質画像信号について、Ｚ＋１種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。
【０２８４】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータｚに対応する低画質画像信号ほど、解像度が高い。
【０２８５】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部１３３において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータｚに対応する分だけ低下させた低画質画像信号を生成するものとする。
【０２８６】
図２０に戻り、生徒データ記憶部１３４は、生徒データ生成部１３３から供給される生徒データを記憶する。
【０２８７】
予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図１７の予測タップ抽出部１２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部１９２に供給する。
【０２８８】
特徴抽出部１３６は、注目教師画素の特徴を、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を用い、図１７の特徴抽出部１２２における場合と同様に抽出し、クラス分類部１３７に供給する。
【０２８９】
なお、予測タップ抽出部１３５と特徴抽出部１３６には、パラメータ生成部１９１が生成するパラメータｚが供給されるようになっており、予測タップ抽出部１３５と特徴抽出部１３６は、パラメータ生成部１９１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像信号）を用いて、予測タップを構成し、あるいは、注目教師画素の特徴を抽出する。
【０２９０】
クラス分類部１３７は、特徴抽出部１３６が出力する注目教師画素の特徴に基づき、図１７のクラス分類部１２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９２に出力する。
【０２９１】
足し込み部１９２は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに行う。
【０２９２】
即ち、足し込み部１９２には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘi,k（ｘj,k）、およびクラス分類部１３７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部１９１から供給されるようになっている。
【０２９３】
そして、足し込み部１９２は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０２９４】
さらに、足し込み部１９２は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０２９５】
即ち、足し込み部１９２は、前回、注目教師画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目教師画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２９６】
そして、足し込み部１９２は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部１９３に供給する。
【０２９７】
係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２９８】
パラメータ生成部１９１は、図１８のパラメータメモリ１８４に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１３３に供給する。また、パラメータ生成部１９１は、生成したパラメータｚを、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２にも供給する。
【０２９９】
次に、図２２のフローチャートを参照して、図２０の学習装置の処理（学習処理）について、説明する。
【０３００】
まず最初に、ステップＳ１８１において、教師データ生成部１３１と生徒データ生成部１３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部１３１には、パラメータ生成部１９１が生成するＺ＋１個の値のパラメータｚが供給され、生徒データ生成部１３１は、学習用画像信号を、パラメータ生成部１９１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０３０１】
教師データ生成部１３１が出力する教師データは、教師データ記憶部１３２に供給されて記憶され、生徒データ生成部１３３が出力する生徒データは、生徒データ記憶部１３４に供給されて記憶される。
【０３０２】
その後、ステップＳ１８２に進み、パラメータ生成部１９１は、パラメータｚを、初期値としての、例えば０にセットし、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２に供給して、ステップＳ１８３に進む。ステップＳ１８３では、予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ１８３では、予測タップ抽出部１３５が、注目教師画素について、生徒データ記憶部１３４に記憶された、パラメータ生成部１９１が出力するパラメータｚに対する生徒データ（注目教師画素となっている教師データに対応する学習用画像信号を、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを構成し、足し込み部１９２に供給して、ステップＳ１８４に進む。
【０３０３】
ステップＳ１８４では、特徴抽出部１３６が、やはり、注目教師画素について、生徒データ記憶部１３４に記憶された、パラメータ生成部１９１が出力するパラメータｚに対する生徒データを用いて、注目教師画素の特徴を抽出し、クラス分類部１３７に供給して、ステップＳ１８５に進む。
【０３０４】
ステップＳ１８５では、クラス分類部１３７は、特徴抽出部１３６からの注目教師画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９２に出力して、ステップＳ１８６に進む。
【０３０５】
ステップＳ１８６では、足し込み部１９２は、教師データ記憶部１３２から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部１３５から供給される予測タップ、パラメータ生成部１９１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部１９２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１３７からのクラスコードに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ１８７に進む。
【０３０６】
ステップＳ１８７では、パラメータ生成部１９１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ１８７において、パラメータ生成部１９１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ１８８に進み、パラメータ生成部１９１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２に出力する。そして、ステップＳ１８３に戻り、以下、同様の処理が繰り返される。
【０３０７】
また、ステップＳ１８７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ１８９に進み、予測タップ抽出部１３５が、教師データ記憶部１３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１８９において、注目教師画素としていない教師データが、まだ、教師データ記憶部１３２に記憶されていると判定された場合、予測タップ抽出部１３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ１８２に戻り、以下、同様の処理が繰り返される。
【０３０８】
また、ステップＳ１８９において、注目教師画素としていない教師データが、教師データ記憶部１３２に記憶されていないと判定された場合、足し込み部１９２は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部１９３に供給し、ステップＳ１９０に進む。
【０３０９】
ステップＳ１９０では、係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０３１０】
なお、学習用画像信号の数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１９３は、例えば、デフォルトの係数種データを出力するようになっている。
【０３１１】
ところで、図２０の学習装置では、図２１に示したように、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号に、パラメータｚに対応して解像度を劣化させた低画質画像信号を生徒データとして、式（１１）によって係数種データβm,nとパラメータｚに対応する変数ｔmとで表されるタップ係数ｗn、並びに生徒データｘnから、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、図２３に示すようにして行うことが可能である。
【０３１２】
即ち、図２３の実施の形態では、図２１の実施の形態における場合と同様に、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号を、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像信号を生徒データとして、まず最初に、タップ係数ｗn、並びに生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図２３の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０３１３】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図１２の学習装置における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０３１４】
ところで、ここでは、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから、タップ係数が求められるが、いま、この式（１１）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０３１５】
【数２１】
2005051640.tif 000023
・・・（２１）
【０３１６】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０３１７】
【数２２】
2005051640.tif 000024
・・・（２２）
【０３１８】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０３１９】
【数２３】
2005051640.tif 000025
・・・（２３）
【０３２０】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０３２１】
【数２４】
2005051640.tif 000026
・・・（２４）
【０３２２】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０３２３】
【数２５】
2005051640.tif 000027
・・・（２５）
【０３２４】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０３２５】
【数２６】
2005051640.tif 000028
・・・（２６）
【０３２６】
【数２７】
2005051640.tif 000029
・・・（２７）
【０３２７】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０３２８】
【数２８】
2005051640.tif 000030
・・・（２８）
【０３２９】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０３３０】
次に、図２４は、式（２８）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図１２または図２０における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３３１】
足し込み部１３８には、クラス分類部１３７が出力する注目教師画素についてのクラスコードと、パラメータ生成部１９１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに行う。
【０３３２】
即ち、足し込み部１３８には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘn,k、クラス分類部１３７が出力するクラスコード、およびパラメータ生成部１９１が出力する、予測タップｘn,kを構成するのに用いられた生徒データを生成したときのパラメータｚが供給される。
【０３３３】
そして、足し込み部１３８は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０３３４】
さらに、足し込み部１３８は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０３３５】
即ち、足し込み部１３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０３３６】
そして、足し込み部１３８は、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１３９に供給する。
【０３３７】
タップ係数算出部１３９は、足し込み部１３８から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部２０１に供給する。
【０３３８】
足し込み部２０１は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０３３９】
即ち、足し込み部２０１は、パラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３４０】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０３４１】
さらに、足し込み部２０１は、パラメータｚから式（１０）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３４２】
足し込み部２０１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部２０２に供給する。
【０３４３】
係数種算出部２０２は、足し込み部２０１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０３４４】
図１８の係数種メモリ１８３には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０３４５】
ここで、図１８の係数出力部１２４においては、例えば、係数種メモリ１８３を設けずに、図２４のタップ係数算出部１３９が出力するパラメータｚの各値ごとの最適なタップ係数ｗnをメモリに記憶させておき、パラメータメモリ１８４に記憶されたパラメータｚに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ１８１にセットするようにすることも可能である。但し、この場合、パラメータｚが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ１８３を設け、係数種データを記憶させておく場合には、係数種メモリ１８３の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種メモリ１８３として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータｚの値とから、式（９）によりタップ係数ｗnが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗnを得ることができる。そして、その結果、演算部１２５が第２の画像信号として出力する高画質画像信号の画質を、無段階に滑らかに調整することが可能となる。
【０３４６】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０３４７】
この場合、画像変換部３１では、パラメータｚに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータｚは、解像度に対応するパラメータであるということができる。
【０３４８】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０３４９】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータｚに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０３５０】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を、パラメータｚに対応して間引いた画像信号を生徒データとして、または、パラメータｚに対応するサイズの画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
【０３５１】
係数種メモリ１８３に、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておく場合、画像変換部３１では、パラメータｚに対応して、画像信号のノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０３５２】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０３５３】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、学習装置（図２０、図２４）において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０３５４】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０３５５】
また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０３５６】
さらに、学習装置（図２０、図２４）において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０３５７】
なお、図１５の画像変換部３１Ｒの係数種メモリ１８３（図１８）には、教師データとして、画像信号のＲ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。また、図１５の画像変換部３１Ｇの係数種メモリ１８３（図１８）には、教師データとして、画像信号のＧ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。同様に、図１５の画像変換部３１Ｂの係数種メモリ１８３（図１８）には、教師データとして、画像信号のＢ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られる係数種データが記憶される。
【０３５８】
次に、図２５は、図１５の信号処理部４を構成する信号処理部１１Ｒ，１１Ｇ，１１Ｂの他の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２５の信号処理部１１Ｒ，１１Ｇ，１１Ｂは、画像記憶部３２Ｒ，３２Ｇ，３２Ｂが設けられておらず、信号処理部１１Ｇにおいて、評価部３３に代えて、制御部２１１が設けられている他は、図１６における場合と同様に構成されている。
【０３５９】
図２５において、制御部２１１には、画像変換部３１Ｇが出力する第２の画像信号ではなく、操作部１８５が出力するパラメータが供給されるようになっている。そして、制御部２１１は、操作部１８５が出力するパラメータを取得し、そのパラメータに応じて、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する。
【０３６０】
即ち、図２６は、図２５の制御部２１１の構成例を示している。
【０３６１】
制御信号出力部２２１は、操作部１８５から供給されるパラメータを取得し、パラメータテーブル記憶部２２２に記憶されたパラメータテーブルにおいて、操作部１８５から取得したパラメータと対応付けられているずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを認識する。さらに、制御信号出力部２２１は、上述した制御信号出力部４４と同様に、パラメータテーブルを用いて認識したずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを、センサ部１に指定する制御信号を、センサ部１に供給し、これにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を制御する。
【０３６２】
パラメータテーブル記憶部２２２は、操作部１８５を操作することによって入力されるパラメータと、そのパラメータに対応した画像変換処理にとって適切な画像信号が得られるときのセンサ部１のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置を表すずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBとを対応付けたパラメータテーブルを記憶している。このパラメータテーブルは、後述するパラメータテーブルの学習によって、あらかじめ求められたものである。
【０３６３】
従って、制御信号出力部２２１では、パラメータテーブルにおいて、操作部１８５から取得したパラメータと対応付けられているずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを指定する制御信号をセンサ部１に供給することにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置が制御されるので、センサ部１からは、操作部１８５から取得したパラメータに対応した画像変換処理にとって、適切な画像信号が出力されることになる。そして、そのような画像信号に対して、操作部１８５から取得したパラメータに対応した画像変換処理を施すことにより、より高画質の画像信号を得ることができる。
【０３６４】
次に、図２７のフローチャートを参照して、図１５の信号処理部４を構成する信号処理部１１が図２５に示したように構成される場合の、図１５の撮像装置の動作について説明する。
【０３６５】
まず最初に、ステップＳ１９１において、制御部２１１（図２６）の制御信号出力部２２１は、操作部１８５が出力するパラメータを取得し、ステップＳ１９２に進む。ステップＳ１９２では、制御部２１１は、パラメータテーブル記憶部２２２に記憶されたパラメータテーブルにおいて、操作部１８５から取得したパラメータと対応付けられているずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを認識し、そのずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBを指定する制御信号をセンサ部１に供給して、ステップＳ１９３に進む。これにより、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置が制御される。
【０３６６】
ステップＳ１９３では、センサ部１が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して（被写体を撮像して）、信号調整部２に供給する。信号調整部２は、センサ部１から供給される画像信号に対して、CDS処理を施し、A/D変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、第１の画像信号として、信号処理部１１に供給して、ステップＳ１９３からＳ１９４に進む。
【０３６７】
即ち、いまの場合、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置は、パラメータテーブルにおいて、操作部１８５が出力するパラメータと対応付けられているずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBに対応する位置となっている。従って、ステップＳ１９３では、センサ部１において、操作部１８５が出力するパラメータに対応した画像変換処理にとって、適切な画像信号が出力され、その画像信号が、第１の画像信号として、信号処理部１１に供給される。
【０３６８】
ステップＳ１９４では、信号処理部１１（図２５）の画像変換部３１（図１７）が、A/D変換部３から供給された第１の画像信号に対して、操作部１８５が出力するパラメータに対応した画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を得て、ステップＳ１９５に進む。
【０３６９】
ここで、画像変換部３１に供給される第１の画像信号は、上述したように、操作部１８５が出力するパラメータに対応した画像変換処理にとって、適切な画像信号であり、従って、ステップＳ１９４において、その第１の画像信号に対して、操作部１８５から取得したパラメータに対応した画像変換処理を施すことにより、より高画質の画像信号を得ることができる。
【０３７０】
ステップＳ１９５では、画像変換部３１が、画像変換処理によって得られた第２の画像信号を、出力部５に出力して、１フレーム（または１フィールド）の画像についての処理を終了する。
【０３７１】
撮像装置では、図２７のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
【０３７２】
次に、図２８は、図２６のパラメータテーブル記憶部２２２に記憶させるパラメータテーブルの学習を行う学習装置の一実施の形態の構成例を示している。
【０３７３】
センサ部２３１、信号調整部２３２，A/D変換部２３３は、図１５のセンサ部１、信号調整部２，A/D変換部３とそれぞれ同様に構成される。但し、図１５の撮像装置においては、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置が、信号処理部４（を構成する信号処理部１１Ｇ（図２５）の制御部２１１が出力する制御信号によって制御されるようになっていたが、図２８の学習装置では、コントローラ２３７が出力する制御信号によって、センサ部２３１の、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂそれぞれに対応する受光部の配置位置（以下、適宜、センサ部２３１における配置位置という）が制御されるようになっている。
【０３７４】
画像変換部２３４は、図１７に示した画像変換部３１（３１Ｇ）と同様に構成されている。但し、図１７の画像変換部３１では、操作部１８５が出力するパラメータに対応した画像変換処理が行われるが、図２８の画像変換部２３４では、A/D変換部２３３が出力する第１の画像信号に対して、コントローラ２３７が出力するパラメータに対応した画像変換処理が施されるようになっている。
【０３７５】
位置決定部２３５は、コントローラ２３７が出力するパラメータと、ずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖB（以下、適宜、単に、ずれ量Ｐと記載する）を指定する制御信号を取得する。さらに、位置決定部２３５は、センサ部２３１において、コントローラ２３７が出力する制御信号に対応する配置状態（制御信号によって指定されるずれ量Ｐが表す配置状態）で撮像された第１の画像信号に対して、コントローラ２３７が出力するパラメータに対応した画像変換処理が施されることにより得られる第２の画像信号（以下、適宜、制御信号とパラメータに対応する第２の画像信号ともいう）を、画像変換処理部２３４から取得する。そして、位置決定部２３５は、画像変換部２３４から供給される第２の画像信号を評価し、その評価結果に対応して、コントローラ２３７が出力するパラメータと、制御信号が表すずれ量Ｐとを対応付けて、位置記憶部２３６に供給する。
【０３７６】
位置記憶部２３６は、位置決定部２３５から供給される、対応付けられたパラメータとずれ量Ｐ、即ち、パラメータとずれ量Ｐとのセットを記憶する。ここで、位置記憶部２３６では、コントローラ２３７が出力するパラメータｚの複数の値それぞれについて、パラメータと、そのパラメータに対応付けられたずれ量とのセットが記憶されるが、この複数のパラメータとずれ量とのセットの一覧が、パラメータテーブルである。
【０３７７】
コントローラ２３７は、図２０のパラメータ生成部１９１と同様に、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成する。さらに、コントローラ２３７は、生成したパラメータの１つの値に対して、ずれ量Ｐが取り得る範囲の幾つかの値（ｐ1，ｐ2，・・・，ｐN）（Ｎは２以上の値）を生成する。そして、コントローラ２３７は、生成したパラメータの値を、順次、注目パラメータ値とし、注目パラメータ値ｚと、その注目パラメータ値に対して生成した複数の値それぞれずれ量Ｐとを、位置決定部２３５に供給する。さらに、コントローラ２３７は、位置決定部２３５に供給したずれ量Ｐを指定する制御信号を、センサ部２３１に供給する。
【０３７８】
図２９は、図２８の位置決定部２３５の構成例を示している。
【０３７９】
位置決定部２３５は、記憶部２４１、相関算出部２４２、および判定評価部２４３で構成される。記憶部２４１、相関算出部２４２、判定評価部２４３は、図６の記憶部４１、相関算出部４２、判定評価部４３とそれぞれ同様に構成される。
【０３８０】
但し、判定評価部２４３には、コントローラ２３７（図２８）が出力するパラメータ（注目パラメータ値）とずれ量とが供給されるようになっている。そして、判定評価部２４３は、図６の判定評価部４３と同様に、相関算出部２４２から供給される相関値に基づいて、画像変換部２３４（図２８）が出力した第２の画像信号を評価し、その第２の画像信号の画質が高い、または低い旨の評価結果を得る。さらに、判定評価部２４３は、その評価結果に対応して、コントローラ２３７から供給されたパラメータとずれ量とを対応付け、その対応付けたパラメータとずれ量のセットを、位置記憶部２３６（図２８）に供給する。
【０３８１】
次に、図３０のフローチャートを参照して、図２８の学習装置によるパラメータテーブルの学習の処理（学習処理）について説明する。
【０３８２】
まず最初に、ステップＳ２０１において、コントローラ２３７は、パラメータｚが取り得る範囲の幾つかの値のうちのある値を、注目パラメータ値ｚとし、画像変換部２３４と、位置決定部２３５（図２９）の判定評価部２４３とに供給する。さらに、ステップＳ２０１では、画像変換部２３４と判定評価部２４３とが、コントローラ２３７から供給される注目パラメータ値ｚを取得し、ステップＳ２０２に進む。
【０３８３】
ステップＳ２０２では、センサ部２３１が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して（被写体を撮像して）、信号調整部２３２に供給する。信号調整部２３２は、センサ部２３１から供給される画像信号に対して、CDS処理を施し、A/D変換部２３３に供給する。A/D変換部２３３は、信号調整部２３２から供給される画像信号をA/D変換し、第１の画像信号として、画像変換部２３４に供給して、ステップＳ２０２からＳ２０３に進む。
【０３８４】
ステップＳ２０３では、画像変換部２３４が、A/D変換部２３２から供給された第１の画像信号に対して、コントローラ２３７から取得した注目パラメータ値ｚに対応した画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を、位置決定部２３５に供給して、ステップＳ２０４に進む。
【０３８５】
ステップＳ２０４では、位置決定部２３５は、画像変換部２３４から供給される第２の画像信号を評価する評価処理を行い、ステップＳ２０５に進む。なお、ステップＳ２０４の評価処理の詳細については、図３１を参照して後述する。
【０３８６】
ステップＳ２０５では、位置決定部２３５（図２９）の判定評価部２４３は、直前のステップＳ２０４における第２の画像信号の評価結果として、その第２の画像信号の画質が高い旨の評価結果が得られたかどうかを判定する。
【０３８７】
ステップＳ２０５において、第２の画像信号の画質が高い旨の評価結果が得られなかったと判定された場合、ステップＳ２０６に進み、コントローラ２３７は、センサ部２３１に対して、ずれ量Ｐを指定する制御信号を供給することにより、センサ部２３１における配置位置を変更する（移動させる）。なお、コントローラ２３７は、制御信号によって推定するずれ量Ｐを、例えば、図６の制御信号出力部４４と同様にして設定する。さらに、ステップＳ２０５では、コントローラ２３７は、センサ部２３１に供給したずれ量Ｐを、位置決定部２３５（の評価判定部２４３）にも供給し、ステップＳ２０２に戻る。
【０３８８】
ステップＳ２０２では、直前のステップＳ２０６で配置位置が変更されたセンサ部２３１において、画像信号が取得され、以下、ステップＳ２０２乃至Ｓ２０６の処理が繰り返される。
【０３８９】
ステップＳ２０２乃至Ｓ２０６の処理が繰り返されることにより、画像変換部２３４では、複数の配置位置でのセンサ部２３１それぞれにおいて取得された第１の画像信号に対して、注目パラメータ値ｚに対応した画像変換処理が施され、複数の配置位置、即ち、複数のずれ量それぞれに対して、注目パラメータ値ｚに対応した画像変換処理の結果としての第２の画像信号が得られる。さらに、注目パラメータ値ｚについて得られた複数のずれ量に対する第２の画像信号それぞれが、ステップＳ２０４において評価される。なお、ステップＳ２０１の処理後、最初に、ステップＳ２０２の処理が行われる場合、センサ部２３１は、所定のデフォルトの配置位置において画像信号を取得する。
【０３９０】
その後、ステップＳ２０５において、第２の画像信号の画質が高い旨の評価結果が得られたと判定された場合、ステップＳ２０７に進み、位置決定部２３５の判定評価部２４３は、注目パラメータ値ｚと、その評価結果が得られたときにコントローラ２３７から供給されたずれ量Ｐ、即ち、画質が高い旨の評価結果が得られた第２の画像信号に対応する第１の画像信号を取得したときのセンサ部２３１における配置状態を表すずれ量Ｐとを対応付け、位置記憶部２３６に供給して記憶させる。これにより、位置記憶部２３６においては、注目パラメータ値ｚに対応した画像変換処理にとって適切な第１の画像信号を取得することのできるずれ量（以下、適宜、最適ずれ量という）Ｐが、注目パラメータ値ｚに対応付けて記憶される。
【０３９１】
そして、ステップＳ２０７からＳ２０８に進み、コントローラ２３７は、パラメータｚが取り得る範囲の幾つかの値すべてを注目パラメータ値ｚとして、最適ずれ量Ｐが求められたかどうかを判定する。ステップＳ２０８において、パラメータｚが取り得る範囲の幾つかの値すべてに対して、まだ、最適ずれ量Ｐが求められていないと判定された場合、ステップＳ２０１に戻り、コントローラ２３７は、パラメータｚが取り得る範囲の幾つかの値のうち、まだ注目パラメータ値としていないものを、新たな注目パラメータ値として、以下、同様の処理を繰り返す。
【０３９２】
また、ステップＳ２０８において、パラメータｚが取り得る範囲の幾つかの値すべてに対して、最適ずれ量Ｐが求められたと判定された場合、即ち、位置記憶部２３６に、パラメータｚが取り得る範囲の幾つかの値それぞれと、最適ずれ量Ｐとのセットであるパラメータテーブルが記憶された場合、処理を終了する。
【０３９３】
以上のように、パラメータｚの複数の値それぞれについて、複数のずれ量Ｐそれぞれに対応する配置位置のセンサ部２３１で得られた第１の画像信号それぞれに対して、パラメータｚに対応した画像変換処理を施し、その画像変換処理によって得られる第２の画像信号を評価し、画質の高い第２の画像信号が得られるときのずれ量である最適ずれ量Ｐを求めるようにしたので、パラメータｚと、そのパラメータｚに対応した画像変換処理にとって適切な第１の画像信号が得られるときの最適ずれ量Ｐとの対応関係としてのパラメータテーブルを求めることができる。そして、図２５乃至図２７で説明したように、パラメータテーブルに基づき、センサ部１の配置位置を、操作部１８５が出力するパラメータｚに対応付けられたずれ量が表す位置として、第１の画像信号を撮像することにより、パラメータｚに対応した画像変換処理にとって適切な画像信号を得ることができ、さらに、そのパラメータｚに対応した画像変換処理によって、より高画質の第２の画像信号を得ることができる。
【０３９４】
なお、図３０の学習処理では、パラメータｚが取り得る範囲の幾つかの値についてパラメータテーブルを求めるため、図２６のパラメータテーブル記憶部２２２に記憶されたパラメータテーブルには、操作部１８５が出力するパラメータと同一の値が記憶されていない場合がある。この場合、制御信号出力部２２１は、パラメータテーブル記憶部２２２に記憶されたパラメータテーブルに記憶されているパラメータとずれ量との関係を、例えば線形補間することなどによって、操作部１８５が出力するパラメータに対応するずれ量を求めるようになっている。
【０３９５】
次に、図３１のフローチャートを参照して、図３０のステップＳ２０４において図２９の位置決定部２３５が行う評価処理について説明する。
【０３９６】
評価処理では、まず最初に、ステップＳ２１１において、記憶部２４１が、直前のステップＳ２０３（図３０）で画像変換部２３４から供給される第２の画像信号を記憶するとともに、相関算出部２４２が、その第２の画像信号を受信する。さらに、ステップＳ２１１では、相関算出部２４２が、画像変換部２３４から供給された第２の画像信号と、記憶部２４１が前回のステップＳ２１１で記憶した第２の画像信号との相関値を演算し、判定評価部２４３に供給して、ステップＳ２１２に進む。
【０３９７】
ステップＳ２１２では、判定評価部２４３は、相関算出部２４２から供給される相関値を、その相関値を求めるのに用いられた２つの第２の画像信号のうちのいずれか一方が撮像されたときのずれ量Ｐと対応付けて、一時記憶し、ステップＳ２１３に進む。ここで、相関算出部２４２から供給される相関値を求めるのに用いられた２つの第２の画像信号のうちのいずれか一方が撮像されたときのずれ量Ｐは、コントローラ２３７（図２８）から判定評価部２４３に供給される。
【０３９８】
ステップＳ２１３では、判定評価部２４３は、いままでのステップＳ２１２で記憶した相関値とずれ量との関係について、相関値の極大値が得られたかどうかを判定する。ステップＳ２１３において、相関値の極大値が得られていないと判定された場合、ステップＳ２１４に進み、判定評価部２４３は、第２の画像信号が低画質である旨の評価を行い、図３０のステップＳ２０５にリターンする。
【０３９９】
この場合、図３０のステップＳ２０５では、判定評価部２４３は、第２の画像信号の画質が高い旨の評価結果が得られなかったと判定し、ステップＳ２０６に進む。そして、ステップＳ２０６において、コントローラ２３７は、センサ部２３１に対し、いままでと異なるずれ量Ｐを指定する制御信号を供給するとともに、そのずれ量Ｐを、判定評価部２４３に供給する。
【０４００】
図３１に戻り、ステップＳ２１３において、相関値の極大値が得られたと判定された場合、ステップＳ２１５に進み、判定評価部２４３は、第２の画像信号が高画質である旨の評価を行い、図３０のステップＳ２０５にリターンする。
【０４０１】
この場合、図３０のステップＳ２０５では、判定評価部２４３は、第２の画像信号の画質が高い旨の評価結果が得られたと判定し、ステップＳ２０７に進む。そして、ステップＳ２０７では、上述したように、判定評価部２４３は、注目パラメータ値ｚと、その評価結果が得られたときにコントローラ２３７から供給されたずれ量Ｐ、即ち、画質が高い旨の評価結果が得られた第２の画像信号に対応する第１の画像信号を取得したときのセンサ部１における配置状態を表すずれ量（最適ずれ量）Ｐとを対応付け、位置記憶部２３６に供給して記憶させる。
【０４０２】
なお、上述の場合には、ステップＳ２１３において、相関値の極大値が得られたと判定された場合に、第２の画像信号が高画質である旨の評価を行うこととしたが、その他、ステップＳ２１３において、所定の閾値以上の相関値の極大値が得られたと判定された場合に、第２の画像信号が高画質である旨の評価を行うようにすること等も可能である。
【０４０３】
また、上述の場合には、第２の画像信号の評価を、相関値に基づいて行うようにしたが、第２の画像信号の評価は、その他、例えば、各値のずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBに対して得られる第２の画像信号のS/Nなどに基づいて行うこと等も可能である。さらに、第２の画像信号の評価は、外部から入力するようにしても良い。即ち、例えば、第２の画像信号を表示し、その表示画像を見たユーザから、第２の画像信号の評価を入力してもらうようにしても良い。
【０４０４】
次に、上述した信号処理部４や、画質変換部２３４、位置決定部２３５、コントローラ２３７などの一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータや、汎用のコンピュータ等にインストールされる。
【０４０５】
そこで、図３２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０４０６】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０４０７】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０４０８】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０４０９】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０４１０】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０４１１】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４１２】
なお、画像変換部３１および２３４では、上述した画像変換処理の他、例えば、第１の画像信号に対して、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、線形補間処理その他の処理を施した第２の画像信号を得る画像変換処理を行うことが可能である。
【０４１３】
また、本実施の形態では、センサ部１および２３１として、いわゆる３板式の撮像手段を用いることとしたが、センサ部１および２３１としては、単板式や、２板または４板以上の撮像手段を採用することも可能である。
【０４１４】
さらに、本実施の形態では、第２の画像信号の評価を、そのＧ信号（成分）を用いて行うようにしたが、第２の画像信号の評価は、そのＲ信号やＢ信号、あるいは、Ｒ，Ｇ，Ｂ信号のうちの２以上を用いて行うことも可能である。
【図面の簡単な説明】
【０４１５】
【図１】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図２】信号処理部４および出力部５の構成例を示すブロック図である。
【図３】センサ部１の構成例を示すブロック図である。
【図４】Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置の制御を説明する図である。
【図５】信号処理部１１の構成例を示すブロック図である。
【図６】評価部３３の第１の構成例を示すブロック図である。
【図７】ずれ量と相関値との関係を示す図である。
【図８】撮像装置の動作を説明するフローチャートである。
【図９】評価部３３による評価処理を説明するフローチャートである。
【図１０】画像変換部３１の構成例を示すブロック図である。
【図１１】係数出力部１２４の第１の構成例を示すブロック図である。
【図１２】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図１３】タップ係数を学習する学習処理を説明するフローチャートである。
【図１４】画像変換部３１の処理を説明するフローチャートである。
【図１５】本発明を適用した撮像装置の他の一実施の形態の構成例を示すブロック図である。
【図１６】信号処理部１１の構成例を示すブロック図である。
【図１７】画像変換部３１の構成例を示すブロック図である。
【図１８】係数出力部１２４の第２の構成例を示すブロック図である。
【図１９】タップ係数更新処理を説明するフローチャートである。
【図２０】係数種データを学習する学習装置の第１の構成例を示すブロック図である。
【図２１】係数種データを学習する学習方法を説明する図である。
【図２２】係数種データを学習する学習処理を説明するフローチャートである。
【図２３】係数種データを学習する学習方法を説明する図である。
【図２４】係数種データを学習する学習装置の第２の構成例を示すブロック図である。
【図２５】信号処理部１１の構成例を示すブロック図である。
【図２６】制御部２１１の構成例を示すブロック図である。
【図２７】撮像装置の動作を説明するフローチャートである。
【図２８】パラメータテーブルを学習する学習装置の一実施の形態の構成例を示すブロック図である。
【図２９】位置決定部２３５の構成例を示すブロック図である。
【図３０】パラメータテーブルを学習する学習処理を説明するフローチャートである。
【図３１】位置決定部２３５による評価処理を説明するフローチャートである。
【図３２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０４１６】
１  センサ部，  ２  信号調整部，  ３  A/D変換部，  ４  信号処理部，  ５  出力部，  １１Ｒ，１１Ｇ，１１Ｂ  信号処理部，  １２Ｒ，１２Ｇ，１２Ｂ  出力部，  ２１  レンズ，  ２２  プリズム，  ２３Ｒ  Ｒ受光部，  ２３Ｇ  Ｇ受光部，  ２３Ｂ  Ｂ受光部，  ２４Ｒ  Ｒ制御部，  ２４Ｇ  Ｇ制御部，  ２４Ｂ  Ｂ制御部，  ３１Ｒ，３１Ｂ，３１Ｇ  画像変換部，  ３２Ｒ，３２Ｇ，３２Ｂ  画像記憶部，  ３３  評価部，  ４１  記憶部，  ４２  相関算出部，  ４３  判定評価部，  ４４  制御信号出力部，  ５１  比較部，  ５２  増幅率決定部，  １２１  予測タップ抽出部，  １２２  特徴抽出部，  １２３  クラス分類部，  １２４  係数出力部，  １２５  演算部，  １８１  係数メモリ，  １８２  係数生成部，  １８３  係数種メモリ，  １８４  パラメータメモリ，  １８５  操作部，  ２１１  制御部，  ２２１  制御信号出力部，  ２２２  パラメータテーブル記憶部，  ２３１  センサ部，  ２３２  信号調整部，  ２３３  A/D変換部，  ２３４  画像変換部，  ２３５  位置決定部，  ２３６  位置記憶部，  ２３７  コントローラ，  ２４１  記憶部，  ２４２  相関演算部，  ２４３  判定評価部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2005051640.tif 000031
【図２】
2005051640.tif 000032
【図３】
2005051640.tif 000033
【図４】
2005051640.tif 000034
【図５】
2005051640.tif 000035
【図６】
2005051640.tif 000036
【図７】
2005051640.tif 000037
【図８】
2005051640.tif 000038
【図９】
2005051640.tif 000039
【図１０】
2005051640.tif 000040
【図１１】
2005051640.tif 000041
【図１２】
2005051640.tif 000042
【図１３】
2005051640.tif 000043
【図１４】
2005051640.tif 000044
【図１５】
2005051640.tif 000045
【図１６】
2005051640.tif 000046
【図１７】
2005051640.tif 000047
【図１８】
2005051640.tif 000048
【図１９】
2005051640.tif 000049
【図２０】
2005051640.tif 000050
【図２１】
2005051640.tif 000051
【図２２】
2005051640.tif 000052
【図２３】
2005051640.tif 000053
【図２４】
2005051640.tif 000054
【図２５】
2005051640.tif 000055
【図２６】
2005051640.tif 000056
【図２７】
2005051640.tif 000057
【図２８】
2005051640.tif 000058
【図２９】
2005051640.tif 000059
【図３０】
2005051640.tif 000060
【図３１】
2005051640.tif 000061
【図３２】
2005051640.tif 000062