(57)【要約】【課題】  信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得る。【解決手段】  信号処理部４は、３つのCMOSセンサなどを有する３板式のセンサ手段としてのセンサ部１の出力から得られる第１の画像信号に対して、信号処理を施し、高画質の第２の画像信号を出力する。センサ部１が有する３つのCMOSセンサは、あらかじめ行われた学習によって求められた、信号処理部４の信号処理にとって適切な配置位置に配置されている。本発明は、例えば、ビデオカメラやスチルカメラなどに適用できる。【選択図】図１
2005051641.tif 000002
【特許請求の範囲】
【請求項１】
情報を感知し、その情報に対応する信号を出力するセンサ手段と、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理手段と
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とする信号処理装置。
【請求項２】
前記センサ手段は、あらかじめ行われた学習によって、前記信号処理に対応した特性に設定されている
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する前記信号を取得する取得ステップと、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理ステップと
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とする信号処理方法。
【請求項４】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する前記信号を取得する取得ステップと、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理ステップと
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とするコンピュータが読み取り可能なプログラム。
【請求項５】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する前記信号を取得する取得ステップと、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理ステップと
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【請求項６】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段と
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とする信号処理装置。
【請求項７】
前記信号処理手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
前記注目画素のクラスに応じた係数を出力する係数出力手段と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段を有する
ことを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記第１および第２のセンサは、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項６に記載の信号処理装置。
【請求項１０】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する前記画像信号を取得する取得ステップと、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とする信号処理方法。
【請求項１１】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する前記画像信号を取得する取得ステップと、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とするコンピュータが読み取り可能なプログラム。
【請求項１２】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する前記画像信号を取得する取得ステップと、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【請求項１３】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理手段と、
前記センサ手段の特性を制御する制御手段と、
前記制御手段において制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価手段と、
前記評価手段における評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定手段と
を備えることを特徴とする信号処理装置。
【請求項１４】
前記センサ手段をさらに備える
ことを特徴とする請求項１３に記載の信号処理装置。
【請求項１５】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、
前記センサ手段の特性を制御する制御ステップと、
前記制御ステップにおいて制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップと
を備えることを特徴とする信号処理方法。
【請求項１６】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、
前記センサ手段の特性を制御する制御ステップと、
前記制御ステップにおいて制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項１７】
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、
前記センサ手段の特性を制御する制御ステップと、
前記制御ステップにおいて制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【請求項１８】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段と、
前記第１および第２のセンサの配置状態を制御する制御手段と、
前記制御手段において前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価手段と、
前記評価手段における評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定手段と
を備えることを特徴とする信号処理装置。
【請求項１９】
前記評価手段は、前記第１および第２のセンサの配置状態ごとに、前記第２のディジタル画像信号と、評価用の画像信号との相関を、前記第２のディジタル画像信号の評価値として求める
ことを特徴とする請求項１８に記載の信号処理装置。
【請求項２０】
前記信号処理手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
前記注目画素のクラスに応じた係数を出力する係数出力手段と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１８に記載の信号処理装置。
【請求項２１】
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段を有する
ことを特徴とする請求項２０に記載の信号処理装置。
【請求項２２】
前記第１および第２のセンサは、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１８に記載の信号処理装置。
【請求項２３】
前記センサ手段をさらに備える
ことを特徴とする請求項１８に記載の信号処理装置。
【請求項２４】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、
前記第１および第２のセンサの配置状態を制御する制御ステップと、
前記制御ステップにおいて前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップと
を備えることを特徴とする信号処理方法。
【請求項２５】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、
前記第１および第２のセンサの配置状態を制御する制御ステップと、
前記制御ステップにおいて前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム。
【請求項２６】
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、
前記第１および第２のセンサの配置状態を制御する制御ステップと、
前記制御ステップにおいて前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価ステップと、
前記評価ステップにおける評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップと
を備えることを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および信号処理方法、プログラム、並びに記録媒体に関し、特に、例えば、画像信号の信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにする信号処理装置および信号処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
例えば、ディジタル（スチル／ビデオ）カメラなどの撮像装置では、被写体光（被写体からの光）を感知し、光電変換を行うことで、その被写体光に対応する電気信号である画像信号を出力するセンサとしての、例えば、CCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャ（CMOSセンサ）などを有するセンサ手段（あるいは撮像手段）において、被写体光が受光され、その受光量に応じた画像信号が出力される。
【０００３】
センサ手段としては、例えば、単板式や３板式と呼ばれるものがある。単板式では、Ｒ(Red)，Ｇ(Gree)，Ｂ(Blue)の光を透過する色フィルタが、例えば、いわゆるベイヤー配列と呼ばれるパターンに配置された光学フィルタを用い、センサの画素に、Ｒ，Ｇ，Ｂの光のうちのいずれかが入射される。従って、センサの各画素では、Ｒ，Ｇ，Ｂの光のうちのいずれかが受光され、１画素につき、Ｒ，Ｇ，Ｂのうちのいずれかの信号成分を有する画像信号が出力される。このように、単板式では、センサから得られる画像を構成する各画素が、Ｒ，Ｇ，Ｂのうちのいずれかの信号成分のみ有するため、後段の回路において、各画素が有していない信号成分の補間が行われる。即ち、例えば、Ｒ信号（成分）のみ有している画素に注目すると、その注目画素については、その画素に近いＧ信号のみ有する画素と、Ｂ信号のみ有する画素などによって、注目画素のＧ信号とＢ信号が予測される（例えば、特許文献１参照）。
【０００４】
一方、３板式では、例えば、センサ手段が、Ｒ，Ｇ，Ｂそれぞれ用の３つのセンサで構成され、Ｒ用のセンサでＲの光が，Ｇ用のセンサでＧの光が，Ｂ用のセンサでＢの光が、それぞれ受光され、１画素につき、Ｒ信号、Ｇ信号、およびＢ信号の３成分を有する画像信号が出力される。
【０００５】
ここで、３板式の撮像装置では、ある光線に注目すると、その注目光線が、プリズムによって、Ｒ，Ｇ，Ｂそれぞれの光に分光され、Ｒの光はＲ用のセンサで、Ｇの光はＧ用のセンサで、Ｂの光はＢ用のセンサで、それぞれ受光される。従って、Ｒ，Ｇ，Ｂそれぞれ用のセンサは、注目光線のＲ，Ｇ，Ｂそれぞれの光が、Ｒ，Ｇ，Ｂそれぞれ用のセンサの同一位置の画素で受光されるように、光学的に等価な（同一の）位置に配置される。
【０００６】
なお、垂直方向の解像度が向上した画像信号を得るため、Ｇ用のセンサを、Ｒ用のセンサおよびＢ用のセンサに対して、１／２画素分だけずれた位置に配置した撮像装置も提案されている（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開2002-135797号公報。
【０００８】
【特許文献２】特開平08-256345号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、センサ手段の後段では、多くの場合、センサ手段が出力する画像信号の画質を改善するための信号処理が行われる。
【００１０】
即ち、センサ手段が有するセンサとしてのCCDやCMOSセンサなどは、そこに入射する光（被写体光）を、画素に対応する範囲で、ある露光時間の間に受光し、その受光量に対応する画像信号を出力する。従って、センサは、時間的および空間的に連続な光を、画素に対応する範囲で、露光時間の間だけ、いわばサンプリングし、そのサンプリング結果を、画像信号（画素値）として出力しているということができる。
【００１１】
このように、センサ手段が出力する画像信号は、時間的および空間的に連続な光のサンプリング結果であるから、元の光に含まれる情報の一部が欠落したものとなっている。このため、センサ手段が出力する画像信号は、元の光に対応する画像の画質よりも劣化したものとなる。
【００１２】
センサ手段の後段では、センサ手段が出力する、上述のように元の光よりも画質の劣化した画像信号を高画質化するための信号処理が行われる。
【００１３】
ところで、従来においては、センサ手段は、その後段で行われる信号処理に無関係に製造される。従って、センサ手段は、その後段で行われる信号処理とは無関係の（信号処理が考慮されていない）特性を有する。
【００１４】
このように、センサ手段は、その後段でどのような信号処理が行われるかに無関係な特性を有し、その特性の下で得られる画像信号を出力する。従って、センサ手段の後段で行われる信号処理において改善される画質には、ある程度の限界がある。
【００１５】
一方、センサ手段の特性が、その後段で行われる信号処理に対応した特性となっていれば、センサ手段において、その後段で行われる信号処理にとって適切な画像信号が出力され、これにより、その信号処理によって、より画質の改善した画像信号を得ることができる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の信号処理装置は、情報を感知し、その情報に対応する信号を出力するセンサ手段と、センサ手段が出力する信号に対して、信号処理を施す信号処理手段を備え、センサ手段は、信号処理に対応した特性に設定されていることを特徴とする。
【００１８】
本発明の第１の信号処理方法は、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号を取得する取得ステップと、センサ手段が出力する信号に対して、信号処理を施す信号処理ステップとを備え、センサ手段は、信号処理に対応した特性に設定されていることを特徴とする。
【００１９】
本発明の第１のプログラムは、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号を取得する取得ステップと、センサ手段が出力する信号に対して、信号処理を施す信号処理ステップとを備え、センサ手段は、信号処理に対応した特性に設定されていることを特徴とする。
【００２０】
本発明の第１の記録媒体は、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号を取得する取得ステップと、センサ手段が出力する信号に対して、信号処理を施す信号処理ステップとを備え、センサ手段は、信号処理に対応した特性に設定されていることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２１】
本発明の第２の信号処理装置は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段と、センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段とを備え、第１および第２のセンサは、あらかじめ行われた学習によって、信号処理に対応した配置状態にされていることを特徴とする。
【００２２】
本発明の第２の信号処理方法は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する画像信号を取得する取得ステップと、センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップとを備え、第１および第２のセンサは、あらかじめ行われた学習によって、信号処理に対応した配置状態にされていることを特徴とする。
【００２３】
本発明の第２のプログラムは、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する画像信号を取得する取得ステップと、センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップとを備え、第１および第２のセンサは、あらかじめ行われた学習によって、信号処理に対応した配置状態にされていることを特徴とする。
【００２４】
本発明の第２の記録媒体は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する画像信号を取得する取得ステップと、センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップとを備え、第１および第２のセンサは、あらかじめ行われた学習によって、信号処理に対応した配置状態にされていることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２５】
本発明の第３の信号処理装置は、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理手段と、センサ手段の特性を制御する制御手段と、制御手段において制御された特性のセンサ手段の出力に対する信号処理の結果を評価する評価手段と、評価手段における評価結果に応じて、センサ手段の、信号処理に対応した特性を決定し、その特性の情報を出力する決定手段とを備えることを特徴とする。
【００２６】
本発明の第３の信号処理方法は、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、センサ手段の特性を制御する制御ステップと、制御ステップにおいて制御された特性のセンサ手段の出力に対する信号処理の結果を評価する評価ステップと、評価ステップにおける評価結果に応じて、センサ手段の、信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップとを備えることを特徴とする。
【００２７】
本発明の第３のプログラムは、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、センサ手段の特性を制御する制御ステップと、制御ステップにおいて制御された特性のセンサ手段の出力に対する信号処理の結果を評価する評価ステップと、評価ステップにおける評価結果に応じて、センサ手段の、信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップとを備えることを特徴とする。
【００２８】
本発明の第３の記録媒体は、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップと、センサ手段の特性を制御する制御ステップと、制御ステップにおいて制御された特性のセンサ手段の出力に対する信号処理の結果を評価する評価ステップと、評価ステップにおける評価結果に応じて、センサ手段の、信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップとを備えることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００２９】
本発明の第４の信号処理装置は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段と、第１および第２のセンサの配置状態を制御する制御手段と、制御手段において第１および第２のセンサの配置状態が制御されたセンサ手段の出力に対する信号処理によって得られる第２のディジタル画像信号を評価する評価手段と、評価手段における評価結果に応じて、信号処理に対応した第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定手段とを備えることを特徴とする。
【００３０】
本発明の第４の信号処理方法は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、第１および第２のセンサの配置状態を制御する制御ステップと、制御ステップにおいて第１および第２のセンサの配置状態が制御されたセンサ手段の出力に対する信号処理によって得られる第２のディジタル画像信号を評価する評価ステップと、評価ステップにおける評価結果に応じて、信号処理に対応した第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップとを備えることを特徴とする。
【００３１】
本発明の第４のプログラムは、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、第１および第２のセンサの配置状態を制御する制御ステップと、制御ステップにおいて第１および第２のセンサの配置状態が制御されたセンサ手段の出力に対する信号処理によって得られる第２のディジタル画像信号を評価する評価ステップと、評価ステップにおける評価結果に応じて、信号処理に対応した第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップとを備えることを特徴とする。
【００３２】
本発明の第４の記録媒体は、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップと、第１および第２のセンサの配置状態を制御する制御ステップと、制御ステップにおいて第１および第２のセンサの配置状態が制御されたセンサ手段の出力に対する信号処理によって得られる第２のディジタル画像信号を評価する評価ステップと、評価ステップにおける評価結果に応じて、信号処理に対応した第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップとを備えることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００３３】
本発明の第１の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理が施される。この場合において、センサ手段は、信号処理に対応した特性に設定されている。
【００３４】
本発明の第２の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理が施され、第２のディジタル画像信号が出力される。この場合において、第１および第２のセンサは、あらかじめ行われた学習によって、信号処理に対応した配置状態にされている。
【００３５】
本発明の第３の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理が施される一方、センサ手段の特性が制御され、その制御された特性のセンサ手段の出力に対する信号処理の結果が評価される。そして、その評価結果に応じて、センサ手段の、信号処理に対応した特性が決定され、その特性の情報が出力される。
【００３６】
本発明の第４の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、光を感知し、光に対応する画像信号の第１の成分を出力する第１のセンサと、画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理が施され、第２のディジタル画像信号が出力される一方、第１および第２のセンサの配置状態が制御され、その配置状態が制御されたセンサ手段の出力に対する信号処理によって得られる第２のディジタル画像信号が評価される。そして、その評価結果に応じて、信号処理に対応した第１または第２のセンサの配置状態が決定され、その配置状態の情報が出力される。
【発明の効果】
【００３７】
本発明によれば、信号処理にとって適切な信号を得ることができ、さらに、その信号を信号処理することにより、例えば、高画質の画像信号などを得ることができる。
【発明を実施するための最良の形態】
【００３８】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４０】
請求項１に記載の信号処理装置は、
情報を感知し、その情報に対応する信号を出力するセンサ手段（例えば、図１のセンサ部１）と、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理手段（例えば、図１の信号処理部４）と
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とする。
【００４１】
請求項３に記載の信号処理方法は、
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号を取得する取得ステップ（例えば、図５のステップＳ１の処理）と、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理ステップ（例えば、図５のステップＳ２の処理）と
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とする。
【００４２】
請求項４に記載のプログラムおよび請求項５に記載の記録媒体に記録されているプログラムは、
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する前記信号を取得する取得ステップ（例えば、図５のステップＳ１の処理）と、
前記センサ手段が出力する信号に対して、信号処理を施す信号処理ステップ（例えば、図５のステップＳ２の処理）と
を備え、
前記センサ手段は、前記信号処理に対応した特性に設定されている
ことを特徴とする。
【００４３】
請求項６に記載の信号処理装置は、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段（例えば、図１のセンサ部１）と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段（例えば、図１の信号処理部４）と
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とする。
【００４４】
請求項７に記載の信号処理装置は、
前記信号処理手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図６の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、図６のクラス分類部１２３）と、
前記注目画素のクラスに応じた係数を出力する係数出力手段（例えば、図６の係数出力部１２４）と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図６の演算部１２５）と
を有する
ことを特徴とする。
【００４５】
請求項８に記載の信号処理装置は、
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段（例えば、図７の係数メモリ１８１）を有する
ことを特徴とする。
【００４６】
請求項１０に記載の信号処理方法は、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する前記画像信号を取得する取得ステップ（例えば、図５のステップＳ１の処理）と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップ（例えば、図５のステップＳ２の処理）と
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とする。
【００４７】
請求項１１に記載にプログラムおよび請求項１２に記載の記録媒体に記録されているプログラムは、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段が出力する前記画像信号を取得する取得ステップ（例えば、図５のステップＳ１の処理）と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップ（例えば、図５のステップＳ２の処理）と
を備え、
前記第１および第２のセンサは、あらかじめ行われた学習によって、前記信号処理に対応した配置状態にされている
ことを特徴とする。
【００４８】
請求項１３に記載の信号処理装置は、
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理手段（例えば、図１１の信号処理部２３４）と、
前記センサ手段の特性を制御する制御手段（例えば、図１１のコントローラ２４０）と、
前記制御手段において制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価手段（例えば、図１１の評価部２３５）と、
前記評価手段における評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定手段（例えば、図１１の位置決定部２３６）と
を備えることを特徴とする。
【００４９】
請求項１４に記載の信号処理装置は、
前記センサ手段（例えば、図１１のセンサ部２３１）をさらに備える
ことを特徴とする。
【００５０】
請求項１５に記載の信号処理装置は、
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップ（例えば、図１６のステップＳ２０３の処理）と、
前記センサ手段の特性を制御する制御ステップ（例えば、図１６のステップＳ２０１の処理）と、
前記制御ステップにおいて制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価ステップ（例えば、図１６のステップＳ２０４）と、
前記評価ステップにおける評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップ（例えば、図１６のステップＳ２０８）と
を備えることを特徴とする。
【００５１】
請求項１６に記載のプログラムおよび請求項１７に記載の記録媒体に記録されているプログラムは、
情報を感知し、その情報に対応する信号を出力するセンサ手段が出力する信号に対して、信号処理を施す信号処理ステップ（例えば、図１６のステップＳ２０３の処理）と、
前記センサ手段の特性を制御する制御ステップ（例えば、図１６のステップＳ２０１の処理）と、
前記制御ステップにおいて制御された特性の前記センサ手段の出力に対する前記信号処理の結果を評価する評価ステップ（例えば、図１６のステップＳ２０４の処理）と、
前記評価ステップにおける評価結果に応じて、前記センサ手段の、前記信号処理に対応した特性を決定し、その特性の情報を出力する決定ステップ（例えば、図１６のステップＳ２０８の処理）と
を備えることを特徴とする。
【００５２】
請求項１８に記載の信号処理装置は、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理手段（例えば、図１１の信号処理部２３４）と、
前記第１および第２のセンサの配置状態を制御する制御手段（例えば、図１１のコントローラ２４０）と、
前記制御手段において前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価手段（例えば、図１１の評価部２３５）と、
前記評価手段における評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定手段（例えば、図１１の位置決定部２３６）と
を備えることを特徴とする。
【００５３】
請求項２０に記載の信号処理装置は、
前記信号処理手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図６の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、図６のクラス分類部１２３）と、
前記注目画素のクラスに応じた係数を出力する係数出力手段（例えば、図６の係数出力部１２４）と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図６の演算部１２５）と
を有する
ことを特徴とする。
【００５４】
請求項２１に記載の信号処理装置は、
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段（例えば、図７の係数メモリ１８１）を有する
ことを特徴とする。
【００５５】
請求項２３に記載の信号処理装置は、
前記センサ手段（例えば、図１１のセンサ部２３１）をさらに備える
ことを特徴とする。
【００５６】
請求項２４に記載の信号処理方法は、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップ（例えば、図１６のステップＳ２０３の処理）と、
前記第１および第２のセンサの配置状態を制御する制御ステップ（例えば、図１６のステップＳ２０１の処理）と、
前記制御ステップにおいて前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価ステップ（例えば、図１６のステップＳ２０４の処理）と、
前記評価ステップにおける評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップ（例えば、図１６のステップＳ２０８の処理）と
を備えることを特徴とする。
【００５７】
請求項２５に記載のプログラムおよび請求項２６に記載の記録媒体に記録されているプログラムは、
光を感知し、前記光に対応する画像信号の第１の成分を出力する第１のセンサと、前記画像信号の第２の成分を出力する第２のセンサとを、少なくとも有するセンサ手段の出力から得られる第１のディジタル画像信号に対して信号処理を施し、第２のディジタル画像信号を出力する信号処理ステップ（例えば、図１６のステップＳ２０３の処理）と、
前記第１および第２のセンサの配置状態を制御する制御ステップ（例えば、図１６のステップＳ２０１のそり）と、
前記制御ステップにおいて前記第１および第２のセンサの配置状態が制御された前記センサ手段の出力に対する前記信号処理によって得られる前記第２のディジタル画像信号を評価する評価ステップ（例えば、図１６のステップＳ２０４の処理）と、
前記評価ステップにおける評価結果に応じて、前記信号処理に対応した前記第１または第２のセンサの配置状態を決定し、その配置状態の情報を出力する決定ステップ（例えば、図１６のステップＳ２０８の処理）と
を備えることを特徴とする。
【００５８】
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示している。
【００５９】
なお、図１の撮像装置は、例えば、ディジタルスチルカメラやディジタルビデオカメラなどに適用することができる。ここでは、図１の撮像装置が、例えば、ディジタルビデオカメラであるものとする。
【００６０】
センサ部１は、画素に対応する複数の光電変換素子を有し、そこに入射する被写体光を感知し、その被写体光に対応する画像信号を出力する。即ち、センサ部１は、被写体光を受光し、その受光量に対応した電気信号としての画像信号を、信号調整部２に供給する。
【００６１】
信号調整部２は、センサ部１から出力される画像信号に含まれる、いわゆるリセットノイズを除去するためのCDS(Correlated  Double  Sampling)処理を行い、その処理の結果得られる画像信号を、A/D(Analog/Digital)変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、即ち、画像信号をサンプリングして量子化し、その結果得られるディジタル画像信号を、信号処理部４に供給する。
【００６２】
信号処理部４は、A/D変換部３からのディジタル画像信号（以下、適宜、単に、画像信号ともいう）を、第１の画像信号として、その第１の画像信号に対して、所定の画像変換処理を施し、その結果得られるディジタル画像信号を、第２の画像信号として、出力部５に出力する。
【００６３】
出力部５は、信号処理部４が出力する第２の画像信号を受信して出力する。即ち、出力部５は、信号処理部４からの第２の画像信号を、図示せぬ外部端子から出力し、あるいは、図示せぬモニタに表示させる。また、出力部５は、第２の画像信号を、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、半導体メモリなどの図示せぬ記録媒体に記録し、あるいは、電話回線、インターネット、LANその他の有線または無線の伝送媒体を介して送信する。
【００６４】
以上のように構成される撮像装置では、センサ部１において、被写体光が受光され、その受光量に対応した電気信号としての画像信号が、信号調整部２およびA/D変換部３を介して、信号処理部４に供給される。信号処理部４は、センサ部１から信号調整部２およびA/D変換部３を介して供給される画像信号を、第１の画像信号として、その第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理などの信号処理を施し、その結果得られる、画質が改善された第２の画像信号を、出力部５に出力する。出力部５では、信号処理部４から供給される第２の画像信号が出力される。
【００６５】
ここで、センサ部１は、信号処理部４で行われる信号処理に対応した特性、即ち、信号処理部４で行われる信号処理にとって、センサ部１から適切な画像信号が出力される特性に設定されている。
【００６６】
即ち、センサ部１は、例えば、３板式のセンサ手段であり、画像信号のＲ，Ｇ，Ｂそれぞれの成分を取得する３つのセンサ（後述する図３のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂ）から構成される。従って、センサ部１は、１画素につき、Ｒ信号，Ｇ信号，Ｂ信号の３成分を有する画像信号を出力する。そして、後述する学習によって、信号処理部４で行われる信号処理にとって、センサ部１が適切な画像信号を出力するときのセンサ部１の特性の情報が、あらかじめ求められており、センサ部１は、そのような特性に設定されている。具体的には、センサ部１の特性としての、例えば、センサ部１が有する３つのセンサの１以上の配置状態が、信号処理部４で行われる信号処理にとって、センサ部１が適切な画像信号を出力する状態、即ち、信号処理部４で行われる信号処理に対応した配置状態に設定されている。ここで、センサの配置状態には、センサの配置位置と、センサの姿勢（回転状態）とが含まれる。但し、本実施の形態では、説明を簡単にするため、センサ部１の特性として、センサ部１が有するセンサの配置位置を採用することとする。なお、センサの姿勢も、センサ部１の特性として採用することが可能である。
【００６７】
以上のように、センサ部１は、信号処理部４の信号処理に対応した特性に設定されているので、センサ部１からは、信号処理部４の信号処理にとって適切な画像信号が出力される。従って、信号処理部４において、その画像信号を信号処理することにより、高画質の画像信号を得ることができる。
【００６８】
図２は、図１の信号処理部４および出力部５の構成例を示している。
【００６９】
信号処理部４は、３つの信号処理部１１Ｒ，１１Ｇ，１１Ｂで構成されている。
【００７０】
信号処理部１１Ｒは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に信号処理を施すことにより、第２の画像信号のＲ信号（成分）を得て、出力部５に供給する。
【００７１】
信号処理部１１Ｇは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に信号処理を施すことにより、第２の画像信号のＧ信号（成分）を得て、出力部５に供給する。
【００７２】
信号処理部１１Ｂは、A/D変換部３から供給されるＲ，Ｇ，Ｂ信号を有する第１の画像信号を受信し、その第１の画像信号に信号処理を施すことにより、第２の画像信号のＢ信号（成分）を得て、出力部５に供給する。
【００７３】
出力部５は、出力部１２Ｒ，１２Ｇ，１２Ｂで構成されている。出力部１２Ｒ，１２Ｇ，１２Ｂは、信号処理部１１Ｒ，１１Ｇ，１１Ｂが出力する第２の画像信号のＲ信号、Ｇ信号、Ｂ信号をそれぞれ受信して出力する。
【００７４】
なお、以下、適宜、信号処理部１１Ｒ，１１Ｇ、または１１Ｂを、信号処理部１１とも記載する。
【００７５】
次に、図３は、図２（図１）のセンサ部１の構成例を示している。
【００７６】
被写体光は、レンズ２１に入射し、レンズ２１は、その被写体光を、プリズム２２を介して、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂ上に、それぞれ集光させる。
【００７７】
即ち、レンズ２１に入射した被写体光は、プリズム２２に出射される。プリズム２２は、レンズ２１からの被写体光を、Ｒ，Ｇ，Ｂの光に分光し、そのＲ，Ｇ，Ｂの光を、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂが配置されている方向に出射する。
【００７８】
Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、例えば、フォトダイオード等の光電変換素子で構成され、プリズム２２からのＲ，Ｇ，Ｂの光を受光し、これにより、その受光量に対応する電気信号としてのＲ信号、Ｇ信号、Ｂ信号を取得して、信号調整部２に出力する。
【００７９】
ここで、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，およびＢ受光部２３Ｂとしては、例えば、CCD(Charge Coupled Device)を採用することができる。但し、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，およびＢ受光部２３Ｂは、CCDに限定されるものではなく、CMOS(Complementary Metal Oxide Semiconductor)センサや、a-Se（アモルファスセレン）半導体の光導電ターゲット内で生じる電子のなだれ増倍現象を利用した撮像管であるHARP(High Gain Avalanche Rushing Amorphous Photoconductor)などとすることも可能である。
【００８０】
以上のように構成されるセンサ部１では、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置が、信号処理部４（信号処理部１１Ｒ，１１Ｇ、および１１Ｂ）の信号処理にとって適切な画像信号（のＲ，Ｇ，Ｂ信号）が出力される位置に設定されている。即ち、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、信号処理部４の信号処理に対応した位置に配置されている。ここで、信号処理部４の信号処理に対応したＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置は、例えば、後述する学習が行われることにより、あらかじめ求められる。
【００８１】
なお、ここでは、説明を簡単にするため、Ｒ受光部２３Ｒの全体の配置位置が、学習により求められた位置に設定されているものとする。同様に、Ｇ受光部２３ＧとＢ受光部２３Ｂについても、それぞれの全体の配置位置が、学習により求められた位置に設定されているものとする。但し、例えば、MEMS(Micro-Electro-Mechanical Systems)技術を利用することにより、Ｒ受光部２３Ｒとして、画素の配置位置を実質的に変化（移動）させることができるものを採用し、信号処理部４の信号処理に対応したＲ受光部２３Ｒの個々の画素の配置位置を、学習によってあらかじめ求め、Ｒ受光部２３Ｒの個々の画素を、学習によって求めた位置に配置することも可能である。Ｇ受光部２３ＧおよびＧ制御部２４Ｇについても、同様である。
【００８２】
次に、図４は、図２の信号処理部１１の構成例を示している。
【００８３】
信号処理部１１Ｒ，１１Ｇ，および１１Ｂには、センサ部１が出力する画像信号が、信号調整部２およびA/D変換部３を介して、第１の画像信号として供給される。
【００８４】
信号処理部１１Ｒは、画像変換部３１Ｒで構成されている。信号処理部１１Ｒに供給される第１の画像信号は、画像変換部３１Ｒに供給される。画像変換部３１Ｒは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＲのディジタル画像信号を、第２の画像信号のＲ信号として、出力部５に供給する。
【００８５】
信号処理部１１Ｇは、画像変換部３１Ｇで構成されている。信号処理部１１Ｇに供給される第１の画像信号は、画像変換部３１Ｇに供給される。画像変換部３１Ｒは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＧのディジタル画像信号を、第２の画像信号のＧ信号として、出力部５に供給する。
【００８６】
信号処理部１１Ｂは、画像変換部３１Ｂと画像記憶部３２Ｂで構成されている。信号処理部１１Ｂに供給される第１の画像信号は、画像変換部３１Ｂに供給される。画像変換部３１Ｂは、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたＢのディジタル画像信号を、第２の画像信号のＢ信号として、出力部５に供給する。
【００８７】
なお、画像変換部３１Ｒ，３１Ｇ，３１Ｂそれぞれは、同様に構成されており、以下、適宜、画像変換部３１Ｒ，３１Ｇ、または３１Ｂを、画像変換部３１と記載する。
【００８８】
次に、図５のフローチャートを参照して、図２（図１）の撮像装置の動作について説明する。
【００８９】
撮像装置では、まず最初に、ステップＳ１において、信号処理部４が、信号処理の対象とする第１の画像信号を、センサ部１から取得する。即ち、ステップＳ１では、センサ部１が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して（被写体を撮像して）、信号調整部２に供給する。信号調整部２は、センサ部１から供給される画像信号に対して、CDS処理を施し、A/D変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、第１の画像信号として、信号処理部４に供給し、これにより信号処理部４は、第１の画像信号を取得して、ステップＳ１からＳ２に進む。
【００９０】
ステップＳ２では、信号処理部４において、信号処理部１１（図４）の画像変換部３１が、A/D変換部３から供給された第１の画像信号に対して、信号処理としての画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を得て、ステップＳ３に進む。
【００９１】
ステップＳ３では、信号処理部１１は、ステップＳ２で得た第２の画像信号を、出力部５に出力して、１フレーム（または１フィールド）の画像についての処理を終了する。
【００９２】
撮像装置では、図５のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
【００９３】
上述したように、センサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置は、信号処理部４（信号処理部１１Ｒ，１１Ｇ、および１１Ｂ）の信号処理にとって適切な画像信号（のＲ，Ｇ，Ｂ信号）が出力される位置に設定されている。即ち、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂは、信号処理部４の信号処理に対応した位置に配置されている。従って、センサ部１からは、信号処理部４の信号処理にとって適切な画像信号が出力されるので、信号処理部４において、その画像信号を信号処理することにより、高画質の画像信号を得ることができる。
【００９４】
次に、図６は、図４の画像変換部３１の構成例を示すブロック図である。
【００９５】
画像変換部３１は、そこに供給される第１の画像信号に対して、画像変換処理を施し、その画像変換処理によって得られる第２の画像信号を出力する。
【００９６】
ここで、例えば、第１の画像信号を低解像度の画像信号とするとともに、第２の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像信号を低Ｓ／Ｎ(Siginal/Noise)の画像信号とするとともに、第２の画像信号を高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を所定のサイズの画像信号とするとともに、第２の画像信号を、第１の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００９７】
画像変換部３１においては、画像変換処理の対象である第１の画像信号が、予測タップ抽出部１２１および特徴抽出部１２２に供給される。
【００９８】
予測タップ抽出部１２１は、第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出する。
【００９９】
具体的には、予測タップ抽出部１２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的および時間的に最も近い位置にある第１の画像信号の画素）に対して、空間的または時間的に近い位置にある複数の画素を、第１の画像信号から、予測タップとして抽出する。そして、予測タップ抽出部１２１は、注目画素についての予測タップを、演算部１２５に供給する。
【０１００】
特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給する。ここで、注目画素の特徴としては、例えば、注目画素に対応する第１の画像信号の画素に対して、空間的または時間的に近い位置にある複数の画素の画素値（第１の画像信号）のレベル分布などを採用することができる。
【０１０１】
クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給する。即ち、クラス分類部１２３は、注目画素の特徴がスカラー量で表される場合、そのスカラー量そのものや、そのスカラー量を量子化して得られる量子化値を、クラスコードとして出力する。また、注目画素の特徴が、複数のコンポーネントからなるベクトル量で表される場合、クラス分類部１２３は、そのベクトル量をベクトル量子化して得られる値や、ADRC(Adaptive Dynamic Range Coding)を行うことにより得られる値を、クラスコードとして出力する。
【０１０２】
ここで、KビットADRCにおいては、例えば、注目画素の特徴を表すベクトル量を構成するコンポーネントの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、注目画素の特徴を構成するコンポーネントがKビットに再量子化される。即ち、注目画素の特徴を構成する各コンポーネントから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、注目画素の特徴を構成するKビットの各コンポーネントを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、注目画素の特徴を表すベクトル量が、例えば、１ビットADRC処理された場合には、その注目画素の特徴を構成する各コンポーネントは、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各コンポーネントが１ビットとされる（２値化される）。そして、その１ビットのコンポーネントを所定の順番で並べたビット列が、ADRCコードとして出力される。クラス分類部１２３は、例えば、注目画素の特徴をADRC処理して得られるADRCコードを、クラスコードとして出力する。
【０１０３】
係数出力部１２４は、クラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１２３から供給されるクラスコードのクラスのタップ係数を、演算部１２５に出力する。
【０１０４】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１０５】
演算部１２５は、予測タップ抽出部１２１が出力する予測タップと、係数出力部１２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、演算部１２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【０１０６】
次に、図７は、図６の係数出力部１２４の構成例を示している。
【０１０７】
図７においては、係数出力部１２４は、係数メモリ１８１で構成されている。
【０１０８】
係数メモリ１８１は、後述する学習によりあらかじめ求められたクラスごとのタップ係数を記憶している。そして、係数メモリ１８１は、クラス分類部１２３からクラスコードが与えられると、そのクラスコードのクラスのタップ係数を読み出し、演算部１２５に供給する。
【０１０９】
次に、図６の演算部１２５における予測演算と、その予測演算に用いられる、図７の係数メモリ１８１に記憶されるタップ係数の学習について説明する。
【０１１０】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１１１】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１１２】
【数１】
2005051641.tif 000003
・・・（１）
【０１１３】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１１４】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１１５】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１１６】
【数２】
2005051641.tif 000004
・・・（２）
【０１１７】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１１８】
【数３】
2005051641.tif 000005
・・・（３）
【０１１９】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１２０】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１２１】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１２２】
【数４】
2005051641.tif 000006
・・・（４）
【０１２３】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１２４】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１２５】
【数５】
2005051641.tif 000007
・・・（５）
【０１２６】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１２７】
【数６】
2005051641.tif 000008
・・・（６）
【０１２８】
式（５）と（６）から、次式が得られる。
【０１２９】
【数７】
2005051641.tif 000009
・・・（７）
【０１３０】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１３１】
【数８】
2005051641.tif 000010
・・・（８）
【０１３２】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１３３】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１３４】
次に、図８は、式（８）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１３５】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０１３６】
学習装置において、学習用画像信号は、教師データ生成部１３１と生徒データ生成部１３３に供給される。
【０１３７】
教師データ生成部１３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部１３２に供給する。即ち、ここでは、教師データ生成部１３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部１３２に供給する。
【０１３８】
教師データ記憶部１３２は、教師データ生成部１３１から供給される教師データとしての高画質画像信号を記憶する。
【０１３９】
生徒データ生成部１３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部１３４に供給する。即ち、生徒データ生成部１３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部１３４に供給する。
【０１４０】
生徒データ記憶部１３４は、生徒データ生成部１３３から供給される生徒データを記憶する。
【０１４１】
予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図６の予測タップ抽出部１２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部３８に供給する。
【０１４２】
特徴抽出部１３６は、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素を用い、図６の特徴抽出部１２２における場合と同様にして、注目教師画素の特徴を抽出し、クラス分類部１３７に供給する。
【０１４３】
クラス分類部１３７は、特徴抽出部１３６が出力する注目教師画素の特徴に基づき、図６のクラス分類部１２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力する。
【０１４４】
足し込み部１３８には、クラス分類部１３７が出力する注目教師画素についてのクラスコードが供給される。そして、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに行う。
【０１４５】
即ち、足し込み部１３８には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘn,k、クラス分類部１３７が出力するクラスコードが供給される。
【０１４６】
そして、足し込み部１３８は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１４７】
さらに、足し込み部１３８は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１４８】
即ち、足し込み部１３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１４９】
そして、足し込み部１３８は、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１３９に供給する。
【０１５０】
タップ係数算出部１３９は、足し込み部１３８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１５１】
図７の係数メモリ１８１には、図８の学習装置で求められるクラスごとのタップ係数ｗmが記憶されている。
【０１５２】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０１５３】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
【０１５４】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１５５】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。その他、教師データおよび生徒データとする画像信号を所定のものとすることで、タップ係数としては、画素数の変換や、アスペクト比の変換、その他の任意の画像変換を行うものを得ることが可能である。
【０１５６】
次に、図９のフローチャートを参照して、図８の学習装置の処理（学習処理）について、説明する。
【０１５７】
まず最初に、ステップＳ５１において、教師データ生成部１３１と生徒データ生成部１３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部１３１は、学習用画像信号を、所定のカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、生徒データを生成して出力する。
【０１５８】
教師データ生成部１３１が出力する教師データは、教師データ記憶部１３２に供給されて記憶され、生徒データ生成部１３３が出力する生徒データは、生徒データ記憶部１３４に供給されて記憶される。
【０１５９】
その後、ステップＳ５２に進み、予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ５２では、予測タップ抽出部１３５が、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データから予測タップを構成し、足し込み部１３８に供給して、ステップＳ５３に進む。
【０１６０】
ステップＳ５３では、特徴抽出部１３６が、注目教師画素の特徴を、生徒データ記憶部１３４に記憶された生徒データを用いて抽出し、クラス分類部１３７に供給して、ステップＳ５４に進む。
【０１６１】
ステップＳ５４では、クラス分類部１３７は、特徴抽出部１３６からの注目教師画素についての注目画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力して、ステップＳ５５に進む。
【０１６２】
ステップＳ５５では、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１３７から供給されるクラスコードごとに行い、ステップＳ５６に進む。
【０１６３】
ステップＳ５６では、予測タップ抽出部１３５が、教師データ記憶部１３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ５６において、注目教師画素としていない教師データが、まだ、教師データ記憶部１３２に記憶されていると判定された場合、予測タップ抽出部１３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ５２に戻り、以下、同様の処理が繰り返される。
【０１６４】
また、ステップＳ５６において、注目教師画素としていない教師データが、教師データ記憶部１３２に記憶されていないと判定された場合、足し込み部１３８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１３９に供給し、ステップＳ５７に進む。
【０１６５】
ステップＳ５７では、タップ係数算出部１３９は、足し込み部１３８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１６６】
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１６７】
図７の係数メモリ１８１には、以上のようにして得られたクラスごとのタップ係数が記憶されている。
【０１６８】
但し、図４の画像変換部３１Ｒの係数メモリ１８１には、教師データとして、画像信号のＲ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。また、図４の画像変換部３１Ｇの係数メモリ１８１には、教師データとして、画像信号のＧ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。同様に、図４の画像変換部３１Ｂの係数メモリ１８１には、教師データとして、画像信号のＢ信号だけを用いるとともに、生徒データとして、画像信号のＲ，Ｇ，Ｂ信号のすべてを用いて学習を行うことにより得られるタップ係数が記憶される。
【０１６９】
次に、図１０のフローチャートを参照して、図６の画像変換部３１による画像変換処理について説明する。なお、図１０で説明する画像変換処理は、図５のステップＳ２で行われる処理である。
【０１７０】
ステップＳ６１において、予測タップ抽出部１２１は、第２の画像信号を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素とし、さらに、その注目画素の画素値（第２の画像信号）を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出して、ステップＳ６２に進む。
【０１７１】
ステップＳ６２では、特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給して、ステップＳ６３に進む。ステップＳ６３では、クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給して、ステップＳ６４に進む。ステップＳ６４では、係数出力部１２４は、クラス分類部１２３から供給されるクラスコードのクラスのタップ係数を読み出し、演算部１２５に出力して、ステップＳ６５に進む。
【０１７２】
ステップＳ６５では、演算部１２５は、予測タップ抽出部１２１から供給される予測タップと、係数出力部１２４が出力した、注目画素のクラスのタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求める。
【０１７３】
なお、画像変換部３１では、以上のステップＳ６１乃至Ｓ６５の処理が、１画面（フレームまたはフィールド）の第２の画像信号の画素すべてを、注目画素として行われ、その後リターンする。
【０１７４】
次に、図１１は、図１の信号処理部４で行われる信号処理にとって、センサ部１が適切な画像信号を出力するときのセンサ部１の特性の情報、即ち、例えば、信号処理部４で行われる信号処理に対応したＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置状態の情報の学習を行う学習装置としての撮像装置の一実施の形態の構成例を示している。
【０１７５】
センサ部２３１は、画素に対応する複数の光電変換素子を有し、そこに入射する被写体光を感知し、その被写体光に対応する画像信号を出力する。即ち、センサ部２３１は、被写体光を受光し、その受光量に対応した電気信号としての画像信号を取得し、信号調整部２３２および２３８に供給する。
【０１７６】
なお、センサ部２３１は、ある被写体光に対して、後述するように、図１のセンサ部１が取得する画像信号に相当する画像信号（以下、適宜、通常画像信号ともいう）と、図１の信号処理部４が出力する第２の画像信号に相当する、後述する評価部２３５で用いられる高画質の画像信号（以下、適宜、評価用画像信号という）とを取得するようになっている。そして、センサ部２３１は、通常画像信号を、信号調整部２３２に供給するとともに、評価用画像信号を、信号調整部２３８に供給する。
【０１７７】
また、センサ部２３１には、コントローラ２４０から制御信号が供給されるようになっている。そして、センサ部２３１は、コントローラ２４０から供給される制御信号にしたがい、その特性を変化させ、変化後の特性において、被写体光に対応する通常画像信号を取得する。
【０１７８】
信号調整部２３２は、図１の信号調整部２と同様に、センサ部２３１から出力される通常画像信号に対して、CDS処理を施し、その処理の結果得られる画像信号を、A/D変換部２３３に供給する。
【０１７９】
A/D変換部２３３は、図１のA/D変換部３と同様に、信号調整部２３２から供給される通常画像信号をA/D変換し、即ち、通常画像信号をサンプリングして量子化し、その結果得られるディジタル画像信号を、第１の画像信号として、信号処理部２３４に供給する。
【０１８０】
信号処理部２３４は、図２に示した信号処理部４と同様に構成され、A/D変換部２３３からの第１の画像信号に対して、図６乃至図１０で説明した、信号処理としての画像変換処理を施すことにより、第２の画像信号（のＲ，Ｇ，Ｂ信号）を得て、評価部２３５に供給する。
【０１８１】
評価部２３５には、信号処理部２３４から第２の画像信号が供給される他、コントローラ２４０からセンサ部２３１の特性を制御する制御信号が供給されるとともに、A/D変換部２３９から評価用画像信号が供給されるようになっている。評価部２３５は、A/D変換部２３９から供給される評価用画像信号を用いて、信号処理部２３４から供給される第２の画像信号を評価し、その評価と、その評価が得られたときの制御信号が表すセンサ部２３１の特性、即ち、評価された第２の画像信号を得るのに信号処理部２３４での信号処理の対象となった第１の画像信号が取得されたときのセンサ部２３１の特性を表す特性情報とを対応付ける。さらに、評価部２３５は、第１の画像信号の評価と特性情報とのセットを、位置決定部２３６に供給する。
【０１８２】
位置決定部２３６は、評価部２３５から供給される第２の画像信号の評価と特性情報とのセットに応じて、信号処理部２３４の信号処理にとって適切な第１の画像信号が得られるときのセンサ部２３１の特性、即ち、信号処理部２３４の信号処理に対応したセンサ部２３１の特性（ひいては、図１の信号処理部４の信号処理に対応したセンサ部１の特性）を決定し、その特性を表す特性情報を、位置記憶部２３７に供給する。
【０１８３】
位置記憶部２３７は、位置決定部２３６から供給される特性情報を記憶する。
【０１８４】
信号調整部２３８は、信号調整部２３２と同様に、センサ部２３１から出力される評価用画像信号に対して、CDS処理を施し、その処理の結果得られる評価用画像信号を、A/D変換部２３９に供給する。但し、信号調整部２３２が通常画像信号を処理するのに対して、信号調整部２３８は、通常画像信号よりも高画質の評価用画像信号を処理するため、評価用画像信号の画質を維持するために、信号調整部２３８は、信号調整部２３２よりも高性能のものとなっている。
【０１８５】
A/D変換部２３９は、A/D変換部２３３と同様に、信号調整部２３８から供給される評価用画像信号をA/D変換し、即ち、評価用画像信号をサンプリングして量子化し、その結果得られるディジタルの評価用画像信号を、評価部２３５に供給する。但し、A/D変換部２３３が通常画像信号を処理するのに対して、A/D変換部２３９は、通常画像信号よりも高画質の評価用画像信号を処理するため、評価用画像信号の画質を維持するために、A/D変換部２３９は、A/D変換部２３３よりも高性能のもの（例えば、量子化ビット数やサンプリング周波数がA/D変換部２３３よりも大のもの）となっている。
【０１８６】
コントローラ２４０は、センサ部２４１の特性を制御する制御信号を、センサ部２３１と評価部２３５に供給する。
【０１８７】
次に、図１２は、図１１のセンサ部２３１の構成例を示している。
【０１８８】
被写体光は、レンズ２５１に入射し、レンズ２５１は、その被写体光を、ハーフミラー２５２およびプリズム２５３を介して、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂ上に、それぞれ集光させるとともに、ハーフミラー２５２およびプリズム２５４を介して、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂ上に、それぞれ集光させる。
【０１８９】
即ち、レンズ２５１に入射した被写体光は、ハーフミラー２５２に出射される。ハーフミラー２５２は、レンズ２５１からの被写体光のうちの一部を、プリズム２５３に反射するとともに、残りをプリズム２５４に透過する。
【０１９０】
プリズム２５３は、ハーフミラー２５２からの被写体光を、Ｒ，Ｇ，Ｂの光に分光し、そのＲ，Ｇ，Ｂの光を、評価用Ｒ受光部２５５Ｒ，評価用Ｇ受光部２５５Ｇ，評価用Ｂ受光部２５５Ｂが配置されている方向にそれぞれ出射する。
【０１９１】
評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂは、例えば、フォトダイオード等の光電変換素子で構成され、プリズム２５４からのＲ，Ｇ，Ｂの光を受光し、これにより、その受光量に対応する電気信号としてのＲ信号、Ｇ信号、Ｂ信号を取得し、そのＲ信号、Ｇ信号、Ｂ信号からなる画像信号を、評価用画像信号として、信号調整部２３８（図１１）に出力する。
【０１９２】
ここで、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂとしては、例えば、CCDや、CMOSセンサ、HARPなどを採用することができる。
【０１９３】
プリズム２５４は、レンズ２５１からの被写体光を、Ｒ，Ｇ，Ｂの光に分光し、そのＲ，Ｇ，Ｂの光を、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂが配置されている方向にそれぞれ出射する。
【０１９４】
Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂは、例えば、フォトダイオード等の光電変換素子で構成され、プリズム２５４からのＲ，Ｇ，Ｂの光を受光し、これにより、その受光量に対応する電気信号としてのＲ信号、Ｇ信号、Ｂ信号を取得して、そのＲ信号、Ｇ信号、Ｂ信号からなる画像信号を、通常画像信号として、信号調整部２３２（図１１）に出力する。
【０１９５】
ここで、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，およびＢ受光部２５６Ｂとしては、例えば、CCDや、CMOSセンサ、HARPなどを採用することができる。但し、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，およびＢ受光部２５６Ｂは、図３のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，およびＢ受光部２３Ｂと同一性能のものであるのが望ましい。
【０１９６】
Ｒ制御部２５７Ｒ，Ｇ制御部２５７Ｇ，Ｂ制御部２５７Ｂは、コントローラ２４０（図１１）から供給される制御信号にしたがい、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を移動させる制御をそれぞれ行い、これにより、センサ部２５１の特性を変化させる。
【０１９７】
なお、ここでは、説明を簡単にするため、Ｒ制御部２５７Ｒは、Ｒ受光部２５６Ｒの全体の配置位置を制御するものとする。Ｇ制御部２５７ＧとＢ制御部２５７Ｂも、同様に、Ｇ受光部２５６ＧとＢ受光部２５６Ｂそれぞれの全体の配置位置を制御するものとする。但し、例えば、MEMS技術を利用することにより、Ｒ受光部２５６Ｒとして、画素の配置位置を実質的に変化（移動）させることができるものを採用し、Ｒ制御部２５７Ｒにおいては、Ｒ受光部２５６Ｒの個々の画素の配置位置を独立に制御するようにすることも可能である。Ｇ受光部２５６ＧおよびＧ制御部２５７Ｇと、Ｂ受光部２５６ＢおよびＢ制御部２５７Ｂについても、同様である。
【０１９８】
また、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂは、高画質の評価用画像信号を得るために、通常画像信号を得るＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂよりも高性能のものとなっている。即ち、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂは、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂよりも、例えばダイナミックレンジや画素数が大のものとなっている。
【０１９９】
次に、図１３を参照して、図１２のＲ制御部２５７Ｒ，Ｇ制御部２５７Ｇ，Ｂ制御部２５７ＢによるＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂそれぞれの制御について説明する。
【０２００】
図１３上側に示すように、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂは、それぞれ有限の面積を有する画素（１つのフォトダイオード等に対応）を有し、各画素で受光された光量に対応する画像信号（画素値）を出力する。
【０２０１】
なお、図１３では、画素は、一辺が有限長の正方形の形状とされている。
【０２０２】
いま、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂそれぞれの画素の位置を、その画素である正方形の重心位置で表すこととし、それぞれの画素を、●印、○印、×印で表す。ビデオカメラやスチルカメラなどの撮像装置の製造時においては、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂは、例えば、対応する画素の位置が、光学的に同一位置となるように配置される。即ち、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂは、ある光線のＲ，Ｇ，Ｂそれぞれの光が、対応する画素で受光されるように、光学的に等価な（同一の）位置に配置される。
【０２０３】
Ｒ制御部２５７Ｒ，Ｇ制御部２５７Ｇ，Ｂ制御部２５７Ｂは、コントローラ２４０（図１１）から供給される制御信号にしたがい、センサ部２４１の特性としてのＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を移動させる。
【０２０４】
即ち、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置は、固定ではなく、移動可能となっており、従って、センサ部２４１において、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂそれぞれの、対応する画素は、光学的に同一位置にあるとは限らない。
【０２０５】
いま、図１３下側に示すように、Ｒ受光部２５６Ｒの画素（図１３において●印で示す）の位置を基準とした、Ｇ受光部２５６Ｇの画素（図１３において○印で示す）の水平方向と垂直方向のずれ量を、ＰｈGとＰｖGと表すとともに、Ｂ受光部２５６Ｂの画素（図１３において×印で示す）の水平方向と垂直方向のずれ量を、ＰｈBとＰｖBと表すこととする。
【０２０６】
Ｒ制御部２５７Ｒ，Ｇ制御部２５７Ｇ、およびＢ制御部２５７Ｂは、コントローラ２４０から供給される制御信号にしたがったずれ量ＰｈG，ＰｖG，ＰｈB，ＰｖBとなるように、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を移動する。
【０２０７】
なお、この場合、例えば、Ｒ受光部２５６Ｒの位置を固定して、Ｇ受光部２５６ＧとＢ受光部２５６Ｂだけを移動させるようにすることができる。但し、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂのうちの、Ｒ受光部２５６Ｒ以外の１つを固定して、他の２つを移動させることもできるし、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂのすべてを移動させるようにすることも可能である。
【０２０８】
また、図１２のセンサ部２４１において、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置は、移動可能となっているが、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂは、例えば、対応する画素の位置が、光学的に同一位置となるように配置されている。即ち、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂは、ある光線のＲ，Ｇ，Ｂそれぞれの光が、対応する画素で受光されるように、光学的に等価な（同一の）位置に配置されている。
【０２０９】
図１４は、図１１の評価部２３５の構成例を示している。
【０２１０】
評価部２３５は、画像記憶部２６１、相関算出部２６２、および評価値記憶部２６３で構成される。
【０２１１】
画像記憶部２６１は、センサ部２３１から信号調整部２３８およびA/D変換部２３９を介して供給される、ある被写体光に対する評価用画像信号を記憶する。
【０２１２】
相関算出部２６２は、信号処理部２３４から供給される、画像記憶部２６１に記憶された評価用画像信号に対応する通常画像信号から得られた第２の画像信号を、画像記憶部２６１に記憶された評価用画像信号を用いて評価する。即ち、相関算出部２６２は、信号処理部２３４から供給される第２の画像信号と、画像記憶部２６１に記憶された評価用画像信号との相関値を求め、その相関値を、信号処理部２３４から供給される第２の画像信号の評価結果、あるいは評価値として、評価値記憶部２６３に供給する。
【０２１３】
ここで、１フレーム（フィールド）の第２の画像信号と評価用画像信号との間の相関値としては、例えば、その第２の画像信号と評価用画像信号の同一位置の画素の画素値のすべてまたは一部の差分絶対値の総和の逆数などを採用することができる。
【０２１４】
評価値記憶部２６３には、相関算出部２６２から第２の画像信号の評価値が供給される他、コントローラ２４０が出力する制御信号も供給される。コントローラ２４０が出力する制御信号は、相関算出部２６２が出力する評価値の第２の画像信号を得るのに用いられた第１の画像信号がセンサ部２３１で取得されたときのセンサ部２３１の特性、即ち、図１２のＲ制御部２５７Ｒ，Ｇ制御部２５７Ｇ、およびＢ制御部２５７Ｂの配置位置を表す。評価値記憶部２６３は、この配置位置と、相関算出部２６２からの第２の画像信号の評価値とを対応付けて記憶する。そして、評価値記憶部２６３は、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置として、あらかじめ設定された複数の位置（以下、適宜、設定位置という）それぞれについて、複数（画像）の第２の画像信号それぞれごとの評価値を記憶すると、その評価値を、位置決定部２３６（図１１）に供給する。
【０２１５】
なお、ここでは、図１１のコントローラ２４０は、センサ部２４１（図１２）のＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を制御する制御信号として、例えば、図１３で説明した、Ｒ受光部２５６Ｒの画素の位置を基準とした、Ｇ受光部２５６Ｇの画素のずれ量ＰｈGおよびＰｖG、並びにＢ受光部２５６Ｂの画素のずれ量ＰｈBおよびＰｖB（以下、適宜、単に、ずれ量Ｐとも記載する）を表す信号を出力するものとする。
【０２１６】
次に、図１５は、図１１の位置決定部２３６の構成例を示している。
【０２１７】
評価値統合部２７１には、評価部２３５（の評価値記憶部２６３）が出力する、複数の設定位置それぞれについての、複数の第２の画像信号それぞれごとの評価値が供給される。評価値統合部２７１は、複数の設定位置それぞれについて、その設定位置に対しての複数の第２の画像信号それぞれごとの評価値を統合し、その統合の結果得られる評価値（以下、適宜、統合評価値という）を、最適位置決定部２７２に供給する。
【０２１８】
最適位置決定部２７２は、評価値統合部２７１から供給される複数の設定位置それぞれについての統合評価値に基づいて、信号処理部２３４の信号処理に対応した設定位置、即ち、センサ部２４１（図１２）のＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を決定し、その配置位置を、信号処理部２３４（ひいては、信号処理部４）の信号処理にとって最適な最適位置として、位置記憶部２３７（図１１）に供給する。
【０２１９】
次に、図１６のフローチャートを参照して、図１１の撮像装置による最適位置の学習の処理（学習処理）について説明する。
【０２２０】
まず最初に、ステップＳ２０１において、コントローラ２４０は、センサ部２４１（図１２）のＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置としてあらかじめ設定された複数の設定位置のうちの、まだ注目配置位置としていないものの１つを、注目配置位置とし、その注目配置位置を表す制御信号を、評価部２３５（図１４）の評価値記憶部２６３に供給する。さらに、ステップＳ２０１では、コントローラ２４０は、注目配置位置を表す制御信号を、センサ部２４１のＲ制御部２５７Ｒ，Ｇ制御部２５７Ｇ，Ｂ制御部２５７Ｂに供給し、これにより、Ｒ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を注目配置位置に移動させ、ステップＳ２０２に進む。
【０２２１】
ステップＳ２０２では、信号処理部２３４が、センサ部２３１が出力する画像信号を取得する。即ち、ステップＳ２０２では、センサ部２３１が被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得して（被写体を撮像して）、信号調整部２３２と２３８に供給する。信号調整部２３２は、センサ部２３１から供給される画像信号に対して、CDS処理を施し、A/D変換部２３３に供給する。A/D変換部２３３は、信号調整部２３２から供給される画像信号をA/D変換し、第１の画像信号として、信号処理部２３４に供給する。一方、信号調整部２３８は、センサ部２３１から供給される画像信号に対して、CDS処理を施し、A/D変換部２３９に供給する。A/D変換部２３９は、信号調整部２３８から供給される画像信号をA/D変換し、評価用画像信号として、評価部２３５に供給する。
【０２２２】
即ち、センサ部２３１では、注目配置位置に配置されたＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂが、そこに入射する被写体光に対応する通常画像信号を取得する。この通常画像信号は、信号調整部２３２およびA/D変換部２３３を介して、信号処理部２３４に供給される。
【０２２３】
さらに、センサ部２３１では、評価用Ｒ受光部２５５Ｒ、評価用Ｇ受光部２５５Ｇ、評価用Ｂ受光部２５５Ｂが、同一の被写体光に対応する評価用画像信号を取得する。この評価用画像信号は、信号調整部２３８およびA/D変換部２３９を介して、評価部２３５に供給される。評価部２３５（図１４）では、画像記憶部２６１において、評価用画像信号が記憶される。
【０２２４】
そして、ステップＳ２０２からＳ２０３に進み、信号処理部２３４が、A/D変換部２３２を介して供給された第１の画像信号に対して、信号処理としての、図１の信号処理部４と同一の画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を得て、評価部２３５に供給し、ステップＳ２０４に進む。
【０２２５】
ステップＳ２０４では、評価部２３５は、信号処理部２３４から供給された第２の画像信号を評価する評価処理を行い、ステップＳ２０５に進む。
【０２２６】
即ち、評価部２３５（図１４）では、相関算出部２６２が、画像記憶部２６１に記憶された評価用画像信号のうちの、信号処理部２３４から供給された第２の画像信号を得るのに用いられた通常画像信号の被写体光と同一の被写体光から得られた評価用画像信号を、注目評価用画像信号として読み出す。さらに、相関算出部２６２は、信号処理部２３４から供給された第２の画像信号と、注目評価用画像信号との相関値を求め、その相関値を、信号処理部２３４から供給された第２の画像信号の評価値として、評価値記憶部２６３に供給する。
【０２２７】
評価値記憶部２６３は、相関算出部２６２からの第２の画像信号の評価値を、直前のステップＳ２０１においてコントローラ２４０から供給された制御信号が表す注目設定位置と対応付けて記憶する。
【０２２８】
ステップＳ２０５では、コントローラ２４０が、あらかじめ決められた所定のフレーム数の画像それぞれについて、注目設定位置に対する評価値が得られたかどうかを判定する。
【０２２９】
ステップＳ２０５において、まだ、所定のフレーム数の画像それぞれについて、注目設定位置に対する評価値が得られていないと判定された場合、ステップＳ２０２に戻り、センサ部２３１が、そのタイミングで入射する被写体光を受光し、光電変換を行うことにより、電気信号としての画像信号を取得し、以下、同様の処理が繰り返される。
【０２３０】
また、ステップＳ２０５において、所定のフレーム数の画像それぞれについて、注目設定位置に対する評価値が得られたと判定された場合、ステップＳ２０６に進み、コントローラ２４０が、複数の設定位置のすべてを、注目設定位置としたかどうかを判定する。
【０２３１】
ステップＳ２０６において、複数の設定位置のすべてを、まだ、注目設定位置としていないと判定された場合、ステップＳ２０１に戻り、コントローラ２４０は、複数の設定位置のうちの、まだ注目配置位置としていないものの１つを、新たに注目配置位置として、以下、同様の処理を繰り返す。
【０２３２】
また、ステップＳ２０６において、複数の設定位置のすべてを、注目設定位置としたと判定された場合、即ち、あらかじめ決められた所定のフレーム数の画像それぞれについて、複数の設定位置それぞれに対する評価値が得られ、評価部２３５（図１４）の評価値記憶部２６３に記憶された場合、評価値記憶部２６３は、記憶している、所定のフレーム数の画像それぞれについての、複数の設定位置それぞれに対する評価値を、位置決定部２３６に供給して、ステップＳ２０７に進む。
【０２３３】
ステップＳ２０７では、位置決定部２３６（図１５）の評価値統合部２７１が、所定のフレーム数の画像それぞれについての、複数の設定位置それぞれに対する評価値を、複数の設定位置それぞれごとに統合し、これにより、複数の設定位置それぞれについて統合評価値を求めて、最適位置決定部２７２に供給する。
【０２３４】
即ち、評価値統合部２７１は、ある設定位置に注目すると、その注目設定位置に対して、所定のフレーム数の画像それぞれについて得られた評価値の、例えば、平均値や、最大値、最小値などを、注目設定位置についての統合評価値として求め、最適位置決定部２７２に供給する。
【０２３５】
そして、ステップＳ２０７からＳ２０８に進み、最適位置決定部２７２は、評価値統合部２７１から供給される複数の設定位置それぞれについての統合評価値に基づいて、信号処理部２３４の信号処理に対応した設定位置、即ち、センサ部２４１（図１２）のＲ受光部２５６Ｒ，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置を決定する。
【０２３６】
即ち、ステップＳ２０８では、最適位置決定部２７２は、例えば、評価値統合部２７１から供給される複数の設定位置それぞれについての統合評価値のうちの最大値を求め、その最大値の統合評価値に対する設定位置を、信号処理部２３４の信号処理に対応した設定位置、即ち、図１の信号処理部４の信号処理に最適なセンサ部１（図３）のＲ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂの配置位置（最適位置）として決定する。
【０２３７】
さらに、ステップＳ２０８では、最適位置決定部２７２は、その最適位置を表す情報（上述の特性情報に相当）を、位置記憶部２３７に供給して記憶させ、処理を終了する。
【０２３８】
図１のセンサ部１においては、Ｒ受光部２３Ｒ，Ｇ受光部２３Ｇ，Ｂ受光部２３Ｂ（図３）が、以上の学習処理によって位置記憶部２３７に記憶された情報が表す最適位置に配置されている。
【０２３９】
従って、図１のセンサ部１においては、信号処理部４の信号処理にとって適切な画像信号を得ることができ、さらに、信号処理部４において、そのセンサ部１で得られる画像信号を信号処理することにより、より高画質の画像信号を得ることができる。
【０２４０】
なお、上述の場合には、第２の画像信号の評価を、その第２の画像信号と評価用画像信号との相関を求めることによって行うようにしたが、第２の画像信号の評価は、その他、例えば、第２の画像信号のS/Nなどに基づいて行うこと等も可能である。さらに、第２の画像信号の評価は、外部から入力するようにしても良い。即ち、例えば、第２の画像信号を表示し、その表示画像を見たユーザから、第２の画像信号の評価を入力してもらうようにしても良い。
【０２４１】
次に、上述した信号処理部４および２３４や、評価部２３５、位置決定部２３６、コントローラ２４０などの一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータや、汎用のコンピュータ等にインストールされる。
【０２４２】
そこで、図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２４３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０２４４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２４５】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０２４６】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０２４７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４９】
なお、信号処理部４および２３４では、上述した画像変換処理の他、例えば、第１の画像信号に対して、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、線形補間処理その他の処理を施した第２の画像信号を得る信号処理を行うことが可能である。
【０２５０】
また、本実施の形態では、センサ部１および２３１として、いわゆる３板式のセンサ手段を用いることとしたが、センサ部１および２３１としては、単板式や、２板または４板以上のセンサ手段を採用することも可能である。
【０２５１】
さらに、本実施の形態では、光を感知し、その光に対応する画像信号を出力するセンサ部１および２３１を採用することとしたが、センサ部１および２３１としては、その他、例えば、音を感知し、その音に対応する音声信号を出力するマイクロフォン（マイク）、あるいは、温度や加速度その他の任意の情報を感知し、その情報に対応する信号を出力するものを採用することが可能である。但し、センサ部１および２３１が感知する情報によって、その後段で行われる信号処理は異なる。
【０２５２】
また、センサ部１（センサ部２３１についても同様）の特性としては、Ｒ受光部２３Ｒ、Ｇ受光部２３Ｇ、Ｂ受光部２３Ｂの配置状態の他、それらの各画素上に光を集光するオンチップレンズの配置位置や、各画素が蓄積した電荷に対応する電圧（電流）の増幅率などがある。
【図面の簡単な説明】
【０２５３】
【図１】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図２】信号処理部４および出力部５の構成例を示すブロック図である。
【図３】センサ部１の構成例を示すブロック図である。
【図４】信号処理部１１の構成例を示すブロック図である。
【図５】撮像装置の動作を説明するフローチャートである。
【図６】画像変換部３１の構成例を示すブロック図である。
【図７】係数出力部１２４の構成例を示すブロック図である。
【図８】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図９】タップ係数を学習する学習処理を説明するフローチャートである。
【図１０】画像変換部３１の処理を説明するフローチャートである。
【図１１】配置位置を学習する学習装置としての撮像装置の一実施の形態の構成例を示すブロック図である。
【図１２】センサ部２３１の構成例を示すブロック図である。
【図１３】Ｒ受光部２５６，Ｇ受光部２５６Ｇ，Ｂ受光部２５６Ｂの配置位置の制御を説明する図である。
【図１４】評価部２３５の構成例を示すブロック図である。
【図１５】位置決定部２３６の構成例を示すブロック図である。
【図１６】学習装置としての撮像装置の学習処理を説明するフローチャートである。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２５４】
１  センサ部，  ２  信号調整部，  ３  A/D変換部，  ４  信号処理部，  ５  出力部，  １１Ｒ，１１Ｇ，１１Ｂ  信号処理部，  １２Ｒ，１２Ｇ，１２Ｂ  出力部，  ２１  レンズ，  ２２  プリズム，  ２３Ｒ  Ｒ受光部，  ２３Ｇ  Ｇ受光部，  ２３Ｂ  Ｂ受光部，  ３１Ｒ，３１Ｂ，３１Ｇ  画像変換部，  １２１  予測タップ抽出部，  １２２  特徴抽出部，  １２３  クラス分類部，  １２４  係数出力部，  １２５  演算部，  １８１  係数メモリ，  ２３１  センサ部，  ２３２  信号調整部，  ２３３  A/D変換部，  ２３４  信号処理部，  ２３５  評価部，  ２３６  位置決定部，  ２３７  位置記憶部，  ２３８  信号調整部，  ２３９  A/D変換部，  ２４０  コントローラ，  ２５１  レンズ，  ２５２  ハーフミラー，  ２５３，２５４  プリズム，  ２５５Ｒ  評価用Ｒ受光部，  ２５５Ｇ  評価用Ｇ受光部，  ２５５Ｂ  評価用Ｂ受光部，  ２５６Ｒ  Ｒ受光部，  ２５６Ｇ  Ｇ受光部，  ２５６Ｂ  Ｂ受光部，  ２５７Ｒ  Ｒ制御部，  ２５７Ｇ  Ｇ制御部，  ２５７Ｂ  Ｂ制御部，  ２６１  画像記憶部，  ２６２  相関演算部，  ２６３  評価値記憶部，  ２７１  評価値統合部，  ２７２  最適位置決定部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2005051641.tif 000011
【図２】
2005051641.tif 000012
【図３】
2005051641.tif 000013
【図４】
2005051641.tif 000014
【図５】
2005051641.tif 000015
【図６】
2005051641.tif 000016
【図７】
2005051641.tif 000017
【図８】
2005051641.tif 000018
【図９】
2005051641.tif 000019
【図１０】
2005051641.tif 000020
【図１１】
2005051641.tif 000021
【図１２】
2005051641.tif 000022
【図１３】
2005051641.tif 000023
【図１４】
2005051641.tif 000024
【図１５】
2005051641.tif 000025
【図１６】
2005051641.tif 000026
【図１７】
2005051641.tif 000027