(57)【要約】【課題】より高精細な画像を得ることができるようにする。【解決手段】１画素内に配置されたフォトダイオード１９１およびフォトダイオード１９２−１乃至フォトダイオード１９２−４は、入射した光の光量を検出し、検出した光量に応じた電荷を発生する。MOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４がオンされると、MOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４のそれぞれから画素信号線２３６に輝度値を表わす信号のそれぞれが出力され、これらの輝度値を表わす信号のそれぞれが足し合わされて、１つの画素の画素信号として出力される。本発明は、画像を撮像する撮像装置に適用することができる。【選択図】図８
2007235311.tif 000002
【特許請求の範囲】
【請求項１】
１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサにおいて、
１つの画素内に、
入射する所定の色の光の光量を検出する複数の検出手段と、
複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段と
を備えるイメージセンサ。
【請求項２】
１つの画素内に、複数の前記光量を示す値のそれぞれを基に、前記画素の所定の特徴の特徴量を示す画素内特徴量情報を生成する画素内特徴量情報生成手段をさらに備える
請求項１に記載のイメージセンサ。
【請求項３】
前記画素内特徴量情報生成手段は、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成する
請求項２に記載のイメージセンサ。
【請求項４】
１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサの撮像方法において、
１つの画素の受光面に配置された複数の検出部により、入射する所定の色の光の光量を検出し、
複数の前記検出部により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する
ステップを含む撮像方法。
【請求項５】
第１の画像信号を第２の画像信号に変換する画像処理装置において、
前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出するクラスタップ抽出手段と、
前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段と
を備える画像処理装置。
【請求項６】
前記第１の画像信号の１つの画素値を表わす画素信号を出力する単位である１つの画素内に配置され、入射する所定の色の光の光量を検出する複数の検出手段と、
複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段と、
複数の前記光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段と
をさらに備える請求項５に記載の画像処理装置。
【請求項７】
前記画素内特徴量情報生成手段は、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成する
請求項６に記載の画像処理装置。
【請求項８】
第１の画像信号を第２の画像信号に変換する画像処理方法において、
前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出し、
前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する
ステップを含む画像処理方法。
【請求項９】
第１の画像信号を第２の画像信号に変換する画像処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出し、
前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する
ステップを含むプログラム。
【請求項１０】
第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習を行う学習装置において、
前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める演算手段と
を備える学習装置。
【請求項１１】
前記第１の画像信号に対応する画像信号の１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサをさらに備え、
前記イメージセンサは、１つの画素内に、
入射する所定の色の光の光量を検出する複数の検出手段と、
複数の前記検出手段により検出された光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段と
を備える請求項１０に記載の学習装置。
【請求項１２】
前記画素内特徴量情報生成手段は、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成する
請求項１１に記載の学習装置。
【請求項１３】
前記第２の画像信号よりも解像度の高い第３の画像信号の所定の画素の画素値の和の値を用いて前記画素内特徴量情報を生成する画素内特徴量情報生成手段をさらに備える
請求項１０に記載の学習装置。
【請求項１４】
第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習方法において、
前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出し、
前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、
前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める
ステップを含む学習方法。
【請求項１５】
第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出し、
前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、
前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージセンサおよび撮像方法、画像処理装置および方法、学習装置および方法、並びにプログラムに関し、特に、より精度よく高精細な画像を得ることができるようにしたイメージセンサおよび撮像方法、画像処理装置および方法、学習装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを利用して画像を撮像する撮像装置においては、主に単板のイメージセンサまたは３板のイメージセンサが用いられている。
【０００３】
単板のイメージセンサを用いた撮像装置においては、図１に示すように、１枚のチップからなる単板のイメージセンサ１１を用いて被写体から入射した光を受光する。イメージセンサ１１の表面には、所定の色を透過させるフィルタが配列された色フィルタアレイが配置されており、イメージセンサ１１の各画素は、色フィルタアレイを介して入射したＲ（赤）、Ｇ（緑）、またはＢ（青）の３原色のいずれかの色の光を受光して、受光した光の色の画素信号を画像の１画素分の画像信号として出力する。
【０００４】
このイメージセンサ１１の表面に配置される色フィルタアレイの色配列は、図２に示すようにベイヤー配列と称される色配列とされることが多い。なお、図２の１つの正方形の領域は１つの画素の受光面を表わしており、色フィルタアレイは１つの画素ごとに割り当てられた１つのフィルタから構成される。図２では、Ｇの色のフィルタが市松状、すなわちモザイク状またはチェッカー状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配列されている。
【０００５】
ベイヤー配列の色フィルタアレイが表面に配置されたイメージセンサ１１においては、ＲまたはＢの色の光を受光する画素よりもＧの色の光を受光する画素の密度が高いという特徴がある。
【０００６】
また、イメージセンサ１１においては、１つの画素はＲ、Ｇ、またはＢのいずれか１つの色の画素信号しか出力することができない。したがって、単板のイメージセンサ１１からは、Ｒの成分の値を有する画素、Ｇの成分の値を有する画素、およびＢの成分の値を有する画素から構成される画像信号が出力される。
【０００７】
ここで、CMOSを利用したイメージセンサ１１の１画素の等価回路は、図３に示すように構成される。等価回路４１は、フォトダイオード５１およびn型のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）５２乃至MOSFET５４により構成される。フォトダイオード５１のカソードは、ノードＮを介して、MOSFET５２のゲートおよびMOSFET５４のソースに接続されている。フォトダイオード５１のアノードは接地されている。MOSFET５２のドレインは、MOSFET５４のドレイン、および、リセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET５２のソースは、MOSFET５３のドレインに接続されている。MOSFET５３のゲートは、垂直選択線５５に接続され、ソースは、信号線５６に接続されている。MOSFET５４のゲートは、リセット線５７に接続されている。
【０００８】
次に、等価回路４１の動作の概要を説明する。まず、リセット線５７を介してMOSFET５４のゲートにリセット信号が入力され、MOSFET５４がオンすると、ノードＮの電位がリセット電圧Vrstのレベルにリセットされる。フォトダイオード５１は、フォトダイオード５１に入射した光の強さに応じた電荷を光電変換により発生し、発生した電荷はMOSFET５４がオフされた後、ノードＮに蓄積され、ノードＮの電位が変化する。
【０００９】
そして、垂直選択線５５を介して、スイッチとしてのMOSFET５３のゲートに選択信号が印加され、MOSFET５３がオンされると、１つの画素の輝度値、すなわち１画素分の画素値を表す画素信号が、MOSFET５２およびMOSFET５３を介して、信号線５６に出力される。このとき、MOSFET５２は増幅器として働き、ノードＮの電位の変化が、MOSFET５２により増幅されて、画素信号の値の変化として現れる。その後、再び、リセット信号によりMOSFET５４がオンされ、ノードＮの電位がリセットされた後、電荷の蓄積が開始される。
【００１０】
そして、イメージセンサ１１からは、各画素からの画素信号を所定の順序で配列した画像信号が出力される。
【００１１】
また、３板のイメージセンサを用いた撮像装置においては、図４に示すように、１枚のチップからなる３つの単板のイメージセンサ９１−１乃至イメージセンサ９１−３のそれぞれが、被写体から入射した光を受光し、画像信号としてのＲ（赤）の画素信号、Ｇ（緑）の画素信号、およびＢ（青）の画素信号を出力する。
【００１２】
すなわち、被写体からの光はダイクロイックプリズム９２において、Ｒの光、Ｇの光、およびＢの光に分離され、分離されたＲの光、Ｇの光、およびＢの光のそれぞれは、イメージセンサ９１−１乃至イメージセンサ９１−３のそれぞれに入射されて受光される。
【００１３】
また、イメージセンサ９１−１乃至イメージセンサ９１−３の表面には、それぞれＲ、Ｇ、およびＢの色のフィルタからなる色フィルタアレイが配置されており、イメージセンサ９１−１乃至イメージセンサ９１−３のそれぞれは、ダイクロイックプリズム９２から入射したＲ、Ｇ、およびＢの光のそれぞれを受光して、受光した光の色の画素信号を画素単位で出力する。
【００１４】
したがって、イメージセンサ９１−１乃至イメージセンサ９１−３の画素のそれぞれはＲ、Ｇ、およびＢの画素信号のそれぞれを出力するので、イメージセンサ９１−１乃至イメージセンサ９１−３のそれぞれからは、Ｒの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれが出力されることになる。なお、以下、イメージセンサ９１−１乃至イメージセンサ９１−３のそれぞれを個々に区別する必要のない場合、単にイメージセンサ９１と称する。
【００１５】
このように、３板のイメージセンサ９１を用いた撮像装置においては、Ｒの画像信号、Ｇの画像信号、およびＢの画像信号からなる画像信号、すなわち１つの画素がＲ、Ｇ、およびＢの成分の値を有する画素から構成される画像信号を得ることができる。
【００１６】
これに対して、単板のイメージセンサ１１を用いた撮像装置は、１つの画素からＲ、Ｇ、およびＢの各色の画素信号を得ることができず、各色の成分の値を有する画素の密度が低くなるため画質が粗いという欠点があるが、３板のイメージセンサ９１を用いた撮像装置よりもコストが低く、撮像装置の小型化を図ることができるため普及してきている。
【００１７】
しかしながら、単板のイメージセンサ１１を用いた撮像装置においては、撮像された画像の１つの画素からは、Ｒ、Ｇ、またはＢのいずれかの色の画素信号しか得ることができないので、単板のイメージセンサ１１を用いた撮像装置により撮像された画像である単板画像は、３板のイメージセンサ９１を用いた撮像装置により撮像された画像である３板画像と比較して画像が有する情報量が３分の１となってしまう。
【００１８】
そのため、通常の画像フォーマットで用いられる、各画素がＲ、Ｇ、およびＢの画素信号の値を有する画像信号を得るためには、デモザイキング処理または色分離処理と称される、単板画像の画像信号を３板画像の画像信号に変換する処理を画像信号に施さなければならなかった。
【００１９】
このようなデモザイキング処理により単板画像の画像信号から３板画像の画像信号を得ることは容易ではなく、デモザイキング処理により得られた３板画像は、３板のイメージセンサ９１を用いた撮像装置により撮像された３板画像と比較して解像度感が不充分な画像となってしまったり、画像に色ずれなどの破綻が生じたりしてしまうことがあった。
【００２０】
そこで、クラス分類適応処理により単板画像の画像信号を３板画像の画像信号に変換することによって、より解像度感があり、破綻の少ない画像を得る方法が提案されている（例えば、特許文献１参照）。
【００２１】
また、クラス分類適応処理により単板画像の画像信号を３板画像の画像信号に変換するだけでなく、さらに、単板画像の画像信号から、より解像度の高い３板画像の画像信号、例えば、縦２倍×横２倍である、４倍の解像度の３板画像の画像信号を得る方法も提案されている（例えば、特許文献２参照）。
【００２２】
【特許文献１】特開２０００−３４１７０６号公報
【００２３】
【特許文献２】特開２０００−３４１７０５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上述した技術においては、クラス分類適応処理によって単板画像からより精度よく高精細な画像を得ることは困難であった。
【００２５】
例えば、単板画像から、単板画像の４倍の解像度の３板画像を得るためには、単板画像が有する画像の情報量を１２倍にする必要があった。すなわち、単板のイメージセンサの１つの画素からは、Ｒ、Ｇ、またはＢのいずれか１つの色の画素信号しか得ることができないので、単板画像を解像度の等しい３板画像に変換するには、単板画像の各画素の他の２つの色の画素信号を予測して、情報量を３倍にしなければならない。そして、単板画像の４倍の解像度を有する３板画像を得るためには、変換により得られた３板画像の解像度を４倍にするので、情報量をさらに４倍にしなければならない。
【００２６】
このように、情報量の少ない単板画像の画像信号から、より情報量の多い３板画像の画像信号をより精度よく得ることは困難であった。
【００２７】
本発明は、このような状況に鑑みてなされたものであり、より精度よく高精細な画像を得ることができるようにするものである。
【課題を解決するための手段】
【００２８】
本発明の第１の側面のイメージセンサは、１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサであって、１つの画素内に、入射する所定の色の光の光量を検出する複数の検出手段と、複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段とを備える。
【００２９】
イメージセンサには、１つの画素内に、複数の前記光量を示す値のそれぞれを基に、前記画素の所定の特徴の特徴量を示す画素内特徴量情報を生成する画素内特徴量情報生成手段をさらに設けることができる。
【００３０】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させることができる。
【００３１】
本発明の第１の側面の撮像方法は、１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサの撮像方法であって、１つの画素の受光面に配置された複数の検出部により、入射する所定の色の光の光量を検出し、複数の前記検出部により検出された光量を示す値のそれぞれからなる画素信号の出力を制御するステップを含む。
【００３２】
本発明の第１の側面においては、１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサの１つの画素に配置された複数の検出手段により、入射する所定の色の光の光量が検出され、複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力が制御される。
【００３３】
本発明の第２の側面の画像処理装置は、第１の画像信号を第２の画像信号に変換する画像処理装置であって、前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出するクラスタップ抽出手段と、前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段とを備える。
【００３４】
画像処理装置には、前記第１の画像信号の１つの画素値を表わす画素信号を出力する単位である１つの画素内に配置され、入射する所定の色の光の光量を検出する複数の検出手段と、複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段と、複数の前記光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段とをさらに設けることができる。
【００３５】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させることができる。
【００３６】
本発明の第２の側面の画像処理方法またはプログラムは、第１の画像信号を第２の画像信号に変換する画像処理方法またはプログラムであって、前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出し、前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算するステップを含む。
【００３７】
本発明の第２の側面においては、第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素が、第１の画像信号から予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素が、クラスタップとして前記第１の画像信号から抽出され、前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とが用いられて、前記注目画素のクラス分類が行われ、前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとが用いられて、前記注目画素の画素値が予測演算される。
【００３８】
本発明の第３の側面の学習装置は、第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習を行う学習装置であって、前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める演算手段とを備える。
【００３９】
学習装置には、前記第１の画像信号に対応する画像信号の１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサをさらに設け、前記イメージセンサには、１つの画素内に、入射する所定の色の光の光量を検出する複数の検出手段と、複数の前記検出手段により検出された光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段とを設けることができる。
【００４０】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させることができる。
【００４１】
学習装置には、前記第２の画像信号よりも解像度の高い第３の画像信号の所定の画素の画素値の和の値を用いて前記画素内特徴量情報を生成する画素内特徴量情報生成手段をさらに設けることができる。
【００４２】
本発明の第３の側面の学習方法またはプログラムは、第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習方法またはプログラムであって、前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出し、前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い、前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求めるステップを含む。
【００４３】
本発明の第３の側面においては、第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数が求められる場合に、前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いられる複数の画素が、前記第１の画像信号に対応する画像信号から予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いられる複数の画素が、前記第１の画像信号に対応する画像信号からクラスタップとして抽出され、前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とが用いられて、前記注目画素のクラス分類が行われ、前記注目画素および前記予測タップが用いられて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数が求められる。
【発明の効果】
【００４４】
本発明の第１の側面によれば、画像を撮像することができる。特に、本発明の第１の側面によれば、より精度よく高精細な画像を得ることができる。
【００４５】
また、本発明の第２の側面によれば、高精細な画像を得ることができる。特に、本発明の第２の側面によれば、より精度よく高精細な画像を得ることができる。
【００４６】
さらに、本発明の第３の側面によれば、高精細な画像を予測可能なタップ係数を得ることができる。特に、本発明の第３の側面によれば、より精度よく高精細な画像を予測可能なタップ係数を得ることができる。
【発明を実施するための最良の形態】
【００４７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４８】
本発明の第１の側面のイメージセンサは、１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサであって、１つの画素内に、入射する所定の色の光の光量を検出する複数の検出手段（例えば、図８のフォトダイオード１９１およびフォトダイオード１９２−１乃至フォトダイオード１９２−４）と、複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段（例えば、図８のMOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４）とを備える。
【００４９】
イメージセンサには、１つの画素内に、複数の前記光量を示す値のそれぞれを基に、前記画素の所定の特徴の特徴量を示す画素内特徴量情報を生成する画素内特徴量情報生成手段（例えば、図８の特徴量情報算出回路２３３）をさらに設けることができる。
【００５０】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させる（例えば、図１４のステップＳ１５の処理）ことができる。
【００５１】
本発明の第１の側面の撮像方法は、１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサの撮像方法であって、１つの画素の受光面に配置された複数の検出部により、入射する所定の色の光の光量を検出し（例えば、図１４のステップＳ１１）、複数の前記検出部により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する（例えば、図１４のステップＳ１２）ステップを含む。
【００５２】
本発明の第２の側面の画像処理装置は、第１の画像信号を第２の画像信号に変換する画像処理装置であって、前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出する予測タップ抽出手段（例えば、図６のタップ抽出部１５１）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出するクラスタップ抽出手段（例えば、図６のタップ抽出部１５２）と、前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図６のクラス分類部１５４）と、前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段（例えば、図６の予測演算部１５６）とを備える。
【００５３】
画像処理装置には、前記第１の画像信号の１つの画素値を表わす画素信号を出力する単位である１つの画素内に配置され、入射する所定の色の光の光量を検出する複数の検出手段（例えば、図８のフォトダイオード１９１およびフォトダイオード１９２−１乃至フォトダイオード１９２−４）と、複数の前記検出手段により検出された光量を示す値のそれぞれからなる画素信号の出力を制御する出力制御手段（例えば、図８のMOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４）と、複数の前記光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段（例えば、図８の特徴量情報算出回路２３３）とをさらに設けることができる。
【００５４】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させる（例えば、図１４のステップＳ１５の処理）ことができる。
【００５５】
本発明の第２の側面の画像処理方法またはプログラムは、第１の画像信号を第２の画像信号に変換する画像処理方法またはプログラムであって、前記第２の画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号から予測タップとして抽出し（例えば、図１４のステップＳ１６）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、クラスタップとして前記第１の画像信号から抽出し（例えば、図１４のステップＳ１７）、前記クラスタップと、前記第１の画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い（例えば、図１４のステップＳ１９）、前記注目画素のクラスについて予め求められているタップ係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する（例えば、図１４のステップＳ２１）ステップを含む。
【００５６】
本発明の第３の側面の学習装置は、第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習を行う学習装置であって、前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出する予測タップ抽出手段（例えば、図１５のタップ抽出部４６２）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出するクラスタップ抽出手段（例えば、図１５のタップ抽出部４６３）と、前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図１５のクラス分類部４６５）と、前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める演算手段（例えば、図１５の行列演算回路４６８）とを備える。
【００５７】
学習装置には、前記第１の画像信号に対応する画像信号の１つの画素値を表わす画素信号を出力する単位である画素を複数個有するイメージセンサ（例えば、図１７のイメージセンサ４９２）をさらに設け、前記イメージセンサには、１つの画素内に、入射する所定の色の光の光量を検出する複数の検出手段（例えば、図１８のフォトダイオード５４１およびフォトダイオード５４５−１乃至フォトダイオード５４５−４）と、複数の前記検出手段により検出された光量を示す値のそれぞれを基に、前記画素内特徴量情報を生成する画素内特徴量情報生成手段（例えば、図１８の特徴量情報算出回路５３３）とを設けることができる。
【００５８】
前記画素内特徴量情報生成手段には、前記画素におけるエッジの方向を示すエッジ情報、前記光量を示す値のダイナミックレンジを示すダイナミックレンジ情報、または前記画素内の前記光量を示す値の勾配を示す勾配情報を前記画素内特徴量情報として生成させる（例えば、図１９のステップＳ９３の処理）ことができる。
【００５９】
学習装置には、前記第２の画像信号よりも解像度の高い第３の画像信号の所定の画素の画素値の和の値を用いて前記画素内特徴量情報を生成する画素内特徴量情報生成手段（例えば、図２０の画素内特徴量情報生成部５７４）をさらに設けることができる。
【００６０】
本発明の第３の側面の学習方法またはプログラムは、第１の画像信号を第２の画像信号に変換する処理を行うのに用いられるタップ係数を求める学習方法またはプログラムであって、前記第２の画像信号に対応する画像信号の注目している画素である注目画素を予測するために用いる複数の画素を、前記第１の画像信号に対応する画像信号から予測タップとして抽出し（例えば、図１６のステップＳ５３）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素を、前記第１の画像信号に対応する画像信号からクラスタップとして抽出し（例えば、図１６のステップＳ５４）、前記クラスタップと、前記第１の画像信号に対応する画像信号の各画素の所定の特徴の特徴量を示す画素内特徴量情報とを用いて、前記注目画素のクラス分類を行い（例えば、図１６のステップＳ５６）、前記注目画素および前記予測タップを用いて、前記予測タップから前記注目画素を予測するために用いられる、前記注目画素のクラスに対応する前記タップ係数を求める（例えば、図１６のステップＳ５９）ステップを含む。
【００６１】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００６２】
図５は、撮像装置が、単板画像からより高精細な３板画像を生成する処理の原理を表わしている。図５に示すように、撮像装置においては、ｎ×ｍの単板画像の画像信号から、ｎ×ｍのＲ（赤）の画像信号、ｎ×ｍのＧ（緑）の画像信号、およびｎ×ｍのＢ（青）の画像信号が、それぞれ直接演算により生成される。換言すれば、撮像装置は、単板のイメージセンサが出力する画像信号を、Ｒの画像信号、Ｇの画像信号、およびＢの画像信号からなる３板画像の画像信号に変換する。
【００６３】
撮像装置の単板のイメージセンサの表面には色フィルタアレイが配置されており、色フィルタアレイの色配列は、例えば図５の左側に示すように、ベイヤー配列と称される色配列とされる。図５では、Ｇの色のフィルタが市松状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配置されている。
【００６４】
図６は、以上のような原理に従って、被写体を撮像して高精細な画像信号を生成する撮像装置の構成例を示すブロック図である。
【００６５】
例えばビデオカメラよりなる撮像装置１３１は、イメージセンサ１４１および画像処理部１４２から構成される。
【００６６】
イメージセンサ１４１は、例えば、CMOSイメージセンサなどから構成され、イメージセンサ１４１の表面には、図５に示したように１画素ごとに割り当てられたフィルタから構成される色フィルタアレイが配置されている。また、イメージセンサ１４１は撮像者の操作に応じて、入射した被写体からの光を光電変換し、これにより得られた単板画像の画像信号を画像処理部１４２のタップ抽出部１５１およびタップ抽出部１５２に供給する。
【００６７】
さらに、イメージセンサ１４１は、入射した被写体からの光を光電変換して得られた信号を基に、イメージセンサ１４１の各画素の所定の特徴の特徴量を示す画素内特徴量情報を生成する。イメージセンサ１４１は、生成した画素内特徴量情報を画像処理部１４２のクラス分類部１５４に供給する。
【００６８】
画像処理部１４２は、単板画像の画像信号を３板画像の画像信号に変換する処理を行う。より具体的には、画像処理部１４２は、イメージセンサ１４１から供給された単板画像の画像信号および画素内特徴量情報を用いて３板画像の画像信号を生成し、生成した３板画像の画像信号を図示せぬ記録媒体に供給して記録させたり、撮像装置１３１に接続された図示せぬ他の装置に供給したりする。
【００６９】
画像処理部１４２は、タップ抽出部１５１、タップ抽出部１５２、ADRC（Adaptive Dynamic Range Control）処理部１５３、クラス分類部１５４、係数メモリ１５５、および予測演算部１５６から構成される。
【００７０】
タップ抽出部１５１は、イメージセンサ１４１から供給された画像信号を変換して得ようとする３板画像の画像信号を構成する画素を、順次、注目画素とし、イメージセンサ１４１から供給された画像信号を構成する画素のいくつかを、注目画素の画素値を予測するために用いられる予測タップとして抽出する。また、タップ抽出部１５１は、抽出した予測タップを予測演算部１５６に供給する。
【００７１】
なお、イメージセンサ１４１から供給された画像信号を変換して得ようとする３板画像の画像信号は、これから求めようとする画像信号であるので、現段階では存在しないため仮想的に想定される。
【００７２】
タップ抽出部１５２は、イメージセンサ１４１から供給された画像信号を構成する画素のいくつかを、注目画素を複数のクラスのうちのいずれかにクラス分けするためのクラスタップとして抽出し、抽出したクラスタップをADRC処理部１５３に供給する。
【００７３】
ADRC処理部１５３は、タップ抽出部１５２から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類部１５４に供給する。クラス分類部１５４は、ADRC処理部１５３から供給されたクラスタップ、およびイメージセンサ１４１から供給された画素内特徴量情報を用いて注目画素をクラス分類し、分類されたクラスを示すクラスコードを係数メモリ１５５に供給する。
【００７４】
係数メモリ１５５は、注目画素の画素値を予測するために用いられるクラスごとのタップ係数のセットを記憶する。例えば、係数メモリ１５５には、各クラスに分類された注目画素のＲの画素値を予測するためのタップ係数、Ｇの画素値を予測するためのタップ係数、およびＢの画素値を予測するためのタップ係数が予め記憶されている。
【００７５】
また、係数メモリ１５５は、クラス分類部１５４から供給されたクラスコードに対応するタップ係数を予測演算部１５６に供給する。
【００７６】
予測演算部１５６は、係数メモリ１５５から供給されたタップ係数を、タップ抽出部１５１から供給された予測タップを構成する画素の画素値に乗算して、必要な画素値を予測演算することにより３板画像の画像信号を生成する。
【００７７】
ところで、複数の画素を有するイメージセンサ１４１の１つの画素は、光を受光して光電変換する受光素子として５つのフォトダイオードを含むように構成されている。例えば、図７の左上の図に示すように、１つの画素の受光面の領域１８１には、フォトダイオード１９１およびフォトダイオード１９２−１乃至フォトダイオード１９２−４が配置されている。フォトダイオード１９１は、領域１８１の略中央に配置され、その受光面の形状は正方形とされている。また、フォトダイオード１９２−１乃至フォトダイオード１９２−４のそれぞれは、フォトダイオード１９１を囲むようにフォトダイオード１９１と隣接してその周囲に配置され、それらの受光面の形状は鉤型とされている。
【００７８】
なお、以下、フォトダイオード１９２−１乃至フォトダイオード１９２−４のそれぞれを個々に区別する必要のない場合、単にフォトダイオード１９２と称する。
【００７９】
イメージセンサ１４１の受光面には、これらの５つのフォトダイオード１９１およびフォトダイオード１９２から構成される画素が複数並べられて配列されており、それぞれの画素の表面にはＲ、Ｇ、またはＢのいずれかの色の光だけを透過させるフィルタが配列された色フィルタアレイが配置されている。この色フィルタアレイの色配列は、例えば、図７の右下の図に示すようにベイヤー配列とされており、１つの画素を構成するフォトダイオード１９１およびフォトダイオード１９２は、Ｒ、Ｇ、またはＢのいずれか１つの色の光を受光して光電変換する。
【００８０】
なお、ここでは、画素内に含まれるフォトダイオード、すなわち、入射した光の光量を検出する検出手段の数に関わらず、イメージセンサ１４１から出力される画像信号を構成する１つの画素値を表す画素信号を出力する単位を１画素とする。
【００８１】
図８は、CMOSを利用したイメージセンサ１４１の１画素の等価回路２２１の構成の例を示す回路図である。等価回路２２１は、信号検出回路２３１、信号検出回路２３２−１乃至信号検出回路２３２−４、特徴量情報算出回路２３３、およびMOSFET２３４から構成される。
【００８２】
CMOSを利用したイメージセンサは、画素内に入射した光を受光して得られた信号を増幅する信号増幅機能を有するイメージセンサである。これに対して、CCDを利用したイメージセンサは、画素内に信号増幅機能を有さないイメージセンサである。
【００８３】
信号検出回路２３１および信号検出回路２３２−１乃至信号検出回路２３２−４は、図３を参照して上述した従来のイメージセンサ１１の等価回路４１とほぼ同様の構成をしている。
【００８４】
すなわち、信号検出回路２３１は、フォトダイオード１９１およびｎ型のMOSFET２４１乃至MOSFET２４３から構成される。フォトダイオード１９１のカソードは、ノードＮｍを介して、MOSFET２４１のゲートおよびMOSFET２４３のソースに接続されている。フォトダイオード１９１のアノードは接地されている。MOSFET２４１のドレインは、MOSFET２４３のドレイン、およびリセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET２４１のソースは、MOSFET２４２のドレインに接続されている。MOSFET２４２のゲートは、垂直選択線２３５に接続され、ソースは、画素信号線２３６に接続されている。MOSFET２４３のゲートは、リセット線２３８に接続されている。ノードＮｍは、特徴量情報算出回路２３３に接続されている。
【００８５】
また、同様に信号検出回路２３２−１乃至信号検出回路２３２−４は、それぞれ、フォトダイオード１９２−１乃至フォトダイオード１９２−４、並びにｎ型のMOSFET２５１−１乃至MOSFET２５１−４、MOSFET２５２−１乃至MOSFET２５２−４、およびMOSFET２５３−１乃至MOSFET２５３−４から構成される。フォトダイオード１９２−１乃至フォトダイオード１９２−４のカソードは、それぞれ、ノードＮ１乃至ノードＮ４を介して、MOSFET２５１−１乃至MOSFET２５１−４のゲートおよびMOSFET２５３−１乃至MOSFET２５３−４のソースに接続されている。フォトダイオード１９２−１乃至フォトダイオード１９２−４のアノードは接地されている。
【００８６】
MOSFET２５１−１乃至MOSFET２５１−４のドレインは、それぞれ、MOSFET２５３−１乃至MOSFET２５３−４のドレイン、およびリセット電圧Vrstを供給する図示せぬ電圧源に接続されている。MOSFET２５１−１乃至MOSFET２５１−４のソースは、それぞれ、MOSFET２５２−１乃至MOSFET２５２−４のドレインに接続されている。MOSFET２５２−１乃至MOSFET２５２−４のゲートは、垂直選択線２３５に接続され、ソースは、画素信号線２３６に接続されている。MOSFET２５３−１乃至MOSFET２５３−４のゲートは、リセット線２３８に接続されている。また、ノードＮ１乃至ノードＮ４は、特徴量情報算出回路２３３に接続されている。
【００８７】
MOSFET２３４のドレインは、特徴量情報算出回路２３３に接続され、ゲートは垂直選択線２３５に接続され、ソースは特徴量情報信号線２３７に接続されている。
【００８８】
ここで、等価回路２２１の動作の概要を説明する。まず、リセット線２３８を介して、MOSFET２４３およびMOSFET２５３−１乃至MOSFET２５３−４のゲートに、リセット信号が入力され、MOSFET２４３およびMOSFET２５３−１乃至MOSFET２５３−４がオンすると、ノードＮｍおよびノードＮ１乃至ノードＮ４の電位がリセット電圧Vrstのレベルにリセットされる。フォトダイオード１９１およびフォトダイオード１９２−１乃至フォトダイオード１９２−４は、それぞれ、フォトダイオード１９１および１９２−１乃至１９２−４に入射した光の強さに応じた電荷を光電変換により発生し、発生した電荷は、MOSFET２４３およびMOSFET２５３−１乃至MOSFET２５３−４がオフされた後、それぞれノードＮｍおよびノードＮ１乃至ノードＮ４に蓄積され、ノードＮｍおよびノードＮ１乃至ノードＮ４の電位が変化する。
【００８９】
次に、垂直選択線２３５を介して、スイッチとしてのMOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４のゲートに選択信号が印加され、MOSFET２４２およびMOSFET２５２−１乃至MOSFET２５２−４がオンされると、信号検出回路２３１および信号検出回路２３２−１乃至信号検出回路２３２−４の各輝度値を表す信号が、それぞれ、MOSFET２４１およびMOSFET２４２、MOSFET２５１−１およびMOSFET２５２−１、MOSFET２５１−２およびMOSFET２５２−２、MOSFET２５１−３およびMOSFET２５２−３、並びにMOSFET２５１−４およびMOSFET２５２−４を介して、画素信号線２３６に出力される。
【００９０】
このとき、MOSFET２４１およびMOSFET２５１−１乃至MOSFET２５１−４は増幅器として働き、ノードＮｍおよびＮ１乃至ノードＮ４の電位の変化が、それぞれ、MOSFET２４１およびMOSFET２５１−１乃至MOSFET２５１−４により増幅されて、画素信号線２３６に出力される信号の変化として現れる。
【００９１】
信号検出回路２３１および信号検出回路２３２−１乃至信号検出回路２３２−４から出力された信号は、画素信号線２３６において足し合わされ、足し合わされた信号が、等価回路２２１により構成される１つの画素の輝度値、すなわち１つの画素の画素値を表す画素信号として外部に出力される。
【００９２】
なお、１画素分の画素信号として、例えば、信号検出回路２３１および信号検出回路２３２−１乃至信号検出回路２３２−４から出力される信号のうち１つを選択したり、いくつかを選択して足し合わせた信号としたりするようにしてもよい。
【００９３】
その後、再び、リセット信号により、MOSFET２４３およびMOSFET２５３−１乃至MOSFET２５３−４がオンされ、ノードＮｍおよびノードＮ１乃至ノードＮ４の電位がリセットされた後、電荷の蓄積が開始される。
【００９４】
そして、イメージセンサ１４１からは、複数の各画素からの画素信号を所定の順序で配列した画像信号が、タップ抽出部１５１およびタップ抽出部１５２に出力される。
【００９５】
また、フォトダイオード１９１により検出された光量を示す値である、ノードＮｍの電位と接地電位間の電圧Vpdm、およびフォトダイオード１９２−１乃至フォトダイオード１９２−４により検出された光量を示す値である、ノードＮ１乃至ノードＮ４の電位と接地電位間の電圧Vpd1乃至Vpd4が、特徴量情報算出回路２３３に入力される。
【００９６】
特徴量情報算出回路２３３は、入力された電圧Vpdmおよび電圧Vpd1乃至Vpd4に基づいて、画素内特徴量情報を生成する。垂直選択線２３５を介して、スイッチとしてのMOSFET２３４のゲートに選択信号が印加され、MOSFET２３４がオンされると、特徴量情報算出回路２３３から、画素内特徴量情報が特徴量情報信号線２３７に出力される。
【００９７】
そして、イメージセンサ１４１からは、各画素からの画素内特徴量情報を所定の順序で配列した画素内特徴量情報が、対応する画像信号と同期して、クラス分類部１５４に出力される。
【００９８】
なお、以下、信号検出回路２３２−１乃至信号検出回路２３２−４のそれぞれを個々に区別する必要のない場合、単に信号検出回路２３２と称する。また、以下、MOSFET２５１−１乃至MOSFET２５１−４のそれぞれを個々に区別する必要のない場合、単にMOSFET２５１と称する。
【００９９】
同様に、以下、MOSFET２５２−１乃至MOSFET２５２−４のそれぞれを個々に区別する必要のない場合、単にMOSFET２５２と称し、MOSFET２５３−１乃至MOSFET２５３−４のそれぞれを個々に区別する必要のない場合、単にMOSFET２５３と称する。
【０１００】
ところで、特徴量情報算出回路２３３においては、例えば、画素内のフォトダイオード１９１およびフォトダイオード１９２において検出された光の光量の勾配を示す勾配情報、画素におけるエッジの方向を示すエッジ情報、フォトダイオード１９１およびフォトダイオード１９２において検出された光の光量の時間方向または空間方向のダイナミックレンジを示すダイナミックレンジ情報などを画素内特徴量情報として生成することができる。
【０１０１】
以下、特徴量情報算出回路２３３が画素内特徴量情報として勾配情報を生成する場合について説明する。そのような場合、特徴量情報算出回路２３３は、例えば、図９に示すように構成される。
【０１０２】
特徴量情報算出回路２３３は、差分回路２８１−１乃至差分回路２８１−８、比較回路２８２−１乃至比較回路２８２−８、およびＤ／Ａ（Digital/Analog）コンバータ２８３から構成される。
【０１０３】
差分回路２８１−１乃至差分回路２８１−８のそれぞれは、信号検出回路２３１または信号検出回路２３２から供給された電圧の差分、すなわち、画素内の隣接するフォトダイオードにおいて検出された光量を示す値の差分を算出し、算出した差分の値を比較回路２８２−１乃至比較回路２８２−８のそれぞれに供給する。
【０１０４】
より具体的には、差分回路２８１−１は、信号検出回路２３２−１および信号検出回路２３２−２から入力された電圧Vpd1および電圧Vpd2の差分、例えば、Vpd1−Vpd2を算出し、差分回路２８１−２は、信号検出回路２３２−２および信号検出回路２３２−４から入力された電圧Vpd2および電圧Vpd4の差分を算出し、差分回路２８１−３は、信号検出回路２３２−４および信号検出回路２３２−３から入力された電圧Vpd4および電圧Vpd3の差分を算出し、差分回路２８１−４は、信号検出回路２３２−３および信号検出回路２３２−１から入力された電圧Vpd3および電圧Vpd1の差分を算出する。
【０１０５】
差分回路２８１−５は、信号検出回路２３２−１および信号検出回路２３１から入力された電圧Vpd1および電圧Vpdmの差分を算出し、差分回路２８１−６は、信号検出回路２３２−２および信号検出回路２３１から入力された電圧Vpd2および電圧Vpdmの差分を算出する。さらに、差分回路２８１−７は、信号検出回路２３２−３および信号検出回路２３１から入力された電圧Vpd3および電圧Vpdmの差分を算出し、差分回路２８１−８は、信号検出回路２３２−４および信号検出回路２３１から入力された電圧Vpd4および電圧Vpdmの差分を算出する。
【０１０６】
なお、以下、差分回路２８１−１乃至差分回路２８１−８のそれぞれを個々に区別する必要のない場合、単に差分回路２８１と称する。
【０１０７】
比較回路２８２−１乃至比較回路２８２−８のそれぞれは、差分回路２８１−１乃至差分回路２８１−８のそれぞれから供給された差分の値と、基準となる所定の電圧値Vrefとを比較し、その比較結果を示す信号をＤ／Ａコンバータ２８３に供給する。
【０１０８】
以下、比較回路２８２−１乃至比較回路２８２−８のそれぞれを個々に区別する必要のない場合、単に比較回路２８２と称する。
【０１０９】
Ｄ／Ａコンバータ２８３は、比較回路２８２−１乃至比較回路２８２−８のそれぞれから供給された比較結果を示す信号をデジタル信号からアナログ信号に変換し、変換により得られたアナログ信号を画素内特徴量情報として、クラス分類部１５４に供給する。
【０１１０】
例えば、比較回路２８２に供給された差分の値が電圧値Vrefよりも大きい場合、比較結果を示す信号はHighレベルとされ、比較結果を示す信号として“１”が出力される。また、例えば、差分の値が電圧値Vrefよりも小さい場合、比較結果を示す信号はLowレベルとされ、比較結果を示す信号として“０”が出力される。このように、比較回路２８２のそれぞれからＤ／Ａコンバータ２８３には、１ビットの信号が供給される。Ｄ／Ａコンバータ２８３は、供給された８つの１ビットの信号のそれぞれを電圧レベルに変換し、変換により得られた信号を所定の順番で特徴量情報信号線２３７に出力する。
【０１１１】
なお、特徴量情報算出回路２３３は、フォトダイオードの輝度情報としてのアナログの信号、すなわち各ノードの電圧値をそのまま利用するアナログ演算回路により構成されるようにしてもよく、時分割でＡ／Ｄ変換する回路が設けられた、デジタル演算回路により構成されるようにしてもよい。
【０１１２】
特徴量情報算出回路２３３がアナログ演算回路により構成される場合には、例えば、アナログ演算回路における演算結果がそのまま出力されるようにしてもよいし、演算結果が閾値により０若しくは１といった２値、またはいくつかの値に変換されて出力されるようにしてもよい。
【０１１３】
また、特徴量情報算出回路２３３がデジタル演算回路により構成される場合には、例えば、デジタル演算回路における演算結果が２値に縮退されて出力されるようにしてもよい。さらに、デジタル演算回路における多値の演算結果がデジタル信号として出力されるようにしてもよいし、アナログ信号に変換されて出力されるようにしてもよい。
【０１１４】
多値の演算結果がデジタル信号として出力される場合には、例えば、閾値などが用いられて、画素内特徴量情報としてのダイナミックレンジ情報がｎ値化され、離散的なレベルの信号として出力されてもよいし、画素内特徴量情報として、例えば、縦、横、斜め右上、斜め右下の４方向のエッジ情報のそれぞれが、複数の情報が多値に縮退化された４つの離散的なレベルの信号として出力されるようにしてもよい。
【０１１５】
また、特徴量情報算出回路２３３における各演算結果を、上述したように電圧値で表す以外にも、電流値などの他の値で表すようにしてもよい。
【０１１６】
なお、図９を参照して、画素内特徴量情報として勾配情報が生成される場合における特徴量情報算出回路２３３の構成例について説明したが、画素内特徴量情報としてエッジ情報、ダイナミックレンジ情報などが生成される場合においても、上述した差分回路２８１や比較回路２８２、その他、加算回路などを組み合わせることで特徴量情報算出回路２３３を構成することができる。
【０１１７】
以下、図１０乃至図１３を参照して、差分回路２８１、比較回路２８２、および加算回路について説明する。
【０１１８】
図１０は、差分回路２８１の構成例を示す図である。
【０１１９】
差分回路２８１においては、入力端子３２１および入力端子３２２が、それぞれ抵抗３２３および抵抗３２４を介して演算増幅器３２５のプラス端子およびマイナス端子に接続されている。また、演算増幅器３２５の出力端子３２７は、抵抗３２６を介して演算増幅器３２５のマイナス端子に接続されている。さらに、抵抗３２３と演算増幅器３２５のプラス端子との間には、抵抗３２８の一方の端が接続され、抵抗３２８の他方の端は接地されている。
【０１２０】
ここで、入力端子３２１から抵抗３２３および抵抗３２８に流れる電流をＩ１とし、入力端子３２２から抵抗３２４および抵抗３２６に流れる電流をＩ２とする。また、抵抗３２４、抵抗３２３、抵抗３２６、および抵抗３２８のそれぞれの抵抗の大きさをそれぞれＲ１乃至Ｒ４とする。
【０１２１】
入力端子３２１における電圧の大きさをＶ１とすると、入力端子３２１から抵抗３２３および抵抗３２８に流れる電流はＩ１であるので、式（１）が成り立つ。
【０１２２】
Ｉ１＝Ｖ１／（Ｒ２＋Ｒ４）                                              ・・・（１）
【０１２３】
式（１）を用いて、演算増幅器３２５のプラス端子における電圧Ｖｉを式（２）で表わすことができる。
【０１２４】
Ｖｉ＝（Ｒ４／（Ｒ２＋Ｒ４））Ｖ１                                      ・・・（２）
【０１２５】
また、演算増幅器３２５のマイナス端子における電圧は、演算増幅器３２５のプラス端子における電圧Ｖｉと等しいので、入力端子３２２における電圧の大きさをＶ２とすると、入力端子３２２から抵抗３２４および抵抗３２６に流れる電流Ｉ２は、式（３）により表わすことができる。
【０１２６】
Ｉ２＝（Ｖ２−Ｖｉ）／Ｒ１                                              ・・・（３）
【０１２７】
さらに、式（３）に式（２）を代入することにより式（４）を得ることができる。
【０１２８】
Ｉ２＝（１／Ｒ１）Ｖ２−（Ｒ４／（Ｒ１（Ｒ２＋Ｒ４）））Ｖ１              ・・・（４）
【０１２９】
さらに、また、出力端子３２７における電圧をVoutとすると、電圧Voutは、式（５）により表わすことができる。
【０１３０】
Vout＝Ｖｉ−（Ｉ２×Ｒ３）                                            ・・・（５）
【０１３１】
この式（５）のＶｉおよびＩ２にそれぞれ式（２）および式（４）を代入すると、式（６）を得ることができる。
【０１３２】
Vout＝（Ｒ４／（Ｒ２＋Ｒ４））×（（Ｒ１＋Ｒ３）／Ｒ１）Ｖ１−（Ｒ３／Ｒ１）Ｖ２
・・・（６）
【０１３３】
ここで、Ｒ１乃至Ｒ４のそれぞれの大きさが同じであるとすると、式（６）は式（７）により表わすことができる。
【０１３４】
Vout＝Ｖ１−Ｖ２                                                      ・・・（７）
【０１３５】
このように、差分回路２８１においては式（７）により表わされるように、演算増幅器３２５の出力端子３２７における電圧Voutは、入力端子３２１および入力端子３２２に入力された電圧Ｖ１およびＶ２の差で表わすことができる。
【０１３６】
したがって、例えば、図９に示した差分回路２８１−１が、図１０に示した差分回路２８１により構成される場合、入力端子３２１および入力端子３２２には、それぞれ信号検出回路２３２−１および信号検出回路２３２−２から出力された電圧Vpd1および電圧Vpd2が入力される。
【０１３７】
図１１は、比較回路２８２の構成例を示す図である。
【０１３８】
比較回路２８２は、ｐ型のMOSFET３５１、ｐ型のMOSFET３５２、ｎ型のMOSFET３５３、およびｎ型のMOSFET３５４から構成され、例えば、メモリセルなどを構成するセンスアンプ（Sense amplifier）として用いられている。
【０１３９】
MOSFET３５１およびMOSFET３５２のソースは、端子３５５に接続されており、MOSFET３５３およびMOSFET３５４のソースは、端子３５６に接続されている。
【０１４０】
また、MOSFET３５２およびMOSFET３５４のゲートは、MOSFET３５１およびMOSFET３５３のドレイン、並びに入力端子３５７と接続されている。さらに、MOSFET３５１およびMOSFET３５３のゲートは、MOSFET３５２およびMOSFET３５４のドレイン、並びに入力端子３５８および出力端子３５９に接続されている。
【０１４１】
比較回路２８２においては、端子３５５に入力される電圧の電圧値VLsenseおよび端子３５６に入力される電圧の電圧値VHsenseを変化させると、入力端子３５７に入力された電圧の電圧値Ｖ１１、および入力端子３５８に入力された電圧の電圧値Ｖ１２の大小関係に応じて、出力端子３５９から出力される電圧の電圧値Voutが変化する。
【０１４２】
以下、図１２参照して、比較回路２８２の動作について説明する。図１２は、比較回路２８２の端子３５５および端子３５６に印加される電圧の大きさ、並びに出力端子３５９から出力される電圧の大きさの時間的な変化を示す図である。なお、図１２において、縦軸は電圧値を示しており、横軸は時間を示している。
【０１４３】
入力端子３５７および入力端子３５８にそれぞれ電圧値Ｖ１１および電圧値Ｖ１２の電圧が入力された状態で、時刻Ｔ１においてVLsenseがＶＬとなるように端子３５５に電圧が印加されると、VLsenseの値は、曲線３８１に示すように、直線的にＶＬに近づいていき、その値がＶＬとなると、その後は継続してＶＬとなる。ここで、電圧値ＶＬの値は、例えば０Ｖとされる。
【０１４４】
また、時刻Ｔ２においてVHsenseがＶＨとなるように端子３５６に電圧が印加されると、VHsenseの値は、曲線３８２に示すように、直線的にＶＨに近づいていき、その値がＶＨとなると、その後は継続してＶＨとなる。ここで、電圧値ＶＨの値は、例えば、3.3Vまたは1.5Vとされる。
【０１４５】
このように、端子３５５および端子３５６にそれぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると比較回路２８２は活性化されて、出力端子３５９から出力される電圧の電圧値Voutは変化する。
【０１４６】
例えば、電圧値Ｖ１１が電圧値Ｖ１２よりも大きい場合、すなわちＶ１１＞Ｖ１２である場合、MOSFET３５１およびMOSFET３５４がオンされる。
【０１４７】
この状態において、端子３５５および端子３５６に、それぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると、MOSFET３５１がオンされているので、MOSFET３５２およびMOSFET３５４のゲートの電位は端子３５５の電位と等しくなり、MOSFET３５２がオンされる。そして、出力端子３５９の電位は端子３５５の電位と等しくなり、出力端子３５９からは電圧値ＶＬの電圧が出力される。したがって、Voutの値は、曲線３８３に示すように、時刻Ｔ２以降、直線的にＶＬに近づいていき、その値がＶＬとなると、その後は継続してＶＬとなる。
【０１４８】
これに対して、電圧値Ｖ１１が電圧値Ｖ１２よりも小さい場合、すなわちＶ１１＜Ｖ１２である場合、MOSFET３５２およびMOSFET３５３がオンされる。
【０１４９】
この状態において、端子３５５および端子３５６に、それぞれ電圧値ＶＬおよび電圧値ＶＨの電圧が印加されると、MOSFET３５３がオンされているので、MOSFET３５２およびMOSFET３５４のゲートの電位は端子３５６の電位と等しくなり、MOSFET３５４がオンされる。そして、出力端子３５９の電位は端子３５６の電位と等しくなり、出力端子３５９からは電圧値ＶＨの電圧が出力される。したがって、Voutの値は、曲線３８４に示すように、時刻Ｔ２以降、直線的にＶＨに近づいていき、その値がＶＨとなると、その後は継続してＶＨとなる。
【０１５０】
このように、比較回路２８２においては、電圧値Ｖ１１が電圧値Ｖ１２よりも大きい場合、出力端子３５９からは電圧値ＶＬ、すなわちLowレベルの電圧が出力され、電圧値Ｖ１１が電圧値Ｖ１２よりも小さい場合、出力端子３５９からは電圧値ＶＨ、すなわちHighレベルの電圧が出力される。
【０１５１】
図１３は、加算回路の構成例を示す図である。
【０１５２】
加算回路４１１においては、それぞれ静電容量がＣ１乃至Ｃ３である３つのコンデンサ４２１乃至コンデンサ４２３のそれぞれが直列に接続されている。また、コンデンサ４２２の図中下側の平板とコンデンサ４２１の上側の平板を接続する線は入力端子４２４に接続され、コンデンサ４２１の下側の平板は接地されている。さらに、コンデンサ４２３の図中上側の平板は入力端子４２５に接続され、コンデンサ４２３の他方の平板とコンデンサ４２２の図中上側の平板とを接続する線は、出力端子４２６に接続されている。
【０１５３】
コンデンサ４２１乃至コンデンサ４２３のそれぞれに電荷が蓄積されていない状態において、入力端子４２４および入力端子４２５にそれぞれ電圧値Ｖ２１の電圧および電圧値Ｖ２２の電圧が印加されると、コンデンサ４２２およびコンデンサ４２３には、同じ量の電荷が蓄えられるので、出力端子４２６の電圧値Voutの値は、式（８）により表わされる。
【０１５４】
Vout＝（Ｃ２／（Ｃ２＋Ｃ３））Ｖ２１＋（Ｃ３／（Ｃ２＋Ｃ３））Ｖ２２    ・・・（８）
【０１５５】
式（８）において、Ｃ２＝Ｃ３であるとすると、式（８）は次式（９）により表わされる。
【０１５６】
Vout＝（Ｖ２１＋Ｖ２２）／２                                          ・・・（９）
【０１５７】
このように、加算回路４１１においては式（９）により表わされるように、入力端子４２４および入力端子４２５に電圧値Ｖ２１および電圧値Ｖ２２を入力すると、出力として入力された電圧値の平均値を得ることができる。
【０１５８】
次に、図１４のフローチャートを参照して、撮像装置１３１による撮像処理について説明する。この撮像処理は、撮像装置１３１を操作する撮像者が被写体の撮像を指示すると開始される。
【０１５９】
ステップＳ１１において、イメージセンサ１４１は被写体を撮像する。より具体的には、図８を参照して説明したように、フォトダイオード１９１およびフォトダイオード１９２は、入射した光の光量を検出し、検出した光量に応じた電荷を発生する。すなわち、フォトダイオード１９１およびフォトダイオード１９２は、入射した光を受光して光電変換する。これにより、ノードＮｍおよびノードＮ１乃至ノードＮ４のそれぞれに電荷が蓄積され、ノードＮｍおよびノードＮ１乃至ノードＮ４のそれぞれにおける電位が変化する。
【０１６０】
ステップＳ１２において、イメージセンサ１４１は、画像信号を生成してタップ抽出部１５１およびタップ抽出部１５２に供給する。
【０１６１】
より具体的には、図８を参照して説明したように、MOSFET２４２およびMOSFET２５２のゲートに選択信号が印加されると、MOSFET２４２およびMOSFET２５２はオンされて、画素信号を構成する輝度値を表す信号がノードＮｍおよびノードＮ１乃至ノードＮ４のそれぞれから画素信号線２３６に出力される。
【０１６２】
このようにしてMOSFET２４２およびMOSFET２５２から出力された輝度値を表す信号は、画素信号線２３６において足し合わされて１つの画素の画素値を表す画素信号とされる。そして、さらに各画素からの画素信号が所定の順序で配列された信号が、撮像により得られた画像信号としてイメージセンサ１４１からタップ抽出部１５１およびタップ抽出部１５２に出力される。
【０１６３】
また、フォトダイオード１９１およびフォトダイオード１９２において、入射した光の光量が検出されると、検出された光量を示す値である電圧Vpdmおよび電圧Vpd1乃至Vpd4が、特徴量情報算出回路２３３に入力される。
【０１６４】
ステップＳ１３において、差分回路２８１は、信号検出回路２３１または信号検出回路２３２から供給された電圧の差分を算出し、算出した差分を比較回路２８２に供給する。
【０１６５】
ステップＳ１４において、比較回路２８２は、差分回路２８１から供給された差分の値と、基準となる所定の電圧値Vrefとを比較し、その比較結果を示す信号をＤ／Ａコンバータ２８３に供給する。
【０１６６】
ステップＳ１５において、Ｄ／Ａコンバータ２８３は、比較回路２８２から供給された比較結果を示す信号を、デジタル信号からアナログ信号に変換することにより画素内特徴量情報を生成し、生成した画素内特徴量情報をクラス分類部１５４に供給する。
【０１６７】
ステップＳ１６において、タップ抽出部１５１は、イメージセンサ１４１から供給された画像信号から予測タップを抽出し、抽出した予測タップを予測演算部１５６に供給する。
【０１６８】
例えば、タップ抽出部１５１は、これから得ようとする３板画像の画像信号を構成する画素を、順次、注目画素とし、イメージセンサ１４１から供給された画像信号を構成する画素のうち、注目画素に対応する位置の画素を中心とする５×５個の画素を予測タップとして抽出する。
【０１６９】
ステップＳ１７において、タップ抽出部１５２は、イメージセンサ１４１から供給された画像信号からクラスタップを抽出し、抽出したクラスタップをADRC処理部１５３に供給する。
【０１７０】
例えば、タップ抽出部１５２は、タップ抽出部１５１における注目画素と対応を取りながら、イメージセンサ１４１から供給された画像信号を構成する画素のうち、注目画素に対応する位置の画素を中心とする５×５個の画素をクラスタップとして抽出する。なお、クラスタップは予測タップと同一であっても、異なっていてもよい。また、タップの数も５個に限られる訳ではない。
【０１７１】
ステップＳ１８において、ADRC処理部１５３はタップ抽出部１５２から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類部１５４に供給する。
【０１７２】
例えば、ＫビットADRC処理においては、ADRC処理部１５３は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。ADRC処理部１５３はこのダイナミックレンジＤＲに基づいて、クラスタップを構成する画素の画素値をＫビットに再量子化する。即ち、ADRC処理部１５３は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2Kで除算して量子化する。
【０１７３】
そして、ADRC処理部１５３は、以上のようにして得られるクラスタップを構成するＫビットの各画素の画素値を所定の順番で並べたビット列を、ADRCコードとして出力する。したがって、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に最大値MAXと最小値MINとの差の１／２で除算され、これにより、各画素の画素値が１ビットの値となるように２値化される。そして、その１ビットの画素値を所定の順番で並べたビット列がADRCコードとして出力される。なお、より詳細には、クラスタップを構成する各画素の画素値から、最小値MINが減算されて最大値MAXと最小値MINとの差の１／２で除算された値の小数点以下の値は切り捨てられる。
【０１７４】
ステップＳ１９において、クラス分類部１５４は、ADRC処理部１５３から供給されたADRCコード、およびイメージセンサ１４１から供給された画素内特徴量情報に基づいて注目画素のクラス分類を行う。すなわち、クラス分類部１５４は、ADRCコードおよび画素内特徴量情報に基づいて注目画素のクラスを決定し、そのクラスを示すクラスコードを生成して係数メモリ１５５に供給する。
【０１７５】
例えば、ADRCコードが５ビットのビット列であり、画素内特徴量情報が８ビットのビット列である場合、クラス分類部１５４は、ADRCコードと、注目画素の位置に対応する位置の単板画像の画素から出力された画素内特徴量情報とが順番に並べられて連結されたビット列をクラスコードとして係数メモリ１５５に供給する。この場合、クラスコードは１３ビットのビット列であり、１３ビットで表現できる数字は０乃至８１９１であるので、注目画素は、８１９２個のクラスのうちのいずれかのクラスに分類される。
【０１７６】
ステップＳ２０において、係数メモリ１５５は、記憶しているタップ係数のうち、クラス分類部１５４から供給されたクラスコードに対応するタップ係数を読み出して予測演算部１５６に供給する。すなわち、係数メモリ１５５は、注目画素のクラスに対応するタップ係数を予測演算部１５６に供給する。
【０１７７】
ステップＳ２１において、予測演算部１５６は、係数メモリ１５５から供給されたタップ係数をタップ抽出部１５１から供給された予測タップに乗算することで、注目画素の画素値の予測演算を行う。予測演算部１５６は、予測演算により注目画素の画素値を求めて３板画像の画像信号を生成して出力する。
【０１７８】
ステップＳ２２において、タップ抽出部１５１は、全ての画素を処理したかを判定する。タップ抽出部１５１は、まだ注目画素とされていない画素がある場合、全ての画素を処理してないと判定する。
【０１７９】
ステップＳ２２において、全ての画素を処理してないと判定された場合、処理はステップＳ１６に戻り、それ以降の処理が繰り返される。
【０１８０】
これに対して、ステップＳ２２において、全ての画素を処理したと判定された場合、３板画像の全ての画素が注目画素とされて、注目画素の画素値が求められたので、撮像処理は終了する。
【０１８１】
以上のような処理が各フレームごとに実行される。
【０１８２】
このようにして、撮像装置１３１は、被写体を撮像するとともに画素内特徴量情報を生成し、生成された画素内特徴量情報およびクラスタップを用いて注目画素のクラス分類を行う。そして、撮像装置１３１は、注目画素のクラスに対応するタップ係数を用いて注目画素の画素値を求めて３板画像の画像信号を生成する。
【０１８３】
このように、画素内特徴量情報およびクラスタップに基づいて注目画素をクラスに分類して注目画素の画素値を予測することで、より多くの情報を用いてクラス分類適応処理を行うことができ、より高精細な３板画像の画像信号をより精度よく生成することができる。
【０１８４】
なお、以上においては、画素内特徴量情報として、勾配情報を生成する例について説明したが、その他、画素におけるエッジの方向を示すエッジ情報や、ダイナミックレンジ情報を画素内特徴量情報として生成するようにしてもよい。
【０１８５】
例えば、画素内特徴量情報として、ダイナミックレンジ情報を生成する場合、特徴量情報算出回路２３３は、信号検出回路２３１および信号検出回路２３２から供給された電圧のうちの最大の値と最小の値との差を求め、その差の値を示すダイナミックレンジ情報を画素内特徴量情報として生成する。
【０１８６】
次に、図６の予測演算部１５６における予測演算と、係数メモリ１５５に記憶されるタップ係数の学習について説明する。
【０１８７】
例えば、クラス分類適応処理として、単板画像の画像信号から予測タップを抽出し、その予測タップとタップ係数とを用いて、３板画像の画素（以下、適宜、高画質画素と称する）の画素値を所定の予測演算によって求めることを考える。
【０１８８】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、式（１０）に示す線形１次式によって求められることになる。
【０１８９】
【数１】
2007235311.tif 000003
【０１９０】
但し、式（１０）において、ｘnは、高画質画素の画素値ｙについての予測タップを構成する、ｎ番目の単板画像の画像信号の画素（以下、適宜、低画質画素と称する）の画素値を表し、ｗnは、ｎ番目の低画質画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１０）では、予測タップがＮ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１９１】
ここで、高画質画素の画素値ｙは、式（１０）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって高画質画素の画素値を求めるようにしてもよい。
【０１９２】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１０）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式（１１）で表される。
【０１９３】
ｅk＝（ｙk−ｙk'）                                                ・・・（１１）
【０１９４】
いま、式（１１）の予測値ｙk'は、式（１０）にしたがって求められるため、式（１１）のｙk'を、式（１０）にしたがって置き換えると、次式（１２）が得られる。
【０１９５】
【数２】
2007235311.tif 000004
【０１９６】
但し、式（１２）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１９７】
式（１２）の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１９８】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式（１３）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１９９】
【数３】
2007235311.tif 000005
【０２００】
但し、式（１３）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す。
【０２０１】
式（１３）の自乗誤差の総和Ｅの最小値は、式（１４）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０２０２】
【数４】
2007235311.tif 000006
【０２０３】
一方、上述の式（１２）をタップ係数ｗnで偏微分すると、次式（１５）が得られる。
【０２０４】
【数５】
2007235311.tif 000007
【０２０５】
式（１４）および式（１５）から、次式（１６）が得られる。
【０２０６】
【数６】
2007235311.tif 000008
【０２０７】
式（１６）のｅkに、式（１２）を代入することにより、式（１６）は、式（１７）に示す正規方程式で表すことができる。
【０２０８】
【数７】
2007235311.tif 000009
【０２０９】
式（１７）の正規方程式は、例えば、掃き出し法などを用いることにより、タップ係数ｗnについて解くことができる。この式（１７）の正規方程式を、クラスごとに立てて解くことにより、最適なタップ係数ｗnを、クラスごとに求めることができる。ここでは、最適なタップ係数ｗnは、自乗誤差の総和Ｅを最小にするタップ係数とされる。
【０２１０】
図６の画像処理部１４２の予測演算部１５６では、以上のようなクラスごとのタップ係数ｗnを用いて式（１０）の演算を行い、注目画素のＲの画素値、Ｇの画素値、およびＢの画素値を求めることにより、単板画像の画像信号から、３板画像の画像信号を得ることができる。
【０２１１】
次に、式（１７）の正規方程式をクラスごとに立てて解くことによりタップ係数ｗnを求める学習を行う学習装置について説明する。
【０２１２】
図１５は学習装置の構成例を示すブロック図である。
【０２１３】
学習装置４５１は、学習データ生成部４６１、タップ抽出部４６２、タップ抽出部４６３、ADRC処理部４６４、クラス分類部４６５、学習演算回路４６６、学習データメモリ４６７、行列演算回路４６８、および係数メモリ４６９から構成される。
【０２１４】
学習データ生成部４６１は、タップ係数ｗnを求めるために用いられる単板画像および３板画像を撮像して、単板画像の画像信号、３板画像の画像信号、および単板画像の画素内特徴量情報からなる学習データを生成する。なお、以下の説明において、タップ係数ｗnを求めるために用いられる単板画像の画像信号、および３板画像の画像信号をそれぞれ生徒画像信号、および教師画像信号とも称する。
【０２１５】
また、学習データ生成部４６１は、生成した学習データのうち、３板画像の画像信号を学習演算回路４６６に供給し、単板画像の画像信号をタップ抽出部４６２およびタップ抽出部４６３に供給する。さらに、学習データ生成部４６１は、生成した画素内特徴量情報をクラス分類部４６５に供給する。
【０２１６】
タップ抽出部４６２は、学習データ生成部４６１から供給された生徒画像信号としての単板画像の画像信号から、生徒画像信号を構成する画素のうちの所定の画素を予測タップとして抽出し、抽出した予測タップを学習演算回路４６６に供給する。
【０２１７】
タップ抽出部４６３は、学習データ生成部４６１から供給された生徒画像信号としての単板画像の画像信号から、生徒画像信号を構成する画素のうちの所定の画素をクラスタップとして抽出し、抽出したクラスタップをADRC処理部４６４に供給する。
【０２１８】
ADRC処理部４６４は、タップ抽出部４６３から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップをクラス分類部４６５に供給する。クラス分類部４６５は、学習データ生成部４６１およびADRC処理部４６４から供給された画素内特徴量情報およびクラスタップに基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコードを学習演算回路４６６に供給する。
【０２１９】
学習演算回路４６６は、学習データ生成部４６１から供給された教師画像信号としての３板画像の画像信号を構成する画素を順次、注目画素とし、タップ抽出部４６２から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス分類部４６５からのクラスコードにしたがって行う。
【０２２０】
すなわち、学習演算回路４６６には、教師画像信号の注目画素の画素値ｙk、予測タップを構成する生徒画像信号の画素の画素値ｘn,k、注目画素のクラスを表すクラスコードが供給される。
【０２２１】
そして、学習演算回路４６６はクラスコードに対応するクラスごとに、予測タップを構成する生徒画像信号の画素の画素値ｘn,kを用い、式（１７）の左辺の行列における生徒画像信号どうしの乗算ｘn,kｘm,k、およびその乗算された値の総和の演算に相当する演算を行う。
【０２２２】
さらに、学習演算回路４６６は、クラスコードに対応するクラスごとに、予測タップを構成する生徒画像信号の画素の画素値ｘn,kおよび教師画像信号の画素の画素値ｙkを用い、式（１７）の右辺のベクトルにおける生徒画像信号ｘn,kおよび教師画像信号ｙkの乗算ｘn,kｙk、並びにその乗算された値の総和の演算に相当する演算を行う。
【０２２３】
すなわち、学習演算回路４６６は、前回、注目画素とされた教師画像信号について求められた式（１７）における左辺の行列のコンポーネントΣｘn,kｘm,kと、右辺のベクトルのコンポーネントΣｘn,kｙkを記憶しており、その行列のコンポーネントΣｘn,kｘm,kまたはベクトルのコンポーネントΣｘn,kｙkに対して、新たに注目画素とされた教師画像信号について、その教師画像信号ｙk+1および生徒画像信号ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘm,k+1またはｘn,k+1ｙk+1を足し込む。換言すれば、学習演算回路４６６は、式（１７）のΣで表される加算を行う。
【０２２４】
そして、学習演算回路４６６は、教師画像信号の全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについて、式（１７）に示した正規方程式を立てると、その正規方程式を学習データメモリ４６７に供給する。
【０２２５】
学習データメモリ４６７は、学習演算回路４６６による足し込みによって得られた正規方程式を記憶する。また、学習データメモリ４６７は、記憶している正規方程式を行列演算回路４６８に供給する。
【０２２６】
行列演算回路４６８は、学習データメモリ４６７から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて係数メモリ４６９に供給する。係数メモリ４６９は、行列演算回路４６８から供給された各クラスのタップ係数ｗnを記憶する。
【０２２７】
次に、図１６のフローチャートを参照して、学習装置４５１による学習処理について説明する。
【０２２８】
ステップＳ５１において、学習データ生成部４６１は、学習データの生成処理を行う。なお、学習データの生成処理の詳細は後述するが、学習データの生成処理において学習データ生成部４６１は、学習データとして、生徒画像信号、教師画像信号、および画素内特徴量情報を生成する。また、学習データ生成部４６１は、教師画像信号、生徒画像信号、および画素内特徴量情報のそれぞれを、学習演算回路４６６、タップ抽出部４６２およびタップ抽出部４６３、並びにクラス分類部４６５のそれぞれに供給する。
【０２２９】
ステップＳ５２において、学習演算回路４６６は、学習データ生成部４６１から供給された教師画像信号を構成する画素を順次、注目画素とし、教師画像信号から注目画素の画素値を抽出する。教師画像信号は、図６の撮像装置１３１の予測演算部１５６で生成される３板画像信号に対応する画像信号であるが、同一の画像信号である必要はない。
【０２３０】
ステップＳ５３において、タップ抽出部４６２は、学習データ生成部４６１から供給された生徒画像信号を構成する画素のうちの所定の画素を予測タップとして抽出し、抽出した予測タップを学習演算回路４６６に供給する。予測タップの構成は、図６の撮像装置１３１のタップ抽出部１５１における場合と同一とされる。生徒画像信号は、図６の撮像装置１３１の予測演算部１５６で、３板画像信号を生成するために用いられる単板画像信号に対応する画像信号であるが、同一の画像信号である必要はない。
【０２３１】
ステップＳ５４において、タップ抽出部４６３は、学習データ生成部４６１から供給された生徒画像信号を構成する画素のうちの所定の画素をクラスタップとして抽出し、抽出したクラスタップをADRC処理部４６４に供給する。クラスタップの構成は、図６の撮像装置１３１のタップ抽出部１５２における場合と同一とされる。
【０２３２】
ステップＳ５５において、ADRC処理部４６４は、タップ抽出部４６３から供給されたクラスタップにADRC処理を施し、その結果得られたADRCコードをADRC処理が施されたクラスタップとしてクラス分類部４６５に供給する。
【０２３３】
ステップＳ５６において、クラス分類部４６５は、ADRC処理部４６４から供給されたADRCコード、および学習データ生成部４６１から供給された画素内特徴量情報に基づいて注目画素をクラス分類し、分類されたクラスを示すクラスコードを生成して学習演算回路４６６に供給する。例えば、クラス分類部４６５は、ADRCコードと、注目画素の位置に対応する位置の単板画像の画素の画素内特徴量情報とが順番に並べられて連結されたビット列をクラスコードとして学習演算回路４６６に供給する。
【０２３４】
ステップＳ５７において、学習演算回路４６６は、クラスごとの足し込みを行う。すなわち、学習演算回路４６６は注目画素と、タップ抽出部４６２から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス分類部４６５から供給されたクラスコードに対応するクラスについて立てられた式（１７）により示される正規方程式への足し込みを行う。
【０２３５】
ステップＳ５８において、学習演算回路４６６は、教師画像信号を構成する全ての画素を処理したかを判定する。教師画像信号を構成する画素のうち、注目画素として処理されていない画素がある場合、全ての画素を処理していないと判定され、処理はステップＳ５２に戻り、まだ注目画素とされていない画素が新たな注目画素とされて、その新たな注目画素について足し込みが行われる。
【０２３６】
これに対して、ステップＳ５８において、全ての画素について処理したと判定された場合、学習演算回路４６６は、各クラスについて立てた正規方程式を学習データメモリ４６７に供給して記憶させる。そして、学習データメモリ４６７は、記憶している正規方程式を行列演算回路４６８に供給し、処理はステップＳ５９に進む。
【０２３７】
ステップＳ５９において、行列演算回路４６８は、学習データメモリ４６７から供給されたクラスごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスのタップ係数ｗnを算出する。そして、行列演算回路４６８は、算出したタップ係数ｗnを係数メモリ４６９に供給する。
【０２３８】
ステップＳ６０において、係数メモリ４６９は、行列演算回路４６８から供給された各クラスのタップ係数ｗnを記憶し、学習処理は終了する。
【０２３９】
図６の係数メモリ１５５には、以上のようにして求められた複数セットのクラスごとのタップ係数ｗnが記憶されている。
【０２４０】
このようにして、学習装置４５１は、画素内特徴量情報およびクラスタップに基づいて注目画素のクラスを分類して、各クラスのタップ係数ｗnを求める。
【０２４１】
このように、画素内特徴量情報およびクラスタップに基づいて注目画素のクラスを分類することで、より多くの情報を用いて各クラスのタップ係数ｗnを求めることができる。これにより、より精度よくクラス分類適応処理を行うためのタップ係数ｗnを求めることができる。
【０２４２】
ところで、上述した学習データの生成処理を行う学習データ生成部４６１は、例えば、図１７に示すように構成される。
【０２４３】
学習データ生成部４６１は、ハーフミラー４９１、イメージセンサ４９２、プリズム４９３、およびイメージセンサ４９４−１乃至イメージセンサ４９４−３から構成される。
【０２４４】
ハーフミラー４９１は、反射面における光の反射率および透過率がほぼ等しいミラーから構成され、被写体から入射した光の一部を反射面において反射してイメージセンサ４９２に入射させるとともに、反射面において反射しなかった光をそのまま透過させてプリズム４９３に入射させる。
【０２４５】
イメージセンサ４９２は、図６の撮像装置１３１のイメージセンサ１４１と同様の構成とされている。すなわち、イメージセンサ４９２の表面には、図７に示すように、１画素ごとに割り当てられた各色のフィルタがベイヤー配列となるように配列された色フィルタアレイが配置されている。
【０２４６】
イメージセンサ４９２は、ハーフミラー４９１から入射した光を光電変換し、生徒画像信号としての単板画像の画像信号を生成する。また、イメージセンサ４９２は、ハーフミラー４９１から入射した光を光電変換して、イメージセンサ４９２の各画素の特徴の特徴量を示す画素内特徴量情報を生成する。
【０２４７】
プリズム４９３は、例えば、ダイクロイックプリズムなどから構成され、ハーフミラー４９１から入射した光をＲ（赤）の光、Ｇ（緑）の光、およびＢ（青）の光のそれぞれに分離して、分離したＲの光、Ｇの光、およびＢの光のそれぞれをイメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれに入射させる。
【０２４８】
イメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれはCMOSイメージセンサなどから構成されている。イメージセンサ４９４−１は、全ての画素がＲの光のみを受光するようにフィルタが設けられている。同様に、イメージセンサ４９４−２とイメージセンサ４９４−３のそれぞれの表面には、Ｇのフィルタから構成される色フィルタアレイ、またはＢのフィルタから構成される色フィルタアレイがそれぞれ配置されている。
【０２４９】
イメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれは、プリズム４９３から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、イメージセンサ４９２が生成する単板画像の画像信号と同じ画素数、すなわち同じ解像度のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれを生成する。そして、このようにして生成されたＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号からなる３板画像の画像信号が教師画像信号とされる。
【０２５０】
なお、以下、イメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれを個々に区別する必要のない場合、単にイメージセンサ４９４と称する。また、イメージセンサ４９４は、CMOSイメージセンサに限らずCCDイメージセンサなどから構成されるようにしてもよい。
【０２５１】
図１８は、図１７のイメージセンサ４９２の１画素の等価回路５２１の構成の例を示す回路図である。
【０２５２】
等価回路５２１は、信号検出回路５３１、信号検出回路５３２−１乃至信号検出回路５３２−４、特徴量情報算出回路５３３、およびMOSFET５３４から構成される。
【０２５３】
なお、信号検出回路５３１を構成するフォトダイオード５４１およびｎ型のMOSFET５４２乃至MOSFET５４４は、図８のフォトダイオード１９１およびMOSFET２４１乃至MOSFET２４３と同様であるので、その説明は省略する。
【０２５４】
また、信号検出回路５３２−１乃至信号検出回路５３２−４を構成する、フォトダイオード５４５−１乃至フォトダイオード５４５−４、ｎ型のMOSFET５４６−１乃至MOSFET５４６−４、ｎ型のMOSFET５４７−１乃至MOSFET５４７−４、およびｎ型のMOSFET５４８−１乃至MOSFET５４８−４のそれぞれも、図８のフォトダイオード１９２、MOSFET２５１、MOSFET２５２、およびMOSFET２５３のそれぞれと同様であるのでその説明は省略する。
【０２５５】
さらに、特徴量情報算出回路５３３、MOSFET５３４、垂直選択線５３５、画素信号線５３６、特徴量情報信号線５３７、およびリセット線５３８のそれぞれは、図８の特徴量情報算出回路２３３、MOSFET２３４、垂直選択線２３５、画素信号線２３６、特徴量情報信号線２３７、およびリセット線２３８のそれぞれと同様であるのでその説明は省略する。
【０２５６】
以下、フォトダイオード５４５−１乃至フォトダイオード５４５−４のそれぞれを個々に区別する必要のない場合、単にフォトダイオード５４５と称する。また、以下、MOSFET５４６−１乃至MOSFET５４６−４のそれぞれを個々に区別する必要のない場合、単にMOSFET５４６と称する。さらに、以下、MOSFET５４７−１乃至MOSFET５４７−４のそれぞれを個々に区別する必要のない場合、単にMOSFET５４７と称し、MOSFET５４８−１乃至MOSFET５４８−４のそれぞれを個々に区別する必要のない場合、単にMOSFET５４８と称する。
【０２５７】
次に、図１９のフローチャートを参照して、図１６のステップＳ５１の処理に対応する学習データの生成処理について説明する。
【０２５８】
ステップＳ９１において、ハーフミラー４９１は、被写体から入射した光の一部を反射面において反射してイメージセンサ４９２に入射させるとともに、反射面において反射しなかった残りの光をそのまま透過させてプリズム４９３に入射させる。
【０２５９】
ステップＳ９２において、イメージセンサ４９２は、ハーフミラー４９１から入射した光を光電変換し、生徒画像信号としての単板画像の画像信号を生成する。そして、イメージセンサ４９２は、生成した単板画像の画像信号をタップ抽出部４６２およびタップ抽出部４６３に供給する。
【０２６０】
より具体的には、フォトダイオード５４１およびフォトダイオード５４５は、入射した光の光量を検出し、検出された光量に応じた電荷を発生する。MOSFET５４３およびMOSFET５４７はゲートに選択信号が印加されると、画素信号を構成する輝度値を表す信号を画素信号線５３６に出力し、出力された輝度値を表す信号は、画素信号線５３６において足し合わされて１つの画素の画素値を表す画素信号とされる。そして、さらに各画素からの画素信号は所定の順序で配列され、画像信号としてイメージセンサ４９２から出力される。
【０２６１】
ステップＳ９３において、イメージセンサ４９２は、各画素の特徴の特徴量を示す画素内特徴量情報を生成し、生成した画素内特徴量情報をクラス分類部４６５に供給する。
【０２６２】
より具体的には、特徴量情報算出回路５３３は、フォトダイオード５４１およびフォトダイオード５４５において検出された光量を示す値である電圧Vpdmおよび電圧Vpd1乃至Vpd4を用いて画素内特徴量情報を生成する。例えば、特徴量情報算出回路５３３は、勾配情報、エッジ情報、ダイナミックレンジ情報などを画素内特徴量情報として生成する。
【０２６３】
ステップＳ９４において、プリズム４９３は、ハーフミラー４９１から入射した光をＲの光、Ｇの光、およびＢの光のそれぞれに分離して、分離したＲの光、Ｇの光、およびＢの光のそれぞれをイメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれに入射させる。
【０２６４】
ステップＳ９５において、イメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれは、プリズム４９３から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、Ｒの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれを生成する。イメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれは、生成したＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれを学習演算回路４６６に供給して、処理は図１６のステップＳ５２に進む。
【０２６５】
すなわち、Ｒの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれからなる３板画像の画像信号が教師画像信号として学習演算回路４６６に供給される。
【０２６６】
このようにして、学習データ生成部４６１は、単板画像および３板画像を撮像し、生徒画像信号としての単板画像の画像信号、教師画像信号としての３板画像の画像信号、および画素内特徴量情報からなる学習データを生成する。
【０２６７】
このように、単板画像および３板画像を撮像し、画素内特徴量情報を生成することで、より精度よく学習を行うための学習データを生成することができる。
【０２６８】
なお、以上においては、単板画像および３板画像を撮像することにより学習データを生成すると説明したが、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成するようにしてもよい。
【０２６９】
図２０は、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成する場合における学習データ生成部４６１の構成例を示すブロック図である。
【０２７０】
学習データ生成部４６１は、空間積分処理部５７１、間引き処理部５７２、信号値算出部５７３、および画素内特徴量情報生成部５７４から構成される。
【０２７１】
学習データ生成部４６１においては、学習データを生成するための画像信号として、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号、すなわち、教師画像として用いる３板画像よりも画素数の多い３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給される。
【０２７２】
空間積分処理部５７１は、学習データを生成するための画像信号として供給された３板画像の画像信号のいくつかの画素の画素値を積分して教師画像とする３板画像の画像信号の１つの画素の画素値とすることにより、教師画像信号としての３板画像の画像信号を生成する。また、空間積分処理部５７１は、生成した３板画像の画像信号を間引き処理部５７２および学習演算回路４６６に供給する。
【０２７３】
間引き処理部５７２は、空間積分処理部５７１から供給された３板画像の画像信号を間引くことにより生徒画像信号としての単板画像の画像信号を生成し、生成した単板画像の画像信号をタップ抽出部４６２およびタップ抽出部４６３に供給する。
【０２７４】
信号値算出部５７３は、学習データを生成するための画像信号として供給された３板画像の画像信号を基に、フォトダイオード１９１およびフォトダイオード１９２において検出される光量を示す値と同等の輝度値のそれぞれを算出し、算出した輝度値のそれぞれを画素内特徴量情報生成部５７４に供給する。
【０２７５】
画素内特徴量情報生成部５７４は、信号値算出部５７３から供給された輝度値を基に画素内特徴量情報を生成し、生成した画素内特徴量情報をクラス分類部４６５に供給する。
【０２７６】
次に、図２１のフローチャートを参照して、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成する場合における、図１６のステップＳ５１の処理に対応する学習データの生成処理について説明する。この学習データの生成処理は、学習データを生成するための３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給されると開始される。
【０２７７】
ステップＳ１２１において、空間積分処理部５７１は、学習データを生成するための画像信号として供給された３板画像の画像信号のいくつかの画素を積分して教師画像とする３板画像の画像信号の１つの画素とすることにより、教師画像信号としての３板画像の画像信号を生成する。また、空間積分処理部５７１は、生成した３板画像の画像信号を間引き処理部５７２および学習演算回路４６６に供給する。
【０２７８】
例えば、空間積分処理部５７１は、３板画像の画像信号の互いに隣接する１０×１０個の計１００個の画素のそれぞれの画素値を積分して得られた値を、教師画像信号としての３板画像の画像信号の１つの画素の画素値とする。
【０２７９】
このように、供給された３板画像の画像信号のいくつかの画素を積分して教師画像信号の１つの画素とすることによって、結果的に供給された３板画像の画像信号のいくつかの画素のそれぞれを、教師画像信号の１つの画素がさらに分割された複数の領域のデータとして扱うことができる。つまり、例えば、供給された３板画像の画像信号の１０×１０個の画素を積分して教師画像信号の１つの画素とする場合、１０×１０個の画素の画素値のそれぞれを、教師画像信号の１つの画素が１０×１０個に分割された領域のそれぞれのデータとして扱うことができる。
【０２８０】
ステップＳ１２２において、間引き処理部５７２は、撮像装置１３１のイメージセンサ１４１の表面に配置された色フィルタアレイの色配列にしたがって空間積分処理部５７１から供給された教師画像信号の画素を間引き、生徒画像信号としての単板画像の画像信号を生成する。そして、間引き処理部５７２は、生成した単板画像の画像信号をタップ抽出部４６２およびタップ抽出部４６３に供給する。
【０２８１】
ステップＳ１２３において、信号値算出部５７３は、学習データを生成するための画像信号として供給された３板画像の画像信号を基に、フォトダイオード１９１およびフォトダイオード１９２において検出される光量を示す値と同等の輝度値のそれぞれを算出し、算出した輝度値のそれぞれを画素内特徴量情報生成部５７４に供給する。
【０２８２】
例えば、信号値算出部５７３は、図２２に示すように、供給された３板画像の画像信号の１０×１０個の画素のうちの領域６０１および領域６０２−１乃至領域６０２−４のそれぞれに含まれる画素の所定の色の画素値の和をフォトダイオード１９１およびフォトダイオード１９２において検出される光量を示す値と同等の輝度値として画素内特徴量情報生成部５７４に供給する。
【０２８３】
なお、図２２において、１つの四角形は、学習データを生成するための画像信号として供給された３板画像の画像信号の１つの画素を表わしている。
【０２８４】
図２２では、図中、縦１０個×横１０個の計１００個の画素からなる領域が、図中、中央の６×６個の計３６個の画素からなる正方形の領域６０１、および領域６０１を囲む１６個の画素からなる鉤型の領域６０２−１乃至領域６０２−４のそれぞれに分けられている。
【０２８５】
信号値算出部５７３は、領域６０１に含まれる３６個の画素の所定の色の画素値の和を、フォトダイオード１９１において検出される光量を示す値と同等の輝度値とし、領域６０２−１乃至領域６０２−４のそれぞれに含まれる１６個の画素の所定の色の画素値のそれぞれの和をフォトダイオード１９２−１乃至フォトダイオード１９２−４において検出される光量を示す値と同等の輝度値のそれぞれとする。
【０２８６】
このように、供給された３板画像の画像信号のいくつかの画素の画素値の和を求めることによって、フォトダイオード１９１およびフォトダイオード１９２のそれぞれに入射する擬似的な光量を示す値を求めることができる。
【０２８７】
図２１のフローチャートの説明に戻り、ステップＳ１２４において、画素内特徴量情報生成部５７４は、信号値算出部５７３から供給された輝度値を基に画素内特徴量情報を生成する。そして、画素内特徴量情報生成部５７４は、生成した画素内特徴量情報をクラス分類部４６５に供給して、処理は図１６のステップＳ５２に進む。
【０２８８】
このようにして、学習データ生成部４６１は、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて、生徒画像信号としての単板画像の画像信号、教師画像信号としての３板画像の画像信号、および画素内特徴量情報からなる学習データを生成する。
【０２８９】
このように、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて画素内特徴量情報を生成することで、より精度よく学習を行うための学習データを生成することができる。
【０２９０】
なお、以上においては、単板画像の画像信号から、その単板画像の解像度と同じ解像度の３板画像の画像信号を生成する場合におけるクラス分類適応処理および学習処理について説明したが、単板画像の画像信号から、その単板画像の解像度よりも高い解像度の３板画像の画像信号を生成したり、３板画像の画像信号から、その３板画像の解像度よりも高い解像度の３板画像の画像信号を生成したりすることも可能である。
【０２９１】
例えば、図２３に示すように、ベイヤー配列の単板画像の画像信号から、クラス分類適応処理によって単板画像の４倍の解像度のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号からなる３板画像の画像信号を生成する場合、撮像装置１３１は、Ｒの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれの画素を順次注目画素とする。
【０２９２】
そして、撮像装置１３１は、注目画素に対応する単板画像の画像信号の画素、例えば、注目画素に対して空間的に最も近い位置にある単板画像の画像信号の画素に対して、空間的に近い位置にあるいくつかの画素を予測タップまたはクラスタップとして抽出し、注目画素を求める予測演算を行う。
【０２９３】
また、ベイヤー配列の単板画像の画像信号から、単板画像の４倍の解像度の３板画像の画像信号を生成するために用いられるタップ係数ｗnを求める学習処理を行う場合、学習データ生成部４６１は、例えば、図２４に示すように構成される。
【０２９４】
図２４に示す学習データ生成部４６１は、図１７に示した学習データ生成部４６１と、ハーフミラー４９１、イメージセンサ４９２、およびプリズム４９３が設けられている点において一致し、図１７に示したイメージセンサ４９４−１乃至イメージセンサ４９４−３のそれぞれに換えて、イメージセンサ６４１−１乃至イメージセンサ６４１−３が設けられている点において異なる。なお、図２４において、図１７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２９５】
イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれは、CMOSイメージセンサなどから構成され、プリズム４９３から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、イメージセンサ４９２が生成する単板画像の画像信号の４倍の画素数のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれを生成する。そして、このようにして生成されたＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号からなる３板画像の画像信号が教師画像信号とされる。
【０２９６】
さらに、ベイヤー配列の単板画像の画像信号から、単板画像の４倍の解像度の３板画像の画像信号を生成するために用いられるタップ係数ｗnを求める学習処理を行う場合、４倍の解像度のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれの画素が順次、注目画素とされて図１６を参照して説明した学習処理が行われる。
【０２９７】
また、図２４に示した学習データ生成部４６１が行う、図１６のステップＳ５１の処理に対応する学習データの生成処理は、図１９を参照して説明した学習データの生成処理と同様であり、ステップＳ９５において、イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれによって、単板画像の画像信号の４倍の画素数のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号のそれぞれが生成されて、これらのＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号からなる３板画像の画像信号が教師画像信号として学習演算回路４６６に供給される。
【０２９８】
さらに、単板画像の画像信号から、単板画像の４倍の解像度の３板画像の画像信号を生成するために用いられるタップ係数ｗnを求める学習処理を行う場合、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成するようにしてもよい。
【０２９９】
図２５は、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成する場合における、学習データ生成部４６１の構成例を示すブロック図である。なお、図２５において、図２０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３００】
図２５に示す学習データ生成部４６１は、図２０に示した学習データ生成部４６１と、空間積分処理部５７１、間引き処理部５７２、信号値算出部５７３、および画素内特徴量情報生成部５７４が設けられている点において一致し、空間積分処理部５７１および間引き処理部５７２の間に、新たに空間積分処理部６８１が設けられている点において異なる。
【０３０１】
図２５に示す学習データ生成部４６１においては、学習データを生成するための画像信号として、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給される。
【０３０２】
空間積分処理部５７１は、学習データを生成するための画像信号として供給された３板画像の画像信号のいくつかの画素を積分して教師画像とする３板画像の画像信号の１つの画素とすることにより、教師画像信号としての３板画像の画像信号を生成する。ここで、教師画像として用いる３板画像は、生徒画像としての単板画像の４倍の解像度の３板画像とされる。また、空間積分処理部５７１は、生成した３板画像の画像信号を空間積分処理部６８１および学習演算回路４６６に供給する。
【０３０３】
空間積分処理部６８１は、空間積分処理部５７１から供給された教師画像信号としての３板画像の画像信号のいくつかの画素を積分して、生徒画像とする単板画像と同じ画素数の３板画像の１つの画素とすることにより、３板画像の画像信号を生成する。また、空間積分処理部６８１は、生成した３板画像の画像信号を間引き処理部５７２に供給する。
【０３０４】
次に、図２６のフローチャートを参照して、図２５に示した学習データ生成部４６１による、図１６のステップＳ５１の処理に対応する学習データの生成処理について説明する。
【０３０５】
この学習データの生成処理は、学習データを生成するための画像信号として、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給されると開始される。
【０３０６】
ステップＳ１６１において、空間積分処理部５７１は、学習データを生成するための画像信号として供給された３板画像の画像信号のいくつかの画素を積分して教師画像とする３板画像の画像信号の１つの画素とすることにより、教師画像信号としての３板画像の画像信号を生成する。そして、空間積分処理部５７１は、生成した３板画像の画像信号を空間積分処理部６８１および学習演算回路４６６に供給する。
【０３０７】
ステップＳ１６２において、空間積分処理部６８１は、空間積分処理部５７１から供給された教師画像信号としての３板画像の画像信号のいくつかの画素を積分して、生徒画像とする単板画像と同じ画素数の３板画像の１つの画素とすることにより、３板画像の画像信号を生成する。また、空間積分処理部６８１は、生成した３板画像の画像信号を間引き処理部５７２に供給する。
【０３０８】
その後、ステップＳ１６３の処理乃至ステップＳ１６５の処理のそれぞれが行われるが、これらの処理は、図２１のステップＳ１２２の処理乃至ステップＳ１２４の処理のそれぞれと同様であるので、その説明は省略する。
【０３０９】
このようにして、学習データ生成部４６１は、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて、生徒画像信号としての単板画像の画像信号、教師画像信号としての３板画像の画像信号、および画素内特徴量情報からなる学習データを生成する。
【０３１０】
このように、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて画素内特徴量情報を生成することで、より精度よく学習を行うための学習データを生成することができる。
【０３１１】
また、例えば、図２７に示すように、３板画像の画像信号から、クラス分類適応処理によって、その３板画像の４倍の解像度のＲの画像の画像信号、Ｇの画像の画像信号、およびＢの画像の画像信号からなる３板画像の画像信号を生成することもできる。
【０３１２】
そのような場合、撮像装置１３１のイメージセンサ１４１は、Ｒの画像、Ｇの画像、およびＢの画像のそれぞれを撮像する３板のイメージセンサから構成される。撮像装置１３１は、３板画像を撮像すると、これから生成しようとする３板画像の画像信号のそれぞれの画素を順次注目画素とする。そして、撮像装置１３１は、撮像された３板画像の画像信号の画素のうち、注目画素に対応する画素、例えば、注目画素に対して空間的に最も近い位置にある３板画像の画像信号の画素に対して、空間的に近い位置にあるいくつかの画素を予測タップまたはクラスタップとして抽出し、注目画素を求める予測演算を行う。
【０３１３】
また、３板画像の画像信号から、その３板画像の４倍の解像度の３板画像の画像信号を生成するために用いられるタップ係数ｗnを求める学習処理を行う場合、学習データ生成部４６１は、例えば、図２８に示すように構成される。
【０３１４】
図２８に示す学習データ生成部４６１は、図２４に示した学習データ生成部４６１と、ハーフミラー４９１、プリズム４９３、およびイメージセンサ６４１−１乃至イメージセンサ６４１−３が設けられている点において一致し、新たにプリズム７２１、およびイメージセンサ７２２−１乃至イメージセンサ７２２−３が設けられている点において異なる。なお、図２８において、図２４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３１５】
ハーフミラー４９１は、被写体から入射した光の一部を反射してプリズム７２１に入射させるとともに、入射した光の一部、すなわち、反射面において反射しなかった光をそのまま透過させてプリズム４９３に入射させる。
【０３１６】
プリズム７２１は、例えば、ダイクロイックプリズムなどからなり、ハーフミラー４９１から入射した光を、Ｒ（赤）の光、Ｇ（緑）の光、およびＢ（青）の光のそれぞれに分離して、分離したＲの光、Ｇの光、およびＢの光のそれぞれを、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれに入射させる。
【０３１７】
イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれと同様に、全画素がＲ、Ｇ、およびＢのうちの１つの色の光を受光するように色フィルタアレイが配置されている。ただし後者は前者の４倍の画素密度を有している。
【０３１８】
イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、プリズム７２１から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、Ｒの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれを生成する。また、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、プリズム７２１から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、各画素の特徴の特徴量を示す画素内特徴量情報のそれぞれを生成する。
【０３１９】
次に、図２９のフローチャートを参照して、図２８に示した学習データ生成部４６１による、図１６のステップＳ５１の処理に対応する学習データの生成処理について説明する。
【０３２０】
ステップＳ１９１において、ハーフミラー４９１は、被写体から入射した光の一部を反射面において反射してプリズム７２１に入射させるとともに、反射面において反射しなかった光をそのまま透過させてプリズム４９３に入射させる。
【０３２１】
ステップＳ１９２において、プリズム７２１は、ハーフミラー４９１から入射した光をＲの光、Ｇの光、およびＢの光のそれぞれに分離して、分離したＲの光、Ｇの光、およびＢの光のそれぞれを、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれに入射させる。
【０３２２】
ステップＳ１９３において、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、プリズム７２１から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、生徒画像信号としての各色の画像信号を生成する。すなわち、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、Ｒの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれを生成する。そして、生成されたＲの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれからなる３板画像の画像信号は、生徒画像信号として、タップ抽出部４６２およびタップ抽出部４６３に供給される。
【０３２３】
ステップＳ１９４において、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、プリズム７２１から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換して、各画素の特徴の特徴量を示す画素内特徴量情報のそれぞれを生成する。そして、イメージセンサ７２２−１乃至イメージセンサ７２２−３のそれぞれは、生成した画素内特徴量情報のそれぞれをクラス分類部４６５に供給する。
【０３２４】
ステップＳ１９５において、プリズム４９３は、ハーフミラー４９１から入射した光をＲの光、Ｇの光、およびＢの光のそれぞれに分離して、分離したＲの光、Ｇの光、およびＢの光のそれぞれを、イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれに入射させる。
【０３２５】
ステップＳ１９６において、イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれは、プリズム４９３から入射したＲの光、Ｇの光、およびＢの光のそれぞれを光電変換し、生徒画像信号として生成された３板画像の４倍の画素数のＲの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれを生成する。イメージセンサ６４１−１乃至イメージセンサ６４１−３のそれぞれは、生成したＲの画像信号、Ｇの画像信号、およびＢの画像信号のそれぞれを教師画像信号として学習演算回路４６６に供給して、処理は図１６のステップＳ５２に進む。
【０３２６】
このようにして、学習データ生成部４６１は、解像度の異なる２つの３板画像を撮像し、生徒画像信号としての３板画像の画像信号、教師画像信号としての３板画像の画像信号、および画素内特徴量情報からなる学習データを生成する。
【０３２７】
このように、解像度の異なる２つの３板画像を撮像し、画素内特徴量情報を生成することで、より精度よく学習を行うための学習データを生成することができる。
【０３２８】
さらに、生徒画像としての３板画像の画像信号から、その３板画像の４倍の解像度の３板画像の画像信号を生成するために用いられるタップ係数ｗnを求める学習処理を行う場合、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成するようにしてもよい。
【０３２９】
図３０は、生徒画像として用いられる３板画像の４倍の解像度の３板画像を教師画像として用い、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて学習データを生成する場合における、学習データ生成部４６１の構成例を示すブロック図である。なお、図３０において、図２５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０３３０】
図３０に示す学習データ生成部４６１は、図２５に示した学習データ生成部４６１と、空間積分処理部５７１、空間積分処理部６８１、信号値算出部５７３、および画素内特徴量情報生成部５７４が設けられている点において一致し、間引き処理部５７２が設けられていない点において異なる。
【０３３１】
図３０に示す学習データ生成部４６１においては、学習データを生成するための画像信号として、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給される。
【０３３２】
空間積分処理部６８１は、空間積分処理部５７１から供給された教師画像信号としての３板画像の画像信号のいくつかの画素を積分して１つの画素とすることにより、生徒画像としての３板画像の画像信号を生成し、タップ抽出部４６２およびタップ抽出部４６３に供給する。ここで、教師画像として用いる３板画像は、生徒画像として用いられる３板画像の４倍の解像度の３板画像とされる。
【０３３３】
次に、図３１のフローチャートを参照して、図３０に示した学習データ生成部４６１による、図１６のステップＳ５１の処理に対応する学習データの生成処理について説明する。
【０３３４】
この学習データの生成処理は、学習データを生成するための画像信号として、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号が空間積分処理部５７１および信号値算出部５７３に供給されると開始される。
【０３３５】
ステップＳ２２１において、空間積分処理部５７１は、学習データを生成するための画像信号として供給された３板画像の画像信号のいくつかの画素を積分して教師画像とする３板画像の画像信号の１つの画素とすることにより、教師画像信号としての３板画像の画像信号を生成する。そして、空間積分処理部５７１は、生成した３板画像の画像信号を空間積分処理部６８１および学習演算回路４６６に供給する。
【０３３６】
ステップＳ２２２において、空間積分処理部６８１は、空間積分処理部５７１から供給された教師画像信号としての３板画像の画像信号のいくつかの画素を積分して１つの画素とすることにより、生徒画像信号としての３板画像の画像信号を生成し、タップ抽出部４６２およびタップ抽出部４６３に供給する。
【０３３７】
その後、ステップＳ２２３の処理およびステップＳ２２４の処理が行われるが、これらの処理は、図２６のステップＳ１６４の処理およびステップＳ１６５の処理と同様であるので、その説明は省略する。
【０３３８】
このようにして、学習データ生成部４６１は、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて、生徒画像信号としての３板画像の画像信号、教師画像信号としての３板画像の画像信号、および画素内特徴量情報からなる学習データを生成する。
【０３３９】
このように、教師画像として用いる３板画像よりも高い解像度の３板画像の画像信号を用いて画素内特徴量情報を生成することで、より精度よく学習を行うための学習データを生成することができる。
【０３４０】
ところで、以上においては、図７に示したように、イメージセンサ１４１の１つの画素の受光面の領域１８１には、受光面が正方形のフォトダイオード１９１、およびその周囲に配置された受光面が鉤型のフォトダイオード１９２が配置されると説明したが、その他、図３２乃至図３４に示すようにフォトダイオードが配置されるようにしてもよい。
【０３４１】
図３２では、イメージセンサ１４１の１つの画素の受光面の領域７５１には、その領域７５１の略中央に受光面が正方形のフォトダイオード７６１が配置され、フォトダイオード７６１の受光面の各辺と隣接するように、その周囲に受光面が台形である４つのフォトダイオード７６２−１乃至フォトダイオード７６２−４が配置されている。
【０３４２】
また、図３３では、イメージセンサ１４１の１つの画素の受光面の領域７８１には、受光面の形状が正方形であるフォトダイオード７９１−１乃至フォトダイオード７９１−４が配置されている。これらのフォトダイオード７９１−１乃至フォトダイオード７９１−４のそれぞれの受光面の領域は、正方形の領域７８１の対向する辺の中点のそれぞれを結ぶ線と、正方形の領域７８１の各辺とに囲まれた領域とされている。この場合においても、１画素の画像信号は、フォトダイオード７９１−１乃至フォトダイオード７９１−４の出力の和であり、フォトダイオード７９１−１乃至フォトダイオード７９１−４の個々の出力が１画素の画像信号（従って、合計４画素の画像信号）となる訳ではない。
【０３４３】
さらに、図３４では、イメージセンサ１４１の１つの画素の受光面の領域８１１には、その略中央に、受光面が正方形のフォトダイオード８２１が配置され、フォトダイオード８２１の周囲に、受光面が三角形である４つのフォトダイオード８２２−１乃至フォトダイオード８２２−４が配置されている。フォトダイオード８２１の受光面の形状は、１つの画素の正方形の領域８１１の各辺の中点を頂点とする正方形とされ、フォトダイオード８２２−１乃至フォトダイオード８２２−４のそれぞれの受光面の形状は、正方形の領域８１１の各頂点と、領域８１１の各辺の２つの中点とを頂点とする二等辺三角形とされている。
【０３４４】
以上のように、イメージセンサ１４１の１つの画素に、Ｒ、Ｇ、またはＢの光のうちの１つの同じ色の光の光量を検出する複数のフォトダイオードを設けるようにしたので、それぞれのフォトダイオードにおいて検出された光量を示す値を用いて、各画素の画素内特徴量情報を求めることができる。したがって、より多くの情報を用いて高精細な画像の画像信号をより精度よく生成することができる。
【０３４５】
また、画素内特徴量情報およびクラスタップに基づいて注目画素をクラスに分類し、注目画素の画素値を予測することで、より多くの情報を用いてクラス分類適応処理を行うことができ、より高精細な画像の画像信号をより精度よく生成することができる。
【０３４６】
さらに、学習処理において、画素内特徴量情報およびクラスタップに基づいて注目画素のクラスを分類することで、より多くの情報を用いて各クラスのタップ係数ｗnを求めることができ、より精度よくクラス分類適応処理を行うためのタップ係数ｗnを求めることができる。
【０３４７】
なお、以上においては、イメージセンサ１４１、イメージセンサ４９２をCMOSイメージセンサで構成するようにしたが、１画素単位で図８または図１８に示されるような信号増幅機能を持たせることができるものであればよい。
【０３４８】
上述した撮像装置１３１や学習装置４５１が行う一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３４９】
図３５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【０３５０】
パーソナルコンピュータ９０１のCPU（Central Processing Unit）９１１は、ROM（Read Only Memory）９１２、または記録部９１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９１３には、CPU９１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９１１、ROM９１２、およびRAM９１３は、バス９１４により相互に接続されている。
【０３５１】
CPU９１１にはまた、バス９１４を介して入出力インターフェース９１５が接続されている。入出力インターフェース９１５には、キーボード、マウス、マイクロホンなどよりなる入力部９１６、ディスプレイ、スピーカなどよりなる出力部９１７が接続されている。CPU９１１は、入力部９１６から入力される指令に対応して各種の処理を実行する。そして、CPU９１１は、処理の結果を出力部９１７に出力する。
【０３５２】
入出力インターフェース９１５に接続されている記録部９１８は、例えばハードディスクからなり、CPU９１１が実行するプログラムや各種のデータを記録する。通信部９１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３５３】
また、通信部９１９を介してプログラムを取得し、記録部９１８に記録してもよい。
【０３５４】
入出力インターフェース９１５に接続されているドライブ９２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９１８に転送され、記録される。
【０３５５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図３５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９３１、または、プログラムが一時的もしくは永続的に格納されるROM９１２や、記録部９１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部９１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３５６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３５７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３５８】
【図１】従来の単板画像の画像信号を得る原理を説明する図である。
【図２】従来の色フィルタアレイの配列を説明する図である。
【図３】CMOSを利用した従来のイメージセンサの１画素の等価回路を示す回路図である。
【図４】従来の３板画像の画像信号を得る原理を説明する図である。
【図５】単板画像の画像信号から３板画像の画像信号を得る原理を説明する図である。
【図６】本発明を適用した撮像装置の一実施の形態の構成を示すブロック図である。
【図７】イメージセンサの各画素の構成を説明する図である。
【図８】イメージセンサの１画素あたりの等価回路の構成を示す回路図である。
【図９】特徴量情報算出回路の構成を示す図である。
【図１０】差分回路の構成を示す図である。
【図１１】比較回路の構成を示す図である。
【図１２】比較回路から出力される電圧値の変化を説明する図である。
【図１３】加算回路の構成を示す図である。
【図１４】撮像処理を説明するフローチャートである。
【図１５】学習装置の構成を示すブロック図である。
【図１６】学習処理を説明するためのフローチャートである。
【図１７】学習データ生成部の構成を示す図である。
【図１８】イメージセンサの１画素あたりの等価回路の構成を示す回路図である。
【図１９】学習データの生成処理を説明するためのフローチャートである。
【図２０】学習データ生成部の他の構成を示すブロック図である。
【図２１】学習データの生成処理を説明するためのフローチャートである。
【図２２】フォトダイオードにおいて検出される光量を示す値と同等の輝度値の生成を説明するための図である。
【図２３】単板画像の画像信号から、４倍の解像度の３板画像の画像信号を得る原理を説明する図である。
【図２４】学習データ生成部の他の構成を示す図である。
【図２５】学習データ生成部の他の構成を示すブロック図である。
【図２６】学習データの生成処理を説明するためのフローチャートである。
【図２７】３板画像の画像信号から、４倍の解像度の３板画像の画像信号を得る原理を説明する図である。
【図２８】学習データ生成部の他の構成を示す図である。
【図２９】学習データの生成処理を説明するためのフローチャートである。
【図３０】学習データ生成部の他の構成を示すブロック図である。
【図３１】学習データの生成処理を説明するためのフローチャートである。
【図３２】イメージセンサの１画素内のフォトダイオードの配置の他の例を示す図である。
【図３３】イメージセンサの１画素内のフォトダイオードの配置の他の例を示す図である。
【図３４】イメージセンサの１画素内のフォトダイオードの配置の他の例を示す図である。
【図３５】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３５９】
１３１  撮像装置，  １４１  イメージセンサ，  １４２  画像処理部，  １５１  タップ抽出部，  １５２  タップ抽出部，  １５４  クラス分類部，  １５６  予測演算部，  １９１  フォトダイオード，  １９２−１乃至１９２−４，１９２  フォトダイオード，  ２３３  特徴量情報算出回路，  ２４２  MOSFET，  ２５２−１乃至２５２−４，２５２  MOSFET，  ２８１−１乃至２８１−８，２８１  差分回路，  ２８２−１乃至２８２−８，２８２  比較回路，  ４５１  学習装置，  ４６１  学習データ生成部，  ４６２  タップ抽出部，  ４６３  タップ抽出部，  ４６５  クラス分類部，  ４６６  学習演算回路，  ４６８  行列演算回路，  ４６９  係数メモリ，  ４９２  イメージセンサ，  ５４１  フォトダイオード，  ５４３  MOSFET，  ５４５−１乃至５４５−４，５４５  フォトダイオード，  ５４７−１乃至５４７−４，５４７  MOSFET，  ５７１  空間積分処理部，  ５７２  間引き処理部，  ５７４  画素内特徴量情報生成部，  ６８１  空間積分処理部，  ７２２−１乃至７２２−３  イメージセンサ
【図１】
2007235311.tif 000010
【図２】
2007235311.tif 000011
【図３】
2007235311.tif 000012
【図４】
2007235311.tif 000013
【図５】
2007235311.tif 000014
【図６】
2007235311.tif 000015
【図７】
2007235311.tif 000016
【図８】
2007235311.tif 000017
【図９】
2007235311.tif 000018
【図１０】
2007235311.tif 000019
【図１１】
2007235311.tif 000020
【図１２】
2007235311.tif 000021
【図１３】
2007235311.tif 000022
【図１４】
2007235311.tif 000023
【図１５】
2007235311.tif 000024
【図１６】
2007235311.tif 000025
【図１７】
2007235311.tif 000026
【図１８】
2007235311.tif 000027
【図１９】
2007235311.tif 000028
【図２０】
2007235311.tif 000029
【図２１】
2007235311.tif 000030
【図２２】
2007235311.tif 000031
【図２３】
2007235311.tif 000032
【図２４】
2007235311.tif 000033
【図２５】
2007235311.tif 000034
【図２６】
2007235311.tif 000035
【図２７】
2007235311.tif 000036
【図２８】
2007235311.tif 000037
【図２９】
2007235311.tif 000038
【図３０】
2007235311.tif 000039
【図３１】
2007235311.tif 000040
【図３２】
2007235311.tif 000041
【図３３】
2007235311.tif 000042
【図３４】
2007235311.tif 000043
【図３５】
2007235311.tif 000044