(57)【要約】【課題】イメージセンサで撮影した画像に含まれるノイズをより的確に除去することができるようにする。【解決手段】イメージセンサ部１１は、被写体を撮影したときの撮影条件を表す撮影条件情報を係数ROM番号算出部１２に供給するとともに、撮影画像をクラス分類適応処理部１４に供給する。係数ROM番号算出部１２は、撮影条件に基づいて、係数ROM１３−１乃至１３−ｒの中から最適な係数ROMを指定し、その係数ROM番号を係数ROM格納部１３に供給する。係数ROM格納部１３は、クラスコードに対応する予測係数を、指定された係数ROMから取得する。クラス分類適応処理部１４は、撮影画像をクラス分類したクラスコードを係数ROM格納部１３に供給して得られる予測係数を用いて、撮影画像からノイズを除去した処理画像を求め、出力する。本発明は、撮像装置に適用できる。【選択図】図３
2007189589.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段が出力する第１の画像を、その特徴に応じてクラスに分類するクラス分類手段と、
学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリを格納する格納手段と、
複数の前記係数メモリの中から、前記撮影手段が撮影したときの前記撮影条件に基づいて、１つの前記係数メモリを指定する指定手段と、
指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める演算手段と
を備える情報処理装置。
【請求項２】
前記撮影条件は、撮像時の照度または露光時間である
請求項１に記載の情報処理装置。
【請求項３】
前記格納手段は、さらに、前記撮影時の撮影条件と前記撮影手段に固有の固有情報ごとの前記係数メモリも格納し、
前記指定手段は、格納されている複数の前記係数メモリの中から、前記撮影条件および前記固有情報に基づいて、１つの前記係数メモリを指定する
請求項１に記載の情報処理装置。
【請求項４】
前記格納手段は、さらに、前記撮影時の撮影条件と前記撮影手段を構成する画素のうちの欠陥画素の位置を表す欠陥位置情報ごとの前記係数メモリも格納し、
前記指定手段は、格納されている複数の前記係数メモリの中から、前記撮影条件および前記欠陥位置情報に基づいて、１つの前記係数メモリを指定し、
前記演算手段は、前記欠陥画素を補正し、かつ、前記第１の画像からノイズを除去した第２の画像を求める
請求項１に記載の情報処理装置。
【請求項５】
前記撮影手段の前記欠陥画素を検出し、前記欠陥位置情報を出力する欠陥画素検出手段と、
前記欠陥位置情報を記憶する記憶手段と
をさらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記欠陥画素検出手段は、異なる時間に撮影された２枚の画像の対応する各画素が同一の画素値を有するか否かにより、前記欠陥画素を検出する
請求項５に記載の情報処理装置。
【請求項７】
前記撮影手段、前記クラス分類手段、前記格納手段、前記指定手段、および前記演算手段の全部、または、前記撮影手段を少なくとも含む一部は、チップにより構成される
請求項１に記載の情報処理装置。
【請求項８】
被写体を撮影して得られる第１の画像を、その特徴に応じてクラスに分類し、
学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリの中から、前記第１の画像が得られたときの前記撮影条件に基づいて、１つの前記係数メモリを指定し、
指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める
ステップを含む情報処理方法。
【請求項９】
被写体を撮影して得られる第１の画像を、その特徴に応じてクラスに分類し、
学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリの中から、前記第１の画像が得られたときの前記撮影条件に基づいて、１つの前記係数メモリを指定し、
指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める
ステップをコンピュータに実行させるプログラム。
【請求項１０】
撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習装置であって、
撮影条件を決定する条件決定手段と、
決定された前記撮影条件の下で、被写体を撮影する撮影手段と、
前記撮影手段により撮影された画像に含まれるノイズを抽出したノイズ画像を生成するノイズ画像生成手段と、
ノイズ除去処理後の目標の画像となる教師画像を生成する教師画像生成手段と、
前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成する生徒画像生成手段と、
前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する記憶手段と
を備える学習装置。
【請求項１１】
前記撮影条件それぞれについて、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段と、
抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段と
をさらに備える
請求項１０に記載の学習装置。
【請求項１２】
前記ノイズ画像生成手段は、前記撮影手段により撮影された複数の前記画像の平均となる画像と、前記撮影手段により撮影された複数の前記画像それぞれとの差分を演算することにより、複数の前記ノイズ画像を生成する
請求項１０に記載の学習装置。
【請求項１３】
撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習方法であって、
撮影条件を決定し、
決定された前記撮影条件の下で、被写体を撮影し、
撮影された画像に含まれるノイズを抽出したノイズ画像を生成し、
ノイズ除去処理後の目標の画像となる教師画像を生成し、
前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成し、
前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する
ステップを含む学習方法。
【請求項１４】
撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する処理を、コンピュータに実行させるプログラムであって、
撮影条件を決定し、
決定された前記撮影条件の下で、被写体を撮影し、
撮影された画像に含まれるノイズを抽出したノイズ画像を生成し、
ノイズ除去処理後の目標の画像となる教師画像を生成し、
前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成し、
前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラムに関し、特に、イメージセンサで撮影した画像に含まれるノイズをより的確に除去することができるようにする情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力された第１の画像の所定領域の複数画素の画素値と、教師画像と生徒画像とを用いた学習処理により予め求めておいた予測係数との線形１次式を演算することにより、入力された第１の画像から第２の画像信号を求める信号処理である。
【０００３】
第１の画像がノイズを含む画像であり、第２の画像がノイズが除去（低減）された画像であれば、このクラス分類適応処理は、ノイズ除去処理として機能し、また、第１の画像がSD(Standard Definition)画像であり、第２の画像がSD画像より高解像度のHD(High Definition)画像であれば、このクラス分類適応処理は、低解像度の画像を高解像度の画像に変換する解像度変換処理として機能する。
【０００４】
特許文献１に開示されているクラス分類適応処理では、ノイズ除去処理におけるノイズを除去する程度（ノイズ除去度）や解像度変換処理における変換後の解像度（水平解像度および垂直解像度）を、ジョイスティック等を操作してユーザ自身が指定し、その指定された値によって上述の予測係数を変更することができるようになっている。
【０００５】
従来、クラス分類適応処理を用いたノイズ除去処理においては、チューナ等で受信された画像（信号）や記録再生装置から再生された画像（信号）を第１の画像とし、その第１の画像から除去するノイズとして、伝送時や圧縮時に生じる弱電界ノイズや圧縮歪みによるノイズが想定されていた。
【０００６】
ところで、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどのイメージセンサによって撮影（撮像）されて得られる画像には、撮影時の照度や露光時間などによって変化する特性（ノイズ特性）を有するノイズがある。
【０００７】
例えば、イメージセンサで撮影した画像に含まれるノイズ量（レベル）と撮影時の露光時間との関係（特性）は、図１に示すように、露光時間が長くなるほどノイズ量も大きくなるので、信号（Signal）とノイズ（Noise）との比であるS/N比は、長時間露光になるほど低下する。また、撮影時の照度（輝度）とS/N比との関係は、撮影時の照度が低くなるほど信号とノイズのレベルが近くなるため、図２に示すように、撮影時の照度が低くなるほどS/N比は低下する。
【特許文献１】特開２００２−２１８４１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上のように、イメージセンサで撮影した画像に含まれるノイズには、伝送時や圧縮時に生じる弱電界ノイズや圧縮歪みによるノイズとは異なる種類のノイズがあり、従来のクラス分類適応処理を用いたノイズ除去処理では、十分に除去することができなかった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、イメージセンサで撮影した画像に含まれるノイズをより的確に除去することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の第１の側面の情報処理装置は、被写体を撮影する撮影手段と、前記撮影手段が出力する第１の画像を、その特徴に応じてクラスに分類するクラス分類手段と、学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリを格納する格納手段と、複数の前記係数メモリの中から、前記撮影手段が撮影したときの前記撮影条件に基づいて、１つの前記係数メモリを指定する指定手段と、指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める演算手段とを備える。
【００１１】
前記撮影条件は、撮像時の照度または露光時間とさせることができる。
【００１２】
前記格納手段には、さらに、前記撮影時の撮影条件と前記撮影手段に固有の固有情報ごとの前記係数メモリも格納させ、前記指定手段には、格納されている複数の前記係数メモリの中から、前記撮影条件および前記固有情報に基づいて、１つの前記係数メモリを指定させることができる。
【００１３】
前記格納手段には、さらに、前記撮影時の撮影条件と前記撮影手段を構成する画素のうちの欠陥画素の位置を表す欠陥位置情報ごとの前記係数メモリも格納させ、前記指定手段には、格納されている複数の前記係数メモリの中から、前記撮影条件および前記欠陥位置情報に基づいて、１つの前記係数メモリを指定させ、前記演算手段には、前記欠陥画素を補正し、かつ、前記第１の画像からノイズを除去した第２の画像を求めさせることができる。
【００１４】
前記撮影手段の前記欠陥画素を検出し、前記欠陥位置情報を出力する欠陥画素検出手段と、前記欠陥位置情報を記憶する記憶手段とをさらに設けることができる。
【００１５】
前記欠陥画素検出手段には、異なる時間に撮影された２枚の画像の対応する各画素が同一の画素値を有するか否かにより、前記欠陥画素を検出させることができる。
【００１６】
前記撮影手段、前記クラス分類手段、前記格納手段、前記指定手段、および前記演算手段の全部、または、前記撮影手段を少なくとも含む一部は、チップにより構成させることができる。
【００１７】
本発明の第１の側面の情報処理方法は、被写体を撮影して得られる第１の画像を、その特徴に応じてクラスに分類し、学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリの中から、前記第１の画像が得られたときの前記撮影条件に基づいて、１つの前記係数メモリを指定し、指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求めるステップを含む。
【００１８】
本発明の第１の側面のプログラムは、被写体を撮影して得られる第１の画像を、その特徴に応じてクラスに分類し、学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリの中から、前記第１の画像が得られたときの前記撮影条件に基づいて、１つの前記係数メモリを指定し、指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求めるステップをコンピュータに実行させる。
【００１９】
本発明の第１の側面においては、被写体を撮影して得られる第１の画像が、その特徴に応じてクラスに分類され、学習により獲得されたクラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の係数メモリの中から、第１の画像が得られたときの撮影条件に基づいて、１つの係数メモリが指定される。そして、指定された係数メモリの、第１の画像のクラスの予測係数を用いて演算することで、第１の画像からノイズを除去した第２の画像が求められる。
【００２０】
本発明の第２の側面の学習装置は、撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習装置であって、撮影条件を決定する条件決定手段と、決定された前記撮影条件の下で、被写体を撮影する撮影手段と、前記撮影手段により撮影された画像に含まれるノイズを抽出したノイズ画像を生成するノイズ画像生成手段と、ノイズ除去処理後の目標の画像となる教師画像を生成する教師画像生成手段と、前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成する生徒画像生成手段と、前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する記憶手段とを備える。
【００２１】
前記撮影条件それぞれについて、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段と、抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段とをさらに設けることができる。
【００２２】
前記ノイズ画像生成手段には、前記撮影手段により撮影された複数の前記画像の平均となる画像と、前記撮影手段により撮影された複数の前記画像それぞれとの差分を演算することにより、複数の前記ノイズ画像を生成させることができる。
【００２３】
本発明の第２の側面の学習方法は、撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習方法であって、撮影条件を決定し、決定された前記撮影条件の下で、被写体を撮影し、撮影された画像に含まれるノイズを抽出したノイズ画像を生成し、ノイズ除去処理後の目標の画像となる教師画像を生成し、前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成し、前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶するステップを含む。
【００２４】
本発明の第２の側面のプログラムは、撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する処理を、コンピュータに実行させるプログラムであって、撮影条件を決定し、決定された前記撮影条件の下で、被写体を撮影し、撮影された画像に含まれるノイズを抽出したノイズ画像を生成し、ノイズ除去処理後の目標の画像となる教師画像を生成し、前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成し、前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶するステップを含む。
【００２５】
本発明の第２の側面においては、決定された撮影条件の下で、被写体が撮影され、撮影された画像に含まれるノイズを抽出したノイズ画像が生成される。また、ノイズ除去処理後の目標の画像となる教師画像が生成され、生成された教師画像にノイズ画像を付加することにより、ノイズ除去処理が行われる前の撮影画像に相当する生徒画像が生成される。そして、教師画像と生徒画像の対のデータが、異なる撮影条件ごとに記憶される。
【発明の効果】
【００２６】
本発明によれば、イメージセンサで撮影した画像に含まれるノイズをより的確に除去することができる。
【発明を実施するための最良の形態】
【００２７】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２８】
本発明の第１の側面の情報処理装置（例えば、図３の撮像装置１）は、被写体を撮影する撮影手段（例えば、図３のイメージセンサ部１１）と、前記撮影手段が出力する第１の画像を、その特徴に応じてクラスに分類するクラス分類手段（例えば、図４のクラス分類部２１）と、学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリを格納する格納手段（例えば、図３の係数ROM格納部１３）と、複数の前記係数メモリの中から、前記撮影手段が撮影したときの前記撮影条件に基づいて、１つの前記係数メモリを指定する指定手段（例えば、図３の係数ROM番号算出部１２）と、指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める演算手段（例えば、図４の予測演算部２３）とを備える。
【００２９】
本発明の第１の側面の情報処理装置は、前記撮影手段の前記欠陥画素を検出し、前記欠陥位置情報を出力する欠陥画素検出手段（例えば、図２１の欠陥検出部１４２）と、前記欠陥位置情報を記憶する記憶手段（例えば、図２１の欠陥情報不揮発性メモリ１４１）とをさらに備える。
【００３０】
本発明の第１の側面の情報処理装置は、前記撮影手段、前記クラス分類手段、前記格納手段、前記指定手段、および前記演算手段の全部、または、前記撮影手段を少なくとも含む一部は、チップ（例えば、図２２乃至図２５のイメージセンサLSI１８１乃至１８４）により構成される。
【００３１】
本発明の第１の側面の情報処理方法（例えば、図６のノイズ除去処理方法）は、被写体を撮影して得られる第１の画像を、その特徴に応じてクラスに分類し（例えば、図６のステップＳ７）、学習により獲得された前記クラスごとの予測係数を記憶する係数メモリであって、撮影時の撮影条件が異なる複数の前記係数メモリの中から、前記第１の画像が得られたときの前記撮影条件に基づいて、１つの前記係数メモリを指定し（例えば、図６のステップＳ５）、指定された前記係数メモリの、前記第１の画像の前記クラスの予測係数を用いて演算することで、前記第１の画像からノイズを除去した第２の画像を求める（例えば、図６のステップＳ１０）ステップを含む。
【００３２】
本発明の第２の側面の学習装置は、撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習装置（例えば、図７の学習装置５１）であって、撮影条件を決定する条件決定手段（例えば、図９の撮影条件決定部９１）と、決定された前記撮影条件の下で、被写体を撮影する撮影手段（例えば、図９の撮影画像生成部９２）と、前記撮影手段により撮影された画像に含まれるノイズを抽出したノイズ画像を生成するノイズ画像生成手段（例えば、図９の差分演算部９４）と、ノイズ除去処理後の目標の画像となる教師画像を生成する教師画像生成手段（例えば、図８の教師画像生成部８１）と、前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成する生徒画像生成手段（例えば、図８のノイズ付加部８３）と、前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する記憶手段（例えば、図７の学習対データベース６２）とを備える。
【００３３】
本発明の第２の側面の学習装置は、前記撮影条件それぞれについて、前記教師画像の画素である注目画素を求めるのに用いる複数の画素を、前記生徒画像から抽出する抽出手段（例えば、図７の予測タップ抽出部６３）と、抽出された前記複数の画素に基づいて、前記予測係数を用いて求められる前記注目画素の予測誤差を統計的に最小にする前記予測係数を演算する演算手段（例えば、図７の予測係数算出部６７）とをさらに備える。
【００３４】
本発明の第２の側面の学習方法は、撮影された画像である撮影画像のノイズ除去処理を行うとき用いられる予測係数を学習する学習方法（例えば、図１４の学習処理方法）であって、撮影条件を決定し（例えば、図１５のステップＳ５１）、決定された前記撮影条件の下で、被写体を撮影し（例えば、図１５のステップＳ５２）、撮影された画像に含まれるノイズを抽出したノイズ画像を生成し（例えば、図１５のステップＳ５４）、ノイズ除去処理後の目標の画像となる教師画像を生成し（例えば、図１５のステップＳ５６）、前記教師画像に前記ノイズ画像を付加することにより、ノイズ除去処理が行われる前の前記撮影画像に相当する生徒画像を生成し（例えば、図１５のステップＳ５７）、前記教師画像と前記生徒画像の対のデータを、異なる前記撮影条件ごとに記憶する（例えば、図１５のステップＳ５８）ステップを含む。
【００３５】
以下、図を参照して、本発明の実施の形態について説明する。
【００３６】
図３は、本発明を適用した撮像装置の第１の実施の形態の構成例を示している。
【００３７】
図３の撮像装置１は、イメージセンサ部１１、係数ROM番号算出部１２、係数ROM格納部１３、およびクラス分類適応処理部１４により構成されている。係数ROM格納部１３は、ｒ個（ｒ≧１）の係数ROM１３−１乃至１３−ｒを格納している。なお、係数ROM１３−１乃至１３−ｒは、物理的に独立した係数メモリとして格納してもよいし、１つのメモリ上の、異なるアドレス空間に形成することで格納してもよい。この撮像装置１は、例えば、デジタルビデオカメラ、デジタルスチルカメラ、または、携帯電話機などに搭載される。
【００３８】
イメージセンサ部１１は、被写体からの光（光信号）を電荷（電気信号）に変換するCCDセンサやCMOSセンサからなるイメージセンサ１１ａと、イメージセンサ１１aが出力する電気信号を増幅したり、読み出したりするための周辺回路１１ｂを少なくとも有している。このイメージセンサ１１aが画像を構成する画素に対応し、イメージセンサ部１１内では、複数のイメージセンサ１１aがアレイ上に配置されることによりセンサアレイが構成されている。
【００３９】
イメージセンサ部１１は、被写体を撮影（撮像）して得られる撮影画像をクラス分類適応処理部１４に出力する。なお、本実施の形態において画像を出力するとは、画像を構成する画像信号を出力することを意味する。また、イメージセンサ部１１は、クラス分類適応処理部１４に出力した撮影画像の撮影条件を表す撮影条件情報を係数ROM番号算出部１２に出力する。この撮影条件情報は、被写体の照度や露光時間などの、撮影するごとに変動する条件についての情報である。
【００４０】
係数ROM番号算出部１２には、撮影条件情報がイメージセンサ部１１から供給されるとともに、イメージセンサ１１aの固有情報が、図示せぬ操作部または通信部から供給される。この固有情報は、イメージセンサ１１aと同一の型番号のイメージセンサに共通して存在する特性を表す情報やイメージセンサ１１a単体の特性（個体差）を表す情報など、撮影するごとに変動することがないイメージセンサ１１aに関する固定された情報である。
【００４１】
係数ROM番号算出部１２は、撮影条件情報と固有情報とに基づいて、係数ROM１３−１乃至１３−ｒのなかから最適な係数ROMを係数ROM格納部１３に指定する。具体的には、係数ROM番号算出部１２は、係数ROM１３−１乃至１３−ｒそれぞれに付与されている係数ROM番号を係数ROM格納部１３に出力することにより、最適な係数ROMを係数ROM格納部１３に対して指定する。
【００４２】
係数ROM格納部１３の係数ROM１３−１乃至１３−ｒそれぞれは、図７を参照して後述する学習によって求められた、ノイズを除去するための予測係数をクラスごとに記憶している。係数ROM１３−１乃至１３−ｒでは、予測係数を求めたときの撮影条件情報または固有情報が異なっている。
【００４３】
係数ROM格納部１３は、係数ROM番号算出部１２から供給される係数ROM番号に対応して、係数ROM１３−１乃至１３−ｒのいずれかを選択する。また、係数ROM格納部１３は、クラス分類適応処理部１４から供給されるクラスコードが表すクラスの予測係数を、選択した係数ROMから取得し、クラス分類適応処理部１４に供給する。
【００４４】
クラス分類適応処理部１４には、イメージセンサ部１１から撮影画像が供給される。クラス分類適応処理部１４は、供給された撮影画像を、その特徴に応じて所定のクラスに分類し、その結果得られるクラスコードを係数ROM格納部１３に出力する。そして、出力したクラスコードに対応する予測係数が、係数ROM格納部１３からクラス分類適応処理部１４に供給される。
【００４５】
クラス分類適応処理部１４は、イメージセンサ部１１から供給された撮影画像と、係数ROM格納部１３から供給された、撮影画像の特徴に応じて分類したクラスに対応する予測係数とを用いて演算することで、撮影画像に対してノイズ除去処理を施した処理画像を出力する。
【００４６】
図４は、図３のクラス分類適応処理部１４の詳細な構成例を示すブロック図である。
【００４７】
クラス分類適応処理部１４は、クラス分類部２１、予測タップ抽出部２２、および予測演算部２３から構成され、クラス分類部２１は、さらにクラスタップ抽出部３１およびクラスコード発生部３２を有している。
【００４８】
イメージセンサ部１１（図３）からの撮影画像は、予測タップ抽出部２２およびクラスタップ抽出部３１に供給される。
【００４９】
クラス分類部２１は、処理画像を構成する画素を、順次、注目画素とし、その注目画素を、撮影画像を幾つかのクラスのうちのいずれかのクラスにクラス分けする（クラス分類を行う）。即ち、クラスタップ抽出部３１は、注目画素をクラス分類するのに用いる撮影画像を構成する画素の幾つかを、クラスタップとして抽出する。なお、処理画像を構成する画素のうちのどの画素を注目画素としているかについての情報は、撮像装置１内で予め決定される。
【００５０】
クラスコード発生部３２は、クラスタップ抽出部３１からのクラスタップを構成する画素に基づき、クラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数ROM格納部１３（図３）に出力する。
【００５１】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００５２】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００５３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生部３２は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生（出力）する。
【００５４】
なお、クラスコード発生部３２は、その他、例えば、クラスタップを構成する画素を、ベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化すること等によってクラス分類を行うことも可能である。
【００５５】
予測タップ抽出部２２は、注目画素の画素値を予測するのに用いる撮影画像を構成する画素（の画素値）を、予測タップとして抽出する。
【００５６】
具体的には、予測タップ抽出部２２は、注目画素に対応する撮影画像の画素（例えば、注目画素に対して空間的に最も近い位置にある撮影画像の画素）に対して、空間的に近い位置にある複数の画素を、撮影画像から、予測タップとして抽出する。
【００５７】
なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。
【００５８】
予測演算部２３には、予測タップ抽出部２２から供給される予測タップのほかに、係数ROM格納部１３（図３）から予測係数が供給される。予測演算部２３は、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部２３は、注目画素の画素値（の予測値）、即ち、処理画像を構成する画素の画素値を求めて出力する。
【００５９】
図５は、予測タップとクラスタップのタップ構造の例を示している。なお、予測タップとクラスタップのタップ構造は、図５に示されている以外の構造とすることが可能である。
【００６０】
図５Ａは、クラスタップのタップ構造の例を示している。図５Ａでは、９個の画素で、クラスタップが構成されている。即ち、図５Ａでは、イメージセンサ部１１が出力する撮影画像のうちの、注目画素に対応する画素Ｐ５と、その画素の上方向、下方向、左方向、右方向にそれぞれ隣接する２画素Ｐ２，Ｐ１，Ｐ８，Ｐ９，Ｐ４，Ｐ３，Ｐ６，Ｐ７とから、いわば十字形状のクラスタップが構成されている。
【００６１】
図５Ｂは、予測タップのタップ構造の例を示している。図５Ｂでは、１３個の画素で、予測タップが構成されている。即ち、図５Ｂでは、イメージセンサ部１１が出力する撮影画像のうちの、注目画素に対応する画素Ｐ２７を中心として縦方向に並ぶ５画素Ｐ２１，Ｐ２３，Ｐ２７，Ｐ３１，Ｐ３３、注目画素に対応する画素Ｐ２７の左と右に隣接する画素Ｐ２６，Ｐ２８それぞれを中心として縦方向に並ぶ３画素Ｐ２２，Ｐ２６，Ｐ３０，Ｐ２４，Ｐ２８，Ｐ３２、および注目画素に対応する画素Ｐ２７から左と右に１画素だけ離れた画素Ｐ２５，Ｐ２９から、いわばひし形状の予測タップが構成されている。
【００６２】
次に、図４の予測演算部２３における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００６３】
いま、撮影画像から予測タップを抽出し、その予測タップと予測係数を用いて、ノイズが除去された処理画像を構成する画素（以下、適宜、処理画像画素と称する）の画素値を求める（予測する）所定の予測演算として、例えば、線形１次予測演算を採用することとすると、処理画像画素の画素値ｙは、次の線形１次式によって求められることになる。
【００６４】
【数１】
2007189589.tif 000003
【００６５】
但し、式（１）において、ｘnは、処理画像画素ｙについての予測タップを構成する、ｎ番目の撮影画像の画素（以下、適宜、撮影画像画素と称する）の画素値を表し、ｗnは、ｎ番目の撮影画像画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の撮影画像画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００６６】
処理画像画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００６７】
いま、第ｋサンプルの処理画像画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００６８】
【数２】
2007189589.tif 000004
【００６９】
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【００７０】
【数３】
2007189589.tif 000005
【００７１】
但し、式（３）において、ｘn,kは、第ｋサンプルの処理画像画素についての予測タップを構成するｎ番目の撮影画像画素を表す。
【００７２】
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、処理画像画素を予測するのに最適なものとなるが、すべての処理画像画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【００７３】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００７４】
【数４】
2007189589.tif 000006
【００７５】
但し、式（４）において、Ｋは、処理画像画素ｙkと、その処理画像画素ｙkについての予測タップを構成する撮影画像画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００７６】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００７７】
【数５】
2007189589.tif 000007
【００７８】
そこで、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
【００７９】
【数６】
2007189589.tif 000008
【００８０】
式（５）と式（６）から、次式が得られる。
【００８１】
【数７】
2007189589.tif 000009
【００８２】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００８３】
【数８】
2007189589.tif 000010
【００８４】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【００８５】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラスごとに求めることができる。
【００８６】
図６のフローチャートを参照して、撮影画像のノイズを除去した処理画像を求める撮像装置１のノイズ除去処理について説明する。
【００８７】
初めに、ステップＳ１において、イメージセンサ部１１は、被写体を撮像し、その結果得られる撮影画像をクラス分類適応処理部１４に出力し、ステップＳ２において、撮影画像の撮影条件を表す撮影条件情報を係数ROM番号算出部１２に出力する。
【００８８】
ステップＳ３において、係数ROM番号算出部１２は、操作部または通信部などから供給されるイメージセンサ１１aの固有情報を取得する。
【００８９】
ステップＳ４において、クラスタップ抽出部３１は、求める処理画像を構成する画素のうちの所定の画素を注目画素として決定する。
【００９０】
ステップＳ５において、係数ROM番号算出部１２は、撮影条件情報と固有情報とに基づいて、係数ROM格納部１３に格納されている係数ROM１３−１乃至１３−ｒのなかから注目画素に最適な係数ROMを決定し、その係数ROMを特定する係数ROM番号を係数ROM格納部１３に出力する。
【００９１】
ステップＳ６において、クラスタップ抽出部３１は、注目画素のクラス分類を行うのに用いる撮影画像を構成する画素の幾つかを、クラスタップとして抽出する。
【００９２】
ステップＳ７において、クラスコード発生部３２は、クラスタップ抽出部３１からのクラスタップを構成する画素に基づき、クラス分類を行い、その結果得られるクラスに対応するクラスコードを求め、係数ROM格納部１３に出力する。
【００９３】
ステップＳ８において、係数ROM格納部１３は、係数ROM番号算出部１２から供給される係数ROM番号に対応する係数ROMを選択する。また、ステップＳ８において、係数ROM格納部１３は、クラス分類適応処理部１４から供給されるクラスコードが表すクラスの予測係数を、選択した係数ROMから取得し、クラス分類適応処理部１４に出力する。
【００９４】
ステップＳ９において、予測タップ抽出部２２は、注目画素の画素値を予測するのに用いる撮影画像を構成する画素（の画素値）を、予測タップとして抽出する。
【００９５】
ステップＳ１０において、予測演算部２３は、予測タップ抽出部２２から供給された予測タップと係数ROM格納部１３から供給された予測係数とを用いて、式（１）の演算（予測演算）を行うことにより、注目画素（の画素値）を求める。
【００９６】
ステップＳ１１において、予測演算部２３は、処理画像の全ての画素を注目画素としたかを判定し、処理画像の全ての画素をまだ注目画素としていないと判定した場合、ステップＳ４に処理を戻す。その結果、まだ注目画素としていない処理画像画素についてステップＳ４乃至Ｓ１１の処理が行われる。
【００９７】
一方、ステップＳ１１において、処理画像の全ての画素を注目画素としたと判定された場合、ステップＳ１２において、予測演算部２３は、処理画像を出力して、処理を終了する。
【００９８】
以上のようにして、イメージセンサ部１１からの撮影画像に対してノイズ除去処理を施した処理画像が求められ、撮像装置１から出力される。なお、撮像装置１が動画を撮影している場合には、フレーム（フィールド）ごとに図６の処理が繰り返される。
【００９９】
図７は、式（８）の正規方程式をたてて解くことによりクラスごとの予測係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１００】
図７の学習装置５１は、学習用データ生成部６１、学習対データベース６２、予測タップ抽出部６３、クラスタップ抽出部６４、クラスコード発生部６５、正規方程式生成部６６、および予測係数算出部６７により構成されている。
【０１０１】
学習用データ生成部６１は、撮影条件をさまざま変えて、予測係数ｗnの学習に用いられる学習用データとしての教師画像と生徒画像を生成し、学習対データベース６２に出力する。
【０１０２】
学習対データベース６２には、複数の撮影条件についての、学習用データ生成部６１で生成された多数の教師画像および生徒画像が学習用データ生成部６１から供給される。学習対データベース６２は、多数の生徒画像のそれぞれについて、生徒画像と、それに対応する教師画像とのペア（学習対）にして、撮影条件ごとにグループ分けして記憶する。そして、学習対データベース６２は、所定の撮影条件における、学習対の一方である生徒画像を予測タップ抽出部６３およびクラスタップ抽出部６４に出力するとともに、学習対の他方である教師画像を正規方程式生成部６６に出力する。
【０１０３】
予測タップ抽出部６３は、学習対の教師画像を構成する画素を、順次、注目教師画素とし、その注目教師画素について、学習対の生徒画像の画素のうちの所定のものを抽出することにより、図４の予測タップ抽出部２２が構成するのと同一のタップ構造の予測タップを構成し、正規方程式生成部６６に供給する。
【０１０４】
クラスタップ抽出部６４は、注目教師画素について、生徒画像を構成する画素のうちの所定のものを抽出することにより、図４のクラスタップ抽出部３１が構成するのと同一のタップ構造のクラスタップを構成し、クラスコード発生部６５に供給する。
【０１０５】
クラスコード発生部６５は、クラスタップ抽出部６４が出力するクラスタップに基づき、図４のクラスコード発生部３２と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、正規方程式生成部６６に出力する。
【０１０６】
正規方程式生成部６６は、学習対データベース６２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部６３から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした足し込みを、クラスコード発生部６５から供給されるクラスコードごとに行う。
【０１０７】
即ち、正規方程式生成部６６には、学習対データベース６２に記憶された教師画像ｙk、予測タップ抽出部６３が出力する予測タップｘn,k、クラスコード発生部６５が出力するクラスコードが供給される。
【０１０８】
そして、正規方程式生成部６６は、クラスコード発生部６５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kを用い、式（８）の左辺の行列における生徒画像どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０９】
さらに、正規方程式生成部６６は、やはり、クラスコード発生部６５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像）ｘn,kと教師画像ｙkを用い、式（８）の右辺のベクトルにおける生徒画像ｘn,kおよび教師画像ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１１０】
即ち、正規方程式生成部６６は、前回、注目教師画素とされた教師画像について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師画像について、その教師画像ｙk+1および生徒画像ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１１１】
そして、正規方程式生成部６６は、学習対データベース６２に記憶された、ある撮影条件についての教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部６７に供給する。
【０１１２】
予測係数算出部６７は、ある撮影条件について正規方程式生成部６６から供給される各クラスについての正規方程式を解くことにより、ある撮影条件における最適な予測係数ｗnをクラスごとに求めて出力する。
【０１１３】
図８は、図７の学習用データ生成部６１の詳細な構成例を示すブロック図である。
【０１１４】
学習用データ生成部６１は、教師画像生成部８１、ノイズ画像生成部８２、およびノイズ付加部８３により構成されている。
【０１１５】
教師画像生成部８１は、学習の教師となる教師画像を生成する。図３の撮影装置１では、イメージセンサ部１１で撮影された撮影画像のノイズを除去するため、イメージセンサ部１１で使用しているイメージセンサ１１aよりもノイズが少ない高S/N比の特性を有するイメージセンサを用いて教師画像を生成する必要がある。したがって、教師画像生成部８１は、例えば、業務用の高開口率、高ダイナミックレンジ、または、１画素の画素サイズが大きいイメージセンサや、冷却CCDセンサなどのノイズ低減イメージセンサを用いて教師画像を生成する。また、CG(Computer Graphics)などにより人工的に作成した画像を教師画像としてもよい。教師画像生成部８１は、生成した教師画像をノイズ付加部８３および学習対データベース６２（図７）に供給する。
【０１１６】
ノイズ画像生成部８２は、イメージセンサ部１１に使用しているイメージセンサ１１aと同一の型番号のイメージセンサを用いてノイズのみ（主としてノイズ）が含まれている画像（ノイズ画像）を生成し、ノイズ付加部８３に出力する。
【０１１７】
ノイズ付加部８３は、教師画像生成部８１から供給される教師画像に、ノイズ画像生成部８２から取得したノイズ画像を付加し、その結果得られる画像を生徒画像として学習対データベース６２に出力する。より具体的には、ノイズ付加部８３は、教師画像とノイズ画像の対応する画素どうしを加算することにより生徒画像を生成し、学習対データベース６２に出力する。
【０１１８】
図９は、図８のノイズ画像生成部８２の詳細な構成例を示すブロック図である。
【０１１９】
ノイズ画像生成部８２は、撮影条件決定部９１、撮影画像生成部９２、平均処理部９３、差分演算部９４、およびノイズ画像記憶部９５により構成されている。
【０１２０】
撮影条件決定部９１は、被写体の照度や露光時間などの撮影条件を決定し、決定された撮影条件を表す撮影条件情報を撮影画像生成部９２に出力する。
【０１２１】
撮影画像生成部９２は、イメージセンサ１１aと同一の型番号（同型）のイメージセンサを有しており、そのイメージセンサを用いて被写体を撮影し、撮影画像を生成する。このとき、撮影画像生成部９２は、撮影条件決定部９１から供給された撮影条件情報に従った撮影条件の下で、撮影を行う。撮影画像生成部９２は、この撮影画像の生成を所定回数繰り返すことにより、所定枚数の撮影画像を平均処理部９３および差分演算部９４に出力する。なお、撮影画像生成部９２が撮影する被写体は、一面一様な物体や、完全に静止している物体などであり、画像を構成する各画素の画素値が、所定枚数撮影する間、一定（不変）となる物体である。
【０１２２】
平均処理部９３は、撮影画像生成部９２から供給される複数枚の撮影画像について、対応する画素（撮影画像中の同一位置の画素）どうしの画素値の平均値を計算することにより、各画素の代表画素値を算出する。この平均処理した画像を、被写体成分のみを表す画像、換言すれば、各画素に含まれているノイズ成分が除去された画像とみなし、平均処理部９３は、各画素の画素値を代表画素値とするノイズ除去画像を、差分演算部９４に供給する。なお、各画素の代表画素値をメディアンフィルタ等のフィルタ処理により求めてもよい。
【０１２３】
差分演算部９４は、撮影画像生成部９２から供給される撮影画像と、平均処理部９３から供給されるノイズ除去画像の、対応する画素どうしの画素値の差分を演算することにより、ノイズ成分を抽出したノイズ画像（主としてノイズ成分のみからなる画像）を生成する。差分演算部９４は、この処理を撮影画像生成部９２から供給される複数枚の撮影画像について実行し、複数枚のノイズ画像をノイズ画像記憶部９５に出力する。
【０１２４】
ノイズ画像記憶部９５は、差分演算部９４から供給される複数枚のノイズ画像を記憶する。このノイズ画像は、撮影条件決定部９１で決定された撮影条件の下での、イメージセンサ１１aと同一の型番号のイメージセンサに固有のノイズを表している。ノイズ画像記憶部９５は、必要に応じて、記憶しているノイズ画像を、図８のノイズ付加部８３に供給する。
【０１２５】
次に、図１０乃至図１３を参照して、学習用データの生成について説明する。
【０１２６】
図１０は、ノイズ画像生成部８２によるノイズ画像の生成を模式的に示す図である。
【０１２７】
撮影画像生成部９２は、撮影条件決定部９１で決定された撮影条件の下で、イメージセンサ１１aと同一の型番号のイメージセンサを用いて被写体を撮影し、撮影画像Ｆj（ｊ＝１，・・・，ｑ）を生成する。
【０１２８】
平均処理部９３は、撮影画像生成部９２から供給される複数枚（ｑ枚）の撮影画像Ｆjの対応する画素どうしで、画素値の平均処理を行い、ノイズ除去画像Ｆavを生成する。
【０１２９】
例えば、図１１Ａに示すように、撮影画像Ｆ1乃至Ｆqの同一位置Ａの画素Ａ1乃至Ａq（図１１Ａには、４枚の撮影画像のみが示されている）は、同じ被写体を撮影しているにもかかわらず、図１１Ｂに示すように、異なる画素値を有している。
【０１３０】
平均処理部９３は、ノイズ除去画像Ｆavの位置Ａの画素の画素値Ａavを、画素Ａ1乃至Ａqの画素値の平均値とする平均処理をノイズ除去画像Ｆavのすべての画素について実行する。
【０１３１】
そして、差分演算部９４は、図１０に示すように、撮影画像生成部９２から供給される撮影画像Ｆjの各画素について、平均処理部９３から供給されるノイズ除去画像Ｆavの、対応する画素の画素値を減算することにより、ノイズ画像Ｕjを生成する。
【０１３２】
図１２は、学習用データ生成部６１による生徒画像の生成を模式的に示す図である。
【０１３３】
教師画像生成部８１は、イメージセンサ１１aよりも高S/N比の特性を有するイメージセンサを用いて複数枚（ｐ枚）の教師画像Ｔi（ｉ＝１，・・・，ｐ）を生成する。
【０１３４】
ノイズ付加部８３は、教師画像生成部８１から供給される複数枚（ｐ枚）の教師画像Ｔ1乃至Ｔpそれぞれに対して、ノイズ画像生成部８２から取得したノイズ画像Ｕ1乃至Ｕqを付加し、生徒画像（Ｓ11乃至Ｓ1q），（Ｓ21乃至Ｓ2q），・・・，（Ｓp1乃至Ｓpq）を生成する。
【０１３５】
例えば、ノイズ付加部８３は、教師画像Ｔ1にノイズ画像Ｕ1乃至Ｕqそれぞれを付加し、生徒画像Ｓ11乃至Ｓ1qを生成する。また、ノイズ付加部８３は、教師画像Ｔ2にノイズ画像Ｕ1乃至Ｕqそれぞれを付加し、生徒画像Ｓ21乃至Ｓ2qを生成する。
【０１３６】
以下、同様に、学習用データ生成部６１は、１枚の教師画像Ｔiに対して、ｑ枚の生徒画像Ｓi1乃至Ｓiqを生成し、学習対データベース６２に出力する。
【０１３７】
学習対データベース６２は、ｑ枚の生徒画像Ｓi1乃至Ｓiqそれぞれに対して、教師画像Ｔiを割り当て、ｑ組みの教師画像と生徒画像のペア（学習対）を生成する。これにより、学習対データベース６２では、所定の撮影条件の下で、（ｐ×ｑ）組みの教師画像と生徒画像のペア（学習対）が生成される。
【０１３８】
以上の学習用データの生成（処理）を、撮影条件を代えて繰り返し実行することにより、様々な撮影条件下での教師画像と生徒画像のペア（学習対）が学習対データベース６２に記憶される。
【０１３９】
例えば、図１３に示すように、撮影条件Ａの下での、生徒画像Ｓ11-a乃至Ｓ1q-aと、それに対応する教師画像Ｔ1-a，・・・，Ｔ1-a（ｑ枚のＴ1-a），Ｔ2-a，・・・，Ｔ2-a（ｑ枚のＴ2-a），・・・，Ｔp-a，・・・，Ｔp-a（ｑ枚のＴp-a）の（ｐ×ｑ）組みの学習対と、撮影条件Ｂの下での、生徒画像Ｓ11-b乃至Ｓ1q-bと、それに対応する教師画像Ｔ1-b，・・・，Ｔ1-b（ｑ枚のＴ1-b），Ｔ2-b，・・・，Ｔ2-b（ｑ枚のＴ2-b），・・・，Ｔp-b，・・・，Ｔp-b（ｑ枚のＴp-b）の（ｐ×ｑ）組みの学習対と、撮影条件Ｃの下での、生徒画像Ｓ11-c乃至Ｓ1q-cと、それに対応する教師画像Ｔ1-c，・・・，Ｔ1-c（ｑ枚のＴ1-c），Ｔ2-c，・・・，Ｔ2-c（ｑ枚のＴ2-c），・・・，Ｔp-c，・・・，Ｔp-c（ｑ枚のＴp-c）の（ｐ×ｑ）組みの学習対が、学習対データベース６２に記憶される。
【０１４０】
次に、図１４のフローチャートを参照して、ある撮影条件の下での、学習装置５１の学習処理について説明する。
【０１４１】
最初に、ステップＳ３１において、学習用データ生成部６１は、学習用データ生成処理を行う。この処理の詳細は、図１５を参照して後述するが、学習用データ生成部６１は、学習用データを生成し、学習対データベース６２に供給して記憶させる。
【０１４２】
ステップＳ３２において、予測タップ抽出部６３は、学習対データベース６２に記憶された教師画像Ｔi（ｉ＝１，・・・，ｐのいずれか）のうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ３２では、予測タップ抽出部６３は、注目教師画素について、学習対データベース６２に記憶された生徒画像Ｓij（ｊ＝１，・・・，ｑのいずれか）から予測タップを抽出し、正規方程式生成部６６に供給する。
【０１４３】
ステップＳ３３において、クラスタップ抽出部６４は、注目教師画素について、学習対データベース６２に記憶された生徒画像Ｓijからクラスタップを抽出し、クラスコード発生部６５に供給する。
【０１４４】
ステップＳ３４において、クラスコード発生部６５は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを正規方程式生成部６６に出力する。
【０１４５】
ステップＳ３５において、正規方程式生成部６６は、学習対データベース６２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部６３から供給される注目教師画素について構成された予測タップを構成する生徒画像Ｓijとを対象とした式（８）の足し込みを、クラスコード発生部６５から供給されるクラスコード（クラス）ごとに行う。
【０１４６】
ステップＳ３６において、予測タップ抽出部６３は、学習対データベース６２に、まだ注目教師画素としていない教師画像が記憶されているかどうかを判定する。ステップＳ３６で、注目教師画素としていない教師画像が、学習対データベース６２にまだ記憶されていると判定された場合、処理はステップＳ３２に戻り、予測タップ抽出部６３は、まだ注目教師画素としていない教師画像の画素を、新たに注目教師画素とする。以下、同様の処理が繰り返される。
【０１４７】
一方、ステップＳ３６で、注目教師画素としていない教師画像が、学習対データベース６２に記憶されていないと判定された場合、ステップＳ３７において、正規方程式生成部６６は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部６７に供給する。
【０１４８】
また、ステップＳ３７では、予測係数算出部６７は、正規方程式生成部６６から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに予測係数ｗnを求めて出力し、処理を終了する。
【０１４９】
なお、学習用データの数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部６７は、例えば、デフォルトの予測係数を出力するようになっている。
【０１５０】
次に、図１５のフローチャートを参照して、図１４のステップＳ３１で実行される学習用データ生成処理の詳細について説明する。
【０１５１】
初めに、ステップＳ５１において、撮影条件決定部９１は、撮影条件を決定し、決定された撮影条件を表す撮影条件情報を撮影画像生成部９２に出力する。
【０１５２】
ステップＳ５２において、撮影画像生成部９２は、イメージセンサ１１aと同一の型番号のイメージセンサを用いて被写体を撮影し、撮影画像を生成する。ステップＳ５２では、この処理が所定回数繰り返され、同一被写体を撮影した複数枚の撮影画像Ｆ1乃至Ｆqが、撮影画像生成部９２から平均処理部９３および差分演算部９４に供給される。
【０１５３】
ステップＳ５３において、平均処理部９３は、撮影画像生成部９２から供給される複数枚の撮影画像Ｆ1乃至Ｆqについて、対応する画素（撮影画像中の同一位置の画素）どうしの画素値の平均値を計算することにより、各画素の代表画素値を算出する。さらに、平均処理部９３は、ステップＳ５３において、各画素の画素値を代表画素値とするノイズ除去画像Favを生成し、差分演算部９４に供給する。
【０１５４】
ステップＳ５４において、差分演算部９４は、撮影画像生成部９２から供給される複数枚の撮影画像F1乃至Fqからノイズ除去画像Favを減算することにより、複数枚のノイズ画像Ｕ1乃至Ｕqを生成し、ノイズ画像記憶部９５に出力する。
【０１５５】
ステップＳ５５において、ノイズ画像記憶部９５は、差分演算部９４から供給される複数枚のノイズ画像Ｕ1乃至Ｕqを記憶する。
【０１５６】
ステップＳ５６において、教師画像生成部８１は、イメージセンサ１１aよりも高S/N比の特性を有するイメージセンサを用いて教師画像Ｔ1乃至Ｔpを生成する。
【０１５７】
ステップＳ５７において、ノイズ付加部８３は、教師画像生成部８１から供給される教師画像Ｔi（ｉ＝１，・・・，ｐ）にノイズ画像生成部８２から取得したノイズ画像Ｕ1乃至Ｕqを付加して、生徒画像Ｓi1乃至Ｓiqを生成し、学習対データベース６２に出力する。
【０１５８】
ステップＳ５８において、学習対データベース６２は、ｑ枚の生徒画像Ｓi1乃至Ｓiqそれぞれに対して、教師画像Ｔiを割り当て、ｑ組みの教師画像と生徒画像のペア（学習対）を生成し、記憶する。その後、処理は図１４に戻り、ステップＳ３２に進む。
【０１５９】
図１４の学習処理を、異なる撮影条件を設定して繰り返すことにより、複数の撮影条件におけるクラスごとの予測係数を求めることができる。そして、求められたクラスごとの予測係数が、撮影条件ごとに、図３の係数ROM格納部１３の係数ROM１３−１乃至１３−ｒそれぞれに格納される。
【０１６０】
以上のように、学習処理では、撮影条件を決定し、イメージセンサ１１aと同一の型番号のイメージセンサを用いた撮影画像が生成され、その撮影画像からさらにノイズ画像が生成される。そして、生成されたノイズ画像を用いて教師画像と生徒画像のペア（学習対）を多数作成し、それを用いて予測係数ｗnを求める。従って、所定の撮影条件下における、図３のイメージセンサ部１１に使用されているイメージセンサ１１aのノイズ特性に最適な予測係数ｗnを求めることができる。
【０１６１】
半導体デバイス（イメージセンサ）の製造においては、複数の半導体デバイスを完全に同一の特性（光電変換効率や配線容量、回路のノイズ耐性やリーク電流量など）を持つように製造することが困難であるため、半導体デバイス間に、ある程度の個体差が生じる。従来のクラス分類適応処理を用いたノイズ除去処理では、半導体デバイスの個体差に起因する、イメージセンサ間のノイズ特性の違いを考慮したノイズを十分に除去しているとは言い難かったが、図３の撮像装置１では、学習装置５１で上述のようにしてイメージセンサ１１aのノイズ特性に最適な予測係数ｗnを用いたクラス分類適応処理を行うので、イメージセンサ部１１から出力された撮影画像に対して、イメージセンサ１１aのノイズ特性を考慮したノイズ除去処理を施すことができる。即ち、イメージセンサ１１aのノイズ特性に対応して、撮影画像のノイズをより的確に除去することができる。
【０１６２】
ところで、半導体デバイスの製造過程において不具合が発生し、イメージセンサ（画素）が欠陥（欠陥画素）となる場合がある。そこで、ノイズ除去処理だけでなく、欠陥画素の補正処理も行うようにした撮像装置の実施の形態（第２の実施の形態）について説明する。
【０１６３】
初めに、図１６および図１７を参照して、欠陥画素を検出する検出方法の概念について説明する。
【０１６４】
図１６Ａは、センサアレイのなかの３つの画素Ｂ，Ｂ’、およびＢ”が欠陥画素となっている例を示している。
【０１６５】
画素（イメージセンサ）が８ビット（０乃至２５５）の画素値を出力するものとして、その画素が欠陥画素となっている場合、欠陥画素の画素値は、例えば、常に一定の値となる。即ち、図１６Ｂに示すように、撮影画像Ｆjにおいて、欠陥画素は、画素Ｂのように、常時０の画素値を出力し続けるか、画素Ｂ’のように、１乃至２５４のいずれか一定の画素値を出力し続けるか、または、画素Ｂ”のように、常時２５５の画素値を出力し続けるかになる。
【０１６６】
そこで、イメージセンサ部１１は、同一位置の画素値が同一の値とならないように製作された複数のテストチャートを撮影することにより、複数枚の撮像画像F’1乃至F’qを生成する（図１７Ａ）。そして、撮影画像F’1乃至F’qの同一位置Ａの画素Ａ1乃至Ａqが、図１７Ｂに示すように、０乃至２５５のなかのいずれかで常に一定の画素値となっている場合、撮影画像F’1乃至F’qの位置Ａの画素が欠陥画素であると検出することができる。
【０１６７】
なお、画素が欠陥画素であっても、伝送路で発生するノイズ等の影響により、完全に同一の画素値とならない場合も考えられるため、撮影画像F’1乃至F’qの所定の画素どうしの画素値の差分の絶対値（画素値の最大値と最小値との差）が所定値以下（例えば、５以下）であったときに、その画素を欠陥画素と判定するのが望ましい。
【０１６８】
図１８は、図３の撮像装置１に搭載するイメージセンサ部１１の欠陥画素を検出する欠陥画素検出システムの構成例を示している。
【０１６９】
図１８の欠陥画素検出システムでは、撮影画像中の同一位置どうしの画素値が同一の値とならないように製作された複数のテストチャートを撮影することで生成された複数枚の撮像画像F’1乃至F’qが、イメージセンサ部１１から検査装置１０１に出力される。
【０１７０】
検査装置１０１は、撮影画像F’1乃至F’qを構成する各画素について、上述した検出方法により、画素が欠陥画素であるかどうかを検査する（欠陥画素を検出する）。そして、検査装置１０１は、欠陥画素があった場合に欠陥画素の位置を表す情報を、欠陥位置情報として欠陥情報ROM１０２に供給する。
【０１７１】
図１９は、撮像装置の第２の実施の形態の構成例を示している。なお、図１９において、図３と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１７２】
図１９の撮像装置１は、イメージセンサ部１１およびクラス分類適応処理部１４を有している点において図３の撮像装置１と共通している。また、図１９では、図３の係数ROM番号算出部１２および係数ROM格納部１３に代えて、係数ROM番号算出部１１１および係数ROM格納部１１３が設けられ、さらに、欠陥情報ROM１１２が新たに設けられている。
【０１７３】
係数ROM番号算出部１１１には、図３の係数ROM番号算出部１２と同様に、撮影条件情報および固有情報が供給されるとともに、欠陥情報ROM１１２から欠陥位置情報が供給される。
【０１７４】
係数ROM番号算出部１１１は、撮影条件情報、固有情報、および欠陥位置情報に基づいて、係数ROM格納部１１３に格納されている係数ROM１３−１乃至１３−ｒおよび係数ROM１１４−１乃至１１４−ｒのなかから最適な係数ROMを係数ROM格納部１１３に指定する。
【０１７５】
即ち、欠陥情報ROM１１２からの欠陥位置情報がイメージセンサ部１１に欠陥画素が存在しないことを表している場合には、係数ROM番号算出部１１１は、撮影条件情報および固有情報に基づいて、係数ROM１３−１乃至１３−ｒの中から最適な係数ROMを係数ROM格納部１１３に指定する。
【０１７６】
一方、欠陥情報ROM１１２からの欠陥位置情報がイメージセンサ部１１に欠陥画素が存在することを表している場合には、係数ROM番号算出部１１１は、撮影条件情報および固有情報に基づいて、係数ROM１１４−１乃至１１４−ｒの中から最適な係数ROMを係数ROM格納部１１３に指定する。係数ROM１１４−１乃至１１４−ｒには、欠陥画素である注目画素の係数が０となっている予測係数が記憶されている。
【０１７７】
欠陥情報ROM１１２は、イメージセンサ部１１の欠陥位置情報を記憶し、必要に応じて係数ROM番号算出部１１１に供給する。なお、欠陥情報ROM１１２は、図１８の欠陥情報ROM１０２に記憶されている欠陥位置情報をコピーすることにより、イメージセンサ部１１の欠陥位置情報を取得することもできるし、欠陥情報ROM１０２を欠陥情報ROM１１２として撮像装置１に装着することにより、イメージセンサ部１１の欠陥位置情報を取得することもできる。
【０１７８】
係数ROM格納部１１３は、図３の係数ROM格納部１３と同様の係数ROM１３−１乃至１３−ｒを有している。係数ROM１３−１乃至１３−ｒは、イメージセンサ部１１に欠陥画素が存在していない場合の、ノイズを除去するための予測係数をクラスごとに記憶している。
【０１７９】
また、係数ROM格納部１１３は、係数ROM１１４−１乃至１１４−ｒを有している。係数ROM１１４−１乃至１１４−ｒは、イメージセンサ部１１に欠陥画素が存在している場合の欠陥画素を補正し、さらにノイズを除去するための予測係数をクラスごとに記憶している。
【０１８０】
係数ROM１１４−１乃至１１４−ｒに記憶される予測係数は、図７の学習装置５１を用いて次のようにして生成することができる。
【０１８１】
最初に、図９の撮影画像生成部９２が撮影画像を生成する前に、撮影するイメージセンサ（イメージセンサ１１aと同一の型番号のイメージセンサ）に欠陥画素をあるかどうかを、図１８の欠陥画素検出システムを用いて検査する。いま、撮影画像生成部９２のイメージセンサの画素位置PXに欠陥画素が検出された場合、そのイメージセンサで撮影した撮影画像を用いて学習して得られた予測係数は、イメージセンサ１１aの画素位置PXに欠陥画素が存在した場合の、欠陥画素を補正し、かつ、ノイズを除去するための予測係数となる。
【０１８２】
また、画素位置PXと異なる画素位置PYに欠陥画素を有するイメージセンサ（イメージセンサ１１aと同一の型番号のイメージセンサ）を撮影画像生成部９２に採用すると、そのイメージセンサで撮影した撮影画像を用いて学習して得られた予測係数は、イメージセンサ１１aの画素位置PYに欠陥画素が存在した場合の、欠陥画素を補正し、かつ、ノイズを除去するための予測係数となる。
【０１８３】
同様にして、様々な画素位置に欠陥を有するイメージセンサを撮影画像生成部９２に採用することにより、様々な画素位置の欠陥画素を補正し、かつ、ノイズを除去するための予測係数を得ることができる。なお、１つのイメージセンサに２以上の欠陥画素が存在する場合にも、その欠陥画素を補正し、かつ、ノイズを除去するための予測係数が得られる。
【０１８４】
係数ROM格納部１１３は、係数ROM番号算出部１１１から供給される係数ROM番号に対応して、係数ROM１３−１乃至１３−ｒおよび係数ROM１１４−１乃至１１４−ｒのいずれかを選択する。また、係数ROM格納部１１３は、クラス分類適応処理部１４から供給されるクラスコードが表すクラスの予測係数を、選択した係数ROMから取得し、クラス分類適応処理部１４に供給する。
【０１８５】
図２０のフローチャートを参照して、図１９の撮像装置１によるノイズ除去処理について説明する。
【０１８６】
初めに、ステップＳ７１において、イメージセンサ部１１は、被写体を撮像し、その結果得られる撮影画像をクラス分類適応処理部１４に出力し、ステップＳ７２において、撮影画像の撮影条件を表す撮影条件情報を係数ROM番号算出部１１１に出力する。
【０１８７】
ステップＳ７３において、係数ROM番号算出部１１１は、操作部または通信部から供給される固有情報を取得する。
【０１８８】
ステップＳ７４において、係数ROM番号算出部１１１は、イメージセンサ部１１の欠陥位置情報を欠陥情報ROM１１２から取得する。
【０１８９】
ステップＳ７５において、クラス分類適応処理部１４のクラスタップ抽出部３１は、求める処理画像を構成する画素のうちの所定の画素を注目画素として決定する。
【０１９０】
ステップＳ７６において、係数ROM番号算出部１１１は、注目画素が欠陥画素であるかを、欠陥情報ROM１１２からの欠陥位置情報に基づいて判定する。
【０１９１】
ステップＳ７６で、注目画素が欠陥画素ではないと判定された場合、ステップＳ７７において、係数ROM番号算出部１１１は、撮影条件情報および固有情報に基づいて、ノイズ除去用の係数ROM１３−１乃至１３−ｒの中から最適な係数ROMを決定し、その係数ROMを特定する係数ROM番号を係数ROM格納部１１３に出力する。
【０１９２】
一方、ステップＳ７６で、注目画素が欠陥画素であると判定された場合、ステップＳ７８において、係数ROM番号算出部１１１は、撮影条件情報および固有情報に基づいて、欠陥補正かつノイズ除去用の係数ROM１１４−１乃至１１４−ｒの中から最適な係数ROMを決定し、その係数ROMを特定する係数ROM番号を係数ROM格納部１１３に出力する。
【０１９３】
ステップＳ７７またはステップＳ７８の処理の後実行されるステップＳ７９乃至Ｓ８５の処理は、図６のステップＳ６乃至Ｓ１２の処理とそれぞれ同様であるので、その詳細な説明は省略するが、ステップＳ７９乃至Ｓ８５の処理では、抽出されたクラスタップから求められたクラスコードに対応する予測係数が係数ROM格納部１１３からクラス分類適応処理部１４に供給され、クラス分類適応処理部１４は、予測係数と撮影画像とから、処理画像を求めて、出力する。
【０１９４】
従って、図２０のノイズ除去処理では、図６のノイズ除去処理と同様にイメージセンサ１１aのノイズ特性に対応して、撮影画像のノイズをより的確に除去することができる他、イメージセンサ１１aの画素に製造時の欠陥があった場合には、その欠陥画素を補正することができる。また、製造時の欠陥画素を補正することができるので、イメージセンサの見かけ上の歩留まりを向上させることができる。
【０１９５】
図２１は、撮像装置の第３の実施の形態の構成例を示している。なお、図２１において、図１９と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０１９６】
第２の実施の形態では、図１８の欠陥画素検出システムで求められたイメージセンサ部１１の欠陥画素の位置を表す欠陥位置情報が、図１９の撮像装置１の欠陥情報ROM１１２に記憶されるようになされていたが、図２１の撮像装置１は、撮像装置１自身で欠陥画素を検出し、欠陥位置情報を記憶する。
【０１９７】
図２１の撮像装置１は、イメージセンサ部１１、係数ROM番号算出部１１１、係数ROM格納部１１３、およびクラス分類適応処理部１４を有している点で図１９の撮像装置１と共通し、欠陥情報ROM１１２に代えて、欠陥情報不揮発性メモリ１４１、欠陥検出部１４２、および画像保持用不揮発性メモリ１４３を有している点で図１９の撮像装置１と異なっている。
【０１９８】
欠陥情報不揮発性メモリ１４１は、欠陥検出部１４２から供給されるイメージセンサ部１１の欠陥位置情報を記憶（上書き）し、必要に応じて係数ROM番号算出部１１１に供給する。
【０１９９】
欠陥検出部１４２は、イメージセンサ部１１から供給される撮影画像と、画像保持用不揮発性メモリ１４３から供給される保持画像とで画像の比較を行ってイメージセンサ部１１の欠陥画素を検出し、検出された欠陥画素の位置を表す欠陥位置情報を欠陥情報不揮発性メモリ１４１に供給する。
【０２００】
具体的には、欠陥検出部１４２は、撮影画像と保持画像の対応する画素どうしの注目画素の画素値が同一の値であるかどうかの判定を行う。注目画素の画素値が同一の値であると判定された場合、欠陥検出部１４２は、注目画素となっている画素の、画素値が同一となった回数を表すカウント数CNTを１だけ増加する。そして、欠陥検出部１４２は、カウント数CNTが所定回数CNTTHに達した画素を欠陥画素とする。
【０２０１】
画像保持用不揮発性メモリ１４３に記憶されている保持画像は、例えば、数日前、数週間前、または数百枚前など、同一位置の画素値が同一の値となる確率がゼロと考えることができる程度の以前に、イメージセンサ部１１で撮影され、欠陥検出部１４２を介して記憶された撮影画像である。なお、所定回数CNTTHは、撮影画像と保持画像の撮影時刻が、上述したように、同一位置の画素値が同一の値とならないように十分な時間間隔（サンプリング間隔）に設定されているため、例えば、２乃至４回程度とすることができる。
【０２０２】
欠陥検出部１４２は、撮影画像がイメージセンサ部１１から供給される度に欠陥画素の検出を行い、その結果としての欠陥位置情報を欠陥情報不揮発性メモリ１４１に供給する。また、欠陥検出部１４２は、イメージセンサ部１１から供給された撮影画像を、保持画像として画像保持用不揮発性メモリ１４３に供給し、記憶させる（上書きする）。
【０２０３】
画像保持用不揮発性メモリ１４３は、欠陥位置検出部１４２から供給される撮影画像を、保持画像として記憶する。また、画像保持用不揮発性メモリ１４３は、欠陥位置検出部１４２から供給される、画素値が同一の値となった画素の画素位置とカウント数CNTとを記憶する。
【０２０４】
欠陥検出部１４２と画像保持用不揮発性メモリ１４３は、図１８の検査装置１０１に対応する。但し、図１８の検査装置１０１では、ｑ枚の撮影画像F’1乃至F’qを記憶して、各画素の画素値を比較するのに対して、欠陥検出部１４２では、撮影画像と保持画像とを比較するだけであり、欠陥画素が多数発生することもあり得ないので、画像保持用不揮発性メモリ１４３には、１枚分の撮影画像と、数画素分の画素位置とカウント数CNTとを記憶するだけの記憶容量があればよい。
【０２０５】
図１９に示した撮像装置１では、イメージセンサ部１１を撮像装置１に組み込む前に図１８の検査装置１０１で欠陥画素があるかどうかを判定し、その判定結果としての欠陥位置情報を欠陥情報ROM１１２に記憶させるため、経年変化または長期の使用によって生じたイメージセンサ部１１の欠陥画素に対応することはできなかったが、図２１の撮像装置１では、撮像装置１自身でイメージセンサ部１１の欠陥画素を検出し、欠陥位置情報を記憶するので、使用途中で生じた欠陥画素も検出することができる。そして、欠陥画素が注目画素とされた場合には、係数ROM番号算出部１１１は、欠陥画素を補正し、かつ、ノイズを除去するための係数ROM１１４−１乃至１１４−ｒを指定することができるので、イメージセンサ１１aのノイズ特性に対応して、撮影画像のノイズをより的確に除去することができる他、イメージセンサ部１１に製造時および使用時の欠陥画素があった場合には、その欠陥画素を補正することができる。そして、イメージセンサ１１aの欠陥画素がない場合と同様になるように撮影画像が補正されるので、イメージセンサ１１aの見かけ上の信頼性が向上する。
【０２０６】
図３、図１９、および図２１の撮像装置１は、その全部、またはイメージセンサ部１１を少なくとも含む一部を、１つのチップとして構成することができる。この場合、チップ間の差異を小さくすることができ、安定した撮像装置１を提供することができる。以下に、図３の撮像装置１に対するチップの各種の構成例について説明する。
【０２０７】
図２２では、図３の撮像装置１の全てのブロック、即ち、イメージセンサ部１１、係数ROM番号算出部１２、係数ROM格納部１３、およびクラス分類適応処理部１４が、イメージセンサLSI(Large Scale Integration)１８１として、１チップで実現されている。
【０２０８】
このように、全てのブロックをイメージセンサLSI１８１に組み込むことにより、係数ROM１３−１乃至１３−ｒは、各種の（様々な型番号の）イメージセンサ１１aに対応する必要がないので、その分、多様な撮影条件情報と固有情報とに対応する予測係数を記憶することができる。あるいは、同一の撮影条件情報と固有情報とに対応すればよいものとすれば、少ない数の係数ROMで済む。
【０２０９】
また、係数ROM格納部１３の係数ROM１３−１乃至１３−ｒが対応するイメージセンサは、イメージセンサ部１１に使用されているイメージセンサ１１aと同一の型番号のイメージセンサに限定されるので、係数ROM番号算出部１２は固有情報を取得しなくてもよい。
【０２１０】
なお、固有情報に、イメージセンサ部１１に使用されているイメージセンサ１１a単体の特性（個体差）を表す情報を含む場合には、書き込み用の回路を備える、１度だけ書込みが可能なヒューズ等の書込みデバイスや不揮発性メモリで係数ROM１３−１乃至１３−ｒを構成し、LSI完成後に個体差を表す情報を書き込む必要がある。
【０２１１】
そこで、図２３に示すように、係数ROM格納部１３を除いて、イメージセンサ部１１、係数ROM番号算出部１２、およびクラス分類適応処理部１４を、イメージセンサLSI(Large Scale Integration)１８２として、１チップで実現することができる。
【０２１２】
この場合、係数ROM１３−１乃至１３−ｒは書き込み用の回路を備える必要がないので、係数ROMを小型化することができる。また、イメージセンサLSI１８２も係数ROM格納部１３を設ける必要がない分だけ小型化することができ、さらに、イメージセンサLSI１８２は共通の構造で製造することができるので、LSI（チップ）のコストダウンも可能となる。
【０２１３】
図２４では、図２３と比較して明らかなように、係数ROM格納部１３の他、クラス分類適応処理部１４もチップ外に配置され、イメージセンサ部１１と係数ROM番号算出部１２とがイメージセンサLSI(Large Scale Integration)１８３として、１チップで実現されている。
【０２１４】
この場合、撮影条件情報は、イメージセンサLSI１８３内で処理される。そして、撮影条件情報を反映した係数ROM番号のみがイメージセンサLSI１８３から係数ROM格納部１３に供給される。換言すれば、イメージセンサLSI１８３内で撮影条件情報を処理して、情報量の縮退を行うことができる。
【０２１５】
図２５では、イメージセンサ部１１のみがイメージセンサLSI１８４として、１チップで実現されている。
【０２１６】
この場合、係数ROM番号算出部１２やクラス分類適応処理部１４も別々のLSI（チップ）として構成することができ、それぞれのチップの汎用性が高まる。即ち、CCDセンサやCMOSセンサなどのイメージセンサ１１aの種類が異なったり、型番号が異なるイメージセンサ１１aそれぞれのイメージセンサLSIに対して、係数ROM番号算出部１２のチップやクラス分類適応処理部１４のチップを使用することができる。また、係数ROM格納部１３の係数ROMに記憶する予測係数を変更することが容易となり、ノイズ特性の違いに柔軟に対応することが可能である。
【０２１７】
以上のように、学習装置５１では、イメージセンサ１１aと同一の型番号のイメージセンサを用いてノイズ画像を生成することにより、イメージセンサ１１aに最適な（特化した）予測係数を求めることができる。
【０２１８】
そして、撮像装置１では、イメージセンサ部１１からの撮影条件情報に基づいて学習装置５１で学習された最適な予測係数を選択するので、イメージセンサ部１１で使用しているイメージセンサ１１aのノイズ特性に対応して、撮影画像のノイズをより的確に除去することができる。
【０２１９】
上述した撮像装置１や学習装置５１が行う一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２２０】
そこで、図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２２１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やＲＯＭ２０３に予め記録しておくことができる。
【０２２２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に記録しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２２３】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールしたりすることができる。
【０２２４】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。撮像部２１２は、被写体を撮影し、その結果得られる画像をCPU２０２やハードディスク２０５に供給する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２２５】
なお、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２２６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２２７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２２８】
【図１】露光時間とノイズ量との関係を説明する図である。
【図２】撮影時の照度とS/N比との関係を説明する図である。
【図３】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図４】図３のクラス分類適応処理部の詳細な構成例を示すブロック図である。
【図５】予測タップとクラスタップのタップ構造の例を示す図である。
【図６】図３の撮像装置のノイズ除去処理について説明するフローチャートである。
【図７】予測係数を求める学習装置の構成例を示すブロック図である。
【図８】図７の学習用データ生成部の詳細な構成例を示すブロック図である。
【図９】図８のノイズ画像生成部の詳細な構成例を示すブロック図である。
【図１０】学習用データの生成について説明する図である。
【図１１】学習用データの生成について説明する図である。
【図１２】学習用データの生成について説明する図である。
【図１３】学習用データの生成について説明する図である。
【図１４】図７の学習装置の学習処理について説明するフローチャートである。
【図１５】図１４のステップＳ３１の学習用データ生成処理について説明するフローチャートである。
【図１６】欠陥画素を検出する検出方法の概念について説明する図である。
【図１７】欠陥画素を検出する検出方法の概念について説明する図である。
【図１８】欠陥画素検出システムの構成例を示すブロック図である。
【図１９】撮像装置の第２の実施の形態の構成例を示すブロック図である。
【図２０】図１９の撮像装置のノイズ除去処理について説明するフローチャートである。
【図２１】撮像装置の第３の実施の形態の構成例を示すブロック図である。
【図２２】図３の撮像装置におけるチップの構成例について説明するブロック図である。
【図２３】図３の撮像装置におけるチップの構成例について説明するブロック図である。
【図２４】図３の撮像装置におけるチップの構成例について説明するブロック図である。
【図２５】図３の撮像装置におけるチップの構成例について説明するブロック図である。
【図２６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２２９】
１  撮像装置，  １１  イメージセンサ部，  １２  係数ROM番号算出部，  １３  係数ROM格納部，  １３−１乃至１３−ｒ  係数ROM，  １４  クラス分類適応処理部，  ２１  クラス分類部，  ２２  予測タップ抽出部，  ２３  予測演算部，  ５１  学習装置，  ６１  学習用データ生成部，  ６２  学習対データベース，  ６３  予測タップ抽出部，  ６４  クラスタップ抽出部，  ６５  クラスコード発生部，  ６６  正規方程式生成部，  ６７  予測係数算出部，  ８１  教師画像生成部，  ８２  ノイズ画像生成部，  ８３  ノイズ付加部，  ９１  撮影条件決定部，  ９２  撮影画像生成部，  ９３  平均処理部，  ９４  差分演算部，  ９５  ノイズ画像記憶部，  １１１  係数ROM番号算出部，  １１２  欠陥情報ROM，  １１３  係数ROM格納部，  １１４−１乃至１１４−ｒ  係数ROM，  １４１  欠陥情報不揮発性メモリ，  １４２  欠陥検出部，  １４３  画像保持用不揮発性メモリ，  １８１乃至１８４  イメージセンサLSI
【図１】
2007189589.tif 000011
【図２】
2007189589.tif 000012
【図３】
2007189589.tif 000013
【図４】
2007189589.tif 000014
【図５】
2007189589.tif 000015
【図６】
2007189589.tif 000016
【図７】
2007189589.tif 000017
【図８】
2007189589.tif 000018
【図９】
2007189589.tif 000019
【図１０】
2007189589.tif 000020
【図１１】
2007189589.tif 000021
【図１２】
2007189589.tif 000022
【図１３】
2007189589.tif 000023
【図１４】
2007189589.tif 000024
【図１５】
2007189589.tif 000025
【図１６】
2007189589.tif 000026
【図１７】
2007189589.tif 000027
【図１８】
2007189589.tif 000028
【図１９】
2007189589.tif 000029
【図２０】
2007189589.tif 000030
【図２１】
2007189589.tif 000031
【図２２】
2007189589.tif 000032
【図２３】
2007189589.tif 000033
【図２４】
2007189589.tif 000034
【図２５】
2007189589.tif 000035
【図２６】
2007189589.tif 000036