"マルチバンドの撮像を行い得る撮像装置において、4バンド以上のカラーフィルタを1画素につき1バンドずつ配置することにより、異なる分光感度特性を有する4バンド以上の画素が構成される単板マルチバンドイメージセンサと、処理対象画素が、画素値を画像データとして使用しない不使用画素であるか否かを判定する不使用画素検出部と、前記不使用画素検出部により不使用画素であると判定された場合に、該不使用画素の近傍の、該不使用画素のバンドとは異なる3以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、該不使用画素の補間画素値を算出する不使用画素補間部と、を具備したことを特徴とする撮像装置。上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、該バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出するものであることを特徴とする請求項1に記載の撮像装置。上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、該バンドの分光感度特性のピーク同士の波長間距離が増加すると、重みが減少するような重み付けとして算出するものであることを特徴とする請求項1に記載の撮像装置。上記不使用画素補間部は、上記バンド同士のスペクトル相関性に応じた重み付けを、バンドが表す色同士の色空間における色相の相違を表す角度が増加すると、重みが減少するような重み付けとして算出するものであることを特徴とする請求項1に記載の撮像装置。上記不使用画素補間部は、さらに、上記重み付け加算に際して、上記不使用画素のバンドと、上記補間画素値の算出に用いる近傍画素の各バンドとの、バンド同士の感度比に応じた重み付けを行うものであることを特徴とする請求項1~4の何れか一項に記載の撮像装置。上記不使用画素補間部は、さらに、上記重み付け加算に際して、上記不使用画素と、上記補間画素値の算出に用いる近傍画素との、空間相関に応じた重み付けを行うものであることを特徴とする請求項1~5の何れか一項に記載の撮像装置。既知の不使用画素の画素位置を記憶する記憶部をさらに具備し、上記不使用画素検出部は、処理対象画素の画素位置が、上記記憶部に記憶された既知の不使用画素の画素位置と一致するか否かを判定し、一致すると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項1~6の何れか一項に記載の撮像装置。上記不使用画素検出部は、処理対象画素の画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項1~7の何れか一項に記載の撮像装置。上記単板マルチバンドイメージセンサは、各バンドの感度に相違があり、上記不使用画素検出部は、最も感度の高い1つのバンドに属する処理対象画素についてのみ、画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を上記不使用画素に含めるものであることを特徴とする請求項8に記載の撮像装置。しかしながら、上記特開2009-89355号公報に記載の技術は、あくまでも3バンドのベイヤー配列に特化したものであり、4バンド以上の分光感度特性を有する撮像素子に対応することができるものとはなっていない。しかも、該公報に記載されている処理は、飽和しているG画素の周囲のR画素とB画素の画素値を単純に平均した値を感度補正する処理該引用文献の段落[0075]等参照であり、補間の精度が高いとはいえない。補間精度が高いことは、G画素の情報をデモザイキング処理時に参照画像として用いる場合に、特に重要になってくる。すなわち、4バンド以上の色が配置された単板マルチバンドイメージセンサは、3バンドの色が配置されたベイヤー配列の撮像素子に比べて、同一色の画素同士が離れて配置されることになるために、空間相関例えば、エッジ等の構造情報を用いた補間の精度も低下してしまう。そのために、スペクトルの情報を用いた相関に基づき補間を行う技術が有効に機能すると思われる。本発明は上記事情に鑑みてなされたものであり、4バンド以上のマルチバンド撮像を行い得る撮像装置において、画素値を画像データとして使用しない不使用画素の影響による色ずれを高い精度で軽減することができる撮像装置を提供することを目的としている。上記の目的を達成するために、本発明のある態様による撮像装置は、マルチバンドの撮像を行い得る撮像装置において、4バンド以上のカラーフィルタを1画素につき1バンドずつ配置することにより、異なる分光感度特性を有する4バンド以上の画素が構成される単板マルチバンドイメージセンサと、処理対象画素が、画素値を画像データとして使用しない不使用画素であるか否かを判定する不使用画素検出部と、前記不使用画素検出部により不使用画素であると判定された場合に、該不使用画素の近傍の、該不使用画素のバンドとは異なる3以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、該不使用画素の補間画素値を算出する不使用画素補間部と、を具備したものである。本発明の撮像装置によれば、4バンド以上のマルチバンド撮像を行い得る撮像装置において、画素値を画像データとして使用しない不使用画素の影響による色ずれを高い精度で軽減することが可能となる。以下、図面を参照して本発明の実施の形態を説明する。[実施形態1]図1から図14は本発明の実施形態1を示したものであり、図1は撮像装置1の構成を示すブロック図である。撮像装置1は、マルチバンドの撮像を行い得る例えばデジタルカメラとして構成されていて、撮影レンズ系2と、レンズ駆動機構3と、レンズドライバ4と、露出制御機構5と、露出制御ドライバ6と、マルチバンドイメージセンサ7と、イメージセンサドライバ8と、プリプロセス回路9と、デジタルプロセス回路10と、カードインタフェースカードI/F11と、LCD12と、操作スイッチ13と、操作表示部14と、EEPROM15と、システムコントローラ16と、を備えている。なお、図1にはメモリカード17も記載されているが、このメモリカード17は撮像装置1に対して着脱自在であるために、撮像装置1に固有の構成ではない。撮影レンズ系2は、フォーカスレンズやあるいはズームレンズ等の各種のレンズを有して構成された撮像光学系である。レンズ駆動機構3は、撮影レンズ系2を光軸方向に移動可能に保持するレンズ鏡筒を含み、このレンズ鏡筒を伸縮する駆動や、撮影レンズ系2内のズームレンズおよびフォーカスレンズを光軸方向に移動させる駆動を行う機構例えばカム機構や駆動モータ等を備えている。レンズドライバ4は、システムコントローラ16の指令に基づいて、レンズ駆動機構3を制御するためのものである。露出制御機構5は、撮影レンズ系2からマルチバンドイメージセンサ7へ到達する光束の通過範囲を制御するための絞りと、撮影レンズ系2からマルチバンドイメージセンサ7へ到達する光束の通過時間を制御するためのシャッタ機構と、を備えたものである。露出制御ドライバ6は、システムコントローラ16の指令に基づいて、露出制御機構5を制御するためのものである。マルチバンドイメージセンサ7は、撮影レンズ系2により結像された光学的な被写体像を光電変換して画像信号を生成するものである。ここで、図2~図5を参照して、マルチバンドイメージセンサ7の構成についてさらに説明する。図2はマルチバンドイメージセンサ7の構成を説明するための斜視図、図3はマルチバンドイメージセンサ7におけるカラーフィルタを備えた画素の配置例を示す図、図4は図3に示した各色画素の分光感度特性の一例を示す線図、図5は図3に示した各色画素の分光感度特性の他の例を示す線図である。マルチバンドイメージセンサ7は、図2に示すように、フォトダイオードを含むモノクロ画素7bが配列された基板7a上に、異なる分光透過率特性を有する4バンド以上のカラーフィルタ7cを、1つのモノクロ画素7bにつき1バンドずつ配置することにより、異なる分光感度特性を有する4バンド以上の画素を構成した、いわゆる単板マルチバンドイメージセンサである。ここに、基板7aにより構成されるモノクロのイメージセンサは、例えばCCDやCMOSなどのセンサを想定している。本実施形態ではカラーフィルタ7cとして、5バンドスペクトル上の各バンドは色に対応するために、以下では適宜5色などというの分光透過率特性を有するカラーフィルタを例に挙げて説明する。そして、図2~図5に示すように、5色の各色を符号C1~C5により表している。なお、この符号C1~C5は、カラーフィルタの色バンドを表すのに用るとともに、その色のカラーフィルタ自体、あるいはカラーフィルタが配置された画素、またはカラーフィルタが配置された画素の分光感度特性を示す曲線などを表すのにも用いるものとする。5色のカラーフィルタが前面に配置された各画素は、例えば図4に示すような分光感度特性を有している。ここに、画素C1はG緑にほぼ対応する分光感度特性を有し、輝度成分を最も高い割合で含む信号を出力する画素である。また、画素C2はB青にほぼ対応する分光感度特性を、画素C3はCyシアンにほぼ対応する分光感度特性を、画素C4はOrオレンジにほぼ対応する分光感度特性を、画素C5はR赤にほぼ対応する分光感度特性を、それぞれ有している。従って、この図4に示す例は、3バンドのイメージセンサにおける通常RGBの3色に加えて、CyシアンとOrオレンジとを加えたものとなっている。ただしこれは一例であり、分光感度特性を表す曲線が関数的に独立していればすなわち、任意の曲線について、その曲線を、他の曲線をどのように線形加算しても得ることができなければ、4以上の任意の色バンドの組み合わせを用いることができる。このとき、輝度成分を高い割合で含む信号を出力する画素が含まれていることが望ましく、また、可視光域をなるべくまんべんなくカバーすることができるようなバンドを選ぶことが望ましいのは勿論である。また、図5は、5色の画素C1~C5の分光感度特性の他の例を示している。図4に示した例は各色の画素C1~C5の感度がほぼ等しいものであったが、この図5に示す例は、各バンドの感度に相違があり、画素C1の感度が他の画素C2~C5の感度に対して高くなっている。また、画素C2~C5同士にも、図示のような幾らかの感度の相違がある。このような感度特性のマルチバンドイメージセンサ7を用いた場合には、太陽光のような広い波長帯域をもつ光が画素C1~C5のそれぞれに同量だけ入射したときに、C2~C5の各画素出力よりもC1の画素出力の方が先に飽和レベルに達してしまう。従って、この図5に示すようなマルチバンドイメージセンサ7を用いる場合には、後述する飽和画素の検出に際しては、特に画素C1を検出対象とすることが考えられる。次に、上述したような5色の画素C1~C5は、例えば図3に示すように配列されている。なお、このような配列を、以下では適宜CFAカラーフィルタアレイなどと記載することにする。この図3に示す例では、画素配列を座標n,m[ここに、n,mは1以上の整数]で表したときに、nおよびmが共に奇数となる位置とnおよびmが共に偶数となる位置、すなわち、i,jを1以上の整数としたときに、座標2i-1,2j-1で表される位置と座標2i,2jで表される位置とに画素C1が配置されている。また、画素C2は座標4i-2,2j-1で表される位置に、画素C3は座標4i,2j-1で表される位置に、画素C4は座標2i-1,4j-2で表される位置に、画素C5は座標2i-1,4jで表される位置に、それぞれ配置されている。ただし、5色5バンドの場合の配置はこの図3に示す例に限るものではなく、4色4バンドまたは6色6バンド以上の場合にはさらに異なる配置をすることになる。この図3に示す配置例は、輝度成分の空間解像力を重視して、輝度成分を多く含む信号を出力する画素C1の割合を、他の画素C2~C5の割合よりも大きくしたものとなっている。図1の説明に戻って、イメージセンサドライバ8は、マルチバンドイメージセンサ7を制御して駆動するための駆動制御部である。プリプロセス回路9は、マルチバンドイメージセンサ7から出力されたアナログの信号を増幅するためのアナログアンプと、このアナログアンプにより増幅された信号をデジタル信号に変換するためのA/D変換器と、含むものである。このプリプロセス回路9により処理されて出力される信号は、いわゆるRAWデータとなる。デジタルプロセス回路10は、メモリ18と、不使用画素検出部19と、不使用画素補間部20と、信号処理部21と、を備えている。プリプロセス回路9から出力されたRAWデータは、メモリ18に記憶される。不使用画素検出部19は、処理対象画素が画素値を画像データとして使用しない不使用画素であるか否かを判定するものである。すなわち、不使用画素検出部19は、記憶部であるEEPROM15に記憶されている既知の不使用画素の画素位置情報を読み込んで、処理対象画素の画素位置が不使用画素の画素位置と一致するか否かを判定し、一致すると判定した処理対象画素を不使用画素に含める処理を行う。ここに、既知の不使用画素の例としては、欠陥画素、撮像目的以外の画素位相差AF用画素、温度センサー画素等などの、画素値を画像データとして使用しないことが予め分かっている画素が該当する。さらに、不使用画素検出部19は、メモリ18に記憶されているRAWデータを画素単位で読み込んで、処理対象画素の画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素を不使用画素に含める処理を行う。ここに、所定の飽和レベルは、EEPROM15に予め記憶した値であっても良いし、画像毎に、あるいは撮影シーン毎に、ヒストグラム等に基づいてシステムコントローラ16が動的に決定した値であっても構わない。また、飽和レベルは、色バンドによらず同一値としても構わないが、色バンド毎に異なる値を設定しても良い。こうして、不使用画素検出部19は、予め分かっている情報と、1回の撮像毎に判定した結果と、の少なくとも一方本実施形態では両方である例を説明するが、マルチバンドイメージセンサ7の特性や、撮像装置1の製造コスト、処理負荷等によっては一方であるとしても構わないに基づいて、全画素中のどの画素を不使用画素とするかを決定する。不使用画素補間部20は、不使用画素検出部19により不使用画素であると判定された場合に、不使用画素の近傍の、不使用画素のバンドとは異なる3以上のバンドを含む複数バンドの画素の画素値に、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、不使用画素の補間画素値を算出するものである。そして、不使用画素補間部20は、算出した補間画素値をメモリ18の不使用画素の画素値を記憶している部分に例えば上書きする。このような処理を全ての不使用画素について行うことにより、メモリ18に記憶される画像データは、不使用画素の影響が軽減されたひいては、最終的な出力画像への色ずれ等の影響を軽減し得るものとなる。このような不使用画素補間部20の処理については、後でより詳しく説明する。信号処理部21は、不使用画素検出部19および不使用画素補間部20の処理によって不使用画素の補間が行われた後の画像データに対して、デモザイキング処理やデモザイキングされたマルチバンド画像データからさらにRGB画像データを生成する処理、ホワイトバランス処理、階調変換処理、圧縮伸張処理などの各種のデジタル信号処理を行うものである。カードインタフェース11は、外部の記録媒体であるメモリカード17とのインタフェースである。信号処理部21から出力されるマルチバンド画像、RGB画像、またはマルチバンド画像およびRGB画像は、このカードインタフェース11を介してメモリカード17に記録される。LCD12は、信号処理部21により生成されたRGB画像を表示するとともに、この撮像装置1に係る各種の情報も表示し得るカラーの画像表示装置である。なお、LCD12としてマルチバンドのカラー表示が可能な表示装置を用いる場合には、RGB画像に代えてマルチバンド画像を表示するようにしても勿論構わない。操作スイッチ13は、この撮像装置1の電源をオン/オフするための電源スイッチ、マルチバンドイメージセンサ7による撮像を指示入力するためのレリーズスイッチ、各種のモード設定を行うためのモードスイッチや、その他各種の設定を行うための設定スイッチなどを含んで構成される操作入力部である。操作表示部14は、上述したLCD12よりも小型の例えばモノクロLCDとして構成されており、この撮像装置1に対して行われている操作状態や、この撮像装置1に対して設定されているモード状態等を表示するための情報表示装置である。EEPROM15は、システムコントローラ16がこの撮像装置1を制御するための処理プログラムや、各種の設定情報などを記憶する不揮発性メモリである。そして、このEEPROM15は、上述した欠陥画素や位相差AF用画素等の既知の不使用画素の画素位置と、不使用画素の周辺の近傍画素に基づいて不使用画素の画素値を補間する際に用いる相関係数と、さらにあるいは後述する飽和レベルと、を記憶する記憶部となっている。ここに、EEPROM15への情報の記憶は、例えば製造時に行われる。システムコントローラ16は、例えばCPU等を有して構成されており、操作スイッチ13からの操作入力に応じて、EEPROM15から読み出した設定値や、プリプロセス回路9から得た画像データに基づき、レンズドライバ4、露出制御ドライバ6、イメージセンサドライバ8、プリプロセス回路9、デジタルプロセス回路10、操作表示部14、EEPROM15等を含むこの撮像装置1内の各部を統括的に制御するための制御部である。このような撮像装置1全体の撮像動作時における大まかな作用は、次のようになっている。操作スイッチ13のレリーズスイッチがオンされると、システムコントローラ16が撮像動作の制御を開始する。システムコントローラ16は、露出制御ドライバ6を介して露出制御機構5に含まれるシャッタ機構を開放状態にし、マルチバンドイメージセンサ7からプリプロセス回路9を介して出力される信号に基づいてAF制御およびAE制御を行う。すなわち、システムコントローラ16は、レンズドライバ4を介してレンズ駆動機構3を駆動し、撮影レンズ系2により結像される被写体像がマルチバンドイメージセンサ7上に合焦するようにAF制御する。また、システムコントローラ16は、露出制御ドライバ6を介して露出制御機構5に含まれる絞りの開口の大きさを制御する。そして、合焦が行われ、撮像のための絞り値が得られたら、システムコントローラ16は、露出制御機構5に含まれるシャッタ機構を制御して、AE制御により算出された露光時間だけマルチバンドイメージセンサ7上に被写体像を結像させる。これにより、マルチバンドイメージセンサ7の各画素は、光電変換を行い信号電荷を蓄積する。なお、ここでは露出制御機構5により露光時間の制御を行ったが、イメージセンサドライバ8を介してマルチバンドイメージセンサ7に電子シャッタの動作を行わせることにより露光時間の制御をするようにしても良いし、シャッタ機構と電子シャッタとを組み合わせても構わない。露光が終了したら、システムコントローラ16は、イメージセンサドライバ8を介してマルチバンドイメージセンサ7を制御することにより、画像信号の読み出しを行う。読み出された画像信号は、プリプロセス回路9により増幅された後にデジタル信号RAWデータに変換される。このRAWデータは、デジタルプロセス回路10により、次に説明する不使用画素補間処理を含む各種の信号処理が施される。こうしてデジタルプロセス回路10により処理された信号は、LCD12に表示されるとともに、カードインタフェース11を介してメモリカード17に記録される。次に、図14は撮像装置1における不使用画素補間処理を示すフローチャートである。この処理を開始すると、不使用画素検出部19は、システムコントローラ16を介して、EEPROM15に記憶されている既知の不使用画素の画素位置情報を読み込むステップS1。さらに、不使用画素検出部19は、EEPROM15に記憶されている飽和レベル、もしくはシステムコントローラ16がプリプロセス回路9からの信号に基づきヒストグラムを作成して決定した飽和レベル、あるいはシステムコントローラ16がプリプロセス回路9からの信号に基づきシーン解析を行って撮影シーンに応じて決定した飽和レベル、またはユーザが操作スイッチ13を操作することにより入力した飽和レベル等を、システムコントローラ16を介して読み込むステップS2。ここに図7は、ヒストグラムに対して設定された飽和レベルの一例を示す線図である。この図7においては、横軸が画素値、縦軸が画像内において該当画素値をとる画素の数をそれぞれ示している。その後、不使用画素検出部19は、メモリ18から処理対処画素のRAWデータを読み込んでステップS3、まず、処理対象画素がステップS1で画素位置情報を読み込んだ既知の不使用画素に該当するか否かを判定するステップS4。ここで既知の不使用画素ではないと判定された場合には、さらに、処理対象画素の画素値がステップS2において読み込んだ飽和レベル以上であるか否かを判定するステップS5。そして、ステップS4において処理対象画素が既知の不使用画素であると判定されるか、またはステップS5において処理対象画素の画素値が飽和レベル以上であると判定された場合には、不使用画素であると判定された画素の周辺に位置する近傍画素の画素値を、画素位置の情報とともに読み込むステップS6。ここで、図8は画素C1が不使用画素であるときの近傍画素の一例を示す図、図9は画素C2が不使用画素であるときの近傍画素の一例を示す図、図10は画素C3が不使用画素であるときの近傍画素の一例を示す図、図11は画素C4が不使用画素であるときの近傍画素の一例を示す図、図12は画素C5が不使用画素であるときの近傍画素の一例を示す図である。図8~図12に示す全ての例において、不使用画素の近傍画素ハッチングを付して示しているには、不使用画素のバンドとは異なる3以上のバンドの画素が含まれている。すなわち、図8に示す不使用画素C1には、同一色の近傍画素C1が4画素、異なる色の近傍画素C2~C5が各1画素、含まれている。また、図9、図10に各示す不使用画素C2,C3には、異なる色の近傍画素C1が4画素、異なる色の近傍画素C4,C5が各2画素、含まれている。さらに、図11、図12に各示す不使用画素C4,C5には、異なる色の近傍画素C1が4画素、異なる色の近傍画素C2,C3が各2画素、含まれている。なお、図8~図12に示す例は、処理対象画素の周辺8画素を近傍画素とした例であるが、近傍画素の取り方はこれらの図に示す例に限るものではないことは勿論である。例えば、図13は画素C1が不使用画素であるときの近傍画素の他の例を示す図である。画素C1は、図4や図5に示したように、輝度成分を最も高い割合で含む信号を出力する画素であり、特に図5に示したような分光感度特性の場合には、太陽光のような広い帯域の光を受光すると、最も感度が高いバンドの画素C1の画素値が最も高い確率で飽和すると考えられる。従って、簡易的に画素C1の飽和にのみ対応するすなわち、画素C1についてのみ、画素値が所定の飽和レベル以上であるか否かを判定し、所定の飽和レベル以上であると判定した処理対象画素C1を不使用画素に含めるが、処理対象画素が画素C2~C5である場合には不使用画素には含めない処理を行っても、高い色ずれ抑制効果を効率的に得られると期待される最も感度が高い色以外の色の画素も飽和してしまうような画像領域では、近傍画素から補間した値も飽和したままとなるために、特別な例外処理を行わなくても不自然な画像とはならないためでもある。このような場合に、この図13に示すような配置の近傍画素を用いれば、少ない近傍画素数で、スペクトル相関性に基づく不使用画素補間を、比較的高い精度で行うことができる利点がある。続いて、不使用画素補間部20は、システムコントローラ16から正規化された相関係数Rijx,yを読み込んでステップS7、メモリ18から不使用画素検出部19を介して読み込んだ近傍画素の画素値INjx,yに対して次の数式1に示すような相関演算を行うことにより、補間画素値OUTiを算出するステップS8。[数1]ここに、添え字i,jは、画素C1~C5に付した数字を用いて色を表しており、iは不使用画素の色を、jは近傍画素の色をそれぞれ表している。また、座標x,yは近傍画素領域における画素配列を表すものであり、図8~図12に示した例では、x,yは2,2を除く1,1,1,2,...,3,2,3,3の何れかの座標値をとる。また、総和記号Σは、近傍領域内にある、座標x,yの色jの近傍画素の全てについて和をとることを意味している。ここで、相関係数Rijx,yの一例を次の数式2に示す。[数2]この数式2の右辺におけるRDijは色jに対する色iの感度比を表す感度補正係数である。また、RCijは色iに対する色jのスペクトル相関性色相関性を表すスペクトル相関係数である。さらに、RSx,yは不使用画素と座標x,yにある近傍画素との空間相関性を表す空間相関係数である。そして、Nは正規化係数である。まず、感度補正係数RDijは、例えば次の数式3に示すように表される。[数3]この数式3の右辺におけるCiλ,Cjλは、図4や図5に示したような、波長λに対する分光感度特性を表す曲線を示し、例えば撮像素子のカタログデータ等から取得したり、分光感度特性を実際に測定して取得したりすることが可能である。この数式3は、色jの画素の分光感度特性を表す曲線Cjλで囲まれる領域の面積に対する、色iの画素の分光感度特性を表す曲線Ciλで囲まれる領域の面積の比により、感度比を表す感度補正係数を算出する例となっている。すなわち、色iの画素と色jの画素とは同一の感度であるとは限らず、波長に依らず均一のエネルギーをもつ光を受けたとしても出力する画素値が異なる場合がある例えば図5等参照。このときには色jの画素値をそのまま用いて色iの補間画素値を算出することはできず、感度の相違に基づく補正を行う必要がある。感度補正係数RDijは、このように、近傍画素の色jの感度を不使用画素の色iの感度に補正する係数であるために、色jの近傍画素の画素値INjx,yを色iの不使用画素に合わせて正規化するための係数であるということができる。こうして、不使用画素補間部20は、相関係数に基づく重み付け加算に際して、不使用画素のバンドと、補間画素値の算出に用いる近傍画素の各バンドとの、バンド同士の感度比に応じた重み付けを行うものとなっている。次に、スペクトル相関係数RCijは、例えば次の数式4に示すように表される。[数4]ここに、記号min{A,B}は、AとBとの内の大きくない方等しくない場合には小さい方をとることを意味している。ただし、数式4におけるCiλ,Cjλは波長λの関数であるために、波長域に応じて何れか大きくない方が採用されることになる。これにより、数式4の右辺は、色iの画素の分光感度特性を表す曲線Ciλで囲まれる領域と、色jの画素の分光感度特性を表す曲線Cjλで囲まれる領域と、が重複する面積の大きさを表している図6におけるハッチングを付した部分を参照。ここに図6は、分光感度特性を表す曲線C1λで囲まれる領域と、分光感度特性を表す曲線C2λで囲まれる領域と、が重複する領域の例を示す線図である。こうして、不使用画素補間部20は、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出し、数式1に示したように重み付け加算を行い不使用画素の補間画素値を算出するものとなっている。さらに、空間相関係数RSx,yは、不使用画素と座標x,yにある近傍画素との空間的位置関係例えば距離や方向などに応じた相関性を表す係数である。この空間相関係数は、例えば距離のみに応じて簡単に決定することも可能であるが、エッジ検出等を行うなどして画像の空間的な構造に基づき決定する方がより高精度となる。そして、どのような空間相関係数を用いるかは、求められる画質や処理負荷、消費電力、コスト等を考慮して決定することができるために、次の数式5には距離のみに応じて決定したごく単純な空間相関係数の一例を示す。[数5]なお、この数式5に示したのは、図8~図12に示したような3×3画素の近傍領域をとるときの例である。また、次の数式6に、図13に示したような近傍領域をとるときの、距離のみに応じて決定したごく単純な空間相関係数の一例を示す。[数6]こうして、不使用画素補間部20は、重み付け加算に際して、不使用画素と、補間画素値の算出に用いる近傍画素との、空間相関に応じた重み付けを行うものとなっている。続いて、正規化係数Nは、スペクトル相関係数RCijおよび空間相関係数RSx,yに基づき、例えば次の数式7に示すように算出される。[数7]ここに、数式6の右辺における総和記号Σは、上述した数式1における総和記号Σと同様に、近傍領域内にある、座標x,yの色jの近傍画素の全てについて和をとることを意味している。上述した数式1~5および7に示したような相関係数を用いて、図8に示したような不使用画素および近傍画素に対して補間画素値OUTiを算出した例を、次の数式8に示す。[数8]ここに、数式8における感度補正係数RD1jx,yを数式9に、スペクトル相関係数RC1jx,yを数式10に、正規化係数Nを数式11に、それぞれ示す。[数9][数10][数11]なお、上述した各相関係数の内の、感度補正係数RDijと、スペクトル相関係数RCijとは、マルチバンドイメージセンサ7に固有の係数となるために、撮像装置1に使用するマルチバンドイメージセンサ7の種類が決まれば、予め算出して製造時にEEPROM15に記憶させておき、使用時に読み出して利用することが可能である。また、空間相関係数RSx,yは、予め定められた固定の係数を用いる場合には製造時にEEPROM15に予め記憶させておき、使用時に読み出して利用することが可能である。これは、複数種類の空間相関係数RSx,yを予め用意しておいて、画像に応じて適宜選択する場合でも同様である。具体例としては、幾つかの典型的な撮影シーンに対する空間相関係数RSx,yを予め用意しておいて、シーン解析の結果に応じて何れかの係数を選択することが挙げられる。これに対して、例えば画像の空間的な構造に基づいて空間相関係数RSx,yを決定する場合には、デジタルプロセス回路10またはシステムコントローラ16が画像毎に画像解析を行い、その結果に基づきローカルなつまり空間依存性をもった空間相関係数RSx,yを算出することになる。こうして、ステップS8の処理により補間画素値OUTiが算出されたら、不使用画素補間部20は算出した補間画素値OUTiをメモリ18へ出力するステップS9。出力された補間画素値OUTiは、例えば、メモリ18における不使用画素の画素値が書き込まれた領域に上書きされる。一方、ステップS5において、処理対象画素の画素値が飽和レベル以上ではないと判定された場合このときには、ステップS4において処理対象画素が既知の不使用画素ではないと判定されたことになるには、入力した処理対象画素の画素値をそのまま出力するステップS10。なお、ここでは上述したステップS9に合わせて出力する処理としているが、メモリ18上の処理対象画素の画素値の書き換えは不要であるために、ここでは出力することなく次の処理へ進んでも構わない。こうして、ステップS9またはステップS10の処理が終了したら、全画素の処理が終了したか否かを判定しステップS11、終了していなければステップS3へ戻って次の処理対象画素について上述したような処理を行い、終了している場合には、この処理を終える。なお、上述では5バンドのCFAカラーフィルタアレイを例に挙げたが、これに限定されるものではないことは勿論であり、4バンド以上であれば任意のバンド数のCFAに対して本発明を適用することができる。また、上述では不使用画素の周辺の近傍画素として、図8~図12に示したような周辺8画素、または図13に示したような周辺4画素を例に挙げたが、勿論、近傍画素もこれに限るものではない。さらに、補間画素値の算出に用いる近傍画素を決定するに際しては、CFAに設けられている全てのバンドの画素が少なくとも1画素は含まれるようにすることが望ましい。従って、バンド数が多い場合には、この条件を満たすように近傍画素領域の大きさを大きくすることが考えられるただし、近傍画素領域を大きくすると演算処理負荷が大きくなること、不使用画素との距離が離れると空間相関性が低下すること、などを考え合わせると、近傍画素領域の大きさは制限されるために、幾つかのバンドの画素が近傍画素領域に含まれないこともあり得る。そして、数式3に示す例においては、分光感度特性を表す曲線で囲まれる領域の面積の比により感度補正係数RDijを算出したが、これに限るものではないことは勿論である。例えば、より簡易的な方法としては、分光感度特性のピーク値同士の比により算出する等も可能である。加えて、数式4に示す例においては、スペクトル相関係数RCijを、不使用画素の分光感度特性を表す曲線と近傍画素の分光感度特性を表す曲線とで囲まれる領域の面積に応じて決定していたが、これに限るものでもない。例えば、分光感度特性のピーク同士の波長間距離この波長間距離をλijとするが増加すると、相関性ひいては重みは減少するような関数fλijとして算出することも可能である。こうした関数fλijの一例としては、波長間距離λijあるいは、波長間距離λijのs乗ここにsは正の実数に反比例する関数、fλij=a/bλijs[ここに、記号はべき乗を示す。以下同様。]などが挙げられる。ここに、aは規格化により定まる正の係数であり、bは近傍画素が不使用画素と同一色つまりλij=0であるときの発散を防ぐための正の定数である。あるいは、スペクトル相関としては近似的となってしまい、むしろ色相関と呼ぶほうがふさわしいが、色空間における色相を角度θで表したときに、不使用画素の色iと近傍画素の色jとがなす色相の角度θijが増加すると、相関性ひいては重みは減少するような関数gθijとして算出することも可能である。こうした関数gθijの一例としては、色相の角度θijあるいは、色相の角度θijのq乗ここにqは正の実数に反比例する関数、gθij=c/dθijqなどが挙げられる。ここに、cは規格化により定まる正の係数であり、dは近傍画素が不使用画素と同一色つまりθij=0であるときの発散を防ぐための正の定数である。このように、本発明の効果を著しく損なわない限りスペクトル相関係数の算出方法に制限はなく、公知の2つのスペクトルの相関を求める技術などを広く適用することが可能である。また、上述では、スペクトル相関性および空間相関性の両方に基づいて相関係数を決定しているが、より簡易的には、スペクトル相関性のみに基づいて相関係数を決定することも可能である。このとき、スペクトル相関性のみに基づいて相関係数を決定する場合には、近傍画素の1画素毎に相関性を評価するのに代えて、近傍画素中の1色1バンド毎に相関性を評価するようにしても構わない。すなわち、上述では、例えば図8に示した近傍画素の場合、色C1の画素が近傍画素領域内に4画素含まれており、それぞれの画素の寄与分を不使用画素の補間画素値の算出に用いていた数式8参照。これに対して相関性を1色毎に評価する場合には、同一色に関しては近傍画素の画素値を平均化した値を用いれば良い。加えて、数式1において、入力した画素値を表現するビット数よりも出力する補間画素値を表現するビット数の方が大きくなるようにすれば例えば入力画素値が10ビットである場合に、出力画素値を12ビットとする等、ダイナミックレンジの拡大を行うことも可能となる。このような実施形態1によれば、不使用画素のバンドとは異なる3バンド以上の近傍画素値を少なくとも用いて、バンド同士のスペクトル相関性に応じた重み付けを行い加算することにより、不使用画素の補間画素値を算出しているために、不使用画素の影響による最終出力画像への色ずれ等を軽減することが可能となる。このとき、補間画素値の算出をスペクトル相関性に基づいて行っているために、高精度な補間処理が可能となる。また、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性を表す曲線で囲まれる領域同士が重複する面積の大きさに応じた重み付けとして算出する場合には、比較的正確な相関係数を、カタログデータや実験して得た測定値から得ることが可能となる。一方、バンド同士のスペクトル相関性に応じた重み付けを、バンドの分光感度特性のピーク同士の波長間距離が増加すると、重みが減少するような重み付けとして算出する場合には、分光感度特性の曲線形状を測定する必要がなく、ピークを示す波長のみを各バンドについて測定するかカタログデータから取得すれば足りるために、より容易にデータを取得することができる。さらに、バンド同士のスペクトル相関性に応じた重み付けを、バンドが表す色同士の色空間における色相の相違を表す角度が増加すると、重みが減少するような重み付けとして算出する場合には、各バンドが表す色相のみを、測定するかあるいはカラーフィルタのカタログデータから取得して、公知の色空間内における角度に変換すれば良いために、相関係数を容易に得ることができる。そして、不使用画素と近傍画素とのバンド同士の感度比に応じた重み付けを行っているために、感度の相違を補正した正確な相関係数を得ることができる。加えて、不使用画素と近傍画素との空間相関に応じた重み付けを行う場合には、近傍画素の空間的配置にも配慮したより正確な相関係数を得ることができる。また、不使用画素として、欠陥画素や撮像目的以外の画素位相差AF用画素、温度センサー画素等などの、画素値を画像データとして使用しないことが予め分かっている画素を含めるようにしたために、これらの画素についての色ずれ軽減等を行うことができる。このとき、既知の不使用画素の画素位置を記憶部に記憶しているために、画素位置の照合を行うだけで不使用画素であるか否かを容易に判定することができる。さらに、所定の飽和レベル以上であると判定した処理対象画素を不使用画素に含めるようにしたために、画素値が飽和した画素についての色ずれ軽減等を行うことができる。このとき、不使用画素に含めるのを最も感度の高い1つのバンドに属する処理対象画素のみとする場合には、処理を簡単にしながら比較的高い効果を得ることができる。加えて、飽和していない他の色の近傍画素の画素値に基づいて、飽和した不使用画素の画素値を補間する際に、補間画素値のビット数を拡大すれば、ダイナミックレンジの拡大も行うことができる。なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。"