(57)【特許請求の範囲】
【請求項１】
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
この画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる係数列が記録された係数メモリと、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数メモリに記録された係数列との間で行列演算を行ない、Ｎと等しいかまたはＮより少ないＮ′種類の波長領域の画像を出力する行列演算手段と、
を具備し、
前記係数メモリに記録された係数列は、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、
前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、
前記行列演算手段により出力されるＮ′種類の出力画像の各々の波長感度分布と、
を用いて、前記撮像光学系と、前記多色フィルタと、前記撮像手段とで決定される画像入力系を線形に関係付けたところの一般化行列に対する擬似逆行列であることを特徴とする撮像装置。
【請求項２】
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
この画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる係数列が記録された係数メモリと、
前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数メモリに記録された係数列との間で行列演算を行ない、Ｎより少ない、カラー画像を構成する赤，緑，青の３種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【請求項３】
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布とを係数列として記録した第１の係数メモリと、
物体空間座標と波長との関数として定義される被写体画像の統計的相関情報を係数列として記録した第２の係数メモリと、
前記第１および第２の係数メモリに記録された係数列から、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、前記第２の係数メモリは、複数の係数メモリとそれらの中の１つから係数列を読み込む手段とから構成されることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、前記係数列を読み込む手段は、被写体の種類に応じて該被写体の種類に適当な統計的相関情報が記録された係数メモリを選択することを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、前記第２の係数メモリにおける複数の係数メモリは複数のカード媒体に内蔵され、それらの中の１つから係数列を読み込む手段はカードリーダーであることを特徴とする撮像装置。
【請求項７】
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報とを係数列として記録した第１の係数メモリと、
前記撮像手段のＳ／Ｎを表すパラメータを記録した第２の係数メモリと、
前記第１の係数メモリに記録された係数列と、前記第２の係数メモリに記録されたパラメータとから、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、前記第２の係数メモリに記録されるパラメータは、前記撮像手段からの出力信号に加わるノイズの統計量であることを特徴とする撮像装置。
【請求項９】
波長ごとに異なる物体面に焦点が合う撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像することにより得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間および波長に対する光強度分布を表す３次元感度分布関数と、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間座標と波長との関数として定義される被写体画像の統計的３次元相関情報と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、を係数列として記録した係数メモリと、
この係数メモリに記録されている係数列から前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【請求項１０】
請求項９に記載の撮像装置において、前記係数列演算手段は、前記係数メモリに記録されている３次元感度分布関数と、被写体画像の統計的３次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性との線形結合により定義される行列の擬似逆行列と、２次元感度分布関数と被写体画像の統計的２次元相関情報とＮ′種類の出力画像の各々の波長感度分布との線形結合により定義される行列と、を算出することを特徴とする撮像装置。
【請求項１１】
請求項９に記載の撮像装置において、前記係数メモリには、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報とが異なる物体面に対応させて複数記録され、それらの内の１つづつを選択する手段を有することを特徴とする撮像装置。
【請求項１２】
請求項１、請求項３、請求項７、請求項９に記載の撮像装置において、前記行列演算手段により出力される画像の種類はＮより少ないＮ′でかつ３であり、それらの画像はカラー画像を構成する赤，緑，青の波長領域の画像であることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、光学結像された物体の像を電子的画像信号に変換するカメラによってカラー画像を撮像する撮像装置に関し、特に、撮像系と画像復元処理系とを組み合わせて構成される撮像装置に関する。
【０００２】
【従来の技術】
光学結像系を利用して撮像された画像をディジタル画像処理により明瞭な画像に復元する技術が従来より知られている。このような復元技術においては、原理的に連続−連続系モデルで定義される問題を離散−離散系モデルに置き換えてディジタル処理により解決するために、標本化定理に基づいて両モデルを関係付けることにより定義される画像復元アルゴリズムを従来より利用している。
【０００３】
２次元画像データの標本化定理については、J.W.Goodman,Introduction to  Fourier Optics,pp.21-25,(McGraw-Hill;San Francisco;1968) に開示されており、また、連続−連続系モデルにおいて定義される画像復元を離散−離散系モデルに基づくアルゴリズムで実現する方法については、W.K.Pratt,Digital,Image Processing,pp.378-425,(John Wiley & Sons;New York;1978) に開示されている。しかしながら、上記した従来の復元技術は、以下に示すような理由により正確な画像を復元する上で限界を有する。
【０００４】
１．２次元標本化定理を適用するためには、連続信号が周波数空間で矩形に帯域制限されていることが必要である。また離散フーリエ変換を利用した復元フィルタリングを適用する場合にはフーリエ空間での離散化も必要となり、物体空間も矩形状に領域制限されることが要求される。加えてサンプリング間隔は両制限矩形領域の１辺の長さに依存することになる。ところがそのような制約条件を課することは画像入力系を完全に表現する上で障害となってしまう。
【０００５】
２．標本化定理は連続信号の伝達関数が位置不変の場合に成立する。従って光学結像系の収差などの影響で伝達特性が位置に対して異なるような場合には適用できない。
【０００６】
そこで、特開平６−９８１７０号公報および特開平７−１６０８４７号公報は、連続系で定義される物体空間と、複数の受光素子で構成される離散系で定義される撮像素子との関係を連続−離散系モデルで再定義し、一般化逆行列の考え方にしたがって画像を正確に復元する方法を開示している。しかしながら、特開平６−９８１７０号公報は、赤（Red;R ）、緑（Green;G ）、青（Blue;B）の各色バンド画像ごとに復元処理を行って復元画像を得ているが、このような方法では正確な色再現性を実現する上で限界があり、これを克服する方法については何等開示していない。また、光学結像系に色収差が有る場合には色バンド画像ごとに伝達特性が異なるが、このことが最終的に得られる復元画像にどのような影響を与えるかについては言及していない。
【０００７】
【発明が解決しようとする課題】
上記したように、連続−連続系で定義される結像関係を離散−離散系で近似したモデルを用いる従来の画像復元方法は、標本化定理が要求する条件に従わない画像入力系に対しては原理的に適用できないため正確な画像を復元することができない場合が多かった。
【０００８】
また、連続−離散系モデルに基づく従来の画像復元技術は、正確な色再現性を実現するためのカラー画像の復元方法については何等開示していない。
【０００９】
本発明の撮像装置はこのような課題に着目してなされたものであり、その目的とするところは、連続−離散系モデルに基づいた画像復元方法を用いて、色再現性に優れた正確なカラー画像を復元することができる撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係る撮像装置は、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、この画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる係数列が記録された係数メモリと、前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数メモリに記録された係数列との間で行列演算を行ない、Ｎと等しいかまたはＮより少ないＮ′種類の波長領域の画像を出力する行列演算手段とを具備し、前記係数メモリに記録された係数列は、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、前記行列演算手段により出力されるＮ′種類の出力画像の各々の波長感度分布と、を用いて、前記撮像光学系と、前記多色フィルタと、前記撮像手段とで決定される画像入力系を線形に関係付けたところの一般化行列に対する擬似逆行列である。
【００１１】
また、第２の発明に係る撮像装置は、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、この画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる係数列が記録された係数メモリと、前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数メモリに記録された係数列との間で行列演算を行ない、Ｎより少ない、カラー画像を構成する赤，緑，青の３種類の波長領域の画像を出力する行列演算手段とを具備する。
【００１２】
また、第３の発明に係る撮像装置は、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布とを係数列として記録した第１の係数メモリと、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報を係数列として記録した第２の係数メモリと、前記第１および第２の係数メモリに記録された係数列から、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段とを具備する。
また、第４の発明に係る撮像装置は、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報とを係数列として記録した第１の係数メモリと、前記撮像手段のＳ／Ｎを表すパラメータを記録した第２の係数メモリと、前記第１の係数メモリに記録された係数列と、前記第２の係数メモリに記録されたパラメータとから、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段とを具備する。
また、第５の発明に係る撮像装置は、波長ごとに異なる物体面に焦点が合う撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像することにより得られたＮ種類の多波長領域画像を記録するための画像メモリと、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間および波長に対する光強度分布を表す３次元感度分布関数と、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間座標と波長との関数として定義される被写体画像の統計的３次元相関情報と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、を係数列として記録した係数メモリと、この係数メモリに記録されている係数列から前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段とを具備する。
【００１３】
すなわち、第１の発明に係る撮像装置は、まず、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタとを介して入射される物体の光像を撮像手段によって撮像し、この撮像において得られたＮ種類の多波長領域画像を画像メモリに記録する。次に、この画像メモリに記録されたＮ種類の多波長領域画像と、係数メモリに記録された係数列との間で行列演算手段によって行列演算を行ない、Ｎと等しいかまたはＮより少ないＮ′種類の波長領域の画像を出力する。ここで、係数メモリに記録された係数列は、撮像手段における各受光素子に対して、撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、行列演算手段により出力されるＮ′種類の出力画像の各々の波長感度分布と、を用いて、撮像光学系と、多色フィルタと、撮像手段とで決定される画像入力系を線形に関係付けたところの一般化行列に対する擬似逆行列である。
【００１４】
また、第２の発明に係る撮像装置は、まず、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタとを介して入射される物体の光像を撮像手段によって撮像し、この撮像において得られたＮ種類の多波長領域画像を画像メモリに記録する。そして、この画像メモリに記録されたＮ種類の多波長領域画像と、係数メモリに記録された係数列との間で行列演算手段によって行列演算を行ない、Ｎより少ない、カラー画像を構成する赤，緑，青の３種類の波長領域の画像を出力する。
【００１５】
また、第３の発明に係る撮像装置は、まず、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタとを介して入射される物体の光像を撮像手段によって撮像し、この撮像において得られたＮ種類の多波長領域画像を画像メモリに記録する。そして、第１の係数メモリに記録され、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布とからなる係数列と、第２の係数メモリに記録され、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報からなる係数列とから、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を係数列演算手段によって算出し、前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された新たな係数列との間で行列演算手段によって行列演算を行ない、Ｎ′種類の波長領域の画像を出力する。
また、第４の発明に係る撮像装置は、まず、撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタとを介して入射される物体の光像を撮像手段によって撮像し、この撮像において得られたＮ種類の多波長領域画像を画像メモリに記録する。そして、第１の係数メモリに記録され、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報とからなる係数列と、第２の係数メモリに記録され、撮像手段のＳ／Ｎを表すパラメータとから、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を係数列演算手段によって算出し、前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された新たな係数列との間で行列演算手段によって行列演算を行ない、Ｎ′種類の波長領域の画像を出力する。
また、第５の発明に係る撮像装置は、まず、波長ごとに異なる物体面に焦点が合う撮像光学系と、この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタとを介して入射される物体の光像を撮像手段によって撮像し、この撮像において得られたＮ種類の多波長領域画像を画像メモリに記録する。そして、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間および波長に対する光強度分布を表す３次元感度分布関数と、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間座標と波長との関数として定義される被写体画像の統計的３次元相関情報と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、を係数列として係数メモリに記録する。次に、この係数メモリに記録されている係数列から前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を係数列演算手段により算出し、前記画像メモリに記録されたＮ種類の多波長領域画像と前記係数列演算手段により算出された係数列との間で行列演算手段により行列演算を行ない、Ｎ′種類の波長領域の画像を出力する。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１７】
まず、本発明の第１実施形態を説明する。本発明の第１実施形態は、多波長バンド画像（多波長領域画像）を入力し、それらを用いてＲＧＢカラー画像を復元する撮像装置に関するものである。図１に本発明の第１実施形態の構成を示す。構成は大きく、カメラ１００、画像処理プロセッサ２００、ＴＶモニタ３００とに分けられる。カメラ１００内にはレンズ１０１で構成される光学結像系（撮像光学系）が設けられており、このレンズ１０１を介して被写体の光像が撮像手段としてのＣＣＤ撮像素子１０２の受光面上に結像される。なお、ＣＣＤ撮像素子１０２の代わりにＭＯＳやＣＭＤといった他の方式による撮像素子を用いてもよい。
【００１８】
レンズ１０１とＣＣＤ撮像素子１０２との間には回転色フィルタ（多色フィルタ）１０３が設けられている。回転色フィルタ１０３は図２に示すように、Ｎ枚の色フィルタ１０３−１〜Ｎが回転方向に並べられた断面構造をしており、モータ１０４により所定の色フィルタが選択されて光学結像系の光路内に設置されている。各色フィルタ１０３−１〜Ｎは図３に示すように、可視光の波長範囲内で所定の波長バンドに透過率分布特性を有する。
【００１９】
このような構成により撮像された各色フィルタ１０３−１〜Ｎに対応する波長バンド画像は画像処理プロセッサ２００内のＡ／Ｄ変換器２０１によりディジタル変換され、Ｎ枚の画像メモリ２０２−１〜Ｎの内の所定の１枚に記録される。以上の動作はカメラ１００において回転色フィルタ１０３が回転制御され色フィルタ１０３−１〜Ｎの内の１枚が次々と選択されることにより繰り返され、計Ｎ枚の波長バンド画像が画像メモリ２０２−１〜Ｎに記録される。
【００２０】
なお画像処理プロセッサ２００内には回転色フィルタドライバ２０３が設けられており、カメラ１００内のモータ１０４の動作制御を行なう。
【００２１】
次に画像メモリ２０２−１〜Ｎに記録された各波長バンド画像、および係数メモリとしてのＲＯＭ２０５に記録されている係数列が行列演算器２０４に入力されて、所定の行列演算、つまり積和演算が実行されて結果は画像メモリ２０６−１〜３の内の１枚に記録される。ここで、画像メモリ２０６−１〜３は各々カラー画像を構成するＲ，Ｇ，Ｂ画像を記録するのに用いられる。つまりＲ画像を構成する場合はＲＯＭ２０５に記録されているデータの内、Ｒ画像用の係数列が読み出されて所定の行列演算が行なわれ、結果は画像メモリ２０６−１に記録される。同様の動作がＧ，Ｂ画像についても繰り返し行なわれる。
【００２２】
このようにして画像メモリ２０６−１〜３に記録されたカラー画像はＤ／Ａ変換器２０７により所定のアナログビデオ信号に変換されてＴＶモニタ３００に表示される。以上の構成における動作制御は画像処理プロセッサ２００内のＣＰＵ２１０により行なわれる。
【００２３】
上記した第１実施形態ではカメラ１００と画像処理プロセッサ２００とをオンラインで接続する構成を示したが、オフラインの構成でも良い。つまり、カメラ１００内のＣＣＤ撮像素子１０２からの出力画像データをアナログ信号としてあるいはディジタル変換してから半導体メモリカード、フロッピーディスク、光メモリカードなどの媒体に記録する構成を設け、画像処理プロセッサ２００内にはそれら記録媒体から画像信号を読み取るリーダー装置を設けることにより同様の処理を実現するように構成してもよい。そのような場合、使用者はカメラだけを持って撮影場所にでかけることができるなどオフラインシステムの利点を生かすことができる。
【００２４】
以下に、上記した構成を有する第１実施形態の作用を説明する。第１実施形態では可視光範囲に渡って透過特性が設定されたＮ枚の色フィルタ１０３−１〜Ｎを用いて入力されたＮ枚の多波長バンド画像を用いてＲＧＢカラー画像を復元する作用を有する。その際に、以下に述べるような連続−離散系モデルに基づく一般化逆行列的手法により、光学結像系の収差による周辺部の歪みや色収差の影響による波長ごとの結像特性の違いを最適に補正し、正確な画像を復元する。加えてＮ枚（Ｎ＞３）の多波長バンド画像からＲＧＢ画像を求めることにより、正確な色再現性を実現する作用を有する。
【００２５】
つまり、以下の解析によれば画像入力系が一般的な連続−離散系モデルに基づいて扱われるため、従来の標本化定理に基づく解析が要求するような帯域／領域制限や伝達特性の位置不変性の条件を必要とせず、適用範囲が広く正確な解析が可能である。従って光学結像系の収差の影響により位置によって伝達特性が変化するような画像入力系に対しても正確な画像復元ができる。しかも細かく設定された多波長バンドの各々に対する光学結像特性を考慮しながらカラー画像を復元することにより色収差の影響を波長単位で補正することが可能で、Ｒ，Ｇ，Ｂ画像が各々正確に復元されることから結果的に色再現性に優れたカラー画像が得られる。
【００２６】
画像復元処理は画像メモリ２０２−１〜Ｎに記録された多波長バンド画像とＲＯＭ２０５に記録されている係数列とを用いて行列演算器２０４において行なわれる積和演算により実現されるが、以下に具体的な演算処理の内容を説明する。まず、光学結像系を利用した画像入力系が連続系で定義される物体空間と離散系で定義される撮像部とを関係付けた連続−離散系モデルで定義する。ＣＣＤ撮像素子１０２を構成するＭ個の受光エレメントの内の１つ（ｉ番目；ｉ＝１，…，Ｍ）に着目し、Ｎ枚の波長バンドフィルタの内の１枚（ｊ番目；ｊ＝１，…，Ｎ）を通過して結像された光像が受光される系を考え、これを次のように定式化する。
【００２７】
【数１】
0003790906.tif 000002
【００２８】
ただし、ｇi j ：ｊ番目の波長バンドパスフィルタを用いて入力されたｉ番目の受光エレメントの観測値、ｔj （λ）：ｊ番目の波長バンドパスフィルタの透過率分布特性、ｈi （ｒ，λ）：ｉ番目の受光エレメントにおける物体空間ｒおよび波長λの両方に対して定義される感度分布関数、ｆ（ｒ，λ）：被写体を表す物体空間ｒおよび波長λの両方に対して定義される原画像関数である。
【００２９】
なお、感度分布関数ｈi （ｒ，λ）は、前記した特開平６−９８１７０号公報および特開平７−１６０８４７号公報に開示されている感度分布関数を拡張して定義したもので、撮像素子のｉ番目の受光エレメントにおける物体空間および光の波長に対する光強度の感度分布を表す関数である。感度分布関数ｈi （ｒ，λ）は特開平６−９８１７０号公報の図１に示すような構成によって実際に計測しても良いし、光学結像系の解析に基づいて計算により求めても良い。
【００３０】
（１）式の定義において原画像ｆ（ｒ，λ）は連続系で定義され、観測値
ｇi j は離散値で定義される。そして両者を関係付けるために波長バンドフィルタの透過率分布特性ｔj （λ）および感度分布関数ｈi （ｒ，λ）が定義される。一方、原画像ｆ（ｒ，λ）をＲＧＢカラー画像に変換する過程は次式で表される。
【００３１】
【数２】
0003790906.tif 000003
【００３２】
ただし、ｆk （ｒ）：ｋ番目の原色画像（ｋ＝Ｒ，Ｇ，Ｂ）、ｓk （λ）：ｋ番目の色の等色関数で、図４に示すような波長特性を有する。また現実の装置でカラー画像を表示するためには連続系で定義される原色画像ｆk （ｒ）を再サンプリングする必要があるので、その過程を次式で定義する。
【００３３】
【数３】
0003790906.tif 000004
ただし、ｆi k ：ｋ番目の原色画像のｉ番目の画素値、ｐi （ｒ）：ｉ番目の画素値を求めるためのサンプリング関数である。（１）式で表される画像入力系により入力された複数の波長バンド画像から（２）式で表される各原色画像を推定する過程を、前記した特開平６−９８１７０号公報および特開平７−１６０８４７号公報に開示されているような連続−離散系モデルに対して一般的に拡張定義された擬似逆行列の考え方に従って定式化すると、以下のように表される。なお、繁雑さを避けるため、以下の説明では途中の導出に関する記述を省略し、最終的な結果のみを示す。
【００３４】
【数４】
0003790906.tif 000005
【００３５】
【数５】
0003790906.tif 000006
【００３６】
（６）式において、連続−離散変換線形オペレータ｛ｈ（ｒ，λ）｝は次式に示すように受光エレメント数と等しいＭ個の感度分布関数ｈi （ｒ，λ）を列方向に並べて構成されるオペレータである。
【００３７】
【数６】
0003790906.tif 000007
【００３８】
結局、オペレータ｛ａk （ｒ）｝t は行方向にＮ×Ｍ個の関数を並べて構成される。一方、行列Ｂa は行列Ｂの擬似逆行列であるが、行列Ｂは次のようにＮ×Ｎ個のブロック行列Ｂmn（ｍ，ｎ＝１，２，…，Ｎ）で構成される。
【００３９】
【数７】
0003790906.tif 000008
【００４０】
（４）式に従って求められる連続空間で定義される推定原色画像は、次に（３）式に基づいて離散値に変換される。そこで離散原色画像をベクトルｆk ＝［ｆ1 k ｆ2 k …ｆM' k ］t で定義すると、観測ベクトルｇからベクトルｆk を推定する過程は（１０）式にまとめられる。なお、Ｍ′は離散原色画像の画素数であり、実用的には受光エレメント数Ｍとほぼ同等に決めれば良い。
【００４１】
【数８】
0003790906.tif 000009
【００４２】
また、（１０）式において行列Ａk はオペレータ｛ｐ（ｒ）｝とオペレータ｛ａk （ｒ）｝t とを線形演算することにより改めて定義されるＭ′×ＭＮ行列であり、行列Ｃk は行列Ａk と行列Ｂa との行列積を計算することにより定義されるＭ′×ＭＮ行列である。つまり、ＲＯＭ２０５に予め記録される係数列は（１１）式で表される行列Ｃk の各要素であれば良く、ｋ＝Ｒ，Ｇ，Ｂの各々について定義されるそれらの係数列を全て記録しておけば良いことになる。
【００４３】
上記した第１実施形態によれば、多波長バンド光学結像を用いた連続−離散画像入力系の定義に基づいた復元処理を行なうことにより正確なカラー画像が復元可能であるため、レンズなどの光学結像系を簡便に設計することができ、小型軽量のカメラを用いながら解像度や色再現性に優れたカラー画像を得ることができる。
【００４４】
以下に本発明の第２実施形態を説明する。本発明の第２実施形態は、あらかじめ予測される被写体の統計的自己相関情報が記録されたカードを用いて、より高性能なカラー画像を復元する方法に関する。図５に第２実施形態における画像処理プロセッサ４００の構成を示す。なおその他のカメラとＴＶモニタは第１実施形態におけるカメラ１００およびＴＶモニタ３００と同様なので、図示および説明は省略する。
【００４５】
図５において、Ａ／Ｄ変換器４０１、画像メモリ４０２−１〜Ｎ、回転色フィルタドライバ４０３、行列演算器４０４、画像メモリ４０６−１〜３、Ｄ／Ａ変換器４０７、ＣＰＵ４１０は、それぞれ図１におけるＡ／Ｄ変換器２０１、画像メモリ２０２−１〜Ｎ、回転色フィルタドライバ２０３、行列演算器２０４、画像メモリ２０６−１〜３、Ｄ／Ａ変換器２０７、ＣＰＵ２１０と同様である。なお、図５では繁雑さを避けるためＣＰＵ４１０と他の構成要素との結線を省略してある。
【００４６】
第２実施形態では、これらの他に目的や用途に応じて着脱可能なカード４２０とカードリーダー４２１が用意される。第２の係数メモリとしてのカード４２０には半導体ＩＣ、光メモリなどの記録媒体が内蔵されており、対象とする被写体の自己相関行列に関する情報（統計的相関情報）が記録されている。この自己相関行列の係数値は、第１の係数メモリとしてのＲＯＭ４２２内に記録されている係数値と共に係数列演算手段としての行列演算器４２３に送られることにより所定の行列演算が行なわれ、算出された２種類の新たな係数値が係数メモリ４２４−１〜２に記録される。
【００４７】
行列演算手段としての行列演算器４０４では、画像メモリ４０２−１〜Ｎに記録されている多波長バンド画像と係数メモリ４２４−１〜２に記録されている係数値との間で所定の行列演算が行われ、復元されたＲＧＢカラー画像が画像メモリ４０６−１〜３に記録される。
【００４８】
以下に、上記した構成を有する第２実施形態の作用を説明する。第２実施形態は、以下に説明するように最小二乗規範に基づいて連続−離散系画像入力モデルを再定式化することにより被写体の原画像に対して最も誤差の少ない画像を推定復元する方法に関する。それには先験的に予測される原画像の統計的自己相関情報が必要となるため、図５の装置は被写体の種類、例えば人物、風景、医療、建造物画像などに応じて適当な自己相関情報が記録されたカード４２０を選択できるように構成される。
【００４９】
このような方法は、色収差の影響のため波長により結像状態が異なるような場合においても、波長バンド画像間の相関を利用して復元されるカラー画像の解像度や色再現性を向上させる作用を有する。例えば色収差の影響の大きい光学結像系では、緑の波長領域に対して最も焦点の合った状態で結像される際には赤や青の波長領域は焦点はずれの状態となる。従って各波長バンド画像ごとに復元を行なおうとすると、緑の画像に比べ赤や青の画像はぼけを回復しきれないため、結果的に復元されるカラー画像は色バンド画像間で解像度のバランスが悪く色再現性に劣ったものになってしまう。ところが第２実施形態の方法によれば、焦点の合った状態で入力できる緑の画像と赤あるいは青の画像との相関情報を活用することにより赤や青の画像における結像特性の劣化を補正し、緑と同等な画質にまで復元する作用が有る。
【００５０】
以下に最小二乗規範に基づいた画像入力系の再定式化を行ない、カード４２０に記録される自己相関情報の内容と具体的な計算方法について示す。なお、以下の説明では離散−連続変換オペレータによる偏微分などの計算式が現れるが、全ての関係式は線形であり行列とベクトルで構成される離散系における定義を拡張することにより定義される。つまり、連続系は要素数が無限個の離散系であると考えて扱えば良い。
【００５１】
【数９】
0003790906.tif 000010
【００５２】
ただし、オペレータＥ［・］は集合平均を表す。平均二乗誤差ｅk を最小にするためのオペレータ｛ｍk （ｒ）｝t は（１８）式を｛ｍk （ｒ）｝で偏微分した値が０になるような次の方程式により求められる。
【００５３】
【数１０】
0003790906.tif 000011
【００５４】
（１４）式を解くことにより最終的に得られるオペレータ｛ｍk （ｒ）｝t は次式のように表される。
【００５５】
【数１１】
0003790906.tif 000012
【００５６】
ただし、離散−連続変換オペレータ｛ｄk （ｒ）｝t は以下のように定義される。
【００５７】
【数１２】
0003790906.tif 000013
【００５８】
ただし、ｊ番目の要素関数［ｄk （ｒ）］j は次式で定義される。
【００５９】
【数１３】
0003790906.tif 000014
【００６０】
ここで、Ｒff（ｒ，λ：ｒ′，λ′）は原画像ｆ（ｒ，λ）の自己相関関数であり、次式で定義される。
【００６１】
0003790906.tif 000015
（１６），（１７）式を（５），（６）式と比較すると、最小二乗規範を導入した第２実施形態において定義されるオペレータ｛ｄk （ｒ）｝t の各要素関数［ｄk （ｒ）］j は、第１実施形態で定義されたオペレータ｛ａk （ｒ）｝t における各要素関数［ａk （ｒ）］j の積分項に原画像ｆ（ｒ，λ）の自己相関関数Ｒff（ｒ，λ：ｒ′，λ′）を挿入させたものであることが分かる。
【００６２】
一方、（１５）式における行列Ｑa は次のように定義される行列Ｑの擬似逆行列である。
【００６３】
【数１４】
0003790906.tif 000016
【００６４】
（１９），（２０）式を（８），（９）式と比較すると、第２実施形態において定義される行列Ｑの各ブロック行列Ｑmnは、第１実施形態で定義された行列Ｂの各ブロック行列Ｂmnにおける積分項に原画像ｆ（ｒ，λ）の自己相関関数
Ｒff（ｒ，λ：ｒ′，λ′）を挿入したものであることが分かる。最後に（１２）式に従って求められる連続空間で定義される推定原色画像は（３）式に基づいて離散変換されるが、
【数１５】
0003790906.tif 000017
【００６５】
ただし、（２１）式において行列Ｄk はオペレータ｛ｐ（ｒ）｝とオペレータ｛ｄk （ｒ）｝t とを線形演算することにより改めて定義されるＭ′×ＭＮ行列である。つまり、カード４２０には対象とする被写体の性質に最も近いと予測される自己相関Ｒff（ｒ，λ：ｒ′，λ′）を記録しておけば良く、ＲＯＭ４２２には各波長バンドパスフィルタの透過率分布特性ｔj （λ）、物体空間ｒおよび波長λの両方に対して定義される感度分布関数ｈi （ｒ，λ）、ｋ番目の色の等色関数ｓk （λ）、サンプリング関数ｐi （ｒ）を記録しておけば良い。なお、実際の装置では自己相関Ｒff（ｒ，λ；ｒ′，λ′）などの連続関数や感度分布関数ｈi （ｒ，λ）のような離散系と連続系を変換するオペレータを厳密に記録することは困難であるが、離散系のサンプリング数（ＭやＭ′）に比べて多いサンプリング数になるように細かくピッチを設定した擬似的な連続空間を定義すれば実用上問題はなく、本発明の主旨に沿った処理が実現できる。
【００６６】
カード４２０およびＲＯＭ４２２に記録されているデータは行列演算器４２３において（２１）式で定義された行列Ｄk ，Ｑa を算出するのに利用され、結果はそれぞれ係数メモリ４２４−１，２に記録される。そして行列演算器４０４では画像メモリ４０２−１〜Ｎに記録されている各波長バンド画像と係数メモリ４２４−１〜２に記録された行列係数との間で（２１）式に従った計算が行なわれ、ＲＧＢ原色画像が復元される。
【００６７】
なお、第２実施形態ではカード４２０に画像の自己相関情報を記録するように構成したが、画像入力系の条件があらかじめ固定されるような場合に対しては最終的に必要となる行列Ｄk ，Ｑa の係数をカード４２０に記録しても良い。その場合、ＲＯＭ４２２、行列演算器４２３および係数メモリ４２４−１〜２が省略され、構成が簡便になる。また、特定の被写体を対象とする場合や広い被写体の種類に対して共通に設定可能な自己相関関数が定義される場合には、第１実施形態と同様に、最終的に算出される行列Ｄk Ｑa の要素を１個のＲＯＭに記録するように構成しても良い。
【００６８】
上記した第２実施形態によれば、色収差などの影響による原色画像間の解像度のムラを補正できるため、レンズなどの光学結像系を簡便にしながらも、より解像度や色再現に優れたカラー画像を得ることができる。また適当な自己相関情報が記録されたカードを選択できることから、被写体の種類に対して適応的に復元画像の画質を向上させることができる。
【００６９】
以下に、本発明の第３実施形態を説明する。本発明の第３実施形態は、モザイク色フィルタが装着された単板カラーカメラを用いて入力された画像からＲＧＢカラー画像を復元する方法に関する。図６に第３実施形態におけるカメラ５００と画像処理プロセッサ６００の構成を示す。カメラ５００内にはレンズ５０１で構成される光学結像系が設けられており、このレンズ５０１を介して被写体の光像がＣＣＤ撮像素子５０２の受光面上に結像される。ＣＣＤ撮像素子５０２は単板型のカラー撮像素子であり、その撮像面上にモザイク色フィルタ５０５が装着されている。モザイク色フィルタ５０５は、例えば図７に示すような緑市松Ｒ／Ｂ線順次方式あるいはベイヤー方式と呼ばれる色配置に従って色フィルタが設けられており、ＣＣＤ撮像素子５０２では画素順次方式によりカラー画像が撮像される。
【００７０】
ＣＣＤ撮像素子５０２からの出力画像信号は画像処理プロセッサ６００内のＡ／Ｄ変換器６０１によりディジタル変換され、画像メモリ６０２に記録される。次に画像メモリ６０２に記録されたディジタル画像信号はＲＯＭ６０５に記憶されている係数列と共に行列演算器６０４に送られ、所定の行列演算が行なわれることによりＲＧＢカラー画像が復元され、その各原色画像は画像メモリ６０６−１〜３にそれぞれ記録される。画像メモリ６０６−１〜３に記録されたＲＧＢ画像はＤ／Ａ変換器６０７により適当なアナログビデオ信号に変換され、図示しないＴＶモニタに表示される。
【００７１】
以下に、上記した構成を有する第３実施形態の作用を説明する。第３実施形態は、単板カラー方式のカメラ５００で入力されたＲ，Ｇ，Ｂの３バンド波長領域の画像から、第１あるいは第２実施形態に示したような連続−離散系モデルに基づく画像復元の原理に従って解像度や色再現性に優れたカラー画像を得る作用を有する。モザイク色フィルタ５０５を介して入力された画素順次方式のカラー画像は、欠落画素を有する原色画像の集まりであると考えられる。つまり、図７に示すようなモザイク色配置によれば、例えばＲ画像に着目するとＧ，Ｂのフィルタが配置されている画素は欠落画素であると考えられる。第３実施形態はそのような欠落画素を含む原色画像から欠落の無い完全な原色画像を復元する作用を有する。復元処理はＲ，Ｇ，Ｂの３色バンド領域における連続−離散系画像入力モデルに基づいて定義されるが、結局は第１，２実施形態と同様に行列演算により実現される。
【００７２】
以下に第２実施形態と同様な最小二乗規範に基づいた具体的な計算方法について示す。まずＣＣＤ撮像素子５０２を構成するＭ個の受光エレメントの内の１つ（ｉ番目；ｉ＝１，…，Ｍ）に着目し、Ｒ，Ｇ，Ｂの色バンドの内の１つ（ｊ番目；ｊ＝Ｒ，Ｇ，Ｂ）で離散値ｇi j が観測される画像入力系を次のように定式化する。
【００７３】
【数１６】
0003790906.tif 000018
【００７４】
ただし、ｈi j （ｒ）：ｉ番目の受光エレメントのｊ番目の色バンド領域において物体空間ｒに対して定義される感度分布関数、ｆj （ｒ）：ｊ番目の色バンド領域における原画像関数である。また、Ｒ，Ｇ，Ｂ各画素数をそれぞれＭR ，
ＭG ，ＭB とするとＭR ＋ＭG ＋ＭB ＝Ｍである。
【００７５】
【数１７】
0003790906.tif 000019
【００７６】
【数１８】
0003790906.tif 000020
【００７７】
（２５）式を解くことにより最終的に得られるオペレータ｛ｎk （ｒ）｝t は次式のように表される。
【００７８】
【数１９】
0003790906.tif 000021
【００７９】
ただし、離散−連続変換オペレータ｛ｕk （ｒ）｝t は以下のように定義される。
【００８０】
【数２０】
0003790906.tif 000022
【００８１】
（２７）式におけるｊ番目の要素関数［ｕk （ｒ）］j は次式で定義される。
【００８２】
【数２１】
0003790906.tif 000023
【００８３】
ただし、Ｒkj（ｒ；ｒ′）は原画像ｆk （ｒ）と原画像ｆj （ｒ′）の相互相関関数であり、次式で表される。
【００８４】
【数２２】
0003790906.tif 000024
【００８５】
また、（２８）式における連続−離散変換オペレータ｛ｈj （ｒ）｝は次式に表されるように、ｊ番目の色のフィルタが装着されたＭi 個の各画素に対する感度分布関数を列方向に並べることにより定義される。
【００８６】
【数２３】
0003790906.tif 000025
【００８７】
一方、（２６）式における行列Ｖa は次のように定義される行列Ｖの擬似逆行列である。
【００８８】
【数２４】
0003790906.tif 000026
【００８９】
ただし、ブロック行列Ｖkjは次式で定義され、各々Ｍk ×Ｍj 個の要素を持つ。
【数２５】
0003790906.tif 000027
【００９０】
最後に（２３）式に従って求められる連続空間で定義される推定原色画像は（３）式に基づいて離散変換されるが、
【数２６】
0003790906.tif 000028
【００９１】
ただし、（３３）式において行列Ｕk はオペレータ｛ｐ（ｒ）｝とオペレータ｛ｕk （ｒ）｝t とを線形演算することにより改めて定義されるＭ′×Ｍ行列である。また、行列Ｘk は行列Ｕk と行列Ｖa との行列積を計算することにより改めて定義されるＭ′×Ｍ行列である。
【００９２】
【数２７】
0003790906.tif 000029
【００９３】
なお、第３実施形態においても前記した第２実施形態のように、原色画像間の相関情報を記録したカードを脱着可能にすることにより、被写体に対して適応的に復元処理を行なわせることができる。また、第３実施形態は、第２実施形態のみならず、前記した第１実施形態、さらには以下に述べる第４、第５実施形態に適用することも可能である。
【００９４】
上記した第３実施形態によれば、単板カメラを用いながら解像度や色再現性に優れたカラー画像を得ることができるため、コンパクトでしかも画像入力時間の短い実用上有用なカラー画像撮像装置を提供することができる。
【００９５】
以下に、本発明の第４実施形態を説明する。本発明の第４実施形態は、撮像素子のＳ／Ｎに関するデータをあらかじめカメラ内のメモリに記録しておき、そのデータに基づいて適応的にノイズが抑制されたカラー画像を復元する方法に関する。図８に第４実施形態におけるカメラ７００と画像処理プロセッサ８００の構成を示す。カメラ７００において、レンズ７０１、ＣＣＤ撮像素子７０２、回転色フィルタ７０３、モータ７０４はそれぞれ第１実施形態のカメラ１００におけるレンズ１０１、ＣＣＤ撮像素子１０２、回転色フィルタ１０３、モータ１０４と同様である。カメラ７００にはそれらの他に撮像素子７０２のＳ／Ｎに関するデータが記録された第２の係数メモリとしてのＲＯＭ７０６が内蔵されている。
【００９６】
また画像処理プロセッサ８００において、Ａ／Ｄ変換器８０１、画像メモリ８０２−１〜Ｎ、回転色フィルタドライバ８０３、行列演算器８０４、画像メモリ８０６−１〜３、Ｄ／Ａ変換器８０７、ＣＰＵ８１０は、それぞれ第１実施形態の画像処理プロセッサ２００におけるＡ／Ｄ変換器２０１、画像メモリ２０２−１〜Ｎ、回転色フィルタドライバ２０３、行列演算器２０４、画像メモリ２０６−１〜３、Ｄ／Ａ変換器２０７、ＣＰＵ２１０と同様である。
【００９７】
画像処理プロセッサ８００にはさらに第１の係数メモリとしてのＲＯＭ８３０が内蔵され、このＲＯＭ８３０に記録されている係数列はカメラ７００内のＲＯＭ７０６から送られてきたデータと共に係数列演算手段としての行列演算器８３１に送られ、所定の行列演算が行なわれて算出された係数列は係数メモリ８３２−１、２に記録される。そして、これらの係数列と画像メモリ８０２−１〜Ｎに記録されている多波長バンド画像との間で行列演算が行なわれることによりＲＧＢ原色画像が復元され、結果は画像メモリ８０６−１〜３に記録される。
【００９８】
以下に上記した構成を有する第４実施形態の作用を説明する。第４実施形態は、ＣＣＤ撮像素子７０２の熱雑音などにより入力画像に混入するノイズの影響を抑制しながらカラー画像を復元する作用を有する。カメラ７００内にカメラ７００のＳ／Ｎ特性を示すパラメータを記録したＲＯＭ７０６を設けることにより、カメラ７００に対して適応的なノイズ抑制効果をもたらす。
【００９９】
以下に、Ｓ／Ｎを考慮したカラー画像の復元処理について説明する。加法的離散ノイズの加わった観測ベクトルｇ′は次式で表される。
【０１００】
ｇ′＝ｇ＋ｎ                                              （34）
ただし、ｇ：ノイズの加わっていない観測ベクトル、ｎ：ノイズベクトルである。この観測ベクトルｇ′から連続空間で定義される原色画像を推定する過程は、第２実施形態と同様な最小二乗規範に従った解析により、以下の（３５）式のように導出される。ただし、式の導出において原画像とノイズには相関が無いと仮定した。
【０１０１】
【数２８】
0003790906.tif 000030
【０１０２】
（３５）式において離散−連続変換オペレータ｛ｄk （ｒ）｝t は（１６）式に定義されたオペレータと同様であり、行列Ｑは（１９），（２０）式と同様に定義される。また行列Ｎはノイズの自己相関行列であり、ＣＣＤ撮像素子７０２の各受光エレメントに生じるノイズ同士は無相関で、発生確率は各受光エレメント間で等しいとすると次式で表すことができる。
【０１０３】
【数２９】
0003790906.tif 000031
【０１０４】
ただし、α：ノイズの分散を表す定数パラメータ、Ｉ：ＭＮ×ＭＮの単位行列である。以上の解析により、
【数３０】
0003790906.tif 000032
【０１０５】
ただし、行列Ｄk は（２１）式に定義した行列Ｄk と同様であり、行列Ｑは（１９），（２０）式に定義される行列Ｑと同様である。ＲＯＭ８３０内には感度分布関数ｈi （ｒ，λ），（ｉ＝１，…，Ｍ）と、波長バンドパスフィルタの透過率分布特性ｔj （λ），（ｊ＝１，…，Ｎ）と、原色画像の等色関数ｓk （λ），（ｋ＝Ｒ，Ｇ，Ｂ）および原画像ｆ（ｒ，λ）の自己相関関数Ｒff（ｒ，λ；ｒ′，λ′）が記録される。またカメラ７００内のＲＯＭ７０６にはパラメータαが記録される。ＲＯＭ８３０，７０６に記録されているこれらのデータが行列演算器８３１に入力されることにより行列Ｄk および（Ｑ＋αＩ）a が算出され、その要素がそれぞれ係数メモリ８３２−１，２に記録される。行列演算器８０４では、ＲＯＭ８３２−１，２内に記録されている行列Ｄk と（Ｑ＋αＩ）a を用いて画像メモリ８０２−１〜Ｎに記録されている各波長バンド画像との間で（３７）式に基づく原色画像の復元処理が行なわれる。
【０１０６】
上記した第４実施形態によれば、入力画像に混入するノイズの影響が抑制された明瞭なカラー画像を出力することができる。またカメラ自体にカメラの性能に依存したＳ／Ｎパラメータを保持させるので、カメラを画像処理プロセッサに対して着脱可能な構成とした場合は、使用するカメラに適応させた最適なノイズ抑制処理が実現できる。
【０１０７】
以下に、本発明の第５実施形態を説明する。本発明の第５実施形態は、光学結像系の色収差を利用して波長ごとに異なる物体面に焦点の合った多波長バンド画像を入力し、それらを用いて任意の物体面に焦点の合ったカラー画像を復元する方法に関する。
【０１０８】
図９に第５実施形態におけるカメラ９００と画像処理プロセッサ１０００の構成を示す。カメラ９００において、レンズ９０１、ＣＣＤ撮像素子９０２、回転色フィルタ９０３、モータ９０４はそれぞれ第１実施形態のカメラ１００におけるレンズ１０１、ＣＣＤ撮像素子１０２、回転色フィルタ１０３、モータ１０４と同様である。ただし、第５実施形態のレンズ９０１は色収差が大きく、光学結像系は波長に応じて合焦範囲に広がりがあるとする。また画像処理プロセッサ１０００において、Ａ／Ｄ変換器１００１、画像メモリ１００２−１〜Ｎ、回転色フィルタドライバ１００３、行列演算器１００４、画像メモリ１００６−１〜３、Ｄ／Ａ変換器１００７、ＣＰＵ１０１０は、それぞれ第１実施形態の画像処理プロセッサ２００におけるＡ／Ｄ変換器２０１、画像メモリ２０２−１〜Ｎ、回転色フィルタドライバ２０３、行列演算器２０４、画像メモリ２０６−１〜３、Ｄ／Ａ変換器２０７、ＣＰＵ２１０と同様である。
【０１０９】
画像処理プロセッサ１０００にはさらにＲＯＭ１０４０が内蔵され、複数の被写体の種類に対応した自己相関情報が記録されている。またＲＯＭ１０４１には複数の物体面の位置に対応した感度分布関数が記録されている。これらのＲＯＭ１０４０，１０４１に記録されている複数の係数列の内の１つが選択されて行列演算器１０４３に入力されるが、どの係数列を選択するかはユーザインターフェース１０５０によりユーザから指定された条件に基づいてＣＰＵ１０１０からＲＯＭ１０４０，１０４１に送られる読み出しアドレス信号により制御される。
【０１１０】
また、ＲＯＭ１０４２には３次元物体空間に対する感度分布関数、回転色フィルタ９０３に設けられているＮ枚の色バンドフィルタの透過率分布特性およびＲＧＢ等色関数が記録されており、それらの係数列は行列演算器１０４３に入力される。行列演算器１０４３ではＲＯＭ１０４０，１０４１，１０４２から送られてきた係数列を用いて所定の行列演算が行なわれ、算出された２種類の新たな係数値が係数メモリ１０４４−１〜２に記録される。行列演算器１００４では、画像メモリ１００２−１〜Ｎに記録されている多波長バンド画像と係数メモリ１０４４−１〜２に記録されている係数値との間で所定の行列演算が行なわれ、復元されたＲＧＢカラー画像が画像メモリ１００６−１〜３に記録される。
【０１１１】
以下に上記した構成を有する第５実施形態の作用を説明する。第５実施形態は、色収差の大きい光学結像系を用いた場合は波長ごとに異なる物体面に焦点が合うことを利用して、レンズの位置を固定させながら波長と焦点位置とが共に異なる複数の画像を入力する。それらを用いて、全入力画像に対応した合焦範囲内における任意の物体面の位置に焦点の合ったカラー画像を復元する作用を有する。そのような処理を実現させるために、以下に説明するような３次元物体空間に対する多波長バンドの連続−離散系モデルに基づき、各波長バンド画像間の相関を利用したカラー画像復元法を用いる。
【０１１２】
以下に具体的な計算方法について示す。まず（１）式と同様に３次元物体空間に対する連続−離散画像入力系を次式で定義する。
【０１１３】
【数３１】
0003790906.tif 000033
【０１１４】
上式において、空間座標Ｒ＝（ｘ，ｙ，ｚ）を３次元物体空間を表す直交座標系とし、感度分布関数ｈi （Ｒ，λ）と原画像ｆ（Ｒ，λ）とを３次元物体空間に対して再定義する。ただし、ｚを光学結像系の光軸と平行な軸に定義する。
【０１１５】
【数３２】
0003790906.tif 000034
【０１１６】
ただし、離散−連続変換オペレータ｛ｗk （ｒ，ｚ0 ）｝t は以下のように定義される。
【０１１７】
【数３３】
0003790906.tif 000035
【０１１８】
ただし、ｊ番目の要素関数［ｗk （ｒ，ｚ0 ）］j は次式で定義される。
【０１１９】
【数３４】
0003790906.tif 000036
【０１２０】
ただし、｛ｈ（ｒ，ｚ0 ；λ）｝はｚ＝ｚ0 の２次元物体面における感度分布関数ｈi （ｒ，ｚ0 ；λ），（ｉ＝１，…，Ｍ）を列方向に並べることにより構成される連続−離散系変換オペレータであり、Ｒff（ｒ，λ；ｒ′，λ′；ｚ0 ）はｚ＝ｚ0 における２次元原画像ｆ（ｒ，λ；ｚ0 ）の自己相関関数である。一方、（３９）式における行列Ｚa は行列Ｚの擬似逆行列であるが、行列ＺのＮ×Ｎ個のブロック要素行列Ｚmn，（ｍ，ｎ＝１，…，Ｎ）は次式で定義され、各々Ｍ×Ｍ個の要素を持つ。
【０１２１】
【数３５】
0003790906.tif 000037
【０１２２】
ただし、Ｒff（Ｒ，λ；Ｒ′，λ′）：３次元連続物体空間で定義された原画像ｆ（Ｒ，λ）の自己相関関数である。以上の解析により、
【数３６】
0003790906.tif 000038
【０１２３】
ただし、（４３）式において行列Ｗk はオペレータ｛ｐ（ｒ）｝とオペレータ｛ｗk （ｒ）｝t とを線形演算することにより改めて定義されるＭ′×ＭＮ行列である。ＲＯＭ１０４０には被写体の種類に対応した複数の３次元自己相関関数Ｒff（Ｒ，λ；Ｒ′，λ′）、および複数の被写体の種類と複数の物体面の位置ｚ0 に対応した２次元自己相関関数Ｒff（Ｒ，λ；Ｒ′，λ′；ｚ0 ）が記録される。またＲＯＭ１０４１には複数の物体面の位置ｚ0 に対応した２次元感度分布関数ｈi （ｒ，ｚ0 ；λ），（ｉ＝１，…，Ｍ）が記録される。
【０１２４】
ユーザは被写体の種類および結像させたい物体面の位置に応じて適当な条件を選択することにより、ＲＯＭ１０４０，１０４１に記録されている複数種類の上記係数列から適当なものが選択される。一方、ＲＯＭ１０４２には画像入力・表示系により固定された係数列である３次元感度分布関数ｈi （Ｒ，λ），（ｉ＝１，…，Ｍ）、色バンドパスフィルタの透過率分布特性ｔj （λ），（ｊ＝１，…，Ｎ）およびＲＧＢ等色関数ｓk （λ），（ｋ＝Ｒ，Ｇ，Ｂ）が記録されている。
【０１２５】
以上説明したようなＲＯＭ１０４０，１０４１，１０４２から送られてくる係数列を用いて行列演算器１０４３では所定の行列演算が行なわれ、係数メモリ１０４４−１，２にはそれぞれ行列Ｗk ，Ｚa の要素係数列が記録される。そして行列演算器１００４では画像メモリ１００２−１〜Ｎに記録されている各波長バンド画像と係数メモリ１０４４−１〜２に記録された行列との間で（４３）式に従った計算が行なわれ、ＲＧＢ離散原色画像が復元される。
【０１２６】
上記した第５実施形態によれば、所定の物体空間の範囲内での焦点の合った物体面の位置をコントロールできるような装置をレンズ駆動によるメカニカルな動作をせずに実現できる。従ってレンズ駆動部を省略できるために構成が簡便になる上に、モータによる振動の影響なども無い。しかも多波長バンド光学結像を用いた連続−離散画像入力系の定義に基づいた復元処理を行なうことにより解像度や色再現性に優れたカラー画像を得ることができる。
【０１２７】
なお、前記した具体的実施形態には以下の構成を有する発明が含まれており、各発明に対応する実施形態と効果は次の通りである。
【０１２８】
（構成１）
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
この画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる係数列が記録された係数メモリと、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数メモリに記録された係数列との間で行列演算を行ない、Ｎと等しいかまたはＮより少ないＮ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【０１２９】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第１実施形態が対応する。また、前記行列演算手段による行列演算は、第１実施形態で述べた（１０）式を計算することに相当する。
【０１３０】
（効果）
Ｎ種類の多波長バンドの各々に対する光学結像特性を考慮しながらＮと等しいかまたはＮより少ないＮ′種類の波長バンド画像を復元するようにしたので、波長領域に対して冗長性を持たせると共に色収差の影響を波長単位で補正することが可能になる。これによって画像が各々正確に復元されることから結果的に色再現性に優れた画像が得られる。
【０１３１】
（構成１．１）
構成１に記載の撮像装置において、前記係数メモリに記録された係数列は、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、前記行列演算手段により出力されるＮ′種類の出力画像の各々の波長感度分布とを用いて、前記撮像光学系と、前記多色フィルタと、前記撮像手段とで決定される画像入力系を線形に関係付けたところの一般化行列に対する擬似逆行列である
ことを特徴とする。
【０１３２】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第１実施形態が対応する。
【０１３３】
（効果）
画像入力系が一般的な連続−離散系モデルに基づいて扱われることにより、従来の標本化定理に基づく解析が要求するような帯域／領域制限や伝達特性の位置不変性の条件を必要とせず、適用範囲が広く正確な解析が可能となる。従って光学結像系の収差の影響により位置によって伝達特性が変化するような画像入力系に対しても正確な画像復元ができる。これによって、レンズなどの光学結像系を簡便に設計することができ、小型軽量のカメラを用いながら解像度や色再現性に優れたカラー画像を得ることができる。
【０１３４】
（構成１．２）
構成１に記載の撮像装置において、前記行列演算手段により出力される画像の種類Ｎ′は３であり、それらの画像はカラー画像を構成する赤，緑，青の波長領域の画像である
ことを特徴とする。
【０１３５】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第１実施形態が対応する。
【０１３６】
（効果）
出力されるＮ′種類の波長領域画像をＲＧＢカラー画像とすることにより、一般的なカラー画像機器に親和性のあるカラー画像を出力できる。
【０１３７】
（構成２）
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布とを係数列として記録した第１の係数メモリと、
物体空間座標と波長との関数として定義される被写体画像の統計的相関情報を係数列として記録した第２の係数メモリと、
前記第１および第２の係数メモリに記録された係数列から、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【０１３８】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第２実施形態が対応する。また、前記行列演算手段による行列演算は、第２実施形態で述べた（２１）式を計算することに相当する。
【０１３９】
（効果）
色収差の影響によって波長ごとに結像状態が異なるような場合においても、波長バンド画像間の相関を利用して復元されるカラー画像の解像度や色再現性を向上させることができる。従って、レンズなどの光学結像系を簡便な構成とした場合でも、解像度や色再現により優れたカラー画像を得ることができる。
【０１４０】
（構成２．１）
構成２に記載の撮像装置において、前記第２の係数メモリは、複数の係数メモリとそれらの中の一つから係数列を読み込む手段とから構成される
ことを特徴とする。
【０１４１】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第２実施形態が対応する。
【０１４２】
（効果）
被写体の種類、例えば人物、風景、医療、建造物画像などに応じて適当な統計的相関情報が記録されたメモリを選択することができ、より正確な画像の復元が可能になる。
【０１４３】
（構成２．１．１）
構成２．１に記載の撮像装置において、前記第２の係数メモリにおける複数の係数メモリは複数のカード媒体に内蔵され、それらの中の一つから係数列を読み込む手段はカードリーダーである
ことを特徴とする。
【０１４４】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第２実施形態が対応する。
【０１４５】
（効果）
適当な自己相関情報が記録されたカードを選択できることから、被写体の種類に対して適応的に復元画像の画質を向上させることができる。
【０１４６】
（構成３）
撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像して得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される物体空間および波長に対する光強度分布を表す感度分布関数と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、物体空間座標と波長との関数として定義される被写体画像の統計的相関情報とを係数列として記録した第１の係数メモリと、
前記撮像手段のＳ／Ｎを表すパラメータを記録した第２の係数メモリと、
前記第１の係数メモリに記録された係数列と、前記第２の係数メモリに記録されたパラメータとから、前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された新たな係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【０１４７】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第４実施形態が対応する。また、前記行列演算手段による行列演算は、第４実施形態で述べた（３７）式を計算することに相当する。
【０１４８】
（効果）
入力画像に混入するノイズの影響が抑制された明瞭なカラー画像を出力することができる。
【０１４９】
（構成３．１）
構成３に記載の撮像装置において、前記第２の係数メモリに記録されるパラメータは、前記撮像手段からの出力信号に加わるノイズの統計量である
ことを特徴とする。
【０１５０】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第４実施形態が対応する。
【０１５１】
（効果）
撮像手段において発生する入力画像と相関の無いノイズを定量的に扱うために撮像手段の性能に依存したノイズの統計量を記録しておくことにより、最適な条件でノイズを抑制できる画像復元を行なうことができる。
【０１５２】
（構成３．２）
構成３に記載の撮像装置において、前記第２の係数メモリは、前記撮像手段に内蔵される
ことを特徴とする。
【０１５３】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第４実施形態が対応する。
【０１５４】
（効果）
カメラ自体にカメラの性能に依存したＳ／Ｎパラメータを保持させるので、カメラを画像処理プロセッサに対して着脱可能に構成した場合でも使用するカメラに適応させた最適なノイズ抑制処理を実現することができる。
【０１５５】
（構成４）
構成２または３に記載の撮像装置において、
前記係数列演算手段は、前記行列演算手段により出力されたＮ′種類の波長領域の画像と、物体空間座標と波長との関数として定義される被写体画像に、前記第１の係数メモリに記録されているＮ′種類の出力画像の各々の波長感度分布を作用することにより得られるところのＮ′種類の波長領域の被写体画像との誤差が最小になるような係数を算出する
ことを特徴とする。
【０１５６】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第２，３実施形態が対応する。
【０１５７】
（効果）
被写体の原画像から得られることが予測される理想的な出力画像に対して最も誤差の少ない画像を推定復元することができる。
【０１５８】
（構成５）
波長ごとに異なる物体面に焦点が合う撮像光学系と、
この撮像光学系により結像される物体の光像をＮ種類の波長領域ごとに透過させるＮ種類の色フィルタで構成される多色フィルタと、
前記撮像光学系と前記多色フィルタとを介して入射される物体の光像を撮像するための撮像手段と、
前記多色フィルタにより透過されたＮ種類の波長領域の物体の光像を前記撮像手段により撮像することにより得られたＮ種類の多波長領域画像を記録するための画像メモリと、
前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間および波長に対する光強度分布を表す３次元感度分布関数と、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間座標と波長との関数として定義される被写体画像の統計的３次元相関情報と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性と、Ｎと等しいかまたはＮより少ないＮ′種類の出力画像の各々の波長感度分布と、を係数列として記録した係数メモリと、
この係数メモリに記録されている係数列から前記画像メモリに記録されたＮ種類の多波長領域画像との行列演算に用いられる新たな係数列を算出する係数列演算手段と、
前記画像メモリに記録されたＮ種類の多波長領域画像と、前記係数列演算手段により算出された係数列との間で行列演算を行ない、Ｎ′種類の波長領域の画像を出力する行列演算手段と、
を具備することを特徴とする撮像装置。
【０１５９】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第５実施形態が対応する。また、前記行列演算手段による行列演算は、第５実施形態で述べた（４３）式を計算することに相当する。
【０１６０】
（効果）
色収差の大きい光学結像系を用いる場合は波長ごとに異なる物体面に焦点が合うことを利用して、レンズの位置を固定させながら波長と焦点位置とが共に異なる複数の画像を入力し、全入力画像に対応した合焦範囲内における任意の物体面の位置に焦点の合った画像を復元するようにしたので、所定の物体空間の範囲内で焦点の合った物体面の位置をコントロールできるような装置をレンズ駆動によるメカニカルな動作をせずに実現できる。したがって、レンズ駆動部を省略でき構成が簡便になる上にモータによる振動の影響なども無くなる。
【０１６１】
（構成５．１）
構成５に記載の撮像装置において、前記係数列演算手段は、前記係数メモリに記録されている３次元感度分布関数と、被写体画像の統計的３次元相関情報と、前記多色フィルタに設けられたＮ種類の色フィルタの透過率分布特性との線形結合により定義される行列の擬似逆行列と、２次元感度分布関数と被写体画像の統計的２次元相関情報とＮ′種類の出力画像の各々の波長感度分布との線形結合により定義される行列と、を算出する
ことを特徴とする。
【０１６２】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第５実施形態が対応する。
【０１６３】
（効果）
多波長バンド光学結像を用いた連続−離散画像入力系の定義に基づいた復元処理を行なうことができ、解像度や色再現性に優れた画像を出力することができる。
【０１６４】
（構成５．２）
構成５に記載の撮像装置において、前記係数メモリには、前記撮像手段における各受光素子に対して、前記撮像光学系により伝達される３次元物体空間内の所定の２次元物体面および波長に対する光強度分布を表す２次元感度分布関数と、３次元物体空間内の所定の２次元物体面座標と波長との関数として定義される被写体画像の統計的２次元相関情報とが異なる物体面に対応させて複数記録され、それらの内の１つづつを選択する手段を有する
ことを特徴とする。
【０１６５】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第５実施形態が対応する。
【０１６６】
（効果）
焦点の合った物体面の位置を容易に選択可能な装置を構成できる。
【０１６７】
（構成６）
構成１、２、３、５に記載の撮像装置において、前記多色フィルタはＮ種類の色フィルタが同一平面上に空間的に配置されたモザイク色フィルタである
ことを特徴とする。
【０１６８】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第３実施形態が対応する。
【０１６９】
（効果）
単板方式で多波長バンド画像を入力するカメラを用いながら、連続−離散系モデルに基づく画像復元の原理に従って解像度や色再現性に優れたカラー画像を得ることができる。従って、コンパクトでしかも画像入力時間の短い実用上有用なカラー画像撮像装置を提供することができる。
【０１７０】
（構成６．１）
構成６に記載の撮像装置において、前記モザイク色フィルタに設けられる色フィルタの種類Ｎおよび前記行列演算手段により出力される画像の数Ｎ′は、共に３である
ことを特徴とする。
【０１７１】
（対応する発明の実施形態）
この発明に関する実施の形態には、前記した第３実施形態が対応する。
【０１７２】
（効果）
一般にカラー画像は３つの原色画像により構成されるため、一般的なカラー画像機器に親和性のある処理を実現できる。
【０１７３】
（構成６．１．１）
構成６．１に記載の撮像装置において、前記モザイク色フィルタに設けられる３種類の色フィルタは赤，緑，青の波長領域を透過させる色フィルタであり、前記行列演算手段により出力されるＮ′種類の画像はカラー画像を構成する赤，緑，青の波長領域の画像である
ことを特徴とする。
【０１７４】
（対応する発明の実施形態）
この発明に係る実施形態には、前記した第３実施形態が対応する。
【０１７５】
（効果）
一般的に広く使われる単板カラーカメラやカラー画像機器を使用しながら本発明の効果を得ることができる。
【０１７６】
【発明の効果】
本発明によれば、連続−離散系モデルに基づいた画像復元方法を用いて、色再現性に優れた正確なカラー画像を復元することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る撮像装置の構成を示す図である。
【図２】回転色フィルタの断面構造を示す図である。
【図３】色フィルタの透過率分布特性を示す図である。
【図４】等色関数の波長特性を示す図である。
【図５】本発明の第２実施形態に係る画像処理プロセッサの構成を示す図である。
【図６】本発明の第３実施形態におけるカメラと画像処理プロセッサの構成を示す図である。
【図７】モザイク色フィルタの構成を示す図である。
【図８】本発明の第４実施形態におけるカメラと画像処理プロセッサの構成を示す図である。
【図９】本発明の第５実施形態におけるカメラと画像処理プロセッサの構成を示す図である。
【符号の説明】
１００…カメラ、１０１…レンズ、１０２…ＣＣＤ撮像素子、１０３…回転色フィルタ、１０４…モータ、２０１…Ａ／Ｄ変換器、２０２−１〜Ｎ…画像メモリ、２０３…回転色フィルタドライバ、２０４…行列演算器、２０５…ＲＯＭ、２０６−１〜３…画像メモリ、２０７…Ｄ／Ａ変換器、２１０…ＣＰＵ、３００…ＴＶモニタ。
【図１】
0003790906.tif 000039
【図２】
0003790906.tif 000040
【図３】
0003790906.tif 000041
【図４】
0003790906.tif 000042
【図５】
0003790906.tif 000043
【図６】
0003790906.tif 000044
【図７】
0003790906.tif 000045
【図８】
0003790906.tif 000046
【図９】
0003790906.tif 000047