(57)【要約】【課題】撮像画像の解像度を維持したまま、入射光量の利用効率を向上させる。【解決手段】多数の光検知セルを縦横に配列し、一部のセル上には赤色光を左右のセルに導く赤色分光素子Ｄ（Ｒ）を配置し、別な一部のセル上には青色光を左右のセルに導く青色分光素子Ｄ（Ｂ）を配置する。各光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を作成し、その上に２×２画素を含むブロックＫ１を定義する。各セルに入射すべき分光前の光の全波長成分をＷ，赤色成分をＲ，青色成分をＢとすると、セルＣ１の画素値はＷ＋Ｒ、セルＣ２の画素値はＷ−Ｒ、セルＣ３の画素値はＷ−Ｂ、セルＣ４の画素値はＷ＋Ｂになるので、これらの画素値からブロックＫ１の３原色の代表画素値を求める。ブロックを縦横に１画素分ずつずらしてゆくことにより、光検知セルの解像度と同じ解像度をもった撮像画像を作成する。【選択図】図３
2016119598.tif 000002
【特許請求の範囲】
【請求項１】
多数の光検知セルを有するセンサアレイと、
個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を格納する元画像格納手段と、
前記元画像に対して所定の演算処理を施して変換画像を生成する演算処理手段と、
前記演算処理手段が生成した変換画像を格納する変換画像格納手段と、
前記変換画像を前記センサアレイによって撮像した撮像対象物のカラー画像として出力する変換画像出力手段と、
を備える固体撮像装置において、
前記センサアレイは、二次元行列状に配列された多数の光検知セルと、撮像対象物からの光を各光検知セルに導く光学系と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子と、を有し、
前記演算処理手段は、前記元画像上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックを定義するブロック定義部と、前記ブロック内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックを代表する３原色の代表画素値を求める画素値演算部と、前記ブロック定義部に対して、ブロックの位置を横方向に１画素ずつずらす指示と、縦方向に１画素ずつずらす指示とを与え、横方向に１画素分ずつずれた各ブロックと、これらの各ブロックに対してそれぞれ縦方向に１画素分ずつずれたブロックとが定義されるように制御するブロック定義制御部と、個々のブロックに対応した画素の配列を有し、個々のブロックについて演算された３原色の各代表画素値を、個々の対応画素の画素値とする変換画像を作成する変換画像作成部と、を有することを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、
分光素子が、所定の光検知セルの位置を行列の起点として、奇数行かつ偶数列に配置された光検知セルに向かう光の第１の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子と、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子と、を有し、
ブロック定義部が、横方向の幅が２画素、縦方向の幅が２画素となる合計４画素を含むブロックを定義し、
画素値演算部が、ブロック内の４個の画素の画素値に基づいて、当該ブロックを代表する３原色の代表画素値を演算することを特徴とする固体撮像装置。
【請求項３】
請求項２に記載の固体撮像装置において、
ある１つの着目ブロックを代表する３原色の代表画素値として、第１の原色成分についての代表画素値をＲ、第２の原色成分についての代表画素値をＢ、第３の原色成分についての代表画素値をＧとし、前記着目ブロック内の４画素のうち、奇数行かつ奇数列に配置された画素の画素値をＥ１、奇数行かつ偶数列に配置された画素の画素値をＥ２、偶数行かつ奇数列に配置された画素の画素値をＥ３、偶数行かつ偶数列に配置された画素の画素値をＥ４としたときに、
画素値演算部が、Ｒ＝|Ｅ１−Ｅ２|／２もしくはＲ＝|Ｅ３−Ｅ４|／２、Ｂ＝|Ｅ３−Ｅ４|／２もしくはＢ＝|Ｅ１−Ｅ２|／２、Ｇ＝Ｗ−Ｒ−Ｂ（但し、Ｗは、Ｗ＝（Ｅ１＋Ｅ２）／２もしくはＷ＝（Ｅ３＋Ｅ４）／２なる演算で得られた値）なる演算を行うことにより、各代表画素値をＲ，Ｇ，Ｂを求めることを特徴とする固体撮像装置。
【請求項４】
多数の光検知セルを有するセンサアレイと、
個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を格納する元画像格納手段と、
前記元画像に対して所定の演算処理を施して変換画像を生成する演算処理手段と、
前記演算処理手段が生成した変換画像を格納する変換画像格納手段と、
前記変換画像を前記センサアレイによって撮像した撮像対象物のカラー画像として出力する変換画像出力手段と、
を備える固体撮像装置において、
前記センサアレイは、二次元行列状に配列された多数の光検知セルと、撮像対象物からの光を各光検知セルに導く光学系と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子と、を有し、
前記演算処理手段は、前記元画像について、隣接する画素間の画素値の差分を示す差分画像を作成する差分画像作成部と、作成された差分画像を格納する差分画像格納部と、前記変換画像の一部となるべき基準画素に対して、所定の基準画素値を決定する基準画素値決定部と、前記基準画素値と前記差分画像とに基づいて、前記基準画素以外の画素の画素値を求めることにより、前記変換画像を作成する変換画像作成部と、を有することを特徴とする固体撮像装置。
【請求項５】
請求項４に記載の固体撮像装置において、
差分画像作成部が、元画像の中の１つの着目画素およびその近傍に位置する近傍画素を、前記着目画素についての参照画素として抽出し、これら参照画素の画素値に基づいて、前記着目画素に隣接する隣接画素の前記着目画素に対する画素値の差分を求め、求めた差分を前記着目画素の位置に対応する差分画像上の位置にある画素の画素値とする差分画素値決定処理を、前記元画像の中の個々の画素をそれぞれ着目画素として繰り返し実行することにより差分画像の作成を行い、
変換画像作成部が、
変換画像上で基準画素に隣接する未知画素についての画素値を、基準画素値決定部によって決定された基準画素値と、前記差分画像上の前記基準画素に対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、前記未知画素を既知画素とする処理を行った後、
変換画像上で前記既知画素に隣接する新たな未知画素についての画素値を、前記既知画素の画素値と、前記差分画像上の前記既知画素に対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、前記新たな未知画素を既知画素とする処理を、必要に応じて繰り返し実行することを特徴とする固体撮像装置。
【請求項６】
請求項５に記載の固体撮像装置において、
差分画像作成部が、着目画素の左もしくは右に隣接する横方向隣接画素の前記着目画素に対する画素値の差分を横方向差分として求め、前記着目画素の上もしくは下に隣接する縦方向隣接画素の前記着目画素に対する画素値の差分を縦方向差分として求め、求めた横方向差分および縦方向差分を前記着目画素の位置に対応する差分画像上の位置にある画素の画素値とする差分画素値決定処理を、前記元画像の中の個々の画素をそれぞれ着目画素として繰り返し実行することにより差分画像の作成を行い、
変換画像作成部が、基準画素もしくは既知画素の横方向に隣接する未知画素については、横方向差分を用いて画素値の決定を行い、基準画素もしくは既知画素の縦方向に隣接する未知画素については、縦方向差分を用いて画素値の決定を行うことを特徴とする固体撮像装置。
【請求項７】
請求項６に記載の固体撮像装置において、
差分画像作成部が、同一の着目画素に対しては、横方向差分と縦方向差分とが等しいとの仮定において、横方向隣接画素と縦方向隣接画素との双方に共通する共通差分を求め、
変換画像作成部が、基準画素もしくは既知画素の横方向に隣接する未知画素についても、縦方向に隣接する未知画素についても、前記共通差分を用いて画素値の決定を行うことを特徴とする固体撮像装置。
【請求項８】
請求項７に記載の固体撮像装置において、
差分画像作成部が、３原色の色成分ごとにそれぞれ色別共通差分を求め、
基準画素値決定部が、３原色の各画素値を色別基準画素値として決定し、
変換画像作成部が、前記色別基準画素値と前記色別共通差分とに基づいて、３原色の色成分ごとにそれぞれ未知画素の色別画素値を決定することを特徴とする固体撮像装置。
【請求項９】
請求項８に記載の固体撮像装置において、
分光素子が、所定の光検知セルの位置を行列の起点として、奇数行かつ偶数列に配置された光検知セルに向かう光の第１の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子と、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子と、を有し、
差分画像作成部が、着目画素を含む２行３列の行列内の６個の画素を参照画素として抽出し、この６個の参照画素の画素値に基づいて、３原色の色成分ごとにそれぞれ色別共通差分を求めることを特徴とする固体撮像装置。
【請求項１０】
請求項９に記載の固体撮像装置において、
３原色を構成する第１の原色成分、第２の原色成分、第３の原色成分のうち、第３の原色成分の差分を示す値として、第３の原色成分そのものの差分に代えて、３つの原色成分を混合した白色成分の差分を用い、必要に応じて、前記白色成分の差分から前記第１の原色成分の差分および前記第２の原色成分の差分を減じる演算を行うことにより、前記白色成分の差分を前記第３の原色成分の差分に置換することを特徴とする固体撮像装置。
【請求項１１】
請求項１０に記載の固体撮像装置において、
差分画像作成部が、
元画像の第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）を着目画素とし、第ｉ行第（ｊ＋１）列目の画素Ｃ（ｉ，ｊ＋１），第ｉ行第（ｊ＋２）列目の画素Ｃ（ｉ，ｊ＋２），第（ｉ＋１）行第ｊ列目の画素Ｃ（ｉ＋１，ｊ），第（ｉ＋１）行第（ｊ＋１）列目の画素Ｃ（ｉ＋１，ｊ＋１），第（ｉ＋１）行第（ｊ＋２）列目の画素Ｃ（ｉ＋１，ｊ＋２）を近傍画素として、合計６個の画素を参照画素として抽出し、
画素Ｃ（ｉ，ｊ），Ｃ（ｉ，ｊ＋１），Ｃ（ｉ，ｊ＋２），Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋１，ｊ＋１），Ｃ（ｉ＋１，ｊ＋２）の画素値をそれぞれＥ（ｉ，ｊ），Ｅ（ｉ，ｊ＋１），Ｅ（ｉ，ｊ＋２），Ｅ（ｉ＋１，ｊ），Ｅ（ｉ＋１，ｊ＋１），Ｅ（ｉ＋１，ｊ＋２）としたときに、
第１の原色成分についての色別共通差分ΔＲ，第２の原色成分についての色別共通差分ΔＢ，白色成分についての色別共通差分ΔＷを未知数とする、
Ｅ（ｉ，ｊ＋２）−Ｅ（ｉ，ｊ）＝２（ΔＷ＋ΔＲ）
Ｅ（ｉ＋１，ｊ＋２）−Ｅ（ｉ＋１，ｊ）＝２（ΔＷ−ΔＢ）
Ｅ（ｉ＋１，ｊ）＋Ｅ（ｉ＋１，ｊ＋１）
−Ｅ（ｉ，ｊ＋１）−Ｅ（ｉ，ｊ）＝２・ΔＷ＋ΔＢ＋ΔＲ
なる３元連立方程式の解として色別共通差分ΔＲ，ΔＢ，ΔＷを求め、当該色別共通差分ΔＲ，ΔＢ，ΔＷを差分画像の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）の画素値とする差分画素値決定処理を行うことを特徴とする固体撮像装置。
【請求項１２】
請求項１１に記載の固体撮像装置において、
変換画像作成部が、変換画像上の基準画素もしくは既知画素の右方向もしくは下方向に隣接する未知画素についての３原色の色成分ごとの各画素値を、前記基準画素もしくは前記既知画素の３原色の色成分ごとの各画素値に、差分画像上の前記基準画素もしくは前記既知画素に対応する位置にある画素の画素値として与えられている各色別共通差分を加える演算により求めることを特徴とする固体撮像装置。
【請求項１３】
請求項４〜１２のいずれかに記載の固体撮像装置において、
センサアレイが、二次元行列状に配列された光検知セル群に加えて、当該光検知セル群の外周部を占める外周部光検知セルの更に外側近傍に配置された補助光検知セルを有し、
基準画素値決定部が、前記外周部光検知セルを基準画素として、当該基準画素についての基準画素値を、前記補助光検知セルが検知した光のエネルギー量を利用して決定することを特徴とする固体撮像装置。
【請求項１４】
請求項１３に記載の固体撮像装置において、
センサアレイが、撮像対象物からの光の全原色成分を補助光検知セルに導く光学系を有し、
基準画素値決定部が、分光素子による分光が行われなかった場合に、外周部光検知セルに入射する光のエネルギー量とその近傍に配置された補助光検知セルに入射する光のエネルギー量とが近似しているとの仮定の下に、基準画素値の決定を行うことを特徴とする固体撮像装置。
【請求項１５】
請求項４〜１２のいずれかに記載の固体撮像装置において、
基準画素値決定部が、元画像上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックを定義し、前記ブロック内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックを代表する代表画素値を求め、前記ブロック内の１画素に対応する位置にある変換画像上の画素を基準画素として、前記代表画素値を前記基準画素に与えるべき基準画素値とすることを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置に関し、特に、光検知セルを二次元行列状に配列し、個々のセルが検知した光のエネルギー量に基づいてカラー画像を出力する機能をもった固体撮像装置に関する。
【背景技術】
【０００２】
二次元行列状に配列された光検知セルを用いて撮像を行う固体撮像装置（イメージセンサ）は、デジタルカメラやスキャナの他、様々な産業機器に広く利用されている。現在、一般的に利用されている固体撮像装置は、ＣＣＤやＣＭＯＳなどの半導体素子を利用して光検知セルを構成したものが主流である。
【０００３】
カラー画像を撮像することが可能な固体撮像装置では、一般に、個々の光検知セルごとに検知対象となる原色成分を決めておき、複数のセルの検知結果に基づいて１画素の３原色の画素値を決定する方法が採られている。たとえば、下記の特許文献１には、光検知セルの手前に赤緑青の各カラーフィルタを配置し、個々のセルごとに入射する光の原色成分を選択する固体撮像装置が開示されている。また、特許文献２には、赤緑青の各原色成分の吸収層を、半導体基板上の異なる深さ位置に配置することにより、色別検知を行う技術が開示されている。
【０００４】
しかしながら、これら従来型の固体撮像装置には、原色成分ごとの色選択を行う必要上、入射光量の利用効率が低下するという問題がある。たとえば、特許文献１に開示されているように、カラーフィルタを用いて色選択を行うタイプの装置では、１つのセルへの入射光は特定の原色成分のみとなるため、実際にセルに入射する光の光量は、本来の入射光量の１／３に低減する。別言すれば、カラーフィルタによって本来の入射光量の２／３が吸収されてしまい、実際には検出には寄与しないことになる。同様に、特許文献２に開示されているように、光吸収層の深さ方向の位置を原色成分ごとに変えることにより色選択を行うタイプの装置の場合も、入射光は深い層に到達するまでに吸収作用を受けて減衰するので、やはり入射光量の利用効率が低下してしまう。
【０００５】
一般に、固体撮像装置では、解像度を向上させるために多画素化が要求されるが、装置自体には小型化が要求されるため、１つ１つの光検知セルは、小さくせざるを得ない。その一方で、検出値のダイナミックレンジを広げる要求もあり、個々の光検知セルにおける入射光量の利用効率を向上させることが急務である。
【０００６】
このような事情を考慮して、下記の特許文献３〜５および非特許文献１には、光の回折現象を利用した分光素子を用いて色選択を行う新たなタイプの固体撮像装置の発明が開示されている。本願では、この新たなタイプの固体撮像装置の発明を先願発明と呼ぶことにする。
【０００７】
この先願発明に係る固体撮像装置では、特定の光検知セルに向かう光のうち特定の原色成分が、分光素子によって分光され、周囲近傍の光検知セルに導かれる。このため、当該特定の光検知セルについては、本来入射すべきであった特定の原色成分が除外されることになるが、当該除外成分は周囲近傍の光検知セルに導かれて検知されるため、全体として見れば、理論的には入射光量の利用効率を１００％に高めることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３７５９４３５号公報
【特許文献２】米国特許第５９６５８７５号公報
【特許文献３】特許第４２６４４６５号公報
【特許文献４】特許第５３２５１１７号公報
【特許文献５】国際公開第ＷＯ２０１０／０３８３７８号公報
【非特許文献】
【０００９】
【非特許文献１】西脇青児：高画素密度イメージセンサの高効率分光，応用物理，第８３巻，第６号，pp. 461-463, 2014
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、特許文献３〜５および非特許文献１に開示されている先願発明によれば、理論的には入射光量の利用効率を１００％に高めることができ、入射光量の利用効率を向上させることが可能になる。しかしながら、本来は、特定の光検知セルによって検知されるべきであった特定の原色成分が、当該特定の光検知セルではなく、その周囲近傍の光検知セルによって検知されることになるので、撮像画像の解像度が低下するという問題が生じることになる。すなわち、本来は１つのセルで検知されるべき情報が、複数のセルに跨がって検知されることになるので、複数セル分の領域が１画素に対応することになり、受光面上での検知解像度が低下せざるを得ない。
【００１１】
そこで本発明は、入射光量の利用効率を向上させつつ、撮像画像の解像度を維持することができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本願には、第１発明および第２発明が含まれる。いずれの発明も、多数の光検知セルを有するセンサアレイと、個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を格納する元画像格納手段と、この元画像に対して所定の演算処理を施して変換画像を生成する演算処理手段と、演算処理手段が生成した変換画像を格納する変換画像格納手段と、変換画像をセンサアレイによって撮像した撮像対象物のカラー画像として出力する変換画像出力手段と、を備える固体撮像装置に係るものであり、センサアレイは、二次元行列状に配列された多数の光検知セルと、撮像対象物からの光を各光検知セルに導く光学系と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子と、を有し、演算処理手段が、光検知セルの解像度と同じ解像度をもった変換画像を生成するという共通の技術的特徴を有している。
【００１３】
以下、本願第１発明の特徴を、本発明の第１〜第３の態様として述べ、本願第２発明の特徴を、本発明の第４〜第１５の態様として述べる。
【００１４】
(1)   本発明の第１の態様は、
多数の光検知セルを有するセンサアレイと、
個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を格納する元画像格納手段と、
元画像に対して所定の演算処理を施して変換画像を生成する演算処理手段と、
演算処理手段が生成した変換画像を格納する変換画像格納手段と、
変換画像をセンサアレイによって撮像した撮像対象物のカラー画像として出力する変換画像出力手段と、
を備える固体撮像装置において、
センサアレイは、二次元行列状に配列された多数の光検知セルと、撮像対象物からの光を各光検知セルに導く光学系と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子と、を有し、
演算処理手段は、元画像上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックを定義するブロック定義部と、ブロック内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックを代表する３原色の代表画素値を求める画素値演算部と、ブロック定義部に対して、ブロックの位置を横方向に１画素ずつずらす指示と、縦方向に１画素ずつずらす指示とを与え、横方向に１画素分ずつずれた各ブロックと、これらの各ブロックに対してそれぞれ縦方向に１画素分ずつずれたブロックとが定義されるように制御するブロック定義制御部と、個々のブロックに対応した画素の配列を有し、個々のブロックについて演算された３原色の各代表画素値を、個々の対応画素の画素値とする変換画像を作成する変換画像作成部と、を有するようにしたものである。
【００１５】
(2)   本発明の第２の態様は、上述した第１の態様に係る固体撮像装置において、
分光素子が、所定の光検知セルの位置を行列の起点として、奇数行かつ偶数列に配置された光検知セルに向かう光の第１の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子と、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子と、を有し、
ブロック定義部が、横方向の幅が２画素、縦方向の幅が２画素となる合計４画素を含むブロックを定義し、
画素値演算部が、ブロック内の４個の画素の画素値に基づいて、当該ブロックを代表する３原色の代表画素値を演算するようにしたものである。
【００１６】
(3)   本発明の第３の態様は、上述した第２の態様に係る固体撮像装置において、
ある１つの着目ブロックを代表する３原色の代表画素値として、第１の原色成分についての代表画素値をＲ、第２の原色成分についての代表画素値をＢ、第３の原色成分についての代表画素値をＧとし、着目ブロック内の４画素のうち、奇数行かつ奇数列に配置された画素の画素値をＥ１、奇数行かつ偶数列に配置された画素の画素値をＥ２、偶数行かつ奇数列に配置された画素の画素値をＥ３、偶数行かつ偶数列に配置された画素の画素値をＥ４としたときに、
画素値演算部が、Ｒ＝|Ｅ１−Ｅ２|／２もしくはＲ＝|Ｅ３−Ｅ４|／２、Ｂ＝|Ｅ３−Ｅ４|／２もしくはＢ＝|Ｅ１−Ｅ２|／２、Ｇ＝Ｗ−Ｒ−Ｂ（但し、Ｗは、Ｗ＝（Ｅ１＋Ｅ２）／２もしくはＷ＝（Ｅ３＋Ｅ４）／２なる演算で得られた値）なる演算を行うことにより、各代表画素値をＲ，Ｇ，Ｂを求めるようにしたものである。
【００１７】
(4)   本発明の第４の態様は、
多数の光検知セルを有するセンサアレイと、
個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像を格納する元画像格納手段と、
元画像に対して所定の演算処理を施して変換画像を生成する演算処理手段と、
演算処理手段が生成した変換画像を格納する変換画像格納手段と、
変換画像をセンサアレイによって撮像した撮像対象物のカラー画像として出力する変換画像出力手段と、
を備える固体撮像装置において、
センサアレイは、二次元行列状に配列された多数の光検知セルと、撮像対象物からの光を各光検知セルに導く光学系と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子と、を有し、
演算処理手段は、元画像について、隣接する画素間の画素値の差分を示す差分画像を作成する差分画像作成部と、作成された差分画像を格納する差分画像格納部と、変換画像の一部となるべき基準画素に対して、所定の基準画素値を決定する基準画素値決定部と、基準画素値と差分画像とに基づいて、基準画素以外の画素の画素値を求めることにより、変換画像を作成する変換画像作成部と、を有するようにしたものである。
【００１８】
(5)   本発明の第５の態様は、上述した第４の態様に係る固体撮像装置において、
差分画像作成部が、元画像の中の１つの着目画素およびその近傍に位置する近傍画素を、着目画素についての参照画素として抽出し、これら参照画素の画素値に基づいて、着目画素に隣接する隣接画素の着目画素に対する画素値の差分を求め、求めた差分を着目画素の位置に対応する差分画像上の位置にある画素の画素値とする差分画素値決定処理を、元画像の中の個々の画素をそれぞれ着目画素として繰り返し実行することにより差分画像の作成を行い、
変換画像作成部が、
変換画像上で基準画素に隣接する未知画素についての画素値を、基準画素値決定部によって決定された基準画素値と、差分画像上の基準画素に対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、未知画素を既知画素とする処理を行った後、
変換画像上で既知画素に隣接する新たな未知画素についての画素値を、既知画素の画素値と、差分画像上の既知画素に対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、新たな未知画素を既知画素とする処理を、必要に応じて繰り返し実行するようにしたものである。
【００１９】
(6)   本発明の第６の態様は、上述した第５の態様に係る固体撮像装置において、
差分画像作成部が、着目画素の左もしくは右に隣接する横方向隣接画素の着目画素に対する画素値の差分を横方向差分として求め、着目画素の上もしくは下に隣接する縦方向隣接画素の着目画素に対する画素値の差分を縦方向差分として求め、求めた横方向差分および縦方向差分を着目画素の位置に対応する差分画像上の位置にある画素の画素値とする差分画素値決定処理を、元画像の中の個々の画素をそれぞれ着目画素として繰り返し実行することにより差分画像の作成を行い、
変換画像作成部が、基準画素もしくは既知画素の横方向に隣接する未知画素については、横方向差分を用いて画素値の決定を行い、基準画素もしくは既知画素の縦方向に隣接する未知画素については、縦方向差分を用いて画素値の決定を行うようにしたものである。
【００２０】
(7)   本発明の第７の態様は、上述した第６の態様に係る固体撮像装置において、
差分画像作成部が、同一の着目画素に対しては、横方向差分と縦方向差分とが等しいとの仮定において、横方向隣接画素と縦方向隣接画素との双方に共通する共通差分を求め、
変換画像作成部が、基準画素もしくは既知画素の横方向に隣接する未知画素についても、縦方向に隣接する未知画素についても、上記共通差分を用いて画素値の決定を行うようにしたものである。
【００２１】
(8)   本発明の第８の態様は、上述した第７の態様に係る固体撮像装置において、
差分画像作成部が、３原色の色成分ごとにそれぞれ色別共通差分を求め、
基準画素値決定部が、３原色の各画素値を色別基準画素値として決定し、
変換画像作成部が、色別基準画素値と色別共通差分とに基づいて、３原色の色成分ごとにそれぞれ未知画素の色別画素値を決定するようにしたものである。
【００２２】
(9)   本発明の第９の態様は、上述した第８の態様に係る固体撮像装置において、
分光素子が、所定の光検知セルの位置を行列の起点として、奇数行かつ偶数列に配置された光検知セルに向かう光の第１の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子と、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分を、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子と、を有し、
差分画像作成部が、着目画素を含む２行３列の行列内の６個の画素を参照画素として抽出し、この６個の参照画素の画素値に基づいて、３原色の色成分ごとにそれぞれ色別共通差分を求めるようにしたものである。
【００２３】
(10)  本発明の第１０の態様は、上述した第９の態様に係る固体撮像装置において、
３原色を構成する第１の原色成分、第２の原色成分、第３の原色成分のうち、第３の原色成分の差分を示す値として、第３の原色成分そのものの差分に代えて、３つの原色成分を混合した白色成分の差分を用い、必要に応じて、白色成分の差分から第１の原色成分の差分および第２の原色成分の差分を減じる演算を行うことにより、白色成分の差分を第３の原色成分の差分に置換するようにしたものである。
【００２４】
(11)  本発明の第１１の態様は、上述した第１０の態様に係る固体撮像装置において、
差分画像作成部が、
元画像の第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）を着目画素とし、第ｉ行第（ｊ＋１）列目の画素Ｃ（ｉ，ｊ＋１），第ｉ行第（ｊ＋２）列目の画素Ｃ（ｉ，ｊ＋２），第（ｉ＋１）行第ｊ列目の画素Ｃ（ｉ＋１，ｊ），第（ｉ＋１）行第（ｊ＋１）列目の画素Ｃ（ｉ＋１，ｊ＋１），第（ｉ＋１）行第（ｊ＋２）列目の画素Ｃ（ｉ＋１，ｊ＋２）を近傍画素として、合計６個の画素を参照画素として抽出し、
画素Ｃ（ｉ，ｊ），Ｃ（ｉ，ｊ＋１），Ｃ（ｉ，ｊ＋２），Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋１，ｊ＋１），Ｃ（ｉ＋１，ｊ＋２）の画素値をそれぞれＥ（ｉ，ｊ），Ｅ（ｉ，ｊ＋１），Ｅ（ｉ，ｊ＋２），Ｅ（ｉ＋１，ｊ），Ｅ（ｉ＋１，ｊ＋１），Ｅ（ｉ＋１，ｊ＋２）としたときに、
第１の原色成分についての色別共通差分ΔＲ，第２の原色成分についての色別共通差分ΔＢ，白色成分についての色別共通差分ΔＷを未知数とする、
Ｅ（ｉ，ｊ＋２）−Ｅ（ｉ，ｊ）＝２（ΔＷ＋ΔＲ）
Ｅ（ｉ＋１，ｊ＋２）−Ｅ（ｉ＋１，ｊ）＝２（ΔＷ−ΔＢ）
Ｅ（ｉ＋１，ｊ）＋Ｅ（ｉ＋１，ｊ＋１）
−Ｅ（ｉ，ｊ＋１）−Ｅ（ｉ，ｊ）＝２・ΔＷ＋ΔＢ＋ΔＲ
なる３元連立方程式の解として色別共通差分ΔＲ，ΔＢ，ΔＷを求め、当該色別共通差分ΔＲ，ΔＢ，ΔＷを差分画像の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）の画素値とする差分画素値決定処理を行うようにしたものである。
【００２５】
(12)  本発明の第１２の態様は、上述した第１１の態様に係る固体撮像装置において、
変換画像作成部が、変換画像上の基準画素もしくは既知画素の右方向もしくは下方向に隣接する未知画素についての３原色の色成分ごとの各画素値を、基準画素もしくは既知画素の３原色の色成分ごとの各画素値に、差分画像上の基準画素もしくは既知画素に対応する位置にある画素の画素値として与えられている各色別共通差分を加える演算により求めるようにしたものである。
【００２６】
(13)  本発明の第１３の態様は、上述した第４〜第１２の態様に係る固体撮像装置において、
センサアレイが、二次元行列状に配列された光検知セル群に加えて、当該光検知セル群の外周部を占める外周部光検知セルの更に外側近傍に配置された補助光検知セルを有し、
基準画素値決定部が、外周部光検知セルを基準画素として、当該基準画素についての基準画素値を、補助光検知セルが検知した光のエネルギー量を利用して決定するようにしたものである。
【００２７】
(14)  本発明の第１４の態様は、上述した第１３の態様に係る固体撮像装置において、
センサアレイが、撮像対象物からの光の全原色成分を補助光検知セルに導く光学系を有し、
基準画素値決定部が、分光素子による分光が行われなかった場合に、外周部光検知セルに入射する光のエネルギー量とその近傍に配置された補助光検知セルに入射する光のエネルギー量とが近似しているとの仮定の下に、基準画素値の決定を行うようにしたものである。
【００２８】
(15)  本発明の第１５の態様は、上述した第４〜第１２の態様に係る固体撮像装置において、
基準画素値決定部が、元画像上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックを定義し、ブロック内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックを代表する代表画素値を求め、ブロック内の１画素に対応する位置にある変換画像上の画素を基準画素として、求めた代表画素値を基準画素に与えるべき基準画素値とするようにしたものである。
【発明の効果】
【００２９】
本願第１発明では、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子を用いる構成を採用しつつ、元画像上でｍ×ｎ個の画素を含むブロックを、縦横に１画素分ずつずらしながら、個々のブロックについて３原色の各代表画素値を演算し、当該代表画素値を個々の対応画素の画素値とする変換画像を作成するようにしたため、光検知セルの解像度と同じ解像度をもった変換画像が得られる。かくして、入射光量の利用効率を向上させつつ、撮像画像の解像度を維持することができる。
【００３０】
本願第２発明では、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セルに導くように分光する分光素子を用いる構成を採用しつつ、元画像に基づいて、隣接する画素間の画素値の差分を示す差分画像を作成した上で、所定の基準画素について基準画素値を決定し、この基準画素値と差分画像とに基づいて、変換画像上の各画素の画素値を求めるようにしたため、光検知セルの解像度と同じ解像度をもった変換画像が得られる。かくして、入射光量の利用効率を向上させつつ、撮像画像の解像度を維持することができる。
【図面の簡単な説明】
【００３１】
【図１】従来から利用されているフィルタを用いた固体撮像装置の基本原理を示す図である。
【図２】本発明が利用する先願発明に係る固体撮像装置の基本原理を示す図である。
【図３】図２に示す先願発明のセンサアレイ１００における各原色成分の光の挙動を示す平面図である。
【図４】図２に示す先願発明のセンサアレイ１００における各原色成分の画素値の算出式を示す図である。
【図５】本願第１発明に係る固体撮像装置の基本構成を示すブロック図である。
【図６】図５に示す本願第１発明に係る固体撮像装置におけるブロック定義の具体的な態様を示す平面図である。
【図７】図５に示す本願第１発明に係る固体撮像装置におけるブロック定義の具体的な態様を示す別な平面図である。
【図８】図５に示す本願第１発明に係る固体撮像装置によって得られた変換画像ＰＩＣ［Ｐ］の画素構成を示す平面図である。
【図９】図８に示す変換画像ＰＩＣ［Ｐ］を構成する画素Ｐ１１，Ｐ１２の画素値の算出プロセスを示す図である。
【図１０】本願第２発明の基本的着想を説明する平面図である。
【図１１】本願第２発明の基本的着想を説明する別な平面図である。
【図１２】本願第２発明において、個々の画素についての差分を求める具体的な方法の一例を示す平面図である。
【図１３】図１２に示す参照領域Ｕ（ｉ，ｊ）内の各画素の画素値構成を示す平面図である。
【図１４】図１３に示す各画素の画素値構成式を示す図である。
【図１５】図１２に示す参照領域Ｕ（ｉ，ｊ）内の画素について、「隣接画素に対する各原色成分の画素値の差分は、縦横の方向にかかわらず等しい」という仮定を説明する図である。
【図１６】図１５に示す仮定の下に得られる第１の方程式を示す図である。
【図１７】図１５に示す仮定の下に得られる第２の方程式を示す図である。
【図１８】図１５に示す仮定の下に得られる第３の方程式を示す図である。
【図１９】図１６〜図１８に示す３つの方程式を一般化することにより得られる連立方程式を示す図である。
【図２０】本願第２発明において、差分画像ＰＩＣ［Ｑ］から変換画像ＰＩＣ［Ｐ］を得る手順を示す平面図である。
【図２１】本願第２発明に係る固体撮像装置の基本構成を示すブロック図である。
【図２２】図２１に示す基準画素値決定部６４０の具体例として、補助光検知セルを設けた例を示す平面図である。
【図２３】図２２に示す具体例における各画素の画素値構成を示す平面図である。
【図２４】図２３に示す画素値構成に基づいて、基準画素Ｔの画素値を算出する式を示す図である。
【図２５】先願発明に係る固体撮像装置の基本原理を利用して基準画素の画素値を求める変形例を示す平面図である。
【発明を実施するための形態】
【００３２】
以下、本発明を図示する実施形態に基づいて説明する。
【００３３】
＜＜＜  §１．  先願発明に係る固体撮像装置  ＞＞＞
本願発明は、前掲の特許文献３〜５および非特許文献１に開示されている新たなタイプの固体撮像装置の発明（先願発明）を更に改良した改良発明である。そこで、この§１では、まず、先願発明の内容を簡単に説明しておくことにする。
【００３４】
図１は、従来から利用されているフィルタを用いた固体撮像装置の基本原理を示す図であり、固体撮像装置の根幹部分を構成するセンサアレイ５０の一部（３画素分の構成）が示されている。この例では、撮像対象物は図の上方に位置しており、撮像対象物からの光Ｗは、集光レンズＬａ〜Ｌｃで集光された後、赤色フィルタＦ（Ｒ）もしくは緑色フィルタＦ（Ｇ）を透過し、更に、集光レンズＬａ′〜Ｌｃ′を透過して、光検知セルＣａ〜Ｃｃに入射する。
【００３５】
なお、撮像対象物からの光を示す符号Ｗは、「白：White」の頭文字をとった白色成分を示すものであるが、本願における「白色成分」とは、撮像対象物から発せられる光の全波長成分を意味するものであり、いわゆる色としての「白」を示すものではない。したがって、たとえば、撮像対象物が赤い物体であった場合、当該撮像対象物からの光は赤い光になるが、この場合でも、フィルタを透過する前の光であれば、当該撮像対象物から発せられる光の全波長成分であるから、本願では、これを白色成分と呼ぶ。
【００３６】
光検知セルＣａ〜Ｃｃは、入射した光の総エネルギー量に対応する電気信号を出力する構成要素である。これら光検知セルＣａ〜Ｃｃ自体には、波長選択機能はなく、いずれのセルも同じ機能をもった素子であるが、光検知セルＣａ，Ｃｃには、赤色フィルタＦ（Ｒ）を透過した光が入射し、光検知セルＣｂには、緑色フィルタＦ（Ｇ）を透過した光が入射する。したがって、光検知セルＣａ，Ｃｃは、撮像対象物からの光Ｗのうち赤色成分の検知信号Ｒを出力し、光検知セルＣｂは、撮像対象物からの光Ｗのうち緑色成分の検知信号Ｇを出力する。
【００３７】
図１には、センサアレイ５０の１行目の３画素分の構成のみが示されているが、実際には、図の左右方向に多数の画素が並ぶことになる。また、別な行には、青色フィルタＦ（Ｂ）を透過した光を検知して、青色成分の検知信号Ｂを出力するセルが配置されている。このように、センサアレイは、二次元行列状に多数の光検知セルが配列されており、各セルには、撮像対象物からの光Ｗのうち、赤色フィルタＦ（Ｒ），緑色フィルタＦ（Ｇ），青色フィルタＦ（Ｂ）のいずれかを透過した光が入射することになり、検知信号Ｒ，Ｇ，Ｂのいずれかが出力されることになる。これらの検知信号Ｒ，Ｇ，Ｂに基づいて各画素の画素値が決定され、カラー画像が生成されることになる。
【００３８】
しかしながら、既に述べたとおり、カラーフィルタを用いて色選択を行う従来型の固体撮像装置には、入射光量の利用効率が低いという問題がある。たとえば、図１に示す例の場合、撮像対象物からの光Ｗのエネルギー量の２／３は各原色フィルタによって吸収されてしまうため、実際に各光検知セルＣａ〜Ｃｃに入射する光の光量は、本来の入射光量の１／３にまで低減してしまう。このため、検出感度が低下せざるを得ず、ダイナミックレンジを広げる上では問題になる。また、解像度を向上させるためには、各セルの受光面積を小さくするのが好ましいが、そうすると個々のセルの検出感度が更に低下するという問題が生じる。
【００３９】
このような問題に対処するため、先願発明では、光の回折現象を利用した分光素子を用いて色選択を行う技術が提案されている。図２は、この先願発明に係る固体撮像装置のセンサアレイ１００の一部を示す図である。図示のとおり、図２の装置では、図１の装置における赤色フィルタＦ（Ｒ）が赤色分光素子Ｄ（Ｒ）に置き換えられ、緑色フィルタＦ（Ｇ）は取り去られている。一方、集光レンズＬａ〜Ｌｃ，Ｌａ′〜Ｌｃ′および光検知セルＣａ〜Ｃｃの基本構成については、両者間に相違はない。
【００４０】
ここで、赤色分光素子Ｄ（Ｒ）は、真下に位置する光検知セルＣａ，Ｃｃに向かうべき光Ｗのうち、赤色成分を左右に隣接する別な光検知セルに導くように分光する役割を果たす。より具体的に説明すれば、赤色分光素子Ｄ（Ｒ）は、入射した光Ｗの赤色成分Ｒを回折する機能をもった回折素子によって構成され、赤色成分Ｒの１次回折光（図では破線で示されている）が左右に隣接するセルに向かうような回折を行う。したがって、集光レンズＬａで集光された光Ｗのうち、赤色成分Ｒは左右に分光され、右に分光された赤色成分Ｒ／２は、右隣の光検知セルＣｂへと導かれ、左に分光された赤色成分Ｒ／２は、図示されていない左隣の光検知セルへと導かれる。
【００４１】
その結果、光検知セルＣａには、光Ｗのうち赤色成分Ｒを除いた残余成分「Ｗ−Ｒ」が入射することになる。同様に、集光レンズＬｃで集光された光Ｗのうち、赤色成分Ｒは左右に分光され、光検知セルＣｃには、光Ｗのうち赤色成分Ｒを除いた残余成分「Ｗ−Ｒ」が入射することになる。
【００４２】
一方、集光レンズＬｂで集光された光Ｗは、そのまま光検知セルＣｂへと向かうことになるが、光検知セルＣｂには、左隣の赤色分光素子Ｄ（Ｒ）から分光されてきた赤色成分Ｒ／２と、右隣の赤色分光素子Ｄ（Ｒ）から分光されてきた赤色成分Ｒ／２とが加わるため、光Ｗに赤色成分Ｒを合成した合成成分「Ｗ＋Ｒ」が入射することになる。結局、光検知セルＣａ，Ｃｃからは残余成分「Ｗ−Ｒ」に対応する検知信号が出力され、光検知セルＣｂからは残余成分「Ｗ＋Ｒ」に対応する検知信号が出力されることになる。
【００４３】
図１に示すセンサアレイ５０の場合、赤色フィルタＦ（Ｒ）によって赤色成分Ｒ以外の光が吸収されてしまうため、光検知セルＣａに入射する光の量は１／３に減少することになるが、図２に示すセンサアレイ１００の場合、赤色分光素子Ｄ（Ｒ）によって分光された赤色成分Ｒは、左右の光検知セルに導かれるため、光検知セルＣａでは検知されないものの、左右の隣接セルにおいて検知されることになる。
【００４４】
このように、図２に示すセンサアレイ１００を用いれば、撮像対象物から発せられた光Ｗの各原色成分は、基本的には、いずれかのセルで検知されるので、全体的には、入射光量の利用効率を１００％近くまで高めることができる。もっとも、図１に示すセンサアレイ５０の場合、光検知セルから出力される検知信号は、各原色成分Ｒ，Ｇ，Ｂそのものを示す情報になるのに対して、図２に示すセンサアレイ１００の場合、光検知セルから出力される検知信号は、各原色成分Ｒ，Ｇ，Ｂそのものにはならない。そのため、検知信号に基づく演算処理が必要になる。
【００４５】
図３は、図２に示す先願発明のセンサアレイ１００における各原色成分の光の挙動を示す平面図である。センサアレイ１００は、平面的には、多数の光検知セルを二次元行列状に配列することによって構成される。図３には、正方形で示す多数のセルからなる二次元行列の第１行目と第２行目の一部が示されている。図３(a) の第１行目に描かれている３個のセルＣａ〜Ｃｃが、図２に示す３個のセルＣａ〜Ｃｃに対応する。
【００４６】
図３(a) において、セル配列の第１行目および第２行目には、それぞれ６個のセルが示されているが、左端のセルＣｚ１，Ｃｚ２を第１列目のセルとした場合、第１行目の偶数列目のセルには、赤色分光素子Ｄ（Ｒ）が配置されており、第２行目の奇数列目のセルには、青色分光素子Ｄ（Ｂ）が配置されている。もちろん、実際には、各分光素子Ｄ（Ｒ），Ｄ（Ｂ）は、図面に描かれている各光検知セルの紙面上方に配置されていることになる。
【００４７】
第１行目の偶数列目のセルに配置された赤色分光素子Ｄ（Ｒ）は、前述したとおり、入射した光Ｗの赤色成分Ｒを左右の隣接セルに導く分光機能を有している。図の黒矢印は、赤色分光素子Ｄ（Ｒ）によって隣接セルへと分光された赤色成分Ｒ／２を示している。一方、第２行目の奇数列目のセルに配置された青色分光素子Ｄ（Ｂ）は、入射した光Ｗの青色成分Ｂを左右の隣接セルに導く分光機能を有している。図の白矢印は、青色分光素子Ｄ（Ｂ）によって隣接セルへと分光された青色成分Ｂ／２を示している。
【００４８】
なお、図には、センサアレイ１００を構成する二次元行列の第１行目と第２行目しか描かれていないが、実際には、行列の奇数行目は第１行目と同じ構成を有し、行列の偶数行目は第２行目と同じ構成を有している。したがって、赤色分光素子Ｄ（Ｒ）および青色分光素子Ｄ（Ｂ）は、セルの二次元行列上に市松模様を形成するように配置されていることになる。
【００４９】
図３(b) には、図３(a) に示す１２個の光検知セルに実際に入射する光の成分が示されている。もし、分光素子Ｄがなければ、撮像対象物からの光Ｗが集光されてそのまま各セルに入射することになるので、各セルに入射する光の成分はＷである。しかしながら、実際には、第１行目（奇数行目）の偶数列目のセルに入射すべきであった赤色成分Ｒは、黒矢印で示すように隣接セルへと回折してしまうため、これらのセルに実際に入射する光の成分は「Ｗ−Ｒ」になる。逆に、第１行目の奇数列目のセルには、左右の隣接セルから回折してきた赤色成分（Ｒ／２）×２が加わるため、これらのセルに実際に入射する光の成分は「Ｗ＋Ｒ」になる。
【００５０】
同様に、第２行目（偶数行目）の奇数列目のセルに入射すべきであった青色成分Ｂは、白矢印で示すように隣接セルへと回折してしまうため、これらのセルに実際に入射する光の成分は「Ｗ−Ｂ」になる。逆に、第２行目の偶数列目のセルには、左右の隣接セルから回折してきた青色成分（Ｂ／２）×２が加わるため、これらのセルに実際に入射する光の成分は「Ｗ＋Ｂ」になる。かくして、各光検知セルに実際に入射する光の成分は、図３(b) に記載したようになる。
【００５１】
そこで、図３(b) に太線枠で示すようなブロックＫ１を定義してみる。このブロックＫ１は、セルの二次元行列において、横方向に２セル、縦方向に２セル、合計４個のセルを含むブロックである。ここでは、説明の便宜上、図示のとおり、このブロックＫ１の左上のセルをＣ１，右上のセルをＣ２，左下のセルをＣ３，右下のセルをＣ４と呼ぶことにする。また、各光検知セルＣ１〜Ｃ４が検知した光のエネルギー量を、それぞれＥ１〜Ｅ４とする。
【００５２】
そうすると、エネルギー量Ｅ１〜Ｅ４と各色成分との間には、図４に示す（式１）〜（式５）が成り立つ。すなわち、セルＣ１とセルＣ２のエネルギー量Ｅ１，Ｅ２の和を求めると、Ｅ１＋Ｅ２＝「Ｗ＋Ｒ」＋「Ｗ−Ｒ」＝２Ｗであるから、Ｗ＝（Ｅ１＋Ｅ２）／２が成り立つ（式１）。同様に、セルＣ１とセルＣ２のエネルギー量Ｅ１，Ｅ２の差を求めると、Ｅ１−Ｅ２＝「Ｗ＋Ｒ」−「Ｗ−Ｒ」＝２Ｒであるから、Ｒ＝（Ｅ１−Ｅ２）／２が成り立つ（式２）。
【００５３】
一方、セルＣ３とセルＣ４のエネルギー量Ｅ３，Ｅ４の和を求めると、Ｅ３＋Ｅ４＝「Ｗ−Ｂ」＋「Ｗ＋Ｂ」＝２Ｗであるから、Ｗ＝（Ｅ３＋Ｅ４）／２が成り立つ（式３）。同様に、セルＣ３とセルＣ４のエネルギー量Ｅ３，Ｅ４の差を求めると、Ｅ４−Ｅ３＝「Ｗ＋Ｂ」−「Ｗ−Ｂ」＝２Ｂであるから、Ｂ＝（Ｅ４−Ｅ３）／２が成り立つ（式４）。しかも、白色成分Ｗは、光の全波長成分であるから、３つの原色成分Ｒ，Ｇ，Ｂの総和に等しく、Ｗ＝Ｒ＋Ｇ＋Ｂである。よって、Ｇ＝Ｗ−Ｒ−Ｂが成り立つ（式５）ので、（式１）もしくは（式３）によって得られた値Ｗから、（式２）で得られた値Ｒおよび（式４）で得られた値Ｂを差し引けば、値Ｇを得ることができる。
【００５４】
このようにして、ブロックＫ１内の４つのセルＣ１〜Ｃ４から出力されるエネルギー量Ｅ１〜Ｅ４に基づき、図４に示す式を利用した演算を行えば、ブロックＫ１についての３つの原色成分Ｒ，Ｇ，Ｂの各検出値を算出することができる。また、図３(b) に太い破線枠で示すような隣接ブロックＫ２を定義すれば、当該ブロックＫ２についても、ブロック内の４つのセルから出力されるエネルギー量に基づく演算により、３つの原色成分Ｒ，Ｇ，Ｂの各検出値を算出することができる。先願発明では、このような基本原理に基づいて、４つのセルを含むブロックごとに、それぞれ画素値Ｒ，Ｇ，Ｂを求めることになる。
【００５５】
この先願発明は、図１に例示したカラーフィルタを用いて色選択を行う従来型の固体撮像装置に比べると、入射光量の利用効率を１００％近くまで高めることができるという利点を有しているが、前述したとおり、本来は個々のセル単位で検知されるべき情報が、複数のセルに跨がったブロック単位で検知されることになるので、得られる画像の解像度が低下するという問題が生じる。たとえば、図３に示す例の場合、ブロックＫ１を１画素として画素値Ｒ，Ｇ，Ｂが求まり、ブロックＫ２を１画素として画素値Ｒ，Ｇ，Ｂが求まる、... ということになり、撮像画像の解像度は本来の１／４に低下してしまう。
【００５６】
本発明は、先願発明のこのような問題に対処するため、入射光量の利用効率を向上させつつ、撮像画像の解像度を維持することができる固体撮像装置を提供することを目的としてなされたものである。以下、その具体的な手法を、§２および§３で詳述する。
【００５７】
＜＜＜  §２．  本願第１発明に係る固体撮像装置  ＞＞＞
図５は、本願第１発明に係る固体撮像装置の基本構成を示すブロック図である。この固体撮像装置は、図示のとおり、撮像対象物Ｈからの光を受光する多数の光検知セルＣを有するセンサアレイ１００と、個々の光検知セルＣが検知した光のエネルギー量Ｅを個々の画素の画素値とする元画像ＰＩＣ［Ｃ］を格納する元画像格納手段２００と、この元画像ＰＩＣ［Ｃ］に対して所定の演算処理を施して変換画像ＰＩＣ［Ｐ］を生成する演算処理手段３００と、演算処理手段３００が生成した変換画像ＰＩＣ［Ｐ］を格納する変換画像格納手段４００と、この変換画像ＰＩＣ［Ｐ］を、センサアレイ１００によって撮像した撮像対象物Ｈのカラー画像として出力する変換画像出力手段５００と、を備えている。
【００５８】
ここでセンサアレイ１００は、§１で説明した先願発明で用いられていたもの（図２および図３参照）であり、二次元行列状に配列された多数の光検知セルＣと、撮像対象物Ｈからの光を各光検知セルＣに導く光学系（図２のレンズＬａ〜Ｌｃ，Ｌａ′〜Ｌｃ′）と、特定の光検知セルに向かう光のうち特定の原色成分を、周囲近傍の光検知セル（§１で述べた例では、左右に隣接するセル）に導くように分光する分光素子Ｄと、を有している。
【００５９】
図３に示す例の場合、分光素子Ｄとして、第１の原色成分Ｒを、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子（赤色分光素子Ｄ（Ｒ））と、第２の原色成分Ｂを、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子（青色分光素子Ｄ（Ｂ））と、が設けられている。
【００６０】
ここでは、センサアレイ１００を構成する二次元行列内の所定の光検知セルの位置を行列の起点（第１行第１列）に定めたものとしよう。たとえば、図３(a) に示す例の場合、左上隅のセルＣｚ１を第１行第１列目の起点セルとして定めるとすれば、第１属性の分光素子である赤色分光素子Ｄ（Ｒ）は、奇数行かつ偶数列に配置された光検知セルＣａ，Ｃｃ，... に向かう光Ｗの第１の原色成分Ｒを、左右に隣接する一対の光検知セルに導くように分光する機能を果たし、第２属性の分光素子である青色分光素子Ｄ（Ｂ）は、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分Ｂを、左右に隣接する一対の光検知セルに導くように分光する機能を果たす。
【００６１】
もっとも、起点セルは、行列上の任意の位置に定めることができるので、たとえば、セルＣｚ１の代わりにセルＣａを起点セルとすれば、各分光素子Ｄは右へ１セル分ずつずれた位置に配置されることになる。同様に、セルＣｚ１の代わりにその下のセルＣｚ２を起点セルとすれば、各分光素子Ｄは下へ１セル分ずつずれた位置に配置されることになるので、図３(a) に示す第２行目に赤色分光素子Ｄ（Ｒ）が配置され、第１行目には青色分光素子Ｄ（Ｂ）が配置されることになる。
【００６２】
このセンサアレイ１００の構造自体は、前掲の特許文献３〜５および非特許文献１に開示されている先願発明の技術であるため、ここでは詳細な説明は省略する。
【００６３】
一方、元画像格納手段２００および変換画像格納手段４００の実体は、画像データを格納するためのメモリ等の記憶手段であり、演算処理手段３００の実体は、画像データに対して後述する所定の演算処理を施すユニット（実際には、ＣＰＵなどのプロセッサと演算処理プログラムとの有機的な結合、もしくは、それと同等の機能を果たすハードウェア論理回路によって構成される）である。そして、変換画像出力手段５００は、デジタル信号もしくはアナログ信号の形で、変換画像ＰＩＣ［Ｐ］を構成する個々の画素の情報を外部に出力する電子回路によって構成される。
【００６４】
元画像格納手段２００に格納される元画像ＰＩＣ［Ｃ］は、センサアレイ１００を構成する個々の光検知セルＣが検知した光のエネルギー量Ｅを個々の画素の画素値とする画像データである。したがって、センサアレイ１００上の光検知セルＣが、Ｎ行Ｍ列の二次元行列状に配置されている場合、元画像ＰＩＣ［Ｃ］もＮ行Ｍ列の画素配列をもった画像データになる。ここで、元画像ＰＩＣ［Ｃ］の個々の画素の画素値は、対応する位置に配置されている光検知セルＣが検知した光のエネルギー量Ｅになる。たとえば、図３(b) のセルＣ１に対応する画素の画素値はエネルギー量Ｅ１（すなわち、Ｗ＋Ｒ）を示す値であり、セルＣ２に対応する画素の画素値はエネルギー量Ｅ２（すなわち、Ｗ−Ｒ）を示す値である。
【００６５】
以下の説明では、センサアレイ１００の第ｉ行第ｊ列目に配置されている光検知セルを符号「Ｃｉｊ」で示し、元画像ＰＩＣ［Ｃ］上の第ｉ行第ｊ列目に配置されている画素についても、便宜上、同じ符号「Ｃｉｊ」で示すことにする。一方、変換画像ＰＩＣ［Ｐ］上の第ｉ行第ｊ列目に配置されている画素については、符号「Ｐｉｊ」で示す。
【００６６】
演算処理手段３００は、元画像格納手段２００内に格納されている元画像ＰＩＣ［Ｃ］に基づいて変換画像ＰＩＣ［Ｐ］を生成し、これを変換画像格納手段４００に格納する処理を行う。ここで、変換画像ＰＩＣ［Ｐ］を構成する画素配列のサイズは、元画像ＰＩＣ［Ｃ］を構成する画素配列のサイズとほぼ等しい（後述するように、厳密には、前者は後者より僅かに小さくなる）。図５に示すとおり、演算処理手段３００は、画素値演算部３１０、変換画像作成部３２０、ブロック定義部３３０、ブロック定義制御部３４０を有している。
【００６７】
ブロック定義部３３０は、元画像ＰＩＣ［Ｃ］上にブロックを定義する役割を果たす構成要素である。上述の例の場合、元画像ＰＩＣ［Ｃ］は、横方向に複数Ｍ画素、縦方向に複数Ｎ画素を有するＮ行Ｍ列の画素配列をもったデータであるが、ブロック定義部３３０は、この元画像ＰＩＣ［Ｃ］上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックＫを定義する。ここに示す実施例の場合、ｍ＝２，ｎ＝２に設定することにより、横方向の幅が２画素、縦方向の幅が２画素となる合計４画素を含むブロックＫを定義する。
【００６８】
ここでは、図５の元画像格納手段２００を示すブロック内に図示されているように、元画像ＰＩＣ［Ｃ］上の第ｉ行第ｊ列目に配置されている画素を画素Ｃｉｊと呼び、当該画素Ｃｉｊを左上画素として含むブロック（図に太線枠で示す）をブロックＫｉｊと呼ぶことにする。
【００６９】
画素値演算部３１０は、ブロック定義部３３０によって定義されたブロックＫ内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックＫを代表する３原色の代表画素値を求める演算を行う。ここに示す実施例の場合、ｍ＝２，ｎ＝２に設定しているため、画素値演算部３１０は、ブロックＫ内の４個の画素の画素値に基づいて、当該ブロックＫを代表する３原色の代表画素値を演算することになる。
【００７０】
画素値演算部３１０によって求められた特定の着目ブロックＫについての代表画素値は、変換画像作成部３２０によって、変換画像ＰＩＣ［Ｐ］上の当該着目ブロックＫに対応した画素の画素値として、変換画像格納手段４００に格納される。たとえば、図５に示す例の場合、元画像ＰＩＣ［Ｃ］上の第ｉ行第ｊ列目に配置されている画素Ｃｉｊを左上に含むブロックＫｉｊが定義され、画素値演算部３１０によって当該ブロックＫｉｊを着目ブロックとする演算が行われることになるが、当該着目ブロックＫｉｊについて得られた代表画素値は、変換画像作成部３２０によって、変換画像ＰＩＣ［Ｐ］上の第ｉ行第ｊ列目に配置されている画素Ｐｉｊの画素値として格納されることになる。
【００７１】
一方、ブロック定義制御部３４０は、ブロック定義部３３０に対して、定義するブロックＫの位置を横方向に１画素ずつずらす指示と、縦方向に１画素ずつずらす指示とを与え、横方向に１画素分ずつずれた各ブロックと、これらの各ブロックに対してそれぞれ縦方向に１画素分ずつずれたブロックとが定義されるように制御する機能を果たす。
【００７２】
図６および図７は、このブロック定義制御部３４０の制御下でのブロック定義の具体的な態様を示す平面図であり、元画像格納手段２００に格納されている元画像ＰＩＣ［Ｃ］の画素配列を示している。すなわち、図に符号Ｃ１１，Ｃ１２，Ｃ１３，... を付して示されている個々のセルは、元画像ＰＩＣ［Ｃ］の個々の画素を示しており、これら個々の画素の画素値は、対応する光検知セルが検知したエネルギー量Ｅを示している。
【００７３】
ここに示す実施例の場合、まず、図６(a) に示すように、元画像ＰＩＣ［Ｃ］の第１行第１列目の画素Ｃ１１を左上に含む２行２列の４画素からなるブロックＫ１１（太線枠）が定義される。ブロックＫ１１のメンバーは、画素Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２ということになる。続いて、このブロックＫ１１を図の右方向に１画素分ずらすことにより、図６(b) に示すようなブロックＫ１２（太線枠）が定義される。ブロックＫ１２のメンバーは、画素Ｃ１２，Ｃ１３，Ｃ２２，Ｃ２３ということになる。更に、このブロックＫ１２を図の右方向に１画素分ずらすことにより、図６(c) に示すようなブロックＫ１３（太線枠）が定義され、このブロックＫ１３を図の右方向に１画素分ずらすことにより、図７(a) に示すようなブロックＫ１４（太線枠）が定義される。
【００７４】
こうして、ブロック定義制御部３４０の制御の下に、ブロック定義部３３０は、ブロックＫを図の右方向に１画素分ずつずらしながら、新たなブロック定義を行う。そして、定義したブロックＫが元画像ＰＩＣ［Ｃ］の右端に到達したら、ブロック定義制御部３４０によって、縦方向に１画素分ずらした左端位置に新たなブロック定義を行う旨の指示が与えられる。具体的には、図７(b) に示すようなブロックＫ２１（太線枠）が定義される。ブロックＫ２１のメンバーは、画素Ｃ２１，Ｃ２２，Ｃ３１，Ｃ３２である。続いて、このブロックＫ２１を図の右方向に１画素分ずらすことにより、図７(c) に示すようなブロックＫ２２（太線枠）が定義される。ブロックＫ２２のメンバーは、画素Ｃ２２，Ｃ２３，Ｃ３２，Ｃ３３である。
【００７５】
実際には、ブロック定義制御部３４０からブロック定義部３３０に対して、定義すべきブロックＫｉｊの左上の画素Ｃｉｊの位置を示す行パラメータｉ（初期値１）および列パラメータｊ（初期値１）を徐々に変化させながら与えるようにすればよい。すなわち、まず、行パラメータｉを固定した状態で、列パラメータｊを初期値から１ずつ増加させてゆき、列パラメータｊが最大値に達したら、次に行パラメータｉを１だけ増加させた上で、再び列パラメータｊを初期値から１ずつ増加させてゆく。このような処理を、行パラメータｉが最大値に達するまで繰り返せばよい。
【００７６】
一般に、元画像ＰＩＣ［Ｃ］の画素配列をＮ行Ｍ列とし、ブロックＫの画素配列をｎ行ｍ列とした場合、行パラメータｉの最大値はＮ−ｎ＋１、列パラメータｊの最大値はＭ−ｍ＋１になる。図示の例のように、ｎ＝２，ｍ＝２に設定し、ブロックＫを２×２画素のサイズに設定した場合、行パラメータｉの最大値はＮ−１、列パラメータｊの最大値はＭ−１になる。
【００７７】
ブロック定義部３３０は、ブロック定義制御部３４０から行パラメータｉおよび列パラメータｊが与えられると、元画像ＰＩＣ［Ｃ］の第ｉ行第ｊ列目を構成する画素Ｃｉｊを左上画素として含むｍ×ｎ個の画素（図示の例では４画素）からなる着目ブロックＫｉｊを定義する。画素値演算部３１０は、こうして定義された着目ブロックＫｉｊ内のｍ×ｎ個の画素の画素値（各セルで検知されたエネルギー値）に基づいて、当該着目ブロックＫｉｊを代表する３原色の代表画素値を求める演算を行う。こうして得られた着目ブロックＫｉｊについての代表画素値は、変換画像作成部３２０によって、変換画像ＰＩＣ［Ｐ］上の第ｉ行第ｊ列目に配置されている画素Ｐｉｊの画素値として格納される。
【００７８】
結局、変換画像作成部３２０によって作成される変換画像ＰＩＣ［Ｐ］は、個々のブロックＫｉｊにそれぞれ対応した画素Ｐｉｊからなる配列を有する画像であり、しかも画素Ｐｉｊの画素値は、当該画素Ｐｉｊに対応するブロックＫｉｊについて演算された３原色の各代表画素値ということになる。上述したとおり、ブロックＫを２×２画素のサイズに設定した図示の実施例の場合、ブロックＫｉｊについての行パラメータｉの最大値はＮ−１、列パラメータｊの最大値はＭ−１になるので、変換画像ＰＩＣ［Ｐ］は、（Ｎ−１）行（Ｍ−１）列の画素配列をもった画像になり、元画像ＰＩＣ［Ｃ］より僅かに小さな画像（縦横ともに１画素分だけ小さな画像）になる。
【００７９】
なお、画素値演算部３１０が、ある１つの着目ブロックＫｉｊを代表する３原色の代表画素値を求める演算手法は、§１で述べた先願発明で用いられている演算手法とほぼ同じである。
【００８０】
§１では、図３(b) に示すブロックＫ１を代表する３原色の代表画素値を求める方法として、第１の原色成分についての代表画素値をＲ、第２の原色成分についての代表画素値をＢ、第３の原色成分についての代表画素値をＧとし、着目ブロックＫ１内の４画素のうち、所定の光検知セルＣｚ１の位置を行列の起点として、奇数行かつ奇数列に配置された画素Ｃ１の画素値をＥ１、奇数行かつ偶数列に配置された画素Ｃ２の画素値をＥ２、偶数行かつ奇数列に配置された画素Ｃ３の画素値をＥ３、偶数行かつ偶数列に配置された画素Ｃ４の画素値をＥ４としたときに、図４に示すように、Ｒ＝（Ｅ１−Ｅ２）／２なる演算式（式２）によって代表画素値Ｒを求め、Ｂ＝（Ｅ４−Ｅ３）／２なる演算式（式４）によって代表画素値Ｂを求め、Ｇ＝Ｗ−Ｒ−Ｂなる演算式（式５）によって代表画素値Ｇを求める方法を示した（但し、（式５）における値Ｗは、Ｗ＝（Ｅ１＋Ｅ２）／２なる演算式（式１）もしくはＷ＝（Ｅ３＋Ｅ４）／２なる演算式（式３）によって求める）。
【００８１】
図５に示す本願第１発明に係る画素値演算部３１０も、基本的には、図４に示す各式に基づいて、３原色の代表画素値Ｒ，Ｇ，Ｂを求めればよい。ただ、先願発明では、図３(b) に示すように、ブロックＫ１（太線枠）の次のブロックは、右に隣接するブロックＫ２（太い破線枠）ということになり、ブロック内の各画素の画素値の内容に変わりはないが、本願第１発明では、ブロックの定義は１画素分ずつずらして行われるため、上記演算式を若干変更する必要がある。
【００８２】
すなわち、図３(b) に示す先願発明の場合、隣接して定義された２つのブロックＫ１，Ｋ２は、互いに重なり合うことはなく、相互に排他的な領域になる。したがって、いずれのブロックも、左上画素Ｃ１の画素値Ｅ１の内容は常に「Ｗ＋Ｒ」、右上画素Ｃ２の画素値Ｅ２の内容は常に「Ｗ−Ｒ」、左下画素Ｃ３の画素値Ｅ３の内容は常に「Ｗ−Ｂ」、右下画素Ｃ４の画素値Ｅ４の内容は常に「Ｗ＋Ｂ」になる。このため、図４に示す式は、いずれのブロックについても同様に成立する。
【００８３】
これに対して、本願第１発明では、図６，図７に示すように、個々のブロックＫ１１，Ｋ１２，Ｋ１３，... は、一部が互いに重なり合うように定義される。したがって、図３(b) において、ブロックＫ１の右に隣接するブロックは、ブロックＫ２ではなく、ブロックＫ１を１画素分だけ右へずらしたブロックになり、当該ブロックの左上画素の画素値の内容は「Ｗ−Ｒ」、右上画素の画素値の内容は「Ｗ＋Ｒ」、左下画素の画素値の内容は「Ｗ＋Ｂ」、右下画素の画素値の内容は「Ｗ−Ｂ」になる。よって、この場合、図４の（式２）は、符号を逆にして「Ｒ＝（Ｅ２−Ｅ１）／２」なる式に変更する必要があり、（式４）は、符号を逆にして「Ｂ＝（Ｅ３−Ｅ４）／２」なる式に変更する必要がある。
【００８４】
また、図３(b) において、ブロックＫ１の下に隣接するブロックは、ブロックＫ１を１画素分だけ下へずらしたブロックになり、当該ブロックの左上画素の画素値の内容は「Ｗ−Ｂ」、右上画素の画素値の内容は「Ｗ＋Ｂ」、左下画素の画素値の内容は「Ｗ＋Ｒ」、右下画素の画素値の内容は「Ｗ−Ｒ」になる。よって、この場合、図４の（式２）は、「Ｂ＝（Ｅ２−Ｅ１）／２」なる式に変更する必要があり、（式４）は、「Ｒ＝（Ｅ３−Ｅ４）／２」なる式に変更する必要がある。
【００８５】
更に、図３(b) において、ブロックＫ１の右斜め下に隣接するブロックは、ブロックＫ１を１画素分だけ右および下へずらしたブロックになり、当該ブロックの左上画素の画素値の内容は「Ｗ＋Ｂ」、右上画素の画素値の内容は「Ｗ−Ｂ」、左下画素の画素値の内容は「Ｗ−Ｒ」、右下画素の画素値の内容は「Ｗ＋Ｒ」になる。よって、この場合、図４の（式２）は、「Ｂ＝（Ｅ１−Ｅ２）／２」なる式に変更する必要があり、（式４）は、「Ｒ＝（Ｅ４−Ｅ３）／２」なる式に変更する必要がある。
【００８６】
結局、本願第１発明に係る画素値演算部３１０は、所定の画素位置を行列の起点として、着目ブロック内の左上画素が奇数行に位置する画素である場合（たとえば、図３(b) のブロックＫ１が着目ブロックである場合）は、Ｒ＝|Ｅ１−Ｅ２|／２、Ｂ＝|Ｅ３−Ｅ４|／２、Ｇ＝Ｗ−Ｒ−Ｂ（但し、Ｗは、Ｗ＝（Ｅ１＋Ｅ２）／２もしくはＷ＝（Ｅ３＋Ｅ４）／２なる演算で得られた値）なる演算を行うことにより、各代表画素値Ｒ，Ｇ，Ｂを求めることができ、着目ブロック内の左上画素が偶数行に位置する画素である場合（たとえば、図３(b) のブロックＫ１を下に１画素分ずらしたブロックが着目ブロックである場合）は、Ｂ＝|Ｅ１−Ｅ２|／２、Ｒ＝|Ｅ３−Ｅ４|／２、Ｇ＝Ｗ−Ｒ−Ｂ（但し、Ｗは、Ｗ＝（Ｅ１＋Ｅ２）／２もしくはＷ＝（Ｅ３＋Ｅ４）／２なる演算で得られた値）なる演算を行うことにより、各代表画素値Ｒ，Ｇ，Ｂを求めることができる。
【００８７】
図８は、図５に示す本願第１発明に係る固体撮像装置によって得られた変換画像ＰＩＣ［Ｐ］の画素構成を示す平面図である。ここで、Ｐｉｊは、変換画像ＰＩＣ［Ｐ］を構成する個々の画素である。また、括弧書きで示すｒｉｊ，ｇｉｊ，ｂｉｊは、画素Ｐｉｊに与えられた画素値であり、画素Ｐｉｊに対応する着目ブロックＫｉｊについて、上述の演算式に基づく演算を行うことによって得られた代表画素値Ｒ，Ｇ，Ｂに相当するものである。
【００８８】
図９は、図８に示す変換画像ＰＩＣ［Ｐ］を構成する画素Ｐ１１，Ｐ１２の画素値の算出プロセスを示す図である。たとえば、変換画像ＰＩＣ［Ｐ］の画素Ｐ１１についての画素値ｒ１１，ｇ１１，ｂ１１は、図９の左図に示すように、元画像ＰＩＣ［Ｃ］上に定義された対応する着目ブロックＫ１１（左上画素が画素Ｃ１１であるブロック）内の４つの画素Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２の画素値に基づく演算によって算出されることになる。同様に、変換画像ＰＩＣ［Ｐ］の画素Ｐ１２についての画素値ｒ１２，ｇ１２，ｂ１２は、図９の右図に示すように、元画像ＰＩＣ［Ｃ］上に定義された対応する着目ブロックＫ１２（左上画素が画素Ｃ１２であるブロック）内の４つの画素Ｃ１２，Ｃ１３，Ｃ２２，Ｃ２３の画素値に基づく演算によって算出されることになる。
【００８９】
なお、図９の下段に記載したとおり、本願第１発明では、「１つのブロック内には、同じ光が均一に照射される」という仮定で変換画像ＰＩＣ［Ｐ］を得ており、そのような前提に立つ限り、変換画像ＰＩＣ［Ｐ］は撮像対象物Ｈの二次元撮影像として、正しい階調変化を示す画像となる。
【００９０】
この点をより具体的に説明するために、第ｉ行第ｊ列目に配置された光検知セルＣｉｊに入射すべきである本来の光Ｗｉｊ（分光素子がなかった場合に、光検知セルＣｉｊに入射したであろう光）の３原色の仮想成分をそれぞれＲｉｊ，Ｇｉｊ，Ｂｉｊとしてみよう。たとえば、図９の左図に示す画素（光検知セル）Ｃ１１について括弧書きされているＲ１１，Ｇ１１，Ｂ１１は、分光素子がなかった場合に光検知セルＣ１１に本来入射していたであろう赤，緑，青色光のエネルギー量を示す仮想画素値ということになる。もちろん、これらの仮想画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊ自体は、本発明に係るセンサアレイ１００を用いた場合、直接的には測定することができないが、当該仮想画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊの二次元平面上での分布は、撮像対象物Ｈの二次元撮影像上での正しい階調変化を示すものになる。
【００９１】
いま、「１つのブロック内には、同じ光が均一に照射される」という仮定をおくと、たとえば、ブロックＫ１１内の４つのセルＣ１１，Ｃ１２，Ｃ２１，Ｃ２２には、同じ光が照射されることになるので、赤色については、ｒ１１＝Ｒ１１が成り立つ。同様に、ブロックＫ１２内の４つのセルＣ１２，Ｃ１３，Ｃ２２，Ｃ２３には、同じ光が照射されることになるので、赤色については、ｒ１２＝Ｒ１２が成り立つ。したがって、図８に示す変換画像ＰＩＣ［Ｐ］における赤色成分の右方向の階調差ｒ１２−ｒ１１は、元画像ＰＩＣ［Ｃ］における仮想画素値の赤色成分の右方向の階調差Ｒ１２−Ｒ１１に等しくなり、上記仮定の下では、変換画像ＰＩＣ［Ｐ］は、撮像対象物Ｈの二次元撮影像上での正しい階調変化を示していることになる。
【００９２】
もっとも、実際には、上記仮定は近似的に成り立つものであり、厳密な意味では、理論的に正しいものではない。前述の実施例の場合、１つのブロック内には４つの光検知セルが含まれており、個々のセルごとに空間的な位置が異なるので、当然、撮像対象物Ｈから入射する光は、セルごとに異なったものになる。それにもかかわらず、図９のブロックＫ１１内の４つのセルに関しては同じ光が均一に照射され、ブロックＫ１２内の４つのセルに関しても同じ光が均一に照射される、とする仮定は、理論的には正しいものではない。
【００９３】
しかしながら、一般的には、空間的に隣接するセルに入射する光の成分は互いに近似していると考えられるので、「１つのブロック内には、同じ光が均一に照射される」という仮定を採用することにより得られた変換画像ＰＩＣ［Ｐ］を、近似的に撮像対象物Ｈの二次元撮影像として取り扱っても、実用上は、大きな支障は生じない。本願では、上記仮定によって行われる近似を一次近似と呼ぶことにする。なお、上述した本願第１発明では、この一次近似を利用して変換画像ＰＩＣ［Ｐ］が作成されるが、後の§３で述べる本願第２発明では、別な仮定に基づく近似（本願では、二次近似と呼ぶ）が行われる。
【００９４】
先願発明では、図３(b) に示すブロックＫ１，Ｋ２のように、元画像ＰＩＣ［Ｃ］上に、互いに重なり合うことがない排他的な領域として多数のブロックを定義し、個々のブロックごとに３原色の代表画素値を求めていた。このため、撮像画像の解像度が本来の１／４に低下してしまうという問題があった。これに対して、本願第１発明では、ブロック定義制御部３４０およびブロック定義部３３０の働きによって、上下左右に１画素分ずつのずれをもった多数のブロックが定義され、画素値演算部３１０によって、個々のブロックごとに３原色の代表画素値が求められるので、撮像画像の解像度は光検知セルの解像度と同じになる。すなわち、本願第１発明では、入射光量の利用効率を向上させつつ、撮像画像の解像度を維持することができる。
【００９５】
なお、上述した実施例では、特定の光検知セルの上方に配置した分光素子により、当該特定の光検知セルに向かう光のうちの特定の原色成分を、左右に隣接する光検知セルに導くような分光を行っているが、本発明（第１発明および後述する第２発明のいずれも）を実施する上で、分光素子による分光は、必ずしも左右に隣接する光検知セルに導くような分光に限定されるものではなく、特定の光検知セルの周囲近傍の光検知セルに導くような分光であれば、どのような分光を行うようにしてもかまわない。
【００９６】
また、上述した実施例では、赤色分光素子Ｄ（Ｒ）と青色分光素子Ｄ（Ｂ）とを用いて、赤色成分Ｒと青色成分Ｂとを分光するようにしているが、もちろん、３原色のうちのどの色成分を分光するかは設計上適宜変更することができ、たとえば、赤色分光素子Ｄ（Ｒ）と緑色分光素子Ｄ（Ｇ）とを用いて、赤色成分Ｒと緑色成分Ｇとを分光するようにしてもかまわない。
【００９７】
更に、上述した実施例では、ブロック定義部３３０が定義するブロックのサイズとして、ｎ＝２，ｍ＝２に設定し、２×２画素のサイズをもったブロックを定義しているが、ブロックのサイズは任意に設定することができ、たとえば、２×３画素のサイズをもったブロックを定義してもかまわない。
【００９８】
もちろん、分光素子による分光態様やブロックサイズを変更した場合、図３に示した各色成分の光の挙動が変化するため、個々のブロックについての３原色の代表画素値を求めるために利用する式は、図４に示す式とは異なるものになる。
【００９９】
＜＜＜  §３．  本願第２発明に係る固体撮像装置  ＞＞＞
＜３−１．差分画像を利用する基本概念＞
続いて、本願第２発明に係る固体撮像装置を説明する。§２で述べた本願第１発明では、元画像ＰＩＣ［Ｃ］上にブロックを定義し、個々のブロック単位で３原色の代表画素値を求める手法が採用されていた。これに対して、以下に述べる本願第２発明では、ブロックという概念は用いず、その代わりに、差分画像という概念を利用することになる。そこで、ここではまず、この差分画像を利用して元画像ＰＩＣ［Ｃ］から変換画像ＰＩＣ［Ｐ］を求める基本概念を説明する。
【０１００】
図１０は、本願第２発明の基本的着想を説明する平面図である。図の左上に示す元画像ＰＩＣ［Ｃ］は、本願第１発明で説明したものと全く同じ画像であり、個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする画像ということになる。
【０１０１】
なお、前述した§２では、元画像ＰＩＣ［Ｃ］の第ｉ行第ｊ列目の画素を符号「Ｃｉｊ」を用いて示していたが、この§３では、説明の便宜上、行パラメータｉや列パラメータｊに関して「ｉ＋１」や「ｊ＋１」といった数式表現が用いられるため、「Ｃｉｊ」ではなく、パラメータｉ，ｊの部分を括弧書きにして、「Ｃ（ｉ，ｊ）」という形で表現することにする。また、行列の行方向（図の右方向）をＸ方向、行列の列方向（図の下方向）をＹ方向と呼ぶことにする。
【０１０２】
いま、図１０左上の元画像ＰＩＣ［Ｃ］上に太線枠で示すように、第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）と、その右隣および下隣の画素Ｃ（ｉ，ｊ＋１），Ｃ（ｉ＋１，ｊ）に着目し、これら３画素について、矢印Ａ１に示すように、その画素値を読み出すものとする。但し、ここで読み出す画素値は、各光検知セルＣ（ｉ，ｊ），Ｃ（ｉ，ｊ＋１），Ｃ（ｉ＋１，ｊ）によって検知されたエネルギー量ではなく、分光素子がなかった場合に、各光検知セルに入射したであろう本来の光Ｗの３原色の仮想成分を示す仮想画素値であるものとする。別言すれば、以下に述べる処理手順は、本願第２発明の基本概念を説明するための仮想の処理手順ということになる。
【０１０３】
図１０左下には、太線枠で囲った３つの画素内にそれぞれ３原色の画素値が記載されているが、これらの画素値は、各画素についての仮想画素値である。たとえば、画素Ｃ（ｉ，ｊ）については、画素値Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）が記載されているが、これらの画素値は、分光素子がなかった場合に光検知セルＣ（ｉ，ｊ）に本来入射していたであろう赤，緑，青色光のエネルギー量を示す仮想画素値ということになる。もちろん、これらの仮想画素値Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）自体は、本発明に係るセンサアレイ１００を用いた場合、直接測定することはできない。
【０１０４】
そもそも上述のような仮想画素値をもった元画像ＰＩＣ［Ｃ］が測定によって直接的に得られるのであれば、当該元画像ＰＩＣ［Ｃ］が撮像対象物の正確な二次元画像になっているので、演算処理手段によって変換画像ＰＩＣ［Ｐ］を求める処理は必要ない。したがって、ここで言う「仮想画素値」とは、撮像対象物の二次元画像を構成する各画素が本来もつべき「真の画素値」に相当するものであり、演算処理手段によって行われる演算処理の目的は、この「仮想画素値（真の画素値）」に近い画素値をもった変換画像ＰＩＣ［Ｐ］を求めることにある。
【０１０５】
さて、図１０左下に示す３つの画素について、それぞれ図示のような仮想画素値を仮定し、３つの原色成分Ｒ，Ｇ，Ｂのそれぞれについて、隣接画素間の画素値の差分を求めてみよう。具体的には、画素行列の右方向をＸ方向、下方向をＹ方向として、図１０の下段に示すとおり、赤色成分Ｒについて、Ｘ方向の差分ΔＲｘ＝Ｒ（ｉ，ｊ＋１）−Ｒ（ｉ，ｊ）およびＹ方向の差分ΔＲｙ＝Ｒ（ｉ＋１，ｊ）−Ｒ（ｉ，ｊ）を求める（式６）。同様に、緑色成分Ｇについて、Ｘ方向の差分ΔＧｘ＝Ｇ（ｉ，ｊ＋１）−Ｇ（ｉ，ｊ）およびＹ方向の差分ΔＧｙ＝Ｇ（ｉ＋１，ｊ）−Ｇ（ｉ，ｊ）を求め（式７）、青色成分Ｂについて、Ｘ方向の差分ΔＢｘ＝Ｂ（ｉ，ｊ＋１）−Ｂ（ｉ，ｊ）およびＹ方向の差分ΔＢｙ＝Ｂ（ｉ＋１，ｊ）−Ｂ（ｉ，ｊ）を求める（式８）。
【０１０６】
その結果、元画像ＰＩＣ［Ｃ］の画素Ｃ（ｉ，ｊ）について、矢印Ａ２に示すように、６つの差分ΔＲｘ，ΔＲｙ，ΔＧｘ，ΔＧｙ，ΔＢｘ，ΔＢｙが得られる。ここで、ΔＲｘ，ΔＧｘ，ΔＢｘは横方向に隣接する画素間で算出された横方向差分、ΔＲｙ，ΔＧｙ，ΔＢｙは縦方向に隣接する画素間で算出された縦方向差分である。
【０１０７】
図１０右上に示す差分画像ＰＩＣ［Ｑ］は、このような差分を求める演算結果に基づいて作成される画像であり、個々の画素には、上記６つの差分ΔＲｘ，ΔＲｙ，ΔＧｘ，ΔＧｙ，ΔＢｘ，ΔＢｙが画素値として与えられる。たとえば、図の矢印Ａ３に示すとおり、差分画像ＰＩＣ［Ｑ］の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）には、（式６）〜（式８）に示す演算式に基づいて算出された６つの差分ΔＲｘ，ΔＲｙ，ΔＧｘ，ΔＧｙ，ΔＢｘ，ΔＢｙが画素値として与えられることになる。
【０１０８】
別言すれば、差分画像ＰＩＣ［Ｑ］の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）の画素値は、元画像ＰＩＣ［Ｃ］の第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）を着目画素として、当該着目画素Ｃ（ｉ，ｊ）の右に隣接する横方向隣接画素Ｃ（ｉ，ｊ＋１）の当該着目画素Ｃ（ｉ，ｊ）に対する画素値の原色成分ごとの差分（横方向差分）と、当該着目画素Ｃ（ｉ，ｊ）の下に隣接する縦方向隣接画素Ｃ（ｉ＋１，ｊ）の当該着目画素Ｃ（ｉ，ｊ）に対する画素値の原色成分ごとの差分（縦方向差分）として求められることになる。
【０１０９】
なお、元画像ＰＩＣ［Ｃ］上での着目画素Ｃ（ｉ，ｊ）についての横方向隣接画素としては、右に隣接する画素Ｃ（ｉ，ｊ＋１）の代わりに、左に隣接する画素Ｃ（ｉ，ｊ−１）を用いることもできる。同様に、着目画素Ｃ（ｉ，ｊ）についての縦方向隣接画素としては、下に隣接する画素Ｃ（ｉ＋１，ｊ）の代わりに、上に隣接する画素Ｃ（ｉ−１，ｊ）を用いることもできる。ただ、以下の説明では、便宜上、右に隣接する画素Ｃ（ｉ，ｊ＋１）を横方向隣接画素とし、下に隣接する画素Ｃ（ｉ＋１，ｊ）を縦方向隣接画素とした実施例を述べる。
【０１１０】
このような実施例の場合、元画像ＰＩＣ［Ｃ］の画素配列をＮ行Ｍ列とすると、元画像ＰＩＣ［Ｃ］上での着目画素Ｃ（ｉ，Ｍ）や着目画素Ｃ（Ｎ，ｊ）については（画素配列上での最右行の画素や最下行の画素については）、差分を求めることはできない。したがって、得られる差分画像ＰＩＣ［Ｑ］は、（Ｎ−１）行（Ｍ−１）行の画素配列をもった画像になり、元画像ＰＩＣ［Ｃ］より僅かに小さな画像（縦横ともに１画素分だけ小さな画像）になるが、実用上は問題は生じない。
【０１１１】
さて、こうして得られた差分画像ＰＩＣ［Ｑ］は、撮像対象物Ｈの二次元撮影像を直接的に示すものではなく、原色ごとの階調変化の分布を示す画像ということになる。しかしながら、この差分画像ＰＩＣ［Ｑ］を構成する多数の画素の中の１つの画素について、撮像対象物Ｈの二次元撮影像上の画素として適切な画素値が決定されれば、理論的には、残りの全画素についても適切な画素値を求めることができるので、撮像対象物Ｈの二次元撮影像として適切な変換画像ＰＩＣ［Ｐ］を得ることができる。
【０１１２】
図１１は、このような方法により、差分画像ＰＩＣ［Ｑ］に基づいて変換画像ＰＩＣ［Ｐ］を作成する手順を示す平面図である。図の左上に示す差分画像ＰＩＣ［Ｑ］は、図１０に示す手順によって、仮想画素値をもつ元画像ＰＩＣ［Ｃ］から得られた差分画像ＰＩＣ［Ｑ］であり、原色ごとの階調変化の分布を示す画像である。一方、図の右上に示す変換画像ＰＩＣ［Ｐ］は、撮像対象物Ｈの二次元撮影像として出力される画像であり、以下に述べる手順によって作成される。
【０１１３】
変換画像ＰＩＣ［Ｐ］を作成するために必要な最初の手順は、少なくとも１つの画素について、適切な画素値を決定してやる手順である。本願では、このように、初期条件としての画素値決定の対象となる画素を「基準画素Ｔ」と呼び、この基準画素Ｔに対して決定される画素値を「基準画素値」と呼ぶ。図１１には、変換画像ＰＩＣ［Ｐ］を構成する画素のうち、第ｉ行第ｊ列目の画素Ｐ（ｉ，ｊ）を基準画素Ｔ（図には太枠のハッチング領域として示す）に設定した例が示されている。
【０１１４】
基準画素Ｔに与える基準画素値の具体的な決定方法については、§３−４で詳述するが、ここでは、図１１の矢印Ａ４に示すように、何らかの方法で、基準画素Ｔ（すなわち、画素Ｐ（ｉ，ｊ））に対して、３原色の基準画素値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）が決定されたものとしよう。こうして決定された基準画素値は、矢印Ａ５に示すように、変換画像ＰＩＣ［Ｐ］上の基準画素Ｔの画素値として書き込まれる。この時点では、変換画像ＰＩＣ［Ｐ］上の他の画素についての画素値は定まっていない。
【０１１５】
続いて、矢印Ａ６に示すように、差分画像ＰＩＣ［Ｑ］上の「基準画素Ｔに対応する位置（第ｉ行第ｊ列目）」にある画素Ｑ（ｉ，ｊ）（図には太枠のハッチング領域として示す）の画素値を読み出す。差分画像ＰＩＣ［Ｑ］を構成する各画素の画素値は、前述したとおり、６つの差分ΔＲｘ，ΔＲｙ，ΔＧｘ，ΔＧｙ，ΔＢｘ，ΔＢｙを示す値である。そこで、ここでは、画素Ｑ（ｉ，ｊ）から読み出された画素値を、図示のとおり、差分ΔＲｘ（ｉ，ｊ），ΔＲｙ（ｉ，ｊ），ΔＧｘ（ｉ，ｊ），ΔＧｙ（ｉ，ｊ），ΔＢｘ（ｉ，ｊ），ΔＢｙ（ｉ，ｊ）とする。
【０１１６】
次に、矢印Ａ４のプロセスで決定された基準画素値と、矢印Ａ６のプロセスで読み出された各差分とに基づく演算により、未知画素の画素値を求める処理が行われる（矢印Ａ７，Ａ８のプロセス参照）。ここで、未知画素とは、変換画像ＰＩＣ［Ｐ］を構成する画素のうち、まだ画素値が定まっていない画素を指す。初期条件として、画素Ｐ（ｉ，ｊ）のみを基準画素Ｔに設定した場合、その時点では、画素Ｐ（ｉ，ｊ）を除くすべての画素が未知画素ということになる。一方、矢印Ａ７，Ａ８のプロセスによって画素値が定まった画素については既知画素と呼ぶことにする。
【０１１７】
図１１には、変換画像ＰＩＣ［Ｐ］上の基準画素Ｔ（画素Ｐ（ｉ，ｊ））の右に隣接する画素Ｐ（ｉ，ｊ＋１）を未知画素として、その画素値を求める演算を行う例が示されている。すなわち、未知画素Ｐ（ｉ，ｊ＋１）の３原色の画素値ｒ（ｉ，ｊ＋１），ｇ（ｉ，ｊ＋１），ｂ（ｉ，ｊ＋１）は、左に隣接する基準画素Ｐ（ｉ，ｊ）の基準画素値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）と、矢印Ａ６で読み出された差分とに基づく演算により決定される。
【０１１８】
画素Ｑ（ｉ，ｊ）は、横方向差分ΔＲｘ（ｉ，ｊ），ΔＧｘ（ｉ，ｊ），ΔＢｘ（ｉ，ｊ）と縦方向差分ΔＲｙ（ｉ，ｊ），ΔＧｙ（ｉ，ｊ），ΔＢｙ（ｉ，ｊ）とを画素値として有しているが、未知画素Ｐ（ｉ，ｊ＋１）は基準画素Ｐ（ｉ，ｊ）の右隣に位置する画素なので、その画素値の演算には、横方向差分ΔＲｘ（ｉ，ｊ），ΔＧｘ（ｉ，ｊ），ΔＢｘ（ｉ，ｊ）が用いられる。具体的には、図１１の下段に示すとおり、未知画素Ｐ（ｉ，ｊ＋１）の赤色画素値は、ｒ（ｉ，ｊ＋１）＝ｒ（ｉ，ｊ）＋ΔＲｘ（ｉ，ｊ）なる演算によって得られ（式９）、緑色画素値は、ｇ（ｉ，ｊ＋１）＝ｇ（ｉ，ｊ）＋ΔＧｘ（ｉ，ｊ）なる演算によって得られ（式１０）、青色画素値は、ｂ（ｉ，ｊ＋１）＝ｂ（ｉ，ｊ）＋ΔＢｘ（ｉ，ｊ）なる演算によって得られる（式１１）。
【０１１９】
この演算は、図１０に示す差分画像作成プロセスで行われた演算の逆演算に相当する。こうして算出された画素値ｒ（ｉ，ｊ＋１），ｇ（ｉ，ｊ＋１），ｂ（ｉ，ｊ＋１）は、矢印Ａ９に示すように、変換画像ＰＩＣ［Ｐ］上の未知画素Ｐ（ｉ，ｊ＋１）の画素値として書き込まれる。かくして、未知画素Ｐ（ｉ，ｊ＋１）は、その時点から既知画素になる。
【０１２０】
基準画素Ｔの下隣の未知画素Ｐ（ｉ＋１，ｊ）についても、全く同様の手順により、画素値ｒ（ｉ＋１，ｊ），ｇ（ｉ＋１，ｊ），ｂ（ｉ＋１，ｊ）を算出することができる。ただ、未知画素Ｐ（ｉ＋１，ｊ）は基準画素Ｐ（ｉ，ｊ）の下隣に位置する画素なので、その画素値の演算には、縦方向差分ΔＲｙ（ｉ，ｊ），ΔＧｙ（ｉ，ｊ），ΔＢｙ（ｉ，ｊ）が用いられる。したがって、用いる演算式は、図１１の下段に示す（式９）〜（式１１）における横方向差分ΔＲｘ（ｉ，ｊ），ΔＧｘ（ｉ，ｊ），ΔＢｘ（ｉ，ｊ）を縦方向差分ΔＲｙ（ｉ，ｊ），ΔＧｙ（ｉ，ｊ），ΔＢｙ（ｉ，ｊ）に置換した式になる。
【０１２１】
また、必要があれば、基準画素Ｔの左隣の未知画素Ｐ（ｉ，ｊ−１）や上隣の未知画素Ｐ（ｉ−１，ｊ）についての画素値を算出することもできる。この場合、図１１の下段に示す（式９）〜（式１１）における差分の項をマイナスにする必要がある。もっとも、§３−４で述べるように、変換画像ＰＩＣ［Ｐ］の左上隅の画素Ｐ（１，１）を基準画素Ｔに設定した場合は、右隣の未知画素および下隣の未知画素についての画素値演算を行うだけで十分である。
【０１２２】
こうして、基準画素Ｔに隣接する未知画素の画素値が求まり、当該未知画素が既知画素になったら、続いて、この既知画素に隣接する未知画素についての画素値を同様の手順によって求めればよい。たとえば、図１１に示す例において、未知画素Ｐ（ｉ，ｊ＋１）が既知画素になれば、当該既知画素Ｐ（ｉ，ｊ＋１）を基準画素Ｔの代わりに用いて上述した手順を繰り返せば、その右隣の未知画素Ｐ（ｉ，ｊ＋２）についての３原色の画素値ｒ（ｉ，ｊ＋２），ｇ（ｉ，ｊ＋２），ｂ（ｉ，ｊ＋２）を求めることができる。
【０１２３】
具体的には、差分画像ＰＩＣ［Ｑ］上の「既知画素Ｐ（ｉ，ｊ＋１）に対応する位置（第ｉ行第（ｊ＋１）列目）」にある画素Ｑ（ｉ，ｊ＋１）の画素値である横方向差分ΔＲｘ（ｉ，ｊ＋１），ΔＧｘ（ｉ，ｊ＋１），ΔＢｘ（ｉ，ｊ＋１）を、既知画素Ｐ（ｉ，ｊ＋１）の画素値ｒ（ｉ，ｊ＋１），ｇ（ｉ，ｊ＋１），ｂ（ｉ，ｊ＋１）に加える演算（（式９）〜（式１１）に準ずる演算）を行うことにより、未知画素Ｐ（ｉ，ｊ＋２）についての画素値ｒ（ｉ，ｊ＋２），ｇ（ｉ，ｊ＋２），ｂ（ｉ，ｊ＋２）を得ることができる。
【０１２４】
このように、理論的には、未知画素の集合体からなる変換画像ＰＩＣ［Ｐ］上において、少なくとも１つの基準画素Ｔに対して画素値を決定すれば、差分画像ＰＩＣ［Ｑ］を利用して、基準画素Ｔに隣接する未知画素の画素値を求めて既知画素にすることができ、更に、既知画素に隣接する未知画素の画素値を順次求めることができる。かくして、変換画像ＰＩＣ［Ｐ］を構成する全画素についての３原色の各画素値を求めることができる。これが本願第２発明に係る固体撮像装置の基本原理である。
【０１２５】
＜３−２．差分画像および変換画像の具体的な作成方法＞
上述した§３−１では、図１０左下に示すように、元画像ＰＩＣ［Ｃ］の画素Ｃ（ｉ，ｊ）について、仮想画素値（真の画素値）Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）が与えられているという仮定の下に、差分画像ＰＩＣ［Ｑ］を作成する手順および当該差分画像ＰＩＣ［Ｑ］を利用して、変換画像ＰＩＣ［Ｐ］を作成する手順を述べた。しかしながら、本発明に係るセンサアレイ１００を用いた場合、仮想画素値Ｒ（ｉ，ｊ），Ｇ（ｉ，ｊ），Ｂ（ｉ，ｊ）自体は、直接測定することはできないので、実際には、図１０左下に示す３つの画素Ｃ（ｉ，ｊ），Ｃ（ｉ，ｊ＋１），Ｃ（ｉ＋１，ｊ）の仮想画素値を利用して、図１０の下段に示す（式６）〜（式８）に基づく演算を行い、図１０右上に示す差分画像ＰＩＣ［Ｑ］を得ることはできない。
【０１２６】
そこで、本願第２発明では、センサアレイ１００を構成する各光検知セルが実際にエネルギー量として検知した画素値（図３(b) に示す「Ｗ＋Ｒ」，「Ｗ−Ｒ」，「Ｗ−Ｂ」，「Ｗ＋Ｂ」に相当する値）に基づいて、差分画像ＰＩＣ［Ｑ］を作成することになる。ここでは、その具体的な手順の一例を述べる。
【０１２７】
図１２は、本願第２発明において、個々の画素についての差分を求める具体的な方法の一例を示す平面図である。左上の元画像ＰＩＣ［Ｃ］に基づいて、右上の差分画像ＰＩＣ［Ｑ］を作成する点は、図１０に示す例と同じであるが、元画像ＰＩＣ［Ｃ］の各画素の画素値は、各光検知セルが実際に検知したエネルギー量を示す値になっている。そのため、元画像ＰＩＣ［Ｃ］の第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）を着目画素として、当該着目画素Ｃ（ｉ，ｊ）についての差分を求める場合、図１０に示す例では、右に隣接する画素Ｃ（ｉ，ｊ＋１）と下に隣接する画素Ｃ（ｉ＋１，ｊ）を含む合計３画素の画素値を参照すれば足りたが、ここでは、図に太線枠で囲って示す合計６画素の画素値を参照する。
【０１２８】
ここでは、着目画素Ｃ（ｉ，ｊ）に対して、その近傍に位置する画素Ｃ（ｉ，ｊ＋１），Ｃ（ｉ，ｊ＋２），Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋１，ｊ＋１），Ｃ（ｉ＋１，ｊ＋２）の５画素を「近傍画素」と呼び、着目画素Ｃ（ｉ，ｊ）を含めた６画素（図に太線枠で囲った画素）を「参照画素」と呼ぶことにする。また、上記６つの参照画素を含む領域を参照領域Ｕ（ｉ，ｊ）と呼ぶことにする。別言すれば、元画像ＰＩＣ［Ｃ］上に定義された参照領域Ｕ（ｉ，ｊ）とは、第ｉ行第ｊ列目に位置する着目画素Ｃ（ｉ，ｊ）を左上隅として、横方向の幅が３画素、縦方向の幅が２画素となる全６画素を含む領域ということになる。
【０１２９】
ここで述べる方法で差分画像ＰＩＣ［Ｑ］を作成するには、まず、矢印Ａ１０に示すように、参照領域Ｕ（ｉ，ｊ）内の６つの参照画素の画素値を読み出す処理を行う。これらの画素値は、実際には、各光検知セルが検知したエネルギー量Ｅに対応する値であるので、ここでは各参照画素の画素値を、図１２左下に示すとおり、Ｅ（ｉ，ｊ），Ｅ（ｉ，ｊ＋１），Ｅ（ｉ，ｊ＋２），Ｅ（ｉ＋１，ｊ），Ｅ（ｉ＋１，ｊ＋１），Ｅ（ｉ＋１，ｊ＋２）と記述する。
【０１３０】
続いて、これら６つの参照画素の画素値に基づいて後述する演算を行い、矢印Ａ１１に示すように、差分ΔＲ，ΔＢ，ΔＷを算出する。そして、矢印Ａ１２に示すように、これら差分ΔＲ，ΔＢ，ΔＷを、差分画像ＰＩＣ［Ｑ］上の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）の画素値として書き込む処理を行う。
【０１３１】
このような処理を、元画像ＰＩＣ［Ｃ］上の個々の画素をそれぞれ着目画素として繰り返し実行すれば、差分画像ＰＩＣ［Ｑ］を構成する個々の画素の画素値を求めることができ、差分画像ＰＩＣ［Ｑ］を作成することができる。
【０１３２】
もっとも、上例のように６画素からなる参照領域Ｕ（ｉ，ｊ）を設定する実施例の場合、参照領域Ｕ（ｉ，ｊ）の右端は、着目画素Ｃ（ｉ，ｊ）の右端よりも２画素分だけ右方に位置し、参照領域Ｕ（ｉ，ｊ）の下端は、着目画素Ｃ（ｉ，ｊ）の下端よりも１画素分だけ下方に位置することになる。したがって、元画像ＰＩＣ［Ｃ］の画素配列をＮ行Ｍ列とすると、画素配列上での右端の２列の画素や最下行の画素を着目画素とした場合、参照領域Ｕ（ｉ，ｊ）を設定することができない。したがって、ここに示す実施例の場合、得られる差分画像ＰＩＣ［Ｑ］は、（Ｎ−１）行（Ｍ−２）列の画素配列をもった画像になり、元画像ＰＩＣ［Ｃ］より僅かに小さな画像になるが、実用上は問題は生じない。
【０１３３】
ここで、図１０右下に示す画素Ｑ（ｉ，ｊ）の画素値と図１２右下に示す画素Ｑ（ｉ，ｊ）の画素値とを比較すると、いずれも元画像ＰＩＣ［Ｃ］上の着目画素Ｃ（ｉ，ｊ）について算出された差分を示しているものの、両者は若干異なっている。すなわち、前者の画素値は、６つの差分ΔＲｘ，ΔＲｙ，ΔＧｘ，ΔＧｙ，ΔＢｘ，ΔＢｙによって構成されているのに対して、後者の画素値は、３つの差分ΔＲ，ΔＢ，ΔＷによって構成されている。
【０１３４】
両者の第１の相違点は、前者が赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂについての差分を示しているのに対して、後者は赤色成分Ｒ，青色成分Ｇ，白色成分Ｗについての差分を示している点である。前述したように、本願における「白色成分」とは、撮像対象物Ｈから発せられる光の全波長成分を意味するものであり、いわゆる色としての「白」を示すものではない。したがって、一般に、Ｗ＝Ｒ＋Ｇ＋Ｂが成り立ち、いずれか２つの色成分と白色成分Ｗとが既知であれば、残りの第３の色成分も既知になる。
【０１３５】
たとえば、ＲとＢとＷが既知であれば、Ｇ＝Ｗ−Ｒ−Ｂなる演算式でＧが算出される。結局、赤色成分Ｒ，青色成分Ｇ，白色成分Ｗという３つの成分を示す情報は、赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂという３つの成分を示す情報と等価であり、前者の白色成分Ｗは、緑色成分Ｇを示す情報として機能していることになる。ここで述べる実施例の場合、図３(b) に示すように、各光検知セルによって検知されるエネルギーの色別成分は、「Ｗ＋Ｒ」，「Ｗ−Ｒ」，「Ｗ−Ｂ」，「Ｗ＋Ｂ」のように、赤色成分Ｒ，青色成分Ｇ，白色成分Ｗという３つの成分によって構成される。
【０１３６】
そこで、図１２に示す実施例では、３原色の各成分を、Ｒ，Ｇ，Ｂという形式ではなく、Ｒ，Ｂ，Ｗという形式で表現する方法を採用している。図１２の右下に示す画素Ｑ（ｉ，ｊ）の画素値が差分ΔＲ，ΔＢ，ΔＷによって構成されているのは、このような事情を勘案したためである。もちろん、差分ΔＷは、ΔＧ＝ΔＷ−ΔＲ−ΔＢなる演算式によって、いつでも差分ΔＧに変換することができ、実質的に、差分ΔＷは差分ΔＧと等価である。したがって、上述した第１の相違点は本質的な相違点ではない。
【０１３７】
両者の第２の相違点は、前者がＸ方向の差分（横方向差分）ΔＲｘ，ΔＧｘ，ΔＢｘとＹ方向の差分（縦方向差分）ΔＲｙ，ΔＧｙ，ΔＢｙとの６つの差分によって構成されているのに対して、後者は、縦横の区別なしに、３つの差分ΔＲ，ΔＢ，ΔＷによって構成されている点である。これは、ここで述べる実施例の場合、「同一の着目画素に関しては、横方向差分と縦方向差分とが等しい」との仮定の下に、差分画像ＰＩＣ［Ｑ］を作成する方法を採用しているためである。別言すれば、図１２に示す差分ΔＲ，ΔＢ，ΔＷは、横方向隣接画素と縦方向隣接画素との双方に共通する共通差分ということになる。
【０１３８】
続いて、図１２の矢印Ａ１１のプロセス、すなわち、着目画素Ｃ（ｉ，ｊ）について読み出された参照領域Ｕ（ｉ，ｊ）内の６つの参照画素の画素値に基づいて、対応する画素Ｑ（ｉ，ｊ）の画素値となるべき差分ΔＲ，ΔＢ，ΔＷを算出するプロセスについて述べる。
【０１３９】
いま、図１３に示すように、１行目に光検知セルＣ１０〜Ｃ１４が配置され、２行目に光検知セルＣ２０〜Ｃ２４が配置されたセンサアレイの出力信号に基づいて、１行目に画素Ｃ１０〜Ｃ１４が配置され、２行目に画素Ｃ２０〜Ｃ２４が配置された元画像ＰＩＣ［Ｃ］が得られた場合を考える。ここでは、図１３のセルＣ１０，Ｃ１１，Ｃ１２が、それぞれ図３のセルＣａ，Ｃｂ，Ｃｃに対応するものとしよう。したがって、セルＣ１０，Ｃ１２，Ｃ１４の上方には、赤色分光素子Ｄ（Ｒ）が配置されており、赤色成分が図の黒矢印に示すように左右のセルに導かれる。また、セルＣ２１，Ｃ２３の上方には、青色分光素子Ｄ（Ｂ）が配置されており、青色成分が図の白矢印に示すように左右のセルに導かれる。
【０１４０】
そして、図示のとおり、セルＣ１１を着目画素Ｃ（ｉ，ｊ）として、図に太線枠で示す６つの画素Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２２，Ｃ２３が、参照領域Ｕ（ｉ，ｊ）内の参照画素として抽出されたものとしよう。この６つの参照画素の画素値は、各光検知セルによって検出されたエネルギー量であるから、それぞれをＥ１１，Ｅ１２，Ｅ１３，Ｅ２１，Ｅ２２，Ｅ２３と記述すれば、各画素値の成分構成は、図１３の各セル内に記載したとおりになる。図１４に示す（式１２）〜（式１７）は、これらをまとめたものである。
【０１４１】
すなわち、参照画素Ｃ１１の画素値は、Ｅ１１＝Ｗ１１＋Ｒ１０／２＋Ｒ１２／２であり（式１２）、参照画素Ｃ１２の画素値は、Ｅ１２＝Ｗ１２−Ｒ１２であり（式１３）、参照画素Ｃ１３の画素値は、Ｅ１３＝Ｗ１３＋Ｒ１２／２＋Ｒ１４／２であり（式１４）、参照画素Ｃ２１の画素値は、Ｅ２１＝Ｗ２１−Ｂ２１であり（式１５）、参照画素Ｃ２２の画素値は、Ｅ２２＝Ｗ２２＋Ｂ２１／２＋Ｂ２３／２であり（式１６）、参照画素Ｃ２３の画素値は、Ｅ２３＝Ｗ２３−Ｂ２３である（式１７）。
【０１４２】
ここで、Ｗｉｊ，Ｒｉｊ，Ｂｉｊは、分光素子がなかった場合に、光検知セルＣｉｊに入射したであろう本来の光の白色成分，赤色成分，青色成分を示している。たとえば、参照画素Ｃ１１の画素値Ｅ１１は、光検知セルＣ１１（この上には、分光素子は配置されていない）に向かう本来の白色成分Ｗ１１と、左に隣接する光検知セルＣ１０（この上には、赤色分光素子Ｄ（Ｒ）が配置されている）によって右側に分光された赤色成分Ｒ１０／２と、右に隣接する光検知セルＣ１２（この上には、赤色分光素子Ｄ（Ｒ）が配置されている）によって左側に分光された赤色成分Ｒ１２／２と、の和になるため、Ｅ１１＝Ｗ１１＋Ｒ１０／２＋Ｒ１２／２で求まることになる（式１２）。
【０１４３】
さて、前述のとおり、ここで述べる実施例では、「同一の着目画素に関しては、横方向差分と縦方向差分とが等しい」との仮定の下に、横方向隣接画素と縦方向隣接画素との双方に共通する共通差分ΔＲ，ΔＢ，ΔＷを求めることになるが、これらを求めるため、更に、「参照領域内の画素に関する隣接画素に対する画素値の差分は等しい」という仮定を置くことにする。もちろん、「横方向差分と縦方向差分とが等しい」との仮定も置くため、結局、ここで述べる実施例では、「１つの参照領域内の画素に関しては、隣接画素に対する各原色成分の画素値の差分が、縦横の方向にかかわらず等しい」という仮定を置くことになる。
【０１４４】
図１５は、このような仮定を説明するための図である。図１５に示す１０個の画素Ｃ１０〜Ｃ１４，Ｃ２０〜Ｃ２４は、図１３に示す１０個の画素と同じものであり、前述のとおり、このうち太線枠で囲った６個の画素を含む領域が参照領域Ｕ（ｉ，ｊ）として抽出される。図に示すΔＷａ〜ΔＷｋは、隣接する２つの画素について、分光素子がなかった場合に得られる白色成分の画素値の差分を示している。
【０１４５】
たとえば、画素Ｃ１０とＣ１１との間の矢印に付されている差分ΔＷａは、分光素子がなかった場合に光検知セルＣ１０に入射するであろう光の白色成分Ｗ１０と、分光素子がなかった場合に光検知セルＣ１１に入射するであろう光の白色成分Ｗ１１と、の差分を示しており、画素Ｃ１１とＣ２１との間の矢印に付されている差分ΔＷｅは、分光素子がなかった場合に光検知セルＣ１１に入射するであろう光の白色成分Ｗ１１と、分光素子がなかった場合に光検知セルＣ２１に入射するであろう光の白色成分Ｗ２１と、の差分を示している。
【０１４６】
上記仮定は、ΔＷａ＝ΔＷｂ＝ΔＷｃ＝ΔＷｄ＝ΔＷｅ＝ΔＷｆ＝ΔＷｇ＝ΔＷｈ＝ΔＷｉ＝ΔＷｊ＝ΔＷｋ＝ΔＷと近似するものであり、参照領域Ｕ（ｉ，ｊ）内の６つの参照画素に関しては、隣接画素に対する白色成分の画素値の差分が、すべて同一のΔＷになる、という前提を示すものになる。図１５には、白色成分ΔＷが等しくなる例が示されているが、赤色成分ΔＲや青色成分ΔＢについても、同様の仮定が置かれることになる。
【０１４７】
もちろん、上記仮定は、理論的には正しいものではなく、あくまでも近似的に成り立つものである。ここでは、このような仮定に基づく近似を二次近似と呼ぶことにする。このような近似的な手法を用いるのは、参照領域Ｕ（ｉ，ｊ）内の６画素の画素値に基づいて、着目画素Ｃ（ｉ，ｊ）についての共通差分ΔＲ，ΔＢ，ΔＷを求めるためである。すなわち、上記仮定を置けば、以下に述べる方法により、共通差分ΔＲ，ΔＢ，ΔＷを算出することができる。
【０１４８】
まず、図１６に示す式を参照する。この式の１行目は、図１４の（式１４）の両辺から（式１２）の両辺を減じる式に相当する。この１行目の式の右辺を変形すると、２行目および３行目の式が得られる。２行目の式における項「−Ｗ１２」および項「＋Ｗ１２」は、１行目の式には含まれていなかった新たな項であるが、両者の合計は零になるため、右辺にこれらの項を追加しても問題はない。
【０１４９】
そこで、２行目の式において、矩形枠で囲った部分に着目すると、図１５で説明した仮定をおいたため、「Ｗ１３−Ｗ１２」の部分（図１５のΔＷｃに相当）および「Ｗ１２−Ｗ１１」の部分（図１５のΔＷｂに相当）は、いずれも差分ΔＷに置き換えることができる。同様に、３行目の式において、「１／２（Ｒ１４−Ｒ１２）」の部分および「１／２（Ｒ１２−Ｒ１０）」の部分は、いずれも差分ΔＲに置き換えることができる。したがって、最終的に、Ｅ１３−Ｅ１１＝２（ΔＷ＋ΔＲ）なる式が得られる（式１８）。
【０１５０】
続いて、図１７に示す式を参照する。この式の１行目は、図１４の（式１７）の両辺から（式１５）の両辺を減じる式に相当する。この１行目の式の右辺を変形すると、２行目の式が得られる。この２行目の式において、矩形枠で囲った部分に着目すると、図１５で説明した仮定をおいたため、「Ｗ２３−Ｗ２１」の部分（図１５のΔＷｉ＋ΔＷｊに相当）は差分２・ΔＷに置き換えることができる。同様に、「Ｂ２３−Ｂ２１」の部分は、差分２・ΔＢに置き換えることができる。したがって、最終的に、Ｅ２３−Ｅ２１＝２（ΔＷ−ΔＢ）なる式が得られる（式１９）。
【０１５１】
最後に、図１８に示す式を参照する。この式の１行目は、図１４の（式１５）の両辺と（式１６）の両辺の和から、（式１３）の両辺および（式１２）の両辺を減じる式に相当する。この式の右辺を変形して、矩形枠で囲った部分に着目すると、「Ｗ２１−Ｗ１１」の部分（図１５のΔＷｅに相当）および「Ｗ２２−Ｗ１２」の部分（図１５のΔＷｆに相当）は、いずれも差分ΔＷに置き換えることができる。同様に、「１／２（Ｂ２３−Ｂ２１）」の部分は、ΔＢに置き換えることができ、「１／２（Ｒ１２−Ｒ１０）」の部分は、差分ΔＲに置き換えることができる。したがって、最終的に、Ｅ２１＋Ｅ２２−Ｅ１２−Ｅ１１＝２・ΔＷ＋ΔＢ＋ΔＲなる式が得られる（式２０）。
【０１５２】
結局、図１６〜図１８に示す式をまとめると、図１９の上段に示すような（式２１）〜（式２３）が得られる。これらの式の左辺は、図１３に示すとおり、６個の参照画素の画素値として得られる既知の値ということになる。一方、これらの式の右辺には、３つの未知数ΔＷ，ΔＲ，ΔＢが含まれている。結局、図１９の上段に示す（式２１）〜（式２３）なる３本の方程式は、３元連立方程式を構成することになり、当該連立方程式を解くことにより、３つの未知数ΔＷ，ΔＲ，ΔＢを求めることができる。なお、式が複雑になるため、ここでは、連立方程式の解の式の図示は省略する。
【０１５３】
この図１９の上段に示す３元連立方程式は、図１３に示すＣ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２２，Ｃ２３という具体的な画素を含む参照領域Ｕ（ｉ，ｊ）に基づいて、着目画素Ｃ（ｉ，ｊ）についての色別共通差分ΔＲ，ΔＢ，ΔＷを求めるための式ということになるが、これを一般論として記述すると、図１９の下段に示すように、
Ｅ（ｉ，ｊ＋２）−Ｅ（ｉ，ｊ）＝２（ΔＷ＋ΔＲ）            （式２４）
Ｅ（ｉ＋１，ｊ＋２）−Ｅ（ｉ＋１，ｊ）＝２（ΔＷ−ΔＢ）    （式２５）
Ｅ（ｉ＋１，ｊ）＋Ｅ（ｉ＋１，ｊ＋１）−Ｅ（ｉ，ｊ＋１）
−Ｅ（ｉ，ｊ）＝２・ΔＷ＋ΔＢ＋ΔＲ        （式２６）
なる３元連立方程式が得られる。
【０１５４】
結局、図１２左上の元画像ＰＩＣ［Ｃ］に基づいて、右上の差分画像ＰＩＣ［Ｑ］を作成する場合、まず、元画像ＰＩＣ［Ｃ］上の第ｉ行第ｊ列の着目画素Ｃ（ｉ，ｊ）について、図に太線枠で囲った６画素を参照画素として抽出し、これら参照画素の画素値Ｅ（ｉ，ｊ），Ｅ（ｉ，ｊ＋１），Ｅ（ｉ，ｊ＋２），Ｅ（ｉ＋１，ｊ），Ｅ（ｉ＋１，ｊ＋１），Ｅ（ｉ＋１，ｊ＋２）に基づいて、上述の３元連立方程式の解となる色別共通差分ΔＲ，ΔＢ，ΔＷを求め、これを差分画像ＰＩＣ［Ｑ］上の第ｉ行第ｊ列の画素Ｑ（ｉ，ｊ）の画素値として書き込む処理を行えばよい。
【０１５５】
このような処理を、元画像ＰＩＣ［Ｃ］上の個々の画素をそれぞれ着目画素として繰り返し実行すれば、差分画像ＰＩＣ［Ｑ］を構成する個々の画素の画素値を求めることができ、差分画像ＰＩＣ［Ｑ］を作成することができる。
【０１５６】
図２０は、こうして作成した差分画像ＰＩＣ［Ｑ］から変換画像ＰＩＣ［Ｐ］を得る手順を示す平面図である。図の左上に示す差分画像ＰＩＣ［Ｑ］は、図１２に示す手順によって作成された差分画像ＰＩＣ［Ｑ］であり、原色ごとの階調変化の分布を示す画像である。一方、図の右上に示す変換画像ＰＩＣ［Ｐ］は、撮像対象物Ｈの二次元撮影像として出力される画像であり、以下に述べる手順によって作成される。
【０１５７】
§３−１で述べたとおり、変換画像ＰＩＣ［Ｐ］を作成するためには、少なくとも１つの基準画素Ｔについて、適切な画素値を決定してやる必要がある。そこで、ここでも、図２０の矢印Ａ１３に示すように、基準画素Ｔ（画素Ｐ（ｉ，ｊ））に対して、３原色の基準画素値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）を何らかの方法で決定したものとしよう。こうして決定された基準画素値は、矢印Ａ１４に示すように、変換画像ＰＩＣ［Ｐ］上の基準画素Ｔ（太枠のハッチング領域として示す）の画素値として書き込まれる。
【０１５８】
続いて、矢印Ａ１５に示すように、差分画像ＰＩＣ［Ｑ］上の「基準画素Ｔに対応する位置（第ｉ行第ｊ列目）」にある画素Ｑ（ｉ，ｊ）（太枠のハッチング領域として示す）の画素値を読み出す。差分画像ＰＩＣ［Ｑ］を構成する各画素の画素値の実体は、前述したとおり、色別共通差分ΔＲ，ΔＢ，ΔＷである。ここでは、画素Ｑ（ｉ，ｊ）から読み出された画素値を、図示のとおり、色別共通差分ΔＲ（ｉ，ｊ），ΔＢ（ｉ，ｊ），ΔＷ（ｉ，ｊ）とする。
【０１５９】
次に、矢印Ａ１３のプロセスで決定された基準画素値と、矢印Ａ１５のプロセスで読み出された各差分とに基づく演算により、未知画素の画素値を求める処理が行われる（矢印Ａ１６，Ａ１７のプロセス参照）。図２０には、変換画像ＰＩＣ［Ｐ］上の基準画素Ｔ（画素Ｐ（ｉ，ｊ））の右に隣接する未知画素Ｐ（ｉ，ｊ＋１）の画素値を求める演算を行う例が示されている。すなわち、未知画素Ｐ（ｉ，ｊ＋１）の３原色の画素値ｒ（ｉ，ｊ＋１），ｇ（ｉ，ｊ＋１），ｂ（ｉ，ｊ＋１）は、左に隣接する基準画素Ｐ（ｉ，ｊ）の基準画素値ｒ（ｉ，ｊ），ｇ（ｉ，ｊ），ｂ（ｉ，ｊ）と、矢印Ａ１５で読み出された色別共通差分ΔＲ（ｉ，ｊ），ΔＢ（ｉ，ｊ），ΔＷ（ｉ，ｊ）とに基づく演算により決定される。
【０１６０】
具体的には、図２０の下段に示すとおり、未知画素Ｐ（ｉ，ｊ＋１）の赤色画素値は、ｒ（ｉ，ｊ＋１）＝ｒ（ｉ，ｊ）＋ΔＲ（ｉ，ｊ）なる演算によって得られ（式２７）、緑色画素値は、ｇ（ｉ，ｊ＋１）＝ｇ（ｉ，ｊ）＋ΔＧ（ｉ，ｊ）なる演算によって得られ（式２８）、青色画素値は、ｂ（ｉ，ｊ＋１）＝ｂ（ｉ，ｊ）＋ΔＢ（ｉ，ｊ）なる演算によって得られる（式２９）。なお、緑色についての色別共通差分ΔＧ（ｉ，ｊ）は、ΔＧ（ｉ，ｊ）＝ΔＷ（ｉ，ｊ）−ΔＲ（ｉ，ｊ）−ΔＢ（ｉ，ｊ）なる演算によって求めることができる（式３０）。
【０１６１】
基準画素Ｔの下隣の未知画素Ｐ（ｉ＋１，ｊ）についても、全く同様の手順により、画素値ｒ（ｉ＋１，ｊ），ｇ（ｉ＋１，ｊ），ｂ（ｉ＋１，ｊ）を算出することができる。ここに示す実施例の場合、色別共通差分ΔＲ（ｉ，ｊ），ΔＢ（ｉ，ｊ），ΔＷ（ｉ，ｊ）は、縦方向差分としても横方向差分としても用いられる共通差分であるため、未知画素Ｐ（ｉ，ｊ＋１）についての画素値算出に用いられるとともに、未知画素Ｐ（ｉ＋１，ｊ）についての画素値算出にも利用される。
【０１６２】
こうして、基準画素Ｔに隣接する未知画素の画素値が求まり、当該未知画素が既知画素になったら、続いて、この既知画素に隣接する未知画素についての画素値を同様の手順によって求める。たとえば、未知画素Ｐ（ｉ，ｊ＋１）が既知画素になれば、当該既知画素Ｐ（ｉ，ｊ＋１）を基準画素Ｔの代わりに用いて上述した手順を繰り返せば、その右隣の未知画素Ｐ（ｉ，ｊ＋２）についての３原色の画素値ｒ（ｉ，ｊ＋２），ｇ（ｉ，ｊ＋２），ｂ（ｉ，ｊ＋２）を求めることができる。もちろん、このときに用いる色別共通差分は、差分画像ＰＩＣ［Ｑ］上の「既知画素Ｐ（ｉ，ｊ＋１）に対応する位置（第ｉ行第（ｊ＋１）列目）」にある画素Ｑ（ｉ，ｊ＋１）の画素値であるΔＲ（ｉ，ｊ＋１），ΔＢ（ｉ，ｊ＋１），ΔＷ（ｉ，ｊ＋１）ということになる。
【０１６３】
このようにして、少なくとも１つの基準画素Ｔに対する画素値を決定すれば、基準画素Ｔに隣接する未知画素の画素値を求めて既知画素にすることができ、更に、既知画素に隣接する未知画素の画素値を順次求めることができる。かくして、変換画像ＰＩＣ［Ｐ］を構成する全画素についての３原色の各画素値を求めることができる。
【０１６４】
§２で述べた本願第１発明では、元画像ＰＩＣ［Ｃ］上にブロックＫを定義して、「１つのブロック内には、同じ光が均一に照射される」と仮定する一次近似を利用して変換画像ＰＩＣ［Ｐ］を作成した。これに対して、ここで述べる本願第２発明の実施例では、元画像ＰＩＣ［Ｃ］上に参照領域Ｕ（ｉ，ｊ）を定義して、「１つの参照領域内の画素に関しては、隣接画素に対する各原色成分の画素値の差分が、縦横の方向にかかわらず等しい」と仮定する二次近似を利用して差分画像ＰＩＣ［Ｑ］を作成し、この差分画像ＰＩＣ［Ｑ］に基づいて変換画像ＰＩＣ［Ｐ］を作成することになる。
【０１６５】
一般に「隣接画素間の画素値自体が同一」と仮定する一次近似に比べて、「隣接画素間の画素値の差分が同一」と仮定する二次近似の方が誤差は少ないものと考えられる。したがって、ここで述べる本願第２発明の実施例によれば、前述した本願第１発明の実施例に比べて、より誤差の少ない正確な撮影画像が得られることが期待できる。
【０１６６】
＜３−３．固体撮像装置の構成および動作＞
これまで、§３−１において、差分画像を利用する本願第２発明の基本概念を説明し、§３−２において、差分画像および変換画像の具体的な作成方法を説明した。ここでは、これらの説明を踏まえて、本願第２発明に係る固体撮像装置の構成および動作を説明する。
【０１６７】
図２１は、本願第２発明に係る固体撮像装置の基本構成を示すブロック図である。この固体撮像装置は、図示のとおり、撮像対象物Ｈからの光を受光する多数の光検知セルＣを有するセンサアレイ１００と、個々の光検知セルＣが検知した光のエネルギー量Ｅを個々の画素の画素値とする元画像ＰＩＣ［Ｃ］を格納する元画像格納手段２００と、この元画像ＰＩＣ［Ｃ］に対して所定の演算処理を施して変換画像ＰＩＣ［Ｐ］を生成する演算処理手段６００と、演算処理手段６００が生成した変換画像ＰＩＣ［Ｐ］を格納する変換画像格納手段４００と、この変換画像ＰＩＣ［Ｐ］を、センサアレイ１００によって撮像した撮像対象物Ｈのカラー画像として出力する変換画像出力手段５００と、を備えている。
【０１６８】
ここでセンサアレイ１００、元画像格納手段２００、変換画像格納手段４００、変換画像出力手段５００は、図５に示す本願第１発明に係る固体撮像装置に用いられていた同符号の構成要素と全く同じであるため、ここでは説明を省略する。本願第２発明に係る固体撮像装置の特徴は、本願第１発明に係る固体撮像装置に用いられていた演算処理手段３００の代わりに、図２１に示す演算処理手段６００を用いる点にある。
【０１６９】
演算処理手段６００は、元画像格納手段２００内に格納されている元画像ＰＩＣ［Ｃ］に基づいて変換画像ＰＩＣ［Ｐ］を生成し、これを変換画像格納手段４００に格納する処理を行う。ここで、変換画像ＰＩＣ［Ｐ］を構成する画素配列のサイズは、元画像ＰＩＣ［Ｃ］を構成する画素配列のサイズとほぼ等しい（実際には、前述したとおり、前者は後者より僅かに小さくなる）。図２１に示すとおり、演算処理手段６００は、差分画像作成部６１０、差分画像格納部６２０、変換画像作成部６３０、基準画素値決定部６４０を有している。
【０１７０】
ここで、差分画像作成部６１０は、元画像ＰＩＣ［Ｃ］について、隣接する画素間の画素値の差分を示す差分画像ＰＩＣ［Ｑ］を作成する構成要素であり、画素Ｑ（ｉ，ｊ）の画素値は、参照領域Ｕ（ｉ，ｊ）内の６画素の画素値に基づいて決定される。その具体的な方法は、既に§３−２で図１２等を参照して説明したとおりである。差分画像格納部６２０は、こうして作成された差分画像ＰＩＣ［Ｑ］を格納する構成要素である。
【０１７１】
一方、基準画素値決定部６４０は、変換画像ＰＩＣ［Ｐ］の一部となるべき基準画素Ｔに対して、所定の基準画素値を決定する構成要素であり、具体的には、図２０に矢印Ａ１３で示すプロセスを実行する機能を有している。この基準画素値決定部６４０の具体的な処理内容に関しては、後の§３−４において詳述する。
【０１７２】
また、変換画像作成部６３０は、基準画素値決定部６４０が決定した基準画素値と、差分画像格納部６２０に格納されている差分画像ＰＩＣ［Ｑ］とに基づいて、基準画素以外の画素の画素値を求めることにより、変換画像ＰＩＣ［Ｐ］を作成し、変換画像格納手段４００に格納する構成要素である。変換画像ＰＩＣ［Ｐ］を作成する具体的な方法は、既に§３−２で図２０等を参照して説明したとおりである。
【０１７３】
この演算処理手段６００において、差分画像格納部６２０の実体は、差分画像ＰＩＣ［Ｑ］を画像データとして格納するためのメモリ等の記憶手段である。また、差分画像作成部６１０、変換画像作成部６３０、基準画素値決定部６４０の実体は、ＣＰＵなどのプロセッサと演算処理プログラムとの有機的な結合、もしくは、それと同等の機能を果たすハードウェア論理回路により実現されるものである。
【０１７４】
続いて、§３−２で述べた説明事項を踏まえて、差分画像作成部６１０および変換画像作成部６３０のより詳細な処理動作を説明する。
【０１７５】
まず、差分画像作成部６１０による差分画像ＰＩＣ［Ｑ］の作成処理の具体的手順は、図１２を参照しながら既に述べたとおりである。当該作成処理の概要は、結局、元画像ＰＩＣ［Ｃ］の中の１つの着目画素Ｃ（ｉ，ｊ）およびその近傍に位置する近傍画素Ｃ（ｉ，ｊ＋１），Ｃ（ｉ，ｊ＋２），Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋１，ｊ＋１），Ｃ（ｉ＋１，ｊ＋２）を、当該着目画素Ｃ（ｉ，ｊ）についての参照画素（図１２に示す例の場合、参照領域Ｕ（ｉ，ｊ）内の６画素）として抽出し、これら参照画素の画素値に基づいて、着目画素Ｃ（ｉ，ｊ）に隣接する隣接画素の、着目画素Ｃ（ｉ，ｊ）に対する画素値の差分を求め、求めた差分を着目画素Ｃ（ｉ，ｊ）の位置に対応する差分画像ＰＩＣ［Ｑ］上の位置にある画素Ｑ（ｉ，ｊ）の画素値とする差分画素値決定処理を、元画像ＰＩＣ［Ｃ］の中の個々の画素をそれぞれ着目画素Ｃ（ｉ，ｊ）として繰り返し実行することにより差分画像ＰＩＣ［Ｑ］を作成する処理と言うことができる。
【０１７６】
一方、変換画像作成部６３０による変換画像ＰＩＣ［Ｐ］の作成処理の具体的手順は、図２０を参照しながら既に述べたとおりである。当該作成処理の概要は、結局、変換画像ＰＩＣ［Ｐ］上で基準画素Ｔに隣接する未知画素についての画素値を、基準画素値決定部６４０によって決定された基準画素値と、差分画像ＰＩＣ［Ｑ］上の基準画素Ｔに対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、上記未知画素を既知画素とする処理を行った後、変換画像ＰＩＣ［Ｐ］上で上記既知画素に隣接する新たな未知画素についての画素値を、上記既知画素の画素値と、差分画像ＰＩＣ［Ｑ］上の上記既知画素に対応する位置にある画素の画素値として与えられている差分と、に基づいて決定することにより、上記新たな未知画素を既知画素とする処理を、必要に応じて繰り返し実行する処理と言うことができる。
【０１７７】
なお、本願第２発明の基本原理上は、差分画像作成部６１０が、着目画素Ｃ（ｉ，ｊ）の左もしくは右に隣接する横方向隣接画素の、着目画素Ｃ（ｉ，ｊ）に対する画素値の差分を横方向差分として求め、着目画素Ｃ（ｉ，ｊ）の上もしくは下に隣接する縦方向隣接画素の、着目画素Ｃ（ｉ，ｊ）に対する画素値の差分を縦方向差分として求め、求めた横方向差分および縦方向差分を、当該着目画素Ｃ（ｉ，ｊ）の位置に対応する差分画像ＰＩＣ［Ｑ］上の位置にある画素Ｑ（ｉ，ｊ）の画素値とする差分画素値決定処理を、元画像ＰＩＣ［Ｃ］の中の個々の画素をそれぞれ着目画素Ｃ（ｉ，ｊ）として繰り返し実行することにより差分画像ＰＩＣ［Ｑ］の作成を行えばよい。
【０１７８】
この場合、変換画像作成部６３０は、基準画素もしくは既知画素の横方向に隣接する未知画素については、横方向差分を用いて画素値の決定を行い、基準画素もしくは既知画素の縦方向に隣接する未知画素については、縦方向差分を用いて画素値の決定を行うことになる。
【０１７９】
ただ、実用上は、図１５を用いて説明したように、同一の着目画素に対しては、横方向差分と縦方向差分とが等しいとの仮定をおき、差分画像作成部６１０が、横方向隣接画素と縦方向隣接画素との双方に共通する共通差分を求めるようにすることができる。この場合、変換画像作成部６３０は、基準画素もしくは既知画素の横方向に隣接する未知画素についても、縦方向に隣接する未知画素についても、上記共通差分を用いて画素値の決定を行うことになる。
【０１８０】
より具体的に説明すれば、差分画像作成部６１０が、３原色の色成分ごとにそれぞれ色別共通差分ΔＲ，ΔＧ，ΔＢを求めるようにし、基準画素値決定部６４０が、３原色の各画素値を色別基準画素値として決定し、変換画像作成部６３０が、この色別基準画素値と色別共通差分ΔＲ，ΔＧ，ΔＢとに基づいて、３原色の色成分ごとにそれぞれ未知画素の色別画素値を決定すればよい。
【０１８１】
これまで述べてきた実施例では、図３(a) に示すように、センサアレイ１００に設ける分光素子として、所定の光検知セルＣｚ１の位置を行列の起点として、奇数行かつ偶数列に配置された光検知セルに向かう光の第１の原色成分Ｒを、左右に隣接する一対の光検知セルに導くように分光する第１属性の分光素子Ｄ（Ｒ）と、偶数行かつ奇数列に配置された光検知セルに向かう光の第２の原色成分Ｂを、左右に隣接する一対の光検知セルに導くように分光する第２属性の分光素子Ｄ（Ｂ）と、を用いている。
【０１８２】
このような構成をもったセンサアレイ１００を利用した場合、差分画像作成部６１０は、図１２に示すように、着目画素Ｃ（ｉ，ｊ）を含む２行３列の行列（参照領域Ｕ（ｉ，ｊ））内の６個の画素を参照画素として抽出し、この６個の参照画素の画素値に基づいて、３原色の色成分ごとにそれぞれ色別共通差分ΔＲ，ΔＧ，ΔＢを求めることができる。
【０１８３】
このとき、これまで述べてきた実施例では、３原色を構成する第１の原色成分Ｒ、第２の原色成分Ｂ、第３の原色成分Ｇのうち、第３の原色成分Ｇの差分を示す値として、第３の原色成分Ｇそのものの差分ΔＧに代えて、３つの原色成分を混合した白色成分Ｗの差分ΔＷを用い、必要に応じて、この白色成分の差分ΔＷから第１の原色成分の差分ΔＲおよび第２の原色成分ΔＢの差分を減じる演算を行うことにより、白色成分の差分ΔＷを第３の原色成分の差分ΔＧに置換する処理を行っている。
【０１８４】
これまで述べてきた実施例における差分画像作成部６１０は、図１２の矢印Ａ１０のプロセスとして示すように、元画像ＰＩＣ［Ｃ］の第ｉ行第ｊ列目の画素Ｃ（ｉ，ｊ）を着目画素とし、第ｉ行第（ｊ＋１）列目の画素Ｃ（ｉ，ｊ＋１），第ｉ行第（ｊ＋２）列目の画素Ｃ（ｉ，ｊ＋２），第（ｉ＋１）行第ｊ列目の画素Ｃ（ｉ＋１，ｊ），第（ｉ＋１）行第（ｊ＋１）列目の画素Ｃ（ｉ＋１，ｊ＋１），第（ｉ＋１）行第（ｊ＋２）列目の画素Ｃ（ｉ＋１，ｊ＋２）を近傍画素として、合計６個の画素を参照画素として抽出している。
【０１８５】
そして、画素Ｃ（ｉ，ｊ），Ｃ（ｉ，ｊ＋１），Ｃ（ｉ，ｊ＋２），Ｃ（ｉ＋１，ｊ），Ｃ（ｉ＋１，ｊ＋１），Ｃ（ｉ＋１，ｊ＋２）の画素値をそれぞれＥ（ｉ，ｊ），Ｅ（ｉ，ｊ＋１），Ｅ（ｉ，ｊ＋２），Ｅ（ｉ＋１，ｊ），Ｅ（ｉ＋１，ｊ＋１），Ｅ（ｉ＋１，ｊ＋２）としたときに、第１の原色成分Ｒについての色別共通差分ΔＲ，第２の原色成分Ｂについての色別共通差分ΔＢ，白色成分Ｗについての色別共通差分ΔＷを未知数として、
Ｅ（ｉ，ｊ＋２）−Ｅ（ｉ，ｊ）＝２（ΔＷ＋ΔＲ）
Ｅ（ｉ＋１，ｊ＋２）−Ｅ（ｉ＋１，ｊ）＝２（ΔＷ−ΔＢ）
Ｅ（ｉ＋１，ｊ）＋Ｅ（ｉ＋１，ｊ＋１）
−Ｅ（ｉ，ｊ＋１）−Ｅ（ｉ，ｊ）＝２・ΔＷ＋ΔＢ＋ΔＲ
なる３元連立方程式を立て、その解として色別共通差分ΔＲ，ΔＢ，ΔＷを求め、当該色別共通差分ΔＲ，ΔＢ，ΔＷを差分画像ＰＩＣ［Ｑ］の第ｉ行第ｊ列目の画素Ｑ（ｉ，ｊ）の画素値とする差分画素値決定処理を行っている。
【０１８６】
一方、これまで述べてきた実施例における変換画像作成部６３０は、図２０の矢印Ａ１６，Ａ１７のプロセスとして示すように、変換画像ＰＩＣ［Ｐ］上の基準画素Ｔもしくは既知画素の右方向もしくは下方向に隣接する未知画素についての３原色の色成分ごとの各画素値を、基準画素Ｔもしくは既知画素の３原色の色成分ごとの各画素値に、差分画像ＰＩＣ［Ｑ］上の、基準画素Ｔもしくは上記既知画素に対応する位置にある画素の画素値として与えられている各色別共通差分を加える演算により求める処理を行っている。
【０１８７】
＜３−４．基準画素値決定部の具体的処理動作＞
ここでは、図２１に示す基準画素値決定部６４０の具体的な処理動作を述べる。前述したとおり、基準画素値決定部６４０は、変換画像ＰＩＣ［Ｐ］の一部となるべき基準画素Ｔに対して、所定の基準画素値を決定する構成要素であり、図２０に矢印Ａ１３で示すプロセスを実行する。差分画像ＰＩＣ［Ｑ］が画素値の差分を示す分布画像であるのに対して、変換画像ＰＩＣ［Ｐ］は撮像対象物Ｈの二次元画像であり、基準画素Ｔは、この二次元画像の一部に組み込まれる画素になる。
【０１８８】
＜３−４−１．第１の方法＞
このような基準画素Ｔの画素値を決定する第１の方法は、センサアレイに、基準画素値を決定するために用いる補助光検知セルを設けておき、この補助光検知セルが検知した光のエネルギー量を利用する方法である。
【０１８９】
図２２は、このような補助光検知セルを付加したセンサアレイの左上隅部分を示す平面図である。図に太線枠で囲われた部分は、これまで述べてきた実施例で用いられている本来のセンサアレイ１００として機能する部分であり、個々の光検知セルが行列状に配置されている。すなわち、第１行目にはセルＣ１１，Ｃ１２，Ｃ１３，... が配置され、第２行目にはセルＣ２１，Ｃ２２，Ｃ２３，... が配置され、第３行目にはセルＣ３１，Ｃ３２，Ｃ３３，... が配置されている。
【０１９０】
そして、奇数行かつ偶数列に配置された光検知セルＣ１２，Ｃ１４，Ｃ３２，Ｃ３４，... の上には赤色分光素子Ｄ（Ｒ）が配置され、赤色成分Ｒが黒矢印で示すように左右の隣接セルに分光され、偶数行かつ奇数列に配置された光検知セルＣ２３，Ｃ２５，... の上には青色分光素子Ｄ（Ｂ）が配置され、青色成分Ｂが白矢印で示すように左右の隣接セルに分光される。ただ、偶数行の１列目の光検知セルＣ２１の上に配置される青色分光素子Ｄ（Ｂ）′については、左側に分光した青色成分Ｂが太線枠を越えて左隣のセルには届かないような工夫が施されている（たとえば、太線枠の位置に遮蔽板などを配置すればよい）。
【０１９１】
一方、太線枠の外側には、５組の補助光検知セルＣ００，Ｃ０１，Ｃ０２，Ｃ１０，Ｃ２０が付加されている。セル行列に、便宜上、第０行目および第０列目を定義すれば、補助光検知セルＣ００，Ｃ０１，Ｃ０２は第０行目に配置されており、補助光検知セルＣ００，Ｃ１０，Ｃ２０は第０列目に配置されていることになる。
【０１９２】
これらの補助光検知セルは、太線枠の内側に設けられた光検知セルＣ１１，Ｃ１２，Ｃ１３，... と同じセルであり、その上には、集光レンズも設けられているが、分光素子は設けられていない。したがって、各補助光検知セルには、撮影対象物Ｈから発せられた光の白色成分Ｗがそのまま入射することになる。この図２２に示す例は、太線枠の内側のセル行列の左上隅に位置するセルＣ１１に対応する画素を基準画素Ｔに設定することを意図したものであり、５組の補助光検知セルＣ００，Ｃ０１，Ｃ０２，Ｃ１０，Ｃ２０は、セルＣ１１に対応する基準画素Ｔの基準画素値を決定する役割を果たす。
【０１９３】
要するに、ここに示す実施例の場合、センサアレイが、二次元行列状に配列された光検知セル群（太線枠の内側のセル行列）に加えて、当該光検知セル群の外周部を占める外周部光検知セル（図示の例の場合、太線枠の内側に配置されたセルＣ１１，Ｃ１２，Ｃ１３，Ｃ１４，Ｃ１５，Ｃ２１，Ｃ３１）の更に外側近傍に配置された補助光検知セルＣ００，Ｃ０１，Ｃ０２，Ｃ１０，Ｃ２０を有していることになる。
【０１９４】
したがって、基準画素値決定部６４０は、上記外周部光検知セルのいずれかを基準画素Ｔとして、当該基準画素Ｔについての基準画素値を、補助光検知セルが検知した光のエネルギー量を利用して決定することができる。ここでは、外周部光検知セルＣ１１を基準画素Ｔに設定した例を述べるが、もちろん、セルＣ１２やＣ２１など、他の外周部光検知セルを基準画素Ｔに設定してもかまわない。補助光検知セルは、基準画素Ｔの近傍に配置することになる。
【０１９５】
図２３は、図２２に示す具体例における各画素の画素値構成を示す平面図である。図２２が、光検知セルの集合体の平面図であるのに対して、図２３は、個々の光検知セルが検知した光のエネルギー量を個々の画素の画素値とする元画像ＰＩＣ［Ｃ］を示す平面図ということになる。この元画像ＰＩＣ［Ｃ］は、一般的な矩形画像ではなく、左上部分に５組の余分な画素を含む変則的形状をもつ画像になるが、その画像データは、元画像格納手段２００に格納される。上述したとおり、図２２に示す光検知セルＣ１１に対応する画素が基準画素Ｔになる（図では、太線枠で囲って示されている）。
【０１９６】
これまでの実施例と同様に、図２３においても、光検知セルＣｉｊに対応する画素の画素値（光検知セルＣｉｊが検知した光のエネルギー量）を符号Ｅｉｊで示すことにする。上述したとおり、５組の補助光検知セルの上には、集光レンズは設けられているが、分光素子は設けられていない。すなわち、この実施例で用いられるセンサアレイは、撮像対象物Ｈからの光の全原色成分（白色成分）を５組の補助光検知セルに導く光学系を有している。
【０１９７】
したがって、図２３に示すように、太線枠の外側の５組の補助光検知セルに対応する各画素の画素値Ｅ００，Ｅ０１，Ｅ０２，Ｅ１０，Ｅ２０は、それぞれＷ００，Ｗ０１，Ｗ０２，Ｗ１０，Ｗ２０になる。ここで、Ｗｉｊは、第ｉ行第ｊ列目の補助光検知セルＣｉｊに入射する白色成分のエネルギー量である。一方、太線枠の内側の４組の光検知セルＣ１１，Ｃ１２，Ｃ２１，Ｃ２２に対応する各画素の画素値は、図示のとおり、Ｅ１１＝Ｗ１１＋Ｒ１２／２，Ｅ１２＝Ｗ１２−Ｒ１２，Ｅ２１＝Ｗ２１−Ｂ２１，Ｅ２２＝Ｗ２２＋Ｂ２１／２＋Ｂ２３／２になる。
【０１９８】
図２４は、この図２３に示す画素値構成に基づいて、基準画素Ｔの画素値を算出する式を示す図である。基準画素値決定部６４０は、この図２４に示す式に基づいて、基準画素Ｔの画素値を決定する。この図２４に示す式は、「分光素子による分光が行われなかった場合に、外周部光検知セルに入射する光のエネルギー量とその近傍に配置された補助光検知セルに入射する光のエネルギー量とが近似している」との仮定の下に導かれる。図２２に示す例の場合、「外周部光検知セル」とは、太線枠の内側に配置されたセルＣ１１，Ｃ１２，Ｃ２１等である。
【０１９９】
まず、図２４の１行目に示されているように、Ｅ１１−Ｗ１１＝Ｒ１２／２であるから、Ｒ１２＝２（Ｅ１１−Ｗ１１）が得られる（式３１）。しかも、上記仮定により、光検知セルＣ１１に入射する光の白色成分のエネルギー量Ｗ１１は、その近傍に位置する３つの補助光検知セルＣ００，Ｃ０１，Ｃ１０に入射する光のエネルギー量Ｅ００，Ｅ０１，Ｅ１０（Ｗ００，Ｗ０１，Ｗ１０）にほぼ等しいので、値Ｗ１１は、元画像ＰＩＣ［Ｃ］の３つの画素値Ｅ００，Ｅ０１，Ｅ１０の平均値として近似できる。すなわち、図２４の２行目に示されているように、値Ｗ１１は、Ｗ１１＝（Ｅ００＋Ｅ０１＋Ｅ１０）／３として求めることができる（式３２）。
【０２００】
一方、図２４の３行目に示されているように、Ｅ２０−Ｅ２１＝Ｗ２０−Ｗ２１＋Ｂ２１になるが（式３３）、上記仮定により、Ｗ２０＝Ｗ２１と近似することができるので、図２４の５行目に示されているように、値Ｂ２１は、Ｂ２１＝Ｅ２０−Ｅ２１として求めることができる（式３４）。その結果、基準画素Ｔ（セルＣ１１に対応する画素）の画素値Ｒ１１，Ｒ１２，Ｒ１３は、図２４の（式３５）〜（式３７）により決定できる。
【０２０１】
まず、基準画素Ｔの赤色画素値Ｒ１１については、Ｒ１１＝Ｒ１２−ΔＲ１１なる（式３５）が与えられる。この式は、Ｒ１２＝Ｒ１１＋ΔＲ１１という差分の基本公式から導かれる式であり、値Ｒ１２は、（式３１）および（式３２）に基づいて、元画像ＰＩＣ［Ｃ］の画素値に基づいて算出することができ、値ΔＲ１１は、差分画像ＰＩＣ［Ｑ］の画素Ｑ１１（基準画素Ｔに対応する画素）の赤色画素値の色別共通差分として得られているので、（式３５）によって、基準画素Ｔの赤色画素値Ｒ１１を決定できる。
【０２０２】
また、基準画素Ｔの青色画素値Ｂ１１については、Ｂ１１＝Ｂ２１−ΔＢ１１なる（式３６）が与えられる。この式は、Ｂ２１＝Ｂ１１＋ΔＢ１１という差分の基本公式から導かれる式であり、値Ｂ２１は、（式３４）に基づいて、元画像ＰＩＣ［Ｃ］の画素値に基づいて算出することができ、値ΔＢ１１は、差分画像ＰＩＣ［Ｑ］の画素Ｑ１１（基準画素Ｔに対応する画素）の青色画素値の色別共通差分として得られているので、（式３６）によって、基準画素Ｔの青色画素値Ｂ１１を決定できる。
【０２０３】
そして、基準画素Ｔの緑色画素値Ｇ１１については、Ｇ１１＝Ｗ１１−Ｒ１１−Ｂ１１なる（式３７）が与えられる。この式は、Ｗ１１＝Ｒ１１＋Ｇ１１＋Ｂ１１という基本公式から導かれる式である。ここで、値Ｗ１１は、（式３２）に基づいて、元画像ＰＩＣ［Ｃ］の画素値に基づいて算出することができ、値Ｒ１１は（式３５）に基づいて得られており、値Ｂ１１は（式３６）に基づいて得られているので、（式３７）によって、基準画素Ｔの緑色画素値Ｇ１１を決定できる。
【０２０４】
もちろん、上述した計算方法は、基準画素Ｔの基準画素値を決定する一例を示したものであり、この他にも様々な計算方法を採用することが可能である。たとえば、上記仮定により、Ｗ１２＝Ｗ０２と近似できるので、（式３１）の代わりに、Ｒ１２＝Ｅ０２−Ｅ１２なる（式３８）を用いて値Ｒ１２を計算することも可能である。
【０２０５】
また、（式３２）では、値Ｗ１１を３つの画素値Ｅ００，Ｅ０１，Ｅ１０の単純な算術平均値として近似しているが、Ｗ１１＝（（Ｅ０１×（Ｅ１０／Ｅ００））＋（Ｅ１０×（Ｅ０１／Ｅ００）））／２なる（式３９）を用いた加重平均値として近似することもできる。
【０２０６】
＜３−４−２．第２の方法＞
基準画素値決定部６４０によって基準画素Ｔの基準画素値を決定する第２の方法は、§１で述べた先願発明に係る方法により、ブロック単位の代表画素値を求め、得られた代表画素値を当該ブロック内の基準画素の基準画素値として利用する方法である。図２５は、このような方法で基準画素の画素値を求める方法を示す平面図である。
【０２０７】
図２５(a) は、元画像格納手段２００内に格納されている元画像ＰＩＣ［Ｃ］の左上隅部分を示す平面図である。図示のとおり、第１行目には、画素Ｃ１１，Ｃ１２，Ｃ１３，... が配置され、第２行目には、画素Ｃ２１，Ｃ２２，Ｃ２３，... が配置され、第３行目には、画素Ｃ３１，Ｃ３２，Ｃ３３，... が配置されている。図に示す太線枠は、この元画像ＰＩＣ［Ｃ］上に定義されたブロックＫであり、図３(b) に示すブロックＫ１，Ｋ２に相当する。図２５では、図３(b) と同様に、横方向に２画素分、縦方向に２画素分の合計４画素を含むブロックが定義されている。
【０２０８】
ここでは、こうして定義された各ブロックを、ブロックＫ１１，Ｋ１２，Ｋ１３，... ，Ｋ２１，Ｋ２２，Ｋ２３，... ，と呼ぶことにする。§２で述べた本願第１発明の場合は、縦および横に１画素分ずつずらして、相互に一部分が重複する多数のブロックを定義することになるが、この図２５に示す例では、先願発明と同様に、ブロックは縦および横に２画素ピッチで定義すれば足り、各ブロックは平面上で重複することはない。
【０２０９】
§１で図３および図４を参照して述べたとおり、個々のブロックに対しては、それぞれ３原色の代表画素値を算出することができる。たとえば、ブロックＫ１１の代表画素値は、４個の画素Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２の画素値に基づく所定の演算によって算出される。ここでは、このようなブロックの行列において、第ｉ行第ｊ列目に位置するブロックをブロックＫｉｊと呼び、当該ブロックＫｉｊに対して算出された３原色の代表画素値を、Ｒｉｊ，Ｇｉｊ，Ｂｉｊとする。図２５(a) の各ブロックの中央に描かれた円内には、当該ブロックに対して算出された代表画素値が記載されている。たとえば、ブロックＫ１１に対しては、その中央の円内に記載されているとおり、３原色の代表画素値Ｒ１１，Ｇ１１，Ｂ１１が算出される。
【０２１０】
ここで述べる実施例における基準画素値決定部６４０は、個々のブロックＫｉｊごとに、このような代表画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを算出し、算出した代表画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを、基準画素値として利用することになる。すなわち、この実施例の場合、元画像ＰＩＣ［Ｃ］上に定義されたブロックＫｉｊ内の１画素に対応する位置にある変換画像ＰＩＣ［Ｐ］上の画素が基準画素Ｔになり、ブロックＫｉｊに対して算出された代表画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊが、当該基準画素Ｔに与えるべき基準画素値になる。
【０２１１】
図２５(b) は、図２５(a) に示す元画像ＰＩＣ［Ｃ］に対応した変換画像ＰＩＣ［Ｐ］の平面図である。既に述べたとおり、変換画像ＰＩＣ［Ｐ］のサイズは、元画像ＰＩＣ［Ｃ］のサイズよりも僅かに小さくなるが、右端画素や下端画素を無視すれば、実用上、両画像を対応づける上で支障は生じない。そこで、図２５(b) に示す変換画像ＰＩＣ［Ｐ］上にも、元画像ＰＩＣ［Ｃ］と同様のブロックＫｉｊが定義されている。ここに示す実施例の場合、変換画像ＰＩＣ［Ｐ］上に定義された各ブロックＫｉｊの左上に位置する画素を基準画素Ｔに設定している。もちろん、基準画素Ｔは必ずしも左上の画素にする必要はなく、ブロック内の任意の１画素であればよい。別言すれば、ここに示す実施例の場合、１つのブロックに１つの基準画素Ｔが設定されることになる。
【０２１２】
図では、ブロックＫｉｊ（但し、ｉおよびｊは、ブロックの配列上での行および列を示すパラメータ）内に設定された基準画素を画素Ｔｉｊ（但し、ｉおよびｊは、画素の配列上での行および列を示すパラメータ）で示す。たとえば、ブロックＫ１１内の４画素のうち、左上の画素Ｔ１１が当該ブロックＫ１１について設定された基準画素であり、残りの画素Ｐ１２，Ｐ２１，Ｐ２２は、この時点における未知画素になる。同様に、ブロックＫ１２内の４画素のうち、左上の画素Ｔ１３が当該ブロックＫ１２について設定された基準画素であり、残りの画素Ｐ１４，Ｐ２３，Ｐ２４は、この時点における未知画素になる。そして、これらの各基準画素Ｔｉｊには、図２５(a) に示す元画像ＰＩＣ［Ｃ］上の対応ブロックＫｉｊに対して算出された代表画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊが、基準画素値として与えられる。
【０２１３】
たとえば、ブロックＫ１１内の基準画素Ｔ１１には、ブロックＫ１１に対して算出された代表画素値Ｒ１１，Ｇ１１，Ｂ１１が基準画素値として与えられ、ブロックＫ１２内の基準画素Ｔ１３には、ブロックＫ１２に対して算出された代表画素値Ｒ１２，Ｇ１２，Ｂ１２が基準画素値として与えられる。図２５(b) では、こうして与えられた基準画素値が括弧書きで示されている。
【０２１４】
このように、個々のブロックＫｉｊごとに基準画素Ｔｉｊが設定されるので、変換画像作成部６３０は、ブロックＫｉｊ内の未知画素の画素値を求める際には、当該ブロックＫｉｊ内の基準画素Ｔに与えられた基準画素値もしくは当該基準画素値から算出された既知画素の画素値を用いた演算を行う。たとえば、図２５(b) に示すブロックＫ２２内の未知画素Ｐ３４，Ｐ４３，Ｐ４４の画素値は、同じブロックＫ２２内の基準画素Ｔ３３に対して与えられた基準画素値Ｒ２２，Ｇ２２，Ｂ２２に基づいて決定され、当該決定を行う際に、別なブロック内の基準画素の基準画素値が参照されることはない。
【０２１５】
このように、ブロック単位で基準画素を設定し、未知画素の画素値を決定する演算を行う際に、同じブロック内の基準画素もしくは既知画素の画素値のみを参照するようにすれば、誤差の累積を抑制することができ、より適切な変換画像ＰＩＣ［Ｐ］を作成することができるようになる。
【０２１６】
たとえば、図２３に示す例の場合、変換画像ＰＩＣ［Ｐ］を構成する画素配列の左上隅に基準画素Ｔが設定され、当該基準画素Ｔに与えられた基準画素値を基準として、変換画像ＰＩＣ［Ｐ］内の全未知画素についての画素値が決定されることになるので、画素配列の右下隅近傍の未知画素について決定された画素値には、誤差が累積することになる。図２５に示す実施例では、このような誤差は、ブロック単位でリセットされることになり、１つのブロックで生じた誤差が別なブロックに累積されることはない。
【０２１７】
結局、この§３−４−２で述べる方法では、§１で述べた先願発明における解像度の低下という問題を、差分画像ＰＩＣ［Ｑ］を利用して解消していることになる。
【０２１８】
なお、図２５では、ブロックＫｉｊのサイズを４画素分としたが、もちろん、ブロックのサイズは４画素分に限定されるものではない。一般論として述べれば、基準画素値決定部６４０は、元画像ＰＩＣ［Ｃ］上に、横方向に複数ｍ画素、縦方向に複数ｎ画素を含むブロックＫｉｊを定義し、当該ブロックＫｉｊ内のｍ×ｎ個の画素の画素値に基づいて、当該ブロックＫｉｊを代表する代表画素値Ｒｉｊ，Ｇｉｊ，Ｂｉｊを求め、当該ブロックＫｉｊ内の１画素に対応する位置にある変換画像ＰＩＣ［Ｐ］上の画素を基準画素Ｔとして、求めた代表画素値を当該基準画素Ｔに与えるべき基準画素値とする処理を行えばよい。
【符号の説明】
【０２１９】
５０：センサアレイ
１００：センサアレイ
２００：元画像格納手段
３００：演算処理手段
３１０：画素値演算部
３２０：変換画像作成部
３３０：ブロック定義部
３４０：ブロック定義制御部
４００：変換画像格納手段
５００：変換画像出力手段
６００：演算処理手段
６１０：差分画像作成部
６２０：差分画像格納部
６３０：変換画像作成部
６４０：基準画素値決定部
Ａ１〜Ａ１６：処理プロセスを示す矢印
Ｂ：光の青色成分およびその画素値
Ｂｉｊ，Ｂ（ｉ，ｊ）：第ｉ行第ｊ列目の光検知セルＣｉｊ，Ｃ（ｉ，ｊ）に本来入射すべき青色光のエネルギー量（仮想画素値）
ｂｉｊ：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐｉｊの青色画素値
ｂ（ｉ，ｊ）：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐ（ｉ，ｊ）の青色画素値
Ｃａ〜Ｃｃ，Ｃｚ１，Ｃｚ２：光検知セル
Ｃ１〜Ｃ４，Ｃ１１〜Ｃ１５，Ｃ２１〜Ｃ２５，Ｃ３１〜Ｃ３５：光検知セル
Ｃ００〜Ｃ１０，Ｃ２０：補助光検知セル
Ｃｉｊ：第ｉ行第ｊ列目の光検知セル（元画像ＰＩＣ［Ｃ］の画素）
Ｃ（ｉ，ｊ）：第ｉ行第ｊ列目の光検知セル（元画像ＰＩＣ［Ｃ］の画素）
Ｄ（Ｂ），Ｄ（Ｂ）′：青色分光素子
Ｄ（Ｒ）：赤色分光素子
Ｅ１〜Ｅ４：各光検知セルＣ１〜Ｃ４に実際に入射した光のエネルギー量
Ｅｉｊ：光検知セルＣｉｊに実際に入射した光のエネルギー量（画素値）
Ｅ（ｉ，ｊ）：光検知セルＣ（ｉ，ｊ）に実際に入射した光のエネルギー量（画素値）
Ｆ（Ｒ）：赤色フィルタ
Ｆ（Ｇ）：緑色フィルタ
Ｇ：光の緑色成分およびその画素値
Ｇｉｊ：第ｉ行第ｊ列目の光検知セルＣｉｊに本来入射すべき緑色光のエネルギー量（仮想画素値）
Ｇｉｊ，Ｇ（ｉ，ｊ）：第ｉ行第ｊ列目の光検知セルＣｉｊ，Ｃ（ｉ，ｊ）に本来入射すべき緑色光のエネルギー量（仮想画素値）
ｇｉｊ：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐｉｊの緑色画素値
ｇ（ｉ，ｊ）：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐ（ｉ，ｊ）の緑色画素値
Ｈ：撮像対象物
ｉ：行列の行番号
ｊ：行列の列番号
Ｋｉｊ：第ｉ行第ｊ列目のブロック
Ｌａ〜Ｌｃ，Ｌａ′〜Ｌｃ′：集光レンズ（光学系）
Ｐｉｊ：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素
Ｐ（ｉ，ｊ）：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素
ＰＩＣ［Ｃ］：元画像
ＰＩＣ［Ｐ］：変換画像
ＰＩＣ［Ｑ］：差分画像
Ｑ（ｉ，ｊ）：差分画像ＰＩＣ［Ｑ］の第ｉ行第ｊ列目の画素
Ｒ：光の赤色成分およびその画素値
Ｒｉｊ，Ｒ（ｉ，ｊ）：第ｉ行第ｊ列目の光検知セルＣｉｊ，Ｃ（ｉ，ｊ）に本来入射すべき赤色光のエネルギー量（仮想画素値）
ｒｉｊ：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐｉｊの赤色画素値
ｒ（ｉ，ｊ）：変換画像ＰＩＣ［Ｐ］の第ｉ行第ｊ列目の画素Ｐ（ｉ，ｊ）の赤色画素値
Ｔ，Ｔｉｊ：基準画素
Ｕ（ｉ，ｊ）：元画像ＰＩＣ［Ｃ］の画素Ｃ（ｉ，ｊ）についての参照領域
Ｗ：光の白色成分（全原色成分）およびその画素値
Ｗｉｊ：第ｉ行第ｊ列目の光検知セルＣｉｊに本来入射すべき白色成分のエネルギー量（画素値）
Ｘ：行列の右方向
Ｙ：行列の下方向
Δ：任意の画素値の差分
ΔＢ：青色画素値の色別共通差分
ΔＢｘ：Ｘ方向に関する青色画素値の差分
ΔＢｙ：Ｙ方向に関する青色画素値の差分
ΔＢ（ｉ，ｊ）：差分画像ＰＩＣ［Ｑ］の画素Ｑ（ｉ，ｊ）の青色画素値
ΔＧ：緑色画素値の色別共通差分
ΔＧｘ：Ｘ方向に関する緑色画素値の差分
ΔＧｙ：Ｙ方向に関する緑色画素値の差分
ΔＧ（ｉ，ｊ）：差分画像ＰＩＣ［Ｑ］の画素Ｑ（ｉ，ｊ）の緑色画素値
ΔＲ：赤色画素値の色別共通差分
ΔＲｘ：Ｘ方向に関する赤色画素値の差分
ΔＲｙ：Ｙ方向に関する赤色画素値の差分
ΔＲ（ｉ，ｊ）：差分画像ＰＩＣ［Ｑ］の画素Ｑ（ｉ，ｊ）の赤色画素値
ΔＷ，ΔＷａ〜ΔＷ：白色画素値の色別共通差分
ΔＷｘ：Ｘ方向に関する白色画素値の差分
ΔＷｙ：Ｙ方向に関する白色画素値の差分
ΔＷ（ｉ，ｊ）：差分画像ＰＩＣ［Ｑ］の画素Ｑ（ｉ，ｊ）の白色画素値
【図１】
2016119598.tif 000003
【図２】
2016119598.tif 000004
【図３】
2016119598.tif 000005
【図４】
2016119598.tif 000006
【図５】
2016119598.tif 000007
【図６】
2016119598.tif 000008
【図７】
2016119598.tif 000009
【図８】
2016119598.tif 000010
【図９】
2016119598.tif 000011
【図１０】
2016119598.tif 000012
【図１１】
2016119598.tif 000013
【図１２】
2016119598.tif 000014
【図１３】
2016119598.tif 000015
【図１４】
2016119598.tif 000016
【図１５】
2016119598.tif 000017
【図１６】
2016119598.tif 000018
【図１７】
2016119598.tif 000019
【図１８】
2016119598.tif 000020
【図１９】
2016119598.tif 000021
【図２０】
2016119598.tif 000022
【図２１】
2016119598.tif 000023
【図２２】
2016119598.tif 000024
【図２３】
2016119598.tif 000025
【図２４】
2016119598.tif 000026
【図２５】
2016119598.tif 000027