(57)【特許請求の範囲】
【請求項１】
入射光を光電変換する受光素子である画素が２次元状に配置され、配置された所定の画素の周辺に位置する画素から得られる出力に応じて該所定の画素の感度を調節し、該画素の前記入射光側に位置する色分解フィルタを介して画素で得られた画素データを出力する固体撮像素子において、該固体撮像素子は、
前記色分解フィルタの部分が空隙または透明に形成され、前記画素の感度を調節する際の基準電位を前記入射光に応じて光電変換する第１の受光素子と、
前記色分解フィルタを配するパターンが形成され、前記画素データを出力する第２の受光素子とを含むことを特徴とする固体撮像素子。
【請求項２】
入射光を光電変換する受光素子である画素が２次元状に配置され、配置された所定の画素の周辺に位置する画素から得られる出力に応じて該所定の画素の感度を調節し、該画素の前記入射光側に位置する色分解フィルタを介して画素で得られた画素データを出力する固体撮像素子において、該固体撮像素子は、
ひとつの画素の感度調節における基準電位を前記入射光に応じて光電変換する第１の受光素子に対して形成される色分解フィルタの色と、前記ひとつの画素の画素データを出力する第２の受光素子に対して形成される色分解フィルタの色が同色であり、
前記ひとつの画素の感度調節は、該画素近傍の、該画素と同色の色分解フィルタが形成された画素における第１の受光素子から出力される画素出力の演算によるものであることを特徴とする固体撮像素子。
【請求項３】
入射光を光電変換する受光素子である画素が２次元状に配置され、配置された所定の画素の周辺に位置する画素から得られる出力に応じて該所定の画素の感度を調節し、該画素の前記入射光側に位置する色分解フィルタを介して画素で得られた画素データを出力する固体撮像素子において、該固体撮像素子は、
前記画素の感度を調節する際の基準電位を出力する第１の受光素子のアノード側に接続する抵抗と、隣接する画素における第１の受光素子のアノード側に接続した抵抗との接続を前記色フィルタの同色同士で行うことを特徴とする固体撮像素子。
【請求項４】
請求項２または３に記載の固体撮像素子において、前記色フィルタの配色パターンがベイヤパターンの場合、色R、Bにおける同色同士での抵抗ネットワークを横方向または縦方向に結ぶことを特徴とする固体撮像素子。
【請求項５】
請求項２または３に記載の固体撮像素子において、前記色フィルタの配色パターンが前記ベイヤパターンを45°回転させることにより画素ずらしさせた状態のG正方RB完全市松パターンの場合、三原色R, B, Gにおける同色同士での抵抗ネットワークを結ぶとともに、色R, Bの抵抗ネットワークを斜め方向に結ぶことを特徴とする固体撮像素子。
【請求項６】
請求項５に記載の固体撮像素子において、前記抵抗ネットワークは、色R, Bの色の接続方向を互いに交差する関係に接続することを特徴とする固体撮像素子。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子に関するものであり、たとえばインテリジェント機能を有するイメージセンサ、網膜の機能付き人工網膜カメラ、画像処理装置におけるフロントエンド等に用いて好適なものである。
【０００２】
【従来の技術】
これまで固体撮像素子と画像処理技術は、電荷結合素子（CCD: Charge Coupled Device）により高精細、高画質な画像が得られるように開発が行われてきている。また、この開発とともに、インテリジェント化を目指す試みも進められてきている。後者の開発では、C-MOS （Complementary-Metal Oxide Semiconductor ）センサが注目を集めている。C-MOS 機能の一つとして人工網膜の機能をモデル化したイメージセンサが報告されている。このような報告には、たとえば、宇井等、「感度自動調節機能を有する人工網膜LSI 」, 映像情報メディア学会技術報告Vol.23, No.30, p.29-33, (1999 年) がある。このイメージセンサは、画素が自動的に周辺の照度に応じて感度を調整することで広い受光感度範囲を実現し、様々な環境下での使用が検討されている。この人工網膜の機能をもたせるために画素は、基本的に等しい受光感度を有する２つの受光素子PD、受光素子PDの間に抵抗Riを接続し、この抵抗Riと一方の受光素子のカソード側の間に現れる電位を電流に変換して出力するAMI (Amplitude Mos Imager ) トランジスタ、および抵抗Riの他端側と他方の受光素子のアノード側とを接続させ、かつこの間に各抵抗の共通接点A を設けて、隣接する画素に接続する４つの並列抵抗Rnを用いて単独画素を構成する。全画素は、抵抗Rnによって接続されている。これにより、他方の受光素子のアノードにおける電位は抵抗Rnのネットワークにより近接画素間で平均化される。この構成による画素回路は、画素への入射光がその画素周辺で均一である場合、信号が出力されないこと、および周辺画素への入射光強度の平均値に応じて受光感度をシフトさせるという２つの大きな特徴を有している。
【０００３】
この報告に先立って、特開平10-293851 号公報（1998年）では、画像検出するとともに、画像処理を行う専用回路またはコンピュータの接続を介さなくても複数の画像処理結果の足し合わせを可能にできる画像感知および処理のための装置が提案されている。
【０００４】
また、各種ロボットの眼（人工網膜）として利用する固体撮像素子には、たとえば、特開平7-336600号公報がある。この例は、MOS 電界効果トランジスタ（MOSFET： Metal Oxide Semiconductor Field Effect Transistor）を配置したX-Y アドレス方式の電荷読出し回路を改善する際に光電変換素子の他、第１、第２の電荷加算素子を備え、それぞれ読み出した電荷を各電荷加算素子の入力点で列単位および行単位に加算する。これにより、この固体撮像装置は、２次元画像情報を行・列単位に独立して射影した１次元情報を得ることができ、被撮影対象のエッジ検出機能が低消費電力で備えることができるようにしている。
【０００５】
【発明が解決しようとする課題】
ところで、前述した特開平10-293851 号公報や映像情報メディア学会技術報告のように構成した人工網膜機能を有する撮像素子にカラーフィルタを貼った場合、単色光を入射しても各画素での平均値が正しく得られない。これは隣接した画素を考慮して接続していることにより、結果的に色フィルタの配色パターンに応じて混色した平均値、すなわちリファレンス信号となってしまう。このようなカラー表示における問題点は、特開平7-336600号公報を適用しても電荷を各電荷加算素子の入力点で列単位および行単位に加算しているので、混色は防止できない。
【０００６】
本発明はこのような従来技術の欠点を解消し、人工網膜機能を発揮させるリファレンス信号を正しい情報で表して違和感のないカラー表示を可能にする固体撮像素子を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、周辺の明るさに応じて画素の感度調節を行いながら人工網膜機能を発揮させるとともに、この画素の入射光側に色分解する色フィルタを介して得られる色情報を含む画素データを出力する固体撮像装置において、画素の感度調節を行う際の基準電位を入射光に応じて光電変換する第１の受光素子に対して色フィルタの部分を空隙または透明にし、色情報を含む画素データを出力する第２の受光素子に対して色フィルタを配するパターンを形成することを特徴とする。
【０００８】
本発明の固体撮像装置は、空隙または透明な色フィルタの部分を介して入射光が第１の受光素子に供給されることにより、色フィルタが形成されていた際に基準電位に含まれていた他の色情報の混入、すなわち混色を回避して、この第１の受光素子から色情報を含まない輝度情報の平均値が基準として得られる。
【０００９】
また、本発明は上述の課題を解決するために、周辺の明るさに応じて画素の感度調節を行いながら人工網膜機能を発揮させるとともに、この画素の入射光側に色分解する色フィルタを介して得られる色情報を含む画素データを出力する固体撮像装置において、画素の感度調節を行う際の基準電位を出力する第１の受光素子のアノード側に接続する抵抗と、隣接する画素における第１の受光素子のアノード側に接続した抵抗との接続を色フィルタの同色同士で行うことを特徴とする。
【００１０】
ここで、色フィルタの配色パターンがベイヤパターンの場合、色R, Bにおける同色同士での抵抗ネットワークを横方向または縦方向に結ぶことが好ましい。
【００１１】
また、色フィルタの配色パターンがベイヤパターンを45°回転させることにより画素ずらしさせた状態のG 正方RB完全市松パターンの場合、三原色R, B, G における同色同士での抵抗ネットワークを結ぶとともに、色R, Bの抵抗ネットワークを斜め方向に結ぶことが望ましい。
【００１２】
さらに、G 正方RB完全市松パターンで斜め方向に接続する際に、抵抗ネットワークは、色R, Bの色の接続方向を互いに交差する関係に接続してもよい。
【００１３】
本発明の固体撮像装置は、画素における第１の受光素子のアノード側に接続する抵抗と、隣接する画素における第１の受光素子のアノード側の抵抗とをそれぞれ接続する際に同色の色フィルタが設けられている受光素子同士を結ぶことにより、それぞれ単色による基準の色情報が得られる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本発明の固体撮像装置に適用されている人工網膜機能付き撮像素子について図１を参照しながら単独画素の等価回路およびその動作原理を説明する。この画素10は、前述した文献例と同様に、MOS (Metal Oxide Semiconductor) タイプの撮像素子である。この撮像素子を２次元配列して画素アレイにしている。まず、画素10には、特徴的な点として等しい感度の光電変換機能を有する２つの受光素子12, 14を用いる。受光素子12は、たとえばカソード側を電源ラインと接続している。電源電圧Vcc は3.3Vである。受光素子12は入射光強度に応じて基準電圧をシフトさせる機能をもたせるために用いる素子である。そして受光素子14は入射光強度に応じて光電変換する。受光素子14のアノード側はGND に接地させている。受光素子12のアノードと受光素子14のカソードとは抵抗16の一端側16a を介して接続されている。抵抗16は、抵抗値をRiとする。さらに、抵抗16の一端側16a と受光素子12との間には、隣接する周囲の画素と接続する抵抗18a 〜18d の一端が結線されている。この結線部分をノードA とする。抵抗18a 〜18d は４つとも同じ抵抗値Rnである。画素のすべては図２に示すように各画素の抵抗18a 〜18d によって接続されている。ノードA における電位Vaはこれら抵抗18a 〜18d のネットワークにより近接する画素間での平均値になる。図２の模式的に示した画素アレイ20は、受光素子14があらわに表示されていない部分がある。しかしながら、受光素子14が入射光を受光できるように配されていることは言うまでもない。
【００１６】
図１に戻って、抵抗16, 18a 〜18d は、いずれもPMOS（P-channel   Metal Oxide Semiconductor ）トランジスタで構成する。この構成により、抵抗値はPMOSトランジスタのゲート電圧を変化させることで調整される。
【００１７】
抵抗16の一端側16a と他端側16b との間に、リセット回路部22を用意する。リセット回路部22はP-ch MOSFET のトランジスタ22a のドレインと抵抗16の他端側16b とを接続し、FET のトランジスタ22b のドレインと抵抗16の一端側16a とを接続している。トランジスタ22a, 22bのゲートは共通接続されており、端子24から供給されるリセット信号RST ( アクティブ”L ”）に応じてスイッチング動作をオンにする。また、リセット回路部22は、端子26を介して電位Vpdcが印加されている。
【００１８】
また、抵抗16の他端側16b をノードB とする。このノードB の電位を電流に変換して出力する変換回路としてAMI (Amplified Mos Imager:以下、AMI という）変換部28がある。AMI 変換部28には、コンデンサ28a 、およびN-ch MOSFET トランジスタ28b, 28cが備えられている。端子30を介してトランジスタ28c のゲートに出力タイミング信号が供給されると、出力端子32から変換した電流を出力する。このように構成してダイナミックレンジをそのままに受光感度範囲を広げた出力を提供する。
【００１９】
次にこの動作について段階を踏みながら順次説明する。まず、４つの抵抗ネットワーク18a 〜18d のない構成での動作を説明する。端子24を介してリセット信号RST が供給されると、抵抗16の両端にはトランジスタ22a, 22bがともにスイッチオン状態になって、ほぼ電圧Vpdcがそのまま印加される。そして、光が撮像素子に照射されると、受光素子12, 14は抵抗16に入射光強度に比例した電流を生成する。このときこの画素10において受光素子12で生成される電子と、受光素子14で消滅する電子の数は等しいので、AMI 変換部28のコンデンサ28a 、すなわちAMI トランジスタ28b のゲート容量Cbに対して新たな充放電は行われない。したがって、ノードB での電位Vbは、式(1)
【００２０】
【数１】
Vb≒Vpdc                                                ・・・(1)
と変わらない。
【００２１】
そして、ノードA とノードB との間の電位差は抵抗16（抵抗値＝Ri）を流れる電流iAB で決まる。すなわち、この関係は式(2)
【００２２】
【数２】
Va−Vb＝Ri×iAB                                         ・・・(2)
で表される。
【００２３】
ところで、電流iAB は画素10に入射する光強度P に比例するから、式(3)
【００２４】
【数３】
iAB ＝αP                                               ・・・(3)
で表される。ここで、αは定数である。式(2) を変形して、式(1) および式(3) を代入すると、ノードA の電位Vaは、式(4)
【００２５】
【数４】
Va＝Vb＋Ri×iAB ≒Vpdc＋Ri×αP                         ・・・(4)
となる。
【００２６】
次にこの関係に加えて４つの隣接する画素と接続する抵抗18a 〜18d を考慮する。この接続関係により、周囲の画素のノードA の電位に応じて抵抗18a 〜18d を介して電荷の流出入が生じる。この電荷の流出入により、ノードA における電位Vaは周辺の電位の影響を受けて画素間で平均化される。この電位を〈Va〉とする。式(4) からわかるように電位VaはノードB の電位VbよりRi×iAB だけ高い電位である。ここで、周辺の画素への入射光強度の平均を〈P 〉とすると、この場合、式(5)
【００２７】
【数５】
〈Va〉≒Vpdc＋Ri×α〈P 〉                              ・・・(5)
に近似される。式(5) をさらに変形すると、式(6)
【００２８】
【数６】
0004242978.tif 000002
となる。
ここで、入射光強度平均と実際の入射光強度との差をΔP としてΔP ＝〈P 〉−P で表す。式(6) は第１項が定数であることから、式(6) の第２項だけが画素10の信号成分になる。この信号成分はΔP に比例して得られるので、第１の特徴は入射光が画素周辺で均一の場合、出力信号がない。第２の特徴は入射光強度平均〈P 〉が受光感度の基準になるので、この基準に対して受光感度範囲が設定される。すなわち、受光感度範囲がシフトすることを意味する。
【００２９】
このように構成することにより、周辺の明るさに応じて受光感度範囲をシフトさせる人間の網膜のような機能を画素にもたせることができる。
【００３０】
この画素10を２次元配置した画素アレイを用いてカラー画像を求める場合、通常、画素10に対して入射光の入射光側に色分解用として、たとえば三原色RGB の色フィルタを配設する。色フィルタには各種の配置パターンがある。本実施例ではベイヤパターンの色フィルタを貼った場合、模式的に表した画素アレイ20は図３に示す色フィルタ配置で表される。ここで、受光素子12, 14を区別して表しておらず、２つの受光素子12, 14を覆うように色フィルタが配されている。色G の画素に着目すると、色G の画素の周囲に隣接する画素は、色R, Bが配されている。また、色R または色B の画素に着目すると、着目した画素の周囲に隣接する画素は、色G しか接していない。このような画素間の接続がなされている場合に、画素の平均は、周囲に隣接する画素の数値平均で表されると仮定する。この画素アレイ20に、たとえば単色R の単色光が照射されると、各色R, G, B はそれぞれ式(7a), (7b), (7c)
【００３１】
【数７】
R ＝K {(4G＋R)/5−R}                                    ・・・(7a)
G ＝K {(2R＋2B＋G)/5−G}                                ・・・(7b)
B ＝K {(4G＋B)/5−B}                                    ・・・(7c)
となる。ここで、K は定数である。３つの式(7a), (7b), (7c)の第１項から判るように、基準（リファレンス）となる平均値がそれぞれ異なっている。この色毎に異なる平均値を用いてカラー画像を表示させた場合、結果として個々の画素は混色したと同じ状態の画素データを出力することになる。これにより、カラー画像は正しい色情報が得られない。
【００３２】
そこで、入射光強度平均値（リファレンス）を得るために基準となるデータを供給する受光素子、すなわち図１の受光素子12に色フィルタを貼らずに受光素子14にだけ色フィルタを貼る。受光素子12の位置に対応して色フィルタは、空隙にしても透明部材で覆うようにしてもよい。これにより、画素10は受光素子12で色情報を含まない、輝度情報Y が得られる。周囲の各画素でも輝度情報Y が得られることから、各色R, G, B はそれぞれ式(7a), (7b), (7c)でなく、対象画素を中心C に上下左右を表す添字U, D, L, Rの付された輝度情報Y を用いて式(8a), (8b), (8c)
【００３３】
【数８】
R ＝K {(YU＋YD＋YL＋YR＋YC)/5 −R}                      ・・・(8a)
G ＝K {(YU＋YD＋YL＋YR＋YC)/5 −G}                      ・・・(8b)
B ＝K {(YU＋YD＋YL＋YR＋YC)/5 −B}                      ・・・(8c)
と補正して表される。各RGB の色データは正しい色情報として画素から出力される。
【００３４】
また、カラー画像を出力する画素アレイ20において、前述したように色フィルタを特殊化して貼付する画素とは異なる第２の実施例について説明する。この場合も用いる色フィルタの配置パターンはベイヤパターンである。本実施例の特徴は、前述したカラー画像表示において混色表示を防止するため一つの画素に４つ接続した抵抗18a 〜18d の接続関係を単に隣接する周辺の画素と接続させるのではなく、同色の色同士を接続する抵抗ネットワークを形成する。この接続関係を図４(A), (B)に示す。色G の画素は、一つの色G の画素に対して周囲の同色画素はこの対象画素を中心に四辺形の対角線上に位置している。このため、抵抗ネットワークは図４(A), (B)ともに斜め方向に接続する。
【００３５】
これに対して、色R, Bの画素は色G の画素を間に挟んだ一つおきの配置である。これにより、色R, Bの画素は、図４(A) のように横方向に抵抗ネットワークの形成または図４(B) のように縦方向に抵抗ネットワークを形成する。この結果、図４(A) では色R, Bに関して水平方向の平均化がされ、図４(B) では同じく色R, Bに関して垂直方向の平均化がされる。三原色RGB の各色は、式(9a), (9b), (9c)
【００３６】
【数９】
R ＝K (Rave −R)                                        ・・・(9a)
G ＝K (Gave −G)                                        ・・・(9b)
B ＝K (Bave −B)                                        ・・・(9c)
となる。ここで、Rave, Gave, Baveは、隣接する同色２画素および対象画素の画素データの平均値である。これらの接続は、平均化する方向と直交する方向の解像度を向上させる。また、色R, Bの抵抗ネットワークにおいて、一方の色を横（水平）方向に平均化する接続と、他方の色を縦（垂直）方向に平均化する接続とを混在させてもよい。
【００３７】
また、このベイヤパターンの色フィルタ配置パターンを45°回転させると別なパターンができる。この配置パターンは画素ずらしG 正方RB完全市松パターンと呼ばれる（図５を参照）。この場合、色G の画素は抵抗ネットワークを水平方向および垂直方向に接続させている。図５では色R, Bの画素は抵抗ネットワークを右斜め方向にある同色の画素同士接続させている。この配置パターンにおいて抵抗ネットワークの接続を色R, Bで、それぞれ、たとえば右斜め方向、左斜め方向に同色同士の抵抗を介して接続させてもよい（図６を参照）。
【００３８】
このように入射光強度を平均化させる抵抗の接続を同色同士で接続させるようにしてもカラー画像表示させる際のデータを混色させることなく、表示させることができる。
【００３９】
このように構成した２次元配置した画素アレイ20を適用した固体撮像装置は、この他に、画素アクセス制御回路、マルチプレクサ、重み制御回路を備え、色バランスのよいフィルタリングを行わせることができる。フィルタリングとしては、たとえば輪郭抽出、画像のスムージング、２次元入力画像の１次元の射影および簡単なパターンマッチング等も行える。
【００４０】
以上のように構成した２次元配置の画素アレイを適用した固体撮像装置において、特に、色フィルタに特徴を持たせたり、または画素間の抵抗ネットワークの接続関係を考慮して同色同士を接続させることにより、人工網膜機能付き画素における感度自動調節機能を損なうことなく、かつ正常なカラー表示画像を得ることができる。
【００４１】
【発明の効果】
このように本発明の固体撮像装置によれば、適用した画素アレイにおいて空隙または透明な色フィルタの部分を介して入射光が第１の受光素子に供給されて、色フィルタが形成されていた際に生じていた混色を回避し、この第１の受光素子から色情報を含まない輝度情報の平均値が基準として得られることにより、人工網膜機能付き画素における感度自動調節機能を損なうことなく、かつ正常なカラー表示画像を得ることができる。
【００４２】
また、固体撮像装置は、画素における第１の受光素子のアノード側に接続する抵抗と、隣接する画素における第１の受光素子のアノード側の抵抗とをそれぞれ接続する際に同色の色フィルタが設けられている受光素子同士を結んで、それぞれ単色による基準の色情報が得られるので、この場合も人工網膜機能付き画素における感度自動調節機能を損なうことなく、かつ正常なカラー表示画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置に適用される撮像素子の単独画素における等価回路図である。
【図２】図１の単独画素を模式的に２次元配列させた画素アレイの配置関係を示す図である。
【図３】図２の画素アレイにカラー撮像の色フィルタ配置も加えて表した模式図である。
【図４】図２の画素アレイにおいてカラー撮像する場合、(A) 横方向、(B) 縦方向に対応して抵抗ネットワークを同色同士で結線させる模式図である。
【図５】図２の画素アレイにおいてカラー撮像する場合、画素ずらしのG 正方RB完全市松パターンにおいて斜め方向に色R, Bの画素に関する抵抗ネットワークを結線させる模式図である。
【図６】図５の結線する斜め方向を色R, Bに応じて交差させた場合を示す模式図である。
【符号の説明】
10  撮像素子
12, 14  受光素子
16, 18a 〜18d 抵抗
20  画素アレイ
22  リセット回路部
28  AMI 変換部
【図１】
0004242978.tif 000003
【図２】
0004242978.tif 000004
【図３】
0004242978.tif 000005
【図４】
0004242978.tif 000006
【図５】
0004242978.tif 000007
【図６】
0004242978.tif 000008