(57)【特許請求の範囲】
【請求項１】
縦横に配列されたフォトダイオードを備え、前記各フォトダイオードのうち市松状に配列されたフォトダイオードに輝度フィルタが設けられ、前記輝度フィルタが設けられていない残りの市松状に配置されたフォトダイオードにカラーフィルタが設けられ、前記の各フォトダイオード１個について夫々垂直転送電極が２個並置され、該２個の垂直転送電極のうちの信号電荷読出用の電極が行方向に隣接するフォトダイオードで交互に異なる構造を備える固体撮像素子で撮像された撮像画像の再現方法において、
前記各フォトダイオードの信号電荷が読み出されたときは前記輝度フィルタが設けられたフォトダイオードから得られた輝度情報と前記カラーフィルタが設けられたフォトダイオードから得られた色情報とから被写体の色情報に左右されない輝度解像度を持ったカラー画像を再現し、
１行置きの前記垂直転送電極に読出電圧が印加されることで市松状に画素間引き読み出しが行われ前記カラーフルタが設けられたフォトダイオードの信号電荷のみが読み出されたときは縦横共に１／２に画素間引きしたカラー画像を再現し、
前記１行置きと異なる１行置きの前記垂直転送電極に読出電圧が印加されることで市松状に画素間引き読み出しが行われ前記輝度フィルタが設けられたフォトダイオードの信号電荷のみが読み出されたときは縦横共に１／２に画素間引きした白黒画像を再現する
ことを特徴とする撮像画像の再現方法。
【請求項２】
前記輝度フィルタは、輝度と相関関係のある分光特性を持っていることを特徴とする請求項１に記載の撮像画像の再現方法。
【発明の詳細な説明】
【０００１】
【発明の属する利用分野】
本発明はカラー画像を撮像する固体撮像素子から読み出した撮像画像の再現方法に係り、特に、被写体の色によって画像解像度が劣化してしまうことのない撮像画像の再現方法に関する。
【０００２】
【従来の技術】
図３は、従来の固体撮像素子の表面を模式的に示した図である。この図３に例示した固体撮像素子はベイヤー方式といわれるものであり、半導体基板上に縦横に配列形成されたフォトダイオードの夫々の表面に、カラーフィルタＲ，Ｇ，Ｂのいずれかが設けられている。
【０００３】
カラーフィルタＲは赤色の光を透過し、その下に設けられているフォトダイオードは赤色の受光光量に応じた電荷を励起し、この電荷が垂直転送路に読み出され、固体撮像素子から出力される。同様に、カラーフィルタＧは緑色の光を透過し、この緑色の受光光量に応じた電荷が固体撮像素子から出力され、カラーフィルタＢは青色の光を透過し、青色の受光光量に応じた電荷が固体撮像素子から出力される。カラーフィルタは、奇数行に「Ｒ，Ｇ，Ｒ，Ｇ，…」と並び、偶数行に「Ｇ，Ｂ，Ｇ，Ｂ，…」と並んでおり、緑色の光量に応じた信号電荷を読み出すフォトダイオードの数が、赤色や青色の信号電荷を読み出すフォトダイオードの数の２倍になっている。
【０００４】
固体撮像素子の後段に設けられる画像処理装置は、固体撮像素子から出力された各信号電荷量に基づき撮像画像を再現することになるが、このとき、例えば、カラーフィルタＧの位置の緑色の受光光量（これは対応するフォトダイオードから読み出された信号電荷量として分かる。）の他に、このカラーフィルタＧの位置で受光したであろう赤色の受光光量を、周りのカラーフィルタＲを持ったフォトダイオードの信号電荷量から推定演算し、カラーフィルタＧの位置で受光したであろう青色の受光光量を、周りのカラーフィルタＢを持ったフォトダイオードの信号電荷量から推定演算し、各画素（フォトダイオード）位置におけるＲ，Ｇ，Ｂ３色の色と輝度を再現することで、撮像画像を得ている。
【０００５】
【発明が解決しようとする課題】
上述した様に、画像処理装置は、カラーフィルタを通して得た信号電荷量を用いて他の画素位置における色と輝度とを推定演算し、撮像画像を再現している。しかし、被写体の色が偏っていた場合には、撮像画像の輝度の解像度が異なってしまうという問題がある。
【０００６】
例えば緑色の被写体を撮像した場合、図３に示す固体撮像素子で緑色に感光するのはカラーフィルタＧを持ったフォトダイオードだけであるため、緑色の画像の最大解像度は、カラーフィルタＧを持ったフォトダイオードの数で決まってしまう。従って、赤色の被写体を撮像した画像の最大解像度は、緑色の被写体を撮像して得られる最大解像度に対して１／２に劣化してしまう。
【０００７】
本発明の目的は、被写体の色によって画像解像度が劣化してしまうことのない撮像画像の再現方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的は、縦横に配列されたフォトダイオードを備え、前記各フォトダイオードのうち市松状に配列されたフォトダイオードに輝度フィルタが設けられ、前記輝度フィルタが設けられていない残りの市松状に配置されたフォトダイオードにカラーフィルタが設けられ、前記の各フォトダイオード１個について夫々垂直転送電極が２個並置され、該２個の垂直転送電極のうちの信号電荷読出用の電極が行方向に隣接するフォトダイオードで交互に異なる構造を備える固体撮像素子で撮像された撮像画像の再現方法において、
前記各フォトダイオードの信号電荷が読み出されたときは前記輝度フィルタが設けられたフォトダイオードから得られた輝度情報と前記カラーフィルタが設けられたフォトダイオードから得られた色情報とから被写体の色情報に左右されない輝度解像度を持ったカラー画像を再現し、
１行置きの前記垂直転送電極に読出電圧が印加されることで市松状に画素間引き読み出しが行われ前記カラーフルタが設けられたフォトダイオードの信号電荷のみが読み出されたときは縦横共に１／２に画素間引きしたカラー画像を再現し、
前記１行置きと異なる１行置きの前記垂直転送電極に読出電圧が印加されることで市松状に画素間引き読み出しが行われ前記輝度フィルタが設けられたフォトダイオードの信号電荷のみが読み出されたときは縦横共に１／２に画素間引きした白黒画像を再現する
ことを特徴とする。
【０００９】
この構成により、輝度情報と色情報が区別して検出されるため、色情報に左右されない輝度解像度および輝度情報の分光特性に左右されない色再現を得ることが可能となる。また、画素の間引き読み出しを行うときに、市松状に画素の間引きを行うことができ、色再現性が同じで画像解像度を縦横共に１／２だけ精度良く落とした画像を得ることができる。
【００１０】
また、この構成により、画素の間引き読み出しを行うときの信号電荷の読み出しが容易となり、その読み出しタイミングの設定も容易となる。
【００１１】
更に好適には、前記輝度フィルタは、輝度と相関関係のある分光特性を持っていることを特徴とする。輝度フィルタは、輝度情報との相関関係があればよく、透明フィルタ，ＮＤフィルタ，白色フィルタ，グレーフィルタ等の他、フォトダイオードの前面に何も設けずに光が直接フォトダイオードに入射する構成を含むものである。
【００１２】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１３】
図１は、本発明の一実施形態に係る固体撮像素子の表面の模式図である。尚、図１には、４行４列の範囲しか図示していないが、実際には、図１に示す配列が縦横に繰り返される構造となっている。
【００１４】
本実施形態の固体撮像素子１は、縦横に配列形成された図示しない多数のフォトダイオードの個々の表面に、フィルタＹと、カラーフィルタＲ，Ｇ，Ｂとを設けている。フィルタＹは、縦横に配列された個々のフォトダイオードのうち、市松状の配置位置となっているフォトダイオードの表面に設けられ、カラーフィルタＲ，Ｇ，Ｂは、残りの市松状の配置位置となっているフォトダイオードの表面に設けられる。
【００１５】
即ち、図１に例示する固体撮像素子１では、偶数行のフォトダイオードの個々の表面に「Ｙ，Ｇ，Ｙ，Ｇ，…」とフィルタが並び、奇数行のフォトダイオードの個々の表面には、「Ｒ，Ｙ，Ｂ，Ｙ，Ｒ，…」と並ぶ行と、「Ｂ，Ｙ，Ｒ，Ｙ，Ｂ，…」と並ぶ行とが交互に配置される。
【００１６】
フィルタＹは、輝度情報と相関のある分光特性を持ったフィルタすなわち輝度フィルタといえるものであり、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、フォトダイオードの表面に何も設けずに光が直接フォトダイオード表面に入射する構成も、輝度フィルタを設けたということができる。
【００１７】
図２は、図１に示す固体撮像素子１の各フォトダイオードと、垂直転送路（図１，図２の縦方向を垂直方向という。）を構成する電極との関係を示す図であり、図１の点線IIで囲った２行２列の範囲だけを示している。固体撮像素子の半導体基板上には、垂直方向（縦方向）に延びるバリア１０が多数設けられ、隣接するバリア１０の間に、フォトダイオードＰＤ００，ＰＤ１０，ＰＤ２０，…が垂直方向に並んで設けられ、その隣のバリア１０間にも、フォトダイオードＰＤ０１，ＰＤ１１，ＰＤ２１，…が垂直方向に並んで設けられる。
【００１８】
バリア１０間において、フォトダイオードＰＤ００の左側には２つの垂直転送電極φ１，φ２が並置され、フォトダイオードＰＤ１０にも２つの垂直転送電極φ３，φ４が並置される。同様に、フォトダイオードＰＤ０１にも２つの垂直転送電極φ１，φ２が並置され、フォトダイオードＰＤ１１にも２つの垂直転送電極φ３，φ４が並置される。
【００１９】
そして、本実施形態の固体撮像素子では、フォトダイオードＰＤ００と垂直転送電極φ１との間にバリア（チャネルストップ）１１が設けられ、フォトダイオードＰＤ１０と垂直転送電極φ４との間にバリア１１が設けられ、フォトダイオードＰＤ０１と垂直転送電極φ２との間にバリア１１が設けられ、フォトダイオード１１と垂直転送電極φ３との間にバリア１１が設けられる。
【００２０】
フォトダイオードＰＤ００，ＰＤ１１の表面には、上述した輝度フィルタＹが設けられ、フォトダイオードＰＤ０１の表面にカラーフィルタＧが設けられ、フォトダイオードＰＤ１０の表面にカラーフィルタＲが設けられている。
【００２１】
上述した固体撮像素子１を用いて被写体を撮像したとき、各フォトダイオードＰＤ００，…の信号電荷が垂直転送電極φ１，…に読み出され、この信号電荷は、各垂直転送電極φ１〜φ４上を図示しない水平転送路まで転送され、水平転送路上を転送されて固体撮像素子１から出力される。
【００２２】
固体撮像素子１の後段に設けられる画像処理装置は、固体撮像素子１から出力された各信号電荷から撮像画像を再現することになる。しかし、本実施形態の固体撮像素子１では、被写体の色情報に左右されない輝度情報を検出する専用画素すなわち輝度フィルタＹを持ったフォトダイオードが設けられているため、被写体の色が偏っていた場合でも、輝度の画像解像度が被写体の色に左右されて見づらくなることはない。
【００２３】
また、輝度情報と、カラーフィルタを通した色情報とから、各画素位置（フォトダイオード位置）のＲ，Ｇ，Ｂの色を推定演算する場合でも、色再現性が良好となり、更に輝度情報専用の画素があるため、この輝度情報専用の画素だけでも、人の視覚特性で重要な縦方向，横方向の素地画素の最大解像度が得られ、見た目にも優れた撮像画像を得ることができる。
【００２４】
更に、本実施形態の固体撮像素子１を用いることで、撮像画像の信号電荷を間引き読み出しすることが容易となる。例えば、図１に示す固体撮像素子１で、輝度情報専用画素の信号電荷のみを読み出して白黒画像を再現することができる。この場合には、図２に示す垂直転送電極φ２とφ４に読み出し電圧を印加する。この読み出し電圧が印加されると、フォトダイオードＰＤ００，ＰＤ０１の信号電荷が夫々電極φ２に移ろうとし、フォトダイオードＰＤ１０，ＰＤ１１の信号電荷が夫々電極φ４に移ろうとする。
【００２５】
しかし、バリア１１の存在により、フォトダイオードＰＤ０１の緑色による信号電荷の電極φ２への読み出しは阻止され、フォトダイオードＰＤ１０の赤色による信号電荷の電極φ４への読み出しも阻止される。このため、垂直転送電極φ２、φ４には、フォトダイオードＰＤ００，ＰＤ１１の輝度フィルタＹを通した信号電荷のみが読み出され、これが垂直転送電極φ１〜φ４に沿って転送され、固体撮像素子１から出力される。
【００２６】
逆に、固体撮像素子１から、カラーフィルタＲ，Ｇ，Ｂを通して得た信号電荷のみを読み出し、カラー画像を再現することができる。この場合には、図２に示す垂直転送電極φ１とφ３に読み出し電圧を印加する。この読み出し電圧が印加されると、フォトダイオードＰＤ００，ＰＤ０１の信号電荷が夫々電極φ１に移ろうとし、フォトダイオードＰＤ１０，ＰＤ１１の信号電荷が夫々電極φ３に移ろうとする。
【００２７】
しかし、バリア１１の存在により、フォトダイオードＰＤ００，ＰＤ１１の輝度情報を示す信号電荷の電極φ１，φ３への読み出しは阻止され、垂直転送電極φ１には、フォトダイオードＰＤ０１の緑色の信号電荷が読み出され、電極φ３には、フォトダイオードＰＤ１０の赤色の信号電荷が読み出され、これらが垂直転送電極φ１〜φ４に沿って転送され、固体撮像素子１から出力される。
【００２８】
この様に、本実施形態によれば、固体撮像素子の各フォトダイオードの信号電荷を市松状に読み出し、撮像画像を再現することができる。市松状に読み出すことで、横方向，縦方向共に夫々１個おきに画素の間引きができ、画像解像度を精度良く縦横共に１／２に落とすことができる。
【００２９】
しかし、従来の図３に示す固体撮像素子では、市松状に間引いて信号電荷を読み出すと、緑（Ｇ）の情報だけが全て抜け落ちてしまい、あるいは、緑の情報だけが読み出され、画像の色再現が不可能になってしまう。従って、従来の固体撮像素子で画素の間引きを行う場合、色再現を図るために間引く画素を周期的に設定することができず、そのため、間引き画像の解像度が均一にならず、しかも各画素からの信号電荷の読み出しタイミングの設定が面倒になるという問題がある。
【００３０】
これに対し、本実施形態の固体撮像素子では、間引く画素が周期的になるため、そして、図２に示す様に、各フォトダイオードから信号電荷を読み出す電極を隣接するフォトダイオードに対して交互（フォトダイオードＰＤ００の行では、電極φ２，φ１を交互に信号電荷読出用の垂直転送電極とし、フォトダイオードＰＤ１０の行では、電極φ４，φ３を交互に信号電荷読出用の垂直転送電極としている。）にしているため、読み出しタイミングの設定が容易となる。
【００３１】
この様に、本実施形態の固体撮像素子によれば、輝度情報検出用の専用画素を設けたため、被写体の色によって撮像画像の輝度解像度が大きく左右されることがなくなり、良好な画像を得ることができる。また、固体撮像素子から読み出す画素を間引く場合でも、市松状に画素の間引きができるため、間引き画像の解像度や色再現性が良好となる。
【００３２】
【発明の効果】
本発明によれば、縦横に並ぶ画素のうち市松状の位置に輝度情報検出専用の画素を配置したため、被写体の色情報に左右されない輝度解像度を持った撮像画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像素子の表面の模式図である。
【図２】図１に示す点線範囲のフォトダイオードと垂直転送電極との関係図である。
【図３】従来の固体撮像素子の表面の模式図である。
【符号の説明】
１  固体撮像素子
１０，１１  バリア
Ｒ，Ｇ，Ｂ  カラーフィルタ
Ｙ  輝度フィルタ
【図１】
0004159307.tif 000002
【図２】
0004159307.tif 000003
【図３】
0004159307.tif 000004