(57)【要約】【課題】固体撮像装置において、並列的な信号処理を良好に行うための新規な制御方法を提供する。【解決手段】固体撮像装置の制御方法は、（ａ）固体撮像素子の１画素行または１画素列に相当する一連の画像信号を複数の信号処理部に並列的に供給する工程と、（ｂ）前記信号処理部の各々が、前記画像信号の１部分を処理対象画像信号として選択し、処理する工程であって、ある前記信号処理部によって処理される前記処理対象画像信号と他のある前記信号処理部によって処理される他の前記処理対象画像信号との間に共通する画像信号が存在する、工程と、（ｃ）前記複数の信号処理部からの出力信号を１つにまとめ、前記固体撮像素子の１画素行または１画素列に相当する一連の画像信号を生成する工程と、を有する。【選択図】　図１
2004080227.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）固体撮像素子の１画素行または１画素列に相当する一連の画像信号を、複数の信号処理部に並列的に供給する工程と、
（ｂ）前記信号処理部の各々が、前記画像信号の１部分を処理対象画像信号として選択し、処理する工程であって、ある前記信号処理部によって処理される前記処理対象画像信号と、他のある前記信号処理部によって処理される他の前記処理対象画像信号との間に共通する画像信号が存在する、工程と、
（ｃ）前記複数の信号処理部からの出力信号を、１つにまとめ、前記固体撮像素子の１画素行または１画素列に相当する一連の画像信号を生成する工程と、
を有する固体撮像装置の制御方法。
【請求項２】
前記工程（ｂ）において、色補間処理が実施される請求項１に記載の固体撮像装置の制御方法。
【請求項３】
固体撮像素子の１画素行または１画素列に相当する一連の画像信号を出力する出力部と、
前記画像信号を並列的に処理する複数の信号処理部と、
前記信号処理部の各々に対して、前記画像信号の１部分を処理対象画像信号として選択するためのタイミング信号であって、ある前記信号処理部によって処理される前記処理対象画像信号と、他のある前記信号処理部によって処理される他の前記処理対象画像信号との間に共通する画像信号が存在するように、前記処理対象画像信号を選択するタイミング信号を、発生させるためのタイミング信号発生部と、
前記複数の信号処理部からの出力を１つにまとめ、前記固体撮像素子の１画素行または１画素列に相当する一連の画像信号を生成する信号生成部と、
を有する固体撮像装置。
【請求項４】
前記信号処理部が、色補間処理を実施する請求項３に記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は固体撮像装置とその制御方法に関し、特に、色補間処理等を行う信号処理部を有する固体撮像装置とその制御方法に関する。
【０００２】
【従来の技術】
固体撮像装置においては、固体撮像素子の画素上に、赤色、緑色、青色３色のカラーフィルタ等を形成することにより、カラー画像を得ている。しかし、固体撮像素子の１画素上には１色のカラーフィルタしか形成されていないため、固体撮像素子の出力段階では、各画素からはカラーフィルタによって定まる１色の色信号しか出力されない。実際にカラー画像を得るためには、各画素に対してカラーフィルタによって定まる１色以外の少なくとも２色を生成する、色補間処理が行われることになる。
【０００３】
従来の固体撮像装置の構成においては、例えばこの色補間処理に対して１つの信号処理ＩＣが用いられている。この信号処理ＩＣは、固体撮像装置に使用される固体撮像素子の画素数に相応する処理能力を持つよう作製される。
【０００４】
そのため、出荷個数が多くは見込めない多画素数の固体撮像素子を用いて固体撮像装置を作製する場合などでも、固体撮像素子に合わせて信号処理ＩＣを作製する必要があり、高コストの要因となっている。
【０００５】
【発明が解決しようとする課題】
信号処理部を有している固体撮像装置においては、色補間処理等の処理が実施される。
【０００６】
本発明の目的は、固体撮像装置の新規な制御方法を提供することである。
【０００７】
本発明の他の目的は、固体撮像装置において、並列的な信号処理を良好に行うための新規な制御方法を提供することである。
【０００８】
【課題を解決するための手段】
本発明の固体撮像装置の制御方法は、（ａ）固体撮像素子の１画素行または１画素列に相当する一連の画像信号を、複数の信号処理部に並列的に供給する工程と、
（ｂ）前記信号処理部の各々が、前記画像信号の１部分を処理対象画像信号として選択し、処理する工程であって、ある前記信号処理部によって処理される前記処理対象画像信号と、他のある前記信号処理部によって処理される他の前記処理対象画像信号との間に共通する画像信号が存在する、工程と、
（ｃ）前記複数の信号処理部からの出力信号を、１つにまとめ、前記固体撮像素子の１画素行または１画素列に相当する一連の画像信号を生成する工程と、
を有する。
【０００９】
【発明の実施の形態】
図１（Ａ）は、本発明の実施例によるデジタルカメラ（固体撮像装置）の構成を示すブロック図である。
【００１０】
固体撮像素子１は、受光した光を電気信号へと変換し、出力する。
【００１１】
図１（Ｂ）は、固体撮像素子１の構成を概略的に示す平面図である。固体撮像素子１の受光面内に、赤色画素ＲＡ、ＲＢ、緑色画素ＧＡ、ＧＢ、青色画素ＢＡ、ＢＢが行列状に配置されている。なお、図は簡略化されており、実際の素子においては、例えば数百行、数百から千数百列の画素行列となる。
【００１２】
本実施例において画素ＲＡ、ＲＢ、ＧＡ、ＧＢ、ＢＡ、ＢＢは、図１（Ｂ）に示すように、赤色Ｒ列、緑色Ｇ列、青色Ｂ列の３色の列が繰り返し並んだストライプ状に配列されている。
【００１３】
ここで、行列状に配置された画素は、図中下方から数えて奇数行目の画素ＲＡ、ＧＡ、ＢＡと、偶数行目の画素ＲＢ、ＧＢ、ＢＢとに分類されている。奇数行目の画素がＡフィールドを形成し、偶数行目の画素がＢフィールドを形成し、これら２フィールドで１フレームの画面を構成する。
【００１４】
各画素にはホトダイオード（図示せず）が形成されており、ホトダイオードは、受光した光量に応じて電荷を蓄積する。
【００１５】
画素列に隣接する形で、電荷結合素子（ＣＣＤ）よりなる複数の垂直電荷転送路ＶＣＣＤが配置され、画素と結合される。ＶＣＣＤには、１画素に対して２つの電極が形成されている。ホトダイオードに蓄積された画像電荷は、ＶＣＣＤに読み出される。
【００１６】
ＶＣＣＤは、４相駆動信号Ｖ１、Ｖ２、Ｖ３、Ｖ４により駆動され、画像電荷を図中下方に転送する。各ＶＣＣＤの１端には、ＣＣＤよりなる１つの水平電荷転送路ＨＣＣＤが結合されている。
【００１７】
ＨＣＣＤは、２相駆動信号Ｈ１、Ｈ２により駆動され、画素行列１行分ずつの画像電荷を左方向に転送する。
【００１８】
ＨＣＣＤを転送された画像電荷は、出力アンプＡＭＰで電圧信号に変換、増幅され、チップ出力端子Ｖｏｕｔから出力される。
【００１９】
図１（Ａ）に戻って、チップ出力Ｖｏｕｔは、アナログフロントエンド２へ供給される。アナログフロントエンド２は、Ａ／Ｄ変換器等から構成されており、アナログ信号であるチップ出力Ｖｏｕｔを、デジタル信号へと変換する等の処理を行う。
【００２０】
アナログフロントエンド２の出力は、初段信号処理部３へ供給される。初段信号処理部３では、色補間処理等が行われる。
【００２１】
固体撮像素子１の１画素上には、赤色Ｒ、緑色Ｇ、青色Ｂいずれか１色のみのカラーフィルタが形成されており、１画素からは、Ｒ、Ｇ、Ｂいずれか１色に関する信号しか出力されない。
【００２２】
したがって、ある１画素の位置に対するＲ、Ｇ、Ｂ３色すべての情報を得るためには、固体撮像素子の出力以後に、その画素の色以外の２色を生成する処理（色補間処理）が必要となる。
【００２３】
ある１画素の位置に対して、その画素が有する色以外のある１色（以下色Ｃとする）を生成する方法としては、その画素を囲むように位置している、色Ｃを持ったいくつかの画素の信号を加重平均し、その画素に対する、色Ｃの信号として採用する方法が広く用いられる。
【００２４】
このとき一般に、偽色の発生防止等のため、平均操作に用いる色Ｃを有する複数の画素は、色補間処理される１画素の周囲の１領域に偏らないように選択されることが好ましい。
【００２５】
本実施例では、色補間処理の方法として、色補間処理をしたい画素と同一の行に含まれる左右両側２画素の平均値を採用する方法を用いる。
【００２６】
つまり、例えば色補間処理をしたい画素（以下画素Ｐとする）が青色Ｂだとすると、画素Ｐに対する赤色Ｒとして、画素Ｐと同一行に含まれ、画素Ｐの左側最近接の赤色画素の信号と、画素Ｐと同一行に含まれ、画素Ｐの右側最近接の赤色画素の信号とを平均した値を採用する。そして画素Ｐに対する緑色Ｇとして、画素Ｐと同一行に含まれ、画素Ｐの左側最近接の緑色画素の信号と、画素Ｐと同一行に含まれ、画素Ｐの右側最近接の緑色画素の信号とを平均した値を採用する。色補間処理したい画素が赤色Ｒ、緑色Ｇの場合も同様な手順である。
【００２７】
具体的に、図１（Ｂ）中に示す画素ＢＡ３３に対応する赤色信号ＲＡ３３、緑色信号ＧＡ３３は、以下のように生成される。
【００２８】
画素ＢＡ３３の左側にある赤色画素ＲＡ３１の出力と、画素ＢＡ３３の右側にある赤色画素ＲＡ３４の出力との平均値を、画素ＢＡ３３に対する赤色信号ＲＡ３３とする。同様に、画素ＢＡ３３の左側にある緑色画素ＧＡ３２の出力と、画素ＢＡ３３の右側にある緑色画素ＧＡ３５の出力との平均値を、画素ＢＡ３３に対する緑色信号ＧＡ３３とする。
【００２９】
赤色画素、緑色画素、青色画素の列がストライプ状に並んでいる本実施例の固体撮像素子に対して、この色補間処理方法を適用する場合、ある画素についてカラーフィルタが有しない２色を生成するためには、その画素の左側に２画素、右側に２画素が存在することが必要となる。
【００３０】
本実施例では、色補間処理をしたい画素と同じ行にある画素のみを用いて色補間処理を行うが、より一般には、色補間処理をしたい画素の上下の行の画素も含める方法を用いての色補間処理も実施される。
【００３１】
本実施例では、色補間処理を実行するために、色補間処理をしたい画素の左側に２画素、右側に２画素が必要となるが、色補間処理をしたい画素の周辺に必要となる画素の数や配置形状は一般に、使用する固体撮像素子の画素配列型、色補間処理方法等に応じて適当に設定される。
【００３２】
本実施例において、初段信号処理部３は、３つの信号処理ＩＣ３Ａ、３Ｂ、３Ｃから構成されている。
【００３３】
固体撮像素子１からの出力は、特定画素領域ごとに３つに分割され、それぞれが信号処理ＩＣ３Ａ、３Ｂ、３Ｃに供給され、処理される。初段信号処理部３における信号処理について詳しくは、後に図３、４を用いて説明する。
【００３４】
信号処理ＩＣ３Ａ、３Ｂ、３Ｃはそれぞれ、初段の画像信号処理を実施するとともに、表示水平同期信号を出力し、プログラマブル論理合成回路６に供給する。
【００３５】
プログラマブル論理合成回路６は、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）等で構成され、信号処理ＩＣ３Ａ、３Ｂ、３Ｃより各々出力される画像信号および表示水平同期信号から、３つの部分を再びひとつにまとめた画像信号を生成する。
【００３６】
タイミングジェネレータ７は、ＨＣＣＤを駆動するための２相パルスを生成し、固体撮像素子１に供給する他、ＶＣＣＤの駆動に必要な４相パルスを生成し、Ｖドライバ８に供給する。また、水平同期信号および垂直同期信号等を生成する。Ｖドライバ８は、固体撮像装置１に、ＶＣＣＤ駆動用の４相信号等を供給する。
【００３７】
図２（Ａ）、（Ｂ）は、本実施例による固体撮像装置の動作を示すタイミングチャートである。
【００３８】
図２（Ａ）には、２つの垂直期間ＴＶ１、ＴＶ２が示されている。
【００３９】
まずＴＶ１において、垂直同期信号ＶＤが立ち上がると、ＶＣＣＤの駆動信号Ｖ２に読み出しパルスが重畳されて、Ａフィールド（奇数行目）の画素より、画像電荷がＶＣＣＤに読み出される。
【００４０】
ＶＣＣＤに読み出された画像電荷は、４相駆動信号Ｖ１、Ｖ２、Ｖ３、Ｖ４によってＶＣＣＤ中を、２相駆動信号Ｈ１、Ｈ２によってＨＣＣＤ中を転送される。そして出力アンプで電圧信号に変換され、増幅された後、アナログフロントエンドに供給される。
【００４１】
アナログフロントエンドでは、固体撮像素子からのアナログ信号をデジタル信号に変換し、出力２ｏｕｔを生成する。
【００４２】
Ａフィールドの画像信号がすべて出力されると、第１の垂直期間ＴＶ１が終了する。第１の垂直期間ＴＶ１が終了すると、再び垂直同期信号ＶＤが立ち上がり、第２の垂直期間ＴＶ２が開始する。
【００４３】
垂直期間ＴＶ２の初めに、ＶＣＣＤの駆動信号Ｖ４に読み出しパルスが重畳されて、Ｂフィールド（偶数行目）の画像信号がＶＣＣＤに読み出される。その後、垂直期間ＴＶ１と同様のプロセスで、Ｂフィールドの画像信号が固体撮像素子から読み出され、それに応じてアナログフロントエンドからの出力２ｏｕｔが生成される。
【００４４】
２回の垂直期間ＴＶ１、ＴＶ２により、画素行列全体の画像電荷の読み出しが終了する。
【００４５】
図２（Ｂ）は、図２（Ａ）の１部分を時間的に拡大したタイミングチャートであり、水平転送２回分の過程を示す。ただし、垂直同期信号ＶＤは示していない。
【００４６】
水平同期信号ＨＤの立ち上がりを合図に、１回の水平走査期間ＴＨが開始する。１回の水平走査期間ＴＨでは、１行分の画像信号が、固体撮像素子より出力される。
【００４７】
水平走査期間ＴＨの初めに、ＶＣＣＤを駆動する４相信号Ｖ１、Ｖ２、Ｖ３、Ｖ４が所定のレベルに変化し、画像電荷が垂直方向に転送され、１行分の画像電荷がＨＣＣＤへと移動する（ラインシフト）。
【００４８】
ラインシフトが終了すると、ＨＣＣＤに２相駆動信号Ｈ１、Ｈ２が印加される。２相駆動信号Ｈ１、Ｈ２は、互いに逆の位相を保ちながら交互に変化する波形を有す。ＨＣＣＤは、２相駆動信号Ｈ１、Ｈ２により１行分の画像電荷を順次水平方向に転送する。
【００４９】
ＨＣＣＤを転送された画像電荷は、順次出力アンプで電圧信号に変換、増幅されて、アナログフロントエンドへ供給され、デジタル出力２ｏｕｔの１行分が生成される。
【００５０】
１回の水平期間ＴＨが終了し、１行分の画像信号の出力が完了すると、再び水平同期信号ＨＤが立ち上がり、次の１行を出力するための水平走査期間ＴＨが開始する。
【００５１】
水平走査期間ＴＨは、そのとき読み出しているフィールドのすべての行の画像信号が出力されるまで、所定の回数繰り返される。
【００５２】
図３は、信号処理ＩＣ３Ａ、３Ｂ、３Ｃによる信号処理の概要を説明するための図である。
【００５３】
図３では、固体撮像素子１の画素領域が、３つの短冊状の領域ＤＡ、ＤＢ、ＤＣに分けられており、信号処理ＩＣ３Ａ、３Ｂ、３Ｃには、領域ＤＡ、ＤＢ、ＤＣからの画像信号がそれぞれ供給されるように設定されている。
【００５４】
領域ＤＡとＤＢとは互いに縁部で重なった領域Ｄａｂを有し、領域ＤＢとＤＣとは互いに縁部で重なった領域Ｄｂｃを有する。
【００５５】
領域Ｄａｂからの画素信号は、信号処理ＩＣ３Ａと３Ｂ両方に供給され、領域Ｄｂｃからの画素信号は、信号処理ＩＣ３Ｂと３Ｃ両方に供給されるよう設定されている。
【００５６】
一方、領域Ｄａ、Ｄｂ、Ｄｃからの画素信号はそれぞれ、信号処理ＩＣ３Ａ、３Ｂ、３Ｃのみに供給される。
【００５７】
信号処理ＩＣ３Ａ、３Ｂ、３Ｃで分割して処理された画像信号を、プログラマブル論理合成回路を用いて一つにまとめ、画素領域全体の画像信号を得る。
【００５８】
領域Ｄａ、Ｄｂ、Ｄｃの形状は、使用する信号処理ＩＣの処理能力等に応じて適当に設定される。
【００５９】
領域Ｄａ、Ｄｂ、Ｄｃの形状を適当に設定することで、用いる３つの信号処理ＩＣを、同一の型のものとすることもできる。
【００６０】
画素信号が複数の信号処理ＩＣへ重複して供給される領域Ｄａｂ、Ｄｂｃは、分割して処理された画像信号のとりまとめを良好に行うために設けられている。
【００６１】
複数の信号処理ＩＣによって重複して処理される領域Ｄａｂ、Ｄｂｃの形状は、使用する固体撮像素子の画素配列型、色補間処理方法等に応じて適当に設定される。
【００６２】
このように、１つの固体撮像素子から出力された画像信号を、複数の信号処理ＩＣで分割して処理することで、多画素数の固体撮像素子に対し、少画素数用の信号処理ＩＣを複数用いての信号処理が可能となる。例えば、新規に多画素数の固体撮像素子を作製する場合において、その固体撮像素子の画素数に合わせた新たな信号処理ＩＣまでも作製することなく、既存の少画素数用の信号処理ＩＣを利用することができるようになる。
【００６３】
以下さらに、図４（Ａ）に示すタイミングチャートを用いて、本実施例における信号処理ＩＣ３Ａ、３Ｂ、３Ｃの具体的な信号処理過程について説明する。図４（Ａ）では、画素行列１行分の信号の処理過程が示されている。なお、横軸の位置は、理解を容易にするため、一部ずらして示している。
【００６４】
図１（Ｂ）に示す固体撮像素子１から、ある１行の画像信号が出力されるとき、まず初めに図３の領域Ｄａに含まれる画素の信号が出力され、その後順次、領域Ｄａｂ、Ｄｂ、Ｄｂｃに含まれる画素の信号の出力が続き、最後に領域Ｄｃに含まれる画素の信号が出力されて、１行分の画素信号の出力が終わる。
【００６５】
その１行分の出力は順次アナログフロントエンドでデジタル信号に変換され、アナログフロントエンドからは、図４（Ａ）最上段に示すような出力２ｏｕｔを得る。信号Ｓａ、Ｓａｂ、Ｓｂ、Ｓｂｃ、Ｓｃはそれぞれ、図３の領域Ｄａ、Ｄａｂ、Ｄｂ、Ｄｂｃ、Ｄｃに含まれる画素からの出力を示す。
【００６６】
信号処理ＩＣ３Ａ、３Ｂ、３Ｃの出力を３Ａｏｕｔ、３Ｂｏｕｔ、３Ｃｏｕｔで示す。信号処理ＩＣ３Ａは、水平同期信号ＨＤＡに合わせて、出力２ｏｕｔに対して（すなわち信号Ｓａ、Ｓａｂに対して）信号処理を実行し、色補間処理が実行できる部分について、色補間処理結果ＳＡを出力する。処理ＩＣ３Ｂは、水平同期信号ＨＤＢに合わせて、出力２ｏｕｔに対して（すなわち信号Ｓａｂ、Ｓｂ、Ｓｂｃに対して）、信号処理を実行し、色補間処理が可能な部分について、色補間処理結果ＳＢを出力する。信号処理ＩＣ３Ｃは、水平同期信号ＨＤＣに合わせて、出力２ｏｕｔに対して（すなわち信号Ｓｂｃ、ＳＣに対して）、信号処理を実行し、色補間処理が可能な部分について、色補間処理結果ＳＣを出力する。
【００６７】
ところで、画素領域を分割して信号処理を行うことに起因して、図３の領域ＤＡ、ＤＢ、ＤＣの縁部（ただし、固体撮像素子の縁部を除く）には、色補間処理を実行できない画素が生じている。そこで、本実施例において、信号処理ＩＣ３Ａ、３Ｂ、３Ｃは、正常な色補間処理が実行できる画素信号に対してのみ、色補間処理結果ＳＡ、ＳＢ、ＳＣを出力するよう設定されている。なお、画素領域の分割とは係わりなく色補間処理が実行できない固体撮像素子の縁部の画素に対して、色補間処理結果は出力されていない。
【００６８】
例えば、図３の領域ＤＡに含まれる画素行に対して、信号処理ＩＣ３Ａで色補間処理をする場合を考える。そのとき、領域ＤＡの右端の画素（以下画素Ｐ１とする）に対して色補間処理をしようとしても、画素Ｐ１の右側には領域ＤＡに属す画素が存在しないため、画素Ｐ１に対する色補間処理は実施することができない。
【００６９】
また例えば、領域ＤＡの右端から２列目の画素（以下画素Ｐ２とする）に対して信号処理ＩＣ３Ａで色補間処理をしようとした場合、領域ＤＡ中画素Ｐ２の右側には１つの画素しか存在しないため、１色分の色補間処理はできるが、残りの１色については色補間処理が実行できない（なおここで、画素Ｐ２の左側には２画素以上が存在するように領域ＤＡは設定されている）。
【００７０】
一方で、領域ＤＡの右端から３列目以左の画素（以下画素Ｐ３とする）に対しては、領域ＤＡ中画素Ｐ３の右側に２つ以上の画素が存在するため、信号処理ＩＣ３Ａで色補間処理が実行できる（なおここで、画素Ｐ３の左側には２画素以上が存在するように領域ＤＡは設定されている）。
【００７１】
このように、図３の領域ＤＡの右端付近に、色補間処理を実行できない画素が存在するので、図４（Ａ）に示す、アナログフロントエンドからの出力信号ＳａとＳａｂのすべてに対しては、信号処理ＩＣ３Ａでの色補間処理が実行できない。信号Ｓａｂの右端付近の画素信号には、色補間処理されないものが生じている。
【００７２】
同様に、信号処理ＩＣ３Ｂについては、信号Ｓａｂの左端付近と、信号Ｓｂｃの右端付近の画素信号に、色補間処理されないがものが生じ、信号処理ＩＣ３Ｃについては、信号Ｓｂｃの左端付近の画素信号に、色補間処理されないものが生じている。
【００７３】
さて、図３の領域ＤＡとＤＢの重なり幅（領域Ｄａｂの幅）を適当に設定することによって、信号ＳＡの右端に対応する画素と、信号ＳＢの左端に対応する画素とが隣接するようにでき、また同様に、領域ＤＢとＤＣの重なり幅（領域Ｄｂｃの幅）を適当に設定することによって、信号ＳＢの右端に対応する画素と、信号ＳＣの左端に対応する画素とが隣接するようにできる。つまり、信号ＳＡ、ＳＢ、ＳＣを重なりなく繋ぎ合わせると、色補間処理が完了した画素信号１行分が生成されるようにできる。
【００７４】
本実施例では、領域ＤＡとＤＢとの重なり幅（領域Ｄａｂの幅）、領域ＤＢとＤＣとの重なり幅（領域Ｄｂｃの幅）はともに、画素４列分に設定される。信号Ｓａｂ、Ｓｂｃはそれぞれ、４画素分の信号となる。
【００７５】
こうすると、信号Ｓａｂの左端から３番目と４番目の画素に対しては信号処理ＩＣ３Ａで色補間処理が実行できないが、左端から１番目と２番目の画素に対しては実行でき、信号ＳＡとして出力される（なお、色補間処理をしたい画素の左側には２画素以上が存在するよう領域ＤＡは設定されている）。一方、信号Ｓａｂの左端から１番目と２番目の画素に対しては信号処理ＩＣ３Ｂで色補間処理が実行できないが、左端から３番目と４番目の画素に対しては実行でき、信号ＳＢとして出力される（なお、色補間処理をしたい画素の右側には２画素以上が存在するよう領域ＤＢは設定されている）。信号Ｓｂｃについても同様である。
【００７６】
本実施例の色補間処理方法では、色補間処理をしたい画素の片側（左側あるいは右側）には２画素が必要であった。重なり幅の設定を、例えばこのように、色補間に必要となる２画素の２倍の４画素（４列）とすることで、信号ＳＡ、ＳＢ、ＳＣを重なりなく繋ぎ合わせ、画素信号１行分が生成されるようにできる。
【００７７】
プログラマブル論理合成回路の出力を６ｏｕｔで示す。プログラマブル論理合成回路には、表示水平同期信号ＨＢＬＫＡが立ち上がっている期間の３Ａｏｕｔ（信号ＳＡ）と、表示水平同期信号ＨＢＬＫＢが立ち上がっている期間の３Ｂｏｕｔ（信号ＳＢ）と、表示水平同期信号ＨＢＬＫＣが立ち上がっている期間の３Ｃｏｕｔ（信号ＳＣ）とが供給される。プログラマブル論理合成回路において、信号ＳＡ、ＳＢ、ＳＣが繋ぎ合わされ、色補間処理が完了した１行分の画像信号が生成される。
【００７８】
なお、表示水平同期信号ＨＢＬＫＡ、ＨＢＬＫＢ、ＨＢＬＫＣは、それぞれ、信号処理ＩＣ３Ａ、３Ｂ、３Ｃより供給されている。
【００７９】
複数の信号処理ＩＣからの出力を、重なりなく繋ぎ合わせて１行分の画像信号を得られるように、本実施例では、画素領域間の重なりを画素４列に設定した。使用する固体撮像素子の画素配列型、色補間処理方法等が異なる場合には、必要とされる画素領域間の重なり形状は異なってくる。その場合でも、色補間処理をしたい画素の周辺に必要となる画素の数や配置形状を考慮し、画素領域間の重なり形状を適当に設定すればよい。
【００８０】
図４（Ｂ）は、本発明の他の実施例を説明するためのタイミングチャートである。
【００８１】
アナログフロントエンドからの出力２ｏｕｔを得る段階までは、図４（Ａ）で説明した第１の実施例と同様である。
【００８２】
第１の実施例において、信号処理ＩＣ３Ａ（３Ｂ、３Ｃ）は、色補間処理が実行できる画素に対してのみ色信号を出力した。本実施例では、信号処理ＩＣ３Ａ（３Ｂ、３Ｃ）は、色補間処理が正常に実行できない画像信号に対しては、仮の色信号を生成し、出力する。ただし、固体撮像素子の縁部の画素に対しては、本実施例においても色補間処理結果は出力されないよう設定されている。
【００８３】
仮の色信号は、色補間処理をしたい画素の片側（右側あるいは左側）のみに存在する画素を用いて生成される。
【００８４】
また、本実施例で、プログラマブル論理合成回路は、初段信号処理部において複数の信号処理ＩＣによって重複して処理された結果を、合成してひとつにまとめる機能を有する。
【００８５】
信号処理ＩＣ３Ａは、水平同期信号ＨＤＡに合わせて、出力２ｏｕｔに対し（すなわち信号Ｓａ、Ｓａｂに対し）信号処理を実行する。アナログフロントエンドの出力Ｓａ、Ｓａｂそれぞれに対し、信号ＳＡ、ＳＡＢ−Ａが生成される。処理ＩＣ３Ｂは、水平同期信号ＨＤＢに合わせて、出力２ｏｕｔに対し（すなわち信号Ｓａｂ、Ｓｂ、Ｓｂｃに対し）信号処理を実行する。アナログフロントエンドの出力Ｓａｂ、Ｓｂ、Ｓｂｃそれぞれに対し、信号ＳＡＢ−Ｂ、ＳＢ、ＳＢＣ−Ｂが生成される。信号処理ＩＣ３Ｃは、水平同期信号ＨＤＣに合わせて、出力２ｏｕｔに対し（すなわち信号Ｓｂｃ、Ｓｃに対し）信号処理を実行する。アナログフロントエンドの出力Ｓｂｃ、Ｓｃそれぞれに対し、信号ＳＢＣ−Ｃ、ＳＣが出力される。
【００８６】
ここで、例えば、信号処理ＩＣ３Ａでの信号処理において、色補間処理が正常に実行できない画素（以下画素Ｐ４とする）について考える。画素Ｐ４は、図３の領域Ｄａｂの右端付近に存在するが、画素Ｐ４の右側に、色補間処理に用いることができる画素が存在しないことから、色補間処理ができない。そこで、画素Ｐ４の左側にある画素の信号を用いて、補いたい色の仮の信号を生成する。例えば、画素Ｐ４の左側に最近接して存在する当該色の１画素の信号を、画素Ｐ４に対する当該色の仮の信号とする。
【００８７】
ただし、このように生成された仮の色信号は、色補間処理をしたい画素の片側だけに存在する画素の信号のみを用いているため、画素Ｐ４に対する色信号としてそのまま採用すると、偽色の発生等が懸念され、好ましくない。
【００８８】
ところで、この画素Ｐ４は、信号処理ＩＣ３Ｂでも処理される。信号処理ＩＣ３Ｂでの処理時に、画素Ｐ４の両側に、色補間処理に必要な画素数が存在している場合であれば、通常の色補間処理が実行される。また、画素Ｐ４の左側に色補間処理に用いることができる画素が存在していなければ、画素Ｐ４の右側にある画素の信号のみを用いて、仮の色信号を生成する。いずれにせよ、画素Ｐ４が信号処理ＩＣ３Ｂで処理される場合は、その出力に、画素Ｐ４の右側に存在する画素の信号が含まれる。
【００８９】
したがって、画素Ｐ４に対して補われた色信号として、信号ＳＡＢ−Ａには、画素Ｐ４の左側に存在する画素の信号のみから生成された色信号が含まれ、信号ＳＡＢ−Ｂには、画素Ｐ４の右側に存在する画素を含む信号から生成された色信号が含まれることになる。
【００９０】
そして、信号ＳＡＢ−ＡとＳＡＢ−Ｂとを合成することで、画素Ｐ４の左右両側の情報が含まれた色信号を補うことができる。
【００９１】
プログラマブル論理合成回路は、信号ＳＡＢ−ＡとＳＡＢ−Ｂとを、加重平均をとる等のプロセスにより合成し、信号ＳＡＢを生成する。信号ＳＡＢにおいては、画素Ｐ４に対して、画素Ｐ４の左右両側の情報を含んだ色信号が補われている。
【００９２】
加重平均の方法を適当に設定することにより、初段信号処理部における色補間処理の方法と整合するように、画素Ｐ４の色信号を補うことができる。
【００９３】
信号処理ＩＣ３Ｂ、３Ｃにおいて色補間処理が正常に実行できない画素についても、同様にして画素が有しない色信号を補うことができる。
【００９４】
プログラマブル論理合成回路には、表示水平同期信号ＨＢＬＫＡが立ち上がっている期間の３Ａｏｕｔ（信号ＳＡ、ＳＡＢ−Ａ）と、表示水平同期信号ＨＢＬＫＢが立ち上がっている期間の３Ｂｏｕｔ（信号ＳＡＢ−Ｂ、ＳＢ、ＳＢＣ−Ｂ）と、表示水平同期信号ＨＢＬＫＣが立ち上がっている期間の３Ｃｏｕｔ（信号ＳＢＣ−Ｃ、ＳＣ）とが供給される。
【００９５】
プログラマブル論理合成回路において、信号処理ＩＣ３Ａによる出力ＳＡＢ−Ａと、信号処理ＩＣ３Ｂによる出力ＳＡＢ−Ｂとが合成され、ひとつの信号ＳＡＢとして出力される。また信号処理ＩＣ３Ｂによる出力ＳＢＣ−Ｂと、信号処理ＩＣ３Ｃによる出力ＳＢＣ−Ｃとが合成され、ひとつの信号ＳＢＣとして出力される。この合成プロセスにおいて、初段信号処理部で正常に色補間処理が実行できなかった画素に対して、色信号を補う処理が完了する。なお、信号ＳＡ、ＳＢ、ＳＣはそのまま出力される。
【００９６】
このようにして、プログラマブル論理合成回路において最終的に、各画素について色信号が補われた、１行分全体の画像信号ＳＡ、ＳＡＢ、ＳＢ、ＳＢＣ、ＳＣが生成される。
【００９７】
以上２つの実施例において、色補間処理をしたい画素と同じ行にある画素のみを用いて色補間処理を行ったが、信号処理ＩＣの前段に遅延回路を設けることにより、色補間処理をしたい画素の上下の行の画素を含めた形での色補間処理も実施できる。
【００９８】
例えば図５に示すように、アナログフロントエンド２からの出力に対し、遅延なしの信号と、遅延回路２０による１行分の遅延信号と、遅延回路２１による２行分の遅延信号とを生成し、並列的に信号処理ＩＣ３Ａ’（３Ｂ’、３Ｃ’）に供給する。信号処理ＩＣ３Ａ’（　３Ｂ’、３Ｃ’）は、３行分の画像信号を入力し、色補間処理を行うことができる。
【００９９】
以上２つの実施例においては、画像信号を行単位で読み出す固体撮像素子を用いて説明したが、列単位で読み出す固体撮像素子を用いてもよい。行についての説明を列に読み替えればよい。
【０１００】
以上、実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば種々の変更、改良、組合せが可能なことは当業者に自明であろう。
【０１０１】
【発明の効果】
以上説明したように、本発明によれば、固体撮像装置における色補間処理等に関して、並列的な信号処理を良好に行うための新規な制御方法が提供される。
【図面の簡単な説明】
【図１】固体撮像装置の構成を示すブロック図と固体撮像素子の概略平面図である。
【図２】固体撮像装置の動作を概略的に示すタイミングチャートである。
【図３】初段信号処理部における信号処理の概要を説明するための図である。
【図４】信号処理ＩＣにおける具体的な信号処理過程を示すタイミングチャートである。
【図５】アナログフロントエンドと信号処理ＩＣの間に遅延回路を含む構成を示すブロック図である。
【符号の説明】
１　固体撮像素子
２　アナログフロントエンド
３　初段信号処理部
３Ａ、３Ｂ、３Ｃ　信号処理ＩＣ
６　プログラマブル論理合成回路
７　タイミングジェネレータ
８　Ｖドライバ
【図１】
2004080227.tif 000003
【図２】
2004080227.tif 000004
【図３】
2004080227.tif 000005
【図４】
2004080227.tif 000006
【図５】
2004080227.tif 000007