(57)【特許請求の範囲】
【請求項１】
入射光を色分解する色フィルタセグメントが入射光側に形成され、該色フィルタセグメントからの透過光を信号電荷に変換する２次元アレイ状に配設された受光素子と、前記受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、
前記受光素子のそれぞれは、垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、
前記垂直転送手段は、水平方向に配設された受光素子の間に２列一組ずつ形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させ、実際に配設されている受光素子を実画素と設定し、該実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素と設定し、遮光されている垂直転送手段と該仮想画素の近傍に光学的な開口部が形成されている垂直転送手段とが規則的に配設された固体撮像素子を用いる固体撮像装置において、該装置は、
前記固体撮像素子の露光時間を調整する遮光手段と、
前記固体撮像素子の開口部から得られる信号を前記仮想画素の位置における実データとして用い、前記実画素および前記仮想画素の実データにより三原色の画素データを補間生成する信号処理手段とを含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の装置において、前記開口部は、該開口部の大きさを前記信号電荷が蓄積されるパケットの範囲内にすることを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の装置において、前記信号処理手段は、前記実画素および前記仮想画素の実データすべてを用いる静止画撮影モードに対して所定の間隔で読み出す動画撮影モードにおいて、前記受光素子の信号電荷を転送する複数の前記２列一組の垂直転送手段のうち、色分解する色フィルタセグメントの配列を保って、遮光されている垂直転送手段を介して得られる実画素のデータを用いて水平方向の間引き処理を行うことを特徴とする固体撮像装置。
【請求項４】
請求項１、２または３に記載の装置において、前記固体撮像素子は、前記動画撮影モードにおいて、垂直方向の間引き読出しを行うことを特徴とする固体撮像装置。
【請求項５】
請求項１または２に記載の装置において、該装置は、前記開口部にて得られた信号を静止画撮影モードにおいて前記仮想画素の情報として用いることを特徴とする固体撮像装置。
【請求項６】
入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、前記受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、前記複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、
前記受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、前記垂直転送手段を水平方向に配設された受光素子の間に２列一組ずつ形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させた固体撮像素子において、該素子は、
実際に配設されている受光素子を実画素、該実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素とし、前記垂直転送手段として遮光されている第１の垂直転送手段と該仮想画素の近傍に光学的な開口部が形成されている第２の垂直転送手段とが規則的に配設され、
第１の垂直転送手段は、前記垂直転送手段に隣接する受光素子を覆う色分解する色フィルタセグメントの色配列パターンに着目して第１の垂直転送手段に隣接する受光素子が該色配列パターンと同じ関係を保つように配設することを特徴とする固体撮像素子。
【請求項７】
請求項６に記載の素子において、前記開口部は、該開口部の大きさを前記信号電荷が蓄積されるパケットの範囲内にすることを特徴とする固体撮像素子。
【請求項８】
請求項６または７に記載の素子において、該素子は、前記実画素および前記仮想画素の実データすべてを用いる静止画撮影モードにおける前記仮想画素の情報として前記開口部にて得られた信号を用いることを特徴とする固体撮像素子。
【請求項９】
請求項６、７または８に記載の素子において、該素子は、前記静止画撮影モードに対して所定の間隔で読み出す動画撮影モードにおいて、垂直方向の間引き読出しを行うことを特徴とする固体撮像素子。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、光電変換する受光素子を画素ずらし配置した、いわゆるハニカム配置の固体撮像装置に関するものであり、また、本発明は、ハニカム配置に配設した受光素子で信号電荷を生成する固体撮像素子に関するものである。
【０００２】
【従来の技術】
固体撮像装置には、モアレ等の偽信号が発生することがある。また、画素の高集積化を行いながら、受光する光量を増やすことにより受光効率の向上を図ることができる固体撮像装置が特開平10-136391に提案されている。この固体撮像装置は、画像の空間サンプリングの最適化ももたらす新規な構造を提供する。この構造を、いわゆるハニカム画素配列という。
【０００３】
このハニカム画素配列は、各画素間の距離をピッチとすると、たとえば、行方向および／または列方向に半ピッチずらして配置する配列である。この画素配置にともなって、CCD（Charge Coupled Device)型の固体撮像素子では、垂直方向の転送レジスタが各画素を迂回するように蛇行して形成されている。画素は、それぞれ実際に存在する画素（実画素）に対して色フィルタセグメントが割り当てられている。画素（受光素子）では、色フィルタセグメントからの透過光を光電変換して色属性を有する信号電荷を垂直方向の垂直転送レジスタに読み出す。固体撮像装置では、この垂直転送方向に直交する水平転送レジスタを介してQ/V変換された電圧信号、すなわちアナログ信号を出力する。
【０００４】
このアナログ信号には、信号処理が施される。供給される実画素の色を考慮して画素データの相関を求める。信号処理では、色を設定し、同色の相関の高い画素データ同士を用いて画素の実在しない位置における画素データ、すなわち仮想画素における画素データと、実在する異色の画素での画素データとが算出される。相関が強い方向の画素データを用いて画素補間処理が行われる。この画素補間処理は、偽信号の発生を抑制することができる。また、画素データの広帯域化処理も施して解像力も高めている。
【０００５】
【発明が解決しようとする課題】
ところで、上述した信号処理は、対象画素の周辺にある画素データの相関性を判定することにより予測して対象の仮想画素を生成している。しかしながら、この信号処理は、シーンすべてに対して良好な効果をもたらしてくれるわけではなかった。この予測を誤ると、生成する画素データがたとえば忠実な色や階調を反映できなくなり、本来のシーンに対する偽色や解像度の低下を招いてしまう虞れがあった。
【０００６】
本発明はこのような従来技術の欠点を解消し、より高い位置精度で画素からの信号電荷をサンプリングして高精度な画素生成の予測を行うことができる固体撮像装置および固体撮像素子を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、前記受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、垂直転送手段を水平方向に配設された受光素子の間に２列一組ずつ形成し、互いに隣接する受光素子に対して１列ずつ迂回させた固体撮像装置において、実際に配設されている受光素子を実画素、この実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素とし、遮光されている垂直転送手段とこの仮想画素の近傍に光学的な開口部が形成されている垂直転送手段とが規則的に配設されている固体撮像素子と、この固体撮像素子の露光時間を調整する遮光手段と、固体撮像素子の開口部から得られる信号を仮想画素のデータとして用いた実画素による補間処理を行う信号処理手段とを含むことを特徴とする。
【０００８】
本発明の固体撮像装置は、遮光手段を開けて所定の時間にわたって入射光を受光素子および光学的な開口部のそれぞれで受光し、光電変換を行い、遮光手段で入射光を遮光して露光終了後、各開口部で生成された信号電荷を仮想画素の位置に対応する情報として読み出して、補間処理で生成される仮想画素に比べて精度を高く保ち、この後、垂直転送手段の信号電荷を掃き出して、通常の処理手順に従って受光素子のそれぞれに蓄積した信号電荷を垂直転送手段に読み出して、信号処理手段で仮想画素を実画素による補間処理に用いることにより、補間により得られる各画素に対する精度を向上させることができる。
【０００９】
また、本発明は上述の課題を解決するために、入射光を信号電荷に変換する２次元アレイ状に配設された受光素子と、受光素子で変換した信号電荷を垂直方向に転送する複数の垂直転送手段と、複数の垂直転送手段に対して直交する水平方向に転送された信号電荷を転送する水平転送手段とを含み、受光素子のそれぞれに対する垂直方向および水平方向に配する素子間隔をピッチとし、互いに隣接する受光素子がほぼ半ピッチずらして配設され、垂直転送手段を水平方向に配設された受光素子の間に２列一組ずつ形成し、互いに前記隣接する受光素子に対して１列ずつ迂回させた固体撮像素子において、実際に配設されている受光素子を実画素、該実画素で囲まれた空き領域に配設されると仮想した受光素子を仮想画素とし、垂直転送手段として遮光されている第１の垂直転送手段とこの仮想画素の近傍に光学的な開口部が形成されている第２の垂直転送手段とが規則的に配設され、第１の垂直転送手段は、垂直転送手段に隣接する受光素子を覆う色分解する色フィルタセグメントの色配列パターンに着目して第１の垂直転送手段に隣接する受光素子がこの色配列パターンと同じ関係を保つように配設することを特徴とする。
【００１０】
本発明の固体撮像素子は、第２の垂直転送手段の各開口部で生成された信号電荷を仮想画素の位置に対応する信号電荷として読み出して、この後、垂直転送手段の信号電荷を掃き出して、通常の処理手順に従って受光素子のそれぞれに蓄積した信号電荷を垂直転送手段に読み出して転送して静止画撮影における信号読出しを行い、これまでの受光素子からの信号電荷に加えて、仮想画素の近傍に位置する開口部からの信号電荷から得られる実データが補間で生成される仮想画素の推定データに比べて精度の高い情報の提供する一方で、垂直間引きして信号電荷を読み出して転送して動画撮影における信号読出しを行い、この動画撮影における信号読出しでは、読み出した信号電荷のうち、第１の垂直転送手段から得られた信号電荷に対応するデータだけを用いることにより、色配列パターンが保たれた正常なデータを水平間引きした動画撮影用として得ることができる。
【００１１】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の一実施例を詳細に説明する。
【００１２】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１３】
ディジタルカメラ10は、図１に示すように、撮像部12の固体撮像素子に特徴を有している。図１の撮像部12は、入射光の入射側から見た光電変換する受光素子120の配列を表している。ただし、撮像部12のうち、水平転送レジスタは、これまでと同じに形成されていることから、図面上には表示しない。
【００１４】
一方の受光素子120に対して隣接する他方の受光素子120は、水平方向および垂直方向における同方向の受光素子（画素）間隔を画素ピッチとすると、各方向における画素ピッチのほぼ半分を示す位置に配設されている。また、受光素子120のピッチ間には、２列分の垂直転送レジスタ122, 122がそれぞれ形成されている。このような受光素子の配列が、いわゆるハニカム配列である。ここで、撮像部12は、受光素子120を実在する実画素とした場合、４つの受光素子120で囲まれた受光素子のない領域を仮想画素の領域としている。
【００１５】
本発明における特徴の一つである撮像部12には、４つの実在する受光素子120に挟まれて２列の垂直転送レジスタ122, 122のうち、左側垂直転送レジスタ122上に入射ホール124が形成されている。入射ホール124は、仮想画素に一致させて形成させると信号電荷の保持ができなくなるから、仮想画素の近傍に形成している。また、入射ホール124は、色フィルタセグメントの配列パターンを考慮して、１列の垂直転送レジスタ122に形成しないで、２列の垂直転送レジスタ122, 122に形成する。受光素子120内に記載されている文字R, G, Bは、色フィルタセグメントの色を示している。ここで使用する色フィルタセグメントの配列パターンは、G正方RB完全市松パターンである。入射ホール124は、この３列を単位とする関係を保って形成される。後段でさらに説明する。
【００１６】
ディジタルカメラ10は、撮像部12の他に、光学レンズ系14、絞り調節機構16、メカニカルシャッタ18、前処理部20、信号処理部22、操作部24、システム制御部26、タイミング信号生成部28、ドライバ30、モニタ32およびストレージ34を含む（図２を参照）。 光学レンズ系14には、図示しないが被写界の画角を調整するズーム機構、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節するオートフォーカス（AF: Automatic Focus)調節機構が含まれている。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ30からそれぞれ供給される駆動信号30aに応動して動作している。
【００１７】
絞り調節機構16は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ30からの駆動信号30bに応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り機構16はアイリスの口径を変えている。絞り機構16は、メカニカルシャッタ18をレンズシャッタとして光学レンズ系14に組み込んでもよい。
【００１８】
メカニカルシャッタ18は、撮像部12に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタ18には、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタ18は、ドライバ30から供給される駆動信号30cに応じてシャッタを開閉する。
【００１９】
撮像部12は、光学ローパスフィルタ12a、色フィルタ12bおよび固体撮像素子12cを含む。光学ローパスフィルタ12aは、入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ12bは、たとえば三原色RGBの色フィルタセグメントが固体撮像素子の個々の受光素子（photosensitive cell）と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタは、固体撮像素子12cの受光素子の配置に依存する。
【００２０】
固体撮像素子12cには、電荷結合素子（CCD: Charge Coupled Device)や金属酸化膜半導体素子（MOS: Metal Oxide Semiconductor)がある。固体撮像素子12cにもドライバ30から駆動信号30dが供給されている。固体撮像素子12cは、動作モードに応じて駆動信号30dが供給される。動作モードのうち、静止画撮影モードの場合、固体撮像素子12cは、垂直転送レジスタ122に蓄積した信号電荷を読み出してバッファメモリに保存した後、受光素子120から露光時に光電変換して生成した信号電荷をゲートを介して垂直転送レジスタに読み出し、このレジスタに直交する方向、すなわち水平方向に配設された水平転送レジスタに転送した信号電荷をシフトさせ、水平転送する。
【００２１】
また、動画撮影モードの場合、固体撮像素子12cは、垂直転送レジスタの信号電荷をそのままに受光素子120から露光時に光電変換して生成した信号電荷をゲートを介して垂直転送レジスタに読み出し、このレジスタに直交する方向、すなわち水平方向に配設された水平転送レジスタに転送した信号電荷をシフトさせ、水平転送する。ここで、この垂直転送において、固体撮像素子12cは、同色の画素からの信号電荷を混合させたり、色配列を考慮した垂直方向の間引き読出し等を行って信号読出しを高速化させている。たとえば、水平転送レジスタを２本有する場合、水平ブランキング期間中にラインシフトして同色の信号電荷を混合する。G正方RB完全市松パターンにおいて、垂直間引きは、たとえば1/4間引きを行って信号電荷の読出しを行っている。
【００２２】
水平転送された信号電荷は、いずれのモードでも出力アンプにフローティングディフュージョンアンプ（FDA: Floating Diffusion Amplifier）を用いて電圧信号にQ/V変換される。撮像部12は、Q/V変換されたアナログ信号12dを前処理部20に出力する。
【００２３】
前処理部20には、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路、ゲイン調整アンプ（GCA: Gain Control Amplifier)、およびA/D変換器（Analog-to-Digital Converter)が含まれている。前処理部20は、供給されるアナログ信号12dに対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ20aとしてシステムバス100を介して信号処理部22に出力する。
【００２４】
信号処理部22は、図示しない信号発生回路、メモリ、ガンマ補正回路、評価値算出部、画素補間処理回路、色差マトリクス処理回路、および圧縮／伸長処理回路が含まれている。信号処理部22には、システム制御部26から制御信号26bが供給されている。信号処理部22の図示しない信号発生回路は制御信号26bに応動して動作する。信号発生回路は、複数の周波数を生成することができるPLL（Phase Locked Loop）回路を有している。信号発生回路は、源発の発振周波数を基準クロックとして逓倍して複数種類のクロック信号22aを生成し、システムバス100を介してクロック信号22bとしてシステム制御部26およびタイミング信号生成部28に出力する。
【００２５】
一方、信号処理部22には、図示しないがタイミング信号生成部28からタイミング信号が供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDおよび後述する各部の動作クロック等を含んでいる。
【００２６】
メモリには、画像データ20aがシステムバス100、信号の入出力を行うデータバス22cを介して入力され、一時的に記憶される。メモリには、静止画撮影モードにおいて入射ホール124、すなわちこれまで仮想画素での画像データを実在する情報として区別して扱い、記憶される。入射ホール124からの情報は、入射ホール124の上に色フィルタセグメントの有無に応じて情報の扱いが変わる。色フィルタセグメントがないとき、得られる情報は高域輝度データYHとして扱い、色フィルタセグメントで覆われているとき、得られる情報は、色の属性を有する画素データとして扱われる。
【００２７】
また、メモリには、動画撮影モードにおいて通常の場合と同様に入射ホール124を考慮せずに垂直方向に1/4間引きされた信号電荷から得られた画像データが供給される。メモリは、読出しに際してアスペクト比および信号読出しの高速化等を図るため水平方向に間引き読出しを行う。この場合も色配列パターンを崩さないように画像データの読出しが行われる。メモリは、水平方向の間引きを行っても、元々の色配列パターンが保たれるように図１の場合、入射ホール124が形成され、入射ホール124が形成されていない垂直転送レジスタを介して得られた画像データを読み出す。この結果、画像データは、水平方向に1/3間引きして読み出されることになる。
【００２８】
メモリは、記憶した画像データをガンマ補正回路に供給する。また、メモリは、繰り返し読出しを行う場合、不揮発性メモリを用いることが好ましい。ガンマ補正回路には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正回路は、画像処理における前処理の一つとして供給される画像データをテーブルのデータを用いてガンマ補正する。ガンマ補正回路は、ガンマ補正した画像データをそれぞれ評価値算出部および画素補間処理回路に供給する。
【００２９】
評価値算出部には、絞り値・シャッタ速度、ホワイトバランス（White Balance：以下、WBという）調整値および階調補正値を算出する演算回路が含まれている。評価値算出部は、上述した回路にて、供給される画像データを基に適切な各パラメータを演算処理により算出する。これらの算出結果は、データバス22c、システムバス100を介してパラメータ22dとしてシステム制御部26に供給される。
【００３０】
なお、評価値算出部は、信号処理部22への配設に限定することなく、システム制御部26に配設するようにしてもよい。この場合、信号処理部22は、ガンマ補正した画像データをシステム制御部26に供給する。
【００３１】
画素補間処理回路は、画素データを補間生成して算出する機能を有している。撮像部12は単板の色フィルタ12bを用いているため、実際の色フィルタセグメントの色以外の色が撮像素子から得られない。そこで、画素補間処理回路は、静止画撮影モードにおいて、この得られない色の画素データを補間により生成する。画素補間処理回路は、プレーンな画像データを色差マトリクス処理回路に供給する。
【００３２】
なお、画素補間処理回路は、生成した画素データを広帯域化する機能を含んでもよい。また、画素補間処理回路は、いわゆるハニカムタイプの固体撮像素子12cを撮像部12に用いている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置（実画素）や画素の存在しない位置（仮想画素）に三原色RGBの画素データを補間処理により生成する。
【００３３】
ただし、入射ホール124に対応する仮想画素位置の画素データは、実在する情報としてそのまま用いる。たとえば、この画素データが高域輝度データYHの場合、画素補間処理回路では、周囲からの推定により生成した輝度データでなく、この高域輝度データYHを用いる。このように実際に得られた情報を用いることにより、推定により得られた輝度データに比べて仮想画素の位置における画素データの精度を高めることができる。色属性を有する画素データにおいても推定により得られる平均レベルに比べてデータのレベル精度を上げることができる。したがって、生成した画像のエッジや色境界等を正確に表現できるようになる。これは、解像度の向上および偽色の抑制効果に大いに貢献している。
【００３４】
色差マトリクス処理回路は、画素補間処理回路から供給される画像データと所定の係数を用いて輝度データYと色データCb, Crを生成する。生成した画像データは、圧縮／伸長処理回路に供給される。
【００３５】
圧縮／伸長処理回路は、静止画や動画（ムービ）モードにおいて供給される画像データ（Y/C）にJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。圧縮／伸長処理回路は、データバス22c、システムバス100、データバス34aを介して圧縮処理した画像データをストレージ部34に送って記録する。圧縮／伸長処理部は、ストレージ部34に記録した画像データをデータバス34a、システムバス100、データバス22cを介して供給して伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。
【００３６】
また、信号処理部22は、生成した画像データや再生にともなって伸長した画像データ（Y/C）に対してRGB変換を行い、このRGB変換した画像データ22cをシステムバス100、データバス32aを介してモニタ32に供給する。モニタ32は、図示しない表示コントローラにより供給される画像データ22cが表示デバイスにて動作することにより画像表示される。
【００３７】
信号処理部22は、画像データを外部の機器と入出力する場合、図示しないが外部I/F回路を配するとよい。外部I/F回路としては、たとえば、PIO (Programmed Input/Output)、UART (Universal Asynchronous Receiver/Transmitter：非同期シリアル通信用送受信回路)、USB（Universal Serial Bus)、IEEE1394規格（the Institute of Electrical and Electronics Engineers：米国電気電子技術者協会)に基づくインタフェース等がある。
【００３８】
PIOは、入出力をプログラムで変更することのできるインタフェース部である。UARTは、シリアル・インタフェースに用いられるデバイスである。このデバイスは、供給されるパラレル信号をシリアル信号に変換したり、シリアル・デバイスから送られるシリアル信号をパラレル信号に変換する機能を有している。IEEE1394規格のI/Fは、たとえば400Mbpsまでのデータ転送をサポートしている。
【００３９】
操作部24には、モード選択部24aおよびレリーズシャッタボタン24bが含まれている。モード選択部24aは、静止画撮影モードと動画撮影モードのうち、いずれのモードにするかの選択を行う。モード選択部24aは、選択したモード信号24cをシステム制御部26に出力する。レリーズシャッタボタン24bは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガ信号24dをシステム制御部26に出力する。操作部24には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００４０】
システム制御部26は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。システム制御部26は、供給されるモード信号24cに応じてディジタルカメラ10を静止画撮影モードまたは動画撮影モードに設定する。システム制御部26は、この設定するモード信号24cと、レリーズシャッタボタン24bから撮像タイミングを報知するトリガ信号24dとを受けて、制御信号26aを生成する。生成した制御信号26aは、システムバス100を介して信号処理部22やタイミング信号生成部28にそれぞれ制御信号26b, 26cとして供給される。
【００４１】
システム制御部26は、信号処理部22内におけるライン補間や信号発生回路に対する制御、および信号処理を行う上での制御をも考慮した制御信号26aを生成する。また、図示しないが、システム制御部26は、前処理部20、ストレージ34における読出し／書込み制御も行っている。
【００４２】
タイミング信号生成部28は、信号処理部22から供給されるクロック信号22bを基準にシステム制御部26から供給される制御信号26cに応じてタイミング信号を生成する。タイミング信号は、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号および水平転送信号等がある。タイミング信号生成部28は、これら生成したタイミング信号28aを動作に応じてそれぞれ、ドライバ30、前処理部20、図示しない信号処理部22およびシステム制御部26に供給している。
【００４３】
ドライバ30は、供給されるタイミング信号28aや制御信号26cを基に駆動信号30a, 30b, 30c, 30dを生成する駆動回路を有している。ドライバ30は、制御信号26cを基に駆動信号30a, 30bを光学レンズ系14および絞り調節機構16にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ30は、レリーズシャッタボタン24bから供給される本撮像のタイミングに応動してメカニカルシャッタ18の開閉を行う駆動信号30cをメカニカルシャッタ18に出力する。また、ドライバ30は、タイミング信号28aを基に生成した駆動信号30dを固体撮像素子12cに供給し、各受光素子120に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を垂直転送レジスタ、水平転送レジスタを介して転送させている。
【００４４】
モニタ32には、信号処理部22から画像データ22cをシステムバス100、データバス42aを介して供給される。モニタ32には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データ22cを基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ32は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば十分に用いることができることは言うまでもない。
【００４５】
ストレージ34は、半導体メモリ等を記録媒体として用いて、信号処理部22から供給される画像データをデータバス22c、システムバス100、データバス34aを介して記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ34は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み／読出しを行う。データの書込み／読出しは、図示しないがシステム制御部26の制御に応じて行われる。
【００４６】
再び固体撮像素子12cについて説明する。固体撮像素子12cの要部拡大すると、図３に示すように入射ホール124が垂直転送レジスタ122の一方側に形成されている。入射ホール124は、前述したように本来の仮想画素近傍の垂直転送レジスタ122内に形成される。この固体撮像素子12cを破断線III−IIIで切断した断面を示す。n型シリコンウェーハ40の上にpウェル42を形成する。pウェル42は、受光素子120と垂直転送レジスタ122の領域を仕切るように形成する。仕切られた受光素子120の領域内にフォトダイオードとして図示しないがn層を形成し、この上にp+層を形成している。
【００４７】
垂直転送レジスタ122には、図示しないが領域内にpウェルが形成され、この上にn層が形成されている。ここでは、各受光素子120と各受光素子120の右側に配設された垂直転送レジスタ122との間には、図示しないがゲートが形成されている。受光素子120および垂直転送レジスタ122は、上述したそれぞれの２層を領域内に形成し、たとえば同一レベルにする。そして、二酸化ケイ素（SiO2）や樹脂等を用いて積層させながら、２層ポリシリコン膜126a, 126bおよび遮光膜128を形成する。２層ポリシリコン膜126a, 126bは、図示していないが金属電極で互いに接続されている。遮光膜128は、タングステンまたはアルミニウム等の材質を用いて遮光する。遮光膜128は、受光素子120の周囲を覆うように形成し、垂直転送レジスタ122の領域を完全に覆うように形成する。
【００４８】
ただし、本実施例において２層ポリシリコン膜126a, 126bおよび遮光膜128は、垂直転送レジスタ122内に入射光が入るようにレジストでマスクを形成する。マスクが形成された領域には、断面が示すように各膜126a, 126b, 128に対応したマスクのレジストを除去し、SiO2（130）を形成すると、入射ホール124が形成される。さらに、SiO2を積層形成し、平滑化する。
【００４９】
図示しないが、この上に色フィルタ12b、オンチップ・マイクロレンズを形成している。色フィルタ12bが、受光素子120の領域だけを覆うように色フィルタセグメントを形成すると、入射ホール124には白色光が入ることになる。この場合、入射ホール124には、輝度信号に対応する信号電荷が生成される。また、三原色RGBのうち、ある一つの色フィルタセグメントにより入射ホール124が覆われている場合、その色フィルタセグメントの色属性を有する信号電荷が生成されることになる。このようにしてこれまで仮想画素として扱っていた位置の近傍に形成した入射ホール124を画像形成における新たな情報源として利用する。この入射ホールからの情報は、静止画撮影モードにおいて利用する。
【００５０】
次にディジタルカメラ10の動作について説明する。ディジタルカメラ10のメインルーチンを図４に示す。電源を投入後、初期設定を行う。この後、撮影のモード選択を行う（ステップS10)。モード選択は、モード選択部24aで静止画撮影モードと動画撮影（ムービ）モードのいずれか一方を選択する。選択結果は、モード信号24cとしてシステム制御部26に供給される。この選択後、スルー画表示に進む。
【００５１】
スルー画表示は、撮像部12からの画像データ20aを信号処理部22に供給して処理された画像データをモニタ32に表示する動作である（ステップS12)。この動作を行うため、システム制御部26によりタイミング信号生成部28およびドライバ30が制御される。AF調節、AE調節およびメカニカルシャッタを開いた状態にする。撮像部12は、入射光をタイミング信号28aに応動して光電変換し、得られた信号電荷をたとえば、垂直方向に1/4間引きして転送する。信号電荷は、FDAを経てアナログ信号にして前処理部20に出力する。
【００５２】
信号処理部22は、前処理部20で変換された画像データ20aをメモリに取り込む。この場合、メモリでは、動画として水平方向に間引いて読み出す。この垂直および水平方向に間引きされた画像がモニタ32に供給される。スルー画表示を行いながら、動作の判断に進む（ステップS14へ)。
【００５３】
次にディジタルカメラ10が静止画撮影モードにあるか否か判断する（ステップS14)。システム制御部26では、モード選択の結果から判断を行う。静止画撮影モードが選択されている場合（YES)、静止画撮影に進む（サブルーチンSUB1）。また、静止画撮影モードが選択されていない場合（NO）、動画撮影が選択されているか否かの判断に進む（ステップS16へ)。
【００５４】
この判断は、前述した静止画撮影における判断の場合と同様にシステム制御部26で行う。動画撮影が選択されている場合（YES)、動画撮影に進む（サブルーチンSUB2）。また、動画撮影が選択されていない場合（NO）、このままの状態、すなわちスルー画表示に進む（ステップS18へ)。
【００５５】
静止画撮影（サブルーチンSUB1）や動画撮影（サブルーチンSUB2）が終了した後もスルー画表示に進む（ステップS18へ)。ディジタルカメラ10は、前述したように撮像部12で撮像した被写界をモニタ32に表示させる。
【００５６】
そして、システム制御部26では、操作部24における何等かのキーが操作されたとき、キーがモード選択部24aに対応しているか否かを判断する（ステップS20)。キーがモード選択部24aに対応している場合（YES)、モード変更と判断して、モード選択処理に戻る（ステップS10へ)。また、キーがモード選択部24aに対応していないまたは所定の時間にわたってキー操作が行われなかった場合（NO)、ディジタルカメラ10の動作を終了するか否かの判断に進む（ステップS22へ)。
【００５７】
次に終了の判断を行う（ステップS22)。終了しない場合（NO）、モード情報として前の撮影モードを保持して静止画撮影の判断に戻り、処理を繰り返す（ステップS14へ)。ここで、待機時間を越えて何もディジタルカメラ10におけるキー操作が行われなかったとき、撮影モードは保持したまま、スルー画表示を停止して待機モードに自動的に移行するようにしてもよい。また、終了する場合（YES)、電源をオフにしてディジタルカメラ10の動作を終了する。ドライバ30に供給される。
【００５８】
次にディジタルカメラ10における静止画撮影モードの動作を説明する（サブルーチンSUB1:図５を参照）。レリーズシャッタボタン24bが半ストローク（または１段目まで）操作される（S1：オン；サブステップSS10）。次にシステム制御部26では、この操作に応動したトリガ信号24dを受けて新たに撮像部12の駆動を行う（サブステップSS12）。撮像部12の駆動は、スルー画の場合と同様にシステム制御部26からの制御に応動してドライバ30から駆動信号30dが供給される。
【００５９】
撮像部12の駆動により得られた画像データ20aを基にAF/AEの制御を行う（サブステップSS14）。信号処理部22は、供給される画像データ20aを用いて評価値算出部でAF調節・AE調節のパラメータを生成する。信号処理部22は、データバス22c、システムバス100を介してパラメータ22dとしてシステム制御部26に供給する。システム制御部26では、パラメータ22dに応じた制御信号26aを生成してシステムバス100を介して制御信号26cとしてタイミング信号生成部28およびドライバ30にそれぞれ、供給される。ドライバ30は、制御信号26cおよびタイミング信号28aを考慮してAF/AE調節の駆動信号30a, 30bを光学レンズ系14および絞り調節機構16にそれぞれ生成して供給する。
【００６０】
なお、AF/AE調節用に別途用意したセンサを用いて得られた情報に基づいてAF/AE制御を行うようにしてもよい。また、S1の操作は、一回に限定されるものでなく、図示しないが本撮像が開始されるまでS1の操作が行われた際に前述の処理を繰り返すことは言うまでもない。
【００６１】
レリーズシャッタボタン24bが全ストローク（または２段目まで）操作される（S2：オン；サブステップSS16）。次にシステム制御部26では、この操作に応動したトリガ信号24dを受けて撮像部12に対して本撮像を行うように制御を行う（サブステップSS18）。この制御として、システム制御部26の制御に応動してドライバ30から供給される駆動信号30cによりメカニカルシャッタ18を閉じて、垂直転送レジスタ122に蓄積している信号電荷を掃き出す。そして、ドライバ30は、駆動信号30dを供給して垂直転送レジスタ122にポテンシャルを形成する。
【００６２】
この後、ドライバ30から供給される駆動信号30cによりメカニカルシャッタ18を開く（露光開始：サブステップSS20）。システム制御部26は、供給されたパラメータ22dから露光時間の制御も行う。サブステップSS22では、システム制御部26にて露光時間が経過したか否かの判断を行う。露光時間の経過が完了していない場合（NO)、この判断を繰り返す。また、露光時間が経過したと判断した場合（YES)、露光完了処理に進む（サブステップSS24へ）。
【００６３】
露光完了処理は、システム制御部26からドライバ30を制御して駆動信号30cをメカニカルシャッタ18に供給してメカニカルシャッタ18を閉じる（サブステップSS24）。これにより、撮像部12は遮光状態になる。撮像部12は、まず、この状態で入射ホール124を経て入射した光量に応じて光電変換され、垂直転送レジスタ122に蓄積した信号電荷を読み出す（垂直転送路の駆動：サブステップSS26）。この信号電荷は、水平転送され、アナログ電圧信号に変換されて前処理部20に供給される。前処理部20では、アナログ電圧信号がディジタル信号に変換される。前処理部20は、画像データ20aとして信号処理部22のメモリに出力する。接続子Aを介して図６の処理に進む（サブステップSS28へ）。
【００６４】
次にメモリは、これまで直接的に得られなかった仮想画素の位置からのデータとして保存する（サブステップSS28）。このデータ保存の後、通常行っている受光素子120から垂直転送レジスタ122に信号電荷を読み出して全画素読出しを行う（サブステップSS30）。信号電荷を転送し、信号電荷に対するQ/V変換、そしてアナログ信号に対するディジタル変換等を順次行って、受光素子120に対応した画像データ20aが、信号処理部22のメモリに保存される（サブステップSS32）。
【００６５】
次に保存した画像データ20aを用いて信号処理を行う（サブステップSS34）。信号処理部22では、画像データ20aに対してガンマ補正、画素補間処理、マトリクス処理および圧縮処理を順次施す。特に、画素補間処理において入射ホール124から得られた画像データ20aは、仮想画素位置における輝度データYHとして用いる。周囲の画素データから加算平均して算出した輝度データYHに比べて実際に得られた輝度データYHの方が高いレベル精度で用いることができる。
【００６６】
圧縮処理後の画像データは、データバス22c、システムバス100、データバス34aを介してストレージ34に供給され、記録される（サブステップSS36）。ほぼ同時に、信号処理部22では、圧縮前の画像データから間引いた画像データをモニタ32に供給して表示するようにしてもよい。
【００６７】
次にディジタルカメラ10が連写の指示を受けているか否かの判断を行う（サブステップSS38）。すなわち、レリーズシャッタボタン24bが連続してS2のストローク状態に押し込まれているかを判断する。連写する場合（YES)、接続子Bを介してたとえば、図５に示したAF/AE制御に戻り（サブステップSS14へ）、前述の各処理を繰り返す。単写の場合（NO）、静止画撮影モードを終了するかの判断処理に進む（サブステップSS40へ）。
【００６８】
なお、連写の有無に関する判断は、便宜上、記録完了後にしているが、撮像部12からのデータ読出しが完了していれば、次の露光を開始してもよい。
【００６９】
静止画撮影モードにおける動作を終了するか否かの判断を行う（サブステップSS40）。静止画撮影モードを継続する場合（NO）、接続子Cを介して図５に示した最初の処理、サブステップSS10に戻ってこれまでの処理を繰り返す。また、静止画撮影モードを終了する場合（YES)、リターンに移行してサブルーチンSUB1を終了する。
【００７０】
このように動作させることにより、仮想画素近傍から実データが得られるので、周囲の画素データを用いて相関判定処理を行い、相関がある場合、相関方向の画素データの加算平均により推定し、算出する仮想画素のデータに比べて高いレベル精度での情報を獲得することができる。
【００７１】
この関係を簡単に図７を参照して説明する。図7(a)に示す被写体44がある。被写体44は、クロスハッチングで示す黒領域44aと白領域44bが斜め右上がりに階段状の境界44cにより分かれている。この被写体44を本実施例のディジタルカメラ10で静止画撮影すると、被写体44と固体撮像素子12cの受光素子120および入射ホール124は、図7(b)に示す関係にある。受光素子（実画素）120は大きな実線の円、入射ホール124は小さな実線の円、仮想画素は小さな破線の円で表している。
【００７２】
静止画撮影により、たとえば、黒領域44aの入射ホール124がレベル0になり、白領域44bの入射ホール124がレベル1になる。このとき、境界44cの入射ホール124Aは、レベル0になる。斜め左下の入射ホール124もレベル0である。境界44cの近傍に位置する仮想画素は、境界44cに隣接する入射ホール124Aの上下に位置する２つの受光素子（実画素）120からの画素データと入射ホール124Aの実データを用いた（0+0+1）/3の加算平均をとると、仮想画素の推定レベルは0.3が得られる。この関係を利用して仮想画素のレベルを算出すると、左斜め下の仮想画素のレベルも0.3になり、黒に近い値が得られる。この結果、図7(c)に示す画像46が得られる。画像46は、ほぼ忠実に被写体44を再現する画像になっている。
【００７３】
これに対して、入射ホール124Aに対応する仮想画素レベルの算出において、最初にこれまでの相関判定処理を用いて行うと、水平および垂直方向に相関がないことが判る。このとき、この仮想画素のレベルは、周囲４つの実画素の加算平均により算出する。仮想画素レベルに対する推定算出の結果は、0.5になる。白黒の場合、仮想画素レベル0.5は、グレイに対応している。この結果、図7(d)に示す画像48が得られる。画像48は、仮想画素の位置に対応してハッチングで示すグレイの領域48aが境界44cの近傍に形成される。グレイの領域48aの形成は、べた潰れを含む画像になり、画像の解像度を低下させてしまう。
【００７４】
画像にハイライト白飛びのような斜めの境界があっても、グレイ領域を形成せずに、正確な輪郭を表現することができる。カラー画像での色表現においても入射ホール124を利用することにより、色の偽信号を減少させることができ、色解像度を向上させることができる。
【００７５】
次にディジタルカメラ10における動画撮影モードにおける動作を説明する（図８を参照）。動画撮影は、すでに前述したスルー画表示の状態で行われている。このことからサブルーチンSUB2では、動画撮影モードに移行した際に、まずAF/AEの制御を行う（サブステップSS200)。ユーザが所望するタイミングでレリーズシャッタボタン24bを全ストローク分押圧操作する（S2の状態：サブステップSS202）。
【００７６】
システム制御部26では、この操作に応動したトリガ信号24dを受けて撮像部12に対して動画用の本撮像を行うように制御を行う（サブステップSS204）。この制御として、システム制御部26の制御に応動してドライバ30から供給される駆動信号30cによりメカニカルシャッタ18を開放状態を維持して、垂直転送レジスタ122に蓄積している信号電荷を露光開始直前まで連続して掃き出す。そして、ドライバ30は、駆動信号30dを供給して垂直転送レジスタ122にポテンシャルを形成する。
【００７７】
この後、ドライバ30から供給される駆動信号30cにより電子シャッタをオフにして露光を開始する（サブステップSS206）。システム制御部26は、供給されたパラメータ22dから露光時間の制御も行う。システム制御部26にて露光時間が経過したか否かの判断を行う(サブステップSS208）。露光時間の経過が完了していない場合（NO)、この判断を繰り返す。また、露光時間が経過したと判断した場合（YES)、露光完了処理に進む（サブステップSS210へ）。
【００７８】
露光完了処理は、システム制御部26からドライバ30を制御して駆動信号30dを撮像部12に供給し、信号電荷を垂直転送レジスタ122にフィールドシフトする（サブステップSS210)。ただし、撮像部12は、フィールドシフトを行う前に、露光直前にも信号電荷の掃出しを行っているが、念のためにこの段階でもう一度垂直転送レジスタ122から信号電荷の掃出し処理を行う。この状態で入射ホール124を経て入射した光量に応じて光電変換され蓄積した信号電荷と合わせて、隣接する受光素子120から信号電荷を垂直転送レジスタ122に読み出すとオーバーフローする可能性があるからである。
【００７９】
垂直転送レジスタ122に読み出した信号電荷を水平転送レジスタ（図示せず）に向けて1/4間引きの駆動を行い、垂直混合を行う（サブステップSS212）。さらに、信号電荷は、水平ブランキング期間中にラインシフトして水平転送レジスタに移される。この信号電荷は、水平転送レジスタ内を水平転送され、アナログ電圧信号に変換されて前処理部20に供給される。前処理部20では、アナログ電圧信号をディジタル信号に変換される。前処理部20は、画像データ20aとして信号処理部22のメモリに出力する。そして、受光素子120に対応した画像データ20aが、信号処理部22のメモリに保存される。
【００８０】
次に保存した画像データ20aを用いて信号処理を行う（サブステップSS214）。信号処理部22では、まず、メモリに格納した画像データ20aのうち、垂直転送レジスタ122が完全に遮光されている垂直転送レジスタ122からの画像データ20aだけを読み出す。すなわち、水平間引き処理を行う。これ以外の入射ホール124が形成されている垂直転送レジスタ122からの情報は捨てる。入射ホール124が形成されている垂直転送レジスタ122では、読み出した信号電荷に加えて転送中も入射光を被ることになり、スミアの影響を受けているからである。
【００８１】
図１の固体撮像素子12cを用いた場合、画像データ20aは、水平方向に1/3間引きして読み出される。信号処理部22では、この画像データ20aに対してガンマ補正、画素補間処理、マトリクス処理および圧縮処理を順次施す。画素補間処理は、静止画撮影モードの場合と異なり、これまでと全く同じ手順で行う。また、圧縮処理は、MPEG-1, MPEG-2等の規格に応じて行われる。
【００８２】
圧縮処理後の画像データは、データバス22c、システムバス100、データバス34aを介してストレージ34に供給され、記録される（サブステップSS216）。ほぼ同時に、信号処理部22では、圧縮前の画像データから水平間引きされた画像データをモニタ32に供給して表示するようにしてもよい。
【００８３】
次に動画撮影モードを終了させるか否かの判断を行う（サブステップSS218）。再びレリーズシャッタボタン24bが全ストローク分の押圧操作されるかまたは記録容量がなくなった場合（YES)で、システム制御部26は、トリガ信号24dの受信やシステム制御部26内での容量検出結果に応じて制御信号26aを出力する。このとき、ストレージ34への動画記録は終了させるが、スルー画表示は継続させるとよい。終了の判断に応じてリターンに移行してサブルーチンSUB2を終了する。また、動画記録を継続する場合（NO)、露光完了か否かの判断に戻り（サブステップSS208）、前述した処理を繰り返す。
【００８４】
このように垂直転送レジスタ122すべてに入射ホール124を形成するのでなく、信号処理部22にて色フィルタ12bの色配列パターンを水平間引きした際に得られる画像データ20aの色が色フィルタ12bの色配列パターンになるように遮光した垂直転送レジスタ122を設けることにより、動画撮影にも対応することができる。
【００８５】
先の実施例では固体撮像素子12cにおける入射ホール124を２列の垂直転送レジスタ122を一組とするうち、左側の垂直転送レジスタ122に設けたが、逆に、右側の垂直転送レジスタ122に形成してもよい（図９を参照）。３列毎に完全に遮光した垂直転送レジスタ122を設けているから、信号処理部22で水平方向に1/3間引きすることができる。
【００８６】
また、色フィルタ12bがG正方RB完全市松パターンを用いているとき、図10および図11に示すように動画において利用する垂直転送レジスタ122の位置を考慮すると、水平方向に1/5間引きや1/7間引きを行うことができる。静止画撮影において入射ホール124が多いほどよい。動画像で利用する画素数との兼ね合いを考慮して水平方向の間引きを設定するとよい。G正方RB完全市松パターンでは、パターンに依存して奇数分の１で水平間引きが行われる。
【００８７】
また、水平間引きは、上述したように均等な水平間引きに限定されるものでなく、不均等な水平間引きを行うように固体撮像素子12cの入射ホール124を形成してもよい。
【００８８】
以上のように構成することにより、ディジタルカメラ10は、メカニカルシャッタ18を利用して露光し、静止画撮影モードで入射ホールからのデータを仮想画素の実データとして最初に読み出し、次に遮光状態にて受光素子120から垂直転送レジスタ122に信号電荷を読み出してたとえば、この実データを輝度データYHとし、信号処理部22で実画素および実データを用いて補間を行い、画像を生成すると、仮想画素の推定による画像データに比べて画層データの精度が向上することにより正確な画像表示を行うことができるようになる。特に、斜め方向の輪郭を忠実に再現することができ、色の偽信号を減少させて色解像度を高めることができる。
【００８９】
また、ディジタルカメラ10は、動画撮影モードで信号処理部22が入射ホールのない遮光された垂直転送レジスタ122から読み出した信号だけを間引き読出ししてスミアの影響なく、動画画像を得ることができる。このように静止画撮影モードおよび動画撮影モードの両方を一つの固体撮像素子で実現させることができる。
【００９０】
さらに、固体撮像素子12cは、受光素子120に隣接する受光素子120をほぼ半ピッチ画素ずらしして配設し、行方向の受光素子120間に２列一組の垂直転送レジスタ122, 122を結果的に蛇行形成し、遮光されている垂直転送レジスタ122と入射ホール124が形成されている垂直転送レジスタ122とが規則的に形成され、遮光した垂直転送レジスタ122は、この垂直転送レジスタ122に隣接する受光素子120を覆う色フィルタセグメントR,G,Bの色配列パターンに着目して、水平間引きして得られる画像データがこの色配列パターンと同じ関係を保つように配設することにより、静止画撮影モードおよび動画撮影モードの両方を一つの固体撮像素子で実現させることができる。
【００９１】
【発明の効果】
このように本発明の固体撮像装置によれば、遮光手段を利用して露光し、静止画撮影にて開口部からのデータを仮想画素の実データとして最初に読み出し、次に遮光状態にて受光素子から垂直転送手段に信号電荷を読み出してたとえば、この実データを輝度データとし、信号処理手段で実画素および実データを用いて補間を行い、画像を生成して、仮想画素の推定による画像データに比べて画層データの精度が向上することにより正確な画像表示を行うことができるようになり、動画撮影においては、信号処理手段が開口部のない遮光された垂直転送手段から読み出した信号だけを水平間引き読出しすることにより、スミアの影響なく、動画画像を得ることができる。
【００９２】
また、本発明の固体撮像素子によれば、静止画撮影における信号読出しを行い、これまでの受光素子からの信号電荷に加えて、仮想画素の近傍に位置する開口部からの信号電荷から得られる実データが補間で生成される仮想画素の推定データに比べて精度の高い情報の提供する一方で、垂直間引きして信号電荷を読み出して転送して動画撮影における信号読出しを行い、この動画撮影における信号読出しでは、読み出した信号電荷のうち、第１の垂直転送手段から得られた信号電荷に対応するデータだけを用いることにより、色配列パターンが保たれた正常なデータを動画撮影用として得ることができる。固体撮像素子は、静止画撮影モードおよび動画撮影モードの両方を一つの固体撮像素子で実現させることができる。
【図面の簡単な説明】
【図１】本発明の固体撮像装置を適用したディジタルカメラにおける撮像部で使用する固体撮像素子の受光素子、垂直転送レジスタおよび入射ホールの位置関係を説明する図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図１の固体撮像素子を拡大して表した要部拡大の正面図と、破断線III−IIIに沿った固体撮像素子の断面図である。
【図４】図２のディジタルカメラにおける撮影手順を説明するメインフローチャートである。
【図５】図４に示した静止画撮影モードにおける動作手順を説明するフローチャートである。
【図６】図５の動作手順の続きを説明するフローチャートである。
【図７】図５および図６の手順とこれまでの手順で被写体を撮影した画像の比較を示した図である。
【図８】図４に示した動画画撮影モードにおける動作手順を説明するフローチャートである。
【図９】図１の固体撮像素子において入射ホールの形成位置が異なる関係を説明する図である。
【図１０】図１の固体撮像素子において1/5間引きを行う入射ホールの形成位置の関係を説明する図である。
【図１１】図１の固体撮像素子において1/7間引きを行う入射ホールの形成位置の関係を説明する図である。
【符号の説明】
10  ディジタルカメラ
12  撮像部
12a 光学ローパスフィルタ
12b 色フィルタ
12c 固体撮像素子
14  光学レンズ系
16  絞り調節機構
18  メカニカルシャッタ
20  前処理部
22  信号処理部
24  操作部
26  システム制御部
28  タイミング信号生成部
30  ドライバ
【図１】
0004434556.tif 000002
【図２】
0004434556.tif 000003
【図３】
0004434556.tif 000004
【図４】
0004434556.tif 000005
【図５】
0004434556.tif 000006
【図６】
0004434556.tif 000007
【図７】
0004434556.tif 000008
【図８】
0004434556.tif 000009
【図９】
0004434556.tif 000010
【図１０】
0004434556.tif 000011
【図１１】
0004434556.tif 000012