(57)【特許請求の範囲】
【請求項１】
光電変換により光を信号に変換する複数の受光素子にグリーン、イエロー、及びシアンの補色フィルタのそれぞれが配置された撮像手段を有し、該撮像手段より得られる信号に基づいて高解像度信号を作成する固体撮像装置であって、
前記撮像手段におけるグリーンのフィルタが配置された受光素子の画素では得られる信号に所定の係数を乗じて、イエローが配置された受光素子または、シアンが配置された受光素子の画素では、該受光素子周辺に位置する自色以外の色が配置された受光素子より得られる信号と自色の受光素子より得られる信号とを各々所定の割合で加算して、それぞれを加算することにより、イエローまたはシアンが配置された受光素子の画素と該受光素子周辺に位置する自色以外の色が配置された受光素子それぞれに含まれるグリーン成分に該当する信号と、これとは別にイエローまたはシアンが配置された受光素子の画素にそれぞれ含まれるレッド及びブルー成分を加算した等価的なマゼンタ成分に該当する信号と、を加算した信号を生成する生成手段と、
前記生成手段によって生成された信号に基づいて高解像度信号を作成する作成手段と、
を含むことを特徴とする固体撮像装置。
【請求項２】
前記撮像手段は、前記受光素子と該受光素子に隣接する受光素子とが垂直方向及び水平方向にそれぞれずらされて配置された単板のＣＣＤからなることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記生成手段は、前記所定の割合の加算において、被写体像に対応した信号レベルにおける水平方向と垂直方向の相関を判別して、判別された相関の有る方向に隣接して配置された受光素子の画素より得られる信号を用いて適応的に加算することを特徴とする請求項１又は請求項２に記載の固体撮像装置。
【請求項４】
前記相関の判別は、注目受光素子の画素より得られる信号と周辺受光素子の画素より得られる信号、又は周辺受光素子の画素より得られる信号同士の加減算の演算結果を用いて水平又は垂直の相関を判別することを特徴とする請求項３に記載の固体撮像装置。
【請求項５】
前記相関の判別結果は、自画素の相関の判別結果と周辺に位置する画像の相関の判別結果に基づいて自画素の判別結果を訂正することを特徴とする請求項３に記載の固体撮像装置。
【請求項６】
前記生成手段によって得られる信号に対して、グリーン及びマゼンタの各々同一色成分の信号を用いて水平又は垂直方向に信号を補間する補間手段と、前記補間手段によって補間された信号に対して、前記補間される方向と直交する方向の不要帯域を制限する制限手段と、をさらに含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の固体撮像装置。
【請求項７】
前記生成手段によって得られる信号に対してグリーン及びマゼンタのそれぞれの成分毎に信号を全面補間し、補間した信号を各々加算する補間手段と、前記補間手段によって補間された信号に対して、水平方向又は垂直方向の不要帯域を制限する制限手段と、をさらに含むことを特徴とする請求項１乃至請求項５の何れか１項に記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置にかかり、特に、被写体画像を取り込んで信号処理を行うデジタルスチルカメラや画像処理装置等に用いる固体撮像装置に関する。
【０００２】
【従来の技術】
現在、固体撮像素子を適用したデジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影することによって得られる画像データをコンピュータに取り込んで活用できる点などが挙げられる。特に、画像の解像度を向上させると共に、コストダウンも鑑みて、撮像素子の画素サイズは小さくなる傾向にある。この場合、光源変換を行なう固体撮像素子（受光素子）は画素数の増加に伴って１個あたりの受光単位面積が小さくなるため感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高める必要があるが、解像度と感度は相反するものである。
【０００３】
この問題に対して、隣接する画素をずらして解像度を向上させる方法がある。この一例に特開平８−３４０４５５号公報に記載の画像信号処理装置がある。この画像信号処理装置には、非格子状の画素配列の撮像素子を適用しながらコンピュータへの取り込みに適合した格子状配列の画素に対応する画素データが得られるように、画素近傍に位置する非格子状の配列による複数の実画素からの画像信号に基づいて生成する格子状配列画素データ生成手段を備えることが提案されている。
【０００４】
また、特開昭５９−７２２８３号公報の電子スチルカメラの映像信号処理装置は、受光部画素が市松配置で２走査線を単位として同時読出し可能な固体撮像素子を用いて得られる映像信号に対し、上下組となる２走査線の信号を互いに水平方向に補間合成して新たな１水平走査信号を作り出す第１の回路手段と、この２走査線の垂直方向下方の１走査線信号を１走査時間遅延し、かつ、次の組となる２走査線の上方の走査線信号との間に互いに水平方向に補間合成して、もう１つの新たな１水平走査線信号を作り出す第２の回路手段とを備え、第１及び第２の回路手段の出力を同時に出力させて、１回の垂直方向操作により２：１のインターレース走査における奇遇２フィールドの信号を、同時に、並列に出力可能にして、水平と垂直とを入れ換えても画面の縦位置、横位置にかかわらず良好な画質のスチル撮影が行なえるようにしている。
【０００５】
上述した要求を満たすには、空間サンプリングする画素を小さくすると共に、感度を向上させなければならないので、この他にも様々な工夫が検討されている。この一例として、固体撮像装置には、カラーフィルタが３原色ＲＧＢを用いた原色撮像方式と、複数の補色を用いた補色撮像方式がある。色再現性は原色撮像方式の方が補色撮像方式に比べて優れており、入射光の利用効率が原色撮像方式に比べて補色撮像方式の方が有効であることが知られているが、補色撮像方式を用いることによって光の利用効率を向上することが検討されている。
【０００６】
例えば、補色撮像方式において解像度の向上を図るための提案が特開昭５８−３１６８８号公報に記載されている。提案された固体カラー撮像装置は、垂直方向に相隣接する受光素子が水平方向に半ピッチずれて配置されており、かつ相接する３つの感光素子からの出力和がほぼ輝度信号に対応する信号となるように３ヶの色フィルタ素子の分光特性を選択してモアレの低減及び高解像度の映像信号を得ている。より具体的に説明すると、色ｗ、Ｙｅ、Ｃｙがデルタ型の補色方式を用いて隣接する３画素（水平２ライン）から輝度信号を作成する。
【０００７】
また、高解像度化を図る方法として、特開２０００−１８４３８６号公報に記載の技術などが提案されている。特開２０００−１８４３８６号公報に記載の技術では、受光素子の配設位置が互いにずれた２次元ハニカム配置された撮像部からの信号をカラー信号処理部のガンマ変換処理部に供給した後、Ａ／Ｄ変換部でデジタル信号に変換する。このデジタル信号は記録再生部に格納され、この記録再生部から面データとして読み出し、信号処理部に供給する。信号処理部は、供給される面データの中で受光素子の空領域を仮想画素とし、隣接する受光素子からの画素データを基に正確の色再現重視、及び水平方向及び／又は垂直方向の解像度の重視する項目に対応した信号処理をそれぞれ行なって、最終的に出力される信号を高品質にしている。
【０００８】
【発明が解決しようとする課題】
ところで、特開昭５８−３１６８８号公報及び特開昭５９−７２２８３号公報に記載の技術は、色多重化方式のうち、受光して得られた信号電荷を信号ラインに供給し、信号ライン２つを混合して読み出す２線混合読み出し（又は２行同時独立読み出し方式）を用いている。これらの技術はムービー及びＭＯＳを想定している。
【０００９】
従来、ＭＯＳ型の撮像素子ではＣＣＤで行なわれる全画素同時読み出しができないことが知られている。このことから、ＭＯＳ型の撮像素子では、動画被写体に対して全画素同時読み出しして得られた画像に比べて像構造的に再現性が劣る。一例として、動画での垂直解像度が得られない。特開平８−３４０４５５号公報に記載の技術でも得られる画像の垂直解像度の要求を十分満足させることができない。
【００１０】
また、特開２０００−１８４３８６号公報に記載の技術では、色再現性及び解像度共に高品質な画像を得ることができるが、原色方式のフィルタを用いているため補色方式に比べて感度が劣る、という問題がある。
【００１１】
そこで、本発明は、上記事実を考慮して、入射光の利用効率を高めると共に、得られる画像の解像度をより高く実現できる固体撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、光電変換により光を信号に変換する複数の受光素子にグリーン、イエロー、及びシアンの補色フィルタのそれぞれが配置された撮像手段を有し、該撮像手段より得られる信号に基づいて高解像度信号を作成する固体撮像装置であって、前記撮像手段におけるグリーンのフィルタが配置された受光素子の画素では得られる信号に所定の係数を乗じて、イエローが配置された受光素子または、シアンが配置された受光素子の画素では、該受光素子周辺に位置する自色以外の色が配置された受光素子より得られる信号と自色の受光素子より得られる信号とを各々所定の割合で加算して、それぞれを加算することにより、イエローまたはシアンが配置された受光素子の画素と該受光素子周辺に位置する自色以外の色が配置された受光素子それぞれに含まれるグリーン成分に該当する信号と、これとは別にイエローまたはシアンが配置された受光素子の画素にそれぞれ含まれるレッド及びブルー成分を加算した等価的なマゼンタ成分に該当する信号と、を加算した信号を生成する生成手段と、前記生成手段によって生成された信号に基づいて高解像度信号を作成する作成手段と、を含むことを特徴としている。
【００１３】
請求項１に記載の発明によれば、撮像手段では、グリーン、イエロー、及びシアンの補色フィルタが設けられた受光素子の光電変換によって、各色が配置された受光素子の画素に対応した信号が得られる。ここで、受光素子に補色フィルタを用いているので、ＲＧＢの原色フィルタに比べて受光素子の感度が高くなり、光の利用効率を高めることができる。例えば、撮像手段としては、ＭＯＳ型のセンサや請求項２に記載の発明のように、受光素子と該受光素子に隣接する受光素子とが垂直及び水平方向にそれぞれずらされて配置された単板のＣＣＤ等を用いることができる。
【００１４】
また、生成手段によって、撮像手段におけるグリーンのフィルタが配置された受光素子の画素では得られる信号に所定の係数を乗じて、イエローが配置された受光素子または、シアンが配置された受光素子の画素では、該受光素子周辺に位置する自色以外の色が配置された受光素子より得られる信号と自色の受光素子より得られる信号が各々所定の割合で加算して、それぞれを加算することにより、イエローまたはシアンが配置された受光素子の画素と該受光素子周辺に位置する自色以外の色が配置された受光素子それぞれに含まれるグリーン成分に該当する信号と、これとは別にイエローまたはシアンが配置された受光素子の画素にそれぞれ含まれるレッド及びブルー成分を加算した等価的なマゼンタ成分に該当する信号と、を加算した信号が生成される。
【００１５】
そして、作成手段では、生成手段によって生成された信号に基づいて高解像度信号が生成される。例えば、撮像手段より得られる信号に対して補色を原色に変換する色変換処理等を行ない、生成手段によって得られる信号を加算することによって高解像度信号を生成することが可能である。すなわち、生成手段によって生成される信号に、等価的にグリーンとマゼンタに該当する信号が含まれるので、グリーンとマゼンタの画素ずらし効果を発揮した画像、すなわち画素ずらしにより高解像度化された画像を得ることが可能となり、これによって容易に高解像度信号を生成することができ、解像度を向上することができる。
【００１６】
なお、生成手段は、請求項３に記載の発明のように、受光素子周辺に位置する自色以外の色が配置された受光素子より得られる信号と自色の受光素子より得られる信号を各々所定の割合で加算する際に、被写体像に対応した信号レベルにおける水平方向と垂直方向の相関を判別して、判別された相関の有る方向に隣接して配置された受光素子の信号を用いて適応的に加算するようにしてもよい。これによって、高品質な画像を得るための信号を得ることが可能となる。
【００１７】
また、相関の判別は、請求項４に記載の発明のように、注目受光素子の画素より得られる信号と周辺受光素子の画素より得られる信号、又は周辺受光素子の画素より得られる信号同士の加減算の演算結果を用いて、水平又は垂直の相関を判別することが可能である。このとき、相関の判別結果は、請求項５に記載の発明のように、自画素の相関の判別結果と周辺に位置する画像の相関の判別結果に基づいて自画素の判別結果を訂正するようにしてもよい。例えば、自画素の相関の判別結果が水平方向及び垂直方向共に相関なしで、周辺に位置する画像、すなわち自画素の周辺に位置する全ての周辺画素における相関の判別結果が水平方向に相関があると判別された場合には、自画素の判別結果を水平方向に相関ありと訂正するようにしてもよい。
【００１８】
請求項６に記載の発明は、請求項１乃至請求項５の何れか１項に記載の発明において、前記生成手段によって得られる信号に対して、グリーン及びマゼンタの各々同一色成分の信号を用いて水平又は垂直方向に信号を補間する補間手段と、前記補間手段によって補間された信号に対して、前記補間される方向と直交する方向の不要帯域を制限する制限手段と、をさらに含むことを特徴としている。
【００１９】
請求項６に記載の発明によれば、請求項乃至請求項５の何れか１項に記載の発明において、補間手段と制限手段がさらに備えられる。補間手段では、生成手段によって得られる信号に対して、グリーン及びマゼンタの各々同一色成分の信号を用いて水平又は垂直方向に信号が補間される。すなわち、補間手段によって生成手段より得られる信号が高解像度化される。そして、制限手段では、補間手段によって補間される方向と直交する方向の不要帯域を制限される。このように、補間手段と制限手段を更に備えることにより、さらなる高解像度化を実現することが可能となる。
【００２０】
なお、補間手段及び制限手段は、請求項７に記載の発明のようにしてもよい。請求項７に記載の発明における補間手段では、生成手段によって得られる信号に対してグリーン及びマゼンタのそれぞれの成分毎に信号が全面補間され、補間された信号同士が加算されることによって補間が行なわれ、制限手段では、水平方向又は垂直方向の不要帯域が制限される。このようにしても、請求項６に記載の発明と同様に、さらなる高解像度化を実現することが可能となる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００２２】
本発明の実施の形態に係るデジタルスチルカメラ１０の構成を図１に示す。
【００２３】
図１に示すように、本発明の実施の形態に係るデジタルスチルカメラ１０は、光学レンズ系１２、操作部１４、システム制御部１８、信号発生部２０、タイミング信号発生部２２、ドライバ部２４、絞り調節機構２６、光学ローパスフィルタ２８、色分解部（色フィルタ）ＣＦ、撮像部３０、前処理部３２、Ａ／Ｄ変換部３４、信号処理部（Digital Signal Processor：ＤＳＰ）３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２が備えられている。これら各部を順次説明する。光学レンズ系１２は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系１２には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部１４からの操作信号１４Ａに応じて調節するズーム機構や被写体とデジタルスチルカメラ１０との距離に応じてピント調節するＡＦ（Automatic Focus：自動焦点）調節機構が含まれている。操作部１４より出力される操作信号１４Ａは、システムバス１６を介してシステム制御部１８に供給される。光学レンズ系１２には、後述する信号発生部２０、タイミング信号発生部２２、ドライバ部２４を介してこれらの機構を動作させる駆動信号２４Ａが供給される。
【００２４】
操作部１４には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ１０の操作を行なうようにシステムバス１６を介して第１のモードと第２のモードの何れかが選択されたかを操作信号１４Ａによりシステム制御部１８に出力して報知する。
【００２５】
システム制御部１８は、例えばＣＰＵ（Central Processing Unit：中央演算処理装置）を備えている。システム制御部１８には、デジタルスチルカメラ１０の動作手順が書き込まれたＲＯＭ（Read Only Memory：読み出し専用メモリ）が含まれる。システム制御部１８は、例えば、ユーザの操作に伴って操作部１４から供給される操作信号１４ＡとこのＲＯＭに記憶された情報を用いて各部の動作を制御する制御信号１８Ａを生成する。システム制御部１８は、生成した制御信号１８Ａを信号発生部２０、前処理部３２、Ａ／Ｄ変換部３４の他に、システムバス１６を介してＤＳＰ３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２にも供給する。
【００２６】
信号発生部２０はシステム制御部１８からの制御に応じてシステムクロック２０Ａを図示しない発振器により発生する。信号発生部２０は、このシステムクロック２０Ａをタイミング信号発生部２２及びＤＳＰ３６に供給する。また、システムクロック２０Ａは、例えば、システムバス１６を介してシステム制御部１８の動作タイミングとしても供給される。
【００２７】
タイミング信号発生部２２は、供給されるシステムクロック２０Ａを制御信号１８Ａに基づいて各部を動作させるタイミング信号２２Ａを生成する回路を含む。タイミング信号発生部２２は、生成したタイミング信号２２Ａを図１に示すように各部に出力すると共に、ドライバ部２４にも供給する。ドライバ部２４は、上述した光学レンズ系１２のズーム調節機構及びＡＦ調節機構の他、絞り調節機構２６及び撮像部３０にも駆動信号２４Ａをそれぞれ供給する。
【００２８】
絞り調節機構２６は、被写体の撮影において最適な入射光の光束を撮像部３０に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構２６にもドライバ部２４から駆動信号２４Ａが供給される。この駆動信号２４Ａは、上述したシステム制御部１８からの制御に応じて行なう動作のための信号である。この場合、システム制御部１８は、撮像部３０で光電変換した信号電荷を基にＡＥ（Automatic Exposure：自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号２４Ａがタイミング信号発生部２２に供給された後、絞り調節機構２６には、このタイミング信号発生部２２からのタイミング信号２２Ａに応じた駆動信号２４Ａがドライバ部２４から供給される。
【００２９】
撮像部３０では光電変換する撮像素子（受光素子）を光学レンズ系１２の光軸と直交する平面（撮像面）が形成されるように配置されている。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ２８と一体的に色分解する色フィルタＣＦが一体的に配設されている。本実施の形態では、単板方式の色フィルタを用いて撮像する。色フィルタＣＦの配列等については後述する。撮像素子には、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部３０では、供給される駆動信号２４Ａに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号３０Ａにされ、前処理部３２に出力される。撮像部３０は、ＣＣＤタイプでは信号電荷の読み出しモードに応じてフィールド蓄積２行混合読み出しの色多重化方式や全画素読み出し方式を用いる。これらの信号読み出し方式については後述する。
【００３０】
前処理部３２には、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部２２からのタイミング信号２２Ａによりクランプするクランプ回路と、タイミング信号２２Ａによりアナログ電圧信号３０Ａをホールドするサンプルホールド回路を有する。ＣＤＳ部は、ノイズ成分を除去してアナログ出力信号３２ＡをＡ／Ｄ変換部３４に送る。Ａ／Ｄ変換部３４は、供給されるアナログ出力信号３２Ａの信号レベルを所定の量子化レベルにより量子化してデジタル信号３４Ａに変換するＡ／Ｄ変換器を有する。Ａ／Ｄ変換部３４は、タイミング信号発生部２２から供給される変換クロック等のタイミング信号２２Ａにより変換したデジタル信号３４ＡをＤＳＰ３６に出力する。
【００３１】
ＤＳＰ３６は、撮像部３０の読み出しモード（フィールド蓄積２行混合読み出し等の多重化方式や全画素読み出し方式）に応じて信号処理を行なうようになっている。
【００３２】
ＤＳＰ３６は、全画素読み出し方式に対応して、図２に示すように、データ補正部４４、Ｙｈ補間部４６、及び加算器４８を含んで構成されている。データ補正部４４は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス（３×３行の行列等を使用）、自動的にホワイトバランスの調整を行なうＡＷＢ（Automatic White Balance）や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ＲＯＭ（Read Only Memory）に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部２２からのタイミング信号２２Ａに応じて各補正を行なう。データ補正部４４は、この処理した補正信号（補正データ）を補色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４８に出力する。
【００３３】
また、Ｙｈ補間部４６は、Ａ／Ｄ変換部３４より得られるデジタル信号（Ｇ、Ｃｙ、Ｙｅ色フィルタセグメントの３色の画素データ）を基にこの仮想画素での輝度データ（Ｙｈ信号）を生成すると共に仮想画素の補間を行なう機能を有する。Ｙｈ補間部４６は、Ｈｐｆ（High Pass Filter）５０を介して生成したＹｈ信号を加算器４８に出力する。なお、Ｈｐｆ５０は、供給されるプレーンなＹｈ信号の高域成分だけを通過させるデジタルフィルタである。
【００３４】
加算器４８は、データ補正部４４によって各補正が行なわれることによって得られるＲＧＢ画素データ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成されたＹｈ信号５０Ａを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器４８はプレーンな画素データを色差マトリクス５２に出力する。
【００３５】
なお、Ｙｈ補間部４６は本発明の生成手段、補間手段、及び広帯域信号に相当し、データ補正部４４及び加算器４８は本発明の作成手段に相当する。
【００３６】
色差マトリクス５２は、供給されるプレーンな画素データ（Ｒ、Ｇ、Ｂ各色毎のデータ）に基づいて帯域の延びた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を生成する。これら３つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス５２は得られたデータを各成分毎にＬｐｆ（Low Pass Filter）５４に出力する。
【００３７】
Ｌｐｆ５４は、色差マトリクス５２から供給される信号に周波数折り返し歪が生じないように緩やかな傾斜でレベルを低下させる周波数特性を持たせている。Ｌｐｆ５４は、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）の各帯域をカバーする３つのローパスフィルタからなる。Ｌｐｆ５４を通過した輝度データＹは、輝度データ補正部５６へ出力され、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）は、色差ゲイン調整部５８、６０に出力される。
【００３８】
輝度データ補正部５６は、供給される輝度データＹに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部５８、６０は、それぞれ色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を表す色差データのゲインを調整する。このように、輝度データ補正部５６、色差ゲイン調整部５８、６０によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部５６、色差ゲイン調整部５８、６０はそれぞれ、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を図１に示す圧縮／伸張部３８に出力する。
【００３９】
圧縮／伸張部３８は、例えば、直交変換を用いたＪＰＥＧ（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部３８は、システム制御部１８の制御により記録時には圧縮したデータをシステムバス１６を介して記録再生部４０に供給する。また、圧縮／伸張部３８は、図２に示す色差マトリクス５２で得られるデータをシステム制御部１８の制御によりスルーさせ、システムバス１６を介してモニタ４２に供給することもできる。圧縮／伸張部３８が伸張処理を行なう場合、逆に記録再生部４０から読み出したデータをシステムバス１６を介して圧縮／伸張部３８に取り込んで処理する。ここで、処理されたデータもモニタ４２に供給して表示させる。
【００４０】
また、ＤＳＰ３６は、上述の多重化方式に対応して、モニタ３６に表示するために、撮像部３０より得られる補色を含む画素データを、上述とは異なる方法で、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換する処理も行なうようになっている。例えば、周知の技術を用いて、補色を含む画素データからフィールド蓄積２行混合の色多重方式に基づいて３原色ＲＧＢの画素データを生成し、生成された３原色ＲＧＢの画素データを基に輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をマトリクス演算等によって生成し、生成された輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）をモニタに供給することにより、ムービーモードやシャッターの半押しによるファインダモードの表示を行なうようになっている。なお、ムービーモードやファインダモード等で行なう上述の多重化方式の信号処理選択は、システム制御部１８からの制御信号１８Ａに基づいて行なわれる。
【００４１】
記録再生部４０は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【００４２】
モニタ４２は、システム制御部１８の制御に応じてシステムバス１６を介して供給される輝度データ及び色差データ、又は３原色ＲＧＢのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【００４３】
本実施の形態に係るデジタルスチルカメラ１０は、このように構成して補色を含んで得られたカラー撮像信号の広帯域化を図っている。このデジタルスチルカメラ１０の動作を説明する前に色フィルタＶＦの色配置と撮像部３０の関係について説明する。撮像部３０は、図３に示すように、入射する光を光電変換する受光素子ＰＤに隣接した受光素子ＰＤが垂直方向及び水平方向にずらされた２次元配置された受光部３０Ａと、この受光部３０Ａの前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤからの信号を取り出す電極ＥＬと、この電極ＥＬを介して供給される信号を受光部３０Ａの垂直方向に順次転送する垂直転送レジスタＶＲ１〜ＶＲ４とを備えている。
【００４４】
垂直転送レジスタＶＲ１〜ＶＲ４は、供給される垂直転送駆動信号Ｖ１〜Ｖ４に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で上述した画素ずれしている。本実施の形態の撮像部３０に形成された開口部ＡＰは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させると共に、素直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判る形状は、多角形でもよく、この他の例としては、正方格子４５°回転させた開口形状として、例えば、菱形等があり、さらに八角形等にしてもよい。
【００４５】
開口部ＡＰは、図３に示すように各開口部ＡＰを覆う色フィルタＣＦの直下にそれぞれ対応して配置される受光素子ＰＤの間隔を各方向毎の画素ピッチＰＰとするとき、開口部ＡＰの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチＰＰ分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部ＡＰを隙間なく、隣接する開口部ＡＰが稠密な配置するようにしてもよい。図３のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチＰＰの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部ＡＰの形状に依存する。
【００４６】
ここで、撮像部３０が一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、画素ピッチＰＰをそれぞれＮ（μｍ）の正方格子状には位置した受光素子がそれぞれ４５°回転させた場合の配置である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜ＰＰ｜＝Ｎ（μｍ）を基準に検討すると、輪説画素間距離がＮ×（２）-1/2と隣接画素間距離｜ＰＰ｜＝Ｎより短くなる。従って、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を（２）1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、仮想画素は、隣接する実在する画素に基づいてＤＳＰ３６で補間処理が行なわれる。この補間処理を行ないながらまだ得られていない色や輝度の画素等を補間展開すると、解像度は、単に正方格子状に受光素子ＰＤを配置したときより高くできる。
【００４７】
本実施の形態では上述したように色フィルタＣＦに補色の色フィルタセグメントを用いている。この色フィルタを用いる特徴について簡単に説明する。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光３０Ｉを入射させた際に、波長に応じた比視感度（比視感度曲線３０Ｃ）とアンプゲインを掛けて波長に依存した測光量を求めると図４に示す測光の分光曲線３０Ｍが得られる。さらに、原色フィルタＲ、Ｇ、Ｂで撮像した場合（Ａ）と補色フィルタＭｇ、Ｙｅ、Ｇ、Ｃｙで撮影した場合（Ｂ）との分光感度の比較を相対感度表示（図５参照）及び最大感度によるＲＧＢ正規化表示（図６参照）で行なう。相対感度表示から補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より高い相対感度が得られることがわかる。この関係をＲＧＢ正規化表示で見ると、この表示でも補色フィルタで撮像した場合（Ｂ）の方が原色フィルタを用いた場合（Ａ）より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【００４８】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタセグメントを用いた色フィルタＣＦの例を模式的に図７に示す。図７に示す色フィルタ配置パターンでは、Ｇ、Ｃｙ、Ｙｅの補色系の３色を用いる。この配置パターンは、正方格子６２の４隅にＧの色フィルタセグメントを配置し、正方格子６２の何れかのＧの色フィルタセグメントを中心に配置すると共に、正方格子６２に対して水平及び垂直方向にピッチの半分の距離ずれた正方格子６４の一方の対角の組の色フィルタセグメントをＣｙの色フィルタセグメントを配置し、他方の組の色フィルタセグメントをＹｅの色フィルタセグメントを配置してこれらの正方格子の一部が重複するように配置する。この配置パターンは、（Ｇ正方ＣｙＹｅ完全市松）重複パターンという。なお、Ｇ色の代わりにＷ色を用いるようにしてもよい。
【００４９】
次にデジタルスチルカメラ１０の動作について説明する。デジタルスチルカメラ１０は、図８に示すメインフローチャートに従って動作する。デジタルスチルカメラ１０に電源を投入した後に、システム制御部１８によって各種の初期設定が行なわれ、操作可能状態になる。このとき一般的にデジタルスチルカメラ１０はモニタ４２に撮像画像を表示させるモード（ムービーモードやファインダモード）にしてモニタ表示させたり、ユーザによるレリーズボタンの半押し操作が行なわれる。すなわち、ステップ１００では、レリーズボタンが半押し又はムービーであるか否か判定される。該判定が肯定された場合にはステップ１０２へ移行して、否定すなわちレリーズボタンが全押し操作された場合には、ステップ１１６へ移行する。
【００５０】
色フィルタＣＦの色フィルタセグメントの配置は、図７に示した色フィルタセグメント、（Ｇ正方ＣｙＹｅ完全市松）重複パターンを撮像部３０に適用している。この色フィルタＣＦを用いて、ステップ１０２で混合読出しする場合、供給される駆動信号に応じて撮像部３０からの撮像信号の読出しが行なわれる。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積２ライン混合読出しである。
【００５１】
次にステップ１０４では、このステップ１０２で読み出された信号に対して、前処理が行なわれる。前処理としては、前処理部３２で例えば、ＣＤＳ処理を行なって撮像部３０からの信号に含まれるノイズ成分を除去している。
【００５２】
次にステップ１０６では、ノイズ除去等が施されたアナログ出力信号３２ＡをＡ／Ｄ変換部３４でデジタル信号３４Ａに変換する。この変換により各受光素子ＰＤからの信号電荷が画素データに変換される。この変換により以後の信号処理をデジタル処理で行なう。
【００５３】
ステップ１０８では、画素データ変換処理が行なわれる。すなわち、上述したように、撮像部３０より得られる補色を含む画素データからフィールド蓄積２合混合の色多重方式に基づいて３原色の画素データが生成され、該生成された３原色の画素データがマトリクス演算等によって、輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）に変換されて、システムバス１６を介してモニタ４２に供給される。なお、上述の色多重方式に基づいて生成された３原色の画素データは、ＡＥ処理を行なうためにシステムバス１６を介してシステム制御部１８に供給される。
【００５４】
ステップ１１０では、システム制御部１８において、自動的に適正な露出制御を行なわせるための自動制御演算処理が行なわれる。自動制御演算処理は、ステップ１０８の画素変換処理の途中過程で得られる３原色の画素データＲＧＢを用いて行なわれる。さらに、ここで得られた値に応じて制御信号１８Ａが上述した各部に供給され絞り調節機構２６やＡＦ（Automatic Focus：自動焦点）調整機構が調節される。
【００５５】
ここで、自動制御演算処理について図９のフローチャートを参照して詳細に説明する。なお、本実施の形態における自動制御としては、ＡＦ、ＡＥ、ＡＷＢ等がある。このうち、ＡＦ、ＡＥについて説明する。
【００５６】
システム制御部１８では、ステップ１５０で、供給された画素データから被写体とデジタルスチルカメラ１０との間の距離が測定される。ステップ１５２では、測距により得られたデータに基づいて、システム制御部１８では制御信号が生成され、ＡＦ調節機構に供給される。この制御を受けてＡＦ（Automatic Focus：自動焦点）調節機構が調節される。なお、このとき光学レンズの位置において第２の測光を行なっている。
【００５７】
ステップ１５４では、この光学レンズ系１２における光学レンズの移動後の測光で得られた結果、光学レンズが撮像部３０のＣＣＤ受光面に焦点の合った光学像を結ぶか否か判断される。該判定が肯定すなわち焦点が合った場合には、ステップ１５６へ移行し、判定が否定すなわち焦点が合わない場合には、上述のステップ１５０〜ステップ１５４が繰り返される。
【００５８】
ステップ１５６では、ステップ１５０〜１５４のＡＦ制御で得られている３原色の画素データを用いて最適な露出値、シャッタ速度が、システム制御部１８で、例えばプログラム線図によって対応する値の組が抽出されることによって算出される。システム制御部１８では算出した値に応じて制御信号が生成される。生成された制御信号はシステムバス１６を介してドライバ部２４に供給されてステップ１５８へ移行する。
【００５９】
ステップ１５８では、ドライバ部２４において供給された制御信号に応じた駆動信号が生成されて絞り調節機構２６に供給される。これによって絞り調節機構２６では、駆動信号２４Ａにより指示された調節が施され、ステップ１６０へ移行する。
【００６０】
ステップ１６０では、ステップ１５８の調節が行われた結果、絞りが所定の値に対応した位置に設定された否か判定される。該判定が否定、すなわち、調節が不十分な場合や測光が継続中に被写界の明るさが変化した場合等に応じてそれぞれステップ１５６又はステップ１５８に戻る。なお、図９では、調節が不十分な場合を想定して処理を戻す場合を示す。この調節が良好に行なわれた場合、すなわち、ステップ１６０の判定が肯定された場合には、リターンに進んで自動制御処理が終了される。
【００６１】
一方、上述のようにして図８に示すステップ１１０の自動制御演算処理が行なわれると、ステップ１１２へ移行する。ステップ１１２では、モニタ４２にデータ（輝度データ、色差データ）が供給されると、画像がモニタ４２に表示される。この後、デジタルスチルカメラ１０の動作を停止させる。すなわち、ステップ１１２では、電源オフになったか否か判定される。電源がオフになっていない時、すなわち、ステップ１１２の判定が否定された場合には、ステップ１００に戻って上述の処理が繰り返される。電源がオフになっている時、すなわち、ステップ１１２の判定が肯定された場合には、全ての処理が終了される。
【００６２】
また、上述のように、レリーズボタンが全押しされた場合、撮像部３０にはこのモードに応じた駆動信号２４Ａが供給される。この場合、撮像部３０では、全画素読出しが行なわれる（ステップ１１６）。これ以後、読み出された信号に対して順次前処理、Ａ／Ｄ変換処理が行なわれる（ステップ１１８、ステップ１２０）。ここでの各処理は上述したステップ１０４及びステップ１０６と同様に処理されるので、説明を省略する。
【００６３】
全画素読出しされた信号（補色の画素データ）は、ＤＳＰ３６に供給される。ＤＳＰ３６のデータ補正部４４では、上述と同様に、供給された画素データに対して各種の補正が施され、Ｙｈ補間部４６では、供給された補色の画素データを基にこの仮想画素での輝度データ（Ｙｈ信号）が生成され、加算器４８では、データ補正部４４によって各種補正がなされることによって得られた３原色ＲＧＢの画素データｒ、ｇ、ｂと、Ｙｈ補間部４６で生成されたＹｈ信号５０Ａと、が加算されて高解像度広帯域信号の３原色画素データが生成される（ステップ１２２）。なお、この高解像度広帯域信号生成処理の詳細は後述する。
【００６４】
ステップ１２４では、ステップ１２２の高解像度広帯域信号生成処理によって得られた画素データに対して周波数領域で見た場合、信号処理を施すことによってより画素データの帯域を広域化している。広域化する方法も各種ある。
【００６５】
この広域化した画素データの各データから輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）（又はＣｒ、Ｃｂ）へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。
【００６６】
次にステップ１２６では、これらの信号処理によって得られた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｒ−Ｂ）が図１に示す圧縮／伸張部３８、システムバス１６を介して記録再生部４０やモニタ４２にそれぞれ供給される。この供給に際してシステム制御部１８は、表示と記録の場合に応じて圧縮／伸張部３８に異なる制御をするようにしてもよい。この制御としては、例えば、信号処理したこれらのデータを表示させる場合、圧縮／伸張部３８はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮／伸張部３８は圧縮データに伸張処理を施してモニタ４２に出力する手順とがある。
【００６７】
また、撮像して信号処理されたこれらデータを記録する場合、圧縮／伸張部３８は、例えば、ＪＰＥＧとといった圧縮処理を施し（ステップ１２６）、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、又は光磁気記録媒体等を含む記録再生部４０に供給される。そして、ステップ１２８では、圧縮されたデータが記録再生部４０の記録媒体に記録される。このとき、圧縮前の画像を間引いてモニタ４２に表示させると、撮像タイミングでの取り込んだ画像の良否もチェックすることができる。この圧縮前の画像を外部の高品位なモニタに供給すると、従来の補間した画像に比べても一層高い画質の画像を表示することができることは言うまでもない。この記録処理の後、上述したステップ１１４へ移行する。
【００６８】
ステップ１１４では、撮影を終了、電源オフか否か判定している。撮影を継続する場合には、判定が否定されたステップ１００に戻って、上述の処理が繰り返される。また、判定が肯定されて撮影が終了された場合、一連の処理が終了される。
【００６９】
次に高解像度広帯域信号生成処理について詳細に説明する。
【００７０】
本実施の形態の撮像部は、補色の色フィルタセグメントを用いているので、Ａ／Ｄ変換部３４からは補色の画素データ（Ｇ、Ｃｙ、Ｙｅ）が得られる。ここで、各色Ｙｅ、Ｃｙは、以下の式で表される。
Ｙｅ＝Ｇ１＋αＲ
Ｃｙ＝Ｇ１＋βＢ
α、βは係数
但し、ＲＧＢは光の３原色に対応した代表的なマイクロフィルタである。
本実施の形態では、係数α＝β＝１とすると、撮像部３０からは、３種の分光フィルタに対応した以下の信号がマイクロフィルタの配列に対応して得られ、上式は以下の式となる。
Ｙｅ＝Ｇ１＋Ｒ
Ｃｙ＝Ｇ１＋Ｂ
Ｇ＝Ｇ１
Ｙｈ補間部４６では、この式を用いてＹｈ信号が作成される。以降、Ｙｈ補間部４６で行なわれるＹｈ信号の作成について説明する。
【００７１】
実画素位置に市松状にデータを配置し、Ｇ信号位置では撮像部３０から得られるＧ信号を２倍にし、Ｙｅ、Ｃｙ信号位置では自画素と周辺に位置するＣｙ、Ｙｅ信号を５０％の割合で加算する。式で表すと以下のようになる。
0004278893.tif 000002
なお、上式のＧ１（ｇ）はｇ色画素のＧ成分を表し、同様に、Ｇ１（ｙｃ）はＹｅ、Ｃｙ画素中のＧ成分を表す。また、Ｇ１とＧ２は便宜的に区別した表示するが、Ｇ１＝Ｇ２である。
【００７２】
ここで、上式に着目すると、第１項のＧ１（ｇ）はｇ色画素のＧ成分を、Ｇ１（ｙｃ）はＹｅ又はＣｙ色画素のＧ成分をそれぞれ表す、すなわち第１項は実画素全面のＧ成分を表す。そして、第２項のＧ２（ｇ）はｇ色画素のＧ成分を表し、１／２Ｍｇ（ｙｃ）はＹｅ又はＣｙ画素より作成したＭｇ成分を表すと共に、Ｇ成分に対して１／２画素ずらしを意味する。すなわち、原色配列方式で用いたＧとＭｇの画素ずらし効果を発揮できる加算式となっている。従って、高解像度の信号が生成されていることがわかる。
【００７３】
ここで、Ｙｈ＝Ｙｈ１＋Ｙｈ２と置き換え、上式の第１項と第２項を対応させると、
Ｙｈ１＝Ｇ１（ｇ）＋Ｇ１（ｙｃ）
Ｙｈ２＝Ｇ２（ｇ）＋１／２Ｍｇ（ｙｃ）
となり、Ｙｈ１とＹｈ２が重ね合わせの原理でその効果も加算されていることを示し、従来の原色処理で代用した信号処理手法の効果を維持できる。
【００７４】
なお、Ｙｈ信号作成時に、実画素位置に市松状にデータを配置して、Ｙｅ、Ｃｙ信号位置で、自画素と周辺に位置するＣｙ、Ｙｅ信号を５０％の割合で加算する際には、自画素周辺の水平、垂直の相関を判断して自画素に周辺画素を加算する。例えば、図１０に示すように、Ｙｅ信号位置に周辺のＣｙ信号を加算する場合について図１１のフローチャートを参照して説明する。なお、図１１において、ｄｈ＝｜Ｃｙ２−Ｃｙ３｜、ｄｖ＝｜Ｃｙ１−Ｃｙ４｜、ｋ１は所定値とする。
【００７５】
ステップ２００では、ｄｈ−ｄｖ、すなわち、｜Ｃｙ２−Ｃｙ３｜と｜Ｃｙ１−Ｃｙ４｜の差が所定値ｋ１より大きいか否か判定される。該判定が肯定された場合には、ステップ２０２へ移行して、垂直方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ１＋Ｃｙ４）によってＹｈ信号が作成される。
【００７６】
また、ステップ２０２の判定が否定された場合には、ステップ２０４へ移行して、ｄｖ−ｄｈ、すなわち、｜Ｃｙ１−Ｃｙ４｜と｜Ｃｙ２−Ｃｙ３｜の差が所定値ｋ１より大きいか否か判定される。該判定が肯定された場合には、ステップ２０６へ移行して、水平方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ２＋Ｃｙ３）によってＹｈ信号が作成される。
【００７７】
そして、ステップ２０４の判定が否定された場合には、ステップ２０８へ移行して、水平及び垂直共に相関なしと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．１２５（Ｃｙ１＋Ｃｙ２＋ＣＹ３＋Ｃｙ４）によってＹｈ信号が作成される。
【００７８】
ここで、図１１のフローチャートはＹｅ画素周辺のＣｙ画素における水平及び垂直の相関を判断するようにしたが、さらにＧ信号も用いて水平及び垂直の相関を判断するようにしてもよい。この場合には、図１２に示すように、ステップ２００〜ステップ２０６の処理は、図１１のフローチャートの同一符号を付した処理と同様にして行なわれる。そして、ｄｇｈ＝｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜、ｄｇｖ＝｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜、ｋ２は所定値とすると、ステップ２０４の判定が否定、すなわち、Ｃｙ信号の水平及び垂直方向の相関がないと判断された場合には、ステップ２１０へ移行して、ｄｇｈ−ｄｇｖが所定値ｋ２より大きいか否か判定される。該判定が肯定された場合には、ステップ２０２へ移行して、垂直方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ１＋Ｃｙ４）によってＹｈ信号が作成される。
【００７９】
また、ステップ２１０の判定が否定された場合には、ステップ２１２へ移行して、ｄｇｖ−ｄｇｈが所定値ｋ２より大きいか否か判定される。該判定が肯定された場合には、ステップ２０６へ移行して、水平方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ２＋Ｃｙ３）によってＹｈ信号が作成される。
【００８０】
そして、ステップ２１２の判定が否定された場合には、水平及び垂直方向に相関がないので、上述したステップ２０８と同様にして、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．１２５（Ｃｙ１＋Ｃｙ２＋Ｃｙ３＋Ｃｙ４）によってＹｈ信号が作成される。
【００８１】
なお、上記では、自画素（Ｙｅ）周辺のＣｙ信号、またはＣｙ信号とＧ信号の相関に応じてＹｈ信号を作成するようにしたが、図１３のフローチャートに示すように自画素と周辺のＣｙ信号に基づいて相関を判断してＹｈ信号を作成するようにしてもよい。なお、図１３において、ｄｃｈ＝｜Ｙｅ−Ｃｙ２｜＋｜Ｙｅ−Ｃｙ３｜、ｄｃｖ＝｜Ｙｅ−Ｃｙ１｜＋｜Ｙｅ−Ｃｙ４｜、ｋ３は所定値とする。
【００８２】
ステップ２５０では、ｄｃｈ−ｄｃｖが所定値ｋ３より大きいか否か判定される。該判定が肯定された場合には、ステップ２５２へ移行して、垂直方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ１＋Ｃｙ４）によってＹｈ信号が作成される。
【００８３】
また、ステップ２５０の判定が否定された場合には、ステップ２５４へ移行して、ｄｃｖ−ｄｃｈが所定値ｋ３より大きいか否か判定される。該判定が肯定された場合には、ステップ２５６へ移行して、水平方向の相関有りと判断されて、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．２５（Ｃｙ２＋Ｃｙ３）によってＹｈ信号が作成される。
【００８４】
そして、ステップ２５４の判定が否定された場合には、水平及び垂直方向に相関がないので、ステップ２５８へ移行して、Ｙｈ（Ｙｅ）＝０．５Ｙｅ＋０．１２５（Ｃｙ１＋Ｃｙ２＋Ｃｙ３＋Ｃｙ４）によってＹｈ信号が作成される。
【００８５】
このようにして、自画素と周辺画素との相関を判断しながら、Ｙｈ信号を作成することにより、高精細なＹｈ信号を作成することができる。
【００８６】
また、上述のようにして自画素周辺の画素との相関に基づいてＹｈ信号を作成するようにしたが、相関の判別結果を訂正するようにしてもよい。例えば、図１４（Ａ）に示す自画素（Ｙｅ）周辺の相関の判別結果が図１４（Ｂ）に示すように、Ｃｙ１Ｈ（水平相関）、Ｃｙ２Ｈ（水平相関），Ｃｙ３Ｈ（水平相関）、Ｃｙ４Ｈ（水平相関）で、自画素がＹｅＮ（水平垂直相関なし）であった場合には、Ｙｅの相関結果を訂正し、周辺画素の相関と同様の相関有りに訂正する。すなわち、図１５に示すフローチャートのように、Ｃｙ１ｆ＝Ｃｙ２ｆ＝Ｃｙ３ｆ＝Ｃｙ４ｆか否かを判定し（ステップ３００）、判定が否定された場合には、Ｙｅの相関の訂正を行なわず（ステップ３０２）、判定が肯定された場合に、Ｙｅの相関をＣｙの相関と同様の相関関係に訂正する（ステップ３０４）。なお、Ｈは水平相関を表し、Ｖは垂直相関を表し、Ｎは相関なしを表する。また添字ｆは、フラグ（Ｈ、Ｖ、又はＮ）を表す。
【００８７】
また、Ｙｈ補間部４６では、上述のように、市松状の実画素位置に作成したＹｈ信号からＹｈ信号の各画素間の仮想画素を補間している。Ｙｈ信号は、Ｇ１（ｇ）＋Ｇ２（ｇ）＝ｇ、Ｇ１（ｙｃ）＋１／２Ｍｇ（ｙｃ）＝ｍとすると、図１６（左端）に示すように、ｇの正方格子とｍの正方格子が水平及び垂直に１／２画素ずれて重ねられた配置となる。なお、図１６におけるｇ、ｍは実画素を示し、＊は仮想画素を示す
そこで、図１６（中央）に示すように、仮想画素を水平補間（仮想画素水平補間６６）することによって、水平方向にそれぞれの画素を補間することにより、高解像度なＹｈ信号を生成することができる。なお、図１６におけるＧ、Ｍは、補間後の画素を示す。
【００８８】
また、水平補間後に垂直Ｌｐｆ６８を通過させることにより、広帯域な信号を得ることができる。
【００８９】
なお、Ｙｈ補間部４６で行なわれるＹｈ信号の補間処理は、これに限るものではなく、例えば、図１７に示すように、仮想画像を水平補間の代わりに垂直補間（仮想画素垂直補間７０）して、高解像度なＹｈ信号を生成するようにしてもよい。この場合には、垂直Ｌｐｆ６８の代わりに水平Ｌｐｆ７２を通過させることによって広帯域な信号を得ることができる。
【００９０】
また、図１８に示すように、ｇ信号とｍ信号を各面でそれぞれ単独に補間処理７４Ａ、７４Ｂして、各面を加算処理７６によって加算するようにしても高解像度なＹｈ信号を得ることができる。このとき、加算処理７６によって得られるＹｈ信号に対して水平方向又は垂直方向の低域周波数等の帯域を制限して不要帯域を制限して、広帯域信号を生成するようにしてもよい。また、Ｙｈ補間部４６で行なわれる補間方法としては、例えば、Ｌｐｆ補間でもよいし、周辺画素との相関判断による補間等の補間方法を用いることができる。
【００９１】
このように、本実施の形態に係るデジタルスチルカメラ１０では、Ｙｈ補間部４６で高解像度広帯域なＹｈ信号が生成される。そして、撮像部３０より得られる補色の画素データと生成されたＹｈ信号を、データ補正部４４で得られる各色成分（Ｒ、Ｇ、Ｂ）毎に加算器４８で加算することにより、高解像度広帯域な画素データを生成することができる。すなわち、この高解像度広帯域の画素データを周知の技術の如く信号処理することによって、高解像度の画像を得ることができる。また、撮像部３０では、補色の色フィルタセグメントを利用しているので、撮像部３０の感度が高く、光利用効率を向上することができる。
【００９２】
なお、上記の実施の形態におけるＹｈ補間部４６によって生成されたＹｈ信号は、ＡＦに用いることも可能である。
【００９３】
【発明の効果】
以上説明したように本発明によれば、グリーンのフィルタが配置された受光素子の画素では得られる信号に係数を乗じて用いることによりグリーン成分に該当する信号を生成すると共に、イエローが配置された受光素子または、シアンが配置された受光素子の画素では、該受光素子周辺に位置する自色以外の色が配置された受光素子より得られる信号と自色の受光素子より得られる信号を各々所定の割合で加算することにより、イエローまたはシアンが配置された受光素子の画素と該受光素子周辺に位置する自色以外の色が配置された受光素子それぞれに含まれるグリーン成分に該当する信号と、これとは別にイエローまたはシアンが配置された受光素子の画素にそれぞれ含まれるレッド及びブルー成分を加算した等価的なマゼンタ成分に該当する信号を生成する。そして、生成された信号に基づいて高解像度信号を作成するので、生成された等価的なグリーン及びマゼンタに該当する信号より、グリーン及びマゼンタの画素ずらし効果、すなわち、高解像度化を実現することができる。すなわち、補色フィルタにより入射光の利用効率を高めると共に、得られる画像の解像度をより高く実現することができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルスチルカメラにおけるＤＳＰの概略的な構成を示すブロック図である。
【図３】本発明の実施の形態に係るデジタルスチルカメラにおける撮像部の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、及び転送路の関係を示す模式図である。
【図４】撮像部に入射光の分光エネルギー、比視感度特性及び測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図５】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した足の波長に対する相対感度を表すグラフである。
【図６】入射光を（Ａ）原色撮像と、（Ｂ）補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図７】本発明の実施の形態に係るデジタルスチルカメラの撮像部に適用するＧ正方ＣｙＹｅ完全市松パターンを示す模式図である。
【図８】本発明の実施の形態に係るデジタルスチルカメラの動作の一例を示すメインフローチャートである。
【図９】メインフローチャートにおける自動制御演算処理を表すフローチャートである。
【図１０】Ｙｅ信号周辺のＣｙ信号を示す模式図である。
【図１１】Ｙｅ信号位置に周辺のＣｙ信号を加算する場合のＹｈ信号作成処理の第１の例を示すフローチャートである。
【図１２】Ｙｅ信号位置に周辺のＣｙ信号を加算する場合のＹｈ信号作成処理の第２の例を示すフローチャートである。
【図１３】Ｙｅ信号位置に周辺のＣｙ信号を加算する場合のＹｈ信号作成処理の第３の例を示すフローチャートである。
【図１４】自画素周辺の画素との相関に基づいて作成したＹｈ信号における相関の判別結果訂正を説明するための模式図である。
【図１５】自画素周辺の画素との相関に基づいて作成したＹｈ信号における相関の判別結果を訂正する処理を説明するためのフローチャートである。
【図１６】Ｙｈ信号における各画素間の仮想画素を補間する際の第１の補間方法を説明するための図である。
【図１７】Ｙｈ信号における各画素間の仮想画素を補間する際の第２の補間方法を説明するための図である。
【図１８】Ｙｈ信号における各画素間の仮想画素を補間する際の第３の補間方法を説明するための図である。
【符号の説明】
１０    デジタルスチルカメラ
３０    撮像部
３４    Ａ／Ｄ変換部
３６    ＤＳＰ
４６    Ｙｈ補間部
【図１】
0004278893.tif 000003
【図２】
0004278893.tif 000004
【図３】
0004278893.tif 000005
【図４】
0004278893.tif 000006
【図５】
0004278893.tif 000007
【図６】
0004278893.tif 000008
【図７】
0004278893.tif 000009
【図８】
0004278893.tif 000010
【図９】
0004278893.tif 000011
【図１０】
0004278893.tif 000012
【図１１】
0004278893.tif 000013
【図１２】
0004278893.tif 000014
【図１３】
0004278893.tif 000015
【図１４】
0004278893.tif 000016
【図１５】
0004278893.tif 000017
【図１６】
0004278893.tif 000018
【図１７】
0004278893.tif 000019
【図１８】
0004278893.tif 000020