(57)【要約】【課題】撮像した画像における色モアレの発生を効果的に抑制することができる画素補間装置、画素補間方法を提供する。【解決手段】広帯域ローパスフィルタ４１にベイヤデータを通し、撮像素子の受光面に入射した光学像の高周波成分を含む補間基準信号を生成し、Ｇ補間回路４２へ入力する。Ｇ補間回路４２に、補間基準信号における対応する注目画素領域の情報に基づいたＧ信号に対する画素補間処理を行わせ、補間後のＧＨ信号をＲ補間回路４３およびＢ補間回路４４へそれぞれ出力させる。Ｒ補間回路４３およびＢ補間回路４４にＧＨ信号を用いたＲ信号に対する画素補間処理、Ｂ信号に対する画素補間処理を行わせる。各色について全画素サンプリング、つまりｆｓでサンプリングしたかのような補間結果が得られる。ベイヤデータの各色にサンプリング時の折り返しノイズが混入していても、補間後のＲＧＢデータにおいては折り返しノイズによる影響がごく僅かとなる。【選択図】      図３
2006135564.tif 000002
【特許請求の範囲】
【請求項１】
水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間装置において、
前記画像信号から、前記撮像素子の受光面に入射した光学像の高周波成分を含む基準画素情報を生成する基準画素情報生成手段と、
この基準画素情報生成手段により生成された基準画素情報における対応する注目画素領域の情報に基づいて前記画像信号における前記第１の色の画素を補間する第１の画素補間手段と、
この第１の画素補間手段による補間後の全画素分の第１の色の全画素情報に基づき、前記画像信号における前記第２の色の画素、及び前記第３の色の画素を補間する第２の画素補間手段と
を備えたことを特徴とする画素補間装置。
【請求項２】
前記基準画素生成手段は、低域側における所定の広帯域幅の周波数成分を通過させる広帯域ローパスフィルタであることを特徴とする請求項１記載の画素補間装置。
【請求項３】
前記基準画素生成手段は、ホワイトバランス調整が施された後の前記画像信号から基準画素情報を生成することを特徴とする請求項１又は２記載の画素補間装置。
【請求項４】
前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素の値の大小関係の状態が所定の状態にあるか否かを判断する判断手段を更に備え、
前記第１の画素補間手段は、前記判断手段により所定の状態にあると判断された場合に、前記基準画素情報に基づき選択した周辺画素を用いて注目画素を補間することを特徴とする請求項１，２又は３記載の画素補間装置。
【請求項５】
前記第１の画素補間手段は、前記判断手段により所定の状態にあると判断された場合に、前記周辺画素に対応する前記基準画素情報の周辺画素における相関状態に基づき選択した周辺画素を用いて注目画素を補間することを特徴とする請求項４記載の画素補間装置。
【請求項６】
前記第１の画素補間手段は、周辺画素における各画素の値の順位を上位側と下位側とに分けて当該周辺画素の値の大小関係の状態を判定することを特徴とする請求項４又は５記載の画素補間装置。
【請求項７】
前記第１の画素補間手段は、前記判断手段により所定の状態にないと判断された場合に、全ての周辺画素又は中間値の周辺画素を用いて注目画素を補間することを特徴とする請求項４乃至６のいずれかに記載の画素補間装置。
【請求項８】
前記第１の画素補間手段は、前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素に対応する前記基準画素情報の周辺画素における相関の高い方向を検出する検出手段を含み、この検出手段により検出された相関の高い方向にある周辺画素を用いて注目画素を補間することを特徴とする請求項１乃至７のいずれかに記載の画素補間装置。
【請求項９】
前記第２の画素補間手段は、前記画像信号における前記第２及び第３の色の画素と、前記第１の画素補間手段によって生成された前記第１の色の全画素情報との差である第１の差信号を生成し、前記第２及び第３の色の画素の空画素である注目画素の周辺画素の前記第１の差信号から注目画素位置の差信号に相当する第２の差信号を生成し、前記第２の差信号と前記第１の色の全画素情報とから該注目画素を補間することを特徴とする請求項１及至８のいずれかに記載の画素補間装置。
【請求項１０】
前記第２の差信号は、前記第１の差信号の平均値とすることを特徴とする請求項９に記載の画素補間装置。
【請求項１１】
前記第２の差信号は、前記第１の差信号の最小値とすることを特徴とする請求項９に記載の画素補間装置。
【請求項１２】
水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間装置において、
前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素の値の大小関係の状態が所定の状態にあるか否かを判断する判断手段と、
この判断手段により所定の状態にあると判断された場合、前記画像信号における前記第１の色の画素を補間する第１の補間処理を実行する第１の画素補間手段と、
前記判断手段により所定の状態にないと判断された場合、前記画像信号における前記第１の色の画素を補間する前記第１の補間処理とは異なる第２の補間処理を実行する第２の画素補間手段と、
前記第１及び第２の画素補間手段による補間後の全画素分の第１の色の画素情報に基づき、前記画像信号における前記第２の色の画素、及び前記第３の色の画素を補間する第３の画素補間手段と
を備えたことを特徴とする画素補間装置。
【請求項１３】
水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間方法において、
前記画像信号から、前記撮像素子の受光面に入射した光学像の高周波成分を含む基準画素情報を生成する工程と、
生成された基準画素情報における対応する注目画素領域の情報に基づいて前記画像信号における第１の色の画素を補間する工程と、
補間後の全画素分の第１の色の画素情報に基づき、前記画像信号における第２の色の画素、及び第３の色の画素を補間する工程と
を含むことを特徴とする画素補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板式のカラー撮像方式が採用されたデジタルカメラ等に用いられる画素補間装置、画素補間方法に関するものである。
【背景技術】
【０００２】
従来、一般的なデジタルカメラにおいては、ＣＣＤ等の固体撮像素子を１つだけ用いてカラー画像を撮像する単板式のカラー撮像方式が採用されている。
【０００３】
また、ＣＣＤ等が原色ベイヤー配列の色フィルターを有するものにおいては、撮像時に得られたベイヤデータ（図４（ａ）参照）からＲＧＢデータを生成する補間方法として、ＬＰＦ（ローパスフィルタ）による補間が行われていた。図１０はそのＬＰＦの係数マトリクスの例を示した模式図である。係る補間方法については、例えば下記の特許文献１にも記載されている。
【特許文献１】特開２０００−１１５７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＬＰＦを用いた補間方法においては、特にＲ，Ｂ画素についてはサンプリング間隔が２ピクセルおきとなっているため、色モアレを発生される原因となっていた。すなわちＣＣＤ等の一次元方向の全画素サンプリング周波数をｆｓとしたとき、ＣＣＤ等への入射光が、カットオフ周波数１／２ｆｓの光学ＬＰＦによって帯域制限されている場合を考えると、Ｒ，Ｂ画素のサンプリング周波数は１／２ｆｓであるため、１／４ｆｓ〜１／２ｆｓの高周波数の光学像が入射すると信号に折り返しノイズが発生する。そして、被写体の信号成分に上記折り返し成分が混入した場合には、撮像した画像に色モアレが現れることとなり、画質を低下させるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像した画像における色モアレの発生を効果的に抑制することができる画素補間装置、画素補間方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため請求項１の発明にあっては、水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間装置において、前記画像信号から、前記撮像素子の受光面に入射した光学像の高周波成分を含む基準画素情報を生成する基準画素情報生成手段と、この基準画素情報生成手段により生成された基準画素情報における対応する注目画素領域の情報に基づいて前記画像信号における第１の色の画素を補間する第１の画素補間手段と、この第１の画素補間手段による補間後の全画素分の第１の色の全画素情報に基づき、前記画像信号における第２の色の画素、及び第３の色の画素を補間する第２の画素補間手段とを備えたものとした。
【０００７】
かかる構成においては、撮像素子から出力された画像信号、つまり全画素の情報を備えた状態の画像信号から生成される基準画素情報には撮像素子の受光面に入射した光学像の高周波成分が含まれるため、それを用いて補間される第１の色の補間画素には、本来の相関関係が反映した相関関係が周辺画素との間に確保される。そして、補間後の全画素分の第１の色の画素情報に基づき第２の色の画素、及び第３の色の画素が補間されるため、第１の色よりも配置間隔が広い第２の色及び第３の色についても、本来の相関関係がより強く反映された相関関係を有する画素を補間することができる。
【０００８】
また、請求項２の発明にあっては、前記基準画素生成手段は、低域側における所定の広帯域幅の周波数成分を通過させる広帯域ローパスフィルタであるものとした。
【０００９】
また、請求項３の発明にあっては、前記基準画素生成手段は、ホワイトバランス調整が施された後の前記画像信号から基準画素情報を生成するものとした。
【００１０】
かかる構成においては、画像信号から生成される基準画素情報に、撮像素子の受光面に入射した光学像の高周波成分を確実に含ませることができるため、第１の色よりも配置間隔が広い第２の色及び第３の色について、本来の相関関係がより強く反映された相関関係を有する画素を確実に補間することができる。
【００１１】
また、請求項４の発明にあっては、前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素の値の大小関係の状態が所定の状態にあるか否かを判断する判断手段を更に備え、前記第１の画素補間手段は、前記判断手段により所定の状態にあると判断された場合に、前記基準画素情報に基づき選択した周辺画素を用いて注目画素を補間するものとした。
【００１２】
また、請求項５の発明にあっては、前記第１の画素補間手段は、前記判断手段により所定の状態にあると判断された場合に、前記周辺画素に対応する前記基準画素情報の周辺画素における相関状態に基づき選択した周辺画素を用いて注目画素を補間するものとした。
【００１３】
また、請求項６の発明にあっては、前記第１の画素補間手段は、周辺画素における各画素の値の順位を上位側と下位側とに分けて当該周辺画素の値の大小関係の状態を判定するものとした。
【００１４】
また、請求項７の発明にあっては、前記第１の画素補間手段は、前記判断手段により所定の状態にないと判断された場合に、全ての周辺画素又は中間値の周辺画素を用いて注目画素を補間するものとした。
【００１５】
また、請求項８の発明にあっては、前記第１の画素補間手段は、前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素に対応する前記基準画素情報の周辺画素における相関の高い方向を検出する検出手段を含み、この検出手段により検出された相関の高い方向にある周辺画素を用いて注目画素を補間するものとした。
【００１６】
また、請求項９の発明にあっては、前記第２の画素補間手段は、前記画像信号における前記第２及び第３の色の画素と、前記第１の画素補間手段によって生成された前記第１の色の全画素情報との差である第１の差信号を生成し、前記第２及び第３の色の画素の空画素である注目画素の周辺画素の前記第１の差信号から注目画素位置の差信号に相当する第２の差信号を生成し、前記第２の差信号と前記第１の色の全画素情報とから該注目画素を補間するものとした。
【００１７】
かかる構成においては、第２及び第３の色について、当該補間画素における第１の色の画素との差信号を、隣り合う差信号の小さい方の値とすることにより、偽色や色ノイズを抑制する効果を得ることができる。
【００１８】
また、請求項１０の発明にあっては、前記第２の差信号は、前記第１の差信号の平均値とするものとした。
【００１９】
また、請求項１１の発明にあっては、前記第２の差信号は、前記第１の差信号の最小値とするものとした。
【００２０】
また、請求項１２の発明にあっては、水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間装置において、前記画像信号における前記第１の色の画素の空画素である注目画素の周辺画素の値の大小関係の状態が所定の状態にあるか否かを判断する判断手段と、この判断手段により所定の状態にあると判断された場合、前記画像信号における前記第１の色の画素を補間する第１の補間処理を実行する第１の画素補間手段と、前記判断手段により所定の状態にないと判断された場合、前記画像信号における前記第１の色の画素を補間する前記第１の補間処理とは異なる第２の補間処理を実行する第２の画素補間手段と、前記第１及び第２の画素補間手段による補間後の全画素分の第１の色の画素情報に基づき、前記画像信号における前記第２の色の画素、及び前記第３の色の画素を補間する第３の画素補間手段とを備えたものとした。
【００２１】
かかる構成において、第１の色の空画素は、周辺画素の値の大小関係の状態に応じ、互いに異なる第１の補間処理又は第２の補間処理のいずれか一方によって補間されるため、第１の色の補間画素には、本来の相関関係が反映した相関関係が周辺画素との間に確保される。そして、補間後の全画素分の第１の色の画素情報に基づき第２の色の画素、及び第３の色の画素が補間されるため、第１の色よりも配置間隔が広い第２の色及び第３の色についても、本来の相関関係がより強く反映された相関関係を有する画素を補間することができる。
【００２２】
また、請求項１３の発明にあっては、水平及び垂直方向に一画素間隔で市松状に配置された第１の色、及び第１の色の空き画素位置に互いに隣接することなく配置された第２の色、さらに第１の色及び第２の色が配置されていない空き画素位置に互いに隣接することなく配置された第３の色からなる色配列の色フィルタが受光面に設けられた撮像素子から出力された画像信号に対し、色別の画素補間を行う画素補間方法において、前記画像信号から、前記撮像素子の受光面に入射した光学像の高周波成分を含む基準画素情報を生成する工程と、生成された基準画素情報における対応する注目画素領域の情報に基づいて前記画像信号における第１の色の画素を補間する工程と、補間後の全画素分の第１の色の画素情報に基づき、前記画像信号における第２の色の画素、及び第３の色の画素を補間する工程とを含む方法とした。
【００２３】
かかる方法によれば、第１の色よりも配置間隔が広い第２の色及び第３の色についても、本来の相関関係がより強く反映された相関関係を有する画素を補間することができる。
【発明の効果】
【００２４】
以上のように本発明おいては、第１の色よりも配置間隔が広い第２の色及び第３の色についても、本来の相関関係がより強く反映された相関関係を有する画素を補間することができるようにした。よって、全ての色について、全画素サンプリングされた状態に近い状態の補間結果を得ることができ、撮像した画像における色モアレの発生を効果的に抑制することが可能となる。
【００２５】
また、第１の色よりも配置間隔が広い第２の色及び第３の色について、本来の相関関係がより強く反映された相関関係を有する画素を確実に補間することができるようにした。よって、撮像した画像における色モアレの発生を確実に抑制することが可能となる。
【００２６】
また、第２及び第３の色について、当該補間画素における第１の色の画素との差信号を、隣り合う差信号の小さい方の値とすることにより、偽色や色ノイズを抑制する効果を得ることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施の形態を図にしたがって説明する。
（実施形態１）
図１は、第１の実施の形態に係る画像処理装置を含むデジタルカメラ１の概略構成を示すブロック図である。このデジタルカメラ１は、ＣＣＤ２により被写体を撮像し、撮像により取得した被写体画像をＬＣＤ（液晶表示装置）４に表示させるとともに、撮影操作に応じて、撮像した被写体画像を画像データに変換し画像メモリ５に記録する構成である。なお、画像メモリ５は、カメラ本体に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。
【００２８】
ＣＣＤ２は、感光面にベイヤー配列の原色フィルターが設けられたものであり、ＣＣＤ２から出力されたアナログの撮像信号は、画像処理部３において各種の画像信号処理を施されて、最終的には輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータ（デジタルの画像信号）や、圧縮符号化後の画像データとして出力される。すなわち撮影待機状態では、所定のスルーレートでＹＵＶデータが出力され、それがＬＣＤ４に送られて被写体のスルー画像として表示される。また、撮影操作時には、圧縮符号化後の画像データが出力され画像メモリ５に記録される。画像メモリ５に記録された画像データは、必要に応じＣＰＵ６により読み出され、画像処理部３においていったん伸張された後、ＬＣＤ４に静止画像、或いは動画像として再生表示される。
【００２９】
また、デジタルカメラ１は、ＣＰＵ６が各部の制御に必要とする各種の制御プログラムが記録されたＲＯＭ７と、ＣＰＵ６の作業用メモリであるＲＡＭ８、キー入力部９、レンズ駆動部１０を有している。キー入力部９は、シャッターキーや、動作モードの切り替えに使用されるモード切替キー等からなり、キー操作に応じた操作信号をＣＰＵ６へ出力する。レンズ駆動部１０は、ＣＣＤ２の前面に配置された図示しないフォーカスレンズを含むレンズ群を光軸方向に駆動するモーターや、それを制御するためのドライバー等から構成され、ＡＦ制御時におけるＣＰＵ６からの指令に基づきレンズ位置を調整する。
【００３０】
図２は、前述した画像処理部３の詳細を示すブロック図である。画像処理部３は、ＣＣＤ２から入力したアナログの撮像信号が入力するアナログ処理部３１と、黒レベル調整部３２、白バランス調整部３３、ガンマ補正部３４、ＲＧＢ補間部３５、ＬＰＦ（ローパスフィルタ３６、ＹＵＶ変換処理部３７、ＪＰＥＧ変換部３８の各部から構成されている。
【００３１】
アナログ処理部３１は、ＣＣＤ２から出力された撮像信号に含まれるＣＣＤ２の駆動ノイズを減少させる相関二重サンプリング回路（ＣＤＳ回路）と、ノイズ低減後における信号のゲインを調整する自動利得制御回路（ＡＧＣ回路）、ゲイン調整後の信号をサンプリングして所定ビット数のデジタル信号に変換するＡ／Ｄ変換器を含み、ＣＣＤ２から入力したアナログの撮像信号をデジタルの画像信号、すなわち色フィルタアレイに応じた配列のＲ，Ｇ，Ｂの画素データ（ベイヤデータ）に変換する。
【００３２】
黒レベル調整部３２は、デジタル化された画像信号を所定の黒レベルにクランプし、白バランス調整部３３は、クランプ後の画像信号に対するＲ，Ｇ，Ｂ毎のゲイン調整を行い白バランスを調整する。ガンマ補正部３４は、白バランス調整後に画像信号に対するガンマ特性（階調特性）の補正を行い、ＲＧＢ補間部３５は、ガンマ補正後の画像信号（ベイヤデータ）に基づき画素毎のＲＧＢデータを生成する画素補間を行う。ＬＰＦ３６は、ガンマ補正後のＲＧＢデータに種々のフィルタ処理を施し、ＹＵＶ変換処理部３７は、Ｒ，Ｇ，Ｂの色成分データから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成する。また、ＪＰＥＧ変換部３８は、ＹＵＶデータをＪＰＥＧ形式で圧縮符号化し、ここで圧縮符号化された画像データがＪＰＥＧに準拠するフォーマットの画像ファイルとして画像メモリ５に記録される。
【００３３】
図３は、前記ＲＧＢ補間部３５の全体構成を示す回路図であって、ＲＧＢ補間部３５は、白バランス調整、及びガンマ特性補正が行われた後のベイヤデータがそれぞれに入力される広帯域ＬＰＦ（ローパスフィルタ）４１と、ベイヤデータに含まれる緑色成分のＧ信号が入力されるＧ補間回路４２、赤色成分のＲ信号が入力されるＲ補間回路４３、青色成分のＢ信号が入力されるＢ補間回路４４から構成されている。そして、以下に述べる動作によりＧ補間回路４２、Ｒ補間回路４３、Ｂ補間回路４４の各々によって補間されたＲＧＢの各色信号が、後段のＬＰＦ３６へ出力される。
【００３４】
前記広帯域ＬＰＦ４１は、従来の画素補間に際して使用されているものよりも広帯域の周波数特性を有する図４（ｂ）に示した係数マトリクスを備えたローパスフィルタであり、同図（ａ）に示したガンマ特性補正後のベイヤデータに対する畳み込み演算により、同図（ｃ）に示した画素毎に基準値ｋを備えた補間基準信号（本発明の基準画素情報）を生成してＧ補間回路４２へ出力する。ここで生成される補間基準信号においては、上記係数マトリクスを備えたローパスフィルタを通過することにより１／２ｆｓ（ナイキスト周波数）に近い高周波成分を含む信号となる。
【００３５】
Ｇ補間回路４２は、Ｇ信号におけるＲ，Ｂ画素位置に相当する画素情報が欠落している図５に示した空画素（補間画素）ｇ４を補間する回路あり、以下の補間処理を行う。
【００３６】
まず、周辺の４画素（Ｇ１，Ｇ３，Ｇ５，Ｇ７）の値の大小関係を調べ、値が大きい順に並べたときの順位を確認する。そして、確認した順位が１番目と２番目の画素を「Ｈ」（上位側）、３番目と４番目の画素を「Ｌ」（下位側）としたとき、周辺の４画素の大小関係が、図６（ａ）に示した第１の状態か、同図（ｂ）に示した第２の状態かのいずれか一方に該当するか否か、つまり「Ｈ」又は「Ｌ」が互いに隣接しない状態であるか否かを判断する。
【００３７】
次に、周辺の４画素の大小関係が第１の状態でも第２の状態でもないときには、周辺の４画素（Ｇ１，Ｇ３，Ｇ５，Ｇ７）の中間２値、つまり順位が２番目の値Ｇｍｉｄ１と３番目の値Ｇｍｉｄ２の平均値を下記式から求め、
ｇ４ ＝ （Ｇｍｉｄ１ ＋ Ｇｍｉｄ２）／ ２
それを空画素ｇ４の値とする第１の補間方法による補間を行う。
【００３８】
また、周辺の４画素の大小関係が第１の状態か第２の状態かのいずれかであったときには、前記補間基準信号による画像データにおける、対応する注目画素領域（図７）の注目画素（ｋ４）及び周辺４画素（ｋ１，ｋ３，ｋ５，ｋ７）の値（基準値）を用いて上下相関度ｕｄと左右相関度ｌｒとを下記式から求め、
上下相関度ｕｄ ＝ ｜２ × ｋ４ − ｋ１ − ｋ７｜
左右相関度ｌｒ ＝ ｜２ × ｋ４ − ｋ３ − ｋ５｜
双方の相関度の大小関係を確認する。
【００３９】
そして、「ｕｄ ＞ ｌｒ」ならば左右に相関があるので、
ｇ４ ＝ （Ｇ３ ＋ Ｇ５）／ ２
とし、周辺左右２画素による第２の補間方法による補間を行う。
【００４０】
逆に、「ｌｒ ＞ ｕｄ」ならば上下に相関があるので、
ｇ４ ＝ （Ｇ１ ＋ Ｇ７）／ ２
とし、周辺上下２画素による第３の補間方法による補間を行う。そして、Ｇ補間回路４２は、以上の３種類の補間方法により空画素ｇ４を補間した後のＧＨ信号を、Ｒ補間回路４３およびＢ補間回路４４へそれぞれ出力する。
【００４１】
Ｒ補間回路４３は、Ｇ補間回路４２から送られた上記ＧＨ信号による図８（ａ）に示した補間後のＧ画素Ｇ０〜Ｇ８を用いて、Ｒ信号におけるＧ，Ｂ画素位置に相当する画素情報が欠落している図８（ｂ）に示した空画素ｒ１，ｒ３，ｒ４，ｒ５，ｒ７を補間する。すなわち空画素ｒ１，ｒ３，ｒ５，ｒ７については下記の式により補間し、
ｒ１ ＝ Ｇ１ −｛（Ｇ０−Ｒ０）＋（Ｇ２−Ｒ２）｝／ ２
ｒ３ ＝ Ｇ３ −｛（Ｇ０−Ｒ０）＋（Ｇ６−Ｒ６）｝／ ２
ｒ５ ＝ Ｇ５ −｛（Ｇ２−Ｒ２）＋（Ｇ８−Ｒ８）｝／ ２
ｒ７ ＝ Ｇ７ −｛（Ｇ６−Ｒ６）＋（Ｇ８−Ｒ８）｝／ ２
また、空画素ｒ４については、下記の式により補間する。
ｒ４ ＝ Ｇ４ −｛（Ｇ０−Ｒ０）＋（Ｇ２−Ｒ２）
＋（Ｇ６−Ｒ６）＋（Ｇ８−Ｒ８）｝／４
【００４２】
Ｂ補間回路４４は、Ｒ補間回路４３と同様の方法により、Ｇ補間回路４２から送られた上記ＧＨ信号による図８（ａ）に示した補間後のＧ画素Ｇ０〜Ｇ８を用いて、Ｂ信号におけるＧ，Ｒ画素位置に相当する画素情報が欠落している空画素を補間する。
【００４３】
ここで、本実施の形態においては、ＲＧＢ補間部３５が画素補間を行うとき、前述したようにガンマ補正後の画像信号（ベイヤデータ）から、１／２ｆｓに近い高周波成分を含む補間基準信号を生成し、それを用いてＧ画素の空画素を補間し、さらに補間後のＧ画素を用いてＲ，Ｂ画素の各々の空画素を補間するため、各色について全画素サンプリング、つまりｆｓでサンプリングしたかのような補間結果を得ることができる。しかも、上記処理をホワイトバランス調整後のベイヤデータに対して行うため、上記補間結果を確実に得ることができる。そのため、ベイヤデータの各色にサンプリング時の折り返しノイズが混入している場合であっても、補間後のＲＧＢデータにおいては折り返しノイズによる影響がごく僅かとなり、その結果、撮像した画像における色モアレの発生を効果的に抑制することができる。特に被写体がモノクロ、あるいはモノクロに近い場合にあっては極めて高い効果を得ることができる。
【００４４】
（実施形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、第１の実施の形態における、Ｒ補間回路４３の方法を改善するものである。すなわち空画素ｒ１，ｒ３，ｒ５，ｒ７については下記の式により補間する。
Ｄ０＝Ｇ０−Ｒ０
Ｄ２＝Ｇ２−Ｒ２
Ｄ６＝Ｇ６−Ｒ６
Ｄ８＝Ｇ８−Ｒ８
ｉｆ（（Ｄ０×Ｄ２）＜０）            Ｄ１＝０
ｅｌｓｅ  ｉｆ（｜Ｄ０｜＞｜Ｄ２｜）  Ｄ１＝Ｄ２
ｅｌｓｅ                              Ｄ１＝Ｄ０
すなわち、ＧとＲの差信号であるＤ１は、隣り合う差信号Ｄ０、Ｄ２のうちの小さい方の値とし、隣り合う差信号Ｄ０、Ｄ２の符号が異なる場合は０とする。
ｉｆ（（Ｄ０×Ｄ６）＜０）            Ｄ３＝０
ｅｌｓｅ  ｉｆ（｜Ｄ０｜＞｜Ｄ６｜）  Ｄ３＝Ｄ６
ｅｌｓｅ                              Ｄ３＝Ｄ０
ｉｆ（（Ｄ２×Ｄ８）＜０）            Ｄ５＝０
ｅｌｓｅ  ｉｆ（｜Ｄ２｜＞｜Ｄ８｜）  Ｄ５＝Ｄ８
ｅｌｓｅ                              Ｄ５＝Ｄ２
ｉｆ（（Ｄ６×Ｄ８）＜０）            Ｄ７＝０
ｅｌｓｅ  ｉｆ（｜Ｄ６｜＞｜Ｄ８｜）  Ｄ７＝Ｄ８
ｅｌｓｅ                              Ｄ７＝Ｄ６
ｒ１＝Ｇ１−Ｄ１
ｒ３＝Ｇ３−Ｄ３
ｒ５＝Ｇ５−Ｄ５
ｒ７＝Ｇ７−Ｄ７
【００４５】
また、空画素ｒ４については、下記の式により補間する
ｉｆ（｜Ｄ１−Ｄ７｜＞｜Ｄ３−Ｄ５｜）  Ｄ４＝（Ｄ３＋Ｄ５）／２
ｅｌｓｅ                                Ｄ４＝（Ｄ１＋Ｄ７）／２
ｒ４＝Ｇ４−Ｄ４
【００４６】
なお、Ｂ補間回路４４についても、Ｒ補間回路４３と同様である。また、これ以外については第１の実施の形態と同様である。そして、係る第２の実施の形態においても、第１の実施の形態で説明したものと同様の理由により、撮像した画像における色モアレの発生を効果的に抑制することができ、特に被写体がモノクロ、あるいはモノクロに近い場合にあっては極めて高い効果を得ることができると同時に、当該補間画素の差信号を隣り合う差信号の小さい方の値とすることにより、偽色や色ノイズを抑制する効果を得ることができる。
【００４７】
（実施形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、図１に示した構成において、前記画像処理部３が図９に示した構成を有するものである。
【００４８】
図から明らかなように、本実施の形態ではガンマ補正部３４とＲＧＢ補間部３５とが位置を逆転した状態で設けられており、ＲＧＢ補間部３５には白バランス調整直後におけるガンマ変換前（対数変換前）のベイヤデータが入力される。また、ＲＧＢ補間部３５の回路構成についても図３に示したものと同様であるが、画素補間に際しては、入力するベイヤデータが白バランス調整直後であることに応じ、以下のように変更されている。
【００４９】
すなわちＧ補間回路４２におけるＧ画素の補間では、最終の段階で補間画素を求める際、周辺の４画素の大小関係が第１の状態でも第２の状態でもないときには、前述した第１の補間方法に代え下記の式
ｇ４ ＝ （Ｇｍｉｄ１ ＋ Ｇｍｉｄ２）^（１／２）
を用いた第４の補間方法による補間を行い、
また、「ｕｄ ＞ ｌｒ」で左右に相関があるときには、前述した第２の補間方法に代え下記の式（「^」は階乗を示す）
ｇ４ ＝ （Ｇ３ ＋ Ｇ５）^（１／２）
を用いた第５の補間方法による補間を行い、
また、「ｌｒ ＞ ｕｄ」で上下に相関があるときには、前述した第３の補間方法に代え下記の式
ｇ４ ＝ （Ｇ１ ＋ Ｇ７）^（１／２）
を用いた第６の補間方法による補間を行う。
【００５０】
また、Ｒ補間回路４３におけるＲ画素の補間では、最終の段階で補間画素を求めるときの式が、下記の式となっている。
ｒ１ ＝ Ｇ１ ×｛（Ｒ０／Ｇ０）×（Ｒ２／Ｇ２）｝^（１／２）
ｒ３ ＝ Ｇ３ ×｛（Ｒ０／Ｇ０）×（Ｒ６／Ｇ６）｝^（１／２）
ｒ５ ＝ Ｇ５ ×｛（Ｒ２／Ｇ２）×（Ｒ８／Ｇ８）｝^（１／２）
ｒ７ ＝ Ｇ７ ×｛（Ｒ６／Ｇ６）×（Ｒ８／Ｇ８）｝^（１／２）
ｒ４ ＝ Ｇ４ ×｛（Ｒ０／Ｇ０）×（Ｒ２／Ｇ２）
×（Ｒ６／Ｇ６）×（Ｒ８−Ｇ８）｝^（１／４）
【００５１】
なお、Ｂ補間回路４４についてもＲ補間回路４３と同様である。また、これ以外については第１の実施の形態と同様である。
【００５２】
そして、係る第３の実施の形態においても、第１の実施の形態で説明したものと同様の理由により、撮像した画像における色モアレの発生を効果的に抑制することができ、特に被写体がモノクロ、あるいはモノクロに近い場合にあっては極めて高い効果を得ることができる。
【００５３】
なお、以上説明した第１、第２、及び第３の実施の形態においては、広帯域ＬＰＦ４１を通過した補間基準信号ｋをＧ補間回路４２に入力するように構成したが、ガンマ特性補正が行われた後のベイヤデータを広帯域ＬＰＦ４１を介することなくＧ補間回路４２に直接入力するように構成してもよい。
【００５４】
また、以上説明した第１、第２、及び第３の実施の形態においては、処理対象の画像信号を出力する撮像素子がＣＣＤである場合を示したが、ＭＯＳ型のイメージセンサ等の他の固体撮像素子でも構わない。また、ＣＣＤ２の感光面に設けられた色フィルタがベイヤー配列の原色フィルターである場合を示したが、原色フィルターでなく補色系の色フィルターでも構わない。また、静止画の撮影及び記録を行うデジタルカメラに組み込まれた画素補間装置について説明したが、本発明の画素補間装置、画素補間方法はカメラ付き携帯電話、カメラ付きＰＤＡ等にも適用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施の形態を示すデジタルカメラのブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】ＲＧＢ補間部の全体構成を示す回路図である。
【図４】基準画素情報の生成方法を示す概念図である。
【図５】空画素を含む周辺画素領域を示す概念図である。
【図６】Ｇ画素における周辺の４画素の大小関係の状態を示す概念図である。
【図７】基準画素情報における画像データの注目画素領域を示す概念図である。
【図８】補間後のＧ画素とＲ信号の空画素とを示す概念図である。
【図９】本発明の第３の実施の形態におけるＲＧＢ補間部の全体構成を示す回路図である。
【図１０】従来の画素補間で使用されているローパスフィルタの係数マトリクスの一例を示す模式図である。
【符号の説明】
【００５６】
２    ＣＣＤ
３    画像処理部
３１    アナログ処理部
３２    黒レベル調整部
３３    白バランス調整部
３４    ガンマ補正部
３５    ＲＧＢ補間部
３６    ＬＰＦ（ローパスフィルタ）
３７    ＹＵＶ変換処理部
３８    ＪＰＥＧ変換部
４１    広帯域ＬＰＦ（ローパスフィルタ）
４２    Ｇ補間回路
４３    Ｒ補間回路
４４    Ｂ補間回路
【図１】
2006135564.tif 000003
【図２】
2006135564.tif 000004
【図３】
2006135564.tif 000005
【図４】
2006135564.tif 000006
【図５】
2006135564.tif 000007
【図６】
2006135564.tif 000008
【図７】
2006135564.tif 000009
【図８】
2006135564.tif 000010
【図９】
2006135564.tif 000011
【図１０】
2006135564.tif 000012