(57)【特許請求の範囲】
【請求項１】
第１から第ＮのＮ種類の分光感度特性のうちの何れか一種類の分光感度特性を有する複数の光電変換素子であって、注目する画素に対応して第Ｊ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｊの光電変換素子と、前記注目する画素の周辺画素に対応して前記第Ｊの撮像色信号とは異なる第Ｈ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｈの光電変換素子とを含む光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、
前記第Ｈの撮像色信号を平均して線形補間し、前記注目する画素における第１の第Ｈ非撮像色信号を算出する第１の算出手段と、
前記第Ｊの撮像色信号を平均し、前記注目する画素における第Jの平均撮像色信号を算出する第２の算出手段と、
前記第Ｊの撮像色信号に、前記第１の算出手段により算出された第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された第Ｊの平均撮像色信号の比を乗じ、前記注目する画素における第２の第Ｈ非撮像色信号を算出する第３の算出手段と、
前記第１の算出手段により算出された第１の第Ｈ非撮像色信号と、前記第３の算出手段により算出された第２の第Ｈ非撮像色信号とに基づいて、前記注目する画素における第Ｈの補間色信号を算出する第４の算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第４の算出手段は、
注目する画素に対応する前記第Ｊの撮像色信号の信号レベルと前記第２の算出手段により算出された前記注目する画素における第Ｊの平均撮像色信号の信号レベルとの信号レベル差が小さい場合には前記第１の算出手段により算出された前記第１の第Ｈ非撮像色信号の使用比率を大きくし、
前記注目する画素に対応する前記第Ｊの撮像色信号の信号レベルと前記第２の算出手段により算出された前記注目する画素における第Ｊの平均撮像色信号の信号レベルとの信号レベル差が大きい場合には前記第３の算出手段により算出された前記第２の第Ｈ非撮像色信号の使用比率を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第４の算出手段は、
前記第１の算出手段により算出された注目する画素における前記第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された注目する画素における前記第Ｊの平均撮像色信号との差が大きい場合には前記第１の算出手段により算出された前記第１の第Ｈ非撮像色信号の使用比率を大きくし、
前記第１の算出手段により算出された注目する画素における前記第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された注目する画素における前記第Ｊの平均撮像色信号との差が小さい場合には前記第３の算出手段により算出された前記第２の第Ｈ非撮像色信号の使用比率を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第４の算出手段は、
注目する画素に対応する前記第Ｊの撮像色信号の信号レベルと前記第２の算出手段により算出された前記注目する画素における第Ｊの平均撮像色信号の信号レベルとの信号レベル差が小さく、前記第１の算出手段により算出された注目する画素における前記第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された注目する画素における前記第Ｊの平均撮像色信号との差が大きい場合には前記第１の算出手段により算出された前記第１の第Ｈ非撮像色信号の使用比率を大きくし、
注目する画素に対応する前記第Ｊの撮像色信号の信号レベルと前記第２の算出手段により算出された前記注目する画素における第Ｊの平均撮像色信号の信号レベルとの信号レベル差が大きく、前記第１の算出手段により算出された注目する画素における前記第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された注目する画素における前記第Ｊの平均撮像色信号との差が小さい場合には前記第３の算出手段により算出された前記第２の第Ｈ非撮像色信号の使用比率を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第４の算出手段は、
前記第１の算出手段により算出された前記第１の第Ｈ非撮像色信号と係数Ｋ（０≦Ｋ≦１）との乗算結果、および前記第３の算出手段により算出された前記第２の第Ｈ非撮像色信号と係数（１−Ｋ）との乗算結果とを加算して、前記注目する画素における第Ｈの補間色信号を算出する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記第４の算出手段は、
注目する座標（ｍ，ｎ）の画素における第Ｊの分光感度特性の光電変更素子の撮像色信号をＪ（ｍ，ｎ）とし、
前記第１の算出手段により算出された第１の第Ｈ非撮像色信号をＨＬＰＦとし、
前記第２の算出手段により算出された第Ｊの平均撮像色信号をＪＬＰＦとし、
前記係数Ｋのとりうる範囲を０以上１以下にする変数Ｄｒとした場合に、
数１によりＫの値を設定することを特徴とする請求項５に記載の画像処理装置。
【数１】
0004725520.tif 000021
【請求項７】
前記第４の算出手段は、
注目する座標（ｍ，ｎ）の画素における第Ｊの分光感度特性の光電変更素子の撮像色信号をＪ（ｍ，ｎ）とし、
前記第１の算出手段により算出された第１の第Ｈ非撮像色信号をＨＬＰＦとし、
前記第２の算出手段により算出された第Ｊの平均撮像色信号をＪＬＰＦとし、
ダイナミックレンジをＤｒとし、変数をＭとした場合に、
数２におけるＭの値を、
耐ノイズ性を重視する場合には大きくし、
高解像度を重視する場合には小さくする
ことを特徴とする請求項５に記載の画像処理装置。
【数２】
0004725520.tif 000022
【請求項８】
第１から第ＮのＮ種類の分光感度特性のうちの何れか一種類の分光感度特性を有する複数の光電変換素子であって、注目する画素に対応して第Ｊ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｊの光電変換素子と、前記注目する画素の周辺画素に対応して前記第Ｊの撮像色信号とは異なる第Ｈ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｈの光電変換素子とを含む光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、
前記第Ｈの撮像色信号を平均して線形補間し、前記注目する画素における第１の第Ｈ非撮像色信号を算出する線形補間算出ステップと、
前記第Ｊの撮像色信号を平均し、前記注目する画素における第Jの平均撮像色信号を算出する平均撮像色算出ステップと、
前記第Ｊの撮像色信号に、前記線形補間算出ステップにより算出された第１の第Ｈ非撮像色信号と前記平均撮像色算出ステップにより算出された第Ｊの平均撮像色信号の比を乗じ、前記注目する画素における第２の第Ｈ非撮像色信号を算出する色相関算出ステップと、
前記線形補間算出ステップにより算出された第１の第Ｈ非撮像色信号と前記色相関算出ステップにより算出された第２の第Ｈ非撮像色信号とに基づいて、前記注目する画素における第Ｈの補間色信号を算出する算出併合ステップと、
を備えたことを特徴とする画像処理方法。
【請求項９】
前記算出併合ステップは、
前記線形補間算出ステップにより算出された第１の第Ｈ非撮像色信号と係数Ｋ（０≦Ｋ≦１）との乗算結果、および前記色相関算出ステップにより算出された第２の第Ｈ非撮像色信号と係数（１−Ｋ）との乗算結果とを加算して、前記注目する画素における第Ｈの補間色信号を算出する
ことを特徴とする請求項８に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
各光電変換素子上に赤色（Ｒ色）、緑色（Ｇ色）、又は青色（Ｂ色）用のいずれか１種類のカラーフィルタを貼り付け、光電変換素子を画像を形成する画素として、二次元状に配置した１枚の二次元撮像素子（以下、撮像素子）を用い、撮像で得られた画像情報について各光電変換素子では得られない色信号（補間色）をその光電変換素子の周辺に配置された光電変換素子から得られる同じ色の色信号を用いて算出し、疑似的に各光電変換素子でＲ色、Ｇ色及びＢ色の各色の信号レベルを得る手段に関するものである。
【背景技術】
【０００２】
CCD（Charge Coupled Devices）の撮像素子を用いた画像入力装置においては、各光電変換素子上に赤色（Ｒ色）、緑色（Ｇ色）、又は青色（Ｂ色）用のいずれか１種類のカラーフィルタを貼り付け、光電変換素子を画像を形成する画素として、二次元状に配置した１枚の撮像素子を用い、撮像で得られた画像情報について各光電変換素子では得られない色信号（補間色）をその光電変換素子の周辺に配置された光電変換素子から得られる同じ色の色信号を用いて算出し、疑似的に各光電変換素子でＲ色、Ｇ色及びＢ色の各色の信号レベルを得る撮像方法がある。図１０は一般的なＢａｙｅｒ型配列で光電変換素子を配置した例を示している。なお、各光電変換素子は、撮像素子によって撮像される画像の各画像を担っている。また、m行ｎ列の位置の画素の色は、この位置に配置されている光電変換素子で得られる信号（撮像色信号）に依存する。
【０００３】
撮像素子で得られた画像情報から色信号補間を行ってカラー画像を得る方法として従来技術の線形補間法について説明する（以下、従来技術１）。各光電変換素子は、１種類の色信号（撮像色信号）しか得られず、各光電変換素子において得ることのできない他の色の信号（非撮影色信号）をこの非撮像色信号と同じ色の信号を出力する周辺に配置された他の光電変換素子の出力信号から生成する。今、Ｇ色の信号に着目すると、図１１に示す位置で、撮像によって得られたＧ信号（大文字”Ｇ”で表記）が存在する。色信号を補間生成する対象の画素である注目画素について、この注目画素に隣接する前後左右の４つの画素の信号から線形補間法によって平均値を算出しＧ信号の存在しない画素におけるＧ信号（小文字”ｇ”で表記）を生成することにより全画素分のＧ信号を得ることができる。また、Ｂ信号に着目すると、図１２に示すように隣接する上下の２つ画素のＢ信号からｂ１信号を、上下左右の４つの画素のＢ信号からｂ２信号を、左右の２つの画素のＢ信号からｂ３信号を生成することにより全画面分のＢ信号をそれぞれ線形補間法等によって得る。Ｒ信号においても図１３に示すようにＢ信号と同様の方法にて全画素分の信号を補間することが出来る。上記の方法によって全画素におけるＲ，Ｇ及びＢ信号を得ることが出来る（この線形補間は、例えばローパスフィルタを使う）。
【０００４】
しかしながら、従来技術１の方法では、十分な解像度を得ることが出来ず画像のエッジ部分に本来の被写体には存在しない偽色が発生するという問題があった。これは、画像が各画素上に１色のカラーフィルタを配置して撮像されていることに起因する。すなわち、各画素上に１色のカラーフィルタを配置して撮像されるため空間周波数特性や位相が異なり、従来技術１の線形補間法では高周波成分を十分に復元できずに各Ｒ、Ｇ、Ｂ色とも画素数分だけの解像度が得られないことよる。
【０００５】
かかる問題を解決するために、本出願人は特開平５−５６４４６号公報（以下、従来技術２）において色相関性を用いて高解像度かつ偽色を良好に抑制した色補間を行う方法について出願をしている。以下、従来技術２について説明する。
【０００６】
図１０において、注目画素がｍ行ｎ列のＧの位置である場合のＲ、Ｂ信号レベルの算出方法は式１、式２のように異なる色間での信号変化の変化率（式１では、ＧＬＰＦに対するＲＬＰＦの比、式２では、ＧＬＰＦに対するＢＬＰＦの比）を求めることで行う。ここで、ＲＬＰＦはＲ信号をローパスフィルタ（ＬＰＦ）に入力させた場合の出力値であるＬＰＦ出力値、ＧＬＰＦはＧのＬＰＦ出力値、ＢＬＰＦはＢのＬＰＦ出力値を示し、Ｇ（ｍ，ｎ）は撮像画素のうち注目画素Ｇの位置の光電変換素子により実際に撮像され得られる出力信号である撮像色信号を示す。Ｒ（ｍ，ｎ）はＧの位置において算出する補間色Ｒの信号値を示し、Ｂ（ｍ，ｎ）はＧの位置において算出する補間色Ｂの信号値を示している。これらＲ（ｍ，ｎ）、Ｂ（ｍ，ｎ）は実際に撮像された撮像色信号であるＧ（ｍ，ｎ）を用いて以下に示す式１と式２によって求めることができる。なお、Ｇ（ｍ，ｎ）はＲ（ｍ，ｎ）、Ｂ（ｍ，ｎ）を求める際に参照される色であるため参照色とも呼ばれる。
【０００７】
【数１】
0004725520.tif 000002
【０００８】
【数２】
0004725520.tif 000003
式１又は式２を一般化して、注目画素の撮像色をＪ色とし、この位置を（ｍ,ｎ）とすると、位置（ｍ，ｎ）において、Ｊ色とは異なる種類のＨの色を補間色として補間生成する場合の算出方法は式３で表される。
【０００９】
【数３】
0004725520.tif 000004
従来技術２の方法は、輝度信号の変化に比べて色信号の変化が少ない、言い換えれば異なる色間で色相関性が高い領域があるという、撮像画像の一般的な特徴を用いている。図１４は、式３を用いてＧカラーフィルタが存在する画素位置においてＲ色を補間生成する場合の模式図である。図は説明の簡略化のため一次元方向のみの撮像素子を考えた場合を示している。図において、黒丸印及び白丸印で示される信号は実際に撮像素子により撮像された各色の信号レベルを示している。２点鎖線で示すグラフは参照色であるＧ色信号の信号変化を、実線で示すグラフはＧ色のカラーフィルタが存在する画素位置でＲ色信号が正しく補間された場合の期待される信号変化を示している。図において、従来技術１の線形補間法を用いて補間した場合に生成されるＲ色信号は二重線上のバツ印の信号レベルとして生成される。この場合、信号レベル変化の緩慢な領域では問題なく妥当な信号レベル値が生成されるが、画像のエッジにおける信号レベル変化の急峻な領域では補間される色信号が十分再現されず、色間の信号変化に偏りが生じて本来ない偽色として知覚されるようになる。これに対して、従来技術２の方法を用いて補間色の補間を行った場合生成される色信号は、図の星印に示される信号レベルとして再現される。従って、画像中のエッジを十分に再現することで得られるフルカラー画像は高解像度かつ偽色の少ない高画質なものとなる。
【００１０】
しかし、従来技術２の方法は補間色を求める際に参照色の局所的な信号レベルの変化率を用いているため、特有の画質劣化を生じる場合があった。図１５は従来技術２の方法で色補間を行った場合に画質劣化を生じる場合の模式図である。図のように、参照する信号レベルのＬＰＦ出力値が小さく、かつセンサ出力信号が暗部ノイズの影響等によって変化を伴い、補間生成する信号レベルのＬＰＦ出力値が高い場合、即ち有彩色領域では参照色信号の変化に比例的に反応するかたちで補間色信号が大きな変化を生じ、結果的に注目画素が本来画像中にない黒ずみや白抜けを生じることがある。
【００１１】
例えば、Ｒ、Ｇ、Ｂ信号が各１０ビット（０乃至１０２３の範囲、０：暗、１０２３：明）である撮像装置を想定し、図１５において局所的な信号レベルとしてＧ１＝４、Ｇ３＝１、Ｇ５＝４、Ｒ２＝Ｒ４＝１０２３であり、かつ各ＬＰＦは単純平均で算出するものとした場合、式３は具体的には式４乃至式６の演算を行うことになる。
【００１２】
【数４】
0004725520.tif 000005
【００１３】
【数５】
0004725520.tif 000006
【００１４】
【数６】
0004725520.tif 000007
従って、生成される補間信号値ｒ３は同色の周辺に配置された画素の信号レベルに比較して極端に小さい値になる。すなわち、従来技術２は、撮像素子を用いた撮像装置において色信号を補間する方法として高画質かつ偽色の少ない有効なものであるが、センサのノイズ特性の影響や撮像した絵柄によっては方法固有の画質劣化を引き起こすという問題点があった。
【００１５】
【特許文献１】
日本国特許出願公開番号  特開平5-56446号
【特許文献２】
日本国特許出願公開番号  特開2001-078211号
【特許文献３】
日本国特許出願公開番号  特開2000-165894号
【非特許文献１】
「Ｎａｔｉｏｎａｌ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ」（Ｖｏｌ．３１  Ｎｏ．１  Ｆｅｂ．１９８５）株式会社  松下テクノリサーチ発行、株式会社  オーム社発売
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、従来技術１だけを使用した場合には画像において十分な解像度を得ることが出来ず画像のエッジ部分に本来の被写体には存在しない偽色が発生するという問題点があり、従来技術２だけを使用した場合には画素が本来画像中にない黒ずみや白抜けを生じることがあるという問題点がある。
【課題を解決するための手段】
【００１７】
かかる目的を達成するために、第１から第ＮのＮ種類の分光感度特性のうちの何れか一種類の分光感度特性を有する複数の光電変換素子であって、注目する画素に対応して第Ｊ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｊの光電変換素子と、注目する画素の周辺画素に対応して第Ｊの撮像色信号とは異なる第Ｈ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｈの光電変換素子とを含む光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、第Ｈの撮像色信号を平均して線形補間し、注目する画素における第１の第Ｈ非撮像色信号を算出する第１の算出手段と、第Ｊの撮像色信号を平均し、注目する画素における第Jの平均撮像色信号を算出する第２の算出手段と、第Ｊの撮像色信号に、第１の算出手段により算出された第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された第Ｊの平均撮像色信号の比を乗じ、注目する画素における第２の第Ｈ非撮像色信号を算出する第３の算出手段と、第１の算出手段により算出された第１の第Ｈ非撮像色信号と、第３の算出手段により算出された第２の第Ｈ非撮像色信号とに基づいて、注目する画素における第Ｈの補間色信号を算出する第４の算出手段と、を備えたことを特徴とするものである。
【発明の効果】
【００１８】
本発明によれば、第１から第ＮのＮ種類の分光感度特性のうちの何れか一種類の分光感度特性を有する複数の光電変換素子であって、注目する画素に対応して第Ｊ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｊの光電変換素子と、注目する画素の周辺画素に対応して第Ｊの撮像色信号とは異なる第Ｈ（第１から第Ｎの何れか）の撮像色信号を出力する第Ｈの光電変換素子とを含む光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、第Ｈの撮像色信号を平均して線形補間し、注目する画素における第１の第Ｈ非撮像色信号を算出する第１の算出手段と、第Ｊの撮像色信号を平均し、注目する画素における第Jの平均撮像色信号を算出する第２の算出手段と、第Ｊの撮像色信号に、第１の算出手段により算出された第１の第Ｈ非撮像色信号と前記第２の算出手段により算出された第Ｊの平均撮像色信号の比を乗じ、注目する画素における第２の第Ｈ非撮像色信号を算出する第３の算出手段と、第１の算出手段により算出された第１の第Ｈ非撮像色信号と、第３の算出手段により算出された第２の第Ｈ非撮像色信号とに基づいて、注目する画素における第Ｈの補間色信号を算出する第４の算出手段と、を備えたことにより、従来技術１と従来技術２の特長を生かしたまま画質劣化の発生を良好に抑制可能な実用性の高い撮像装置を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】は、本発明の実施の形態１における全体ブロック図である。
【図２】は、Ｒの信号が２次元メモリ６ａに書き込まれている様子示す図である。
【図３】は、Ｇの信号が２次元メモリ６ｂに書き込まれている様子示す図である。
【図４】は、Ｂの信号が２次元メモリ６ｃに書き込まれている様子示す図である。
【図５】は、２次元ＬＰＦ７ａの出力を示す図である。
【図６】は、２次元ＬＰＦ７ｂの出力を示す図である。
【図７】は、２次元ＬＰＦ７ｃの出力を示す図である。
【図８】は、本実施の形態２における定数項Ｍを変化させた場合の、Ｊ（ｍ，ｎ）、ＪＬＰＦからの補間演算数に及ぼす影響度合いを示した図である。
【図９】は、本発明の実施の形態３における全体ブロック図である。
【図１０】は、撮像素子として一般的なＢａｙｅｒ型配列で原カラーフィルタを構成する例
【図１１】は、線形補間により「Ｇ」を生成する例を示す図である。
【図１２】は、線形補間により「ｂ」を生成する例を示す図である。
【図１３】は、線形補間により「ｒ」を生成する例を示す図である。
【図１４】は、Ｇカラーフィルタが存在する画素位置のＲ色を補間生成する場合の模式図である。
【図１５】は、Ｇカラーフィルタが存在する画素位置のＲ色を補間生成する場合の模式図である。
【符号の説明】
【００２０】
１    レンズ
２    撮像素子
３    Ａ／Ｄ
４    フレームメモリ
５    マルチプレクサ
６a乃至６ｃ    ２次元メモリ
７a乃至７ｃ    ２次元ＬＰＦ
８    演算回路
９    係数演算回路
１０    レジスタ
【発明を実施するための最良の形態】
【００２１】
実施の形態１．
以下、本発明の実施の形態１を図を用いて説明する。図１は、本発明の実施の形態１を示す全体ブロック図である。Ｒ色、Ｇ色及びＢ色の３原色のカラーフィルタが貼り付けられた光電変換素子をＢａｙｅｒ型に配列した撮像素子を用いて、Ｒ信号、Ｇ信号及びＢ信号の１０ビットのディジタル静止画像をディジタルスチルカメラで実現する場合について説明する。
【００２２】
図１において、１は被写体からの入射光を集光するレンズ、２はレンズを通して入射した光を光電変換する撮像素子、３は撮像素子から出力されるアナログ画像信号をディジタル画像信号に変換するＡ／Ｄ変換器、４は１画面分のディジタル画像信号を一時記憶するフレームメモリ、５はフレームメモリ４上の画像データから画素位置に応じてＲ、Ｇ、Ｂ各信号に分別するマルチプレクサ、６ａ乃至６ｃは各々Ｒ、Ｇ、Ｂ信号に対応した２次元メモリ、７ａ乃至７ｃは各々Ｒ、Ｇ、Ｂ信号に対応したローパスフィルタ（以下、ＬＰＦと称す）、８は各色のＬＰＦ出力値を参照して注目画素における非撮像色信号を算出する演算回路、９は２次元ＬＰＦ７ａ乃至７ｃの出力値を元に後述する補間強度係数値Ｋ（以下、係数Ｋ）を算出する係数演算回路である。
【００２３】
次に、動作について説明する。図１において、レンズ１から入射した光は、撮像素子２に結像する。撮像素子２では入射光を光電変換しアナログ電気信号として出力する。出力されたアナログ電気信号はＡ／Ｄ変換器３によりディジタル電気信号に変換されフレームメモリ４へ入力される。フレームメモリ４に蓄積された画像信号は図示しない制御手段によってマルチプレクサ５に順次送信され、マルチプレクサ５で各色ごとに分配されＲ、Ｇ、Ｂ色の各信号がそれぞれ別々に２次元メモリ６ａ乃至６ｃに書き込まれる。各色の有意な画像信号が２次元メモリ６ａ乃至６ｃに書き込まれている様子を図２乃至図４に示す。これらの図に示された画像信号はＬＰＦ７ａ乃至７ｃを通すことにより平滑化される。即ち、ＬＰＦは注目画素を中心として例えば図２乃至図４内の画像信号の平均値として線形補間出力する。図５乃至図７に２次元ＬＰＦ７ａ乃至７ｃの出力を示す。２次元ＬＰＦ７ａ乃至７ｃから出力されたＲ、Ｇ、Ｂ各色のＬＰＦ出力値は係数演算回路９に入力される。
【００２４】
次に、係数演算回路９について説明する。例えばＲカラーフィルタが配置されて撮像されている画素（以下、Ｒ画素位置）におけるＧ色の補間色を生成する場合、係数演算回路９では撮像色であるＲ色の周辺に配置された画素から算出したＬＰＦ出力値ＲＬＰＦ、Ｇ色の周辺周辺に配置された画素から算出したＬＰＦ出力値ＧＬＰＦ、注目画素における撮像された撮像色（参照色）であるＲの信号値ＲＲから、式７に従って係数Ｋを算出する。
【００２５】
【数７】
0004725520.tif 000008
ここで、変数Ｄｒは入力画像信号のダイナミックレンジを示し、Ｄｒ２で割ることによって係数Ｋの取りうる範囲を０≦Ｋ≦１に正規化している。また、（式７）の分子における乗算の第１項（左項）に関して、注目画素におけるＲ信号値ＲＲとＲ色のＬＰＦ出力値ＲＬＰＦの差分の絶対値をとることで注目画素における撮像色の凹凸度（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローパスフィルタ出力の信号レベルとの信号レベル差）を算出し、それをダイナミックレンジＤｒから減算することによって、この第１項は注目画素における撮像色の凹凸度が小さいほど第１項の値が大きくなり撮像色の凹凸度が大きいほど第１項の値が小さくなるように定めている。
【００２６】
さらに、上式の分子における乗算の第２項（右項）はＲ色のＬＰＦ出力値ＲＬＰＦ及びＧ色のＬＰＦ出力値ＧＬＰＦの差分（注目画素における第Ｈの二次元ローパスフィルタ出力と注目画素における第Ｊの二次元ローパスフィルタ出力との差）の絶対値をとることで注目画素における色差（色味の度合い）を算出しており、色差が大きいほど第２項の値が大きくなり色差が小さいほど第２項の値が小さくなるように定めている。
【００２７】
即ち、式７における係数Ｋは、注目画素における撮像色の凹凸度が小さく色差が大きいほど（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローパスフィルタ出力の信号レベルとの信号レベル差が小さく、注目画素における撮像色の二次元ローパスフィルタ出力と注目画素における補間色の二次元ローパスフィルタ出力との差が大きい場合）大きな値をとることになる。逆に係数Ｋは、注目画素における撮像色の凹凸度が大きく色差が小さいほど（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローパスフィルタ出力の信号レベルとの信号レベル差が大きく、注目画素における撮像色の二次元ローパスフィルタ出力と注目画素における補間色の二次元ローパスフィルタ出力との差が小さい場合）小さな値をとることになる。次に、式７で算出した係数Ｋを用いて、式８のように注目画素におけるＧ成分値ＧＲを算出する。
【００２８】
【数８】
0004725520.tif 000009
式８において、例えばＫ＝０の場合に代表されるように係数Ｋが小さい場合は従来技術２に示される式３の色補間演算から得られる効果が大きくる。一方、例えばＫ＝１の場合に代表されるように、係数Ｋが大きい場合はＧＲがＧ色のＬＰＦ出力値ＧＬＰＦに近づき、従来技術１で説明の線形補間法による色補間結果に近いものになる。
【００２９】
ここで、注目画素の撮像色がＪであり、注目画素の位置が（ｍ,ｎ）であり、補間色がＨである場合に式７を一般化した係数演算式を式９に、式８を一般化した補間色信号演算式を式１０に示す。
【００３０】
【数９】
0004725520.tif 000010
【００３１】
【数１０】
0004725520.tif 000011
ここで、色を表すＪ及びＨは、排他的にＲ、Ｇ又はＢのいずれかの色成分に該当する。
【００３２】
以上の説明から、撮像色Ｊと補間色Ｈに関して、注目画素におけるそれぞれのＬＰＦ出力値に大きな差がある場合は式９の係数Ｋが大きくなる（１に近づく）ことにより、生成されるＨ（ｍ，ｎ）はＨＬＰＦに近い値をとることがわかる。つまりこのケースでは、生成される色成分Ｈ（ｍ，ｎ）は撮像色Ｊに左右されることなく同色の周辺に配置された画素値を線形補間した結果に近づくことで、図１５に示した画質劣化が排除される効果がある。
【００３３】
また、参照色Ｊと補間色ＨのＬＰＦ出力値が大きく異なる場合でも、注目画素における撮像色の凹凸度が大きい場合には撮像色の信号変化はノイズの影響ではなく画像のエッジを構成する部分であると考えられる。この場合、式９の分子の乗算第１項が小さい値になることにより係数Ｋが小さくなるため、式１０の（１−Ｋ）項がＫ項に比べて大きくなり、特開平５−５６４４６号公報に示される式（３）の補間方式からの影響度が増加し、図１４のピーク再現が可能になり高解像度化と偽色低減を図ることができるという効果がある。
【００３４】
本方式の有効性を具体的に説明する。１０ビットの信号レベルとしてＧ１＝４、Ｇ３＝１、Ｇ５＝４、Ｒ２＝Ｒ４＝１０２３で、各ＬＰＦは単純平均で算出すると仮定した場合、式９と式１０に従って注目画素におけるＲ信号値を算出する（図１５参照）。すなわち、式１１乃至式１４の演算を行う。
【００３５】
【数１１】
0004725520.tif 000012
【００３６】
【数１２】
0004725520.tif 000013
【００３７】
【数１３】
0004725520.tif 000014
【００３８】
【数１４】
0004725520.tif 000015
従って、生成される補間信号値Ｒは従来技術２の方法とは異なり同色の周辺に配置された画素の信号レベルと遜色ないレベルになるため、有彩色の領域で極端に黒ずみや白抜け等の画質劣化を発生することがなくなる。
【００３９】
次に、Ｇ１＝２０、Ｇ３＝１００、Ｇ５＝３０、Ｒ２＝Ｒ４＝７００で、各ＬＰＦは単純平均で算出するものと仮定した場合、式９と式１０に従って注目画素におけるＲ信号値を算出する（図１４参照）。すなわち、式１５乃至式１８の演算を行う。
【００４０】
【数１５】
0004725520.tif 000016
【００４１】
【数１６】
0004725520.tif 000017
【００４２】
【数１７】
0004725520.tif 000018
【００４３】
【数１８】
0004725520.tif 000019
従って、生成される補間信号値Ｒは隣接した同色画素（Ｒ２＝７００、Ｒ４＝７００）に比較して明確なピークを形成する結果になっており、撮像色Ｇの凹凸度に追従して上に凸の形をなすように再現されるため、従来技術２に示されると同様に高解像度で偽色の少ない色補間を実現することができる。なお、従来技術１でＲＲを算出した場合には、ＲＲ＝ＲＬＰＦ＝７００となる。
【００４４】
以上の説明した方法を用いて、撮像素子２によって得られる撮像画像の画面全体に対し注目画素位置（ｍ，ｎ）を水平または垂直方向に順次１画素ずつずらしながら走査していき、Ｒ画素位置におけるＧ及びＢ成分、Ｇ画素位置におけるＲ及びＢ成分、Ｂ画素位置におけるＲ及びＧ成分を算出することにより、各画素が全ての色成分を備えた１画面分のフルカラー画像を得ることができる。特にディジタルスチルカメラ等の撮像装置で撮像した画像はＣＧ画像とは異なり、画像中のエッジ近傍は低彩度の影（明暗）になる場合が多い。従って、本発明を用いることにより、解像度に寄与するエッジ近傍は従来法の特長を十分に発揮しながら、非エッジの領域についてはノイズの影響で撮像色信号にゆらぎが発生した場合でも黒ずみ等の画質劣化を排除した高画質のフルカラー画像を得ることが可能になるという効果がある。
【００４５】
実施の形態２
以下、実施の形態２を図を用いて説明する。実施の形態２の全体構成を表すブロック図は実施の形態１と同様に図１であり、内部の構成は実施の形態１において係数Ｋを算出する式１９が含まれる係数演算回路９のみが異なる。
【００４６】
次に、動作について説明する。本実施の形態では、係数演算回路９における演算を式１９によって実現する。
【００４７】
【数１９】
0004725520.tif 000020
【００４８】
ここで、実施の形態１においては、Ｍは、Ｍ＝Ｄｒ２であり係数Ｋを正規化する目的で用いた。それに対して、実施の形態２においては、光学系やセンサを含む撮像系固有の特性、アナログゲイン調整に代表される感度調節に起因するノイズ特性等を予め考慮したうえで、使用者は、Ｍ（Ｄｒとの相関はない）を選択できる。すなわち、この画像処理装置の使用者が、Ｍの値を予め選択することにより、係数Ｋのとる値を０よりに偏らせたり、１よりに偏らせることができる。
【００４９】
図８は、本実施の形態における式１９の定数項Ｍを変化させた場合に、Ｋの値が０よりに偏る場合、１よりに偏る場合を示す図である。本図では、定数項Ｍを例えばＤｒのべき乗として変化させた際の様子を示している。図において、Ｍ＝Ｄｒｘにおいて、Ｘ＝２、Ｘ＞２、Ｘ＜２の場合に分けて図示している。
【００５０】
係数Ｋは０≦Ｋ≦１になるように制限をかけており、Ｄｒ（＞１）の指数ｘが大きくなるほどＭ値も大きくなり、分母が大きくなるために式１９の係数Ｋが０に飽和し易くなる。Ｍの値を大きくし係数Ｋを０に飽和し易くなるように調整を行うことによって、式１０がＪ（ｍ，ｎ）（従来技術２に記載の方法）の影響を強く受けるようにすることができる。具体的には、図８に示すように、Ｘ＝２であるＭの場合には、係数Ｋの値が０．９であり、Ｘ＞２にすることにより０．５になることがある。
【００５１】
一方、Ｄｒ（＞１）の指数ｘが小さくなるほどＭ値も小さくなり式１９の係数Ｋが１に飽和し易くなる。Ｍの値を小さくし係数Ｋを１に飽和し易くなるように調整を行うことによって、式１０がＪＬＰＦ（従来技術１の線形補間法）の影響を強く受けることになる。具体的には、図８に示すように、Ｘ＝２であるＭの場合には、係数Ｋの値が０．９であり、Ｘ＜２にすることにより、係数Ｋが１．３になり、Ｋ≧１であるために、１になることがある。
【００５２】
以上のように、本実施の形態２においては、図１の係数演算回路９における係数Ｋを式１９のように定義することにより、光学系やセンサを含む撮像系固有の特性、アナログゲイン調整に代表される感度調節に起因するノイズ特性等を考慮したうえで使用者が定数Ｍを予め選択することができ、高解像度かつ低偽色効果を重視した色補間結果と暗部等の耐ノイズ性能を重視した色補間結果の最適なバランスを考慮した画像処理が可能となる。
【００５３】
実施の形態３
以下、実施の形態３について図を用いて説明する。図９は、実施の形態３の全体構成を表すブロック図であり、内部の構成は従来例において色補間演算を行う演算回路８において、式１０を使用すると共に、式１０における係数Ｋを与えるレジスタ１０が付加されている点が異なる。
【００５４】
実施の形態３の動作としては、式１０の係数Ｋを定数として予め直接与える。この点において、実施の形態１では式９から動的に係数Ｋを算出し、実施の形態２では使用者がＭを選択することにより式１９から動的に係数Ｋを算出するのと異なる。
【００５５】
この場合の係数Ｋは、撮像条件に応じて画像毎に変化させることは実施の形態１及び実施の形態２と同様に可能である。しかし、実施の形態３では、実施の形態１及び実施の形態２と異なり、単一画像内では同一の係数Ｋを使用する。これにより係数演算回路９を配置せずに済むため回路規模（ソフトウェアで実現した場合は処理所要時間やプログラムコード量）を削減することが可能になり、装置の低価格化や処理の高速化が可能になるという効果がある。
【００５６】
実施の形態１及び実施の形態２においては、式１０の色補間演算を画面全体に対して実施する構成にしたが、それに限定されるわけではない。即ち、従来技術２に記載の方法を使用した場合、白飛びや黒ずみが発生するのは撮像色の信号レベルが低い場合であるため、撮像色のＬＰＦ出力値が一定以上の画像領域に対してはＫ＝０として従来技術２に記載の方法を用いるようにしてもよい。また、その反対に、撮像色のＬＰＦ出力値が一定以下の画像領域に対してはＫ＝０として従来技術１の線形補間法に準じた方法を用いるようにしてもよい。
【００５７】
また、以上の全ての実施の形態においては、撮像素子として原色系のカラーフィルタをＢａｙｅｒ型に配列した単板センサを用いる構成のものについて示したが、補色系カラーフィルタを用いるもの、原色系で他の配列（第１から第ＮのＮ種類の分光感度特性を利用した配列等）を用いるものでもよい。
【００５８】
また、以上の全ての実施の形態においては、従来技術１として、画像信号が２次元ＬＰＦ７ａ乃至７ｃにより平滑化されるとして説明したが、ＬＰＦを通さなくても、注目画素の周辺の画素の光電変換素子から出力される撮像色信号に基づいて、当該注目画素の補間色に対応する非撮像色信号を算出する場合がある（図示せず）。
【００５９】
また、以上の全ての実施の形態においては、撮像素子が正方配列でるとして示したが、正方形配列以外の配列、例えばハニカム形状のものを用いた場合においても、同様の効果を得ることができる。
【００６０】
また、以上の全ての実施の形態においては、撮像後の画像処理として色補間処理についてのみで構成するブロック構成を示したが、実際の撮像装置を構成する際にオートホワイトバランス処理（白色補正）、γ補正処理（階調特性の補正）、フィルタ処理（輪郭強調やノイズ除去）、JPEＧ圧縮処理（画像データ圧縮保存）等の通常使用する処理と組合せても同等の効果が得られることは言うまでもない。
【００６１】
また、LCDインタフェース（画像表示確認用液晶インタフェース）、フラッシュメモリインタフェース（撮像画像保存媒体インタフェース）等の入出力インタフェースを付加しても同等の効果が得られることも言うまでもない。
【００６２】
また、以上の全ての実施の形態においては、撮像素子２において光電変換された画像データをＡ／Ｄ変換回路３でディジタル化した後一旦フレームメモリ４に１画面分保持する構成を示したがこの限りでない。即ち、撮像時のデータストリームに同期して画素あるいは複数ライン毎に色補間を含む画像処理を実施するように構成することも可能である。
【００６３】
また、以上の全ての実施の形態においては、撮像装置の内部で色補間処理を実行可能な構成例を示したがこの限りでなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能で単板式センサを使用して入力した画像を扱ういずれの機器上で構成してもよい。
【図１】
0004725520.tif 000023
【図２】
0004725520.tif 000024
【図３】
0004725520.tif 000025
【図４】
0004725520.tif 000026
【図５】
0004725520.tif 000027
【図６】
0004725520.tif 000028
【図７】
0004725520.tif 000029
【図８】
0004725520.tif 000030
【図９】
0004725520.tif 000031
【図１０】
0004725520.tif 000032
【図１１】
0004725520.tif 000033
【図１２】
0004725520.tif 000034
【図１３】
0004725520.tif 000035
【図１４】
0004725520.tif 000036
【図１５】
0004725520.tif 000037