(57)【要約】【課題】カラーフィルタアレイの欠けている色を補間するための方法と装置を提供する。【解決手段】赤、緑、青フォトサイトを含むカラーフィルタアレイにおいて欠けている色を補間するための方法であって、局所エッジ情報に基づいて赤フォトサイトと青フォトサイトとのそれぞれに対する補間方向を判定すること、赤フォトサイトと青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、緑色を補間することを含む。緑フォトサイトについては、赤色と青色が補間される。次に、赤フォトサイトについて、当該フォトサイトに対して判定された補間方向に、青色が補間され、青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、赤色が補間される。【選択図】図１
2009065671.tif 000002
【特許請求の範囲】
【請求項１】
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間方法であって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対する補間方向を判定する工程と、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、緑色を補間する工程と、
緑フォトサイトについて赤色と青色を補間する工程と、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間する工程と、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間する工程と
を備える補間方法。
【請求項２】
請求項１記載の補間方法であって、
前記赤フォトサイトと前記青フォトサイトに対する前記補間方向は、当該フォトサイトに近接する局所エッジの方向に最も近い方向に対応する
補間方法。
【請求項３】
請求項２記載の補間方法であって、
前記補間方向を判定する工程は、
前記赤フォトサイトと前記青フォトサイトに対して、局所エッジを検出するために、当該フォトサイトに隣接し、異なる方向に関連づけられた複数のフォトサイトグループを検査する工程と、
前記複数のフォトサイトグループのうちから、前記局所エッジの方向に対応する方向に関連付けられたフォトサイトグループを特定する工程と、
前記特定されたフォトサイトグループに関連づけられた方向に対応する補間方向をフォトサイトに割り当てる工程と
を含む補間方法。
【請求項４】
請求項３記載の補間方法であって、
前記フォトサイトグループを検査する工程は、前記複数のフォトサイトグループのそれぞれに対応する複数の方向勾配を計算する工程を含み、
前記フォトサイトグループを特定する工程は、前記複数の方向勾配を比較して、前記複数の方向勾配のうちの最小の方向勾配を検出する工程を含む
補間方法。
【請求項５】
請求項４記載の補間方法であって、
前記複数のフォトサイトグループのそれぞれは、前記フォトサイトと交差する中央線に沿ったフォトサイトと、当該中央線の傍らに位置する線に沿ったフォトサイトとを有している
補間方法。
【請求項６】
請求項４または５記載の補間方法であって、
前記複数の方向勾配は、垂直方向勾配と、水平方向勾配と、対角方向勾配とを含む
補間方法。
【請求項７】
請求項６記載の補間方法であって、
前記複数の方向勾配は、上側と下側の垂直方向勾配と、左側と右側の水平方向勾配と前方と後方の対角方向勾配とを含む
補間方法。
【請求項８】
請求項４ないし７のいずれか記載の補間方法であって、
前記複数の方向勾配を計算する工程は、前記複数のフォトサイトグループのそれぞれに属する異なるフォトサイトの対の間の差を算出する工程を含む
補間方法。
【請求項９】
請求項６ないし８のいずれか記載の補間方法であって、
緑と赤の局所フォトサイトを用いることにより、前記赤フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する
補間方法。
【請求項１０】
請求項９記載の補間方法であって、
緑と青の局所フォトサイトを用いることにより、前記赤フォトサイトにおいて対角方向に前記緑色を補間する
補間方法。
【請求項１１】
請求項６ないし１０のいずれか記載の補間方法であって、
緑と青の局所フォトサイトを用いることにより、前記青フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する
補間方法。
【請求項１２】
請求項１１記載の補間方法であって、
緑と赤の局所フォトサイトを用いることにより、前記青フォトサイトにおいて対角方向に前記緑色を補間する
補間方法。
【請求項１３】
請求項６ないし１２のいずれか記載の補間方法であって、
局所フォトサイトで補間した緑色を用いることにより、各緑フォトサイトにおいて前記赤色と前記青色を補間する
補間方法。
【請求項１４】
請求項６ないし１３のいずれか記載の補間方法であって、
赤フォトサイトにおいて補間された緑色と、局所フォトサイトにおいて補間された色とを用いることにより、該赤フォトサイトにおいて前記青色を補間する
補間方法。
【請求項１５】
請求項６ないし１４のいずれか記載の補間方法であって、
青フォトサイトにおいて補間された緑色と、局所フォトサイトにおいて補間された色とを用いることにより、該青フォトサイトにおいて前記赤色を補間する
補間方法。
【請求項１６】
請求項１ないし１５のいずれか記載の補間方法であって、さらに、
モアレを低減する工程を備える
補間方法。
【請求項１７】
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間装置であって、
赤フォトサイトと青フォトサイトとのそれぞれに対して局所エッジを判定するエッジ検出器と
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された局所エッジの方向に対応する補間方向に、緑色を補間する第１の補間器と、
緑フォトサイトについて、赤色と青色を補間する第２の補間器と、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間する第３の補間器と、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間する第４の補間器と
を備える補間装置。
【請求項１８】
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間装置であって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対する補間方向を判定する手段と、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、緑色を補間する手段と、
緑フォトサイトについて、赤色と青色を補間する手段と、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間する手段と、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間する手段と
を備える補間装置。
【請求項１９】
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間するためのコンピュータプログラムであって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対して補間方向を判定するためのコンピュータプログラムコードと、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、緑色を補間するためのコンピュータプログラムコードと、
緑フォトサイトについて、赤色と青色を補間するためのコンピュータプログラムコードと、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間するためのコンピュータプログラムコードと、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間するためのコンピュータプログラムコードと
を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にはイメージ処理に関し、より具体的にはカラーフィルタアレイの欠けている色を補間するための方法と装置に関する発明である。
【背景技術】
【０００２】
デジタルカメラやその他の画像取得装置には、後に行われる格納や表示のための画像を取得するため、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）素子、またはFoveonセンサのようなイメージセンサが設けられている。画像取得装置に設けられる典型的なＣＣＤカラーイメージセンサあるいはＣＭＯＳカラーイメージセンサは、グリッド状あるいはアレイ状に配列されたフォトサイト（photosite）と一般に呼ばれる受光部を有している。あるシーンの画像を取得する際、各フォトサイトは緑、赤、または青のただ１色のみしか感知できない。その結果として得られるデジタル画像データは、カラーフィルタアレイ（ＣＦＡ）として知られている赤、緑、青のパターン（すなわち「モザイク」）を形成する。シーンを画像表示装置上において正しい色で再生するためには、画像表示装置の各画素にはフルカラーの情報が必要である。以上のことから分かるように、ＣＦＡにはシーンを正しい色で再生するために必要とする情報が欠けている。
【０００３】
フルカラー画像をＣＦＡから生成するために、緑、赤、青が欠けている（つまり感知されていない）フォトサイトにおいては、局所フォトサイトで感知された色を使ってそれらを補間しなければならない。ＣＦＡの欠けている色を補間する処理は、デモザイク処理として知られている。
【０００４】
よく知られているＣＦＡであるベイヤパターンは、２×２の色のアレイである。そのアレイの半分は緑で、１／４は赤で、そして１／４は青となっている。ベイヤＣＦＡの行は、交互に配列された緑と赤のフォトサイト、または交互に配列された緑と青のフォトサイトを有し、ベイヤＣＦＡの緑のフォトサイトはさいころの五の目形のパターンで配置されている。ベイヤＣＦＡとその他のＣＦＡのデモザイク方法については、多くの報告がなされている。例えば、Changらに付与された米国特許第6,421,084号は、取得されたベイヤカラーフィルタアレイにおいて欠けている色を復元するための方法を開示している。その方法においては、カラーフィルタアレイのある特定の場所での各データ要素に対して、勾配値の集合が決定される。勾配値は、データ要素からの複数の方向の色値の差に対応する。勾配値の集合からは、しきい値が決定される。しきい値を使って、勾配値の部分集合は、その部分集合のメンバがしきい値より低い勾配値を有するように選択される。各データ要素の追加の色値は、一つの方向のみに補間されるのではなく、むしろ勾配値の部分集合に基づいて補間される。
【０００５】
Suzukiらに付与された米国特許第6,236,430号は、画像データの複数の集合を形成する個々の画像を取得するために、ベイヤフィルタを電荷結合素子（ＣＣＤ）に対して複数の方向に移動可能にした画像取得装置を開示している。フルカラー画像を補間せずに出力するために、カラーフィルタアレイの各センサ位置に対する赤、緑、青の情報を含むデータの複数の集合が合成される。
【０００６】
Chuiに付与された米国特許第6,496,608号は、有限インパルス応答フィルタを使用する画像データ補間システムと画像データ補間方法を開示している。取得されたベイヤパターンＣＦＡの画素値の部分集合と、画素詰め[pixel filling]フィルタ方程式に基づいて、画素値のなす面を、平滑、低ひずみ、かつ連続的とすることができる。
【０００７】
Koshibaらに付与された米国特許第6,836,289号は、ベイヤカラーフィルタアレイを補間するための方法を開示している。この方法では、まず、緑のプレーンを与えるために緑チャネルが補間される。緑のプレーンが与えられた後に、緑のプレーンのエッジが検出され、緑チャネルの高域成分を計算するために使用される。次に、赤と青の補間が行われその結果が重みづけられた緑チャネルの高域成分を使って修正される。
【０００８】
Hamilton, Jr.に付与された米国特許第6,900,836号は、イメージセンサの画素列におけるデータの破損を修正するための方法を開示している。水平のエッジまたは対角のエッジが列の中を通っているかどうかを判定するための分類子[classifiers]が、破損した画素データに隣接し、破損していない画素データを使って計算される。補間は、まず列内の破損した緑の画素に対して、次に破損した赤／青の画素に対して分類子で示したエッジ方向に従って行われる。
【０００９】
Acharyaらの米国特許出願公開第2002/0063789号および第2005/0174441号は、感知されていない色値を補間する処理を簡易化するカラーフィルタアレイを開示している。ＣＦＡが半分以上の緑のセンサを含むことによって、完全な緑チャネルをより正確に生成する補間が可能となる。エッジゾーン、平滑なゾーン、および縞のあるゾーンは、３×３アレイの画素値の分散を判定することによって計算される。補間は、各アレイに対して計算されたゾーンの種類に基づいて行われる。
【００１０】
Nguyen の米国特許出願公開第2002/0167602号は、特徴エッジ[feature edges]に沿っている補間アーティファクトを低減することを意図して、ベイヤＣＦＡに従って取得された画像データをデモザイクするための方法が開示されている。色の非連続性は、局所平均に対する局所的な色値の変化の割合が色成分の各々について同じであるとの仮定に基づいて、均等化される。
【００１１】
Kakaralaらの米国特許出願公開第2003/0052981号は、カラーフィルタアレイとして取得された生のデータにおいて、欠けている色値を補間するための方法を開示している。この方法では、色値が欠けている画素位置の各々に対して、補間の方向または方向の組み合わせを判定するための投票スキーム[voting scheme]を利用する。補間は、まず輝度カラープレーン[luminance color plane]に対して、次に補間された輝度データと感知された輝度データに基づいてクロミナンスカラープレーン[chrominance color planes]に対して色差分法[color differencing]を使用することによって行われる。次に、輝度カラープレーンとクロミナンスカラープレーンとを加算して、出力イメージが与えられる。
【００１２】
Kehtarnavazらの米国特許出願公開第2003/0117507号は、色が欠けているそれぞれの画素に対する補間方向を決定するために、方向微分係数[directional derivatives]を使用するカラーフィルタアレイの補間法を開示している。補間値を与えるように、縦、横、および対角の方向の方向微分係数を使って補間する際、欠けている画素を囲む画素値が逆加重される。この方法では、まず、輝度補間が行なわれる。次に、輝度補間に基づいてクロミナンス補間が行なわれる。クロミナンス補間は、先に決定した加重値を使って、青が感知された画素の赤と赤が感知された画素の青を補間して、次に方向予測子[predictors]を使って緑が感知された画素の赤と緑を補間することによって行なわれる。
【００１３】
Kakaralaらの米国特許出願公開第2004/0051798号は、デジタルカラーイメージセンサにおいて破損した画素を修正する方法を開示している。対象画素に対して、対象画素のカラープレーンと別の少なくとももう一つのカラープレーンにおける近傍画素の勾配が、対象画素が不完全であるかどうかを判定するために使用される。勾配と、対象画素と同じカラープレーンの近傍画素から求められるセンサ値の範囲との双方を決定することができる。対象画素のセンサ値が、１以上の勾配を使って計算されたしきい値の範囲外である場合、対象画素が不完全な画素であると判定される。対象画素のセンサ値のより正確な予測値は、画像における局所的な粗さを考慮することによって、他のカラープレーンの勾配により与えられる。
【００１４】
Nilssonらの米国特許出願公開第2004/0141072号は、ベイヤＣＦＡを使って取得された生のデータにおける色を補間する方法を開示している。勾配情報は、４つのコンパス方位に対して補間の対象となっている輝度チャネルとクロミナンスチャネルの両方から収集され、逆勾配関数によりエッジに沿った補間には、より大きな重みが付けられる。この補間は、色差分法を使って行われる。
【００１５】
Embler の米国特許出願公開第2004/0161145号は、ベイヤＣＦＡを使って取得された色値を、近くの場所のカラーサンプルに基づいて補間する方法を開示している。補間された値は、予め定められた値の参照パターンと、その画素の近傍内での値のパターンとの間の相関に基づいて、選択的に調整される。参照パターンは、例えば、デジタル化されたビデオ信号の色値の最高値と最低値のような高い参照値と低い参照値の組み合わせであっても構わない。参照パターンの集合は、その範囲内の種々の輝度勾配に相当する。
【００１６】
Onoらの米国特許出願公開第2004/0169747号は、ベイヤＣＦＡのカラーチャネル値を方向性補間する方法を開示している。この方法では、対象位置に隣接している画素値の平均に基づいて重みが計算され、対象位置の画素値を方向性補間するために使用される。
【００１７】
Chengらの米国特許出願公開第2004/0179752号は、単一カラーセンサのアレイからのカラー画像を補間するためのシステムと方法を開示している。アレイの各データ要素に対して、４つの勾配が計算され、それらの勾配によりデータ要素通る異なる直線経路に沿った色および／または輝度の差が求められる。勾配は、個々の直線経路に沿った、一階色微分[first-order color differential]と、二階（ラプラシアン）色微分または輝度微分とを使って計算される。補間は、さらに、対象画素を囲む５×５の画素アレイの一階色微分と二階色微分とを使って行われる。
【００１８】
Tajima の米国特許出願公開第2005/0058361号は、ベイヤパターンＣＦＡのための補間方法を開示している。感知されていない色は、垂直と水平のそれぞれの補間単位の出力の加重平均に基づいて補間される。重みは、イメージにおける高周波数成分の計算によって決定され、必要に応じて、補間の方向を垂直から水平へおよびその間の様々な角度の傾斜へ効果的に変更するために変更される。
【００１９】
Muresan の米国特許出願公開第2005/0146629号は、ＣＦＡのためのエッジを対象とするデモザイク方法を開示している。この方法では、順次にエッジ方向を判定するための粗なモデルフィッティングと、エッジ方向に対する色差補間法[color-difference interpolation scheme]と、局所エッジ方向を再推定するための補間値を使う細かなモデルフィッティングが行われる。
【００２０】
Hel-Or の米国特許出願公開第2005/0169521号は、ベイヤＣＦＡを使って取得された生のデータのデモザイク処理中に発生するエイリアシングとジッパーエッジ[zippered edges]の低減方法を開示している。双一次補間または双三次補間が、緑、赤、青のカラープレーンの各々における欠けている情報を推定するために使用され、フルカラー画像は、輝度・クロミナンス・クロミナンスカラー空間に変換される。平滑化は、変換されたイメージに対して行われ、次にイメージは、またＲＧＢカラー空間に逆に変換される。
【００２１】
Hibbardに付与された米国特許第5,382,976号は、フルカラー画像を適応的に補間する方法を開示している。この方法では、補間方向を判定するために輝度の勾配が使用される。輝度チャネルの勾配値は、少なくとも２つの方向に対して算出され、しきい値と比較される。１つの方向が、感知されていない緑を最初に補間する方向として、勾配としきい値に基づいて選択される。次に、赤と青の値は、方向を考慮せずに色差分法を使って補間される。
【００２２】
Hamilton Jr.らに付与された米国特許第5,627,734号は、ベイヤＣＦＡの色に対する順次適応形方向性補間スキームを開示している。第１の補間方向は、緑プレーンのラプラシアン二階値を、未知の緑画素を囲むクロミナンスが既知の画素位置間における勾配値に加算することによって計算された分類子を使って選択される。次に、選択された補間方向が緑の補間に使用され、修正因子が近傍の赤または青の画素のいずれかに基づいて加算される。緑補間の後、選択された補間方向を用いるクロミナンス補間によりクロミナンス値が補間され、次に修正因子が補間されたクロミナンス値に加算される。
【００２３】
Chenに付与された米国特許第6,570,616号は、ベイヤパターンＣＦＡを使って取得された画像データをデモザイクする方法を開示している。この方法では、緑補間において、対象とするターゲット場所に隣接する一次参照画素と一次の参照画素を囲む二次参照画素を比較してデータ中のエッジを検出する。一次参照画素がすべての周りの画素よりも高い輝度を有する場合、エッジが検出される。例えば、ターゲット位置の上側に位置する一次参照画素に関連付けられた値が、一次参照画素の近傍に在る４つの二次参照画素に関連付けられた対応する値よりも大きく、かつ、ターゲット位置の下側に位置する一次参照画素に関連付けられた値が、一次参照画素の近傍の４つの二次参照画素に関連付けられた対応する値よりも大きい場合、ターゲット位置に対して垂直方向のエッジが検出される。一次と二次参照画素の相対的な評価が逆になる場合にも、エッジが検出されたとされる。緑補間は、判定されたエッジ方向に従って緑画素のみにより行われ、次に赤と青のチャネルがエッジ情報を明示的に利用せずに色差分法を用いて補間される。
【００２４】
Kobayashiに付与された米国特許第6,714,232号は、赤、緑、青のベイヤ配列を用いて取得された欠けている色データを補間する方法を開示している。相関評価結果は、ターゲット画素からの８つの各方向おける画素間の差を求めることによって得られる。相関評価結果は、補間のそれぞれの方向の寄与を重み付けするための係数として使用される。次に、垂直、水平、および対角の方向のうちの１方向の補間が行われる。
【００２５】
Takahashiに付与された米国特許第6,744,916号は、カラーフィルタアレイにおける欠けている画素を補間する画像処理装置と画像処理方法を開示している。欠けている画素の周りの４つの隣接画素のそれぞれに対して、水平と垂直の勾配が計算される。勾配に基づいて水平と垂直のそれぞれの集合の最小値が算出され、水平と垂直のしきい値と組み合わせることによって、欠けている画素値が与えられる。対角の補間は、垂直と水平の値の組み合わせを使って行われる。組み合わせは、欠けている画素の水平と垂直の勾配に基づいている。
【００２６】
Meynantsらに付与された米国特許第6,833,868号は、カラーフィルタアレイのための補間方法を開示している。この方法では、欠けている画素の近傍におけるクロミナンス値が比較され、補間に使用される主要なクロミナンス値の中央値または平均値に投票演算子[vote operator]が適用される。補間は、近傍の画素を平均することによって行われる。
【００２７】
Osadaに付与された米国特許第6,897,425号は、カラーフィルタアレイのための補間方法を開示している。この方法は、水平と垂直の輝度の間に相関があるかどうかを判定するために、その輝度の単純絶対差[simple absolute difference]を利用する。しきい値を超え多場合には、相関があると判定される。補間は、ＹＣｂＣｒ色空間への変換後に、相関評価結果に基づいて行われる。
【００２８】
Abeに付与された米国特許第6,900,833号および第6,747,698号は、画像を補間する装置を開示している。この装置は、カラーフィルタアレイにおいて欠けている画素の補間方向を判定するために、水平と垂直の輝度の絶対差を使用する。ＣＦＡの緑チャネルは、判定された方向情報に従って補間され、次に、方向情報を明示的に使わずに青／赤感知位置における赤／青補間が行われる。色のぼけ[chromatic blur]は、ＹＣｂＣｒ色空間への変換後に、緑感知位置での赤／青補間が行われることによって低減される。
【００２９】
Yamamotoらの米国特許出願公開第2004/0095475号は、カラーフィルタアレイにおける欠けている画素値を補間するための方法を開示している。この方法は、欠けているＲＧＢ値に対して、水平と垂直の両方の推定値を計算する。次に、推定値の各々の補間値対する影響を変更するために、相関テンプレートを用いて、正規化された重みが計算される。水平と垂直の緑値は、第１の重みテンプレートを用いて、未知の緑上の緑値を補間し、既知の緑上の緑値を再調整することで計算される。垂直と水平の赤値および青値は、色差分法を使って計算される。
【００３０】
Yamamotoの米国特許出願公開第2004/0160521号は、カラーフィルタアレイにおける欠けている値を補間する画像処理装置を開示している。この装置は、勾配を使って方向強度[directional strength]を計算し、複数の方向に補間するための実験で得られた係数といった形での重みを割り当てる。算出された方向強度は、マイナスまたはプラスの範囲内に在るかどうかに従って、近傍の緑と赤／青を感知した画素を使って、緑画素の方向性補間[directional interpolation]が行われる。この方法は上述の米国特許第5,629,734号に開示されている方法と類似している。
【００３１】
Kimuraらの米国特許出願公開第2005/0007470号は、テンプレートベースの勾配計算方法を用いるカラーフィルタアレイの補間方法を開示している。この方法では、高周波数エッジ方向がテンプレートを使って判定され、近接の同チャネル値を使ってエッジ方向に補間が行われる。
【００３２】
ＣＦＡにおける欠けている色値を補間するための方法については、多くの報告がなされているにもかかわらず、上述の先行技術に開示された技法には画質劣化が生じる傾向がある。劣化は、最適でない補間方向の選択による不正確な補間、あるいは、補間の際にアーティファクトが導入されることによって発生する。さらに、上述の先行技術の技法の多くは、二階またはそれより高位の計算のための複雑で費用がかかる処理を必要とする。そのため、補間方法の改良が待ち望まれてきた。
【００３３】
【特許文献１】米国特許出願公開第2004/0160521号
【特許文献２】米国特許出願公開第2005/0007470号
【発明の開示】
【発明が解決しようとする課題】
【００３４】
従って、カラーフィルタアレイにおいて欠けている色を補間するための新規な方法と装置を提供することを目的とする。
【課題を解決するための手段】
【００３５】
上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。
【００３６】
［適用例１］
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間方法であって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対する補間方向を判定する工程と、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、緑色を補間する工程と、
緑フォトサイトついて、赤色と青色を補間する工程と、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間する工程と、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間する工程と
を備える補間方法。
【００３７】
この適用例では、フォトサイトに近接し、画像中の被写体（イメージオブジェクト）の境界となる局所エッジについての情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれの補間において、どの方向のフォトサイトの色を用いるかを指定する補間方向が判定される。そして、判定された補間方向に、赤フォトサイトと青フォトサイトとについて緑色が補間される。次に、緑フォトサイトついて赤色と青色を補間し、その後、赤フォトサイトについて青色および青フォトサイトについての赤色が補間される。この際、必要に応じて、各フォトサイトにおける色の補間において、先に補間された色が使用される。なお、本明細書において、カラーフィルタアレイとは、ベイヤ配列となっているカラーフィルタと、そのカラーフィルタを用いて取得されたデータとを含んでいる。
【００３８】
［適用例２］
適用例１記載の補間方法であって、
前記赤フォトサイトと前記青フォトサイトに対する前記補間方向は、当該フォトサイトに近接する局所エッジの方向に最も近い方向に対応する
補間方法。
【００３９】
［適用例３］
適用例２記載の補間方法であって、
前記補間方向を判定する工程は、
前記赤フォトサイトと前記青フォトサイトに対して、局所エッジを検出するために、当該フォトサイトに隣接し、異なる方向に関連づけられた複数のフォトサイトグループを検査する工程と、
前記複数のフォトサイトグループのうちから、前記局所エッジの方向に対応する方向に関連付けられたフォトサイトグループを特定する工程と、
前記特定されたフォトサイトグループに関連づけられた方向に対応する補間方向をフォトサイトに割り当てる工程と
を含む補間方法。
【００４０】
［適用例４］
適用例３記載の補間方法であって、
前記フォトサイトグループを検査する工程は、前記複数のフォトサイトグループのそれぞれに対応する複数の方向勾配を計算する工程を含み、
前記フォトサイトグループを特定する工程は、前記複数の方向勾配を比較して、前記複数の方向勾配のうちの最小の方向勾配を検出する工程を含む
補間方法。
【００４１】
［適用例５］
適用例４記載の補間方法であって、
前記複数のフォトサイトグループのそれぞれは、前記フォトサイトと交差する中央線に沿ったフォトサイトと、当該中央線の傍らに位置する線に沿ったフォトサイトとを有している
補間方法。
【００４２】
［適用例６］
適用例４または５記載の補間方法であって、
前記複数の方向勾配は、垂直方向勾配と、水平方向勾配と、対角方向勾配とを含む
補間方法。
【００４３】
［適用例７］
適用例６記載の補間方法であって、
前記複数の方向勾配は、上側と下側の垂直方向勾配と、左側と右側の水平方向勾配と前方と後方の対角方向勾配とを含む
補間方法。
【００４４】
［適用例８］
適用例４ないし７のいずれか記載の補間方法であって、
前記複数の方向勾配を計算する工程は、前記複数のフォトサイトグループのそれぞれに属する異なるフォトサイトの対の間の差を算出する工程を含む
補間方法。
【００４５】
［適用例９］
適用例６ないし８のいずれか記載の補間方法であって、
緑と赤の局所フォトサイトを用いることにより、前記赤フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する
補間方法。
【００４６】
［適用例１０］
適用例９記載の補間方法であって、
緑と青の局所フォトサイトを用いることにより、前記赤フォトサイトにおいて対角方向に前記緑色を補間する
補間方法。
【００４７】
［適用例１１］
適用例６ないし１０のいずれか記載の補間方法であって、
緑と青の局所フォトサイトを用いることにより、前記青フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する
補間方法。
【００４８】
［適用例１２］
適用例１１記載の補間方法であって、
緑と赤の局所フォトサイトを用いることにより、前記青フォトサイトにおいて対角方向に前記緑色を補間する
補間方法。
【００４９】
［適用例１３］
適用例６ないし１２のいずれか記載の補間方法であって、
局所フォトサイトで補間した緑色を用いることにより、各緑フォトサイトにおいて前記赤色と前記青色を補間する
補間方法。
【００５０】
［適用例１４］
適用例６ないし１３のいずれか記載の補間方法であって、
赤フォトサイトにおいて補間された緑色と、局所フォトサイトにおいて補間された色とを用いることにより、該赤フォトサイトにおいて前記青色を補間する
補間方法。
【００５１】
［適用例１５］
適用例６ないし１４のいずれか記載の補間方法であって、
青フォトサイトにおいて補間された緑色と、局所フォトサイトにおいて補間された色とを用いることにより、該青フォトサイトにおいて前記赤色を補間する
補間方法。
【００５２】
［適用例１６］
適用例１ないし１５のいずれか記載の補間方法であって、さらに、
モアレを低減する工程を備える
補間方法。
【００５３】
［適用例１７］
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間装置であって、
赤フォトサイトと青フォトサイトとのそれぞれに対して局所エッジを判定するエッジ検出器と
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された局所エッジの方向に対応する補間方向に、緑色を補間する第１の補間器と、
緑フォトサイトについて、赤色と青色を補間する第２の補間器と、
前記赤フォトサイト判定された前記補間方向に、前記赤フォトサイトにおける青色を補間する第３の補間器と、
前記青フォトサイトに対して判定された前記補間方向に、前記青フォトサイトにおける赤色を補間する第４の補間器と
を備える補間装置。
【００５４】
［適用例１８］
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間する補間装置であって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対する補間方向を判定する手段と、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、緑色を補間する手段と、
緑フォトサイトについて、赤色と青色を補間する手段と、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間する手段と、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間する手段と
を備える補間装置。
【００５５】
［適用例１９］
赤、緑、青のフォトサイトを含むカラーフィルタアレイデータにおいて欠けている色を補間するためのコンピュータプログラムであって、
局所エッジ情報に基づいて、赤フォトサイトと青フォトサイトとのそれぞれに対して補間方向を判定するためのコンピュータプログラムコードと、
前記赤フォトサイトと前記青フォトサイトについて、当該フォトサイトに対して判定された補間方向に、緑色を補間するためのコンピュータプログラムコードと、
緑フォトサイトについて、赤色と青色を補間するためのコンピュータプログラムコードと、
前記赤フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、青色を補間するためのコンピュータプログラムコードと、
前記青フォトサイトについて、当該フォトサイトに対して判定された前記補間方向に、赤色を補間するためのコンピュータプログラムコードと
を含むコンピュータプログラム。
【００５６】
［本発明の他の形態］
本発明は、上記の適用例のほか、以下のような形態の発明として実現することが可能である。
【００５７】
本発明の色の補間方法は、赤、緑、青のフォトサイトを含むカラーフィルタアレイにおいて欠けている色を補間する補間方法であって、
局所エッジ情報に基づいて各赤フォトサイトと各青フォトサイトの補間方向を判定する工程と、
各赤フォトサイトと各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に緑色を補間する工程と、
各緑フォトサイトに対して、赤と青を補間する工程と、
各赤フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に青色を補間する工程と、
各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に赤色を補間する工程とを備える。
【００５８】
本発明の補間方法において、各赤フォトサイトと各青フォトサイトに対する前記補間方向は、そのフォトサイトに近接する局所エッジに最も近い方向に対応することが好ましい。
【００５９】
また、前記補間方向を判定する工程は、さらに、
各赤フォトサイトと各青フォトサイトに対して局所エッジを検出するために、そのフォトサイトに隣接し、異なる方向に関連づけられた異なるフォトサイトのグループを検査する工程と、
前記局所エッジの方向に対応する方向に関連づけられたフォトサイトのグループを特定する工程と、
前記特定されたフォトサイトのグループに関連づけられた方向に対応する補間方向を、前記フォトサイトに割り当てる工程と
を含むことが好ましい。
【００６０】
また本発明の補間方法は、前記フォトサイトのグループの検査中、各フォトサイトのグループに対して方向勾配が計算され、前記フォトサイトのグループの特定中、最小の勾配を検出するために方向勾配が比較されることが好ましい。
【００６１】
また本発明の補間方法において、前記フォトサイトの各グループが前記フォトサイトと交差する中央線に沿ったフォトサイトと、その中央線の傍らの線に沿ったフォトサイトとを含むことが好ましい。
【００６２】
また本発明の色の補間方法において、前記方向勾配の計算が各勾配に対して各グループにおける異なるフォトサイトの対の間の差を計算することを含んでいてもよい。
【００６３】
また本発明の色の補間方法において、各赤フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する際に、緑と赤の局所フォトサイトを使用するのが好ましい。
【００６４】
また本発明の色の補間方法において、各赤フォトサイトにおいて対角方向に前記緑色を補間する際に、緑と青の局所フォトサイトを使用するのが好ましい。
【００６５】
また本発明の色の補間方法において、各青フォトサイトにおいて垂直方向と水平方向に前記緑色を補間する際に、緑と青の局所フォトサイトを使用するのが好ましい。
【００６６】
また本発明の色の補間方法においては、各青フォトサイトにおいて対角方向に前記緑色を補間する際に、緑と赤の局所フォトサイトを使用するのが好ましい。
【００６７】
また本発明の色の補間方法においては、各緑フォトサイトにおいて前記赤色と前記青色を補間する際に、局所フォトサイトで補間した緑色を使用するのが好ましい。
【００６８】
また本発明の色の補間方法においては、各赤フォトサイトにおいて前記青色を補間する際に、そのフォトサイトに対して補間した緑色と局所フォトサイトで補間した色を使用するのが好ましい。
【００６９】
また本発明の色の補間方法においては、各青フォトサイトにおいて前記赤色を補間する際に、そのフォトサイトに対して補間した緑色と局所フォトサイトで補間した色とを使用するのが好ましい。
【００７０】
ここで本発明の色の補間方法は、モアレを低減することをさらに含んでいてもよい。
【００７１】
本発明の色補間装置は、赤、緑、青のフォトサイトを含むカラーフィルタアレイにおいて欠けている色を補間する補間装置であって、
各赤フォトサイトと各青フォトサイトに対して局所エッジを判定するためのエッジ検出器と
各赤フォトサイトと各青フォトサイトに対して、そのフォトサイトに対して判定された局所エッジの方向に対応する補間方向に緑色を補間する第１の補間器と、
各緑フォトサイトに対して、赤色と青色を補間する第２の補間器と、
各赤フォトサイトに対して、そのフォトサイトの判定された前記補間方向に青色を補間する第３の補間器と、
各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に赤色を補間する第４の補間器と
を備えている。
【００７２】
また、本発明の色補間装置は、赤、緑、青のフォトサイトを含むカラーフィルタアレイにおいて欠けている色を補間する補間装置であって、
局所エッジ情報に基づいて各赤フォトサイトと各青フォトサイトとに対して補間方向を判定するための手段と、
各赤フォトサイトと各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に緑色を補間する手段と、
各緑フォトサイトに対して、赤色と青色を補間する手段と、
各赤フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に青色を補間する手段と、
各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に赤色を補間する手段と
を備える。
【００７３】
一方、本発明のコンピュータ可読媒体は、赤、緑、青のフォトサイトを含むカラーフィルタアレイにおいて欠けている色を補間するためのコンピュータプログラムを実装するコンピュータ可読媒体であって、
局所エッジ情報に基づいて、各赤フォトサイトと各青フォトサイトに対して補間方向を判定するためのコンピュータプログラムコードと、
各赤フォトサイトと各青フォトサイトに対して、そのフォトサイトに対して判定された補間方向に、緑色を補間するためのコンピュータプログラムコードと、
各緑フォトサイトに対して、赤色と青色を補間するためのコンピュータプログラムコードと、
各赤フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に青色を補間するためのコンピュータプログラムコードと、
各青フォトサイトに対して、そのフォトサイトに対して判定された前記補間方向に赤色を補間するためのコンピュータプログラムコードとを含む。
【発明を実施するための最良の形態】
【００７４】
図１には、複数のフォトサイト５２を含むベイヤカラーフィルタアレイ（ＣＦＡ）５０と、関連する凡例とが示されている。各フォトサイト５２は、赤（Ｒ）、緑（Ｇ）、と青（Ｂ）の内の１色を感知する。説明を容易にするために、赤色を感知するフォトサイト５２を「赤」フォトサイトと呼び、緑色を感知するフォトサイト５２を「緑」フォトサイトと呼び、青色を感知するフォトサイト５２を「青」フォトサイトと呼ぶ。以下の説明を容易にするためにベイヤＣＦＡ５０の赤、緑、青のフォトサイト５２をアルファベットと数字とで表す。例えば、ベイヤＣＦＡ５０の左上のフォトサイト５２は、青色を感知し、Ｂ１としてラベル付けられている。そのすぐ右にあるフォトサイトは、緑色を感知し、Ｇ２としてラベル付けられている。Ｇ２フォトサイトの右にあるフォトサイトは、青色を感知し、Ｂ３としてラベル付けられており、以降のフォトサイトも同様にラベル付けされる。ベイヤＣＦＡ５０の次の行には、Ｇ８、Ｒ９、Ｇ１０、Ｒ１１、Ｇ１２などとしてラベル付けられている緑と赤のフォトサイト５２が交互に配置されている。以上のことから分かるように、このラベルの付け方を使うことによって、各フォトサイト５２が一意のフォトサイト番号で識別され、フォトサイト５２が感知する色が最初のＲ、Ｇ、Ｂの色指定の内の１つで識別される。
【００７５】
図２は、取得されたシーンのフルカラー画像を生成するために、ベイヤＣＦＡ５０をデモザイクするための一般的な方法を示すフローチャートである。この方法では、赤と青のフォトサイトにおける補間緑色が最初に決定される（ステップＳ１００）。次に、緑フォトサイトにおける補間赤色と補間青色とが決定される（ステップＳ２００）。次に、ベイヤＣＦＡ５０のデモザイクを完了させるために、青フォトサイトにおける補間赤色と、赤フォトサイトにおける補間青色が決定される（ステップＳ３００）。次に、モアレが、デモザイクされたベイヤＣＦＡから除去される（ステップＳ４００）。
【００７６】
この実施例においては、赤と青のフォトサイトの各々で欠けている緑色を補間する際、各々のフォトサイトに近接している垂直、水平、および対角方向の局所エッジが、近接しているフォトサイトの異なる対を比較し、その結果得られる勾配を検査することによって検出される。最も強い局所エッジを表す最小の勾配は、そのフォトサイトの補間方向として選ばれる。この補間方向は、さらに、そのフォトサイトにおいて欠けている赤色または青色のいずれかの色を補間する時にも使用される。補間方向の決定とフォトサイトの補間に関するさらなる詳細については、以下に説明する。
【００７７】
図３Ａ〜３Ｃは、赤と青のフォトサイトにおける補間緑色を決定する工程のフローチャートを示す。この処理では、赤または青のフォトサイトが最初に選択され（ステップＳ１１０）、選択されたフォトサイトの色が確認される（ステップＳ１１２）。選択されたフォトサイトが赤フォトサイトであれば、上側と下側の垂直方向勾配と、左側と右側の水平方向勾配と、前方と後方の対角方向勾配との各々が、選択された赤フォトサイトについて計算される（ステップＳ１１４〜１１８）。方向勾配の計算では、選択された赤フォトサイトに隣接しているフォトサイトの異なるグループが検査され、各グループに入っている異なるフォトサイトの対の間の差の絶対値（絶対差）が評価される。各フォトサイトのグループは、３行分のフォトサイトを含む、すなわち、選択されたフォトサイトと交差する中央フォトサイト列［strand of photosite］と、中央フォトサイト列の傍らに位置する隣接フォトサイト列とを含んでいる。なお、フォトサイト列中のフォトサイトは、直線に沿って並んでいるので、これらのフォトサイト列中のフォトサイトの配列方向を直線（中央線およびその傍らに位置する線）で表すことができる。
【００７８】
図４Ａ〜４Ｄは、選択された赤フォトサイトＲ２８の上側と下側の垂直方向勾配と、左側と右側の水平方向勾配との算出の様子を示している。これらの勾配の算出においては、選択されたフォトサイトの周囲の所定の領域内のフォトサイト（局所フォトサイト）が使用される。上側の垂直方向勾配の算出には、選択された赤フォトサイトＲ２８の左右と上方に延びる領域中の緑と赤の局所フォトサイトが使用される。この領域中の中央フォトサイト列は、選択された赤フォトサイトＲ２８から垂直上方に延びる４つのフォトサイトを含んでいる。傍らに位置する隣接フォトサイト列は、３つのフォトサイトを含んでいる。下側の垂直方向勾配の算出には、選択された赤フォトサイトＲ２８の左右と下方に延びる領域中の緑と赤の局所フォトサイトが使用される。この領域中の中央フォトサイト列は、同様に、選択された赤フォトサイトＲ２８から垂直下方に延びる４つのフォトサイトを含んでいる。傍らに位置する隣接フォトサイト列は、３つのフォトサイトを含んでいる。左側の水平方向勾配の算出には、選択された赤フォトサイトＲ２８の上下と左に延びる領域中の緑と赤の局所フォトサイトが使用される。この領域中の中央フォトサイト列は、選択された赤フォトサイトＲ２８から左に水平に延びる４つのフォトサイトを含んでいる。傍らに位置する隣接フォトサイト列は、３つのフォトサイトを含んでいる。右側の水平方向勾配の算出には、選択された赤フォトサイトＲ２８の上下と右に延びる領域中の緑と赤の局所フォトサイトが使用される。この領域中の中央フォトサイト列は、選択された赤フォトサイトＲ２８から右に水平に延びる４つのフォトサイトを含んでいる。傍らに位置する隣接フォトサイト列は、３つのフォトサイトを含んでいる。
【００７９】
上側の垂直方向勾配の計算では、まず、選択された赤フォトサイトＲ２８の上方に位置する領域の中央フォトサイト列上の緑フォトサイトＧ４，Ｇ２０の間の絶対差が算出される。一方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ１１，Ｇ２７の間の絶対差、および、他方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ１３，Ｇ２９の間の絶対差も算出される。さらに、中央フォトサイト列上の赤フォトサイトＲ１２，Ｒ２８の間の絶対差が算出される。図４Ａにおける両方向矢印は、絶対差を生成するために使用されるフォトサイトを示している。選択された赤フォトサイトＲ２８における上側垂直方向勾配（R28_UV）は、この４つの絶対差の平均であって、以下の式（１）に従って計算される。
【数１】
2009065671.tif 000003
【００８０】
下側の垂直方向勾配の計算では、まず、選択された赤フォトサイトＲ２８の下方に位置する領域の中央フォトサイト列上の緑フォトサイトＧ５２，Ｇ３６の間の絶対差が算出される。一方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ２７，Ｇ４３の間の絶対差、および、他方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ２９，Ｇ４５の間の絶対差も算出される。さらに、中央フォトサイト列上の赤フォトサイトＲ４４，Ｒ２８の間の絶対差が算出される。図４Ｂにおける両方向矢印は、絶対差を生成するために使用されるフォトサイトを示している。選択された赤フォトサイトＲ２８における下側垂直方向勾配（R28_LV）は、この４つの絶対差の平均であって、以下の式（２）に従って計算される。
【数２】
2009065671.tif 000004
【００８１】
右側の水平方向勾配の計算では、まず、選択された赤フォトサイトＲ２８の右に位置する領域の中央フォトサイト列上の緑フォトサイトＧ２９，Ｇ３１の間の絶対差が算出される。一方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ２０，Ｇ２２の間の絶対差、および、他方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ３６，Ｇ３８の間の絶対差も算出される。さらに、中央フォトサイト列上の赤フォトサイトＲ２８，Ｒ３０の間の絶対差が決定される。図４Ｃにおける両方向矢印は、絶対差を生成するために使用されるフォトサイトを示している。選択された赤フォトサイトＲ２８における右側水平方向勾配（R28_RH）は、この４つの絶対差の平均であって、以下の式（３）に従って計算される。
【数３】
2009065671.tif 000005
【００８２】
左側の水平方向勾配の計算では、まず、選択された赤フォトサイトＲ２８の左に位置する領域の中央フォトサイト列上の緑フォトサイトＧ２５，Ｇ２７の間の絶対差が算出される。一方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ１８，Ｇ２０の間の絶対差、および、他方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ３４，Ｇ３６の間の絶対差も算出される。さらに、中央フォトサイト列上の赤フォトサイトＲ２６，Ｒ２８の間の絶対差が算出される。図４Ｄにおける双方向矢印は、絶対差を生成するために使用されるフォトサイトをしめしている。選択された赤フォトサイトＲ２８における左側水平方向勾配（R28_LH）は、この４つの絶対差の平均であって、以下の式（４）に従って計算される。
【数４】
2009065671.tif 000006
【００８３】
ベイヤＣＦＡ５０における緑フォトサイトは、さいころの５の目形（五点形）のパターンで配置されているので、上に説明したように、選択された赤フォトサイトに隣接するフォトサイトの中には、エッジ方向が垂直または水平である場合の局所エッジの決定に使用可能な緑色の情報が入っている。しかしながら、選択された赤フォトサイトに交差する対角フォトサイト列に沿っては、緑フォトサイトが存在しないので、前方と後方の対角方向勾配は別の方法で計算される。
【００８４】
図４Ｅと図４Ｆは、選択された赤フォトサイトＲ２８における前方対角方向勾配と後方対角方向勾配との算出の様子を示されている。前方対角方向勾配の算出には、選択された赤フォトサイトＲ２８を囲む対角領域中の緑と青の局所フォトサイトが使用される。この領域の中央フォトサイト列は、３つのフォトサイトを含み、左から右上に延びている。選択された赤フォトサイトＲ２８は、中央フォトサイト列の中点にある。傍らに位置する隣接フォトサイト列は、４つのフォトサイトを含んでいる。同様に、後方対角方向勾配の算出には、選択された赤フォトサイトＲ２８を囲む対角領域中の緑と青の局所フォトサイトが使用される。この領域の中央フォトサイト列は、３つのフォトサイトを含み、右から左上に延びている。選択された赤フォトサイトＲ２８は、中央フォトサイト列の中点にある。傍らに位置する隣接フォトサイト列は、４つのフォトサイトを含んでいる。
【００８５】
前方対角方向勾配の計算では、まず、領域中の中央フォトサイト列上の青フォトサイトＢ２１，Ｂ３５の間の絶対差が算出される。一方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ１３，Ｇ２０と、緑フォトサイトＧ２０，Ｇ２７と、緑フォトサイトＧ２７，Ｇ３４とのそれぞれの間の絶対差、および、他方の側に位置する隣接フォトサイト列上の緑フォトサイトＧ２２，Ｇ２９と、緑フォトサイトＧ２９とＧ３６と、緑フォトサイトＧ３６，Ｇ４３とのそれぞれの間の絶対差も算出される。図４Ｅにおける双方向矢印は、絶対差を生成するために使用されるフォトサイトを示している。選択された赤フォトサイトＲ２８における前方対角方向勾配（R28_FD）は、この７つの絶対差の平均であって、以下の式（５）に従って計算される。
【数５】
2009065671.tif 000007
【００８６】
後方対角方向勾配の計算では、まず、領域中の中央フォトサイト列上の青フォトサイトＢ１９，Ｂ３７の間の絶対差が算出される。一方の側に位置するフォトサイト列上の緑フォトサイトＧ１１，Ｇ２０と、緑フォトサイトＧ２０，Ｇ２９と、緑フォトサイトＧ２９，Ｇ３８とのそれぞれの間の絶対差、および、他方の側に位置するフォトサイト列上の緑フォトサイトＧ１８，Ｇ２７と、緑フォトサイトＧ２７，Ｇ３６と、緑フォトサイトＧ３６，Ｇ４５とのそれぞれの間の絶対差も算出される。図４Ｆにおける双方向矢印は、絶対差を生成するために使用されるフォトサイトを示している。選択された赤フォトサイトＲ２８における後方対角方向勾配（R28_BD）は、この７つの絶対差の平均であって、以下の式（６）に従って計算される。
【数６】
2009065671.tif 000008
【００８７】
いろいろな方向への勾配は、選択されたフォトサイトでのエッジに交差する補間方向を選択するのではなく、むしろエッジに沿う補間方向を選択するように計算される。エッジに交差する補間よりも、エッジに沿う補間の方が、補間結果において鮮鋭度と精度とが維持される。一行ごとに交互に水平線と垂直線を使って対角線を補間する場合、あるいは、すべての方向に補間する場合、ステップ状のパターンやフラットな変色した線のようなアーティファクトが生じることが知られている。ステップ状のパターンは、ＣＦＡのフォトサイトにわたって行われる勾配分析において、水平方向と垂直方向の反復的な配列が、対角線に沿って連続的に検出される場合に生じる。フラットな変色部は、全方向の補間を使用する場合に生じ、または、補間された色値が、緑フォトサイトに隣接するフォトサイトにおいて感知された色値の最大値よりも大きいか、あるいは、最小値よりも小さい場合に生じる。そのため、本実施例では、対角補間が可能な場合に対角勾配を判定することにより、このようなステップパターンまたはフラットな変色部の生じる可能性を低減している。
【００８８】
ステップＳ１１４〜Ｓ１１８において、いろいろな方向への勾配が計算されると、算出された勾配が最小の方向に対応する方向は、局所エッジの方向に最も近い方向であるとして、選択された赤フォトサイトの補間方向として選ばれる。次に、以下に説明するように、選択された赤フォトサイトにおける補間緑色と補間青色の算出に使用するため、選ばれた補間方向が選択された赤フォトサイトに関連付けて格納される（ステップＳ１２０）。
【００８９】
有意に異なっている輝度を有する局所フォトサイトが存在している可能性を考慮するために、２つの垂直方向勾配（上側と下側）および２つの水平方向勾配（左側と右側）が計算される。ただ１つの垂直方向勾配、および／または、ただ１つの水平方向勾配が計算された場合、著しく輝度が異なっているフォトサイトがあると、結果として算出された方向勾配は、局所エッジを特定するために必要とする強度より大きな強度になる。これにより、不適当な方向勾配が補間方向として選択される場合がある。この実施例においては、上側垂直方向勾配および下側垂直方向勾配と、左側水平方向勾配および右側水平勾配とがそれぞれ別個に計算されるので、１つの勾配の算出において輝度が著しく異なっていても、その他の勾配の算出結果によりエッジ方向特定することができる。
【００９０】
補間方向が選択されて格納されると、色依存補間[color dependency interpolation]が行われる。色依存補間を行う際、画像上の被写体（イメージオブジェクト）の境界内における差（k=G-Rまたはk=G-B）が比較的一定であるように、色チャネル（つまり、赤、青、緑チャネル）が色差空間[color difference space]内において相関を有していることを前提にしている。イメージオブジェクトの境界を超えると、この前提が満たされない。従って、色依存の前提が満たされるように、補間は、選択された補間方向（つまり、局所エッジに交差するようではなく、局所エッジに沿うよう）に行なわれる。従って、ステップＳ１１８の後に、もし選択された赤フォトサイトに対して選択・格納された補間方向が垂直方向であれば（ステップＳ１２２）、選択された赤フォトサイトを通る垂直方向のフォトサイト列上の、選択された赤フォトサイトの上と下の両方に位置する赤と緑の局所フォトサイトが特定される（ステップＳ１２４〜Ｓ１３０）。次に、選択された赤フォトサイトにおける補間緑色Ｇは、特定された赤と緑の局所フォトサイトに基づいて色差分法を使って計算される（ステップＳ１３２）。
【００９１】
前の例に従って赤フォトサイトＲ２８が選択されたことを前提にすると、赤フォトサイトＲ１２と緑フォトサイトＧ２０が、選択された赤フォトサイトＲ２８の垂直方向フォトサイト列の上側に位置する赤と緑の局所フォトサイトとなる。赤フォトサイトＲ４４と緑フォトサイトＧ３６は、選択された赤フォトサイトＲ２８の垂直フォトサイト列の下側に位置する赤と緑の局所フォトサイトである。上側の平均ｒ２０と下側の平均ｒ３６とは、下記の式（７）と（８）に従って計算される。
【数７】
2009065671.tif 000009
【００９２】
次に、上側の色差ｋ２０と下側の色差ｋ３６とは、下記の式（９）と（１０）に従って計算される。
【数８】
2009065671.tif 000010
【００９３】
次に、選択された赤フォトサイトＲ２８における補間緑色Ｇ２８は、下記の式（１１）に従って計算される：
【数９】
2009065671.tif 000011
【００９４】
選択された赤フォトサイトに対して選択・格納された補間方向が水平方向であれば（ステップＳ１３６）、選択された赤フォトサイトの左右両側に延び、選択された赤フォトサイトを通る水平方向のフォトサイト列上の赤と緑の局所フォトサイトが特定される（ステップＳ１３８〜Ｓ１４４）。選択された赤フォトサイトにおける補間緑色Ｇは、上記と同様に、特定された赤と緑の局所フォトサイトに基づいて色差分法を使って決定される（ステップＳ１３２）。
【００９５】
また前の例に従って赤フォトサイトＲ２８が選択されたことを前提にすると、赤フォトサイトＲ２６と緑フォトサイトＧ２７が、選択された赤フォトサイトＲ２８の水平方向のフォトサイト列の左側に位置する赤と緑の局所フォトサイトとなる。赤フォトサイトＲ３０と緑フォトサイトＧ２９は、選択された赤フォトサイトＲ２８の水平方向のフォトサイト列の右側に位置する赤と緑の局所フォトサイトである。左側の平均ｒ２７と右側の平均ｒ２９は下記の式（１２）と（１３）に従って計算される。
【数１０】
2009065671.tif 000012
【００９６】
次に、左側と右側の色差ｋ２７とｋ２９は、下記の式（１４）と（１５）に従って計算される。
【数１１】
2009065671.tif 000013
【００９７】
次に、選択された赤フォトサイトＲ２８における補間緑色Ｇ２８は、下記の式（１６）に従って計算される。
【数１２】
2009065671.tif 000014
【００９８】
もし選択された赤フォトサイトに対して選択・格納された補間方向が前方対角方向または後方対角方向であれば、選択された赤フォトサイトを囲む４つの赤フォトサイト、４つの青フォトサイト、および４つの緑フォトサイトが特定される（ステップＳ１４８とＳ１５０）。特定された赤フォトサイトに基づいて補間された第１の緑色Ｇと、特定された青フォトサイトに基づいて補間された第２の緑色Ｇとのそれぞれは、色差分法を用いて計算される（ステップＳ１５２とＳ１５４）。次に、選択された赤フォトサイトにおける補間緑色Ｇは、補間された第１と第２の緑色と、４つの局所青フォトサイトのうちの２つの青フォトサイトに基づいて計算される（ステップＳ１５６）。もし選択された補間方向が前方対角方向であれば、２つの局所青フォトサイトは、選択された赤フォトサイト２８を通る対角前方のフォトサイト列上のフォトサイトとなる。さもなければ、２つの局所青フォトサイトは、選択された赤フォトサイト２８を通る対角後方のフォトサイト列上のフォトサイトとなる。
【００９９】
以上のことから分かるように、対角補間は、垂直補間や水平補間と異なっている。もし、素直補間や垂直補間と同様に補間を行うと、赤と緑の色差補間の結果は、青と緑の色差補間で補間される緑色と異なる緑色を与える可能性がある。そのため、本実施例では、選択された赤フォトサイトに対して最終的な補間緑色を与えるため、補間された第１と第２の緑色が算出されその平均がとられる。
【０１００】
従って、図５Ｃに示すように、前の例に従って赤フォトサイトＲ２８が選択されたことを前提にすると、ステップＳ１４８とＳ１５０において、赤フォトサイトＲ２６，Ｒ１２，Ｒ３０，Ｒ４４と、緑フォトサイトＧ２７，Ｇ２０，Ｇ２９，Ｇ３６と、青フォトサイトＢ１９，Ｂ２１，Ｂ３５，Ｂ３７は、選択された赤フォトサイトＲ２８における補間緑色を決定するために使用される。
【０１０１】
図５Ｄは、補間方向が前方対角方向である場合に、選択された赤フォトサイトＲ２８における補間緑色Ｇ２８を決定するための計算過程を示している。図５Ｄの左側は、補間された第１の緑色Ｇ２８rを与えるための計算過程を示している。図５Ｄの右側は、補間された第２の緑色Ｇ２８bを与えるための計算過程を示している。図５Ｄの左側において、選択された赤フォトサイトＲ２８に隣接する、第１の左側ｒ２７と、第１の上側ｒ２０と、第１の右側ｒ２９と、第１の下側ｒ３６とのそれぞれの赤フォトサイトの平均は、下記の式（１７）から（２０）に従って計算される。
【数１３】
2009065671.tif 000015
【０１０２】
次に、第１左の側ｋ２７rと、第１の上側ｋ２０rと、第１の右側ｋ２９rと、第１の下側ｋ３６rの色差は、下記の式（２１）から（２４）に従って計算される。
【数１４】
2009065671.tif 000016
【０１０３】
次に、補間された第１の緑色Ｇ２８rは、下記の式（２５）に従って計算される。
【数１５】
2009065671.tif 000017
【０１０４】
補間された第２の緑色Ｇ２８bは、第１の緑色と同様に計算される。図５Ｄの右側に示すように、第２の左側ｂ２７と、第２の上側ｂ２０と、第２の右側ｂ２９と、第２の下側ｂ３６との局所青フォトサイトの対の平均は、下記の式（２６）から（２９）に従って計算される。
【数１６】
2009065671.tif 000018
【０１０５】
次に、第２の左側ｋ２７bと、第２の上側ｋ２０bと、第２の右側ｋ２９bと、第２の下側ｋ３６bとの色差は、下記の式（３０）から（３３）に従って計算される。
【数１７】
2009065671.tif 000019
【０１０６】
次に、選択された赤フォトサイトＲ２８を通る対角順方向のフォトサイト列に沿った青フォトサイトＢ２１，Ｂ３５の対角平均を、算出された第２の左側と、第２の上側と、第２の右側と、第２の下側との色差の平均に加算することによって、補間された第２の緑色Ｇ２８bは、下記の式（３４）に従って計算される。
【数１８】
2009065671.tif 000020
【０１０７】
選択された赤フォトサイトＲ２８における最終的な補間緑色Ｇ２８は、上記のように算出された第１と第２の補間された緑色の平均であって、下記の式（３５）に従って計算される。
【数１９】
2009065671.tif 000021
【０１０８】
図５Ｅは、補間方向が後方対角方向である場合、選択された赤フォトサイトＲ２８における補間緑色Ｇ２８を決定するための計算過程を示している。図から分かるように、図５Ｅに示す計算過程は、図５Ｄに示した上述の計算過程とほぼ同じである。但し、図５Ｅにおいて、補間された第２の緑色Ｇ２８bでは、下記の式（３６）に従って、後方対角方向のフォトサイト列上の局所青フォトサイトが使用される。
【数２０】
2009065671.tif 000022
【０１０９】
ステップＳ１１２において、選択されたフォトサイトは青フォトサイトであれば、上下の垂直方向勾配と、左右の水平方向勾配と、前方後方の対角方向勾配とは、選択された青フォトサイトに対して同様に計算され（ステップＳ１５８〜１６２）、ある補間方向が選択される。次に、選択された青フォトサイトにおける補間緑色（ステップＳ１６６〜１９８）は、上に説明した方法とほぼ同様な方法によって計算される。但し、その場合、計算に使用されるフォトサイトは、選択された青フォトサイトに対するものである。
【０１１０】
選択された青フォトサイトＢ３７に対する様々な方向勾配を計算するために使用されるフォトサイトを、図６Ａ〜６Ｆに示す。この図において、「Ｇ３７」は選択された青フォトサイトＢ３７において補間される欠けている緑色を表す。決定された補間方向に基づいて、選択された青フォトサイトＢ３７において欠けている緑色Ｇ３７を算出するために使用されるフォトサイトを、図７Ａ〜７Ｅに示す。
【０１１１】
ステップＳ１３２またはステップＳ１７６の後に、次の赤または青フォトサイトが選択され（ステップＳ１３４）、処理はステップＳ１１２に戻る。上記のステップは、赤と青とのフォトサイトのそれぞれに対して行われ、結果として赤と青の各フォトサイトにおける補間緑色が生成される。
【０１１２】
図８は、すべての赤と青のフォトサイトにおいて補間された緑色を示すベイヤＣＦＡ５０の概略図であって、上に説明した方法によって緑色のそれぞれが計算されている。処理のこの時点において、ベイヤＣＦＡ５０の各フォトサイトは、感知した緑色あるいは補間した緑色を有している。
【０１１３】
赤と青のフォトサイトにおける補間緑色の計算が終わると、図９に示すように、赤色と青色が緑フォトサイトにおいて補間される（ステップＳ２００）。この処理においては、最初に緑フォトサイトが選択される（ステップＳ２１０）。選択された緑フォトサイトにおける補間赤色を決定するため、選択された緑フォトサイトの近傍に位置する２つの青フォトサイトが特定される（ステップＳ２１２）。その２つの局所青フォトサイトのそれぞれにおける第１と第２の色差は、２つの青フォトサイトのそれぞれにおける補間緑色および感知された青色に基づいて計算される（ステップＳ２１４）。選択された緑フォトサイトにおける補間赤色は、選択された緑フォトサイトで感知された緑色と、第１と第２の色差の平均との間の差である（ステップＳ２１６）。
【０１１４】
選択された緑フォトサイトにおける補間青色を決定するため、選択された緑フォトサイトの近傍に位置する２つの赤フォトサイトが特定される（ステップＳ２１８）。２つの局所赤フォトサイトのそれぞれにおける第１と第２の色差は、２つの赤フォトサイトのそれぞれにおける補間緑色および感知された赤色に基づいて計算される（ステップＳ２２０）。選択された緑フォトサイトにおける補間青色は、選択された緑フォトサイトで感知された緑色と、このように計算された第１と第２の色差の平均との間の差である（ステップＳ２２２）。選択された緑フォトサイトにおける補間青色と補間赤色が計算された後、次の緑フォトサイトが選択され（ステップＳ２２４）、処理はステップＳ１１２に戻る。上記のステップは緑フォトサイトのそれぞれに対して行われ、結果として緑フォトサイトのそれぞれにおける補間赤色と補間青色とが生成される。
【０１１５】
図１０Ａは選択された緑フォトサイトＧ２９における補間赤色Ｒ２９を計算するために使用されるフォトサイトを示している。この場合、選択された緑フォトサイトＧ２９の近傍に位置する青フォトサイトＢ２１，Ｂ３７が使用される。第１と第２の色差の値ｋ２１，ｋ３７は、下記の式（３７）と（３８）に従って計算される。
【数２１】
2009065671.tif 000023
【０１１６】
次に、選択された緑フォトサイトＧ２９における補間赤色Ｒ２９は、下記の式（３９）に従って計算される。
【数２２】
2009065671.tif 000024
【０１１７】
図１０Ｂは、選択された緑フォトサイトＧ２９における補間青色Ｂ２９を計算するために使用されるフォトサイトを示している。この場合、選択された緑フォトサイトＧ２９の近傍に位置する赤フォトサイトＲ２８，Ｒ３０が使用される。第１と第２の色差ｋ２８，ｋ３０は下記の式（４０）と（４１）に従って計算される。
【数２３】
2009065671.tif 000025
【０１１８】
次に、選択された緑フォトサイトＧ２９における補間青色Ｂ２９は、下記の式（４２）に従って計算される。
【数２４】
2009065671.tif 000026
【０１１９】
図１１は、赤と青のフォトサイトにおける補間緑色と、緑フォトサイトにおける補間赤色および補間青色とを示すベイヤＣＦＡ５０の概略図である。上記の内容から分かるように、選択された各緑フォトサイトにおける補間赤色と補間青色とを決定するための上述の処理において、補間の計算は、ある特定のエッジ方向に沿って行われていない。しかしながら、補間緑色はエッジ情報を使って計算されているので、この計算においては、エッジ情報が間接的に考慮されている。
【０１２０】
赤と青のフォトサイトにおける補間緑色と、緑フォトサイトにおける補間赤色および補間青色とが決定された後、青フォトサイトにおける補間赤色と、赤フォトサイトにおける補間青色が計算される（ステップＳ３００）。
【０１２１】
図１２Ａ〜１２Ｃは青フォトサイトにおける補間赤色と、赤フォトサイトにおける補間青色を決定するための工程を説明するフローチャートである。この処理において、赤または青のフォトサイトが最初に選択される（ステップＳ３１０）。ステップＳ３１２で赤フォトサイトが選択されたと判定された場合、先に（図３ＡのステップＳ１２０で）選択された赤フォトサイトに関連付けて格納された補間方向が検索される（ステップＳ３１４）。局所エッジ方向を表す検索された補間方向は、選択された赤フォトサイトにおいて欠けている青色の補間中に使用される。
【０１２２】
選択された赤フォトサイトに対する検索された補間方向が垂直であれば、選択された赤フォトサイトの上と下の両方に位置し、選択された赤フォトサイトを通る垂直フォトサイト列上の局所緑フォトサイトが特定される（ステップＳ３１８とＳ３２０）。第１と第２の色差は、局所緑フォトサイトの各々で感知された緑色と、補間青色との間のそれぞれの差として計算される（ステップＳ３２２）。選択された赤フォトサイトにおける補間青色は、選択された赤フォトサイトにおける補間緑色と、第１と第２の色差の平均との間の差である（ステップＳ３２４）。
【０１２３】
選択された赤フォトサイトに対する検索された補間方向が水平であれば（ステップＳ３２８）、選択された赤フォトサイトの左と右の両方に位置し、選択された赤フォトサイトを通る水平フォトサイト列上の局所緑フォトサイトが特定される（ステップＳ３３０とＳ３３２）。ステップＳ３２２とステップＳ３２４について上で説明した方法と同様に、第１と第２の色差が計算され、選択された赤フォトサイトにおいて欠けている青色を計算するために使用される。
【０１２４】
検索された補間方向は前方対角であれば、選択された赤フォトサイトの右上と左下に位置する（すなわち、選択された赤フォトサイトを通る前方対角フォトサイト列上の）局所青フォトサイトが特定される（ステップＳ３３４とＳ３３６）。第１と第２の色差は、補間緑色と、局所青フォトサイトで感知された青色との間のそれぞれの差として計算される（ステップＳ３３８）。選択された赤フォトサイトにおける補間青色は、選択された赤フォトサイトにおける補間緑色と、第１と第２の色差の平均との間の差である（ステップＳ３２４）。
【０１２５】
検索された補間方向は後方対角であれば、上に説明した方法と同様に、選択された赤フォトサイトの左上と右下に位置する局所青フォトサイトが特定され、第１と第２の色差が計算される。次に、選択された赤フォトサイトにおける補間青色が計算される。
【０１２６】
図１３と図１４Ａ〜１４Ｄは、選択された赤フォトサイトＲ２８における補間青色Ｂ２８の決定に使用されるフォトサイトを示している。図１４Ａにおいて、垂直補間方向に対して、選択された赤フォトサイトＲ２８における補間青色Ｂ２８は、下記の式（４３）から（４５）に従って計算される。
【数２５】
2009065671.tif 000027
【０１２７】
図１４Ｂにおいて、水平補間方向に対して、選択された赤フォトサイトＲ２８における補間青色Ｂ２８は、下記の式（４６）から（４８）に従って計算される。
【数２６】
2009065671.tif 000028
【０１２８】
図１４Ｃにおいて、前方対角補間方向に対して、選択された赤フォトサイトＲ２８における補間青色Ｂ２８は、下記の式（４９）から（５１）に従って計算される。
【数２７】
2009065671.tif 000029
【０１２９】
図１４Ｄにおいて、後方対角補間方向に対して、選択された赤フォトサイトＲ２８における補間青色Ｂ２８は、下記の式（５２）から（５４）に従って計算される。
【数２８】
2009065671.tif 000030
【０１３０】
上に説明したように、選択された赤フォトサイトＲ２８における補間青色Ｂ２８が決定された後、次の赤または青のフォトサイトが選択され（ステップＳ３２６）、処理はステップＳ３１２にもどる。
【０１３１】
ステップＳ３１２で選択されたフォトサイトが青フォトサイトであれば、選択されたフォトサイトに関連付けて（図３ＡのステップＳ１６４で）先に格納された補間方向が検索される（ステップＳ３３９）。選択された青フォトサイトにおける補間赤色を決定する処理（ステップＳ３４０〜Ｓ３６０）は、上に説明した選択された赤フォトサイトにおける補間青色を決定する方法と同様である。但し、その場合、計算に使用されるフォトサイトは、選択された青フォトサイトに対するものである。
【０１３２】
選択された青フォトサイトＢ３７における補間赤色Ｒ３７の計算に使用されるフォトサイトは、図１５と図１６Ａ〜１６Ｄに示されている。この図において、「Ｒ３７」は選択された青フォトサイトＢ３７において補間される欠けている赤色を表す。
【０１３３】
図１７は完全にデモザイクされたベイヤＣＦＡ５０を示している。各フォトサイトは、その感知された色と、補間された２つの欠けている色を含んでいる。
【０１３４】
図１８は、図１７の完全にデモザイクされたベイヤＣＦＡ５０からモアレを除去するための工程（ステップＳ４００）を説明するフローチャートである。この処理では、デモザイクされたベイヤＣＦＡ５０の各フォトサイトが、周知の方法でＲＧＢカラー空間からＹＣｂＣｒカラー空間へ変換される（ステップＳ４１０）。次に、変換されたフォトサイトが選択される（ステップＳ４１２）。そして、選択された変換済フォトサイトのＣｂ値は、選択された変換済フォトサイトを中心とする３×３のウィンドウ内の変換済フォトサイトのＣｂ値の平均に変更される（ステップＳ４１４）。同様に、選択された変換済フォトサイトのＣｒ値は、選択された変換済フォトサイトを中心とする３×３のウィンドウ内の変換済フォトサイトのＣｒ値の平均に変更される（ステップＳ４１６）。すべての変換済フォトサイトが、上に説明したように変更された後（ステップＳ４１８）、Ｃｂ値とＣｒ値がそれぞれ変更された変換済フォトサイトは、表示用にＹＣｂＣｒカラー空間からＲＧＢカラー空間に変換される（ステップＳ４２２）。
【０１３５】
図１９において、ベイヤＣＦＡ５０において欠けている色を補間するための装置のブロック図が示されている。この装置は、全体として符号５００として示されている。図から分かるように、装置５００は、エッジ検出器５０２および複数の補間器５０４〜５１０を含んでいる。エッジ検出器と補間器とは、ベイヤＣＦＡから画像データを受け取り、上に説明した方法に従って、画像データを処理する。エッジ検出器５０２は、局所フォトサイトで感知された色を用いて、赤と青のそれぞれのフォトサイトに対してエッジ方向を特定する。第１の補間器５０４は、赤と青のそれぞれのフォトサイトに対して、補間緑色を決定する。第２の補間器５０６は、緑フォトサイトのそれぞれに対して、補間赤色と補間青色を決定する。第３の補間器５０８は、赤フォトサイトのそれぞれに対して、補間青色を決定する。第４の補間器５１０は、青フォトサイトのそれぞれに対して、補間赤色を決定する。エッジ検出器５０２と補間器５０４〜５１０とは、デジタルカメラ、ビデオレコーダー、スキャナ等のような画像取得装置の処理ユニット、あるいは、画像取得装置からカラーフィルタアレイデータを取得して処理する別体の装置の処理ユニットとして実装しても構わない。この場合、処理ユニットは、感知された画像データにエッジ検出と補間とを行うソフトウェアアプリケーションを実行する。ソフトウェアアプリケーションは、ルーチン、プログラム、オブジェクト要素、データ構造などを含むプログラムモジュールを含んでいても構わず、コンピュータ可読媒体に格納されたコンピュータ可読プログラムコードとして実装しても構わない。コンピュータ可読媒体は、後から処理ユニットが読み出し可能な、データを格納できる任意のデータ格納装置である。例えば、コンピュータ可読媒体は、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ、および光学式データストレージ装置等を含んでいる。
【０１３６】
上に説明した実施例において、エッジ検出における信頼性を向上させるため、２つの垂直勾配と２つの水平勾配とが計算される。しかしながら、エッジ検出の信頼性を向上させる別の方法として、勾配の計算に使用するフォトサイトを、選択されたフォトサイトからの距離に基づいて重み付けしても良い。このようにしても、選択されたフォトサイトからより離れた位置における著しく異なった色値の補間方向の選択に与える影響を、より少なくすることができる。
【０１３７】
実施例を説明してきたが、当業者ならば添付の請求項により定義する発明の精神と範囲から逸脱しなければ変更及び修正ができることを理解すべきである。
【図面の簡単な説明】
【０１３８】
【図１】ベイヤカラーフィルタアレイの図である。
【図２】ベイヤカラーフィルタアレイをデモザイクするための方法を説明するフローチャートである。
【図３Ａ】ベイヤカラーフィルタアレイの赤と青のフォトサイトにおける補間緑色を決定するための工程を示すフローチャートである。
【図３Ｂ】ベイヤカラーフィルタアレイの赤と青のフォトサイトにおける補間緑色を決定するための工程を示すフローチャートである。
【図３Ｃ】ベイヤカラーフィルタアレイの赤と青のフォトサイトにおける補間緑色を決定するための工程を示すフローチャートである。
【図４Ａ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図４Ｂ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図４Ｃ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図４Ｄ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図４Ｅ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図４Ｆ】ベイヤカラーフィルタアレイの選択された赤フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図５Ａ】それぞれの補間方向に沿っており、選択された赤フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを説明する図である。
【図５Ｂ】それぞれの補間方向に沿っており、選択された赤フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを説明する図である。
【図５Ｃ】それぞれの補間方向に沿っており、選択された赤フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを説明する図である。
【図５Ｄ】それぞれの補間方向に沿っており、選択された赤フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを説明する図である。
【図５Ｅ】それぞれの補間方向に沿っており、選択された赤フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを説明する図である。
【図６Ａ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図６Ｂ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図６Ｃ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図６Ｄ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図６Ｅ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図６Ｆ】ベイヤカラーフィルタアレイの選択された青フォトサイトでの補間方向を選択するための、種々の方向勾配の算出に使用されるフォトサイトを示す図である。
【図７Ａ】それぞれの補間方向に沿っており、選択された青フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを示す図である。
【図７Ｂ】それぞれの補間方向に沿っており、選択された青フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを示す図である。
【図７Ｃ】それぞれの補間方向に沿っており、選択された青フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを示す図である。
【図７Ｄ】それぞれの補間方向に沿っており、選択された青フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを示す図である。
【図７Ｅ】それぞれの補間方向に沿っており、選択された青フォトサイトにおける補間緑色を決定するために使用されるフォトサイトを示す図である。
【図８】赤と青のフォトサイトで緑色が補間されたベイヤカラーフィルタアレイの図である。
【図９】ベイヤカラーフィルタアレイの緑フォトサイトにおける補間赤色と補間青色を決定するための工程を示すフローチャートである。
【図１０Ａ】ベイヤカラーフィルタアレイの選択された緑フォトサイトにおける補間赤色と補間青色を決定するために使用されるフォトサイトを示す図である。
【図１０Ｂ】ベイヤカラーフィルタアレイの選択された緑フォトサイトにおける補間赤色と補間青色を決定するために使用されるフォトサイトを示す図である。
【図１１】赤と青のフォトサイトで緑色が補間され、緑フォトサイトで赤色と青色とが補間されたベイヤカラーフィルタアレイの図である。
【図１２Ａ】ベイヤカラーフィルタアレイの青フォトサイトにおける補間赤色と赤フォトサイトにおける補間青色とを決定するための工程を示すフローチャートである。
【図１２Ｂ】ベイヤカラーフィルタアレイの青フォトサイトにおける補間赤色と赤フォトサイトにおける補間青色とを決定するための工程を示すフローチャートである。
【図１２Ｃ】ベイヤカラーフィルタアレイの青フォトサイトにおける補間赤色と赤フォトサイトにおける補間青色とを決定するための工程を示すフローチャートである。
【図１３】ベイヤカラーフィルタアレイの選択された赤フォトサイトにおける補間青色を決定するために使用されるフォトサイトを示す。
【図１４】ベイヤカラーフィルタアレイの選択された赤フォトサイトにおける補間青色を決定するために使用されるフォトサイトを示す。
【図１５】ベイヤカラーフィルタアレイの選択された青フォトサイトにおける補間赤色を決定するために使用されるフォトサイトを示す。
【図１６】ベイヤカラーフィルタアレイの選択された青フォトサイトにおける補間赤色を決定するために使用されるフォトサイトを示す。
【図１７】完全にデモザイクされたベイヤカラーフィルタアレイを示す。
【図１８】図１７の完全にデモザイクされたベイヤカラーフィルタアレイにおいてモアレを低減するための工程を示すフローチャートである。
【図１９】カラーフィルタアレイにおいて欠けている色を補間する装置のブロック図を示す。
【符号の説明】
【０１３９】
５０    ベイヤカラーフィルタ
５２    フォトサイト
５００  色補間装置
５０２  エッジ検出器
５０４  第１の補間器
５０６  第２の補間器
５０８  第３の補間器
５１０  第４の補間器
【図１】
2009065671.tif 000031
【図２】
2009065671.tif 000032
【図３Ａ】
2009065671.tif 000033
【図３Ｂ】
2009065671.tif 000034
【図３Ｃ】
2009065671.tif 000035
【図４Ａ】
2009065671.tif 000036
【図４Ｂ】
2009065671.tif 000037
【図４Ｃ】
2009065671.tif 000038
【図４Ｄ】
2009065671.tif 000039
【図４Ｅ】
2009065671.tif 000040
【図４Ｆ】
2009065671.tif 000041
【図５Ａ】
2009065671.tif 000042
【図５Ｂ】
2009065671.tif 000043
【図５Ｃ】
2009065671.tif 000044
【図５Ｄ】
2009065671.tif 000045
【図５Ｅ】
2009065671.tif 000046
【図６Ａ】
2009065671.tif 000047
【図６Ｂ】
2009065671.tif 000048
【図６Ｃ】
2009065671.tif 000049
【図６Ｄ】
2009065671.tif 000050
【図６Ｅ】
2009065671.tif 000051
【図６Ｆ】
2009065671.tif 000052
【図７Ａ】
2009065671.tif 000053
【図７Ｂ】
2009065671.tif 000054
【図７Ｃ】
2009065671.tif 000055
【図７Ｄ】
2009065671.tif 000056
【図７Ｅ】
2009065671.tif 000057
【図８】
2009065671.tif 000058
【図９】
2009065671.tif 000059
【図１０Ａ】
2009065671.tif 000060
【図１０Ｂ】
2009065671.tif 000061
【図１１】
2009065671.tif 000062
【図１２Ａ】
2009065671.tif 000063
【図１２Ｂ】
2009065671.tif 000064
【図１２Ｃ】
2009065671.tif 000065
【図１３】
2009065671.tif 000066
【図１４】
2009065671.tif 000067
【図１５】
2009065671.tif 000068
【図１６】
2009065671.tif 000069
【図１７】
2009065671.tif 000070
【図１８】
2009065671.tif 000071
【図１９】
2009065671.tif 000072