(57)【要約】【課題】画質の低下を招くことなく補間処理を行う。【解決手段】注目画素として１つのＧ画素を選択し、注目画素に隣接する４つの周辺画素であるＧ画素の画素データを読む（ステップ１０１）。注目画素の画素データと４つの周辺画素の画素データとの差分である突出量を求め、突出量が所定値（例えば６４）よりも大きいか否かを判定する（ステップ１０２）。突出量が所定値よりも大きいとき、注目画素と周辺画素はエッジ（輝度値の変化量が大きい部分）を含むと判断し、相対的に弱いローパスフィルタを施す（ステップ１０３）。突出量が所定値以下であるとき、注目画素と周辺画素はエッジを含まないと判断し、相対的に強いローパスフィルタを施す（ステップ１０４）。【選択図】        図６
2004201171.tif 000002
【特許請求の範囲】
【請求項１】
レッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）画素が規則的に配置されて成る画像データにおいて、Ｒ画素またはＢ画素に関してＧの画素データを演算により求める画像処理装置であって、
Ｇ画素である注目画素の画素データに対して適応型ローパスフィルタを施すことにより、修正画素データを求めるフィルタ手段と、
前記修正画素データを用いてＲ画素またはＢ画素におけるＧの画素データを補間により求める補間手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記注目画素と、その周辺に位置する複数のＧ画素である周辺画素との画素データの差分である突出量を求めるとともに、前記突出量が所定値よりも大きいか否かを判定する突出量判定手段を備え、前記フィルタ手段は、前記突出量が所定値よりも大きいとき相対的に弱いローパスフィルタを施し、前記突出量が所定値よりも小さいとき相対的に強いローパスフィルタを施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記周辺画素が、前記注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接する４つのＧ画素であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補間手段が、前記Ｒ画素またはＢ画素の上下に隣接するＧ画素の第１の修正画素データと左右に隣接するＧ画素の第２の修正画素データとを比較し、前記第１の修正画素データの差の絶対値の方が大きいときは前記第２の修正画素データの平均値を前記Ｇの画素データとし、前記第２の修正画素データの差の絶対値の方が大きいときは前記第１の修正画素データの平均値を前記Ｇの画素データとすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
第１、第２および第３のカラー画素が規則的に配置されて成る画像データにおいて、前記第１または第３のカラー画素に関して前記第２のカラーの画素データを演算により求める画像処理装置であって、
前記第２のカラー画素である注目画素の画素データに対して適応型ローパスフィルタを施すことにより、修正画素データを求めるフィルタ手段と、
前記修正画素データを用いて前記第１または第３のカラー画素における前記第２のカラーの画素データを補間により求める補間手段と、
前記注目画素と、その周辺に位置する複数の第２のカラー画素である周辺画素との画素データの差分である突出量を求めるとともに、前記突出量が所定値よりも大きいか否かを判定する突出量判定手段とを備え、
前記フィルタ手段は、前記突出量が所定値よりも大きいとき相対的に弱いローパスフィルタを施し、前記突出量が所定値よりも小さいとき相対的に強いローパスフィルタを施すことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラに設けられ、撮像素子を介して得られたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）の画素データに対して補間処理を施し、Ｒ、Ｇ、Ｂのプレーンデータを求める画像処理装置に関する。
【０００２】
【従来の技術】
従来デジタルカメラにおいて、撮像素子の受光面にＲ、Ｇ、Ｂのカラーフィルタがベイヤー配列に従って設けられたものが知られている。すなわち撮像素子から読み出された静止画像の生データでは、Ｒ、Ｇ、Ｂ画素がベイヤー配列に従って市松模様に並んでおり、画像処理では、各画素に関して補間処理が実行され、Ｒ、Ｇ、Ｂの３枚のプレーンデータが作成される（例えば特許文献１）。
【０００３】
【特許文献】
特開２００２−２１８４８２号公報
【０００４】
【発明が解決しようとする課題】
ところが、被写体像の一部が、ざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、生データにノイズが含まれているような場合、補間処理によって、本来の色成分からかけ離れた色成分の画素データが求められることがある。これは偽色の原因となり、画質が低下してしまう。
【０００５】
本発明は、エッジはある程度残しつつ補間処理を行うことができる画像処理装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る第１の画像処理装置は、Ｇ画素である注目画素の画素データに対して適応型ローパスフィルタを施すことにより、修正画素データを求めるフィルタ手段と、修正画素データを用いてＲ画素またはＢ画素におけるＧの画素データを補間により求める補間手段とを備えることを特徴としている。
【０００７】
画像処理装置は、注目画素と、その周辺に位置する複数のＧ画素である周辺画素との画素データの差分である突出量を求めるとともに、突出量が所定値よりも大きいか否かを判定する突出量判定手段を備えてもよい。この場合フィルタ手段は、突出量が所定値よりも大きいとき相対的に弱いローパスフィルタを施し、突出量が所定値よりも小さいとき相対的に強いローパスフィルタを施す。すなわち、突出量が大きいときはエッジを含む画像であると判断され、エッジを保持するために弱いローパスフィルタが施される。
【０００８】
突出量の大きさを判定するとき、周辺画素としては、注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接する４つのＧ画素であることが好ましい。
【０００９】
補間手段は例えば、Ｒ画素またはＢ画素の上下に隣接するＧ画素の第１の修正画素データと左右に隣接するＧ画素の第２の修正画素データとを比較し、第１の修正画素データの差の絶対値の方が大きいときは第２の修正画素データの平均値をＧの画素データとし、第２の修正画素データの差の絶対値の方が大きいときは第１の修正画素データの平均値をＧの画素データとする。
【００１０】
本発明に係る第２の画像処理装置は、第１、第２および第３のカラー画素が規則的に配置されて成る画像データにおいて、第１または第３のカラー画素に関して第２のカラーの画素データを演算により求める画像処理装置であって、第２のカラー画素である注目画素の画素データに対して適応型ローパスフィルタを施すことにより、修正画素データを求めるフィルタ手段と、修正画素データを用いて第１または第３のカラー画素における第２のカラーの画素データを補間により求める補間手段と、注目画素とその周辺に位置する複数の第２のカラー画素である周辺画素との画素データの差分である突出量を求めるとともに、突出量が所定値よりも大きいか否かを判定する突出量判定手段とを備え、フィルタ手段は、突出量が所定値よりも大きいとき相対的に弱いローパスフィルタを施し、突出量が所定値よりも小さいとき相対的に強いローパスフィルタを施すことを特徴としている。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の一実施形態である画像処理装置を備えたデジタルカメラの電気的および光学的な構成を概略的に示すブロック図である。このデジタルカメラは単一の撮像素子（ＣＣＤ）１０を備えている。撮像素子１０の受光面には、例えばベイヤー配列に従って配列されたレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられている。撮影レンズ１１の光軸上には、赤外カットフィルタ１２と光学ローパスフィルタ１３と撮像素子１０がこの順に配設されている。したがって撮影レンズ１１を通過した光線は、赤外線と不要な高周波成分を除去されて撮像素子１０に入射し、撮像素子１０ではアナログの電気信号である画像信号が発生する。
【００１２】
この画像信号は、相関二重サンプリング回路（ＣＤＳ）とＡＤ変換器（ＡＤＣ）を備えたアナログ信号処理回路１４において、ノイズ成分を除去されるとともにデジタルの画像データに変換される。デジタルの画像データは、デジタル信号処理回路１５において、後述する種々の画像処理を施される。
【００１３】
デジタル信号処理回路１５において処理された画像データはメモリ１６に格納される。画像データはメモリ１６から読み出され、圧縮処理を施されて、ＰＣカード１７に静止画像として記録される。静止画像の画像データは、ＬＣＤ表示回路１８において所定の処理を施され、液晶表示装置（ＬＣＤ）１９においてカラー画像として表示される。また、デジタル信号処理回路１５から出力された画像データはＬＣＤ表示回路１８に直接入力され、液晶表示装置１９ではモニタ画像が動画として表示される。
【００１４】
図２はデジタル信号処理回路１５において実行される画像処理の手順を示す図である。デジタル信号処理回路１５に入力された画像データ（生データ）は、ステップＳ１においてホワイトバランス調整される。ステップＳ２では、Ｇ画素に対して、後述するように適応型ローパスフィルタが施される。これにより、各Ｇ画素において、ノイズ成分が低減されたＧの修正画素データが求められる。ステップＳ３ではＧ補間が実行され、ＲとＢ画素に関して、Ｇの修正画素データを用いてＧの画素データが補間により求められる。ステップＳ４ではＲＢ補間が実行され、ＲとＢの画素データが欠落している画素について、ＲとＢの画素データがそれぞれ補間によって求められる。これにより、全ての画素について、Ｒ、Ｇ、Ｂの画素データが求められる。
【００１５】
ステップＳ５では、ステップＳ４の処理結果として得られた画素データに色補正マトリクスが施され、カラーフィルタの特性によって生じる誤差が除去される。ステップＳ６では色補正マトリクスが施された画素データに対してガンマ補正が施される。ステップＳ７では輪郭強調が実行される。このようにして得られたＲＧＢカラー画像データは、上述したように、液晶表示装置１９に出力され、あるいは圧縮処理を施されてＰＣカード１７に記録される。
【００１６】
図３は撮像素子１０によって得られた画像データ（生データ）における画素の配置と色を示している。Ｒ、Ｇ、Ｂの文字はそれぞれレッド、グリーンおよびブルーの色を示す。したがって画像データにおいて、最上部から奇数番目の列Ｌ１ではＧ画素とＲ画素が交互に並び、偶数番目の列Ｌ２ではＢ画素とＧ画素が交互に並んでいる。数字は座標を示し、座標の原点は左隅（すなわち「Ｇ００」）である。例えば上から３番目の列では、左から右へ向かってＧ２０、Ｒ２１、Ｇ２２、Ｒ２３・・・の順に並んでいる。なお図３において、Ｇ画素は２重枠によって示されている。
【００１７】
図４は本実施形態を用いない場合、すなわち比較例における、Ｇのプレーンデータを示し、図５は図４の矩形枠Ｗ１内の数値をグラフ化したものである。図４のＧのプレーンデータにおいて、２重枠で示される画素データはＧ画素（Ｇ００、Ｇ０２、Ｇ０４、・・・Ｇ１１、Ｇ１３、Ｇ１５・・・Ｇ２０、Ｇ２２、Ｇ２４・・・）の生データである。１重枠で示される画素データは、その上下あるいは左右に隣接するＧ画素の生データの相加平均をとることによって求められる。例えばＲ２１に関しては、Ｇ１１（＝２４）とＧ３１（＝２４）の差の方がＧ２０（＝１６）とＧ２２（＝２０）の差よりも小さいため、Ｇ１１とＧ３１の相加平均である２４がＧ２１として求められる。Ｂ３２に関しては、Ｇ３１（＝２４）とＧ３３（＝２２）の差の方がＧ２２（＝２０）とＧ４２（＝２４）の差よりも小さいため、Ｇ３１とＧ３３の相加平均である２３がＧ３２として求められる。
【００１８】
すなわちＧ２１は、その上下に隣接する２つのＧ画素（Ｇ１１、Ｇ３１）の影響を受け、Ｇ２３は、その左右に隣接する２つの画素（Ｇ３１、Ｇ３３）の影響を受けている。このようにして得られた全ての画素におけるＧの画素データを視覚的に示し、かつ画素データが２０以上である部分を黒く塗って示すと図５のようになる。すなわち、Ｇ１１、Ｇ２１、Ｇ３１、Ｇ４１、Ｇ２３、Ｇ３３・・・のように画素データが２０以上である部分（黒く塗られた部分）は上から見てＬ字型に分布しており、他の部分よりも突出している。
【００１９】
相加平均を求めるために用いられる２つのＧ画素の画素データが、ノイズ等のために周囲の画素の画素データよりも突出している場合、相加平均の値が本来の値から大きくかけ離れることとなり、例えば液晶表示装置１９によって表示された再生画像に偽色が生じて画質が低下するという問題が生じる。そこで本実施形態では、以下に述べるように、Ｇのプレーンデータを求めるのに先立ち、Ｇ画素の画素データに対して適応型ローパスフィルタを施している。
【００２０】
図６は図２のステップＳ２において実行されるフィルタ処理ルーチンのフローチャートである。このフィルタ処理ルーチンでは、画像の最も外周に位置するＧ画素（例えばＧ００、Ｇ０２、Ｇ０４、Ｇ２０）以外のＧ画素について、ローパスフィルタが施される。
【００２１】
ステップ１０１では、注目画素として１つのＧ画素が選択されるとともに、注目画素に隣接する４つの周辺画素であるＧ画素の画素データが読まれる。この４つの周辺画素は注目画素の斜め左上、斜め右上、斜め左下および斜め右下に隣接しており、例えば注目画素がＧ１１であるとき、周辺画素はＧ００、Ｇ０２、Ｇ２０、Ｇ２２である。
【００２２】
ここで、注目画素の画素データをＧ(x,y)、４つの周辺画素の画素データをそれぞれＧ(x-1,y-1)、Ｇ(x+1,y-1)、Ｇ(x-1,y+1)、Ｇ(x+1,y+1)とおく。ステップ１０２では、注目画素の画素データと４つの周辺画素の画素データとの差分である突出量が求められ、下記（１）式に従って、突出量が所定値（例えば６４）よりも大きいか否かが判定される。
|G(x-1,y-1)+G(x+1,y-1)+G(x-1,y+1)+G(x+1,y+-1)|-4G(x,y)>64 ・・・（１）
【００２３】
突出量が所定値よりも大きいとき、注目画素と周辺画素はエッジ（輝度値の変化量が大きい部分）を含むと判断され、ステップ１０３において、相対的に弱いローパスフィルタが施される。すなわち注目画素の修正画素データＧ’(x,y)は下記（２）式に従って求められる。
G'(x,y)=(G(x-1,y-1)+G(x+1,y-1)+G(x-1,y+1)+G(x+1,y+1)+60G(x,y))/64・・・（２）
【００２４】
これに対して突出量が所定値以下であるとき、注目画素と周辺画素はエッジを含まない、輝度値が比較的均一である画像である判断され、ステップ１０４において、相対的に強いローパスフィルタが施される。すなわち注目画素の修正画素データＧ’(x,y)は下記（３）式に従って求められる。
G'(x,y)=(G(x-1,y-1)+G(x+1,y-1)+G(x-1,y+1)+G(x+1,y+1)+12G(x,y))/16・・・（３）
【００２５】
ステップ１０５では、画像の最も外周に位置するＧ画素以外の全てのＧ画素について、ステップ１０１〜１０４の処理が完了したか否かが判定される。完了していなければステップ１０１へ戻り、上述した処理が再び実行され、完了していればフィルタ処理ルーチンは終了する。
【００２６】
図７は図２のステップＳ３において実行されるＧ補間処理ルーチンのフローチャートである。Ｇ補間処理ルーチンでは、画像の最も外周に位置するＲおよびＢ画素（例えばＲ０１、Ｒ０３、Ｒ０５、Ｂ１０）以外のＲおよびＢ画素について、Ｇの修正画素データを用いてＧの画素データが補間により求められる。
【００２７】
ステップ２０１では、補間対象画素であるＲ画素またはＢ画素に関し、上下に隣接するＧ画素の第１の修正画素データと左右に隣接するＧ画素の第２の修正画素データとが読まれる。ここで補間対象画素の座標を(x,y)とすると、第１の修正画素データはＧ'(x,y-1)とＧ'(x,y+1)であり、第２の修正画素データはＧ'(x-1,y)、Ｇ'(x+1,y)である。ステップ２０２では、下記（４）式に従って、第１の修正画素データの差の絶対値が第２の修正画素データの差の絶対値よりも大きいか否かが判定される。
|G'(x,y-1)-G'(x,y+1)|>|G'(x-1,y)-G'(x+1,y)|                 ・・・（４）
【００２８】
第１の修正画素データの差の絶対値の方が大きいとき、ステップ２０３において、下記（５）式に従って第２の修正画素データの平均値が補間対象画素のＧの画素データＧ"(x,y)として求められる。
G"(x,y)=(G'(x-1,y)+G'(x+1,y))/2                             ・・・（５）
【００２９】
これに対して、第２の修正画素データの差の絶対値の方が大きいとき、ステップ２０４において、下記（６）式に従って第１の修正画素データの平均値が補間対象画素のＧの画素データＧ"(x,y)として求められる。
G"(x,y)=(G'(x,y-1)+G'(x,y+1))/2                             ・・・（６）
【００３０】
ステップ２０５では、画像の最も外周に位置するＲおよびＢ画素以外の全てのＲおよびＢ画素について、ステップ２０１〜２０４の処理が完了したか否かが判定される。完了していなければステップ２０１へ戻り、上述した処理が再び実行され、完了していれば補間処理ルーチンは終了する。
【００３１】
図８は本実施形態すなわち図６のフィルタ処理ルーチンと図７の補間処理ルーチンによって得られたＧのプレーンデータを示している。また図９は図８の矩形枠Ｗ２内の数値をグラフ化したものである。図８のＧのプレーンデータにおいて、２重枠で示される画素データは、Ｇ画素の生データに対してフィルタ処理ルーチンを実行して得られたものである。１重枠で示される画素データは、補間処理ルーチンを実行して得られたものであり、補間処理ルーチンの処理内容は図４の場合と同じである。
【００３２】
図８を図４と比較することにより理解されるように、例えばＧ１１とＧ３１のＧの画素データ（＝２３）はローパスフィルタ（図６）の作用によって、比較例（図４）のＧの画素データ（＝２４）よりも小さくなっている。これに伴い、Ｇ２１の画素データ（＝２３）も比較例より小さくなっている。
【００３３】
図９では、図５と同様に、画素データが２０以上である部分を黒く塗って示している。図９と図５を比較することによって理解されるように、画素データが２０以上である部分（黒く塗られた部分）は、本実施形態によれば比較例よりも広い範囲に広がっており、ノイズ等の影響が緩和されている。
【００３４】
したがって本実施形態によれば、プレーンデータを得るための補間処理を行なう前に被写体像のエッジ（特徴部分）を検出し、その検出結果に応じて、エッジでは相対的に弱いフィルタ、それ以外の箇所では相対的に強いフィルタをかけるようにしているので、被写体像の一部がざらついた壁面のように一様な色の部分に異なる色の粒が点在するような画像であったり、被写体像にノイズが存在したりするような場合であっても、補間処理によって、本来の色成分とは大きくことなる色成分の画素データが求められることが防止され、偽色の発生が抑えられる。
【００３５】
【発明の効果】
以上のように本発明によれば、画質の低下を招くことなく補間処理を行い、偽色の発生を防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置を備えたデジタルカメラの電気的および光学的な構成を示すブロック図である。
【図２】デジタル信号処理回路において実行される画像処理の手順を示す図である。
【図３】撮像素子によって得られた画像データにおける画素の配置と色を示す図である。
【図４】比較例におけるＧのプレーンデータを示す図である。
【図５】図４の矩形枠Ｗ１内の数値を３次元的に示す図である。
【図６】フィルタ処理ルーチンのフローチャートである。
【図７】Ｇ補間処理ルーチンのフローチャートである。
【図８】実施形態におけるＧのプレーンデータを示す図である。
【図９】図８の矩形枠Ｗ２内の数値を３次元的に示す図である。
【符号の説明】
１０  撮像素子
【図１】
2004201171.tif 000003
【図２】
2004201171.tif 000004
【図３】
2004201171.tif 000005
【図４】
2004201171.tif 000006
【図５】
2004201171.tif 000007
【図６】
2004201171.tif 000008
【図７】
2004201171.tif 000009
【図８】
2004201171.tif 000010
【図９】
2004201171.tif 000011