(57)【要約】【課題】  この発明は、固体撮像デバイスから出力されるＲ信号（またはＢ信号）の変化は大きいが、Ｇ信号の変化が小さい斜線部分において、滑らかな斜線が得られるようになる単板式カラーカメラにおける色分離回路を提供することを目的とする。【解決手段】  注目画素が、Ｇ信号が小さくかつＲ信号およびＢ信号のいずれか一方のみが大きいＧレス領域であるか否かを判別するＧレス領域判別手段、注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域でない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する第１の選択手段を備えていることを特徴とする。【選択図】  図１１
2005260881.tif 000002
【特許請求の範囲】
【請求項１】
ベイヤー配列の単板式カラーカメラにおける色分離回路において、
緩やかに変化する信号においては各画素の色信号の差とそれらの低域信号の差がそれぞれほぼ等しいと仮定して、注目画素における複数の色信号成分を、注目画素およびその周囲の画素の色信号成分から生成する色分離手段であって、水平方向の相関が強い場合に適した複数の色信号成分と、垂直方向の相関が強い場合に適した複数の色信号成分とを生成する第１の相関判別色分離処理手段、
注目画素における複数の色信号成分であって水平方向の相関が強い場合に適した複数の色信号成分を、水平方向の解像度が低下するように生成するとともに、注目画素における複数の色信号成分であって垂直方向の相関が強い場合に適した複数の色信号成分を、垂直方向の解像度が低下するように生成する第２の相関判別色分離処理手段、
注目画素において水平方向および垂直方向のうちのいずれの方向に相関が強いかを判別するための相関方向判別手段、
注目画素が、Ｒ信号およびＢ信号のいずれか一方のみの変化が大きくかつＧ信号の変化が小さいＧレス領域であるか否かを判別するＧレス領域判別手段、
注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域でない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する第１の選択手段、ならびに
相関方向判別手段によって水平方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、水平方向に相関が強い場合に適した複数の色信号成分を選択し、垂直方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、垂直方向に相関が強い場合に適した複数の色信号成分を選択する第２の選択手段、
を備えていることを特徴とする単板式カラーカメラにおける色分離回路。
【請求項２】
ベイヤー配列の単板式カラーカメラにおける色分離回路において、
緩やかに変化する信号においては各画素の色信号の差とそれらの低域信号の差がそれぞれほぼ等しいと仮定して、注目画素における複数の色信号成分を、注目画素およびその周囲の画素の色信号成分から生成する色分離手段であって、水平方向の相関が強い場合に適した複数の色信号成分と、垂直方向の相関が強い場合に適した複数の色信号成分とを生成する第１の相関判別色分離処理手段、
注目画素における複数の色信号成分であって水平方向の相関が強い場合に適した複数の色信号成分を、水平方向の解像度が低下するように生成するとともに、注目画素における複数の色信号成分であって垂直方向の相関が強い場合に適した複数の色信号成分を、垂直方向の解像度が低下するように生成する第２の相関判別色分離処理手段、
注目画素において水平方向および垂直方向のうちのいずれの方向に相関が強いかを判別するための相関方向判別手段、
注目画素が、Ｇ信号が小さくかつＲ信号およびＢ信号のいずれか一方のみが大きいＧレス領域であるか否かを判別するＧレス領域判別手段、
注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域でない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する第１の選択手段、ならびに
相関方向判別手段によって水平方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、水平方向に相関が強い場合に適した複数の色信号成分を選択し、垂直方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、垂直方向に相関が強い場合に適した複数の色信号成分を選択する第２の選択手段、
を備えていることを特徴とする単板式カラーカメラにおける色分離回路。
【請求項３】
注目画素がＧレス領域判別手段によってＧレス領域でないと判別されていても、その周囲にＧレス領域判別手段によってＧレス領域と判別された画素が存在する場合には、当該注目画素を拡張Ｇレス領域と判別する拡張Ｇレス領域判別手段を備えており、
第１の選択手段は、注目画素がＧレス領域または拡張Ｇレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域および拡張Ｇレス領域のいずれでもない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択するものであることを特徴とする請求項１および２のいずれかに記載の単板式カラーカメラにおける色分離回路。
【請求項４】
注目画素がＧレス領域判別手段によってＧレス領域でないと判別されていても、その周囲にＧレス領域判別手段によってＧレス領域と判別された画素が存在する場合には、当該注目画素を拡張Ｇレス領域と判別する拡張Ｇレス領域判別手段を備えており、
第１の選択手段は、注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分と第２の相関判別色分離処理手段によって生成された複数の色信号成分とを加重加算する加重加算手段、および注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素が拡張Ｇレス領域である場合には、当該注目画素に対して加重加算手段によって得られた複数の色信号成分を選択し、注目画素がＧレス領域および拡張Ｇレス領域のいずれでもない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する手段を備えていることを特徴とする請求項１および２のいずれかに記載の単板式カラーカメラにおける色分離回路。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルスチルカメラ（ＤＳＣ）等の単板式カラーカメラにおける色分離回路に関し、特にベイヤー配列の単板式カラーカメラにおける色分離回路に関する。
【背景技術】
【０００２】
〔１〕  ＣＣＤ等の固体撮像デバイスを利用した単板式のカラーカメラでは、固体撮像デバイスの各画素に対応して特定の色（例えば、Ｒ，Ｇ，Ｂの３色のうちのいずれか１つ）の色フィルタが設けられている。そして、特定の色に対応した固体撮像デバイスの各画素からの信号を処理して、色分離を行い、各画素毎にＲ，Ｇ，Ｂの映像信号を生成している。
【０００３】
なお、単板式カラーカメラに用いられる色フィルタアレイには、各種のものがあるが、原色フィルタ配列はベイヤー方式が使用されることが多い。この明細書においては、色フィルタアレイとして、ベイヤー方式のものが使用されているものとする。
【０００４】
色分離方法として、ＬＰＦ色分離処理（ＬＰＦ色同時化処理）と呼ばれる方法がある。このＬＰＦ色分離処理では、限界解像度が低いという問題があるとともに、高周波部において偽色が発生しやすいという問題がある。
【０００５】
これらの問題を改善するために、局所領域における画像の相関性を利用して、適応的に色分離を行う相関判別色分離処理（相関判別色同時化処理）が開発されている。相関判別色分離処理では、限界解像度が高く、高周波部において偽色が発生しにくいという特徴がある。しかしながら、固体撮像デバイスから出力されるＲ信号（またはＢ信号）の変化は大きいが、Ｇ信号の変化が小さい斜線部分のＲ画素（またはＢ画素）において、Ｒ信号（またはＢ信号）の変化を参照してＧ信号を生成すると、斜線がスムーズにならないという問題がある。
【０００６】
ＬＰＦ色分離処理と相関判別色分離処理とについて、具体的に説明する。
【０００７】
〔２〕ＬＰＦ色分離処理の説明
図１は、ベイヤー方式の色フィルタアレイを備えたＣＣＤの出力信号のうち、注目画素を中心とする５×５の２５画素を示している。図１の例では、注目画素はＧ画素である。      
【０００８】
注目画素Ｇ３３に対応するＲ信号、Ｇ信号、Ｂ信号を、lpf.r33 ，lpf.g33 ，lpf.b33 とすると、ＬＰＦ色分離処理では、lpf.r33 ，lpf.g33 ，lpf.b33 は次式(1) に基づいて算出される。
【０００９】
lpf.r33 ＝｛(R12＋6R32＋R52)/8＋(R14＋6R34＋R54)/8｝/2  
lpf.g33 ＝｛(G22＋G24 ＋4G33＋G42 ＋G44)/8
lpf.b33 ＝｛(B21＋6B23＋B25)/8＋(B41＋6B43＋B45)/8｝/2          …(1) 
【００１０】
図２は、垂直状の輪郭線を含む部分にＬＰＦ色分離処理を適用した場合を示している。      
【００１１】
図２の左側の５×５画素のブロックは、図１の５×５画素に対応している。このブロックを構成する各画素内の数字は、そのブロックの上側に記載されたような輝度変化を有する垂直状の輪郭線を含む部分に対するＣＣＤの出力信号を示している。
【００１２】
図２の中央上側の５×５画素内の数字は、ＬＰＦ色分離処理によって生成されたＲ信号を示している。図２の中央の５×５画素内の数字は、ＬＰＦ色分離処理によって生成されたＧ信号を示している。図２の中央下側の５×５画素内の数字は、ＬＰＦ色分離処理によって生成されたＢ信号を示している。
【００１３】
図２の右側の５×５画素内の数字は、上記Ｒ信号、Ｇ信号およびＢ信号から求められた輝度信号（Ｙ信号）を示している。この輝度信号（Ｙ信号）は、次式(2) に基づいて算出されている。
【００１４】
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ      …(2) 
【００１５】
図２の右側の５×５画素のブロックの上側には、入力信号Inと出力信号Out が示されている。入力信号Sin の変化に比べて出力信号Soutの変化は緩やかになっていることがわかる。また、生成されたＲ信号，Ｇ信号，Ｂ信号から、輪郭部で偽色が発生しやすいことがわかる。
【００１６】
〔３〕相関判別色分離処理の説明
図３は、相関判別色分離処理を適用した色分離回路の構成を示している。
【００１７】
この色分離回路は、ＣＤＩ処理回路１１０および相関方向判別回路１２０を備えている。ＣＤＩ処理回路１１０は、水平垂直色分離処理回路１１１および選択回路１１２を備えている。相関方向判別回路１２０は、ガンマ補正回路１２１、水平垂直差分算出回路１２２および水平垂直相関判別回路１２３を備えている。
【００１８】
注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)は、ＣＤＩ処理回路１１０内の水平垂直色分離処理回路１１１に送られるとともに、相関方向判別回路１２０内のガンマ補正回路１２１に送られる。
【００１９】
水平垂直色分離処理回路１１１は、５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)に基づいて、水平方向に相関が強い場合に適した水平色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｈ，Ｇｈ，Ｂｈ信号）を生成するとともに、垂直方向に相関が強い場合に適した垂直色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｖ，Ｇｖ，Ｂｖ信号）を生成する。水平垂直色分離処理回路１１１によって得られたＲｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号は、選択回路１１２に送られる。
【００２０】
ガンマ補正回路１２１は、５×５画素のブロック内の各ＣＣＤ出力信号（Raw R,G,B)に対して、暗部を持ち上げるようなガンマ補正を行う。ガンマ補正回路１２１から出力される５×５画素のブロック内の信号（Raw gR,gG,gB) は、水平垂直差分算出回路１２２に送られる。水平垂直差分算出回路１２２は、ガンマ補正回路１２１から出力される５×５画素のブロック内の信号（Raw gR,gG,gB) に基づいて、注目画素に対応する水平差分値および垂直差分値を算出する。水平垂直差分算出回路１２２によって算出された注目画素に対応する水平差分値および垂直差分値は、水平垂直相関判別回路１２３に送られる。
【００２１】
水平垂直相関判別回路１２３は、注目画素に対応する水平差分値および垂直差分値に基づいて、当該注目画素に関して水平方向の相関および垂直方向の相関のいずれが強いかを判別し、その判別結果を表す信号（ｈまたはｖ）を、選択回路１１２に送る。選択回路１１２は、注目画素に関して水平方向の相関が強いと判別された場合には、当該注目画素に対して水平色分離処理によって得られたＲｈ，Ｇｈ，Ｂｈ信号を選択して出力し、注目画素に関して垂直方向の相関が強いと判別された場合には、当該注目画素に対して垂直色分離処理によって得られたＲｖ，Ｇｖ，Ｂｖ信号を選択して出力する。
【００２２】
〔２−１〕水平垂直色分離処理回路１１１についての説明
水平垂直色分離処理回路１１１は、緩やかに変化する信号においては、各画素の色信号の差（Ｒ−Ｇ），（Ｂ−Ｇ）とそれらの低域信号の差（ＲLPF −ＧLPF ），（ＢLPF −ＧLPF ）がそれぞれほぼ等しいと仮定して、色分離を行う。
【００２３】
〔２−１−１〕水平色分離処理についての説明
水平垂直色分離処理回路１１１によって行われる水平色分離処理について説明する。
水平色分離処理では、図４に示すように、注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)に基づいて、注目画素に対するＲｈ，Ｇｈ，Ｂｈ信号を生成する。なお、図４（ａ）は注目画素がＧ画素である場合を示し、図４（ｂ）は注目画素がＲ画素である場合を示している。
【００２４】
注目画素が図４（ａ）に示すようにＧ画素である場合には、R33h−G33h＝ RHLPF3 −G HLPF3 ，B33h−G33h＝ BHLPF3 −G HLPF3 と仮定することにより、次式(3) に基づいて、注目画素G33 に対応するR33h，G33h，B33hを算出する。R HLPF3 は、注目画素(G33) を中心とするＲ信号の水平方向の低域信号を、G HLPF3 は、注目画素(G33) を中心とするＧ信号の水平方向の低域信号を、 BHLPF3 は、注目画素(G33) を中心とするＢ信号の水平方向の低域信号を、それぞれ示している。
【００２５】
G33h＝G33 
R33h＝G33 ＋(pgh1 ×R32 ＋ pgh2 ×R34)−(pgh3 ×G31 ＋ pgh4 ×G33 ＋ pgh5 ×G35)
B33h＝G33 ＋(pgh6 ×B23 ＋ pgh7 ×B43)−(pgh8 ×G23h＋ pgh9 ×G43h) 
G23h＝B23 ＋(pgh10×G22 ＋ pgh11×G24)
−(pgh12×B21 ＋ pgh13×B23 ＋ pgh14×B25)
G43h＝B43 ＋(pgh15×G42 ＋ pgh16×G44)
−(pgh17×B41 ＋ pgh18×B43 ＋ pgh19×B45)              …(3) 
【００２６】
pgh1 〜p gh19は、係数である。例えば、 pgh4 ＝ pgh13＝ pgh18＝3/4,その他の係数＝1/2 に設定される。
【００２７】
上記R33hは、仮定｛R33h−G33h＝ RHLPF3 −G HLPF3 ｝に基づいて算出されている。つまり、R33h＝G33h＋R HLPF3 −G HLPF3 に基づいてR33hが算出される。
【００２８】
上記B33hは、仮定｛B33h−G33h＝ BHLPF3 −G HLPF3 ｝に基づいて算出されるのであるが、注目画素を含む水平ライン上には、Ｂ信号が存在しないため、注目画素を含む水平ライン上の水平方向の低域色信号の差（ BHLPF3 −G HLPF3 ）とその近傍（２行目と４行目）における同方向の低域色信号の差（ BHLPF2 −G HLPF2 ， BHLPF4 −G HLPF4 ）とが等しいと考える。
【００２９】
BHLPF3 −G HLPF3 ＝B33h−G33h， BHLPF2 −G HLPF2 ＝B23h−G23h， BHLPF4 −G HLPF4 ＝B43h−G43hであるので、B33h−G33h＝B23h−G23h＝B43h−G43hとなる。
【００３０】
しかし、垂直方向は相関が低い方向であるので、注目画素の垂直方向両隣の低域色信号の差を平均することにより、相関の低さを補償する。つまり、仮定｛B33h−G33h＝ BHLPF3 −G HLPF3 ｝を、仮定｛B33h−G33h＝｛（ BHLPF2 −G HLPF2 ）＋（ BHLPF4 −G HLPF4 ）｝／２＝｛（B23h−G23h）＋（B43h−G43h）｝／２に置き換える。そして、B33h＝G33h＋｛（B23h−G23h）＋（B43h−G43h）｝／２に基づいて、B33hが算出される。
【００３１】
注目画素が図４（ｂ）に示すようにＲ画素である場合には、R33h−G33h＝ RHLPF3 −G HLPF3 ，B33h−G33h＝ BHLPF3 −G HLPF3 と仮定することにより、次式(4) に基づいて、注目画素R33 に対応するR33h，G33h，B33hを算出する。R HLPF3 は、注目画素(R33) を中心とするＲ信号の水平方向の低域信号を、G HLPF3 は、注目画素(R33) を中心とするＧ信号の水平方向の低域信号を、 BHLPF3 は、注目画素(R33) を中心とするＢ信号の水平方向の低域信号を、それぞれ示している。
【００３２】
R33h＝R33 
G33h＝R33 ＋(prh1 ×G32 ＋ prh2 ×G34)−(prh3 ×R31 ＋ prh4 ×R33 ＋ prh5 ×R35)
B33h＝G33h＋(prh6 ×B23h＋ prh7 ×B43h) −(prh8 ×G23 ＋ prh9 ×G43)
B23h＝G23 ＋(prh10×B22 ＋ prh11×B24)
−(prh12×G21 ＋ prh13×G23 ＋ prh14×G25)
B43h＝G43 ＋(prh15×B42 ＋ prh16×B44)
−(prh17×G41 ＋ prh18×G43 ＋ prh19×G45)              …(4) 
【００３３】
prh1 〜 prh19は、係数である。例えば、 prh4 ＝ prh13＝ prh18＝3/4,その他の係数＝1/2 に設定される。
【００３４】
上記G33hは、仮定｛R33h−G33h＝ RHLPF3 −G HLPF3 ｝に基づいて算出されている。つまり、G33h＝R33h＋G HLPF3 −R HLPF3 に基づいてG33hが算出される。
【００３５】
上記B33hは、仮定｛B33h−G33h＝ BHLPF3 −G HLPF3 ｝に基づいて算出されるのであるが、注目画素を含む水平ライン上には、Ｂ信号が存在しないため、注目画素を含む水平ライン上の水平方向の低域色信号の差（ BHLPF3 −G HLPF3 ）とその近傍（２行目と４行目）における同方向の低域色信号の差（ BHLPF2 −G HLPF2 ， BHLPF4 −G HLPF4 ）とが等しいと考える。
【００３６】
BHLPF3 −G HLPF3 ＝B33h−G33h， BHLPF2 −G HLPF2 ＝B23h−G23h， BHLPF4 −G HLPF4 ＝B43h−G43hであるので、B33h−G33h＝B23h−G23h＝B43h−G43hとなる。
【００３７】
しかし、垂直方向は相関が低い方向であるので、注目画素の垂直方向両隣の低域色信号の差を平均することにより、相関の低さを補償する。つまり、仮定｛B33h−G33h＝ BHLPF3 −G HLPF3 ｝を、仮定｛B33h−G33h＝｛（ BHLPF2 −G HLPF2 ）＋（ BHLPF4 −G HLPF4 ）｝／２＝｛（B23h−G23h）＋（B43h−G43h）｝／２に置き換える。そして、B33h＝G33h＋｛（B23h−G23h）＋（B43h−G43h）｝／２に基づいて、B33hが算出される。
【００３８】
なお、注目画素がＢ画素である場合には、上記式(4) において、ＲとＢとを置き換えればよい。
【００３９】
〔２−１−２〕垂直色分離処理についての説明
水平垂直色分離処理回路１１１によって行われる垂直色分離処理について説明する。
【００４０】
垂直色分離処理では、図４に示すように、注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)に基づいて、注目画素に対するＲｖ，Ｇｖ，Ｂｖ信号）を生成する。
【００４１】
注目画素が図４（ａ）に示すようにＧ画素である場合には、R33v−G33v＝ RVLPF3 −G VLPF3 ，B33v−G33v＝ BVLPF3 − GVLPF3 と仮定することにより、次式(5) に基づいて、注目画素G33 に対応するR33v，G33v，B33vを算出する。 RVLPF3 は、注目画素(G33) を中心とするＲ信号の垂直方向の低域信号を、G VLPF3 は、注目画素  (G33) を中心とするＧ信号の垂直方向の低域信号を、 BVLPF3 は、注目画素(G33) を中心とするＢ信号の垂直方向の低域信号を、それぞれ示している。
【００４２】
G33v＝G33 
R33v＝G33 ＋(pgv1 ×R32 ＋ pgv2 ×R34)−(pgv3 ×G32v＋ pgv4 ×G34v) 
G32v＝R32 ＋(pgv5 ×G22 ＋ pgv6 ×G42)
−(pgv7 ×R12 ＋ pgv8 ×R32 ＋ pgv9 ×R52)
G34v＝R34 ＋(pgv10×G24 ＋ pgv11×G44)
−(pgv12×R14 ＋ pgv13×R34 ＋ pgv14×R54)
B33v＝G33 ＋(pgv15×B23 ＋ pgv16×B43)
−(pgv17×G13 ＋ pgv18×G33 ＋ pgv19×G53)                …(5) 
【００４３】
pgv1 〜 pgv19は、係数である。例えば、 pgv8 ＝ pgv13＝ pgv18＝3/4,その他の係数＝1/2 に設定される。
【００４４】
上記B33vは、仮定｛B33v−G33v＝ BVLPF3 − GVLPF3 ｝に基づいて算出されている。つまり、B33v＝G33v＋B VLPF3 − GVLPF3 に基づいてG33hが算出される。
【００４５】
上記R33vは、仮定｛R33v−G33v＝ RVLPF3 − GVLPF3 ｝に基づいて算出されるのであるが、注目画素を含む垂直ライン上には、Ｒ信号が存在しないため、注目画素を含む垂直ライン上の垂直方向の低域色信号の差（ RVLPF3 − GVLPF3 ）とその近傍（２列目と４列目）における同方向の低域色信号の差（ RVLPF2 − GVLPF2 ， RVLPF4 − GVLPF4 ）とが等しいと考える。
【００４６】
RVLPF3 − GVLPF3 ＝R33v−G33v， RVLPF2 − GVLPF2 ＝R32v−G32v， RVLPF4 − GVLPF4 ＝R34v−G34vであるので、R33v−G33v＝R32v−G32v＝R34v−G34vとなる。
【００４７】
しかし、水平方向は相関が低い方向であるので、注目画素の水平方向両隣の低域色信号の差を平均することにより、相関の低さを補償する。つまり、仮定｛R33v−G33v＝ RVLPF3 − GVLPF3 ｝を、仮定｛R33v−G33v＝｛（ RVLPF2 − GVLPF2 ）＋（ RVLPF4 − GVLPF4 ）｝／２＝｛（R32v−G32v）＋（R34v−G34v）｝／２に置き換える。そして、R33v＝G33v＋｛（R32v−G32v）＋（R34v−G34v）｝／２に基づいて、R33vが算出される。
【００４８】
注目画素が図４（ｂ）に示すようにＲ画素である場合には、R33v−G33v＝ RVLPF3 − GVLPF3 ，B33v−G33v＝ BVLPF3 −G VLPF3 と仮定することにより、次式(6) に基づいて、注目画素R33 に対応するR33v，G33v，B33vを算出する。 RVLPF3 は、注目画素(R33) を中心とするＲ信号の垂直方向の低域信号を、 GVLPF3 は、注目画素  (R33) を中心とするＧ信号の垂直方向の低域信号を、 BVLPF3 は、注目画素(R33) を中心とするＢ信号の垂直方向の低域信号を、それぞれ示している。
【００４９】
R33v＝R33 
G33v＝R33 ＋(prv1 ×G23 ＋ prv2 ×G43)−(prv3 ×R13 ＋ prv4 ×R33 ＋ prv5 ×R53)B33v＝G33v＋(prv6 ×B32v＋ prv7 ×B34v) −(prv8 ×G32 ＋ prv9 ×G34)
B32v ＝G32 ＋(prv10×B22 ＋ prv11×B42)
−(prv12×G12 ＋ prv13×G32 ＋ prv14×G52)
B34v ＝G34 ＋(prv15×B24 ＋ prv16×B44)
−(prv17×G14 ＋ prv18×G34 ＋ prv19×G54)                …(6) 
【００５０】
prv1 〜 prv19は、係数である。例えば、 prv4 ＝ prv13＝ prv18＝3/4,その他の係数＝1/2 に設定される。
【００５１】
上記G33vは、仮定｛R33v−G33v＝ RVLPF3 − GVLPF3 ｝に基づいて算出されている。つまり、G33v＝R33v＋G VLPF3 − RVLPF3 に基づいてG33hが算出される。
【００５２】
上記B33vは、仮定｛B33v−G33v＝ BVLPF3 −G VLPF3 ｝に基づいて算出されるのであるが、注目画素を含む垂直ライン上には、Ｂ信号が存在しないため、注目画素を含む垂直ライン上の垂直方向の低域色信号の差（ BVLPF3 − GVLPF3 ）とその近傍（２列目と４列目）における同方向の低域色信号の差（ BVLPF2 − GVLPF2 ， BVLPF4 − GVLPF4 ）とが等しいと考える。
【００５３】
BVLPF3 − GVLPF3 ＝B33v−G33v， BVLPF2 − GVLPF2 ＝B32v−G32v， BVLPF4 − GVLPF4 ＝B34v−G34vであるので、B33v−G33v＝B32v−G32v＝B34v−G34vとなる。
【００５４】
しかし、水平方向は相関が低い方向であるので、注目画素の水平方向両隣の低域色信号の差を平均することにより、相関の低さを補償する。つまり、仮定｛B33v−G33v＝ BVLPF3 −G VLPF3 ｝を、仮定｛B33v−G33v＝｛（ BVLPF2 − GVLPF2 ）＋（ BVLPF4 − GVLPF4 ）｝／２＝｛（B32v−G32v）＋（B34v−G34v）｝／２に置き換える。そして、B33v＝G33v＋｛（B32v−G32v）＋（B34v−G34v）｝／２に基づいて、B33vが算出される。
【００５５】
なお、注目画素がＢ画素である場合には、上記式(6) において、ＲとＢとを置き換えればよい。
【００５６】
〔２−２〕水平垂直差分算出回路１２２についての説明
水平垂直差分算出回路１２２は、注目画素を中心とする５×５画素のブロック内の信号（Raw gR,gG,gB) に基づいて、注目画素に対応する水平差分値および垂直差分値を算出する。
【００５７】
注目画素が図４（ａ）に示すようにＧ画素である場合の水平差分値および垂直差分値の算出方法について説明する。この場合には、水平差分値heg は、次式(7) に基づいて算出され、垂直差分値veg は、次式(8) に基づいて算出される。なお、式(7) および式(8) において、ａi （ｉ＝０〜１５）およびｂi （ｉ＝０〜１５）は係数である。
【００５８】
heg ＝a1×｜gG11−gG13｜＋a2×｜gG13−gG15｜＋a3×｜gG22−gG24｜
＋a4×｜gG31−gG33｜＋a5×｜gG33−gG35｜＋a6×｜gG42−gG44｜
＋a7×｜gG51−gG53｜＋a8×｜gG53−gG55｜＋a9×｜gR12−gR14｜
＋a10 ×｜gR32−gR34｜＋a11 ×｜gR52−gR54｜＋a12 ×｜gB21−gB23｜
＋a13 ×｜gB23−gB25｜＋a14 ×｜gB41−gG43｜＋a15 ×｜gB43−gG45｜
…(7) 
veg ＝b1×｜gG11−gG31｜＋b2×｜gG31−gG51｜＋b3×｜gG22−gG42｜
＋b4×｜gG13−gG33｜＋b5×｜gG33−gG53｜＋b6×｜gG24−gG44｜
＋b7×｜gG15−gG35｜＋b8×｜gG35−gG55｜＋b9×｜gR12−gR32｜
＋b10 ×｜gR32−gR52｜＋b11 ×｜gR14−gR34｜＋b12 ×｜gR34−gR54｜
＋b13 ×｜gB21−gB41｜＋b14 ×｜gB23−gB43｜＋b15 ×｜gB25−gB45｜
…(8) 
【００５９】
注目画素がＲ画素またはＢ画素である場合にも、同様な方法で、水平差分値heg および垂直差分値veg を求めることができる。
【００６０】
なお、水平垂直相関判別回路１２３は、注目画素に対応する水平差分値heg が垂直差分値veg より大きい場合には、当該注目画素については垂直方向の相関が強いと判別し、注目画素に対応する垂直差分値veg が水平差分値heg より大きい場合には、当該注目画素については水平方向の相関が強いと判別する。
【００６１】
図５は、垂直状の輪郭線を含む部分に相関判別色分離処理を適用した場合を示している。
【００６２】
図５の左側の５×５画素のブロックは、図４（ａ）の５×５画素に対応している。このブロックを構成する各画素内の数字は、そのブロックの上側に記載されたような輝度変化（入力信号）を有する垂直状の輪郭線を含む部分に対するＣＣＤの出力信号を示している。
【００６３】
図５の中央上側の５×５画素内の数字は、相関判別色分離処理によって生成されたＲ信号を示している。図２の中央の５×５画素内の数字は、相関判別色分離処理によって生成されたＧ信号を示している。図２の中央下側の５×５画素内の数字は、相関判別色分離処理によって生成されたＢ信号を示している。
【００６４】
図５の右側の５×５画素内の数字は、上記Ｒ信号、Ｇ信号およびＢ信号から求められた輝度信号（Ｙ信号）を示している。
【００６５】
図５の右側の５×５画素のブロックの上側には、出力信号が示されている。出力信号の変化は入力信号の変化と等しくなっていることがわかる。また、生成されたＲ信号，Ｇ信号，Ｂ信号から輪郭部で偽色が発生しにくいことがわかる。
【００６６】
図６は、図７に示すような斜線を含む部分に相関判別色分離処理を適用した場合を示している。
【００６７】
図６の左側の５×５画素のブロックは、図４（ａ）の５×５画素に対応している。このブロックを構成する各画素内の数字は、図７に示すような斜線を含む部分に対応するＣＣＤの出力信号を示している。
【００６８】
図６の中央上側の５×５画素内の数字は、相関判別色分離処理によって生成されたＲ信号を示している。図６の中央の５×５画素内の数字は、相関判別色分離処理によって生成されたＧ信号を示している。図６の中央下側の５×５画素内の数字は、相関判別色分離処理によって生成されたＢ信号を示している。
【００６９】
図６の右側の５×５画素内の数字は、上記Ｒ信号、Ｇ信号およびＢ信号から求められた輝度信号（Ｙ信号）を示している。
【００７０】
図８（ａ）は、１ライン目の本来のＲ信号、Ｇ信号およびＢ信号の信号レベルを示し、図８（ｂ）は、相関判別色分離処理によって生成された１ライン目のＲ信号（Ｒ１）、Ｇ信号（Ｇ１）およびＢ信号（Ｂ１）の信号レベルを示している。
【００７１】
また、図９（ａ）は、各ラインの本来のＹ信号（Ｙ１〜Ｙ５）の信号レベルを示し、図９（ｂ）は、相関判別色分離処理によって生成されたＲＧＢ信号に基づいて算出された各ラインのＹ信号（Ｙ１〜Ｙ５）の信号レベルを示している。
【００７２】
図９（ａ）、（ｂ）から分かるように、相関判別色分離処理によって生成されたＲＧＢ信号に基づいて算出された輝度値は、斜線部分（図9 の横軸に”２”で示される列）において、本来の輝度値から大きくずれるため、斜線部が滑らかにならないという問題がある。
【特許文献１】特許第２９３１５２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００７３】
この発明は、固体撮像デバイスから出力されるＲ信号（またはＢ信号）の変化は大きいが、Ｇ信号の変化が小さい斜線部分において、滑らかな斜線が得られるようになる単板式カラーカメラにおける色分離回路を提供することを目的とする。
【課題を解決するための手段】
【００７４】
請求項１に記載の発明は、ベイヤー配列の単板式カラーカメラにおける色分離回路において、緩やかに変化する信号においては各画素の色信号の差とそれらの低域信号の差がそれぞれほぼ等しいと仮定して、注目画素における複数の色信号成分を、注目画素およびその周囲の画素の色信号成分から生成する色分離手段であって、水平方向の相関が強い場合に適した複数の色信号成分と、垂直方向の相関が強い場合に適した複数の色信号成分とを生成する第１の相関判別色分離処理手段、注目画素における複数の色信号成分であって水平方向の相関が強い場合に適した複数の色信号成分を、水平方向の解像度が低下するように生成するとともに、注目画素における複数の色信号成分であって垂直方向の相関が強い場合に適した複数の色信号成分を、垂直方向の解像度が低下するように生成する第２の相関判別色分離処理手段、注目画素において水平方向および垂直方向のうちのいずれの方向に相関が強いかを判別するための相関方向判別手段、注目画素が、Ｒ信号およびＢ信号のいずれか一方のみの変化が大きくかつＧ信号の変化が小さいＧレス領域であるか否かを判別するＧレス領域判別手段、注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域でない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する第１の選択手段、ならびに相関方向判別手段によって水平方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、水平方向に相関が強い場合に適した複数の色信号成分を選択し、垂直方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、垂直方向に相関が強い場合に適した複数の色信号成分を選択する第２の選択手段を備えていることを特徴とする。
【００７５】
請求項２に記載の発明は、ベイヤー配列の単板式カラーカメラにおける色分離回路において、緩やかに変化する信号においては各画素の色信号の差とそれらの低域信号の差がそれぞれほぼ等しいと仮定して、注目画素における複数の色信号成分を、注目画素およびその周囲の画素の色信号成分から生成する色分離手段であって、水平方向の相関が強い場合に適した複数の色信号成分と、垂直方向の相関が強い場合に適した複数の色信号成分とを生成する第１の相関判別色分離処理手段、注目画素における複数の色信号成分であって水平方向の相関が強い場合に適した複数の色信号成分を、水平方向の解像度が低下するように生成するとともに、注目画素における複数の色信号成分であって垂直方向の相関が強い場合に適した複数の色信号成分を、垂直方向の解像度が低下するように生成する第２の相関判別色分離処理手段、注目画素において水平方向および垂直方向のうちのいずれの方向に相関が強いかを判別するための相関方向判別手段、注目画素が、Ｇ信号が小さくかつＲ信号およびＢ信号のいずれか一方のみが大きいＧレス領域であるか否かを判別するＧレス領域判別手段、注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域でない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する第１の選択手段、ならびに相関方向判別手段によって水平方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、水平方向に相関が強い場合に適した複数の色信号成分を選択し、垂直方向の相関が強いと判別された場合には、第１の選択手段によって選択された複数の色信号成分のうち、垂直方向に相関が強い場合に適した複数の色信号成分を選択する第２の選択手段を備えていることを特徴とする。
【００７６】
請求項３に記載の発明は、請求項１乃至２に記載の発明において、注目画素がＧレス領域判別手段によってＧレス領域でないと判別されていても、その周囲にＧレス領域判別手段によってＧレス領域と判別された画素が存在する場合には、当該注目画素を拡張Ｇレス領域と判別する拡張Ｇレス領域判別手段を備えており、第１の選択手段は、注目画素がＧレス領域または拡張Ｇレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素がＧレス領域および拡張Ｇレス領域のいずれでもない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択するものであることを特徴とする。
【００７７】
請求項４に記載の発明は、請求項１乃至２に記載の発明において、注目画素がＧレス領域判別手段によってＧレス領域でないと判別されていても、その周囲にＧレス領域判別手段によってＧレス領域と判別された画素が存在する場合には、当該注目画素を拡張Ｇレス領域と判別する拡張Ｇレス領域判別手段を備えており、第１の選択手段は、注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分と第２の相関判別色分離処理手段によって生成された複数の色信号成分とを加重加算する加重加算手段、および注目画素がＧレス領域である場合には、当該注目画素に対して第２の相関判別色分離処理手段によって生成された複数の色信号成分を選択し、注目画素が拡張Ｇレス領域である場合には、当該注目画素に対して加重加算手段によって得られた複数の色信号成分を選択し、注目画素がＧレス領域および拡張Ｇレス領域のいずれでもない場合には、当該注目画素に対して第１の相関判別色分離処理手段によって生成された複数の色信号成分を選択する手段を備えていることを特徴とする。
【発明の効果】
【００７８】
この発明によれば、固体撮像デバイスから出力されるＲ信号（またはＢ信号）の変化は大きいが、Ｇ信号の変化が小さい斜線部分において、滑らかな斜線が得られるようになる。
【発明を実施するための最良の形態】
【００７９】
以下、図面を参照して、この発明をデジタルスチルカメラの信号処理回路に適用した場合の実施例について説明する。
【実施例１】
【００８０】
〔１〕信号処理回路の全体的な構成についての説明
図１０は、デジタルスチルカメラの信号処理回路の全体構成を示している。
【００８１】
信号処理回路は、ＣＣＤ出力信号に基づいて各画素毎にＲＧＢ信号を生成するための色分離回路１、色分離回路１によって生成されたＲＧＢ信号を、Ｙ信号およびＣ信号に変換するＹ／Ｃ分離回路２、Ｙ／Ｃ分離回路２によって得られたＹ信号に対して所定の処理を行うＹプロセス回路３およびＹ／Ｃ分離回路２によって得られたＣ信号に対して所定の処理を行うＣプロセス回路４を備えている。後述するように、色分離回路１では、Ｇレス領域が検出され、その検出結果もＹプロセス回路３に送られる。
【００８２】
以下、色分離回路１およびＹプロセス回路３について、詳しく説明する。
〔２〕色分離回路１についての説明
〔２−１〕色分離回路１の全体的な構成の説明
図１１は、色分離回路１の構成を示している。
【００８３】
この色分離回路１は、ＣＤＩ処理回路１０、相関方向判別回路２０およびＧレス領域検出回路３０を備えている。ＣＤＩ処理回路１０は、水平垂直色分離処理回路１１、低解像度水平垂直色分離処理回路１２、第１の選択回路１３および第２の選択回路１４を備えている。
【００８４】
相関方向判別回路２０は、ガンマ補正回路２１、水平垂直差分算出回路２２、水平垂直相関判別回路２３および相関値算出回路２４を備えている。
【００８５】
Ｇレス領域検出回路３０は、平均値算出回路３１、Ｇレス領域判定回路３２およびＧレス領域拡張回路３３を備えている。
【００８６】
〔２−２〕ＣＤＩ処理回路１０についての説明
注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)は、ＣＤＩ処理回路１０内の水平垂直色分離処理回路１１および低解像度水平垂直色分離処理回路１２に入力される。
【００８７】
水平垂直色分離処理回路１１は、図３の水平垂直色分離処理回路１１１と同じであり、水平方向に相関が強い場合に適した水平色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｈ，Ｇｈ，Ｂｈ信号）を生成するとともに、垂直方向に相関が強い場合に適した垂直色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｖ，Ｇｖ，Ｂｖ信号）を生成する。
【００８８】
低解像度水平垂直色分離処理回路１２は、Ｇレス領域に適しかつ水平方向に相関が強い場合に適した水平色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｈ，Ｇｈ，Ｂｈ信号）を生成するとともに、Ｇレス領域に適しかつ垂直方向に相関が強い場合に適した垂直色分離処理を行って注目画素に対応するＲ，Ｇ，Ｂ信号（Ｒｖ，Ｇｖ，Ｂｖ信号）を生成する。
【００８９】
ここでＧレス領域とは、Ｇ信号が小さく、Ｒ信号およびＢ信号のいずれか一方のみが大きい領域をいう。低解像度水平垂直色分離処理回路１２は、注目画素がＧレス領域である場合に、斜線を滑らかにするために、相関が高い方向の解像度を低下させるような水平色分離処理および垂直色分離処理を行う。この場合、Ｒ（またはＢ）画素においてＧ信号を生成する際には、Ｒ（またはＢ）信号の変化を参照せずに、周辺のＧ信号を参照して生成する。
【００９０】
低解像度水平垂直色分離処理回路１２によって行われる水平色分離処理について説明する。
【００９１】
水平色分離処理では、図４に示すように、注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)に基づいて、注目画素に対するＲｈ，Ｇｈ，Ｂｈ信号を生成する。なお、図４（ａ）は注目画素がＧ画素である場合を示し、図４（ｂ）は注目画素がＲ画素である場合を示している。
【００９２】
注目画素が図４（ａ）に示すようにＧ画素である場合には、次式(9) に基づいて、注目画素G33 に対応するR33h，G33h，B33hを算出する。
【００９３】
R33h＝ qgh1 ×R32 ＋ qgh2 ×R34 
G33h＝ qgh3 ×G31 ＋ qgh4 ×G33 ＋ qgh5 ×G35 
B33h＝G33h＋｛(qgh6 ×B21 ＋ qgh7 ×B23 ＋ qgh8 ×B25)
＋(qgh9 ×B41 ＋ qgh10×B43 ＋ qgh11×B45)｝−(qgh12×G23h＋ qgh13×G43h)   G23h＝ qgh14×G22 ＋ qgh15×G24 
G43h＝ qgh16×G42 ＋ qgh17×G44         …(9) 
【００９４】
qgh1 〜 qgh17は、係数である。例えば、 qgh4 ＝３／４， qgh7 ＝ qgh10＝３／８，その他の係数＝１／２に設定される。
【００９５】
注目画素が図４（ｂ）に示すようにＲ画素である場合には、次式(10)に基づいて、注目画素R33 に対応するR33h，G33h，B33hを算出する。
【００９６】
R33h＝ qrh1 ×R31 ＋ qrh2 ×R33 ＋ qrh3 ×R35 
G33h＝ qrh4 ×G32 ＋ qrh5 ×G34 
B33h＝G33h＋(qrh6 ×B23h＋ qrh7 ×B43h) 
−｛(qrh8 ×G21 ＋ qrh9 ×G23 ＋ qrh10×G25)
＋(qrh11×G41 ＋ qrh12×G43 ＋ qrh13×G45)｝
B23h＝ qrh14×B22 ＋ qrh15×B24 
B43h＝ qrh16×B42 ＋ qrh17×B44                                     …(10)
【００９７】
qrh1 〜 qrh17は、係数である。例えば、 qrh2 ＝３／４， qrh9 ＝ qrh12＝３／８，その他の係数＝１／２に設定される。
【００９８】
なお、注目画素がＢ画素である場合には、上記式(10)において、ＲとＢとを置き換えればよい。
【００９９】
低解像度水平垂直色分離処理回路１２によって行われる垂直色分離処理について説明する。
【０１００】
垂直色分離処理では、図４に示すように、注目画素を中心とする５×５画素のブロック内のＣＣＤ出力信号（Raw R,G,B)に基づいて、注目画素に対するＲｖ，Ｇｖ，Ｂｖ信号）を生成する。
【０１０１】
注目画素が図４（ａ）に示すようにＧ画素である場合には、次式(11)に基づいて、注目画素G33 に対応するR33v，G33v，B33vを算出する。
【０１０２】
R33v＝G33v＋｛(qgv1 ×R12 ＋ qgv2 ×R32 ＋ qgv3 ×R52)
＋(qgv4 ×R14 ＋ qgv5 ×R34 ＋ qgv6 ×R54)｝−(qgv7 ×G32v＋ qgv8 ×G34v)   G32v＝ qgv9 ×G22 ＋ qgv10×G42 
G34v＝ qgv11×G24 ＋ qgv12×G44 
G33v＝ qgv13×G13 ＋ qgv14×G33 ＋ qgv15×G53 
B33V＝ qgv16×B23 ＋ qgv17×B43                                       …(11)
【０１０３】
qgv1 〜 qgv17は、係数である。例えば、 qgv2 ＝ qgv5 ＝３／８， qgv14＝３／４，その他の係数＝１／２に設定される。
【０１０４】
注目画素が図４（ｂ）に示すようにＲ画素である場合には、次式(12)に基づいて、注目画素R33 に対応するR33v，G33v，B33vを算出する。
【０１０５】
R33v＝ qrv1 ×R13 ＋ qrv2 ×R33 ＋ qrv3 ×R53  
G33v＝ qrv4 ×G23 ＋ qrv5 ×G43 
B33v＝R33v＋｛(qrv6 ×G12 ＋ qrv7 ×G32 ＋ qrv8 ×G52)
＋(qrv9 ×G14 ＋ qrv10×G34 ＋ qrv11×G54)｝−(qrv12×B32v＋ qrv13×B34v)   B32v＝ qrv14×B22 ＋ qrv15×B42 
B34v＝ qrv16×B24 ＋ qrv17×B44                                     …(12)
【０１０６】
qrv1 〜 qrv17は、係数である。例えば、 qrv2 ＝３／４， qrv7 ＝ qgv10＝３／８，その他の係数＝１／２に設定される。
【０１０７】
なお、注目画素がＢ画素である場合には、上記式(12)において、ＲとＢとを置き換えればよい。
【０１０８】
水平垂直色分離処理回路１１によって生成された注目画素に対するＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）信号と、低解像度水平垂直色分離処理回路１２によって生成された注目画素に対するＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）とは、第１の選択回路１３に送られる。第１の選択回路１３には、Ｇレス領域検出回路３０から上記注目画素がＧレス領域であるか否かを示すＧレス領域判定信号（gless)が切替制御信号として送られる。
【０１０９】
第１の選択回路１３は、Ｇレス領域判定信号（gless)がＧレス領域ではないことを示している場合には、水平垂直色分離処理回路１１によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）を選択して出力し、Ｇレス領域判定信号（gless)がＧレス領域であることを示している場合には、低解像度水平垂直色分離処理回路１２によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）を選択して出力する。
【０１１０】
第１の選択回路１３から出力された注目画素に対するＲｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号は、第２の選択回路１４に送られる。第２の選択回路１４には、相関方向判別回路２０から当該注目画素における相関の強い方向が水平方向であるか垂直方向であるかを示す相関方向判別信号（h or v) が切替制御信号として送られる。
【０１１１】
第２の選択回路１４は、相関の強い方向が水平方向であることを示す相関方向判別信号（h)が送られてきた場合には、第１の選択回路１３から送られてきたＲｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号のうち、Ｒｈ，Ｇｈ，Ｂｈ信号を選択して出力し、相関の強い方向が垂直方向であることを示す相関方向判別信号（v)が送られてきた場合には、第１の選択回路１３から送られてきたＲｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号のうち、Ｒｖ，Ｇｖ，Ｂｖ信号を選択して出力する。
【０１１２】
〔２−３〕相関方向判別回路２０についての説明
ガンマ補正回路２１は、図３のガンマ補正回路１２１と同じであり、５×５画素のブロック内の各ＣＣＤ出力信号（Raw R,G,B)に対して、暗部を持ち上げるようなガンマ補正を行う。このようなガンマ補正を行うのは、相関方向判別回路２０およびＧレス領域検出回路３０の判別精度、検出精度を高めるためである。
【０１１３】
水平垂直差分算出回路２２は、図３の水平垂直差分算出回路１２２と同じであり、ガンマ補正回路２１から出力される５×５画素のブロック内の信号（Raw gR,gG,gB) に基づいて、注目画素に対応する水平差分値heg および垂直差分値veg を算出する。
【０１１４】
水平垂直相関判別回路２３は、図３の水平垂直相関判別回路１２３と同じであり、水平垂直差分算出回路２２によって算出された、注目画素に対応する水平差分値heg および垂直差分値veg に基づいて、当該注目画素に関して水平方向の相関および垂直方向の相関のいずれが強いかを判別し、その判別結果を表す相関方向判別信号（ｈまたはｖ）を、第２の選択回路１４に切替制御信号として送る。
【０１１５】
なお、水平垂直相関判別回路２３は、注目画素に対応する水平差分値heg が垂直差分値veg より大きい場合には、当該注目画素については垂直方向の相関が強いと判別し、注目画素に対応する垂直差分値veg が水平差分値heg より大きい場合には、当該注目画素については水平方向の相関が強いと判別する。
【０１１６】
相関値算出回路２４は、水平垂直差分算出回路２２によって算出された、注目画素に対応する水平差分値heg および垂直差分値veg に基づいて、水平方向の相関強度を表す水平相関値khおよび垂直方向の相関強度を表す垂直相関値kvを算出する。具体的には、相関値算出回路２４は、次式(13)に基づいて、水平相関値khおよび垂直相関値kvを算出する。
【０１１７】
kh＝(veg×255)/(veg ＋heg ）
kv＝255-kh                                        …(13)
【０１１８】
上記式(13)から分かるように、垂直差分値veg が大きいほど水平相関値khが大きくなり、水平差分値heg が大きいほど垂直相関値kvが大きくなる。
【０１１９】
〔１−４〕Ｇレス領域検出回路３０についての説明
ＲＧＢ平均値算出回路３１は、ガンマ補正回路２１から出力される５×５画素のブロック内の信号（Raw gR,gG,gB) に基づいて、当該ブロック内のＲ信号の平均値aver1 ，Ｇ信号の平均値aveg1 ，Ｂ信号の平均値aveb1 を算出する。例えば、注目画素が図４（ａ）に示すようにＧ画素である場合には、ＲＧＢ平均値算出回路３１は、次式(14)に基づいて、当該ブロック内のＲ信号の平均値aver1 ，Ｇ信号の平均値aveg1 ，Ｂ信号の平均値aveb1 を算出する。式(14)において、Ｃi （ｉ＝１〜１７）は係数である。
【０１２０】
aver1 ＝ｃ1 ×gR12＋ｃ2 ×gR32＋ｃ3 ×gR52＋ｃ4 ×gR14＋ｃ5 ×gR34＋ｃ6 ×gR54  aveg1 ＝ｃ7 ×gG22＋ｃ8 ×gG24＋ｃ9 ×gG33＋ｃ10×gG42＋ｃ11×gG44
aveb1 ＝ｃ12×gB21＋ｃ13×gB23＋ｃ14×gB25＋ｃ15×gB41＋ｃ16×gB43＋ｃ17×gB45                                                                        …(14)
【０１２１】
なお、注目画素がＲ信号またはＢ信号の場合にも、同様な方法で、当該ブロック内のＲ信号の平均値aver1 ，Ｇ信号の平均値aveg1 ，Ｂ信号の平均値aveb1 を求めることができる。
【０１２２】
ＲＧＢ平均値算出回路３１によって算出されたＲ信号の平均値aver1 ，Ｇ信号の平均値aveg1 ，Ｂ信号の平均値aveb1 は、Ｇレス領域判別回路３２に送られる。Ｇレス領域判別回路３２には、相関値算出回路２４によって算出された注目画素に対応する水平相関値khおよび垂直相関値kvも送られる。
【０１２３】
図１２は、Ｇレス領域判別回路３２によって行われるＧレス領域判別処理手順を示している。図１２の処理手順は、注目画素がＧレス領域であるか否かを判別するための処理手順を示している。
【０１２４】
基本的には、注目画素を中心とする５×５画素の領域において、Ｇ信号が小さく、Ｒ信号およびＢ信号のいずれか一方のみが大きければ、当該注目画素はＧレス領域であると判別する。
【０１２５】
まず、注目画素に対応する水平相関値khおよび垂直相関値kvに基づいて、水平および垂直の両相関値の差の絶対値｜kv−kh｜が、所定の第１の閾値CDI ＿GLS ＿THより小さいか否かを判別する（ステップＳ１）。｜kv−kh｜≧CDI ＿GLS ＿THである場合には、当該注目画素はＧレス領域ではない（非Ｇレス領域である）と判定する（ステップＳ９）。
【０１２６】
｜kv−kh｜＜CDI ＿GLS ＿THである場合には、注目画素を中心とする５×５画素のブロック内のＧ信号の平均値aveg1 が、所定の第２の閾値CDI ＿AVEG＿LTH より小さいか否かを判別する（ステップＳ２）。aveg1 ≧CDI ＿AVEG＿LTH である場合には、当該注目画素はＧレス領域ではない（非Ｇレス領域である）と判定する（ステップＳ９）。
【０１２７】
aveg1 ＜CDI ＿AVEG＿LTH である場合には、注目画素を中心とする５×５画素のブロック内のＲ信号の平均値aver1 とＢ信号の平均値aveb1 との差の絶対値｜aver1 −aveb1 ｜が、所定の第３の閾値CDI ＿RBTHより大きいか否かを判別する（ステップＳ３）。｜aver1 −aveb1 ｜≦CDI ＿RBTHである場合には、当該注目画素はＧレス領域ではない（非Ｇレス領域である）と判定する（ステップＳ９）。
【０１２８】
｜aver1 −aveb1 ｜＞CDI ＿RBTHである場合には、注目画素を中心とする５×５画素のブロック内のＲ信号の平均値aver1 が、所定の第４の閾値CDI ＿AVER＿LTH より大きいか否かを判別する（ステップＳ４）。
【０１２９】
aver1 ＞CDI ＿AVER＿LTH である場合には、注目画素を中心とする５×５画素のブロック内のＲ信号の平均値aver1 とＧ信号の平均値aveg1 との差（aver1 −aveg1 ）が、所定の第５の閾値CDI ＿RAT ＿RLTHより大きいか否かを判別する（ステップＳ５）。
【０１３０】
（aver1 −aveg1 ）＞CDI ＿RAT ＿RLTHである場合には、当該注目画素はＧレス領域であると判別する（ステップＳ８）。
【０１３１】
上記ステップＳ４において、aver1 ≦CDI ＿AVER＿LTH であると判別した場合には、注目画素を中心とする５×５画素のブロック内のＢ信号の平均値aveb1 が、所定の第６の閾値CDI ＿AVEB＿LTH より大きいか否かを判別する（ステップＳ６）。
【０１３２】
aveb1 ＞CDI ＿AVEB＿LTH である場合には、注目画素を中心とする５×５画素のブロック内のＢ信号の平均値aveb1 とＧ信号の平均値aveg1 との差（aveb1 −aveg1 ）が、所定の第７の閾値CDI ＿RAT ＿BLTHより大きいか否かを判別する（ステップＳ７）。
【０１３３】
（aveb1 −aveg1 ）＞CDI ＿RAT ＿BLTHである場合には、当該注目画素はＧレス領域であると判定する（ステップＳ８）。
【０１３４】
上記ステップＳ７において、aveb1 ≦CDI ＿AVEB＿LTH であると判別した場合、または上記ステップＳ８において、（aveb1 −aveg1 ）≦CDI ＿RAT ＿BLTHであると判別した場合には、当該注目画素はＧレス領域ではない（非Ｇレス領域である）と判定する（ステップＳ９）。
【０１３５】
Ｇレス領域判別回路３２は、Ｇレス領域の判定結果をＧレス領域拡張回路３３に与える。Ｇレス領域拡張回路３３は、Ｇレス領域判別回路３２によってＧレス領域であると判定された注目画素については、本来のＧレス領域であることを示すＧレス領域判定信号（gless)を出力する。また、Ｇレス領域拡張回路３３は、Ｇレス領域判別回路３２によってＧレス領域ではないと判定された注目画素であっても、注目画素の所定周囲領域内の画素のうち、１画素でもＧレス領域判別回路３２によってＧレス領域であると判定されている場合には、当該注目画素をＧレス領域とみなし、当該注目画素については、拡張Ｇレス領域であることを示すＧレス領域判定信号（gless)を出力する。
【０１３６】
たとえば、Ｇレス領域拡張回路３３は、図１３に示すように、例えば、当該注目画素Ｘに隣接する周囲８画素のうち、１画素でもＧレス領域判別回路３２によってＧレス領域であると判定されている場合には、当該注目画素ＸをＧレス領域とみなし、当該注目画素Ｘについては、拡張Ｇレス領域であることを示すＧレス領域判定信号（gless)を出力する。      
【０１３７】
したがって、Ｇレス領域判別回路３２によってＧレス領域ではないと判定された注目画素であって、かつ当該注目画素に隣接する周囲８画素の全ての画素がＧレス領域判別回路３２によってＧレス領域ではないと判定されている場合にのみ、当該注目画素は非Ｇレス領域として扱われ、当該注目画素に対して非Ｇレス領域であることを示すＧレス領域判定信号（gless)が出力される。
【０１３８】
上記色分離回路１では、以下に示すように、次に注目画素がＧレス領域（拡張Ｇレス領域を含む）であるか非Ｇレス領域であるかおよび相関の強い方向が水平方向であるか垂直方向であるかによって、当該注目画素に対して出力されるＲ，Ｇ，Ｂ信号が決定される。      
【０１３９】
（ａ）注目画素がＧレス領域であり相関の強い方向が水平方向である場合には、低解像度水平垂直色分離処理回路１２によって生成されたＲｈ，Ｇｈ，Ｂｈ信号が出力される。
（ｂ）注目画素がＧレス領域であり相関の強い方向が垂直方向である場合には、低解像度水平垂直色分離処理回路１２によって生成されたＲｖ，Ｇｖ，Ｂｖ信号が出力される。
（ｃ）注目画素が非Ｇレス領域であり相関の強い方向が水平方向である場合には、水平垂直色分離処理回路１１によって生成されたＲｈ，Ｇｈ，Ｂｈ信号が出力される。
（ｄ）注目画素が非Ｇレス領域であり相関の強い方向が水平方向である場合には、水平垂直色分離処理回路１１によって生成されたＲｖ，Ｇｖ，Ｂｖ信号が出力される。
【０１４０】
色分離回路１から出力されるＲ，Ｇ，Ｂ信号はＹ／Ｃ分離回路２に送られる。Ｙ／Ｃ分離回路２では、色分離回路１から出力されるＲ，Ｇ，Ｂ信号に基づいて、Ｙ信号とＣ信号とが生成される。色分離回路１内のＧレス領域検出回路３０によって生成されるＧレス領域判定信号（gless)は、Ｙプロセス回路３にも送られる。
【０１４１】
図１４は、図７に示すような斜線を含む部分に本実施例の色分離処理を適用した場合を示している。
【０１４２】
図１４の左側の５×５画素のブロックは、図４（ａ）の５×５画素に対応している。このブロックを構成する各画素内の数字は、図７に示すような斜線を含む部分に対応するＣＣＤの出力信号を示している。
【０１４３】
図１４の中央上側の５×５画素内の数字は、本実施例の色分離処理によって生成されたＲ信号を示している。図１４の中央の５×５画素内の数字は、本実施例の色分離処理によって生成されたＧ信号を示している。図６の中央下側の５×５画素内の数字は、本実施例の色分離処理によって生成されたＢ信号を示している。
【０１４４】
図１４の右側の５×５画素内の数字は、上記Ｒ信号、Ｇ信号およびＢ信号から求められた輝度信号（Ｙ信号）を示している。
【０１４５】
図１５（ａ）は、１ライン目の本来のＲ信号、Ｇ信号およびＢ信号の信号レベルを示し、図１５（ｂ）は、本実施例の色分離処理によって生成された１ライン目のＲ信号（Ｒ１）、Ｇ信号（Ｇ１）およびＢ信号（Ｂ１）の信号レベルを示している。
【０１４６】
また、図１６（ａ）は、各ラインの本来のＹ信号（Ｙ１〜Ｙ５）の信号レベルを示し、図１６（ｂ）は、本実施例の色分離処理によって生成されたＲＧＢ信号に基づいて算出された各ラインのＹ信号（Ｙ１〜Ｙ５）の信号レベルを示している。
【０１４７】
図１６（ａ）、（ｂ）から分かるように、相関判別色分離処理によって生成されたＲＧＢ信号に基づいて算出された輝度値は、斜線部分（図１６の横軸に”２”で示される列）において、本来の輝度値に近くなり、斜線部が滑らかになる。
【０１４８】
上記実施例では、ＣＤＩ処理回路１０内の第１選択回路１３は、Ｇレス領域判定信号（gless)がＧレス領域および拡張Ｇレス領域であることを示している場合に、低解像度水平垂直色分離処理回路１２によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）を選択して出力し、Ｇレス領域判定信号（gless)が非Ｇレス領域ではあることを示している場合には、水平垂直色分離処理回路１１によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）を選択して出力している。
【０１４９】
しかしながら、第１選択回路１３として、Ｇレス領域判定信号（gless)が拡張Ｇレス領域であることを示している場合には、低解像度水平垂直色分離処理回路１２によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）と水平垂直色分離処理回路１１によって生成されたＲＧＢ信号（Ｒｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号）とを加重加算し、その算出結果を出力するものを用いてもよい。
【０１５０】
つまり、水平垂直色分離処理回路１１によって生成されたＲＧＢ信号をＲｈ１，Ｇｈ１，Ｂｈ１信号およびＲｖ１，Ｇｖ１，Ｂｖ１信号とし、低解像度水平垂直色分離処理回路１２によって生成されたＲＧＢ信号をＲｈ２，Ｇｈ２，Ｂｈ２信号およびＲｖ２，Ｇｖ２，Ｂｖ２信号とすると、Ｇレス領域判定信号（gless)が拡張Ｇレス領域であることを示している場合には、次式(15)に基づいて算出されたＲｈ，Ｇｈ，Ｂｈ信号およびＲｖ，Ｇｖ，Ｂｖ信号を第１選択回路１３から出力させる。
【０１５１】
Rh＝k ×Rh1 ＋(1-k) ×Rh2 
Gh＝k ×Gh1 ＋(1-k) ×Gh2 
Bh＝k ×Bh1 ＋(1-k) ×Bh2 
Rv＝k ×Rv1 ＋(1-k) ×Rv2 
Gv＝k ×Gv1 ＋(1-k) ×Gv2 
Bv＝k ×Bv1 ＋(1-k) ×Bv2                   …(15)
【０１５２】
また、上記実施例では、Ｇレス領域拡張回路３３が設けられているが、Ｇレス領域拡張回路３３を設けなくてもよい。この場合には、Ｇレス領域判別回路３２は、Ｇレス領域と判別した画素についてはＧレス領域であることを示し、それ以外の画素については非Ｇレス領域であることを示すＧレス領域判定信号（gless)を出力する。そして、このＧレス領域判定信号（gless)がＣＤＩ処理回路１０内の選択回路１３に送られることになる。
【０１５３】
〔３〕Ｙプロセス回路３についての説明
上記色分離回路１では、Ｇレス領域においては、斜線を滑らかにするために、相関が高い方向の解像度を低下させるように、ＲＧＢ信号を生成している。そこで、Ｙプロセス回路３において、Ｇレス領域に対する輪郭強調ゲインを非Ｇレス領域に対する輪郭強調ゲインより強めることにより、Ｇレス領域で低下した解像度を補償している。
【０１５４】
図１７は、Ｙプロセス回路３の構成を示している。
【０１５５】
Ｙ／Ｃ分離回路２（図１０参照）から出力されるＹ信号は、第１Ｙプロセス回路１３１に送られるとともにアパーチャ生成回路１３２にも送られる。第１Ｙプロセス回路１３１では、γ補正等の所定の処理が施される。第１Ｙプロセス回路１３１から出力される信号Ｙ１はアパーチャ加算回路１３５に送られる。
【０１５６】
アパーチャ生成回路１３２では、Ｙ信号に基づいてアパーチャ信号ａｐが生成される。アパーチャ信号ａｐは、ノーマルアパーチャゲイン回路１３３と、Ｇレス領域用アパーチャゲイン回路１３４とに送られる。ノーマルアパーチャゲイン回路１３３では、アパーチャ信号ａｐに、通常のゲインｇ１を乗算する。Ｇレス領域用アパーチャゲイン回路１３４では、アパーチャ信号ａｐに、Ｇレス領域での解像度の低下を補償するために、通常のゲインｇ１より大きなゲインｇ２を乗算する。
【０１５７】
ノーマルアパーチャゲイン回路１３３から出力されるアパーチャ信号ａｐ１およびＧレス領域用アパーチャゲイン回路１３４から出力されるアパーチャ信号ａｐ２は、アパーチャ加算回路１３５に送られる。アパーチャ加算回路１３５には、色分離回路１内のＧレス領域検出回路３０によって生成されたＧレス領域判定信号（gless)も送られる。
【０１５８】
アパーチャ加算回路１３５は、Ｇレス領域判定信号（gless)に基づいて、非Ｇレス領域においては、第１Ｙプロセス回路１３１から出力される信号Ｙ１にノーマルアパーチャゲイン回路１３３から出力されるアパーチャ信号ａｐ１を加算する。
【０１５９】
また、アパーチャ加算回路１３５は、本来のＧレス領域においては、第１Ｙプロセス回路１３１から出力される信号Ｙ１にＧレス領域用アパーチャゲイン回路１３４から出力されるアパーチャ信号ａｐ２を加算する。
【０１６０】
また、アパーチャ加算回路１３５は、拡張Ｇレス領域においては、第１Ｙプロセス回路１３１から出力される信号Ｙ１に、ノーマルアパーチャゲイン回路１３３から出力されるアパーチャ信号ａｐ１とＧレス領域用アパーチャゲイン回路１３４から出力されるアパーチャ信号ａｐ２とを加重加算する。
【０１６１】
つまり、アパーチャ加算回路１３５の出力をＹ２とすると、非Ｇレス領域においては次式(16)に基づいて、本来のＧレス領域においては次式(17)に基づいて、拡張Ｇレス領域においては次式(18)に基づいて、Ｙ２が算出される。
【０１６２】
Ｙ２＝Ｙ１＋ａｐ１                                …(16)
Ｙ２＝Ｙ１＋ａｐ２                                …(17)
Ｙ２＝Ｙ１＋（ｋ＊ａｐ１＋（１−ｋ）＊ａｐ２）    …(18)
【０１６３】
上記式(18)において、k は任意に設定可能な係数である。
【０１６４】
アパーチャ加算回路１３５の出力信号Ｙ２は、第２Ｙプロセス回路１３６に送られ、ノイズ除去等の所定の処理が施された後、Ｙｏｕｔとして出力される。
【図面の簡単な説明】
【０１６５】
【図１】ベイヤー方式の色フィルタアレイを備えたＣＣＤの出力信号のうち、注目画素を中心とする５×５の２５画素を示す模式図である。
【図２】垂直状の輪郭線を含む部分にＬＰＦ色分離処理を適用した場合の処理結果を示す模式図である。
【図３】相関判別色分離処理を適用した色分離回路の構成を示すブロック図である。
【図４】ベイヤー方式の色フィルタアレイを備えたＣＣＤの出力信号のうち、注目画素を中心とする５×５の２５画素を示し、図４（ａ）は注目画素がＧ画素である場合の模式図であり、図４（ｂ）は注目画素がＲ画素である場合の模式図である。
【図５】垂直状の輪郭線を含む部分に相関判別色分離処理を適用した場合の処理結果を示す模式図である。
【図６】図７に示すような斜線を含む部分に相関判別色分離処理を適用した場合の処理結果を示す模式図である。
【図７】斜線を含む部分画像を示す模式図である。
【図８】図８（ａ）は、１ライン目の本来のＲ信号、Ｇ信号およびＢ信号の信号レベルを示し、図８（ｂ）は、相関判別色分離処理によって生成された１ライン目のＲ信号（Ｒ１）、Ｇ信号（Ｇ１）およびＢ信号（Ｂ１）の信号レベルを示すグラフである。
【図９】図９（ａ）は、各ラインの本来のＹ信号（Ｙ１〜Ｙ５）の信号レベルを示し、図９（ｂ）は、相関判別色分離処理によって生成されたＲＧＢ信号に基づいて算出された各ラインのＹ信号（Ｙ１〜Ｙ５）の信号レベルを示すグラフである。
【図１０】デジタルスチルカメラの信号処理回路の全体構成を示すブロック図である。
【図１１】図１０の色分離回路１の構成を示すブロック図である。
【図１２】Ｇレス領域判別回路３２によって行われるＧレス領域判別処理手順を示すフローチャートである。
【図１３】Ｇレス領域判別回路３２の動作を示すための模式図である。
【図１４】図７に示すような斜線を含む部分に本実施例の色分離処理を適用した場合の処理結果を示す模式図である。
【図１５】図１５（ａ）は、１ライン目の本来のＲ信号、Ｇ信号およびＢ信号の信号レベルを示し、図１５（ｂ）は、本実施例の色分離処理によって生成された１ライン目のＲ信号（Ｒ１）、Ｇ信号（Ｇ１）およびＢ信号（Ｂ１）の信号レベルを示すグラフである。
【図１６】図１６（ａ）は、各ラインの本来のＹ信号（Ｙ１〜Ｙ５）の信号レベルを示し、図１６（ｂ）は、本実施例の色分離処理によって生成されたＲＧＢ信号に基づいて算出された各ラインのＹ信号（Ｙ１〜Ｙ５）の信号レベルを示すグラフである。
【図１７】図１０のＹプロセス回路３の構成を示すブロック図である。
【符号の説明】
【０１６６】
１  色分離回路
１０  ＣＤＩ処理回路
１１  水平垂直色分離処理回路
１２  低解像度水平垂直色分離処理回路
１３，１４  選択回路
２０  相関方向判別回路
３０  Ｇレス領域検出回路
【図１】
2005260881.tif 000003
【図２】
2005260881.tif 000004
【図３】
2005260881.tif 000005
【図４】
2005260881.tif 000006
【図５】
2005260881.tif 000007
【図６】
2005260881.tif 000008
【図７】
2005260881.tif 000009
【図８】
2005260881.tif 000010
【図９】
2005260881.tif 000011
【図１０】
2005260881.tif 000012
【図１１】
2005260881.tif 000013
【図１２】
2005260881.tif 000014
【図１３】
2005260881.tif 000015
【図１４】
2005260881.tif 000016
【図１５】
2005260881.tif 000017
【図１６】
2005260881.tif 000018
【図１７】
2005260881.tif 000019