(57)【特許請求の範囲】
【請求項１】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、緑およびマゼンダのどちらかの色相範囲に入り、
（２）かつ平坦度が、予め定められた閾値よりも低く、色境界またはエッジ部であることを示す
という条件を満足するか否かを判定する収差判定部と、
前記収差判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、彩度を下げる前記適正係数群を設定する係数決定部とを含む
ことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、ビデオカメラ、スキャナ、プリンタなどのカラー画像機器に適用される色変換処理技術に関する。
【０００２】
【従来の技術】
一般に、カラー画像機器には、画素信号に対し良好な色再現性を付与するために、そのカラー画像機器に固有の入出力特性などに合わせて、色変換処理（表色系の変換などを含む場合もある）を実施する色変換回路が搭載される。
ところで、色変換回路としては、大別して、スキャナやプリンタなどに多く使用されているルックアップテーブル回路と、電子カメラやビデオカメラなどに多く使用されているマトリクス回路とがある。
【０００３】
このうち、ルックアップテーブル回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）それぞれについての変換後の画素信号（Ｒ’，Ｇ’，Ｂ’）を記憶するので、線形（１次）の色変換だけでなく高次の色変換が可能である。このような色変換では、画像機器の入出力特性に応じた複雑な色変換特性が設定可能になる。
したがって、ルックアップテーブル回路によれば、画素信号に対し高い色再現性が付与され、各色の絵柄が全て適正な色で表現されることとなる。しかし、記憶すべき情報量が多い分だけ、回路規模が増大するという欠点がある。
【０００４】
一方、マトリクス回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）に対し共通の変換式（通常は３×３の１次の変換マトリクス）を記憶するだけなので、線形の色変換しかできない。
したがって、マトリクス回路によると、画素信号に対しあまり高い色再現性を付与することができず、全色の絵柄を全て適正な色で表現できるとは限らない。しかし、記憶すべき情報量が少なく演算が簡便な分だけ、回路規模が低く抑えられるという利点がある。
【０００５】
因みに、マトリクス回路において、変換の次数を増加させて色変換特性を曲線状に設定することが考えられる。しかし、例えば、変換次数を１つ増やしてそのカーブを２次曲線にするだけでも、変換マトリクスが３×９の規模に増大すると共に、それに適合するベクトル（Ｒ2，Ｇ2，Ｂ2，ＲＧ，ＧＢ，ＢＲ，Ｒ，Ｇ，Ｂ）を生成する必要も生じるので、変換の全体に要す乗除算回数は、＋２４というように、著しく増大する。したがって、マトリクス回路により色変換特性を３次や４次などの高次の曲線にするには、回路規模が著しく増大するのは言うまでもない。
【０００６】
このため、従来は、例えば、特許文献１や特許文献２に開示されたマトリクス回路のように、変換次数を１に抑えたまま変換マトリクスの係数群を予め複数種用意すると共に、それら係数群を、画素信号の属する色範囲に応じて選択使用することが試みられていた。これにより、回路規模を大幅に増大させることなく、色変換特性を適正な曲線に近づけることができる。
【０００７】
【特許文献１】
特開平６−６５８７号公報
【特許文献２】
特開平５−３００３６７号公報
【０００８】
【発明が解決しようとする課題】
本願発明者は、上述した従来技術では、画素信号に含まれるノイズによって色変換処理が敏感に変動してしまい、そのノイズが目立つような色変換処理を行ってしまうという問題点に気が付いた。
【０００９】
また、上述した従来技術では、１画素単位に色変換特性を変化させているため、色変換特性が大幅に変化する箇所が画面内に多数発生する。そのため、これら多数の箇所において、色変換特性の段差が偽信号（ノイズ）になって目立つという問題も懸念される。
【００１０】
そこで、本発明は、色変換処理を画素ごとに調整するに際して、このようなノイズを改善する技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
以下、本発明について説明する。
【００１８】
《請求項１》
請求項１の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、収差判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平坦度を算出する。
収差判定部は、下記の条件（１）（２）を全て満足するか否かを判定する。
（１）平均色情報が、緑およびマゼンダのどちらかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて色境界またはエッジ部であることを示す。
係数決定部は、収差判定部において条件（１）（２）の両方を満足すると、処理対象の画素に使用する係数群に、彩度を下げる適正係数群を決定する。
一般に、これらの条件（１）（２）の両方を満足する箇所は、倍率色収差の出現箇所である可能性が高い。したがって、この箇所において選択的に彩度（彩度強調も含む）を下げることによって、画像中に現れる倍率色収差を目立ちにくくすることが可能になる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２５】
《実施形態》
［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。撮像素子１３の画像出力は、Ａ／Ｄ変換部１４およびホワイトバランス調整部１５を介して処理された後、バッファ１６に画像データとして格納される。
【００２６】
このバッファ１６内の画像データは、色補間部１７、階調変換部１８、色変換部１９、ノイズ除去部２０、および輪郭強調部２１を介して処理された後、不図示の記録媒体に圧縮記録される。
さらに、電子カメラ１１には、解析部２２、係数決定部２３、および対応設定部２４が設けられる。
この解析部２２および係数決定部２３は、マイクロプロセッサなどから構成される。一方、対応設定部２４はメモリなどから構成される。
なお、請求項記載の収差判定部、肌判定部、および青空判定部は、この対応設定部２４に含まれる。
【００２７】
［実施形態の動作説明］
図２の流れ図に、電子カメラ１１が色変換処理の適正係数群を画素単位に決定する動作を示す。
以下、この図２に示すステップ順に沿って、この本発明の特徴的動作について説明する。
【００２８】
ステップＳ１：  解析部２２は、色変換の処理対象とする画素を含む局所域を設定する。解析部２２は、この局所域に該当する複数の画素信号をバッファ１６から読み出す。
図３は、この局所域の一例を示す図である。この例では、処理対象の画素（太字で示す画素）を中心に、横９画素×縦７画素の範囲を局所域に設定する。この局所域のサイズについては、画像データの縦横画素数や出力解像度や印刷サイズや表示サイズに合わせて拡大縮小することが好ましい。
なお、処理対象が画面の端近くに位置する場合、局所域の設定範囲が画像データからはみ出す。
このような場合、画面の端を対称軸にして画素折り返しを行い、局所域の空白部分を画素折り返しで埋めることが好ましい。
また、処理対象の画素もしくは近傍の値を用いて、局所域の空白部分を埋めてもよい。
【００２９】
ステップＳ２：  解析部２２は、局所域に含まれる複数の画素信号に基づいて、平均輝度情報を次のような手順で求める。
まず、解析部２２は、この局所域の複数の画素信号を色毎に加算し、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を求める。
例えば、図３［Ａ］のように、ベイヤ配列のＢ行中のＧ画素（以下『Ｇｂ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。（ただし、垂直位置ｙかつ水平位置xの画素信号は、Cyxと表記する。例えば、C23は局所域中心の画素信号に該当する。以下同じ）
ＴΣ(R)＝(C11+C13+C15+C31+C33+C35)
ＴΣ(B)＝(C00+C02+C04+C06+C20+C22+C24+C26+C40+C42+C44+C46)
ＴΣ(G)＝(C01+C03+C05+C10+C12+C14+C16+C21+C23+C25+C30+C32+C34+C36+C41+C43+C45)
また例えば、図３［Ｂ］のように、ベイヤ配列のＲ行中のＧ画素（以下『Ｇｒ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C00+C02+C04+C06+C20+C22+C24+C26+C40+C42+C44+C46)
ＴΣ(B)＝(C11+C13+C15+C31+C33+C35)
ＴΣ(G)＝(C01+C03+C05+C10+C12+C14+C16+C21+C23+C25+C30+C32+C34+C36+C41+C43+C45)
また例えば、図３［Ｃ］のように、ベイヤ配列のＢ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C10+C12+C14+C16+C30+C32+C34+C36)
ＴΣ(B)＝(C01+C03+C05+C21+C23+C25+C41+C43+C45)
ＴΣ(G)＝(C00+C02+C04+C06+C11+C13+C15+C20+C22+C24+C26+C31+C33+C35+C40+C42+C44+C46)
また例えば、図３［Ｄ］のように、ベイヤ配列のＲ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ(R)＝(C01+C03+C05+C21+C23+C25+C41+C43+C45)
ＴΣ(B)＝(C10+C12+C14+C16+C30+C32+C34+C36)
ＴΣ(G)＝(C00+C02+C04+C06+C11+C13+C15+C20+C22+C24+C26+C31+C33+C35+C40+C42+C44+C46)
解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）の総和を画素数で割って、平均輝度情報を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均輝度情報を求めてもよい。
【００３０】
ステップＳ３：  続いて、解析部２２は、平均色情報として、局所域の平均的な色度座標を下式を用いて算出する。
（Ｒ／Ｇ，Ｂ／Ｇ）＝（ＴΣ（Ｒ）／ＴΣ（Ｇ），ＴΣ（Ｂ）／ＴΣ（Ｇ））
なお、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）は、加算画素数に応じて正規化しておくことが好ましい。
このように求めた色度座標（Ｒ／Ｇ，Ｂ／Ｇ）からは、局所域の色相（図４参照）や彩度を識別することができる。
【００３１】
ステップＳ４：  さらに、解析部２２は、局所域の平坦度を次の手順で求める。
なお、ここでは説明を簡明にするため、Ｇｂ画素が局所域の中心に位置するケース（図３［Ａ］参照）について説明する。その他のケースについては、局所域の色配置を考慮して同様の計算を行えば、平坦度を求めることができる。
【００３２】
（１）垂直方向の差分ＵＤ（Ｒ），ＵＤ（Ｂ），ＵＤ（Ｇ）
UD(R)＝|(C11+C13+C15)-(C31+C33+C35)|
UD(B)＝|(C00+C02+C04+C06)-(C40+C42+C44+C46)|
UD(G)＝|(C01+C03+C05+C10+C12+C14+C16)-(C30+C32+C34+C36+C41+C43+C45)|
【００３３】
（２）水平方向の差分ＬＲ（Ｒ），ＬＲ（Ｂ），ＬＲ（Ｇ）
LR(R)＝|(C11+C31)-(C15+C35)|
LR(B)＝|(C00+C02+C20+C22+C40+C42)-(C04+C06+C24+C26+C44+C46)|
LR(G)＝|(C01+C10+C12+C21+C30+C32+C41)-(C05+C14+C16+C25+C34+C36+C45)|
【００３４】
（３）斜め右下方向の差分ＡＮ１（Ｒ），ＡＮ１（Ｂ），ＡＮ１（Ｇ）
AN1(R)＝|(C11+C13+C31)-(C15+C33+C35)|
AN1(B)＝|(C00+C02+C04+C20+C22+C40)-(C06+C24+C26+C42+C44+C46)|
AN1(G)＝|(C01+C03+C10+C12+C21+C30)-(C16+C25+C34+C36+C43+C45)|
【００３５】
（４）斜め右上方向の差分ＡＮ２（Ｒ），ＡＮ２（Ｂ），ＡＮ２（Ｇ）
AN2(R)＝|(C13+C15+C35)-(C11+C31+C33)|
AN2(B)＝|(C02+C04+C06+C24+C26+C46)-(C00+C20+C22+C40+C42+C44)|
AN2(G)＝|(C03+C05+C14+C16+C25+C36)-(C10+C21+C30+C32+C41+C43)|
【００３６】
（５）色毎に最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）を求める。
STEP(R)＝MAX(UD(R),LR(R),AN1(R),AN2(R))
STEP(B)＝MAX(UD(B),LR(B),AN1(B),AN2(B))
STEP(G)＝MAX(UD(G),LR(G),AN1(G),AN2(G))
【００３７】
（６）色毎の最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）の平均値を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均値を求めてもよい。
このように求めた最大差分の平均値が大きいほど、局所域の平坦度が低いと評価できる。また逆に、この最大差分の平均値が小さいほど、局所域の平坦度が高いと評価できる。
【００３８】
ステップＳ５：  係数決定部２３は、平均輝度情報、平均色情報、および平坦度を解析部２２から情報取得する。
係数決定部２３は、これらの情報を対応設定部２４に記憶される下記条件に照合し、処理対象の画素が倍率色収差の箇所か否かを判定する。
（１）平均色情報が、緑およびマゼンダのいずれかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて、色境界またはエッジ部であることを示す。ここでの閾値は、倍率色収差が目立ちはじめる平坦度に設定することが好ましい。
条件（１）（２）をいずれも満足すると、係数決定部２３は、処理対象が倍率色収差の発生箇所であると判断して、ステップＳ６に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ７に動作を移行する。
【００３９】
なお、下記の条件（３）（４）を判断に加えることで、より確実に倍率色収差の発生箇所か否かを判定してもよい。
（３）画面の周辺部である
（４）撮影光学系の情報（焦点距離、収差情報など）から倍率色収差の発生可能性が高い
ステップＳ６：  このステップでは、処理対象の画素が、倍率色収差の発生箇所である可能性が高い。そこで、係数決定部２３は、彩度（特に緑およびマゼンダの彩度）を下げる方向に適正係数群を調整する。このような調整により、色変換部１９は、倍率色収差の発生画素を低い彩度に変換する。その結果、倍率色収差の目立たない良好な画像データが得られる。
【００４０】
ステップＳ７：  係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が肌色の箇所か否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より高く、肌の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から肌の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が肌色箇所であると判断して、ステップＳ８に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ９に動作を移行する。
【００４１】
ステップＳ８：  このステップでは、処理対象の画素が、肌部分である可能性が高い。そこで、係数決定部２３は、肌色の色相範囲の彩度を選択的に上げたり、肌色の色相をピンク寄りや赤寄りに変化させることにより、肌色の再現性を高める。
このような調整により、人物の顔色が良くなるなど、色変換の結果として良好な画像データを得ることができる。
【００４２】
ステップＳ９：  係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が青空の箇所か否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から青空の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が青空の箇所であると判断して、ステップＳ１０に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ１１に動作を移行する。
【００４３】
ステップＳ１０：  このステップでは、処理対象の画素が、青空である可能性が高い。そこで、係数決定部２３は、青空の色相範囲の彩度を選択的に上げたり、青空の色相をより鮮やかな紺色寄りに変化させることにより、青空の再現性を高める。
このような調整により、青空が色鮮やかになるなど、色変換の結果として良好な画像データを得ることができる。
【００４４】
ステップＳ１１：  係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均色情報が示す局所域の平均的な色相の彩度を選択的に高める方向に、適正係数群を調整する。なお、平均色情報の彩度が所定の閾値よりも低い場合は、無彩色に近い領域と判断して、ステップＳ１１の調整をバイパスすることが好ましい。
このような調整では、局所域が一様な色相を示すほど、その色相が色鮮やかに変換される。
また、処理対象に単発的な色ノイズが含まれていても、その色ノイズが局所域の平均的な色相と異なっていて目立つものであればあるほど、彩度強調される可能性は低くなる。そのため、画素単位の色変換特性の調整によって色ノイズが目立ってしまうという従来例の弊害を顕著に改善できる。
【００４５】
ステップＳ１２：  係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均輝度情報が中間階調の範囲内か否かを判定する。
この中間階調の範囲は、彩度強調の弊害の少ない階調域に設定することが好ましい。
平均輝度情報が中間階調の範囲内であれば、係数決定部２３はステップＳ１３に動作を移行する。
一方、それ以外の場合、係数決定部２３はステップＳ１４に動作を移行する。
【００４６】
ステップＳ１３：  平均輝度情報が中間階調の範囲内にある場合、係数決定部２３は、彩度を上げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
このような調整により、中間の階調域において色のメリハリが強調されることになり、色変換の結果として良好な画像データが得られる。
このような調整の後、係数決定部２３は、ステップＳ１５に動作を移行する。
【００４７】
ステップＳ１４：  平均輝度情報が中間階調の範囲以外にある場合、係数決定部２３は、彩度を下げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
処理対象の画素がノイズによって中間階調の範囲内に入っても、局所域全体として明部または暗部であれば、彩度を下げる方向に色変換が為される。
その結果、暗部において色ノイズが目立ったり、明部において色飽和するなどの弊害を的確に抑制することができる。
【００４８】
ステップＳ１５：  係数決定部２３は、平坦度に基づいて、対応設定部２４の対応関係を照合することにより、適正係数群を調整する。
このとき、平坦度が高いほど、彩度を上げる方向に適正係数群が調整される。
逆に、平坦度が低いほど、彩度を下げる方向に適正係数群が調整される。
図６は、このような調整傾向の一例を示す図である。
このような調整により、エッジ部や色境界において彩度を下げ、偽色の発生を的確に防止することができる。逆に、平坦な領域については彩度を上げることによって、画像全体の印象を色鮮やかにすることができる。
【００４９】
《実施形態の補足事項など》
なお、上述した実施形態は、電子カメラに信号処理装置（解析部２２，係数決定部２３，対応設定部２４，および色変換部１９）を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、他のカラー画像機器に信号処理装置を搭載してもよい。
【００５０】
また、コンピュータを、色変換部１９，係数適正化部（解析部２２、係数決定部２３、および対応設定部２４など）として機能させる信号処理プログラムを作成してもよい。この信号処理プログラムを使用することにより、コンピュータ上において画像データ（特にＲＡＷデータ）に好適な色変換処理を施すことが可能になる。
【００５１】
さらに、上述した実施形態において、対応設定部２４に予め設定する対応関係は、局所域の特徴情報（例えば平均輝度情報、平均色情報、平坦度）を照合することで『適正係数群』を決定できるものであればなんでもよい。例えば、対応関係として、局所域の特徴情報に適正係数群の選択ナンバーを対応付けて記憶したルックアップテーブルを使用してもよい。また例えば、対応関係として、特徴情報から適正係数群の補正量を算出する演算式を使用してもよい。
【００５２】
【発明の効果】
本発明では、処理対象画素を含むように設定された局所域について、平均色情報、平均輝度情報、および平坦度などを求め、このような局所域の特徴情報に基づいて、色変換の係数を決定する。
【００５３】
この場合、局所域内での平均化の過程で、特徴情報のノイズが十分に抑制される。その結果、ノイズによって予想外の色変換処理を実施するなどのおそれが少ない。
【００５４】
さらに、近接する画素間では、各設定される局所域の大半が重複するため、局所域の単位で求める特徴情報は急激に変化しない。したがって、近接する画素間において、色変換の係数が急激に変化する可能性が低い。その結果、近接する画素間において色変換の係数が急激に変化して偽の色境界や偽色が多数発生するといった弊害を適切に抑制できる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１を示すブロック図である。
【図２】色変換の係数マトリクスを決定する動作の流れ図である。
【図３】局所域の一例を示す図である。
【図４】色度座標の一例を示す図である。
【図５】調整傾向の一例を示す図である。
【図６】調整傾向の一例を示す図である。
【符号の説明】
１１  電子カメラ
１２  撮影レンズ
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  ホワイトバランス調整部
１６  バッファ
１７  色補間部
１８  階調変換部
１９  色変換部
２０  ノイズ除去部
２１  輪郭強調部
２２  解析部
２３  係数決定部
２４  対応設定部
【図１】
0004356376.tif 000002
【図２】
0004356376.tif 000003
【図３】
0004356376.tif 000004
【図４】
0004356376.tif 000005
【図５】
0004356376.tif 000006
【図６】
0004356376.tif 000007