(57)【特許請求の範囲】
【請求項１】
輝度信号と色信号を出力可能な信号処理装置であって、
撮像素子の出力信号に基づき得られたＲＧＢの色信号に第1の非線型処理を行い、処理された色信号を第１ビット数で出力する第1の非線型処理変換手段と、
前記第１の非線型処理変換手段から出力された前記第１ビット数の色信号を前記第１ビット数の色差信号に変換して出力する色変換手段と、
前記ＲＧＢの色信号に対応する輝度信号に、非線型変換曲線の傾きが高輝度領域において前記第１の非線型処理手段の非線型変換曲線の傾きよりも小さい特性の第２の非線型処理を行い、処理された輝度信号を前記第１ビット数より少ない第２ビット数で出力する第２の非線型処理手段と、
前記色変換手段により出力された色信号のビット数を前記第１ビット数から前記第２ビット数へと減らすよう調整するビット数調整手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記ビット数調整手段は、前記色変換手段から出力された色差信号のビット数を画像出力装置のビット数に減らすことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記ビット調整手段は、非線型処理で行うことを特徴とする請求項１または２に記載の信号処理装置。
【請求項４】
前記ビット調整手段は、前記色変換手段から出力される２つの色差信号のうち、どちらか一方の色差信号が非線型領域に含まれた場合、その信号にゲインをかけてビット調整を行ない、残る色差信号にも同じゲインを用いて補正することを特徴とする請求項３に記載の信号処理装置。
【請求項５】
前記ビット調整手段は、前記２つの色差信号のうち、両方とも非線型領域に含まれた場合、第１の色差信号にかける第１のゲインと、第２の色差信号にかける第２のゲインを比較し、小さいほうのゲインを用いて、第１及び第２の色差信号の利得を調整することを特徴とする請求項４に記載の信号処理装置。
【請求項６】
輝度信号と色信号を出力可能な信号処理方法であって、
撮像素子の出力信号に基づき得られたＲＧＢの色信号に第１の非線型処理を行い、処理された色信号を第１ビット数で出力する第１の非線型処理変換工程と、
前記第１の非線型処理変換工程により出力された前記第１ビット数の色信号を前記第１ビット数の色差信号に変換して出力する色変換工程と、
前記ＲＧＢの色信号に対応する輝度信号に、非線型変換曲線の傾きが高輝度領域において前記第１の非線型処理工程の非線型変換曲線の傾きよりも小さい特性の第２の非線型処理を行い、処理された輝度信号を前記第１ビット数より少ない第２ビット数で出力する第２の非線型処理変換工程と、
前記色変換工程により出力された色信号のビット数を前記第１ビット数から前記第２ビット数へと減らすよう調整するビット数調整工程と、
を有することを特徴とする信号処理方法。
【請求項７】
前記ビット数調整工程は、前記色変換工程において出力される色差信号のビット数を画像出力装置のビット数に合わせて減らすことを特徴とする請求項６に記載の信号処理方法。
【請求項８】
前記ビット調整工程は、非線型処理で行うことを特徴とする請求項６または７に記載の信号処理方法。
【請求項９】
前記ビット調整工程は、前記色変換工程から出力される２つの色差信号のうち、どちらか一方の色差信号が非線型領域に含まれた場合、その信号にゲインをかけてビット調整を行ない、残る色差信号にも同じゲインを用いて補正することを特徴とする請求項６乃至８のいずれかに記載の信号処理方法。
【請求項１０】
前記ビット調整工程は、前記２つの色差信号のうち、両方とも非線型領域に含まれた場合、第１の色差信号にかける第１のゲインと、第２の色差信号にかける第２のゲインを比較し、小さいほうのゲインを用いて、第１及び第２の色差信号の利得を調整することを特徴とする請求項９に記載の信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置の画像信号を処理する信号処理装置及び信号処理方法に関する。
【０００２】
【従来の技術】
図２は従来の補色系撮像素子を用いた信号処理装置の構成を示す。この撮像素子には図３のようなＭｇ（マゼンタ），Ｇ（グリーン），Ｃｙ（シアン），Ｙｅ（イエロー）の４色の色フィルタが貼り付けられている。撮像素子からの出力信号はＯＢ（オプティカル・ブラック）回路２０１、固体差ばらつき補正回路（ピクセルゲイン回路）２０２、ＷＢ（白バランス）回路２０３、オフセット回路２０４を経て、輝度信号作成処理系、色信号作成処理系にわかれる。
【０００３】
輝度信号作成処理系では、まず色フィルタによるゲイン段差がローパスフィルタ（ノッチ回路）２１５により除去され、Ｙクランプ回路２１６で輝度信号に対するクランプ処理が施され、次に、ＡＰＣ（アパーチャ）回路２１７によりエッジ強調が施され、Ｙ補償回路（Y  comp回路、輝度信号補償回路）２１８にて色差信号によるレベル補正が行なわれ、図５の曲線５０２のような変換特性をもつＹ−ガンマ（Y−Gamma、輝度信号ガンマ補正）回路２１９にて８ビットのＹｈ輝度信号となる。
【０００４】
一方、色信号作成処理系では、色補間回路２０５にて上記４色とも全ての画素に値があるよう補間され、色マトリクス回路（色変換回路）２０６にて補色→純色→色差変換が行なわれ、リニア・クリップ（Linear Clip）・マトリクス回路２０７にて微妙な色の補正を行われる。次に、Ｃ＿ＳＵＰ（クロマ・サプレス）回路２０８にて飽和輝度領域の色消しが行われ、ローパスフィルタ２０９にて帯域が制限される。その後、クロマゲイン回路２１０にて彩度の調整が行なわれた後、低帯域Ｙｌ信号と色差信号とによりマトリクス回路２１１にてＲＧＢ信号に再び変換される。
【０００５】
低帯域ＲＧＢ信号は図５の曲線５０２のような変換特性をもつＣ−ガンマ（色信号ガンマ補正）回路２１３にて８ビットのＲＧＢ（レッド、グリーン、ブルー）信号となる。次に、ＲＧＢ信号から色変換回路２１４で色差信号ＣｒＣｂに変換される。
【０００６】
輝度信号作成処理系からのＹｈ信号と、色信号作成処理系からのＣｒ、Ｃｂ信号とにより、画像信号を作成する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述の従来技術のように、輝度信号と色信号を同じビット数にガンマ変換した場合は、以下のような課題が生じる。
【０００８】
一般に、出力装置であるモニターの出力レンジは、ＲＧＢが各８ビットとなっており、かつ、図４の曲線４０１のようなガンマ特性がある。一方、カメラの出力は例えばＲＧＢ各１１ビットでリニアな信号となっている。そこで、モニターの特性に合わせて、出力装置のビット数にカメラ出力を非線型圧縮（ガンマ変換）する必要がある。
【０００９】
ここで、色相を損なわないためには、リニアな変換が好ましいが、モニターのガンマ特性を考慮しないため、暗い画像となってしまう。そこで、輝度の階調再現を正しくするために、図４の曲線４０２のようなモニター特性の逆ガンマをかける。若干の色相のずれはあるが、輝度の階調再現は保たれる。しかし。このようなガンマカーブであると、主被写体の中間輝度領域のコントラストが欠けた画像となる。
【００１０】
そこで、従来では、図５の曲線５０２のような、主被写体の描写領域（中間輝度領域）のコントラストをあげたガンマカーブを用いたり、モードにより用途に見合った複数のガンマカーブを使い分けている。主被写体のコントラストを向上させるため、上記曲線５０２のようなカーブのデータを用いた場合、中間輝度領域のコントラストをあげた分、低輝度領域か高輝度領域の階調をよりつぶす必要がある。この場合、特に色信号の高輝度高彩度領域は、８ビットＣ−ガンマ回路２１３でのＲとＧとの差を示す、図５の（ａ）からあきらかなように、ＲＧＢの信号の各信号差が小さくなり、彩度が失われ、かつ色相が大幅にずれる。このため、ガンマ変換後の画像の高輝度領域の色再現が悪くなり、画像が白飛びしやすく、かつ色が変色するという点があった。
【００１１】
本発明は、上記の点に鑑みて成されたもので、その目的は、ガンマ変換後の画像の高輝度領域の色つぶれが大幅に軽減でき、画像の白飛びや、色の変色が大幅に改善される信号処理装置及び信号処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、請求項１の信号処理装置の発明は、輝度信号と色信号を出力可能な信号処理装置であって、撮像素子の出力信号に基づき得られたＲＧＢの色信号に第1の非線型処理を行い、処理された色信号を第１ビット数で出力する第1の非線型処理変換手段と、前記第１の非線型処理変換手段から出力された前記第１ビット数の色信号を前記第１ビット数の色差信号に変換して出力する色変換手段と、前記ＲＧＢの色信号に対応する輝度信号に、非線型変換曲線の傾きが高輝度領域において前記第１の非線型処理手段の非線型変換曲線の傾きよりも小さい特性の第２の非線型処理を行い、処理された輝度信号を前記第１ビット数より少ない第２ビット数で出力する第２の非線型処理変換手段と、前記色変換手段により出力された色信号のビット数を前記第１ビット数から前記第２ビット数へと減らすよう調整するビット数調整手段と、を有することを特徴する。
上記目的を達成するため、請求項６の信号処理方法の発明は、輝度信号と色信号を出力可能な信号処理方法であって、撮像素子の出力信号に基づき得られたＲＧＢの色信号に第１の非線型処理を行い、処理された色信号を第１ビット数で出力する第１の非線型処理変換工程と、前記第１の非線型処理変換工程により出力された前記第１ビット数の色信号を前記第１ビット数の色差信号に変換して出力する色変換工程と、前記ＲＧＢの色信号に対応する輝度信号に、非線型変換曲線の傾きが高輝度領域において前記第１の非線型処理工程の非線型変換曲線の傾きよりも小さい特性の第２の非線型処理を行い、処理された輝度信号を前記第１ビット数より少ない第２ビット数で出力する第２の非線型処理変換工程と、前記色変換工程により出力された色信号のビット数を前記第１ビット数から前記第２ビット数へと減らすよう調整するビット数調整工程と、を有することを特徴する。
【００２６】
（作用）
上記構成により、本発明では、輝度信号の非線型処理に縛られることなく、色階調等の色再現性を最大限に保った状態で色信号を処理してビット数を調整することが可能になる。このため、最終的に色階調再現が保証された色相や階調再現性の良い必要なビット数の色信号を得ることができる。
【００２７】
例えば、モニターなどの出力装置の入力ビット数が８ビットである場合、Ｙ−ガンマ回路の入力を１１ビット、出力を８ビットとし、Ｃ−ガンマ回路の入力を１１ビット、出力を９ビットとする。このように、Ｃ−ガンマ回路の出力を９ビットとしたことで、８ビットガンマ時における飽和輝度領域の傾きをより大きくすることが可能となり、色つぶれが大幅に軽減できる。
【００２８】
また、Ｙ−ガンマ回路の出力輝度信号Ｙｈと合成して、最終ＲＧＢ画像信号を作成するために、Ｃ−ガンマ回路の出力信号（ＲＧＢ９ビット）を、ＹＣｒＣｂ信号に色変換する必要がある。そこで、本発明では、出力装置のビット幅に合わせるため、色変換時に、ＣｒＣｂ信号を出力装置のビット幅（±８ビット）に非線型演算する。このため、ＲＧＢ信号が９ビットのレンジを持っていても、彩度、照度が強くない限り、色差信号が大きくなることはなく、色差変換後の信号を非線型化してビット落ちさせても、絵に悪い影響はでない。従って、例えば、図５の曲線５０３のようなＣ−ガンマカーブを用いれば、高輝度領域の色再現、白つぶれや色相の変化（変色）は大幅に改善される。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３０】
図１は、本発明の一実施形態における信号処理装置の回路構成を示す。
【００３１】
撮像素子（図示しない）からの補色信号（ＭｇＣｙＹｅ）は、ＯＢ（オプティカル・ブラック）回路１０１によって黒引きされ、ピクセル・ゲイン（Ｐｉｘｅｌ  Ｇａｉｎ）回路１０２にて撮像素子のばらつきが補正される。その後、ＷＢ（白バランス）回路１０３でＷＢ補正され、オフセット回路１０４にて一定量のオフセットがつく。オフセット回路１０４の出力信号は輝度信号作成処理系、色信号作成処理系にわかれる。
【００３２】
輝度信号作成処理系では、ノッチ・フィルタ（Ｙ−ＬＰＦ）回路１１５で、色フイルタ段差が除去され、Ｙクランプ回路１１６で輝度信号に対するクランプ処理が施され、ＡＰＣ（アパーチャ）回路１１７にてエッジ強調される。ＡＰＣ回路１１７の出力信号は、Ｙ補償回路１１８にて色差信号による補正をうけ、Ｙ−ガンマ回路１１９にて８ビットのＹｈ信号（輝度信号）となる。
【００３３】
色信号作成処理系では、色補間回路１０５にて４色とも欠落画素が補間され、色マトリクス回路１０６にて補色（ＭｇＣｙＹｅ）→純色（ＲＧＢ）→輝度色差（ＹｌＲ−ＹＢ−Ｙ）信号に変換される。リニア・クリップ・マトリクス回路１０７にて微妙な色補正が行われた後、Ｃ−ＳＵＰ（クロマ・サプレス）回路１０８にて飽和領域の色消しが行われる。Ｃ−ＳＵＰ回路１０８の出力は、ローパスフィルタ回路１０９によって帯域が制限される。
【００３４】
ローパスフィルタ回路１０９により帯域制限されたＲ−Ｙ、Ｂ−Ｙ色差信号（±１１ビット）は、クロマゲイン回路１１０に送られて彩度が調整される。クロマゲイン回路１１０からの出力信号と低帯域の輝度信号Ｙｌを用いて、マトリクス回路１１１で再びＲＧＢ信号（１１ビット）となる。マトリクス回路１１１の出力はＣ−ガンマ回路１１３によってガンマ変換される。
【００３５】
ここで、Ｃ−ガンマ回路１１３の出力ビット数は、Ｙ−ガンマ回路１１９の出力ビット数よりも大きいことが特徴である。本実施形態では、Ｃ−ガンマ回路１１３の出力レンジを９ビット、Ｙ−ガンマ回路１１９の出力レンジを８ビットとする。Ｃ−ガンマ回路１１３の出力信号（ＲＧＢ９ビット）は、色変換回路１１４でＹＣｒＣｂ信号に変換され、ビット調整回路１２０により出力装置のビット数（ＣｒＣｂ＝±８ビット）に調整される。
【００３６】
最後に、輝度信号作成処理系のからのＹｈ信号と、色信号作成処理系からのＣｒＣｂを用いて、ＲＧＢ信号を作成し、モニターなどの出力装置に出力する。
【００３７】
以下に、本発明の主要な構成要素である、Ｙ−ガンマ回路１１９とＣ−ガンマ回路１１３の出力ビット数の違いによる色階調再現の向上効果を説明する。
【００３８】
一般に、出力装置であるモニターの出力レンジは、ＲＧＢ各８ビットとなっており、かつ、図４の曲線４０１のようなモニターガンマ特性がある。一方、カメラの出力は例えばＲＧＢ各１１ビットでリニア（光量に対する出力が線形）な信号となっている。そこで、出力装置のビット数にカメラ出力をガンマ変換する必要がある。その際に、輝度及び色の階調再現、色相を損なわないためには、図５の曲線５０１のようなリニア変換、もしくは図５の曲線５０４のようなモニター逆ガンマ変換が望ましい。しかし、リニア変換ではモニターガンマ特性を考慮しないため、色相は保たれるが、輝度階調再現が崩れ、また、モニター逆ガンマ変換では、コントラストの欠けた画像となってしまう。
【００３９】
そこで、従来技術では、前述したように、図５の曲線５０２のような、主被写体の描写領域（中間輝度領域）のコントラストをあげたガンマカーブを用いている。しかしながら、中間輝度領域のコントラストをあげた分、低輝度領域か高輝度領域の階調をつぶす必要がある。これにより、高輝度領域で高彩度な被写体の色再現性が失われる傾向があった。
【００４０】
以下に、従来のガンマ方式の場合の例をあげる。
【００４１】
▲１▼８ビットＣガンマ
（ａ）ガンマ前（１１ビットＲＧＢ）
Ｒ  ＝１４００
Ｇ  ＝１１００
Ｂ  ＝４００
（ｂ）ガンマ後（８ビットＲＧＢ）
Ｒ  ＝２３６
Ｇ  ＝２２８
Ｂ  ＝１４０
Ｙｈ＝０．３Ｒ＋０５９Ｇ＋０．１１Ｂ
＝２２１
となり、ガンマ前の信号に比べ、ＲＧＢの信号レベル差が著しく小さくなり（図５の（ａ）を参照）、彩度が失われている。この結果、色相が変化し、かつ、白飛びした絵になる。
【００４２】
そこで、本発明では、色信号のガンマ変換のビット数を輝度ガンマ変換よりも大きくし、色階調を失わないようにする。図５の曲線５０３が９ビットガンマカーブであり、中間輝度領域からある程度の傾きを保って高輝度領域までいくために、ガンマ変換後のＲＧＢ信号レベル差が、Ｃ−ガンマ８ビット時よりも保たれる。この結果、高輝度領域の彩度が失われにくくなる（図５の（ｂ）を参照）。
【００４３】
そして、ガンマ変換後の９ビットＲＧＢ信号をビット調整回路１２０にて非線型処理の８ビット制限を行なう。この場合、ＣｒＣｂ信号は９ビット（±８ビット）信号にビット制限されるが、ＲＧＢ信号が８ビット以上あっても、色差信号が極端に大きくなることはないので、色再現がおかしくなることはない。
【００４４】
図６は、ビット調整回路１２０の入力（９ビット）−出力（８ビット）特性を示した図である。ここで、ＣｒまたはＣｂ信号のどちらか一方が非線型領域に入りゲイン補正された場合は、残る一方の色差信号も、同じゲインをかけて色相の変化を防ぐ。また、Ｃｒ、Ｃｂ信号の２つとも非線型領域に入りゲイン補正された場合は、その２つのゲインを比較し、小さいゲインを選択し、そのゲインをＣｒ、Ｃｂにかける。
【００４５】
以下に、本発明による９ビットガンマの例をあげる。
【００４６】
▲２▼９ビットＣガンマ
（ａ）ガンマ前（１１ビットＲＧＢ）
Ｒ  ＝１４００
Ｇ  ＝１１００
Ｂ  ＝４００
（ｂ）ガンマ後（９ビットＲＧＢ）
Ｒ  ＝２６９
Ｇ  ＝２４２
Ｂ  ＝１４０
（ｃ）ＲＧＢ−ＹＣｒＣｂ変換（±８ビット）
Ｙｌ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
＝２３９
Ｃｒ＝３０
Ｃｂ＝−９９
（ｄ）Ｙｈ（８ビットガンマ）とのＭＩＸ（合成）
Ｙｈ＝１２０
Ｒ  ＝Ｃｒ＋Ｙｈ
＝２５１
Ｂ  ＝Ｃｂ＋Ｙｈ
＝  １２２
Ｇ  ＝（Ｙｈ−０．３Ｒ−０．１１Ｂ）／０．５９
＝  ２２４
▲１▼，▲２▼から、
ＲＧＢリニア          ＝（１７５，１３８，５０）
ＲＧＢ８ビット・ガンマ＝（２３６，２２８，１４０）
ＲＧＢ９ビット・ガンマ＝（２５１，２２４，１２２）
となり、８ビットＣ−ガンマに比べ、９ビットＣ−ガンマの方が彩度が強くなり、色相のずれもより小さく、色が白とびしにくくなる。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、輝度信号の非線型処理に縛られることなく、色階調等の色再現性を最大限に保った状態で色信号を処理してビット数を調整することが可能になるため、最終的に色階調再現が保証された色相や階調再現性の良い必要なビット数の色信号を得ることが出来る。
【図面の簡単な説明】
【図１】本発明の一実施形態の信号処理装置の構成を示すブロック図である。
【図２】従来の信号処理装置の構成例を示すブロック図である。
【図３】補色フィルタの例を示す模式図である。
【図４】モニタ―ガンマ特性を示すグラフである。
【図５】各ガンマカーブを示すグラフである。
【図６】ビット調整回路の変換曲線を示すグラフである。
【符号の説明】
１０１，２０１  ＯＢ（オプティカル・ブラック）回路
１０２，２０２  ピクセル・ゲイン回路
１０３，２０３  ＷＢ（白バランス）回路
１０４，２０４  オフセット回路
１０５，２０５  色補間回路
１０６，２０６  色変換回路
１０７，２０７  リニア・クリップ・マトリックス回路
１０８，２０８  Ｃ−ＳＵＰ（クロマ・サプレス）回路（色消し）
１０９，２０９  ＬＰＦ（ローパスフィルタ）回路
１１０，２１０  クロマゲイン回路
１１１，２１１  色変換回路
１１２，２１２  クランプ回路
１１３，２１３  Ｃ−ガンマ回路
１１４，２１４  マトリクス回路
１１５，２１５  ノッチ・フィルタ回路
１１６，２１６  Ｙクランプ回路
１１７，２１７  ＡＰＣ（アパーチャ）回路
１１８，２１８  Ｙ補償回路
１１９，２１９  Ｙ−ガンマ回路
１２０          ビット調整回路
４０１          モニタ−ガンマ曲線
４０２          ガンマ曲線（０．４５）
５０１          線形変換直線
５０２          ８ビットガンマ曲線
５０３          ９ビットガンマ曲線
５０４          ガンマ曲線（０．４５）
【図１】
0003919389.tif 000002
【図２】
0003919389.tif 000003
【図３】
0003919389.tif 000004
【図４】
0003919389.tif 000005
【図５】
0003919389.tif 000006
【図６】
0003919389.tif 000007