(57)【要約】【課題】色再現性が高く、かつＳ／Ｎの良好な高画質な画像を撮像できるようにする。【解決手段】リニアマトリクス演算回路４１ａおよびホワイトバランス調整回路４２ａを含む第１の信号処理系では、色再現性が高められた画像信号が生成され、リニアマトリクス演算回路４１ｂおよびホワイトバランス調整回路４２ｂを含む第２の信号処理系では、ノイズ成分が低減された画像信号が生成される。ＭＩＸ回路４６では、被写体が明るいほど、第１の信号処理系からの画像信号がより多く合成される。これにより、被写体が明るく、Ｓ／Ｎが良好な画像が撮像された場合には、色再現性が大きく向上した画像が出力され、被写体が暗く、Ｓ／Ｎの不良な画像が撮像された場合には、そのノイズ成分が低減されてＳ／Ｎが大きく向上した画像が出力されるようになる。【選択図】図２
2007096583.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いて画像を撮像する撮像装置において、
撮像により得られた画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換する１つ以上の第１のリニアマトリクス演算手段と、
前記色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換する１つ以上の第２のリニアマトリクス演算手段と、
前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成する信号合成手段と、
被写体が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する合成比設定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記各信号処理系にそれぞれ設けられ、前記第１および第２のリニアマトリクス演算手段のそれぞれからの出力画像信号に対して、色成分ごとにゲインを調整する複数のホワイトバランス調整手段と、
前記各ホワイトバランス調整手段に対する入力画像信号を基に、ホワイトバランスが合うように前記各ホワイトバランス調整手段のゲインを個別に制御するホワイトバランス制御手段と、
をさらに有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記合成比設定手段は、撮像時の照度が高いほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように前記合成比を設定することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記合成比設定手段は、撮像により得られた画像信号から検出した輝度レベルと、そのときの露出調整機構に対する制御量とに基づいて、照度を算出することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記各信号処理系にそれぞれ設けられ、前記第１および第２のリニアマトリクス演算手段のそれぞれからの出力画像信号に対して、色成分ごとにゲインを調整する複数のホワイトバランス調整手段と、
前記各ホワイトバランス調整手段に対する入力画像信号の積分値を基に、ホワイトバランスが合うように前記各ホワイトバランス調整手段のゲインを個別に制御するホワイトバランス制御手段と、
をさらに有し、
前記合成比設定手段は、前記ホワイトバランス制御手段のうちのいずれか１つにおいて用いられる前記積分値を基に、前記輝度レベルを検出する、
ことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記合成比設定手段は、撮像により得られた画像信号から画素ごとに検出した輝度レベルが高いほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記合成比を画素ごとに設定することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記合成比設定手段は、
撮像時の照度が高いほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように第１の合成比を算出する第１の合成比算出手段と、
撮像により得られた画像信号から画素ごとに検出した輝度レベルが高いほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、第２の合成比を画素ごとに算出する第２の合成比算出手段と、
前記第１および第２の合成比のうち、値の低い方を前記信号合成手段に設定する合成比選択手段と、
を備えたことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記第１のリニアマトリクス演算手段には、前記固体撮像素子における色成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくように入力画像信号を補正する係数が設定されることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記第１のリニアマトリクス演算手段に設定される係数のうち、非対角成分の少なくとも１つが負の数であることを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記第２のリニアマトリクス演算手段には、単位行列となる係数が設定されることを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記合成比設定手段は、前記信号処理系のそれぞれに対する前記合成比をすべて加算すると１になるように、前記合成比を設定することを特徴とする請求項１記載の撮像装置。
【請求項１２】
固体撮像素子による撮像画像信号に対して色補正処理を施すための画像処理方法において、
１つ以上の第１のリニアマトリクス演算手段が、撮像により得られた画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換し、
１つの以上の第２のリニアマトリクス演算手段が、前記色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換し、
信号合成手段が、前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成し、
合成比設定手段が、被写体が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する、
ことを特徴とする画像処理方法。
【請求項１３】
入力画像信号に対して色補正処理を施す画像処理装置において、
前記入力画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換する１つ以上の第１のリニアマトリクス演算手段と、
前記入力画像信号の色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換する１つ以上の第２のリニアマトリクス演算手段と、
前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成する信号合成手段と、
前記入力画像信号に基づく画像が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する合成比設定手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
入力画像信号に対して色補正処理を施すための画像処理方法において、
１つ以上の第１のリニアマトリクス演算手段が、前記入力画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換し、
１つ以上の第２のリニアマトリクス演算手段が、前記入力画像信号の色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換し、
信号合成手段が、前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成し、
合成比設定手段が、前記入力画像信号に基づく画像が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する、
ことを特徴とする画像処理方法。
【請求項１５】
入力画像信号に対する色補正処理をコンピュータに実行させる画像処理プログラムにおいて、
前記入力画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換する１つ以上の第１のリニアマトリクス演算手段、
前記入力画像信号の色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換する１つ以上の第２のリニアマトリクス演算手段、
前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成する信号合成手段、
前記入力画像信号に基づく画像が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する合成比設定手段、
として前記コンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて画像を撮像する撮像装置、および、入力画像信号に対して色補正処理を施す画像処理装置に関し、特に、リニアマトリクス演算機能を備えた撮像装置および画像処理装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた撮像装置においては、色を忠実に再現する技術として、リニアマトリクス演算が注目されている。リニアマトリクス演算は、入力されたＲＧＢ信号（Ｒ，Ｇ，Ｂ）に下記の式（１）のマトリクス演算を施すことにより、ＲＧＢ各成分の分光特性を人間の視感度特性に近づけることで、色再現性を向上させる技術である。
【０００３】
【数１】
2007096583.tif 000003
【０００４】
図９は、リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。
図９において、光学ブロック１０１を通じて入射した光は、撮像素子１０２において光電変換される。撮像素子１０２からのアナログ画像信号は、Ａ／Ｄ（アナログ／デジタル）変換回路１０３においてデジタル変換された後、前補正回路１０４において、黒レベルを合わせるデジタルクランプ処理、撮像素子１０２の欠陥画素の信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子１０２や光学系に関する補正処理（前補正処理）を受ける。さらに、前補正回路１０４の出力信号には、デモザイク処理回路１０５により、空間位相がずれたＲＧＢ信号から３枚のＲＧＢプレーン信号（同じ空間位置のＲＧＢ信号）を生成するデモザイク処理が施される。
【０００５】
デモザイク処理回路１０５から出力されたＲＧＢ信号に対しては、リニアマトリクス（ＬＭ）演算回路１０６により、上述したリニアマトリクス演算が施される。リニアマトリクス演算回路１０６における演算に用いられるマトリクス係数は、マイクロコントローラなどからなる演算処理部１０７により設定される。演算処理部１０７は、ＲＧＢ信号に対して、撮像素子１０２の各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数を設定する。
【０００６】
リニアマトリクス演算回路１０６から出力されるＲＧＢ信号は、さらに、ホワイトバランス（ＷＢ）調整回路１０８により、ＲＧＢ各成分のゲインが調整される。ホワイトバランス調整回路１０８への入力画像信号は、積分回路１０９にも入力されて検波が行われ、演算処理部１０７は、積分回路１０９によるＲＧＢ積分値に基づいて、入力画像上の白い被写体に対してＲＧＢ各成分の値が等しくなるように、ホワイトバランス調整回路１０８のゲインを制御する。
【０００７】
ホワイトバランス調整後のＲＧＢ信号には、さらにγ（ガンマ）補正回路１１０によりγ補正が施され、補正後の信号はＹ信号（輝度信号）処理回路１１１およびＣ信号（色差信号）処理回路１１２に入力されて、各回路での演算によりＹ信号、Ｃｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号に分離される。分離後の信号は、モニタへの表示画像を生成するグラフィック処理回路、あるいは記録媒体への記録信号を生成する圧縮符号化回路などに出力される。
【０００８】
なお、このようなリニアマトリクス演算機能を備えた従来の撮像装置としては、マトリクス変換に必要な６個の変数を２個の制御パラメータから導く係数変換手段を設けて、パラメータ数を減らし、回路規模の拡大を防止するようにしたものがあった（例えば、特許文献１参照）。
【０００９】
ところで、色再現性の向上を目的としたリニアマトリクス演算処理には、ノイズを増長させるという副作用がある。リニアマトリクス演算処理は、ノイズのない理想条件では有効な手段であるが、色再現性の向上を目的とした場合、上記の式（１）の係数ａ〜ｉのうち非対角成分（ｂ，ｃ，ｄ，ｆ，ｇ，ｈ）は負の値となることがあり、このような係数によりＲＧＢ信号の減算が行われると、信号レベル（Ｓ成分）は減少するが、ノイズ量（Ｎ成分）は減少しないため、信号とノイズの比率であるＳ／Ｎが低下してしまう。特に、低照度の状態では、画像の信号レベルが低いためにＳ／Ｎ低下による画質劣化が目立つようになる。
【００１０】
これに対して、低照度の状態では、リニアマトリクス演算の係数を単位行列にすることで、Ｓ／Ｎを低下させないようにする方法が考えられる。例えば、上記図９の例では、リニアマトリクス演算回路１０６への入力画像信号から照度を検出し、演算処理部１０７により、検出された照度が低い場合に単位行列としたマトリクス係数をリニアマトリクス演算回路１０６に設定するようにする。低照度下では、色再現性の低下よりもＳ／Ｎの低下による画質劣化の方が目立ちやすいため、上記のような制御は非常に有効である。しかし、図９のようなシステムでは、以下で説明するように、低照度時にマトリクス係数を変化させると、出力画像においてホワイトバランスが乱れるという問題がある。
【００１１】
図１０は、マトリクス係数を変化させた場合の従来の撮像装置における各部の動作を示すタイミングチャートである。
図１０では、撮像素子１０２上の露光タイミング、撮像素子１０２からの読み出しタイミング、演算処理部１０７による各種演算のタイミング、およびそのとき読み出された信号に基づく出力画像におけるホワイトバランス調整の状態を示している。例えば、タイミングＴ５１の直前において、出力画像のホワイトバランスが適正に調整されているとき、タイミングＴ５１において、演算処理部１０７によりリニアマトリクス演算回路１０６に対するマトリクス係数が変更されたとする。
【００１２】
係数の変更による画質調整は、その直後に撮像素子１０２から出力される画像信号に反映され、タイミングＴ５２において、その画像信号から積分回路１０９によりＲＧＢ積分値が検波される。演算処理部１０７は、検波されたＲＧＢ積分値を基にホワイトバランスゲインの制御値を演算し、タイミングＴ５３において、演算結果をホワイトバランス調整回路１０８に設定する。その結果、その直後に撮像素子１０２から出力される画像信号において、ホワイトバランスが適切に調整された状態となる。
【００１３】
このような動作が行われた場合、マトリクス係数の変更からホワイトバランスゲインの設定までのタイミングＴ５１〜Ｔ５３までの２Ｖ期間では、演算処理部１０７においてホワイトバランス調整の基準とする白の領域がずれ、ホワイトバランスの乱れた画像が出力されることになる。さらに例えば、ホワイトバランス適正化後のタイミングＴ５４で再びマトリクス係数が変更されると、その後のタイミングＴ５５までの２Ｖ期間に再び、ホワイトバランスの乱れた画像が出力されてしまう。
【００１４】
また、図１１は、照度に応じたマトリクス係数の設定値の例を示す図である。
この図１１に示すように、照度Ｌ６１〜Ｌ６２の間で、マトリクス係数をＳ／Ｎ重視の設定から色再現性重視の設定に連続的に変化させた場合、照度Ｌ６１〜Ｌ６２の係数遷移期間では、上記図１０のタイミングＴ５１〜Ｔ５５に現れるような、ホワイトバランスの適正画像および非適正画像が交互に出力される状態となり、出力画像の色が安定しなくなってしまう。ホワイトバランスの乱れによる色の変化は比較的目立ちやすく、このような状態は重大な画質劣化の原因となる。
【特許文献１】特開２０００−５０２９９号公報（段落番号〔００１３〕〜〔００２１〕、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
以上の図９〜図１１で説明したように、従来の撮像装置において、色再現性の向上のためにリニアマトリクス演算を行った場合には、出力画像のＳ／Ｎが低下する場合があることが問題となっていた。また、この問題を解決するために、低照度時にマトリクス係数を単位行列などに設定するようにした場合には、マトリクス係数の変更のたびに、ホワイトバランス調整が追随せずに、ホワイトバランスの乱れた画像が出力されてしまい、画質が劣化することが問題となっていた。
【００１６】
本発明はこのような点に鑑みてなされたものであり、色再現性が高く、かつＳ／Ｎの良好な高画質な画像を撮像できる撮像装置を提供することを目的とする。
また、本発明の他の目的は、色再現性が高く、かつＳ／Ｎの良好な高画質な画像を出力できる画像処理装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像により得られた画像信号の色成分を、色再現性を高めるような係数を用いてマトリクス変換する１つ以上の第１のリニアマトリクス演算手段と、前記色成分を、ノイズ成分を低減するような係数を用いてマトリクス変換する１つ以上の第２のリニアマトリクス演算手段と、前記第１または第２のリニアマトリクス演算手段のうちの１つがそれぞれ設けられた複数の信号処理系から出力される画像信号を合成する信号合成手段と、被写体が明るいほど、前記第１のリニアマトリクス演算手段を含む前記信号処理系から出力された画像信号をより多く合成するように、前記信号合成手段における合成比を設定する合成比設定手段とを有することを特徴とする撮像装置が提供される。
【００１８】
このような撮像装置では、第１のリニアマトリクス演算手段により色再現性が高められた画像信号と、第２のリニアマトリクス演算手段によりノイズ成分が低減された画像信号とが、対応する信号処理系を通じて信号合成手段に入力される。そして、信号合成手段では、合成比設定手段の合成比の設定処理により、被写体が明るいほど、第１のリニアマトリクス演算手段を含む信号処理系から出力され、色再現性が高められた画像信号が、より多く合成される。これにより、被写体が明るく、Ｓ／Ｎが良好な画像が撮像された場合には、色再現性が大きく向上した画像が出力され、被写体が暗く、Ｓ／Ｎの不良な画像が撮像された場合には、そのノイズ成分が低減されてＳ／Ｎが大きく向上した画像が出力されるようになる。
【発明の効果】
【００１９】
本発明の撮像装置によれば、被写体が明るく、Ｓ／Ｎが良好な画像が撮像された場合には、色再現性が大きく向上した画像が出力され、被写体が暗く、Ｓ／Ｎの不良な画像が撮像された場合には、そのノイズ成分が低減されてＳ／Ｎが大きく向上した画像が出力されるので、被写体の明るさに関係なく、色再現性が高く、かつＳ／Ｎの良好な高画質な画像を撮像することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【００２１】
図１に示す撮像装置は、光学ブロック１、撮像素子２、ＡＦＥ（Analog Front End）回路３、カメラ信号処理回路４、マイクロコントローラ５、入力部６を具備する。また、この撮像装置には、光学ブロック１内の種々の機構を駆動するためのドライバ１１、および撮像素子２を駆動するためのタイミングジェネレータ（ＴＧ）１２などが設けられている。
【００２２】
光学ブロック１は、被写体からの光を撮像素子２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ１１は、マイクロコントローラ５からの制御信号に応じて、光学ブロック１内の機構の駆動を制御する。
【００２３】
撮像素子２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２は、マイクロコントローラ５の制御の下でタイミング信号を出力する。
【００２４】
ＡＦＥ回路３は、撮像素子２から出力されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎを良好に保つようにサンプルホールドを行い、さらにマイクロコントローラ５の制御の下でＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。
【００２５】
カメラ信号処理回路４は、ＡＦＥ回路３からの画像信号に対するＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。本実施の形態では、カメラ信号処理回路４には、入力画像信号の各色成分に対してマトリクス演算を施すリニアマトリクス演算回路４１と、各色成分に対するゲインを調整するホワイトバランス調整回路４２とが設けられている。
【００２６】
マイクロコントローラ５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成され、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部６は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をマイクロコントローラ５に出力する。
【００２７】
この撮像装置では、撮像素子２によって受光されて光電変換された信号が、順次ＡＦＥ回路３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ信号処理回路４は、ＡＦＥ回路３から供給されたデジタル画像信号を画質補正処理し、最終的にＹ信号とＣ信号とに変換して出力する。
【００２８】
カメラ信号処理回路４から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これによりＬＣＤ（Liquid Crystal Display）などの図示しないモニタにカメラスルー画像が表示される。また、入力部６からのユーザの入力操作などによりマイクロコントローラ５に対して画像の記録が指示されると、カメラ信号処理回路４からの画像データは図示しないＣＯＤＥＣ（enCOder,DECoder）に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ信号処理回路４からは１フレーム分の画像データがＣＯＤＥＣに供給され、動画像の記録の際には、処理された画像データがＣＯＤＥＣに連続的に供給される。
【００２９】
図２は、カメラ信号処理回路の要部構成を示すブロック図である。
カメラ信号処理回路４は、図２に示すように、リニアマトリクス演算回路４１ａおよび４１ｂ、ホワイトバランス調整回路４２ａおよび４２ｂ、前補正回路４３、デモザイク処理回路４４、積分回路４５、ＭＩＸ（合成）回路４６、γ補正回路４７、Ｙ信号処理回路４８ａ、およびＣ信号処理回路４８ｂを具備する。
【００３０】
前補正回路４３は、ＡＦＥ回路３からのデジタル画像信号に対して、黒レベルを合わせるデジタルクランプ処理、撮像素子２の欠陥画素の出力信号を補正する欠陥補正処理、レンズの周辺における光量落ちを補正するシェーディング補正処理など、撮像素子２や光学系に関する補正処理を施す。
【００３１】
デモザイク処理回路４４は、前補正処理後の画像信号に対して、空間位相がずれたＲＧＢ信号から３枚のＲＧＢプレーン信号（同じ空間位置のＲＧＢ信号）を生成するデモザイク処理を施す。
【００３２】
デモザイク処理回路４４の後段には、リニアマトリクス演算回路４１ａおよびホワイトバランス調整回路４２ａからなる第１の信号処理系と、リニアマトリクス演算回路４１ｂおよびホワイトバランス調整回路４２ｂからなる第２の信号処理系が、並列に設けられている。リニアマトリクス演算回路４１ａおよび４１ｂは、デモザイク処理回路４４からのＲＧＢ信号（Ｒ，Ｇ，Ｂ）に対して、それぞれ下記の式（２）および（３）のマトリクス演算を施す。
【００３３】
【数２】
2007096583.tif 000004
【００３４】
ここで、リニアマトリクス演算回路４１ａにおけるマトリクス係数ａ１〜ｉ１、およびリニアマトリクス演算回路４１ｂにおけるマトリクス係数ａ２〜ｉ２としては、マイクロコントローラ５によりそれぞれ異なる値が設定される。そして、この設定により、第１の信号処理系では、色再現性が向上するような補正を行うようにし、第２の信号処理系では、ノイズを低減するような補正を行うようにする。
【００３５】
リニアマトリクス演算回路４１ａでは、色再現性が向上するような補正を行うようにする。このために、リニアマトリクス演算回路４１ａに対しては、撮像素子２のＲＧＢ各成分の分光特性が、人間の視感度特性とほぼ等しい等色関数に近づくようなマトリクス係数が設定される。このとき、マトリクス係数の非対角成分（ｂ１，ｃ１，ｄ１，ｆ１，ｇ１，ｈ１）のうちの少なくとも１つが負の数になることもある。一方、リニアマトリクス演算回路４１ｂでは、ノイズを低減してＳ／Ｎを良好にするような補正を行うようにする。このために、リニアマトリクス演算回路４１ｂに対しては、例えば、単位行列になるようなマトリクス係数が設定される。
【００３６】
ホワイトバランス調整回路４２ａおよび４２ｂは、それぞれリニアマトリクス演算回路４１ａおよび４１ｂからの出力画像信号を受けて、マイクロコントローラ５からのゲイン制御値に基づき、ＲＧＢ各成分のゲインを調整する。
【００３７】
積分回路４５は、ホワイトバランス調整回路４２ａおよび４２ｂの入力画像信号をそれぞれ積分し、積分値をマイクロコントローラ５に出力する。マイクロコントローラ５は、積分回路４５からの積分値を基に、入力画像上の白い被写体に対してＲＧＢ各成分の値が等しくなるように、ホワイトバランス調整回路４２ａおよび４２ｂのゲインを制御する。このゲイン制御値の演算では、例えば、画面内の高輝度部は白である可能性が高いといった経験的な予測を基に、その高輝度部のＲＧＢ各成分が等しくなるようなゲイン制御値を演算する。このような演算により、ホワイトバランス調整回路４２ａおよび４２ｂには、それぞれ異なるゲイン制御値が設定されることになる。
【００３８】
ＭＩＸ回路４６は、第１の信号処理系から出力された（すなわち、ホワイトバランス調整回路４２ａから出力された）画像信号と、第２の信号処理系から出力された（すなわち、ホワイトバランス調整回路４２ｂから出力された）画像信号とを、マイクロコントローラ５から指定される合成比αに基づいて、ＲＧＢの成分ごとに合成する。ホワイトバランス調整回路４２ａおよび４２ｂの出力画像信号をそれぞれ（ＲWB1，ＧWB1，ＢWB1）（ＲWB2，ＧWB2，ＢWB2）とすると、ＭＩＸ回路４６は、次の式（４）〜式（６）に従ってこれらの信号を合成する。ただし、このとき０≦α≦１とする。
ＲMIX＝α×ＲWB1＋（１−α）×ＲWB2                                ……（４）
ＧMIX＝α×ＧWB1＋（１−α）×ＧWB2                                ……（５）
ＢMIX＝α×ＢWB1＋（１−α）×ＢWB2                                ……（６）
γ補正回路４７は、ＭＩＸ回路４６から出力される画像信号に対して、γ補正を施す。Ｙ信号処理回路４８ａおよびＣ信号処理回路４８ｂは、γ補正後の画像信号に対してそれぞれＹ信号処理、Ｃ信号処理を施し、Ｙ信号、Ｃｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号を生成する。例えば、γ処理後の画像信号を（ＲIN，ＧIN，ＢIN）とすると、Ｙ信号処理回路４８ａは、次の式（７）に従ってＹ信号を生成し、Ｃ信号処理回路４８ｂは、次の式（８）および式（９）に従ってＣｒ（Ｒ−Ｙ）信号およびＣｂ（Ｂ−Ｙ）信号を生成する。
Ｙ＝０．３ＲIN＋０．６ＢIN＋０．１ＧIN                              ……（７）
Ｃｒ（Ｒ−Ｙ）＝０．７ＲIN−０．６ＧIN−０．１ＢIN                  ……（８）
Ｃｂ（Ｂ−Ｙ）＝−０．３ＲIN−０．６ＧIN＋０．９ＢIN                ……（９）
図３は、ＭＩＸ回路の内部構成例を示す図である。
【００３９】
ＭＩＸ回路４６は、図３に示す構成により、上記の式（４）〜式（６）に従って画像信号を合成することができる。図３において、乗算回路４６１は、第１の信号処理系の出力画像信号（ＲWB1，ＧWB1，ＢWB1）に対して、マイクロコントローラ５から指定された合成比αをそれぞれ乗算する。乗算回路４６２は、第２の信号処理系の出力画像信号（ＲWB2，ＧWB2，ＢWB2）に対して、（１−α）の値を乗算する。加算回路４６３〜４６５は、乗算回路４６１および４６２から出力された画像信号を、ＲＧＢの成分ごとに加算する。
【００４０】
以上のように、リニアマトリクス演算回路およびホワイトバランス調整回路をそれぞれ含む第１の信号処理系と第２の信号処理系とを並列に設け、これらの出力画像信号をＭＩＸ回路４６により所定の割合で合成する構成とし、各信号処理系で色再現性およびＳ／Ｎをそれぞれ良好にするように異なるマトリクス係数を設定することにより、被写体の状態に応じて、各信号処理系のうち画質が高いと考えられる方をより多く合成して、画質の高い画像を出力することが可能となる。
【００４１】
例えば、リニアマトリクス演算回路４１ａに対して、非対角成分（ｂ１，ｃ１，ｄ１，ｆ１，ｇ１，ｈ１）が負の数になるようなマトリクス係数が設定された場合などには、明るい被写体を撮像した状態では画質の良好な画像を得ることができる。従って、この場合には、合成比αを高い値に設定して、第１の信号処理系の出力信号がより多く合成されるようにすればよい。しかし、このようなリニアマトリクス演算回路４１ａは、被写体が暗く、ノイズ成分が多く発生している状態においては、このノイズ成分を増長してしまう作用がある。このため、暗い被写体を撮像した場合には、合成比αを低い値に設定して、ノイズ成分を低減するように画質補正された画像信号がより多く合成されるようにすることで、ノイズの低減された良好な画質の画像を得ることができる。
【００４２】
本実施の形態では、マイクロコントローラ５の制御により、入力画像信号からの検波値と、そのときの露出制御量とを基に求められる照度に応じて、ＭＩＸ回路４６に対する合成比αを自動的に変調して、常に高画質な画像を出力できるようにする。
【００４３】
ここで、照度は、この撮像装置が備える露出調整機構に対する制御量と、そのときの入力画像信号に基づく輝度レベルとを基に求めることができる。露出制御機能に対する制御量は、例えば、光学ブロック１内の絞りの開度、メカシャッタあるいは撮像素子２での電子シャッタによるシャッタスピード、ＡＦＥ回路３内のＡＧＣのゲイン量などの制御値に基づいて求められる。なお、これらの制御値としては、ＡＥ制御演算のために従来からマイクロコントローラ５が算出している値をそのまま用いることができる。
【００４４】
例えば、この撮像装置の製造工程において、基準状態として、輝度の反射率が一定とされた無彩色の基準チャートを、分光分布がフラットに近い特定の照度の光源下で撮像し、このときの絞りの開度、シャッタスピード、ＡＧＣのゲイン量の制御値と、輝度レベルの検波値とを記録しておく。そして、実際の撮像時には、被写体を撮像したときの上記各制御値と輝度レベルの検波値とを取得し、それぞれの基準状態での値との差分をＥＶなどの単位に換算して、すべて加算あるいは乗算することなどにより、照度を推定することができる。
【００４５】
また、照度算出のための輝度レベルは、本実施の形態では、リニアマトリクス演算回路４１ａまたは４１ｂのいずれかの出力画像信号を積分回路４５により検波した積分値を基に算出する。照度算出のための輝度レベルは、本来、リニアマトリクス演算やホワイトバランス調整などの色調整が施される前の画像信号を基に検波することが望ましい。しかし、リニアマトリクス演算の実行による輝度レベルの変動量は比較的小さいので、これらの演算後の画像信号からでも、実用上問題ない精度で輝度レベルを検出することができる。特に、マトリクス係数として単位行列が設定されたリニアマトリクス演算回路４１ｂの場合、輝度レベルの変動量はより小さくなるので、この回路からの出力信号に基づく検波値を用いることが望ましい。
【００４６】
また、このようなリニアマトリクス演算後の画像信号に基づく検波値は、ホワイトバランス調整回路４２ａまたは４２ｂに対するゲイン制御値を求めるためにも使用されるものであるため、ゲイン制御値算出用と合成比αの算出用とで同じ検波値を兼用することができる。従って、回路規模の削減やマイクロコントローラ５における処理負荷の軽減といった効果が生まれる。
【００４７】
図４は、合成比αの設定の例を示すグラフである。
図４に示すように、マイクロコントローラ５は、求められた照度がしきい値Ｌ２より高い場合には、十分な入射光量が得られ、ノイズの少ない画像が得られると判断して、合成比αを１とし、第１の信号処理系によって補正された画像信号のみを出力させるようにする。一方、求められた照度がしきい値Ｌ１より低い場合には、入射光量が極めて小さく、信号成分と比較してノイズ成分が極めて大きいと判断して、合成比αを０とし、第２の信号処理系によって補正された画像信号のみを出力させるようにする。また、求められた照度がしきい値Ｌ１〜Ｌ２の範囲では、照度のレベル増加に応じて合成比αを例えばリニアに増加させるようにする。あるいは、しきい値Ｌ１〜Ｌ２の範囲では、合成比αを照度に応じて段階的に設定するようにしてもよい。
【００４８】
以上のように、照度が高いときには、第１の信号処理系によって補正された画像信号をより多く合成して出力させ、照度が低いときには、第２の信号処理系によって補正された画像信号をより多く合成して出力させることで、色再現性を重視した設定時におけるリニアマトリクス演算回路４１ａのデメリットが画質に与える影響が低減され、被写体の明るさに関係なく、常に色再現性が高く、かつノイズの少ない高画質な画像を出力できるようになる。
【００４９】
図５は、マトリクス係数を変化させた場合の撮像装置の各部の動作を示すタイミングチャートである。
図５では、撮像素子２上の露光タイミング、撮像素子２からの読み出しタイミング、マイクロコントローラ５による各種演算のタイミング、およびそのとき読み出された信号に基づく出力画像におけるホワイトバランス調整の状態を示している。
【００５０】
本実施の形態では、第１および第２の各信号処理系におけるリニアマトリクス演算回路４１ａおよび４１ｂのマトリクス係数は、マイクロコントローラ５によって、基本的に初期設定時に固定的な値が設定される。例えば、タイミングＴ１で、マイクロコントローラ５によりリニアマトリクス演算回路４１ａおよび４１ｂに対してそれぞれマトリクス係数が初期設定されたとする。係数の設定による画質調整は、その直後に撮像素子２から出力される画像信号に反映され、タイミングＴ２において、その画像信号から積分回路４５により積分値が検波される。マイクロコントローラ５は、その検波値を基にホワイトバランスゲインの制御値を各信号処理系で個別に演算し、タイミングＴ３において、演算結果をホワイトバランス調整回路４２ａおよび４２ｂに対してそれぞれ設定する。その結果、その直後に撮像素子２から出力される画像信号において、ホワイトバランスが適切に調整された状態となる。
【００５１】
このような処理シーケンスにおいて、マトリクス係数を設定する初期設定の処理時には、ホワイトバランス調整の基準とする白の領域にずれが生じ、ホワイトバランスの乱れた画像が出力されるが、これは初期設定時であるので実用上特に問題はない。一方、初期設定終了後（すなわち、図中タイミングＴ３以後）では、リニアマトリクス演算回路４１ａおよび４１ｂにおいては、照度の変化があった場合でもマトリクス係数の設定自体は変更されないため、その設定の変化に伴う白領域のずれが生じることはなく、各信号処理系からはともにホワイトバランスが適切に調整された画像が常に出力されることになる。また、ＭＩＸ回路４６は、ホワイトバランスが適正化された画像信号を合成するだけなので、この出力画像信号についても常にホワイトバランスが適正化されている。従って、例えば図５中のタイミングＴ４およびＴ５などのように、照度の変化に応じて合成比αが変更された場合でも、出力画像におけるホワイトバランスが崩れることはない。
【００５２】
以上のように、本実施の形態の撮像装置によれば、被写体の明るさの変化に応じて、異なるマトリクス係数を用いたリニアマトリクス演算を施した画像信号を任意の割合で合成することで、色再現性およびＳ／Ｎを向上できるだけでなく、そのような明るさの変化に対して、出力画像のホワイトバランスを常時適切に保つことができる。ホワイトバランスの乱れはユーザによる画像の視認時に目立ちやすいため、画質向上効果の大きい撮像装置を実現できる。
【００５３】
〔第２の実施の形態〕
図６は、本発明の第２の実施の形態に係るカメラ信号処理回路の内部構成を示すブロック図である。なお、図６では、図２に対応する機能には同じ符号を付して示し、その説明を省略する。
【００５４】
図６に示す第２の実施の形態に係るカメラ信号処理回路４ａにおいては、リニアマトリクス演算およびホワイトバランス調整を行うための２つの信号処理系と、それらの出力画像信号を合成するＭＩＸ回路４６を含む基本的な構成は、図２に示した第１の実施の形態の場合と同様である。第１の実施の形態との相違点は、ＭＩＸ回路４６に設定する合成比αを算出する機能をマイクロコントローラ５が持たず、その代わりにＹ信号生成回路４９およびα算出回路５０を設けている点である。
【００５５】
Ｙ信号生成回路４９は、デモザイク処理回路４４からの出力画像信号から、上記の式（７）を用いて１画素ごとにＹ信号を生成し、その信号レベルをα算出回路５０に対して順次出力する。α算出回路５０は、１画素ごとに入力される輝度レベルに応じて合成比αを算出し、ＭＩＸ回路４６に対して設定する。
【００５６】
図７は、α算出回路による合成比αの設定の例を示すグラフである。
本実施の形態においても、合成比αの設定の考え方は第１の実施の形態と同様であり、比較的ノイズレベルの少ない明るい画像の撮像時には合成比αを高くし、ノイズが目立つ暗い画像の撮像時には合成比を低くする。具体的には、例えば図７に示すように、Ｙ信号生成回路４９により検出された輝度レベルがしきい値Ｙ２より高い場合には、合成比αを１とし、第１の信号処理系によって補正された画像信号のみを出力させるようにする。一方、検出された輝度レベルがしきい値Ｙ１より低い場合には、合成比αを０とし、第２の信号処理系によって補正された画像信号のみを出力させるようにする。また、検出された輝度レベルがしきい値Ｙ１〜Ｙ２の範囲では、輝度レベルの増加に応じて合成比αを例えばリニアに増加させるようにする。あるいは、しきい値Ｙ１〜Ｙ２の範囲では、合成比αを輝度レベルに応じて段階的に設定するようにしてもよい。
【００５７】
ここで、上述した第１の実施の形態では、１Ｖ期間ごとに求められる照度に基づいて、ＭＩＸ回路４６での合成比αを設定していたため、１つの画面全体で同じ設定による補正を施すことしかできなかった。これに対して、第２の実施の形態では、撮像された画像信号を基に１画素ごとに輝度レベルを検出し、その検出結果に応じて１画素ごとにＭＩＸ回路４６での合成比を変化させることができる。このため、１つの画像上で、色再現性を重視すべきか、ノイズ低減を重視すべきかを画素ごとに判定し、各画素に対して適切な補正を施すことができる。例えば、コントラストの高い被写体を撮像したときに、明るい領域ではＳ／Ｎが良好であるため、合成比αを高くして色再現性を重視した補正を施し、暗い領域では合成比αを低くしてノイズを低減するような補正を施すことができる。従って、色再現性および低ノイズ性が一層向上された高画質な撮像画像を得ることができるようになる。
【００５８】
〔第３の実施の形態〕
図８は、本発明の第３の実施の形態に係るカメラ信号処理回路の内部構成を示すブロック図である。なお、図８では、図２に対応する機能には同じ符号を付して示し、その説明を省略する。
【００５９】
図８に示す第３の実施の形態に係るカメラ信号処理回路４ｂにおいては、ＭＩＸ回路４６での合成比αの算出機能として、第１の実施の形態で示した照度に基づく算出機能と、第２の実施の形態で示した１画素ごとの輝度レベルに基づく算出機能の双方を備え、これらにより算出された値を選択的にＭＩＸ回路４６に設定できる点が特徴となっている。
【００６０】
図８において、マイクロコントローラ５は、リニアマトリクス演算回路４１ｂからの１フレーム分（または１フィールド分）の出力画像信号から積分回路４５により検波された値に基づく輝度レベルと、露出調整機構に対する制御量とから照度を求め、照度のレベルに応じて合成比α１を算出する。また、カメラ信号処理回路４ｂには、Ｙ信号生成回路４９およびα算出回路５０が設けられており、デモザイク処理回路４４からの出力画像信号を基に、Ｙ信号生成回路４９により１画素ごとの輝度レベルが生成され、その輝度レベルに応じてα算出回路５０において合成比α２が生成される。さらに、カメラ信号処理回路４ｂには、合成比α１およびα２の一方を選択的に出力するα選択回路５１が設けられ、α選択回路５１から出力された合成比αがＭＩＸ回路４６に設定される。
【００６１】
α選択回路５１は、合成比α１と合成比α２のうち低い値の方を、ＭＩＸ回路４６に対して出力する。このような制御を行うと、例えば、画面全体から検出された輝度レベルが比較的低い場合には合成比α１が低くなるので、１画面に対して全体的に低い合成比αが設定されることになる。このとき、画面内の比較的明るい領域に対しては一定値である合成比α１によって合成が行われ、画面内の多くを占める比較的暗い領域では、画素ごとの輝度レベルに追従した値である合成比α２によって合成が行われる。
【００６２】
ここで、ホワイトバランス調整回路４２ａおよび４２ｂでは、それぞれ異なる白の領域を調整の基準としてゲインが設定されることから、画面内で異なる合成比αが設定された領域では色味が違って見え、違和感のある画像になる場合がある。例えば、画面内のほとんどが暗い領域であって、ごく小さな領域に明るい被写体が存在する場合には、各領域での色味の違いが目立ってしまう場合がある。このような画像の撮像時に、上記の合成比選択の制御によれば、１画面に対して全体的に低い合成比αが設定されるようになるので、色味の違いが小さくなり、違和感の少ない画像を得ることができる。
【００６３】
逆に、画面全体から検出された輝度レベルが比較的高い場合には、合成比α１が高くなり、明るい領域の割合が高い画像と判断できる。この場合、暗い領域はごく狭く、この領域の色成分のレベルが低いことから、明るい領域との間の色味の違いは目立ちにくいと言える。従って、上記の合成比選択の制御により、色味の違いを感じることなく、明るい領域の色再現性を高めつつ、暗い領域におけるＳ／Ｎの劣化を確実に防止できる。また、合成比α１の値が一定値を超えた場合、あるいは、マイクロコントローラ５において検出された輝度レベルが一定値を超えた場合には、α選択回路５１からは常に合成比α２が選択されるようにしてもよい。
【００６４】
なお、以上の各実施の形態では、色再現性を重視した信号処理系と、ノイズ低減を重視した信号処理系とをそれぞれ１系統ずつ設けたが、各信号処理系のいずれか、または双方を、２系統以上設け、ＭＩＸ回路４６で照度や輝度レベルなどに応じて各信号処理系からの出力信号を自在に合成するようにしてもよい。
【００６５】
また、上記の各実施の形態では、色再現性の向上およびＳ／Ｎの向上のためにリニアマトリクス演算を適用したが、リニアマトリクス演算の代わりに、例えば、非線形な演算により色空間を変換して画質補正する場合にも、本発明を適用可能である。
【００６６】
また、本発明は、デジタルビデオカメラ、デジタルスチルカメラなどの固体撮像素子を用いた種々の撮像装置、および、このような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用することができる。さらに、ＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理装置や記録装置にも、本発明を適用することができる。
【００６７】
また、画像信号の入力を受けて画質補正を行う画像処理装置にも、本発明を適用可能である。この場合、入力された画像信号から被写体の明るさを判断し、各信号処理系からの出力信号の合成比を制御する。
【００６８】
また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（カメラ信号処理回路での画質補正機能、マイクロコントローラによる合成比設定機能など）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。
【００６９】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００７０】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】第１の実施の形態に係るカメラ信号処理回路の要部構成を示すブロック図である。
【図３】ＭＩＸ回路の内部構成例を示す図である。
【図４】第１の実施の形態における合成比αの設定の例を示すグラフである。
【図５】マトリクス係数を変化させた場合の撮像装置の各部の動作を示すタイミングチャートである。
【図６】本発明の第２の実施の形態に係るカメラ信号処理回路の内部構成を示すブロック図である。
【図７】α算出回路による合成比αの設定の例を示すグラフである。
【図８】本発明の第３の実施の形態に係るカメラ信号処理回路の内部構成を示すブロック図である。
【図９】リニアマトリクス演算機能を含む従来の撮像装置の要部構成を示すブロック図である。
【図１０】マトリクス係数を変化させた場合の従来の撮像装置における各部の動作を示すタイミングチャートである。
【図１１】照度に応じたマトリクス係数の設定値の例を示す図である。
【符号の説明】
【００７２】
１……光学ブロック、２……撮像素子、３……ＡＦＥ回路、４……カメラ信号処理回路、５……マイクロコントローラ、６……入力部、１１……ドライバ、１２……タイミングジェネレータ（ＴＧ）、４１，４１ａ，４１ｂ……リニアマトリクス演算回路、４２，４２ａ，４２ｂ……ホワイトバランス調整回路、４３……前補正回路、４４……デモザイク処理回路、４５……積分回路、４６……ＭＩＸ回路、４７……γ補正回路、４８ａ……Ｙ信号処理回路、４８ｂ……Ｃ信号処理回路
【図１】
2007096583.tif 000005
【図２】
2007096583.tif 000006
【図３】
2007096583.tif 000007
【図４】
2007096583.tif 000008
【図５】
2007096583.tif 000009
【図６】
2007096583.tif 000010
【図７】
2007096583.tif 000011
【図８】
2007096583.tif 000012
【図９】
2007096583.tif 000013
【図１０】
2007096583.tif 000014
【図１１】
2007096583.tif 000015