(57)【要約】【課題】必要以上の補正をかけることなく、様々な撮像条件に対応した最適な色再現補正を実現可能な色信号処理回路、色信号処理方法、及び、色再現評価方法、並びに、これらの回路あるいは方法を用いる撮像装置、電子機器、及び、試験装置を提供する。【解決手段】色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、入力される色信号に対して色成分が前記色再現判定枠内に入るように補正処理を行うことで、必要以上の補正をかけることなく、様々な撮像条件に対応した最適な色再現補正を行う。【選択図】  図２
2013219452.tif 000002
【特許請求の範囲】
【請求項１】
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路。
【請求項２】
前記色再現判定枠は、人間の視感度特性を考慮に入れた色ズレについての許容可能な範囲を定量的に示している請求項１に記載の色信号処理回路。
【請求項３】
前記色再現判定枠は、色ズレを許容可能な限界を規定する許容限界枠を含む請求項１に記載の色信号処理回路。
【請求項４】
前記色再現判定枠は、色ズレを人間の目で検知可能な限界を規定する検知限界枠を含む請求項３に記載の色信号処理回路。
【請求項５】
前記色再現判定枠は、少なくともＬ*ａ*ｂ*色度図空間及びＬ*ｕ*ｖ*色度図空間の色空間上で表わすことができる全ての色に適用可能である請求項１に記載の色信号処理回路。
【請求項６】
前記色再現判定枠は、三原色及びその補色の基本色毎に設定されている請求項１に記載の色信号処理回路。
【請求項７】
前記色再現判定枠は、前記基本色の色再現判定枠に加えて、前記基本色以外の色の色再現判定枠を含み、
前記基本色以外の色の色再現判定枠は、前記基本色の色再現判定枠を基に補間処理によって設定される請求項１に記載の色信号処理回路。
【請求項８】
前記色再現判定枠は、当該色再現判定枠の用途別に枠の大きさと色再現基準値が設定される請求項１に記載の色信号処理回路。
【請求項９】
前記色再現判定枠は、色空間上において、色再現基準値に合わせて枠の大きさが動的に設定される請求項１に記載の色信号処理回路。
【請求項１０】
色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理方法。
【請求項１１】
色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、
デバイスから入力される色信号が前記色再現判定枠内に入っているか否かを評価する色再現評価方法。
【請求項１２】
前記デバイスは撮像素子であり、
前記撮像素子の斜入射特性を評価する請求項１１に記載の色再現評価方法。
【請求項１３】
被写体像を撮像する撮像部と、
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、前記撮像部から入力される撮像信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路とを備える撮像装置。
【請求項１４】
前記色再現判定枠は、撮像シーン別に枠の大きさと色再現基準値が設定される請求項１３に記載の撮像装置。
【請求項１５】
前記色再現判定枠は、カテゴリ別に枠の大きさと色再現基準値が設定される請求項１３に記載の撮像装置。
【請求項１６】
前記色再現判定枠は、周囲の輝度の変化や色比率の変化から、視覚上違和感のない速度で枠の大きさと色再現基準値が動的に設定される請求項１３に記載の撮像装置。
【請求項１７】
前記色再現判定枠は、光の三原色及びその補色の基本色毎に設定されており、
前記色信号処理回路は、所定の照度よりも低い環境下での撮像時に、赤の色再現判定枠内で色再現性が視認できないレベルに赤系の色補正値を小さくする請求項１３に記載の撮像装置。
【請求項１８】
前記色再現判定枠は、光の三原色及びその補色の基本色毎に設定されており、
前記色信号処理回路は、所定の照度よりも低い環境下での撮像時に、青の色再現判定枠内で色再現性が視認できないレベルに青系の色補正値を小さくする請求項１３に記載の撮像装置。
【請求項１９】
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路を有する電子機器。
【請求項２０】
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
デバイスから入力される色信号が前記色再現判定枠内に入っているか否かを評価することによって前記デバイスの品質を選別する試験装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置に関する。
【背景技術】
【０００２】
色のズレ（色差）の評価基準として、ＭａｃＡｄａｍの楕円がある。しかし、この楕円は、色のズレの検知限界枠のみしか表現していない。また、ｘｙ輝度図をベースにしており、楕円は実測値の１０倍でＬ*ａ*ｂ*空間上にプロットしている。また、どの枠もＬ*＝５０に固定となっており、現実的には使用しづらい評価基準である。
【０００３】
一方で、映像信号の色再現を補正する手法として、映像信号を判別用の値と比較し、その比較結果に対応したマトリクス係数を入力する手法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５９８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載の従来技術では、ピンポイントに判別用の値に合わせこもうとする補正処理が行われるため、必要以上に補正をかけることになる。そして、必要以上の補正によってノイズが増加するため、Ｓ／Ｎの劣化につながる。また、色再現の精度も良くない。
【０００６】
そこで、本開示は、必要以上の補正をかけることなく、様々な撮像条件に対応した最適な色再現補正を実現可能な色信号処理回路及び色信号処理方法、並びに、これらの回路あるいは方法の技術を適用（応用）した色再現評価方法、撮像装置、電子機器、及び、試験装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本開示の色信号処理回路は、
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
入力される色信号に対して色成分が前記色再現判定枠内に入るように補正処理を行う色信号処理回路である。
【０００８】
また、上記の目的を達成するための本開示の色信号処理方法は、
色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、
入力される色信号に対して色成分が前記色再現判定枠内に入るように補正処理を行う色信号処理方法である。
【０００９】
色ズレ（色差）の検知限界枠ではなく、色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、当該色再現判定枠内に色成分が入るように、例えば、枠外の色成分については枠内に戻すように補正処理を行う。これにより、人間が検知（視認）できないような必要以上の色補正をかけずに済む。
【発明の効果】
【００１０】
本開示によれば、視認できないような必要以上の色補正をかけなくて済むため、様々な撮像条件に対応した最適な色再現補正を実現できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本開示の第１実施形態に係る撮像装置の構成の概略を示すシステム構成図である。
【図２】図２は、Ｌ*ａ*ｂ*色度図空間上の色再現判定枠を示す図である。
【図３】図３は、赤の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図４】図４は、緑の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図５】図５は、青の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図６】図６は、イエローの許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図７】図７は、マゼンタの許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図８】図８は、シアンの許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図９】図９は、基本６色（Ｒ，Ｇ，Ｂ，Ｙｅ，Ｍｇ，Ｃｙ）と無彩色（２２％Ｇｒａｙ）の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【図１０】図１０は、色度図空間の一例（Ｌ*ａ*ｂ*色度図空間）を示す図である。
【図１１】図１１は、基本色の色再現判定枠から線形補間によって基本色以外の色の色再現判定枠を生成する例を示す図である。
【図１２】図１２は、色再現判定枠の用途別に色再現基準値及び枠の大きさ（レベル）を設定する例を示す図である。
【図１３】図１３は、カテゴリ別に設定される色再現基準値の一例を示す図である。
【図１４】図１４は、撮影シーン別に設定される色再現判定枠の一例を示す図である。
【図１５】図１５は、カテゴリ別に設定される色再現判定枠の一例を示す図である。
【図１６】図１６は、本開示の色信号処理方法の処理手順の一例について説明するためのフローチャートである。
【図１７】図１７は、本開示の作用、効果の説明に供する図である。
【図１８】図１８の（Ａ）は、赤系のノイズが目立った違和感のある画像に対して赤系ゲインで補正する場合についての説明図であり、図１８の（Ｂ）は、赤系のノイズが目立った違和感のある画像に対して青系ゲインで補正する場合についての説明図である。
【図１９】図１９は、本開示の第２実施形態に係る撮像装置の構成の概略を示すシステム構成図である。
【図２０】図２０は、本開示の色再現評価方法の具体的な処理手順の一例について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本開示の技術を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
１．本開示の色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置、全般に関する説明
２．第１実施形態に係る撮像装置（撮像素子と信号処理部が別々の例）
２−１．システム構成
２−２．色再現判定枠について
２−３．色信号処理部
２−４．色信号処理方法
３．第２実施形態に係る撮像装置（画素部と信号処理部が一体の例）
４．応用例
５．本開示の構成
【００１３】
＜１．本開示の色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置、全般に関する説明＞
本開示の色信号処理回路あるいは色信号処理方法は、三原色やその補色などの色成分を含む色信号に対して、色ズレ（色差）の補正を行うための処理回路あるいは処理方法である。
【００１４】
本開示の色信号処理回路あるいは色信号処理方法は、デジタルスチルカメラやビデオカメラ、携帯電話機等の撮像機能を有する携帯情報端末に搭載されるカメラなどの撮像装置において、撮像部（撮像素子）からの撮像信号に対して色信号処理を施す回路として用いることができる。また、本開示の色信号処理回路あるいは色信号処理方法は、撮像装置に限らず、複写機、ファクシミリ装置、カラープリンタ装置など、色信号を扱う電子機器全般に対しても適用できる。
【００１５】
また、本開示の色信号処理回路あるいは色信号処理方法の技術は、色再現評価の技術に応用することができる。そして、当該色再現評価の技術は、デバイスの特性、例えば、撮像素子の斜入射特性を評価する試験装置（所謂、テスタ装置）に用いることができる。ここで、「斜入射特性」とは、撮像素子のセンサ部（画素）に斜めに入射する光に対する特性を言う。
【００１６】
本開示の色信号処理回路あるいは色信号処理方法は、色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、入力される色信号に対して色成分が色再現判定枠内に入るように補正処理を行う。具体的には、例えば、色再現判定枠外の色成分については当該枠内に戻すように補正処理を行う。
【００１７】
このような色補正処理を行うことにより、人間が検知（視認）できないような必要以上の色補正をかけずに済むため、様々な撮像条件に対応した最適な色再現補正を実現できることとなる。
【００１８】
上述した好ましい構成を含む本開示の色信号処理回路及び色信号処理方法にあっては、色再現判定枠について、人間の視感度特性を考慮に入れた色ズレについての許容可能な範囲を定量的に示す構成とすることができる。このとき、色再現判定枠は、少なくとも、色ズレを許容可能な限界を規定する許容限界枠を含む構成とすることができる。また、色再現判定枠は、色ズレを人間の目で検知可能な限界を規定する検知限界枠を含む構成とするのが好ましい。
【００１９】
上述した好ましい構成を含む本開示の色信号処理回路及び色信号処理方法にあっては、色再現判定枠は、少なくともＬ*ａ*ｂ*色度図空間及びＬ*ｕ*ｖ*色度図空間の色空間上で表わすことができる全ての色に適用可能である。
【００２０】
ここで、Ｌ*ａ*ｂ*色度図空間及びＬ*ｕ*ｖ*色度図空間は、人間の視感度特性を考慮に入れた色度図空間であるため、色再現判定枠を設定するのに好ましい色度図空間である。但し、色再現判定枠を設定する色度図としては、人間の視感度特性を考慮に入れた色度図に限られるものではなく、例えば、ＸＹＺ色度図に対しても色再現判定枠を設定することができる。
【００２１】
上述した好ましい構成を含む本開示の色信号処理回路及び色信号処理方法にあっては、色再現判定枠について、三原色、即ち、Ｒ（赤）Ｇ（緑）Ｂ（青）、及び、その補色、即ち、イエロー（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）を基本色とし、当該基本色毎に設定する構成とすることができる。
【００２２】
また、色再現判定枠については、基本色の色再現判定枠に加えて、基本色以外の色の色再現判定枠を含む構成とすることもできる。このとき、基本色以外の色の色再現判定枠については、基本色の色再現判定枠を基に線形補間などの補間処理によって設定することができる。
【００２３】
上述した好ましい構成を含む本開示の色信号処理回路及び色信号処理方法にあっては、色再現判定枠について、当該色再現判定枠の用途別に枠の大きさ（レベル）と色再現基準値を設定する構成とすることができる。
【００２４】
ここで、「用途別」とは、色再現を重視する用途、ノイズ特性を重視する用途などを言う。そして、例えば、一番厳しい判定枠として、色ズレが人間の目で検知（視認）できない検知限界枠を適用し、次に厳しい判定枠として、色ズレを検知できるが許容できるレベルのズレである許容限界枠を適用する、という具合に用途別に枠の大きさを設定することができる。
【００２５】
あるいは又、上述した好ましい構成を含む本開示の色信号処理回路及び色信号処理方法にあっては、色再現判定枠について、色空間上において、色再現基準値（ターゲットの色再現）に合わせて枠の大きさが動的に設定する構成とすることができる。
【００２６】
本開示の色再現評価方法は、本開示の色信号処理回路あるいは色信号処理方法の技術を応用したものである。すなわち、本開示の色再現評価方法は、色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、デバイスから入力される色信号が色再現判定枠内に入っているか否かを評価する。
【００２７】
本開示の色再現評価方法の評価の対象となるデバイスとしては、例えば、撮像素子を例示することができる。ＣＣＤ(Charge Coupled Device)イメージセンサや、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子にあっては、センサ部（画素）に斜めに入射する光に対して特性（斜入射特性）が弱い。
【００２８】
具体的には、撮像素子にあっては、斜めに入射した光を良好にセンサ部上に集光できない、即ち、光を効率良くセンサ部に取り込むことができないと、輝度が低下するため色再現性が低下する。従来、撮像素子の斜入射特性については、定量的に評価することができなかったが、本開示の色再現評価方法を用いることで、撮像素子の斜入射特性について定量的に評価することができることとなる。
【００２９】
また、被写体像を撮像する撮像部と、当該撮像部から出力される撮像信号に対して信号処理を施す信号処理部とを備える撮像装置において、当該信号処理部として、上述した好ましい構成を含む本開示の色信号処理回路を用いることができる。すなわち、本開示の撮像装置は、被写体像を撮像する撮像部と、色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、撮像部から入力される撮像信号に対して色成分が色再現判定枠内に入るように補正処理を行う色信号処理回路とを備える。
【００３０】
ここで、撮像装置の信号処理部（色信号処理回路）は、センサ部（画素）が配置されて成る基板上に一体的に搭載される構成であってもよいし、基板外に設けられる構成であってもよい。前者の場合は、画素部（撮像部）と信号処理部が一体型の撮像素子ということになり、後者の場合は、撮像部（撮像部）が撮像素子となり、当該撮像素子から出力される撮像信号を信号処理部が処理するということになる。
【００３１】
上述した好ましい構成を含む本開示の撮像装置にあっては、色再現判定枠について、撮像シーン別に枠の大きさ（レベル）と色再現基準値を設定する構成とすることができる。ここで、「撮像シーン別」とは、晴天時の撮像シーン、曇天時の撮像シーン、夕日時の撮像シーン、夜景時の撮像シーンなどを言う。そして、例えば、夜景時は、色の変化を視認し辛いので、色再現判定枠を小さくする、という具合に撮像シーン別に枠の大きさを設定することができる。
【００３２】
あるいは又、上述した好ましい構成を含む本開示の撮像装置にあっては、色再現判定枠について、カテゴリ別に枠の大きさ（レベル）と色再現基準値を設定する構成とすることができる。ここで、「カテゴリ別」とは、デジタルスチルカメラ（ＤＳＣ）用、携帯電話カメラ用、監視カメラ用などを言う。
【００３３】
デジタルスチルカメラ（ＤＳＣ）やカムコーダ等の場合は、人物の肌の色など色再現が重視されるために、色再現に注力して一番厳しい（枠の大きさが小さい）判定枠を設定して色補正を行うようにする。一方、セキュリティカメラ等の監視カメラの場合には、色再現よりもノイズ感が重視されるために、色再現性を犠牲にして判定レベルを落とす（枠を大きくする）ことで、ノイズ感に注力して色補正を行うようにする。尚、色再現性とノイズ感とはトレードオフの関係にある。
【００３４】
あるいは又、上述した好ましい構成を含む本開示の撮像装置にあっては、色再現判定枠について、周囲の輝度の変化や色比率の変化から、視覚上違和感のない速度で枠の大きさと色再現基準値を動的に設定する構成とすることができる。ここで、「視覚上違和感のない速度」とは、０〜複数の表示フレームの周期に相当する程度の速度を言う。
【００３５】
あるいは又、色再現判定枠が三原色及びその補色の基本毎に設定されている場合において、色信号処理回路について、所定の照度よりも低い暗い環境下での撮像時に、赤の色再現判定枠内で色再現性が視認できないレベルに赤系の色補正値を小さくする構成とすることができる。このような構成にすることで、画像の色ノイズのレベルに応じて、最適なノイズ感になるように色補正を行うことができる。
【００３６】
例えば、人間の目にとって、青系のノイズ（σｂ*）よりも赤系のノイズ（σａ*）の方が目に付きやすい。低照度などの暗い環境下で画像を撮影した際に、赤系のノイズが目立った違和感のある画像があるとする。その場合、その赤の色再現判定枠内で、色再現性が人間の目にわからないレベルに赤系の色補正値を小さくすることで、違和感のない画像にすることが可能となる。また、反対に、青の色再現判定枠内で、色再現性が人間の目に分からないレベルに青系の補正値を大きくすることで、違和感のない画像にすることが可能となる。
【００３７】
＜２．第１実施形態に係る撮像装置＞
図１は、本開示の第１実施形態に係る撮像装置の構成の概略を示すシステム構成図である。撮像装置としては、デジタルスチルカメラ、ビデオカメラ、携帯電話カメラ、監視カメラなどを例示することができる。
【００３８】
［２−１．システム構成］
図１に示すように、第１実施形態に係る撮像装置１０Aは、レンズ１１や絞り（図示せず）等を含む光学系、撮像素子１２、信号処理部であるＤＳＰ(Digital Signal Processor)部１３、及び、ユーザが各種の操作を行う操作部１４を有している。そして、第１実施形態に係る撮像装置１０Aは、ＤＳＰ部１３を撮像素子１２のチップ外に配した構成を採っている。撮像素子１２は、ＣＣＤイメージセンサに代表される電荷転送型の固体撮像素子であってもよいし、ＣＭＯＳイメージセンサに代表される増幅型の固体撮像素子であってもよい。
【００３９】
ＤＳＰ部１３は、カラーマトリクス部１５を有している。カラーマトリクス部１５は、撮像素子１２から出力される撮像信号に対して、人間の視感度特性にとって最適な色を生成するための処理を行う色信号処理部である。この色信号処理部、即ち、カラーマトリクス部１５に対して、本開示の色信号処理回路あるいは信号処理方法の技術が適用されることになる。
【００４０】
尚、ＤＳＰ部１３は、実際には、カラーマトリクス部１５以外にも、当該カラーマトリクス部１４の前後に種々の回路部を有する構成となっている。種々の回路部としては、Ａ／Ｄ変換部、クランプ部、ガンマ補正部、及び、輝度クロマ信号生成部などを例示することができる。但し、これらの回路部については、本開示の技術とは直接関係しないので、図面などの簡略化のために図示を省略している。
【００４１】
［２−２．色再現判定枠について］
本開示の技術が適用されるカラーマトリクス部１５は、例えば図２に示すように、Ｌ*ａ*ｂ*色度図空間上に色再現判定枠を設定し、入力される色信号（撮像信号）に対して色成分が色再現判定枠内に入るように補正処理を行うことを特徴としている。ここでは、色度図空間として、Ｌ*ａ*ｂ*色度図空間を例に挙げているが、これに限られるものではなく、例えば、Ｌ*ｕ*ｖ*色度図空間を用いることもできる。
【００４２】
ここで、Ｌ*ａ*ｂ*色度図空間やＬ*ｕ*ｖ*色度図空間は、人間の視感度特性を考慮に入れた色空間であり、色再現判定枠を設定するのに好ましい色度図空間と言うことができる。尚、本開示の技術は、人間の視感度特性を考慮に入れた色空間、即ち、Ｌ*ａ*ｂ*色度図空間やＬ*ｕ*ｖ*色度図空間への適用に限られるものではなく、それ以外にも、例えば、ＸＹＺ色度図に対して色再現判定枠を設定するようにしてもよい。
【００４３】
色再現判定枠は、色ズレ（色差）を許容可能な範囲を規定するための判定枠であり、人間の視感度特性を考慮に入れた色ズレについての許容可能な範囲を定量的に示している。また、図２に示すように、色再現判定枠は、三原色、即ち、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、及び、その補色、即ち、イエロー（Ｙｅ）、マゼンタ（Ｍｇ）、シアン（Ｃｙ）を基本色とし、当該基本色毎に色再現基準値及び枠が設定されている。
【００４４】
色再現判定枠は、色ズレを許容可能な限界を規定する許容限界枠ということもできる。そして、図２に示すように、色再現判定枠は、許容限界枠に加えて、色ズレを人間の目で検知可能な限界を規定する検知限界枠を有している。図２において、実線が許容限界枠を示し、この枠内の色のズレ（色差）であれば、人間の目で検知できるがそのズレを許容できる領域（範囲）となる。また、図２において、点線が検知限界枠を示し、この枠内の色のズレであれば、人間の目で検知できない領域となる。
【００４５】
図３乃至図８に、基本色毎の許容限界枠（実線）及び検知限界枠（点線）と、検知限界及び許容限界の各数値の一例を示す。尚、数値はいずれもＣＩＥ２０００での標記である。図３は、赤の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。図４は、緑の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。図５は、青の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例例を示す図である。
【００４６】
また、図６は、イエローの許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。図７は、マゼンタの許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。図８は、赤の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示す図である。
【００４７】
尚、図９に、基本６色（Ｒ，Ｇ，Ｂ，Ｙｅ，Ｍｇ，Ｃｙ）と無彩色（２２％Ｇｒａｙ）の許容限界枠及び検知限界枠と検知限界及び許容限界の数値例を示している。図９にも示すように、許容限界枠及び検知限界枠は、Ｌ*ａ*ｂ*色度図空間の色空間上で表わすことができる全ての色に適用できる。
【００４８】
図１０に、色度図空間の一例（Ｌ*ａ*ｂ*色度図空間）を示す。このように、許容限界枠及び検知限界枠などの色再現判定枠は、Ｌ*ａ*ｂ*色度図空間の色空間上で表わすことができる全ての色に適用可能である。
【００４９】
以上では、基本６色について、許容限界枠及び検知限界枠などの色再現判定枠を設定するとしたが、基本６色以外の色についても、図１０の色度図上などで算出することができる色であれば、どんな色についても色再現判定枠を設定することができる。具体的には、図１１に示すように、基本色以外の色の色再現判定枠については、基本色の色再現判定枠を基に線形補間などの補間処理によって容易に設定することができる。図１１では、イエローと赤、及び、イエローと無彩色の色再現判定枠から、基本色以外の色の色再現判定枠を生成する例を示している。
【００５０】
また、色再現判定枠に対して、色毎に複数の枠の大きさ（レベル）を持たせ、色再現判定枠の用途別に、即ち、画作り思想別に枠の大きさと色再現基準値を切り替えるようにすることができる。ここで、「用途別」とは、色再現を重視する用途、ノイズ特性を重視する用途などを言う。
【００５１】
そして、図１２に示すように、例えば、一番厳しい判定枠として、色ズレが人間の目で検知（視認）できない検知限界枠を適用し、次に厳しい判定枠として、色ズレを検知できるが許容できるレベルのズレである許容限界枠を適用する、という具合に用途別に枠の大きさを設定するようにする。これにより、色空間上において、色再現基準値（ターゲットの色再現）に合わせて枠の大きさを動的に設定することができる。
【００５２】
また、色再現判定枠について、周囲の輝度の変化や色比率の変化から、視覚上違和感のない速度（例えば０〜複数の表示フレームの周期に相当する程度の速度）で枠の大きさと色再現基準値を動的に設定するのが好ましい。
【００５３】
［２−３．色信号処理部］
図１のシステム構成に説明を戻す。図１に示すように、色信号処理部、即ち、カラーマトリクス部１５は、色再現基準値生成部２１、色再現判定枠生成部２２、判定部２３、及び、色再現補正値生成部２４を有する構成となっている。
【００５４】
色再現基準値生成部２１、色再現判定枠生成部２２、判定部２３、及び、色再現補正値生成部２４については、ハードウェアで実現する構成とすることもできるし、これら回路部の各機能をマイクロコンピュータを用いてソフトウェアにて実現する構成とすることもできる。
【００５５】
色再現基準値生成部２１は、カテゴリ別に色再現基準値を決める。ここで言う「カテゴリ」とは、デジタルスチルカメラ（ＤＳＣ）用、携帯電話カメラ用、監視カメラ用などのことである。例えば、ＤＳＣ用の色再現基準値は飽和度が高く色再現性が良い基準値になり、反対に、色再現に重点を置いていないカテゴリ、例えば、監視カメラ用の色再現基準値は色再現基準値の飽和度が低くなる。図１３に、カテゴリ別に設定される色再現基準値の一例を示す。
【００５６】
色再現判定枠生成部２２は、先述した画作り思想(用途別)、撮像シーン、カテゴリを任意に選択、もしくは、自動選択することで、色再現判定枠を生成する。具体的には、画作り思想（図１２参照）において、色再現重視の場合は、色再現基準値に一番近くなるような色再現補正値がかかるように色再現判定枠を小さなものとする。逆に、ノイズ特性重視の場合は、色再現補正値が小さくなるように色再現判定枠を大きなものとする。
【００５７】
撮像シーンとしては、晴天時の撮像シーン、曇天時の撮像シーン、夕日時の撮像シーン、夜景時の撮像シーンなどを例示することができる。そして、図１４に示すように、例えば、夜景時は、色の変化を視認し辛いので、色再現判定枠を小さなものとする。逆に、晴天下では、色の変化を視認しやすいので、色再現判定枠を大きなものとする。
【００５８】
また、カテゴリとしては、デジタルスチルカメラ（ＤＳＣ）用、携帯電話カメラ用、監視カメラ用などを例示することができる。そして、図１５に示すように、デジタルスチルカメラやカムコーダ等の場合は、人物の肌の色など色再現が重視されるために、色再現に注力して一番厳しい（枠の大きさが小さい）判定枠を設定する。一方、セキュリティカメラ等の監視カメラの場合には、色再現よりもノイズ感が重視されるために、色再現性を犠牲にして判定レベルを落とす（枠を大きくする）ことで、ノイズ感に注力して色補正を行うようにする。
【００５９】
判定部２３は、色再現判定枠生成部２２で生成した色再現判定枠内に、撮像素子１２の分光感度特性から算出される色再現特性が収まっているかどうかを判定する。撮像素子１２の色再現特性が色再現判定枠内に収まっていると、判定部２３が判定した場合は、カラーマトリクス部１５における上述した処理の終了となる。
【００６０】
色再現補正値生成部２４は、撮像素子１２の色再現特性が色再現判定枠内に収まっていないときは、判定部２３の判定結果を受けて、色再現判定枠内に色再現特性が収まるように色再現補正値をかけて、色再現判定枠内に収まるように処理を繰り返す。
【００６１】
尚、本開示の色信号処理回路、即ち、カラーマトリクス部１５は、特定の１色に限らず、複数の色について同時に補正処理を行うようにことができる。
【００６２】
［２−４．色信号処理方法］
次に、本開示の色信号処理方法の処理手順の一例について、図１６のフローチャートを用いて説明する。
【００６３】
先ず、使用カテゴリ(ＤＳＣ用／携帯電話カメラ用／監視カメラ用など)、画作り思想(色再現重視、ノイズ感重視など)、撮像シーン(日中、夜景など等)を任意で選択、もしくは、自動で判別で判別する（ステップＳ１１）。自動で判別するに当たっては、カメラに搭載されている周知の判別機能を用いることができる。
【００６４】
次に、ステップＳ１１で選択したカテゴリ／画作り思想／撮像シーンから色再現基準値を決定する（ステップＳ１２）。そして、ステップＳ１１で選択したカテゴリ／画作り思想／撮像シーンと、ステップＳ１２で決定した色再現基準値から色再現判定枠を決定する（ステップＳ１３）。
【００６５】
次に、撮像素子１２の分光感度特性から算出される色再現特性が、ステップＳ１３で決定した色再現判定枠内に収まっているか否かを判定する（ステップＳ１４）。色再現判定枠内に収まっていない場合は、色再現判定枠内に収まるような色補正値による補正処理を実施し（ステップＳ１５）、しかる後、ステップＳ１１に戻って再度上記の一連の処理を実行する。そして、ステップＳ１４で色再現判定枠内に収まったと判定するまで、その処理を繰り返す。
【００６６】
ステップＳ１４で色再現判定枠内に収まったと判定した場合は、撮像シーンなどの条件を常時追って、最適であるか否かを判定する（ステップＳ１６）。そして、最適であると判定した場合は、本フローの処理を終了する。最適でないと判定した場合は、ステップＳ１１に戻って再度上記の一連の処理を実行する。これにより、例えば、明るいところから急に暗いところに移動した場合に色再現基準値と色再現判定枠を再度決め直すなどの処理を行うことができる。
【００６７】
以上説明した本開示の色信号処理回路あるいは色信号処理方法の技術によれば、次のような作用、効果を得ることができる。すなわち、図１７に示すように、色再現判定枠を用いない従来の手法（例えば、特許文献１に記載の手法）だと、色再現基準値に合わせこもうとするので、必要以上に色再現補正値をかけてしまい(ゲイン：大)、画像の劣化につながってしまう(ノイズ：大)。
【００６８】
これに対し、色再現判定枠を色度図上に設定し、当該色再現判定枠内に撮像素子１２の色再現特性が入るように補正処理を行うことで、色再現を損なうことなく、最適な色再現補正値(ゲイン：小)をかけることができる。従って、画像の劣化につながることなく、最適な撮像・画作り(ノイズ：小)を実現することができる。
【００６９】
また、ＤＳＣ、携帯電話カメラ、監視カメラなどの撮像装置において、本開示の色信号処理回路あるいは色信号処理方法の技術を用いることにより、経年劣化によって撮像素子の色再現が劣化した際に、自動的に色再現を劣化前の状態に戻すことができる、という利点もある。
【００７０】
また、所定の照度よりも低い暗い環境下での撮像時に、赤の色再現判定枠内で色再現性が視認できないレベルに赤系の色補正値を小さくすることにより、画素の色ノイズのレベルに応じて、最適なノイズ感になるように色補正することができる。
【００７１】
例えば、人間の目にとって、青系のノイズ（σｂ*）よりも赤系のノイズ（σａ*）の方が目に付きやすい。低照度などの暗い環境下で画像を撮影した際に、赤系のノイズが目立った違和感のある画像があるとする。その場合、図１８の（Ａ）に示すように、その赤の色再現判定枠内で、色再現性が人間の目にわからないレベルに赤系の色補正値を小さくすることで、違和感のない画像にすることが可能となる。また、反対に、図１８の（Ｂ）に示すように、青の色再現判定枠内で、色再現性が人間の目に分からないレベルに青系の補正値を大きくすることで、違和感のない画像にすることが可能となる。
【００７２】
＜３．第２実施形態に係る撮像装置＞
図１９は、本開示の第２実施形態に係る撮像装置の構成の概略を示すシステム構成図である。撮像装置としては、第１実施形態の場合と同様に、デジタルスチルカメラ、ビデオカメラ、携帯電話カメラ、監視カメラなどを例示することができる。
【００７３】
図１９に示すように、第２実施形態に係る撮像装置１０Bは、レンズ１１等を含む光学系、撮像素子１２、及び、操作部１４を有する構成となっている。撮像素子１２は、ＣＣＤイメージセンサに代表される電荷転送型の固体撮像素子であってもよいし、ＣＭＯＳイメージセンサに代表される増幅型の固体撮像素子であってもよい。
【００７４】
そして、第２実施形態に係る撮像装置１０Bは、撮像素子１２のチップに、信号処理部であるＤＳＰ部１３が内蔵した構成となっている。すなわち、第１実施形態に係る撮像装置１０Aにおける撮像素子１２は、センサ部（画素）が２次元配置されて成る画素部（撮像部）１６とＤＳＰ部１３が一体型の構成となっている。
【００７５】
一体型の構造としては、画素部１６とＤＳＰ部１３が同じ基板上に配置されて成る平置型であってもよいし、画素部１６とＤＳＰ部１３が階層的に配置して成る積層型であってもよい。
【００７６】
このように、画素部１６とＤＳＰ部１３が一体型の第２実施形態に係る撮像装置１０Bに対しても、本開示の信号処理回路あるいは信号処理方法の技術を適用することができる。すなわち、ＤＳＰ部１３として、第１実施形態に係るＤＳＰ部１３、即ち、本開示の色信号処理回路あるいは色信号処理方法の技術が適用された、カラーマトリクス部（色信号処理部）１５を有するＤＳＰ部１３を用いることができる。
【００７７】
尚、第１、第２実施形態では、可視光の入射光量の分布を検知して画像として撮像する撮像装置を前提としているが、当該撮像装置への適用に限られるものではなく、本開示の技術は、赤外線やＸ線、あるいは、粒子等の入射量の分布を画像として撮像する撮像装置に適用可能である。
【００７８】
また、本開示の技術、即ち、本開示の色信号処理回路あるいは色信号処理方法の技術は、ＤＳＣ、携帯電話カメラ、監視カメラなどの撮像装置への適用に限られるものではなく、複写機、ファクシミリ装置、カラープリンタ装置など、色信号を扱う電子機器全般に対しても適用可能である。
【００７９】
＜４．応用例＞
本開示の色信号処理回路あるいは色信号処理方法の技術は、色再現の色差（色ズレ）評価の技術に応用することができる。そして、当該色再現評価の技術は、デバイスの特性、例えば、撮像素子の斜入射特性を評価する試験装置（所謂、テスタ装置）に用いることができる。
【００８０】
例えば、撮像素子の斜入射特性、即ち、センサ部（画素）に斜めに入射する光に対する特性を評価する際に、この光の斜め入射により光の所謂ケラレが生じ、画素部に期待通りの光量の光を集光できず、色再現性が劣化してしまう。従来の手法だと、この色再現の劣化分を感覚的に評価していた。
【００８１】
これに対して、本開示の色信号処理回路あるいは色信号処理方法の技術、即ち、定量的な色再現判定枠を用いて色再現の色差（色ズレ）評価を行うことで、誰にでも容易にかつ確実に、しかも、より高精度にて評価（選別）を行うことができることとなる。
【００８２】
本開示の色再現評価方法の具体的な処理手順の一例について、図２０のフローチャートを用いて説明する。ここでは、評価対象のデバイスが例えば撮像素子の場合を例に挙げて説明する。
【００８３】
先ず、使用カテゴリ(ＤＳＣ用／携帯電話カメラ用／監視カメラ用など)、画作り思想(色再現重視、ノイズ感重視など)、撮像シーン(日中、夜景など等)を設定し（ステップＳ２１）、次いで、設定したカテゴリ／画作り思想／撮像シーンから色再現基準値を評価基準として決定する（ステップＳ２２）。そして、ステップＳ２１で選択したカテゴリ／画作り思想／撮像シーンと、ステップＳ２２で決定した色再現基準値から色再現判定枠を決定する（ステップＳ２３）。
【００８４】
次に、撮像素子の分光感度特性から算出される色再現特性が、ステップＳ２３で決定した色再現判定枠内に収まっているか否かを判定する（ステップＳ２４）。そして、色再現判定枠内に収まっている場合（Ｙｅｓ）は、評価基準内のデバイスである（ＯＫ）として処理し（ステップＳ２５）、色再現判定枠内に収まっていない場合は、評価基準外のデバイスである（ＮＧ）として処理する（ステップＳ２６）、という具合に選別を行うようにする。
【００８５】
＜５．本開示の構成＞
尚、本開示は以下のような構成を採ることができる。
［１］色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路。
［２］前記色再現判定枠は、人間の視感度特性を考慮に入れた色ズレについての許容可能な範囲を定量的に示している上記［１］に記載の色信号処理回路。
［３］前記色再現判定枠は、色ズレを許容可能な限界を規定する許容限界枠を含む上記［１］または上記［２］に記載の色信号処理回路。
［４］前記色再現判定枠は、色ズレを人間の目で検知可能な限界を規定する検知限界枠を含む上記［３］に記載の色信号処理回路。
［５］前記色再現判定枠は、少なくともＬ*ａ*ｂ*色度図空間及びＬ*ｕ*ｖ*色度図空間の色空間上で表わすことができる全ての色に適用可能である上記［１］から上記［４］のいずれかに記載の色信号処理回路。
［６］前記色再現判定枠は、三原色及びその補色の基本色毎に設定されている上記［１］から上記［５］のいずれかに記載の色信号処理回路。
［７］前記色再現判定枠は、前記基本色の色再現判定枠に加えて、前記基本色以外の色の色再現判定枠を含み、
前記基本色以外の色の色再現判定枠は、前記基本色の色再現判定枠を基に補間処理によって設定される上記［１］から上記［６］のいずれかに記載の色信号処理回路。
［８］前記色再現判定枠は、当該色再現判定枠の用途別に枠の大きさと色再現基準値が設定される上記［１］から上記［７］のいずれかに記載の色信号処理回路。
［９］前記色再現判定枠は、色空間上において、色再現基準値に合わせて枠の大きさが動的に設定される上記［１］から上記［７］のいずれかに記載の色信号処理回路。
［１０］色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理方法。
［１１］色ズレを許容可能な範囲を規定する色再現判定枠を色度図上に設定し、
デバイスから入力される色信号が前記色再現判定枠内に入っているか否かを評価する色再現評価方法。
［１２］前記デバイスは撮像素子であり、
前記撮像素子の斜入射特性を評価する上記［１１］に記載の色再現評価方法。
［１３］被写体像を撮像する撮像部と、
色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、前記撮像部から入力される撮像信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路とを備える撮像装置。
［１４］前記色再現判定枠は、撮像シーン別に枠の大きさと色再現基準値が設定される上記［１３］に記載の撮像装置。
［１５］前記色再現判定枠は、カテゴリ別に枠の大きさと色再現基準値が設定される上記［１３］に記載の撮像装置。
［１６］前記色再現判定枠は、周囲の輝度の変化や色比率の変化から、視覚上違和感のない速度で枠の大きさと色再現基準値が動的に設定される上記［１３］に記載の撮像装置。
［１７］前記色再現判定枠は、光の三原色及びその補色の基本色毎に設定されており、
前記色信号処理回路は、所定の照度よりも低い環境下での撮像時に、赤の色再現判定枠内で色再現性が視認できないレベルに赤系の色補正値を小さくする上記［１３］に記載の撮像装置。
［１８］前記色再現判定枠は、光の三原色及びその補色の基本色毎に設定されており、
前記色信号処理回路は、所定の照度よりも低い環境下での撮像時に、青の色再現判定枠内で色再現性が視認できないレベルに青系の色補正値を小さくする上記［１３］に記載の撮像装置。
［１９］色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
入力される色信号に対して色成分が前記色再現判定枠内になるように補正処理を行う色信号処理回路を有する電子機器。
［２０］色度図上に設定された、色ズレを許容可能な範囲を規定する色再現判定枠を用い、
デバイスから入力される色信号が前記色再現判定枠内に入っているか否かを評価することによって前記デバイスの品質を選別する試験装置。
【符号の説明】
【００８６】
１０A、１０B・・・撮像装置、１１・・・レンズ、１２・・撮像素子、１３・・・ＤＳＰ部（信号処理部）、１４・・・操作部、１５・・・カラーマトリクス部（色信号処理部）、１６・・・画素部（撮像部）、２１・・・色再現基準値生成部、２２・・・色再現判定枠生成部、２３・・・判定部、２４・・・色再現補正値生成部
【図１】
2013219452.tif 000003
【図２】
2013219452.tif 000004
【図３】
2013219452.tif 000005
【図４】
2013219452.tif 000006
【図５】
2013219452.tif 000007
【図６】
2013219452.tif 000008
【図７】
2013219452.tif 000009
【図８】
2013219452.tif 000010
【図９】
2013219452.tif 000011
【図１０】
2013219452.tif 000012
【図１１】
2013219452.tif 000013
【図１２】
2013219452.tif 000014
【図１３】
2013219452.tif 000015
【図１４】
2013219452.tif 000016
【図１５】
2013219452.tif 000017
【図１６】
2013219452.tif 000018
【図１７】
2013219452.tif 000019
【図１８】
2013219452.tif 000020
【図１９】
2013219452.tif 000021
【図２０】
2013219452.tif 000022