(57)【要約】      （修正有）【課題】撮像した映像情報を望む色再現特性に近似する際、色差ΔＥを低減し、分光感度補正フィルタを用いた撮像装置及び分光感度調整方法を提供する。【解決手段】分光感度補正フィルタ１１で、所定フォーマット（例えば、ITU-RBT/2020等の映像フォーマット）による理想的な色信号特性となるよう、理想撮像特性に近い分光感度を生成する。カラーフィルタ１２やイメージセンサ１３の他、分光感度補正フィルタ１１の透過特性、ゲイン、リニアマトリックスを加えた撮像系を設定し、分光感度特性→Ｓ'(λ)を、分光補正フィルタ１１の透過特性Ｃ(λ)×カラーフィルタ１２の透過特性→Ｔ(λ)×イメージセンサ１３の分光感度特性Ｓ(λ)×ゲイン→Ｇ×リニアマトリックスＬ、により定義し、最小二乗法を用い、この分光感度特性→Ｓ'(λ)を最適にし得る、分光補正フィルタ１１の透過特性Ｃ(λ)、ゲイン→Ｇ、リニアマトリックスＭを算出する。【選択図】図１
2015100088.tif 000002
【特許請求の範囲】
【請求項１】
被写体像情報を担持した色光を撮像手段により光電変換し、該光電変換により得られた、複数の色信号を含む映像信号を出力する撮像装置に搭載されてなり、
前記撮像手段の前記色光入射側に配され、前記撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくように補正するよう構成されてなることを特徴とする分光感度補正フィルタ。
【請求項２】
前記分光感度を調整する手段は、前記分光感度補正フィルタの透過特性、前記複数の色信号の各ゲイン、およびリニアマトリックスの各値をパラメータとして最小二乗法を用いて算出する算出手段を備えたことを特徴とする請求項１に記載の分光感度補正フィルタ。
【請求項３】
前記各ゲインがＲ、Ｇ、Ｂゲインであり、このＲ、Ｇ、Ｂゲインの各ゲイン値の差が所定値以下であることを拘束条件とすることを特徴とする請求項２に記載の分光感度補正フィルタ。
【請求項４】
前記所望の色信号特性が、
所定の映像フォーマットで規定されている広色域映像を取得するのに適した理想撮像特性であることを特徴とする請求項１〜３のうちいずれか１項に記載の分光感度補正フィルタ。
【請求項５】
前記所望の分光感度特性を、３色分解プリズムを用いた撮像系の分光感度特性としたことを特徴とする請求項１〜３のうちいずれか１項に記載の分光感度補正フィルタ。
【請求項６】
請求項１〜５のうちいずれか１項記載の分光感度補正フィルタを搭載したことを特徴とする撮像装置。
【請求項７】
被写体像情報を担持した色光を撮像手段により光電変換し、該光電変換により得られた、複数の色信号を含む映像信号を出力する撮像装置に搭載される分光感度補正フィルタの調整方法において、
前記撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくように、前記分光感度補正フィルタの透過特性、前記複数の色信号の各ゲイン、およびリニアマトリックスの各値をパラメータとする最小二乗法の計算を繰返し行って調整することを特徴とする分光感度調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分光感度補正フィルタ、これを用いた撮像装置および分光感度調整方法に関し、詳しくは、撮像系全系の分光感度を調整して色補正を行い得る分光感度補正フィルタ、これを用いた撮像装置および分光感度調整方法に関するものである。
【背景技術】
【０００２】
カラーカメラでは、被写体を撮像した際において、目的とする映像フォーマット等に応じた色再現特性が求められる。
また、カラーカメラにおいては、産業用に多く用いられるいわゆる３板式撮像方式と、民生用に多く用いられるいわゆる単板式撮像方式とが並立しているが、１つのシステム内で、これら２つの撮像方式の撮像装置が混在する場合には、例えば、単板式撮像方式で撮像した映像を３板式撮像方式による色再現特性に近づける（真似る）ことが求められる。
従来、これらの場合において、撮像された映像を所望とする色再現特性に近づけるために、Ｒ、Ｇ、Ｂ各チャネルのゲインおよび/またはリニアマトリックス等を用いて、電気的に色補正を行うようにした技術が知られている（特許文献１、非特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７１８４４号公報
【非特許文献】
【０００４】
【非特許文献１】８９０万画素撮像素子を用いた放送用単板カラーハイビジョンカメラの試作、映像情報メディア学会誌VOL.62、No.7、pp.1104〜1109（2008）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したような従来の撮像装置では、ＲＧＢ各チャネルのゲイン調整やリニアマトリックスの補正を行っているものの、いずれも撮像素子で光電変換を行って得られた各色信号に対して電気的な色補正処理を行うものであるため、色差ΔＥを低減させるには限界があり、その改善が求められていた。
特に、スーパーハイビジョン(SHV)においては、さらなる高臨場感や高現実感に加えて、極めて良好な色再現性が求められており、迅速な対応が求められていた。
本発明は、このような事情に鑑みなされたものであり、撮像された映像情報を所望とする色再現特性に近づける際に、従来よりも大幅に色差ΔＥを低減し得る、分光感度補正フィルタ、これを用いた撮像装置および分光感度調整方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の分光感度補正フィルタは、
被写体像情報を担持した色光を撮像手段により光電変換し、該光電変換により得られた、複数の色信号を含む映像信号を出力する撮像装置に搭載されてなり、
前記撮像手段の前記色光入射側に配され、前記撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくように補正するよう構成されてなることを特徴とするものである。
なお、撮像装置全系の分光感度特性を、所望の色信号特性を得るための所望の分光感度特性に近づけるように機能する要素としては、上記分光感度補正フィルタのみに限られるものではなく、一般には、この分光感度補正フィルタによる調整と、従来からのゲイン調整やリニアマトリックス調整とにより総合的に機能し得るように構成する。
【０００７】
また、前記分光感度を調整する手段は、前記分光感度補正フィルタの透過特性、前記複数の色信号の各ゲイン、およびリニアマトリックスの各値をパラメータとして最小二乗法を用いて算出する算出手段を備えることが好ましい。
【０００８】
また、前記各ゲインが前記Ｒ、Ｇ、Ｂゲインであり、このＲ、Ｇ、Ｂゲインの各ゲイン値の差が所定値以下であることを拘束条件とすることが好ましい。
また、前記所望の色信号特性が、
所定の映像フォーマットで規定されている広色域映像を取得するのに適した理想撮像特性であることが好ましい。
また、前記所望の分光感度特性を、３色分解プリズムを用いた撮像系の分光感度特性とすることが好ましい。
【０００９】
次に、本発明の撮像装置は、上記いずれかの分光感度補正フィルタを搭載したことを特徴とするものである。
【００１０】
さらに、本発明の分光感度調整方法は、被写体像情報を担持した色光を撮像手段により光電変換し、該光電変換により得られた、複数の色信号を含む映像信号を出力する撮像装置に搭載される分光感度補正フィルタの調整方法において、
前記撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくように、前記分光感度補正フィルタの透過特性、前記複数の色信号の各ゲイン、およびリニアマトリックスの各値をパラメータとする最小二乗法の計算を繰返し行って調整することを特徴とするものである。
【発明の効果】
【００１１】
本発明の分光感度補正フィルタおよび撮像装置においては、
分光感度補正フィルタが、前記撮像手段の前記色光入射側に配されてなり、
この分光感度補正フィルタにより、撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくようにしているので、撮像された映像を所望とする色再現特性に近づける際に、従来よりも大幅に色差ΔＥを低減させることができる。
【００１２】
すなわち、本発明においては、撮像された映像を、所望とする色再現特性に近づける際に、撮像手段に撮像される前の色光の段階でも、分光感度特性を調整しているので、撮像された映像の色信号を所望の色信号に精度よく合致させることができ、色差ΔＥを低減させることができる。
【００１３】
これにより、例えば、カラーフィルタなどの透過特性で限定されてしまう撮像装置の分光感度特性を、理想とされる分光感度特性に近づけることが容易となり、撮像された映像の色信号を所望の色信号に精度よく合致させることができる。
特に、例えば、スーパーハイビジョン(SHV)用の映像フォーマットである、ITU-R BT/2020等にも、効率よく合致させることができる。
【００１４】
また、１つのシステム内で、３板式撮像方式と単板式撮像方式の撮像系が混在するような場合には、例えば、一方の撮像方式による色再現特性を他方の撮像方式による色再現特性に近づけることが求められる場合があるが、この撮像方式の調整を、撮像手段により撮像される前の色光の段階で、分光透過特性（反射型フィルタである場合には分光反射特性）を調整した分光感度補正フィルタを透過（反射型フィルタである場合には反射）させることにより行うようにしているので、色差ΔＥを低減させることができ、所望の撮像方式における色再現を改善することができる。
また、本発明の分光感度調整方法においては、前記撮像装置全系の分光感度特性が、所望の色信号特性を得るための所望の分光感度特性に近づくように、前記分光感度補正フィルタの透過特性、前記複数の色信号の各ゲイン、およびリニアマトリックスの各値をパラメータとする最小二乗法の計算を繰返し行って調整するようにしているから、色差ΔＥを効率よく低減させることができ、色再現の大幅な改善を図ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置を示すブロック図である。
【図２】理想的な分光感度特性の一例を示すグラフである。
【図３】一般的なカラーフィルタの透過特性を示すグラフである。
【図４】一般的なゲインとリニアマトリックスのみを用いて最適化した際の分光感度特性を示すグラフである。
【図５】本発明の実施例１に係る撮像系全系の分光感度特性を示すグラフである。
【図６】本発明の実施例１に係る分光感度補正フィルタの透過特性を示すグラフである。
【図７】３板式撮像方式で用いられるダイクロイックミラー（ダイクロイックプリズム）の透過特性を示すグラフである。
【図８】本発明の実施例２に係る分光感度補正フィルタの透過特性を示すグラフである。
【図９】本発明の実施例２に係る撮像装置における複合撮像系の分光感度特性を示すグラフである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、上記図面を参照しながら詳細に説明する。
なお、本願明細書において、ベクトル表示は、記載の便宜上、要素を表す記号の左側上部に右向き矢印を記載する（例えば、Ｇベクトルについては
→Ｇと記載する）ようにして表す場合がある。
【００１７】
（実施例１）
まず、本発明の実施例１に係る撮像装置の概念を図１を用いて説明する。
この撮像装置１では、被写体からの各色光情報（Ｒ光、Ｇ光、Ｂ光）を担持した光がイメージセンサ１３上に結像されるが、その前段（色光入射側）において分光感度補正フィルタ１１を通過して分光感度を調整されるようになっている。また、この例では、単板式撮像方式を採用しており、カラー用のイメージセンサ１３の直前に入射光を色分解するカラーフィルタ１２が配されている。このカラーフィルタ１２により、イメージセンサ１３の色光用画素毎に各々対応する色光が入射するように構成されている。
【００１８】
また、イメージセンサ１３の光電変換機能により上記各色光情報を含む映像情報に対応した電気信号が出力される。この電気信号は色信号を含む映像信号からなるが、信号処理部１４のゲイン調整部１４ａおよびリニアマトリックス調整部１４ｂにおいて、分光感度特性→Ｓ'(λ)のずれを小さくするような信号色調整が行われる。
【００１９】
結局、撮像装置１の系全体としての複合的な分光感度特性→Ｓ'(λ)はRGB成分それぞれについてＣ（λ)，→Ｔ(λ)，Ｓ(λ)，→ＧおよびＭを順次掛け合わせることによって与えられる。
【００２０】
但し、Ｃ（λ)は分光感度補正フィルタ１１の透過特性を示し、→Ｔ（λ)はカラーフィルタ１２の透過特性を示し、Ｓ(λ)はイメージセンサ１３の分光感度特性を示し、→Ｇはゲイン調整部１４ａの分光感度特性を示し、Ｍはリニアマトリックス調整部１４ｂの分光感度特性を示す。
【００２１】
なお、撮像レンズ等の光学系１５がイメージセンサ１３の前段に配されているときには、この光学系１５の透過特性等も加味して上記条件式（１）を形成する。
【００２２】
さらに、図１の撮像装置１においては単板式撮像方式を採用している例を示しているが、撮像装置１としては３板式撮像方式を採用したものとしてもよく、この場合には、カラーフィルタ１２の透過特性→Ｔ（λ)に替えて、色分解プリズム（例えば、ダイクロイックミラーを使用）の透過特性（あるいは反射特性）を上式（１）の要素として導入することが肝要である。
【００２３】
ところで、撮像された映像信号を、例えばスーパーハイビジョン(SHV)用の映像フォーマットである、ITU-R BT/2020等に合致させる場合には、例えば、図２で示されるような理想撮像特性に合致させるように撮像装置１の系全体としての分光感度特性を調整することが肝要である。
特に、カラーフィルタ１２の透過特性（図３を参照）が撮像装置１の系全体としての分光感度特性に大きな影響を及ぼすので、この透過特性を考慮して調整する必要がある。
【００２４】
すなわち、単板式撮像方式を採用した撮像装置１の色分離手段は、通常、フォトリソ行程を用い、画素毎に樹脂製の対応各色カラーフィルタ１２をパターニングすることにより作製されるが、実際に完成したカラーフィルタ１２の分光感度特性は、そのカラーフィルタ１２の透過特性により、大きく異なってしまう。
【００２５】
この透過特性が目的とするものと大きく相違する場合には、これを補正するために、従来は、イメージセンサ１３の後段に位置する信号処理部１４における、ゲイン調整部１４ａやリニアマトリックス調整部１４ｂにおいて、撮像装置１の系全体としての分光感度特性を調整するようにしていた（図４を参照）。しかしながら、この手法では、撮像装置１の系全体としての分光感度特性と上記理想撮像特性との色差Δを大幅に減少させることが困難であった。
【００２６】
そこで、本実施例においては、前述したように被写体からの各色光情報（Ｒ光、Ｇ光、Ｂ光）を担持した光がイメージセンサ１３上に結像される前に、分光感度補正フィルタ１１を通過させて分光感度を調整するようになっている。すなわち、本実施例においては、イメージセンサ１３の後段に配された信号処理部１４内のゲイン調整部１４ａおよびリニアマトリックス調整部１４ｂでの分光感度特性の電気的な調整のみならず、イメージセンサ１３の前段に配された分光感度補正フィルタ１１での分光感度特性の光学的な調整を行うことによって、系全体として各色における色差Δを大幅に減少させるようにしている。
【００２７】
換言すれば、所定の色信号が所定フォーマット（例えば、ITU-R BT/2020等の映像フォーマット）による理想的な色信号特性となるための理想撮像特性に近い分光感度を生成するため、まず、カラーフィルタ１２やイメージセンサ１３の他に、分光補正フィルタ１１の透過特性、ゲイン、リニアマトリックスを加えた複合した撮像系を設定する。すなわち、分光感度特性→Ｓ'(λ)を、分光補正フィルタ１１の透過特性Ｃ(λ)×カラーフィルタ１２の透過特性→Ｔ(λ)×イメージセンサ１３の分光感度特性Ｓ(λ)×ゲイン→Ｇ×リニアマトリックスＭなる式で定義し、この分光感度特性→Ｓ'(λ)が最適となるＣ(λ)、→Ｇ、Ｍを算出する。
【００２８】
以下、上述した各要素 →Ｇ、Ｍ、Ｃ（λ)を調整する本実施例に係る分光感度調整方法について説明する。
【数１】
2015100088.tif 000003
【００２９】
【数２】
2015100088.tif 000004
ここで、上記波長λとしては、可視領域範囲400nm（λｍｉｎ）から700nm（λｍａｘ）において離散化した波長λnが採用される。なお、上記最小二乗法としては、フィッティング処理に用いられる一般的な手法のものを用いればよい。
【００３０】
このようにして導出された分光感度特性→Ｓ’(λ)を図５に、その際に導出された分光感度補正フィルタ１１の透過特性Ｃ(λ)を図６に示す。また、この条件下でのゲイン→Ｇの値を表１に、リニアマトリックスＬの値を表２に示す。
【００３１】
【表１】
2015100088.tif 000005
【００３２】
【表２】
2015100088.tif 000006
【００３３】
また、本実施例を用いて得られた上記分光感度特性→Ｓ’(λ)について、マクベスチャートによる色差ΔＥを用いて評価した。なお、光源としてはD65光源を用いた。
その結果、色差ΔＥの平均値は0.81、最大値は2.60となった。これに対し、分光感度補正フィルタ１１を用いずにゲイン→ＧとリニアマトリックスＬのみを用いて最適化を行った場合には、色差ΔＥの平均値は1.232、最大値は4.433となったことから、分光感度補正フィルタ１１を用いて最適化を図ることにより、色差ΔＥを改善できることが明らかである。
【００３４】
なお、分光感度補正フィルタ１１を用いずに最適化された上記条件下において、ゲイン→Ｇの値を表３に、また、リニアマトリックスＬの値を表４に示す。
【００３５】
【表３】
2015100088.tif 000007
【００３６】
【表４】
2015100088.tif 000008
【００３７】
ただ、ゲインの値が最大で1.479倍高くなっているため、Ｓ/Ｎが3.4dB程度低下する。
一般には、チャネル間でＳ/Ｎバランスが低下することは好ましくないので、Ｓ/Ｎの低下を小さい値に抑えたいという要求がある場合には、Ｓ/Ｎの許容下限値を拘束条件とした上で上記演算を行い、Ｓ/Ｎの低下を許容範囲内としつつ上記色差ΔＥを低減することが好ましい。
【００３８】
また、拘束条件としてＲ、Ｇ、Ｂの各チャネルのゲイン差を小さくするような手法を用いることも可能である。すなわち、最も高いゲイン値に設定されたチャネルではＳ/Ｎが損なわれる虞があるため、Ｒ、Ｇ、Ｂの各チャネルのゲイン差（適切な数値（例えば２））を拘束条件として最適化を図ることが好適である。
【００３９】
（実施例２）
以下、本発明の実施例２に係る分光感度補正フィルタおよび撮像装置について説明するが、実施例１に係る分光感度補正フィルタおよび撮像装置の説明と重複する部分も多いので、その重複部分については、説明を省略する。
【００４０】
ここで、色を再現するカラー撮像方式には、一般に、色分解プリズムを用いる３板式撮像方式と、画素毎にカラーフィルタをパターニングしたイメージセンサを用いる単板式撮像方式が知られている。この２種のカラー撮像方式を用いた撮像系を混在させる場合、色分解プリズム（ダイクロイックプリズム等）の透過特性（図７）と、前述したカラーフィルタ１２の透過特性（図３）との形状が、互いに大幅に異なることによって互いの色調が大幅にずれる場合がある。
【００４１】
例えば、放送局においては、解像度の劣化および偽色等による画質の劣化を防ぐため、３板式撮像方式の撮像装置が使用されることが多い。しかし、その中に単板式撮像方式の撮像装置を混在させることも少なくなく、この場合には両者の間で、互いに色調が合わなくなることがしばしば問題となっている。
【００４２】
この透過特性はカラーレジストに含まれる顔料に依存する。十数種類といわれる顔料の組み合わせで透過特性を作りだしているが、理想撮像特性に完全にマッチするものを作製するには至っていない。さらに、レジスト露光により作製しているために分光透過率を０にすることが困難という基本的な問題もある。これにより、カラーフィルタ１２を用いた単板式撮像方式では上記の理想撮像特性とは形状がかなり相違したものとなることが多い．また、イメージセンサの分光感度特性も、イメージセンサ個々に相違するものであるため、これも分光感度が理想撮像特性からずれる原因となる．
【００４３】
そこで、上記実施例１の場合と同様の分光感度補正フィルタ、撮像装置および分光感度調整方法を用いて、単板式撮像方式の分光感度特性を、３板式撮像方式の分光感度特性に近づける（真似る）ように設定した、分光感度補正フィルタ１１の透過特性の算出結果を図８に示す。
【００４４】
この実施例２に係る分光感度補正フィルタ１１の透過特性と、算出されたゲイン値およびリニアマトリックス値をかけ合わせた複合的な撮像系の分光感度特性を図９に示す。
【００４５】
このようにして、単板式撮像方式の分光感度特性を、３板式撮像方式の分光感度特性に近づけることで両者の色調を合わせているので、３板式撮像方式の撮像系と単板式撮像方式の撮像系とが混在するようなシステムにおいても、両者の間で、色調が同様となり、両撮像装置から得られた色信号を同一の処理工程で処理することができるようになる。
【００４６】
なお、本発明の分光感度補正フィルタ、これを用いた撮像装置および分光感度調整方法としては、上記実施形態のものに限られるものではなく、例えば、上記実施形態においては、分光感度補正フィルタが光透過フィルタのものを主として記載しているが、これに替えて、分光感度補正フィルタを光反射フィルタからなるものとすることも可能である。
【００４７】
また、上記実施形態においては、３板式撮像方式を構成する際に、ダイクロイックミラー（ダイクロイックプリズム）を用いて光の色分解を行っているが、これに替えて、例えばフィリップス型等の他の色分解プリズムを用いた３板式撮像方式であっても、本発明の技術を適用することができる。
【００４８】
また、上記実施例２においては、単板式撮像方式の撮像系の分光感度特性が、３板式撮像方式の撮像系の分光感度特性に近づくように処理しているが、３板式撮像方式の撮像系の分光感度特性が、単板式撮像方式の撮像系の分光感度特性に近づくように処理する場合においても、本発明の技術を適用できることは勿論である。
【００４９】
さらに、上記実施形態においては、可視光の範囲で分光する例を示しているが、本発明の技術は、紫外線あるいは赤外線の領域に及ぶ波長領域を分光する場合に適用することも可能である。
【符号の説明】
【００５０】
１      撮像装置
１１      分光感度補正フィルタ
１２      カラーフィルタ
１３      イメージセンサ
１４      信号処理部
１４ａ    ゲイン調整部
１４ｂ    リニアマトリックス調整部
１５      撮像光学系（レンズ）
【図２】
2015100088.tif 000009
【図３】
2015100088.tif 000010
【図４】
2015100088.tif 000011
【図５】
2015100088.tif 000012
【図６】
2015100088.tif 000013
【図７】
2015100088.tif 000014
【図８】
2015100088.tif 000015
【図９】
2015100088.tif 000016
【図１】
2015100088.tif 000017