(57)【要約】【課題】赤外線カットフィルタを用いることなく高感度撮影を可能とし、かつ色再現性を損なうことを防止できる撮像装置およびその方法を提供する。【解決手段】光学系１１と、光学系１１を介して得られる赤外波長成分を含む被写体像を撮像する撮像素子１２と、撮像素子１２で撮像した画像信号の処理を行う画像処理部１３と、を有し、画像処理部１３は、画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする。【選択図】図１
2011176617.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系を介して得られる赤外波長成分を含む被写体像を撮像する撮像素子と、
前記撮像素子で撮像した画像信号の処理を行う画像処理部と、を有し、
前記画像処理部は、
前記画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする
撮像装置。
【請求項２】
前記変換率および前記画像処理部における明度および彩度のそれぞれの変換を下記式にて行う
請求項１に記載の撮像装置。
変換率  ：β＝Ｃ／Ｃ0   
彩度変換：de_Ｃ＝Ｃ＋ｋ1・β・Ｃref
明度変換：de_Ｌ＝Ｌ−ｋ2・β・（１００−Ｌref）
ただし、
de_Ｃ：変換後の彩度
de_L：変換後の明度
Ｃ：変換前の彩度
Ｌ：変換前の明度
Ｃ0：変換前の画像全体の彩度の平均値
ｋ1、ｋ2：変換の度合いを調整する係数
Ｃref：彩度の変換量を規制する定数
Ｌref：明度の変換量を規制する定数
【請求項３】
前記彩度の変換量を規制する定数および明度の変換量を規制する定数は変換前の色相によって異なる値を用いる
請求項２に記載の撮像装置。
【請求項４】
前記画像処理部における前記色再現処理を行った明度、彩度、色相は、Ｌ*ａ*ｂ表色系をｓＲＧＢ変換した際に、実数領域かつ飽和しない領域に含まれる
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
光学系を介して得られる赤外波長成分を含む被写体像を撮像する撮像ステップと、
前記撮像した画像信号の処理を行う画像処理ステップと、を有し、
前記画像処理ステップは、
前記画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする
撮像方法。
【請求項６】
前記変換率および前記画像処理ステップにおける明度および彩度のそれぞれの変換を下記式にて行う
請求項５に記載の撮像方法。
変換率  ：β＝Ｃ／Ｃ0   
彩度変換：de_Ｃ＝Ｃ＋ｋ1・β・Ｃref
明度変換：de_Ｌ＝Ｌ−ｋ2・β・（１００−Ｌref）
ただし、
de_Ｃ：変換後の彩度
de_L：変換後の明度
Ｃ：変換前の彩度
Ｌ：変換前の明度
Ｃ0：変換前の画像全体の彩度の平均値
ｋ1、ｋ2：変換の度合いを調整する係数
Ｃref：彩度の変換量を規制する定数
Ｌref：明度の変換量を規制する定数
【請求項７】
前記彩度の変換量を規制する定数および明度の変換量を規制する定数は変換前の色相によって異なる値を用いる
請求項６に記載の撮像方法。
【請求項８】
前記画像処理ステップにおける前記色再現処理を行った明度、彩度、色相は、Ｌ*ａ*ｂ表色系をｓＲＧＢ変換した際に、実数領域かつ飽和しない領域に含まれる
請求項５から７のいずれか一に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置およびその方法に関し、特に、昼夜を問わず自動で撮影が行われる監視カメラなどに対し好適な撮像装置およびその方法に関するものである。
【背景技術】
【０００２】
一般的に撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号を信号処理を施すことにより所定の電気信号を得る信号処理部を有している。
【０００３】
通常、撮像素子は、相補性金属酸化膜半導体（CMOS：Complementary Metal-oxide Semiconductor）や電荷結合素子（CCD：Charge Coupled Device）等が使用される。
ＲＧＢの色信号を得る場合には、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる原色フィルターの場合と、Ｍｇ、Ｃｙ、Ｙｅ、Ｇの補色フィルターの場合がある。
色分離フィルターはいずれの場合も染料、もしくは顔料を用いて目的の色を透過する。ただし、同時に赤外領域も一定の割合で透過率を有してしまう。
【０００４】
一方、人間の色に対する視感度特性は可視領域と呼ばれる３８０ｎｍから７８０ｎｍまでの感度特性を持っていて、７００ｎｍ以上の長波長領域ではほとんど感度を有さない。
したがって、人間の目の特性に合わせた色を再現するためには、撮像素子の前に近赤外領域の光線を通過させない赤外線除去フィルター（IRCF：Infrared Cut Filter）を備える必要がある。
【０００５】
一方、たとえば監視カメラや車載カメラ等のように、特に夜間での感度も重視する場合は、近赤外領域の光を利用するために、ＩＲＣＦを取り外すことが一般に知られている。
また、ＩＲＣＦを設置せず、マトリクス演算を行うことにより色再現性を向上する技術も提案されている（たとえば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３０３７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、撮影環境の明るい昼間と暗い夕方や夜間で、ＩＲＣＦを出し入れすることで、撮影環境に対応させている光学システムでは、ＩＲＣＦの出し入れという可動する機構部が存在するために、耐環境的な信頼性が悪くなる。
【０００８】
また、ＩＲＣＦを常に挿入して使用しようとする場合、昼間は良好な画像を得られるが、夜間は光量が不足するために、非常に長いシャッタースピードにするか、高い信号増幅をするなどで対応するケースがデジタルスチルカメラなどでは良く見られる。
【０００９】
しかし、シャッタースピードを長くすると、移動する物体を撮影するときには、像がぶれてしまう。
また、信号増幅を高くする場合は、ノイズが強く発生するために、見苦しい画像となる。
【００１０】
一方、ＩＲＣＦを入れないで使用する場合、たとえば、特許文献１に挙げた撮像装置は、彩度の足りない画像に対しては所望の色が再現されない場合がある。
【００１１】
本発明は、赤外線カットフィルタを用いないことで高感度撮影を可能とし、かつ色再現性を損なうことを防止できる撮像装置およびその方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点の撮像装置は、光学系と、前記光学系を介して得られる赤外波長成分を含む被写体像を撮像する撮像素子と、前記撮像素子で撮像した画像信号の処理を行う画像処理部と、を有し、前記画像処理部は、前記画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする。
【００１３】
好適には、前記変換率および前記画像処理部における明度および彩度のそれぞれの変換を下記式にて行う。
変換率  ：β＝Ｃ／Ｃ0   
彩度変換：de_Ｃ＝Ｃ＋ｋ1・β・Ｃref
明度変換：de_Ｌ＝Ｌ−ｋ2・β・（１００−Ｌref）
ただし、
de_Ｃ：変換後の彩度
de_L：変換後の明度
Ｃ：変換前の彩度
Ｌ：変換前の明度
Ｃ0：変換前の画像全体の彩度の平均値
ｋ1、ｋ2：変換の度合いを調整する係数
Ｃref：彩度の変換量を規制する定数
Ｌref：明度の変換量を規制する定数
【００１４】
好適には、前記彩度の変換量を規制する定数および明度の変換量を規制する定数は変換前の色相によって異なる値を用いる。
【００１５】
好適には、前記画像処理部における前記色再現処理を行った明度、彩度、色相は、Ｌ*ａ*ｂ表色系をｓＲＧＢ変換した際に、実数領域かつ飽和しない領域に含まれる。
【００１６】
本発明の第２の観点の撮像方法は、光学系を介して得られる赤外波長成分を含む被写体像を撮像する撮像ステップと、前記撮像した画像信号の処理を行う画像処理ステップと、を有し、前記画像処理ステップは、前記画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする。
【発明の効果】
【００１７】
本発明によれば、赤外線カットフィルタを用いることなく高感度撮影を可能とし、かつ色再現性を損なうことを防止できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】Ｌ*ａ*ｂ表色系のｓＲＧＢの存在範囲を示す図である。
【図３】本実施形態に係る画像処理部の動作を説明するためのフローチャートである。
【図４】図３の色再現処理を説明するためのフローチャートである。
【図５】明度、彩度の変換イメージを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２０】
図１は、本発明の実施形態に係る撮像装置の構成例を示す図である。
本撮像装置１０は、光学系１１、撮像素子１２、および画像処理部１３を有する。
【００２１】
光学系１１は、被写体象を撮像素子１２に結像する。
この被写体像には赤外波長成分を含む。
【００２２】
撮像素子１２は、ＣＣＤやＣＭＯＳセンサなどの固体撮像素子を含んで構成され、光学系１１を介して得られる赤外波長成分を含む被写体ＯＢＪの光学像を電気画像信号に変換して画像処理部１３に供給する。
【００２３】
画像処理部１３は、撮像素子１２で撮像した画像信号の処理を行う。
画像処理部１３は、画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする機能を有している。
【００２４】
このように本撮像装置１０は、赤外線（ＩＲ）カットフィルタを用いることなく高感度撮影を可能とし、かつ色再現性を損なわないようにするために、色再現処理を行うにあたってＬ*ａ*ｂ色空間において画面内の彩度の比によって明度および彩度の変換を行う。
画像処理部１３は、その際、色相によって変換量の規制を行う。
【００２５】
撮像装置１０は、省スペース、低コスト、簡易システム化のために、ＩＲ成分にのみ反応する検出器などのＩＲ成分を定量的に検出できる素子は搭載せず、また、ＩＲカットフィルタなどのＩＲ成分を除去する素子も搭載しない構成を有する。
【００２６】
上記構成で、昼間などＩＲ成分が含まれた環境で撮影された画像は、不要なＩＲ成分が混入するために、色成分が上乗せされてしまい、画像の色味が相対的に減少してしまう。
失われた色味は、主として彩度の変化として現れ、一方、色相への変化は相対的に小さい。
そこで、画像処理部１３において、撮影された画像のカラー情報を均等色空間であるＬ*ａ*ｂ表色系にカラー情報を置き換え、明度、彩度、色相の３要素を求めた後、色再現処理を行う。
【００２７】
ここで、明度をＬ*ａ*ｂ表色系におけるＬ成分量、彩度をＬ*ａ*ｂ表色系におけるＬ軸との距離、色相をＬ*ａ*ｂ表色系におけるＬ軸を中心とする回転角度とする。
【００２８】
たとえば、（ｓＲ、ｓＧ、ｓＢ）の３要素で表されたbmp画像のカラー情報からＬ*ａ*ｂ表色系への変換は以下で導出できる。
【００２９】
［数１］
Ｒ'＝ｓＲ/２５５
Ｇ'＝ｓＧ/２５５
Ｂ'＝ｓＢ/２５５
【００３０】
［数２］
ガンマ補正変換（２．２〜２．４程度）
Ｒ＝Ｒ'^2.2
Ｇ＝Ｇ'^2.2
Ｂ＝Ｂ'^2.2
【００３１】
［数３］
X=（0.3933R+0.3651G+0.1903B）*100
Y=（0.2123R+0.7010G+0.0858B）*100
Z=（0.0182R+0.1117G+0.9570B）*100
【００３２】
［数４］
Ｌ*=116(Y/Yn)^(1/3)-16
ａ*=500[(X/Xn)^(1/3)-(Y/Yn)^(1/3)]
ｂ*=200[(Y/Yn)^(1/3)-(Z/Zn)^(1/3)]
ここで、たとえば、D65光源では、
Xn=95.045
Yn=100
Zn=108.892
【００３３】
なお、色再現処理とは、彩度変換、明度変換により色再現を行うことをいい、各変換を行う変換率は、撮影画像の彩度から算出すると良い。
これは、不要なＩＲ成分が混入すると、画像全体の色味が減るために、画面全体の彩度が低いほど変換量が高くなることを意味している。
【００３４】
一方で、変換前の対象部の彩度が低い、つまり、白や黒のように彩度が無い被写体を撮影した箇所については、処理をしないように係ることを意味している。
また、彩度の変換、および、明度の変換において、Ｌ*ａ*ｂ空間における色の広がり幅は、色相により異なることを考慮し、変換量は色相の関数とすると良い。
また、好適には、色再現処理を行う際の変換において、変換後の明度、彩度、色相は、Ｌ*ａ*ｂ表色系をｓＲＧＢ変換した際に、実数領域かつ飽和しない領域で構成されるＬａｂ空間形状内に含まれるような処理となっていると良い。
【００３５】
例として、変換率、および彩度変換、明度変換は、以下の式で導出する。
【００３６】
［数５］
変換率  ：β＝Ｃ／Ｃ0   
彩度変換：de_Ｃ＝Ｃ＋ｋ1・β・Ｃref
明度変換：de_Ｌ＝Ｌ−ｋ2・β・（１００−Ｌref）
ただし、
de_Ｃ：変換後の彩度
de_L：変換後の明度
Ｃ：変換前の彩度
Ｌ：変換前の明度
Ｃ0：変換前の画像全体の彩度の平均値
ｋ1、ｋ2：変換の度合いを調整する係数
Ｃref：彩度の変換量を規制する定数
Ｌref：明度の変換量を規制する定数
【００３７】
変換率βは、画像全体の彩度の平均値を算出し、値が低い、言い換えると、色味が少ないほど、変換率βの値は高くなる。
逆に、対象の変換前の彩度Ｃが低い箇所は、変換量を抑える係数となり係っている。
【００３８】
Ｌ*ａ*ｂ表色系で、Ｌを固定したａｂ断面で空間を図示したとき、ｓＲＧＢ空間が実数として存在する領域は、図２に示す３つの頂点の図形の内側となる。
また、色相Ｈと彩度Ｃは、それぞれ原点からの角度と距離によって表される。
そこで、図２に見て取れるように、色相Ｈを決めると、彩度ＣがｓＲＧＢ空間の実数をとりうる範囲は、三角形状で表した領域との交点と原点（L軸）の間になる。
この彩度が実数を取りうる範囲は色相により異なる。明度Ｌに関しても彩度を固定して考えると同様のことが言える。
つまり、彩度や明度の変換量は、その色相により変える必要がある。
そこで、上述で求めた実数を取りうる最大の彩度や明度の値を定数Ｃｒｅｆ、Ｌｒｅとし、これに変換率βを乗じて、変換量を求めている。
【００３９】
定数の決定方法は、変換対象の画像の色相Ｈから、その色相におけるＬＣ断面をイメージした図５にあるとおり、ｓＲＧＢ空間の実数域、飽和域、虚数域の交点の値が、Ｃｒｅｆ、Ｌｒｅｆとなる。
【００４０】
上記構成において、光学系１１を通した光が撮像素子１２に結像され、撮像素子１２の映像信号は画像処理部１３に送られる。
画像処理部１３では色再現処理が行われ、画像が出力される。
ここで、画像処理部１３の動作を、図３および図４のフローチャートに関連付けて説明する。
【００４１】
まず、ｂｍｐデータ（画像データ）を取得するａ（ＳＴ１）。
次に、取得されたデータから読み取れるｓＲＧＢ値をＬａｂ値に変換、さらにＬＣＨ（明度、彩度、色相）に変換した上で（ＳＴ２）、色再現処理を行う（ＳＴ３）。
【００４２】
色再現処理では、画面全体の彩度の平均Ｃ0と角画素の彩度の比βを求める（ＳＴ３１）。この係数βは、色味が少ないほど、もしくは、対象の変換前の彩度が高い程、変換率が高くできる。
色相Ｈは、変換を行わない（ＳＴ３２）。
彩度Ｃは、変換前の彩度に、その画素の色相に応じて決定される定数に上記変換率β、さらに調整値としての係数ｋ1を掛けた値を足して変換する（ＳＴ３３）。
明度Ｌは、飽和しない上限値を１００とする。そこで、１００からその画素の色相に応じて決定される定数を減算した値に、上記変換率β、調整値としての係数ｋ2を掛けた値を、変換前の明度より減算して変換する（ＳＴ３４）。
ここで、係数ｋ1、ｋ2は、求める変換の度合いにより調整される値で、再現後の画像の彩度をよりあげたい場合はｋ1を、明度を下げたい場合はｋ2を大きくすることで調整できる。
【００４３】
色再現処理後は、ＬＣＨからＬａｂ、ｓＲＧＢと逆に変換を行い(ＳＴ４)、ｂｍｐデータを作成し、出力する（ＳＴ５）。
【００４４】
図５は、明度、彩度の変換イメージを示す図である。
【００４５】
彩度が低いときは、変換量を抑える。
また、Ｌ*ａ*ｂ表色系のある色相における明度と彩度を図示したときに、ｓＲＧＢ空間が実数として存在する領域と虚数になる領域で二分される。この線上に、色相により決定される定数を設定するのが良い。
さらに、この線上で、明度を増やしていくと、ｓＲＧＢが飽和する領域が生じる。この点を基準に、明度の変換を行うと空間を広く使えるため効率が良い。
【００４６】
図２において、Ｌ*ａ*ｂ表色系で、Ｌを固定したａｂ断面で空間を図示したとき、ｓＲＧＢ空間が実数として存在する領域は、３つの頂点を図形で表される。
つまり、色相により、彩度の存在できる範囲は異なるので、変換量は、この範囲で規格化することが良い。
【００４７】
以下に、Ｌａｂ値からｓＲＧＢへの変換後のｓＲＧＢの値によるＬａｂ値のタイプについて説明する。
【００４８】
（１）実数域となる例
ｓＲＧＢの値が０〜２５５に入るケースである。
ｓＲＧＢへの変換後、この範囲に入るＬａｂの範囲が実数域となる。
【００４９】
（２）虚数域となる例
ｓＲＧＢの値が虚数となるケースである。
Ｌａｂ値から変換していく過程において、累乗の基数（累乗の括弧の中身）が負になるとｓＲＧＢ値が虚数となる。
ｓＲＧＢへの変換後、この範囲に入るＬａｂの範囲が虚数域となる。
【００５０】
（３）飽和域となる例
ｓＲＧＢの値が２５５より大きいケースである。
ｓＲＧＢへの変換後、この範囲に入るＬａｂの範囲が飽和域となる。
【００５１】
下記に、上記１〜３の数値の例を示す。
【００５２】
【表１】
2011176617.tif 000003
【００５３】
以上説明したように、本実施形態によれば、撮像装置１０は、光学系１１と、光学系１１を介して得られる赤外波長成分を含む被写体像を撮像する撮像素子１２と、撮像素子１２で撮像した画像信号の処理を行う画像処理部１３と、を有する。
そして、画像処理部１３は、画像信号のカラー情報をＬ*ａ*ｂ色空間において、明度および彩度の変換を、画像全体の彩度が低くなるに従って変換率が高く、かつ変換対象部分の彩度が低くなるほど変換率が低くなるように行うことで色再現処理をする。
したがって、本実施形態によれば、赤外カットフィルタを用いずに、撮影画像の彩度の情報によって色情報を推定することで感度と色再現性を両立させることができる。
このため、赤外カットフィルタも必要なければ、それを出し入れする機構が不要であり、コストダウンや小型化に貢献できる。
また、先行技術では赤外カットフィルタ有りと無しの両方の画像を必要としないため、それらの撮影間のタイムラグも問題とならない。
また、彩度の足りない画像に対しては所望の色が十分に再現され、色再現性の向上が期待できる。
【符号の説明】
【００５４】
１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・画像処理部。
【図１】
2011176617.tif 000004
【図２】
2011176617.tif 000005
【図３】
2011176617.tif 000006
【図４】
2011176617.tif 000007
【図５】
2011176617.tif 000008