(57)【要約】  可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることができる撮像装置を提供することを目的とする。可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。
2015015580.tif 000002
【特許請求の範囲】
【請求項１】
可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、
前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、
前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、
前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置であって、
さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
【請求項３】
請求項２記載の撮像装置であって、
前記制御部は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて色マトリックス係数を設定し、前記設定されたマトリックス係数に応じた色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置であって、
前記色再現手段は、前記可視光領域と近赤外光領域に感度を有する画素からの信号に対して、前記近赤外光領域に感度を有する画素からの信号を用いた減算処理を行う減算部を備え、
前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて設定された減算係数に応じて前記減算部での減算処理がなされるように制御することを特徴とする撮像装置。
【請求項５】
請求項３又は４記載の撮像装置であって、
前記色マトリックス係数は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて選択された複数の色マトリックス係数を補間処理して得たものであることを特徴とする撮像装置。
【請求項６】
請求項１記載の撮像装置であって、
さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置。
【請求項７】
可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサを有する撮像装置を用いた撮像方法であって、
前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出ステップと、
前記算出された可視光領域の信号量に基づいて、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理ステップと、
を有することを特徴とする撮像方法。
【請求項８】
請求項７記載の撮像方法であって、
さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出ステップを有し、
前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて前記色再現処理を行うことを特徴とする撮像方法。
【請求項９】
請求項８記載の撮像方法であって、
前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に基づいて設定された色マトリックス係数に応じて色再現処理を行うことを特徴とする撮像方法。
【請求項１０】
請求項７記載の撮像方法であって、
さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出ステップを有し、
前記色再現処理ステップは、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理を行うことを特徴とする撮像方法。
【請求項１１】
可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、
前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、
前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、
前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、
を備える撮像装置と、
被写体に可視光を照射する可視光照射光源と、
被写体に近赤外光を照射する近赤外光照射光源と、
前記撮像装置の出力する画像から物体を認識する画像認識装置と、
前記撮像装置の出力する画像と、前記画像認識装置による認識結果とを合成した合成画像を出力する画像合成装置と、
前記画像合成装置の出力する合成画像を表示する表示装置と、
システム制御装置と、
を備えた車載撮像システム。
【請求項１２】
請求項１１に記載の車載撮像システムであって、
前記画像認識装置は被写体に含まれる信号機を認識し、該信号機を強調して表示することを特徴とする車載撮像システム。
【請求項１３】
請求項１１に記載の車載撮像システムであって、
前記画像認識装置は、認識した物体をテンプレート画像に置き換えることを特徴とする車載撮像システム。
【請求項１４】
請求項１１乃至１３のいずれかに記載の車載撮像システムであって、
前記撮像装置は、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする車載撮像システム。
【請求項１５】
請求項１１乃至１３のいずれかに記載の車載撮像システムであって、
前記撮像装置は、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、
前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量とを入力とする参照テーブルに基づいて設定された所定の係数に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする車載撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法並びに車載撮像システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。特許文献１には、「被写体を撮像して画像を生成する撮像部と、前記被写体の色温度情報を算出する色温度情報算出部と、自然光源および少なくとも１種類の人工光源のそれぞれについて、複数の色再現マトリックスを、前記光源の種類および所定の色空間での位置座標と対応付けて記録する記録部と、前記記録部に記録された前記色再現マトリックスから、前記色空間において前記色温度情報に対応する位置座標に近い前記位置座標に対応付けられた前記色再現マトリックスであって、同種の光源に対応付けられた２つの前記色再現マトリックスと、前記光源とは異なる光源に対応付けられた２つ以下の前記色再現マトリックスとを選択し、選択した複数の前記色再現マトリックスをもとに、該色再現マトリックスの前記位置座標および前記色温度情報に対応する前記位置座標に基づいて補間処理を行って補正色再現マトリックスを演算する演算部と、前記補正色再現マトリックスを用いて、前記撮像部により生成された前記画像に色再現処理を施す色再現処理部とを備えたことを特徴とする撮像装置」について記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２５１３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、可視光領域の感度特性についてのみ記載されており、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合の色再現性については改善の余地がある。【０００５】
本発明は、例えば、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることが可能な撮像装置、撮像方法並びに車載撮像システムを提供するものである。
【課題を解決するための手段】
【０００６】
本願において開示された発明のうち代表的なものの概要を簡単に説明すれば、次の通りである。
（１）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備えることを特徴とする撮像装置である。
（２）（１）記載の撮像装置であって、さらに、前記イメージセンサの出力信号を用いて近赤外光領域の信号量を算出する近赤外光量算出手段と、を備え、前記制御手段は、前記可視光領域の信号量と前記近赤外光領域の信号量との差分に応じて色再現処理がなされるように前記色再現処理手段を制御することを特徴とする撮像装置である。
（３）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサを有する撮像装置を用いた撮像方法であって、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出ステップと、前記算出された可視光領域の信号量に基づいて、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理ステップと、を有することを特徴とする撮像方法である。
（４）可視光領域と近赤外光領域に感度を有する画素と近赤外光領域に感度を有する画素とを備えるイメージセンサと、前記イメージセンサの出力信号のうち、前記可視光領域と近赤外光領域に感度を有する画素からの信号と、前記近赤外光領域に感度を有する画素からの信号と、を用いて色再現処理を行う色再現処理手段と、前記イメージセンサの出力信号を用いて可視光領域の信号量を算出する可視光量算出手段と、前記可視光量算出手段により算出された可視光領域の信号量に基づいた色再現処理がなされるように前記色再現処理手段を制御する制御手段と、を備える撮像装置と、被写体に可視光を照射する可視光照射光源と、被写体に近赤外光を照射する近赤外光照射光源と、前記撮像装置の出力する画像から物体を認識する画像認識装置と、前記撮像装置の出力する画像と、前記画像認識装置による認識結果とを合成した合成画像を出力する画像合成装置と、前記画像合成装置の出力する合成画像を表示する表示装置と、システム制御装置と、を備えた車載撮像システムである。
【発明の効果】
【０００７】
本発明によれば、例えば、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合においても、光源の種類に応じて色再現性の良い出力画像を得ることが可能な撮像装置、撮像方法及び車載撮像システムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の一構成例を示す図である。
【図２】撮像部の画素の並びの一例を示す図である。
【図３】撮像部の画素の波長感度特性の一例を示す図である。
【図４】実施例１に係る、制御部における色マトリクス係数及び減算係数決定方法のフローチャートの例を示す図である。
【図５】実施例１に係る、制御部における色マトリクス係数及び減算係数の補間方法の例を示す図である。
【図６】制御部におけるＡＷＢゲインの決定方法の一例を示す図である。
【図７】実施例２に係る、制御部における色マトリクス係数及び減算係数決定方法のフローチャートの例を示す図である。
【図８】実施例２に係る、制御部における色マトリクス係数及び減算係数の補間方法の例を示す図である。
【図９】制御部における色マトリクス係数決定方法のフローチャートの一例を示す図である。
【図１０】制御部における色マトリクス係数の補間方法の一例を示す図である。
【図１１】撮像装置の変形例の一構成例を示す図である。
【図１２】車載撮像システムの一構成例を示す図である。
【図１３】ある一シーンを説明する図である。
【図１４】可視光領域撮像装置の出力画像の一例を示す図である。
【図１５】近赤外光領域撮像装置の出力画像の一例を示す図である。
【図１６】撮像装置の出力画像の一例を示す図である。
【図１７】画像合成装置の出力画像の一例を示す図である。
【図１８】画像合成装置の出力画像の他の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態の例を図面を用いて説明する。
【実施例１】
【００１０】
図１は、実施例１における撮像装置１００を示す構成図である。
撮像装置１００は、レンズ１０１、撮像部１０２、（赤色領域＋近赤外光領域）（以下、（Ｒ＋Ｉ））信号デモザイキング部１０３、（緑色領域＋近赤外光領域）（以下、（Ｇ＋Ｉ））信号デモザイキング部１０４、（青色領域＋近赤外光領域）（以下、（Ｂ＋Ｉ））信号デモザイキング部１０５、近赤外光領域（以下、Ｉ）信号デモザイキング部１０６、色マトリクス演算部１０７、オートホワイトバランス（以下、ＡＷＢ）ゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、第一色差演算部１１２、第二色差演算部１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１７、近赤外光量検波部１１８、ＡＷＢ検波部１１９、制御部１２０を適宜用いて構成される。【００１１】
レンズ１０１は、被写体から来る光を結像するレンズ又はレンズ群である。
撮像部１０２は、可視光領域及び近赤外光領域の両方に感度を持つ画素である（Ｒ＋Ｉ）画素、（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素及び、近赤外光領域に感度を持つ画素であるＩ画素を適宜用いて構成される。各画素は、レンズ１０１により結像される光に光電変換及びＡ／Ｄ変換を施し、デジタルデータである、各画素からの信号を出力する。【００１２】
（Ｒ＋Ｉ）信号デモザイキング部１０３は、撮像部１０２から出力される、（Ｒ＋Ｉ）画素からの信号に補間処理を施して他の（Ｇ＋Ｉ）画素、（Ｂ＋Ｉ）画素、Ｉ画素の位置に相当する（Ｒ＋Ｉ）信号を出力する。同様に、（Ｇ＋Ｉ）信号デモザイキング部１０４は、撮像部１０２から出力される、（Ｇ＋Ｉ）画素からの信号に補間処理を施して（Ｇ＋Ｉ）信号を出力する。同様に、（Ｂ＋Ｉ）信号デモザイキング部１０５は、撮像部１０２から出力される、（Ｂ＋Ｉ）画素からの信号に補間処理を施して（Ｂ＋Ｉ）信号を出力する。同様に、Ｉ信号デモザイキング部１０６は、撮像部１０２から出力される、Ｉ画素からの信号に補間処理を施してＩ信号を出力する。【００１３】
色マトリクス演算部１０７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号と、制御部１２０から出力された減算係数及び色マトリクス係数とを用いて、演算により、色再現処理を行い、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。【００１４】
ＡＷＢゲイン部１０８は、色マトリクス演算部１０７から出力される各色信号に、光源の色温度に応じたＡＷＢゲインを積算し、ＡＷＢゲイン処理後の各色信号を出力する。
Ｒ信号ガンマ演算部１０９は、ＡＷＢゲイン部１０８から出力されたＲ信号に、ガンマ演算を行い、Ｒ信号を出力する。同様に、Ｇ信号ガンマ演算部１１０は、ＡＷＢゲイン部１０８から出力されたＧ信号に、ガンマ演算を行い、Ｇ信号を出力する。同様に、Ｂ信号ガンマ演算部１１１は、ＡＷＢゲイン部１０８から出力されたＢ信号に、ガンマ演算を行い、Ｂ信号を出力する。【００１５】
第一色差演算部１１２及び第二色差演算部１１３は、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１から出力された色信号から、第一色差信号及び第二色差信号を生成する。例えば、ＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  ｔｅｌｅｃｏｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ−ＲａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｔｏｒ）の規格ＢＴ．７０９に従って色差を求め、第一色差信号が、主に青色と輝度の差を示す色差信号であるＰｂ、第二色差信号が、主に赤色と輝度の差を示す色差信号であるＰｒとすることができる。第一色差信号及び第二色差信号は、撮像装置１００の外部に出力される。【００１６】
輝度マトリクス演算部１１４は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号を用いて輝度信号を生成する。【００１７】
高域強調部１１５は、輝度マトリクス演算部１１４から出力された輝度信号から、高い空間周波数成分を強調する処理をかけて、画像内の輪郭部分（エッジ）を鮮明なものにした輝度信号を出力する。【００１８】
輝度信号ガンマ演算部１１６は、高域強調部１１５から出力された輝度信号に、ガンマ補正処理を行い、撮像装置１００の外部に出力する。撮像装置１００の外部に出力される輝度信号、並びに、第一色差信号１及び第二色差信号は、カラーの画像信号出力である。【００１９】
可視光量検波部１１７は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６のそれぞれから出力される信号から、注目画素周辺の可視光領域の放射光の量を検出して、可視光領域の信号量として出力する。【００２０】
近赤外光量検波部１１８は、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６それぞれから出力される信号から、注目画素周辺の近赤外光領域の放射光の量を検出して、近赤外光領域の信号量として出力する。【００２１】
ＡＷＢ検波部１１９は、第一色差演算部１１２及び第二色差演算部１１３の出力する第一色差信号及び第二色差信号と、輝度信号ガンマ演算部１１６の出力する輝度信号と、制御部１２０から出力されるＡＷＢ検波範囲を示す信号を適宜用いて、ホワイトバランスのずれを検出して、ホワイトバランス検波信号を出力する。【００２２】
制御部１２０は、可視光量検波部１１７から出力された可視光領域の信号量及び近赤外光量検波部１１８から出力された近赤外光領域の信号量を用いて、注目画素付近の光源に最適な減算係数及び色マトリクス係数を決定し、色マトリクス演算部１０７に出力する。【００２３】
また、制御部１２０は、可視光量検波部１１７から出力された可視光領域の信号量及び近赤外光量検波部１１８から出力された近赤外光領域の信号量を用いて、注目画素付近の光源に最適なＡＷＢ検波範囲を示す信号を生成し、ＡＷＢ検波部１１９に出力する。【００２４】
よって、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素をもつ撮像部を用いてカラー画像を撮像する撮像装置において、近赤外光の影響を考慮した色マトリックス処理、及び減算処理を行うことにより、色再現性の良い色差信号を得ることができる。【００２５】
色マトリクス演算部１０７は、例えば、Ｉ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４演算部を適宜用いて構成される。【００２６】
Ｉ減算部１２１は、（Ｒ＋Ｉ）信号デモザイキング部１０３から出力される（Ｒ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に重みとなる係数（減算係数）をかけた値を減算して、Ｒ信号を生成する。また、Ｉ減算部１２１は、（Ｇ＋Ｉ）信号デモザイキング部１０４から出力される（Ｇ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｇ信号を生成する。また、Ｉ減算部１２１は、（Ｂ＋Ｉ）信号デモザイキング部１０５から出力される（Ｂ＋Ｉ）信号から、Ｉ信号デモザイキング部１０６から出力されるＩ信号に減算係数をかけた値を減算して、Ｂ信号を生成する。このように減算によって、近赤外光領域の信号成分が除去された、可視光領域のみの信号成分を得ることができる。【００２７】
Ｒ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＲ信号を生成して出力する。動揺に、Ｇ信号マトリクス演算部１２３は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＧ信号を生成して出力する。同様に、Ｂ信号マトリクス演算部１２２は、Ｉ減算部１２１から出力されたＲ信号、Ｇ信号、Ｂ信号から、マトリクス演算によって、より色再現性の良いＢ信号を生成して出力する。【００２８】
上記したように、本実施例によれば、可視光領域の信号量及び近赤外光領域の信号量に応じて、色マトリクス係数及び減算係数を制御することができるので、可視光領域及び近赤外光領域に感度を持つ画素と、近赤外光領域に感度を持つ画素からなる撮像部を用いてカラー画像を撮像する場合であっても、色再現性の良い色差信号を得ることができる撮像装置１００を提供できる。【００２９】
次に、本実施例における撮像部１０２について説明する。
図２は、撮像部１０２の撮像素子の画素の並びの例を示した図である。図２では、（Ｒ＋Ｉ）画素２０１、（Ｇ＋Ｉ）画素２０２、Ｉ画素２０３、（Ｂ＋Ｉ）画素２０４の４色の画素が２×２画素サイズの単位構成を成しており、その単位構成が縦・横それぞれに繰り返し配置されている。【００３０】
図３は、図２に示した撮像素子の各画素に含まれる各画素の波長感度特性の例を示した図である。撮像部１０２には、可視光領域の赤色領域（Ｒ）３０１と近赤外光領域（Ｉ）３０２に感度を持つ画素である（Ｒ＋Ｉ）画素と、可視光領域の緑色領域（Ｇ）３０５と近赤外光領域（Ｉ）３０６に感度を持つ（Ｇ＋Ｉ）画素と、近赤外光領域（Ｉ）３０９に感度を持つＩ画素と、可視光領域の青色領域（Ｂ）３１１と近赤外光領域（Ｉ）３１２に感度を持つ（Ｂ＋Ｉ）画素の４種類の画素が含まれる。【００３１】
図３のような近赤外光領域に感度を持つ撮像素子を用いる目的としては、例えば、可視光領域に加えて近赤外光領域に感度を持たせることで、太陽光やハロゲンランプなど、可視光領域と近赤外光領域の両方の波長で放射する光源下の環境における、最低被写体照度を向上させるという目的や、被写体の近赤外光領域特有の反射特性や発光特性を検出するなどの目的がある。【００３２】
しかし、撮像部１０２の出力する信号から色信号を求める場合には、人間の目の色に対する感度特性の再現性の観点から、近赤外光領域（Ｉ）の成分は不要波長成分となる。例えば、図３の各画素に含まれる近赤外光領域（Ｉ）に対する感度はほぼ同じであると仮定すると、例えば、（Ｒ＋Ｉ）画素の出力信号からＩ画素の出力信号を減算すれば、赤色領域（Ｒ）に感度を持つ信号を得ることができる。緑色領域（Ｇ）・青色領域（Ｂ）についても同様である。また、もし各画素に含まれる近赤外光領域（Ｉ）の感度が異なる場合であったとしても、減算する際の係数（後述する減算係数）を調整することで、近赤外光領域（Ｉ）の成分を低減することができる。ただし、後述するように、各画素には近赤外光領域（Ｉ）の感度特性にばらつきがあり、また、後述するように各画素には不要な波長成分が含まれる。このばらつきによる色再現性の低下を低減するための具体的な手法について、色マトリクス演算部１０７及びＡＷＢゲイン部１０８の動作を中心に以下に述べる。【００３３】
次に、本実施例における色マトリクス演算部１０７の動作について説明する。色マトリクス演算部では、撮像部１０２の出力する（Ｒ＋Ｉ）信号、（Ｇ＋Ｉ）信号、（Ｂ＋Ｉ）信号、（Ｉ）信号を元に、色信号であるＲ信号、Ｇ信号、Ｂ信号を出力する。【００３４】
まず、Ｉ減算部１２１で、近赤外光領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１を出力する。
（数１）Ｒ１＝（Ｒ＋Ｉ）  −  ｋｉ１×Ｉ
（数２）Ｇ１＝（Ｇ＋Ｉ）  −  ｋｉ２×Ｉ
（数３）Ｂ１＝（Ｂ＋Ｉ）  −  ｋｉ３×Ｉ
ここで、（ｋｉ１，ｋｉ２，ｋｉ３）は減算係数である。【００３５】
次に、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂマトリクス演算部１２４で、色再現性を向上した色信号であるＲ信号（Ｒ２）、Ｇ信号（Ｇ２）、Ｂ信号（Ｂ２）を出力する。
（数４）Ｒ２  ＝  ｋｒｒ×Ｒ１  ＋  ｋｒｇ×Ｇ１  ＋  ｋｒｂ×Ｂ１
（数５）Ｇ２  ＝  ｋｇｒ×Ｒ１  ＋  ｋｇｇ×Ｇ１  ＋  ｋｇｂ×Ｂ１
（数６）Ｂ２  ＝  ｋｂｒ×Ｒ１  ＋  ｋｂｇ×Ｇ１  ＋  ｋｂｂ×Ｂ１
ここで、（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）は色マトリクス係数である。【００３６】
もし図３の各画素の波長感度特性を重ねてみるとすれば、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）は、お互いに同じ波長に対して感度を持つ、特性が重なる領域がある。その特性が重なる領域の特性に合わせて（数４）乃至（数６）の色マトリクス演算によって、特性の重なる領域の大きさ調整して、色再現性を向上させるのが一般的である。【００３７】
また、上記（数１）乃至（数３）、並びに（数４）乃至（数６）を式変形すると、下記のように記述することもできる。
（数７）Ｒ２  ＝      ｋｒｒ２×（Ｒ＋Ｉ）  ＋  ｋｒｇ２×（Ｇ＋Ｉ）
＋  ｋｒｂ２×（Ｂ＋Ｉ）  ＋  ｋｉｉ２×Ｉ
（数８）Ｇ２  ＝      ｋｇｒ２×（Ｒ＋Ｉ）  ＋  ｋｇｇ２×（Ｇ＋Ｉ）
＋  ｋｇｂ２×（Ｂ＋Ｉ）  ＋  ｋｇｉ２×Ｉ
（数９）Ｂ２  ＝      ｋｒｒ２×（Ｒ＋Ｉ）  ＋  ｋｒｇ２×（Ｇ＋Ｉ）
＋  ｋｒｂ２×（Ｂ＋Ｉ）  ＋  ｋｉｉ２×Ｉ
ここで、（ｋｒｒ２，ｋｒｇ２，ｋｒｂ２，ｋｒｉ２，ｋｇｒ２，ｋｇｇ２，ｋｇｂ２，ｋｇｉ２，ｋｂｒ２，ｋｂｇ２，ｋｂｂ２，ｋｂｉ２）は色マトリクス係数である。【００３８】
（数１）乃至（数３）は３行１列のマトリクス演算、（数４）乃至（数６）は３行３列のマトリクス演算に相当する演算を実施しているのを、（数７）乃至（数９）のように、３行４列のマトリクス演算で記述することができる。そのため、図１では、色マトリクス演算部１０７がＩ減算部１２１と、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４で構成されているが、（数７）乃至（数９）を実現するような構成にしても良い。その場合には、演算の段数が減るので、色再現性の低下を低減しつつ、ハードウェアで実現する際のレイテンシが改善することができる。【００３９】
次に、本実施例におけるＡＷＢゲイン部１０８の動作について説明する。ＡＷＢゲイン部１０８では、光源の色温度に応じて、次の計算を実施する。
（数１０）Ｒ３  ＝  ｋｒ×Ｒ２
（数１１）Ｇ３  ＝  ｋｇ×Ｇ２
（数１２）Ｂ３  ＝  ｋｂ×Ｂ２
ここで、（ｋｒ，ｋｇ，ｋｂ）は、ＡＷＢゲインという係数である
しかし、実際には各画素の近赤外光領域（Ｉ）の成分の波長感度特性（図３の３０２，３０６，３０９，３１２）にはばらつきがあり、単純にＩ画素の信号値を減算しただけでは、近赤外光領域（Ｉ）成分を最適に低減することができない。【００４０】
また、各画素には不要な波長成分が含まれる。例えば、（Ｒ＋Ｉ）画素であれば図３の赤色領域（Ｒ）３０１及び近赤外光領域（Ｉ）３０２が有効な波長成分で、図３の３０３，３０４が不要な波長成分である。他の画素についても同様であり、（Ｇ＋Ｉ）画素には不要な波長成分３０７，３０８があり、（Ｉ）画素には不要な波長成分３１０があり、（Ｂ＋Ｉ）画素には不要な波長成分３１３がある。これら不要な波長成分（図３の３０３，３０４，３０７，３０８，３１０，３１３）はゼロであることが望ましいがゼロではないために、Ｉ画素の信号値を減算した際や、色マトリクス演算後の波長感度特性においては、意図しない波長成分に正や負の感度を持ってしまうことになる。【００４１】
これら、近赤外光領域（Ｉ）の成分の特性ばらつきや、不要な波長成分の影響度合いは、光源の種類によって異なる。
例えば、一般的な三波長型蛍光灯を光源にした場合を考えると、光源は可視光量域の赤色領域（Ｒ），緑色領域（Ｇ），青色領域（Ｂ）に１つずつの放射エネルギーのピークを持っており、近赤外光領域（Ｉ）を含むそれ以外の波長は放射が非常に少ないかゼロである。そのような場合には、近赤外光領域（Ｉ）のばらつきの影響はほとんど無いが、不要な波長成分の影響は受ける。また、例えば、ハロゲンランプを光源とした場合を考えると、光源は可視光領域に比べて近赤外光領域での放射エネルギーが高い。そのような場合には、近赤外光領域（Ｉ）のばらつきの影響が大きくなり、一方で不要な波長成分の影響が比較的小さくなる。また、例えば、光源を、近赤外光領域（Ｉ）のみを放射する近赤外投光器とすると、色が再現できない。【００４２】
色マトリクス演算部１０７においては、これらの影響を最小化して、かつ各波長成分の特性の重なり方を調整することで、良い色再現を目指すが、このように、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いによって、不要な波長成分やばらつきの影響度合いは異なってくる点を考慮する必要がある。しかしながら、マトリクス係数が固定の場合や、特許文献１の手法のように、色空間上で色マトリクスを制御している場合には、可視光領域と近赤外光領域の放射エネルギーの違いを考慮できないので、良い色再現を得ることができないという課題がある。そこで、本課題を解決するために、本実施例においては、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いに応じて、減算係数や色マトリクス係数を選択する手段を導入している。以下にその手段及び効果について説明する。【００４３】
本実施例においては、光源に含まれる可視光領域と近赤外光領域の放射エネルギーの違いを検出するために、図１の可視光量検波部１１７と近赤外光量検波部１１８と制御部１２０を用いる。【００４４】
可視光量検波部１１７は、例えば、次のような計算により、注目画素周辺の可視光領域の信号量Ｙｄを検出する。
（数１３）Ｙｄ ＝Σ（     ｋｙｄ１×（（Ｒ＋Ｉ） − ｋｉｄ１×Ｉ）
＋ ｋｙｄ２×（（Ｇ＋Ｉ） − ｋｉｄ２×Ｉ）
＋ ｋｙｄ３×（（Ｂ＋Ｉ） − ｋｉｄ３×Ｉ） ）
（ｋｉｄ１，ｋｉｄ２，ｋｉｄ３，ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数、Σは注目画素周辺の信号量の総和を示す）
近赤外光量検波部１１８は、例えば、次のような計算により、注目画素周辺の近赤外光領域の信号量Ｉｄを検出する。
（数１４）Ｉｄ  ＝ΣＩ
（Σは注目画素周辺の信号量の総和を示す。総和する領域は式５の場合と同じ）
（数１３）、（数１４）の演算が画素ごと、もしくは動画像のフレームやフィールドごとに実施される。【００４５】
図１の制御部１２０は、（数１３），（数１４）の結果に応じて、放射エネルギーを比較する。
図４は、制御部１２０における色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
まず、ステップ４０１及び４０２で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄを、近赤外光量検波部１１８から近赤外光領域の信号量Ｉｄを読み出す。ここで、可視光領域の信号量Ｙｄの読み出しと、近赤外光領域の信号量Ｉｄの読み出しとはどちらが先に実行されていてもよく、同時に実施しても構わない。
次に、ステップ４０３で、制御部１２０は、光量減算結果Ｄを次のように導出する。
（数１５）Ｄ  ＝  Ｙｄ−Ｉｄ
次に、ステップ４０４及びステップ４０５で、制御部１２０は、光量減算結果Ｄに基づいて、減算係数及び色マトリクス係数の組Ｍａｔ３を決定する（以下、Ｍａｔ＊（＊は任意の数字）は、減算係数と色マトリクス係数の組み合わせを表すこととする）。（数１５）から分かるように、例えば蛍光灯下のように、可視光領域の放射エネルギーが高い光源下においてはＤが比較的高く、ハロゲンランプのように近赤外光領域の放射エネルギーが高い光源下ではＤが比較的低くまたはマイナスに、近赤外投光器のように近赤外のみの放射エネルギーが強い光源下では、絶対値の大きいマイナスになる傾向がある。制御部１２０は、この光量減算結果Ｄの傾向に基づいて光源の種類を推定することができ、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ３を生成することができる。
ステップ４０６では、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ３を、色マトリクス演算部１０７に出力する。【００４６】
ステップ４０４及び４０５について、図５を用いてさらに詳細に説明する。
図５は、光量減算結果Ｄから、色マトリクス係数（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）及び減算係数（ｋｉ１，ｋｉ２，ｋｉ３）を導出する方法を示した図である。光量減算結果Ｄの飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば、図５では、Ｄが−２５５、−１２８，０，１２８，２５５のときについて予め決められている。本実施例では、Ｙｄ−Ｉｄの値が０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。注目画素の光量減算結果Ｄが決定されると、そのＤの値に近い係数の組が２つ選択される。選択された１つ目の係数の組をＭａｔ１（５０１〜５０４、５１３〜５１６、５２５〜５２８）、選択された２つ目の係数の組をＭａｔ２（５０５〜５０８、５１７〜５２０、５２９〜５３２）とする。そこから、Ｄの値に応じて２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ３（５０９〜５１２、５２１〜５２４、５３３〜５３６）とする。【００４７】
例えば、予め決めておく係数の組として、図５の光量減算結果Ｄが−２５５のときに、例えば近赤外投光器に最適となるように色マトリクス係数を０に近づけて無彩色となるような係数の組を設定して、Ｄが０のときに例えばハロゲンランプに最適となるように不要な波長成分と近赤外光領域のばらつきを両方考慮して調整した調整とて、２５５のときに蛍光灯（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。
また、（数１５）において、同様の効果を得るために、ＹｄとＩｄの除算によって比率を求めるようにしても構わないが、減算を用いるほうが回路規模を小さくできるという特徴がある。【００４８】
次に、本実施例におけるＡＷＢ制御について説明する。
図６は、制御部１２０における、ＡＷＢ検波範囲の制御の方法を示した説明図である。図１の第一色差演算部１１２から出力された第一色差信号を図６の横軸６０１に、第二色差演算部１１３から出力された第二色差信号の出力値を図６の縦軸６０２に示している。色差平面上で、ＡＷＢ検波範囲６０３，６０４が定義されている。ＡＷＢ検波範囲は、ＡＷＢにおける白色とみなす画素の色差レベルの範囲を示す。例えば、図６ではＡＷＢ検波範囲６０３，６０４を、軸ごとに閾値を設けて矩形で定義しているが、これに限られず、どのような形状で定義しても良い。【００４９】
ＡＷＢ検波部１１９は、各画素の第一色差信号（ここではＰｂとする）及び第二色差信号（ここではＰｒとする）の両方がＡＷＢ検波範囲６０４内にある全画素の第一色差信号Ｐｂの平均値Ｐｂａ及び第二色差信号Ｐｒの平均値Ｐｂａを求め、それら（Ｐｂａ，Ｐｒａ）を制御部１２０に出力する。【００５０】
無彩色は（Ｐｂ，Ｐｒ）＝（０，０）であり、制御部１２０は（Ｐｂａ，Ｐｒａ）が（０，０）に近づくように、ＡＷＢゲイン（先述の（数１０）乃至（数１２）のｋｒ，ｋｇ，ｋｂ）を調整する。例えば、Ｐｂａが高いときにはｋｂの値を減少させ、低いときにはｋｂの値を増加させる。また、Ｐｒａが高いときにはｋｒの値を減少させ、低いときにはｋｒの値を増加させる。制御部１２０は、調整したＡＷＢゲインを、制御部１２０内部に記録するとともに、ＡＷＢゲイン部１０８に出力する。【００５１】
ある色マトリクス係数及び減算係数のときのＡＷＢ検波範囲を図６の６０３に示す。減算係数及び色マトリクス係数は、図４のフローチャートにより制御されていることを既に示したが、その結果、減算係数及び色マトリクス係数の変化によって、第一色差信号及び第二色差信号が変化する。つまり、ＡＷＢ検波範囲も変化する。【００５２】
ＡＷＢ検波範囲は、広すぎると画面内の無彩色以外の場所についても無彩色であると検出してしまい、狭すぎると正しくホワイトバランスが補正されない場合がある。そのため、最適な検波範囲を選択する必要がある。そこで、本実施例では、ＡＷＢ検波範囲についても、減算係数及び色マトリクス係数の変化に応じて補正することとする。元のＡＷＢ検波範囲６０３のときから、減算係数及び色マトリクス係数に変化があると、（数１）乃至（数１２）、並びに、例えばＢＴ．７０９の色差計算式に基づいて、第一色差信号及び第二色差信号の軸が、変化する。その第一色差信号及び第二色差信号の変化に応じて、ＡＷＢ検波範囲についても補正した範囲を予め決めておく。本実施例においては、（数１５）の光量減算結果Ｄの値と、ｋｒ，ｋｇ，ｋｂの値と、輝度信号の値に基づいて、ＡＷＢ検波範囲６０４を決定する。【００５３】
本実施例に係る撮像装置では、このＡＷＢ検波範囲の制御によって、可視光及び非可視光のバランスが変化するような場合においても、さらに最適な減算係数及び色マトリクスを選択することができ、色再現性を良くすることができる、という効果が得られる。
【実施例２】
【００５４】
次に、第２の実施例を説明する。実施例２における撮像装置は、実施例１の構成と同様であり、制御部１２０における処理内容等が実施例１と異なっている。以下、実施例１と同様の箇所については適宜説明を援用するものとして省略し、異なる箇所を主として説明する。【００５５】
図７は、実施例２における、制御部１２０における処理内容、すなわち色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
まず、ステップ７０１で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄを読み出す。
次に、ステップ７０２，７０３で、制御部１２０は、可視光領域の信号量Ｙｄから、減算係数及び色マトリクス係数の組Ｍａｔ３を決定する。例えば蛍光灯やハロゲンランプのように、可視光領域の放射エネルギーが高い光源下で、かつ被写体の反射率が高い場合にはＹｄが高なり、光源がほとんどあたっていないか近赤外光領域の放射エネルギーが高い光源下では、Ｙｄは比較的低い値になる傾向がある。制御部１２０は可視光領域の信号量Ｙｄの傾向に基づいて光源の種類を推定し、光源の種類に応じて適切な色マトリクス係数及び減算係数の組Ｍａｔ３を生成することができる。
ステップ７０４で、制御部１２０は、色マトリクス係数及び減算係数の組Ｍａｔ３を、色マトリクス演算部１０７に出力する。【００５６】
ステップ７０２及び７０３について、図８を用いてさらに詳しく説明する。
図８は、可視光領域の信号量から、色マトリクス係数（ｋｒｒ，ｋｒｇ，ｋｒｂ，ｋｇｒ，ｋｇｇ，ｋｇｂ，ｋｂｒ，ｋｂｇ，ｋｂｂ）及び減算係数（ｋｉ１，ｋｉ２，ｋｉ３）を導出する方法を示した図である。可視光領域の信号量Ｙｄの飛び飛びの値について、予め、色マトリクス係数及び減算係数が決められている。例えば図８では、Ｙｄが０，６４，１２８，１９２，２５５のときについて予め決められている。本実施例では、Ｙｄの値が０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。注目画素の可視光領域の信号量Ｙｄが読み出されると、そのＹｄの値に近い係数の組が２つ選択される。選択された１つ目の係数の組をＭａｔ１（８０１〜８０４、８１３〜８１６、８２５〜８２８）、選択された２つ目の係数の組をＭａｔ２（８０５〜８０８、８１７〜８２０、８２９〜８３２）とする。そこから、Ｙｄの値に応じて２つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ３（８０９〜８１２、８２１〜８２４、８３３〜８３６）とする。【００５７】
例えば、予め決めておく係数の組として、図８の光量減算結果Ｙｄが０のときに近赤外投光器（例えば、色マトリクス係数を０に近づけて無彩色にする）、２５５のときに蛍光灯（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、その間の値については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。【００５８】
また、実施例２では、実施例１の場合と異なり、近赤外光領域の信号量を用いない。そのため、図１から近赤外光量検波部１１８を除外した構成にすることができる。その場合には、回路規模を小さくできるという特徴がある。
【実施例３】
【００５９】
次に、第３の実施例を説明する。実施例３における撮像装置は、実施例１の構成と同じである。【００６０】
次に、第３の実施例を説明する。実施例３における撮像装置は、実施例１の構成と同様であり、制御部１２０における処理内容等が実施例１と異なっている。以下、実施例１と同様の箇所については適宜説明を援用するものとして省略し、異なる箇所を主として説明する。【００６１】
図９は、実施例３における、制御部１２０における処理内容、すなわち色マトリクス係数及び減算係数の決定方法のフローチャートの例である。
まず、ステップ９０１及び９０２で、制御部１２０は、可視光量検波部１１７から可視光領域の信号量Ｙｄ、及び近赤外光量検波部１１８から近赤外光領域の信号量Ｉｄを読み出す。ここで、可視光領域の信号量Ｙｄの読み出しと、近赤外光領域の信号量Ｉｄの読み出しとはどちらが先に実行されていてもよく、同時に実施しても構わない。
次に、ステップ９０３及びステップ９０４で、制御部１２０は、可視光領域の信号量Ｙｄと近赤外光領域の信号量Ｉｄの組み合わせから、減算係数及び色マトリクス係数の組Ｍａｔ５を決定する。光源の種類によって、波長ごとの放射エネルギー特性には特徴があるので、ＹｄとＩｄの組み合わせによって、注目画素付近に主に照射されている光源の種類を推測することができる。例えば、ＹｄとＩｄが共に高い場合にはハロゲンランプ、Ｙｄが高くＩｄが低い場合には蛍光灯、Ｙｄが低くＩｄが高い場合には近赤外投光器、などと推測することができる。この推定された光源の種類に応じて適切な、色マトリクス係数及び減算係数の組Ｍａｔ５を生成する。
ステップ９０５で、制御部１２０は、決定された係数の組Ｍａｔ５を、色マトリクス演算部１０７に出力する。【００６２】
ステップ９０３及び９０４について、図１０を用いてさらに詳細に説明する。
図１０は、可視光領域の信号量Ｙｄと近赤外光領域の信号量Ｉｄから、色マトリクス係数及び減算係数を導出する方法を示した図である。ＹｄとＩｄの飛び飛びの値の組み合わせについて、予め、色マトリクス係数及び減算係数が決められている。例えば図１０では、Ｙｄ，Ｉｄがそれぞれ０，６４，１２８，１９２，２５５のときについて、色マトリクス係数及び減算係数の組が決められている。本実施例では、Ｙｄ，Ｉｄの値がそれぞれ０から２５５の値をとり得るとしており、両端とそれらの間３点について、ほぼ等間隔に値が予め決められているとした。例えば、（Ｙｄ，Ｉｄ）の飛び飛びの値の組み合わせについて、各係数がテーブルで定義されている。【００６３】
注目画素付近の（Ｙｄ，Ｉｄ）が決定されると、（Ｙｄ，Ｉｄ）に近い係数の組が４つ選択される。選択された１つ目の係数の組をＭａｔ１・１００１、選択された２つ目の係数の組をＭａｔ２・１００２、選択された３つ目の係数の組をＭａｔ３・１００３、選択された２つ目の係数の組をＭａｔ４・１００４とする。そこから（Ｙｄ，Ｉｄ）の値に応じて４つの係数の組から、係数ごとに内挿補間によって決定した係数の組をＭａｔ５・１００５とする。【００６４】
例えば、予め決めておく係数の組として、図１０の（Ｙｄ，Ｉｄ）が（０，０）及び（０，２５５）のときに近赤外投光器用（例えば、色マトリクス係数を０に近づけて無彩色にする）、（２５５，２５５）のときにハロゲンランプ用（不要な波長成分と近赤外光領域のばらつきを両方考慮）、（２５５，０）のときに蛍光灯用（可視光領域内の不要な波長成分の除去に特化）に最適な減算係数及び色マトリクス係数を設定しておき、それ以外の点については、適宜中間値をとるように決定しておく。このようにすることで、画面内の領域ごと、あるいは時系列で光源が変化するような場合においても、最適な減算係数及び色マトリクス係数を選択することができ、色再現性を良くすることができる、という効果が得られる。なお、本実施例では、４つの係数の組から係数ごとに内挿補間によって決定した係数の組を１つ決定したが、当初選択される係数の組は４つに限られず、適宜変更可能である。【００６５】
また、実施例３では近赤外光領域の信号量と可視光領域の信号量のそれぞれの値の絶対量に応じて光源を推定するので、より高精度に光源に適した色マトリクス及び減算係数を設定できるので、より色再現性が良くすることができる特徴がある。
【実施例４】
【００６６】
次に、第４の実施例を説明する。図１１は、実施例４における撮像装置１１００を示す構成図である。【００６７】
撮像装置１１００は、レンズ１０１、撮像部１０２、（Ｒ＋Ｉ）信号デモザイキング部１０３、（Ｇ＋Ｉ）信号デモザイキング部１０４、（Ｂ＋Ｉ）信号デモザイキング部１０５、Ｉ信号デモザイキング部１０６、色マトリクス演算部１１０１、ＡＷＢゲイン部１０８、Ｒ信号ガンマ演算部１０９、Ｇ信号ガンマ演算部１１０、Ｂ信号ガンマ演算部１１１、第一色差演算部１１２、第二色差演算部１１３、輝度マトリクス演算部１１４、高域強調部１１５、輝度信号ガンマ演算部１１６、可視光量検波部１１０２、近赤外光量検波部１１８、ＡＷＢ検波部１１９、制御部１２０を適宜用いて構成される。さらに、色マトリクス演算部１１０１は、例えばＩ減算部１２１、Ｒ信号マトリクス演算部１２２、Ｇ信号マトリクス演算部１２３、Ｂ信号マトリクス演算部１２４を適宜用いて構成される。【００６８】
ここで、実施例４の図１１の撮像装置１１００の構成は、実施例１の図１の撮像装置１００の構成と比較すると、色マトリクス演算部１１０１及び可視光量検波部１１０２以外の構成については同様であるため、同様の構成については適宜説明を援用するものとして省略し、異なる箇所を主として以下説明する。【００６９】
図１１の色マトリクス演算部１１０１は、図１の色マトリクス演算部１０７と基本的に同じ構成を有し、中間出力である図１１のＩ減算部１２１の出力を可視光検波部１１０２に出力する点が追加された構成となっている。【００７０】
図１１の可視光量検波部１１０２は、Ｉ減算部１２１の出力する色信号Ｒ１，Ｇ１，Ｂ１を入力とする点で、図１の可視光量検波部１１７と異なる。【００７１】
まず、実施例１の場合と同様に、近赤外光領域の信号成分を除去して、可視光量域に感度を持つ色信号Ｒ１，Ｇ１，Ｂ１は、Ｉ減算部１２１において、前述の（数１）乃至（数３）のように計算される。【００７２】
本実施例４の図１１の可視光量検波部１１０２では、次のような計算により、注目画素周辺の可視光領域の信号量Ｙｄを検出する。
（数１６）Ｙｄ  ＝Σ（      ｋｙｄ１×Ｒ１
＋  ｋｙｄ２×Ｇ１
＋  ｋｙｄ３×Ｂ１
（ｋｙｄ１，ｋｙｄ２，ｋｙｄ３は係数、Σは注目画素周辺の信号量の総和を示す）
この（数１６）の式は、実施例１で説明した（数１３）に対して、下式の条件を追加したものと等しい。
（数１７）ｋｉｄ１＝ｋｄ１
（数１８）ｋｉｄ２＝ｋｄ２
（数１９）ｋｉｄ３＝ｋｄ３
この（数１７）乃至（数１９）の式の条件を追加することで、Ｉ減算部１２１から出力された色信号Ｒ１，Ｇ１，Ｂ１をもとに可視光領域の信号量Ｙｄを計算しても、その後の制御部１２０における動作を図１の場合と同様に実施することができる。【００７３】
制御部１２０の動作は、例えば、実施例１、実施例２、実施例３のいずれの動作に準じても良く、各実施例で記載した変形等について適宜適用可能である。それぞれの動作において、実施例１から３それぞれで説明した効果を得ることができる。【００７４】
また、（数１３）よりも（数１６）のほうが、簡素な式となっていることから分かるように、構成を図１１のようにすることで、実施例１の図１の場合よりも、可視光量検波部１１０２の回路規模を小さくすることができるという特徴を持つ。
【実施例５】
【００７５】
図１２は、実施例５における車載撮像システム１２００を示す構成図である。
車載撮像システム１２００は、可視光照射光源１２０１、近赤外光照射光源１２０２、光源スイッチ１２０３、撮像装置１２０４、画像認識装置１２０５、画像合成装置１２０６、表示装置１２０７、システム制御装置１２０８を適宜用いて構成される。【００７６】
可視光照射光源１２０１は、可視光領域を含む光を照射する光源で、例えば、可視光領域の光を照射する白色Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ（以下、ＬＥＤ）光源や、可視光領域と近赤外光領域の光を照射するハロゲンランプなどである。本実施例においては、ハロゲンランプの場合を例に説明する。
近赤外光照射光源１２０２は、近赤外光領域の光を照射する光源である。例えば、６５０ｎｍから１２００ｎｍの波長の光を照射するＬＥＤ光源などである。
光源スイッチ１２０３は、可視光照射光源１２０１及び近赤外光照射光源１２０２の照射をＯＮ／ＯＦＦするスイッチで、それぞれの光源のＯＮ／ＯＦＦを示す点灯信号をシステム制御装置１２０８に出力する。【００７７】
撮像装置１２０４は、被写体を可視光領域及び近赤外光領域で撮像して、輝度信号、第一色差信号、第二色差信号を出力する。撮像装置１２０４は、実施例１から実施例４の撮像装置と同様の構成をもつ。さらに、撮像装置１２０４は、システム制御装置１２０８の出力する制御信号を制御部１２０に入力する。【００７８】
画像認識装置１２０５は、撮像装置１２０４から出力された輝度信号、第一色差信号、第二色差信号を用いて、被写体を認識して認識結果に応じた認識結果信号を出力する。
画像合成装置１２０６は、画像認識装置１２０５から出力される認識結果信号に基づいて、撮像装置１２０４から出力された輝度信号、第一色差信号、第二色差信号に、画像認識結果を重畳した輝度信号、第一色差信号、第二色差信号を出力する。
表示装置１２０７は、画像合成装置１２０６から出力された輝度信号、第一色差信号、第二色差信号を表示する装置で、例えば、液晶ディスプレイなどである。【００７９】
車載撮像システム１２００は、自動車や電車などの車両に搭載された機器を想定している。例えば自動車においては、可視光照射光源１２０１はロービームに相当し、近赤外照射光源１２０１はハイビームに相当する。光源スイッチ１２０３は、車両のドライバーが操作するハイビーム／ロービームの切り替えスイッチに相当する。本実施例においては、光源スイッチ１２０３をドライバーが”ロー”に合わせると可視光照射光源１２０１のみが点灯し、”ハイ”に合わせると可視光照射光源１２０１と近赤外照射光源１２０２の両方が点灯し、”ＯＦＦ”に合わせると、可視光照射光源１２０１と近赤外照射光源１２０２のどちらも点灯しない動作となる。【００８０】
図１３は、本実施例のシーンを説明する図である。以下は、例えば、図１３の夜間の一シーンを用いて、本実施例に係る車載撮像システムの一効果を説明する。図１３では、道路１３０１を自車両１３０２が走行中である。自車両からは、図１２の可視光照射光源１２０１から図１３の可視光照射範囲１３０３に、近赤外光照射光源１２０２から図１３の近赤外光照射範囲１３０４に、それぞれ光が放射されている。可視光照射範囲１３０３内には、標識１３０５が存在する。また、近赤外光照射範囲１３０４内には、歩行者１３０６、信号機１３０７、車両１３０９、自発光標識１３１０が存在する。また、信号機１３０８は稼動中で、発光中のランプ１３０８が存在する。例えば日本で一般的に使われている信号機を想定すると、赤色・黄色・緑色のいずれかのランプが点灯もしくは点滅している。【００８１】
このような図１３のシーンにおいて、安全に運転するための自車両前方の状況確認を自車両のドライバーが実施する補助として、後に示すいくつかの撮像装置で撮影した画像をドライバーが視認することを想定する。被写体のうち、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを画像から判断できることが求められる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、どのような色であるかを画像から判断できることが求められているとする。【００８２】
図１４は、図１３のシーンにおいて、撮像装置として、例えば可視光撮像装置を使用した場合の出力画像を示している。ここで、可視光領域撮像装置とは、可視光領域の光でカラーで撮影する撮像装置のことであり、近年では一般的なカラーカメラである。この撮像装置では、可視光照射範囲１３０３内に存在するか、自発光している被写体のみがカラーで撮像可能となる。図１４では、歩行者１３０６、車両１３０９については撮像されないので、どのように動いているかを画像から判断できない。また、信号機１３０７については、発光中のランプ１３０８のみが撮像されているが、全体像ではないので、信号機１３０７であることを画像から判断できない。以上のように、図１４のように可視光領域撮像装置を使った場合には、改善の余地がある。【００８３】
図１５は、図１３のシーンにおいて、撮像装置として、近赤外光撮像装置を使用した場合の出力画像を示している。ここで、近赤外光撮像装置とは、近赤外光領域の光のみ、もしくは近赤外光領域と可視光領域の光に感度を持つモノクロのカメラのことであり、暗視撮像装置ともいわれる。この撮像装置では、可視光照射範囲１３０３内に存在するか、近赤外照射範囲１３０４内に存在するか、自発光している被写体がモノクロで撮像可能となる。図１５では、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、モノクロで撮像されており、画像から色を判断することができない。以上のように、図１５のように近赤外光領域撮像装置を使った場合でも、改善の余地がある。【００８４】
図１６は、図１３のシーンにおいて、撮像装置として、本発明に係る各実施例で説明した撮像装置を使用した場合の出力画像を示している。すなわち、図１６は、図１２の車載撮像システム１２００が図１３の自車両１３０２に搭載されている場合に、表示装置１２０７にて表示される出力画像である。【００８５】
この撮像装置を用いれば、可視光領域の光で撮像した被写体はカラーになり、近赤外光領域の光で撮像した被写体はモノクロになる。図１６では、歩行者１３０６、信号機１３０７、車両１３０９については、どこに存在しているかを画像から判断できる。また、被写体のうち、標識１３０５、信号機の発光中のランプ１３０８、自発光標識１３１０については、どこに存在しており、どのような色であるかを画像から判断できる。そのため、撮像装置１２００の出力する画像を画像合成装置１２０６を通じて表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色を判断できるようになり、結果としてより安全に運転する補助となることができる。【００８６】
さらに、本実施例では、図１７のように、信号機１３０７の全体像や色を強調表示することができる。図１７は、画像認識装置１２０５において、信号機１３０７を認識して、その認識結果に応じて、画像合成装置１２０６において生成した出力画像である。撮像装置１２００の出力する図１６の画像信号のうち、信号機１３０７及び発光中のランプ１３０８が、強調表示された信号機１７０１、強調表示された発光中のランプ１７０２となって強調表示されている。ここで、強調表示とは、当該被写体のエッジを太く見せたり、コントラストを高くしたり、部分的なスケーリングにより大きく表示したりすることで、視認性を向上させることを意味する。【００８７】
本実施例においては、撮像装置１２０４を用いることで、被写体の色と形の両方を同時に撮像することができるので、画像認識装置１２０５は、被写体が例えば信号機１３０７であり、発光中のランプ１３０８の色が何であるかを認識することが可能となる。このようにして生成した図１７のような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果としてより安全に運転する補助となることができる。
【実施例６】
【００８８】
次に、第６の実施例を説明する。実施例６は、前述の車載撮像システム１２００と同様の構成にて異なる出力画像を出力する車載撮像システムである。【００８９】
本実施例では、図１８のように、被写体をテンプレートと呼ばれる画像に変換して表示する。テンプレートは、認識の元となった画像のコントラストが低かったり、色の再現性が悪かったりという視認性の良さとは無関係に、予め用意した絵柄そのまま、もしくは予め用意した絵柄を元に、撮像装置１２００で実際に撮像された出力画像に基づいて、サイズや角度などを修正して出力した画像の部品である。【００９０】
画像認識装置１２０６では、図１６のような撮像装置１２００の出力画像から、被写体を認識し、その認識結果を画像合成装置１２０６に出力する。画像合成装置１２０６においては、撮像装置１２００から出力された画像から、被写体の一部をテンプレートである、標識テンプレート１８０１、歩行者テンプレート１８０２、信号機テンプレート１８０３、車両テンプレート１８０４、自発光標識テンプレート１８０５に置き換えた出力画像を生成する。このようにして生成した図１８のような出力画像を、表示装置１２０７に出力して表示することで、ドライバーが画像から被写体の場所や色が視認性の良い形で判断できるようになり、結果としてより安全に運転する補助となることができる。なお、ここではすべての対象をテンプレートに置き換えて出力する例を示したが、これに限られるものではなく、一部の対象物のみテンプレートに置き換えるようにしても構わない。たとえば、視認性が所定のしきい値以下となり、視認性が悪いもののみテンプレートに置き換えるようにしてもよく、また、図１７の画像を出力しつつ、テンプレートを一定時間間隔毎に各対象物に対して重畳表示させたりしても構わない。【００９１】
なお、本願で開示した発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。【００９２】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９３】
１００  撮像装置
１０１  レンズ
１０２  撮像部
１０３  （Ｒ＋Ｉ）信号デモザイキング部
１０４  （Ｇ＋Ｉ）信号デモザイキング部
１０５  （Ｂ＋Ｉ）信号デモザイキング部
１０６  Ｉ信号デモザイキング部
１０７  色マトリクス演算部
１０８  ＡＷＢゲイン部
１０９  Ｒ信号ガンマ演算部
１１０  Ｇ信号ガンマ演算部
１１１  Ｂ信号ガンマ演算部
１１２  色差演算部１
１１３  色差演算部２
１１４  輝度マトリクス演算部
１１５  高域強調部
１１６  輝度信号ガンマ演算部
１１７  可視光量検波部
１１８  近赤外光量検波部
１１９  ＡＷＢ検波部
１２０  制御部
１２１  Ｉ減算部
１２２  Ｒ信号マトリクス演算部
１２３  Ｇ信号マトリクス演算部
１２４  Ｂ信号マトリクス演算部
２０１  （Ｒ＋Ｉ）画素
２０２  （Ｇ＋Ｉ）画素
２０３  Ｉ画素
２０４  （Ｂ＋Ｉ）画素
３０１  赤色領域（Ｒ）成分
３０２  近赤外光領域（Ｉ）成分
３０３  不要波長成分
３０４  不要波長成分
３０５  緑色領域（Ｇ）成分
３０６  近赤外光領域（Ｉ）成分
３０７  不要波長成分
３０８  不要波長成分
３０９  近赤外光領域（Ｉ）成分
３１０  不要波長成分
３１１  赤色領域（Ｂ）成分
３１２  近赤外光領域（Ｉ）成分
３１３  不要波長成分
４０１  ステップ１
４０２  ステップ２
４０３  ステップ３
４０４  ステップ４
４０５  ステップ５
４０６  ステップ６
５０１  Ｍａｔ１のｋｒｒ（色マトリクス係数）
５０２  Ｍａｔ１のｋｒｇ（色マトリクス係数）
５０３  Ｍａｔ１のｋｒｂ（色マトリクス係数）
５０４  Ｍａｔ１のｋｉ１（減算係数）
５０５  Ｍａｔ２のｋｒｒ（色マトリクス係数）
５０６  Ｍａｔ２のｋｒｇ（色マトリクス係数）
５０７  Ｍａｔ２のｋｒｂ（色マトリクス係数）
５０８  Ｍａｔ２のｋｉ１（減算係数）
５０９  Ｍａｔ３のｋｒｒ（色マトリクス係数）
５１０  Ｍａｔ３のｋｒｇ（色マトリクス係数）
５１１  Ｍａｔ３のｋｒｂ（色マトリクス係数）
５１２  Ｍａｔ３のｋｉ１（減算係数）
５１３  Ｍａｔ１のｋｇｒ（色マトリクス係数）
５１４  Ｍａｔ１のｋｇｇ（色マトリクス係数）
５１５  Ｍａｔ１のｋｇｂ（色マトリクス係数）
５１６  Ｍａｔ１のｋｉ２（減算係数）
５１７  Ｍａｔ２のｋｇｒ（色マトリクス係数）
５１８  Ｍａｔ２のｋｇｇ（色マトリクス係数）
５１９  Ｍａｔ２のｋｇｂ（色マトリクス係数）
５２０  Ｍａｔ２のｋｉ２（減算係数）
５２１  Ｍａｔ３のｋｇｒ（色マトリクス係数）
５２２  Ｍａｔ３のｋｇｇ（色マトリクス係数）
５２３  Ｍａｔ３のｋｇｂ（色マトリクス係数）
５２４  Ｍａｔ３のｋｉ２（減算係数）
５２５  Ｍａｔ１のｋｂｒ（色マトリクス係数）
５２６  Ｍａｔ１のｋｂｇ（色マトリクス係数）
５２７  Ｍａｔ１のｋｂｂ（色マトリクス係数）
５２８  Ｍａｔ１のｋｉ３（減算係数）
５２９  Ｍａｔ２のｋｂｒ（色マトリクス係数）
５３０  Ｍａｔ２のｋｂｇ（色マトリクス係数）
５３１  Ｍａｔ２のｋｂｂ（色マトリクス係数）
５３２  Ｍａｔ２のｋｉ３（減算係数）
５３３  Ｍａｔ３のｋｂｒ（色マトリクス係数）
５３４  Ｍａｔ３のｋｂｇ（色マトリクス係数）
５３５  Ｍａｔ３のｋｂｂ（色マトリクス係数）
５３６  Ｍａｔ３のｋｉ３（減算係数）
６０１  色差信号１  Ｐｂ
６０２  色差信号２  Ｐｒ
６０３  元のＡＷＢ検波範囲
６０４  修正後のＡＷＢ検波範囲
７０１  ステップ１
７０２  ステップ２
７０３  ステップ３
７０４  ステップ４
８０１  Ｍａｔ１のｋｒｒ（色マトリクス係数）
８０２  Ｍａｔ１のｋｒｇ（色マトリクス係数）
８０３  Ｍａｔ１のｋｒｂ（色マトリクス係数）
８０４  Ｍａｔ１のｋｉ１（減算係数）
８０５  Ｍａｔ２のｋｒｒ（色マトリクス係数）
８０６  Ｍａｔ２のｋｒｇ（色マトリクス係数）
８０７  Ｍａｔ２のｋｒｂ（色マトリクス係数）
８０８  Ｍａｔ２のｋｉ１（減算係数）
８０９  Ｍａｔ３のｋｒｒ（色マトリクス係数）
８１０  Ｍａｔ３のｋｒｇ（色マトリクス係数）
８１１  Ｍａｔ３のｋｒｂ（色マトリクス係数）
８１２  Ｍａｔ３のｋｉ１（減算係数）
８１３  Ｍａｔ１のｋｇｒ（色マトリクス係数）
８１４  Ｍａｔ１のｋｇｇ（色マトリクス係数）
８１５  Ｍａｔ１のｋｇｂ（色マトリクス係数）
８１６  Ｍａｔ１のｋｉ２（減算係数）
８１７  Ｍａｔ２のｋｇｒ（色マトリクス係数）
８１８  Ｍａｔ２のｋｇｇ（色マトリクス係数）
８１９  Ｍａｔ２のｋｇｂ（色マトリクス係数）
８２０  Ｍａｔ２のｋｉ２（減算係数）
８２１  Ｍａｔ３のｋｇｒ（色マトリクス係数）
８２２  Ｍａｔ３のｋｇｇ（色マトリクス係数）
８２３  Ｍａｔ３のｋｇｂ（色マトリクス係数）
８２４  Ｍａｔ３のｋｉ２（減算係数）
８２５  Ｍａｔ１のｋｂｒ（色マトリクス係数）
８２６  Ｍａｔ１のｋｂｇ（色マトリクス係数）
８２７  Ｍａｔ１のｋｂｂ（色マトリクス係数）
８２８  Ｍａｔ１のｋｉ３（減算係数）
８２９  Ｍａｔ２のｋｂｒ（色マトリクス係数）
８３０  Ｍａｔ２のｋｂｇ（色マトリクス係数）
８３１  Ｍａｔ２のｋｂｂ（色マトリクス係数）
８３２  Ｍａｔ２のｋｉ３（減算係数）
８３３  Ｍａｔ３のｋｂｒ（色マトリクス係数）
８３４  Ｍａｔ３のｋｂｇ（色マトリクス係数）
８３５  Ｍａｔ３のｋｂｂ（色マトリクス係数）
８３６  Ｍａｔ３のｋｉ３（減算係数）
９０１  ステップ１
９０２  ステップ２
９０３  ステップ３
９０４  ステップ４
９０５  ステップ５
１００１  Ｍａｔ１（色マトリクス係数及び減算係数）
１００２  Ｍａｔ２（色マトリクス係数及び減算係数）
１００３  Ｍａｔ３（色マトリクス係数及び減算係数）
１００４  Ｍａｔ４（色マトリクス係数及び減算係数）
１００５  Ｍａｔ５（色マトリクス係数及び減算係数）
１１００  撮像装置
１１０１  色マトリクス演算部
１１０２  可視光量検波部
１２０１  可視光照射光源
１２０２  近赤外照射光源
１２０３  光源スイッチ
１２０４  撮像装置
１２０５  画像認識装置
１２０６  画像合成装置
１２０７  表示装置
１２０８  システム制御装置
１３０１  道路
１３０２  自車両
１３０３  可視光照射範囲
１３０４  近赤外光照射範囲
１３０５  標識
１３０６  歩行者
１３０７  信号機
１３０８  発光中のランプ
１３０９  車両
１３１０  自発光標識
１６０１  強調表示された信号機
１６０２  強調表示された発光中のランプ
１７０１  標識テンプレート
１７０２  歩行者テンプレート
１７０３  信号機テンプレート
１７０４  車両テンプレート
【図１】
2015015580.tif 000003
【図２】
2015015580.tif 000004
【図３】
2015015580.tif 000005
【図４】
2015015580.tif 000006
【図５】
2015015580.tif 000007
【図６】
2015015580.tif 000008
【図７】
2015015580.tif 000009
【図８】
2015015580.tif 000010
【図９】
2015015580.tif 000011
【図１０】
2015015580.tif 000012
【図１１】
2015015580.tif 000013
【図１２】
2015015580.tif 000014
【図１３】
2015015580.tif 000015
【図１４】
2015015580.tif 000016
【図１５】
2015015580.tif 000017
【図１６】
2015015580.tif 000018
【図１７】
2015015580.tif 000019
【図１８】
2015015580.tif 000020
【国際調査報告】
2015015580.tif 000021
2015015580.tif 000022
2015015580.tif 000023