(57)【要約】【課題】簡素な構成で、非可視光である赤外光もしくは紫外光を撮影対象に照射し、撮影対象の可視光の波長領域の色を精度よく推定可能な撮像演算装置を提供する。【解決手段】集光光学系１４２は、被写体１１０で反射された非可視光１４１ｄ〜１４１ｆを受けて集光する。受光素子１４３は、集光された非可視光１４１ｄ〜１４１ｆを電気信号に変換して出力する。演算処理部１４５は、受光素子１４３から出力される電気信号を受け、複数の演算によって、撮影対象の可視光の波長領域における色の情報を得る。【選択図】図１
2014204151.tif 000002
【特許請求の範囲】
【請求項１】
非可視光の波長領域である、赤外光の波長領域もしくは紫外光の波長領域の、異なるｊ（ｊは２以上の自然数）種類の波長の光を放射して撮影対象を照らす光源ユニットと、
前記光源ユニットから放射された後に前記撮影対象で反射された前記ｊ種類の波長の光を受けて集光する集光光学系と、
前記集光光学系で集光された前記ｊ種類の波長の光を電気信号に変換して出力する受光素子と、
前記受光素子から出力される前記電気信号を受け、複数の演算によって、前記撮影対象の可視光の波長領域における色の情報を得る演算処理部と、
を有する撮像演算装置。
【請求項２】
非可視光の波長領域である、赤外光の波長領域もしくは紫外光の波長領域の、異なるｊ（ｊは２以上の自然数）種類の波長の光を放射して撮影対象を照らす光源ユニットと、
前記光源ユニットから放射された後に前記撮影対象で反射された前記ｊ種類の波長の光を受けて集光する集光光学系と、
前記集光光学系で集光された前記ｊ種類の波長の光を電気信号に変換して出力する受光素子と、
前記受光素子から出力される前記電気信号を用いた演算によって、前記撮影対象の可視光の波長領域における色の情報を取得するとともに、前記電気信号より表示に用いる信号を出力する演算処理部と、
前記演算処理部から出力される前記表示に用いる信号に基づき画像を表示する表示部と、
を具備する撮像演算装置において、
前記表示部は、
表示する画像における色を知りたい部分が選ばれた際に、前記画像の色を知りたい部分の色が何色であるかを表示する、
撮像演算装置。
【請求項３】
前記演算処理部でなされる演算は非線形な演算である請求項１または２に記載の撮像演算装置。
【請求項４】
前記表示部は、
表示する画像において、前記演算処理部で取得した前記色の情報に複数の候補がある部分は、前記色の情報に単一の候補がある部分とは異なる表示にする請求項２に記載の撮像演算装置。
【請求項５】
前記表示部は、
表示する画像において、前記演算処理部で取得した前記色の情報に複数の候補がある部分を点滅する請求項２に記載の撮像演算装置。
【請求項６】
前記表示部は、
表示する画像における、前記演算処理部で取得した前記色の情報に複数の候補がある部分において、前記複数の候補を一定の間隔で順次表示する請求項２に記載の撮像演算装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に反射された赤外線又は紫外線、もしくは被写体が放射する赤外線又は紫外線から被写体のカラー画像を生成可能とする撮像演算装置に関する。
【背景技術】
【０００２】
夜間の異常監視または夜間の動物観察等の様々な用途で広く用いられているナイトビジョンシステムは、周囲が暗い環境下にある被写体に対して赤外線を照射し、撮像した被写体を表示する。
【０００３】
しかしながら、ナイトビジョンシステムは、可視光ではなく赤外光を照射するために、人間の感じる可視光の波長領域の色に関する情報を直接的に得ることができない。従って、ナイトビジョンシステムで得られた画像は、白黒もしくは緑の濃淡等の単色で表示されることが一般的である。
【０００４】
また、単色の表示では見づらいため、近年、可視光の波長領域外の光（非可視光）である赤外光もしくは紫外光を照射し、得られた赤外光もしくは紫外光の画像から可視のカラー画像を得る技術が開示されている。（特許文献１〜３）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３６９１６号公報
【特許文献２】特開２００２−１７１５１９号公報
【特許文献３】特開２０１１−５００４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている暗視カラーカメラは、既知の各色に対して赤外線と紫外線とを照射して撮影して得た赤外線信号と紫外線信号との比率を予め測定してマップを作成し、そのマップを参照して可視色を推定しているため、処理が重く複雑である。また、特許文献１に開示されている暗視カラーカメラは、赤外線の光源と紫外線の光源とをそれぞれ１つずつしか用いていないため、可視色の推定精度は低いという課題があった。
【０００７】
また、特許文献２に開示されている赤外線カラー画像形成装置は、撮影対象の可視光の波長領域における実際の色と、赤外スペクトル放射強度又は赤外スペクトルの分光反射率との対応データを予め測定し、可視色を推定している。特許文献２に開示されている赤外線カラー画像形成装置は、赤外光領域全体のスペクトル形状から可視色を推定するため、事前に被写体の可視及び赤外のスペクトルを精緻に分光測定することが必要である。そのため、特許文献２に開示されている赤外線カラー画像形成装置は、色々な撮影対象に対して、それぞれ事前にデータを取得するという大きな負担となる作業が必要となる。また、特許文献２に開示されている赤外線カラー画像形成装置は、特許文献１に開示されている暗視カラーカメラよりも処理が重く複雑であるという課題があった。
【０００８】
また、特許文献３に開示されている画像撮影装置は、複数の異なる波長の赤外線を時分割で照射して得られる赤外線の反射率から、一般化した行列演算式を用いて可視色を推定しているが、一般化した行列演算式を用いて可視光推定した場合には、可視色の推定精度が低いという課題があった。
【０００９】
本発明は、前記事情に鑑みてなされたものであって、簡素な構成でありながら、非可視光である赤外光もしくは紫外光を撮影対象に照射し、撮影対象の可視光の波長領域の色を精度よく推定可能な撮像演算装置を提供することを目的の１つとする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像演算装置は、非可視光の波長領域である、赤外光の波長領域もしくは紫外光の波長領域の、異なるｊ（ｊは２以上の自然数）種類の波長の光を放射して撮影対象を照らす光源ユニットと、前記光源ユニットから放射された後に前記撮影対象で反射された前記ｊ種類の波長の光を受けて集光する集光光学系と、前記集光光学系で集光された前記ｊ種類の波長の光を電気信号に変換して出力する受光素子と、前記受光素子から出力される前記電気信号を受け、複数の演算によって、前記撮影対象の可視光の波長領域における色の情報を得る演算処理部と、を有することを特徴とし、これにより上記目的が達成される。
【００１１】
本発明に係る別の撮像演算装置は、非可視光の波長領域である、赤外光の波長領域もしくは紫外光の波長領域の、異なるｊ（ｊは２以上の自然数）種類の波長の光を放射して撮影対象を照らす光源ユニットと、前記光源ユニットから放射された後に前記撮影対象で反射された前記ｊ種類の波長の光を受けて集光する集光光学系と、前記集光光学系で集光された前記ｊ種類の波長の光を電気信号に変換して出力する受光素子と、前記受光素子から出力される前記電気信号を用いた演算によって、前記撮影対象の可視光の波長領域における色の情報を取得するとともに、前記電気信号より表示に用いる信号を出力する演算処理部と、前記演算処理部から出力される前記表示に用いる信号に基づき画像を表示する表示部と、を具備する撮像演算装置において、前記表示部は、表示する画像における色を知りたい部分が選ばれた際に、前記画像の色を知りたい部分の色が何色であるかを表示し、これにより上記目的が達成される。
【００１２】
また、上記構成に加えて、前記演算処理部でなされる演算は非線形な演算であってもよい。
【００１３】
また、上記構成に加えて、前記表示部は、表示する画像において、前記演算処理部で取得した前記色の情報に複数の候補がある部分は、前記色の情報に単一の候補がある部分とは異なる表示にしてもよい。
【００１４】
また、上記構成に加えて、前記表示部は、表示する画像において、前記演算処理部で取得した前記色の情報に複数の候補がある部分を点滅してもよい。
【００１５】
また、上記構成に加えて、前記表示部は、表示する画像における、前記演算処理部で取得した前記色の情報に複数の候補がある部分において、前記複数の候補を一定の間隔で順次表示してもよい。
【発明の効果】
【００１６】
上記手段により、非可視光である赤外光もしくは紫外光を撮影対象に照射して得られた信号を用いた演算によって得られた結果が、撮影対象の有する可視光の波長領域の色に精度良く対応するようになり、撮影対象が有している可視色を精度よく推定可能な撮像演算装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１の撮像装置の構成を示す図
【図２】本発明の実施の形態１の撮像装置における光源ユニットの構成を示す図
【図３】本発明の実施の形態１の撮像装置における光源が発光するタイミングと演算処理部から出力される画像情報との対応を示す図
【図４】本発明の実施の形態１の撮像装置におけるフレームデータの構成を示す
【図５】本発明の実施の形態１の撮像装置における受光素子の構成を示す図
【図６】本発明の実施の形態１の撮像装置におけるピクセルの波長に対する量子効率の特性を示す図
【図７】本発明の実施の形態１の撮像装置の原理を説明する色紙の反射率の波長依存性を示す図
【図８】本発明の実施の形態１の撮像装置における演算の判断の基準値と色レベルの参照値の一例を示す図
【図９】本発明の実施の形態２の撮像装置における受光素子の構成を示す図
【図１０】本発明の実施の形態２の撮像装置における受光素子が有するピクセルの波長に対する量子効率の特性を示す図
【図１１】本発明の実施の形態２の撮像装置における波長フィルタの構成を示す図
【図１２】本発明の実施の形態２の撮像装置における波長フィルタが有する領域の波長に対する透過率の特性を示す図
【図１３】本発明の実施の形態２の撮像装置における波長フィルタが有する領域の波長に対する透過率の特性を示す図
【図１４】本発明の実施の形態２の撮像装置における波長フィルタが有する領域の波長に対する透過率の特性を示す図
【図１５】本発明の実施の形態２の撮像装置に波長フィルタを用いた場合の動作を示す構成図であり、（ａ）〜（ｃ）は、それぞれ波長フィルタの配置を示す図
【図１６】本発明の実施の形態３の撮像装置の構成を示す図
【図１７】本発明の実施の形態５の撮像装置の構成を示す図
【図１８】本発明の実施の形態５の撮像装置におけるビーム分離素子の構成を示す図
【図１９】本発明の実施の形態５の撮像装置における波長フィルタの構成を示す図
【図２０】本発明の実施の形態５の撮像装置における波長フィルタを透過した光と受光素子との関係を示す図
【図２１】本発明の実施の形態６の撮像装置の構成を示す図
【図２２】本発明の実施の形態６の撮像装置におけるビーム分離素子と受光素子の構成を示す図
【図２３】本発明の実施の形態６の撮像装置における受光素子の構成を示す図であり、（ａ）は、受光素子上のピクセルを示す図、（ｂ）は、ピクセル群の１つを示す図
【図２４】本発明の実施の形態７の撮像装置におけるビーム分離素子の構成を示す図
【図２５】本発明の実施の形態８の撮像装置の構成を示す図
【図２６】本発明の実施の形態８の撮像装置における光源ユニットの構成を示す図
【図２７】本発明の実施の形態８の撮像装置における表示部で表示されるカラー画像の一例を示す図
【発明を実施するための形態】
【００１８】
以下、本発明の撮像装置及び撮像演算装置の実施形態について添付の図面を参照して説明する。なお、各図面において同一の符号は同一の構成要素または同様の作用、動作をなすものを表す。
【００１９】
（実施の形態１）
図１は、本発明に係る撮像演算装置１４０の構成を示す図である。撮像演算装置１４０は、光源ユニット１４１、集光光学系１４２、受光素子１４３、制御部１４４、演算処理部１４５、及び出力端子１４６を有している。
【００２０】
図２は、撮像演算装置１４０における光源ユニット１４１の構成を示す図である。
【００２１】
光源ユニット１４１は、光源として３種類の発光ダイオード（以下ＬＥＤとする）１４１ａ〜１４１ｃを有している。光源１４１ａ、１４１ｂ、１４１ｃは、光１４１ｄ、１４１ｅ、１４１ｆを、それぞれ放射する。
【００２２】
光１４１ｄの波長をλ１１、光１４１ｅの波長をλ１２、光１４１ｆの波長をλ１３とすると、ここでは、λ１１＝８１０ｎｍ、λ１２＝３８０ｎｍ、λ１３＝７３０ｎｍとしている。すなわち、光源１４１ａ〜１４１ｃから放出される光１４１ｄ〜１４１ｆは、いずれも赤外光の波長領域の光もしくは紫外光の波長領域の光である非可視光である。
【００２３】
一般的にＬＥＤは、半値全幅が５０ｎｍ程度の比較的波長幅の広い光を出射する。例えば、光源１４１ａから出射されるλ１１＝８１０ｎｍと示される光は、波長８１０ｎｍの光だけではなく、波長分布の広がった光である。波長λ１２、λ１３についても、同様である。
【００２４】
また、光源から出射される光の強度が最も強い波長が、波長λ１１〜λ１３の場合、波長λ１１〜λ１３を以下の範囲とする。すなわち、λ１１は波長７００ｎｍ〜８３０ｎｍ、λ１２は波長３５０ｎｍ〜４２０ｎｍ、λ１３は波長８３０ｎｍ〜１０００ｎｍとする。これにより、色の推定を精度良く行うことができる。従って、波長λ１１〜λ１３は、必要に応じて変更しても良い。
【００２５】
また、λ１３を７５０ｎｍ〜８３０ｎｍに設定した場合には、λ１３＞λ１１の関係を保てば、色の推定を精度良く行うことができる。従って、λ１３は、λ１３＞λ１１の関係を保てば、７５０ｎｍ〜８３０ｎｍに設定しても良い。
【００２６】
一般的には、可視光とは波長４００ｎｍ〜７００ｎｍの光のことを示すことが多い。また、波長７００ｎｍより長い波長の光は赤外光とし、波長４００ｎｍよりも短い波長は紫外光としている。しかし、本発明の撮像演算装置１４０における紫外光もしくは赤外光である非可視光とは、上述の色の推定を精度良く行えるという観点で、波長３５０ｎｍ〜４２０ｎｍ及び７００ｎｍ〜１０００ｎｍの光のことを意味する。
【００２７】
また、本発明の撮像演算装置１４０は、複数の波長の光を用いれば、その波長に応じた演算を用いることによって、所望の動作をなす。なお、演算については、後述する。また、ここでは、波長λ１１と波長λ１３とに赤外光の波長領域の光を用い、λ１２に紫外光の波長領域の光を用いたが、波長λ１１〜λ１３を全て赤外光の波長領域の波長としてもよい。
【００２８】
例えば、各波長λ１１〜λ１３は、λ１１＝８１０ｎｍ、λ１２＝９４０ｎｍ、及びλ１３＝７３０ｎｍとしてもよい。更には、各波長λ１１〜λ１３は、波長８５０ｎｍの光を用いる等、必要に応じて波長を変更してもよい。
【００２９】
また、ここでは３種類の異なる波長を有する光を用いた場合を説明しているが、必要な精度に応じて、用いる光の種類の数を２としても４以上としても構わない。
【００３０】
また、光源１４１ａ〜１４１ｃから出射される光に対しては、必要に応じて、不要な波長の光を減衰させるフィルタを用いても構わない。この場合には、不要な波長の光を減衰させるフィルタを用いることによって、利用できる光の強度は低下するが、用いる光の波長幅が狭い程、精度良く色を推定できるようになるので、色の推定精度が向上する。
【００３１】
光源ユニット１４１から出射される光１４１ｄ〜１４１ｆは、撮影対象１１０の方向に向けて放射される。
【００３２】
また、ここでは図示していないが、光源ユニット１４１と撮影対象１１０との間には、レンズを設けてもよい。光源ユニット１４１と撮影対象１１０との間にレンズを設ける場合には、光源ユニット１４１から出射される光１４１ｄ〜１４１ｆを、効率良く撮影対象１１０の方向に導くことができるので、撮像演算装置１４０を低消費電力で動作させることができる。
【００３３】
更に、光源ユニット１４１が複数の光源を有し、光源ユニット１４１と撮影対象１１０との間にレンズを設ける場合には、複数の光源に対して、共通のレンズを設けても良いし、それぞれ個別のレンズを設けても良い。
【００３４】
複数の光源に対して、共通のレンズを設ける場合には、部品点数を削減できるので、安価な撮像演算装置１４０を提供できる。また、複数の光源に対して、それぞれ個別のレンズを設ける場合には、各光源に対して最適なレンズを用いることができるので、所望の範囲に効率良く、また均一に照明することができるようになる。
【００３５】
また、光源ユニット１４１から撮影対象１１０の間に至る光路の中には、光１４１ｄ〜１４１ｆを受けて拡散させる拡散素子を設けてもよい。拡散素子を設けた場合には、撮影対象１１０を照明する光の強度は広い範囲で均一になり、色を推定する際の精度が向上する。
【００３６】
拡散素子は、回折型や屈折型等、一般的な構成のものを、何ら制約無く用いることができる。
【００３７】
また、光源ユニット１４１を構成する光源１４１ａ〜１４１ｃは、それぞれ１つずつとしてもよいし、それぞれ複数個としてもよい。光源１４１ａ〜１４１ｃは、照射する距離、光の均一性、またはコスト等の必要な事項を考慮した上で、任意に設定することができる。
【００３８】
撮影対象１１０で反射された光１４１ｄ〜１４１ｆは、集光光学系１４２を介して受光素子１４３に集光される。
【００３９】
集光光学系１４２は、カメラにおいて一般的に用いられる撮像レンズである。
【００４０】
口径、画角、及び倍率等は、撮影する撮影対象１１０の範囲及び位置に応じて決められる。
【００４１】
設計手法については、一般的な撮像レンズと同様であり、本発明に何ら制約を与える事項ではないので、ここでは詳しい説明は省略する。
【００４２】
本実施の形態においては、撮影対象１１０と撮像演算装置との距離を１０ｍ、撮像の画角を９０度としている。
【００４３】
受光素子１４３は、２次元にピクセルが配列された撮像素子であり、対角の長さは１／３インチである。
【００４４】
撮像素子の大きさやピクセル数は、必要な仕様に応じて、適宜選ぶことができる。
【００４５】
また、本発明の撮像演算装置１４０は、撮像素子に関して、何の制約も受けることはない。撮像素子のサイズまたはピクセル数は、任意に設定できる。また、撮像素子の方式としては、ＣＣＤ、ＭＯＳ型、または撮像管等の一般的な方式の物を全て適用できる。
【００４６】
受光素子１４３に集光された光１４１ｄ〜１４１ｆは、受光素子１４３で電気信号に変換される。受光素子１４３で変換された電気信号は、演算処理部１４５に入力される。
【００４７】
演算処理部１４５は、受光素子１４３から出力された電気信号を受けて色を推定する処理を行い、色を推定した結果と画像データとを画像情報１４５ｅとして出力端子１４６から出力する。
【００４８】
制御部１４４は、光源ユニット１４１における光源１４１ａ〜１４１ｃが発光及び消光するタイミング、受光素子１４３が受光した光を電気信号に変換するタイミング、及び演算処理部１４５が演算処理を行うタイミングを、それぞれ制御する。
【００４９】
図３は、光源が発光するタイミングと演算処理部１４５から出力される画像情報１４５ｅとの対応を示した図である。
【００５０】
制御部１４４からの制御信号を受けて、光源１４１ａ〜１４１ｃは、それぞれ周期的に発光と消光を繰り返す。すなわち、光源１４１ａ〜１４１ｃの発光と消光とは、制御部１４４によって制御される。
【００５１】
繰り返しの周期は、Ｔであり、ここでは２５ミリ秒としている。また、光源１４１ａ〜１４１ｃはそれぞれ、周期Ｔの時間において、Ｔ／３≒８．３ミリ秒の時間発光している。
【００５２】
具体的には、周期Ｔにおける最初のＴ／３の期間では、光源１４１ａが出力強度Ｐ１で発光し、このとき、光源１４１ｂと光源１４１ｃとは発光していない。
【００５３】
周期Ｔにおける２番目のＴ／３の期間では、光源１４１ｂが出力強度Ｐ２で発光し、このとき、光源１４１ａと光源１４１ｃとは発光していない。
【００５４】
周期Ｔにおける３番目のＴ／３の期間では、光源１４１ｃが出力強度Ｐ３で発光し、このとき、光源１４１ａと光源１４１ｂとは発光していない。
【００５５】
周期Ｔは、ここでは２５ミリ秒としたが、受光素子１４３が出力可能なフレームレートに応じて、変更できる。例えば、高速に動作する受光素子を用いる場合には、周期Ｔを短い時間に設定できる。
【００５６】
光源の出力強度Ｐ１〜Ｐ３は、必要な信号対雑音比（Ｓ／Ｎ）が得られるレベルに設定している。光源の出力強度Ｐ１〜Ｐ３は、受光素子１４３の感度、集光光学系１４２の透過率、または撮影対象１１０の反射率等の波長依存性を考慮して、所望の値となるように設定してもよい。
【００５７】
受光素子１４３は、光源１４１ａが発光している間に受光した光を電気信号に変換する。演算処理部１４５は、受光素子により変換した電気信号を受光素子より受けて、画像データを含むフレームデータ１４５ａを出力する。
【００５８】
また、受光素子１４３は、光源１４１ｂが発光している間に受光した光を電気信号に変換する。演算処理部１４５は、受光素子により変換した電気信号を受光素子より受けて、画像データを含むフレームデータ１４５ｂを出力する。
【００５９】
また、受光素子１４３は、光源１４１ｃが発光している間に受光した光を電気信号に変換する。演算処理部１４５は、受光素子により変換した電気信号を受光素子より受けて、画像データを含むフレームデータ１４５ｃを出力する。
【００６０】
画像情報１４５ｅでは、フレームデータ１４５ａ、１４５ｂ、１４５ｃが順番に並んでいる。
【００６１】
フレームデータ１４５ａ〜１４５ｃは、それぞれ１フレームのデータである。ＦＲ１〜ＦＲ３は、それぞれ１フレームのデータであることを示している。
【００６２】
図４は、フレームデータの構成を示している。
【００６３】
フレームデータは、識別情報ＩＤ、画像データの種類数ｎ、波長λ１１〜λ１３、演算係数Ｃ１、Ｃ２、Ｃ３、時刻情報ＴＳ、位置情報ＰＳ、画像データの識別子ｎｔｈ、同期信号ＳＹＣ、及び画像データＩＭＧ１、ＩＭＧ２、ＩＭＧ３を有している。
【００６４】
識別子ＩＤは、撮像演算装置１４０のメーカー、型番、バージョン、または画像データの解像度等の装置及び画像データに関する基本的な情報である。
【００６５】
画像データの種類の数ｎは、光を照射する光源の種類の数に関する情報であり、ここでは３種類である。
【００６６】
波長λ１１〜λ１３は、光源が発する光の波長に関する情報である。
【００６７】
演算係数Ｃ１、Ｃ２、Ｃ３は、非可視光を照射することで得られた画像を用いて色を推定する演算に用いる係数に関する情報である。
【００６８】
時刻情報ＴＳは、画像データを取得した年月日と時刻とに関する情報である。
【００６９】
位置情報ＰＳは、画像データを取得した場所に関する情報である。位置情報ＰＳは、グローバルポジショニングシステム（ＧＰＳ）からの情報としてもよいし、ユーザが入力した情報であってもよい。
【００７０】
画像データの識別子ｎｔｈは、何番目の光源を用いたときに得られた画像かを示す情報である。画像データの識別子ｎｔｈは、波長λ１１の光を照射したときに得られた画像の場合は１、波長λ１２の光を照射したときに得られた画像の場合は２、波長λ１３の光を照射したときに得られた画像の場合は３である。この数字は一例であって、他の数字または記号であっても構わない。
【００７１】
同期信号ＳＹＣは、画像データが以降に続くことを示す情報である。
【００７２】
画像データＩＭＧ１〜ＩＭＧ３は、それぞれ波長λ１１〜λ１３の光を照射することで得られた画像のデータである。ここでは、図示していないが、画像データＩＭＧ１〜ＩＭＧ３には、誤り訂正符号、または２次元に多数のピクセルが配置された受光素子のどのピクセルから得られた画像データかを示す識別データを画像データの中に付加している。
【００７３】
本実施の形態に示すフレームデータ１４５ａ〜１４５ｃは、識別情報ＩＤ及び画像データの識別子ｎｔｈ等の情報をフレーム毎に有している。その結果、例えば、３０分間の画像データを１つのデータファイルとして出力し、出力された画像データのうちの必要な１０分間のデータだけを切り出して別のデータファイルとする場合には、容易に作業が行えるようになる。
【００７４】
なお、ここで示した情報は一例であって、必要に応じて、別の情報を追加する、もしくは図４で示した情報の一部を削除しても構わない。
【００７５】
図５は、受光素子１４３の構成を示している。
【００７６】
受光素子１４３は、多数のピクセル１４３ｅを有している。それぞれのピクセルは、入射した光を電気信号に変換する。ピクセル１４３ｅの数は、通常数百個〜数千万個である。図５においては、全てのピクセル１４３ｅを正確に書くことは困難であるため、ピクセル１４３ｅを模式的に示している。
【００７７】
ピクセルの数は、必要とする画像の解像度に応じて任意に選ぶことができる。
【００７８】
本実施の形態の受光素子１４３においては、横に６４０個、及び縦に４８０個のピクセルを配列したものを用いた。
【００７９】
２次元の領域の撮像は、ピクセル１４３ｅを２次元平面に配置することにより可能となる。
【００８０】
図６は、ピクセル１４３ｅの波長に対する量子効率の特性を示している。
【００８１】
量子効率とは、ピクセルに入射した光を構成するフォトンが、電気信号としての電子に変換される割合である。量子効率１００％は、ピクセルに入射したフォトンが、全て電気信号に変換されることを示す。
【００８２】
波長λ１１〜λ１３の全ての光は、ピクセル１４３ｅで電気信号に変換される。
【００８３】
なお、図１には示していないが、必要であれば、被写体から集光光学系１４２を経て受光素子１４３に至る光路中に、不要な波長の光、例えば可視の波長領域の光を遮断するフィルタを適宜設けても良い。不要な波長の光を遮断するフィルタを設ける場合には、不要な光を受光素子１４３が受光して、色の推定精度が低下することを防ぐことができるようになる。
【００８４】
図７は、本発明の動作原理を説明するために、撮影対象１１０に色紙を用いた場合の反射率の波長依存性を示す。
【００８５】
ここでは、撮影対象１１０として、赤、緑、青、紫、黒、白の各色が付いた色紙を用いた結果を示している。
【００８６】
赤、緑、青は、基本的な色の３原色、白と黒はモノクロ、紫は混色の一例である。
【００８７】
白色の色紙は、波長λ１１〜λ１３において、高い反射率を有している。
【００８８】
黒色の色紙は、波長λ１１〜λ１３において、低い反射率を有している。
【００８９】
赤色の色紙、緑色の色紙、青色の色紙、及び紫色の色紙は、波長λ１１においては比較的高い反射率を有しており、波長λ１２においては比較的低い反射率を有しており、波長λ１３においては色に応じて異なる反射率を有している。
【００９０】
この反射率の違いを利用することにより、色を推定することが可能となる。
【００９１】
図８（ａ）は、赤色、緑色、青色、白色、黒色の推定を行う演算の、判断の基準値と色レベルの参照値との一例を示している。
【００９２】
ここで、Ｒ８１０は、波長８１０ｎｍにおける反射率、Ｒ７３０は、波長７３０ｎｍにおける反射率、Ｒ３８０は、波長３８０ｎｍにおける反射率を示している。
【００９３】
また、ＲＲ１は、波長８１０ｎｍにおける反射率を波長７３０ｎｍにおける反射率で割った値、すなわち、ＲＲ１＝Ｒ８１０／Ｒ７３０である。
【００９４】
また、ＲＲ２は、波長３８０ｎｍにおける反射率を波長８１０ｎｍにおける反射率で割った値、すなわち、ＲＲ１＝Ｒ３８０／Ｒ８１０である。
【００９５】
また、色レベルの参照値Ｒａは、赤色の輝度を算出する際に参照する係数、色レベルの参照値Ｇａは、緑色の輝度を算出する際に参照する係数、及び色レベルの参照値Ｂａは、青色の輝度を算出する際に参照する係数である。
【００９６】
また、輝度の参照値Ｉａは、赤色、緑色、及び青色の各輝度を算出する際に参照する係数である。
【００９７】
輝度の算出方法については、後述する。
【００９８】
ＲＲ２が０．７よりも大きい場合には、撮影対象が有する色を、白色もしくは黒色と判断している。
【００９９】
また、ＲＲ２が０．２よりも小さく、かつＲＲ１が１よりも小さい場合には、撮影対象が有する色を、赤色と判断している。
【０１００】
また、ＲＲ２が０．２よりも小さく、かつＲＲ１が１．２〜５の場合には、撮影対象が有する色を、緑色と判断している。
【０１０１】
また、ＲＲ２が０．２よりも小さく、かつＲＲ１が５よりも大きい場合には、撮影対象が有する色を、青色と判断している。
【０１０２】
ＲＲ１とＲＲ２とで示されていない範囲の値は、混色を表現する際の判断に用いられる。
【０１０３】
この設定により、色紙の色を良好に推定することができた。
【０１０４】
図８（ｂ）は、混合した色を推定する一例として、紫色の推定を行う演算の、判断の基準値と色レベルの参照値の一例を示している。
【０１０５】
図８（ｂ）は、ＲＲ２が０．２〜０．７で、かつＲＲ１が１．２〜５のときである。
【０１０６】
赤色の輝度を算出する際に参照する係数Ｒａは、Ｒａ＝１−（ＲＲ２−０．２）×４とするとともに、１−（ＲＲ２−０．２）×４＜０のときはＲａ＝０としている。
【０１０７】
また、青色の輝度を算出する際に参照する係数Ｂａは、Ｂａ＝（ＲＲ２−０．２）×４とするとともに、ＲＲ２−０．２）×４＞１のときはＢａ＝１としている。
【０１０８】
混合した色を推定する際には、例えば、１−（ＲＲ２−０．２）×４＜０のときはＲａ＝０にしたように、ある値で制限を設けるという非線形処理を行うことで、混合した色を良好に推定できるようになる。
【０１０９】
ここでは、一例として赤と青との混色である紫を推定する場合について示したが、同様な考え方で、範囲と非線形処理とを設定することで、他の混合した色についても良好に推定することができる。
【０１１０】
なお、ここに示した範囲を決める数値は一例であって、用いる光源の波長及び波長分布に依存して適宜最適な値を設定すればよい。
【０１１１】
また、図８（ａ）及び図８（ｂ）に示す値と色との関係は、滑らかな色変化を与える関数で求めるようにしてもよい。この場合には、非線形な関数とすることで、可視光の下での色を精度良く求めることができる。
【０１１２】
また、輝度レベルの参照値Ｉａは、Ｉａ＝Ｒ８１０としている。
【０１１３】
例えば、赤色の輝度レベルＲｘは、Ｒｘ＝（Ｒａ×Ｉａ）で求められる。
【０１１４】
緑色、青色、白色及び混色も同様の演算により求められる。
【０１１５】
緑色の輝度レベルＧｘは、Ｇｘ＝（Ｇａ×Ｉａ）、青色の輝度レベルＢｘは、Ｂｘ＝（Ｂａ×Ｉａ）である。
【０１１６】
また、混合した色である紫色の場合には、Ｇｘ＝（Ｇａ×Ｉａ）とＢｘ＝（Ｂａ×Ｉａ）とがＲＲ２に応じた値を持つ。
【０１１７】
なお、ここでは、Ｉａは、波長８１０ｎｍにおける反射率としたが、波長７３０ｎｍにおける反射率、もしくは、波長７３０ｎｍにおける反射率と８１０ｎｍにおける反射率との平均値等でも構わない。光源が発する光が有する波長の中で、最も短い波長よりも長い波長の反射率を用いることで、輝度を精度良く設定できる。
【０１１８】
また、非線形処理を行うことで、輝度を考慮した色を更に精度良く推定することができるようになる。
【０１１９】
例えば、赤色の輝度レベルＲｘは、（Ｒａ×Ｉａ）のｍ乗とし、ｍ＝０．１〜１とすればよい。
【０１２０】
ここでは、赤色の場合を例として示したが、他の色についても同様の処理を行う。
【０１２１】
本実施例においては、ｍ＝０．５とした。
【０１２２】
以上に述べたように、本実施の形態に示す撮像演算装置は、簡単な構成と簡素な演算とで、精度良く可視光の波長領域の色を推定することができるようになる。
【０１２３】
（実施の形態２）
図９は、本発明に係る別の撮像演算装置の一例として、受光素子１５１の構成を模式的に示している。
【０１２４】
本実施の形態では、実施の形態１に示す撮像演算装置１４０における受光素子１４３の代わりに受光素子１５１を用いることで撮像演算装置を構成することができる。
【０１２５】
基本的な動作及び色の推定方法は、実施の形態１に示す撮像演算装置１４０と同様である。
【０１２６】
受光素子１５１は、多数のピクセル１５１ｅ、１５１ｆ、１５１ｇ、１５１ｈを有している。
【０１２７】
図９では、ピクセル１５１ｅをＰ１、ピクセル１５１ｆをＰ２、ピクセル１５１ｇをＰ３、ピクセル１５１ｈをＰ４として、それぞれ示している。
【０１２８】
それぞれのピクセル１５１ｅ〜１５１ｈは、入射した光を電気信号に変換する。ピクセル１５１ｅ〜１５１ｈの数は、通常数百〜数千万個であるが、正確に書くことは困難なので、図９においては、模式的に示している。
【０１２９】
ピクセルの数は、必要とする画像の解像度に応じて任意に選ぶことができる。
【０１３０】
本実施の形態の受光素子１５１においては、横に１９２０個、及び縦に１０８０個のピクセルを配列したものを用いた。
【０１３１】
撮影対象１１０で反射された光１４１ｄ〜１４１ｆは、集光光学系１４２を介して受光素子１５１に集光される。これにより、受光素子１５１は、２次元の画像情報を取得する。
【０１３２】
受光素子１５１は、受光素子１４３と同様に、光源１４１ａ〜１４１ｃが発光している間に受光した光を電気信号に変換する。受光素子１５１で変換された電気信号は、演算処理部１４５に入力される。
【０１３３】
図示していないが、受光素子１５１から出力される電気信号は、実施の形態１の撮像演算装置１４０における受光素子１４３が出力する電気信号と同様である。
【０１３４】
図１０は、受光素子１５１が有するピクセル１５１ｅ〜１５１ｈの、波長に対する量子効率の特性を示している。１５１ｍは、ピクセル１５１ｅが有する特性を示している。１５１ｎは、ピクセル１５１ｆとピクセル１５１ｇとが有する特性を示している。１５１ｏは、ピクセル１５１ｈが有する特性を示している。
【０１３５】
ピクセル１５１ｅ〜１５１ｈのいずれもが、赤外光の波長領域で感度を有している。
【０１３６】
更に、ピクセル１５１ｅは、可視光の赤色に相当する波長領域の感度が、可視光の緑色の波長領域と青色の波長領域とにおける感度よりも高くなるようにしている。
【０１３７】
また、ピクセル１５１ｆとピクセル１５１ｇは、可視光の緑色に相当する波長領域の感度が、可視光の赤色の波長領域と青色の波長領域とにおける感度よりも高くなるようにしている。
【０１３８】
また、ピクセル１５１ｈは、可視光の青色に相当する波長領域の感度が、可視光の赤色の波長領域と緑色の波長領域とにおける感度よりも高くなるようにしている。
【０１３９】
具体的には、各ピクセル１５１ｅ〜１５１ｈの上部に上述の特性を有するカラーフィルタを設けている。この構成は、可視光をカラーで受光するイメージセンサーで一般的に用いられている構成と同様なので、詳しい説明は略する。
【０１４０】
撮像演算装置１４０に受光素子１５１を用いる場合には、例えば日中の太陽または夜間の街灯等の外部から可視光が撮影対象に照明されるとき、撮影対象を実際に即した色で撮影することが可能となる。
【０１４１】
具体的には、１組のピクセル１５１ｅ〜１５１ｈ、すなわち４つのピクセルで、カラーの１ピクセル（以下、等価的な１ピクセルとする）を構成しているとみなせる画像データを得ることができる。
【０１４２】
非可視光である光１４１ｄ〜１４１ｆを用いて、撮影対象の色を推定する際には、ピクセル１５１ｈから出力されるデータを用いる。ピクセル１５１ｈは、波長λ１１〜λ１３のいずれの波長にも十分な感度を有している。従って、本実施の形態の撮像演算装置は、実施の形態１に示す撮像演算装置１４０と同様に、良好に色を推定することができる。
【０１４３】
また、ピクセル１５１ｅ〜１５１ｇは、紫外光の波長領域の感度はピクセル１５１ｈに比べて低いが、赤外光の波長領域の感度はピクセル１５１ｈと同様である。そのため、用いる非可視光が、赤外光の波長領域の光の場合には、ピクセル１５１ｈに加えて、ピクセル１５１ｅ〜１５１ｇを用いても良い。赤外光の波長領域の光を検出可能なピクセルを極力多く用いることで、撮影対象に照射する赤外光の強度を弱めても十分な信号対雑音比（Ｓ／Ｎ）の撮像を得ることが可能となる。この結果、消費電力の少ない撮像演算装置を提供することができるようになる。また、低消費電力になる分、発熱を抑制することができるので、放熱板等の放熱手段が簡素化でき、小型で安価な撮像演算装置を提供することができるようになる。
【０１４４】
なお、ここでは、ピクセル１５１ｅ〜１５１ｇは、紫外光の波長領域の感度がピクセル１５１ｈに比べて低く、赤外光の波長領域の感度はピクセル１５１ｈと同様である場合について述べたが、ピクセル１５１ｅ〜１５１ｇが紫外光の波長領域で良好な感度を有する場合において、紫外光の波長領域の非可視光を用いる場合に、ピクセル１５１ｅ〜１５１ｇを用いてもよい。
【０１４５】
等価的な１ピクセルと見なす範囲において、複数のピクセルを用いるかどうかは、以下の判断をすれば良い。
【０１４６】
等価的な１ピクセルと見なす範囲において、用いるピクセル数をｋ、信号の出力の総和をＳｋ、用いるピクセルの中で最大の信号を出力する１個のピクセルの出力をＳ１としたとき、Ｓｋがｋの平方根とＳ１との積よりも大きい場合には、複数のピクセルを用いればよく、Ｓｋがｋの平方根とＳ１との積以下である場合には、最大の信号を出力する１個のピクセルを用いる。これにより、Ｓ／Ｎの良い画像を得ることができる。
【０１４７】
例えば、等価的に１ピクセルと見なす領域で４つのピクセルを用いたとき、Ｓｋがｋの平方根とＳ１との積よりも大きい場合には、等価的に１ピクセルと見なす領域の画像情報を生成するのに４つのピクセルを用いれば良い。
【０１４８】
また、光源から出射される光の波長に依存して、Ｓｋがｋの平方根とＳ１との積よりも大きいか否かの判断基準に関する結果が異なる場合には、光源から出射される光の波長に応じて、例えば、波長λ１２の光を照射して画像を得るときは４つのピクセルを用い、波長λ１１の光と波長λ１３の光とを照射して画像を得るときは２つのピクセルを用いるというように、ピクセルの数を切り替えてもよい。
【０１４９】
このことで、各光源から出射される光を照射して得る画像は、それぞれが、最もＳ／Ｎの良い画像となる。この結果、高い精度で色の推定を行うことができるようになる。
【０１５０】
図１１は、透過させる光の波長を制限する波長フィルタ１５２の構成を示している。
【０１５１】
波長フィルタ１５２は、領域１５２ａと領域１５２ｂと領域１５２ｃとを有している。
【０１５２】
図１２は、波長フィルタ１５２が有する領域１５２ａの波長に対する透過率の特性を示している。
【０１５３】
領域１５２ａは、可視光の波長領域の光を透過させ、赤外光及び紫外光の波長領域の光を遮断する特性を有している。
【０１５４】
図１３は、領域１５２ｂの波長に対する透過率の特性を示している。領域１５２ｂは、可視光の波長領域の光を遮断し、赤外光及び紫外光の波長領域の光を透過させる特性を有している。
【０１５５】
図１４は、領域１５２ｃの波長に対する透過率の特性を示している。領域１５２ｃは、全ての波長領域の光を透過させる特性を有している。
【０１５６】
図１５は、本発明の撮像演算装置に波長フィルタ１５２を用いた場合の動作を示すための構成図である。波長フィルタ１５２は、撮影対象１１０から受光素子１５１に至る光路中に配置される。
【０１５７】
日中の太陽光等の可視光に加えて、赤外光もしくは紫外光も撮影対象に照射されている場合、図１５（ａ）に示すように、波長フィルタ１５２の領域１５２ａは、撮影対象１１０から受光素子に至る光路中に配置される。
【０１５８】
撮影対象１１０から受光素子に至る光路中に領域１５２ａを配置することにより、日中の太陽または夜間の街灯等の外部から可視光が撮影対象に照明される場合には、赤外光の波長領域の光もしくは紫外光の波長領域の光の受光素子１５１への入射量を減衰させることができる。この結果、実際の色に即した鮮明な画像を得ることが可能となる。
【０１５９】
暗い空間等で、撮影対象に対して赤外光もしくは紫外光を照射することにより色の推定を行う場合、図１５（ｃ）に示すように、波長フィルタ１５２の領域１５２ｃは、撮影対象１１０から受光素子に至る光路中に配置される。
【０１６０】
領域１５２ｃは、全ての波長領域の光を透過させるので、撮影対象１１０で反射された光を効率良く受光素子１５１に導くことができる。
【０１６１】
また、受光素子１５１に街灯の光や車のヘッドライトの光等の可視光が入射することが望ましく無い場合、図１５（ｂ）に示すように、波長フィルタ１５２の領域１５２ｂは、撮影対象１１０から受光素子に至る光路中に配置されるようにすればよい。この場合には、望ましくない可視光が減衰されることにより、精度良く色の推定が行えるようになる。
【０１６２】
なお、本実施の形態に示す波長フィルタ１５２は、３つの領域を有しているが、領域１５２ｂを形成しない２つの領域を有する波長フィルタにする等により、透過特性または領域の数等を必要に応じて変更しても構わない。
【０１６３】
また、ここでは、図示していないが、波長フィルタ１５２の領域１５２ａ〜１５２ｃを選択的に用いるために、波長フィルタ１５２を動かす手段は、リニアモータ、圧電素子、または電磁アクチュエータ等の一般的に知られている方法が適用できる。
【０１６４】
また、波長フィルタ１５２において、領域１５２ａ〜１５２ｃを一列に配置したが、特に配置に関して限定は無い。例えば、領域１５２ａ〜１５２ｃを円周上に配置して、回転モータで波長フィルタ１５２を動かすなど、任意の配置が可能である。
【０１６５】
（実施の形態３）
図１６は、本発明に係る別の撮像演算装置１６０の構成を示す。
【０１６６】
基本的な動作及び色の推定方法は、実施の形態１に示す撮像演算装置１４０と同様である。
【０１６７】
具体的には、光源ユニット１６１は光源ユニット１４１に、光１６１ｄ、１６１ｅ、１６１ｆは、光１４１ｄ、１４１ｅ、１４１ｆに、制御部１６２は制御部１４４に、演算処理部１６７は演算処理部１４５に、出力端子１４６は出力端子１４６に、それぞれ対応する。
【０１６８】
光源ユニット１６１から出射される光１６１ｄ、１６１ｅ、１６１ｆは、撮影対象１１０に照射される。また、撮影対象１１０で反射された光１６１ｄ、１６１ｅ、１６１ｆは、集光光学系１４２で受光素子１６３、１６４、１６５に集光される。
【０１６９】
実施の形態１に示す撮像演算装置１４０では、１つの受光素子１４３を用いていたが、本実施の形態の撮像演算装置では３つの受光素子１６３、１６４、１６５を用いている。
【０１７０】
ダイクロイックプリズム１６６は、波長選択膜１６６ａ、１６６ｂを有している。
【０１７１】
波長選択膜１６６ｂは、波長λ１１を有する光１６１ｄを反射し、光１６１ｄを受光素子１６３に導く。
【０１７２】
波長選択膜１６６ａは、波長λ１３を有する光１６１ｆを反射し、光１６１ｆを受光素子１６５に導く。
【０１７３】
波長選択膜１６６ａ及び１６６ｂは、波長λ１２を有する光１６１ｅを透過し、光１６１ｅを受光素子１６４に導く。
【０１７４】
受光素子１６３は、光１６１ｄを受光して電気信号１６３ａに変換する。受光素子１６４は、光１６１ｅを受光して電気信号１６４ａに変換する。受光素子１６５は、光１６１ｆを受光して電気信号１６５ａに変換する。
【０１７５】
受光素子１６３〜１６５で変換された電気信号は、画像データ１６３ａ、１６４ａ、１６５ａとして演算処理部１６７に入力される。
【０１７６】
演算処理部１４５は、画像データ１６３ａ、１６４ａ、１６５ａを受けて色を推定する処理を行い、結果を出力端子１４６から出力する。
【０１７７】
制御部１６２は、光源ユニット１６１の発光、受光素子１６３〜１６５が受光した光を電気信号に変換するタイミング、及び演算処理部１６７の演算処理のタイミングをそれぞれ制御する。
【０１７８】
実施の形態１に示す撮像演算装置１４０では、１つの受光素子１４３を用い、図３に示すように時分割で光源ユニット１４１から波長λ１１〜λ１３の光を出射した。本実施の形態の撮像演算装置では、３つの受光素子１６３、１６４、１６５を用いているので、波長λ１１〜λ１３の光を同時に発光させても、同時に受光することができる。
【０１７９】
そのため、本実施の形態では、動きの早い撮影対象でも、正しく色を推定できる撮像演算装置を提供することができる。
【０１８０】
なお、本実施の形態に示す、ダイクロイックプリズム１６６で反射する光の波長及びダイクロイックプリズム１６６で透過する光の波長及び方向は一例であって、任意に設計することができる。
【０１８１】
（実施の形態４）
本実施の形態では、本発明に係る別の撮像演算装置の構成を説明する。
【０１８２】
本実施の形態では、図１に示す撮像演算装置１４０における受光素子１４３の代わりに、図９に示す受光素子１５１を用いることで撮像演算装置を構成する。
【０１８３】
受光素子１４３は、図１０を用いて先に説明したように、受光素子１４３に光の３原色である、赤色の光と緑色の光と青色の光とを分離して受光可能なピクセル１５１ｅ〜１５１ｈを有している。これにより、本実施の形態に係る撮像演算装置は、日中の太陽光等の可視光が撮影対象に照射されている場合に、カラーの画像を取得することができる。
【０１８４】
一方、ピクセル１５１ｅ〜１５１ｈは、夜間の赤外光も受光できるように、赤外光の波長領域でも感度を有している。このため、撮影対象から受光素子に至る光路中に赤外光の波長領域を減衰させるフィルタを設けない場合は、赤外光の波長領域の光もピクセル１５１ｅ〜１５１ｈに入射する。この結果、撮影したカラー画像は、実際と異なる色合いになる。
【０１８５】
例えば、受光素子１５１は、撮影対象が緑色を有しているときに、赤外光の波長領域の光も受光することで、あたかも撮影対象は紫色であるかのような信号を出力する。また、受光素子１５１は、全体に色のコントラストが低い、白っぽい画像であるかのような信号を出力する。
【０１８６】
本実施の形態の撮像演算装置は、日中の太陽光等の可視光が撮影対象に照射される場合でも、非可視光を照射する。そして、本実施の形態の撮像演算装置は、撮影対象で反射された非可視光を受光素子で受光し、色の推定を行う。
【０１８７】
本実施の形態の撮像演算装置は、可視光を撮影対象に照射して得た信号における紫色や白色等の実際の撮影対象が有している色とは異なっている色に関する情報を、非可視光を照射することで得た色の推定情報に基づき、補正する。
【０１８８】
本実施の形態は、このような補正により、赤外光の波長領域の光を減衰させるフィルタを設けなくても、鮮やかで、撮影対象の実際の色に忠実なカラーの画像を取得可能な撮像演算装置を提供できる。
【０１８９】
その結果、携帯電話における本実施の形態の撮像演算装置を搭載したカメラ、またはドアホンにおける本実施の形態の撮像演算装置を搭載したカメラ等は、日中等に可視光が照らされたカラー画像と夜間等に赤外光が照らされた画像との両方を取得することができる。その際の撮像演算装置は、赤外光の波長領域の光を減衰させるフィルタを設ける必要は無く、更にフィルタを切り替えることも不要なので、小型で安価となる。
【０１９０】
また、本実施の形態の撮像演算装置では、赤外光の波長領域の光が受光素子に入射しない場合でも、取得したカラー画像が、実際の色とは異なる場合がある。
【０１９１】
例えば、道路またはトンネルでは、視認性を高めるために、黄色の光を照射する照明装置が設置されている場合がある。この場合、この照明装置の照明下で撮影された白色の服を着た人物は、あたかも黄色の服を着ているかのように撮影される。
【０１９２】
このような場合には、取得した画像の色を実際の撮影対象の色に補正したいという要望もあれば、取得した画像の色はそのままにしておき、撮影対象の色は何色であるかが判る情報を出力して欲しいという要望がある。
【０１９３】
前者の場合には、先に述べたように、非可視光を照射することで得た色の推定情報に基づき、補正すればよい。一方、後者の場合には、画像信号とは別に色を示す情報を出力するか、色を示す情報を画像信号に重畳して出力すれば良い。
【０１９４】
本実施の形態の撮像演算装置では、後者の場合において、色を示す情報を出力することにより、監視カメラで撮影した画像から、特定したい人物の服装の色や車の色を的確に得ることができ、犯罪捜査等に極めて有効な情報を提供できる。
【０１９５】
（実施の形態５）
図１７は、本発明に係る別の撮像演算装置１７０の構成を示す。
【０１９６】
基本的な動作及び色の推定方法は、実施の形態３に示す撮像演算装置１６０と同様である。
【０１９７】
本実施の形態の撮像演算装置１７０は、実施の形態３に示す撮像演算装置１６０における３つの受光素子１６３〜１６５とダイクロイックプリズム１６６との代わりに、１つの受光素子１４３と、波長フィルタ１７２と、ビーム分離素子１７１とを有している。
【０１９８】
光源ユニット１６１は、光１６１ｄ、１６１ｅ、１６１ｆを撮影対象１１０に照射する。撮影対象１１０で反射された光１６１ｄ、１６１ｅ、１６１ｆは、集光光学系１４２で受光素子１４３に集光される。
【０１９９】
集光光学系１４２から受光素子１４３に至る光路中には、ビーム分離素子１７１と波長フィルタ１７２とが設けられている。集光光学系で集光された光１６１ｄ、１６１ｅ、１６１ｆは、ビーム分離素子１７１と波長フィルタ１７２とを透過する。
【０２００】
図１８は、ビーム分離素子１７１の構成を模式的に示している。
【０２０１】
ビーム分離素子１７１は、４つの領域１７２ａ、１７２ｂ、１７２ｃ、１７２ｄを有している。領域１７２ａ〜１７２ｄは、入射するビームの進行方向を少し異なる方向に変えて出射させるくさび形状をしている。
【０２０２】
図１９は、波長フィルタ１７２の構成を模式的に示している。
【０２０３】
波長フィルタ１７２は、３つの領域１７２ａ、１７２ｂ、１７２ｃを有する。
【０２０４】
更に、領域１７２ａは、４つの部分領域１７２ｅ、１７２ｆ、１７２ｇ、１７２ｈからなる。また、領域１７２ｂは、４つの部分領域１７２ｉ、１７２ｊ、１７２ｋ、１７２ｌからなる。
【０２０５】
非可視光を用いて撮影対象の有する色を推定するときは、ビーム分離素子１７１を透過した波長λ１１〜λ１３を有する光が、波長フィルタ１７２の領域１７２ａに入射するように、波長フィルタ１７２の位置を設定する。
【０２０６】
その結果、ビーム分離素子１７１の領域１７１ａを透過した光は、波長フィルタ１７２の部分領域１７２ｅに、ビーム分離素子１７１の領域１７１ｂを透過した光は、波長フィルタ１７２の部分領域１７２ｆに、ビーム分離素子１７１の領域１７１ｃを透過した光は、波長フィルタ１７２の部分領域１７２ｇに、ビーム分離素子１７１の領域１７１ｄを透過した光は、波長フィルタ１７２の部分領域１７２ｈに、それぞれ入射する。
【０２０７】
波長λ１１〜λ１３を有する光が、波長フィルタ１７２の領域１７２ａに入射したとき、部分領域１７２ｅ、１７２ｆ、１７２ｇ、１７２ｈは、それぞれ波長λ１１〜λ１３を有する光を、選択的に高い効率で透過させるもしくは大きく減衰させるという機能を有している。
【０２０８】
具体的には、部分領域１７２ｅは、波長λ１１を有する光１６１ｄを高い効率で透過させ、波長λ１２を有する光１６１ｅと波長λ１３を有する光１６１ｆとを大きく減衰させる。
【０２０９】
また、部分領域１７２ｆと領域１７２ｇとは、波長λ１２を有する光１６１ｅを高い効率で透過させ、波長λ１１を有する光１６１ｄと波長λ１３を有する光１６１ｆとを大きく減衰させる。
【０２１０】
また、部分領域１７２ｈは、波長λ１３を有する光１６１ｆを高い効率で透過させ、波長λ１１を有する光１６１ｄと波長λ１２を有する光１６１ｅとを大きく減衰させる。
【０２１１】
部分領域１７２ｅ〜１７２ｈは、薄膜を複数層積層した構成、またはナノメートル単位の粒子を分散させた構成等の広く一般的に知られている方法で形成可能であるので、その詳しい説明を省略する。
【０２１２】
波長フィルタ１７２を透過した光は、受光素子１４３に入射する。
【０２１３】
図２０は、波長フィルタ１７２を透過した光が、受光素子１４３にどのように入射するのかを説明するための模式図である。
【０２１４】
受光素子１４３は、多数のピクセル１４３ｅからなる受光領域を有する。
【０２１５】
多数のピクセルからなる受光素子１４３の中心から、直交する２本の仮想的な線（仮想線）１４３ｆ、１４３ｇを引くことで、受光領域は４つの領域１４３ｍ、１４３ｎ、１４３ｏ、１４３ｐに分けられる。
【０２１６】
波長フィルタ１７２の部分領域１７２ｅを透過した光は、受光素子１４３の領域１４３ｍに、波長フィルタ１７２の部分領域１７２ｆを透過した光は、受光素子１４３の領域１４３ｎに、波長フィルタ１７２の部分領域１７２ｇを透過した光は、受光素子１４３の領域１４３ｏに、波長フィルタ１７２の部分領域１７２ｈを透過した光は、受光素子１４３の領域１４３ｐに、それぞれ入射する。
【０２１７】
本実施の形態の撮像演算装置１７０は、１つの受光素子１４３を用いているが、ビーム分離素子１７１と波長フィルタ１７２とを用いることにより、実施の形態３に示す撮像演算装置１６０と同様に、動きの早い撮影対象でも、正しく色を推定できる。
【０２１８】
また、波長フィルタ１７２は領域１７２ｂを有している。領域１７２ｂは、４つの部分領域１７２ｉ、１７２ｊ、１７２ｋ、１７２ｌからなる。
【０２１９】
日中の太陽または夜間の街灯等の外部から可視光の波長領域の光が撮影対象１１０に照明されていて、カラーの画像を得たいときには、撮影対象１１０からの可視光の波長領域の光が、集光光学系１４２とビーム分離素子１７１とを透過した後、波長フィルタ１７２の領域１７２ｂに入射するように、波長フィルタ１７２の位置を設定する。
【０２２０】
その結果、ビーム分離素子１７１の領域１７１ａを透過した光は、波長フィルタ１７２の部分領域１７２ｉに、ビーム分離素子１７１の領域１７１ｂを透過した光は、波長フィルタ１７２の部分領域１７２ｊに、ビーム分離素子１７１の領域１７１ｃを透過した光は、波長フィルタ１７２の部分領域１７２ｋに、ビーム分離素子１７１の領域１７１ｄを透過した光は、波長フィルタ１７２の部分領域１７２ｌに、それぞれ入射する。
【０２２１】
波長フィルタ１７２の部分領域１７２ｉ〜１７２ｌは、可視光の波長、すなわち色に応じて透過率が異なる特性を有している。部分領域１７２ｉ〜１７２ｌは、カラー画像を取得する受光素子に一般的に用いられているカラーフィルタと同様の構成を有している。
【０２２２】
具体的には、部分領域１７２ｉは、赤色の波長領域の光を高い効率で透過させ、緑色の波長領域の光と青色の波長領域の光とを大きく減衰させる。
【０２２３】
また、部分領域１７２ｊと部分領域１７２ｌは、緑色の波長領域の光を高い効率で透過させ、赤色の波長領域の光と青色の波長領域の光とを大きく減衰させる。
【０２２４】
また、部分領域１７２ｋは、青色の波長領域の光を高い効率で透過させ、赤色の波長領域の光と緑色の波長領域の光とを大きく減衰させる。
【０２２５】
また、部分領域１７２ｉ〜１７２ｌは、いずれも赤外光の波長領域の光を大きく減衰させる特性を有している。
【０２２６】
波長フィルタ１７２の部分領域１７２ｉを透過した光は、受光素子１４３の領域１４３ｍに、波長フィルタ１７２の部分領域１７２ｊを透過した光は、受光素子１４３の領域１４３ｎに、波長フィルタ１７２の部分領域１７２ｋを透過した光は、受光素子１４３の領域１４３ｏに、波長フィルタ１７２の部分領域１７２ｌを透過した光は、受光素子１４３の領域１４３ｐに、それぞれ入射する。
【０２２７】
受光素子１４３の領域１４３ｍからは、撮影対象１１０の赤色に関する画像情報が得られる。受光素子１４３の領域１４３ｎと領域ｐとからは、撮影対象１１０の緑色に関する画像情報が得られる。受光素子１４３の領域１４３ｏからは、撮影対象１１０の青色に関する画像情報が得られる。
【０２２８】
演算処理部１４５は、受光素子１４３から出力される複数のピクセルに対応する信号を適切に並び替えることによりカラーの画像とし、並び替えた信号を出力端子１４６から出力する。
【０２２９】
本実施の形態の撮像演算装置１７０は、波長フィルタ１７２に領域１７２ａと１７２ｂとを持たせ、集光光学系を透過した光を領域１７２ａと１７２ｂとのどちらに入射させるかを変える。これにより、本実施の形態では、日中の太陽または夜間の街灯等の外部から可視光の波長領域の光が撮影対象１１０に照明されている際にカラーの画像を得ることと、非可視光を撮影対象に照射して、撮影対象が有する色を推定することとを、１台の撮像演算装置で行うことができるようになる。
【０２３０】
また、波長フィルタ１７２は、領域１７２ｃを有している。
【０２３１】
波長フィルタ１７２には、領域１７２ｃは透過する光の波長を制限する機能を意図的に持たせていない。このため、波長フィルタ１７２は、広い波長範囲の光を高い効率で透過させることができる。
【０２３２】
暗い空間等において、撮影対象の有する色を推定せず、かつ高い感度で撮影対象の画像を得たいときには、波長フィルタ１７２は、集光光学系１４２とビーム分離素子１７１とを透過した光が、波長フィルタ１７２の領域１７２ｃに入射するように設定される。
【０２３３】
領域１７２ｃは、広い波長範囲の光を高い効率で透過させることができるので、本実施の形態の撮像演算装置１７０は、高い感度を有する撮像演算装置となる。
【０２３４】
また、本実施の形態では、日中の太陽または夜間の街灯等の外部から可視光の波長領域の光が撮影対象１１０に照明されているときにカラーの画像を得ることと、非可視光を撮影対象に照射して、撮影対象が有する色を推定することと、暗い空間等において、撮影対象の有する色を推定せず、かつ高い感度で撮影対象の画像を得ることとを、１台の撮像演算装置１７０で行うことができるようになる。
【０２３５】
また、ビーム分離素子１７１と波長フィルタ１７２とを、集光光学系１４２の近傍に設けているので、ビーム分離素子１７１と波長フィルタ１７２を透過する光の大きさは大きい。その結果、ビーム分離素子１７１と波長フィルタ１７２との位置を設定する際の許容できる誤差量を大きくでき、本撮像演算装置を容易に構成できるようになる。
【０２３６】
なお、ここでは、波長フィルタ１７２が３つの領域１７１ａ〜１７１ｃを有している場合を示したが、必ずしも３つの領域が必要という訳では無く、任意に設計変更してもよい。
【０２３７】
例えば、複数の非可視光を同時に放射する光源ユニット１６１の代わりに、複数の非可視光を時分割で放射する光源ユニット１４１を用いた場合には、領域１７１ａは不要で、領域１７１ｂと領域１７１ｃとがあればよい。更に可視光を受光する画像が不要である場合には、波長フィルタ１７２を設けなくてもよい。
【０２３８】
また、波長フィルタ１７２の領域１７２ｃを用いる場合には、集光光学系を透過した光をビーム分離素子１７１を透過させない、すなわち、光路からはずしても構わない。
【０２３９】
その構成により、更に感度が高く、かつ歪みの少ない高品位の画像を得ることができる。
【０２４０】
また、波長フィルタ１７２を動かす手段には、波長フィルタ１５２と同様に、別段の制約は無い。領域の配置も同様である。
【０２４１】
また、図示していないが、ビーム分離素子１７１もしくは波長フィルタ１７２もしくはビーム分離素子１７１を保持する部品もしくは波長フィルタ１７２を保持する部品の一部には、位置を認識し易くするためのマークもしくは構造を設けても良い。マークもしくは構造を設けた場合には、ビーム分離素子１７１と波長フィルタ１７２との相対的な位置を正確に調整することができる。
【０２４２】
また、ビーム分離素子１７１もしく波長フィルタ１７２もしくはビーム分離素子１７１を保持する部品もしくは波長フィルタ１７２を保持する部品には、被取付部に当接させる等、接触させることで位置を定めることを可能にする構造部を設けてもよい。構造部を設けた場合には、ビーム分離素子１７１と波長フィルタ１７２との相対的な位置を認識しなくても、接触させることで所望の位置に合わせることができるようになるので、ビーム分離素子１７１と波長フィルタ１７２との相対的な位置を容易に調整できるようになる。
【０２４３】
ビーム分離素子１７１と波長フィルタ１７２との相対的な位置を精度良く調整できるようにした場合には、受光素子１４３で受光される光のクロストークが低減され、色推定を精度良く行うことができ、また、色鮮やかなカラーの画像を得ることができるようになる。
【０２４４】
また、本実施の形態の撮像演算装置においては、波長フィルタ１７２とビーム分離素子１７１とを別々に形成しているが、波長フィルタ１７２とビーム分離素子１７１とを一体に形成してもよい。
【０２４５】
（実施の形態６）
図２１は、本発明に係る別の撮像演算装置１８０の構成を示す。
【０２４６】
基本的な動作及び色の推定方法は、実施の形態５に示す撮像演算装置１７０と同様である。
【０２４７】
本実施の形態の撮像演算装置１８０は、実施の形態５に示す撮像演算装置１７０における受光素子１４３とビーム分離素子１７１との代わりに、受光素子１７４と、ビーム分離素子１７３とを有している。
【０２４８】
光源ユニット１６１は、光１６１ｄ、１６１ｅ、１６１ｆを、撮影対象１１０に照射する。撮影対象１１０で反射された光１６１ｄ、１６１ｅ、１６１ｆは、集光光学系１４２で受光素子１７４に集光される。
【０２４９】
集光光学系１４２から受光素子１７４に至る光路中に波長フィルタ１７２とビーム分離素子１７３とが設けられており、集光光学系で集光された非可視光１６１ｄ、１６１ｅ、１６１ｆは、波長フィルタ１７２とビーム分離素子１７３とを透過する。
【０２５０】
図２２は、ビーム分離素子１７３と受光素子１７４の構成を模式的に示している。
【０２５１】
ビーム分離素子１７３は、マイクロレンズ１７３ａを２次元で多数並べた、一種のフライアイレンズを有している。隣接するマイクロレンズ１７３ａの間隔は、ｐｔ１である。
【０２５２】
受光素子１７４は、受光素子１４３と同様に、多数のピクセル１７４ｅを有している。
【０２５３】
受光素子１７４は、ピクセル１７４ｅを２次元に配置することにより、２次元領域の撮像が可能となる。
【０２５４】
受光素子１７４は、更に多数のマイクロレンズ１７４ａを有している。１つのマイクロレンズは、１つのピクセルに対応するように配置されている。隣接するマイクロレンズ１７４ａの間隔は、ｐｔ２である。
【０２５５】
また、ビーム分離素子１７３が有するマイクロレンズ１７３ａの間隔ｐｔ１は、受光素子１７４が有するマイクロレンズ１７４ａの間隔ｐｔ２の２倍としている。
【０２５６】
更に、ビーム分離素子１７３が有する１つのマイクロレンズ１７３ａを透過した光は、受光素子１７４が有する４つのマイクロレンズ１７４ａに入射するようにしている。
【０２５７】
ビーム分離素子１７３は、受光素子１７４の近傍に配置されている。ビーム分離素子１７３が有するマイクロレンズ１７３ａは、波長フィルタ１７２を透過した光を受けて、受けた光を集光する。ビーム分離素子１７３が有するマイクロレンズ１７３ａで集光された光は、受光素子１７４が有するマイクロレンズ１７４ａに入射する。マイクロレンズ１７４ａは、入射した光をピクセル１７４ｅに集光する。
【０２５８】
ビーム分離素子１７３が有する１つのマイクロレンズ１７３ａを透過した光は、受光素子１７４が有する４つのマイクロレンズ１７４ａに入射する。、これにより、波長フィルタ１７２の４つの象限に位置する部分領域１７２ｅ〜１７２ｈ、もしくは１７２ｉ〜１７２ｌを透過した光は、受光素子１７４のそれぞれ異なるピクセル１７４ｅで受光される。
【０２５９】
すなわち、受光素子１７４のピクセル１７４ｅは、波長フィルタ１７２の部分領域１７２ｅ〜１７２ｈ、もしくは１７２ｉ〜１７２ｌを透過する光を、分離して受光することができる。
【０２６０】
図２３（ａ）は、受光素子１７４上のピクセルを模式的に示している。１つのマイクロレンズ１７３ａを透過した光は、受光素子１７４が有する４つのマイクロレンズ１７４ａを介した後、４つのピクセル１７４ｅに入射する。４つのピクセルの組をピクセル群１７４ｆとする。
【０２６１】
図２３（ｂ）は、ピクセル群１７４ｆの１つを拡大した様子を模式的に示している。ピクセル群１７４ｆは、４つのピクセル１７４ｅからなる。図２３（ｂ）では、本発明を理解しやすくするために、ピクセル１７４ｉ、１７４ｊ、１７４ｋ、１７４ｌにより１つのピクセル群１７４ｆを構成するものとする。
【０２６２】
波長フィルタ１７２の４つの象限に位置する部分領域１７２ｅ、もしくはピクセル１７４ｉ、もしくは領域１７２ｃの４分の１の領域を透過した光は、ピクセル１７４ｉで受光される。
【０２６３】
また、波長フィルタ１７２の４つの象限に位置する部分領域１７２ｆ、もしくはピクセル１７４ｊ、もしくは領域１７２ｃの４分の１の領域を透過した光は、ピクセル１７４ｊで受光される。
【０２６４】
また、波長フィルタ１７２の４つの象限に位置する部分領域１７２ｇ、もしくはピクセル１７４ｋ、もしくは領域１７２ｃの４分の１の領域を透過した光は、ピクセル１７４ｊで受光される。
【０２６５】
また、波長フィルタ１７２の４つの象限に位置する部分領域１７２ｈ、もしくはピクセル１７４ｌ、もしくは領域１７２ｃの４分の１の領域を透過した光は、ピクセル１７４ｌで受光される。
【０２６６】
受光素子１７４に集光された光は、受光素子１７４で受光された後、電気信号に変換される。受光素子１７４で変換された電気信号は、画像データとして演算処理部１６７に入力される。演算処理部１６７は、画像データを受けて所望の信号処理を行い、信号処理の結果を出力端子１４６から出力する。
【０２６７】
本実施の形態では、実施の形態５に示す撮像演算装置１７０と同様に、日中の太陽または夜間の街灯等の外部から可視光が撮影対象１１０に照明されている際にカラーの画像を得ることと、非可視光を撮影対象に照射して、撮影対象が有する色を推定することと、高感度でモノクロの撮影を行うこととを、１台の撮像演算装置１８０で行うことができるようになる。
【０２６８】
（実施の形態７）
図２４は、本発明に係る別の撮像演算装置を構成するビーム分離素子を示す。
【０２６９】
本実施の形態の撮像演算装置の基本的な構成、動作及び色の推定方法は、実施の形態６に示す撮像演算装置１８０と同様である。
【０２７０】
実施の形態６に示す撮像演算装置１８０における受光素子１７４と、ビーム分離素子１７３の代わりに、受光素子１７６と、ビーム分離素子１７５とを用いることにより、本実施の形態の撮像演算装置を構成することができる。
【０２７１】
受光素子１７６は、受光素子１７４と同様に多数のピクセル１７６ｅを有している。しかしながら、受光素子１７６は、受光素子１７４とは異なり、マイクロレンズを有していない。
【０２７２】
ビーム分離素子１７５は、ビーム分離素子１７３と同様に多数のマイクロレンズ１７５ａを有している。更に、ビーム分離素子１７５は、多数のマイクロレンズ１７５ｂを有している。
【０２７３】
マイクロレンズ１７５ａの機能はマイクロレンズ１７３ａと同様である。また、マイクロレンズ１７５ｂの機能は、マイクロレンズ１７４ａと同様である。
【０２７４】
本実施の形態では、実施の形態６に示す撮像演算装置１８０と同様に、日中の太陽または夜間の街灯等の外部から可視光が撮影対象１１０に照明されている際にカラーの画像を得ることと、非可視光を撮影対象に照射して、撮影対象が有する色を推定することと、高感度でモノクロの撮影を行うこととを、１台の撮像演算装置で行うことができるようになる。
【０２７５】
また、ビーム分離素子１７５が有するマイクロレンズ１７５ａとマイクロレンズ１７５ｂとは、樹脂またはガラス等の成形により、同時に形成することができる。これにより、本実施の形態によれば、生産性が向上し、より安価な撮像演算装置を提供することができる。
【０２７６】
なお、図示していないが、ビーム分離素子１７５もしくは受光素子１７６もしくはビーム分離素子１７５を保持する部品もしくは受光素子１７６を保持する部品の一部には、位置を認識し易くするためのマークもしくは構造を設けても良い。マークもしくは構造を設けた場合には、ビーム分離素子１７５と受光素子１７６との相対的な位置を正確に調整することができる。
【０２７７】
また、ビーム分離素子１７５もしくは受光素子１７６もしくはビーム分離素子１７５を保持する部品もしくは受光素子１７６を保持する部品には、被取付部に当接させる等、接触させることで位置を定めることを可能にする構造部を設けてもよい。構造部を設けた場合には、ビーム分離素子１７５と受光素子１７６との相対的な位置を認識しなくても、接触させることで所望の位置に合わせることができるようになるので、ビーム分離素子１７５と受光素子１７６との相対的な位置を容易に調整できるようになる。
【０２７８】
本実施の形態では、ビーム分離素子１７５と受光素子１７６との相対的な位置を精度良く調整できることにより、受光素子１７６で受光される光のクロストークが低減され、色推定を精度良く行うことができ、また、鮮やかなカラーの画像を得ることができるようになる。
【０２７９】
（実施の形態８）
図２５は、本発明に係る別の撮像演算装置１９０の構成を示す。
【０２８０】
撮像演算装置１９０の基本的な動作及び色の推定方法は、実施の形態１に示す撮像演算装置１４０と同様である。
【０２８１】
具体的には、光源ユニット１７７は、光源ユニット１４１に、光１７７ｄ、１７７ｅは、光１４１ｄ〜１４１ｆに、それぞれ対応する。
【０２８２】
また、撮像演算装置１９０は、撮像演算装置１９０で撮像した被写体を表示することができる表示部１７８を有している。
【０２８３】
表示部１７８には、特に制約は無く、液晶を用いた表示装置または有機ＥＬを用いた表示装置等の一般的に知られている表示装置を用いることができる。
【０２８４】
ここでは、液晶表示装置を用いている。更に、この液晶表示装置は、指などで触ると、様々な操作が可能となるタッチセンサを有している。
【０２８５】
図２６は、光源ユニット１７７の構成を示している。
【０２８６】
実施の形態１に示す光源ユニット１４１が、３種類の光源１４１ａ〜１４１ｃを有しており、λ１１＝８１０ｎｍ、λ１２＝３８０ｎｍ、λ１３＝７３０ｎｍの３つの異なる波長を有する光１４１ｄ〜１４１ｆを放出していたのに対し、本実施の形態に示す光源ユニット１７７は、２種類の光源１７７ａと１７７ｂを有しており、λ１１＝９４０ｎｍ、λ１２＝７３０ｎｍの２つの異なる波長を有する光１７７ｄと１７７ｅを放出する。
【０２８７】
光源ユニット１７７は、光１７７ｄ、１７７ｅを撮影対象１１０に照射する。撮影対象１１０で反射された光１７７ｄ、１７７ｅは、集光光学系１４２で受光素子１４３に集光される。
【０２８８】
受光素子１４３に集光された光１７７ｄ、１７７ｅは、受光素子１４３で電気信号に変換される。受光素子１４３で変換された電気信号は、演算処理部１４５に入力される。
【０２８９】
演算処理部１４５は、受光素子１４３からの電気信号を受けて色を推定する処理を行い、推定結果を出力端子１４６から出力する。更に、演算処理部１４５は、受光素子１４３からの電気信号を受けて表示に用いる信号を生成して出力する。演算処理部１４５から出力された表示に用いる信号は、表示部１７８に入力される。
【０２９０】
表示部１７８は、撮像演算装置１９０で撮像した被写体を、推定した色で着色したカラー画像を表示する。撮像演算装置１９０は、表示部１７８を設けることにより、撮像している場所で、どのような画像が得られているのかを容易に確認できるようになる。
【０２９１】
図２７は、表示部１７８で表示されるカラー画像の一例を示している。
【０２９２】
被写体１１０は、車体が赤色の車である。
【０２９３】
光源ユニットから出射する光を２種類にした場合には、光源ユニットから出射する光を３種類としたときよりも、撮像演算装置の構成は簡単になるが、色を推定する精度は低下する。例えば、赤色と白色との識別が難しくなる。
【０２９４】
そこで、本実施の形態に示す撮像演算装置１９０においては、色推定が不確実で、候補となる色が複数ある場合には、その候補を表示するようにしている。
【０２９５】
画面上の色を知りたい部分を指で触ると、表示部１７８の表面に形成されたタッチセンサが、触られた位置を検知し、位置表示マーク１７８ａが画面の触った部分に表示される。
【０２９６】
更に、候補となる色が何であるかも色の候補の表示領域１７８ｂに表示される。ここでは、赤色と白色とが候補であることを示している。
【０２９７】
候補の色は、認識し易いように、文字と色付けされた図形とを表示しているが、文字もしくは色付けされた図形のどちらか一方の表示としてもよい。ここでは、色付けされた図形を長方形としているが、正方形または円等の他の形状でも良い。また、色が認識できるのであれば、他の方法または手段を用いてもよい。
【０２９８】
確実に色を特定できなくても、いくつかの色であることまでは絞り込むことができるので、本実施の形態に示す撮像演算装置は、犯罪の捜査等において有効な情報を提供することができる。
【０２９９】
なお、ここでは、画面を触ることで、知りたい位置を入力するタッチセンサを用いた場合について示したが、入力手段に特に制約は無く、ポインティングデバイス、マウス、またはジョグダイヤル等の一般的な入力手段を用いた構成としてもよい。
【０３００】
また、別の表示方法として、候補となる色が複数ある場合には、その部分の表示を０．１秒〜１００秒の好みの間隔で順次切り替えて表示してもよい。
【０３０１】
一例として、先に述べた車体の場合には、候補となる２色である赤色と白色とを、視認し易い１秒間隔で切り替えて表示する。
【０３０２】
このような表示によって、特段の操作をすることなく、色の候補を把握することができるようになる。画面の複数箇所に色推定が不確実な部分がある場合には、特に扱いやすい撮像演算装置となる。
【０３０３】
また、更に別の表示方法として、候補となる色が複数ある場合には、１色だけを表示し、更にその部分が点滅をするようにしてもよい。
【０３０４】
点滅している部分は、候補となる色が複数あることを示す。点滅している部分の色の候補を知りたい場合には、点滅している部分を触ることで、候補となる色が表示されるようにする。
【０３０５】
このような表示によって、簡単な操作で、色の候補を把握することができるようになる。画面の複数箇所に色推定が不確実な部分がある場合には、特に扱いやすい撮像演算装置となる。
【０３０６】
また、色を推定する際に、画像認識の技術を適用してもよい。
【０３０７】
例えば、図２７において、位置表示マーク１７８ｃで示されている車のタイヤを構成するゴムは、一般に可視光の波長領域の反射率及び赤外光の波長領域の反射率が低い黒色をしている。しかし、ゴムにある種の顔料を混ぜると、可視光の波長領域の反射率は低いが赤外光の波長領域の反射率は高くなるという特性を有する場合がある。このとき、人間の目には黒色に見えるが、赤外光の波長領域の光を照射して色を推定すると反射率が高いために、白色と判定される場合がある。
【０３０８】
非可視光を照射して可視光の波長領域の色を推定する際には、このように実際の色とは異なる色に推定してしまう場合が起こり得る。
【０３０９】
このような違いを補正するために、画像認識の技術を適用する。
【０３１０】
補正は、以下のように行う。
【０３１１】
まず、位置表示マーク１７８ｃの示す画面上の対象が、タイヤのゴムであることを認識する。
【０３１２】
タイヤのゴムの色が白色である可能性は低く、一般的には黒色なので、色の候補としては、最も可能性の高い黒色と、推定により求めた白色とを表示する。
【０３１３】
白色のタイヤが全く存在しないとは断定できず、場合によっては白色のタイヤも有り得る。タイヤの色が黒色としか表示しない場合には、このような白色のタイヤが存在したときに実際の色とは異なる色として理解されてしまう場合がある。
【０３１４】
候補として、最も可能性の高い黒色と、推定により求めた白色との両方を表示することにより、実際の色とは異なる色であると認識される可能性の低い、信頼性の高い撮像演算装置となる。
【０３１５】
また、色を正しく認識することよりも、色表現の豊かさに重点が置かれる用途等の場合には、候補となる色を表示せず、推定した色もしくは画像認識により確からしい色を着色した画像としても良い。
【０３１６】
例えば、非可視光を照射して、夜間の動物を観察する画像を得る場合には、従来のモノクロの画像をカラーの画像とすることにより、非常に見応えの有る画像となる。この場合には、実際の色とは異なる色に着色される場合があっても、着色されていることに価値があるため、支障は無い。
【０３１７】
候補となる色が表示されても、煩わしいだけで歓迎されないことが多いので、候補となる色を表示しない方が良い。
【０３１８】
撮像演算装置は、候補となる色を表示するモードと表示しないモードとを設けることにより、装置を使用する者の様々な要求に対して柔軟に応えることができる。
【０３１９】
なお、以上に説明した実施の形態１〜８は一例であって、本発明の趣旨を逸脱しない範囲で様々な形態を採り得る。
【０３２０】
撮像演算装置に温度を検出する温度センサーを設けて、温度センサーからの出力値に応じて、非可視光を照射することで得られた画像から推定した色の補正を行っても良い。
【０３２１】
非可視光を放出する光源にＬＥＤまたはレーザを用いた場合には、温度に依存して放出する光の波長が変化し、推定した色と実際の色との誤差が大きくなる場合がある。
【０３２２】
温度センサーからの出力値に応じて、すなわち、推定する際に温度を考慮することで、より正確に色を推定できるようになる。
【０３２３】
また、撮像演算装置を構成する波長フィルタ等、平面を２面有する光学素子は、集光光学系と撮像素子とがなす光軸に対して、直交する角度から平面を傾けて配置しても良い。傾ける角度は、光学素子の２面で１回ずつ反射した光（以下、「ゴースト光」と記載する）が、受光素子のピクセルに入射しないように設定する。このことにより、ゴーストの無い鮮明な画像を得ることができるようになる。
【０３２４】
不要な光を反射させるタイプの波長フィルタを用いた場合には、特に顕著な効果を発揮する。
【０３２５】
また、ゴースト光を、受光素子のピクセルに入射しないように設定する場合には、ゴースト光が到達する位置に、ゴースト光を吸収する吸収体を設けても良い。この場合には、撮像演算装置の内部の想定していなかった位置でゴースト光が反射されることで迷光となって受光素子に入射することを、吸収体を設けることにより回避できるので、鮮明な画像を得ることができるようになる。
【０３２６】
また、撮像演算装置を構成する際には、１つの筐体にどの構成要素を入れるかについて、何ら制約は無い。
【０３２７】
例えば、光源ユニットは、受光素子を入れる筐体と同じ筐体に収納されても良い。この場合には、持ち運び易い小型の撮像演算装置を提供することができる。
【０３２８】
また、受光素子を入れる筐体と光源ユニットを入れる筐体とは、異なる筐体であってもよい。いくつかの異なる波長を有する光源ユニットを用意した場合には、光源ユニットが発する光の波長、照射距離、または書写範囲等に関して、ユーザの希望に細かく対応することができるようになる。
【０３２９】
また、制御部は、受光素子を入れる筐体と同じ筐体に収納されても良い。この場合には、持ち運び易い小型の撮像演算装置を提供することができる。
【０３３０】
また、受光素子を入れる筐体と制御部を入れる筐体とは、異なる筐体であってもよい。制御部をパーソナルコンピュータとソフトウェアとで構成することで、演算処理の高度化または高速化を予算に応じて柔軟に行うことができるようになる。
【０３３１】
また、撮像演算装置は、データ記憶部もしくはデータ記憶部との接続を可能にするインターフェイス部を有していてもよい。データ記憶部は、半導体メモリー、磁気ディスク、または光ディスク等の記憶媒体を用いる情報記憶装置であって、受光素子から出力される信号もしくは制御部で処理された信号を記憶する。この場合には、監視カメラ等の撮像した画像情報を後から利用することができる撮像演算装置となる。
【０３３２】
また、撮像演算装置は、表示部を有していてもよい。表示部は、撮像演算装置で撮像した被写体を表示する。表示部を設けることにより、撮像している場所で、どのような画像が得られているのかを容易に確認できるようになる。
【０３３３】
また、表示部は、受光素子を入れる筐体と同じ筐体に収納されていてもよいし、受光素子を入れる筐体とは別の筐体に収納されていても良い。勿論、表示部は、パーソナルコンピュータを構成するモニターであってもよい。
【０３３４】
また、実施の形態８で述べた様々の表示方法は、実施の形態８に示す撮像演算装置に限定されるものでは無く、本発明の全ての撮像演算装置に適用することができる。画像認識を適用することについても同様である。
【０３３５】
また、光源ユニットを構成する光源にはＬＥＤを用いたが、光源はＬＥＤに限定されるものでは無く、レーザ、レーザ若しくはＬＥＤ等で励起された蛍光体からの発光、または高圧水銀ランプ等の所望の波長の光を発する光源であれば、全て適用可能である。レーザ光は、指向性が強いため、遠い場所に位置する撮影対象を効率よく照明することができる。その結果、遠い撮影対象を少ない消費電力で撮像できる撮像演算装置を提供できるようになる。また、レーザ光の波長幅は、他の光源と比べて狭く、半導体レーザで１〜２ｎｍである。波長幅が狭い程、可視光の波長領域の色を精度良く推定できるので、光源にレーザを用いた場合には、より可視光の波長領域の色を高い精度で推定可能な撮像演算装置を提供できるようになる。
【０３３６】
また、受光素子１５１または波長フィルタ１７２のように、可視光の特定の波長領域の透過率を高くするような機能を有する場合、色は、赤色、緑色、及び青色の３原色に限定されるものでは無く、シアン、マゼンダ、またはイエロー等の他の色であってもよい。また、色は、３色に限定されるものでも無く、２色であったり、４色以上であってもよい。
【０３３７】
また、可視光の波長領域の色を推定する演算は、演算式を用いて都度演算することに限定される訳では無く、ルックアップテーブルを用いた近似演算や、補間演算の併用等、色々な処理を適用することができる。
【産業上の利用可能性】
【０３３８】
本発明に係る撮像演算装置は、非可視光が照射された被写体を撮像もしくは可視のカラー画像を得るのに好適である。
【符号の説明】
【０３３９】
１１０  撮影対象
１４０  撮像演算装置
１４１  光源ユニット
１４１ａ〜１４１ｃ  光源
１４１ｄ〜１４１ｆ  光
１４２  集光光学系（レンズ）
１４３  受光素子（撮像素子）
１４３ｅ  ピクセル
１４３ｆ、１４３ｇ  仮想線
１４３ｍ〜１４３ｐ  領域
１４４  制御部
１４５  演算処理部
１４５ａ〜１４５ｃ  フレームデータ
１４５ｅ  画像情報
１４６  出力端子
１５１  受光素子
１５１ｅ〜１５１ｈ  ピクセル
１５１ｍ〜１５１ｏ  感度特性
１５２  波長フィルタ
１５２ａ〜１５２ｃ  領域
１６０  撮像演算装置
１６１  光源ユニット
１６１ｄ、１６１ｅ、１６１ｆ  光
１６２  制御部
１６３〜１６５  受光素子（撮像素子）
１６３ａ、１６４ａ、１６５ａ  電気信号
１６６  ダイクロイックプリズム
１６６ａ、１６６ｂ  波長選択膜
１６７  演算処理部
１７０  撮像演算装置
１７１  ビーム分離素子
１７１ａ〜１７１ｄ  領域
１７２  波長フィルタ
１７２ａ〜１７２ｃ  領域
１７２ｅ〜１７２ｌ  部分領域
１７３  ビーム分離素子
１７３ａ、１７４ａ  マイクロレンズ
１７４  受光素子
１７４ｅ  ピクセル
１７４ｆ  ピクセル群
１７４ｉ〜１７４ｌ  ピクセル
１７５  ビーム分離素子
１７５ａ、１７５ｂ  マイクロレンズ
１７６  受光素子
１７６ｅ  ピクセル
１７７  光源ユニット
１７７ａ〜１７７ｂ  光源
１７７ｄ、１７７ｅ  光
１７８  表示部
１７８ａ、１７８ｃ  位置表示マーク
１７８ｂ  色の候補の表示領域
１８０  撮像演算装置
１９０  撮像演算装置
Ｃ１〜Ｃ３  演算係数（初期推奨値）
ＩＤ  識別情報
ＩＭＧ１〜ＩＭＧ３  画像データ
ｎ  画像データの種類数
ｎｔｈ  画像データの識別子
Ｐ１〜Ｐ３  出力強度
ＰＳ  位置情報
ｐｔ１、ｐｔ２  間隔
ＳＹＣ  同期信号
Ｔ  周期
ＴＳ  時刻情報
λ１１〜λ１３  波長
【図１】
2014204151.tif 000003
【図２】
2014204151.tif 000004
【図３】
2014204151.tif 000005
【図４】
2014204151.tif 000006
【図５】
2014204151.tif 000007
【図６】
2014204151.tif 000008
【図９】
2014204151.tif 000009
【図１０】
2014204151.tif 000010
【図１１】
2014204151.tif 000011
【図１２】
2014204151.tif 000012
【図１３】
2014204151.tif 000013
【図１４】
2014204151.tif 000014
【図１５】
2014204151.tif 000015
【図１６】
2014204151.tif 000016
【図１７】
2014204151.tif 000017
【図１８】
2014204151.tif 000018
【図１９】
2014204151.tif 000019
【図２０】
2014204151.tif 000020
【図２１】
2014204151.tif 000021
【図２２】
2014204151.tif 000022
【図２３】
2014204151.tif 000023
【図２４】
2014204151.tif 000024
【図２５】
2014204151.tif 000025
【図２６】
2014204151.tif 000026
【図２７】
2014204151.tif 000027
【図７】
2014204151.tif 000028
【図８】
2014204151.tif 000029