(57)【特許請求の範囲】
【請求項１】
物体を単板式のカラー映像が記録可能な撮像手段に形成する撮影系と、
該撮像手段からの出力信号を処理する映像処理手段と、
該映像処理手段からの信号よりカラー映像を再生するカラー映像再生手段と、
該映像処理手段からの出力信号より、該物体の所定領域の温度情報を求める温度計測手段と、
該カラー映像再生手段からのカラー映像と、該温度計測手段からの温度情報を表示する表示手段と、
を有する撮像システムにおいて、
該カラー映像再生手段は該映像処理手段からの出力信号を補間してカラー映像を得るインターポーレーションを有しており、
該温度計測手段は該映像処理手段からの信号のうちから複数の画素を含むエリアを抽出する際、該エリアが可能となるように抽出するエリア抽出手段と、
抽出したエリア内において、同一色のカラーフィルターが結合されている画素群と、他の色光のカラーフィルターが結合されている画素群からの出力の比を求め、その値より、２色温度法を利用して該エリア内の温度を求める比温度計測手段と、
を有することを特徴とする撮像システム。
【請求項２】
前記表示手段はカラー映像の上に前記温度情報を表示していることを特徴とする請求項１の撮像システム。
【請求項３】
前記表示手段は前記温度計測手段からの信号に基づいた擬似カラー映像を表示していることを特徴とする請求項１又は２の撮像システム。
【請求項４】
前記撮影系は高速度撮影が可能な高速度撮影手段を有していることを特徴とする請求項１の撮像システム。
【請求項５】
前記表示手段はカラー映像と温度情報に基づく擬似カラー映像の双方を並べて表示していることを特徴とする請求項１，２，３又は４の撮像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像システムに関し、特にビデオ撮影と物体の温度を計測し、それを表示する機能とを備えた、高速度カメラや高速度動態解析装置、そして物体の温度分布解析装置等に好適なものである。
【０００２】
【従来の技術】
従来より、物体を撮影系により撮像手段面上に形成し、撮像手段からの出力信号を処理して表示手段にカラー映像（カラー画像）を表示する撮像システムが種々と提案されている。
【０００３】
カラー映像は、人間の目が、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色で、色を感じていることに合わせて、映像をＲ，Ｇ，Ｂの３原色信号が得られるように撮影し、３原色で再生している。
【０００４】
映像より３原色信号を得る撮影方法には、３板式カラーカメラのように、Ｒ，Ｇ，Ｂ、３色の専用の撮像手段を３枚用いる方法と、単板式カラーカメラのように１つの撮像手段を用い、その各画素の光入射側にＲ，Ｇ，Ｂのモザイク状のカラーフィルターを装着して各画素よりＲ，Ｇ，Ｂの信号を算出する方法の２種類がある。
【０００５】
単板式カメラは比較的簡単に高解像度のカラー映像が得られることから、ビデオカメラやスティルカメラに幅広く用いられている。
【０００６】
単板式カラーカメラで用いるＣＣＤ撮像デバイス（撮像手段）は複数の画素を２次元配列し、画素の１つ１つに対応してＲ，Ｇ，Ｂのモザイクカラーフィルターを対向配置している。
【０００７】
各画素はＲ，Ｇ，Ｂの色光のいずれか１つのカラーフィルターを通過した光を受光し、各色光に基づいたカラー信号を出力している。各画素からの出力は、Ｒ，Ｇ又はＢの信号であり、この信号をモジュレータ回路により補間計算して、各画素ともＲ，Ｇ，Ｂの信号を保有するようにしている。
【０００８】
一方、従来撮影系で得られた映像（物体）の温度分布を計測し、表示する装置として赤外線カメラが医療分野や工業分野で種々と用いられている。赤外線カメラでは赤外領域の放射を画像センサー（赤外センサー）で受光し、その強さの分布を濃淡で画像として表現したり、それを色に展開して擬似カラーとして表現したりしている。
【０００９】
【発明が解決しようとする課題】
物体の温度計測手段として、赤外線カメラを使用すれば、被写界（物体）の各部の温度分布を知ることができるが、赤外線カメラが「放射温度」を測定するものであるため、真温度を知ることが困難であるうえ、同時にカラー映像を得ることができない。
【００１０】
よく知られているように物体の放射温度から真温度を知るためには、放射率や測定物体までの透過率等による補正が必要になる。しかしながら放射率は物体により、又測定波長により、その他物体の置かれた環境により種々と異なる値を示すため、それを正確に知ることが極めて困難である。
【００１１】
これに対して、被測定物体の二つの波長（波長域）における放射を計測し、両者の比を算出して、同じ値を示す黒体の温度をその物体の温度とする比温度（Ratio Temperature、２色温度）計測は、両波長における放射率が同値である限り物体の温度を正確に計測することができる。この放射率が同値であるという条件が成り立つ限り比温度計測方法は放射率による補正の必要も、又透過率による補正の必要もない。
【００１２】
比温度計測方法を用いて物体の温度を計測するとき、３画像センサー式のカメラ（３板式カラーカメラ）では、３つのセンサー（撮像手段）の感度等の特性が、環境温度や経年変化によって変動する可能性があり、これを比温度測定に応用すると誤差の原因となる。
【００１３】
これに対して、単画像センサー（単板式カラーカメラ）では環境温度の変化があっても、比温度測定の原理から誤差は発生しない。
【００１４】
本発明は、単板式カメラの特長を利用し、物体の撮影とともに、単板の撮像手段で得られる情報より物体の比温度（温度）の測定を高精度に行い、例えば表示手段に物体の映像（カラー映像）とともに温度情報を表示するようにし、これにより物体の温度分布を正確に表示することができる機能を有した撮像システムの提供を目的とする。
【００１５】
請求項１の発明の撮像システムは、
物体を単板式のカラー映像が記録可能な撮像手段に形成する撮影系と、
該撮像手段からの出力信号を処理する映像処理手段と、
該映像処理手段からの信号よりカラー映像を再生するカラー映像再生手段と、
該映像処理手段からの出力信号より、該物体の所定領域の温度情報を求める温度計測手段と、
該カラー映像再生手段からのカラー映像と、該温度計測手段からの温度情報を表示する表示手段と、
を有する撮像システムにおいて、
該カラー映像再生手段は該映像処理手段からの出力信号を補間してカラー映像を得るインターポーレーションを有しており、
該温度計測手段は該映像処理手段からの信号のうちから複数の画素を含むエリアを抽出する際、該エリアが可能となるように抽出するエリア抽出手段と、
抽出したエリア内において、同一色のカラーフィルターが結合されている画素群と、他の色光のカラーフィルターが結合されている画素群からの出力の比を求め、その値より、２色温度法を利用して該エリア内の温度を求める比温度計測手段と、
を有することを特徴としている。
【００１６】
請求項２の発明は請求項１の発明において、前記表示手段はカラー映像の上に前記温度情報を表示していることを特徴としている。
【００１７】
請求項３の発明は請求項１又は２の発明において、前記表示手段は前記温度計測手段からの信号に基づいた擬似カラー映像を表示していることを特徴としている。
【００１８】
請求項４の発明は請求項１の発明において、前記撮影系は高速度撮影が可能な高速度撮影手段を有していることを特徴としている。
【００１９】
請求項５の発明は請求項１、２、３又は４の発明において、前記表示手段はカラー映像と温度情報に基づく擬似カラー映像の双方を並べて表示していることを特徴としている。
【００２３】
【発明の実施の形態】
本実施形態の撮像システムは、物体の映像を単板の撮像手段（２次元画像センサー）を用いて得る撮影系と、物体の所定領域の温度（レシオ温度，Ratio Temperature、比温度，２色温度）を計測し、表示手段に映像とともに表示する温度計測手段（レシオ温度計測手段）とを有している。
【００２４】
又、１つの画像情報より温度計測と動態画像計測の双方ができるようにしている。撮影系としては通常のビデオカメラの他に高速度ビデオカメラや高速カメラ等を用いている。
【００２５】
カラー映像（カラー画像）は単板式のＣＣＤ等の撮像デバイスからの原出力をインターポーレーションで色補間したランタより再生している。
【００２６】
温度計測手段は後述するように物体の放射率や、物体と温度計測手段との間の透過率が種々と変化しても、物体の温度を高精度に計測できる比温度計測を利用している。
【００２７】
本実施形態ではこの手法を用いて物体の温度情報を単板のＣＣＤ等の撮像デバイスからの原出力より比温度計測データを抽出して求め、これより２次元の面（所定の大きさをもった領域）の温度分布を高精度に求めている。
【００２８】
通常のビデオシステムでは、複数の画素を使用し、画像の色を補間処理して人間の見た目に美しく見えるように、カラーバランスやエッジエンファンス等を行っている。このため、温度計測にこれらの出力信号を用いると、温度計測の誤差となる。
【００２９】
そこで本実施形態では後述するように撮像手段からの出力信号を適切に処理し、誤差の要因を排除し、物体の温度を高精度に求めている。
【００３０】
次に本発明の撮像システムの実施形態を各図とともに説明する。
【００３１】
図１（Ａ）は本発明の撮像システムの要部ブロック図である。１は対物レンズ（撮影系）であり、単一焦点距離レンズ又はズームレンズから成り、外界の画像情報を撮像手段１３に結像している。撮像手段１３は複数の画素を２次元的に配列したＣＣＤ等の単板式センサー（単画像センサー）３と各画素に対向配置したモザイクフィルター（モザイクカラーフィルター）２を有している。
【００３２】
モザイクフィルター２は、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）色の縮小フィルターを画素の１つ１つに対応して配置（貼り付けて）した構成より成っている。これによりセンサー３の各画素はＲ，Ｇ，Ｂのいずれかのカラーフィルターを通した光を受光する。これにより各画素からＲ，Ｇ又はＢのカラー信号を得ている。
【００３３】
対物レンズ１と撮像手段１３は撮影系１４の一要素を構成している。
【００３４】
センサー３からの出力信号はアナログ処理回路４で増幅等のアナログ処理を行った後にＡＤ変換回路５でＡＤ変換されて、デジタル処理回路６に入力される。
【００３５】
デジタル処理回路６では各種のデジタル処理が行われ、半導体メモリ又はハードディスク７にデジタルの形で記憶している。
【００３６】
本実施形態においてデジタル処理回路は専用回路で構成しているが、例えば汎用パソコンで処理し、そのメインメモリやハードディスクに記憶するようにしても良い。
【００３７】
各回路４，５，６は映像処理回路１５の一要素を構成している。
【００３８】
図１（Ｂ）はデジタル処理回路６でデジタル記憶された画像情報（映像）を再生するときのデジタル処理のブロックを示している。
【００３９】
図１（Ｂ）の上段はカラー映像再生手段１６におけるカラー映像処理の課程を示している。下段は温度計測手段１７における画像情報に対する温度を計測するための比温度計算ブロック図を示している。
【００４０】
データ再生回路７からのデジタル信号（モザイク状のセンサー映像）をインターポーレーション８で補間処理し、各画素がＲ，Ｇ，Ｂの信号を持つカラー映像信号に変換し、映像信号処理９に入力している。
【００４１】
一般に単板式では、ある画素にはＲ，Ｇ又はＢのいずれか一色の信号しかない。例えばＲのフィルターが結合された画素にはＲの信号はあるが、Ｇの信号とＢの信号は欠落している。
【００４２】
これを補正するために、周囲のＧフィルター付き画素からの信号と、Ｂフィルター付き画素の信号から、該当Ｒ画素にあるべきＧ信号とＢ信号を補間計算で擬似的に算出している。
【００４３】
映像信号処理９ではカラー映像信号を表示手段１０に表示の要求に合わせて、コンピュータ表示のＶＧＡ映像信号に、又はテレビ信号のＮＴＳＣ／ＰＡＬの形で出力し、映像を表示している。
【００４４】
一方、エリア抽出手段１１では後述する図２に示すようなデータ再生回路７から出力されてくるセンサー受光映像２１のうち、どの領域の温度計測を行うかのエリア抽出を行う。このエリア２１ａの位置と大きさは任意に変化できるようになっている。
【００４５】
図２において、２１ａは抽出エリアを示している。尚、図２のモザイクフィルターのＲ，Ｇ，Ｂの配列は１例であって、この他にも種々の組み合わせが可能である。
【００４６】
エリア抽出は図１（Ｂ）の上段ブロックの処理を介して表示手段１０に表示した映像情報を観察しながら、マウス等で指示することで行っている。
【００４７】
抽出エリアとしては９画素を選択した場合を示しているが、画素の数はこれに限定されず、３以上であればいくつであっても良い。
【００４８】
図３（Ａ），（Ｂ），（Ｃ）はエリア抽出手段１１で抽出されたエリア内のＲ，Ｇ，Ｂ画素であり、Ｒ，Ｇ，Ｂ毎に分別して出力している。
【００４９】
エリア抽出手段１１で指定されたエリア内のＲ，Ｇ，Ｂの各画素から出力される信号は、そのエリア２１ａの画素の数で校正された後、後述する温度計測方法を用いた比温度計測手段１２でＢ／Ｒ，Ｇ／Ｒ又はＢ／Ｇの値を算出し、ＮＩＴ標準で校正されたルックアップテーブルに参照され、温度値として、表示手段１０に入力し、そこで映像とともに表示するようにしている。
【００５０】
尚、後述する比温度計測における２つの波長Ｌ１，Ｌ２はカラーフィルターＲ，Ｇ，Ｂのどのフィルターを通過する光束を用いても良い。
【００５１】
以上のように本実施形態では単板式撮像デバイスを用いてＲ，Ｇ，Ｂの各画素からの出力信号を補間する前の原出力から比温度を計測している。そして、カラー映像は原出力を補間して得ている。
【００５２】
尚、本実施形態の撮像システムでは、センサー３で映像を撮影するとき、映画のときは２４映像／秒で繰り返し、又テレビ／ビデオのときは３０映像／秒で繰り返し記録している。そして記録したときの撮影速度と同じ速度で映写している。
【００５３】
この他、スポーツの映像として多用されているスローモーション映像のときには撮影を例えば１２０映像／秒で実行し、これを通常再生速度の３０映像／秒で再生するようにしている。
【００５４】
又、特殊な撮影として高速度カメラとして使用するときには、２５０映像／秒から４００００映像／秒の範囲で撮影し、得られた映像情報より、例えば物体の変位や加速度を定量分析している。
【００５５】
尚、高速度カメラとして使用するときは、例えば特開平８−２５１４９２号公報や特開平１１−４６３２３号公報、そして特開平１１−７５１１７号公報等で開示されているもの等が適用できる。
【００５６】
本実施形態の撮像システムを、例えばパーソナルコンピュータと共に使用すれば、簡易な構成で比較的精度の高い温度測定が可能なシステムを構築することができる。
【００５７】
また高速度撮影装置と組み合わせれば、高速で動作する高温物体の高精度な動態／温度解析が可能なシステムを構築することができる。
【００５８】
図４は本発明の撮像システムの他の実施形態の要部概略図である。図中、４１はカメラユニット（撮影系）であり、物体を撮像する撮影レンズ（ズームレンズ）４２と物体の像を電気信号に変換する単板式のＣＣＤ等のカラー撮像デバイス４３を有している。
【００５９】
４４はＣＣＵ／ＰＣＩボードであり、処理回路４５によりカメラユニット４１からの映像信号の各種処理をして画像データとしてフレームメモリ４６に記録している。４７はパソコンである。
【００６０】
ＰＣＩボード４４からのデータを、ＰＣＩバスを通してパソコン４７のＣＰＵ４８で処理し、メインメモリ４９又はハードディスク５０に取り込んでいる。そしてＣＰＵソフトウェア５１で物体の動態解析や物体の比温度の演算を行い、物体の温度分布を求め、表示手段５２に表示している。
【００６１】
次に本実施形態において、撮像系で撮影しようとする物体の温度を温度計測手段で計測する所謂、比温度の計測原理について説明する。
【００６２】
一般に物体からの電磁放射は物体の温度が高くなるに従って、
（ａ）放射量が増大する（可視光域では輝度が高くなる。）
（ｂ）最大の放射が成される波長が短くなる（可視光域では赤色から青白い色になる。）。
【００６３】
黒体について各温度での分光放射特性を図示すると図５の様になる。この図５の放射の曲線は、温度に対して１：１で対応している。つまり温度によって曲線が全て異なる。これにより、ある温度の黒体の放射に関してこの曲線、即ち分光分布特性がどれであるかを計測すれば、黒体の温度を知ることができる。
【００６４】
レシオ温度（２色温度）はこの曲線を特定する方法として、二つの波長における放射を測定し、その比を算出する。この値は各黒体温度に対して、固有で一つの数値しかないので、これより温度を知ることができる。二つの波長の輝度を比較するところから、二色温度と呼ばれている。
【００６５】
一般の物体は黒体ではないので、その物体が黒体と同じ温度である時の放射量は、黒体のそれより小さくなる。その両者の放射量の比を放射率εといい、εは常に１以下となる。
【００６６】
放射量から物体の温度計測を行う場合、放射率を知ることが非常に重要となるが、放射率はその物体の物質表面の形状等によって異なる他、温度によって、波長によっても異なる。従って輝度温度計や全放射温度計（赤外温度計等）で正確な温度測定を行うことが極めて困難である。
【００６７】
これに対してレシオ温度計では、測定する物質の二波長の放射率が同じとなるような波長帯域を選ぶことにより、放射率が自動的にキャンセルするようにして、その影響を受けないようにしている。
【００６８】
次にその理由を図６を用いて説明する。
【００６９】
レシオ温度計では一般物体および黒体の分光放射のうち、波長Ｌ１と波長Ｌ２の輝度に着目する。
【００７０】
一般物体の放射分布のうち波長Ｌ１と波長Ｌ２を接近して選ぶと、両者の放射率εはほぼ同じになると考えられる。その関係が成立する限り、以下の関係が成立する。
【００７１】
図６に示すように一般物体の波長Ｌ１，波長Ｌ２での輝度を各々Ｒ１，Ｒ２、黒体の波長Ｌ１と波長Ｌ２での輝度を各々Ｒｂｂ１，Ｒｂｂ２としたとき
Ｒ１＝ε×Ｒｂｂ１
Ｒ２＝ε×Ｒｂｂ２
【００７２】
【数１】
0004378003.tif 000002
【００７３】
となる。
【００７４】
つまり一般物体において、両波長Ｌ１，Ｌ２での放射率εが等しいという前提が成り立つ限り、その輝度の比は、黒体における両波長の輝度の比に等しいという関係が成立する。
【００７５】
また物体と測定システムの間にガラスや煙、水等が存在してその透過率が等しくτとした場合は、検出手段で得られる値は、波長Ｌ１，波長Ｌ２で同じように透過率τの影響を受けるので、
Ｒ１＝τ×ε×Ｒｂｂ１
Ｒ２＝τ×ε×Ｒｂｂ２
としたとき、
【００７６】
【数２】
0004378003.tif 000003
【００７７】
となり、透過率の影響を受けない。
【００７８】
実際の測定においては、測定対象の輝度の比Ｒ２／Ｒ１を求め、予め測定しておいた黒体の輝度の比と比較し、値が等しくなるところの黒体の温度が一般物体の温度になる。
【００７９】
これにより、Ratio Temperature（レシオ温度計）は物体の放射率εを知る必要がなく、また測定体と測定器の間にガラスや煙等、両波長で透過率の等しい物質が介在しても、正確な温度測定が可能となる。
【００８０】
次に本発明に係るRatio Temperatureの数式的な説明をする。
【００８１】
比温度（Ratio Temperature）は二つの波長における輝度温度を計測し、両者の比率をとることで、温度を求める。
【００８２】
輝度温度はPlanckの公式により求められる。
【００８３】
【数３】
0004378003.tif 000004
【００８４】
ここで  ｃ1 ：第一放射定数＝２πｃ2ｈ＝3.74041×１０-16［Ｗｍ2］
λ：波長μｍ
ｃ2 ：第二放射定数＝ｃｈ／ｋ＝1.4368×１０-2［ｍＫ］
Ｔ：絶対温度（Kelvin）
Ｃ：真空中の光の速度
ｈ：プランクの定数
ｋ：ボルツマンの定数
物体の放射率をε、物体から測定システムまでの透過率をτとした場合は、
【００８５】
【数４】
0004378003.tif 000005
【００８６】
となる。
【００８７】
計測する二波長は可視域の場合０．４μｍ〜０．７μｍ内の二波長を使用する。ウィーンの近似式を適用すると式（４）は（５）のようになる。
【００８８】
【数５】
0004378003.tif 000006
【００８９】
いま、波長λ0を中心とした幅Δλの狭い波長域での放射エネルギーをＭ0とすると，
【００９０】
【数６】
0004378003.tif 000007
【００９１】
一般物体からの放射エネルギーＭ0は（６）式から
【００９２】
【数７】
0004378003.tif 000008
【００９３】
ここでβ0：比例係数
ε0：波長λ0での放射率
τ0：波長λ0での測定点から物体までの空間透過率
波長λ1およびλ2における放射エネルギーをＭ1，Ｍ2とすると２波長比（Ｒ）は、
【００９４】
【数８】
0004378003.tif 000009
【００９５】
となる。
【００９６】
ここでΔλが充分小さい単色光λ1，λ2であれば、β1，β2はほぼ等しくβ1／β2＝１となる。
【００９７】
また物体から測定システムまでに介在するものの透過率が波長に対してあまり変動しない時はτ1／τ2＝１となる。この条件を（９）式に適応すると、
【００９８】
【数９】
0004378003.tif 000010
【００９９】
ここで定数Ｃ３、Ｃ４は
【０１００】
【数１０】
0004378003.tif 000011
【０１０１】
となる。
【０１０２】
（１０）式から理解できるように、２波長の放射量の比は、温度の逆数に比例する。
【０１０３】
また物体の放射率に無関係であり、レンズやガラス、ガス等物体と測定システムとの間に介在するもの透過率にも影響されることがない。
【０１０４】
【発明の効果】
本発明によれば以上のように、単板式カメラの特長を利用し、物体の撮影とともに、単板の撮像手段で得られる情報より物体の比温度（温度）の測定を高精度に行い、例えば表示手段に物体の映像（カラー映像）とともに温度情報を表示するようにし、これにより物体の温度分布を正確に表示することができる機能を有した撮像システムを達成することができる。
【図面の簡単な説明】
【図１】本発明の実施形態の要部ブロック図
【図２】本発明に係る撮像手段の説明図
【図３】本発明に係る撮像手段でのエリア抽出手段で抽出された画素の説明図
【図４】本発明の他の実施形態の要部ブロック図
【図５】黒体放射の分光特性の説明図
【図６】比温度計測の説明図
【符号の説明】
１    対物レンズ
２    モザイクフィルター
３    撮像手段
４    アナログ処理回路
５    ＡＤ変換回路
６    デジタル処理回路
７    データ再生回路
８    モジュレータ処理（補間処理），（インターポーレーション）
９    映像信号処理
１０  表示手段
１１  エリア抽出手段
１２  比温度計測手段
１３  撮像手段
１４  撮像系
１５  映像処理手段
１６  カラー映像再生手段
１７  温度計測手段
４１  カメラユニット
４４  ＣＣＵ／ＰＣＩボード
４７  パソコン
【図１】
0004378003.tif 000012
【図２】
0004378003.tif 000013
【図３】
0004378003.tif 000014
【図４】
0004378003.tif 000015
【図５】
0004378003.tif 000016
【図６】
0004378003.tif 000017