(57)【要約】【課題】コンピュータ上で深さ方向の温度分布を対象物体を回転しながら確認することができる温度画像の三次元化装置を提供する。【解決手段】既知の座標を有する複数の豆電球２２を基準点とする基準物２１と、対象物１及び基準物２１からの発熱に基づいて対象物１の三次元情報を取得する三次元情報取得手段２７と、実座標と温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段３１と、実座標から温度画像情報の温度画像座標への変換式を決定する変換式決定手段３２と、決定された変換式に基づいて対象物１の三次元情報に係る全ての実座標を温度画像座標に変換する座標変換手段３３と、変換された三次元情報の温度画像座標に基づいて三次元情報の温度情報を抽出する温度情報抽出手段３４と、温度画像情報中の特定の温度画像座標と三次元情報中の特定の実座標とを対応付ける座標対応付手段３５と、を備えて構成されている。【選択図】図３
2010281811.tif 000002
【特許請求の範囲】
【請求項１】
物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、
既知の座標を有する複数の発熱源を基準点として生成する基準点生成手段と、前記物体及び前記基準点生成手段からの発熱に基づいて温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記各基準点に係る実座標と前記温度画像情報取得手段により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段と、前記座標キャリブレーション手段によりキャリブレーションされた前記各基準点の実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて前記物体の三次元情報に係る全ての実座標を前記温度画像座標に変換する座標変換手段と、該座標変換手段により変換された前記三次元情報の温度画像座標に基づいて該三次元情報の温度情報を抽出する温度情報抽出手段と、を備え、
前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記物体の三次元情報に係る全ての実座標と前記温度情報抽出手段により抽出された温度情報に基づいて前記物体の温度画像を三次元化することを特徴とする三次元化装置。
【請求項２】
前記基準点生成手段は、前記発熱源を少なくとも三次元位置に夫々配置するように構成されていることを特徴とする請求項１に記載の三次元化装置。
【請求項３】
物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、
前記物体から発熱する温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記温度画像情報取得手段により得られた温度画像情報中の特定の温度画像座標と前記三次元情報取得手段により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段と、前記座標対応付手段により対応付けられた前記実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて全ての前記実座標を前記温度画像座標に変換する座標変換手段と、を備え、
前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記座標変換手段により変換された前記温度画像座標に基づいて前記三次元情報に前記温度画像情報から得られた温度情報を当てはめて前記物体の温度画像を三次元化することを特徴とする三次元化装置。
【請求項４】
前記温度画像情報取得手段は、前記物体からの発熱に基づいて得られる温度画像情報を複数に分割して取得し、前記座標キャリブレーション手段により、前記取得した複数の温度画像情報に基づいてキャリブレーションパラメータを算出して前記複数の温度画像情報を繋ぎ合わせて前記物体から発熱する温度画像情報とすることを特徴とする請求項１、２又は３に記載の三次元化装置。
【請求項５】
前記三次元情報取得手段は、所定のエリアに磁界ベクトルを形成するトランスミッタと、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、該三次元化装置の三次元位置と姿勢を検出する三次元磁気センサと、を備えて構成されていることを特徴とする請求項１又は２に記載の三次元化装置。
【請求項６】
前記三次元情報取得手段は、前記物体に光を照射する投光手段と、前記投光手段により投光された光を前記物体に所定間隔で照射する光照射手段と、該光照射手段により前記物体表面に照射された光を撮像する撮像手段と、を備えて構成されていることを特徴とする請求項１又は２に記載の温度画像の三次元化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、温度画像の三次元化装置に関し、さらに詳しくは、サーモグラフィで撮影された物体の二次元温度画像を立体的な三次元画像に変換する温度画像の三次元化装置に関するものである。
【背景技術】
【０００２】
赤外線は、温度をもつ物体すべてからその温度に応じた波長を放射するという性質をもっている。その温度に応じた波長分布を色画像として表し分析する装置をサーモグラフィと言う。サーモグラフィは、一度に広い面積を捉えることができるので温度の相対比較を簡単に分析できる。また、人体の体温変化の実験や機器の温度上昇異変などを一度に計測及び分析することが可能であり、対象物から離れて温度測定ができるので、動いている物体や、危険であるために近づけないものであっても離間した位置から簡単に温度計測及び分析することが可能である。また、非接触による計測であるため、食品、薬品、化学製品などでも衛生的に温度計測及び分析ができる。さらに、温度変化の激しい物体や微小な物体でも温度を乱すことなく温度計測及び分析することが可能である。しかし、サーモグラフィで撮影された画像は、一般的に温度情報をもった二次元の画像であるため、深さ方向の温度分布をコンピュータ上で物体を回転しながら確認することができないといった課題がある。
また、特許文献１には、三次元のサーモグラフィ画像を得るために、物体の立体画像を求めておき、物体の周りに沿って移動しながらサーモグラフィを測定し、得られた複数のサーモグラフィ画像を立体画像の対応部分に貼り付けるサーモグラフィ画像の処理方法について開示されている。
また、特許文献２には、テレビカメラとレーザ投光器に三次元位置と方向を検出できる三次元磁気センサを取り付け、テレビカメラとレーザ投光器をそれぞれ独立して動作させながら被測定対象物全体を計測することにより、死角を減少させると共に、流体の流動現象を計測することが可能な三次元計測装置について開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１８２０３３公報
【特許文献２】特開２００５−９８９７８公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示されている従来技術は、立体画像とサーモグラフィ画像を別々に取得して、後で画像を合成するため、作業に手間がかかるばかりでなく、合成する精度が必ずしも良いとは言えない。また，拡大や縮小など２次元的な画像処理により合成を試みるため、対象の姿勢や遠近の違いにより合成する画像間で対象が相似形で無い場合、精度が悪くなる。
また、特許文献２に開示されている従来技術は、物体の三次元計測は可能であるが、三次元画像の温度画像を計測することはできない。
本発明は、かかる課題に鑑みてなされたものであり、対象物体の三次元形状計測とサーモグラフィによる撮影を同時に行い、対象物体の三次元情報に係る全ての実座標と温度情報に基づいて対象物体の温度画像を三次元化することにより、コンピュータ上で深さ方向の温度分布を対象物体を回転しながら確認することができる温度画像の三次元化装置を提供することを目的とする。
また、他の目的は、低解像度のサーモグラフィにより対象物体を分割して撮影し、分割画像を繋ぎ合わせることにより、高解像度化することである。
【課題を解決するための手段】
【０００５】
本発明はかかる課題を解決するために請求項１は、物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、既知の座標を有する複数の発熱源を基準点として生成する基準点生成手段と、前記物体及び前記基準点生成手段からの発熱に基づいて温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記各基準点に係る実座標と前記温度画像情報取得手段により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段と、前記座標キャリブレーション手段によりキャリブレーションされた前記各基準点の実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて前記物体の三次元情報に係る全ての実座標を前記温度画像座標に変換する座標変換手段と、該座標変換手段により変換された前記三次元情報の温度画像座標に基づいて該三次元情報の温度情報を抽出する温度情報抽出手段と、を備え、前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記物体の三次元情報に係る全ての実座標と前記温度情報抽出手段により抽出された温度情報に基づいて前記物体の温度画像を三次元化することを特徴とする。
本発明の温度画像の三次元化装置は、対象物体の基準点を定めるために、既知の座標を有する複数の発熱源（例えばランプ等）を基準点を生成する基準点生成手段を備える。そして対象とする物体と基準点の表面の温度画像情報（温度情報と座標を有する情報）を同時に取得して、更に物体の三次元情報を取得する。また、基準点の実座標と熱画像座標とのキャリブレーションを行なうことにより、実座標から熱画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された熱画像座標に基づいて温度情報を抽出して三次元情報にその温度画像を貼り付けて三次元化する。これにより、固定された基準点の位置情報に基づいて正確に温度画像を三次元化することができる。一度キャリブレーションを行うと、三次元化装置の配置を変えなければ、基準点を再度撮影する必要はない。
【０００６】
請求項２は、前記基準点生成手段は、前記発熱源を少なくとも三次元位置に夫々配置するように構成されていることを特徴とする。
温度画像情報取得手段は、例えば、サーモグラフィ等により構成される。サーモグラフィは物体の表面から放射される赤外線の波長を色情報に変換して表示するものである。従って、基準点の情報をサーモグラフィで取得するには、フィラメントランプのように発熱するものでなければならない。そしてこれらの発熱源は、ｘ、ｙ、ｚ方向（三次元方向）に少なくとも配置される必要がある。これにより、簡単な構成で正確な基準点を生成することができる。
【０００７】
請求項３は、物体の形状に関する三次元情報及び物体表面の温度画像情報に基づいて該物体の三次元化した温度画像を得る三次元化装置であって、前記物体から発熱する温度画像情報を取得する温度画像情報取得手段と、前記物体の形状に関する三次元情報を取得する三次元情報取得手段と、前記温度画像情報取得手段により得られた温度画像情報中の特定の温度画像座標と前記三次元情報取得手段により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段と、前記座標対応付手段により対応付けられた前記実座標に基づいて実座標から前記温度画像座標への変換式を決定する変換式決定手段と、該変換式決定手段により決定された変換式に基づいて全ての前記実座標を前記温度画像座標に変換する座標変換手段と、を備え、前記三次元情報取得手段による前記物体の三次元計測と前記温度画像情報取得手段による温度画像情報の取得を同時に行い、前記座標変換手段により変換された前記温度画像座標に基づいて前記三次元情報に前記温度画像情報から得られた温度情報を当てはめて前記物体の温度画像を三次元化することを特徴とする。
本発明の温度画像の三次元化装置は、対象とする物体表面の温度画像情報を取得して、更に物体の三次元情報を取得する。そのとき得られた温度画像座標と実座標をマウス等を使用して対応付ける。その結果、実座標から温度画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された温度画像座標に基づいて温度情報を三次元情報に当てはめて、温度画像を三次元化する。これにより、最小限の装置構成で容易に温度画像を三次元化することができる。
【０００８】
請求項４は、前記温度画像情報取得手段は、前記物体からの発熱に基づいて得られる温度画像情報を複数に分割して取得し、前記座標キャリブレーション手段により、前記取得した複数の温度画像情報に基づいてキャリブレーションパラメータを算出して前記複数の温度画像情報を繋ぎ合わせて前記物体から発熱する温度画像情報とすることを特徴とする。
サーモグラフィは一般的に高価であり、特に高解像度の物は現在数百万円以上である。そこで本発明のキャリブレーション技術を応用することで、低解像度のサーモグラフィで撮影された温度画像をつなぎ合わせ、高解像度の温度画像を作成することが可能になる。例えば、三次元形状データに温度画像を重ねる場合、低解像度のサーモグラフィで全体を撮影するよりも局所的に撮影し、それを繋ぎ合わせることを次の方法で行う。即ち、サーモグラフィで撮影する場合、サーモグラフィのキャリブレーションで用いた基準物体が画像に入るように撮影する。これにより、各画像において、サーモグラフィのキャリブレーションパラメータｋ’11〜ｋ’33を算出する。これにより、三次元形状データの実座標（ｘ，ｙ，ｚ）に対応する温度画像上での座標ｕ、ｖを求め、対応する温度を三次元形状データの実座標に割り当てることで、結果的に温度画像のつなぎ合わせが実現できる。また、温度画像を撮影する時に、基準物体が入るように注意すれば、任意の姿勢で撮影することが可能である。
【０００９】
請求項５は、前記三次元情報取得手段は、所定のエリアに磁界ベクトルを形成するトランスミッタと、前記物体に光を照射する投光手段と、該投光手段により前記物体表面に照射された光を撮像する撮像手段と、該三次元化装置の三次元位置と姿勢を検出する三次元磁気センサと、を備えて構成されていることを特徴とする。
投光手段と撮像手段の位置情報と姿勢情報を得るには、各種の方法が考えられるが、光の光路を邪魔せず、且つ視界を妨げない方法が必要条件である。その点では磁界による方法が最適である。本発明では半球状の磁界を発生するトランスミッタを備え、その磁界の磁力線に対するベクトルを計算することにより三次元位置情報及び姿勢情報を取得するものである。従って、物体と投光手段及び撮像手段の距離はこの磁界のエリア内に限定される。これにより、所定のエリアに磁界ベクトルを形成するトランスミッタを備えたので、各センサが磁界ベクトルを計算することにより、位置情報及び姿勢情報を正確に取得することができる。
【００１０】
請求項６は、前記三次元情報取得手段は、前記物体に光を照射する投光手段と、前記投光手段により投光された光を前記物体に所定間隔で照射する光照射手段と、該光照射手段により前記物体表面に照射された光を撮像する撮像手段と、を備えて構成されていることを特徴とする。
本発明では、スリットレーザ投光器の前に回転するミラーを設置する。回転ミラーはモータによって回転され、仮想平面上をＮの方向（測定対象の手前から後方に移動する方向、或いは逆の方向）にステップごとに等間隔で移動するものとする。測定対象表面に現れるレーザ軌跡をＣＣＤカメラで撮影することで、測定対象の三次元形状が計測される。サーモグラフィはＣＣＤカメラに隣接して設置する。これにより、レーザスリットの位置Ｎを変えることにより、各実座標におけるレーザパラメータを決定することができる。
【発明の効果】
【００１１】
本発明によれば、対象物体の基準点を定めるために、既知の座標を有する複数の発熱源（例えばランプ等）を基準点として生成する基準点生成手段を備える。そして対象とする物体と基準点の表面の温度画像情報（温度情報と座標を有する情報）を同時に取得して、更に物体の三次元情報を取得する。また、基準点の実座標と熱画像座標とのキャリブレーションを行なうことにより、実座標から熱画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を熱画像座標に変換する。そして変換された熱画像座標に基づいて温度情報を抽出して三次元情報にその温度画像を貼り付けて三次元化する。これにより、固定された基準点の位置情報に基づいて正確に温度画像を三次元化することができる。また、一度キャリブレーションを行うと、三次元化装置の配置を変えなければ、基準点を再度撮影する必要がなくなる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る三次元化装置を使用して対象物を計測している斜視図である。
【図２】図１の斜視図に基づいて本実施形態の三次元化装置１００の全体構成を表す模式図である。
【図３】本発明の第１の実施形態に係る三次元化装置の構成を示す機能ブロック図である。
【図４】（ａ）は基準物２１となる立方体の箱の図、（ｂ）は基準物２１と対象物１をサーモグラフィ１９で撮影した時の温度画像を示す図、（ｃ）は三次元形状結果を示す図である。
【図５】（ａ）は温度画像の図、（ｂ）は温度分布を三次元化した図、（ｃ）は（ｂ）の三次元画像を回転した図である。
【図６】本発明の第１の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。
【図７】本発明の第２の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。
【図８】ＣＣＤカメラ７のカメラ座標系とワールド座標系の関係を示す図である。
【図９】レーザトラバーサの構成を示す図である。
【図１０】（ａ）は三次元形状データの図、（ｂ）はサーモグラフィ画像を示す図である。
【図１１】（ａ）は三次元磁気センサと組み合わせたシステムの構成を示す図、（ｂ）はＣＣＤの画像を示す図、（ｃ）はサーモグラフィの温度画像を示す図である。
【図１２】本発明の三次元化装置に係る他の実施形態の構成を示す図である。
【図１３】（ａ）はサーモグラフィにより楕円柱形状の物体を正面から撮影している図、（ｂ）はそのとき得られた画像を示す図である。
【図１４】（ａ）はサーモグラフィにより楕円柱形状の物体を側面から撮影している図、（ｂ）はそのとき得られた画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の第１の実施形態に係る三次元化装置を使用して対象物を計測している斜視図である。この三次元化装置１００は、対象物１にレーザスリット光を照射するレーザ投光器２０と、このレーザ投光器２０により対象物１の表面に照射された光を撮像する撮像装置３０と、所定のエリアに磁界ベクトルを形成するトランスミッタ４０と、既知の座標を有する複数の豆電球（発熱源）２２を基準点として生成する基準物（基準点生成手段）２１と、対象物１及び基準物２１からの発熱に基づいて温度画像情報を取得するサーモグラフィ（温度画像情報取得手段）１９と、図示しないパーソナルコンピュータ（ＰＣ）を備えて構成される。そして、レーザ投光器２０はＴ字型の架台２と、スリット状のレーザ光を出射するレーザ光源３と、レーザ投光器２０の位置情報と姿勢情報を生成する磁気センサ４とを備えて構成され、レーザ光源３への電源とレシーバＡ４の情報はケーブル５によりＰＣに伝えられる。また、撮像装置３０はＴ字型の架台６と、対象物１に照射されたレーザスリット光を撮像するＣＣＤカメラ７と、サーモグラフィ１９と、撮像装置３０の位置情報と姿勢情報を生成する磁気センサ８とを備えて構成され、ＣＣＤカメラ７の信号と磁気センサ８の情報はケーブル９によりＰＣに伝えられる。尚、架台２、６は磁界の影響をレシーバに与えないために、木製、プラスチック、ゴム等の材質により形成される。また、光源としてレーザ光を使用したが、ＬＥＤ或いは他の可視光を使用しても構わない。また、本実施形態ではレーザ投光器２０と撮像装置３０の位置情報と姿勢情報を生成する手段として、トランスミッタ４０からの磁界ベクトルを受信するために磁気センサを使用したが、他の手段により生成しても構わない。
【００１４】
次に本実施形態の三次元計測装置１００の概略動作について説明する。まず、トランスミッタ４０と基準物２１を対象物１の近傍に配置し、電源を投入してトランスミッタ４０の磁界をレーザ投光器２０及び撮像装置３０が検出できるように対象物１との位置関係を設定する。これは図示しないＰＣの画面を見ながら調整を行う。例えば、市販のトランスミッタの場合は半径９０ｃｍの半円球の範囲に磁界が形成される。そしてレーザ投光器２０と撮像装置３０を手に持ち、ＰＣの画面を見ながらＣＣＤカメラ７とサーモグラフィ１９が対象物１の全体画像を捉えられるように配置する。そしてレーザ光源３の電源を投入して、スリット光が対象物１の走査開始位置に来るようにしてＰＣに格納されたプログラムを開始する。そして、レーザ投光器２０を対象物１の走査開始位置から順次上から下（或いは下から上）に移動し、対象物１の全体（背面を含む）の走査が完了するまで行う。これらの走査の過程でＣＣＤカメラ７から読み込まれたスリット光の平面方程式がリアルタイムに計算される。また、走査の過程でレーザ投光器２０及び撮像装置３０を移動しても、磁気センサ４、磁気センサ８から位置情報とロール角、ピッチ角、ヨー角の姿勢情報がＰＣに取り込まれリアルタイムに処理されて対象物１の平面方程式に反映される。即ち、例えば対象物１に照射したスリット光がくぼみ等で死角となった場合、投光器２０を移動して死角とならないようにスリット光を照射するか、或いは撮像装置３０を移動して死角を防ぐようにすることが可能となる。
そして対象物１の走査が完了するとＰＣに取り込まれたデータに基づいて、対象物１の温度画像を三次元化して再生する。この三次元画像はあらゆる角度からのデータにより構成されているので、対象物を回転して任意の角度から観察することも可能となる。
【００１５】
図２は図１の斜視図に基づいて本実施形態の三次元化装置１００の全体構成を表す模式図である。同じ構成要素には図１と同じ参照番号が付されているので、重複する説明は省略する。ここで、ＣＣＤカメラ７の信号はケーブル９によりイメージプロセッサ１７に接続され、サーモグラフィ１９の温度画像もイメージプロセッサ１７に接続される。また、磁気センサ８の信号はケーブル９によりレーザ位置検出回路１１に接続され、磁気センサ４はケーブル５によりレーザ位置検出回路１１に接続され、トランスミッタ４０はケーブル４１によりレーザ位置検出回路１１に接続されている。またレーザ位置検出回路１１の出力及びイメージプロセッサ１７の出力信号はＰＣ１２に入力され、ＰＣ１２を制御するプログラムはＲＯＭ（Read Only Memory）１３に格納されている。またＰＣ１２からは処理された三次元画像を表示するモニタ１８が接続されている。尚、イメージプロセッサ１７はＣＣＤカメラ７により撮像された画像データをＰＣ１２が処理し易いように変換する機能があり、ＣＣＤカメラ７からの画像信号からレーザ輝線の座標をリアルタイムに演算するために回路をＦＰＧＡ（Field Programmable Gate Array）により構成している。またレーザ位置検出回路１１は磁気センサ４、磁気センサ８の信号から三次元位置情報及び姿勢情報を検出回路である。
【００１６】
また説明の都合上ＣＣＤカメラ７の光軸１５とレーザ光源３の光軸１６のなす角度をαとする。また対象物１の表面形状はさまざまなものが存在する。例えば、ヤカンのように表面が比較的滑らかで変化がない物もあれば、人物のブロンズ像のように表面の形状が複雑で凹凸が多い物もある。本実施形態ではこれらの対象物１の形状に応じてスリット光１０の光軸１６とＣＣＤカメラ７の光軸１５との成す角度αを変化させることにより、より迅速に且つ確実に死角を減少させることができる。即ち、対象物１の表面が滑らかな場合は、角度αを大きくして一度に広い範囲の情報を取得して処理し、対象物１の形状が複雑な場合は、角度αを狭くして狭い範囲を確実に走査して死角を減少させるようにするものである。これにより、対象物１の形状に応じて処理時間の短縮を図ると共に、対象物１の死角を減少させることもできる。
【００１７】
図３は本発明の第１の実施形態に係る三次元化装置の構成を示す機能ブロック図である。同じ構成要素には図２と同じ参照番号を付して説明する。この温度画像の三次元化装置１００は、対象物（物体）１の三次元情報及び温度画像情報に基づいて対象物１の温度画像を三次元化する三次元化装置１００であって、既知の座標を有する複数の豆電球（発熱源）２２を基準点として生成する基準物（基準点生成手段）２１と、対象物１及び基準物２１からの発熱に基づいて温度画像情報を取得するサーモグラフィ（温度画像情報取得手段）１９と、ＣＣＤカメラ７、レーザ光源３、トランスミッタ４０、イメージプロセッサ１７、及びレーザ位置検出回路１１により構成され、対象物１の三次元情報を取得する三次元情報取得手段２７と、各豆電球２２に係る実座標とサーモグラフィ１９により得られた温度画像座標とのキャリブレーションを行なう座標キャリブレーション手段３１と、座標キャリブレーション手段３１によりキャリブレーションされた豆電球２２の実座標から温度画像情報の温度画像座標への変換式を決定する変換式決定手段３２と、変換式決定手段３２により決定された変換式に基づいて対象物１の三次元情報に係る全ての実座標を温度画像座標に変換する座標変換手段３３と、座標変換手段３３により変換された三次元情報の温度画像座標に基づいて三次元情報の温度情報を抽出する温度情報抽出手段３４と、サーモグラフィ１９により得られた温度画像情報中の特定の温度画像座標と三次元情報取得手段２７により得られた三次元情報中の特定の実座標とを対応付ける座標対応付手段３５と、を備えて構成されている。尚、三次元情報取得手段２７、座標キャリブレーション手段３１、変換式決定手段３２、座標変換手段３３、温度情報抽出手段３４、及び座標対応付手段３５は、ＰＣ１２のＲＯＭ１３に記憶されたプログラムにより演算処理される。また、モニタ１８には、対象物１の温度画像や三次元画像が個別に、或いは同一画面に同時に表示することができる。
【００１８】
即ち、本実施形態の温度画像の三次元化装置１００は、対象物１の基準点を定めるために、既知の座標を有する複数の発熱源（例えば豆電球２２等）を基準点として生成する基準物２１を備える。そして対象物１と豆電球２２の温度画像情報（温度情報と座標を有する情報）を同時に取得して、更に対象物１の三次元情報を取得する。また、豆電球２２の実座標と温度画像座標とのキャリブレーションを行なうことにより、実座標から温度画像座標への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標を温度画像座標に変換する。そして変換された温度画像座標に基づいて温度情報を抽出して温度画像を三次元化する。これにより、固定された豆電球２２の位置情報に基づいて正確に温度画像を三次元化することができる。
【００１９】
図４（ａ）に、基準物２１となる立方体の箱の図を示す。また、図４（ｂ）に基準物２１と対象物１をサーモグラフィ１９で撮影した時の温度画像を示す。即ち、豆電球２２のフィラメント部が発熱し、図４（ｂ）の温度画像に点として撮影されている。
ここで、温度画像座標（ｕ，ｖ）と実座標（ｘ，ｙ，ｚ）の関係は、
2010281811.tif 000003
・・・（１−１）
となる。
これを変形して、
2010281811.tif 000004
・・・（１−２）
実座標が既知の基準位置６点をサーモグラフィ１９で撮影し、基準位置の実座標（ｘ，ｙ，ｚ）とサーモグラフィ温度画像上での位置（ｕ，ｖ）の組み合わせ６組を（１−２）式に代入する。そして６×２＝１２元の連立方程式を作成し、ｋ’11〜ｋ’33を算出する。ｋ’11〜ｋ’33が算出されると、（１−２）式から実座標（ｘ，ｙ，ｚ）から温度画像座標（ｕ，ｖ）への変換式が以下のように定まる。
2010281811.tif 000005
・・・（１−３）
次に三次元情報取得手段２７によって、三次元形状を計測する。三次元情報取得手段２７で計測した各計測点（ｘn，ｙn，ｚn）を求めた関係式（１−２）を用いて、温度画像上での座標（ｕn，ｖn）に変換する。図４（ｃ）は計測した各計測点を三次元的に表示したものである。
【００２０】
図５（ａ）は温度画像で各画素位置（ｕ，ｖ）の温度Ｔ（ｕ，ｖ）が記録されている。三次元形状データ（ｘn，ｙn，ｚn）に温度Ｔ（ｕ，ｖ）を割り当て、温度分布を三次元化したものが図５（ｂ）である。また、図５（ｂ）の三次元画像を回転したものが図５（ｃ）である。
尚、式（１−２）はサーモグラフィ１９の撮影位置と姿勢を定義する式で、実座標（ｘ，ｙ，ｚ）と温度画像（ｕ，ｖ）の関係を表す。したがって、広い範囲で三次元形状を計測し、様々な方向から撮影された複数の温度画像をつなぎ合わせることが可能になる。そのため、低解像度のサーモグラフィからも結果的には高解像度の温度分布が得られることになる。一般的にサーモグラフィの価格は解像度で決まるため、低解像度のサーモグラフィの画像をつなぎ合わせることで高解像化することは市場的にもメリットがある（詳細は後述する）。
【００２１】
図６は本発明の第１の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。まず、既知の座標を有する複数の豆電球２２（例えば６点の基準点）を有する基準物２１を撮影する（Ｓ１）。次に、撮影された各豆電球２２の実座標とサーモグラフィ１９により得られた温度画像座標とのキャリブレーションを行なう（Ｓ７）（キャリブレーションの詳細は後述する）。次に、キャリブレーションされた豆電球２２の実座標（ｘ，ｙ，ｚ）から温度画像情報６の温度画像座標（ｕ，ｖ）への変換式を決定する（Ｓ２）。また、同時に対象物１の三次元情報を計測して（Ｓ８）、実座標（ｘ，ｙ，ｚ）を算出する（Ｓ３）。そして、決定された変換式に基づいて対象物１の三次元情報に係る全ての実座標（ｘ，ｙ，ｚ）を温度画像座標（ｕ，ｖ）に変換する（Ｓ４）。その結果、変換された三次元情報の温度画像座標（ｕ，ｖ）に基づいて三次元情報の温度情報が抽出される（Ｓ５）。そしてステップＳ３で算出された実座標（ｘ，ｙ，ｚ）とステップＳ５により抽出された温度情報に基づいて温度画像２５を三次元化する（Ｓ６）。その結果の画像が画像２６として出力される。
【００２２】
図７は本発明の第２の実施形態に係る温度画像の三次元化装置により温度情報を三次元化する手順を示す図である。まず、対象物１から発熱する温度画像情報２５をサーモグラフィ１９により取得して、温度画像座標（ｕ，ｖ）を得る（Ｓ１１）。それと同時に三次元情報取得手段２７により対象物１の形状に関する三次元情報を取得して実座標（ｘ，ｙ，ｚ）を得る（Ｓ１２）。次に、サーモグラフィ１９により得られた温度画像情報中の特定の温度画像座標（ｕ，ｖ）と三次元形状計測器により得られた三次元情報中の特定の実座標（ｘ，ｙ，ｚ）とをマウス２３等により対応付ける（Ｓ１３）。次に、ステップＳ１３で対応付けられた実座標（ｘ，ｙ，ｚ）に基づいて温度画像座標（ｕ，ｖ）への変換式を決定する（Ｓ１４）。次に、ステップＳ１４で決定された変換式に基づいて全ての実座標（ｘ，ｙ，ｚ）を温度画像座標（ｕ，ｖ）に変換する（Ｓ１５）。そして、変換された温度画像座標（ｕ，ｖ）に基づいて三次元情報に温度画像情報２５から得られた温度情報を当てはめて（Ｓ１６）、その結果の画像が画像２６として出力される。
即ち、本実施形態の三次元化装置は、対象物１の表面の温度画像情報を取得して、更に対象物１の三次元情報を取得する。そのとき得られた温度画像座標（ｕ，ｖ）と実座標（ｘ，ｙ，ｚ）をマウス２３等を使用して座標対応付手段３５により対応付けられる。その結果、実座標（ｘ，ｙ，ｚ）から温度画像座標（ｕ，ｖ）への変換式が決定される。そして決定された変換式に基づいて三次元情報の全ての実座標（ｘ，ｙ，ｚ）を温度画像座標（ｕ，ｖ）に変換する。そして変換された温度画像座標（ｕ，ｖ）に基づいて温度情報を三次元情報に当てはめて、温度画像を三次元化する。これにより、最小限の装置構成で容易に温度画像を三次元化することができる。
【００２３】
三次元形状計測のためのＣＣＤカメラキャリブレーションには各種方法があるが一例を以下に示す。図８はＣＣＤカメラ７のカメラ座標系とワールド座標系の関係を示す図である。図８において、撮影画像から得られた座標（ｕ，ｖ）と実空間の三次元座標（ワールド座標）（ｘ，ｙ，ｚ）の関係式は、次のようになる。
2010281811.tif 000006
・・・（２−１）
式（２−１）を展開し、整理すると、次の式になる。
2010281811.tif 000007
・・・（２−２）
カメラの位置や姿勢によって、（２−１）式の係数（ｋ11〜ｋ33）が変わるため、三次元座標を計測する前に、撮影画像からＣＣＤカメラ７の位置姿勢や特性を推定する必要がある（カメラキャリブレーション）。
【００２４】
図８に示された座標系の関係から画像の写り方に影響する１１個の係数ｋ11〜ｋ33（ＣＣＤカメラ７の位置姿勢およびカメラレンズの特性を示す）を求めることができる。基準位置となる立方体など（サーモグラフィのキャリブレーションと同じ基準物を同じ位置に置く）をＣＣＤカメラ７で撮影し、基準位置（ｘn，ｙn，ｚn）（ｎ＝１〜６）と基準位置をＣＣＤカメラ７で撮影した時のカメラ座標（ｕn，ｖn）（ｎ＝１〜６）の組み合わせを（２−１）式に代入することで、係数ｋ１１〜ｋ３３を決定する（サーモグラフィのキャリブレーションと同じ）。
【００２５】
図９にレーザトラバーサを示す。レーザスリット３６がＮ＝０からＮ＝Ｍまで移動するものとする。このレーザトラバーサ３８において、レーザスリット位置Ｎとレーザ平面上にある点の実座標（サーモグラフィ−、カメラ、レーザの実座標系は統一（一致）させる）の関係を式（３−１）に示す。
2010281811.tif 000008
・・・（３−１）
ここで、Ｎ＝１、２・・・である。式（３−１）を展開して整理すると、
ｍ11ｘ＋ｍ12ｙ＋ｍ13ｚ＋ｍ14−ｍ21ｘＮ−ｍ22ｙＮ−ｍ23ｚＮ＝Ｎ
・・・（３−２）
レーザスリットの位置Ｎを変えながら、Ｎとレーザ平面上の任意の点の実座標を式（３−２）に７組以上代入することで７元の連立方程式を作成する。この連立方程式を解くことで、レーザパラメータｍ11〜ｍ23が決定される。ｍ11〜ｍ23が決定されると各レーザ位置Ｎでのレーザ平面の方程式が算出されることになる。
【００２６】
次に計測点ワールド座標の算出について説明する。
式（２−２）と式（３−２）を連立させると、
2010281811.tif 000009
・・・（４−１）
両辺に逆行列をかけて、次式から計測点の三次元座標（ｘ，ｙ，ｚ）を求めることができる。
2010281811.tif 000010
・・・（４−２）
ワールド座標が求まると式（１−３）から温度画像上での座標（ｕ，ｖ）がきまり、ワールド座標での温度Ｔ（ｘ，ｙ，ｚ）が求まることになる。
【００２７】
図１０はサーモグラフィ１９により対象物を分割して撮影した様子を示す図である。サーモグラフィは一般的に高価であり、特に高解像度の物は現在数百万円以上である。そこで、本発明のキャリブレーション技術を応用することで、低解像度のサーモグラフィで撮影された温度画像をつなぎ合わせ、高解像度の温度画像を作成することが可能になる。例えば、図１０（ａ）のような三次元形状データに温度画像を重ねる場合、低解像度のサーモグラフィ１９で全体を撮影するよりも、局所的に撮影し、例えば図１０（ｂ）のように４分割して、それを繋ぎ合わせることを次の方法で行う。即ち、サーモグラフィ１９で撮影する場合、サーモグラフィ１９のキャリブレーションで用いた基準物２１が画像に入るように撮影する。これにより、各画像において、サーモグラフィ１９のキャリブレーションパラメータｋ’11〜ｋ’33を算出する。これにより、図１０（ａ）の実座標（ｘ，ｙ，ｚ）に対応する温度画像上での座標ｕ、ｖを求め、対応する温度を図１０（ａ）の実座標に割り当てることで、結果的に温度画像のつなぎ合わせが実現できる。温度画像を撮影する時に基準物体が入るように注意すれば、任意の姿勢で撮影することが可能である。
【００２８】
図１１は、三次元磁気センサと組み合わせたシステムの構成を示す図である。本システムはＣＣＤカメラ７、サーモグラフィ１９、レーザスリット投光器４５および三次元磁気センサ４３からなる。これらはアーム４２、４４で一体化されており、手に保持できるハンディー型とする。三次元磁気センサ４３は、システムの三次元位置と姿勢を検出する。計測対象表面をレーザスリット４６で走査させることで、物体４７の三次元形状を計測し、かつ計測対象の表面温度分布をサーモグラフィ１９で測定する。測定された温度画像と物体形状は自動的に合成され、物体の三次元温度分布が測定されることになる。
即ち、三次元磁気センサレシーバの中心に座標系を設置し、これをレシーバ座標系と呼ぶことにする。レシーバ座標系（ｘ，ｙ，ｚ）とＣＣＤカメラ座標系（ｕ，ｖ）、サーモグラフィ座標系（ｕ’，ｖ’）の関係についてキャリブレーションを行う。サーモグラフィ１９とＣＣＤカメラ７のキャリブレーション方法は、前述した通りであり、それぞれの関係は（１−２）および（２−１）と同じ式になる（この場合は、レシーバ座標が実座標になることに注意）。レーザ平面上の任意の３点の座標（レシーバ座標系）を一般的な平面の方程式ａｘ＋ｂｙ＋ｃｘ＝１に代入することでレーザ平面の方程式が求まる。レーザスリット４６は対象表面で曲線軌跡として現れ、図１１（ｂ）のようにＣＣＤカメラ７で撮影される。この曲線上の点（ｕ，ｖ）を式（２−２）に代入し、求めた平面の方程式と連立させることで、曲線上の点のレシーバ座標（ｘ，ｙ，ｚ）が決定される。もとまったレシーバ座標上での各点を式（１−３）によって温度画像上での座標（ｕ’，ｖ’）に変換する。
【００２９】
次に、レシーバ座標からワールド座標（磁気トランスミッタ座標）への変換について説明する。三次元磁気センサ４３は、磁気トランスミッタの中心を原点とした磁気レシーバの三次元位置（ｘw，ｙw，ｚw）と姿勢（オイラー角φ，θ，ψ）を検出する。レシーバ座標を（ｘr，ｙr，ｚr）とするとワールド座標への変換は次の式のようになる。
2010281811.tif 000011
・・・（６−１）
ここで、
2010281811.tif 000012
である。
以上の手続きにより、ハンディスキャン型温度画像三次元計測器が確立される。
第１の実施形態に磁気センサの情報を考慮した場合、三次元形状（ｘ，ｙ，ｚ）の算出方法は特許文献２の方法を用いる。特許文献２の方法で算出した磁気トランスミッタを原点としてワールド座標（ｘｒｗ，ｙｒｗ，ｚｒｗ）を（６−１）式を変形した（６−２）式によって、レシーバ座標（磁気センサ８（図１）を原点とした座標）に変換する。
2010281811.tif 000013
・・・（６−２）
ここで、（ｘｒｗ，ｙｒｗ，ｚｒｗ）は磁気センサ８の三次元位置で、（φ，θ，ψ）は同姿勢である。この（ｘｒ，ｙｒ，ｚｒ）を（１−３）式の（ｘ，ｙ，ｚ）に代入することで、温度画像座標（ｕ，ｖ）が決定され、温度Ｔ（ｕ，ｖ）が割当てられＴ（ｘｒｗ，ｙｒｗ，ｚｒｗ）となる。
【００３０】
図１２は、他の実施形態の構成を示す図である。スリットレーザ投光器５４の前に回転するミラー５２を設置する。回転ミラー５２はモータ５３によって回転され、仮想平面上をＮの方向にステップごとに等間隔で移動するものとする。測定対象表面に現れるレーザ軌跡をＣＣＤカメラ７で撮影することで測定対象の三次元形状が計測される。サーモグラフィ１９はＣＣＤカメラ７に隣接して設置する。
レーザスリット位置Ｎとワールド座標の関係は式（７−１）となる。
2010281811.tif 000014
・・・（７−１）
ここで、Ｎ＝１、２・・・である。式（７−１）を展開して整理すると、
ｍ11ｘ＋ｍ12ｙ＋ｍ13ｚ＋ｍ14−ｍ21ｘＮ−ｍ22ｙＮ−ｍ23ｚＮ＝Ｎ・・
・・・（７−２）
レーザスリットの位置Ｎを変えながら、Ｎとレーザ平面上の任意の点の実座標を式（７−２）に７組以上代入することで７元の連立方程式を作成する。連立方程式を解くことで、レーザパラメータｍ11−ｍ23が決定される。ｍ11−ｍ23が決定されると各レーザ位置Ｎでのレーザ平面の方程式が算出されることになる。式（４−２）から測定対象のワールド座標が求まり、式（１−３）からサーモグラフィで撮影された対応する温度画像上での位置（ｕ，ｖ）を求め、温度Ｔ（ｕ，ｖ）がわかるので、ワールド座標での温度Ｔ（ｘ，ｙ，ｚ）が測定されたことになる。
【００３１】
本発明の応用例として、熱損失を考慮した機器の設計に応用できる。たとえば、熱源の形状（表面積）が数値化され、その形状の各位置での温度が計測されるため、発明した装置で撮影するだけで、外部に放出される熱量が計測できることになる。
図１３にサーモグラフィによって楕円柱形状をもつ計測対象を正面から撮影する揚合を示し、図１４に側面から撮影する場合を示す。図１３（ａ）のように楕円柱形状の物体６０を正面から撮影した場合、図１３（ｂ）の領域Ａの温度は精度良く、領域Sは面の勾配が大きく精度は悪い。特にSの領域で温度変化が大きい場合は誤差が大きくなる。図１４（ａ）は計測対象６０をサーモグラフィ１９によって側面から撮影した場合で、この揚合は、図１４（ｂ）の領域Sの温度計測精度が良く、Ａの領域は精度が悪い。以上のことから、対象全体の温度分布を測定する場合、図１３のように正面から領域Ａを計測し、図１４のように側面から領域Sを測定し、最終的にＡの領域とSの領域を合成することで、測定対象６０の温度分布とすることが最も良い方法である。本発明はハンディ型の三次元サーモグラフィで、様々な方向から計測対象の温度分布の測定を行い、測定対象を合成することが可能になる。計測時には、レーザ光（スリット光）のオン・オフとレーザのハンディスキャンによって計測領域を測定者が選択し、希望する面の温度分布を計測することを行う。図１３の方向からサーモグラフィ１９で計測対象６０をとらえ、Ａの面上でレーザ光（スリット光）を走査（スキャン）させることで領域Ａの形状に、領域Ａの温度分布を合成する。また、図１４の方向からサーモグラフィ１９で計測対象６０をとらえ、領域Ｂの形状と温渡分布を計測する。このように測定者が計測対象表面の任意の位置を選択しながら温度計測が可能になるため、計測対象の形状を考慮した高精度温度分布計測が可能になる。
一般の方法では、図１３や図１４の方向から温度分布を撮影しても、図１３の領域Ａ、図１４の領域Sなど温度画像から具体的な任意の領城を選択することが不可能で、かつ、その後の合成もできない。しかしながら、本発明の装置では、レーザのスキャン位置でそれぞれの領域を測定者が選択することが可能である。また、サーモグラフィ１９およびレーザの位置関係がマトリックス表記によい定式化されており、様々な方向から測定された三次元表面温度の自動的な合成が可能である。
【符号の説明】
【００３２】
１  対象物、２、６  架台、３  レーザ光源、４、８  磁気センサ、７  ＣＣＤカメラ、１１  レーザ位置検出回路、１２  ＰＣ、１３  ＲＯＭ、１７  イメージプロッセサ、１８  モニタ、１９  サーモグラフィ、２０  レーザ投光器、２１  基準物、２２  豆電球、３０  撮像装置、４０  トランスミッタ、１００  三次元化装置
【図１】
2010281811.tif 000015
【図２】
2010281811.tif 000016
【図３】
2010281811.tif 000017
【図４】
2010281811.tif 000018
【図５】
2010281811.tif 000019
【図６】
2010281811.tif 000020
【図７】
2010281811.tif 000021
【図８】
2010281811.tif 000022
【図９】
2010281811.tif 000023
【図１０】
2010281811.tif 000024
【図１１】
2010281811.tif 000025
【図１２】
2010281811.tif 000026
【図１３】
2010281811.tif 000027
【図１４】
2010281811.tif 000028