(57)【要約】【課題】多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定できること。【解決手段】同期信号Ｓtrgを時系列で発生させ，その同期信号Ｓtrgに同期して，サーモカメラ２０及び複数の可視カメラ２１から撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングし，撮像時点ごとの可視画像のデータに基づくステレオ画像処理を通じて，撮像時点ごとの三次元形状のデータを算出し，撮像時点が異なる複数の可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの観測部位の像の前記可視画像上での変位量を算出し，それら算出結果に基づいて，観測部位の撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられたデータを記録する。【選択図】図１
2010169590.tif 000002
【特許請求の範囲】
【請求項１】
被測定物の温度変化に応じた三次元の変形を測定する熱変形測定方法であって，
信号生成手段により同期信号を時系列で発生させる同期信号生成手順と，
前記同期信号に同期して，前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから，撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順と，
演算手段により，前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順と，
演算手段により，特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の１又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順と，
演算手段により，予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順と，
を有してなることを特徴とする熱変形測定方法。
【請求項２】
前記同期信号生成手順が，所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。
【請求項３】
前記同期信号生成手順が，予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。
【請求項４】
前記同期信号生成手順が，前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。
【請求項５】
前記同期信号生成手順が，前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順である請求項１に記載の熱変形測定方法。
【請求項６】
被測定物の温度変化に応じた三次元の変形を測定する熱変形測定装置であって，
同期信号を時系列で発生させる同期信号生成手段と，
前記被測定物の熱画像を撮像するサーモカメラと，
それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラと，
前記同期信号に同期して，前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段と，
前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段と，
特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段と，
予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段と，
を具備してなることを特徴とする熱変形測定装置。
【請求項７】
前記同期信号生成手段が，所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手段，予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手段，前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手段及び前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手段のうちのいずれかである請求項６に記載の熱変形測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，被測定物の温度変化に応じた三次元の形状変化を測定する熱変形測定方法及び熱変形測定装置に関するものである。
【背景技術】
【０００２】
昨今，プロセッサやパワーモジュール，コネクタなどの電子デバイスは、三次元的な構造の複雑化と使用環境の高温化とが進んでいる。例えば，ＣＰＵやＤＳＰ（Digital Signal Processor）などのプロセッサは，演算速度の高速化に伴って発熱量が著しく増大しており，熱変形によるパッケージや電極の破損が問題となりつつある。また，電気自動車やハイブリッド自動車，あるいはデジタル家電機器などに用いられるインバータ用パワーモジュールなどの電子デバイスも，出力向上に伴って発熱量が増大している。これらは高い信頼性が求められ，耐熱性評価が極めて重要になりつつある。さらに，自動車や航空機などに利用される電装部品であるコネクタなどの電子デバイスも，エンジンなどの熱源に近接配置されることにより，耐熱性が求められる。
一般に，電子デバイスの設計においては，計算機を用いた熱変形のシミュレーションにより，電子デバイスの温度変化に応じた三次元の形状変化が計算され，その計算結果に基づいて電子デバイスの耐熱性が評価されることが多い。しかしながら，ＣＰＵなどのプロセッサは，発熱位置が局所的かつ高熱となるため，材料の組成分布や組織構造等に起因する局所的な特性の違いにより，熱変形挙動が設計値と異なる可能性がある。そこで，電子デバイスの実物の変形パターンを実測評価し，設計値とのずれを補正してシミュレーションの高精度化を行なう必要がある。
一方，プロセッサＩＣやメモリＩＣ，信号処理ＩＣなど，複数のＩＣチップが１つのパッケージに収められたＭＣＰ（Multi Chip Package）が，携帯情報端末等に用いられるようになっている。中でも，複数のＢＧＡ（Ball Grid Array）モジュールが垂直に積層されたＰｏＰ（Package on Package）や，ＭＥＭＳ（Micro Electro Mechanical Systems）モジュールまでも内蔵し，さらにはチップが垂直積層されて１つにパッケージ化されたＳｉＰ（System in Package）といった複雑な構造を持つＭＣＰも実用化されつつある。ＳｉＰやＰｏＰ等の新しいタイプのパッケージは，構造が複雑なため高精度の熱変形のシミュレーションが難しい。従って，そのような構造の複雑な電子デバイスについて，実測定により熱変形パターンを把握し，耐熱性を評価することが非常に重要となっている。
【０００３】
一方，画像を用いた被測定物の変形の測定方法として，デジタル画像相関法（Digital image correlation method）でのパターン追跡処理が知られている。
一般に，前記デジタル画像相関法でのパターン追跡処理は，演算手段によって以下の手順に従った処理を行う方法である。
まず，被測定物を順次撮像して得られた異なる時点の画像相互間において，複数に区分された小領域の画像パターンであるサブセットごとに，相関の高い前記サブセットどうしの位置の対応付けを行う。このようにして対応付けられた前記サブセット（画像パターン）は，時間の経過に応じて変位した同一の撮像部位の像であるといえる。
そして，対応づけられた前記サブセットを，撮像時点の遷移に応じて順次追跡することにより，撮像時点の変化に応じた所定の撮像部位の変位量を算出する。このようにして算出される前記撮像部位各々の変位量は，前記被測定物の表面上の各部位の画像上での変位量，即ち，前記被測定物の撮像画像の座標系における形状変化を表す。なお，前記被測定物が移動する物である場合，前記デジタル画像相関法でのパターン追跡処理により前記被測定物の画像上での移動量が測定される。
【０００４】
また，複数の二次元の画像を用いて被測定物の三次元の形状を測定する方法として，ステレオ画像処理による形状測定法が知られている。
一般に，前記ステレオ画像処理による形状測定法は，演算手段によって以下の手順に従った処理を行う方法である。
まず，被測定物を複数のカメラにより異なる方向から撮像して得られた複数の画像相互間において，複数に区分された小領域の画像のデータであるサブセットごとに，相関の高い前記サブセットどうしの位置の対応付けを行う。
次に，三角測量法に基づいて，対応付けられた前記サブセットの位置関係とカメラの位置関係とから，前記被測定物が配置されている実空間における三次元形状のデータを算出する。前記三次元形状のデータは，実空間での所定の三次元座標系における各座標のデータである。また，前記三次元形状のデータは，複数のカメラから得られた複数の画像各々との間で座標の対応関係が既知である。前記ステレオ画像処理による形状測定法は，３つ以上の二次元の画像を用いて被測定物の三次元の形状を測定することにも応用可能である。
【０００５】
また，特許文献１には，前記デジタル画像相関法を利用する以下の方法によって構造物の応力変動を測定することについて示されている。
即ち，特許文献１に示される測定法では，まず，測定対象である構造物を，相互の視野を一致させた赤外線カメラと可視カメラとにより撮像し，時系列の熱画像と可視画像とを取得する。なお，前記可視カメラは，画素ごとに輝度データが設定された通常の画像データである前記可視画像のデータを取得するための一般的なカメラである。また，前記熱画像のデータは，画素ごとに温度データが設定されたデータである。
次に，前記可視画像に前記デジタル画像相関法を適用することにより，前記構造物の歪みを検出する。これにより検出される歪みは，前記構造物の二次元方向の歪みである。
そして，前記構造物の歪みに基づいて前記構造物の応力分布を算出し，その応力分布に基づいて前記熱画像の位置補正を行う。
最後に，位置補正後の前記熱画像に基づいて，前記構造物の応力変動を検出する。
【０００６】
また，特許文献２には，前記ステレオ画像処理による形状測定法を利用して可視画像と熱画像との座標の対応付けを行う温度測定法について示されている。
即ち，特許文献２に示される温度測定法では，温度の測定対象が一部に含まれる撮像範囲が，１つの赤外線カメラと２台の可視カメラとにより撮像される。これら３台のカメラ各々の撮像範囲は，重複しているが一致はしていない。
さらに，特許文献２に示される温度測定法では，２台の前記可視カメラにより得られた２つの可視画像に対し，前記ステレオ画像処理による形状測定法が適用され，三次元形状が算出される。そして，前記可視画像と前記三次元形状との座標の対応関係と，前記赤外線カメラにより得られる熱画像と前記三次元形状との座標の対応関係とに基づいて，前記可視画像と前記熱画像との間の座標の対応関係が導出される。
これにより，前記赤外線カメラと前記可視カメラとの視野範囲を完全に一致させなくても，前記可視画像上で指定される位置に存在する被測定物の温度を，前記熱画像において特定することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２３２９９８号公報
【特許文献２】特開２００２−３６６９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら，従来の技術は，電子デバイスのように温度変化の著しい被測定物について，温度変化に応じた三次元の形状変化を正確に測定するにあたり以下のような問題点を有していた。
例えば，特許文献１に示される技術は，前記デジタル画像相関法によって被測定物の二次元方向の熱変形を測定できるものの，被測定物の三次元の熱変形を測定することができないという問題点があった。
また，特許文献２に示される技術は，前記可視画像上で指定される位置に存在する被測定物の温度を前記熱画像において特定できるものの，時々刻々と変化する被測定物の温度と三次元形状との対応関係，即ち，被測定物の三次元の熱変形特性を正確に測定することができないという問題点があった。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定可能な熱変形測定方法及び熱変形測定装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明に係る熱変形測定方法は，被測定物の温度変化に応じた三次元の変形を測定する方法であり，次の（１．１）〜（１．５）に示される各手順を有する方法である。
（１．１）信号生成手段により同期信号を時系列で発生させる同期信号生成手順。
（１．２）前記同期信号に同期して，前記被測定物の熱画像を撮像するサーモカメラ及びそれぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラから，撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手順。
（１．３）演算手段により，前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手順。
（１．４）演算手段により，特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の１又は複数の観測部位の像の前記可視画像上での変位量を算出する変位量算出手順。
（１．５）演算手段により，予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手順により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手順により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手順。
なお，前記三次元形状データ算出手順及び前記変位量算出手順は，いずれが先に実行されてもよく，並列に実行されてもよい。
【００１０】
本発明に係る熱変形測定方法では，前記同期信号に基づいて撮像時点が同じ複数の前記可視画像のデータの組合せが順次サンプリングされ，その可視画像のデータに基づくステレオ画像処理及びデジタル画像相関法でのパターン追跡処理により，前記被測定物の観測部位の前記撮像時点ごとの三次元座標系での位置が算出される。ここで，前記観測部位の前記撮像時点ごとの三次元座標系での位置の情報は，前記撮像時点の変遷に応じた前記被測定物の三次元の形状変化の情報である。
さらに，本発明に係る熱変形測定方法では，前記被測定物の温度分布を表す前記熱画像のデータも，前記同期信号に基づいて，前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる。また，前記三次元形状と前記熱画像との座標の変換情報は，ホモグラフィと称される座標の変換行列で表され，そのホモグラフィは予め計算により求めることができる。
従って，既知の情報に基づいて，前記画像データサンプリング手順により得られた前記撮像時点ごとの前記熱画像のデータから，対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定できる。即ち，熱変形データ記録手順において得られる前記三次元熱変形データは，時々刻々と変化する前記被測定物における前記観測部位の温度と三次元の位置との正確な対応関係，即ち，前記被測定物の正確な熱変形特性を示すデータとなる。
【００１１】
また，本発明に係る熱変形測定方法において，前記同期信号生成手順は，次の（１．６）〜（１．９）に示される各手順のいずれかであることが考えられる。
（１．６）所定の操作部を通じた操作入力をトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第１の同期信号生成手順と称する。
（１．７）予定された時間が経過することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第２の同期信号生成手順と称する。
（１．８）前記サーモカメラから逐次得られる前記熱画像のデータが予定された温度状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第３の同期信号生成手順と称する。
（１．９）前記可視カメラから逐次得られる前記可視画像のデータに基づき算出される前記被測定物の形状の変化が予定された変形状態に達することをトリガとして前記同期信号を時系列で発生させる手順。以下，この手順を第４の同期信号生成手順と称する。
前記被測定物が，外部から加熱又は冷却される場合，或いは自己発熱又は自己冷却する場合のいずれにおいても，前記第１の同期信号生成手順を採用すれば，前記操作入力の操作者が，任意のタイミングで前記被測定物１の熱変形を測定できる。
一方，予め定められたタイムスケジュールに従って前記被測定物を外部から加熱又は冷却したときの前記被測定物の熱変形を測定したい場合がある。その場合，本発明に係る熱変形測定方法において，前記第２の同期信号生成手順を採用すれば，前記タイムスケジュールにおける特定の時点を経過するごとの前記被測定物の熱変形を測定できる。
また，前記被測定物の熱変形を，所定の温度変化が生じるごとに測定したい場合がある。また，前記被測定物の熱変形を，温度域ごとに異なる温度分解能で測定したい場合もある。そのような場合，本発明に係る熱変形測定方法において，前記第３の同期信号生成手順を採用すれば，必要な測定データのみを効率的に得ることができる。
また，前記被測定物の熱変形の測定において，前記被測定物に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また，前記被測定物の熱変形を，形状変化の大きさに応じて異なる分解能で測定したい場合もある。そのような場合，本発明に係る熱変形測定方法において，前記第４の同期信号生成手順を採用すれば，必要な測定データのみを効率的に得ることができる。
【００１２】
また，本発明は，以上に示した本発明に係る熱変形測定方法を実現する熱変形測定装置として捉えることもできる。
即ち，本発明に係る熱変形測定装置は，被測定物の温度変化に応じた三次元の変形を測定する装置であり，次の（２．１）〜（２．７）に示される各構成要素を備える装置である。
（２．１）同期信号を時系列で発生させる同期信号生成手段。
（２．２）前記被測定物の熱画像を撮像するサーモカメラ。
（２．３）それぞれ異なる位置において前記被測定物の可視画像を撮像する複数の可視カメラ。
（２．４）前記同期信号に同期して，前記サーモカメラ及び複数の前記可視カメラから撮像時点が同じ前記熱画像及び複数の前記可視画像のデータの組合せをサンプリングする画像データサンプリング手段。
（２．５）前記撮像時点ごとの複数の前記可視画像のデータの組合せに基づくステレオ画像処理を通じて，前記撮像時点ごとの三次元形状のデータを算出する三次元形状データ算出手段。
（２．６）特定の前記可視カメラから得られた前記撮像時点が異なる複数の前記可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を通じて，前記撮像時点ごとの前記可視画像における前記被測定物の像の前記可視画像上での変位量を算出する変位量算出手段。
（２．７）予め設定された前記三次元形状及び前記熱画像の間の座標変換の情報と前記画像データサンプリング手段により得られた前記撮像時点ごとの前記熱画像のデータと前記三次元形状データ算出手段により得られた前記撮像時点ごとの前記三次元形状のデータと前記変位量算出手段により得られた前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを記憶手段に記憶させる熱変形データ記録手段。
なお，本発明に係る熱変形測定装置における前記同期信号生成手段としては，前記第１の同期信号生成手順，前記第２の同期信号生成手順，前記第３の同期信号生成手順又は前記第４の同期信号生成手順のいずれかを実行するものが考えられる。
本発明に係る熱変形測定装置によっても，前述した本発明に係る熱変形測定方法と同様の作用効果が得られる。
【発明の効果】
【００１３】
本発明によれば，多様なパターンで温度及び形状が変化する被測定物の三次元の熱変形特性を正確に測定することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る熱変形測定装置Ｘ１の概略構成図。
【図２】熱変形測定装置Ｘ１における同期信号のタイムチャートの一例。
【図３】熱変形測定装置Ｘ１による三次元熱変形測定処理の一例を表すフローチャート。
【図４】本発明の第２の実施形態に係る熱変形測定装置Ｘ２の概略構成図。
【図５】熱変形測定装置Ｘ２における同期信号のタイムチャートの一例。
【図６】本発明の第３の実施形態に係る熱変形測定装置Ｘ３の概略構成図。
【図７】熱変形測定装置Ｘ３における同期信号のタイムチャートの一例。
【発明を実施するための形態】
【００１５】
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
【００１６】
本発明の実施形態に係る熱変形測定装置Ｘ１〜Ｘ３は，多様なパターンで温度及び形状が変化する電子デバイスなどの被測定物の温度変化に応じた三次元形状の変形を測定する装置である。
まず，図１を参照しつつ，本発明の第１の実施形態に係る熱変形測定装置Ｘ１の構成及び機能について説明する。
図１に示されるように，前記熱変形測定装置Ｘ１は，加熱・冷却プレート１１，温度制御装置１２，サーモカメラ２０，２台の可視カメラ２１，トリガ信号発生タイミング外部入力装置３０，時間監視装置３１，可視画像サンプリング装置４１，可視画像ディスプレイ４２，三次元形状演算装置４３，熱画像サンプリング装置５１，熱画像ディスプレイ５２，熱変形解析用計算機６１，データ入力器６２，解析画像ディスプレイ６３などを備えている。
前記可視画像サンプリング装置４１，前記熱画像サンプリング装置５１及び前記三次元形状演算装置４３は，例えば，ＤＳＰ（Digital Signal Processor）やパーソナルコンピュータなどの計算機などの演算手段により実現される。
【００１７】
前記加熱・冷却プレート１１は，その上に載置された被測定物１を加熱又は冷却する装置である。前記加熱・冷却プレート１１は，例えば，ヒータなどの加熱器と，ペルチェ式クーラーなどの冷却器とを備えている。
前記温度制御装置１２は，予め設定された加熱量又は冷却量のタイムスケジュールに従って，前記加熱・冷却プレート１１による前記被測定物１の加熱又は冷却の熱量を制御する装置である。
予め定められたタイムスケジュールに従って前記被測定物１を外部から加熱又は冷却したときの前記被測定物１の熱変形を測定したい場合，或いは周囲の温度環境を予め定められた状態に維持して前記被測定物１の熱変形を測定したい場合に，前記加熱・冷却プレート１１及び前記温度制御装置１２が用いられる。
【００１８】
前記サーモカメラ２０は，前記被測定物１の熱画像を撮像する赤外線カメラである。このサーモカメラ２０により得られる前記熱画像のデータは，画素ごとに温度データが設定されたデータである。即ち，前記サーモカメラ２０は，前記被測定物１の温度分布を測定する温度センサである。
２台の前記可視カメラ２１は，それぞれ異なる位置に配置され，それぞれ異なる方向から前記被測定物１の可視画像を撮像する通常のカメラである。この可視カメラ２１により得られる前記可視画像のデータは，画素ごとに輝度データが設定された通常の画像データである。前記可視カメラ２１は，例えば，ＣＣＤカメラやＣＭＯＳカメラなどである。
前記サーモカメラ２０及び２台の前記可視カメラ２１は，それぞれの撮像範囲において前記被測定物１における温度及び形状変化の観測部位を含むように撮像範囲が設定されている。従って，前記サーモカメラ２０及び２台の前記可視カメラ２１は，前記被測定物１全体がそれぞれの撮像範囲に共通して含まれるよう配置される場合の他，前記観測部位を含む前記被測定物１の一部のみがそれぞれの撮像範囲に共通して含まれるよう配置される場合もある。
なお，便宜上，２台の前記可視カメラ２１の各々を区別する場合，一方を第１可視カメラ２１ａ，他方を第２可視カメラ２１ｂと称する。
【００１９】
前記時間監視装置３１は，予め設定されたタイムスケジュールに従って，予定された時間が経過することをトリガとして所定の同期信号Ｓtrgを時系列で発生させる装置である。この可視画像サンプリング装置４１は，前記同期信号生成手段の一例である。
図２は，前記時間監視装置３１が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図２に示される例は，前記時間監視装置３１が，予め設定された時間Δτが経過するごとに前記同期信号Ｓtrgを発生させる例である。なお，時間Δτは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる時間が設定されることも考えられる。
なお，前記時間監視装置３１には，前記トリガ信号発生タイミング外部入力装置３０が接続されている。このトリガ信号発生タイミング外部入力装置３０を用いて，例えば人間が，前記タイムスケジュールとは別に，或いは前記タイムスケジュールを取り消して，任意のタイミングでトリガを発生させることができる。前記トリガ信号発生タイミング外部入力装置３０としては，例えば，ボタン式スイッチやキーボード等，人間が手動で前記同期信号Ｓtrgの発生タイミングを入力する装置が採用される。
【００２０】
前記可視画像サンプリング装置４１及び前記熱画像サンプリング装置５１は，前記同期信号Ｓtrgに同期して，２台の前記可視カメラ２１及び１台の前記サーモカメラ２０から，撮像時点が同じ２つの前記可視画像のデータ及び前記熱画像のデータの組合せをサンプリングする装置である。
即ち，前記可視画像サンプリング装置４１は，時系列で発生する前記同期信号Ｓtrgに同期して，２台の前記可視カメラ２１から撮像時点が同じ２種類の前記可視画像のデータをサンプリングし，そのデータを前記三次元形状演算装置４３に対して出力する。例えば，前記可視画像サンプリング装置４１は，２台の前記可視カメラ２１から前記可視画像のデータをごく短い周期で逐次取得しつつ，前記同期信号Ｓtrgの発生時に取得した前記可視画像のデータのみを前記三次元形状演算装置４３に出力する。或いは，前記可視画像サンプリング装置４１は，前記同期信号Ｓtrgが発生するごとに２台の前記可視カメラ２１から同時に２種類の前記可視画像のデータを取得し，そのデータを前記三次元形状演算装置４３に出力する。
また，前記熱画像サンプリング装置５１は，時系列で発生する前記同期信号Ｓtrgに同期して，前記サーモカメラ２０から，撮像時点が２種類の前記可視画像と同じである前記熱画像のデータをサンプリングし，そのデータを前記熱変形解析用計算機６１に対して出力する。この熱画像サンプリング装置５１も，前記可視画像サンプリング装置４１と同様にして前記熱画像のデータのサンプリングを行う。
通常は，前記可視画像のデータ及び前記熱画像のデータのサンプリングは同時に行われる。但し，前記可視カメラ２１と前記サーモカメラ２０との間で，撮像からデータ出力までの時間に時間差がある場合，その時間差が打ち消されるように，前記可視画像サンプリング装置４１と前記熱画像サンプリング装置５１との間でデータサンプリングのタイミングが予め調整される。
以上より，前記熱変形測定装置Ｘ１では，前記同期信号Ｓtrgに基づいて撮像時点が同じ複数の前記可視画像及び前記熱画像のデータの組合せが順次サンプリングされる。
【００２１】
前記可視画像ディスプレイ４２は，前記可視画像サンプリング装置４１により前記可視カメラ２１から取得された前記可視画像のデータに基づく画像（前記可視画像）を表示するディスプレイである。
また，前記熱画像ディスプレイ５２は，前記熱画像サンプリング装置５１により前記サーモカメラ２０から取得された前記熱画像のデータに基づく画像（前記熱画像）を表示するディスプレイである。
【００２２】
また，前記三次元形状演算装置４３は，前記被測定物１の表面の１つ又は複数の観測部位の前記撮像時点ごとの三次元座標系での位置，即ち，随時変化する前記被測定物１の三次元形状を算出する装置である。その算出は，前記可視画像サンプリング装置４１によりサンプリングされた２種類の前記可視画像のデータに基づいて，ステレオ画像処理及びデジタル画像相関法の画像処理を行うことにより行われる。
また，前記熱変形解析用計算機６１は，前記観測部位の前記撮像時点ごとの三次元座標系での位置及び温度のデータが対応付けられた三次元熱変形データを生成し，そのデータをハードディスクドライブ等のデータ記憶装置に記録する計算機である。
前記三次元形状演算装置４３及び前記熱変形解析用計算機６１が実行する処理のより具体的な内容については後述する。
また，前記データ入力器６２は，前記熱変形解析用計算機６１に接続されたキーボードやマウスなどの操作入力部である。
また，前記解析画像ディスプレイ６３は，前記熱変形解析用計算機６１に入力されるデータや前記熱変形解析用計算機６１の演算結果を表示するディスプレイである。
【００２３】
次に，図３に示されるフローチャートを参照しつつ，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１により実行される三次元熱変形測定処理の一例について説明する。図３及び以下に示されるステップＳ１，Ｓ２，…は，前記三次元熱変形測定処理において実行される複数の手順（ステップ）の識別符号である。
前記三次元熱変形測定処理において，まず，前記熱変形解析用計算機６１が，前記同期信号Ｓtrgの発生に応じて実行される測定の開始前に，２つの前記可視画像のデータを取得し，後述する観測部位の設定処理及び各観測部位へのマーキング処理を実行する（Ｓ１）。
【００２４】
即ち，ステップＳ１において，前記熱変形解析用計算機６１が，予め定められた特定の前記可視カメラ２１から得られる前記可視画像のデータについて，前記被測定物１における１つ又は複数の観測部位の設定処理及び各観測部位へのマーキング処理を実行する。ここで，前記マーキング処理は，前記可視画像データにおける前記観測部位それぞれに対応する座標のデータに対して前記観測部位の識別情報を設定する処理である。
以下の説明では，便宜上，特定の前記可視カメラ２１が前記第１可視カメラ２１ａであるとする。また，前記第１可視カメラ２１ａから得られる前記可視画像を主可視画像，前記第２可視カメラ２１ｂから得られる前記可視画像を副可視画像と称し，その前記主可視画像のデータについて，前記観測部位の設定処理及びマーキング処理が行われるものとする。  例えば，前記熱変形解析用計算機６１は，前記主可視画像を前記解析用ディスプレイ６３に表示させつつ，ユーザによる前記データ入力器６２に対する操作入力に応じて前記観測部位の座標情報を設定する。例えば，前記熱変形解析用計算機６１は，マウスなどの操作入力に従って，前記被測定物１の表面上の代表する１点又は複数の点を前記観測部位として設定する。前記主可視画像における前記被測定物１の像全体に渡る範囲に多数の前記観測部位を設定することにより，前記被測定物１全体が前記観測部位となる。
なお，前記解析用ディスプレイ６３に表示させる前記主可視画像のデータは，前記可視画像サンプリング装置４１及び前記三次元形状演算装置４３を通じて前記熱変形解析用計算機６１へ伝送される。
【００２５】
一方，前記三次元形状演算装置４３は，前記可視画像のデータを，前記可視画像の全領域が多数に区画された小領域内のデータであるサブセットに区分して管理する。そのため，前記三次元形状演算装置４３は，ステップＳ１において，前記主可視画像のデータにおいて，前記サブセットの自動区分処理を行う。前記サブセットの大きさ及び前記サブセット相互間のオーバーラップ量は，前記三次元形状演算装置４３に予め設定しておく。例えば，前記サブセットの大きさは，Ｘ軸方向２１画素×Ｙ軸方向２１画素程度とし，それらのオーバーラップ量は前記サブセットのサイズの５０％程度とする。
ステップＳ１の処理の終了後，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，前記同期信号Ｓtrgの発生に応じた以下の測定処理（Ｓ２〜Ｓ９）を実行する。
まず，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，それぞれ撮像時点が同じ２つの前記可視画像及び前記熱画像のデータを取得する（Ｓ２）。このステップＳ２で取得される前記可視画像及び前記熱画像のデータは，最初の前記同期信号Ｓtrgの発生に応じて前記可視画像サンプリング装置４１及び前記熱画像サンプリング装置５１によりサンプリングされたデータである。
【００２６】
次に，前記三次元形状演算装置４３は，ステップＳ２で得られた２つの前記可視画像のデータに基づくステレオ画像処理により，前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する（Ｓ３：三次元形状データ算出手順）。
前記ステレオ画像処理による三次元形状のデータの算出方法は周知であるが，以下に，その処理手順を簡単に説明する。
前記三次元形状演算装置４３は，２種類の前記可視画像から，三角測量の原理に基づいて前記被測定物１の三次元形状を求める。前記可視画像を得るための前記可視カメラ２１については，それぞれ光軸の向きや焦点距離などのカメラ内部変数および２台の前記可視カメラ２１ａ及び２１ｂ間の距離（基線距離と呼ぶ）を予め校正作業によって求めておく。このとき，前記被測定物１上の点Ｒに対し，それが前記第１可視カメラ２１ａによって撮像された前記主可視画像上の点Ｐ1と，前記第２可視カメラ２１ｂによって撮像された前記副可視画像上の点Ｐ2とを対応付けることにより，三角測量の原理を適用して前記被測定物１上の点Ｒの三次元座標を求める。
前記主可視画像上の点Ｐ1と前記副可視画像上の点Ｐ2との対応付けは，前記サブセット間の輝度相関値を算出することによって行なう。すなわち，前記主可視画像上の点Ｐ1を，前記主可視画像上に配置されたサブセットＷLの中央点とし，前記副可視画像上で同じ大きさのサブセットＷRを移動させながら順次両者の輝度相関値を算出し，その輝度相関値が最大となる前記サブセットＷRの中央点を，前記副可視画像上の対応点Ｐ2とする。
前記サブセットＷLと前記サブセットＷRとの間の輝度相関値は，例えば，以下に示す（１）式〜（３）式に基づいて算出される。ここで，前記サブセットＷL及び前記サブセットＷRはいずれも縦ｎ画素×横ｍ画素の範囲の方形領域であるとする。
まず，前記サブセットＷLと前記サブセットＷRとの間の類似度の指標となる相互相関値Ｃ1は，次の（１）式により求められる。
【数１】
2010169590.tif 000003
（１）式において，ｎ及びｍは，前記サブセットＷL及び前記サブセットＷRのＹ軸方向及びＸ軸方向各々の画素数，ＩL(ｉ，ｊ)及びＩR(ｉ，ｊ)は，前記サブセットＷL及び前記サブセットＷR各々における点（ｉ，ｊ）の輝度である。
さらに，前記相互相関値Ｃ１を両サブセットの画像の明るさの平均振幅によって正規化した正規化値Ｃ2は，次の（２）式により求められる。
【数２】
2010169590.tif 000004
一方，次の（３）式は，前記サブセットＷLと前記サブセットＷRとの間の相互相関値を明るさの平均値によって正規化した正規化値Ｃ3を算出する式である。
【数３】
2010169590.tif 000005
（３）式において，μL，μRは，前記サブセットＷL及び前記サブセットＷR各々の領域内の輝度の平均値である。
前記三次元形状演算装置４３は，相互相関値の正規化値Ｃ2又はＣ3を，前記サブセットＷLと前記サブセットＷRとの輝度相関値として算出し，その相互相関値が最大となる前記サブセットＷRの位置を求める。
前記サブセットＷRの移動範囲は，予め設定された制約条件の範囲内とする。その制約条件は，エピポーラ拘束条件や視差の連続性に基づく拘束条件等の周知の条件が設定されるが，ここでは説明を省略する。
また，画素単位を下回る高精度の対応点位置算出を行なうため，前記サブセットＷRをまず粗く移動させてそれぞれの位置で前記輝度相関値を求めた後，２次曲面フィッティングやニュートン・ラフソン法などのよく知られた近似計算手法により，前記輝度相関値が最大となる前記サブセットＷRの位置を求める方法もある。
以上のようにして前記輝度相関値が最大となる前記サブセットＷRの位置が決定されれば，その中央点を前記対応点Ｐ2として決定する。
なお、前記輝度相関値Ｃ2又はＣ3を精度よく求めるために，通常，前記被測定物１の表面には，予め不規則な模様，例えば，斑点模様が形成されている。
前記主可視画像上の点Ｐ1及びそれに対応する前記副可視画像上の点Ｐ2が求められれば，三角測量の原理を適用することにより，前記被測定物１上の点Ｒの三次元座標が求められる。これを，前記ステップＳ１においてマーキング処理を施された前記主可視画像上のサブセットＷLの全てに対して実行すれば，前記被測定物１における１つ又は複数の前記観測部位の三次元形状が求まる。
また，前記三次元形状は，前記第１可視カメラ２１ａから得られる前記主可視画像との間で座標の対応関係が既知である。そこで，ステップＳ３において，前記三次元形状演算装置４３は，前記主可視画像上の座標と前記三次元形状との関係を，前記熱変形解析用計算機６１へ伝送する。
【００２７】
ところで，前記ステレオ画像処理による形状測定法は，３つ以上の前記可視画像を用いて前記被測定物１の三次元の形状を測定することにも応用可能である。
即ち，３つ以上の前記可視画像を用いる場合，１つの前記主可視画像と２つ以上の前記副可視画像各々との組合せごとに前述した前記サブセットの対応付けを行い，それら対応付けの結果を統合して前記三次元形状のデータを算出する。統合の方法は種々知られている。
観測部位が２台の前記可視カメラ２１の一方の視野方向からの死角の領域に存在して正しい形状測定ができなくなる状況であっても，３台以上の前記可視カメラ２１を用いることによって正しい形状測定が可能となる。また，２つの前記可視画像相互間の前記サブセットの対応付けに誤りが生じ得るような場合でも，２組以上の前記可視画像の組合せごとに前記サブセットの対応付けを行ってその結果を統合することにより，一部の前記可視画像の組合せについての前記サブセットの対応付けの誤りを排除又は緩和することができる。
但し，通常は，観測部位が２台の前記可視カメラ２１の死角に入らないように装置を調整可能であることが多い。また，前記被測定物１の表面に不規則な模様を付して前記サブセットの対応付けに誤りが生じないようにすることも可能である。従って，通常は，前記可視カメラ２１は２台で十分な場合が多い。
【００２８】
ところで，前記三次元形状と前記サーモカメラ２０から得られる前記熱画像との間の座標の対応関係は，前記熱変形解析用計算機６１により，前記主可視画像と前記熱画像との間での座標の対応関係に基づいて算出される。前記主可視画像と前記熱画像との間の座標の対応関係は，一般に，ホモグラフィと称される座標変換行列によって表すことが出来る。このホモグラフィは，事前の校正測定の結果に基づく計算によって算出することが出来る。
前記校正測定は，例えば以下のようにして行なわれる。
まず，前記サーモカメラ２０および前記第１可視カメラ２１ａの撮像範囲に，画像処理又は視覚を通じて位置を認識できる複数の温度相違点を配置する。この温度相違点は，周囲に対して局所的に温度が異なる点であるが，周囲よりも温度が高くても低くてもよい。この温度相違点は，前記サーモカメラ２０で十分視認できる程度に周囲との温度差を有する点である。また，前記温度相違点は，前記第１可視カメラでも十分視認できるように，可視光領域での輝度もしくは色が周囲と異なる点である。これらの条件を備えた前期温度相違点として，例えば，十分熱せられたニクロム線や，豆電球などが所定位置に配置される。
次に，前記サーモカメラ２０及び前記第１可視カメラ２１ａにより，複数の前記温度相違点を撮像し，得られた前記熱画像と前記主可視画像との間で，前記温度相違点像各々の像の対応付けを行なう。この対応付けは，人の視覚を通じて人手により行なってもよいし，所定の画像処理によって自動的に行なっても良い。
その対応付けの結果から，前記ホモグラフィ行列の各要素の値を算出する。算出方法は周知であり，ここでは説明を省略する。前記ホモグラフィ行列を算出するためには，前記温度相違点の数は最低８点以上必要である。
以上のようにして得られた前記ホモグラフィ行列の情報は，予め前記熱変形解析用計算機６１に設定および記憶される。
【００２９】
ステップＳ４では，前記熱変形解析用計算機６１により，以下の処理が実行される。
即ち，ステップＳ４において，前記熱変形解析用計算機６１は，ステップＳ１で行われたマーキング処理の結果に基づいて，前記主可視画像上での前記観測部位を特定し，前記三次元形状演算装置４３から伝送されたデータに基づいて，前記観測部位の三次元形状を算出する。
次に，前記熱変形解析用計算機６１は，前記ホモグラフィ行列を用いて，ステップＳ２で得られた前記熱画像上の各点の位置を前記主可視画像上の位置に変換したのち，前記三次元形状演算装置４３から伝送されたデータに基づいて，前記三次元形状と前記熱画像で得られた温度データとを対応付ける。こうして得られた三次元形状・温度対応データを，ハードディスクドライブ等のデータ記憶装置に記録する。
【００３０】
以上に示したステップＳ１〜Ｓ４の処理がなされた後，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，予め定められた終了条件の成立を判別（Ｓ９）しつつ，その終了条件が成立するまで以下に示すステップＳ５〜Ｓ８の処理を実行する。ステップＳ５〜Ｓ８の処理は，２番目以降の前記同期信号Ｓtrgが発生して前記熱画像及び前記可視画像のデータがサンプリングされるごとに実行される。
【００３１】
まず，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１が，ステップＳ２と同様に，それぞれ新たな撮像時点における２つの前記可視画像及び前記熱画像のデータを取得する（Ｓ５）。このステップＳ５で取得される前記可視画像及び前記熱画像のデータは，２番目以降の前記同期信号Ｓtrgの発生に応じて順次サンプリングされるデータである。
【００３２】
次に，前記三次元形状演算装置４３が，前記第１可視カメラ２１ａから得られた前回および今回の各撮像時点での前記主可視画像のデータに基づくデジタル画像相関法でのパターン追跡処理を行なうことにより，前記撮像時点ごとの前記主可視画像における前記観測部位の像の前記可視画像上での変位量を算出する（Ｓ６：変位量算出手順）。
前記デジタル画像相関法でのパターン追跡処理は周知であるが，以下に，その処理手順を簡単に説明する。
前記三次元形状演算装置４３は，前回および今回の各撮像時点の前記主可視画像データ間で，前記輝度相関値が高い前記サブセット同士の対応付けを行なう。
即ち，前記三次元形状演算装置４３は，前回の撮像時点で得られた前記主可視画像上の前記サブセットＷL1に対し，今回の撮像時点で得られた前記主可視画像上の前記サブセットＷL2を画像内で移動させながら，前記サブセットＷL1と前記サブセットＷL2との輝度相関値を，相互相関値Ｃ4を求める以下の（４）式に基づき算出する。ここで，前記サブセットＷL1及び前記サブセットＷL2は，いずれも縦ｎ画素×横ｍ画素の範囲の方形領域であるとする。
【数４】
2010169590.tif 000006
（４）式において，ｎ及びｍは，前記サブセットＷL1及び前記サブセットＷL2のＹ軸方向及びＸ軸方向各々の画素数，ＩL1(ｉ，ｊ)及びＩL2(ｉ，ｊ)は，前記サブセットＷL1及び前記サブセットＷL2各々における点（ｉ，ｊ）の輝度，ｕL1，ｕL2は，前記サブセットＷL1及び前記サブセットＷL2各々の領域内の輝度の平均値である。
前記三次元形状演算装置４３は，（４）式に基づく相互相関値Ｃ4を，前記サブセットＷL1と前記サブセットＷL2との輝度相関値として算出し，その輝度相関値が最大となる前記サブセットＷL2の位置を求める。ここで，前記ステップＳ３と同様に，２次曲面フィッティング法やニュートンラフソン法などの既知の近似計算手法を用いて，前記輝度相関値が最大となる前記サブセットＷL2の位置を高精度で求めることも考えられる。
前記輝度相関値が最大となる前記サブセットＷL2の位置が求まると，前記サブセットＷL1と前記サブセットＷL2との画像上の座標の差を求める。通常は，前記サブセットＷL1の中央点の座標と，前記サブセットＷL2の中央点の座標との差を求める。即ち，前回撮像時点から今回撮像時点までの間に前記サブセットＷL1に対応する前記観測部位が変位したものとして，前記サブセットＷL1と前記サブセットＷL2との画像上の座標の差を画像座標上の変位量として算出する。
【００３３】
さらに，前記三次元形状演算装置４３は，ステップＳ３と同様に，ステップＳ５で得られた今回の撮像時点の２つの前記可視画像（前記主可視画像と前記副可視画像）のデータに基づくステレオ画像処理により，前記主可視画像における少なくとも前記観測部位を含む画像領域についての三次元形状のデータを算出する（Ｓ７：三次元形状データ算出手順）。
ステップＳ７において，前記三次元形状演算装置４３は，ステップＳ３と同様に，前記主可視画像上の各点の位置と，ステップＳ７で得られた前記三次元形状データとを対応付けて前記熱変形解析用計算機６１に伝送する。また，前記三次元形状演算装置４３は，ステップＳ６で得られた前記観測部位の像の前記可視画像上での変位量も併せて，前記熱変形解析用計算機６１に伝送する。
【００３４】
次に，前記熱変形解析用計算機６１が，ステップＳ４と同様に，前記観測部位を含む画像領域について，ステップＳ１で得られた前記マーキング処理の結果に基づいて，前記三次元形状演算装置４３から伝送された前記主可視画像データから前記観測部位を抽出し，それに対応する前記三次元形状を抽出する。
次に，前記熱変形解析用計算機６１は，前記三次元形状演算装置４３から伝送されたもうひとつの情報である，前記観測部位の像の前記可視画像上での変位量から，前記観測部位の三次元変位量を求める。
さらに，前記熱変形解析用計算機６１は，ステップＳ５で得られた前記熱画像上の各点の温度データを，前記ホモグラフィ行列を用いて前記主可視画像上の位置での温度データに変換し，さらにその温度データを前記三次元形状データと対応させる。これらの一連のデータ，即ち，前記観測部位の前記三次元形状データ，前記三次元変位量及び前記温度データは，前記熱変形解析用計算機６１により，三次元的位置の対応付けがなされた形状・変位・温度対応データとしてハードディスクドライブ等のデータ記憶装置に記録される（Ｓ８：熱変形データ記録手順）。
以上のようにして，前記三次元形状演算装置４３及び前記熱変形解析用計算機６１は，前記終了条件が成立するまで，新たな前記熱画像及び前記可視画像のデータがサンプリングされるごとに，その新たなサンプリングデータについて前記ステップＳ５〜Ｓ８の処理を繰り返す。
前記終了条件は，例えば，予め定められたタイムアップ時間以上，新たにサンプリングされた前記熱画像及び前記可視画像のデータが得られないことや，ステップＳ５〜Ｓ８の処理が，予め設定された回数だけ繰り返されたことなどが考えられる。
【００３５】
ここで，演算手段の一例である前記熱変形解析用計算機６１によるステップＳ８の手順を熱変形データ記録手順と称し，その際に前記データ記憶装置に記録されるデータを三次元熱変形データと称する。
前記熱変形データ記録手順は，予め設定された前記ホモグラフィと，ステップＳ５でサンプリングされた前記撮像時点ごとの前記熱画像のデータと，ステップＳ７で算出された前記撮像時点ごとの前記三次元形状のデータと，ステップＳ６で算出された前記撮像時点ごとの前記観測部位の像の前記可視画像上での変位量とに基づいて，前記三次元熱変形データを前記データ記憶装置に記憶させる手順である。また，前記三次元熱変形データは，前記観測部位の前記撮像時点ごとの三次元座標系での位置，変位量及び温度のデータが対応付けられたデータである。
なお，前述したように，前記ホモグラフィは，前記三次元形状及び前記熱画像の間の座標変換の情報の一例である。
【００３６】
以上に示したように，前記熱変形測定装置Ｘ１は，前記同期信号Ｓtrgに基づいて撮像時点が同じで視野方向の異なる２つの前記可視画像のデータの組合せを順次サンプリングする（Ｓ２，Ｓ５）。さらに，前記熱変形測定装置Ｘ１は，その可視画像のデータに基づくステレオ画像処理（Ｓ３，Ｓ７）及びデジタル画像相関法でのパターン追跡処理（Ｓ６）により，前記撮像時点ごとの，前記主可視画像上の各点の位置と前記三次元座標が対応付けられたデータ，及び前記観測部位の像の前記主可視画像上の変位量のデータを算出する。両データは，前記撮像時点の変遷に応じた前記被測定物１の三次元の形状変化の情報である。
さらに，前記熱変形測定装置Ｘ１は，前記被測定物１の温度分布を表す前記熱画像のデータも，前記同期信号Ｓtrgに基づいて，前記可視画像のデータのサンプリングと同じタイミングでサンプリングされる（Ｓ２，Ｓ５）。また，前記三次元形状と前記熱画像との座標の対応関係は，前記ホモグラフィを用いた計算により求めることができる。
そして，前記熱変形測定装置Ｘ１は，既知の情報に基づいて，前記撮像時点ごとの前記熱画像のデータから，対応する撮像時点における前記三次元形状内の前記観測部位の位置に対応する温度データを特定する（Ｓ４，Ｓ８）。さらに加えて，前記観測部位の三次元変位量も対応付けられる（Ｓ８）。即ち，ステップＳ４及びＳ８の処理によって記録される前記三次元熱変形データは，時々刻々と変化する前記被測定物１における前記観測部位の温度と三次元の位置及び変位量との正確な対応関係，即ち，前記被測定物１の正確な熱変形特性を示すデータとなる。
【００３７】
また，前記熱変形解析用計算機６１は，前記三次元熱変形データに基づいて，前記被測定物１に関する各種の熱変形解析の機能を備える。
例えば，前記熱変形解析用計算機６１は，前記三次元熱変形データに基づいて，前記撮像時点の経過に応じた前記被測定物１の三次元形状や断面形状の変化の様子を前記解析画像ディスプレイ６３にアニメーション表示させる機能を備える。その際，前記熱変形解析用計算機６１は，前記アニメーション表示において，前記観測部位に相当する部分にその温度に応じた着色を行う。前記アニメーション表示の画面は，前記被測定物１の温度と三次元変形との関係を一見して把握できる画面となる。
また，前記熱変形解析用計算機６１は，前記三次元熱変形データにおける前記観測部位の温度と元の形状からの変位量との関係から，前記観測部位ごとの線膨張係数を算出する機能も備える。
以上に示した熱変形解析の機能は，多様なパターンで温度及び形状が変化する電子デバイスなどの製品の設計を効率化する効果を有する。
【００３８】
次に，図４及び図５を参照しつつ，本発明の第２実施形態に係る熱変形測定装置Ｘ２について説明する。前記熱変形測定装置Ｘ２は，前記熱変形測定装置Ｘ１の応用例であり，前記同期信号Ｓtrgの発生のさせ方が異なる以外は，前記熱変形測定装置Ｘ１と同じ構成及び機能を備えている。以下，前記熱変形測定装置Ｘ２について，前記熱変形測定装置Ｘ１と異なる部分のみについて説明する。なお，図４において，図１に示された構成要素と同じ構成要素については，図１において付された符号と同じ符号が付されている。
図４に示されるように，前記熱変形測定装置Ｘ２は，前記同期信号Ｓtrgを発生させる装置として，前記熱変形測定装置Ｘ１における前記時間監視装置３１の代わりに温度監視装置３２を備えている。
前記温度監視装置３２は，前記サーモカメラ２０から逐次得られる前記熱画像のデータの一部又は全部を，前記熱画像サンプリング装置５１を介して十分に短い周期で逐次取得する。さらに，前記温度監視装置３２は，短周期で得られる前記熱画像のデータが予定された温度状態に達することをトリガとして，前記同期信号Ｓtrgを時系列で発生させる。
【００３９】
図５は，前記温度監視装置３２が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図５に示される例は，前記温度監視装置３２により，前記熱画像のデータに基づく所定の代表温度Ｔxが，予め設定された温度変化幅ΔＴだけ変化した状態に至るごとに前記同期信号Ｓtrgを発生させる例である。
なお，前記温度変化幅ΔＴは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる値が設定されることも考えられる。また，前記代表温度Ｔxが，予め設定された複数の絶対温度のいずれかに至るごとに前記同期信号Ｓtrgを発生させることも考えられる。
【００４０】
前記被測定物１の熱変形を，所定の温度変化が生じるごとに測定したい場合がある。また，前記被測定物１の熱変形を，温度域ごとに異なる温度分解能で測定したい場合もある。前記熱変形測定装置Ｘ２は，そのような場合に利用されれば，必要な測定データのみを効率的に得ることができる。
【００４１】
次に，図６及び図７を参照しつつ，本発明の第３実施形態に係る熱変形測定装置Ｘ３について説明する。前記熱変形測定装置Ｘ３は，前記熱変形測定装置Ｘ１の応用例であり，前記同期信号Ｓtrgの発生のさせ方が異なる以外は，前記熱変形測定装置Ｘ１と同じ構成及び機能を備えている。以下，前記熱変形測定装置Ｘ３について，前記熱変形測定装置Ｘ１と異なる部分のみについて説明する。なお，図６において，図１に示された構成要素と同じ構成要素については，図１において付された符号と同じ符号が付されている。
図６に示されるように，前記熱変形測定装置Ｘ３は，前記同期信号Ｓtrgを発生させる装置として，前記熱変形測定装置Ｘ１における前記時間監視装置３１の代わりに変形監視装置３３を備えている。
前記変形監視装置３３は，前記熱変形解析用計算機６１から逐次得られる前記観測部位の前記三次元変形量の一部又は全部を，十分に短い周期で逐次取得する。さらに，前記変形監視装置３３は，短周期で得られる前記三次元変形量のデータに基づき所定の変形量を逐次算出し，その変形量が予定された変形状態に達することをトリガとして前記同期信号Ｓtrgを時系列で発生させる。
【００４２】
図７は，前記変形監視装置３３が生成する前記同期信号Ｓtrgのタイムチャートの一例である。
図７に示される例は，前記熱変形解析用計算機６１により得られる前記三次元変位量のデータに基づき逐次算出される前記変形量αが，予め設定された変形量変化幅Δαだけ変化した状態に至るごとに前記同期信号Ｓtrgを発生させる例である。
前記変形監視装置３３は，例えば，予め設定された１つの前記観測部位の三次元方向の位置の変化幅を前記変形量αとして算出する。その場合、前記変形監視装置３３は，前記熱変形解析用計算機６１から得られた前記観測部位の前記三次元変位量のうち，特定の１つの部位のデータだけを取り出して，前記変形量αとして算出する。
また，前記変形監視装置３３が，予め設定された複数の前記観測部位の三次元方向の位置の変化幅の平均値や最大値等を前記変位量αとして算出することも考えられる。
さらには，前記変形監視装置３３が，予め設定された１つの前記観測部位の像の前記主可視画像上の変位量，或いは予め設定された複数の前記観測部位の像の前記主可視画像上の変位量の平均値や最大値等を前記変形量αとして算出することも考えられる。
なお，前記変形量変化幅Δαは，毎回一定である場合の他，前記同期信号Ｓtrgの発生回数に応じて異なる値が設定されることも考えられる。また，前記変形量αが，予め設定された複数の絶対値のいずれかに至るごとに前記同期信号Ｓtrgを発生させることも考えられる。
【００４３】
前記被測定物１の熱変形の測定において，前記被測定物１に所定の形状変化が生じるごとにその熱変形のデータを測定したい場合がある。また，前記被測定物１の熱変形を，形状変化の大きさに応じて異なる分解能で測定したい場合もある。前記熱変形測定装置Ｘ３は，そのような場合に利用されれば，必要な測定データのみを効率的に得ることができる。
また，前記被測定物１の熱変形の測定において，オペレータが前記被測定物１の温度や形状変化の状況を監視しながら任意のタイミングで熱変形のデータを測定したい場合もある。
そのような場合，例えば，前記熱変形測定装置Ｘ１において，前記時間監視装置３１の代わりに，前記熱変形解析用計算機６１が，前記データ入力器６２に対する所定の信号発生のための操作入力に応じて，前記同期信号Ｓtrgを発生させることも考えられる。前記操作入力は，例えば，マウスボタンのクリック操作やキーボードにおける所定の操作キーの押下操作などである。
【００４４】
以上に示した各実施形態における各構成要素による機能分担はあくまで一例であり，他の実施形態も種々考えられる。
例えば，前記可視画像サンプリング装置４１の機能が前記三次元形状演算装置４３に組み込まれることや，前記時間監視装置３１の機能が前記三次元形状演算装置４３又は前記熱解析用計算機６１に組み込まれること等が考えられる。
また，前記温度監視装置３２の機能が前記熱画像サンプリング装置５１に組み込まれることや，前記可視画像サンプリング装置４１及び前記変形監視装置３３の機能が前記三次元形状演算装置４３に組み込まれることも考えられる。
また，前記可視カメラ２１が３台以上設けられることや，前記サーモカメラ２０及び複数の前記可視カメラ２１が図１に示される状態とは異なる位置関係で配置されることも考えられる。
【産業上の利用可能性】
【００４５】
本発明は，被測定物の温度変化に応じた三次元の形状変化を測定する方法及び装置に利用可能である。
【符号の説明】
【００４６】
Ｘ１，Ｘ２，Ｘ３：熱変形測定装置
１    ：被測定物
１１  ：加熱・冷却プレート
１２  ：温度制御装置
２０  ：サーモカメラ
２１  ：可視カメラ
３０  ：トリガ信号発生タイミング外部入力装置
３１  ：時間監視装置
３２  ：温度監視装置
３３  ：変形監視装置
４１  ：可視画像サンプリング装置
４２  ：可視画像ディスプレイ
４３  ：三次元形状演算装置
５１  ：熱画像サンプリング装置
５２  ：熱画像ディスプレイ
６１  ：熱変形解析用計算機
６２  ：データ入力器
６３  ：解析画像ディスプレイ
Ｓ１，Ｓ２，…：処理手順（ステップ）
【図１】
2010169590.tif 000007
【図２】
2010169590.tif 000008
【図３】
2010169590.tif 000009
【図４】
2010169590.tif 000010
【図５】
2010169590.tif 000011
【図６】
2010169590.tif 000012
【図７】
2010169590.tif 000013