(57)【要約】【課題】左右画像に対して空間領域での相関処理を用いてステレオマッチングによる対応点を求める場合、対応点中に誤対応点が含まれる可能性を矮小化して、信頼性の高い二次元又は三次元計測を可能とする画像測定装置を提供すること。【解決手段】画像形成部１２により形成された捜索画像１４において、探索データブロック設定部１６より設定された基準データブロックと対応関係となる対応捜索画像領域２０を求める捜索対応検出部１９と、対応捜索画像領域２０を用いて捜索画像１４中に基準データブロック１７に相当する逆対応データブロック２２を設定し、基準画像１３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像１３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する逆対応判別部２１とを備えている。【選択図】  図１
2004184240.tif 000002
【特許請求の範囲】
【請求項１】
一対のステレオ画像に関して第１解像度の第１基準画像と第１捜索画像を形成すると共に、前記第１解像度より高い第２解像度の第２基準画像と第２捜索画像を形成する画像形成部と；
前記第１基準画像に第１基準データブロックを設定し、前記第２基準画像に、前記第２解像度に対応する画素データを有する第２基準データブロックを設定すると共に、前記第２捜索画像に、前記第２解像度に対応する画素データを有する第２捜索データブロックを設定する探索データブロック設定部と；
前記第１捜索画像中において前記第１基準データブロックと対応関係となる第１対応捜索画像領域を求め、前記第２捜索画像中の前記第２捜索データブロックにおいて、前記第２基準データブロックと対応関係となる第２対応捜索画像領域を求める捜索対応検出部と；
前記第２対応捜索画像領域を用いて前記第２捜索画像中に前記第２基準データブロックに相当する逆対応データブロックを設定し、前記第２基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記第２基準画像において前記逆対応基準画像領域と前記第２基準データブロックとが一致するか判定する逆対応判別部と；
を備え、前記逆対応判別部により前記逆対応基準画像領域と前記第２基準データブロックとが一致すると判定された第２対応捜索画像領域を用いて、前記第２基準画像と前記第２捜索画像との位置関係を求め、求められた位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なうように構成された画像測定装置。
【請求項２】
前記捜索対応検出部は、前記第１基準画像と前記第２基準画像の位置関係、前記第１捜索画像と前記第２捜索画像の位置関係、並びに前記第１対応捜索画像領域を用いて、前記第２捜索データブロックにおける前記第２対応捜索画像領域を捜索する請求項１に記載の画像測定装置。
【請求項３】
前記画像形成部は、さらに、第１基準画像、第１捜索画像、第２基準画像及び第２捜索画像に、画像先鋭化、コントラスト強調、エッジ強調の少なくともいずれか一つの前処理を施す画像処理部を備える請求項１乃至請求項２のいずれか１項に記載の画像測定装置。
【請求項４】
前記画像形成部は、さらに、前記一対のステレオ画像に関して前記第２解像度より高い少なくとも１種類の第３解像度の第３基準画像と第３捜索画像を形成し；
前記探索データブロック設定部は、さらに、第３基準画像１３ｃに、前記第３解像度に対応する画素データを有する第３基準データブロックを設定すると共に、前記第３捜索画像に、前記第３解像度に対応する画素データを有する第３捜索データブロックを設定し；
前記捜索対応検出部は、さらに、前記第３捜索画像中の前記第３捜索データブロックにおいて、前記第２対応捜索画像領域を用いて、前記第３基準データブロックと対応関係となる第３対応捜索画像領域を求め；
前記逆対応判別部は、逆対応データブロックとして、前記第３対応捜索画像領域を用いて前記第３捜索画像中に前記第３基準データブロックに相当する態様で設定し、前記第３基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記第３基準画像において前記逆対応基準画像領域と前記第３基準データブロックとが一致するか判定し；
前記逆対応判別部で前記逆対応基準画像領域と前記第３基準データブロックとが一致すると判定された第３対応捜索画像領域を用いて、前記第３基準画像と前記第３捜索画像との位置関係を求め、求められた位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なうように構成された請求項１乃至請求項３のいずれか１項に記載の画像測定装置。
【請求項５】
前記画像形成部は、さらに、前記一対のステレオ画像に関して前記第１解像度と前記第２解像度の中間解像度の少なくとも１種類の第４解像度の第４基準画像と第４捜索画像を形成し；
前記探索データブロック設定部は、さらに、前記第４基準画像に、前記第４解像度に対応する画素データを有する第４基準データブロックを設定すると共に、前記第４捜索画像に、前記第４解像度に対応する画素データを有する第４捜索データブロックを設定し；
前記捜索対応検出部は、さらに第１捜索画像と第２捜索画像で前記第１及び第２対応捜索画像領域を求める中間段階で、前記第４捜索画像中の前記第４捜索データブロックにおいて、前記第１対応捜索画像領域を用いて前記第４基準データブロックと対応関係となる第４対応捜索画像領域を求める；
と共に、前記探索データブロック設定部は、前記第２対応捜索画像領域を設定する際に前記第４対応捜索画像領域を用いる請求項１乃至請求項３のいずれか１項に記載の画像測定装置。
【請求項６】
一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって；
前記一対のステレオ画像に関して第１解像度の第１基準画像と第１捜索画像を形成する工程と；
前記第１基準画像に、前記第１解像度に対応する画素データを有する第１基準データブロックを設定する工程と；
前記第１捜索画像中において前記第１基準データブロックと対応関係となる第１対応捜索画像領域を求める工程と；
前記一対のステレオ画像に関して、前記第１解像度より高い第２解像度の第２基準画像と第２捜索画像を形成する工程と；
前記第２基準画像に、前記第２解像度に対応する画素データを有する第２基準データブロックを設定する工程と；
前記第２捜索画像に、前記第２解像度に対応する画素データを有する第２捜索データブロックを設定すると共に、前記第１対応捜索画像領域を用いて前記第２捜索データブロックを設定する工程と；
前記第２捜索画像中の前記第２捜索データブロックにおいて、前記第２基準データブロックと対応関係となる第２対応捜索画像領域を求める工程と；
前記第２対応捜索画像領域を用いて前記第２捜索画像中に、前記第２基準データブロックに相当する逆対応データブロックを設定する工程と；
前記第２基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記第２基準画像において前記逆対応基準画像領域と前記第２基準データブロックとが一致するか判定する工程と；
前記逆対応基準画像領域と前記第２基準データブロックとが一致すると判定された第２対応捜索画像領域を用いて、前記第２基準画像と前記第２捜索画像との位置関係を利用して、前記一対のステレオ画像に関して二次元又は三次元測定を行なう工程と；
を備える画像測定方法。
【請求項７】
一対のステレオ画像に関して基準画像と捜索画像を形成する画像形成部と；
前記基準画像に大きさの異なる複数の基準データブロックを有する基準データブロック群を設定すると共に、前記捜索画像に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群を設定する探索データブロック設定部と；
前記基準画像の各大きさの個別基準データブロックを基準として、前記捜索画像中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域を求める捜索対応検出部と；
前記個別対応捜索画像領域を用いて、前記捜索画像中の個別捜索データブロックに相当する逆対応個別データブロックを設定し、前記基準画像において前記逆対応個別データブロックと対応関係となる逆対応個別基準画像領域を求め、前記基準画像において前記逆対応個別基準画像領域と前記個別基準データブロックとが一致するか判定する逆対応判別部と；
を備え、前記逆対応判別部により前記逆対応個別基準画像領域と前記個別基準データブロックとが一致すると判定された個別対応捜索画像領域を用いて、前記基準画像と前記捜索画像との位置関係を求め、求められた位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なうように構成された画像測定装置。
【請求項８】
一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって；
前記一対のステレオ画像に関して基準画像と捜索画像を形成する工程と；
前記基準画像に大きさの異なる複数の基準データブロックを有する基準データブロック群を設定すると共に、前記捜索画像に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群を設定する工程と；
前記基準画像の各大きさの個別基準データブロックを基準として、前記捜索画像中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域を求める工程と；
前記個別対応捜索画像領域を用いて、前記捜索画像中の個別捜索データブロックに相当する逆対応個別データブロックを設定し、前記基準画像において前記逆対応個別データブロックと対応関係となる逆対応個別基準画像領域を求め、前記基準画像において前記逆対応個別基準画像領域と前記個別基準データブロックとが一致するか判定する逆対応判別工程と；
前記逆対応判別工程で前記逆対応個別基準画像領域と前記個別基準データブロックとが一致すると判定された個別対応捜索画像領域を用いて、前記基準画像と前記捜索画像との位置関係を求める位置対応確定工程と；
前記位置対応確定工程で求められた位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なう測定工程と；
を備える画像測定方法。
【請求項９】
一対のステレオ画像に関して特徴抽出処理を施して、基準画像と捜索画像を形成する画像形成部と；
前記基準画像に基準データブロックを設定すると共に、前記捜索画像に捜索データブロックを設定する探索データブロック設定部と；
前記基準画像の基準データブロックを基準として、前記捜索画像中の前記捜索データブロックにおいて対応関係となる対応捜索画像領域を求める捜索対応検出部と；
前記捜索対応検出部で求められた前記捜索画像中の前記対応捜索画像領域を用いて、前記捜索画像中に前記対応捜索画像領域と対応関係となる逆対応データブロックを設定し、前記基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記基準画像において前記逆対応基準画像領域と前記基準データブロックとが一致するか判定する逆対応判別部と；
を備え、前記逆対応判別部により前記逆対応基準画像領域と前記基準データブロックとが一致したと判定した、基準データブロックと対応する対応捜索画像領域との位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なうように構成された画像測定装置。
【請求項１０】
一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって；
前記一対のステレオ画像に関して特徴抽出処理を施して、基準画像と捜索画像を形成する工程と；
前記基準画像に基準データブロックを設定すると共に、前記捜索画像に捜索データブロックを設定する工程と；
前記基準画像の基準データブロックを基準として、前記捜索画像中の前記捜索データブロックにおいて対応関係となる対応捜索画像領域を求める工程と；
前記捜索対応検出部で求められた前記捜索画像中の前記対応捜索画像領域を用いて、前記捜索画像中に前記対応捜索画像領域と対応関係となる逆対応データブロックを設定し、前記基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記基準画像において前記逆対応基準画像領域と前記基準データブロックとが一致するか判定する逆対応判別工程と；
前記逆対応判別部が前記逆対応基準画像領域と前記基準データブロックとが一致したと判定した、基準データブロックと対応する対応捜索画像領域との位置関係を利用して前記一対のステレオ画像の位置関係を測定する測定工程と；
を備える画像測定方法。
【請求項１１】
一対のステレオ画像に関して、特徴抽出処理によって、第１解像度の第１基準画像と第１捜索画像を形成すると共に、当該第１解像度より高い第２解像度の第２基準画像と第２捜索画像を形成する画像形成部と；
前記第１解像度に対応させて粗探索を行ない、次に前記第２解像度に対応させて密探索を行なう階層化探索管理部と；
前記粗探索の際には、前記第１基準画像に第１基準データブロックを設定すると共に前記第１捜索画像に第１捜索データブロックを設け、前記密探索用の際には、前記第２基準画像に第２基準データブロックを設定すると共に前記第２捜索画像に第２捜索データブロックを設定する探索データブロック設定部と；
前記第１基準画像中の第１捜索データブロックにおいて前記第１基準データブロックと対応関係となる第１対応捜索画像領域を求め、前記第１基準データブロックと対応する第１対応捜索画像領域の位置関係を利用して、第２捜索画像中の第２捜索データブロックにおいて前記第２基準データブロックと対応関係となる第２対応捜索画像領域を求める捜索対応検出部と；
前記捜索対応検出部で求められた第２捜索画像中の第２対応捜索画像領域を基準として、これに対応関係となる逆対応データブロックを設定し、前記第２基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記第２基準画像において前記逆対応基準画像領域と前記第２基準データブロックとが一致するか判定する逆対応判別部と；
とを備え、前記逆対応判別部により前記逆対応基準画像領域と前記第２基準データブロックとが一致すると判定された、第２基準データブロックと第２対応捜索画像領域との位置関係を利用して前記一対のステレオ画像に撮影された対象物の測定を行なうように構成された画像測定装置。
【請求項１２】
一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって；
前記一対のステレオ画像に関して、特徴抽出処理によって、第１解像度の第１基準画像と第１捜索画像を形成すると共に、当該第１解像度より高い第２解像度の第２基準画像と第２捜索画像を形成する画像形成工程と；
前記第１解像度に対応させて粗探索を行なう際に、前記第１基準画像に第１基準データブロックを設定すると共に前記第１捜索画像に第１捜索データブロックを設定する粗探索データブロック設定工程と；
前記第１基準画像中の第１捜索データブロックにおいて、前記第１基準データブロックと対応関係となる第１対応捜索画像領域を求める粗探索対応検出工程と；
前記第２解像度に対応させて密探索を行なう際に、前記第２基準画像に第２基準データブロックを設定すると共に前記第２捜索画像に第２捜索データブロックを設定する密探索データブロック設定工程と；
前記第１基準データブロックと対応する第１対応捜索画像領域の位置関係を利用して、第２捜索画像中の第２捜索データブロックにおいて前記第２基準データブロックと対応関係となる対応捜索画像領域を求める密探索対応検出工程と；
前記密探索対応検出工程で求められた第２捜索画像中の第２対応捜索画像領域を基準として、これに対応関係となる逆対応データブロックを設定し、前記第２基準画像において前記逆対応データブロックと対応関係となる逆対応基準画像領域を求め、前記第２基準画像において前記逆対応基準画像領域と前記第２基準データブロックとが一致するか判定する逆対応判別工程と；
前記逆対応判別工程で前記逆対応基準画像領域と前記第２基準データブロックとが一致すると判定された、第２基準データブロックと第２対応捜索画像領域との位置関係を利用して前記一対のステレオ画像の位置関係を測定する測定工程と；
を備える画像測定方法。
【請求項１３】
前記請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において、さらに；
前記一対のステレオ画像中のマーク又は特徴点を抽出し、抽出されたマーク又は特徴点を用いて射影変換処理によりステレオ画像中のマーク又は特徴点の概略位置を求める概略位置測定部を設け；
前記概略位置測定部が求めたステレオ画像中のマーク又は特徴点の概略位置情報を用いて、前記探索データブロック設定部によりデータブロックを設定するように構成された画像測定装置。
【請求項１４】
前記請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において；
前記一対のステレオ画像は、電子ビームのビーム傾斜機構又は撮影される対象物の傾斜を行う試料傾斜機構のいずれかが設けられた走査型電子顕微鏡を用いて撮影されたものであり；
前記画像測定装置は、ビーム傾斜機構又は試料傾斜機構による傾斜角度に基づき、座標変換を施して、前記一対のステレオ画像に撮影された対象物の測定結果を求めるように構成された画像測定装置。
【請求項１５】
前記請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において；
前記一対のステレオ画像は、光学顕微鏡の観察光軸傾斜機構又は光学顕微鏡で観察する対象物の傾斜を行う試料傾斜機構のいずれかが設けられた光学電子顕微鏡を用いて撮影されたものであり；
前記画像測定装置は、観察光軸傾斜機構又は試料傾斜機構による傾斜角度に基づき、座標変換を施して、前記一対のステレオ画像に撮影された対象物の測定結果を求めるように構成された画像測定装置。
【請求項１６】
前記請求項１乃至請求項５、請求項７、請求項９、請求項１１、請求項１４乃至請求項１６のいずれか１項に記載の画像測定装置と；
前記画像測定装置で得られた、前記一対のステレオ画像に撮影された対象物の測定結果から、当該対象物の二次元又は三次元の画像を再構築する画像再構築部と；
を備える画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、同一対象物に関して異なる撮影方向から重複するように撮影した左右画像を用いて、左右画像に撮影された対象物の二次元又は三次元計測を行う画像測定装置及び画像測定方法に関する。また、本発明は、例えば撮影機器として電子顕微鏡や光学式顕微鏡に接眼されたカメラを用いる場合に、観察対象となる対象物を傾斜させたり、或いは観察対象物を観察する電子線や光線などのビームを分割または傾斜させて左右画像を撮影し、左右画像に撮影された対象物の二次元又は三次元計測を行う画像測定装置及び画像測定方法に関する。
【０００２】
【従来の技術】
同一対象物に関して異なる撮影方向から重複するように撮影した左右画像を用いて、左右画像に撮影された対象物の二次元又は三次元計測を行うことは、例えば航空写真測量や衛星画像測量において行なわれている。航空写真測量や衛星画像測量の分野では、左右画像に対して空間領域での相関処理を用いてステレオマッチングを行い、次にステレオの原理により左右画像に撮影された対象物の二次元又は三次元計測を行っている。
【０００３】
他方、デジタルカメラを使用して対象物の二次元又は三次元計測を行う地上写真測量の分野が注目されている。また、半導体・生体の臓器や細胞のように顕微鏡レベルで形状測定が行なわれている分野がある。このような微細構造物の分野では、例えば触針式で表面形状のプロフィール測定を行なったり、或いはレーザビームのように微小領域の距離測定を行なうプローブを平面的に走査して、平面形状や三次元形状を測定している。しかし、測定対象物の形状測定に平面的な走査が必要とされる場合には、測定時間が長くなるため、工業的な製品検査のような用途では、製品検査コストが増大するという課題があった。
【０００４】
しかしながら、左右画像を用いて、オペレータが立体視を行なうことが可能に構成された顕微鏡や市販のデジタルカメラを利用する測定器が要望されている。その理由の第１は、オペレータが立体視に習熟していないため、立体視できるように左右画像を表示する表示機能に対する需要が少ないことである。第２の理由は、顕微鏡や市販のデジタルカメラの撮影に用いられるレンズは、航空写真測量用に用いられる撮影レンズに比較して格段に収差が大きい。そこで、対象物の凸凹形状に起因する撮影画像上での変位に比較して、レンズ収差による画像の歪みの方が大きいため、これらで撮影された左右画像を用いて、対象物の二次元又は三次元計測を行うことはできない。精々、対象物の概括的な凸凹プロフィールの把握をする程度に適用されているに過ぎないのが、現状である。
【０００５】
そこで、本発明者は鋭意研究開発を重ねた結果、市販のデジタルカメラや顕微鏡を介して撮影された対象物の撮影画像であっても、レンズ収差の補償を適切に行なうことで、レンズ収差による画像の歪みを極小化して、航空写真測量用に用いられる撮影レンズ程度にすることを実現した。
【０００６】
【発明が解決しようとする課題】
しかし、左右画像に対して空間領域での相関処理を用いてステレオマッチングによる対応点を求める場合、対応点と似たような画像領域がある場合や、オクルージョン（片方の画像に写っていても、もう片方の画像にない場合）があった場合には、誤対応をおこしてしまう、という課題がある。
【０００７】
そして、誤対応は、対象物に関する三次元計測を信頼性の無いものにするだけでなく、三次元画像を再構築しようとする際、誤対応点によって正確な三次元像が再構築できない（形状がわからない）、という課題をもたらす。例えば、一対の左右画像中に数十〜数百点存在する対応点のうち、対応する位置を極端に間違えた対応点が数点でも存在すると、ステレオマッチングで得られた被測定物の形状が現実の被測定物の形状と異なったものになるという課題がある。
【０００８】
更に、例えばパターン形成された半導体ウェハ等のように、画像中に繰返しパターンのような類似点が複数存在する場合には、左右画像に対して空間領域での相関処理を用いてステレオマッチングによる対応点を求める場合、本来の対応点と異なる場所にある類似点を、対応点と誤認してしまうという課題がある。また、例えばパターン形成前の半導体ウェハ等のように、特徴点の点数が少なく、かつ特徴点の形状や色彩に個性が乏しいため、特徴点相互の判別を容易に行なうことが困難な場合も、本来の対応点と異なる場所にある類似点を、対応点と誤認してしまうという課題がある。
【０００９】
【特許文献１】特開平１０−３２０５６０号公報
【特許文献２】特開平１０−３１８７１５号公報
【００１０】
【発明の目的】
本発明は、上述する課題を解決するもので、第１の目的は、左右画像に対して空間領域での相関処理を用いてステレオマッチングによる対応点を求める場合、対応点中に誤対応点が含まれる可能性を矮小化して、信頼性の高い二次元又は三次元計測を可能とする画像測定装置、画像測定方法を提供することである。
第２の目的は、半導体のように比較的特徴に乏しい対象物や繰り返しの多い類似パターンに対しても、高い信頼性でステレオマッチングによる対応点を求めて、対象物の計測を可能とする画像測定装置、画像測定方法を提供することにある。
【００１１】
【課題を解決するための手段】
第１の目的を達成する本発明の画像測定装置は、図１に示すように、一対のステレオ画像６に関して第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成すると共に、第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する画像形成部１２と、第１基準画像１３ａに第１基準データブロック１７ａを設定し、第２基準画像１３ｂに、第２解像度に対応する画素データを有する第２基準データブロック１７ｂを設定すると共に、第２捜索画像１４ｂに、第２解像度に対応する画素データを有する第２捜索データブロック１８ｂを設定する探索データブロック設定部１６と、第１捜索画像１４ａ中において第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域２０ａを求め、第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて、第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域２０ｂを求める捜索対応検出部１９と、第２対応捜索画像領域２０ｂを用いて第２捜索画像１４ｂ中に第２基準データブロック１７ｂに相当する逆対応データブロック２２を設定し、第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する逆対応判別部２１とを備えている。そして、逆対応判別部２１で逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２対応捜索画像領域２０ｂを用いて、第２基準画像１３ｂと第２捜索画像１４ｂとの位置関係を求め、測定部２４により、求められた位置関係を利用して一対のステレオ画像に撮影された対象物の測定を行なう。
【００１２】
このように構成された本発明の画像測定装置によれば、画像形成部１２は一対のステレオ画像に対する基準画像と捜索画像を生成するもので、例えば低い解像度から高い解像度の順で逐次第１及び第２の基準画像１３ａ、１３ｂと捜索画像１４ａ、１４ｂを生成する。基準画像１３が一対のステレオ画像６の一方に設けられると、捜索画像１４は他方に設けられる。探索データブロック設定部１６は、基準画像１３に対する基準データブロック１７と、捜索画像１４に対する捜索データブロック１８を設定する。捜索対応検出部１９は、基準画像１３に設けられた基準データブロック１７に対応する捜索データブロック１８を捜索画像１４上で捜索する。逆対応判別部２１は、捜索対応検出部１９で捜索された第２対応捜索画像領域２０ｂが、第２基準データブロック１７ｂと対応すべきものか、バックマッチングにより判別するもので、逆対応データブロック２２と逆対応基準画像領域２３を用いている。逆対応判別部２１で、逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致する対応点を抽出することで、基準画像１３と捜索画像１４との間で位置対応を正確に求めることができる。そして、逆対応判別部２１で真と判断された第２対応捜索画像領域２０ｂを用いることで、測定部２４では一対のステレオ画像に撮影された対象物の二次元又は三次元測定を正確に行なうことができる。
【００１３】
本発明の画像測定装置において、好ましくは、捜索対応検出部１９は、第１基準画像１３ａと第２基準画像１３ｂの位置関係、第１捜索画像１４ａと第２捜索画像１４ｂの位置関係、並びに第１対応捜索画像領域２０ａを用いて、第２捜索データブロック１８ｂにおける第２対応捜索画像領域２０ｂを捜索する構成とするとよい。すると、第２対応捜索画像領域２０ｂは、第１基準画像１３ａと第２基準画像１３ｂの位置関係、第１捜索画像１４ａと第２捜索画像１４ｂの位置関係、並びに第１対応捜索画像領域２０ａを用いて定められるので、捜索対応検出部１９の捜索範囲が限定されるので、計算時間が短くてすむ。また、第２捜索データブロック１８ｂに第１対応捜索画像領域２０ａの情報が含まれるので、繰り返しパターンの多い対象物でも、探索データブロック設定部１６により繰返し周期に応じた第２捜索データブロック１８ｂの領域設定をすることで、逆対応判別部２１と併用して対応点の誤認がすくなる。
【００１４】
本発明の画像測定装置において、好ましくは、画像形成部１２は、さらに、第１基準画像１３ａ、第１捜索画像１４ａ、第２基準画像１３ｂ及び第２捜索画像１４ｂに、画像先鋭化、コントラスト強調、エッジ強調の少なくともいずれか一つの前処理を施す画像処理部１５を備える構成とするとよい。画像処理部１５により前処理を施すと、一対のステレオ画像に含まれる画像ノイズが少なくなり、捜索対応検出部１９や逆対応判別部２１での画像相関演算が適格に行なえる。
【００１５】
本発明の画像測定装置において、好ましくは、図１３（Ａ）に示すように、画像形成部１２は、さらに、一対のステレオ画像６に関して第２解像度より高い少なくとも１種類の第３解像度の第３基準画像１３ｃと第３捜索画像１４ｃを形成するように構成される。探索データブロック設定部１６は、さらに、第３基準画像１３ｃに、第３解像度に対応する画素データを有する第３基準データブロック１７ｃを設定すると共に、第３捜索画像１４ｃに、第３解像度に対応する画素データを有する第３捜索データブロック１８ｃを設定するように構成される。捜索対応検出部１９は、さらに、第３捜索画像１４ｃ中の第３捜索データブロック１８ｃにおいて、第２対応捜索画像領域２０ｂを用いて、第３基準データブロック１７ｃと対応関係となる第３対応捜索画像領域２０ｃを求めるように構成される。逆対応判別部２１は、逆対応データブロック２２として、第３対応捜索画像領域２０ｃを用いて第３捜索画像１４ｃ中に第３基準データブロック１７ｃに相当する態様で設定し、第３基準画像１３ｃにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第３基準画像１３ｃにおいて逆対応基準画像領域２３と第３基準データブロック１７ｃとが一致するか判定するように構成される。測定部２４は、逆対応判別部２１で逆対応基準画像領域２３と第３基準データブロック１７ｃとが一致すると判定された第３対応捜索画像領域２０ｃを用いて、第３基準画像１３ｃと第３捜索画像１４ｃとの位置関係を求め、求められた位置関係を利用して一対のステレオ画像６に撮影された対象物の測定を行なう構成とするとよい。
【００１６】
このように構成すると、第２解像度よりも高解像度の第３解像度で、第３基準画像１３ｃと第３捜索画像１４ｃとの位置関係が得られるので、高精度でステレオ画像に撮影された対象物の測定を行なうことができる。また、第１解像度と第２解像度の２段階とする場合に比較して、第１解像度、第２解像度、第３解像度の３段階で演算されるので、捜索対応検出部１９と逆対応判別部２１での画像相関を求める演算量が少なくてすみ、画像演算処理時間が短縮される。
【００１７】
本発明の画像測定装置において、好ましくは、図１３（Ｂ）に示すように、画像形成部１２は、さらに、一対のステレオ画像６に関して第１解像度と第２解像度の中間解像度の少なくとも１種類の第４解像度の第４基準画像１３ｄと第４捜索画像１４ｄを形成するように構成される。探索データブロック設定部１６は、さらに、第４基準画像１３ｄに、第４解像度に対応する画素データを有する第４基準データブロック１７ｄを設定すると共に、第４捜索画像１４ｄに、第４解像度に対応する画素データを有する第４捜索データブロック１８ｄを設定するように構成される。捜索対応検出部１９は、さらに第１捜索画像１４ａと第２捜索画像１４ｂで第１及び第２対応捜索画像領域２０ａ、２０ｂを求める中間段階で、第４捜索画像１４ｄ中の第４捜索データブロック１８ｄにおいて、第１対応捜索画像領域２０ａを用いて第４基準データブロック１７ｄと対応関係となる第４対応捜索画像領域２０ｄを求めるように構成される。そして、探索データブロック設定部１６は、第２対応捜索画像領域２０ｂを設定する際に第４対応捜索画像領域２０ｄを用いるように構成される。
【００１８】
このように構成すると、第１解像度と第２解像度の中間解像度の第４解像度で、第４基準画像１３ｄと第４捜索画像１４ｄとの位置関係が得られるので、第１解像度と第２解像度の２段階とする場合に比較して、第１解像度、第４解像度、第２解像度の３段階で演算されるので、捜索対応検出部１９と逆対応判別部２１での画像相関を求める演算量が少なくてすみ、画像演算処理時間が短縮される。なお、第４解像度としては、複数の解像度を用いて、第１解像度と第２解像度の中間解像度を多段に設定しても良い。
【００１９】
第１の目的を達成する本発明の画像測定方法は、図１、図７に示すように、一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって、画像形成部１２が一対のステレオ画像６に関して第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成する工程（Ｓ１００）と、探索データブロック設定部１６が第１基準画像１３ａに、第１解像度に対応する画素データを有する第１基準データブロック１７ａを設定する工程（Ｓ１０２）と、捜索対応検出部１９が第１捜索画像１４ａ中において第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域２０ａを求める工程（Ｓ１０６）を有する。次に、画像形成部１２が一対のステレオ画像６に関して、第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する工程（Ｓ１０８）と、探索データブロック設定部１６が第２基準画像１３ｂに、第２解像度に対応する画素データを有する第２基準データブロック１７ｂを設定する工程（Ｓ１１０）と、探索データブロック設定部１６が第２捜索画像１４ｂに、第２解像度に対応する画素データを有する第２捜索データブロック１８ｂを設定すると共に、第１対応捜索画像領域２０ａを用いて第２捜索データブロック１８ｂを設定する工程（Ｓ１１２）と、捜索対応検出部１９が第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて、第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域２０ｂを求める工程（Ｓ１１４）を有する。次に、逆対応判別部２１が第２対応捜索画像領域２０ｂを用いて第２捜索画像１４ｂ中に、第２基準データブロック１７ｂに相当する逆対応データブロック２２を設定する工程（Ｓ１１６）と、逆対応判別部２１が第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する工程（Ｓ１１８、Ｓ１２０）と、測定部２４が逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２対応捜索画像領域２０ｂを用いて、第２基準画像１３ｂと第２捜索画像１４ｂとの位置関係を求め、一対のステレオ画像６に撮影された対象物の測定を行なう工程（Ｓ１２２〜Ｓ１２８）とを有する。
【００２０】
本発明の画像測定方法においては、画像測定装置の発明にて説明した各構成要素による作用が、各構成要素と対応する工程にて発現される。
【００２１】
第１の目的を達成する本発明の第２の画像測定装置は、図１５に示すように、一対のステレオ画像６に関して基準画像１３と捜索画像１４を形成する画像形成部１２と、基準画像１３に大きさの異なる複数の基準データブロックを有する基準データブロック群３７を設定すると共に、捜索画像１４に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群３８を設定する探索データブロック設定部３６と、基準画像１３の各大きさの個別基準データブロックを基準として、捜索画像１４中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域４０を求める捜索対応検出部３９と、個別対応捜索画像領域４０を用いて、捜索画像１４中の個別捜索データブロックに相当する逆対応個別データブロック４２を設定し、基準画像１３において逆対応個別データブロック４２と対応関係となる逆対応個別基準画像領域４３を求め、基準画像１３において逆対応個別基準画像領域４３と前記個別基準データブロックとが一致するか判定する逆対応判別部４１とを備えている。そして、逆対応判別部４１により逆対応個別基準画像領域４３と前記個別基準データブロックとが一致すると判定された個別対応捜索画像領域４０を用いて、基準画像１３と捜索画像１４との位置関係を求め、測定部２４により、求められた位置関係を利用して一対のステレオ画像６に撮影された対象物の測定を行なう。
【００２２】
このように構成された第２の発明の画像測定装置では、画像形成部１２は単一解像度の基準画像１３と捜索画像１４を形成している。探索データブロック設定部３６は、一対のステレオ画像６に撮影された対象物の特徴点の性状に応じて適切な大きさの領域が存在するような基準データブロックを有する基準データブロック群３７と、捜索データブロックを有する捜索データブロック群３８を有している。捜索対応検出部３９は、各種大きさの基準データブロックを用いて、各種大きさの捜索データブロックに相関度の高い個別対応捜索画像領域４０が存在するか捜索している。逆対応判別部４１は、捜索された個別対応捜索画像領域４０に対して捜索に用いた原理で逆対応をとり、出発した基準データブロック→個別対応捜索画像領域４０→逆対応個別データブロック４２→逆対応個別基準画像領域４３→個別基準データブロックの経路が成立しているか、否か判定している。そして、逆対応判別部４１で真と判断された個別対応捜索画像領域４０を用いることで、測定部２４では一対のステレオ画像に撮影された対象物の二次元又は三次元測定を正確に行なうことができる。
【００２３】
第１の目的を達成する本発明の第２の画像測定方法は、図１５、図１６に示すように、一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって、画像形成部１２が一対のステレオ画像に関して基準画像１３と捜索画像１４を形成する工程（Ｓ２００）と、探索データブロック設定部３６が基準画像１３に大きさの異なる複数の基準データブロックを有する基準データブロック群３７を設定すると共に、捜索画像１４に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群３８を設定する工程（Ｓ２０２）と、捜索対応検出部３９が、基準画像１３の各大きさの個別基準データブロックを基準として、捜索画像１４中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域を求める工程（Ｓ２０４）と、逆対応判別部４１が、個別対応捜索画像領域を用いて、捜索画像１４中の個別捜索データブロックに相当する逆対応個別データブロック４２を設定し、基準画像１３において逆対応個別データブロック４２と対応関係となる逆対応個別基準画像領域４３を求め、基準画像１３において逆対応個別基準画像領域４３と前記個別基準データブロックとが一致するか判定する逆対応判別工程（Ｓ２０６）と、測定部２４が、前記逆対応判別工程で逆対応個別基準画像領域４３と前記個別基準データブロックとが一致すると判定された個別対応捜索画像領域４０を用いて、求められた位置関係を利用して一対のステレオ画像６に撮影された対象物の測定を行なう測定工程（Ｓ２０８）とを有する。第２の発明の画像測定方法においては、画像測定装置に関する第２の発明にて説明した各構成要素による作用が、各構成要素と対応する工程にて発現される。
【００２４】
第２の目的を達成する本発明の第３の画像測定装置は、図１７に示すように、一対のステレオ画像に関して特徴抽出処理を施して、基準画像３３と捜索画像３４を形成する画像形成部３２と、基準画像３３に基準データブロック１７を設定すると共に、捜索画像３４に捜索データブロック１８を設ける探索データブロック設定部１６と、基準画像３３の基準データブロック１７を基準として、捜索画像３４中の捜索データブロック１８において対応関係となる対応捜索画像領域４７を求める捜索対応検出部２９と、捜索対応検出部２９で求められた捜索画像３４中の対応捜索画像領域４７を用いて、捜索画像３４中に対応捜索画像領域４７と対応関係となる逆対応データブロック２２を設定し、基準画像３３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像３３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する逆対応判別部２１とを備えている。そして、逆対応判別部２１が逆対応基準画像領域２３と基準データブロック１７とが一致したと判定した基準データブロックと、対応する対応捜索画像領域４７との位置関係を利用して、測定部２４により一対のステレオ画像６の位置関係を測定する。
【００２５】
このように構成された第３の発明の画像測定装置では、画像形成部３２は、一対のステレオ画像に関して特徴抽出処理を施して、単一解像度の基準画像３３と捜索画像３４を形成している。探索データブロック設定部１６は、基準画像３３に基準データブロック１７を設定すると共に、捜索画像３４に捜索データブロック１８を設ける。捜索対応検出部２９は、一対のステレオ画像６に撮影された対象物に特徴点が存在することを前提として、基準データブロック１７と対応関係のある対応捜索画像領域４７を、捜索画像３４の捜索データブロック１８中で捜索している。逆対応判別部２１は、捜索された対応捜索画像領域４７に対して逆対応をとり、出発した基準データブロック１７→対応捜索画像領域４７→逆対応データブロック２２→逆対応基準画像領域２３→基準データブロック１７の経路が成立しているか、否か判定している。そして、逆対応判別部２１で真と判断された対応点を用いることで、測定部２４では一対のステレオ画像に撮影された対象物の二次元又は三次元測定を正確に行なうことができる。
【００２６】
第２の目的を達成する本発明の第３の画像測定方法は、図１７、図１９に示すように、一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって、画像形成部３２が一対のステレオ画像６に関して特徴抽出処理を施して、基準画像３３と捜索画像３４を形成する工程（Ｓ２５０）と、探索データブロック設定部１６が基準画像３３に基準データブロック１７を設定すると共に、捜索画像３４に捜索データブロック１８を設定する工程（Ｓ２５２）と、捜索対応検出部２９が基準画像３３の基準データブロック１７を基準として、捜索画像３４中の捜索データブロック１８において対応関係となる対応捜索画像領域４７を求める工程（Ｓ２５４）と、逆対応判別部２１が、捜索対応検出部２９で求められた捜索画像３４中の対応捜索画像領域４７を用いて、捜索画像３４中に対応捜索画像領域４７と対応関係となる逆対応データブロック２２を設定し、基準画像３３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像３３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する逆対応判別工程（Ｓ２５６）と、測定部２４が、逆対応判別部２１により逆対応基準画像領域２３と基準データブロック１７とが一致したと判定した基準データブロックと、対応する対応捜索画像領域４７との位置関係を利用して一対のステレオ画像６の位置関係を測定する測定工程（Ｓ２５８）とを有する。第３の発明の画像測定方法においては、画像測定装置に関する第３の発明にて説明した各構成要素による作用が、各構成要素と対応する工程にて発現される。
【００２７】
第２の目的を達成する本発明の第４の画像測定装置は、図２０に示すように、一対のステレオ画像に関して、特徴抽出処理によって、第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成すると共に、当該第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する画像形成部３２と、第１解像度に対応させて粗探索を行ない、次に第２解像度に対応させて密探索を行なう階層化探索管理部３０と、階層化探索管理部３０による粗探索の際には、第１基準画像１３ａに第１基準データブロック１７ａを設定すると共に第１捜索画像１４ａに第１捜索データブロック１８ａを設け、階層化探索管理部３０による密探索用の際には、第２基準画像１３ｂに第２基準データブロック１７ｂを設定すると共に第２捜索画像１４ｂに第２捜索データブロック１８ｂを設ける探索データブロック設定部１６と、第１基準画像１３ａ中の第１捜索データブロック１８ａにおいて第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域４７ａを求め、第１基準データブロック１７ａと対応する第１対応捜索画像領域４７ａの位置関係を利用して、第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域４７ｂを求める捜索対応検出部２９と、捜索対応検出部２９で求められた第２捜索画像１４ｂ中の第２対応捜索画像領域４７ｂを基準として、これに対応関係となる逆対応データブロック２２を設定し、第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する逆対応判別部２１とを備えている。そして、逆対応判別部２１により逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２基準データブロック１７ｂと、第２対応捜索画像領域４７ｂとの位置関係を利用して、測定部２４により一対のステレオ画像６の位置関係を測定する。
【００２８】
このように構成された第４の発明の画像測定装置では、画像形成部３２は、一対のステレオ画像に関して特徴抽出処理を施して、第１及び第２の基準画像１３ａ、１３ｂと捜索画像１４ａ、１４ｂを生成する。探索データブロック設定部１６は、基準画像３３に基準データブロック１７ａ、１７ｂを設定すると共に、捜索画像３４に捜索データブロック１８ａ、１８ｂを設ける。捜索対応検出部２９は、一対のステレオ画像６に撮影された対象物に特徴点が存在することを前提として、基準データブロック１７ａ、１７ｂに対応関係のある対応捜索画像領域４７ａ、４７ｂを捜索している。逆対応判別部２１は、捜索された対応捜索画像領域４７ｂに対して逆対応をとり、出発した基準データブロック１７ｂ→対応捜索画像領域４７ｂ→逆対応データブロック２２→逆対応基準画像領域２３→基準データブロック１７ｂの経路が成立しているか、否か判定している。そして、逆対応判別部２１で真と判断された対応点を用いることで、測定部２４では一対のステレオ画像に撮影された対象物の二次元又は三次元測定を正確に行なうことができる。
【００２９】
第２の目的を達成する本発明の第４の画像測定方法は、図２０、図２２に示すように、一対のステレオ画像に関して、コンピュータを用いて当該ステレオ画像に撮影された対象物の測定を行なう画像測定方法であって、画像形成部３２が、一対のステレオ画像６に関して、特徴抽出処理によって、第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成すると共に、当該第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する画像形成工程（Ｓ３００）と、第１解像度に対応させて粗探索を行なう際に、探索データブロック設定部１６が、第１基準画像１３ａに第１基準データブロック１７ａを設定すると共に第１捜索画像１４ａに第１捜索データブロック１８ａを設定する粗探索データブロック設定工程（Ｓ３０２）と、捜索対応検出部２９が、第１基準画像１３ａ中の第１捜索データブロック１８ａにおいて、第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域４７ａを求める粗探索対応検出工程（Ｓ３０４）と、第２解像度に対応させて密探索を行なう際に、探索データブロック設定部１６が、第２基準画像１３ｂに第２基準データブロック１７ｂを設定すると共に第２捜索画像１４ｂに第２捜索データブロック１８ｂを設ける密探索データブロック設定工程（Ｓ３０６）と、捜索対応検出部２９が、第１基準データブロック１７ａと対応する対応捜索画像領域４７ａの位置関係を利用して、第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域４７ｂを求める密探索対応検出工程（Ｓ３０８）と、逆対応判別部２１が、前記密探索対応検出工程で求められた第２捜索画像１４ｂ中の第２対応捜索画像領域４７ｂを基準として、これに対応関係となる逆対応データブロック２２を設定し、第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する逆対応判別工程（Ｓ３１０）と、逆対応判別工程で逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２基準データブロック１７ｂと、第２対応捜索画像領域４７ｂとの位置関係を利用して一対のステレオ画像６の位置関係を測定する測定工程（Ｓ３１２）とを有する。第４の発明の画像測定方法においては、画像測定装置に関する第４の発明にて説明した各構成要素による作用が、各構成要素と対応する工程にて発現される。
【００３０】
第１又は第２の目的を達成する本発明の第５の画像測定装置は、図１、図１５、図１７、図２０に示すように、前記請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において、さらに、一対のステレオ画像６中のマーク又は特徴点を抽出し、抽出されたマーク又は特徴点を用いて射影変換処理によりステレオ画像中のマーク又は特徴点の概略位置を求める概略位置測定部１１を設け、概略位置測定部１１が求めたステレオ画像中のマーク又は特徴点の概略位置情報を用いて、探索データブロック設定部（１６、３６）によりデータブロックを設定するように構成されている。このように構成すると、概略位置測定部１１により抽出されたマーク又は特徴点を用いてステレオ画像中の概括的な位置対応が求められているので、探索データブロック設定部では微細な位置対応を求めるように基準データブロックや捜索データブロックを設定できる。
【００３１】
第１又は第２の目的を達成する本発明の画像測定装置は、請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において、一対のステレオ画像６は、電子ビームのビーム傾斜機構又は撮影される対象物の傾斜を行う試料傾斜機構のいずれかが設けられた走査型電子顕微鏡を用いて撮影されたものであり、画像測定装置は、ビーム傾斜機構又は試料傾斜機構による傾斜角度に基づき、座標変換を施して、一対のステレオ画像６に撮影された対象物の測定結果を求めるように構成されている。
【００３２】
第１又は第２の目的を達成する本発明の画像測定装置は、請求項１乃至請求項５、請求項７、請求項９、請求項１１のいずれか１項に記載の画像測定装置において、一対のステレオ画像６は、光学顕微鏡の観察光軸傾斜機構又は光学顕微鏡で観察する対象物の傾斜を行う試料傾斜機構のいずれかが設けられた光学電子顕微鏡を用いて撮影されたものであり、画像測定装置は、観察光軸傾斜機構又は試料傾斜機構による傾斜角度に基づき、座標変換を施して、一対のステレオ画像６に撮影された対象物の測定結果を求めるように構成されている。
【００３３】
本発明の画像処理装置は、図１、図１５、図１７、図２０に示すように、請求項１乃至請求項５、請求項７、請求項９、請求項１１、請求項１４乃至請求項１６のいずれか１項に記載の画像測定装置と、画像測定装置で得られた、一対のステレオ画像６に撮影された対象物の測定結果から、当該対象物の二次元又は三次元の画像を再構築する画像再構築部２５とを備えている。
【００３４】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、半導体や生体組織・細胞のような対象物１がテーブル（図示せず）等に載置されており、同一の光学的特性を有するカメラ２ａ、２ｂによって撮影される。カメラ２ａ、２ｂは焦点距離が既知で、レンズ収差が補償されるものであり、対象物１が左右のステレオカメラ２ａ、２ｂで同一解像度で撮影されるように配置されている。左右のステレオカメラ２ａ、２ｂは、対象物１に対して８０％程度以上の高い重複率で撮影した、一対のステレオ撮影画像データ３を生成する。カメラは、汎用の印画紙を用いた光学式カメラでもよく、またＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）のような電子式でもよい。画像処理を円滑に行なう為には、ステレオ撮影画像データ３は電磁気記録情報としてフレキシブル・ディスク、ＣＤＲＯＭ、ＤＶＤ等に記憶させておくと良い。
【００３５】
標定処理部４は、左右のステレオカメラ２ａ、２ｂで撮影されたステレオ撮影画像データ３に対して、内部標定と外部標定を行ない、ステレオマッチング処理を可能とする。内部標定とは、撮影したカメラや結像面（フィルム）に関連した内部幾何構造の補正・キャリブレーションを行なうもので、例えばレンズの歪み、レンズとフィルムの偏心のような位置関係、フィルムの平面性の補正を行なう。外部標定とは、撮影した時のカメラの位置・姿勢を決定するもので、例えば共線条件式を用いて定式化されている。共線条件式は投影中心・フィルム上の位置、対象物は一直線上にあるという関係式である。標定処理部４で標定された左右一対のステレオ画像６は、ステレオ画像記録部５に記憶される。ステレオ画像記録部５は、例えばフレキシブル・ディスク、ＣＤＲＯＭ、ＤＶＤ等のように画像情報を電磁気情報として記憶する媒体である。標定処理は、予め装置のパラメータとして事前に求めておいても良いし、画像を計測して求めても良い。なお、ここでいうレンズには、電子顕微鏡の電子レンズも含まれる。
【００３６】
画像測定装置１０は、概略位置測定部１１、画像形成部１２、画像処理部１５、探索データブロック設定部１６、捜索対応検出部１９、逆対応判別部２１、測定部２４、画像再構築部２５、左右画像対応関係データベース２８を備えている。また、画像測定装置１０で取扱われるデータとしては、基準画像１３、捜索画像１４、基準データブロック１７、捜索データブロック１８、対応捜索画像領域２０、逆対応データブロック２２がある。画像測定装置１０には、演算処理機能の高いパソコンやワークステーションのようなコンピュータが使用される。画像測定装置１０の各構成要素は、アプリケーション・ソフトウェアやＡＳＩＣのような高度に集積した電子回路にて構成されている。
【００３７】
概略位置測定部１１は、一対のステレオ画像６中のマーク又は特徴点を抽出し、抽出されたマーク又は特徴点を用いて射影変換処理によりステレオ画像中のマーク又は特徴点の概略位置を求める機能を有する。
【００３８】
画像形成部１２は、一対のステレオ画像６に対する基準画像１３と捜索画像１４を生成するもので、高い解像度のものから低い解像度のものに順次基準画像１３ａ、１３ｂと捜索画像１４ａ、１４ｂを生成する。典型的には、一対のステレオ画像６のうち、左画像に基準画像１３が生成されると、捜索画像１４は基準画像が生成された他方の画像、即ち右画像に生成される。画像の解像度は、画像の木目細やかな表現力を定めるパラメータとなっており、低い解像度では粗い解像度、高い解像度では密な解像度が得られる。画像に含まれるデータ量は莫大であり、ステレオマッチングでの演算量を削減するために、低い解像度の画像で大まかな対応点の位置を抽出し、順次高い解像度の画像で詳細な対応点の位置を抽出してゆく。典型的には、第１解像度としての低解像度と、第２解像度としての高解像度の２階層で画像を生成すればよい。画像解像度に関する階層構造は、粗密探索法（Ｃｏａｒｓｅ  Ｔｏ  Ｆｉｎｅ法）に関連するもので、詳細は後で説明する。なお、画像形成部１２で生成する基準画像１３と捜索画像１４は、３階層以上であってもよい。
【００３９】
画像処理部１５は、画像形成部１２で取扱う、一対のステレオ画像６、基準画像１３、捜索画像１４を鮮鋭化させたり、コントラスト強調、エッジ強調を行ったり、解像度の異なる画像を作成する際に必要な画像データの補間や圧縮を行なったり、画像データから特徴抽出を行ったりする。
【００４０】
探索データブロック設定部１６は、基準画像１３に対する基準データブロック１７と、捜索画像１４に対する捜索データブロック１８を設定する。画像形成部１２で生成される基準画像１３と捜索画像１４が、低解像度と高解像度の２階層で生成される場合には、探索データブロック設定部１６は、基準データブロック１７と捜索データブロック１８も低解像度と高解像度の２階層として生成する。画像形成部１２で生成される基準画像１３と捜索画像１４が３階層の解像度で生成される場合には、探索データブロック設定部１６は、基準データブロック１７と捜索データブロック１８も３階層の解像度で生成する。捜索データブロック１８は基準データブロック１７の捜索する範囲を限定するもので、捜索画像１４全体より小さく、基準データブロック１７より大きくするのが良い。
【００４１】
捜索対応検出部１９は、基準画像１３に設けられた基準データブロック１７に対応する捜索データブロック１８を捜索画像１４上で捜索する。画像データを取扱うので、同じ解像度での基準画像１３と捜索画像１４との間で、基準データブロック１７と同一又は同一性のある捜索データブロック１８を探す。従って、捜索対応検出部１９は、異なる解像度の基準画像１３と捜索画像１４との間での捜索対応検出は行なわない。具体的には、捜索対応検出部１９は、第１捜索画像１４ａ中の第１捜索データブロック１８ａにおいて、第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域２０ａを求め、第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて、第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域２０ｂを求める。第１対応捜索画像領域２０ａは、第１捜索データブロック１８ａにおいて、第１基準データブロック１７ａと相関関係が最も高く、従って対応画像領域の存在する位置を画像座標情報によって表せば数値演算による画像処理が簡便に行なえる。画像座標情報とすると、画素単位で位置関係を表すことができ、対応点の位置表現が詳細に行なえる。第２対応捜索画像領域２０ｂに関しても、第１対応捜索画像領域２０ａと同様である。
【００４２】
逆対応判別部２１は、基準画像１３と捜索画像１４との間で、ステレオマッチング処理をした結果の対応点が真であるか、偽であるか判別する。具体的には、逆対応判別部２１は、第２対応捜索画像領域２０ｂを用いて第２捜索画像１４ｂ中に第２基準データブロック１７ｂに相当する逆対応データブロック２２を設定し、第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する。詳細は後で説明する。
【００４３】
測定部２４では、逆対応判別部２１で逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２対応捜索画像領域２０ｂを用いて、第２基準画像１３ｂと第２捜索画像１４ｂとの位置関係を求められる。さらに、測定部２４では、求められた位置関係を利用して一対のステレオ画像に撮影された対象物の測定を行なう。
【００４４】
画像再構築部２５は、画像測定装置１０で得られた、一対のステレオ画像６に撮影された対象物の測定結果から、対象物の二次元又は三次元の画像を再構築する。再構築画像２６には、三次元鳥瞰図や正射写真図等の各種の画像がある。左右画像対応関係データベース２８は、一対のステレオ画像６に撮影されている左右画像の対応点に関する情報が格納されるもので、概略位置測定部１１、画像形成部１２、画像処理部１５、探索データブロック設定部１６、捜索対応検出部１９、逆対応判別部２１、測定部２４、画像再構築部２５に対して共通のデータベースとして用いられる。
【００４５】
次に、各構成要素の作用について図面を参照して、さらに詳細に説明する。図２は粗密探索法の階層構造を説明する構成図である。捜索対応検出部１９での画像相関演算時間を最適化するために、画像を異なる解像度の多層階層とする。この場合、画像相関演算による対応点を確実に検出するために、ピラミッド構造型の多層階層による捜索を利用する。ピラミッド構造では、粗い解像度の最上層で概略重ね合わせを行ってから、密の解像度で詳細重ね合わせを行う為、画像相関演算における画像の重ねあわせでバックトラックを必要としない。そこで、画像相関演算を短縮すると同時に、各解像度の画像におけるマッチング結果の統合判断が可能となる為、誤対応が低減できる。ピラミッド構造型の多層階層では、図２に示すように、予め画像解像度の異なる画像を低解像度層（第一基準画像）、第２層（第二基準画像）、…、高解像度層（第Ｌ基準画像）、低解像度層（第一捜索画像）、第２層（第二捜索画像）、…、高解像度層（第Ｌ捜索画像）というふうに作成する。高解像度層は、例えば基準画像１３や捜索画像１４の画素密度と等倍とし、以下一層毎に画素解像度を１／２（縮小解像度を２倍）にするとよい。
【００４６】
即ち、上述の基準画像や捜索画像のピラミッド構造は、画像処理部１５や画像形成部１２により（式１）を適用することで、第１層から第Ｌ層（最下層を第Ｌ’層とする）まで構築される。ここでは、第Ｌ層が
【数１】
2004184240.tif 000003
ここでｘ，ｙ  ＝  ０，１，・・・・・２Ｋ−（Ｌ’−Ｌ）−１である。Ｌ＝３とすると、総階層数は３階層となる。もし、２階層に対して第３階層を付加するという立場で説明する場合、第３解像度としての第２解像度よりも高い高解像度を設けてもよく、また第４解像度としての第１解像度と第２解像度の中間解像度でもよい。
【００４７】
図３は基準画像１３に設定される基準データブロック１７と、捜索画像１４に設定される捜索データブロック１８の説明図である。探索データブロック設定部１６は、基準画像１３に設定される基準データブロック１７に比較して、捜索画像１４に設定される捜索データブロック１８の領域を広く取っている。これにより、捜索データブロック１８内の領域に、基準データブロック１７との相関係数の高い領域が存在する可能性が高くなる。なお、基準データブロック１７と捜索データブロック１８は、画像を構成する全ての画素に対して定義することができる。全ての画素に対して定義すると、パターン配線前の半導体ウェハのように画像情報に顕著なパターンが表れない場合でも、全体的な色調や明度のパターンから、位置の判別が可能な場所が出現してくる。しかし、一定間隔や対応点・特徴点のように位置対応が判別できる程度の濃淡や形状・輪郭を含む画像情報に限って、基準データブロック１７と捜索データブロック１８を設定してもよい。
【００４８】
次に、正規化相関係数によるマッチング法を、図３を参照して説明する。図３において、右画像を基準画像１３、左画像を捜索画像１４とする。基準データブロック１７は、Ｎ個のデータから構成されるとし、捜索データブロック１８は画像座標（Ｕ、Ｖ）を起点とする。正規化相関係数によるマッチング法では、基準データブロック１７を捜索データブロック１８の中を左から右に動かし、捜索データブロック１８の右端まで行くと下がって左端に戻り、また基準データブロック１７を左から右に動かすラスタ走査を行いながら、各位置で式２による演算処理を行なう。
Ｍ＝Ｍ（Ｘｉ，Ｙｉ）  （１≦ｉ≦Ｎ）      ・・・（２）
Ｉ＝Ｉ（Ｕ＋Ｘｉ，Ｖ＋Ｙｉ）
とする。ここで、Ｍは基準データブロック１７の正規化数値、Ｉは捜索データブロック１８の正規化数値とする。
【００４９】
すると、基準データブロック１７と捜索データブロック１８の類似度は、次の正規化相関係数Ｒ（Ｕ、Ｖ）で与えられる。
【数２】
2004184240.tif 000004
ここで、正規化相関係数Ｒの値は常に−１から１までの範囲の値をとる。正規化相関係数値Ｒが１の場合には、テンプレートとしての基準データブロック１７と捜索データブロック１８中の対応画像が完全に一致した事になる。そこで捜索対応検出部１９により、相関係数値の最大の位置を探せば、捜索データブロック１８中において、基準データブロック１７に最も類似した画像の場所を示す対応捜索画像領域２０を探す事ができる。
【００５０】
捜索データブロック１８中に、基準データブロック１７と類似している点が無かった場合は、正規化相関係数値Ｒの最大値が小さく（例えば０．１）なるので、対応捜索画像領域２０の探索は失敗とする。しかし探索を行う際に、捜索対応検出部１９は、正規化相関係数値Ｒが最大となった座標値を対応捜索画像領域２０の座標値としている。そこで、Ｒ＝０．１とノイズに近い場合でも、低い正規化相関係数値の座標値が対応捜索画像領域２０の座標値となってしまうことがある。従って正規化相関係数値Ｒの最大値があまりに小さく、設定したしきい値（例えば０．２〜０．３）以下の場合は、対応捜索画像領域２０の探索は失敗とする。
【００５１】
図４は、逆対応判別部２１によるバックマッチング法の説明図で、（Ａ）は探索された対応点が真（ＯＫ）の場合、（Ｂ）は偽（ＮＧ）の場合を示している。逆対応判別部２１では、基準画像１３の基準データブロック１７から捜索画像１４の捜索データブロック１８の対応する対応捜索画像領域２０を捜索する。次に、逆対応判別部２１は、捜索された捜索データブロック１８上の対応捜索画像領域２０を逆対応データブロック２２として設定する。そして、逆対応判別部２１は、基準画像１３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像１３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する。そして、逆対応基準画像領域２３と基準データブロック１７が一致していれば、探索した対応捜索画像領域２０は真とし、不一致であれば偽（マッチング失敗）とする。逆対応判別部２１で偽に相当する対応捜索画像領域２０を除去することで、誤対応点を除去することが可能となる、
【００５２】
図５は、逆対応判別部２１によるバックマッチングを説明するフローチャートである。以下、図４と図５に従って逆対応判別部２１によるバックマッチングの手順を説明する。なお、図４では説明を単純にするために、基準画像１３と捜索画像１４の同一ライン上の領域に、基準データブロック１７と捜索データブロック１８が存在しているとする。まず、逆対応判別部２１は、基準画像１３のＯＫ領域を基準データブロック１７として設定する（Ｓ１０）。次に、逆対応判別部２１は、基準データブロック１７を用いて、捜索画像１４内の捜索データブロック１８上を探す（Ｓ１２）。捜索画像１４内の捜索データブロック１８で相関係数の高い対応捜索画像領域２０を見付けたら、対応捜索画像領域２０を逆対応データブロック２２に設定する（Ｓ１４）。
【００５３】
逆対応データブロック２２は基準データブロック１７と同様に処理されるもので、逆対応基準画像領域２３が対応捜索画像領域２０に対応している。そこで、逆対応判別部２１は、逆対応データブロック２２を用いて、基準画像１３中の基準データブロック１７と同一ライン上を捜索する（Ｓ１６）。相関係数が最大となる逆対応基準画像領域２３が見つかると、逆対応判別部２１は、逆対応基準画像領域２３が当初の基準データブロック１７であるＯＫ領域と一致しているか判断する（Ｓ１８）。逆対応基準画像領域２３がＯＫ領域を探し出せれば、逆対応判別部２１はマッチング成功と判断する（Ｓ２０）。逆対応基準画像領域２３がＯＫ領域ではなく、他の場所（ＮＧ領域）を探し出した場合は、逆対応判別部２１はマッチングが失敗と判断する（Ｓ２２）。
【００５４】
続いて、このように構成された装置の動作について説明する。図６は一対のステレオ画像に対する三次元画像計測処理全体を説明するフローチャートである。まず、左右のステレオカメラ２ａ、２ｂを用いて、対象物１の左右のカメラ画像を取得する（Ｓ３０）。左右のカメラ画像は、ステレオ撮影画像データ３として、標定処理部４により画像を補正する（同時に縦視差を除去する）。作成されたステレオ画像は、一対のステレオ画像６としてステレオ画像記録部５に記憶される。一対のステレオ画像６に対して、ステレオ・マッチング処理が行なわれる（Ｓ３４）。ステレオ・マッチング処理が行なわれた一対のステレオ画像６を用いて、ステレオ画像６に撮影された対象物１の三次元座標計測が行なわれる（Ｓ３６）。また、必要に応じて態様で、対象物１の三次元画像を再構築する（Ｓ３８）。
【００５５】
続いて、図７を用いて図１の画像測定装置の動作を説明する。図７のフローチャートでは、粗密探索法とバックマッチングを組合せた動作について説明する。まず、画像形成部１２が、一対のステレオ画像６に関して第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成する（Ｓ１００）。次に、探索データブロック設定部１６が第１基準画像１３ａに、第１解像度に対応する画素データを有する第１基準データブロック１７ａを設定する（Ｓ１０２）。また、探索データブロック設定部１６は、第１捜索画像１４ａに、第１解像度に対応する画素データを有する第１捜索データブロック１８ａを設定する（Ｓ１０４）。そして、捜索対応検出部１９が第１捜索画像１４ａ中の第１捜索データブロック１８ａにおいて、第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域２０ａを求める（Ｓ１０６）。
【００５６】
次に、画像形成部１２が一対のステレオ画像６に関して、第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する（Ｓ１０８）。また、探索データブロック設定部１６が第２基準画像１３ｂに、第２解像度に対応する画素データを有する第２基準データブロック１７ｂを設定する（Ｓ１１０）。探索データブロック設定部１６が、第２捜索画像１４ｂに、第２解像度に対応する画素データを有する第２捜索データブロック１８ｂを設定する（Ｓ１１２）。この第２捜索データブロック１８ｂの設定には、第１対応捜索画像領域２０ａの情報が用いられる。第１捜索画像１４ａと第２捜索画像１４ｂには、粗密探索法の階層構造が用いられている為、第１対応捜索画像領域２０ａの位置情報は有用な為である。そして、捜索対応検出部１９が第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて、第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域２０ｂを求める（Ｓ１１４）。
【００５７】
次に、バックマッチングによる検証が行なわれる。まず、逆対応判別部２１が第２対応捜索画像領域２０ｂを用いて第２捜索画像１４ｂ中に、第２基準データブロック１７ｂに相当する逆対応データブロック２２を設定する（Ｓ１１６）。次に、逆対応判別部２１が第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求める（Ｓ１１８）。そして、逆対応判別部２１は、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する（Ｓ１２０）。一致していれば、捜索対応検出部１９が捜索した第２対応捜索画像領域２０ｂは真である（Ｓ１２２）。Ｓ１２０で不一致であれば、捜索対応検出部１９が捜索した第２対応捜索画像領域２０ｂは偽である（Ｓ１２４）。
【００５８】
そこで、Ｓ１２２にて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致すると判定された第２対応捜索画像領域２０ｂを用いて、第２基準画像１３ｂと第２捜索画像１４ｂとの位置関係が求められる（Ｓ１２６）。そして、測定部２４によって、一対のステレオ画像６に撮影された対象物の測定を行なう（Ｓ１２８）。
【００５９】
次に、画像処理部で行なわれる鮮鋭化処理について説明する。画像処理部１５によって、一対のステレオ画像６に対する画像前処理として画像鮮鋭化、コントラスト強調、エッジ強調等を行っておくと、基準画像１３と捜索画像１４に対して適用される相関係数値が高くなり、確実に対応点座標の検出が可能になる。画像前処理には公知の多種多様な処理が存在するが、代表的な処理としてラプラシアンフィルタを用いた画像鮮鋭化処理を説明する。
【００６０】
図８はラプラシアンオペーレタの一例を示す構成図である。ラプラシアンオペーレタは３ｘ３の画素に対する数値演算を施すもので、中央画素（２、２）に対する係数が『５』、中央画素に対して縦横画素（２、１）、（２、３）、（１、２）、（３、２）に対する係数が『−１』、中央画素に対して斜め画素（１、１）、（１、３）、（３、１）、（３、３）に対する係数が『０』になっている。ラプラシアンオペーレタを利用することにより、鮮鋭化処理された画像を得ることができる。
【００６１】
ラプラシアンオペーレタの基本式を、式４に示す。
ｇ（ｉ，ｊ）＝ｆ（ｉ、ｊ）−∇２ｆ（ｉ，ｊ）  ・・・（４）
ここで、ｇ（ｉ，ｊ）は鮮鋭化画像であり、ｆ（ｉ，ｊ）は入力画像である。∇２ｆ（ｉ，ｊ）は入力画像のラプラシアンとなっており、例えば上述した図８に示す係数のものや、各種重み付けや画素数の微分オペレータが存在する。また、ラプラシアンに加えてガウシアンを施したものでもよい。
【００６２】
また、式５に示すような、計算処理によって求めてもよい。式５は、鮮鋭化処理として計算処理的なガウシアンを施したものである。
【数３】
2004184240.tif 000005
ここでσはガウス関数のパラメータである。すると、差分は式６で表される。
ｇ（ｘ，ｙ）＝ｆ（ｘ、ｙ）−∇２Ｇ（ｘ，ｙ）  ・・・（６）
ここで、ｇ（ｘ，ｙ）は鮮鋭化画像、ｆ（ｘ，ｙ）は入力画像、∇２Ｇ（ｘ，ｙ）は入力画像のラプラシアンガウシアンとなっている。また、左右画像の撮影時において、ピントのあった状態（式６のｆ（ｘ、ｙ）に相当）とピントの合っていない状態（式６の∇２Ｇ（ｘ，ｙ）に相当）の同一画像を撮影し、その差分画像を得ることによって、鮮鋭化処理を行なっても良い。
【００６３】
また、鮮鋭化処理の一態様として、エッジ抽出処理がある。図９は、線検出オペーレタの一例を示す構成図である。線検出オペーレタは、縦方向の画素に対して係数『１』を作用させ、横方向に隣接する画素に対しては縦方向に係数『−１／２』を作用させて、縦方向の線分を検出している。そこで、検出したい方向の線検出オペレータを、画像に畳み込み処理して、エッジ抽出処理ができる。
【００６４】
なお、画像処理部で鮮鋭化処理された画像からエッジ抽出を行うこともできる。即ち、エッジ抽出処理は、鮮鋭化画像の濃度値のゼロ交差点をエッジと設定することで、エッジ抽出ができる。そこで、ゼロとなった点のみを画像化する、あるいはゼロを境にしてプラス領域を白、マイナス領域を黒とすることにより画像化される。
【００６５】
図１０は鮮鋭化処理とエッジ抽出処理の一例を示す図で、（Ａ）は原画像、（Ｂ）は鮮鋭化処理画像を示している。原画像は、例えば半導体のＳＥＭ画像で、パターンの線分がぼやけている。しかし、鮮鋭化処理画像では、鮮鋭化処理とエッジ抽出処理によってパターンの線分が明瞭に抽出されている。パターンの線分を明瞭化することで、基準画像と探索画像との位置対応を求めることが容易になる。
【００６６】
粗密探索法の総階層数が３層の場合を例に、本発明の画像測定方法を説明する。図１１は、粗密探索法の総階層数が３層の場合における基準画像、捜索画像並びにバックマッチングの説明図で、（Ａ）は低解像度層、（Ｂ）は中間解像度層、（Ｃ）は高解像度層を示している。図１２は、粗密探索法の総階層数が３層の場合における画像測定方法を説明するフローチャートである。
【００６７】
まず、画像形成部１２により、例えば式１を用いて、基準画像１３と捜索画像１４に関して３階層のピラミッド構造を構築する（Ｓ６０）。構築される画像は、画像の縮小解像度を基準として低解像度層（ピラミッド構造の最上層）、中間解像度層、高解像度層（ピラミッド構造の最下層）の３階層に対応して設けられる。低解像度層に対して、基準画像１３ａと捜索画像１４ａとする。高解像度層に対して、基準画像１３ｂと捜索画像１４ｂとする。ここで、最下層の基準画像１３ｂにおける基準データブロック１７はＮ１×Ｎ１画素（Ｎ１＝２Ｎ）とする。また、最下層において、捜索画像１４ｂと捜索データブロック１８ｂは同じもので、Ｍ１×Ｍ１画素（Ｍ１＝２Ｍ）とするが、捜索画像１４ｂよりも小さな捜索データブロック１８ｂを設けても良い。中間解像度層に対して、基準画像１３ｄと捜索画像１４ｄとする。
【００６８】
次に、基準画像１３と捜索画像１４に関して、画像処理部１５により画像前処理を行なう（Ｓ６２）。画像前処理には、画像鮮鋭化、コントラスト強調、エッジ強調等の処理が含まれる。画像前処理の対象は、基準画像１３ａ、１３ｂ、１３ｃと捜索画像１４ａ、１４ｂ、１４ｃである。画像前処理によって、基準画像１３と捜索画像１４の対応点を捜索するマッチング処理が確実なものになる。
【００６９】
次に、低解像度層についてマッチング処理を行い、正規化相関の係数を保存する（Ｓ６４）。マッチング処理の詳細は、上述の図８で説明したように、探索データブロック設定部１６による基準画像１３ａでの基準データブロック１７ａ設定、捜索画像１４ａでの捜索データブロック１８ａ設定、並びに捜索対応検出部１９による捜索データブロック１８ａに関して、基準データブロック１７ｂと対応関係となる対応捜索画像領域２０ａを求めることである。対応捜索画像領域２０ａは、マッチング処理では対応点に相当している。ここで、第Ｌ層の探索範囲｛［Ｍ１／２（Ｌ’−Ｌ））−［Ｎ１／２（Ｌ’−Ｌ））＋１］２内で、残差が最小になる第Ｌ層の基準データブロック１７の左上位置を（ｉ，ｊ）とすると、対応点位置は（ｉ，ｊ）によって表される。捜索対応検出部１９での対応捜索画像領域２０ａに対する相関係数は、左右画像対応関係データベース２８に一旦保存される。
【００７０】
続いて、低解像度層に対して直近の階層に移り、最下層に該当しているか判断する。ここでは、中間解像度層なので、低解像度層での対応点位置座標を基準として、１階層上の対応点位置座標（２ｉ，２ｊ）を中心とし、５ｘ５画素を捜索範囲として画像の重ねあわせ（マッチング処理）を行なう（Ｓ６６）。ここで、捜索範囲内で残差が最小になるテンプレート画像の左上位置、即ち正規化相関の係数が最大値をとる対応点位置（ｉ，ｊ）を保存する。
【００７１】
次に、中間解像度層に対して直近の階層に移り、最下層に該当しているか判断する。ここでは、最下層なので、中間解像度層での対応点位置座標を基準として、１階層上の対応点位置座標（２ｉ，２ｊ）を中心とし、３ｘ３画素を捜索範囲として画像の重ねあわせ（マッチング処理）を行なう（Ｓ６８）。ここで、捜索範囲内で残差が最小になるテンプレート画像の左上位置、即ち正規化相関の係数が最大値をとる対応点位置（２ｉ，２ｊ）を保存する。
【００７２】
そして、最下層に関して、最も正規化相関の係数が高い位置を求めることで、類似度の高い対応点を得ることができ、捜索画像１４ｂにおける基準画像１３ｂの位置対応点が高精度に求める（Ｓ７０）。
【００７３】
次に、逆対応判別部２１は、マッチング処理で求めた位置対応点を用いて、捜索画像１４ｂの逆対応データブロック２２を作成する。この位置対応点は、逆対応データブロック２２のＸ座標として利用される。そして、逆対応判別部２１により、逆対応データブロック２２のバックマッチングを行ない、基準画像１３ｂに写像された逆対応基準画像領域が当初の基準画像１３ｂと一致したか判断する（Ｓ７２）。バックマッチングで、逆対応基準画像領域が当初の基準画像１３ｂと一致すれば、位置対応点は真であり（Ｓ７４）、マッチング処理は成功とする。Ｓ７２で不一致であれば、位置対応点は偽であり（Ｓ７６）、マッチング処理は失敗とする。
【００７４】
なお、上記実施の形態においては、第１層、第２層と順次高解像度の画像についてマッチング処理を行ない、バックマッチングは最終段階の画像に関して実施する場合を説明したが、本発明はこれに限定されるものではなく、バックマッチングは各階層のマッチング処理ごとに行ってもよい。また、上記実施の形態においては、基準データブロック１７の画素数として５ｘ５画素や３ｘ３画素を例に説明しているが、本発明はこれに限定されるものではなく、基準データブロック１７の画素数は適宜に選定することができ、例えば基準画像１３の１走査線分であってもよい。さらに、上記実施の形態においては、マッチング処理の判定として正規化相関係数による場合を例に説明しているが、本発明はこれに限定されるものではなく、逐次残差法（ＳＳＤＡ）や他の面積相関法を用いてもよい。
【００７５】
図１３は粗密探索法の総階層数が２層の場合に、さらに１層を追加する場合の説明図で、（Ａ）は追加される階層が低解像度層に該当する場合、（Ｂ）は中間解像度層に対応する場合を示している。図１３（Ａ）では、画像形成部１２により、第１解像度の第１基準画像１３ａ、第１解像度より高い第２解像度の第２基準画像１３ｂが設けられている場合に、第２解像度より高い第３解像度の第３基準画像１３ｃが追加される。画像形成部１２は、第１解像度の第１捜索画像１４ａ、第２解像度の第２捜索画像１４ｂが設けられている場合に、第３解像度の第３捜索画像１４ｃが追加される。探索データブロック設定部１６は、第１基準画像１３ａに第１基準データブロック１７ａを設定し、第２基準画像１３ｂに第２基準データブロック１７ｂを設定している場合に、第３基準画像１３ｃに第３解像度に対応する画素データを有する第３基準データブロック１７ｃを設定する。さらに、探索データブロック設定部１６は、第１捜索画像１４ａに第１捜索データブロック１８ａを設定し、設定第２捜索画像１４ｂに第２捜索データブロック１８ｂを設定している場合に、第３捜索画像１４ｃに第３解像度に対応する画素データを有する第３捜索データブロック１８ｃを設定する。
【００７６】
捜索対応検出部１９は、第１対応捜索画像領域２０ａ、第２対応捜索画像領域２０ｂに加えて、第３基準データブロック１７ｃと対応関係となる第３対応捜索画像領域２０ｃを求める。高解像度層が第２基準画像１３ｂから第３基準画像１３ｃに移動する為、逆対応判別部２１は、逆対応データブロック２２として、第３対応捜索画像領域２０ｃを用いて第３捜索画像１４ｃ中に第３基準データブロック１７ｃに相当する態様で設定し、第３基準画像１３ｃにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第３基準画像１３ｃにおいて逆対応基準画像領域２３と第３基準データブロック１７ｃとが一致するか判定するように構成される。
【００７７】
図１３（Ｂ）では、画像形成部１２により、第１解像度の第１基準画像１３ａ、第１解像度より高い第２解像度の第２基準画像１３ｂが設けられている場合に、第１解像度と第２解像度の中間解像度である第４解像度の第４基準画像１３ｄが追加される。画像形成部１２は、第１解像度の第１捜索画像１４ａ、第２解像度の第２捜索画像１４ｂが設けられている場合に、第４解像度の第４捜索画像１４ｄが追加される。探索データブロック設定部１６は、第１基準画像１３ａに第１基準データブロック１７ａを設定し、第２基準画像１３ｂに第２基準データブロック１７ｂを設定している場合に、第４基準画像１３ｄに第４解像度に対応する画素データを有する第４基準データブロック１７ｄを設定する。さらに、探索データブロック設定部１６は、第１捜索画像１４ａに第１捜索データブロック１８ａを設定し、設定第２捜索画像１４ｂに第２捜索データブロック１８ｂを設定している場合に、第４捜索画像１４ｄに第４解像度に対応する画素データを有する第４捜索データブロック１８ｄを設定する。
【００７８】
捜索対応検出部１９は、第１対応捜索画像領域２０ａ、第２対応捜索画像領域２０ｂに加えて、第１及び第２対応捜索画像領域２０ａ、２０ｂを求める中間段階で、第４捜索画像１４ｄ中の第４捜索データブロック１８ｄにおいて第４基準データブロック１７ｄと対応関係となる第４対応捜索画像領域２０ｄを求める。
【００７９】
続いて、本発明の第２の実施の形態について説明する。図１５は第２の発明の一実施の形態を説明する全体構成ブロック図である。なお、図１５において前述の図１と同一または同一性のある作用をするものには同一符号を付して、説明を省略する。図において、画像形成部１２は、一対のステレオ画像６に対する基準画像１３と捜索画像１４を生成するもので、ここでは単一の解像度で生成する。
【００８０】
探索データブロック設定部３６は、基準画像１３に大きさの異なる複数の基準データブロックを有する基準データブロック群３７を設定すると共に、捜索画像１４に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群３８を設定する。個別捜索データブロックの領域は、対応する個別基準データブロックを基準にして定め、例えば横方向のラインを基準として個別基準データブロック幅の２倍程度の幅を個別捜索データブロックに持たせる。個別捜索データブロックの高さは、個別基準データブロックの高さと同一にすることで、対応点の探索を容易にする。捜索対応検出部３９は、基準画像１３の各大きさの個別基準データブロックを基準として、捜索画像１４中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域４０を求める。
【００８１】
逆対応判別部４１は、個別対応捜索画像領域４０を用いて、捜索画像１４中の個別捜索データブロックに相当する逆対応個別データブロック４２を設定し、基準画像１３において逆対応個別データブロック４２と対応関係となる逆対応個別基準画像領域４３を求め、基準画像１３において逆対応個別基準画像領域４３と前記個別基準データブロックとが一致するか判定する。測定部２４では、逆対応判別部４１により逆対応個別基準画像領域４３と個別基準データブロックとが一致すると判定された個別対応捜索画像領域４０を用いて、基準画像１３と捜索画像１４との位置関係を求める。さらに、測定部２４では、求められた位置関係を利用して一対のステレオ画像６に撮影された対象物の測定を行なう。
【００８２】
図１４は第２の発明で取扱う基準画像と捜索画像の説明図で、（Ａ）はマッチング処理、（Ｂ）はバックマッチング処理に対応している。まず、基準画像中の基準データブロック群３７に含まれる個別基準データブロックと、捜索画像中の捜索データブロック群３８に含まれる個別捜索データブロックについて、捜索対応検出部３９により、各サイズの個別基準データブロックと個別捜索データブロックに対するマッチング処理が行なわれる。そして、逆対応判別部４１により、各サイズの個別基準データブロックと個別捜索データブロックの相関値に対する統合判定がなされ、対応点に相当する個別対応捜索画像領域４０が探索される。統合判定は、各相関値を加えたり、掛け合わせたり、最大値を判定して決定したり、要は適切に対応点を決定できるものであればよい。探索された個別対応捜索画像領域４０が適切であるかの判定は、逆対応個別データブロック４２と対応関係となる逆対応個別基準画像領域４３と個別基準データブロックとが一致するかによって行なう。
【００８３】
次に、図１６を参照して第２の発明にかかる画像測定装置の動作を説明する。ここでは、複数ウィンドウ検索法とバックマッチングを組合せた動作に相当している。まず、画像形成部１２が一対のステレオ画像に関して基準画像１３と捜索画像１４を形成する（Ｓ２００）。形成した基準画像１３と捜索画像１４について、必要であれば画像処理部１５により、画像鮮鋭化、コントラスト強調、エッジ強調等の処理を行う。次に、探索データブロック設定部３６が、基準画像１３に大きさの異なる複数の基準データブロックを有する基準データブロック群３７を設定すると共に、捜索画像１４に前記複数の基準データブロックにそれぞれ対応する大きさの複数の捜索データブロックを有する捜索データブロック群３８を設定する（Ｓ２０２）。捜索対応検出部３９が、基準画像１３の各大きさの個別基準データブロックを基準として、捜索画像１４中において対応関係となる個別捜索データブロックの存在する個別対応捜索画像領域４０を求める（Ｓ２０４）。
【００８４】
すると、逆対応判別工程にて、逆対応判別部４１が、個別対応捜索画像領域４０を用いて、捜索画像１４中の個別捜索データブロックに相当する逆対応個別データブロック４２を設定し、基準画像１３において逆対応個別データブロック４２と対応関係となる逆対応個別基準画像領域４３を求め、基準画像１３において逆対応個別基準画像領域４３と前記個別基準データブロックとが一致するか判定する（Ｓ２０６）。そして、逆対応判別工程Ｓ２０６で逆対応個別基準画像領域４３と前記個別基準データブロックとが一致すると判定されれば、求めた個別対応捜索画像領域４０は真である。反対に、不一致であれば、求めた個別対応捜索画像領域４０は偽である。測定工程にて、測定部２４によって、真の個別対応捜索画像領域４０を用いて求められた位置関係を利用して、一対のステレオ画像６に撮影された対象物の測定を行なう（Ｓ２０８）。
【００８５】
続いて、本発明の第３の実施の形態について説明する。図１７は第３の発明の一実施の形態を説明する全体構成ブロック図である。なお、図１７において前述の図１、図１５と同一または同一性のある作用をするものには同一符号を付して、説明を省略する。図において、画像形成部３２は、一対のステレオ画像６に関して特徴抽出処理を施して、単一解像度の基準画像３３と捜索画像３４を形成する。特徴抽出処理では、ラプラシアンオペーレタ（図８参照）や線検出オペーレタ（図９参照）を用いたエッジ抽出処理や、画像識別処理などが用いられる。また、特徴抽出処理では、類似した模様が格子点上に一定の規則に従って配置されている場合（図１８参照）には、格子点の概略配置関係を求めることも含まれる。
【００８６】
捜索対応検出部２９は、基準画像３３の基準データブロック１７を基準として、捜索画像３４中の捜索データブロック１８において対応関係となる対応捜索画像領域４７を捜索対応検出処理により求める。この捜索対応検出処理では、基準画像３３と捜索画像３４の相関係数を求めるものでも良く、また同一画像パターンを探すのでも良い。例えば半導体のＳＥＭ画像（図１０参照）のように単調な線分が多く、特徴点に乏しい場合には、基準画像３３と捜索画像３４の縦視差があっていれば、同一ライン上の、基準画像３３の基準データブロック１７と捜索画像３４中の捜索データブロック１８を単純に探す処理で良い。
【００８７】
逆対応判別部２１は、捜索対応検出部２９で求められた捜索画像３４中の対応捜索画像領域４７を用いて、捜索画像３４中に対応捜索画像領域４７と対応関係となる逆対応データブロック２２を設定し、基準画像３３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像３３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する。測定部２４では、逆対応判別部２１が逆対応基準画像領域２３と基準データブロック１７とが一致したと判定した基準データブロックと、対応する対応捜索画像領域４７との位置関係を利用して、一対のステレオ画像６の位置関係を測定する。
【００８８】
次に、類似した模様が格子点上に一定の規則に従って配置されている場合（図１８参照）の特徴抽出処理の詳細を説明する。基準データブロック１７の大きさが、格子点の配置周期に比較して１周期程度の寸法であれば、個別格子点の識別は相関係数法では行なえず、誤って隣接する格子点と誤対応する可能性が大きい。そこで、以下の手順（ｉ）〜（ｉｖ）による特徴抽出処理をすることで、基準データブロック１７として数点の格子点を含ませれば、本発明の画像測定装置１０によって正確に対応点が求められる。
【００８９】
（ｉ）各格子点の概略位置を読み込む。この場合、設計値若しくは格子点の間隔等が既知であれば、既知の数値を代入する。各格子点の概略位置を基準点座標として設定する。
（ｉｉ）基準画像１３と捜索画像１４上の３点以上に関して、対応する点を概略指定する。概略指定された対応点を画像座標とする。
【００９０】
（ｉｉｉ）以下の式により、基準画像１３と捜索画像１４のそれぞれ各パラメータを算出する。すなわち、画像座標１３と対応する基準点座標を、式７に示す二次の射影変換式に代入し、観測方程式をたてパラメータｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）  ・・（７）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
ここで（Ｘ，Ｙ）は画像座標、（ｘ，ｙ）は基準点座標を表している。
（ｉｖ）求めたパラメータｂ１〜ｂ８により、画像上の全格子点位置を基準画像１３と捜索画像１４につき計算で求める。
（ｖ）各格子点に対応した求められた位置の周辺について、例えば本実施の形態の画像測定装置によりステレオマッチングを行い、計測する。
【００９１】
図１９は、第３の発明の一実施の形態を説明するフローチャートである。第３の発明では、特徴抽出法とバックマッチング法を組合せた動作に相当している。まず、画像形成部３２が一対のステレオ画像６に関して特徴抽出処理を施して、基準画像３３と捜索画像３４を形成する。次に、探索データブロック設定部１６が基準画像３３に基準データブロック１７を設定すると共に、捜索画像３４に捜索データブロック１８を設定する（Ｓ２５２）。そして、捜索対応検出部２９が基準画像３３の基準データブロック１７を基準として、捜索画像３４中の捜索データブロック１８において対応関係となる対応捜索画像領域４７を求める（Ｓ２５４）。
【００９２】
逆対応判別工程では、逆対応判別部２１が、捜索対応検出部２９で求められた捜索画像３４中の対応捜索画像領域４７を用いて、捜索画像３４中に対応捜索画像領域４７と対応関係となる逆対応データブロック２２を設定し、基準画像３３において逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、基準画像３３において逆対応基準画像領域２３と基準データブロック１７とが一致するか判定する（Ｓ２５６）。即ち、出発した基準データブロック１７→対応捜索画像領域４７→逆対応データブロック２２→逆対応基準画像領域２３→基準データブロック１７の経路が成立しているか、否か判定している。測定工程では、測定部２４が、逆対応判別部２１により逆対応基準画像領域２３と基準データブロック１７とが一致したと判定した基準データブロックと、対応する対応捜索画像領域４７との位置関係を利用して一対のステレオ画像６の位置関係を測定する（Ｓ２５８）。
【００９３】
続いて、本発明の第４の実施の形態について説明する。図２０は第４の発明の一実施の形態を説明する全体構成ブロック図である。なお、図２０において前述の図１、図１５、図１７と同一または同一性のある作用をするものには同一符号を付して、説明を省略する。図において、画像形成部３２は、一対のステレオ画像に関して、特徴抽出処理によって、第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成すると共に、当該第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する。
【００９４】
階層化探索管理部３０は、第１解像度に対応させて粗探索を行ない、次に第２解像度に対応させて密探索を行なう。探索データブロック設定部１６は、階層化探索管理部３０による粗探索の際には、第１基準画像１３ａに第１基準データブロック１７ａを設定すると共に第１捜索画像１４ａに第１捜索データブロック１８ａを設け、階層化探索管理部３０による密探索用の際には、第２基準画像１３ｂに第２基準データブロック１７ｂを設定すると共に第２捜索画像１４ｂに第２捜索データブロック１８ｂを設ける。
【００９５】
次に、第４の発明が適用されるアプリケーション事例を説明する。図２１は、対象物に関して全般的には模様が少ないものの、一部に模様が存在している場合を示している。図中、ａ部の形状に特徴があり、ａ部の断面形状を特に知りたい場合がある。このアプリケーション事例では、粗密探索法とバックマッチングを組合せたエリアベースの正規化相関法だけで計測できる場合もあるが、特徴抽出法や鮮鋭画像法を利用した第４の発明によれば、さらに測定が確実に行なえる。
【００９６】
図２１のアプリケーション事例に対する画像計測手法として２通り存在する。第１の計測手順は、前処理した画像をそのまま、若しくは加えて計測する方法である。第２の計測手順は、最初に特徴抽出処理を行い、そのあとに模様のあるところを相関処理する方法である。まず、第１の計測手順について説明する。
【００９７】
図２２は、第４の発明が適用される第１の計測手順が説明するフローチャートである。まず、画像形成工程にて、画像形成部３２が、一対のステレオ画像６に関して、特徴抽出処理によって、第１解像度の第１基準画像１３ａと第１捜索画像１４ａを形成すると共に、当該第１解像度より高い第２解像度の第２基準画像１３ｂと第２捜索画像１４ｂを形成する（Ｓ３００）。ここで、画像処理部１５による鮮鋭画像化処理や、特徴抽出処理としてのエッジ抽出処理が行なわれる。
【００９８】
粗探索データブロック設定工程にて、第１解像度に対応させて粗探索を行なう際に、探索データブロック設定部１６が、第１基準画像１３ａに第１基準データブロック１７ａを設定すると共に第１捜索画像１４ａに第１捜索データブロック１８ａを設定する（Ｓ３０２）。次に、粗探索対応検出工程にて、捜索対応検出部２９が、第１基準画像１３ａ中の第１捜索データブロック１８ａにおいて、第１基準データブロック１７ａと対応関係となる第１対応捜索画像領域４７ａを求める（Ｓ３０４）。
【００９９】
密探索データブロック設定工程にて、第２解像度に対応させて密探索を行なう際に、探索データブロック設定部１６が、第２基準画像１３ｂに第２基準データブロック１７ｂを設定すると共に第２捜索画像１４ｂに第２捜索データブロック１８ｂを設ける（Ｓ３０６）。密探索対応検出工程にて、捜索対応検出部２９が、第１基準データブロック１７ａと対応する対応捜索画像領域４７ａの位置関係を利用して、第２捜索画像１４ｂ中の第２捜索データブロック１８ｂにおいて第２基準データブロック１７ｂと対応関係となる第２対応捜索画像領域４７ｂを求める（Ｓ３０８）。
【０１００】
逆対応判別工程にて、逆対応判別部２１が、密探索対応検出工程で求められた第２捜索画像１４ｂ中の第２対応捜索画像領域４７ｂを基準として、これに対応関係となる逆対応データブロック２２を設定し、第２基準画像１３ｂにおいて逆対応データブロック２２と対応関係となる逆対応基準画像領域２３を求め、第２基準画像１３ｂにおいて逆対応基準画像領域２３と第２基準データブロック１７ｂとが一致するか判定する（Ｓ３１０）。一致すればマッチング成功であり、不一致であればマッチング失敗である。測定工程にてマッチング成功と判定された第２基準データブロック１７ｂと、第２対応捜索画像領域４７ｂとの位置関係を利用して一対のステレオ画像６の位置関係を測定する（Ｓ３１２）。
【０１０１】
続いて、図２１のアプリケーション事例に対する第２の計測手順を説明する。最初に画像全般に対して特徴抽出処理を行い、次に特徴部ａのエッジ付近に関してのみ対応点探索処理を行ったのち、最後に模様のある部分を測定対象とする。まず、画像処理部１５を用いて、基準画像１３と捜索画像１４について、画像鮮鋭化、コントラスト強調、エッジ強調等の処理を行う。次に、画像形成部３２にて、基準画像１３と捜索画像１４について特徴抽出を行う。図２３は、図２１のアプリケーション事例に対する特徴抽出結果の一例を示す説明図である。
【０１０２】
次に、探索データブロック設定部１６により、基準画像１３に基準データブロック１７、捜索画像１４に捜索データブロック１８を設定する。そして、捜索対応検出部２９により、捜索データブロック１８内を基準データブロック１７で捜索し、捜索データブロック１８内で見つかった領域を対応捜索画像領域４７とする。そして、対応捜索画像領域４７を逆対応データブロック２２として設定し、バックマッチング法を利用して、基準画像１３内を探索し、基準データブロック１７に戻ったらマッチング成功とする。マッチング成功により、特徴抽出部ａの位置が求まった。図２３の特徴抽出部ａ近傍における模様のある局部画像について、図２２のフローチャートに従って、Ｓ３００〜Ｓ３１２の処理を行う。
【０１０３】
次に、本発明の画像測定装置、画像測定方法が、顕微鏡による試料傾斜、ビーム傾斜を利用した場合に適用されるステレオ三次元計測法の測定原理について説明する。図２４は、対象物を置く試料台の座標系の説明図である。Ｙ軸が回転軸で、角度θは時計回りが＋方向となっている。図２５は試料としての対象物に電子ビームを照射した時の、画像と対象物の関係を示した説明図である。対象物を角度θ傾けて撮影する事は、電子ビームあるいは観察光軸傾斜機構を設けて角度θ傾けて、電子ビームを照射して撮影する事と幾何光学的に同等である。そこで、本発明による三次元計測法は、試料傾斜とビーム傾斜のどちらの場合にも適用できる。
【０１０４】
まず、幾何学的関係より、次の関係式が成立する。
左画像  Ｌｘ＝（Ｘｘｃｏｓθ＋Ｚｘｓｉｎθ）ｘｓ、Ｌｙ＝Ｙ    ・・・（８）
右画像  Ｒｘ＝（Ｘｘｃｏｓθ−Ｚｘｓｉｎθ）ｘｓ、Ｒｙ＝Ｙ    ・・・（９）
ここで、ｓは分解能（１ｐｉｘｅｌ）を表している。そこで、式８と式９を用いて対象物１上の任意の点Ｐ（Ｘ，Ｙ，Ｚ）の三次元座標を求める。図２６のように、左右画像がＺ軸を挟んで角度θを持つ場合には、関係式は次のようになる。
Ｘ＝Ｌｘ＋Ｒｘ、Ｚ＝Ｌｘ−Ｒｘ、Ｙ＝Ｌｙ＝Ｒｙ  ・・・（１０）
【０１０５】
次に本発明において、図２６に示すような対称性の良い配置での画像ばかりでなく、図２７に示すような汎用的な角度の場合にも適用できる関係式を導く。図２７は試料台の傾斜軸が傾いている場合の、座標系の説明図である。左画像の角度はθ１、右画像の角度はθ２であるが、擬似的な座標（Ｘ’、Ｙ’、Ｚ’）を使うことにより、画像の角度はθ’±θとなり、式１０を使い、さらに座標ＸＹＺに直すように、後でθ’回転させる（図２７参照）。
Ｚ’＝（（Ｌｘ−Ｒｘ）／（２ｘｓｉｎθ））ｘｓ    ・・・（１１）
Ｘ’＝（（Ｌｘ＋Ｒｘ）／（２ｘｃｏｓθ））ｘｓ
Ｙ’＝Ｌｙ＝Ｒｙ
【０１０６】
すると、式１１から、次式が成立する。
Ｘ＝Ｘ’ｘｃｏｓθ’−Ｚ’ｘｓｉｎθ’      ・・・（１２）
Ｚ＝Ｘ’ｘｓｉｎθ’＋Ｚ’ｘｃｏｓθ’
Ｙ＝Ｙ’
以上の関係式を用いることにより、試料傾斜、ビーム傾斜に対応させ、さらに最初から傾斜軸が傾いている顕微鏡画像でも、画像計測が可能となる。
【０１０７】
次に、本発明の画像測定装置を利用した画像処理装置について説明する。図２８は、本発明の画像測定装置を利用した画像処理装置で作成した三次元画像の一例を示す図で、（Ａ）は粗密探索法とバックマッチングを組合せた場合、（Ｂ）は比較例として従来の相関法を用いた場合を示している。画像処理対象は、半導体のＳＥＭ画像で、図１０に表示した領域から少し離れた湾曲部分を示している。従来の相関法では、ステレオマッチングした場合の誤対応点が存在していても、誤対応点として認識されずにそのまま三次元画像表示の対象となる。これに対して、本発明の画像測定装置を利用した画像処理装置によれば、ステレオマッチングした場合の誤対応点はバックマッチングにより除去されるので、正確な三次元像の再構築ができる。
【０１０８】
【発明の効果】
本発明の画像測定装置によれば、粗密探索法とバックマッチングを組合せているので、粗密探索法により高速な画像相関演算が行なえると共に、バックマッチングによってステレオマッチングした場合の誤対応点を除去できるため、画像測定の信頼性が大幅に向上すると共に、正確な三次元像の再構築および把握が可能となる。また、計測不能な対象物や箇所は、画像における対応点が無いので明確に把握でき、画像の信頼性をオペレータが容易に視認できる、という卓越した効果がある。
【０１０９】
さらに、第３、第４の発明の画像測定装置によれば、特徴抽出法とバックマッチングを組合せているので、半導体のように比較的特徴に乏しい対象物や繰り返しの多い類似パターンに対しても、特徴抽出によって比較的特徴に乏しい対象物や繰り返しの多い類似パターンに対する画像認識によって、位置対応演算が可能となり、しかもバックマッチングによってステレオマッチングした場合の誤対応点を除去できるため、画像測定の対象物の範囲が拡大する、という卓越した効果がある。
【０１１０】
また、本発明の画像測定装置の適用対象として顕微鏡画像を用いる場合においては、従来の三次元画像計測で必要とされた顕微鏡画像の中心軸や回転軸が正確に判らない場合や、顕微鏡の軸自体が傾斜している場合でも、画像情報から対象物の画像計測に必要な情報を抽出して画像計測できる。そこで、従来のように試料を顕微鏡画像の中心軸や回転軸に対して正確にセットする必要がなくなり、顕微鏡作業に熟練をする必要がなくなる、という卓越した効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】粗密探索法の階層構造を説明する構成図である。
【図３】基準画像１３に設定される基準データブロック１７と、捜索画像１４に設定される捜索データブロック１８の説明図である。
【図４】逆対応判別部２１によるバックマッチング法の説明図である。
【図５】逆対応判別部２１によるバックマッチングを説明するフローチャートである。
【図６】一対のステレオ画像に対する三次元画像計測処理全体を説明するフローチャートである。
【図７】本発明の第１の実施の形態を説明するフローチャートである。
【図８】ラプラシアンオペーレタの一例を示す構成図である。
【図９】線検出オペーレタの一例を示す構成図である。
【図１０】鮮鋭化処理の一例を示す図で、（Ａ）は原画像、（Ｂ）は鮮鋭化処理画像を示している。
【図１１】粗密探索法の総階層数が３層の場合における基準画像、捜索画像並びにバックマッチングの説明図である。
【図１２】粗密探索法の総階層数が３層の場合における画像測定方法を説明するフローチャートである。
【図１３】第１の実施の形態の要部を説明するデータ構成説明図である。
【図１４】第２の発明で取扱う基準画像と捜索画像の説明図である。
【図１５】第２の発明の一実施の形態を説明する全体構成ブロック図である。
【図１６】第２の発明の一実施の形態を説明するフローチャートである。
【図１７】第３の発明の一実施の形態を説明する全体構成ブロック図である。
【図１８】類似した模様が格子点上に一定の規則に従って配置されている場合の説明図である。
【図１９】第３の発明の一実施の形態を説明するフローチャートである。
【図２０】第４の発明の一実施の形態を説明する全体構成ブロック図である
【図２１】対象物に関して全般的には模様が少ないものの、一部に模様が存在している場合を示している。
【図２２】第４の発明が適用される第１の計測手順が説明するフローチャートである。
【図２３】図２１のアプリケーション事例に対する特徴抽出結果の一例を示す説明図である。
【図２４】対象物を置く試料台の座標系の説明図である。
【図２５】対象物に電子ビームを照射した時の、画像と対象物の関係を示した説明図である。
【図２６】左右画像がＺ軸を挟んで角度θを持つ場合の説明図である。
【図２７】試料台の傾斜軸が傾いている場合の、座標系の説明図である。
【図２８】本発明の画像測定装置を利用した画像処理装置で作成した三次元画像の一例を示す図である。
【符号の説明】
６  ステレオ画像
１０  画像測定装置
１２、３２  画像形成部
１３、３３  基準画像
１４、３４  捜索画像
１５  画像処理部
１６、３６  探索データブロック設定部
１７  基準データブロック
１８  捜索データブロック
１９、２９、３９  捜索対応検出部
２０  対応捜索画像領域
２１、４１  逆対応判別部
２２  逆対応データブロック
２３  逆対応基準画像領域
２４  測定部
２５  画像再構築部
２８  左右画像対応関係データベース
３０  階層化探索管理部
３７  基準データブロック群
３８  捜索データブロック群
４０  個別対応捜索画像領域
４２  逆対応個別データブロック
４３  逆対応個別基準画像領域
【図１】
2004184240.tif 000006
【図２】
2004184240.tif 000007
【図３】
2004184240.tif 000008
【図４】
2004184240.tif 000009
【図５】
2004184240.tif 000010
【図６】
2004184240.tif 000011
【図７】
2004184240.tif 000012
【図８】
2004184240.tif 000013
【図９】
2004184240.tif 000014
【図１０】
2004184240.tif 000015
【図１１】
2004184240.tif 000016
【図１２】
2004184240.tif 000017
【図１３】
2004184240.tif 000018
【図１４】
2004184240.tif 000019
【図１５】
2004184240.tif 000020
【図１６】
2004184240.tif 000021
【図１７】
2004184240.tif 000022
【図１８】
2004184240.tif 000023
【図１９】
2004184240.tif 000024
【図２０】
2004184240.tif 000025
【図２１】
2004184240.tif 000026
【図２２】
2004184240.tif 000027
【図２３】
2004184240.tif 000028
【図２４】
2004184240.tif 000029
【図２５】
2004184240.tif 000030
【図２６】
2004184240.tif 000031
【図２７】
2004184240.tif 000032
【図２８】
2004184240.tif 000033