(57)【要約】      （修正有）【課題】登録画像を用いることなくアライメント情報を取得する画像処理装置を提供する。【解決手段】画像処理装置１０は、複数の対象物要素を配設した対象物を作製するための設計情報から設計座標系における各対象物要素の目標配設位置を示す要素設計座標を取得し、対象物要素ごとに自らの要素設計座標と複数の他の要素設計座標との間の相対ベクトルからなる設計ベクトル群を生成する設計ベクトル生成部２１と、設計情報に基いて作製された対象物を撮像した対象物画像の実座標系における各対象物要素の配設位置を示す要素実座標を取得する実座標取得部２２と、対象物画像中の対象物要素毎に自らの要素実座標と複数の他の要素実座標との間の相対ベクトルからなる実ベクトル群を生成する実ベクトル生成部２３と、設計ベクトル群と実ベクトル群とを比較し、設計情報に含まれる基準点の設計座標に対応する実座標を特定するアライメント情報取得部２４とを有する。【選択図】図１
2015153364.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象物要素を配設した対象物を作製するための設計情報から、前記設計情報上の位置を定義するための設計座標系における、各対象物要素の目標配設位置を示す設計座標である要素設計座標を取得し、対象物要素ごとに自らの要素設計座標と複数の他の要素設計座標との間の相対ベクトルからなる設計ベクトル群を生成する設計ベクトル生成部と、
前記設計情報にもとづいて作製された前記対象物を撮像した対象物画像にもとづいて、前記対象物画像上の位置を定義するための実座標系における、各対象物要素の実際の配設位置を示す実座標である要素実座標を取得する実座標取得部と、
前記対象物画像中の対象物要素ごとに自らの要素実座標と複数の他の要素実座標との間の相対ベクトルからなる実ベクトル群を生成する実ベクトル生成部と、
前記設計ベクトル群と前記実ベクトル群とを比較することにより、前記設計情報に含まれる基準点の設計座標に対応する実座標を特定するアライメント情報取得部と、
を有するアライメント部を備えた画像処理装置。
【請求項２】
前記アライメント部は前記設計ベクトル群を統合して統合ベクトルを生成する統合ベクトル生成部をさらに備え、
前記アライメント情報取得部は、
前記統合ベクトルと前記実ベクトル群とを比較することにより、前記基準点の設計座標に対応する前記実座標を特定する、
請求項１記載の画像処理装置。
【請求項３】
前記統合ベクトル生成部は、
前記統合ベクトルを構成する統合要素ベクトルの出現頻度にもとづいて、前記統合要素ベクトルと同一の相対ベクトルを有する実ベクトル群の要素実座標が対応する可能性が高い要素設計座標ほど高い尤度を有するように、要素設計座標のそれぞれと前記尤度とを関連付けた尤度情報を、前記統合要素ベクトルごとに生成する、
請求項２記載の画像処理装置。
【請求項４】
前記統合ベクトル生成部は、
前記統合要素ベクトルと同一の相対ベクトルを有する前記実ベクトル群の前記要素実座標が対応し得ない要素設計座標については負の尤度を割り当てて前記尤度情報を生成する、
請求項３記載の画像処理装置。
【請求項５】
前記アライメント情報取得部は、
前記要素実座標の実ベクトル群を構成する実ベクトルのそれぞれについて最も近い前記統合要素ベクトルの前記尤度情報を取得し、取得した複数の前記尤度情報から前記要素実座標に対応する要素設計座標を特定することを繰り返すことにより、前記基準点の設計座標に対応する前記実座標を特定する、
請求項３または４に記載の画像処理装置。
【請求項６】
前記アライメント情報取得部は、
前記統合ベクトルと前記実ベクトル群とを比較することにより、前記対象物画像内での前記対象物の回転角度を特定する、
請求項２ないし５のいずれか１項記載の画像処理装置。
【請求項７】
前記実座標取得部は、
一般化ハフ変換を用いて前記対象物画像にもとづいて前記対象物要素を抽出することにより前記要素実座標を取得する、
請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記実座標取得部は、
前記対象物要素の形状に応じた特徴点の共起性に関する情報をあらかじめ取得し、この共起性に関する情報を利用した一般化ハフ変換を用いて前記対象物画像にもとづいて前記対象物要素を抽出することにより前記要素実座標を取得する、
請求項７記載の画像処理装置。
【請求項９】
前記実座標取得部は、
前記対象物画像から特徴点を抽出し、この抽出した特徴点が前記対象物要素に属する特徴点である場合には前記抽出した特徴点と共起すべき予想特徴点の、予想共起位置および予想共起エッジ法線方向の情報を取得し、前記予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合には、前記抽出した特徴点の基準点への投票度数を大きくする、
請求項８記載の画像処理装置。
【請求項１０】
前記実座標取得部は、
前記対象物画像に含まれると推定される前記対象物要素の数にもとづいて強度閾値を自動設定し、前記強度閾値より高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施し、ラベリング処理後の各ラベルの代表座標を前記要素実座標として取得する、
請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記実座標取得部は、
前記推定される前記対象物要素の数にもとづいて前記強度閾値を設定するとともに前記推定される前記対象物要素の数に応じて所定の範囲を設定し、前記強度閾値より高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施すとともに、ラベリング処理後のラベル数が前記所定の範囲より外であると前記所定の範囲以内となるよう自動的に前記強度閾値を変更して再度二値画像を生成してラベリング処理を施すことを繰り返す一方、前記ラベル数が前記所定の範囲以内であるとラベリング処理後の各ラベルの代表座標を前記要素実座標として取得する、
請求項１０記載の画像処理装置。
【請求項１２】
共焦点光学系を用いた立体形状計測装置であって、
光源と、
複数の共焦点開口部が形成された開口板と、
前記複数の共焦点開口部を通過したそれぞれの光を物体側集光点に集光するとともに、この集光した光の前記対象物による反射光をそれぞれ対応する共焦点開口部に再度集光する対物レンズと、
前記対物レンズの焦点を光軸方向に離散的に変更する焦点位置変更部と、
前記共焦点開口部に再度集光された前記対象物による反射光を入力される撮像素子を複数有する撮像部と、
請求項１ないし１１のいずれか１項に記載の前記アライメント部と、光軸方向に離散的に変更された前記物体側集光点の位置ごとの前記撮像素子の信号にもとづいて前記撮像素子ごとに前記撮像素子に入射する前記反射光の強度が最大となる前記対象物の光軸方向の位置を推定することにより前記対象物の距離画像を生成するとともに、前記アライメント部により取得された前記基準点の設計座標に対応する前記実座標を用いて前記距離画像に含まれる要素実座標と要素設計座標とを対応付けることにより、前記距離画像にもとづいて前記対象物の立体形状を計測する立体形状計測部と、を有する画像処理装置と、
を備えた立体形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像から所定の物体を検出する画像処理装置および立体形状計測装置に関する。
【背景技術】
【０００２】
従来、画像から所定の物体を検出する技術として種々の画像処理技術が開発されている。たとえば、特開２００５−２９３１２号公報（特許文献１）には、正規化相関法によるパターンマッチングにより、入力画像の中から登録画像（テンプレート画像）と類似する部分画像を特定する技術が開示されている。
【０００３】
この種の画像から所定の物体を検出する技術は、様々な場面に適用することができる。たとえば、ＣＡＤ情報（Computer Aided Design）などの設計情報にもとづいて複数の対象物要素（たとえばバンプなど）を配設した対象物（ワーク）を作製した場合を考える。この場合、作製された対象物を撮像した画像である対象物画像（ワーク画像）にもとづいて、作製されたワークの各バンプの形状や配設位置が設計情報と比較評価されることがある。
【０００４】
このとき、設計情報上の位置を定義するための座標系（以下、設計座標系という）における各対象物要素の目標配設位置を示す座標（以下、要素設計座標という）と、対象物画像上の位置を定義するための座標系（以下、実座標系という）における実際に配設された各対象物要素の位置を示す座標（以下、要素実座標という）とを関連付けることが重要となる。以下、要素設計座標と要素実座標とを関連付けるための情報をアライメント情報という。アライメント情報は、要素設計座標と要素実座標とを関連付けるための情報であればよく、例えば設計情報に含まれる基準点の設計座標（以下、基準座標という）に対応する実座標の情報などが含まれる。
【０００５】
画像から所定の物体を検出する従来の技術は、このアライメント情報を取得する技術として用いることができる。たとえば、所定のテンプレート画像をあらかじめ登録画像としておくことで、ワーク画像に対して正規化相関法によるパターンマッチングを行うことによりアライメント情報を取得することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２９３１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記の画像から所定の物体を検出する技術は、アライメント情報を取得する技術としては不十分である。
【０００８】
たとえば、直線近似法を用いてアライメント情報を取得する場合、たとえば複数のバンプが２次元に配置されているとき、ワーク画像中の複数のバンプのうち上下端および左右端に沿った直線を最小２乗法により抽出して交点をアライメントマークの位置とするとよい。しかし、直線近似法では、ワーク画像の明暗変化に弱く、また画像中のゴミの存在に弱いなど、前提条件が高く利便性が悪い。
【０００９】
また、正規化相関法は、明暗の変化に対してはロバストであるものの、ワーク画像の隠れ（オクルージョン）やワーク画像の回転に弱い。また、正規化相関法を用いる場合、登録画像をあらかじめ用意しておく必要がある。しかし、登録画像の選定には一定の技術や知識が必要であり、登録画像の選定者の熟練度によって検出精度が大きく左右されてしまう。また、正規化相関法は、登録画像とワーク画像とを画素ごとに対比して計算するため、膨大な演算量が必要となり演算時間が長くなってしまう。さらに、正規化相関法においてバンプの配設パターンの多様性に対応するためには、登録画像を大きくとる必要があるため、計算時間がより長くなってしまう。
【００１０】
本発明は、上述した事情を考慮してなされたもので、登録画像を用いることなく容易にアライメント情報を取得することができる画像処理装置および立体形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一実施形態に係る画像処理装置は、上述した課題を解決するために、複数の対象物要素を配設した対象物を作製するための設計情報から、前記設計情報上の位置を定義するための設計座標系における、各対象物要素の目標配設位置を示す設計座標である要素設計座標を取得し、対象物要素ごとに自らの要素設計座標と複数の他の要素設計座標との間の相対ベクトルからなる設計ベクトル群を生成する設計ベクトル生成部と、前記設計情報にもとづいて作製された前記対象物を撮像した対象物画像にもとづいて、前記対象物画像上の位置を定義するための実座標系における、各対象物要素の実際の配設位置を示す実座標である要素実座標を取得する実座標取得部と、前記対象物画像中の対象物要素ごとに自らの要素実座標と複数の他の要素実座標との間の相対ベクトルからなる実ベクトル群を生成する実ベクトル生成部２３と、前記設計ベクトル群と前記実ベクトル群とを比較することにより、前記設計情報に含まれる基準点の設計座標に対応する実座標を特定するアライメント情報取得部と、を有するアライメント処理部を備えたものである。
【発明の効果】
【００１２】
本発明に係る画像処理装置および立体形状計測装置によれば、登録画像を用いることなく容易にアライメント情報を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る画像処理装置の一構成例を示すブロック図。
【図２】（ａ）はＣＡＤ画像の一例を示す説明図、（ｂ）はＣＡＤ情報にもとづいて作製された対象物を撮像した対象物画像の一例を示す説明図。
【図３】設計ベクトル生成部により設計ベクトル群を生成する際の様子の一例を示す説明図。
【図４】（ａ）は要素設計座標の一例を示す説明図、（ｂ）は設計ベクトル群の一例を示す説明図。
【図５】（ａ）は要素実座標の一例を示す説明図、（ｂ）は実ベクトル群の一例を示す説明図。
【図６】図１に示す画像処理装置のＣＰＵにより、登録画像を用いることなく容易に基準座標に対応する実座標の情報を取得する際の手順を示すフローチャート。
【図７】本発明の第２実施形態に係る画像処理装置の一構成例を示すブロック図。
【図８】（ａ）は設計ベクトル群の一例を示す説明図、（ｂ）は統合ベクトルおよび統合要素ベクトルごとの尤度情報の一例を示す説明図、（ｃ）は２つの設計ベクトル群で生成される統合ベクトル４および統合要素ベクトルごとの尤度情報の一例を示す図、（ｄ）は（ｃ）に示す統合ベクトルのもととなる２つの設計ベクトル群の一例を示す説明図。
【図９】アライメント情報取得部により実行される統合ベクトルを用いたマッチング処理の様子を説明するための図。
【図１０】図７に示す画像処理装置のＣＰＵにより、登録画像を用いることなく統合ベクトルを用いて容易に基準座標に対応する実座標の情報を取得する際の手順を示すフローチャート。
【図１１】図１０のステップＳ１２でアライメント情報取得部により実行される統合ベクトルを用いたマッチング処理の手順を示すサブルーチンフローチャート。
【図１２】図１０のステップＳ１２でアライメント情報取得部により実行される統合ベクトルを用いたマッチング処理の他の手順を示すサブルーチンフローチャート。
【図１３】対象物画像内での対象物が所定の回転角度を有する場合において、任意の要素実座標ＲＥＡＬｊの実ベクトル群と統合ベクトルとを比較した様子の一例を示す説明図。
【図１４】実ベクトルｋ＝１と、この実ベクトルに対応する統合要素ベクトルとのなす角θｋ＝θ１を求める様子の一例を示す説明図。
【図１５】（ａ）は図１４に示す例において統合ベクトルをθ１の半分だけ回転補正した様子を説明するための図、（ｂ）は、図１５（ａ）に示した回転補正後の統合ベクトルを用いて実ベクトルｋ＝２とこの実ベクトルに対応する統合要素ベクトルとのなす角θｋ＝θ２を求める様子の一例を示す説明図。
【図１６】本発明の第３実施形態に係る画像処理装置の一構成例を示すブロック図。
【図１７】（ａ）は抽出対象物の一例としての三角形を示す説明図、（ｂ）は抽出対象物の形状に応じてあらかじめ記憶媒体に記憶される抽出対象の特徴点と検出対象図形の基準点間のベクトルの一例を示す説明図、（ｃ）は入力画像の特徴点をもとに基準点に対して投票処理が行われる様子の一例を示す説明図、（ｄ）は種々の抽出対象物の形状の例を示す説明図。
【図１８】一般化ハフ変換により円形形状の抽出対象物を抽出する際の様子の一例を示す説明図。
【図１９】図６のステップＳ３で図１６に示す画像処理装置の実座標取得部により実行される要素実座標の取得処理の手順を示すフローチャート。
【図２０】図１９のステップＳ５２で実座標取得部により実行される二値化処理およびラベリング処理の手順を示すサブルーチンフローチャート。
【図２１】図２０に示す手順における二値化処理およびラベリング処理を説明するための図。
【図２２】（ａ）は、対象物要素が円形形状である場合において、１つの特徴点（ｘ、ｙ）に対して共起されるべき予想特徴点を３つ抽出した様子の一例を示す説明図、（ｂ）は（ａ）に示す場合において抽出された共起されるべき特徴点のエッジの法線方向の向きの一例を示す説明図。
【図２３】対象物要素が任意の形状であっても共起性ＧＨＴを適用可能であることを説明するための図。
【図２４】図６のステップＳ３で図１６に示す画像処理装置の実座標取得部により実行される要素実座標の取得処理の他の手順を示すフローチャート。
【図２５】図２２のステップＳ８０で実座標取得部により実行される共起性ＧＨＴ画像生成処理の手順を示すサブルーチンフローチャート。
【図２６】本発明の第４実施形態に係る画像処理装置を含む立体形状計測装置の一構成例を示すブロック図。
【図２７】焦点位置変更部の一構成例を示す斜視図。
【図２８】本発明の第４実施形態に係る画像処理装置の一構成例を示すブロック図。
【発明を実施するための形態】
【００１４】
本発明に係る画像処理装置および立体形状計測装置の実施の形態について、添付図面を参照して説明する。
【００１５】
（１．第１の実施形態）
（１−１．構成）
図１は、本発明の第１実施形態に係る画像処理装置１０の一構成例を示すブロック図である。
【００１６】
画像処理装置１０は、図１に示すように、入力部１１、表示部１２、ネットワーク接続部１３、記憶部１４および制御部１５を有する。
【００１７】
入力部１１は、たとえばキーボード、トラックボール、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部１５に出力する。
【００１８】
表示部１２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、制御部１５の制御に従ってＣＡＤ画像などの各種画像を表示する。
【００１９】
ネットワーク接続部１３は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って画像処理装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。
【００２０】
ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【００２１】
記憶部１４は、磁気的もしくは光学的記録媒体または半導体メモリなどの、制御部１５のＣＰＵにより読み書き可能な記録媒体を含んだ構成を有する。記憶部１４は、あらかじめ設計情報（たとえばＣＡＤ情報）を記憶している。ＣＡＤ情報は、複数の対象物要素（たとえばバンプなど）を配設した対象物（ワーク）を作製するための設計情報である。設計情報は、ネットワーク接続部１３によりネットワークを介してダウンロードされてもよい。
【００２２】
制御部１５は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたアライメント処理プログラムに従って画像処理装置１０を制御する。
【００２３】
より具体的には、制御部１５のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶されたアライメント処理プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、登録画像を用いることなく容易に基準座標（基準点の設計座標）に対応する実座標の情報（アライメント情報）を取得するための処理を実行する。
【００２４】
制御部１５のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部１５のＲＯＭをはじめとする記憶媒体は、アライメント処理プログラムや、プログラムを実行するために必要な各種データを記憶する。
【００２５】
なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【００２６】
図１に示すように、制御部１５のＣＰＵは、アライメント処理プログラムによって、少なくともアライメント処理部２０として機能する。このアライメント処理部２０は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【００２７】
図２（ａ）はＣＡＤ画像の一例を示す説明図であり、（ｂ）はＣＡＤ情報にもとづいて作製された対象物を撮像した対象物画像の一例を示す説明図である。
【００２８】
アライメント処理部２０は、設計ベクトル生成部２１、実座標取得部２２、実ベクトル生成部２３およびアライメント情報取得部２４を有する。
【００２９】
アライメント処理部２０は、大きくは、設計画像の対象物要素の目標配設位置を示す要素設計座標と、対象物に実装された対象物要素が実際に配設された要素実座標とを関連付ける。以下、図３−５を用いてアライメント処理部２０の構成について詳細に説明する。
【００３０】
図３は、設計ベクトル生成部２１により設計ベクトル群を生成する際の様子の一例を示す説明図である。図３には、対象物要素が２次元に配列される場合における配列の左上の隅部分の一例を示した。
【００３１】
また、図４（ａ）は要素設計座標の一例を示す説明図であり、（ｂ）は設計ベクトル群の一例を示す説明図である。
【００３２】
設計ベクトル生成部２１は、記憶部１４に記憶された設計情報からあらかじめ、設計情報上の位置を定義するための設計座標系における、各対象物要素の目標配設位置を示す設計座標である要素設計座標を取得する。対象物要素の要素設計座標としては、たとえば対象物要素が占める領域の中心や重心などの代表座標を用いる。また、設計ベクトル生成部２１は、複数の要素設計座標ごとに、自らの座標と複数の他の対象物要素の要素設計座標との間の相対ベクトル（設計ベクトル）からなる設計ベクトル群を生成する。
【００３３】
より具体的には、設計ベクトル生成部２１は図３に示すように、まず所定領域３１に属する対象物要素の要素設計座標を取得する。次に、取得した要素設計座標のそれぞれについて、所定距離３２内に位置する他の要素設計座標を取得する。そして、設計ベクトル生成部２１は、複数の要素設計座標ごとに、自座標と取得した他の要素設計座標との間の相対ベクトル（設計ベクトル）からなる設計ベクトル群を生成する（図４（ｂ）参照）。
【００３４】
なお、以下の説明では、要素設計座標を適宜ＣＡＤｉ（ただしｉは１、２、・・・、ｌ、ｌは自然数を表す）と称する（図４（ａ）、（ｂ）参照）。
【００３５】
ＣＡＤ情報は、当然ながら対象物の作製前に生成されている。このため、設計ベクトル生成部２１は、対象物画像が撮像される前にあらかじめＣＡＤ情報から設計ベクトル群を生成しておくことができる。
【００３６】
図５（ａ）は要素実座標の一例を示す説明図であり、（ｂ）は実ベクトル群の一例を示す説明図である。
【００３７】
実座標取得部２２は、設計情報にもとづいて作製された対象物を撮像部１が撮像した対象物画像にもとづいて、対象物画像上の位置を定義するための実座標系における、所定領域３１に属する各対象物要素の実際の配設位置を示す実座標である要素実座標を取得する。なお、以下の説明では、要素実座標を適宜ＲＥＡＬｊ（ただしｊは１、２、・・・、ｍ、ｍは自然数であり所定領域３１に属する要素実座標の総数を表す）と称する（図５（ａ）、（ｂ）参照）。
【００３８】
撮像部１は、たとえばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。
【００３９】
実座標取得部２２は、撮像部１が撮像した対象物画像（いわゆる輝度画像）そのものから要素実座標を取得してもよいし、対象物画像に対してパターンマッチング（たとえば正規化相関法、一般化ハフ変換（ＧＨＴ、Generalized Hough Transform）など）などの特徴量抽出処理を施した画像から要素実座標を取得してもよいし、対象物画像に対して特徴量抽出処理を施した画像または対象物画像そのものに対して二値化処理を施した画像から要素実座標を取得してもよい。
【００４０】
また二値画像に対してラベリング処理を施してから各ラベルの代表座標を要素実座標として取得してもよいし、対象物の距離画像であってもよい。すなわち、実座標取得部２２は、対象物画像にもとづいて要素実座標を取得することができる。なお、ラベリング処理を施す場合、ラベルの情報があれば要素実座標を取得可能である。このため、ラベリング処理を施した後は、対象物画像を記憶媒体から削除してもよい。
【００４１】
実ベクトル生成部２３は、要素実座標ごとに、所定距離３２内に位置する他の要素実座標を取得し、自座標と取得した他の要素実座標との間の相対ベクトル（実ベクトル）からなる実ベクトル群を生成する（図５（ｂ）参照）。なお、以下の説明では、実ベクトル群を構成する実ベクトルを必要に応じて実ベクトルｋ（ただしｋは１、２、・・・、ｎ、ｎは自然数を表す）と称する。
【００４２】
アライメント情報取得部２４は、複数の対象物要素ごとに生成された設計ベクトル群と要素実座標ごとに生成された実ベクトル群とを比較（照合）する。そして、この比較結果にもとづいて、設計情報に含まれる基準座標に対応する実座標を特定する。
【００４３】
アライメント情報取得部２４は、基準座標の情報を設計情報から取得する。基準座標としては、要素設計座標のいずれかとしてもよいし、要素設計座標ではない設計座標としてもよい。基準座標が要素設計座標ではない場合、基準座標はたとえば所定の要素設計座標に対する相対位置により定義することができる。
【００４４】
基準座標として要素設計座標を設定する場合は、基準座標の設計ベクトル群が他の要素設計座標の設計ベクトル群にくらべ特徴的な構成となるものを選ぶとよい。たとえば対象物要素が２次元に配列される場合、４隅に位置する要素設計座標のいずれかを基準座標とするとよい。これは、４隅に位置する要素設計座標の設計ベクトル群はほぼ１象限ぶんのベクトルにより構成され、他の要素設計座標の設計ベクトル群に比べ特徴的な構成となることが多いためである。以下の説明では、基準座標（アライメントマーク）として左上の要素設計座標ＣＡＤ１を用いる場合の例について説明する。
【００４５】
この例では、アライメント情報取得部２４は、対象物画像からＣＡＤ１に対応するＲＥＡＬ１を抽出することが目標となる。ここで、実ベクトル図４（ｂ）の一番上と図５（ｂ）の一番上を比較して明らかなように、ＣＡＤ１の設計ベクトル群は、ＲＥＡＬ１の実ベクトル群とは類似性が高い。このため、アライメント情報取得部２４は、設計ベクトル群と実ベクトル群の類似性にもとづいて、容易にＣＡＤ１に対応するＲＥＡＬ１を抽出することができる。
【００４６】
（１−２．動作）
次に、第１実施形態に係る画像処理装置１０の動作の一例について説明する。
【００４７】
図６は、図１に示す画像処理装置１０のＣＰＵにより、登録画像を用いることなく容易に基準座標に対応する実座標の情報を取得する際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。この手順は、あらかじめＣＡＤ情報が記憶部１４に記憶されてスタートとなる。
【００４８】
まず、ステップＳ１において、設計ベクトル生成部２１は、記憶部１４に記憶された設計情報から、各対象物要素の要素設計座標を取得する。次に、ステップＳ２において、設計ベクトル生成部２１は、複数の要素設計座標ごとに設計ベクトル群を生成する。
【００４９】
なお、ステップＳ１およびＳ２は、対象物の作製前にあらかじめ実行しておく事が可能である。
【００５０】
次に、ステップＳ３において、実座標取得部２２は、対象物画像にもとづいて各対象物要素の要素実座標を取得する。次に、ステップＳ４において、実ベクトル生成部２３は、要素実座標ごとに実ベクトル群を生成する。
【００５１】
そして、ステップＳ５において、アライメント情報取得部２４は、設計ベクトル群と実ベクトル群とを比較し、基準座標に対応する実座標を特定する。
【００５２】
たとえば、図４および図５に示す例において、アライメント情報取得部２４は、要素設計座標ＣＡＤ１、ＣＡＤ２、・・・のそれぞれの設計ベクトル群と要素実座標ＲＥＡＬ１、ＲＥＡＬ２、・・・のそれぞれの実ベクトル群とを比較することで、ＣＡＤ１の設計ベクトル群とＲＥＡＬ１の実ベクトル群とが対応すること、すなわちＣＡＤ１とＲＥＡＬ１とが対応することを容易に特定することができる。
【００５３】
この場合、アライメント情報取得部２４は、基準点（アライメントマーク）の設計座標がＣＡＤ１である旨の情報を設計情報から取得した場合、基準座標に対応する実座標がＲＥＡＬ１であることを容易に特定することができる。また、基準座標がＣＡＤ１から所定の相対位置である旨の情報を設計情報から取得した場合であっても、所定の相対位置の情報を用いて基準座標に対応する実座標を容易に特定できる。
【００５４】
以上の手順により、登録画像を用いることなく容易に基準座標に対応する実座標の情報を取得することができる。
【００５５】
本実施形態に係る画像処理装置１０は、設計情報を用い、設計ベクトル群と実ベクトル群とを比較することにより基準座標に対応する実座標を特定することができる。このため、登録画像を用いることなく容易に基準座標に対応する要素実座標の情報を取得することができる。したがって、本実施形態に係る画像処理装置１０によれば、事前に登録画像を用意する必要がないため、ユーザビリティに優れ、登録画像の選定者のレベルによらず高精度に基準座標に対応する実座標の情報を取得することができる。
【００５６】
また、本実施形態に係る画像処理装置１０は、画素ごとの計算を行わずに基準座標に対応する実座標の情報を取得することも可能である。このため、従来の画素ごとに計算を行う正規化相関法などのパターンマッチング技術にくらべ非常に高速に基準座標に対応する実座標の情報を取得することが可能である。さらに、図６に示す手順のうちステップＳ１およびＳ２を事前に行っておく場合、さらなる処理の高速化が可能である。
【００５７】
また、本実施形態に係る画像処理装置１０は、２以上の基準座標を用い、この２以上の基準座標のそれぞれに対応する実座標を特定することにより、対象物画像内での対象物の回転角度を容易に算出することができる。
【００５８】
また、本実施形態に係る画像処理装置１０は設計情報を用いる。このため、複数の対象物要素が同一形状である必要はなく、また周期的に配列される必要もない。
【００５９】
（２．第２の実施形態）
（２−１．構成）
次に、本発明に係る画像処理装置の第２実施形態について説明する。
【００６０】
図７は、本発明の第２実施形態に係る画像処理装置１０Ａの一構成例を示すブロック図である。
【００６１】
この第２実施形態に示す画像処理装置１０Ａは、設計ベクトル群を統合した統合ベクトルを生成する点で第１実施形態に示す画像処理装置１０と異なる。他の構成および作用については図１に示す画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【００６２】
画像処理装置１０Ａの制御部１５Ａのアライメント処理部２０Ａは、設計ベクトル生成部２１、実座標取得部２２、実ベクトル生成部２３、アライメント情報取得部２４Ａおよび統合ベクトル生成部４１を有する。
【００６３】
図８（ａ）は設計ベクトル群の一例を示す説明図であり、（ｂ）は統合ベクトル４２および統合要素ベクトル４３ごとの尤度情報４４の一例を示す説明図である。図８（ａ）は図４（ｂ）と同一の設計ベクトル群の例であり、図８（ｂ）はこの設計ベクトル群を統合して生成される統合ベクトル４２の例である。
【００６４】
また、図８（ｃ）は２つの設計ベクトル群で生成される統合ベクトル４２および統合要素ベクトル４３ごとの尤度情報４４の一例を示す図であり、（ｄ）は（ｃ）に示す統合ベクトル４２のもととなる２つの設計ベクトル群の一例を示す説明図である。
【００６５】
統合ベクトル生成部４１は、設計ベクトル群を統合して統合ベクトル４２を生成する。このとき、統合ベクトル生成部４１は、統合ベクトル４２を構成する統合要素ベクトル４３のそれぞれの出現頻度の情報を得ることができる。
【００６６】
統合ベクトル生成部４１は、この統合要素ベクトル４３の出現頻度にもとづいて、統合要素ベクトル４３ごとに要素設計座標ＣＡＤｉのそれぞれと尤度とを関連付けた尤度情報４４を生成する。このとき、統合ベクトル生成部４１は、統合要素ベクトル４３と同一の実ベクトルを有する実ベクトル群の要素実座標が対応する可能性が高い要素設計座標ほど高い尤度を有するように尤度情報４４を生成する。
【００６７】
たとえば、図８（ｄ）に示す２つの設計ベクトル群を統合して図８（ｃ）に示す統合ベクトル４２を生成し、この統合ベクトル４２と所定の実ベクトル群とを比較する場合を考える。ただし、所定の実ベクトル群の要素実座標はＣＡＤ１およびＣＡＤ２のいずれと対応するかは不明であるものとする。
【００６８】
図８（ｄ）から明らかなように、ＣＡＤ１およびＣＡＤ２のいずれの設計ベクトルも下向きのベクトルを有する。このため、下向きの統合要素ベクトル４３には、ＣＡＤ１およびＣＡＤ２のそれぞれに同等の重み（たとえば５０ずつ）を関連付けた尤度情報４４を生成する。
【００６９】
一方、左向きの成分を有するベクトルは、ＣＡＤ１の設計ベクトルではありえず、必ずＣＡＤ２の設計ベクトルである。このため、左向きの成分を有する統合要素ベクトル４３には、ＣＡＤ２に対してＣＡＤ１より大きな重みを関連付けた尤度情報４４を生成する。
【００７０】
特に、統合要素ベクトル４３と同一の実ベクトルを有する実ベクトル群の要素実座標が対応し得ない要素設計座標については、負の尤度を割り当てるとよい。図８（ｄ）の例では、左向きの成分を有する統合要素ベクトル４３には、ＣＡＤ１に−１００、ＣＡＤ２に＋１００の重みを関連付けた尤度情報４４を割り当てる場合の例を示した。負の尤度を用いる場合、めずらしい統合要素ベクトル４３と同一の実ベクトルを有する実ベクトル群はより精度よく検出することができる。
【００７１】
図９は、アライメント情報取得部２４により実行される統合ベクトル４２を用いたマッチング処理の様子を説明するための図である。
【００７２】
アライメント情報取得部２４Ａは、統合ベクトル４２と実ベクトル群とを比較することにより、基準座標に対応する実座標を特定する。具体的には、アライメント情報取得部２４Ａは、要素実座標の実ベクトル群を構成する実ベクトルのそれぞれについて、最も近い統合要素ベクトル４３の尤度情報４４を取得する。次に、アライメント情報取得部２４Ａは、取得した複数の尤度情報を合計することにより、要素実座標に対応する要素設計座標を特定する（図９参照）。
【００７３】
これを実ベクトル群のそれぞれで繰り返すことにより、アライメント情報取得部２４Ａは基準座標として要素設計座標が設定されている場合は基準座標（基準座標が所定の要素設計座標に対する相対位置により定義されている場合はこの所定の要素設計座標）と要素実座標とを対応付けることができ、基準座標に対応する実座標を特定することができる。
【００７４】
（２−２．動作）
次に、第２実施形態に係る画像処理装置１０Ａの動作の一例について説明する。
（２−２−１．メインフロー）
図１０は、図７に示す画像処理装置１０ＡのＣＰＵにより、登録画像を用いることなく統合ベクトル４２を用いて容易に基準座標に対応する実座標の情報を取得する際の手順を示すフローチャートである。図６と同等のステップには同一符号を付し、重複する説明を省略する。
【００７５】
ステップＳ１１において、統合ベクトル生成部４１は、設計ベクトル群を統合することにより統合ベクトル４２を生成するとともに、統合ベクトル４２を構成する統合要素ベクトル４３のそれぞれの出現頻度にもとづいて、統合要素ベクトル４３ごとに要素設計座標ＣＡＤｉのそれぞれと尤度とを関連付けた尤度情報４４を生成する。なお、ステップＳ１１は、ステップＳ１およびＳ２と同様に対象物の作製前にあらかじめ実行しておく事が可能である。
【００７６】
ステップＳ１２において、アライメント情報取得部２４Ａは、統合ベクトル４２と実ベクトル群とを比較する処理（統合ベクトルを用いたマッチング処理）を実行することにより、基準座標に対応する実座標を特定する。
【００７７】
以上の手順により、登録画像を用いることなく統合ベクトル４２を用いて容易に基準座標に対応する実座標の情報を取得することができる。
【００７８】
（２−２−２．統合ベクトルを用いたマッチング処理）
図１１は、図１０のステップＳ１２でアライメント情報取得部２４Ａにより実行される統合ベクトルを用いたマッチング処理の手順を示す、サブルーチンフローチャートである。
【００７９】
ステップＳ２１において、アライメント情報取得部２４Ａは、ＲＡＭの所要のワークエリアにｊ＝１を格納する。
【００８０】
次に、ステップＳ２２において、アライメント情報取得部２４Ａは、要素実座標ＲＥＡＬｊの実ベクトル群の実ベクトルに対し、大きさが小さい順にｋ＝１、２、・・・、ｎを割り当てる（ただしｎは自然数であり実ベクトル群を構成する実ベクトルの総数を表す）。
【００８１】
次に、ステップＳ２３において、アライメント情報取得部２４Ａは、ＲＡＭの所要のワークエリアにｋ＝１を格納する。
【００８２】
次に、ステップＳ２４において、アライメント情報取得部２４Ａは、統合ベクトル４２を構成する統合要素ベクトル４３のうち、実ベクトルｋに対応する統合要素ベクトルを推定する。たとえば、ベクトル同士の大きさの差およびベクトル同士のなす角がそれぞれ所定の閾値以内である場合、互いに対応するベクトルであると推定する。
【００８３】
次に、ステップＳ２５において、アライメント情報取得部２４Ａは、実ベクトルｋに対応する統合要素ベクトル４３の尤度情報４４を取得する。
【００８４】
次に、ステップＳ２６において、アライメント情報取得部２４Ａは、ＲＡＭの所要のワークエリアに格納されたｋに１を加える。
【００８５】
次に、ステップＳ２７において、アライメント情報取得部２４Ａは、ｋがｎ以下か否かを判定する。ｋがｎ以下である場合は、統合ベクトル４２とマッチングしていない実ベクトルが残っているためステップＳ２４にもどる。一方、ｋがｎより大きい場合は、ステップＳ２８に進む。
【００８６】
次に、ステップＳ２８において、アライメント情報取得部２４Ａは、実ベクトルごとに取得した尤度情報４４を合計し、要素実座標ＲＥＡＬｊに対応する要素設計座標ＣＡＤｉを推定する（図９参照）。
【００８７】
次に、ステップＳ２９において、アライメント情報取得部２４Ａは、ＲＡＭの所要のワークエリアに格納されたｊに１を加える。
【００８８】
次に、ステップＳ３０において、アライメント情報取得部２４Ａは、ｊがｍ以下か否かを判定する。ｊがｍ以下である場合は、所定領域３１に属する要素実座標のうち統合ベクトル４２とマッチングしていない要素実座標の実ベクトル群が残っているため、ステップＳ２２にもどる。一方、ｊがｍより大きい場合は、ステップＳ３１に進む。
【００８９】
そして、ステップＳ３１において、アライメント情報取得部２４Ａは、基準座標として要素設計座標が設定されている場合は、この要素設計座標に対応する要素実座標を特定することにより、基準座標に対応する実座標を特定する。また、基準座標が所定の要素設計座標に対する相対位置により定義されている場合は、この所定の要素設計座標に対応する要素実座標を特定することにより、基準座標に対応する実座標を特定する。
【００９０】
以上の手順により、登録画像を用いることなく統合ベクトル４２を用いて容易に基準座標に対応する実座標の情報を取得することができる。
【００９１】
第２実施形態に係る画像処理装置１０Ａは、第１実施形態に係る画像処理装置１０と同様の効果を奏する。
【００９２】
また、本実施形態に係る画像処理装置１０Ａは、統合ベクトル４２と実ベクトル群とを比較する。このため、第１実施形態に係る画像処理装置１０に比べて、複数の設計ベクトル群の構成が近似している場合における誤検出を低減することができる。
【００９３】
また、実ベクトル群とマッチングされる対象の数が、第１実施形態に係る画像処理装置１０では設計ベクトル群の数すなわち要素設計座標の数ｌであるのに対し、本実施形態に係る画像処理装置１０Ａでは統合ベクトル４２の１つだけである。したがって、第１実施形態に係る画像処理装置１０に比べて極めて高速に基準座標に対応する実座標を特定することができる。
【００９４】
また、本実施形態に係る画像処理装置１０Ａは、統合ベクトル４２と実ベクトル群とを比較することにより要素設計座標と要素実座標との対応を検出することができる。このため、たとえば対象物上に形成されるべき対象物要素が１つ欠損していたとしても、実ベクトル群を構成する実ベクトルの１つが失われるにすぎず、合計される尤度情報４４の結果には大きな影響がない。したがって、本実施形態に係る画像処理装置１０Ａは、対象物画像のノイズに対してロバストである。
【００９５】
また、たとえ基準座標として要素設計座標が設定されている場合であって基準座標に対応すべき要素実座標に対象物要素が欠落してしまっている場合であっても、本実施形態に係る画像処理装置１０Ａは他の要素設計座標と要素実座標との対応を正確に検出できる。このため、たとえば最も信頼性の高い（合計された尤度情報４４の尤度が最も高い）要素実座標を特定し、この要素実座標に対応する要素設計座標から相対的に基準座標の実座標を特定することができる。したがって、基準座標に対応すべき要素実座標に対象物要素が欠落してしまっている場合であっても、他の要素設計座標と要素実座標との対応関係にもとづいて、基準座標に対応する実座標の情報を容易に推定し取得することができる。
【００９６】
また、統合要素ベクトル４３と同一の実ベクトルを有する実ベクトル群の要素実座標が対応し得ない要素設計座標について負の尤度を割り当てた尤度情報４４を用いる場合、より正確に要素設計座標と要素実座標との対応関係を検出できる。
【００９７】
（２−２−３．統合ベクトルを用いたマッチング処理の他の手順）
図１２は、図１０のステップＳ１２でアライメント情報取得部２４Ａにより実行される統合ベクトルを用いたマッチング処理の他の手順を示す、サブルーチンフローチャートである。図１１と同等のステップには同一符号を付し、重複する説明を省略する。
【００９８】
この手順は、統合ベクトルを用いたマッチング処理において対象物画像内での対象物の回転角度を算出する点で図１１に示す手順と異なる。
【００９９】
図１３は、対象物画像内での対象物が所定の回転角度を有する場合において、任意の要素実座標ＲＥＡＬｊの実ベクトル群と統合ベクトル４２とを比較した様子の一例を示す説明図である。
【０１００】
撮像部１の光軸に対する対象物の配置位置によっては、図１３に示すように対象物画像内で対象物が所定の回転角度を持ってしまう場合がある。この場合、アライメント情報として基準座標に対応する実座標に加えてこの所定の回転角度の情報があると便利である。
【０１０１】
図１４は、実ベクトルｋ＝１と、この実ベクトルに対応する統合要素ベクトル４３とのなす角θｋ＝θ１を求める様子の一例を示す説明図である。また、図１５（ａ）は図１４に示す例において統合ベクトル４２をθ１の半分だけ回転補正した様子を説明するための図であり、（ｂ）は、図１５（ａ）に示した回転補正後の統合ベクトル４２を用いて実ベクトルｋ＝２とこの実ベクトルに対応する統合要素ベクトル４３とのなす角θｋ＝θ２を求める様子の一例を示す説明図である。
【０１０２】
ステップＳ２４で実ベクトルｋに対応する統合要素ベクトルを推定すると、ステップＳ４１において、アライメント情報取得部２４Ａは、実ベクトルｋに対応する統合要素ベクトル４３の尤度情報４４を取得するとともに、実ベクトルｋと統合要素ベクトル４３のなす角θｋを算出する（図１４参照）。
【０１０３】
次に、ステップＳ４２において、アライメント情報取得部２４Ａは、統合ベクトル４２をθｋの半分だけ回転させる（図１５（ａ）参照）。このとき、この回転角（θｋの半分）の情報は、ＲＡＭの所要のワークエリアに格納しておき、回転補正ごとに加算しておいてもよい。この結果、ステップＳ２７からステップＳ２４に戻り再びステップＳ４１を実行する際に用いられる統合要素ベクトル４３は、ＲＡＭの所要のワークエリアで加算された回転補正角だけ回転補正した後のものとなる（図１５（ｂ）参照）。
【０１０４】
そして、ステップＳ４３において、アライメント情報取得部２４Ａは、基準座標に対応する実座標を特定するとともに、統合ベクトルの。また、基準座標が所定の要素設計座標に対する相対位置により定義されている場合は、この所定の要素設計座標に対応する要素実座標を特定することにより、基準座標に対応する実座標を特定するとともに、統合ベクトルの最終的な回転角度を特定する。この最終的な回転角度は、対象物画像内における対象物の回転角度とみなすことができる。
【０１０５】
以上の手順により、登録画像を用いることなく統合ベクトル４２を用いて容易に基準座標に対応する実座標の情報を取得することができるとともに、対象物画像内における対象物の回転角度の情報を取得することができる。
【０１０６】
図１２に示す手順によれば、１つの視野の対象物画像のみにもとづいて基準座標に対応する実座標および対象物画像内での対象物の回転角度の両方を特定することができる。アライメント情報を得るために２以上の基準座標を用いる場合は、撮像部１と対象物との相対位置関係を変更して２回以上の撮影を行い２視野以上の画像を用いる必要がある場合がある。これに対し、図１２に示す手順によれば、撮像部１と対象物との相対位置を変更することなく一度の撮像のみでアライメント情報を取得することができる。このため、本実施形態に係る画像処理装置１０Ａによれば、２視野以上の対象物画像を必要とする場合に比べ、容易かつ高速にアライメント情報を取得することができる。
【０１０７】
また、ステップＳ４２に示すように抽出したベクトル間角度の半分ずつずらして行く場合、前回検出したベクトル間角度θｋに対する今回検出したベクトル間角度θｋ＋１の差が所定角度以上である場合や前回までのベクトル間角度の分散や平均などにもとづいて、今回検出したベクトル間角度θｋ＋１の異常を検知すると、手順を中断または当該実ベクトルを無視するなどの対応を容易に取ることができる。このため、ゴミなどのノイズに起因する要素実座標や実ベクトルの影響を容易に低減することができる。
【０１０８】
なお、図１２に示す手順において、ステップＳ３０からステップＳ２２に戻るたびに、すなわち要素実座標ｊごとに、回転角度を保存しておくとともに統合ベクトル４２の回転をリセットし、全ての要素実座標ｊの回転角度を平均したものを対象物の回転角度としてもよい。
【０１０９】
また、図１１に示す手順のように統合ベクトル４２の回転補正をしない場合であっても、たとえば図１１のステップＳ２４またはＳ２５において実ベクトルと統合要素ベクトルとのなす角θｋを検出して順次保存しておき、このθｋの平均を対象物画像内での対象物の回転角度としてあつかってもよい。
【０１１０】
（３．第３の実施形態）
（３−１．構成）
次に、本発明に係る画像処理装置の第３実施形態について説明する。
【０１１１】
図１６は、本発明の第３実施形態に係る画像処理装置１０Ｂの一構成例を示すブロック図である。
【０１１２】
この第３実施形態に示す画像処理装置１０Ｂは、要素実座標の取得処理が第１実施形態に示す画像処理装置１０と異なる。他の構成および作用については図１に示す画像処理装置１０および図７に示す画像処理装置１０Ａと実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
【０１１３】
なお、図１６には画像処理装置１０Ｂが統合ベクトル生成部４１を有する場合の例について示したが、本実施形態において統合ベクトル生成部４１は省略されてもよい。
【０１１４】
画像処理装置１０Ｂの制御部１５Ｂのアライメント処理部２０Ｂは、設計ベクトル生成部２１、実座標取得部２２Ｂ、実ベクトル生成部２３、アライメント情報取得部２４および統合ベクトル生成部４１を有する。
【０１１５】
実座標取得部２２Ｂは、一般化ハフ変換を用いて対象物画像にもとづいて対象物要素を抽出することにより要素実座標を取得する。
【０１１６】
図１７および図１８は一般化ハフ変換について説明するための図である。図１７（ａ）は抽出対象物の一例としての三角形を示す説明図であり、（ｂ）は抽出対象物の形状に応じてあらかじめ記憶媒体に記憶される抽出対象の特徴点と検出対象図形の基準点間のベクトルの一例を示す説明図であり、（ｃ）は入力画像の特徴点をもとに基準点に対して投票処理が行われる様子の一例を示す説明図であり、（ｄ）は種々の抽出対象物の形状の例を示す説明図である。
【０１１７】
また、図１８は、一般化ハフ変換により円形形状の抽出対象物を抽出する際の様子の一例を示す説明図である。
【０１１８】
図１７（ｄ）および図１８に示すように、ハフ変換を形状抽出に一般化した一般化ハフ変換（ＧＨＴ）は、パラメータで表すことができない不定形の図形を検出することができる。
【０１１９】
一般化ハフ変換を行う場合は、実座標取得部２２Ｂは、検出対象の物体の形状に関する情報（抽出対象の特徴点と基準点間のベクトル）をあらかじめ設計情報から、またはネットワークを介して、または入力部１１を介して取得する（図１７（ｂ）参照）。そして、画像上の特徴点を抽出し、特徴点の位置とエッジの法線方向にもとづいて特徴点ごとに所定のセル（基準点）に投票を行うことを繰り返すことにより、物体の検出を行う（図１７（ｃ）参照）。
【０１２０】
特に、対象物要素がバンプである場合には、対象物画像から対象物要素を抽出する方法として一般化ハフ変換法が好適である。
【０１２１】
また、実座標取得部２２Ｂは、所定の強度閾値ｔｈを用いて対象物画像から二値画像を生成し、この二値画像にもとづいて対象物要素を抽出することにより要素実座標を取得してもよい。
【０１２２】
さらに、実座標取得部２２Ｂは、二値画像に対してラベリング処理を施し、ラベリング処理後の各ラベルの代表座標を要素実座標として取得してもよい。ラベルの代表座標としては、ラベルの中心や重心などを用いることができる。
【０１２３】
所定の強度閾値ｔｈは、対象物画像に含まれると推定される対象物要素の数にもとづいて自動設定することができる。このとき、実座標取得部２２Ｂは、対象物要素の数に応じて所定の範囲を設定し、強度閾値ｔｈより高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施し、ラベリング処理後のラベル数が所定の範囲内となるように補助処理を行ってもよい。
【０１２４】
補助処理では、ラベル数が所定の範囲より外であると所定の範囲以内となるよう自動的に強度閾値ｔｈを変更して再度二値画像を生成してラベリング処理を施すことを繰り返す一方、ラベル数が所定の範囲以内であるとラベリング処理後の各ラベルの代表座標を要素実座標として取得する。また、強度閾値ｔｈの変更が繰り返され続ける弊害を未然に防ぐため、強度閾値ｔｈの変更回数に上限を設けてもよい。
【０１２５】
なお、ラベリング処理を施す場合、ラベルの情報があれば要素実座標を取得可能である。このため、ラベリング処理を施した後は、対象物画像や一般化ハフ変換画像などの元画像を記憶媒体から削除してもよい。
【０１２６】
なお、二値化処理の対象となる画像は対象物画像そのもの（輝度画像）であってもよいし、一般化ハフ変換後の画像であってもよい。本実施形態では、実座標取得部２２Ｂが一般化ハフ変換後の画像に対して二値化処理およびラベリング処理を施す場合の例について説明する。
【０１２７】
（３−２．動作）
次に、第３実施形態に係る画像処理装置１０Ｂの動作の一例について説明する。
（３−２−１．メインフロー）
図１９は、図６のステップＳ３で図１６に示す画像処理装置１０Ｂの実座標取得部２２Ｂにより実行される要素実座標の取得処理の手順を示すフローチャートである。以下の説明では、対象物要素がバンプなどの円形形状を有する場合の例について示す。
【０１２８】
ステップＳ５１において、実座標取得部２２Ｂは、対象物画像に対して一般化ハフ変換を施して一般化ハフ変換画像（ＧＨＴ画像）を生成する。
【０１２９】
次に、ステップＳ５２において、実座標取得部２２Ｂは、一般化ハフ変換画像に対して二値化処理およびラベリング処理を施す。
【０１３０】
次に、ステップＳ５３において、実座標取得部２２Ｂは、ラベルの代表座標を要素実座標として取得し、図６のステップＳ４に進む。
【０１３１】
以上の手順により、一般化ハフ変換画像にもとづいて要素実座標を取得することができる。
【０１３２】
（３−２−２．自動二値化処理およびラベリング処理）
図２０は、図１９のステップＳ５２で実座標取得部２２Ｂにより実行される二値化処理およびラベリング処理の手順を示すサブルーチンフローチャートである。
【０１３３】
また、図２１は、図２０に示す手順における二値化処理およびラベリング処理を説明するための図である。
【０１３４】
ステップＳ６１において、実座標取得部２２Ｂは、対象物画像の所定領域に含まれると推定される対象物要素の数ｎＡを求める。
【０１３５】
次に、ステップＳ６２において、実座標取得部２２Ｂは、対象物要素１つが占める平均画素数ｎＢの情報をパラメータなどから取得する。所定領域に含まれる全ての対象物要素により占められる画素数はｎＡ×ｎＢで表せる。
【０１３６】
なお、ステップＳ６１およびＳ６２は、対象物画像の生成前にあらかじめ行っておいてもよい。
【０１３７】
次に、ステップＳ６３において、実座標取得部２２Ｂは、処理対象画像としてステップＳ５１で生成された一般化ハフ変換画像を取得する。なお、処理対象画像は対象物画像であってもよい。
【０１３８】
次に、ステップＳ６４において、実座標取得部２２Ｂは、取得した画像の画素の強度分布をヒストグラム化する（図２１参照）。
【０１３９】
次に、ステップＳ６５において、実座標取得部２２Ｂは、有効画素数がｎＡ×ｎＢとなるように強度閾値ｔｈを求める。
【０１４０】
次に、ステップＳ６６において、実座標取得部２２Ｂは、強度閾値ｔｈより高い強度の画素を抽出することにより二値画像を生成してラベリング処理を実行する。
【０１４１】
以上のステップＳ６１−６６の手順により、二値化処理の閾値ｔｈを適切に自動設定することができる。また、実座標取得部２２Ｂは、結果として得られるラベリング処理後の各ラベルの代表座標を要素実座標として取得することができる。
【０１４２】
また、強度閾値ｔｈの値がより適切な値となるよう、次の補助処理（ステップＳ６７−７０）を行ってもよい。補助処理は、ラベル数がより確実に所定の範囲以内となるような強度閾値ｔｈを自動設定するための処理であり、ステップＳ６６での結果得られたラベル数が所定の範囲以内であるか否かが判定され、所定の範囲外であった場合はラベル数が所定の範囲以内となるよう強度閾値ｔｈを再設定しステップＳ６６に戻る処理である。
【０１４３】
なお、補助処理を行う場合、記憶部１４はラベル数の上限値および下限値をあらかじめ記憶しておいてもよい。
【０１４４】
ステップＳ６７において、実座標取得部２２Ｂは、ステップＳ６６の結果得られたラベル数が上限より小さいか否かを判定する。ラベル数が上限以上である場合は、ステップＳ６８に進み、ラベル数がより所定の範囲以内となるように強度閾値ｔｈに所定の定数α（ただしα＞１）を乗じてステップＳ６６に戻る。一方、ラベル数が上限より小さい場合はステップＳ６９に進む。
【０１４５】
次に、ステップＳ６９において、実座標取得部２２Ｂは、ステップＳ６６の結果得られたラベル数が下限より大きいか否かを判定する。ラベル数が下限以下である場合は、ステップＳ７０に進み、ラベル数がより所定の範囲以内となるように強度閾値ｔｈに所定の定数β（ただしβ＜１）を乗じてステップＳ６６に戻る。一方、ラベル数が下限より大きい場合はラベル数が所定の範囲以内であると判定し図１９のステップＳ５３に戻る。
【０１４６】
なお、補助処理（ステップＳ６７−７０）は実行されずともよく、実行される場合であってもループ回数（補助処理の回数）に制限を設けてもよい。
【０１４７】
補助処理を行うことにより、ラベル数がより確実に所定の範囲以内となるような強度閾値ｔｈを自動設定することができる。
（３−２−３．共起性一般化ハフ変換）
【０１４８】
一般化ハフ変換において抽出される特徴点には、ゴミなどに起因する意図しない特徴点も含まれることが多い。しかし、従来の一般化ハフ変換では、抽出した全ての特徴点について均等に投票を行う。このため、入力画像にゴミなどのノイズが多い場合には、的確に物体を検出することが難しい。
【０１４９】
一方、一般化ハフ変換では、検出対象の物体の形状に関する情報を利用する。そして、画像上の特徴点を抽出し、特徴点の位置とエッジの法線方向にもとづいて特徴点ごとに所定のセルに投票を行うことを繰り返すことにより、物体の検出を行うようになっている。
【０１５０】
検出対象の物体の形状をうまく利用し、検出対象物体の形状に応じた特徴点の共起性を利用することができれば、より正確な物体検出ができると考えられる。そこで、本実施形態に係る実座標取得部２２Ｂは、一般化ハフ変換に代えて、検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換（共起性情報を付加した一般化ハフ変換、以下、共起性一般化ハフ変換（共起性ＧＨＴ）という）を行ってもよい。
【０１５１】
図２２（ａ）は、対象物要素が円形形状である場合において、１つの特徴点（ｘ、ｙ）に対して共起されるべき予想特徴点を３つ抽出した様子の一例を示す説明図であり、（ｂ）は（ａ）に示す場合において抽出された共起されるべき特徴点のエッジの法線方向の向きの一例を示す説明図である。
【０１５２】
また、図２３は、対象物要素が任意の形状であっても共起性ＧＨＴを適用可能であることを説明するための図である。
【０１５３】
検出対象物体の形状がわかっているのであるから、１つの特徴点が抽出された場合には、この特徴点が対象物要素に属する特徴点である場合には抽出した特徴点と共起すべき予想特徴点の位置（予想共起位置）およびエッジ法線方向（予想共起エッジ法線方向）をあらかじめ定義することが可能である（図２３の共起座標間距離Ｄｘ１，Ｄｙ１，エッジ法線方向の向きＶｘ１，Ｖｙ１参照）。
【０１５４】
したがって、予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合には、抽出した特徴点が対象物要素に属する特徴点である可能性が極めて高いと考えられる。このため、この抽出した特徴点の検出対象図形の基準点への投票度数を大きくする。
【０１５５】
このように、共起性一般化ハフ変換によれば、ゴミに起因する特徴点の影響を大きく低減することができ、より的確に検出対象物を検出することができる。
【０１５６】
なお、図２２には、対象物要素が円形形状である場合において、予想共起位置を９０度ずつずらした位置とする場合の例について示したが、予想共起位置は１８０度の位置（対角）位置のみであってもよいし、４５度ずつずらした位置などより多くの位置を定義してもよい。
【０１５７】
図２４は、図６のステップＳ３で図１６に示す画像処理装置１０Ｂの実座標取得部２２Ｂにより実行される要素実座標の取得処理の他の手順を示すフローチャートである。図１９と同等のステップには同一符号を付し、重複する説明を省略する。
【０１５８】
共起性一般化ハフ変換を実行する場合、実座標取得部２２Ｂは、対象物要素の形状に応じた特徴点の共起性に関する情報（図２３のＤｘ１等参照）をあらかじめ取得しておく。
【０１５９】
ステップＳ８０において、実座標取得部２２Ｂは、対象物画像に対して、共起性一般化ハフ変換を施し、共起性一般化ハフ変換画像（共起性ＧＨＴ画像）を生成する。
【０１６０】
以上の手順により、共起性一般化ハフ変換画像にもとづいて要素実座標を取得することができる。共起性一般化ハフ変換画像は、一般化ハフ変換画像に比べ、より正確に画像から検出対象物体を検出できる。このため、図２２に示す手順によれば、図１９に示す手順に比べ、よりゴミなどの誤検出の影響を低減することができ、より正確な要素実座標を取得することができる。
【０１６１】
続いて、共起性一般化ハフ変換画像の生成処理についてより詳細に説明する。
【０１６２】
図２５は、図２２のステップＳ８０で実座標取得部２２Ｂにより実行される共起性ＧＨＴ画像生成処理の手順を示すサブルーチンフローチャートである。
【０１６３】
ステップＳ８１において、実座標取得部２２Ｂは、対象物画像から特徴点を抽出する。次に、ステップＳ８２において、実座標取得部２２Ｂは、抽出した特徴点と共起すべき予想特徴点の情報を取得する。予想特徴点の情報には、予想共起位置の情報（たとえば抽出した特徴点との相対ベクトルなど）や予想共起エッジ法線方向の情報が含まれる。
【０１６４】
次に、ステップＳ８３において、実座標取得部２２Ｂは、予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致するか否かを判定する。エッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合は、ステップＳ８４に進み、ステップＳ８１で抽出した特徴点の検出対象図形の基準点への投票度数を大きくしてステップＳ８６に進む。一方、エッジが存在しないか、エッジが存在してもエッジの法線方向が予想共起エッジ法線方向とは一致するとはいえない場合は、ステップＳ８５に進み、ステップＳ８１で抽出した特徴点の検出対象図形の基準点への投票度数を小さくしてステップＳ８６に進む。
【０１６５】
そして、ステップＳ８６において、実座標取得部２２Ｂは、投票度数にもとづいて共起性一般化ハフ変換画像を生成し、図２４のステップＳ５２に進む。
【０１６６】
以上の手順により、共起性に関する情報を利用した一般化ハフ変換（共起性一般化ハフ変換）によって、対象物画像からより的確に対象物要素を抽出することができる。
【０１６７】
第３実施形態に係る画像処理装置１０Ｂは、第１実施形態に係る画像処理装置１０と同様の効果を奏する。また、画像処理装置１０Ｂが統合ベクトル生成部４１を有する場合には、第２実施形態に係る画像処理装置１０Ａと同様の効果も奏する。
【０１６８】
また、本実施形態に係る画像処理装置１０Ｂは、一般化ハフ変換により対象物画像から対象物要素を抽出することができる。一般化ハフ変換では、対象物要素の輪郭情報のみを用いる。このため、正規化相関法を用いる場合に比べ、対象物要素の立体形状に異常があっても問題なく対象物要素を抽出することができる。
【０１６９】
また、本実施形態に係る画像処理装置１０Ｂは、二値画像を生成する際に閾値ｔｈを適切に自動設定することができるため、ユーザにとって非常に利便性が高い。また、閾値ｔｈを自動設定する際に補助処理を行う場合、ラベル数が確実に所定範囲内となるような閾値ｔｈを設定することができる。
【０１７０】
また、本実施形態に係る画像処理装置１０Ｂは、共起性一般化ハフ変換を行うことができる。共起性一般化ハフ変換を行う場合、一般化ハフ変換を行う場合に比べてゴミなどの誤検出の影響を低減することができ、より正確な要素実座標を取得することができる。
【０１７１】
なお、一般化ハフ変換や共起性一般化ハフ変換を行う場合、入力画像（対象物画像）を圧縮しておくと、計算速度を向上させることができる。また、入力画像を平滑化しておいてもよく、この場合、画像中のゴミの影響を低減することができる。
【０１７２】
（４．第４の実施形態）
次に、本発明に係る画像処理装置の第４実施形態について説明する。
【０１７３】
図２６は、本発明の第４実施形態に係る画像処理装置１０Ｃを含む立体形状計測装置１００の一構成例を示すブロック図である。
【０１７４】
この第４実施形態に示す画像処理装置１０Ｃは、対象物の立体形状計測機能を有する点で第１実施形態に示す画像処理装置１０と異なる。他の構成および作用については図１に示す画像処理装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。また、以下の説明では、光軸方向をＺ軸、光軸方向に垂直な方向をＸ軸およびＹ軸とする場合の例について示す。
【０１７５】
立体形状計測装置１００は、光源１１１ａを有する照明光学系１１１、主面が光軸方向に垂直となるよう配置された開口板１１２、対物レンズ１１３、焦点位置変更部１１４、対象物要素１１５を有する対象物１１６を載置するための載物台１１７、載物台１１７をＸＹＺ各方向に移動させるための載物台駆動部１１８、載物台１１７および載物台駆動部１１８を支持する支持基台１１９、対象物１１６からの反射光を入射される撮像部１、および画像処理装置１０Ｃを有する。載物台駆動部１１８は、載物台Ｚ変位部１２１および載物台ＸＹ変位部１２２を有する。
【０１７６】
光源１１１ａとしては、たとえばハロゲンランプやレーザなどを用いることができる。光源１１１ａから出射された光は、照明レンズ１２３を介して面状の照明光束となる。この光は、偏光ビームスプリッタ１２４を介して開口板１１２を照明する。
【０１７７】
開口板１１２は、それぞれ共焦点開口部として機能する複数の開口部１２５を有する。開口板１１２には複数の開口部１２５が形成されていればよく、開口板１１２としては開口部１２５が２次元に配列されて開口アレイが形成されたものを用いてもよいし、いわゆるニポウディスクを用いてもよい。ニポウディスクを用いる場合、ニポウディスクは図示しない駆動機構により回転駆動される。
【０１７８】
各開口部１２５を通過した光は、焦点位置変更部１１４を介して対物レンズ１１３を照射し、対物レンズ１１３によって対象物１１６に投光されつつ開口部１２５と共役なスポット（物体側集光点）に集光される。各物体側集光点は、Ｚ軸方向の所定の位置の光軸方向に垂直な面（以下、物体側集光面という）上に位置する。なお、対物レンズ１１３は、たとえば複数のレンズおよび絞りにより構成されて両側テレセントリック光学系を構成されてもよい。
【０１７９】
載物台Ｚ変位部１２１は、ステッピングモータやサーボモータ、あるいはピエゾモータなどの一般的な駆動装置により構成され、載物台１１７を光軸方向に変位させる。この変位の量、方向およびタイミングは、画像処理装置１０ＣによりＺ軸ドライバ１３０を介して制御される。載物台Ｚ変位部１２１は、たとえば測定開始前に載物台１１７を光軸方向に大まかに変位させる。
【０１８０】
図２７は、焦点位置変更部１１４の一構成例を示す斜視図である。図２７には、光路変更片１３１が対象物側の面に設けられる場合の例について示した。
【０１８１】
対物レンズ１１３の光路中に透明体により構成された平行平板形の光路変更片１３１を配置すると、対物レンズ１１３の物体側集光面の位置がＺ方向に移動する。この焦点移動幅は、光路変更片１３１の屈折率および厚さによって制御することができる。
【０１８２】
このため、図２７に示すように、回転板１３２に対して回転方向に沿って等間隔に互いに焦点移動幅が異なる光路変更片１３１を配設する。この回転板１３２をモータなどの駆動部１３３により所定の速度で連続回転させることにより、光路変更片１３１のそれぞれが対物レンズ１１３の光軸と交わるごとに離散的に（ステップ的に）対物レンズ１１３の物体側集光面の位置をＺ方向（光軸方向）に移動させることができる。なお、回転板１３２に配設された光路変更片１３１の一部は、他の光路変更片１３１と同一の屈折率および厚さを有し同一の焦点移動幅を有するものであってもよい。
【０１８３】
回転板１３２の回転状態はタイミングセンサ１３４により検知される。タイミングセンサ１３４の出力は画像処理装置１０Ｃに与えられる。画像処理装置１０Ｃは、あらかじめ各光路変更片１３１と物体側集光点のＺ軸座標とを関連付けた情報を保持している。画像処理装置１０Ｃがタイミングセンサ１３４の出力にもとづいて各光路変更片１３１と光軸とが交わるタイミングで撮像部１を露光させることを繰り返すことにより、離散的な複数の物体側集光点の位置のそれぞれで、容易かつ高速に撮像を行うことができる。
【０１８４】
駆動部１３３は、画像処理装置１０Ｃにより制御可能に構成されてもよい。この場合、画像処理装置１０Ｃは回転板１３２の回転速度を制御することができる。
【０１８５】
なお、以下の説明では光路変更片１３１の形状が円形である場合の例について示すが、これらの形状は楕円形、多角形等であってもよい。
【０１８６】
対象物１１６による反射光のうち特に物体側集光点における反射光は、対物レンズ１１３により、物体側集光点と光学的共役関係にある点（以下、像側集光点という）に集光される。点光源としての開口部１２５と物体側集光点とは、１対１に対応する。本実施形態では、像側集光点が点光源としての開口部１２５に一致する場合の例について説明する。この場合、開口部１２５を通過した光は物体側集光点に集光されるとともに、この物体側集光点で反射されて開口部１２５に再度入射することになる。
【０１８７】
開口部１２５に再度入射した光は、偏光ビームスプリッタ１２４により偏向されて結像光学系１３８に入射し、撮像部１を構成する撮像素子に入射する。ここで、結像光学系１３８は、開口部１２５の像を撮像素子の光電変換面に結ぶように構成される。開口部１２５（像側集光点）とこの開口部１２５に対応する位置に配設された撮像素子とは、偏光ビームスプリッタ１２４および結像光学系１３８により互いに共役関係となる。
【０１８８】
撮像部１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されて、照射された光の強度に応じた信号を画像処理装置１０Ｃに出力する。また、撮像部１は、画像処理装置１０Ｃにより光検出のタイミングを制御される。
【０１８９】
画像処理装置１０Ｃは、この撮像部１から受けた信号を、画像（以下、共焦点画像という）を生成するための画像データ（以下、共焦点画像データという）として用いることができる。また、画像処理装置１０Ｃは、たとえば共焦点画像データにもとづく共焦点画像を露光ごとに生成してもよい。なお、画像処理装置１０Ｃは、露光ごとに撮像部１の出力信号を得ることができれば、この出力信号にもとづいて、対象物画像を生成しアライメント情報を生成することや立体形状計測を行うことが可能である。
【０１９０】
載物台駆動部１１８の載物台ＸＹ変位部１２２は、載物台１１７を光軸方向に垂直な方向に変位させる。たとえば、載物台ＸＹ変位部１２２は、測定の合間に測定対象領域をＸＹ面内で移動させるために用いられる。
【０１９１】
この載物台ＸＹ変位部１２２は、載物台１１７のＸ軸方向およびＹ軸方向の位置決めを行うＸ軸変位機構１４１およびＹ軸変位機構１４２を有する。Ｘ軸変位機構１４１およびＹ軸変位機構１４２は、たとえばサーボモータにより構成され、変位の量、方向およびタイミングは、画像処理装置１０ＣによりＸＹ軸ドライバ１４５を介して制御される。
【０１９２】
図２８は、本発明の第４実施形態に係る画像処理装置１０Ｃの一構成例を示すブロック図である。
【０１９３】
画像処理装置１０Ｃの制御部１５Ｃは、プログラムによって、少なくともアライメント処理部２０および立体形状計測部２００として機能する。これらのアライメント処理部２０および立体形状計測部２００は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。
【０１９４】
なお、図２８には制御部１５Ｃがアライメント処理部２０を有する場合の例について示したが、アライメント処理部２０に代えて第２実施形態に係るアライメント処理部２０Ａを用いてもよいし第３実施形態に係るアライメント処理部２０Ｂを用いてもよい。また、アライメント処理部２０Ｂを用いる場合、統合ベクトル生成部４１が省略されてもかまわない。
【０１９５】
立体形状計測部２００は、少なくとも立体形状計測に必要な演算処理および立体形状計測装置１００の動作の全般的な制御を実行する。
【０１９６】
具体的には、立体形状計測部２００は、光軸方向に離散的に変更された物体側集光点の位置ごとの撮像素子の信号にもとづいて撮像部１に入射する反射光の強度が最大となる対象物の光軸方向の位置を推定することにより、対象物の距離画像を生成する。また、立体形状計測部２００は、アライメント処理部２０により取得された基準座標に対応する実座標を用いて、距離画像に含まれる対象物要素の要素実座標と、設計情報の要素設計座標とを対応付ける（アライメントする）ことにより、距離画像にもとづいて対象物の立体形状を計測する。
【０１９７】
本実施形態に係る画像処理装置１０Ｃによれば、アライメント情報を用いることにより、距離画像に含まれる対象物要素の要素実座標と、設計情報の要素設計座標とを、容易かつ的確に対応させることができる。このため、対象物に実際に配設された対象物要素の立体形状を迅速かつ正確に測定し評価することができる。
【０１９８】
なお、アライメント処理部２０は、立体形状計測部２００により生成された距離画像を入力画像として用いてもよい。
【０１９９】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０２００】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
【符号の説明】
【０２０１】
１    撮像部
１０、１０Ａ、１０Ｂ、１０Ｃ  画像処理装置
２０、２０Ａ、２０Ｂ  アライメント処理部
２１  設計ベクトル生成部
２２、２２Ｂ  実座標取得部
２３  実ベクトル生成部
２４、２４Ａ  アライメント情報取得部
４１  統合ベクトル生成部
４２  統合ベクトル
４３  統合要素ベクトル
４４  尤度情報
１００  立体形状計測装置
１１１ａ  光源
１１２  開口板
１１３  対物レンズ
１１４  焦点位置変更部
１１５  対象物要素
１１６  対象物
１２５  開口部
２００  立体形状計測部
【図１】
2015153364.tif 000003
【図２】
2015153364.tif 000004
【図３】
2015153364.tif 000005
【図４】
2015153364.tif 000006
【図５】
2015153364.tif 000007
【図６】
2015153364.tif 000008
【図７】
2015153364.tif 000009
【図８】
2015153364.tif 000010
【図９】
2015153364.tif 000011
【図１０】
2015153364.tif 000012
【図１１】
2015153364.tif 000013
【図１２】
2015153364.tif 000014
【図１３】
2015153364.tif 000015
【図１４】
2015153364.tif 000016
【図１５】
2015153364.tif 000017
【図１６】
2015153364.tif 000018
【図１７】
2015153364.tif 000019
【図１８】
2015153364.tif 000020
【図１９】
2015153364.tif 000021
【図２０】
2015153364.tif 000022
【図２１】
2015153364.tif 000023
【図２２】
2015153364.tif 000024
【図２３】
2015153364.tif 000025
【図２４】
2015153364.tif 000026
【図２５】
2015153364.tif 000027
【図２６】
2015153364.tif 000028
【図２７】
2015153364.tif 000029
【図２８】
2015153364.tif 000030