(57)【要約】【課題】処理対象の入力画像に複数の図形要素が含まれる場合であっても推定精度を維持できる、画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】画像処理装置は、入力画像に含まれる特徴量から当該入力画像に含まれる１つ以上の図形要素を認識する認識手段と、認識された１つ以上の図形要素のうち所望の図形要素を選択する選択手段と、選択された図形要素に対応する領域の情報から対象の図形要素を推定する推定手段とを備える。【選択図】図６
2015114876.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる特徴量から当該入力画像に含まれる１つ以上の図形要素を認識する認識手段と、
前記認識された１つ以上の図形要素のうち所望の図形要素を選択する選択手段と、
前記選択された図形要素に対応する領域の情報から対象の図形要素を推定する推定手段とを備える、画像処理装置。
【請求項２】
前記認識手段は、１または複数のカテゴリに属する図形要素を、各図形要素に特化した図形要素判定手段に基づいて認識する、請求項１に記載の画像処理装置。
【請求項３】
前記認識手段は、ユーザが予め指定した図形要素に従い、前記入力画像から抽出したエッジまたは図形固有パラメータを分割し、それらを統合することで図形要素を推定する処理を、２段階以上の処理で行う、請求項１に記載の画像処理装置。
【請求項４】
前記認識手段は、前記入力画像から抽出した特徴量について、図形要素に応じた特徴量空間を利用、もしくは図形要素に応じたパラメータ空間への写像空間を利用し、その空間上で図形要素を認識する、請求項１に記載の画像処理装置。
【請求項５】
前記認識手段は、前記入力画像から抽出した特徴量について、図形要素に応じた特徴量空間を利用、もしくは図形要素に応じたパラメータ空間への写像空間を利用し、その空間上でクラスタリングすることで、図形要素を認識する、請求項１に記載の画像処理装置。
【請求項６】
前記選択手段は、予め定められた基準に対する適合度合いに応じて、前記１つ以上の図形要素のうち所望の図形要素を選択する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記予め定められた基準は、図形要素の長さ、大きさ、面積、輝度、エッジ強度の少なくとも一つを含む、請求項６に記載の画像処理装置。
【請求項８】
前記推定手段は、前記入力画像の選択された図形要素に応じて、推定すべきパラメータと推定手段を設定されることを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記選択された図形要素に応じて外乱となる情報を除去する除去手段をさらに備える、請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記除去手段は、前記選択された図形要素を構成する点もしくは特徴量を、内挿処理により拡張する処理を行う、請求項９に記載の画像処理装置。
【請求項１１】
前記入力画像とともに、対象の図形要素を示す推定結果を表示する出力手段をさらに備え、
前記出力手段は、前記推定された対象の図形要素に対応する領域を他の領域とは異なる領域で表示する、請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
被写体を撮像することで前記入力画像を生成する撮像手段と、
対象の図形要素を示す推定されたパラメータに基づいて、前記被写体の位置を変化させる駆動装置へ指示を出力する指示出力手段とをさらに備える、請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力画像に含まれる特徴量から当該入力画像に含まれる１つ以上の図形要素を認識する認識ステップと、
前記認識された１つ以上の図形要素のうち所望の図形要素を選択する選択ステップと、
前記選択された図形要素に対応する領域の情報から対象の図形要素を推定する推定ステップとを備える、画像処理方法。
【請求項１４】
入力画像に含まれる特徴量から当該入力画像に含まれる１つ以上の図形要素を認識する認識ステップと、
前記認識された１つ以上の図形要素のうち所望の図形要素を選択する選択ステップと、
前記選択された図形要素に対応する領域の情報から対象の図形要素を推定する推定ステップとを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に含まれる図形要素を推定する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来からＦＡ（Factory Automation）分野などでは、測定対象物であるワーク上の欠陥や汚れの有無の検査、ワークの大きさや形状の計測、ワーク上の文字や図形などの認識といった処理を行う各種の画像処理装置が実用化されている。このようなＦＡ分野における画像処理の一例として、ワーク上に予め印字されたマークなどの図形要素を推定し、この推定結果に基づいて位置決めをするような処理が知られている。
【０００３】
このような画像処理において、各種の外乱によるノイズの混入は避けられない。このようなノイズを除去して計測精度を高める一手法として、特開２００７−２４９５５５号公報（特許文献１）および特開２００９−１８６３３８号公報（特許文献２）が知られている。
【０００４】
特開２００７−２４９５５５号公報（特許文献１）は、座標群に含まれる座標から外れ値を効率的に取除いて、精度の高い近似直線を実現する技術を開示する。また、特開２００９−１８６３３８号公報（特許文献２）は、複雑な形状を有する物体であっても、複数のエッジ点に対して適切な基準線を設定し、該基準線からの各エッジ点の差異に基づいてバリ、欠け等の欠陥を正確に検出することができる技術を開示する。すなわち、これらの先行技術文献には、エッジ位置などから測定対象物の外形などを示す直線要素を決定する方法を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４９５５５号公報
【特許文献２】特開２００９−１８６３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のような先行技術文献に記載の方法を用いることで、矩形の測定対象物の一辺などを推定することができるが、現実の処理においては、計測対象領域内に複数の直線要素が混入する場合がある。このような場合には、上述のような先行技術文献に記載の技術を用いたとしても、計測精度が低下し得る。
【０００７】
そのため、処理対象の入力画像に複数の図形要素が含まれる場合であっても推定精度を維持できる、画像処理装置、画像処理方法および画像処理プログラムが要望されている。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、入力画像に含まれる特徴量から当該入力画像に含まれる１つ以上の図形要素を認識する認識手段と、認識された１つ以上の図形要素のうち所望の図形要素を選択する選択手段と、選択された図形要素に対応する領域の情報から対象の図形要素を推定する推定手段とを備える。
【発明の効果】
【０００９】
本発明によれば、処理対象の入力画像に複数の図形要素が含まれる場合であっても推定精度を維持できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略図である。
【図２】本実施の形態の画像処理装置の機能的な構成を示す模式図である。
【図３】画像処理結果の一例を示す図である。
【図４】入力画像から抽出されたエッジ点の一例を示す図である。
【図５】図４に示すエッジ点から決定される直線要素の一例を示す図である。
【図６】本実施の形態の画像処理装置の基本的な処理手順を示す模式図である。
【図７】クラスタリング手法の一例を説明するための図である。
【図８】本実施の形態に従う画像処理装置によって提供される図形要素を選択するための基準を設定する表示画面の一例を示す図である。
【図９】本実施の形態に従う画像処理装置によって提供される推定結果を出力する表示画面の一例を示す図である。
【図１０】本実施の形態の画像処理装置における処理手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００１２】
＜Ａ．画像処理システムの構成＞
図１は、本実施の形態の画像処理装置１００を含む画像処理システム１の全体構成を示す概略図である。表面にマークが付与された測定対象物２（以下「ワーク２」とも称す。）を撮像し、撮像によって得られた画像に対する画像処理結果に基づいて、ワーク２を位置決めする。
【００１３】
図１を参照して、画像処理システム１は、視覚センサとも称される画像処理装置１００と、撮像部８と、画像処理装置１００と通信可能なＰＬＣ（Programmable Logic Controller）５と、可動ステージ６とを含む。図１には、一例として、表示部１０２と一体的に構成された画像処理装置１００を示す。
【００１４】
以下の説明においては、撮像部８が撮像することで生成される画像を「入力画像」とも称す。すなわち、画像処理装置１００は、入力画像に含まれる図形要素を推定する。但し、画像処理装置１００において処理可能な入力画像としては、撮像部８の撮像によって生成される画像に限られることなく、例えば、何らかの撮像装置などによって予め取得された画像であってもよい。
【００１５】
画像処理装置１００は、特定したワーク２の位置情報をＰＬＣ５へ出力する。ＰＬＣ５は、画像処理装置１００からのワーク２の位置情報に基づいて、可動ステージ６へ指令を出力する。このように、画像処理装置１００は、対象の図形要素を示す推定されたパラメータに基づいて、被写体であるワーク２の位置を変化させる駆動装置へ指示を出力する手段を有していてもよい。
【００１６】
撮像部８は、被写体を撮像することで入力画像を生成する手段であり、一例として、レンズなどの光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像部８による撮像によって生成された入力画像は、画像処理装置１００へ伝送される。撮像部８によって撮像されるワーク２に対して光を照射する照明装置をさらに設けてもよい。また、複数の撮像部８を接続できるように画像処理装置１００を構成してもよい。
【００１７】
＜Ｂ．画像処理装置の構成＞
図２は、本実施の形態の画像処理装置１００の機能的な構成を示す模式図である。
【００１８】
図２を参照して、画像処理装置１００は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述のような画像処理を実現する。
【００１９】
＜Ｃ．課題および背景技術＞
本実施の形態に従う画像処理装置、画像処理方法および画像処理プログラムにおける処理や機能を説明する前提として、本画像処理にて対処しようとする課題および背景技術について説明する。
【００２０】
図３は、画像処理結果の一例を示す図である。図３に示す画像処理結果は、ワーク上に予め付加された位置決めマークを示す図である。この位置決めマークは、紙面縦方向および紙面横方向にそれぞれ平行な直線要素と、これらの直線要素間を結ぶ別の直線要素を含む。つまり、撮像部８によってワークを撮像することで生成される入力画像には、主として、３つの直線要素が含まれる。
【００２１】
典型的なアプリケーションとしては、このような位置決めマークの紙面縦方向および紙面横方向にそれぞれ平行な２つの直線要素の近似直線２２および２４の交点２５を決定し、この交点２５の座標値を用いて、位置決め制御がなされる。具体的な処理手順としては、入力画像に対して、近似直線２２を決定するために、計測対象領域であるエッジ探索領域２１が設定されるとともに、近似直線２４を決定するためにエッジ探索領域２３が設定される。このエッジ探索領域２１および２３の設定位置および大きさは、予め登録されている。エッジ探索領域２１および２３の各領域内において、エッジ点が抽出される。そして、エッジ探索領域２１および２３の各領域内において抽出されたエッジ点群から各直線要素を示す近似直線が決定される。図３の「＋」マークは、抽出されたエッジ点に基づく近似直線の交点２５を示す。
【００２２】
図３に示す画像処理では、エッジ探索領域２１および２３には、本来的に推定すべき直線要素以外に、推定対象ではない直線要素２６が含まれていることがわかる。すなわち、直線要素２６について抽出されたエッジ点が近似直線２２および２４を決定する際に用いられてしまう。このように、計測対象領域内に、本来的に推定すべき図形要素に加えて推定対象ではない図形要素が混入すると推定精度が低下し得る。つまり、計測対象領域内に複数の図形要素が混入してしまうと、精度が簡単に低下してしまう。このように、単一のエッジ探索領域内に複数の図形要素が存在することで、近似直線および交点の位置を正しく決定することができず、その位置ずれを修正できないこともある。
【００２３】
図４は、入力画像から抽出されたエッジ点の一例を示す図である。図５は、図４に示すエッジ点から決定される直線要素の一例を示す図である。
【００２４】
図４には、主として３つの図形要素が含まれている入力画像に対するエッジ点の抽出結果を示す。すなわち、図５に示すように、入力画像は図形要素１，２，３を含む。例えば、これらの図形要素のうち図形要素１を推定対象としている場合を考える。この場合には、図５に示す近似直線１を決定する必要がある。しかしながら、図形要素１，２，３のそれぞれから抽出されたエッジ点のすべてを用いると、近似直線２が決定されてしまう。そのため、図４および図５に示すようなエッジ点の抽出結果のうち、推定対象の図形要素についてのエッジ点に限定して近似直線を決定する必要がある。言い換えれば、複数の図形要素の成分を分離することができなければ、抽出されたすべてのエッジ点に対して平均的な直線近似とならざるを得ず、本来的に推定したい直線とは全く異なる直線が出力されてしまうという課題がある。そのため、図５に示すように、複数の図形要素のうち、目的とする図形要素のみを分離した上で、当該分離した図形要素から目的の図形要素をより高い精度で推定することが要望されている。
【００２５】
このような複数の図形要素を含む結果から特定の図形要素を推定する背景技術としては、（１）古典的手法、（２）ランダムサンプリング方式、（３）ノイズ除去方式などが知られている。
【００２６】
（１）古典的手法としては、最小二乗法、全最小二乗法、主成分分析などが知られている。これらの手法には、異常点を除去する機能はなく、誤って検出された別のエッジなどによって推定精度が低下するという課題がある。
【００２７】
（２）ランダムサンプリング方式として、ＲＡＮＳＡＣ（Random Sampling Consensus）が知られている。この方式は、統計的な手法であるために、入力点数が少ない場合に不安定化するという課題や、異常点や別の図形要素の混入による逸脱点が存在する場合に推定精度が低下するという課題がある。
【００２８】
（３）ノイズ除去方式としては、ロバスト最小二乗法（Ｍ推定など）、局所外れ値投票方式、局所代表エッジ方式、パラメータ空間投票方式（ハフ変換など）などが知られている。なお、局所外れ値投票方式の一例として、上述の特許文献１に開示される方法があり、局所代表エッジ方式の一例として、上述の特許文献２に開示される方法がある。このようなノイズ除去方式は、基本的には、主成分として１つの図形要素を含むことを前提としている。そのため、単一の図形要素に含まれる異常点を比較的正しく見つけて除外することは可能であるが、複数の図形要素が含まれている場合や徐々に外れる点を正確に見つけることが難しいという課題がある。
【００２９】
＜Ｄ．概要＞
上述のような背景技術でも解決することができない課題に対して、本実施の形態に従う画像処理方法では、基本的には、「データ純化（Data Purification）処理」と「図形フィッティング（Shape Fitting）処理」とを組合せることで対処する。
【００３０】
図６は、本実施の形態の画像処理装置１００の基本的な処理手順を示す模式図である。画像処理装置１００では、前処理２１０と、データ純化処理に対応する認識選択処理２２０と、図形フィッティング処理に対応する推定処理２３０とが実行される。
【００３１】
前処理２１０では、処理対象の入力画像１０を受付けるとともに、当該入力画像１０から図形要素の推定に必要な特徴量を抽出する。認識選択処理２２０では、入力画像１０に含まれる図形要素のうち、推定対象の図形要素以外のノイズになる情報を可能な限り低減する。推定処理２３０では、認識選択処理２２０後の情報を用いて対象の図形要素を推定する。
【００３２】
前処理２１０は、入力画像１０に含まれる特徴量を抽出する特徴量抽出モジュール２１２を含む。抽出する特徴量としては、どのような種類の情報を用いてもよいが、本実施の形態においてはエッジ点を用いる。特徴量抽出モジュール２１２は、勾配算出モジュール２１４およびエッジピーク点算出モジュール２１６を含む。
【００３３】
勾配算出モジュール２１４は、入力画像１０に対して任意に設定される探索方向に沿って、画素値の勾配を算出する。より具体的には、勾配算出モジュール２１４は、隣接した画素間の画素値の変化を順次算出する。エッジピーク点算出モジュール２１６は、勾配算出モジュール２１４によって算出された画素値の勾配からエッジ点を算出する。より具体的には、エッジピーク点算出モジュール２１６は、算出された勾配のある探索方向に沿ったプロファイルからピーク点を抽出し、その抽出したピーク点からエッジ点を決定する。前処理２１０によって抽出された特徴量を含むエッジ画像２１８が認識選択処理２２０の処理対象となる。
【００３４】
認識選択処理２２０は、図形認識モジュール２２２と、図形選択モジュール２２４と、ノイズ除去モジュール２２６とを含む。なお、ノイズ除去モジュール２２６は任意であり、認識選択処理２２０に含まなくてもよいし、あるいは後段の推定処理２３０の一部として含めてもよい。また、ノイズ除去モジュール２２６における処理内容についても、対象の入力画像１０などに応じて適宜設計すればよい。
【００３５】
図形認識モジュール２２２は、入力画像１０に含まれる特徴量から入力画像１０に含まれる１つ以上の図形要素を認識する。典型的には、図形認識モジュール２２２は、前処理２１０によって生成されたエッジ画像２１８を処理して、１または複数のカテゴリに属する図形要素を、各図形要素に特化した図形要素判定手段に基づいて認識することで、そのエッジ画像２１８に含まれる図形要素を認識する。図形認識モジュール２２２による図形要素の認識処理の詳細については、後述する。図形認識モジュール２２２によって認識された図形要素の情報は、図形選択モジュール２２４へ出力される。
【００３６】
図形選択モジュール２２４は、認識された１つ以上の図形要素のうち所望の図形要素を選択する。より具体的には、図形選択モジュール２２４は、図形認識モジュール２２２から出力される図形要素候補のうち、予め定められた基準に対する適合度合いに応じて、１つ以上の図形要素のうち所望の図形要素を選択する。この予め定められた基準は、図形要素の長さ、大きさ、面積、輝度、エッジ強度の少なくとも一つを含む。選択された図形要素の情報は、ノイズ除去モジュール２２６で利用されるとともに、推定処理２３０でも利用される。図形選択モジュール２２４が図形要素を選択する際には、予め設定された基準データ２２５を参照してもよい。
【００３７】
ノイズ除去モジュール２２６は、選択された図形要素に応じて外乱となる情報を除去する。ノイズ除去モジュール２２６は、図形選択モジュール２２４によって選択された図形要素に従って、当該図形要素以外の図形要素によるノイズ要因を低減する。より具体的には、ノイズ除去モジュール２２６は、エッジ画像２１８に対して図形要素以外の図形要素に関連する情報を除去・低減する。一例として、ノイズ除去モジュール２２６は、異常点除去モジュール２２７およびデータ平滑化モジュール２２８を含む。
【００３８】
異常点除去モジュール２２７は、選択された図形要素には該当しない異常点を除去する。典型的には、異常点除去モジュール２２７は、エッジ画像２１８に対して、図形要素には関連しないと判断されるエッジ点を異常点と判断し、当該異常点と判断されたエッジ点を除去する。このような異常点除去処理としては、上述の特許文献１に開示された局所外れ値投票方式などを用いることができる。
【００３９】
これらに加えて、ノイズ除去モジュール２２６は、以下のような手法を採用してもよい。
（ａ）ノイズ除去モジュール２２６は、選択された図形要素に応じて外乱となる情報の程度に応じ重みを付ける処理を実行する。
（ｂ）ノイズ除去モジュール２２６は、選択された図形要素には該当しない異常点を除去する処理（異常点除去処理）を実行する。
（ｃ）ノイズ除去モジュール２２６は、選択された図形要素には該当しない異常点の異常の程度に応じ重みを付ける処理（異常点除去処理）を実行する。
（ｄ）ノイズ除去モジュール２２６は、選択された図形要素に応じてフィルタリングする処理（データ平滑化処理）を実行する。
（ｅ）ノイズ除去モジュール２２６は、選択された図形要素に応じてフィルタリング処理の結果に応じて重みをつける処理（データ平滑化処理）を実行する。
【００４０】
さらに、ノイズ除去モジュール２２６は、選択された図形要素を構成する点もしくは特徴量を、内挿処理により拡張する処理を行うようにしてもよい。
【００４１】
データ平滑化モジュール２２８は、選択された図形要素に応じてフィルタリングを実行する。典型的には、データ平滑化モジュール２２８は、各種のフィルタ処理を適用して、エッジ画像２１８に含まれるランダムなノイズなどを除去・低減する。
【００４２】
認識選択処理２２０によってノイズ除去されることで生成されたノイズ除去後エッジ画像２３２が推定処理２３０へ送られるとともに、図形選択モジュール２２４によって選択された図形要素の情報も推定処理２３０へ送られる。
【００４３】
推定処理２３０では、選択された図形要素に対応する領域の情報から対象の図形要素を推定する。典型的には、推定処理２３０では、ノイズ除去後エッジ画像２３２に対して、それに含まれる図形要素が推定される。すなわち、推定処理２３０では、推定対象となる図形要素を示す近似直線や近似曲線が決定され、その結果が推定結果として出力される。推定処理２３０の機能として、図形パラメータ推定モジュール２３４を含む。
【００４４】
このような一連の処理によって、図形要素推定をよりロバストに行うことができる。
＜Ｅ．図形認識モジュール＞
次に、図６に示す認識選択処理２２０に含まれる図形認識モジュール２２２での図形要素の推定処理についてより詳細に説明する。
【００４５】
図形認識モジュール２２２は、１または複数のカテゴリに属する図形要素を、各図形要素に特化した図形要素判定手段に基づいて認識する。ここで、円と直線といった、パラメトリックに記述する際に異なるパラメータを持つ図形をさして、異なるカテゴリの図形と称する。
【００４６】
図形要素の推定手法としては、クラスタリング手法を用いることができる。なお、推定対象の図形要素として複数種類が想定されている場合には、直線検出ロジック、円検出ロジック、楕円検出ロジックといった、複数種類の図形要素の検出ロジックを組合せて用いることができる。
【００４７】
なお、本実施の形態に従う画像処理は、基本的には、少なくともレファレンスとなる被写体が既知であるので、推定対象の図形要素の種類を予め指定しておくことができる。すなわち、実行すべき画像処理の内容が予め決まっているので、未知の図形要素を推定しなければならない場合は少ない。そのため、実行すべき処理に応じて、特定の種類の図形要素を推定するようにプログラムしておくことが一般的である。但し、適用対象のアプリケーションによっては、未知の図形要素を推定しなければならない可能性もあり、このような場合には、直線・円・楕円といったそれぞれの図形要素を推定するためのロジックを順次／並列的に実行する必要がある。
【００４８】
（１）クラスタリング手法
クラスタリング手法としては、画像上の各画素の勾配についての集合を特定することで、入力画像１０に含まれる直線を図形要素として推定できる。
【００４９】
図７は、クラスタリング手法の一例を説明するための図である。図７には、入力画像１０を構成する各画素の座標値（Ｘ座標およびＹ座標）と対応する勾配との関係を模式的に示す。例えば、同一の直線の図形要素上のエッジ点は、基本的には同一の勾配をもっている。そのため、図７に示すパラメータ空間において、その座標値が近接しており、かつ勾配の大きさが類似している画素の群を特定することで、入力画像１０に含まれている直線の図形要素を推定することができる。すなわち、図形認識モジュール２２２は、入力画像１０に含まれる特徴量をクラスタリングすることで、図形要素を推定する。
【００５０】
（２）円検出ロジックおよび楕円検出ロジック
円検出ロジックおよび楕円検出ロジックとしては、複数のエッジ点に対して最小二乗法などを適用することで中心点を推定するとともに、当該中心点からの半径のバラツキなどを評価して、入力画像１０に含まれる円または楕円を図形要素として推定する。
【００５１】
図形認識モジュール２２２での図形要素の推定処理の典型例について例示したが、この例示した処理に限られず、入力画像１０に含まれる図形要素を推定できればどのような手法を採用してもよい。
【００５２】
例えば、図形要素に固有のパラメータ空間を利用した手法（例えば、投票方式や基準点からの距離など）を採用できる。図形認識モジュール２２２は、入力画像１０から抽出した特徴量について、図形要素に応じた特徴量空間を利用、もしくは図形要素に応じたパラメータ空間への写像空間を利用し、その空間上で図形要素を認識する。あるいは、図形認識モジュール２２２は、入力画像１０から抽出した特徴量について、図形要素に応じた特徴量空間を利用、もしくは図形要素に応じたパラメータ空間への写像空間を利用し、その空間上でクラスタリングすることで、図形要素を認識する。
【００５３】
また、面積、周囲長、辺の長さ、角度などの組み合わせにより算出される任意の図形らしさを評価してもよい。例えば、面積と周囲長から円形度を評価したり、辺の長さと頂点とから四角の度合いを評価できる。
【００５４】
さらに、図形認識モジュール２２２は、ユーザが予め指定した図形要素に従い、入力画像から抽出したエッジまたは図形固有パラメータを分割し、それらを統合することで図形要素を推定する処理を、２段階以上の処理で行ってもよい。ここで、分割する処理は、画像から抽出したエッジを細かなセグメントに分ける処理、または、画像の輝度情報から抽出した図形固有のパラメータをパラメータ空間上で分ける処理を含む。パラメータ空間上で分ける処理としては、パラメータ空間上の距離などで区別する処理を含む。
【００５５】
また、統合する処理は、上記セグメントもしくはパラメータ空間上の点をクラスタリングして図形要素単位に集約する処理を含む。
【００５６】
このような分割統合手段としては、以下のようのものが想定される。
（ａ）図形認識モジュール２２２は、ユーザが予め指定した図形要素に従い、入力画像１０中に含まれる全図形要素を分割して出力する。
（ｂ）図形認識モジュール２２２は、ユーザが予め指定した図形要素もしくはパラメータにより、異なる図形要素を出力する。
（ｃ）図形認識モジュール２２２は、図形要素が１つであるとき、図形要素の認識のみを行い、それ以外の図形要素の認識を行わない。
（ｄ）図形認識モジュール２２２は、大まかな図形要素の認識と、詳細な図形要素の認識とに対応する、２もしくはそれ以上の段階の認識とを実行する。
（ｅ）図形認識モジュール２２２、大まかな図形要素の分割と、詳細な図形要素の分割とに対応する、２もしくはそれ以上の段階の分割とを実行する。
（ｆ）図形認識モジュール２２２は、細かな図形要素の分割と、図形要素の統合とに対応する、２もしくはそれ以上の段階の分割統合処理を実行する。
（ｇ）図形認識モジュール２２２は、細かな図形要素の分割と、図形要素の統合とに対応する、２もしくはそれ以上の段階の分割統合処理を実行し、さらに細かな図形要素の分割の際に、望ましくないものを排除する。
（ｈ）図形認識モジュール２２２は、細かな図形要素の分割と、図形要素の統合とに対応する、２もしくはそれ以上の段階の分割統合処理を実行し、さらに統合の際には望ましくないものを排除しながら選択的に統合する。
（ｉ）図形認識モジュール２２２は、複数のカテゴリに属する図形要素の分割と、各カテゴリの図形要素の分割とに対応する、２もしくはそれ以上の段階の分割を実行する。
（ｊ）図形認識モジュール２２２は、複数の図形要素間の過渡的な領域を除いた図形要素を出力する。
【００５７】
＜Ｆ．図形選択モジュール＞
次に、図６に示す認識選択処理２２０に含まれる図形選択モジュール２２４での図形の選択処理についてより詳細に説明する。
【００５８】
図形選択モジュール２２４は、図形認識モジュール２２２により推定された図形要素のうち、推定処理に用いられる図形要素を選択する。この図形要素を選択する手法としては、推定された複数の図形要素のうち、１または複数の基準に最も適したものを選択するようにしてもよい。なお、複数の図形要素が図形要素として選択されてもよい。この場合、２つの直線といった同一種類の図形要素を複数選択するようにしてもよいし、１つの直線と１つの円といった異なる種類の図形要素をそれぞれ選択するようにしてもよいし、両者を混合したような選択方法を採用してもよい。
【００５９】
そのため、選択される図形要素の種類に応じて、複数の基準が予め設定されてもよい。図形選択モジュール２２４は、予め定められた基準に対する適合度合いに応じて、１つ以上の図形要素のうち対象の図形要素を選択するようにしてもよい。例えば、特定の図形要素を１つだけ選択するような場合には、推定された複数の図形要素のうち、基準に最も適合しているものを選択すればよいし、単一種類の図形要素を複数選択する場合には基準への適合度合いが上位にあるものを必要な数だけ選択すればよい。
【００６０】
一方、異なる種類の図形要素をそれぞれ選択する場合には、第１の種類の図形要素の第１の基準と、第２の種類の図形要素の第２の基準とをそれぞれ用意しておき、第１の基準および第２の基準にそれぞれ最も適合している図形要素を選択するようにしてもよい。
【００６１】
図形要素の選択に用いられる基準としては、例えば、図形要素の長さ、図形要素の大きさ、図形要素の面積、強度、フィッティング誤差、予め指定された角度／位置／大きさ／半径／中心位置に対する類似度や相違度、図形の色などのパラメータが用いられる。図形要素の選択には、目的に適した任意のパラメータや条件を用いることができるので、上述したようなパラメータに限られることはない。但し、実用的な基準としては、選択されるべき図形要素の長さ、大きさ、面積の少なくとも一つを含むことが好ましい。
【００６２】
複数種類のパラメータを設定した場合には、パラメータ間の優先度をさらに設定してもよい。あるいは、複数のパラメータを組合せてもよいし、各パラメータに対してそれぞれ重み係数を与えて、これらの重み係数を反映して算出される適合度などに応じて、選択対象を決定してもよい。
【００６３】
このような図形要素を選択するためのパラメータの内容は、選択対象の図形要素の種類に応じて定まる。また、各パラメータの最適値を決定する処理をさらに付加してもよい。
【００６４】
図形要素を選択するための基準は、予めユーザが設定しておいてもよいし、ユーザが都度設定するようにしてもよい。あるいは、推定された図形要素の候補を一覧表示した状態で、ユーザが対象の図形要素を直接選択するようにしてもよい。
【００６５】
次に、図形要素を選択するための基準の設定方法の一例について説明する。
図８は、本実施の形態に従う画像処理装置１００によって提供される図形要素を選択するための基準を設定する表示画面の一例を示す図である。図８に示す表示画面３００には、画像表示エリア３１２に入力画像１０が表示されており、この表示された入力画像１０に対して、ユーザが推定対象の図形要素を指定する。この入力画像１０は、典型的には、基準となるワーク（レファレンス）を撮像することで生成された画像である。図８に示す表示画面３００においては、図３と同様に、３つの直線要素を含むワークが表示されている。
【００６６】
ユーザは、この表示されているワーク上に対して選択すべき図形要素を指定する。例えば、図８に示すように、マウスを操作して図形要素の始点および終点を指定する。この始点および終点の指定によって、それぞれの点の座標値が設定される（座標値設定エリア３１４）。エッジ画像２１８から推定された複数の図形要素から図形要素を選択する方法として、指定された始点および終点の座標値に類似した位置にある図形要素を選択するようにしてもよいし、指定された始点および終点の座標値から算出される傾きに類似した値を有する図形要素を選択するようにしてもよい。
【００６７】
表示画面３００を用いることで、表示されている入力画像に対して図形要素を直感的に指定でき、基準をより容易かつ迅速に設定できる。このようなユーザ操作によって、所望の図形要素として選択されるための基準である始点および終点の座標が決定される。
【００６８】
なお、図形要素の選択処理の基準の設定処理としては、図８に示すような表示画面を用いる必要は必ずしもなく、例えば、測定対象物の設計図などから、推定対象の図形要素を示す特徴量を算出し、その算出した特徴量を用いて基準を設定するようにしてもよい。
【００６９】
＜Ｇ．繰返し処理＞
上述したように、エッジ画像２１８から認識された複数の図形要素から１または複数の図形要素が選択される。ここで、複数の図形要素が選択された場合には、選択された図形要素の数だけ、ノイズ除去モジュール２２６（図６）によるノイズ除去および図形パラメータ推定モジュール２３４（図６）による推定処理２３０が繰返し実行される。すなわち、選択された図形要素の数だけ、図形要素の推定結果が出力される。
【００７０】
これは、選択された図形要素の種類に応じて処理を変更する必要があるためであり、かつ、選択された図形要素間で影響を及ぼさないようにすることで、推定精度を高めることができるからである。但し、同一種類の図形要素が図形要素として選択される場合には、一部の処理を共通化し、処理時間を短縮するようにしてもよい。
【００７１】
＜Ｈ．推定処理および推定結果の出力＞
上述したように、図形要素が選択されると、その選択された図形要素に基づいて、エッジ画像２１８に対してノイズ除去処理が実行された後に、推定処理２３０が実行される。認識選択処理２２０によって、推定対象外の図形要素が除外されるので、より高い推定精度で、図形要素が推定される。
【００７２】
図形パラメータ推定モジュール２３４は、選択された図形要素を推定して、対象の図形要素を示すパラメータを出力する。この推定すべきパラメータの一例としては、以下のようなものが挙げられる。
【００７３】
・図形要素が円である場合：半径および中心座標など
・図形要素が四角である場合：各辺の長さと中心座標など
図形パラメータ推定モジュール２３４は、選択された図形要素に応じて、以下のような手法を用いて、図形要素を推定する。
【００７４】
図形要素が円である場合：円ハフ変換またはサーチ処理
図形要素が四角形である場合：四隅検出またはサーチ処理
図形要素が直線である場合：直線ハフ変換、最小二乗法、サーチ処理
なお、図形パラメータ推定モジュール２３４は、ユーザが予め指定した推定基準により、異なる推定結果を出力するようにしてもよい。
【００７５】
図形要素の推定結果は、各種の方式および形態で出力される。
図９は、画像処理装置１００によって提供される推定結果を出力する表示画面の一例を示す図である。図９に示す表示画面４００は、図形要素の推定結果を示す領域（結果表示エリア４１０）と、入力画像などを表示する領域（画像表示エリア４２０）とを含む。
【００７６】
結果表示エリア４１０には、推定処理によって推定された図形要素の各種パラメータが表示される。推定結果の一例として、推定された直線の角度、始点、終点といった各種の推定結果、および、フィッティング誤差などが表示される。図９に図示された推定結果に限られず、各種の結果や情報をユーザへ通知するようにしてもよい。
【００７７】
画像表示エリア４２０には、処理対象になった入力画像が表示されるとともに、入力画像によって推定された近似直線４２２が併せて表示される。このとき、選択された図形要素を視覚的にユーザへ通知することが好ましい。図９に示す例では、選択された図形要素の部分が他の領域とは異なる態様で表示されている。このような選択された図形要素を視覚的に通知する方法としては、選択された図形要素（この例では、ラインセグメント）の色を他の領域とは異ならせて表示する、当該選択された図形要素の周辺を点滅させる、当該選択された図形要素の周辺だけをカラー表示し、その他の領域をグレイスケールで表示するといった、各種の表示形式を採用できる。また、複数の図形要素が選択された場合には、図形要素ごとに異なる色を用いて強調表示するようにしてもよい。
【００７８】
あるいは、選択された図形要素以外の図形要素として除去されたエッジ点を他の領域とは異なる表示態様で表示してもよい。例えば、除去されたエッジ点のみ色を変更して表示してもよい。
【００７９】
このように、画像処理装置１００は、入力画像１０とともに、対象の図形要素を示す推定結果を表示する出力機能を有しており、推定された対象の図形要素に対応する領域を他の領域とは異なる領域で表示される。
【００８０】
図９の表示画面４００のように、結果表示エリア４１０と画像表示エリア４２０とが分離して設けられていない場合には、入力画像１０に対して設定される計測対象領域とは重ならないように自動的に表示位置を最適化した上で、入力画像とともに推定結果を表示するようにしてもよい。
【００８１】
また、カラーの入力画像に対する画像処理を行った結果の表示態様として、入力された入力画像自体はグレイスケールで表示するとともに、その前側のレイヤーにおいて、鮮明な色を用いて推定結果を表示してもよい。
【００８２】
また、推定処理によって算出された近似直線の近傍をユーザが選択すると、その表示内容を自動的に拡大表示するようにしてもよい。このような拡大表示を用いることで、ユーザにとってみれば、算出された近似曲線と入力画像上から抽出されたエッジ点との誤差が視覚的に分かりやすくなる。このような拡大表示の態様として、ユーザが選択した計測対象領域が自動的に全画面表示になるようにしてもよい。
【００８３】
＜Ｉ．最適化処理＞
認識選択処理２２０における図形要素の選択に適合して、後続の処理を最適化するようにしてもよい。例えば、選択された図形要素の位置や大きさなどの情報を用いて、異常点除去モジュール２２７（図６）による異常点除去、および／または、データ平滑化モジュール２２８（図６）による平滑化（フィルタ処理）に関する挙動を動的に変更してもよい。具体的には、選択された図形要素に応じて、どのような範囲のずれを異常点として除去するのかといったパラメータを変更したり、平滑化の粒度を変更したりしてもよい。また、推定処理２３０における推定処理（例えば、ラインセグメントの検出処理）の対象とする領域やしきい値などを動的に変更してもよい。
【００８４】
これに限らず、選択された図形要素に応じて、その後の異常点除去、平滑化、推定処理における挙動をより詳細に制御するようにしてもよい。
【００８５】
このように、選択される図形要素に応じて、その後の処理を動的／静的に最適化することで、より図形要素の推定処理の精度を高めることができる。
【００８６】
＜Ｊ．処理手順＞
次に、本実施の形態の画像処理装置１００における処理手順について説明する。図１０は、本実施の形態の画像処理装置１００における処理手順を説明するためのフローチャートである。図１０に示す処理手順は、典型的には、画像処理装置１００が制御プログラム１５０を実行することで実現される。すなわち、制御プログラム１５０は、入力画像に含まれる図形要素を推定する画像処理プログラムを含む。画像処理装置１００は、制御プログラム１５０を実行することで、入力画像に含まれる図形要素を推定する画像処理方法を実行する。
【００８７】
図１０を参照して、画像処理装置１００は、入力画像１０を取得する（ステップＳ２）。上述したように、入力画像１０の取得方法としては、画像処理装置１００に接続された撮像部８が被写体を撮像することで生成されるデータを取得する方法に加えて、外部の撮像装置を用いて被写体を撮像することで生成された入力画像を何らかの媒体を介して取得するようにしてもよい。
【００８８】
続いて、画像処理装置１００は、入力画像１０に含まれる特徴量を抽出する（ステップＳ４）。具体的には、画像処理装置１００は、入力画像１０に対して、勾配およびエッジピーク点を算出することで、入力画像１０に含まれるエッジ点を示すエッジ画像２１８を生成する。このステップＳ２およびステップＳ４が図６に示す前処理２１０に相当する。
【００８９】
続いて、画像処理装置１００は、入力画像１０に含まれる特徴量から入力画像１０に含まれる１つ以上の図形要素を認識する（ステップＳ６）。画像処理装置１００は、エッジ画像２１８に対して、クラスタリング手法、各種検出ロジックなどを適用する。次に、画像処理装置１００は、認識された１つ以上の図形要素のうち所望の図形要素を選択する（ステップＳ８）。具体的には、画像処理装置１００は、予め設定された基準データ２２５を参照するなどして、推定処理２３０において用いる図形要素を選択する。
【００９０】
そして、画像処理装置１００は、選択された図形要素に応じて外乱となる情報を除去する（ステップＳ１０）。具体的には、画像処理装置１００は、選択された図形要素に従って、当該図形要素以外の図形要素によるノイズ要因を低減する。このノイズ要因の低減の処理としては、異常点の除去およびデータの平滑化が用いられる。
【００９１】
続いて、画像処理装置１００は、推定処理２３０（図６）を実行する。すなわち、画像処理装置１００は、選択された図形要素に対応する領域の情報から対象の図形要素を推定する（ステップＳ１２）。
【００９２】
以上の一連の処理によって、入力画像に含まれる図形要素の推定の処理は一応完了するが、図形要素が複数選択されている場合には、その図形要素の数だけ、図形要素を推定する必要がある。そのため、画像処理装置１００は、選択された図形要素のうち、図形要素の推定が完了していないものが残っているか否かを判断する（ステップＳ１４）。図形要素の推定が完了していないものが残っている場合（ステップＳ１４においてＹＥＳの場合）には、その図形要素について、ステップＳ１０およびＳ１２の処理が繰返し実行される。
【００９３】
すべての図形要素について図形要素の推定が完了している場合（ステップＳ１４においてＮＯの場合）には、画像処理装置１００は、ステップＳ１２において取得された図形要素の推定結果を出力する（ステップＳ１６）。そして、処理は終了する。
【００９４】
本実施の形態の画像処理装置によれば、入力画像（あるいは、入力画像に設定される計測対象領域）内に複数の図形要素が混入している場合であっても、目的の図形要素に絞って図形要素の推定を行うことができるので、推定精度を高めることができるとともに、外乱に対してより強固なロバスト性を高めることができる。
【００９５】
特開２００９−１８６３３８号公報（特許文献２）の手法は、第一のフィッティングプロセスから、一定の幅をもたせた領域に存在する点を全部用いて第二のフィッティングを行うため、結果的に第一のフィッティングと結果があまり変わらず、ほぼ第一のフィッティングが支配的である。データを綺麗にするには、幅を非常に狭く設定する必要があるが、そのようにするとほとんどの点は除去されるために、安定性に欠ける結果を出力することになる。本実施の形態によれば、データ純化プロセスを挟むことで、不必要なデータと必要なデータを正確に選択することができる。
【００９６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９７】
１  画像処理システム、２  測定対象物（ワーク）、５  ＰＬＣ、６  可動ステージ、８  撮像部、１０  入力画像、２１０  前処理、２１２  特徴量抽出モジュール、２１４  勾配算出モジュール、２１６  エッジピーク点算出モジュール、２１８  エッジ画像、２２０  認識選択処理、２２２  図形認識モジュール、２２４  図形選択モジュール、２２５  基準データ、２２６  ノイズ除去モジュール、２２７  異常点除去モジュール、２２８  データ平滑化モジュール、２３０  推定処理、２３２  ノイズ除去後エッジ画像、２３４  図形パラメータ推定モジュール。
【図１】
2015114876.tif 000003
【図２】
2015114876.tif 000004
【図３】
2015114876.tif 000005
【図４】
2015114876.tif 000006
【図５】
2015114876.tif 000007
【図６】
2015114876.tif 000008
【図７】
2015114876.tif 000009
【図８】
2015114876.tif 000010
【図９】
2015114876.tif 000011
【図１０】
2015114876.tif 000012