(57)【特許請求の範囲】
【請求項１】
対象物からの電磁波の反射量に基く画像データを形成するデータ形成手段と、
このデータ形成手段からの画像データにつき、各画素とその近傍画素の濃淡値から画像のベクトル量を定義することにより輝度の勾配と方向の情報を得る画像ベクトル演算手段と、
この画像ベクトル演算手段により演算されたベクトル分布からベクトル長の頻度分布あるいはベクトル方向の頻度分布を計測し、前記対象物における輪郭情報を定量化するベクトル処理手段と、
前記各画素におけるベクトルを表現した結果を表示する結果表示手段と、
画像ベクトル演算結果およびベクトル頻度分布計測結果を記録する結果記録手段と
をそなえ、
前記ベクトル処理手段は、ベクトル表現された幾何学的図形および任意形状のテンプレートを各ベクトル量と任意設定した基準位置座標までの距離との関係を示した変換表に変換し、前記変換表をテンプレートとして処理対象における各画素のベクトル量に対応した基準位置座標へ投票を行うことで、テンプレート図形の抽出および認識を行うことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
時間変化に応じて対象物の形体が変化する場合、ベクトル表現された任意形状のテンプレートの整合性を評価した結果に基きテンプレートを更新することにより、時系列的に変化する対象物の追跡検出を行うことを特徴とする画像処理装置。
【請求項３】
対象物からの電磁波の反射量に基く画像データを形成し、
前記画像データにつき、各画素とその近傍画素の濃淡値から画像のベクトル量を定義することにより輝度の勾配と方向の情報を得、
前記ベクトル量の定義により得られたベクトル分布からベクトル長の頻度分布あるいはベクトル方向の頻度分布を計測して前記対象物における輪郭情報を定量化し、
前記各画素におけるベクトルを表現した結果を表示し、
画像ベクトル演算結果およびベクトル頻度分布計測結果を記録する、
ようにした画像処理方法において、
ベクトル表現された幾何学的図形および任意形状のテンプレートを、各ベクトル量と任意設定した基準位置座標までの距離との関係を示した変換表に変換し、前記変換表をテンプレートとして処理対象における各画素のベクトル量に対応した基準位置座標へ投票を行うことで、テンプレート図形の抽出および認識を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、部品の検査やプラントの監視など様々な分野で利用されている画像処理装置および方法に係り、とくに背景との境界が不鮮明な対象物を検出する画像処理装置および方法に関する。
【０００２】
【従来の技術】
従来、画像処理技術を応用したシステムにおいては、物体形状抽出・領域分割等、処理の目的および撮像された対象物や撮像条件に応じて、さまざまな処理アルゴリズムが開発されている。そして、アルゴリズム構築のための基本画像処理手法については、多種多様な技法が用いられている。特に、画像の統計的性質評価や、画像中の連結領域の分割、図形パターンあるいは特定対象物を検出する方法には、次のような手法が用いられてきた。
【０００３】
すなわち図１１に示すように、従来の画像処理装置は、被写体を映像化もしくは画像化する撮像装置１、画像処理を実行する画像処理計算機２、処理結果を表示する表示装置３、結果データを記録保存する外部記憶装置４から構成されている。画像処理計算機２は、ディジタル画像に変換するＡ／Ｄ変換機能５と、入力画像を一時的に格納するフレームメモリ６と、画像変換、特徴抽出および画像認識などを行う各種画像処理機能７と、これらの演算を行う中央演算装置８と、データを転送するシステム制御バス９および画像転送バス１０により構成されている。
【０００４】
このように構成された画像処理装置においては、各種の画像処理手法により画質の評価や、連結領域の分割、対象物の検出を行っている。画質の評価を行うための、最も一般的な方法としては、濃淡ヒストグラムの計測が用いられている。濃淡ヒストグラムとは、各画素の濃淡値の頻度分布である。評価には、最大値、最小値、平均値などの統計的数値が指標として用いられている。画像データは離散データであるため、画像全体の性質を評価する方法としては有効である。
【０００５】
また、濃淡画像における画素の連結性を評価する手法としては、従来は濃淡画像を２値化閾値処理により対象物と背景とに分離した後、ラベリング処理でその連結成分を同一ラベル化していた。２値化画像における連結性を評価する方法としては非常に効果的であるが、濃淡画像に対して評価するためのものではなかった。
【０００６】
そして、画像中から図形パターンあるいは特定対象物を検出する方法としては、一般的に濃淡テンプレートを用いたマッチング処理が用いられている。テンプレートマッチング処理とは、ｍ×ｎのテンプレート画像を作成し、相関演算などの処理により最も相関値の高い領域を抽出するものである。この場合、画素間の相関演算を検索範囲内すべてにおいて実行するため、処理に時間が掛かることが問題とされている。より柔軟に対象を検出するためには、テンプレートサイズおよび回転等の条件を変えることも必要であり、マッチングアルゴリズムの検討が必要であった。
【０００７】
これらの方法は一例であるが、画像を構成する各画素の連結情報をより有効に活用する手法としては、必ずしも十分なものではなかった。
【０００８】
【発明が解決しようとする課題】
上述した従来の画像処理装置においては、画像を構成する各画素の連結情報をより有効に活用する技法が提案されていなかった。特に、背景との境界が不鮮明な対象物を検出する場合において、その境界線を検出することはひとつの課題であった。
【０００９】
そこで本発明の第１の目的は、画像処理により画質を評価する手段として、画像ベクトルのヒストグラムを計測することで、画像における輪郭連結情報の評価指標を持ち、かつ画像中から図形パターンあるいは特定対象物を検出する手段として、画像ベクトルテンプレートによるマッチング処理を用い、高速かつ柔軟に特定対象物を検出する装置を提供することにある。
【００１２】
さらに本発明の第２の目的は、時系列的に形体が変化する対象物を連続して検出する手段として、画像ベクトルテンプレートによるマッチング処理および時間変化に伴うベクトルテンプレートの更新処理を用い、高速かつ連続的に特定対象物を検出する装置を提供することにある。
【００１３】
そして本発明の第３の目的は、画像処理により画質を評価する手段として、画像ベクトルのヒストグラムを計測することで、画像における輪郭連結情報の評価指標を持った方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理装置およびその方法は、次のような構成を採る。
【００１５】
請求項1に記載された装置の発明は、
対象物からの電磁波の反射量に基く画像データを形成するデータ形成手段と、
このデータ形成手段からの画像データにつき、各画素とその近傍画素の濃淡値から画像のベクトル量を定義することにより輝度の勾配と方向の情報を得る画像ベクトル演算手段と、
この画像ベクトル演算手段により演算されたベクトル分布からベクトル長の頻度分布あるいはベクトル方向の頻度分布を計測し、前記対象物における輪郭情報を定量化するベクトル処理手段と、
前記各画素におけるベクトルを表現した結果を表示する結果表示手段と、
画像ベクトル演算結果およびベクトル頻度分布計測結果を記録する結果記録手段と
をそなえ、
前記ベクトル処理手段は、ベクトル表現された幾何学的図形および任意形状のテンプレートを各ベクトル量と任意設定した基準位置座標までの距離との関係を示した変換表に変換し、前記変換表をテンプレートとして処理対象における各画素のベクトル量に対応した基準位置座標へ投票を行うことで、テンプレート図形の抽出および認識を行うことを特徴とする。
また、請求項３に記載された方法の発明は、
対象物からの電磁波の反射量に基く画像データを形成し、
前記画像データにつき、各画素とその近傍画素の濃淡値から画像のベクトル量を定義することにより輝度の勾配と方向の情報を得、
前記ベクトル量の定義により得られたベクトル分布からベクトル長の頻度分布あるいはベクトル方向の頻度分布を計測して前記対象物における輪郭情報を定量化し、
前記各画素におけるベクトルを表現した結果を表示し、
画像ベクトル演算結果およびベクトル頻度分布計測結果を記録する、
ようにした画像処理方法において、
ベクトル表現された幾何学的図形および任意形状のテンプレートを各ベクトル量と任意設定した基準位置座標までの距離との関係を示した変換表に変換し、前記変換表をテンプレートとして処理対象における各画素のベクトル量に対応した基準位置座標へ投票を行うことで、テンプレート図形の抽出および認識を行うことを特徴とする。
【００１８】
請求項４記載の発明では、請求項３記載の画像処理装置において、時間変化に応じて対象物の形体が変化する場合、ベクトル表現された任意形状のテンプレートの整合性を評価した結果から、テンプレートを更新する機能を実現することにより、時系列的に変化する対象物体の追跡検出を行うことを特徴とする画像処理装置、を提供する。
【００１９】
請求項３記載の発明では、
対象物からの電磁波の反射量に基く画像データを形成し、
前記画像データにつき、各画素とその近傍画素の濃淡値から画像のベクトル量を定義することにより輝度の勾配と方向の情報を得、
前記ベクトル量の定義により得られたベクトル分布からベクトル長の頻度分布あるいはベクトル方向の頻度分布を計測して前記対象物における輪郭情報を定量化し、
前記各画素におけるベクトルを表現した結果を表示し、
画像ベクトル演算結果およびベクトル頻度分布計測結果を記録する、
ようにした画像処理方法において、
ベクトル表現された幾何学的図形および任意形状のテンプレートと処理対象のベクトル画像とのベクトル整合性を評価することで、テンプレート図形の抽出および認識を行うことを特徴とする画像処理方法、を提供する。
【００２０】
【発明の概要】
図１は、本発明の画像処理装置の基本的な構成を示す。この図１に示すように、本発明の画像処理装置は、対象物から反射された電磁波、たとえば光（可視光であるか、紫外、赤外等の不可視光であるかを問わない）を得て映像化もしくは画像化されたデータを形成する撮像装置１、画像処理を実行する画像処理計算機２、処理結果を表示する表示装置３、結果データを記録保存する外部記憶装置４によって構成されている。
【００２１】
画像処理計算機２は、ディジタル画像に変換するＡ／Ｄ変換手段５と、入力画像を一時的に格納するフレームメモリ６と、画像変換、特徴抽出および画像認識などを行う各種画像処理手段７と、これらの演算を行う中央演算装置８と、データを転送するシステム制御バス９および画像転送バス１０により構成されている。
【００２２】
そして、この図１に示す画像処理装置においては、図２（Ａ）ないし（Ｅ）に示すように、画像データ処理が行われる。図２（Ａ）ないし（Ｅ）に示すように、入力画像Ｐｉｎからベクトル画像Ｐｖを求めてベクトル分布から頻度分布を得、ベクトル長の頻度分布でエッジ成分の尖鋭度を得、ベクトル方向の頻度分布から対象の傾斜度を得ることができる。画像全体あるいは局所的領域の画像ベクトル分布の変化を監視することで、撮像対象の状態変化を検出することが可能である。
【００２３】
この画像処理装置においては、画像処理アルゴリズムにおける前処理として、画素の輝度値を１つのベクトルポテンシャルと考えた画像ベクトル定義を、次式（１）により求める。
Ｒｉ，ｊ＝｛（Ｉｉ，ｊ＋１−Ｉｉ，ｊ−１）／２，−（Ｉｉ＋１，ｊ−Ｉｉ−１，ｊ）／２｝｝                                                    …（１）
【００２４】
図２（Ａ）ないし（Ｅ）は画像ベクトル分布例を示したもので、図２（Ａ）に示した直立画像の入力画像Ｐｉｎ、そのベクトル画像Ｐｖによるベクトル頻度は、図２（Ｃ）の左側図に示されるように、９０度および２７０度に集中している。また、図２（Ｂ）の傾斜画像の入力画像Ｐｉｎ、そのベクトル画像Ｐｖによるベクトル頻度は、図２（Ｃ）の右側図に示されるように、約６０度および約２４０度に集中している。同様に、図２（Ｄ）の背景との境界線が不鮮明な画像では、そのベクトル長の頻度が図２（Ｅ）に示すように表わされる。
【００２５】
【発明の実施の形態】
図３（Ａ），（Ｂ）および図４（Ａ），（Ｂ）は、本発明に係る画像処理装置の第１の実施例を示したものである。この第１の実施例は、図３（Ａ）に示すように、空間における対象物の情報を映像もしくは時系列画像データに変換する撮像装置１と、撮像装置１からのデータをＡ／Ｄ変換もしくは媒体を介したフレーム転送により画像形式でフレームメモリに取り込み、画像ベクトル定義を用いた各種の処理を実行する画像処理計算機２と、処理の結果をオペレータに提示する処理結果表示装置３と、処理結果を参照・検索が可能な形式で保存する結果記録装置４により構成されている。
【００２６】
この第１の実施例は、検査対象である基板の傾き補正を行うものである。電子部品の自動外観検査を行う場合に、検査ステージ上に検査対象である基板を設置して、各種項目に関する詳細検査を行う。その際に、予め用意した正常時のパターンと比較照合するために、検査対象物を正常パターンと同じ向きに設置する必要がある。そこで、回転ステージの上方に設置した撮像装置により検査対象物である基板を撮影し、画像処理装置でディジタル入力画像Ｐｉｎを取り込む。そして、入力した画像にベクトル演算処理を行ってベクトル画像Ｐｖを形成し、処理結果画像Ｐｏｕｔを形成する。
【００２７】
このベクトル演算処理によって、図４（Ｂ）に示すように、入力画像のベクトル角度ごとの頻度分布を計測する。入力画像において、検査基板上のＩＣの向きが縦および横方向に配置されている場合を正常な向きとすると、そのベクトル方向の頻度分布は、必然的に０  °，９０  °，１８０  °，２７０  °の各位置に頻度が集中する筈である。
【００２８】
これに対し、図４（Ａ）の入力画像Ｐｉｎのように傾いた状態で撮影された場合、ベクトル方向の頻度分布が正常な場合と異なることになる。この分布の差異から検査対象の傾き角度を求め、回転ステージへフィードバックすることで検査基板の向きを補正することができる。
【００２９】
図３（Ｂ）は、処理動作のフローを示したものである。この第１の実施例によれば、スタート後にステップＳ１１により入力画像を取り込み、ステップＳ１２により画像ベクトルの演算処理を行う。
【００３０】
次いで、ステップＳ１３によりベクトルヒストグラムの計測処理を行い、ステップＳ１４に移行して傾き補正処理を行う。続いて、ステップＳ１５により処理結果の保存および出力を行い、動作終了（エンド）となる。
【００３１】
図５（Ａ），（Ｂ）および図６は、本発明に係る画像処理装置の第２の実施例を示したものである。図５（Ａ）に示すように、この第２の実施例は、第１の実施例と同様の装置として構成されている。この第２の実施例は、電極である溶接棒Ｘ２１を溶融させることにより、溶接母材Ｘ２２上に形成した溶融池の形状を精度良く計測する。
【００３２】
図６は、この画像処理における各種画像を示している。この場合、観察画像では、溶接棒Ｘ２１はコントラスト良く識別が可能であるが、溶融池境界と溶接母材との間は濃淡勾配がなだらかであるため、形状の抽出が困難である。近赤外線画像の全画素における画像ベクトル量を、前述の式（１）により演算する。そして、ベクトル量を矢印表示した画像がベクトル画像Ｐｖである。
【００３３】
また、閉領域抽出処理した画像Ｐｃは、溶融池形状から溶接棒の輪郭形状を除いた形状となっている。この場合、ベクトル分布における各画素およびその隣接画素のベクトル量からベクトルの連結成分を検索し、検索結果からベクトル成分で閉じられた領域を抽出して領域の連結度を評価することにより領域の分割および抽出を行う。
【００３４】
これにより、溶融池と母材の境界部分とを識別することができる。この閉領域抽出処理画像Ｐｃに背景を組み合わせて処理結果画像Ｐｏｕｔが得られる。この識別された画像Ｐｏｕｔを処理結果表示装置３へ表示し、また、履歴管理およびデータベース作成のため結果記録装置４への記録処理も行う。
【００３５】
図５（Ｂ）に示すように、溶融池の形状を観察するためには、スタート後にステップＳ２１において、撮像装置１によって撮像した近赤外線画像Ｐｉｎ（図６）をフレームメモリ４に格納する。そして、ステップＳ２２により画像ベクトル演算処理を行い、ステップＳ２３に移行してベクトル検索処理を行う。次いで、ステップＳ２４により閉領域抽出処理を行った上で、ステップＳ２５により領域面積計測処理を行う。そして、ステップＳ２６により結果保存・出力を行い、エンドとなる。
【００３６】
この第２の実施例は、ベクトルを特徴とした検索手法を用いているので、背景との境界が不鮮明な対象物を検出することができ、画像の中から特定の対象物を識別することができる。
【００３７】
図７（Ａ），（Ｂ）および図８（Ａ），（Ｂ）は、本発明に係る画像処理装置の第３の実施例を示している。図７（Ａ）に示すように、この第３の実施例は、第１の実施例と同様の装置から構成されている。この第３の実施例では、円形メータＸ３の指示値を自動的に読み取る。
【００３８】
図７（Ｂ）のフローチャートに示すように、スタートの後、ステップＳ３１において撮像装置１により円形状のメータＸ３の指示値を撮影する。そして、ステップＳ３２に移行して、撮像装置１により得た画像データを画像処理計算機２により、映像信号の１フレームを図示しないＡ／Ｄ変換器を用いて６４０×４８０画素、８ビットの濃淡画像に変換し、フレームメモリ４に格納する（図８（Ａ）  ）。濃淡画像の全画素における画像ベクトル量を、前述の式（１）により演算する。そして、ベクトル量を矢印表示してベクトル画像Ｐｖを形成する（図８（Ａ）  ）。
【００３９】
次に、ステップＳ３３により、対象画像の中から検出したい形状のベクトルテンプレートを生成する。テンプレートにする図形は、四角形、三角形、円形および楕円形などの幾何学的な図形や、対象特有の形状を表わす任意図形を用いる（図８（Ｂ））。
【００４０】
この円形メータの抽出には、円形のテンプレートを使用して、円形メータのフレーム部分（黒色の部分）を検出する。その際に、円形の外枠と内枠の画像ベクトルは、右回り閉ループと左回り閉ループとで表される。そのため右回りと左回りとを一対としたベクトルテンプレートを用意し、対象画像のベクトル分布とマッチング処理する（ステップＳ３４）。
【００４１】
このマッチング処理は、採用したテンプレートからベクトル量と基準位置座標までの距離との関係を示した変換表を予め作成しておき、検査画像における各画素のベクトル量に対応した座標値へ投票を行う。この際、撮像系の位置が移動することにより円形テンプレートのサイズが変更されることが予想されるため、テンプレートに最小倍率、最大倍率、検索ステップの設定変更機能を設けることにより、撮像系の位置やズーム率が変更された場合にも、柔軟に対応して円形メータのフレーム部分を抽出することが可能となる。
【００４２】
次に、指針の位置（向き）を求める。指針位置抽出には二等辺三角形テンプレートを用い、円形抽出時の倍率に合わせた大きさに設定する。指針の場合、指針が指し示す方向情報を得たいため、円形の中心位置を軸にテンプレートを回転させて、同じく投票処理を行う。この投票値が最大の位置のものを選択し、形状を復元することで指針の向きの計測および処理結果表示装置３への表示処理が可能となる（図８（Ａ）  ）。また、ステップＳ３５により、処理の結果を、履歴管理およびデータベース作成のために結果記録装置４に記録する処理も行う。
【００４３】
この第３の実施例は、ベクトル量を使用して図形、任意形状を検索する手法なので、指定した幾何学的な図形を抽出および認識することができ、画像の中から特定の対象物を識別することができる。
【００４４】
図９（Ａ），（Ｂ）および図１０は、本発明に係る画像処理装置の第４の実施例を示している。この図９（Ａ）に示すように、この第４の実施例は、第１の実施例と同様の装置により構成されている。この第４の実施例は、道路を走行する車両の追跡検出を行い、交通量や速度、車両の動きを計測する。
【００４５】
この第４の実施例では、道路上方に取り付けた撮像装置１により、走行車線を撮影して入力画像Ｐｉｎを取り込む。そして、Δｔ  ０時の画像を図示しないＡ／Ｄ変換器によりディジタル画像に変換する。このとき、検出対象である車両部分を自動検出した後、画像処理計算機２により画像ベクトル変換を行い、ベクトルテンプレートを作成する。次に、Δｔ０  時に続くΔｔ１  時の画像を画像処理計算機２に取り込み、先ほどのテンプレートを用いてベクトルのマッチング処理を行い、処理結果画像Ｐｏｕｔを得る。
【００４６】
これにより、得られた領域を新たなテンプレートとして更新し、同様にΔｔ２時の画像を処理する。これを画面に出現している時間内Δｔｎ  時まで繰り返した後、計測結果をデータベース４に格納する。
【００４７】
この第４の実施例は、ベクトル量で定義したテンプレートを時系列的に更新する手法を用いているので、車両の前進に伴う見え方の変化に柔軟に対応することができ、時系列的に形状が変化する対象物を連続検出することができる。
【００４８】
【発明の効果】
以上説明したように、本発明の画像処理装置においては、次のような効果を奏する。
【００４９】
まず請求項１記載の発明では、対象物から検出した画像におけるベクトル成分のヒストグラムを計測することで、画像の統計的性質を評価するための新たな指標として活用することができる。そのうえ、カメラなどにより画像を取得する際に回転角度などを抽出することができるため、自動的な傾き補正などへの応用が可能である。しかも、ベクトル定義に基づいたテンプレートマッチングを行うことで、検索画像中から任意図形の対象物を検出するための新たな手段として活用することができる。
【００５２】
また、請求項２記載の発明では、請求項１記載の発明におけるベクトル定義に基づいたテンプレートマッチングおよび時間変化に伴うベクトルテンプレートの更新を行うことで、時系列的画像から対象物を連続的に検出するための新たな手段として活用することができる。
【００５３】
そして、請求項３記載の発明では、対象物から検出した画像におけるベクトル成分のヒストグラムを計測することで、画像の統計的性質を評価するための新たな指標として活用することができる。また、ベクトル表現された幾何学的図形および任意形状のテンプレートと処理対象のベクトル画像とのベクトル整合性を評価することで、テンプレート図形の抽出および認識を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の基本的な構成を示す説明図。
【図２】図２（Ａ）ないし（Ｅ）は、本発明に係る画像処理装置の画像ベクトル分布例を示す図。
【図３】図３（Ａ）は本発明の第１の実施例の構成を示す図、図３（Ｂ）はその動作を示すフローチャート。
【図４】図４（Ａ）は本発明の第１の実施例による処理画像例を示す図、図４（Ｂ）はそのベクトル頻度を示す図。
【図５】図５（Ａ）は本発明の第２の実施例の構成を示す図、図５（Ｂ）はその動作を示すフローチャート。
【図６】本発明の第２の実施例による処理画像例を示す図。
【図７】図７（Ａ）は本発明の第３の実施例の構成を示す図、図７（Ｂ）はその動作を示すフローチャート。
【図８】図８（Ａ）は本発明の第３の実施例による処理画像例を示す図、図８（Ｂ）は処理に用いるテンプレートを示す図。
【図９】図９（Ａ）は本発明の第４の実施例の構成を示す図、図９（Ｂ）はその動作を示すフローチャート。
【図１０】本発明の第４の実施例による処理画像例を示す図。
【図１１】従来の画像処理装置の構成を示す図。
【符号の説明】
１  撮像装置
２  画像処理計算機
３  表示装置
４  結果記録装置
５  Ａ／Ｄ変換機
６  画像フレームメモリ
７  各種画像処理
８  中央演算処理装置
９  システム制御バス
１０  画像転送バス
１１  画像ベクトル演算装置
Ｐｉｎ  入力画像
Ｐｖ  ベクトル画像
Ｐｃ  閉領域抽出処理画像
Ｐｏｕｔ  処理結果画像
Ｘ１  検査基板
Ｘ２１  溶接棒
Ｘ２２  溶接母材
Ｘ３  円形メータ
Ｘ４  車輌
【図１】
0004095801.tif 000002
【図２】
0004095801.tif 000003
【図３】
0004095801.tif 000004
【図４】
0004095801.tif 000005
【図５】
0004095801.tif 000006
【図６】
0004095801.tif 000007
【図７】
0004095801.tif 000008
【図８】
0004095801.tif 000009
【図９】
0004095801.tif 000010
【図１０】
0004095801.tif 000011
【図１１】
0004095801.tif 000012