(57)【特許請求の範囲】
【請求項１】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定する装置であって、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合を示す値をそのピクセルの夫々が有している複数のエッジ強度ピクセルからなるエッジ強度イメージを生成するエッジ強度検出手段、
前記エッジ強度検出手段に連結して、単数あるいは複数のそれぞれの前記エッジ強度ピクセルの値によって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成手段、
前記マスク生成手段に連結して、前記配列内の非マスクの値に対応する、入力イメージまたは該入力イメージから生成されたイメージからのそれらのピクセルのみを含むマスクされたイメージを生成するマスク適用手段、
前記マスク適用手段に連結して、前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラム手段、および
前記ヒストグラム手段に連結して、前記入力イメージ内に表わされているエッジの顕著な特徴を示す少なくとも一つの値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出手段
を具備することを特徴とする装置。
【請求項２】
請求項１に記載の装置であって、
前記入力イメージ・ピクセルがイメージ強度を示す数値を持ち、
前記マスク適用手段が、前記ピクセル・マスク配列内の非マスク値に対応する前記入力イメージの各ピクセルのみを含む前記マスクされたイメージを生成するための手段を有し、
前記ピーク検出手段が、前記入力イメージ中に表されているエッジの顕著なイメージ強度値を示すピーク値を前記ヒストグラムで特定し、かつその値を表わす信号を出力するための手段を有することを特徴とする装置。
【請求項３】
前記エッジ強度検出手段が、前記エッジ強度イメージを生成するために前記入力イメージにゾーベル演算子を適用する手段を含むことを特徴とする請求項２に記載の装置。
【請求項４】
請求項１に記載の装置であって、
複数のエッジ方向ピクセルを含むエッジ方向イメージを生成するエッジ方向検出手段を有していて、それらエッジ方向ピクセルの夫々は、個々の入力イメージ・ピクセルの複数の値の変化度合の方向を示す値を有しており、
前記マスク適用手段は、前記ピクセル・マスク配列中の非マスク値に対応するエッジ方向イメージの各ピクセルのみを含む該マスクされたイメージを生成する手段を含み、
前記ピーク検出手段は、前記入力イメージ中に表されているエッジの顕著なエッジ方向値を示すピーク値を前記ヒストグラムで特定し、かつその値を表わす信号を出力する手段を含むことを特徴とする装置。
【請求項５】
請求項４に記載の装置であって、前記エッジ方向検出手段が、前記エッジ方向イメージを生成するために前記入力イメージにゾーベル演算子を適用する手段を含むことを特徴とする装置。
【請求項６】
請求項２または４に記載の装置であって、
前記マスク発生手段が、
前記エッジ強度イメージ中のピークを鮮鋭化して、該鮮鋭化したピークを示す複数の鮮鋭化エッジ強度ピクセルを含む鮮鋭化エッジ強度イメージを生成する手段と、
前記鮮鋭化エッジ強度ピクセルによって決まる前記ピクセル・マスク配列を生成する手段とを含むことを特徴とする装置。
【請求項７】
請求項６に記載の装置であって、前記マスク発生手段が、予め定めた第１数値範囲中にあるエッジ強度値に対するマスク値を持つ夫々のピクセル・マスクを生成し、かつ予め定めた第２数値範囲中にある強度値に対する非マスク値を持つ夫々のピクセル・マスクを生成する、２値化手段を含むことを特徴とする装置。
【請求項８】
請求項７に記載の装置であって、前記２値化手段が、所定の閾値よりも低いエッジ強度値に対するマスク値を持つ夫々のピクセル・マスクを生成し、かつ前記閾値よりも高いエッジ強度値に対する非マスク値を持つピクセル・マスクを生成する、手段を含むことを特徴とする装置。
【請求項９】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定する方法であって、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合を示す値をそのピクセルの夫々が有している複数のエッジ強度ピクセルからなるエッジ強度イメージを生成するエッジ強度検出ステップ、
単数あるいは複数のそれぞれの前記エッジ強度ピクセルの値によって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成ステップ、
前記配列内の非マスクの値に対応する、入力イメージまたは該入力イメージから生成されたイメージからのそれらのピクセルのみを含むマスクされたイメージを生成するマスク適用ステップ、
前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラムステップ、および
前記入力イメージ内に表わされているエッジの顕著な特徴を示す少なくとも一つの値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出ステップ
を有することを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、
前記入力イメージ・ピクセルがイメージ強度を示す数値を持ち、
前記マスク適用ステップが、前記配列中の非マスク値に対応する前記入力イメージの各ピクセルのみを含む前記マスクされたイメージを生成するステップを含み、
前記ピーク検出ステップが、前記入力イメージ中に表されているエッジの顕著なイメージ強度値を示すピーク値を前記ヒストグラムで特定し、その値を表わす信号を出力するステップを含むことを特徴とする方法。
【請求項１１】
請求項１０に記載の方法であって、前記エッジ強度検出ステップが、前記エッジ強度イメージを生成するために前記入力イメージにゾーベル演算子を適用するステップを含むことを特徴とする方法。
【請求項１２】
請求項９に記載の方法であって、
複数のエッジ方向ピクセルを含むエッジ方向イメージを生成するエッジ方向検出ステップを有していて、それらエッジ方向ピクセルの夫々は、個々の入力イメージ・ピクセルの一つまたは複数の値の変化度合の方向を示す値を有しており、
前記マスク適用ステップは、前記ピクセル・マスク配列中の非マスク値に対応するエッジ方向イメージの各ピクセルのみを含む該マスクされたイメージを生成するステップを含み、
前記ピーク検出ステップは、前記入力イメージ中に表されているエッジの顕著なエッジ方向値を示すピーク値を前記ヒストグラムで特定し、かつその値を表す信号を出力するステップを含むことを特徴とする方法。
【請求項１３】
請求項１２に記載の方法であって、前記エッジ方向検出ステップが、前記エッジ方向イメージを生成するために前記入力イメージにゾーベル演算子を適用するステップを含むことを特徴とする方法。
【請求項１４】
請求項１０または１２に記載の方法であって、前記マスク生成ステップが、
前記エッジ強度イメージ中のピークを鮮鋭化して、該鮮鋭化したピークを示す複数の鮮鋭化ピクセルを含む鮮鋭化エッジ強度イメージを生成するステップと、
該鮮鋭化エッジ強度ピクセルよって決まる前記ピクセル・マスク配列を生成するステップと
を含むことを特徴とする方法。
【請求項１５】
請求項１４に記載の方法であって、前記マスク生成ステップが、予め定めた第１数値範囲中にあるエッジ強度値に対するマスク値を持つ夫々のピクセル・マスクを生成し、かつ予め定めた第２数値範囲中にある強度値に対する非マスク値を持つ夫々のピクセル・マスクを生成する、２値化ステップを含むことを特徴とする方法。
【請求項１６】
請求項１５に記載の方法であって、前記２値化ステップが、所定の閾値よりも低いエッジ強度値に対するマスク値を持つ夫々のピクセル・マスクを生成し、かつ前記閾値よりも高いエッジ強度値に対する非マスク値を持つ夫々のピクセル・マスクを生成する、ステップを含むことを特徴とする方法。
【請求項１７】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定するための方法をデジタル・データ・プロセッサに実行させるプログラム・コードを含むコンピュータ可読記録媒体であって、前記方法は、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合を示す値をそのピクセルの夫々が有している複数のエッジ強度ピクセルからなるエッジ強度イメージを生成するエッジ強度検出ステップ、
単数あるいは複数のそれぞれの前記エッジ強度ピクセルの値によって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成ステップ、
前記配列内の非マスクの値に対応する、入力イメージまたは該入力イメージから生成されたイメージからのそれらのピクセルのみを含むマスクされたイメージを生成するマスク適用ステップ、
前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラムステップ、および
前記入力イメージ内に表わされているエッジの顕著な特徴を示す少なくとも一つの値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出ステップ
を有していることを特徴とするコンピュータ可読記録媒体。
【請求項１８】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定する装置であって、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合の方向を示すピクセル値をそのエッジ方向ピクセルの夫々が有している複数のエッジ方向ピクセルからなるエッジ方向イメージを生成するエッジ方向検出手段、
前記エッジ方向検出手段に連結して、単数あるいは複数のそれぞれの前記エッジ方向ピクセルによって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成手段、
前記マスク生成手段に連結して、前記配列内の非マスクの値に対応する、エッジ方向イメージからそれらピクセルのみを含むマスクされたイメージを生成するマスク適用手段、
前記マスク適用手段に連結して、前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラム手段、および
前記ヒストグラム手段に連結して、前記入力イメージ内に表わされているエッジの顕著なエッジ方向値を示すピーク値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出手段
を具備することを特徴とする装置。
【請求項１９】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定する方法であって、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合の方向を示すピクセル値をそのエッジ方向ピクセルの夫々が有している複数のエッジ方向ピクセルからなるエッジ方向イメージを生成するエッジ方向検出ステップ、
単数あるいは複数のそれぞれの前記エッジ方向ピクセルによって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成ステップ、
前記配列内の非マスクの値に対応する、エッジ方向イメージからそれらピクセルのみを含むマスクされたイメージを生成するマスク適用ステップ、
前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラムステップ、および
前記入力イメージ内に表わされているエッジの顕著なエッジ方向値を示すピーク値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出ステップ
を有することを特徴とする方法。
【請求項２０】
複数の入力イメージ・ピクセルを含む入力イメージ内に表れているエッジの特性を決定する方法をデジタル・データ・プロセッサに実行させるプログラム・コードを含むコンピュータ可読記録媒体であって、前記方法は、
複数の入力イメージ・ピクセルのそれぞれの値の変化度合の方向を示すピクセル値をそのエッジ方向ピクセルの夫々が有している複数のエッジ方向ピクセルからなるエッジ方向イメージを生成するエッジ方向検出ステップ、
単数あるいは複数のそれぞれの前記エッジ方向ピクセルによって決まるマスクの値或いは非マスクの値をそのピクセル・マスクの夫々が有しているピクセル・マスク配列を生成するマスク生成ステップ、
前記配列内の非マスクの値に対応する、エッジ方向イメージからそれらピクセルのみを含むマスクされたイメージを生成するマスク適用ステップ、
前記マスクされたイメージのピクセルのヒストグラムを生成するヒストグラムステップ、および
前記入力イメージ内に表わされているエッジの顕著なエッジ方向値を示すピーク値を前記ヒストグラムで特定し、その値を表わす信号を出力するピーク検出ステップ
を有していることを特徴とするコンピュータ可読記録媒体。
【発明の詳細な説明】
著作権保護
本特許書類の公開内容は著作権保護の対象となる題材を包含している。本特許の所有者は、他の何人も本特許書類或いは公開内容を米国特許商標省の特許ファイルまたは記録にある形で複写により再生することには異議はない。但し同所有者は著作権法の下でその他全ての権利を保有するものである。
発明の背景
本発明はマシン・ビジョン（machine vision：コンピュータ・ビジョンと同じ）、より具体的にはヒストグラムを使用したイメージ解析の方法及び装置に関係している。
自動化された生産現場では、多くの場合、加工或いは組立を行う対象物の位置、形、サイズ、角度の配向の決定（determine：測定の意味も含む）が重要である。例えば、自動化された回路組立て現場では、伝導リードがハンダ付けされる前にプリント回路基板の正確な位置を決定しなければならない。
例としては、自動化された生産システムの多くが、対象物の位置と配向を見つける方法としてイメージ・セグメンテーション（画像の分割）のマシン・ビジョン技術に依存していることが挙げられる。イメージ・セグメンテーションとは、イメージ（画像）中で対象物の輪郭を他の特徴（例：対象物の背景）との関係において識別する技術である。
イメージ・セグメンテーションの従来の方法としては、イメージ中の各ピクセル強度値（intensity values）のヒストグラム作成によるピクセル強度の閾値決定を用いる一例がある。各起りうる強度値でのピクセル数を記録していくヒストグラムでは、イメージ中のさまざまな顕著な強度値、例えば対象物及び背景の顕著な強度値がピークとして示される。これにより、対象物を背景から分離している境界線やエッジの中間的な強度が推定される。
例えば、後方から光源で照射されている対象物のヒストグラムでは、強度スペクトル中の暗い先端（dark end）にピークが出る。これは対象物、より具体的には後方からの光がカメラに届くのを対象物が遮っているイメージ中の部分を表している。このヒストグラムではまた、強度スペクトル中の明るい先端（light end）にもピークが出る。これは背景、より具体的には後方からの光がカメラに届くのを対象物が遮っていないイメージ中の部分を表している。対象物輪郭のエッジのイメージ強度は通常、ヒストグラム中の明るいピークと暗いピークのほぼ中間点にあると推定される。
従来のイメージ・セグメンテーション技術の問題の一つは、その有効性が後方から照らされている対象物のイメージ、若しくはその他の「双峰（bimodal：２モード）」のイメージ（即ち、２つの強度値、即ち暗と明等のみのイメージ）解析での使用に主として限られていることである。回路基板のハンダ付けパッドのように表面の形状のエッジを識別するために必要な場合などは、対象物が前方から照らされていると、結果として見られるイメージは双峰ではなく、むしろ多くのイメージ強度からなる潜在的に複雑なパターンを示す。ヒストグラムで示された多数のピークから注目の対象物のエッジに沿ったイメージ強度を推定することによりイメージ・セグメンテーションを行うことには問題がある。
先行技術によると、上記したイメージ・セグメンテーション技術によって作成されたタイプの対象物のエッジに沿ったイメージの特徴、例えばイメージ・セグメンテーション閾値は、対象物の位置または配向を決定する他のマシン・ビジョンツールによって使われている。そのようなツールの内には、輪郭角度発見器（ファインダー）及び「ブロブ（blob：小塊、斑点）」解析器の２つがある。輪郭角度発見器はイメージ・セグメンテーション閾値を用いて、対象物のエッジを追跡してその角度配向を決定する。ブロブ解析器もまた、イメージ・セグメンテーション閾値を用いて対象物の位置及び配向を決定する。双方のツールは例えば米国特許第5,371,060号にて説明されている。同特許の権利は本発明の譲受人（特許権者）コグネックス・コーポレーションに譲渡されている。
本発明の同特許権者により作成されたタイプの輪郭角度発見ツール及びブロブ解析ツールは対象物の角度配向決定になかなか有効であるということが証明されているが、かかる決定を容易にする追加的なツールを提供する目標が残っている。
本発明の目的は、マシン・ビジョン解析用の改良された方法及び装置、特にイメージ中のエッジ特性及びエッジの領域を決定するための改良された方法を提供することにある。
本発明の更なる目的は、顕著な強度及び顕著なエッジの方向等の特徴を決定するための改良された方法及び装置を提供することにある。
更に別の目的は、かかる方法及び装置で、イメージが表している対象物が前方から照らされているか後方から照らされているかに関わらず、広範囲な多様なイメージからエッジ特性を決定できる方法及び装置を提供することにある。
本発明のもう一つの目的は、かかる方法及び装置で、自動ビジョン・アプリケーションの分野、例えば自動検査及び組立て作業用、並びに対象物の位置に関係する他のマシン・ビジョン・アプリケーションに容易に適用できる方法及び装置を提供することにある。
本発明のもう一つの更なる目的は、かかる方法及び装置で、過剰な資源を使用せずに多様なマシン・ビジョン解析機器に従事して手早く実行できる方法及び装置を提供することにある。
本発明の更なるもう一つの目的は、かかる改良された方法を遂行するためのコンピュータでの読出し可能な媒体にプログラム・コードで具体化された製造品を提供することにある。
発明の概要
上述した目的はエッジを基本としたイメージ・ヒストグラム解析用の装置及び方法を提供する本発明によって達成される。
一形態として、本発明は強度（例：色或いは輝度）を表す数値を包含する複数のイメージ値（即ち、「ピクセル（画素）」）から成る入力イメージの顕著なエッジ特性を識別する装置を提供する。この装置は、入力イメージ値に基く複数のエッジ強度値（edge magnitude）を生成するエッジ検出器を包含する。このエッジ検出器は、入力イメージ値の微分、即ち複数のイメージ・ピクセル間での強度変化率を得ることによってエッジ強度を生成するゾーベル演算子（Sobel operator）となることができる。
マスク発生器はこのエッジ検出器により出力された数値に基いてマスクを作成する。例えば、このマスク発生器はマスク値（例えば、０（複数））及び非マスク値（例えば、１（複数））の配列を生成できる。これらの値は夫々、対応するエッジ強度値に依存する。例えば、あるエッジ強度値が閾値を超えていると、対応するマスク値は１となり、その他の場合は０となる。
顕著なエッジ強度、或いはイメージ・セグメンテーション閾値を決定するための本発明の一形態では、そのマスクは十分な高エッジ強度がある領域には存在しない入力イメージ値をマスクするために使用される。顕著なエッジ方向を決定するための本発明の一形態では、このマスクはかかる領域にはないエッジ方向値をマスクするために使用される。
マスク付与装置が、マスクしたイメージを生成するために選択されたイメージにピクセルマスク配列を施す。この選択されたイメージとは、入力イメージ或いはそれから生成されたイメージ（例：ゾーベル演算子の入力イメージへの適用により生成されるタイプのエッジ方向イメージ）とすることができる。
ヒストグラム発生器はマスクされたイメージ中のピクセル値のヒストグラム、例えば夫々の強度値或いはエッジ方向でのマスクを通り抜けた、かつピクセル・マスクの非マスク値と対応したイメージ・ピクセルの計数のヒストグラムを生成する。ピーク検出器は、本発明のイメージ・セグメンテーション閾値という形態においてこのエッジ検出器により検知されたエッジと関連している顕著なイメージ強度値を、また本発明の対象物配向決定という形態においてこのエッジ検出器により検知されたエッジと関連している顕著なエッジ方向を示すヒストグラムのピークを識別する。
本発明の更なる形態は、上記装置の操作と平行して、イメージ・セグメンテーション閾値を識別する対象物配向決定用の方法を提供することにある。
本発明の更なる別の形態は、前記エッジ・ベースのイメージ・ヒストグラム解析方法をデジタル・データ・プロセッサーで実行するためのコンピュータで使用可能な媒体に具体化されたプログラム・コードから成る製造品である。
本発明は産業並びに研究用に幅広く適用できる。本発明の顕著なエッジ強度閾値を決定する残りの形態において、対象物の位置及び配向を決定するための輪郭角度発見及びブロブ解析等の他のマシン・ビジョン作業での用途に用いられるイメージ・セグメンテーション閾値を提供する。本発明の顕著なエッジ方向を決定するこれらの形態はまた、追加的なマシン・ビジョン操作を要すことなく、対象物決定の促進化など産業中で幅広く適用できる。
本発明の上記の形態及びその他の形態は、下記の図及び説明中に明解に示されている。
【図面の簡単な説明】
図の参照により、本発明をより完全に理解することの達成が可能となる。
図１は、本発明によるエッジベースのイメージ・ヒストグラム解析用の装置を包含するデジタル・データ・プロセッサを示す図である。
図２Ａは、イメージ・セグメンテーション閾値の識別を使用目的とする本発明によるエッジベースのイメージ・ヒストグラム解析用の方法中の各工程を示す図である。
図２Ｂは、イメージ中の顕著なエッジ方向の決定を使用目的とする本発明によるエッジベースのイメージ・ヒストグラム解析用の方法中の各工程を示す図である。
図３Ａ〜図３Ｆは、本発明による方法及び装置により生成された一連のイメージを１次元的（例：走査線）に示す図である。
図４Ａ〜図４Ｆは、本発明による方法及び装置により生成された一連のイメージを２次元的に示す図である。
図５は、本発明による方法及び装置により処理されるサンプル入力イメージのピクセル値を示す図である。
図６〜図８は、本発明による方法及び装置の稼動時に、ゾーベル演算子の適用により生成された中間イメージのピクセル値及びエッジ強度イメージのピクセル値を示す図である。
図９は、本発明による方法及び装置により生成された鮮鋭化されたエッジ強度イメージのピクセル値を示す図である。
図１０は、本発明による方法及び装置により生成されたピクセル・マスク配列を示す図である。
図１１は、本発明による方法及び装置により生成されたマスクされた入力イメージのピクセル値を示す図である。
図１２は、図１１のマスクされたイメージ値から作成したヒストグラムを示す図である。
図示実施例の詳細な説明
図１はエッジベースのイメージ・ヒストグラム解析用のシステムを示す。図示されているように、従来のビデオカメラ或いはスキャナーのような画像捕獲装置（image capture device）１０が対象物１を含む場面のイメージを生成する。この画像捕獲装置１０により生成されたデジタル・イメージ・データ（或いはピクセル）は、従来の方法でこの画像捕獲装置（イメージ・キャプチャ装置）の解像度でこの場面中の各点のイメージ強度（例：色或いは輝度）を表している。
デジタル・イメージ・データは画像捕獲装置１０より通信経路１１を通りイメージ解析システム１２へと転送される。これ（イメージ解析システム）は従来のデジタル・データ・プロセッサ、またはエッジベースのイメージ・ヒストグラム解析を実行するためのここにおける教示に準じてプログラムされ、本発明の特許権者コグネックス・コーポレーションより販売されているタイプのビジョン・プロセス・システムでもよい。このイメージ解析システム１２は、単数または複数の中央処理装置１３、メイン・メモリ１４、入出力システム１５、ディスク・ドライブ（またはその他の静的大容量記憶装置）１６から成り、これらは全て従来のタイプのものでかまわない。
このシステム１２、特に中央処理装置１３は、以下に詳しく説明されているエッジ検出器２、マスク発生器３、マスク付与装置４、ヒストグラム発生器５、ピーク検出器６としてオペレーション用のここでの教示に従ったプログラミング命令により構成されている。本分野の熟練者（当業者）は、プログラム可能なデジタル・データ・プロセッサ上への実施（インプリメンテーション）に加え、ここに教示されている方法及び装置が特別な目的のハードウエアにインプリメント可能であることを正しく理解するであろう。
図２Ａは、イメージ・セグメンテーション閾値の識別に使用するための本発明によるエッジベースのイメージ・ヒストグラム解析の方法の各工程を図示している。これは即ちイメージ中のあるエッジの顕著な強度の測定に使用される。このうち夫々の工程で行われる処理をよりよく説明するために、以下の記述を通して図３〜図１２に示されている図及び数値の例を参照していく。これに関連して付け加えたいことは、図３Ａ〜３Ｆ及び図４Ａ〜図４Ｆが図２の方法で生成された一連のイメージを図示している。図４Ａ〜図４Ｆ中の描写は２次元的である。図３Ａ〜図３Ｆ中の描写は走査線の形状等のように１次元的である。図５〜図１２は同様の一連のイメージ中にあるピクセル値並びに図2Aの方法で生成された中間配列（intermediate arrays）を数値の形式で図示している。
本実施形態例は簡潔であるが、本分野の熟練者はこれらの例よりも非常に複雑なものを含む広範囲な多様なイメージの顕著なエッジ特性を決定するのにここでの教示が適用できることを理解できよう。加えて、図５〜図１１に示されているイメージ及び中間配列を参照すると、本教示があらゆる大きさのイメージ処理に適用されることが理解できよう。
図２Ａの工程（ステップ）２１を見ると、注目の対象物を含む場面が画像捕獲装置１０（図１）により捕獲されるのが分かる。上述したように、この場面を表すデジタル・イメージは、この画像捕獲装置１０の解像度によりこの場面の各点のイメージ強度（例：色或いは輝度）を示すピクセルを用いて、従来の方法で、この画像捕獲装置１０により生成される。捕獲されたイメージは本文書中では「入力」または「オリジナル」イメージ（画像）として言及されている。
簡単にするために、後述の図及び説明により示される本実施形態例の中では、入力イメージは白い背景に対する暗い長方形を示すものと仮定する。これは図３Ａ及び図４Ａに図示されている。同様に、これは図５に数字の形で示されており、イメージ強度（image intensity）０の背景に対して暗い長方形はイメージ強度１０ので桝目（格子）で示されている。
工程２２では、図示されている手段（method）はエッジ検出器として作動し、このエッジ検出器は入力イメージ・ピクセルに対応するピクセルを使用してエッジ強度イメージを生成するが、これは入力イメージ・ピクセルにより表されているイメージ強度の変化率（或いは微分）を反映している。図中の例を見ると、かかるエッジ強度は図３Ｂ（グラフィック、１次元）、図４Ｂ（グラフィック、２次元）、及び図８（数値、ピクセル使用）に示されている。
好ましい一実施形態例では、エッジ検出器の工程２２はこれらの変化率の大きさを決定するために、より具体的には、入力イメージのＸ軸、Ｙ軸の各方向に沿った変化率を決定するために、ゾーベル演算子を使用する。ゾーベル演算子をイメージ強度の変化率決定の目的で使用することは、本分野では公知である。例えば、1970年スタンフォード大学電子工学部博士号卒業論文のゾーベル（Sobel）著「Camera Models and Machine Perception（カメラモデルと機械知覚）」、1970年、およびアカデミック・プレス発行のＢ．リプキンとＡ．ローゼンフェルト（編集者）による「Picture Processing and Psychopictorics（実写の処理及びサイコピクトリックス）」中のＪ．プレウィット（Prewitt J.）著「Object Enhancement and Extraction（対象物の強化と抽出）」中の教示は、本文書に引用として含まれる。ゾーベル演算子を採用するための更なる好ましい技術が下記に説明されており、またCIP_SOBELという商標名で本発明の特許権者が販売しているマシン・ビジョンツール中に実行されている。
Ｘ軸に沿った入力イメージのピクセル変化率は以下のマトリックスを用いてイメージを畳込むことにより好ましく決定される。
0004213209.tif 000002
図６は上記のマトリックスを用いて図５の入力イメージを畳込んだ結果生じた中間イメージを図示している。
Ｙ軸に沿った入力イメージのピクセル変化率は以下のマトリックスを用いてイメージを畳込むことにより好ましく決定される。
0004213209.tif 000003
図７は上記のマトリックスを用いて図５の入力イメージを畳込んだ結果生じた中間イメージを図示している。
図８等のエッジ強度イメージのピクセルは、図６及び図７等の中間イメージの対応するピクセルの２乗を合計したものの平方根で決定される。即ち、例えば、図８のエッジ強度イメージの１行目・１列目のピクセルで示されている強度は、（１）図６の中間イメージの１行目・１列目にある数値の２乗と（２）図７の中間イメージの１行目・１列目にある数値の２乗を合計したものの平方根である。図２Ａに戻ってみると、工程２３で図示されている手段は、鮮鋭化したエッジ強度イメージを生成するピーク鮮鋭化手段として作用し、これは鮮鋭化されたピークを持つエッジ強度イメージを複製する。特に、このピーク鮮鋭化工程２３ではエッジ強度イメージ中のあらゆるピークのうち最大のエッジ強度値以外は全て削り取る。本図中に示されている例を見てみると、かかる鮮鋭化されたエッジ強度イメージが図３Ｃ（グラフィック、１次元）、図４Ｃ（グラフィック、２次元）、及び図９（数値、ピクセル使用）に示されている。
図示されている実施形態例中では、この鮮鋭化されたエッジ強度イメージは、エッジ強度イメージに下記に示す十字形の近傍演算子を適用することにより生成される。近傍全体中で最大値である夫々の近傍の中心にあるこれらのエッジ強度値のみが鮮鋭化されたエッジ強度イメージとして指定（割り当て）され、従ってあらゆるエッジ強度値ピークは細くなる。
0004213209.tif 000004
鮮鋭化についてよりよく理解するためには、図８のエッジ強度イメージから生成された鮮鋭化エッジ強度イメージを図示した図９を参照されたい。
図２Ａの工程２４では、図示されている手段は鮮鋭化エッジ強度イメージからピクセル・マスク配列（アレイ）を生成するためのマスク発生器として作用する。好ましい一実施例中では、このマスク発生器２４がマスク値（例えば、０（複数））と非マスク値（例えば、１（複数））の配列を生成する。この夫々がこの鮮鋭化エッジ強度イメージ中の対応するピクセル値に依存している。従って、この鮮鋭化エッジ強度イメージのピクセル強度値が閾値（図３Ｃの要素３３ａで示す）を超えると、マスク配列の対応する要素に非マスク値１が乗り、その他の場合はマスク値０が乗る。
本分野の熟練者は、このマスク発生器工程２４がこの鮮鋭化エッジ強度イメージの２値化処理と同じであるということを理解するであろう。これに従う形で図に示された例はそれに応じて区別化している。図３Ｄ，図４Ｄ，図１０に示すマスク即ち２値化された鮮鋭化エッジ強度イメージを参照されたい。図１０の数値を使用した例では、閾値が４２である。
更に本分野の熟練者は、ピーク鮮鋭化工程２３がオプションであること、及びこのマスクがこのエッジ強度イメージを直接２値化することにより生成できることを理解できよう。
図２Ａの工程２５では、図示された手段は、マスク適用装置として作用し、ピクセル配列中の非マスク値（数値：１）に対応する入力イメージからのピクセル（数値：１０）のみをマスクされたイメージに含まれるように、入力イメージ（図５）にピクセルマスク配列（図１０）を適用することにより、マスクされたイメージ（図１１）を生成する。図２Ａのイメージ・グメンテーションの実施例で、ピクセル・マスク配列が、高エッジ強度が十分な領域にある入力イメージのピクセル（数値：１０）のみがマスクされたイメージを通り抜けて出てくる作用・効果を有することが理解されよう。図中に示された例を見てみると、マスクされた入力イメージは図３Ｅ（グラフィック、１次元）、図４Ｅ（グラフィック、２次元）及び図１１（数値、ピクセル使用）に示されている。図１１は、特に、マスクされたイメージが入力イメージ中の暗い四角形（数値１０）の部分及び背景（数値０）の部分を含んでいることが明らかにしている。
図２Ａの工程２６では、図示されている手段はマスクされたイメージ中の値のヒストグラム、即ち入力イメージからピクセル・マスク配列を通って出ていく夫々の可能な強度値におけるゼロ以外のピクセル数の集計を生成するヒストグラム発生器として作用する。図に示された例を見ると、かかるヒストグラムは図３Ｆ、図４Ｆ及び図１２に示されている。
図２Ａの工程２７では、図示されている手段はこのヒストグラム中のピークを示す出力信号を生成するピーク検出器として作用する。本分野の熟練者が分かるように、これらのピークはマスクされた入力イメージ中の多様で顕著なエッジ強度を示している。この情報は、対象物の位置、配向を決定する目的で、輪郭角度発見器及びブロブ解析器のような他のマシン・ビジョン・ツールと共に使用してもよい。
本発明によるイメージ・セグメンテーション閾値を識別するための好ましい実施例用のソフトウエア一覧を下記に記載する。このプログラムはＵＮＩＸオペレーティング・システム上でＣプログラム言語を使用して実行（インプリメント）される。
本発明によるエッジベースのイメージ・ヒストグラム解析用の方法及び装置は、上述のように顕著なイメージ強度（或いはイメージ・セグメンテーション閾値）を含むいろいろな顕著なエッジ特性を決定するために使用できる。これに関連して、図２Ｂはイメージ中のエッジの単数または複数の顕著な方向を決定することにより対象物の配向決定を用途とする本発明によるエッジベースのイメージ・ヒストグラム解析用の方法についての各工程を示している。同じ参照番号で示されている箇所について述べると、図２Ｂに示されている方法の各工程は図２Ａのそれら工程と同様である。
新しい参照番号２８で示されているように、図２Ｂの手段は入力イメージ・ピクセルに対応するピクセルを使用してエッジ方向イメージ（画像）を生成する追加的な工程を包含するが、これ（エッジ方向イメージ）はこの入力イメージ・ピクセルにより表されているイメージ強度の変化率（或いは微分）の方向を反映している。好ましい一実施例では、工程２８はこの変化率の方向を決定するために上述したタイプのゾーベル演算子を使用している。前述したように、本技術分野ではゾーベル演算子（ゾーベル・フィルタともいう）をこのように使用することは公知である。
更に、図２Ａのマスク付与装置工程２５がピクセル・マスク配列を入力イメージに適用することによりマスクされたイメージを生成するのに対して、図２Ｂのマスク付与装置工程２５′はピクセル・マスク配列をエッジ方向イメージに適用することによりマスクされたイメージを生成する。その結果、マスク付与装置工程２５′の出力はマスクされたエッジ方向イメージ（マスクされた入力イメージではない）である。結果として、図２Ｂの前記ヒストグラム生成工程２６及び上記ピーク発見工程２７は、この入力イメージの単数または複数の顕著なエッジ方向（顕著なイメージ強度ではない）を引き出す効果を持つ。
この顕著なエッジ方向の情報から、エッジを輪郭とする対象物の配向が推察される。例えば、対象物が長方形の場合、顕著なエッジ方向値はモジュロ（modulo）９０度と解釈され、角度回転を決定する。更に説明すれば、対象物がほぼ円形で一個所だけエッジが直線であったり刻み目が入っていたりする（例えば、半導体のウェハーの如く）場合、顕著なエッジ方向値は簡単に決定でき、次にはこれを対象物の配向決定に使用できる。本分野の熟練者は、静止したその他の定型対象物の配向が図２Ｂの方法で提供されている顕著なエッジ方向の情報から推察できることを理解できよう。
本発明の更なる実施形態例は、イメージ解析システム１２（図１）をここに説明されているエッジベースのヒストグラム解析装置及び方法として、またこれに従う形で作動するように構成するためのコンピュータ・プログラムを記憶したコンピュータで読出し可能な媒体、即ち磁気ディスクから成る製造品、即ち磁気ディスケット（図示なし）を提供する。かかるディスケットは従来の構造を持ち、イメージ解析器１２のディスケット・ドライブに含まれている読出し・書込みヘッドを通すという従来の形の読出し用磁気媒体に記録されたコンピュータ・プログラムを保存している。例としてのみディスケットの説明をここに行っていること、及びここの教示と合致した形でコンピュータを実行する意図を持つプログラムを記憶したコンピュータで使用可能な媒体からなる他の製造品もまた本発明により説明されている媒体に含まれることは、理解できよう。
0004213209.tif 000005
0004213209.tif 000006
0004213209.tif 000007
0004213209.tif 000008
0004213209.tif 000009
0004213209.tif 000010
0004213209.tif 000011
0004213209.tif 000012
0004213209.tif 000013
0004213209.tif 000014
0004213209.tif 000015
0004213209.tif 000016
0004213209.tif 000017
0004213209.tif 000018
0004213209.tif 000019
0004213209.tif 000020
0004213209.tif 000021
0004213209.tif 000022
0004213209.tif 000023
0004213209.tif 000024
0004213209.tif 000025
0004213209.tif 000026
0004213209.tif 000027
0004213209.tif 000028
0004213209.tif 000029
0004213209.tif 000030
0004213209.tif 000031
0004213209.tif 000032
0004213209.tif 000033
0004213209.tif 000034
0004213209.tif 000035
0004213209.tif 000036
0004213209.tif 000037
0004213209.tif 000038
0004213209.tif 000039
0004213209.tif 000040
0004213209.tif 000041
0004213209.tif 000042
0004213209.tif 000043
0004213209.tif 000044
0004213209.tif 000045
0004213209.tif 000046
ここでは、前述の本発明の目的に合致したエッジベースのイメージ・ヒストグラム解析用の装置及び方法について説明した。ここで説明した実施例は限定を持たせることを意図しておらず、本分野での通常技能の知力範囲内で追加、削除、その他の変更が行れたその他の実施例が本発明の技術範囲にあることは理解されよう。以上の点に鑑み、我々の特許請求の範囲は以下の通りである。
【図１】
0004213209.tif 000047
【図２Ａ】
0004213209.tif 000048
【図２Ｂ】
0004213209.tif 000049
【図３Ａ】
0004213209.tif 000050
【図３Ｂ】
0004213209.tif 000051
【図３Ｃ】
0004213209.tif 000052
【図３Ｄ】
0004213209.tif 000053
【図３Ｅ】
0004213209.tif 000054
【図３Ｆ】
0004213209.tif 000055
【図４Ａ】
0004213209.tif 000056
【図４Ｂ】
0004213209.tif 000057
【図４Ｃ】
0004213209.tif 000058
【図４Ｄ】
0004213209.tif 000059
【図４Ｅ】
0004213209.tif 000060
【図４Ｆ】
0004213209.tif 000061
【図５】
0004213209.tif 000062
【図６】
0004213209.tif 000063
【図７】
0004213209.tif 000064
【図８】
0004213209.tif 000065
【図９】
0004213209.tif 000066
【図１０】
0004213209.tif 000067
【図１１】
0004213209.tif 000068
【図１２】
0004213209.tif 000069