(57)【要約】【課題】物体を撮影して得られた画像を用いて、当該物体のキズを精度良く判別することが可能な情報処理装置、制御方法、及びプログラムを提供することを目的とする。【解決手段】画像の画素位置における輝度の勾配方向を算出した後、当該画素の勾配強度を算出して、画像を区分した各領域における勾配方向に基づく勾配強度の累積値から、累積値が一定値以上の勾配方向の画素を取得して、取得した画素が同一直線上にあった場合は、線状のキズがあると判定し、同一直線上にない場合は、線状のキズがないと判定する。【選択図】図４
2018017514.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた画像の画素位置における輝度にかかる勾配方向及び勾配強度を算出する算出手段と、
前記算出手段によって算出した同様な勾配方向を有する画素の勾配強度を加算する加算手段と、
前記加算手段によって得られた値が、一定値以上である画素が線状となるか否かを判定する判定手段と、
前記判定手段によって得られた判定結果を出力する出力手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
前記算出手段は、画像を任意に区分した領域ごとに画素の画素位置における前記勾配方法及び勾配強度を算出し、
前記加算手段は、前記区分した領域ごとの画素の勾配強度を加算することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記任意に区分した領域は、前記画像に対する領域の開始位置を任意の方向にずらして区分することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記判定手段によって判定した線状となる画素間のつながりによって線状のキズが存在するか否かを解析する解析手段を備えたことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
撮影対象のキズの判別を行う情報処理装置の制御方法であって、
前記情報処理装置は、
撮影して得られた画像の画素位置における輝度にかかる勾配方向及び勾配強度を算出する算出ステップと、
前記算出ステップによって算出した同様な勾配方向を有する画素の勾配強度を加算する加算ステップと、
前記加算ステップによって得られた値が、一定値以上である画素が線状となるか否かを判定する判定ステップと、
前記判定ステップによって得られた判定結果を出力する出力ステップと、
を実行することを特徴とする情報処理装置の制御方法。
【請求項６】
撮影対象のキズの判別を行う情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
前記撮影して得られた画像の画素位置における輝度にかかる勾配方向及び勾配強度を算出する算出手段と、
前記算出手段によって算出した同様な勾配方向を有する画素の勾配強度を加算する加算手段と、
前記加算手段によって得られた値が、一定値以上である画素が線状となるか否かを判定する判定手段と、
前記判定手段によって得られた判定結果を出力する出力手段と、
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製造物のキズを判別する技術に関する。
【背景技術】
【０００２】
製造物の完成度を測るために、ユーザがカメラ等で製造物を撮影して得られた画像を処理することで、製造物の検証を行う方法が存在する。
【０００３】
その方法の一例として、吊り金具に支持硝子や剛体架線をそれぞれ固定するボルトの有無を検査するにあたり、これらを撮影して得られた画像に関して、各画素位置における輝度勾配方向を計算し、テンプレート化された輝度勾配方向を比較して、ボルトの有無を検査する方法が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２６３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、製造物によって撮影された画像には、撮影によるノイズが含まれることがあり、このノイズのために、製造物自身に存在するキズの判別がしにくいといった問題がある。
【０００６】
特許文献１に記載の発明では、製造物自身に存在するキズの判別を行うことについては、記載や示唆はなく、想定されるキズの輝度勾配方向に関してテンプレート化することも、キズのパターンが多様であるため現実的でない。
【０００７】
そこで、本発明では、物体を撮影して得られた画像を用いて、当該物体のキズを精度良く判別することが可能な情報処理装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための発明は、撮影して得られた画像の画素位置における輝度にかかる勾配方向及び勾配強度を算出する算出手段と、前記算出手段によって算出した同様な勾配方向を有する画素の勾配強度を加算する加算手段と、前記加算手段によって得られた値が、一定値以上である画素が線状となるか否かを判定する判定手段と、前記判定手段によって得られた判定結果を出力する出力手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、物体を撮影して得られた画像を用いて、当該物体のキズを精度良く判別することができる、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の線状キズ有無判別システムの構成の一例を示すシステム構成図である。
【図２】情報処理装置のハードウェア構成を示すブロック図である。
【図３】線状キズ有無判別システムのソフトウェア構成の一例を示すブロック図である。
【図４】線状キズ有無判別システムにおける線状キズ有無判別の処理を示すフローチャートである。
【図５】画像取得時の線状キズ有り画像と線状キズ無し画像のイメージである。
【図６】画像の画素毎に輝度の勾配方向を算出した時のイメージである。
【図７】画像を区分した時のイメージである。
【図８】開始位置を右下にずらして画像を区分した時のイメージである。
【図９】区分領域毎に同一勾配方向の勾配強度を累積したヒストグラムである。
【図１０】累積値が一定値以上の勾配方向に含まれる画素を取得してプロットした時のイメージである。
【図１１】キズの有無の判別結果を画面に出力した時のイメージである。
【図１２】線状キズ有無判別システムにおける線状キズ有無判別の処理を示すフローチャートである。
【図１３】端点座標を中心として一定サイズの画像を切り出した時のイメージである。
【図１４】切り出し画像の端に同一直線上の画素が存在するか探索した時のイメージである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１２】
図１は、本発明の線状キズ有無判別システム１００の構成の一例を示すシステム構成図である。
【００１３】
図１は、カメラ１０２及び情報処理装置であるＰＣ１０４が画像転送ケーブル（ＵＳＢ、イーサネット、カメラリンクなど）を介して接続される構成となっている。尚、このような構成を備えなくとも、カメラを備えた情報処理装置としての構成でも良い。
【００１４】
ＰＣ１０４は、画像転送ケーブルを介してカメラ１０２で撮影対象を撮影して得られた画像を取得し、画像内の線状キズ有無判別に関する処理を実行する。
【００１５】
また、本実施形態の線状キズ有無判別システム１００は、上述した構成のカメラ１０２が存在しない構成であってもよい。
【００１６】
その場合は、ＰＣ１０４のメモリ（ＲＡＭ）に格納された画像に対して、画像内の線状キズ有無判別に関する処理を実行する。
【００１７】
以下、図２を用いて、図１に示したＰＣ１０４に適用可能な情報処理装置のハードウェア構成について説明する。
【００１８】
図２は、図１に示したＰＣ１０４に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
【００１９】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２０】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１２からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２１】
２０５は入力コントローラで、キーボード（ＫＢ）２１０や不図示のマウス等のポインティングデバイス等からの入力を制御する。
【００２２】
２０６はビデオコントローラでディスプレイ２１１等の表示器への表示を制御する。
【００２３】
２０７はメモリコントローラで、各種データを記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。
【００２４】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（ＴＣＰ／ＩＰ）を介して外部ＰＣ２１３からの画像データの受信を制御する。
【００２５】
２０９は画像Ｉ／Ｆコントローラで、画像転送ケーブル（ＵＳＢ、イーサネット、カメラリンク等）を介してカメラ１０２からの画像データの受信を制御する。
【００２６】
本発明を実現するための後述する各種プログラムは、ＲＡＭ２０３に記録され、ＣＰＵ２０１によって実行されるものである。
【００２７】
また、上記プログラムの実行時に用いられる画像データは、用途に応じてＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、及びカメラ１０２に格納されており、プログラム実行時に各種コントローラを介してＲＡＭ２０３に格納される。
【００２８】
次に、図３を用いて、本発明の情報処理装置としてのＰＣ１０４の機能ブロック図について説明する。
【００２９】
尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。
【００３０】
画像取得手段３０１は、用途に応じてＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、及びカメラ１０２から画像データを取得し、ＲＡＭ２０３に格納する。
【００３１】
画像処理手段３０２は、画像取得手段３０１でＲＡＭ２０３に格納された画像データに対して、線状キズ有無判別の画像処理を実行する。
【００３２】
判別結果出力機能３０３は、画像処理手段３０２で実行された判別結果をディスプレイ２１１に表示する。または、判別結果をファイルとしてＲＡＭ２０３に格納する。
【００３３】
尚、各機能の詳細については、フローチャートの各処理において説明する。
【００３４】
以下、図４を参照して、本実施形態の線状キズ有無判別システム１００における線状キズ有無判別処理について説明する。
【００３５】
ステップＳ１０１では、画像取得手段３０１において、ＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、あるいはカメラ１０２から画像データを取得する。
【００３６】
画像データには、線状キズ有りの画像、または、線状キズ無しの画像が存在する（図５参照）。
【００３７】
図５に示す画像は、例えば、半導体ウェハをカメラ１０２で撮影した際に得られた画像の例を示しており、左側が、線状のキズが有る画像を示しており、右側が、線状のキズの無い画像を示したものである。
【００３８】
ステップＳ１０２では、画像処理手段３０２において、ステップＳ１０１で取得した画像の画素毎に輝度の勾配方向を算出する（図６参照）。
【００３９】
図６に示す画像は、図５に示す画像の各画素に関して輝度の勾配方向を算出している。左側が、左側が、線状のキズが有る画像に関する輝度の勾配方向を矢印で示しており、右側が、線状のキズの無い画像に関する輝度の勾配方向を矢印で示したものである。
【００４０】
また、ステップＳ１０３では、画像処理手段３０２において、ステップＳ１０１で取得した画像の画素毎に輝度の勾配強度を算出する。
【００４１】
後段の処理では、ステップ１０２及びステップ１０３で取得した輝度の勾配方向、及び、勾配強度を用いて、線状キズの有無を判定する。ただし、画像全体のサイズに対して、存在しうる線状キズのサイズが小さい場合、線状キズによる勾配強度の累積値がノイズによる勾配強度の累積値を下回る場合がある。
【００４２】
上記の場合に対応するため、画像全体ではなく、任意の区分領域毎に輝度の勾配強度の累積値を算出する。ステップＳ１０４からステップＳ１０７では、画像を区分する方法について記述する。
【００４３】
ステップＳ１０４では、画像処理手段３０２において、画像の左上を開始位置して画像を区分する。１つの区分領域のサイズ（幅と高さ）は、画像内に存在しうる線状キズの平均的なサイズをもとに設定する。例えば、図７に示すように、１つの区分領域のサイズを画像サイズの１／４とした場合、１６個（４×４）の区分領域が作成される。
【００４４】
ステップＳ１０５では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ右に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、１つの区分領域のサイズを画像サイズの１／４とした場合、１２個（３×４）の区分領域が作成される。
【００４５】
ステップＳ１０６では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ下に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、１つの区分領域のサイズを画像サイズの１／４とした場合、１２個（４×３）の区分領域が作成される。
【００４６】
ステップＳ１０７では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ右下に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、図８に示すように、１つの区分領域のサイズを画像サイズの１／４とした場合、９個（３×３）の区分領域が作成される。
【００４７】
ステップＳ１０４からステップＳ１０７で作成される区分領域は互いにオーバーラップしている。区分領域をオーバーラップして作成する目的は、画像内の１個の線状キズをなるべく複数の区分領域に跨らないように、１個の線状キズの大部分を１個の区分領域内に含めることである。
【００４８】
ステップＳ１０５からステップＳ１０７のずらし量は、区分領域サイズの１／２としているが、上記の目的を満たすために、１／４、１／８、１／１６等のずらし量を追加し、区分領域を増やしてもよい。
【００４９】
ステップＳ１０８では、画像処理手段３０２において、図９に示すように、ステップＳ１０４からステップＳ１０７で作成された区分領域毎に、ステップＳ１０２、ステップＳ１０３で算出した画素の輝度の同一勾配方向の勾配強度を累積する。
【００５０】
図９に示すヒストグラムは、左から、ステップＳ１０４からステップＳ１０７において、画像を区分した１つめの領域を示しており、中央では、画像を区分したＭ番目の領域を示しており、右は、画像を区分したＮ番目の領域を示している。
【００５１】
このヒストグラムは、横軸を画素の勾配強度を示し、縦軸を画素の勾配強度を示している。
【００５２】
ステップＳ１０９では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値、または、全てのそれぞれの区分領域の累積値から最大値を算出する。上記のいずれの累積値を用いるかは、用途に応じて変更可能とする。
【００５３】
ステップＳ１１０では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値、または、全ての区分領域の累積値から平均・分散を算出する。上記のいずれの累積値を用いるかは、用途に応じて変更可能とする。
【００５４】
ステップＳ１１１では、画像処理手段３０２において、ステップＳ１０９で算出した最大値が一定値未満か否かを判定する。一定値未満の場合は、ステップＳ１１２に進み、一定値以上の場合は、ステップＳ１１３に進む。
【００５５】
ステップＳ１１２では、画像処理手段３０２において、ステップＳ１１０で算出した分散が一定値未満か否かを判定する。一定値未満の場合は、ステップＳ１１５に進み、一定値以上の場合は、ステップＳ１１３に進む。
【００５６】
ステップＳ１１３では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値を参照し、累積値が一定値以上の勾配方向に含まれる画素の位置を画像上にプロットする（図１０参照）。この処理により、線状キズに含まれる画素が多く取得され、画像上にプロットされることを期待する。
【００５７】
図１０においては、左に示す区分領域Ｌ、・・・区分領域Ｍの各ヒストグラムから、累積値が一定値以上の勾配方向に含まれる画素の位置を、右に示すように画像上にプロットする。
【００５８】
ステップＳ１１４では、画像処理手段３０２において、ステップＳ１１３で作成された画像を用いて、プロットされた画素が同一直線上に存在するか否かを判定する。同一直線上に存在するか否かの判定では、既存の画像処理技術（ハフ変換、ＲＡＮＳＡＣ等）で直線を検出し、直線上に存在する画素数や割合などを利用する。
【００５９】
プロットされた画素が同一直線上に存在すると判定された場合はステップＳ１１６に進み、そうでない場合はステップＳ１１５に進む。
【００６０】
ステップＳ１１５では、画像処理手段３０２において、画像内に線状キズなしと判定し、ステップＳ１１６では、画像処理手段３０２において、画像内に線状キズありと判定する。
【００６１】
ステップＳ１１７では、判別結果出力機能３０３において、ステップＳ１１５及びステップＳ１１６の判定結果から判別結果をディスプレイ、或いはファイル等に出力する。
【００６２】
判別結果としては、図１１に示す判定結果確認画面４００のよう、線状キズ有／無（或いはＮＧ／ＯＫ）４０１、中心位置４０２、サイズ４０３、長さ４０４、強度４０５、方向４０６などがある。判別結果をディスプレイに表示する場合は、画像上に判別結果の情報を図示してもよい。
［変形例］
【００６３】
以下、図１２を参照して、前述の線状キズ有無判別システムにおける画像処理機能の追加処理について説明する。
【００６４】
図１２に示すフローチャートは、図４に示すフローチャートを改良したものである。
【００６５】
図４に示すフローチャートのステップＳ１１４において、プロットされた画素が同一直線上に存在すると判定された場合、図１２に示すフローチャートのステップＳ２０１に進む。
【００６６】
ステップＳ２０１では、画像処理手段３０２において、同一直線上に存在する画素の２端点を取得する。
【００６７】
ステップ２０２では、画像処理手段３０２において、図１３に示すように、２端点の座標を中心に一定サイズの画像を切り出す。一定サイズは画像内に存在しうる線状キズの平均的なサイズから算出する。
【００６８】
ステップＳ２０３では、画像処理手段３０２において、切り出し画像の上下左右の端１列の画素のみを参照し、その画素にプロットされた画素が存在するか否かを判定する。
【００６９】
線状キズの場合は、画素間がつながってキズが生じるため、図１４の上段に示すように、切り出し画像の上下左右の端１列にプロットされた画素が存在するが、ノイズの場合は、画素間がつながっておらず、図１４の下段に示すように、プロットされた画像が存在しない。本処理は、２端点の切り出し画像についてそれぞれ個別に判定する。
【００７０】
ステップＳ２０４では、画像処理手段３０２において、ステップＳ２０３で２端点の切り出し画像に両方ともプロットされた画像が存在する場合は、線状キズであると判定し、図４に示すフローチャートのステップＳ１１６に進む。そうでない場合は、ノイズであると判定し、図４のフローチャートのステップＳ１１５に進む。
【００７１】
以上、本発明によれば、物体を撮影して得られた画像を用いて、当該物体のキズを精度良く判別することができる。
【００７２】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【００７３】
以上、一実施形態について示したが、本発明は、例えば、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。
【００７４】
また、本発明におけるプログラムは、図９に示すフローチャートの処理方法をコンピュータが実行可能なプログラムである。なお、本発明におけるプログラムは図７の各装置の処理方法ごとのプログラムであってもよい。
【００７５】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７６】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【００７７】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【００７８】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８０】
また、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００８１】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００８２】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれ
るものである。
【符号の説明】
【００８３】
１００    線状キズ有無判別システム
１０２    カメラ
１０４    情報処理装置
２０１    ＣＰＵ
２０２    ＲＡＭ
２０３    ＲＯＭ
２０４    システムバス
２０５    入力コントローラ
２０６    ビデオコントローラ
２０７    メモリコントローラ
【００８４】
２０８    通信Ｉ／Ｆ（インターフェース）コントローラ
２０９    入力部
２１０    ディスプレイ装置
２１１    外部メモリ
【図１】
2018017514.tif 000003
【図２】
2018017514.tif 000004
【図３】
2018017514.tif 000005
【図４】
2018017514.tif 000006
【図５】
2018017514.tif 000007
【図６】
2018017514.tif 000008
【図７】
2018017514.tif 000009
【図８】
2018017514.tif 000010
【図９】
2018017514.tif 000011
【図１０】
2018017514.tif 000012
【図１１】
2018017514.tif 000013
【図１２】
2018017514.tif 000014
【図１３】
2018017514.tif 000015
【図１４】
2018017514.tif 000016