(57)【特許請求の範囲】
【請求項１】
検査対象物から画像を取得する画像取得手段と、当該画像取得手段によって取得された画像に基づいて検査対象物の形成状態の良否を判定する判定手段と、当該判定手段によって不良と判定された検査対象物の画像を記憶する記憶手段とを備えてなる自動検査装置に関連して設けられ、前記不良と判定された検査対象物の画像に基づいて当該検査対象物の良否を検査者に目視で判定させる目視検査装置において、
前記記憶手段に記憶された不良と判定された検査対象物の画像を読み出し、不良箇所を含む部分画像を基準画像とともにディスプレイに表示させる不良画像表示手段と、
当該表示された不良画像を目視検査する検査者のディスプレイ上における視線の位置を特定する視線位置特定手段と、
当該視線位置特定手段によって不良画像の領域に視線が位置したことおよび基準画像と不良画像との間を視線が横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段と、
を設けたことを特徴とする目視検査装置。
【請求項２】
前記目視結果記憶手段が、基準画像と不良画像との間を視線が横切る回数、および、目視検査の良否結果を記憶させるようにしたものである請求項１に記載の目視検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、プリント基板のパッドや配線パターンなどの形成状態を目視で検査できるようにした目視検査装置に関するものであり、より詳しくは、自動検査装置で検査された不良画像をディスプレイに表示させて目視で検査させるようにした目視検査装置に関するものである。
【背景技術】
【０００２】
一般に、プリント基板のパッドや配線パターンなどの形成状態を検査する場合、カメラでプリント基板の画像を取得し、あらかじめ記憶手段に記憶されていた基準データと、カメラによって取得されたプリント基板の画像に基づく情報とを比較することによって検査を行う。このとき、不良と判定されたプリント基板については、その後、自動検査装置で取得された画像を目視検査装置のディスプレイに表示させ、検査員によって検査させるようにしている（特許文献１など）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６４６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、自動検査装置で厳格に検査しようにすると、不良と判断される箇所が多くなってしまう一方、検査基準を甘くすると不良と判断されるべきものが良品と判断されてしまう。このため、検査基準をある程度厳しくしておき、その後、検査員に目視で判断させるようにするのが好ましいが、それでも不良と判断された箇所が多くなってしまうと、検査員による検査漏れを生じてします可能性がある。
【０００５】
そこで、本発明は、自動検査装置で不良と判定された画像を表示させて検査員に目視検査させる場合、検査員による画像の見落としをなくすようにした目視検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明は上記課題を解決するために、検査対象物から画像を取得する画像取得手段と、当該画像取得手段によって取得された画像に基づいて検査対象物の形成状態の良否を判定する判定手段と、当該判定手段によって不良と判定された検査対象物の画像を記憶する記憶手段とを備えてなる自動検査装置に関連して設けられ、前記不良と判定された検査対象物の画像に基づいて当該検査対象物の良否を検査者に目視で判定させる目視検査装置において、前記記憶手段に記憶された不良と判定された検査対象物の画像を読み出し、不良箇所を含む部分画像を基準画像とともにディスプレイに表示させる不良画像表示手段と、当該表示された不良画像を目視検査する検査者のディスプレイ上における視線の位置を特定する視線位置特定手段と、当該視線位置特定手段によって不良画像の領域に視線が位置したことおよび基準画像と不良画像との間を視線が横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段とを設けるようにしたものである。
【０００７】
また、このような発明において、基準画像と不良画像との間を視線が横切る回数、および、目視検査の良否結果を記憶させるようにしたものである。
【発明の効果】
【０００８】
本発明によれば、基準画像と対比しながら不良画像を検査したと推測することができるため、より正確に検査していると推測することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施の形態におけるプリント基板検査システムの概略図
【図２】同形態における機能ブロック図
【図３】同形態における目視検査装置の画面と視線の位置を示す図
【図４】同形態における記憶手段および目視結果記憶手段に記憶された不良情報を示す図
【図５】同形態における処理のフローチャートを示す図
【図６】他の実施形態における目視検査装置の検査フローを示す図
【図７】他の実施形態における記憶手段および目視結果記憶手段に記憶された不良情報を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の一実施の形態について図面を参照しながら説明する。この実施の形態のプリント基板検査システム１は、図１に示すように、自動検査装置２と目視検査装置３を備えて構成されるものであって、自動検査装置２でプリント基板５の形成状態を自動で検査し、そこで不良と判断されたプリント基板５について、目視検査装置３を用いて検査員に目視で検査させるようにしたものである。そして、特徴的には、図３に示すように、不良箇所を含む部分画像と基準画像を目視検査装置３のディスプレイ４に表示させるとともに、ディスプレイ４上における検査員の視線Ｇの位置を特定し、検査員の視線Ｇの位置が不良画像の領域に視線が位置したこと、および、基準画像と不良画像との間を視線Ｇが横切ることを条件に目視検査の結果を受け付けるようにしたものである。以下、本実施の形態におけるプリント基板検査システム１の構成について、図１の機構概略図や図２の機能ブロック図などを用いて詳細に説明する。
【００１１】
まず、プリント基板検査システム１の自動検査装置２は、図１に示すように、スタッカに集積されたプリント基板５を一枚ずつピックアップして自動で検査できるようにしたものであって、図２に示すような画像取得手段２１や記憶手段２２、判定手段２３などを備えている。
【００１２】
このうち、画像取得手段２１は、ステージ２４に載置されたプリント基板５に光を照射する照明装置２５や、その照射された光のうちプリント基板５によって反射された光を受光する受光装置２６などによって構成され、照明装置２５から斜め方向から光を照射させて、その反射光を受光装置２６で受光する。
【００１３】
一方、記憶手段２２は、あらかじめ基準となるプリント基板５の画像や、検査に際して必要となる基準データ（例えば、検査領域内の平均輝度やパターンの幅などのデータ）などを記憶させるもので、また、判定手段２３によって良否判定された結果を記憶させる。ここで、良否判定された結果を記憶させる場合、図４に示すように、不良と判定された箇所の座標のほか、その不良原因、その部分の拡大画像をも記憶させておく。なお、ここでは不良箇所の拡大画像を記憶させるようにしているが、先の画像取得手段２１で取得された画像から事後的にその不良箇所の画像を切り出すようにしてもよい。
【００１４】
判定手段２３は、画像取得手段２１によって取得された画像に基づく情報と、あらかじめ記憶手段２２に記憶されていた基準データとを比較することによって検査対象物のプリント基板５の良否を判定する。この判定方法については、種々の方法を用いることができ、例えば、検査対象物を矩形領域に細かく分割して平均輝度を算出し、この矩形領域に対応する平均輝度と比較することによってその領域の良否を判定する方法や、あるいは、画素毎に良否を判定を行う方法などを用いることができる。この画素毎に良否を判定する方法については、例えば、本出願人が提案する日本国特許公開公報第２００６−１７０８９０号に示されるように、検査対象物のある座標位置の画素の輝度を読み出すとともに、基準画像のその座標位置から所定距離内にその輝度から許容輝度幅内の輝度の画素が存在するかを判断し、そのような輝度の画素が存在している場合は、検査対象物のその画素を良画素と判定する方法などを用いる。もちろん、これ以外の方法によってプリント基板５の良否を判定してもよく、不良箇所の座標位置を特定して記憶手段２２に記憶させるようにしておく。
【００１５】
そして、このように不良と判定されたプリント基板５については、分別手段によって、不良と判定されたプリント基板５と良品と判定されたプリント基板５とに分けて回収部２７に回収される。
【００１６】
一方、目視検査装置３は、この自動検査装置２と関連して設けられる。ここで、「関連して設けられる」とは、目視検査装置３と一つの筐体内に一体的に設けられる場合の他、ネットワークなどの通信回線網を通じて設けられる場合や、自動検査装置２の記憶手段２２に記憶された不良情報（不良箇所の座標画像など）を記憶媒体に記憶させて、その記憶媒体から読み取るようにする場合も含むものである。
【００１７】
検査結果読取手段３１は、このように自動検査装置２の記憶手段２２からプリント基板５の不良箇所の座標や画像などを読み取るようにする。ここで前述のように目視検査装置３と一体的に設ける場合は、その自動検査装置２の記憶手段２２から不良箇所の座標と画像を読み出し、また、ネットワークなどを介して接続されている場合は、不良箇所の座標と画像を読み出すコマンドを送出して、記憶手段２２から不良箇所の座標と画像を読み出す。また、ＣＤやＵＳＢメモリーなどを介して不良箇所の座標や画像を読み出す場合は、それらの記憶媒体を自動検査装置２に取り入れ（あるいはＵＳＢメモリーを接続し）、不良箇所の座標や画像を読み出すようにする。
【００１８】
不良画像表示手段３２は、この検査結果読取手段３１によって読み取られた不良箇所の座標や画像をディスプレイ４に表示させる。ここで検査結果の画像を表示させる場合は、例えば、図３に示すように、ディスプレイ４の左側にプリント基板の全体の画像領域４２に表示するとともに、右側に検査の結果不良と判定された箇所の矩形状の画像を不良画像領域４４に複数枚表示させ、これによって作業効率を向上させるようにする。このとき、その画像内に、不良と判断された座標を丸印などのマーキング４５を付けて表示させるようにしておくとともに、その不良画像の表示されたディスプレイ４上の各矩形状の領域（x0,y0）〜(x1,y1)を抽出しておく。
【００１９】
また、この検査対象物の画像の隣に、その検査対象物の矩形状の画像に対応した位置の基準となる基準画像を基準画像領域４３に表示させる。このときも同様に、その基準画像を表示させたディスプレイ４上の各矩形状の領域（x'0,y'0）〜(x'1,y'1)を抽出しておく。
【００２０】
そして、このような構成において、本実施の形態では、特徴的に、検査者の視線Ｇの位置を特定できるようにした視線位置特定手段３３を設けている。
【００２１】
この視線位置特定手段３３は、ディスプレイ４上における検査者の視線Ｇの位置を特定できるようにしたものであって、現在各種研究されている視線入力装置を用いる。この検査者の視線Ｇの位置を特定する方法としては、例えば、頭部に装着するヘッドマウントディスプレイを用いて検査者の視線の位置を特定する方法（例えば、特開平１１−１８４６２２号公報など）や、机上のディスプレイ前に設置されたカメラによって検査者の顔や目の画像を取得し、検査者の瞳孔や顔の向きなどからディスプレイ内に向けられた視線の座標位置を特定する方法（特開２００４−１６７１５２号公報など）などを用いることができるが、ここでは後者のように、ディスプレイ４前に設置されたカメラ４１によって検査者の視線の位置を特定する方法を用いるものとする。そして、この視線位置特定手段３３から、ディスプレイ４上における検査者の視線の座標位置(x,y)を出力する。
【００２２】
目視結果受付手段３４は、まず、不良画像を表示させる領域４４（x0,y0）〜(x1,y1)を検出し、その領域４４内に検査者の視線Ｇの座標位置が存在するか否かを判定する。このとき、検査者に確実に検査させるには、あらかじめ所定の時間を決めておき、その時間以上検査者の視線Ｇがその不良画像領域４４内に位置している場合に「視認している」と判定する。ここで、「所定の時間」については、その不良画像領域４４内の不良箇所の数に応じて、例えば、不良箇所1個につき0.5秒以上（n個の場合は0.5×n秒以上）というように決めておくこともできる。そして、不良画像領域４４に視線Ｇが位置していることを条件として、検査者によるその不良箇所の目視検査結果を受け付けるようにする。すなわち、検査者がその不良画像領域４４を視認していない場合には、目視検査結果の入力を受け付けないようにする。この目視検査結果の入力を受け付ける場合、「ＯＫ」「ＮＧ」を入力するためのキーをキーボードに割り当てておき、不良箇所における目視検査の結果を受け付けて記憶させる。なお、ここでは、不良画像領域４４に視線Ｇが位置した場合に、その領域内における不良箇所の目視検査結果を受け付けるようにしているが、高精度に視線の位置を特定できる場合は、その不良箇所の所定半径内に視線Ｇが位置したことを条件に、良否検査の結果を受け付けるようにしてもよい。
【００２３】
目視検査の結果を記憶させる場合、前述のように自動検査装置２と一体的に設けられている場合は、記憶手段２２にその目視検査の結果を上書きし、あるいは、インターネットなどを通じて接続されている場合は、書き替えコマンドとその検査結果を送信することで自動検査装置２の記憶手段２２の情報を書き替える。また、記憶媒体を用いて自動検査装置２の情報を読み取った場合は、その記憶媒体に目視検査の結果を書き込むようにする。また、ここでは自動検査装置２の記憶手段２２などに目視検査の結果を記憶されるようにしているが、目視検査装置３に別途新たな目視結果記憶手段３５を設けておき、そこに記憶させるようにしてもよい。なお、本発明との関係において、これらの各種記憶手段（２２、３５）が本発明の目視結果記憶手段３５に相当する。
【００２４】
次に、このように構成された目視検査装置３における目視検査のフローチャートを図５を用いて説明する。
【００２５】
まず、プリント基板５の形成状態を検査する場合、自動検査装置２にセットし、一枚ずつピックアップして搬送させながらそのプリント基板５の画像を取得する（ステップＳ１）。
【００２６】
そして、その取得された画像に基づいて自動検査装置２でパッドやパターンなどの形成状態を自動で判断し（ステップＳ２）、不良と判断された箇所については、その箇所の座標や画像などを記憶手段２２に記憶させ（ステップＳ３）、不良品用の回収部２７に回収する（ステップＳ４）。
【００２７】
次に、このように自動検査装置２で検査された結果に基づいて、不良箇所を目視検査する場合、自動検査装置２の記憶手段２２から不良情報を読み出し（ステップＴ１）、その不良箇所を含む小さな矩形領域の拡大画像を不良画像領域４４に表示させる（ステップＴ２）。このとき、図３に示すように、その不良画像に対応させて基準画像を表示させるとともに、プリント基板全体のどの部分をチェックしているのかが分かるように、検査対象となるプリント基板５の全体画像を表示させるようにする。
【００２８】
そして、このようにディスプレイ４に全体画像や基準画像、不良画像を表示させた状態で、視線位置特定手段３３を起動させ、ディスプレイ４の前に座っている検査者の視線Ｇの位置を特定する（ステップＴ３）。この視線Ｇの位置を特定する場合、視線位置特定手段３３から視線Ｇの位置の座標をコンピューターに出力し、その視線Ｇの位置をディスプレイ４上における座標位置に変換して、ディスプレイ４上における視線Ｇの位置を特定できるようにする。
【００２９】
そして、検査者の視線Ｇがディスプレイ４上における特定の矩形状の不良画像領域４４に位置した場合（ステップＴ４）、その領域の不良画像を「視認した」と判断して目視検査による良否の検査結果を受け付けるようにする（ステップＴ５）。この良否の検査結果を受け付ける場合は、目視結果記憶手段３５に記憶させるが、自動検査装置２の記憶手段２２に記憶されている不良情報を上書きするか、あるいは、目視検査装置３に独自に設けられた目視結果記憶手段３５に書き込むようにする（ステップＴ６）。そして、そのディスプレイ４に表示されたすべての不良画像について目視検査結果を書き込んだ後、次の不良画像を表示させるようにする。
【００３０】
なお、ここでは、不良画像領域４４に視線Ｇが位置した場合に「視認した」と判断して目視検査結果を入力できるようにした場合について説明したが、図６のフローチャートに示すような方法で目視検査結果を入力できるようにする。なお、図６では、目視検査装置３における処理のフローチャートのみを説明する。
【００３１】
まず、図５におけるフローチャートと同様に記憶手段２２から不良画像を読み出してディスプレイ４に表示させ、その状態で、視線位置特定手段３３を起動させ、ディスプレイ４前に座っている検査者の視線Ｇの位置を特定する（ステップＵ１〜Ｕ３）。
【００３２】
そして、検査者の視線Ｇがディスプレイ４上における不良画像領域４４と基準画像領域４３の間４６（図３参照）の仮想ラインを視線Ｇが横切ったか否かを判断し（ステップＵ４）、視線Ｇがこれらの画像の間４６を横切った場合、その不良画像を「視認した」と判断して目視検査による良否の判断結果を受け付けるようにする（ステップＵ５）。このとき、不良画像領域４４を視認するとともに、少なくとも１回でも視線Ｇが横切れば「視認した」と判断するようにしてもよく、あるいは、不良画像領域４４を視認するとともに不良箇所の個数に応じた回数だけ視線Ｇが横切ったことを条件に「視認した」と判断するようにしてもよい。そして、視線Ｇが不良画像と基準画像領域４３の間４６を横切ったことを条件に、検査員の目視検査の結果を受け付け、その結果を書き込んで記憶させるようにする（ステップＵ６）。そして、そのディスプレイ４に表示されたすべての不良画像について目視検査結果を書き込んだ後、次の不良画像を表示させるようにする。
【００３３】
このように上記実施の形態によれば、プリント基板５から画像を取得する画像取得手段２１と、当該画像取得手段２１によって取得された画像に基づいてプリント基板５の形成状態の良否を判定する判定手段２３と、当該判定手段２３によって不良と判定されたプリント基板５の画像を記憶する記憶手段２２とを備えてなる自動検査装置２に関連して設けられ、前記不良と判定されたプリント基板５の画像に基づいて当該プリント基板５の良否を検査者に目視で判定させる目視検査装置３において、前記記憶手段２２に記憶された不良と判定されたプリント基板５の画像を読み出し、不良箇所を含む部分画像と基準画像とをディスプレイ４に表示させる不良画像表示手段３２と、当該表示された不良画像を目視検査する検査者のディスプレイ４上の視線Ｇの位置を特定する視線位置特定手段３３と、当該視線位置特定手段３３によって不良画像の領域に視線が位置したことおよび基準画像領域４３と不良画像との間４６の仮想ラインを視線Ｇが横切ることを条件に目視検査の良否結果を受け付けて記憶させる目視結果記憶手段３５（２２）とを設けるようにしたので、不良画像を視認することなく検査結果を入力させることができなくなり、人的な判断ミスを未然に防止することができるようになるとともに、基準画像と対比しながら不良画像を検査したと推測することができるため、より正確に検査していると推測することができるようになる。
【００３４】
なお、本発明は上記実施の形態に限定されることなく種々の態様で実施することができる。
【００３５】
例えば、上記実施の形態では、視線Ｇが不良画像に位置したか否かを判断するようにしているが、図７に示すように、その不良画像の領域に視線Ｇが位置した時間をも記憶させるようにしておくこともできる。このようにすれば、注視した箇所を事後的に判断することができ、視認時間の長い怪しい箇所を再検査させることができるようになる。
【００３６】
また、図６における実施の形態では、二つの画像の間を横切ったことを条件に目視検査の結果を受け付けるようにしているが、この条件にこだわることなく目視検査結果を受け付けられるようにしておき、二つの画像を横切ったか否か、あるいは、二つの画像を横切った回数と、目視検査の結果を目視結果記憶手段３５に記憶させるようにしてもよい。
【００３７】
さらに、上記実施の形態では、プリント基板５の形成状態を検査する場合について説明したが、プリント基板５に限定されることなく液晶基板やその他の検査対象物を自動で検査し、その後、検査員に目視で検査させるような場合にも適用することができる。
【産業上の利用可能性】
【００３８】
本発明は、物品の形成状態を自動検査装置で検査するとともに、そこで不良と判断された検査対象物を目視で検査して検査精度を向上させるような分野に利用することができる。
【符号の説明】
【００３９】
２・・・自動検査装置
２１・・・画像取得手段
２２・・・記憶手段
２３・・・判定手段
３・・・目視検査装置
３１・・・検査結果読取手段
３２・・・不良画像表示手段
３３・・・視線位置特定手段
３４・・・目視結果受付手段
３５・・・目視結果記憶手段
４・・・ディスプレイ
４１・・・カメラ
４２・・・全体画像の表示領域
４３・・・基準画像の表示領域
４４・・・不良画像の表示領域
４５・・・マーク
４６・・・検査画像と基準画像の間（仮想ライン）
５・・・プリント基板
Ｇ・・・視線
【図１】
0006027717.tif 000002
【図２】
0006027717.tif 000003
【図３】
0006027717.tif 000004
【図４】
0006027717.tif 000005
【図５】
0006027717.tif 000006
【図６】
0006027717.tif 000007
【図７】
0006027717.tif 000008