(57)【要約】【課題】ワークの投入ロスに起因するワークの異常を検出する。【解決手段】ＰＣ（６４）は、ワークが正常な姿勢および時間間隔で搬送路に投入された場合に、搬送路上において前記ワークが到達する予定の位置である特定位置を、特定のアングルで撮影した撮影画像を取得する制御部（６４３）と、前記撮影画像の少なくとも一部の対象領域の画像と、前記ワークの特徴的な輪郭形状部分を含む部分画像とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する解析部（６４３Ａ）と、前記類似度に応じて、前記対象領域に前記ワークが含まれているか否かを判定するワーク有無判定部（６４３Ｂ）と、を備える。【選択図】図１
2019133426.tif 000002
【特許請求の範囲】
【請求項１】
ワークが正常な姿勢および時間間隔で搬送路に投入された場合に、搬送路上において前記ワークが到達する予定の位置である特定位置を、特定のアングルで撮影した撮影画像を取得する画像取得部と、
前記撮影画像の少なくとも一部の対象領域の画像と、前記ワークの特徴的な輪郭形状部分を含む部分画像とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する解析部と、
前記類似度に応じて、前記対象領域に前記ワークが含まれているか否かを判定するワーク有無判定部と、を備えることを特徴とする制御装置。
【請求項２】
前記撮影画像は前記搬送路へのワークの投入を契機として撮影され、ワークが正常な姿勢および時間間隔で前記搬送路に投入された場合に、投入されたワークの一部と、該ワークの１つ前に投入されたワークの一部または全部とを含むように撮影された画像であることを特徴とする、請求項１に記載の制御装置。
【請求項３】
前記撮影画像は前記搬送路へのワークの投入を契機として撮影され、ワークが正常な姿勢および時間間隔で前記搬送路に投入された場合に、投入されたワークの一部または全部と、該ワークの１つ後に投入されたワークの一部とを含むように撮影された画像であることを特徴とする、請求項１に記載の制御装置。
【請求項４】
前記ワーク有無判定部が前記撮影画像に前記ワークが含まれていると判定した場合に、前記撮影画像の撮影時刻または取得時刻と、前記画像取得部が該撮影画像の直前に取得した前記撮影画像の撮影時刻または取得時刻との時間間隔を算出する時間間隔算出部と、
前記時間間隔算出部が算出した前記時間間隔が、予め設定された範囲内であるか否かに応じて、前記ワークの投入間隔の正常または異常を判定する間隔異常判定部と、を備えることを特徴とする、請求項１〜３のいずれか１項に記載の制御装置。
【請求項５】
前記撮影画像のファイル名には、該撮影画像の撮影時刻または取得時刻を示す情報が含まれており、
前記撮影画像のファイル名に、前記撮影画像に前記ワークが含まれているか否かを示すワーク有無識別子を付すファイル名変更部を備え、
前記時間間隔算出部は、前記撮影画像のファイル名と、直前に取得した前記撮影画像のファイル名とに基づき前記時間間隔を算出することを特徴とする、請求項４に記載の制御装置。
【請求項６】
前記解析部は、二値化、色の反転、およびエッジ検出を実行した前記対象領域の画像と、前記部分画像とを照合することを特徴とする、請求項１〜５のいずれか１項に記載の制御装置。
【請求項７】
前記解析部は、前記類似度に応じたスコアを算出し、
前記スコアに応じて前記撮影画像におけるワークの姿勢が正常であるか否かを判定するワーク異常判定部を備えることを特徴とする、請求項１〜６のいずれか１項に記載の制御装置。
【請求項８】
前記撮影画像のファイル名に、前記撮影画像におけるワークの姿勢が正常であるか否かを示す姿勢識別子を付すファイル名変更部を備えることを特徴とする、請求項７に記載の制御装置。
【請求項９】
請求項１〜８のいずれか１項に記載の制御装置と、
前記ワークの前記搬送路への投入を検知する検知センサと、
前記検知センサが前記ワークの投入を検知したことを契機として前記撮影画像を撮影するカメラと、を含むことを特徴とする、異常検知システム。
【請求項１０】
ワークが正常な姿勢および時間間隔で搬送路に投入された場合に、搬送路上において前記ワークが到達する予定の位置である特定位置を、特定のアングルで撮影した撮影画像を取得する画像取得ステップと、
前記撮影画像の少なくとも一部の対象領域の画像と、前記ワークの特徴的な輪郭形状部分を含む部分画像とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する解析ステップと、
前記類似度に応じて、前記撮影画像に前記ワークが含まれているか否かを判定するワーク有無判定ステップと、を含むことを特徴とする、制御装置の制御方法。
【請求項１１】
請求項１に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記画像取得部、前記解析部、および前記ワーク有無判定部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影画像に基づいてワークの異常を検出する制御装置等に関する。
【背景技術】
【０００２】
従来、加熱炉等の加熱装置を用いて熱処理工程を実行する生産ラインが種々知られている。加熱炉の加熱温度は容易に変更できないため、熱処理工程では、加熱炉を一定の設定温度で稼働させておき、該加熱炉に一定速度かつ一定間隔でワークを投入していく運用が一般的である。
【０００３】
このような熱処理工程において、何らかの理由によってワークの投入間隔がずれたり、ワークが投入されなくなったりする場合がある。この場合、生産ロスが発生するだけでなく、後続で処理されるワークの品質に悪影響を及ぼす虞がある。この問題は、正常な間隔でワークが投入されることで維持されている加熱炉内の熱バランスが、投入間隔に異常が生じることによって変化するために生じる。
【０００４】
また、熱処理前のワークに人間が接触した場合、または、ワークが搬送中に何らかの突出部等に接触した場合等、何らかのトラブルでワークが通常時と異なる向き、形、または位置で加熱炉に投入されてしまう場合がある。この場合、加熱炉内での各ワークの温度上昇の度合いが変化して、該ワークの品質に悪影響を及ぼす虞がある。この問題は、ワークの向き、形、または位置が変化したことにより、熱風のワークへの当たり方や赤外線放射のワークへの当たり方が変化するために生じる。
【０００５】
このような問題の発生を検知するため、加熱装置に投入されるワークに異常が起きていないか監視する技術が求められている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】実開平４−８２７５６号公報
【特許文献２】特開平１０−２８６７３０号公報
【特許文献３】特開２００１−２２４０１１号公報
【特許文献４】特開平１１−０９８４９１号公報
【特許文献５】特開２００１−０７６２６８号公報
【特許文献６】特開平７−１９２１８６号公報
【特許文献７】特開平７−１６７７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記特許文献１および２には、搬送コンベアで搬送される製品を識別するための技術が開示されている。特許文献１には、搬送される製品に付されたバーコードを読み取ることで、該製品を識別する製品識別装置が開示されている。しかしながら、特許文献１に記載の技術では、バーコードを読み取るだけであるので、製品の姿勢（向き、形、および位置等）は判別できない。そのため、製品が正常な姿勢で搬送されているか否かも判別できない。また、特定位置を製品が正常な時間間隔で通過したか否かも判別できない。
【０００８】
特許文献２には、生産ライン上を流れる、ワークが載ったパレットが到着したことをセンサで検知して、検知時の時刻情報を計測するものである。特許文献２に記載の技術では、ワーク画像の取得はしていないため、ワークの姿勢が正常か否かは判別することができない。
【０００９】
さらに、前記特許文献３〜７には、撮影画像を解析することによって、異常を検知する方法および装置に関する技術が開示されている。これらの特許文献には、機械の異常状態の検知、防犯、火災または煙の検知、ならびにガス漏洩の検知等の自動化に係る技術が開示されている。しかしながら、これらの特許文献に記載の技術でワークの姿勢の異常を検知することは現実的ではない。また、これらの技術ではワークの投入時刻を計測しておらず、時刻情報は画像情報に含めた形の記述に留まっている。したがって、これらの特許文献に記載の技術を用いて、ワークの投入間隔も監視することはできない。以下、特許文献３〜７に記載の技術の課題点について具体的に説明する。
【００１０】
特許文献３には、画像を一定間隔で取得しながら、注目領域を囲む線上を監視し、人や物の横切りによる輝度変化を異常として検知し、通報する防犯監視方法および装置が開示されている。特許文献３に記載の技術では、人や物が侵入したことによる画像変化を検知している。この方法で、所定の対象物がある位置を通過したか否かを検知するのは現実的ではない。なぜならば、この方法で対象物の通過を検知した場合、該対象物が通過する毎に膨大な画像を分析して、所定位置通過画像を抽出する必要があるからである。
【００１１】
特許文献４は、工場生産ラインにてベルトコンベア上を流れてくる製品の画像を取り込み、その画像で検査する方法である。特許文献４に記載の技術では、製品が任意点を通過したことを検知するセンサの信号を受けて、ある一定の間隔で時系列の画像データをCCDカメラで撮像する。そして、撮像画像を画像分析装置に送り、良否判定する。良否判定においてＮＧ（異常）が出るとＮＧ信号が出力され、該信号を受けて、キャッシュに時系列的に記録されている画像フレームのうち、事象発生以前の１０フレームとその後の４０フレームが記憶媒体のメモリに記録される。これにより、異常時の画像を含め５０フレームの画像が記録でき、後に管理者は、原因究明の画像を分析できるという考案である。
【００１２】
しかしながら、特許文献４には画像処理の方法は開示されておらず、製品良否の判定はできるものの、製品自体の有無の識別については示されていない。また、ある特定の位置を通過したというセンサ情報（すなわち、ＮＧ信号）は取得できるが、該センサ情報は異常時のみ出力されるものであるため、正常な製品の通過記録は残らない。
【００１３】
そして、この技術を用いて正常な製品の通過記録も記録しようとすると、製品ごとに、少なくとも複数、実施例では５０フレームと大量の画像が記録されることになり、膨大なメモリ容量が必要になってしまう。従って、特許文献４に記載の技術で所定の対象物がある位置を通過したか否かを検知するのは、現実的ではない。
【００１４】
特許文献５に記載の技術は、画像による工場の火災等の異常を自動監視する装置に関するもので、（入力画像−基準画像）からゆらぎ（変化分）を抽出して、二値化し、画像の重心を求める。そして、重心数が複数の場合は、煙と判定し、煙発生を自動で検知する。煙は濃淡が生じ、複数の塊に領域が分かれるため、重心が複数になることを利用した技術である。
【００１５】
特許文献６に記載の技術は、プラント設備等における、火災、蒸気噴出、黒煙発生などの異常を自動検知し、監視員の負担を軽減しようとする技術である。具体的には、該技術では、以下の処理が行われる。すなわち、ある一定の時間間隔で映像を撮り、モノクロ画像の時間差分の累積画像から対象物の異常を検出する。差分画像の二値化像から抽出したゆらぎ領域からカラー画像のゆらぎ領域を抽出して火災、蒸気、黒煙を判別する。モノクロ画像の明部と差分二値化像の論理積とカラー画像との論理積、また、ひとつ前のモノクロ画像の暗部像と差分二値化像の論理積とひとつ前のカラー画像との論理積を求め、明暗ゆらぎを検出する。
【００１６】
これら特許文献５、および６に記載の技術は、撮影画像に対する計算量が多いという難点がある。またこれらの技術では撮影画像自体も膨大になるためファイルの参照動作が多くなり、処理が複雑なため、処理時間がかかる。また、常時画像処理を行うため、画像処理を行う装置の負荷が高いという難点もある。さらに、これらの技術では、生産ラインを通過した時の各製品の画像を抽出することは難しい。
【００１７】
最後に特許文献７は、搬送路上で、間隔をおいて搬送される個体状対象物を撮像し、その画像処理をもとに外観の良否判定をし、その結果に応じて対象物を振り分ける装置で、何らかの異常で、搬送間隔が良否判定処理前に次の対象物が通過したときの異常処置を適切に行うものである。すなわち、ある一定の間隔で通過する製品を画像で検査して判定する装置において、判定が終了しない時点で後続製品が検査域に入る異常が発生した場合、後続製品を不良、判定途中のものは正規に判定して振り分けを行うことが特徴し、良否判定は取得画像を二値化し、基準データと比較する方法である。この方法においても、解決しようとする画像による識別は困難である。
【００１８】
総括すると、特許文献１〜７に記載の技術では、少なくともワークの投入ロスは現実的に検知不可能である。ここで、投入ロスとは、生産ラインに投入する前のワークを貯めておくアキュムレータからのワークの投入が遅れ、ワーク間隔が通常よりも大きくなる状態を指す。本開示は、前記問題点に鑑みたものであり、ワークの投入ロスに起因するワークの異常を検出することが可能な制御装置等を実現することを目的としている。
【課題を解決するための手段】
【００１９】
前記の課題を解決するために、本発明の一態様に係る制御装置は、ワークが正常な姿勢および時間間隔で搬送路に投入された場合に、搬送路上において前記ワークが到達する予定の位置である特定位置を、特定のアングルで撮影した撮影画像を取得する画像取得部と、前記撮影画像の少なくとも一部の対象領域の画像と、前記ワークの特徴的な輪郭形状部分を含む部分画像とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する解析部と、前記類似度に応じて、前記対象領域に前記ワークが含まれているか否かを判定するワーク有無判定部と、を備える。
【００２０】
前記の構成によれば、カメラの撮影画像から、搬送路に正常にワークが投入されたかを判定することができる。したがって、搬送路において、例えばワークの投入ロス等に起因するワークの異常を検出することができる。
【００２１】
前記制御装置において、前記撮影画像は前記搬送路へのワークの投入を契機として撮影され、ワークが正常な姿勢および時間間隔で前記搬送路に投入された場合に、投入されたワークの一部と、該ワークの１つ前に投入されたワークの一部または全部とを含むように撮影された画像であってもよい。
【００２２】
前記の構成によれば、複数のワークを撮影画像に含めることにより、ワーク同士の距離間隔を画像として記録することができる。
【００２３】
前記制御装置において、前記撮影画像は前記搬送路へのワークの投入を契機として撮影され、ワークが正常な姿勢および時間間隔で前記搬送路に投入された場合に、投入されたワークの一部または全部と、該ワークの１つ後に投入されたワークの一部とを含むように撮影された画像であってもよい。
【００２４】
前記の構成によれば、複数のワークを撮影画像に含めることにより、ワーク同士の距離間隔を画像として記録することができる。
【００２５】
前記制御装置は、前記ワーク有無判定部が前記撮影画像に前記ワークが含まれていると判定した場合に、前記撮影画像の撮影時刻または取得時刻と、前記画像取得部が該撮影画像の直前に取得した前記撮影画像の撮影時刻または取得時刻との時間間隔を算出する時間間隔算出部と、前記時間間隔算出部が算出した前記時間間隔が、予め設定された範囲内であるか否かに応じて、前記ワークの投入間隔の正常または異常を判定する間隔異常判定部と、を備えていてもよい。
【００２６】
前記の構成によれば、あるワークの投入を契機として撮影された撮影画像と、前回の撮影画像、すなわち、前記のあるワークの前のワークの投入を契機として撮影された撮影画像との、撮影の時間間隔を算出することができる。そして、該時間間隔に基づいて、ワークの投入間隔が正常であるかを判定することができる。これにより、ワークの投入ロスが生じた場合の、投入の遅延時間等を正確に特定することができる。
【００２７】
前記制御装置において、前記撮影画像のファイル名には、該撮影画像の撮影時刻または取得時刻を示す情報が含まれており、前記撮影画像のファイル名に、前記撮影画像に前記ワークが含まれているか否かを示すワーク有無識別子を付すファイル名変更部を備え、前記時間間隔算出部は、前記撮影画像のファイル名と、直前に取得した前記撮影画像のファイル名とに基づき前記時間間隔を算出してもよい。
【００２８】
前記の構成によれば、撮影画像のファイルの中身を参照しなくても、ファイル名を参照するだけでワークの有無の判別、および前記時間間隔の算出を行うことができる。したがって、ワークの有無の判別、および前記時間間隔の算出に係る処理負荷を軽減することができる。
【００２９】
前記制御装置において、前記解析部は、二値化、色の反転、およびエッジ検出を実行した前記対象領域の画像と、前記部分画像とを照合してもよい。
【００３０】
前記の構成によれば、搬送路のおかれたライティング環境の影響を極力排して解析部の解析を行うことができる。したがって、解析部は画像解析をより正確に実行することができる。
【００３１】
前記制御装置において、前記解析部は、前記類似度に応じたスコアを算出し、前記スコアに応じて前記撮影画像におけるワークの姿勢が正常であるか否かを判定するワーク異常判定部を備えていてもよい。
【００３２】
前記の構成によれば、投入ロスの検出だけでなく、投入されたワークの姿勢（位置および形状の少なくとも一方）が正常であるか否かを判定することができる。したがって、搬送路におけるワークの異常をより詳しく検出することができる。
【００３３】
前記制御装置は、前記撮影画像のファイル名に前記撮影画像におけるワークの姿勢が正常であるか否かを示す姿勢識別子を付すファイル名変更部を備えていてもよい。
【００３４】
前記の構成によれば、後に撮影画像を収集して分析する際に、撮影画像のファイルの中身を参照しなくても、ワークの姿勢が正常であるか否かを判別することができる。したがって、撮影画像の分析に係る処理負荷を軽減することができる。
【００３５】
前記の課題を解決するために、本発明の一態様に係る異常検知システムは、前記制御装置と、前記ワークの前記搬送路への投入を検知する検知センサと、前記検知センサが前記ワークの投入を検知したことを契機として前記撮影画像を撮影するカメラと、を含む。
【００３６】
前記の課題を解決するために、本発明の一態様に係る制御装置が実行する制御方法は、ワークが正常な姿勢および時間間隔で搬送路に投入された場合に、搬送路上において前記ワークが到達する予定の位置である特定位置を、特定のアングルで撮影した撮影画像を取得する画像取得ステップと、前記撮影画像の少なくとも一部の対象領域の画像と、前記ワークの特徴的な輪郭形状部分を含む部分画像とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する解析ステップと、前記類似度に応じて、前記撮影画像に前記ワークが含まれているか否かを判定するワーク有無判定ステップと、を含む。
【００３７】
前記の課題を解決するために、本発明の一態様に係る制御装置の制御プログラムは、前記制御装置としてコンピュータを機能させるための制御プログラムであって、前記画像取得部、前記解析部、および前記ワーク有無判定部としてコンピュータを機能させる。
【発明の効果】
【００３８】
本発明の一態様によれば、ワークの投入ロスに起因するワークの異常を検出することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態１に係る異常検知システムに含まれる、パーソナルコンピュータの要部構成を示すブロック図である。
【図２】生産ラインの構成の一例を示す図である。
【図３】ワークの構造を示す図である。
【図４】異常検知システムの概要を示す図である。
【図５】ワークと、カメラの撮影領域との関係を示す図である。
【図６】画像解析処理の流れの一例を示す図である。
【図７】画像解析処理で得られる画像および各種スコアの具体例を示す図である。
【図８】画像および各種フィルタを示す図である。
【図９】前記異常検知システムの処理の流れを示すフローチャートである。
【図１０】画像解析処理を実行した場合の、カメラの各撮影画像の平均値、標準偏差、および歪度のスコア分布を示している。
【発明を実施するための形態】
【００４０】
本発明に係る異常検知システムについて、詳細に説明する。本発明に係る異常検知システムは、生産ラインの特定位置（コンベアに載ってワークが搬送される搬送路上の、ある位置）をワークが通過したことを検知すると、該ワークが正常な姿勢および時間間隔で投入された場合の、前記ワークが到達する予定の位置である特定位置を撮影する。そして、異常検知システムは、撮影画像から、撮影時の前記特定位置におけるワークの有無、ならびに、ワークが有る場合は該ワークの姿勢（向き、形、および位置）の正常または異常を判定する。また、異常検知システムは、順次投入されるワークを上述のように撮影し、ある撮影画像の撮影時刻（またはパーソナルコンピュータ（ＰＣ、後述）での撮影画像の取得時刻）と、前回撮影した撮影画像の撮影時刻または取得時刻とから、ワークが投入された時間間隔を算出する。そして、該時間間隔が正常か異常かを判定する。
【００４１】
以下の説明では、異常検知システムを、連続ろう付炉を用いたアルミニウム製部品のろう付け工程を実行する生産ラインで実現した例について説明する。しかしながら、異常検知システムの適用例はこれに限定されない。異常検知システムは、ベルトコンベア等でワークを自動的に投入する生産ラインに適用できる。
【００４２】
〔実施形態１〕
≪生産ラインの概要≫
以下、図１〜１０を参照して、異常検知システムの具体的な実施形態の一例を説明する。まず初めに、本実施形態に係る異常検知システム５００の適用対象となる生産ラインの概要を説明する。図２は、生産ライン１００の構成の一例を示す図である。生産ライン１００は、自動ワーク投入装置５と、ろう付処理部６と、出側アキュムレータ７とから成る。ワーク４は、図中の左方向から右方向に順次搬送される。
【００４３】
なお、以降の説明では、図中のワーク４の右端、すなわち生産ライン１００の流れる方向の一端を「ワーク４の先端部」と称する。また、図中のワーク４の左側、すなわち生産ライン１００の流れと反対方向の一旦を「ワーク４の尾端部」と称する。
【００４４】
自動ワーク投入装置５は、ワーク４の投入間隔を調節して、該ワーク４をろう付処理部６に送り出すための装置群および搬送路である。自動ワーク投入装置５は、入側アキュムレータ１１と、ストッパゲート１２と、搬送ベルト１３とを含む。生産ライン１００に投入されたワーク４は、入側アキュムレータ１１上を搬送される。入側アキュムレータ１１の終端にストッパゲート１２が設けられている。ワーク４はストッパゲート１２でせき止められて蓄積される。ストッパゲート１２が下降してゲートが開かれると、ワーク４は入側アキュムレータ１１から搬送ベルト１３へと搬送される。搬送ベルト１３は、ワーク４の投入間隔を調節して、ろう付処理部６の入側テーブル部１４に送る。なお、「ワーク４の投入間隔」とは、ワーク４をろう付炉２０に投入する時間の間隔を示す。ワーク４の投入間隔の調整については、後で詳述する。
【００４５】
ろう付処理部６は、ワーク４にろう付処理を施すための装置群および搬送路である。ろう付処理部６は、入側テーブル部１４と、ろう付炉２０と、出側テーブル１７とを含む。詳細は後述するが、入側テーブル部１４には、入側テーブル端１６におけるワーク４の存在を検知する検知センサ６１が設けられている。搬送ベルト１３から送られたワーク４は、ろう付処理部６の入側テーブル部１４において網目状の搬送金属ベルト１５の上に一定間隔で載せられて、ろう付炉２０へと搬送される。
【００４６】
ろう付炉２０は、予熱ゾーン２１と、加熱ゾーン２２と、冷却ゾーン２３とから成る。ろう付炉２０に搬送されたワーク４は、予熱ゾーン２１で昇温され、加熱ゾーン２２で所定の温度（例えば、６００度以上）に到達する。これにより、ワーク４に含まれる被ろう付部品がろう付される。その後、ワーク４は冷却ゾーン２３に搬送されて室温近くまで冷却される。冷却されたワーク４は、出側テーブル１７に搬出される。
【００４７】
ろう付処理が施された後のワーク４は、出側テーブル１７から出側アキュムレータ７へと搬送され、出側アキュムレータ７において蓄積される。出側アキュムレータ７に蓄積されたワーク４は、作業者によって取り出されて別の場所で処理される。例えば、ワーク４は、生産ライン１００とは別の生産ラインに移されて、冶具の取り外し、後処理、および検査などの処理を受ける。
【００４８】
（ワークの投入間隔の調整）
図２に示す生産ライン１００におけるワーク４の投入間隔の調節は、例えば以下のように行われる。入側アキュムレータ１１に蓄積されたワーク４は、上述のようにストッパゲート１２でせき止められている。この状態で、ストッパゲート１２（および搬送ベルト１３）をすでに通過して搬送金属ベルト１５に載ったワーク４（ｎ番目のワーク４とする）の尾端部が入側テーブル端１６を通過完了すると、検知センサ６１の検知出力はオフになる。検知センサ６１の検知出力がオフになると、ストッパゲート１２が下降してゲートが開く。これにより、ｎ＋１番目のワーク４が、搬送ベルト１３上に送られる。
【００４９】
搬送ベルト１３に送られたｎ＋１番目のワーク４は、ｎ番目のワーク４との間隔が所定の距離になる位置まで搬送される。ｎ＋１番目のワーク４が該位置まで搬送されると、搬送ベルト１３の速度は、ろう付炉２０の搬送金属ベルト１５と同じ速度に切り替わる。ｎ＋１番目のワーク４は、該速度で１つ前のｎ番目のワーク４との距離間隔を所定の間隔に維持されながら、入側テーブル部１４に搬送される。
【００５０】
検知センサ６１は、ｎ＋１番目のワーク４の先端部が入側テーブル端１６に到達すると、ワーク４を検知する。以降、ｎ＋１番目のワーク４の尾端部が入側テーブル端１６を通過完了するまでの間、検知センサ６１の検知出力はオン状態になる。
【００５１】
ｎ＋１番目のワーク４の尾端部が入側テーブル端１６を通過完了すると、検知センサ６１の検知出力は再びオフになり、ストッパゲート１２が開く。そして、ｎ＋２番目のワーク４がストッパゲート１２および搬送ベルト１３を通過して、入側テーブル部１４へと搬送される。生産ライン１００はこのように、検知センサ６１の検知出力に応じてストッパゲート１２の開閉（上昇および下降）を繰り返すことで、一定の距離間隔でのワーク４の投入を実現する。
【００５２】
なお、ワーク４の投入間隔の調整方法は上述の例に限定されない。例えば、６軸等のロボットで、ストックテーブルからワーク４を取って、入側テーブル部１４の搬送金属ベルト１５に載せてもよい。また、ストックテーブルからワーク４を取って、人の手で入側テーブル部１４の搬送金属ベルト１５に載せてもよい。
【００５３】
また、ワーク４は所定のベース板に載せられて搬送されてもよい。この場合は、ベース板もワーク４の一部として取り扱う。特に、四角形のベース板は、ワーク４の向き、形、および位置、ならびにワーク４の距離間隔を整えるのに適しており好適である。また、検知センサ６１で、ワーク４の尾端部としてベース板の尾端を検知するようにしてもよい。検知センサ６１が検知し易い形状のベース版を用いることで、検知センサ６１の感度および検知精度を上げることができる。
【００５４】
≪ワークの構造≫
次に、ワーク４の代表的な構造を説明する。図３は、ワーク４の構造を示す図である。図３の（ａ）は、ワーク４の各部品の立体構造および配置を示す。一方、図３の（ｂ）は、は治具を締めた状態のワーク４（すなわち、生産ライン１００上を流れている際のワーク４）の外観を示す。なお、図３の（ａ）および（ｂ）に示す治具はあくまで一例である。治具の材質、質量、ばねの強さ、および構造は、被ろう付部品の種類に応じて適宜選択される。治具としては、熱容量が小さく、熱伝導が良く、かつ、被ろう付部品を均等に加熱できるようなものが望ましい。
【００５５】
図３の（ａ）および（ｂ）に示す通り、ワーク４は、２つの被ろう付部品を、治具ベース上板および治具ベース下板で挟み込み、被ろう付部品の周囲四隅に配置された治具固定ボルトおよび治具固定ナットを締めることで固定したものである。治具の大きさは特に限定しないが、例えば２５０ｍｍ角×高さ１００ｍｍ程度であってもよい。なお、治具固定ボルトの歪み等を防止するために、バーまたはばね等（図示せず）を用いて治具固定ボルトを固定してもよい。図３の（ｂ）に示すように治具で留められた被ろう付部品は、治具とともにろう付炉２０で加熱および冷却される。
【００５６】
≪監視システムの概要≫
次に、図４を参照して、ワーク４を撮像および解析するための異常検知システム５００について説明する。図４は、異常検知システム５００の概要を示す図である。異常検知システム５００は、検知センサ６１と、接点入力検知器６２と、カメラ６３と、ＰＣ（制御装置）６４と、表示装置６５と、ＮＴＰ（Network Time Protocol）サーバ６６とを含んでいる。検知センサ６１と、接点入力検知器６２とは接点信号線で接続されている。また、検知センサ６１以外の各装置はとはそれぞれ図示のように、ＬＡＮケーブルおよびスイッチングハブを介して相互接続されている。
【００５７】
表示装置６５は、ＰＣ６４での画像解析処理（後述）の結果を表示するための装置である。表示装置６５はＰＣ６４と一体に構成されていてもよい。また、表示装置６５は、生産ライン１００に異常が生じた場合に該異常の警告を表示画面に掲示する警告装置でもある。さらに、表示装置６５はスピーカを備えていてもよい。スピーカを備えている場合、表示装置６５は、生産ライン１００に異常が生じた場合に該異常の警告を音声で出力してもよい。
【００５８】
ＮＴＰサーバ６６は、ＰＣ６４に時刻情報を送信することによってＰＣ６４の時刻合わせを行う装置である。ＮＴＰサーバ６６は、ＰＣ６４から時刻合わせのリクエストを受けると、ＰＣ６４の時刻合わせを行う。このリクエストは、定期的に発行される。なお、該時刻合わせの間隔（すなわち、ＮＴＰサーバ６６とＰＣ６４の時刻動機の間隔）は数時間または半日程度であることが望ましいが、例えば１週間間隔であってもよい。
【００５９】
このように、ＮＴＰサーバ６６がＰＣ６４の時刻を正確な時刻に時刻合わせしておくことで、他の生産管理情報との時刻（すなわち、各種処理のタイミング）の照合を正確に行うことができる。また、ワーク４の異常を統計的に分析する上でも、ＰＣ６４の時刻が正確な時刻であることが要求される。
【００６０】
検知センサ６１は図２の説明で示したように、ワーク４の有無を検知するセンサである。検知センサ６１は、検知出力（オン信号またはオフ信号）を接点入力検知器６２に送信する。接点入力検知器６２は検知センサ６１の検知出力の変化を監視する装置である。上述のように、ワーク４の尾端部（搬送方向の下流端）が入側テーブル端１６を通過完了すると、検知センサ６１の検知出力は、オンからオフへと変化する。接点入力検知器６２はこのオンからオフへの出力変化を検知すると、カメラ６３にソケット通信で信号を送る。
【００６１】
カメラ６３は、入側テーブル部１４を通過するワーク４を撮影する装置である。例えば、カメラ６３としてＣＭＯＳ(complementary metal-oxide semiconductor)カメラ等を好適に用いることができる。カメラ６３は、接点入力検知器６２からソケット通信で信号を受信すると、入側テーブル部１４の特定の位置を特定のアングルで撮影する。なお、カメラ６３は入側テーブル部１４のみではなく、出側テーブル１７を撮影してもよい。すなわち、生産ライン１００における処理前のワーク４ではなく、処理後のワーク４を撮影してもよい。
【００６２】
なお、カメラ６３は、センサ６１の配置位置と、カメラ６３の配置位置および角度に応じて信号を受信してから撮影するまでに一定の遅延時間を設けてもよい。これは、カメラ６３にタイマーリレー等を設けることにより実現できる。もしくは、接点入力検知器６２からの信号出力を遅延させことにより実現してもよい。
【００６３】
カメラ６３は、撮影画像のファイルをＰＣ６４に送信する。このとき、カメラ６３は自装置の内部時計に基づいて撮影時刻を計り、該撮影時刻を撮影画像のファイル名に付した状態で、該ファイルをＰＣ６４に送信する。例えば、カメラ６３はファイル名の先頭から順に「年」「月」「日」「時」「分」「秒」を示す数字を付して、ＰＣ６４に送る。
【００６４】
なお撮影時刻の計測処理と、該撮影時刻を撮影画像のファイル名に付与する処理とは、カメラ６３ではなくＰＣ６４で行ってもよい。この場合、カメラ６３は撮影画像に区別可能なファイル名を適宜付して、該ファイルをＰＣ６４に送信する。ＰＣは該ファイルを受信すると、ＰＣ６４の内部時計に基づいて、上述のように撮像画像のファイル名に撮影時刻を付してもよい。
【００６５】
（カメラの撮影アングル）
ここで、図５を参照して、カメラ６３の撮影アングルについて詳細に説明する。図５の（ａ）は、入側テーブル部１４を通過するワーク４と、カメラ６３の撮影領域との関係を示す図である。図５の（ｂ）は、カメラ６３が図５の（ａ）に示す領域Ａ１を撮影した場合の画像を示す。図５の（ｃ）は、カメラ６３が図５の（ａ）に示す領域Ａ２を撮影した場合の画像を示す。図５の（ａ）〜（ｃ）における破線矢印は、ワーク４の進行方向を示す。なお、以下の説明では、検知センサ６１の検知出力の変化を起こしたワーク４（すなわち、入側テーブル端１６をちょうど通過完了したワーク４）をｎ番目のワークと仮定し、その直前のワーク４をｎ−１番目のワーク４、直後のワーク４をｎ＋１番目のワーク４とする。
【００６６】
カメラ６３は、ワーク４が正常に搬送された場合に、ｎ番目のワーク４と、ｎ−１番目のワーク４およびｎ＋１番目のワーク４のいずれか一方とが含まれるような撮影アングルで、入側テーブル部１４の特定の位置を撮影する。このように、複数のワーク４が含まれるように撮影することで、ワーク４自体だけではなく、ワーク４と直前または直後のワーク４との距離間隔も記録することができる。さらに言えば、各ワーク４は入側テーブル部１４を一定速度で搬送されているため、ワーク４の距離間隔は、入側テーブル部１４の特定位置におけるワーク４の通過時刻の間隔と捉えることもできる。
【００６７】
（１：領域Ａ１を撮影する場合）
例えば、カメラ６３は図５の（ａ）の領域Ａ１を撮影する。すなわち、カメラ６３は図５の（ｂ）に示すように、ｎ−１番目のワーク４を主の撮影対象とし（望ましくは、ｎ−１番目のワーク４の全部が写り）、かつｎ番目のワーク４の一部（先端部）が写るようなアングルで、入側テーブル部１４の特定位置を撮影する。これにより、ｎ番目のワーク４が入側テーブル部１４の搬送金属ベルト１５上を搬送されたという確実な記録とともに、ｎ番目のワーク４とｎ−１番目のワーク４との、前記特定位置での距離間隔（すなわち、ｎ−１番目のワーク４とｎ番目のワーク４との投入時刻の間隔）を記録することができる。
【００６８】
ところで、ワーク４の投入間隔に異常が起きた場合、カメラ６３が定点で撮影した画像に変化が生じる。例えば、入側アキュムレータ１１において一時的にワーク４が枯渇し、ｎ番目のワーク４の入側テーブル部１４への投入が通常よりも遅れたとする。この場合、ｎ−１番目のワーク４を投入してから、ｎ番目のワーク４を投入するまでの時間間隔は、通常よりも大きくなる。したがって、カメラ６３の撮影画像に含まれる２つのワーク４の距離間隔が広くなる。もしくは、ｎ−１番目のワーク４はすでに撮影領域Ａ１を通過済であるため撮影画像に写らず、ｎ番目のワーク４の一部のみが写った撮影画像が得られる。
【００６９】
この場合、ｎ−１番目のワーク４が主として写った撮影画像が得られないが、その直前にカメラ６３が撮影した画像、すなわち、ｎ−２番目のワーク４を主とした撮影画像には、ｎ−１番目のワーク４が写っている。したがって、ｎ−１番目のワーク４が入側テーブル部１４の特定位置を通過したことは確認できる。実際の生産ライン１００では、このような異常が起こる頻度は多くないと想定される。そのため、少なくともｎ−１番目のワーク４が通過していること、およびその後のｎ番目のワーク４に異常があったことが確認さえできれば、生産ライン１００の改善に用いる情報としては十分に有効である。
【００７０】
（２：領域Ａ２を撮影する場合）
また例えば、カメラ６３は図５の（ａ）の領域Ａ２を撮影してもよい。すなわち、カメラ６３は図５の（ｃ）に示すように、ｎ番目のワーク４を主の撮影対象とし（望ましくは、ｎ番目のワーク４の全部が写り）、かつｎ＋１番目のワーク４の一部（先端部）が写るようなアングルで、入側テーブル部１４の特定位置を撮影してもよい。これにより、ｎ番目のワーク４が入側テーブル部１４の搬送金属ベルト１５上を搬送されたという確実な記録とともに、ｎ番目のワーク４とｎ＋１番目のワーク４との、前記特定位置での距離間隔（すなわち、ｎ番目のワーク４とｎ＋１番目のワーク４との投入時刻の間隔）を記録することができる。この場合、n番目のワーク４の尾端部を検知後、一定の時間間隔（ｎ＋１番目のワーク４がフレームインする程度の時間間隔）まで撮影を遅延させる必要がある。そのため、この撮影アングルは、例えば搬送金属ベルト１５の搬送速度やワーク間隔設定の変更が少ない生産ライン１００に有効である。この場合、ｎ番目のワーク４は、入側テーブル端１６を遅延時間分移動した位置で撮影される。そのため、ワーク投入遅延があった場合、フレーム下手（図５の（ａ）では左、（ｃ）では上方向）に次の（ｎ＋１）番目ワークの一部が写らないため、画像処理で異常判別が可能である。このため、リアルタイムに異常を検知して警報を出力することが可能であり、近傍で作業者が入れば、場合によるが、異常を即座に是正できるという利点がある。
【００７１】
領域Ａ１およびＡ２のいずれを撮影する場合においても、異常検知システム５００が警報装置を含む場合、検知センサ６１の検知出力がオンにならない状態が所定時間以上続いた場合、接点入力検知器６２がこれを検知して警報装置を作動させてもよい。もしくは、接点入力検知器６２からカメラ６３に、所定時間内に信号出力が無い場合、カメラ６３が警報装置を作動させてもよい。もしくは、カメラ６３からの撮影画像を所定時間以上得られない場合、ＰＣ６４が警報装置を作動させてもよい。このようにワーク４の検出タイミングに異常が生じた際に警報を出力させることで、生産ライン１００における異常を、該ラインの管理者にリアルタイムに通知することができる。
【００７２】
さらに、警報装置を作動させるタイミングで、カメラ６３に画像撮影を実行させてもよい。これにより、例えばｎ番目のワーク４が投入されていない場合に、先に投入されたｎ−１番目のワークを主とした撮影画像を撮影しておくことができる。このとき撮影される画像には、当然ながらｎ番目のワーク４は含まれておらず、ｎ−１番目のワーク４のみが含まれることとなる。
【００７３】
≪ＰＣの要部構成≫
図１は、ＰＣ６４の要部構成を示すブロック図である。ＰＣ６４は、通信部６４１と、時刻取得部６４２と、制御部（画像取得部）６４３と、記憶部６４４とを含む。
【００７４】
通信部６４１は、ＰＣ６４と他の装置との通信を行うものである。記憶部６４４は、ＰＣ６４が取得した撮影画像のファイルを格納する。また、記憶部６４４は、制御部６４３の各部が実行する画像解析処理または判定処理に用いる各種式、設定値、および閾値の値を記憶している。
【００７５】
時刻取得部６４２は、撮影画像のファイル名から取得時刻を読み取る。時刻取得部６４２は制御部６４３に含まれていても良い。なお、カメラ６３が撮影時刻を計時して、該撮影時刻を撮影画像のファイル名に付すのではなく、ＰＣ６４で撮影画像のファイル名に撮影時刻を付す場合も考えられる。この場合は、撮影画像のファイルにはＰＣ６４の内部時計（図示せず）に基づいた時刻が付与される。時刻取得部６４２は、ＰＣ６４において撮影画像のファイル名に撮影時刻が付与されてから、該撮影時刻を読み取る。
【００７６】
また、ＰＣ６４の内部時計は、通信部６４１を介しＮＴＰサーバ６６から定期的に時刻情報を取得して時刻合わせを行うことが望ましい。生産ライン１００におけるワーク４の投入間隔の誤差は、数秒以内でも問題となることがある。時刻合わせを行うことにより、時刻取得部６４２は撮影画像の取得時刻を正確に計時することができる。したがって、ワーク異常が起こった時刻を正確に記録することができる。
【００７７】
制御部６４３は、ＰＣ６４を統括的に制御するものである。制御部６４３は、解析部６４３Ａと、ワーク有無判定部６４３Ｂと、ワーク異常判定部６４３Ｃと、時間間隔算出部６４３Ｄと、間隔異常判定部６４３Ｅとを含む。
【００７８】
また、制御部６４３は、ワーク有無判定部６４３Ｂでワーク無と判定されるか、ワーク異常判定部６４３Ｃおよび間隔異常判定部６４３Ｅのいずれかで異常と判定された場合に、通信部６４１を介して表示装置６５に警告を通知してもよい。これにより、ＰＣ６４は、ワークの投入ロス（ワーク無またはワークの投入間隔の異常）、およびワークの姿勢異常を、表示装置６５を介してリアルタイムで警告することができる。
【００７９】
≪画像解析アルゴリズム≫
解析部６４３Ａは、ＰＣ６４がカメラ６３から取得した画像に対し、画像解析処理を行うものである。図６は、画像解析処理の流れの一例を示している。
【００８０】
解析部６４３Ａはまず、撮影画像のうち、画像解析の対象とする領域（対象領域）を決定する。対象領域は、撮影画像のうち、生産ライン１００とワーク４以外の余計な人および物（例えば、ワークおよび炉内調整薬剤以外の侵入物）が含まれていない領域であることが望ましい。
【００８１】
解析部６４３Ａは決定した対象領域（の画像）に対し、二値化処理（Ｓ２０１）、反転処理（Ｓ２０２）、およびエッジ検出処理（Ｓ２０３）をこの順で行う。これにより、対象領域の画像は二値化の後、色を反転（白の“１”＝255bitを黒の“０”＝0bitに変換）されて、さらにエッジが強調された単純な画像となる。すなわち、解析部６４３Ａは、検出されたエッジが“１”となるよう画像処理を行う。
【００８２】
生産ライン１００の現場では、ライティング環境が時間や季節、生産ライン１００の配置位置（屋外の日照の影響を受けるか否か）等によって変化する。このライティング環境による変化を考慮するには複雑な設備が必要であるという問題があった。本実施形態に係る解析部６４３Ａは、対象領域に二値化、反転、およびエッジ検出処理を施すことで、対象領域の画像に対する工場のライティング環境の影響を極力排することができる。
【００８３】
解析部６４３Ａはさらに、マスク処理（Ｓ２０４）を実行する。マスク処理とは、対象領域の画像と、ワーク４の特徴的な輪郭形状部分を含む部分画像（基準マスク画像）とを照合することで、前記対象領域の画像と、前記部分画像との類似度を解析する処理である。
【００８４】
本実施形態に係るワーク４のように、四角板や角材等直線部分を多く含む材料で組み立てられたワーク４の場合、ワーク４が正常な間隔および姿勢で投入されていれば、撮影画像の対象領域には、該直線部分が多く見られることになる。したがって基準マスク画像として、例えばワーク４において直線のエッジが最も明確に検出される部分を含み、かつ任意の幅を持った領域（マスク領域）の画像を予め準備し、記憶部６４４に記憶させておくことが望ましい。なお、ここで言う「任意の幅」とは、搬送時のゆれや撮像タイミングの微量のずれによる、ワーク４の微量の位置ずれ（画素レベルの誤差）を許容するためのバッファである。
【００８５】
基準マスク画像は、対象領域の画像と同じかそれ以上の大きさの、白黒二値の画像である。基準マスク画像のマスク領域は白（すなわち「１」＝２５５ｂｉｔ）、マスク領域以外の領域は黒（＝「０」＝０ｂｉｔ）で定義されている。解析部６４３Ａはエッジ検出した対象領域の画像（すなわち、各画素が白黒二値何れかを示す画像）と、基準マスク画像とを掛け合わせる。これにより、エッジ検出した対象領域の画像と、基準マスク画像との両方で白になっている画素のみが抽出され、他の画素は黒くなる。
【００８６】
解析部６４３ＡはこれらＳ２０１〜２０４の画像解析処理を行った対象領域の画像を用いて、各種スコアを算出する（Ｓ２０５）。例えば、解析部６４３Ａは、対象領域の画像の平均輝度（以降、平均値と称する）、輝度標準偏差（以降、標準偏差と称する）および歪度を算出する。ここで、歪度とは、平均値周りのデータの非対称性を表す尺度の値である。平均値をμ、標準偏差をσ、期待値をＥ（）とすると、歪度の値Ｓｋｅｗは下記式（１）で定義することができる。なお、歪度が負の値である場合、データが平均値より低い方に広がっていることを示す。
S＝E(X−μ)３/σ３  ・・・・・・式（１）
≪解析結果の例≫
図７は、解析部６４３Ａによる画像解析処理で得られる画像および各種スコアの具体例を示す図である。図中の「二値化・反転」列は、図６のＳ２０２に示した反転処理を実行した後の撮影画像（の対象領域）を示す。図中の「エッジ検出・マスク」列は、図６のＳ２０４に示したマスク処理を実行した後の撮影画像（の対象領域）を示す。「Ｍｅａｎ」列、は平均値、「Ｓｔｄｅｖ」列は標準偏差、「Ｓｋｅｗ」列は歪度の値を示す。また、「Ｍｅａｎ」列、「Ｓｔｄｅｖ」列、および「Ｓｋｅｗ」列の「二値化」行の値は、比較対象として、同じ撮影画像（の対象領域）に従来の画像解析処理（二値化像での画像処理方法）を施した場合の値を示している。
【００８７】
ワーク４の姿勢（向きおよび形状）が異常である場合、ワーク４の治具は、正常な場合に比べ傾いて写る。例えば、治具の取手部の一部しか対象領域に収まらず、治具の一部分は対象領域外にはみ出してしまう。この場合、図示のように、エッジ検出した場合に検出できる輪郭部が正常な場合に比べて少なくなり、よって平均値のスコアも正常な場合に比べて小さくなる。
【００８８】
また、撮影対象のワーク４（主として撮影されるワーク４）が無い撮影画像であった場合、対象領域をエッジ検出した場合、本来ワークの下に隠れているはずの搬送金属ベルト１５の網の輪郭が抽出される。したがって、エッジ検出した場合に検出できる輪郭部が正常な場合に比べて多くなり、よって平均値のスコアも正常な場合に比べて大きくなる。
【００８９】
また、撮影したのがワーク４ではなく調整剤であった場合、調整剤は紛体が多いため、図示のようにエッジ検出でも輪郭が明確に検出できない。この場合、よって平均値のスコアも正常な場合に比べて小さくなる。
【００９０】
（ワーク有無の判定）
ワーク有無判定部６４３Ｂは、解析部６４３Ａの解析結果に応じて、対象領域にワークが含まれているか否かを判定するものである。ここで、「ワークが含まれている（ワーク有り）」とは、主として撮影する予定のワーク（例えば図５の（ａ）における領域Ａ１を撮影した場合は、ｎ−１番目のワーク４）が所定の割合以上、前記対象領域に含まれていることを示す。一方、「ワークが含まれていない（ワーク無し）」とは、主として撮影する予定のワークが対象領域に全く含まれていないか、前記所定の割合未満でしか含まれていない場合を示す。
【００９１】
また、本実施形態に係る生産ライン１００では、ワーク４の投入間隔に合わせて（すなわち、あるワーク４が投入されるタイミングで）ろう付炉内の雰囲気を調整するための炉内雰囲気調整剤（以下、単に調整剤と称する）が投入されることがある。ワーク有無判定部６４３Ｂは、このように調整剤が投入される生産ライン１００の場合、前記解析結果に応じて、対象領域にワーク４が含まれているのか（ワーク有）、調整剤が含まれているのか、ワーク４も調整剤も含まれていない（ワーク無）のかを判定してもよい。
【００９２】
また、本実施形態に係る生産ライン１００では、生産ラインに搬入されるワーク４のうち、最初に搬入するワーク４（先頭ワーク）として、ダミー用治具で固定された、製品として出荷しないワーク４（ダミーワーク）を搬入してもよい。そして、ワーク有無判定部６４３Ｂは、先頭ワークとしてダミーワークが搬入される生産ライン１００の場合、ワーク有と判定したときに、さらに、対象領域に含まれているワーク４が、ダミーワークであるか否かを判定してもよい。ワーク有無判定部６４３Ｂの判定結果は、ワーク異常判定部６４３Ｃと時間間隔算出部６４３Ｄとに送られる。
【００９３】
具体的には、ワーク有無判定部６４３Ｂは、各種スコアについて、ワーク有（およびダミーワークであるか否か）、調整剤有、ワーク無、それぞれの判定結果を下す領域を予め定めておく。そして、解析部６４３Ａの算出した各種スコアの値がいずれの判定結果の領域に含まれるかに応じて、判定結果を下す。該領域は、判定対象となるワーク４の大きさ、形状、搬入速度等に応じて適宜設定されてよい。例えば、図７に示したようなスコアが得られた場合、Ｍｅａｎ＞５かつＳｋｅｗ＜１０、または、Ｍｅａｎ＞５かつＳｔｄＤｅｖ＞２５の場合、金属網の影響が強く出ているといえるため、ワーク無と判定する。また、Ｍｅａｎ＜１かつＳｋｅｗ＞２４の場合、調整剤有と判定する。また、通常のワーク４とダミーワークとでは治具が異なるため、各種スコアの値が相違する。ワーク有無判定部６４３Ｂは、該スコアの相違に基づいて、ワーク有の場合、ダミーワークであるか否かを判定する。
【００９４】
なお、ワーク有無判定部６４３Ｂは、平均値、標準偏差および歪度のいずれか１つについて上記領域を設定して判定を行ってもよいし、これらのスコアのＡＮＤ判定を行っても良い。多くの種類のスコアについて領域判定を行うことで、ワーク有無判定部６４３Ｂはワークおよび調整剤の有無の判定精度を向上させることができる。
【００９５】
なお、制御部（ファイル名変更部）６４３は、ワーク有無判定部６４３Ｂが判定を終えたときに、記憶部６４４に記憶されている撮影画像６４４Ａのファイル名に、ワークの有無を示すワーク有無識別タグ（ワーク有無識別子）を付す。例えば制御部６４３は、撮影画像６４４Ａのファイル名の末尾にワーク有無識別タグの文字列を追加する。具体的には、識別タグとして「ワーク有り」「ワーク有（ダミー）」、「ワーク無し」、「調整剤」という文字列を付してもよい。
【００９６】
（ワーク姿勢異常の判定）
ワーク異常判定部６４３Ｃは、解析部６４３Ａの解析結果に応じて、ワークの姿勢（向き、形状、および位置）の異常を判定する。具体的には、ワーク異常判定部６４３Ｃは、各種スコアについて、ワーク姿勢異常有および無、それぞれの判定結果を下す領域を予め定めておく。そして、解析部６４３Ａの算出した各種スコアの値がいずれの判定結果の領域に含まれるかに応じて、判定結果を下す。
【００９７】
なお、制御部（ファイル名変更部）６４３は、ワーク異常判定部６４３Ｃが判定を終えたときに、記憶部６４４に記憶されている撮影画像６４４Ａのファイル名に、撮影画像におけるワークの姿勢が正常であるか否かを示す姿勢識別タグ（姿勢識別子）を付す。例えば制御部６４３は、撮影画像６４４Ａのファイル名の末尾に姿勢識別タグの文字列を追加する。具体的には、姿勢識別タグとして「ワーク姿勢正常」または「ワーク姿勢異常」という文字列を付してもよい。
【００９８】
なお、ワーク異常判定部６４３Ｃはワーク有無判定部６４３Ｂと同様、平均値、標準偏差および歪度のいずれか１つについて上記領域を設定して判定を行ってもよいし、これらのスコアのＡＮＤ判定を行っても良い。多くの種類のスコアについて領域判定を行うことでワーク姿勢異常の判定精度を向上させることができる。例えば、図７に示したようなスコアが得られた場合、Ｍｅａｎ＜１の場合に調整剤やワークが通常よりも傾いている（異常な姿勢である）ため、ワーク姿勢異常と判定する。
【００９９】
さらには、ワーク有無判定部６４３Ｂの判定とワーク有無判定部６４３Ｂの判定とに用いるスコアの種類が同じ場合、制御部６４３は、ワーク有無判定部６４３Ｂの領域判定とワーク異常判定部６４３Ｃの領域判定とを同時に行ってもよい。
【０１００】
（時刻間隔の算出とワークの投入間隔判定）
時間間隔算出部６４３Ｄは、ワーク有の撮影画像について、撮影画像６４４Ａのファイル名に付された撮影時刻（または取得時刻）と、該撮影画像６４４Ａの直前に取得した（すなわち、ファイル名に付されている撮影時刻または取得時刻が直近である）撮影画像６４４Ａの撮影時刻（または取得時刻）との時間間隔（時刻のインターバル）を算出する。
【０１０１】
例えば、時間間隔算出部６４３Ｄは、撮影画像６４４Ａの識別タグが「ワーク有り」または「調整剤」であるファイルについて、撮影時刻が直近であるファイル名を取得し、該ファイル名の頭の「年」「月」「日」「時」「分」「秒」の情報を時間に変換して、時刻差すなわちインターバル（時間間隔）の値を算出する。これにより、あるワーク４の投入を契機として撮影された撮影画像と、前回の撮影画像、すなわち、前記あるワーク４の前のワーク４の投入を契機として撮影された撮影画像との、撮影の時間間隔を算出することができる。これは、すなわちワーク間の投入の時間間隔であると言える。時間間隔算出部６４３Ｄは算出結果を間隔異常判定部６４３Ｅに送る。
【０１０２】
間隔異常判定部６４３Ｅは、ワークの投入間隔が正常か否かを判定する。間隔異常判定部６４３Ｅは、時間間隔算出部６４３Ｄが算出した時刻のインターバルの値が、予め設定された範囲内である場合、ワークの投入間隔は正常であると判定する。一方、該インターバルの値が該範囲外である場合、ワークの投入間隔に異常が生じたと判定する。例えば、間隔異常判定部６４３Ｅは、時刻のインターバルの値と、予め設定されている、時刻間隔の標準時間との差の絶対値が、所定の閾値を超えている場合、ワークの投入間隔に異常が生じたと判定する。
【０１０３】
≪画像解析処理の詳細≫
（Ｓ２０１〜Ｓ２０２：二値化および反転）
以下、解析部６４３Ａの実行する画像解析処理のアルゴリズムについて、さらに詳細に説明する。なお、以下で説明するアルゴリズムは一例であり、二値化、反転、エッジ検出、およびマスク処理の具体的な処理内容は、下記の例には限定されない。また、二値化、反転、およびエッジ検出には、市販の画像処理プログラム等の周知技術を用いてもよい。
【０１０４】
解析部６４３Ａは、対象領域を指定して、二値化の閾値を次式（Ｒ１−１）で求める。
（閾値）＝（対象領域の平均輝度値＋背景領域の平均輝度値）／２・・・（Ｒ１−１）
なお、各ピクセル輝度は、ＲＧＢではＧｒａｙ＝（Ｒ＋Ｇ＋Ｂ）／３を計算することにより求められる。解析部６４３Ａは、二値化した対象領域の画像の色（すなわち、白と黒）を反転させてから、次のエッジ検出処理を実行する。
【０１０５】
（Ｓ２０３：エッジ検出）
解析部６４３Ａは次に、二値化および反転させた対象領域の画像に対して、エッジ検出処理を行う。この処理は、輪郭検出器を用いて、アクティブな画像（または選択範囲）内にある急激な輝度変化を強調する処理である。具体的には、２つの３×３コンボリューション・カーネル（convolution kernel；畳み込みフィルタ）を用いて、垂直および水平の空間フィルタリング（輝度の変化率生成）を行い、その平方和の平方根をとる。これにより、エッジ検出が施された画像（以下、エッジ検出画像と称する）が生成される。図８の（ａ）は３×３画素分を示しており、図８の（ｂ）は、空間フィルタを示している。なお、Ｘは０または１の値をとり、他のａ〜ｄは整数値をとる。
【０１０６】
空間フィルタリングによる処理後の画素Pi,jは、次式（Ｒ２−１）で示される。
Pi,j  =  a(Pi-1,j-1−Pi+1,j)+b(Pi-1,j−Pi+1,j)+c(Pi-1,j+1−Pi+1,j-1)+
ｄ(Pi,j+1−Pi,j-1)+ｘPi,j ・・・・・・・・・・・・・・・・・・・・・（Ｒ２−１）
例えば、この空間フィルタには、Sobel kernelsフィルタのS/Edge（図８の（ｃ））およびE/Edge（図８の（ｄ））の２種類のフィルタを用いることができる。前者処理後のPi,j、後者処理後のPi,jをSPi,jおよびEPi,jとすると、これらは以下の式（Ｒ２−２）および式（Ｒ２−３）で示される。
SPi,j  =  (Pi-1,j-1−Pi+1,j)−(Pi-1,j+1−Pi+1,j-1)−2(Pi,j+1−Pi,j-1)・・・・・・（Ｒ２−２）
EPi,j  =  (Pi-1,j-1−Pi+1,j)+2(Pi-1,j−Pi+1,j)+(Pi-1,j+1−Pi+1,j-1)・・・・・・・・（Ｒ２−３）
式Ｒ２−２は垂直方向の画素の輝度差を、式（Ｒ２−３）は水平方向の輝度差を求めたものである。したがって、これら２つの３×３コンボリューション・カーネルによって生成される、エッジ検出処理後の画素Pi,jは、次式（Ｒ２−４）で示される。
Pi,j  ＝  （SPi,j2  ＋  EPi,j2）1/2  ・・・・・・・・・・・・・・・・（Ｒ２−４）
（Ｓ２０４：マスク処理後のスコア処理）
解析部６４３Ａは次に、エッジ検出処理を行った画像に対し、マスク処理を行う。マスク処理の内容については、上述の通りである。最後に、解析部６４３Ａは、平均値、標準偏差、および歪度を算出する。
【０１０７】
標準偏差Ｓｔｄｖは、対象画像の標準偏差の値である。全画素のグレイ平均値をＸａｖｅ、全画素数をｍ×ｎ、各画素のグレイ値（輝度値）をXi,jとすると、Ｓｔｄｖ（σ）は次式（Ｒ２−５）または（Ｒ２−６）で示される。
【０１０８】
【数１】
2019133426.tif 000003
【０１０９】
σ＝｛〔（X11−Xave）2＋・・＋（X1n−Xave）2＋・・＋（Xm1−Xave）2＋
（Xm2−Xave）2＋・・＋（Xmn−Xave）2〕/（ｍ×n）｝0.5                  （Ｒ２−６）
歪度は、標本の平均値周りのデータの非対称性の尺度である。歪度が負の場合、データは平均値よりも左側に広がっているといえる。一方、歪度が正の場合、データはより右側に広がる。正規分布 (または完全に対称なすべての分布)の歪度は０になる。分布の歪度（平均に関する第三モーメント）は次式（Ｒ２−７）で定義される。
【０１１０】
【数２】
2019133426.tif 000004
【０１１１】
ここで、μはｘの平均値であり、σはｘの標準偏差であり、Ｅ（ｔ）は統計量の期待値を表す。skewnessはこの母集団値の標本バージョンを計算する。各要素をＸｉとすれば、次の方程式（Ｒ２−８）が適用される。
【０１１２】
【数３】
2019133426.tif 000005
【０１１３】
≪処理の流れ≫
最後に、システム全体の処理の流れを、図９を用いて説明する。図９は、本実施形態に係る異常検知システム５００の処理の流れを示すフローチャートである。検知センサ６１は、ワーク４の尾端部が入側テーブル端１６を通過完了したことを検知して、オフ状態となる（Ｓ１０１）。接点入力検知器６２は検知センサのオンからオフへの出力変化を検知すると、カメラ６３に信号をソケット通信で送信する（Ｓ１０２）。カメラ３は撮影を実行するとともに、撮影時刻を取得する（Ｓ１０３）。カメラ３は撮影時刻を撮影画像のファイル名に付した後、該撮影画像のデータをＰＣ６４に送る（Ｓ１０４）。
【０１１４】
ＰＣ６４の制御部６４３は撮影画像のファイルを取得し（Ｓ１０５、画像取得ステップ）、画像解析処理を実行する（Ｓ１０６、解析ステップ）。この画像解析処理は、図６の各ステップで説明したものである。解析部６４３Ａは解析結果をワーク有無判定部６４３Ｂと、ワーク異常判定部６４３Ｃと、時間間隔算出部６４３Ｄと、間隔異常判定部６４３Ｅとに送る。ワーク有無判定部６４３Ｂはワーク有無の判定を実行し（ワーク有無判定ステップ）、ワーク異常判定部６４３Ｃはワーク姿勢が正常か否かを判定する。制御部６４３は、ワーク有無識別タグと、姿勢識別タグとを撮影画像のファイル名に追加する（Ｓ１０７）。時間間隔算出部６４３Ｄは時刻のインターバル（Ｔｉ）を算出する（Ｓ１０８）。間隔異常判定部６４３Ｅは、Ｔｉの値と標準インターバル時間（Ｔｉの標準時間）Ｔｉｓとの差の絶対値が設定した閾値（例えば、１０ｓ）を超えているか否かを判定する（Ｓ１０９）。超えている場合（Ｓ１０９でＹＥＳ）、制御部６４３は、表示装置６５等に警告を通知し、表示装置６５は警告を表示する（Ｓ１１０）。
【０１１５】
一方、その値が閾値以下である場合（Ｓ１０９でＮＯ）、制御部６４３は警告を通知せず処理を終了する。以降、異常検知システム５００はＳ１０１からの処理を繰り返す。
【０１１６】
以上の処理によれば、カメラ６３の撮影画像から、生産ライン１００に正常にワーク４が投入されたかを判定することができる。したがって、生産ライン１００において、例えばワーク４の投入ロス等に起因するワーク４の異常を検出することができる。
【０１１７】
また、以上の処理によれば、あるワーク４の投入を契機として撮影された撮影画像と、前回の撮影画像、すなわち、前記あるワーク４の前のワーク４の投入を契機として撮影された撮影画像との、撮影の時間間隔（インターバル）を算出することができる。そして、該時間間隔に基づいて、ワークの投入間隔が正常であるかを判定することができる。これにより、ワークの投入ロスが生じた場合の、投入の遅延時間等を正確に特定することができる。
【０１１８】
また、以上の処理によれば、投入ロスの検出だけでなく、投入されたワークの姿勢（向き、形状、および位置）が正常であるか否かを判定することができる。したがって、生産ラインにおけるワークの異常をより詳しく検出することができる。
【０１１９】
さらに言えば、ろう付処理のように高温の熱処理を行う場合、ＲＦＩＤタグ等のタグをワーク４に付して、ワーク４の投入間隔および投入姿勢等を監視することが困難である。本実施形態に係る異常検知システム５００は、このようにワーク４にタグ等を付して監視することが困難な環境下でも、ワーク４の投入間隔および投入姿勢等を監視することができる。
【０１２０】
〔ソフトウェアによる実現例〕
ＰＣ６４の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【０１２１】
後者の場合、ＰＣ６４は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１２２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【実施例１】
【０１２３】
本発明の一実施例について以下に説明する。図１０は、画像解析処理を実行した場合の、カメラ６３の各撮影画像の平均値、標準偏差、および歪度のスコア分布を示している。図１０の（ａ）は本発明に係る画像解析処理（図７に示した一連の処理）を実行した場合のスコア分布を示す。図１０の（ｂ）は従来からよく用いられている画像解析処理（二値化像での画像処理方法）を実行した場合のスコア分布を示す。
【０１２４】
なお、図１０においてＭｅａｎは平均値、Ｓｔｄｅｖは標準偏差、Ｓｋｅｗは歪度を示す。これらは実施形態で説明した式（１）で定義される。
【０１２５】
本発明に係る画像解析処理を実行した場合、図１０の（ａ）に示すように、ワークの有無によって平均値、標準偏差、および歪度が大幅に異なった。また、ワーク無しと調整剤とでも平均値、標準偏差、および歪度が大幅に異なった。さらに、ワークの姿勢異常が起きた場合についても、平均値、標準偏差、および歪度が大幅に異なった。結果、図示のように、各撮影画像のプロットが分散し、ワーク有、調整剤有、ワーク無しの判別と、ワーク有の場合のワーク姿勢の異常または正常を精度良く判別することができた。
【０１２６】
一方、従来の画像解析処理を実行した場合、図１０の（ｂ）に示すように、ワーク無しのプロットと、ワーク有かつ姿勢正常のプロットとの分布領域が重複している箇所がある。このように、従来の画像解析処理では、平均値、標準偏差、および歪度のスコアによってはワーク無しとワーク有かつ姿勢正常との判別が困難な場合がある。また、図示の通り、ワーク無しと調整剤との判別、およびワーク無しとワーク姿勢異常との判別も困難である。
【０１２７】
本発明に係る画像解析処理は、撮影画像から、ワーク４の特徴的な輪郭形状を示すはずの領域を指定し、該領域の特徴量を抽出して判別することで、図１０の（ａ）に示すように、ワークの有無およびワークの姿勢を、高精度に判別することを可能にした。
【符号の説明】
【０１２８】
６１  検知センサ
６３  カメラ
６４  ＰＣ（制御装置）
６４３  制御部
６４３Ａ  解析部
６４３Ｂ  ワーク有無判定部
６４３Ｃ  ワーク異常判定部
６４３Ｄ  時間間隔算出部
６４３Ｅ  間隔異常判定部
５００  異常検知システム
【図１】
2019133426.tif 000006
【図２】
2019133426.tif 000007
【図３】
2019133426.tif 000008
【図４】
2019133426.tif 000009
【図５】
2019133426.tif 000010
【図６】
2019133426.tif 000011
【図７】
2019133426.tif 000012
【図８】
2019133426.tif 000013
【図９】
2019133426.tif 000014
【図１０】
2019133426.tif 000015