(57)【要約】【課題】異常検知装置において、異常（不具合）のある製品を正確に、精度よく検知することができる異常検知装置及び異常検知プログラムを提供すること。【解決手段】異常検知装置２０は、関心領域設定手段２１１と、シーケンス設定手段２１２と、異常検知手段２１３とを有する。関心領域設定手段２１１は、フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する。シーケンス設定手段２１２は、フレーム画像のうち設定された第１の関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する。異常検知手段２１３は、シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち設定された第２の関心領域において輝度解析を行い、異常検知処理を行う。【選択図】  図３
2020065109.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する関心領域設定手段と、
前記フレーム画像のうち前記設定された第１の関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定するシーケンス設定手段と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された第２の関心領域において輝度解析を行い、異常検知処理を行う異常検知手段と、
を有する異常検知装置。
【請求項２】
前記設定された第１の関心領域及び前記設定された第２の関心領域のうち少なくとも一方における前記輝度解析は、前記フレーム画像の１次元領域内に存在する画素群について行われる、
請求項１に記載の異常検知装置。
【請求項３】
前記設定された第１の関心領域及び前記設定された第２の関心領域のうち少なくとも一方における前記輝度解析は、前記フレーム画像の２次元領域内に存在する画素群について行われる、
請求項１に記載の異常検知装置。
【請求項４】
前記異常検知手段により異常が検知された場合、前記異常が検知されたフレーム以前であって所定時間内の複数のフレーム画像を一次記憶部から取得して二次記憶部に記録するように制御すると共に、前記異常が検知されたフレームより後であって所定時間内の複数のフレーム画像を前記二次記憶部に適時記録するように制御する記録制御手段、
をさらに有する請求項１乃至３のうちいずれか１項に記載の異常検知装置。
【請求項５】
前記二次記憶部に記憶された複数のフレーム画像を表示部に、実時間に合わせて再生し、又は、スロー再生する再生制御手段、
をさらに有する請求項４に記載の異常検知装置。
【請求項６】
前記異常検知手段により前記異常が検知された場合、外部装置に前記異常の検知を示す情報と、前記二次記憶部に記憶された複数のフレーム画像とを送信するように通信部を制御する出力手段、
をさらに有する請求項４又は５に記載の異常検知装置。
【請求項７】
前記出力手段は、前記輝度解析の結果を前記外部装置に送信するように前記通信部を制御する、
請求項６に記載の異常検知装置。
【請求項８】
前記シーケンス設定手段は、前記設定された第１の関心領域の輝度解析により基準フレームを求め、前記基準フレームからの経過予想時間から前記異常検知処理の開始タイミングを求め、前記基準フレームからの経過予想時間から前記異常検知処理の終了タイミングを求めることで、前記シーケンスを設定する、
請求項１乃至７のうちいずれか１項に記載の異常検知装置。
【請求項９】
前記フレーム画像は、高速度カメラにより収集された画像である、
請求項１乃至８のうちいずれか１項に記載の異常検知装置。
【請求項１０】
フレーム画像上の所定位置に、少なくとも１個の関心領域を設定する関心領域設定手段と、
前記フレーム画像のうち前記設定された関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定するシーケンス設定手段と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された関心領域において輝度解析を行い、異常検知処理を行う異常検知手段と、
を有する異常検知装置。
【請求項１１】
コンピュータに、
フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する機能と、
前記フレーム画像のうち前記設定された第１の関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する機能と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された第２の関心領域において輝度解析を行い、異常検知処理を行う機能と、
を実現させる異常検知プログラム。
【請求項１２】
コンピュータに、
フレーム画像上の所定位置に、少なくとも１個の関心領域を設定する機能と、
前記フレーム画像のうち前記設定された関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する機能と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された関心領域において輝度解析を行い、異常検知処理を行う機能と、
を実現させる異常検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の異常を検知する技術に係り、特に、高いフレームレートで撮像可能な高速度カメラ（High speed camera）により被写体を撮像することで得られた動画像データに基づいて被写体の異常を検知する異常検知装置及び異常検知プログラムに関する。
【背景技術】
【０００２】
被写体の変化を撮像するために、高いフレームレートで画像を連続して撮像可能な高速度カメラが利用されている。このような装置は、撮像手段で所定の撮像フレームレートで撮像したフレーム画像データを、撮像時と異なるフレームレートでフレーム画像として表示部に表示させる。例えば、汎用のビデオカメラでは、画像一枚当たりの撮像周期が１／３０秒、すなわちフレームレートが３０ｆｐｓ（frame per second）の規格速度であるのに対し、高速度カメラでは、フレームレートが６０〜１００万、例えば、１０００ｆｐｓといった高いものである。このような高速度カメラを用いて動画像データを録画し、高いフレームレートで撮像した一連のフレーム画像データを撮像時よりも低いフレームレートで表示部に表示させれば、被写体の動きを微小時間毎に撮像された一連の画像によりスローで観察することができる（例えば、特許文献１，２）。
【０００３】
また、周期的に動く被写体を撮像して動画像データを得ながら、その各周期の動きを評価しながら、被写体の動きが通常とは異なるフレーム画像データのみを記録する装置が開示されている（例えば、特許文献３）。この技術は、工場の生産ラインのように製品が入っては出るというような周期的な動作を繰り返すシーンを高速度カメラで撮像して動画像データとして録画する一方で、複数のフレーム画像データを周期毎に分割して解析することで異常なフレーム画像データを抽出して記録するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４１７０９号公報
【特許文献２】特開２００９−１００３２６号公報
【特許文献３】特開２０１２−９９９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術によると、フレーム画像データの全体を輝度解析して異常のあるフレーム画像データを検知することになる。その場合、製品にバリが付いている等の異常が発生している場合に、製品にバリが付いていない正常な場合と比較して輝度分布が殆ど同じになるので、異常を見逃してしまう虞場合がある。
【０００６】
また、製品が上下に反転している場合等の異常が発生している場合に、正常位の製品の場合と比較して輝度分布が同じになるので、異常を見逃してしまう虞がある。
【０００７】
本発明は、上述した事情を考慮してなされたもので、フレーム画像データの部分のみを輝度解析することで、異常（不具合）のある製品を正確に、精度よく検知することができる異常検知装置及び異常検知プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態に係る異常検知装置は、関心領域設定手段と、シーケンス設定手段と、異常検知手段とを有する。関心領域設定手段は、フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する。シーケンス設定手段は、フレーム画像のうち設定された第１の関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する。異常検知手段は、シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち設定された第２の関心領域において輝度解析を行い、異常検知処理を行う。
【０００９】
本発明の一実施形態に係る異常検知装置は、関心領域設定手段と、シーケンス設定手段と、異常検知手段とを有する。関心領域設定手段は、フレーム画像上の所定位置に、少なくとも１個の関心領域を設定する。シーケンス設定手段は、フレーム画像のうち設定された関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する。異常検知手段は、シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち設定された関心領域において輝度解析を行い、異常検知処理を行う。
【００１０】
本発明の一実施形態に係る異常検知プログラムは、コンピュータに、フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する機能と、フレーム画像のうち設定された第１の関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する機能と、シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち設定された第２の関心領域において輝度解析を行い、異常検知処理を行う機能と、を実現させる。
【００１１】
本発明の一実施形態に係る異常検知プログラムは、コンピュータに、フレーム画像上の所定位置に、少なくとも１個の関心領域を設定する機能と、フレーム画像のうち設定された関心領域において輝度解析を行い、異常検知処理を行うタイミングを定義したシーケンスを設定する機能と、シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち設定された関心領域において輝度解析を行い、異常検知処理を行う機能と、を実現させる。
【発明の効果】
【００１２】
本発明に係る異常検知装置及び異常検知プログラムによれば、フレーム画像データの部分のみを輝度解析することで、異常（不具合）のある製品を正確に、精度よく検知することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る実施形態に係る異常検知装置を含む異常検知システムの一構成例を示す概略図。
【図２】実施形態に係る異常検知装置の構成例を示す概略図。
【図３】実施形態に係る異常検知装置の機能を示すブロック図。
【図４】実施形態に係る異常検知装置の動作をフローチャートとして示す図。
【図５】実施形態に係る異常検知装置の動作をタイムチャートとして示す図。
【図６】実施形態に係る異常検知装置の動作を、接着剤が塗布されたシール材の監視に適用した場合のフレーム画像データを示す図。
【図７】実施形態に係る異常検知装置において行われる輝度解析の例を示す図。
【図８】実施形態に係る異常検知装置の動作を、コンデンサ等の回路素子の監視に適用した場合のフレーム画像データを示す図。
【図９】実施形態に係る異常検知装置における、関心領域ごとの平均輝度の推移を示す図。
【発明を実施するための形態】
【００１４】
本発明に係る実施の形態について、添付図面を参照して説明する。
【００１５】
１．実施形態
図１は、実施形態に係る異常検知装置を含む異常検知システムの一構成例を示す概略図である。
【００１６】
図１は、実施形態に係る異常検知システム１を示す。異常検知システム１は、撮像装置１０、異常検知装置２０、シーケンサ３０、及び動作部４０を備える。撮像装置１０、異常検知装置２０、シーケンサ３０、及び動作部４０は、有線又は無線ＬＡＮ（Local Area Network）等のネットワークＮを介して相互に通信可能なように接続される。
【００１７】
撮像装置１０は、イメージセンサ、増幅器、及びＡ／Ｄ（Analog to Digital）変換器等（図示省略）等を備える。イメージセンサは、対物光学系（図示省略）を介して、動きのある製品Ｕを監視対象として撮像する。増幅器は、イメージセンサからの出力ビデオ信号を増幅させる。Ａ／Ｄ変換器は、増幅器から出力されたアナログビデオ信号をデジタルビデオ信号に変換する。
【００１８】
撮像装置１０は、オートメーション化された施設内の動きのある製品Ｕの状況を監視するために、当該施設内に設置されるものである。撮像装置１０は、汎用のビデオカメラであってもよいが、高速度カメラであることが好適である。撮像装置１０が、汎用のビデオカメラである場合、３０ｆｐｓ程度のフレームレートであるのに対し、高速度カメラである場合、６０〜１００万、例えば、１０００ｆｐｓといった高いフレームレートを実現できる。
【００１９】
撮像装置１０は、動きのある製品Ｕを含む撮像範囲Ｆを連続的に撮像して動画像データを撮像する。なお、撮像装置１０は、固定カメラである場合について説明するが、その場合に限定されるものではない。例えば、撮像装置１０は、ＰＴＺ（パン・チルト・ズーム）カメラであってもよい。撮像装置１０によって撮像された動画像データは、異常検知装置２０に提供される。
【００２０】
異常検知装置２０は、ＰＣ（Personal Computer）の一般的な構成を備える。異常検知装置２０は、デスクトップＰＣ又はノートＰＣであってもよいし、スマートフォン及びタブレット端末等のモバイルＰＣであってもよい。異常検知装置２０は、動きのある製品Ｕを含む各フレーム画像データを入力して解析することで、異常なフレーム画像データ、つまり、異常な製品Ｕを検知する。
【００２１】
図２は、異常検知装置２０の構成例を示す概略図である。
【００２２】
図２に示すように、異常検知装置２０は、コンピュータとしての構成を備え、制御部２１、一次記憶部２２、二次記憶部２３、入力部２４、表示部２５、及び通信部２６を備える。制御部２１は、共通信号伝送路としてのバスを介して、異常検知装置２０を構成する各ハードウェア構成要素に相互接続される。制御部２１は、専用のハードウェアで構成されてもよいし、内蔵のプロセッサによるソフトウェア処理で各種機能を実現するように構成してもよい。
【００２３】
制御部２１は、所定のプログラムを実行する専用又は汎用のＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processor Unit）等のプロセッサの他、特定用途向け集積回路（ＡＳＩＣ）、及び、プログラマブル論理デバイス等の処理回路を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の回路が挙げられる。
【００２４】
また、制御部２１は、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組み合わせによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の一次記憶部２２が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の一次記憶部２２が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。
【００２５】
一次記憶部２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。一次記憶部２２は、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）等の可搬型メディアを脱着自在な回路として構成されてもよい。一次記憶部２２は、制御部２１において実行される各種プログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる）、プログラムの実行に必要な文字情報、及び画像データを記憶する。また、一次記憶部２２には、ＯＳを制御するための各種コマンドや、タッチパネル１３からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶する。
【００２６】
二次記憶部２３の構成は、一次記憶部２２の構成と同等であるので説明を省略する。一次記憶部２２は、撮像装置１０により撮像された全てのフレーム画像データを録画する際に利用される。一方で、二次記憶部２３は、撮像装置１０により撮像された全てのフレーム画像データ（動画像データ）のうち、異常が検知されたフレーム前後の複数のフレーム画像データのみを記憶させるために利用される。
【００２７】
入力部２４は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して制御部２１に出力する。
【００２８】
表示部２５は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。表示部２５は、制御部２１の制御に従って各種情報を表示する。
【００２９】
通信部２６は、パラレル接続仕様やシリアル接続仕様に合わせたコネクタによって構成される。通信部２６は、各規格に応じた通信制御を行なうことで、異常検知装置２０をネットワークＮ網に接続させる。
【００３０】
図１の説明に戻って、シーケンサ３０は、制御部及び記憶部（図示省略）等を具備する。制御部は、制御部２１（図２に図示）と同等の構成を備え、プロセッサ、ＦＰＧＡ、又はＡＳＩＣ等のハードウェアで構成される。記憶部についても同様に、一次記憶部２２（図２に図示）と同等の構成を備える。シーケンサ３０は、予め記憶部に登録された、駆動制御シーケンスに従って、動作部４０の動作を制御する。
【００３１】
動作部４０は、製品Ｕを把持して動かすアームや、製品Ｕをその上部に配置して運搬するコンベア等によって構成される。
【００３２】
続いて、異常検知装置２０の機能について説明する。
【００３３】
図３は、異常検知装置２０の機能を示すブロック図である。
【００３４】
異常検知装置２０の制御部２１は、異常検知プログラムを実行することで、関心領域設定手段２１１、シーケンス設定手段２１２、異常検知手段２１３、出力手段２１４、記録制御手段２１５、及び再生制御手段２１６として機能する。なお、手段２１１〜１１６の機能の全部又は一部は、異常検知装置２０にＡＳＩＣ等の回路に備えられるものであってもよい。
【００３５】
関心領域設定手段２１１は、ＧＵＩ等のユーザインターフェースを介して、表示部２５に表示されたフレーム画像上の所定位置に、複数の関心領域を設定する機能を有する。これにより、表示された動画像上に、複数の関心領域の位置が確定する。なお、関心領域の形態は、フレーム画像上に直線や曲線として１次元領域として設定されてもよいし、矩形、円形、又は自由曲線によって形成される２次元領域として設定されてもよい。また、複数の関心領域の形態がそれぞれ異なっていてもよい。
【００３６】
関心領域設定手段２２１は、少なくとも１個のタイミング設定用の関心領域と、少なくとも１個の異常検知用の関心領域を設定する。例えば、関心領域設定手段２２１は、１個のタイミング設定用の関心領域と、１個の異常検知用の関心領域とを設定する。タイミング設定用の関心領域は、フレーム画像データのうち当該領域において輝度解析を行うことにより、異常検知処理を行う異常検知処理期間を定義したシーケンス（以下「異常検知シーケンス」という）を決定するためのものである。一方で、異常検知用の関心領域は、異常検知シーケンスによる異常検知処理期間中のフレーム画像データのうち当該領域において輝度解析を行うことにより、異常のあるフレーム画像データを検知するためのものである。なお、複数の関心領域は、２個の関心領域、つまり、１個のタイミング設定用の関心領域と１個の異常検知用の関心領域とである場合に限定されるものではない。
【００３７】
例えば、複数の関心領域が３個の関心領域である場合、１個のタイミング設定用の関心領域で設定された異常検知処理期間中に、２個の検知用の関心領域のそれぞれにおいて異常検知が行われてもよい。また、例えば、複数の関心領域が３個の関心領域である場合、２個の移管設定用の関心領域で決定された異常検知処理期間中にそれぞれ、１個の検知用の関心領域において異常検知が行われてもよい。さらに、例えば、複数の関心領域が４個の関心領域である場合、１個目のタイミング設定用の関心領域で決定された異常検知処理期間中に、１個目の異常検知用の関心領域において異常検知が行われる一方で、２個目のタイミング設定用の関心領域で決定された異常検知処理期間中に、２個目の異常検知用の関心領域において異常検知が行われてもよい。
【００３８】
以下、複数の関心領域が、２個の関心領域である場合について説明する。また、タイミング設定用の関心領域を「第１の関心領域」と呼び、異常検知用の関心領域を「第２の関心領域」と呼ぶ。
【００３９】
シーケンス設定手段２１２は、フレーム画像データのうち、関心領域設定手段２１１によって設定された第１の関心領域において輝度解析を行い、異常検知シーケンスを設定する機能を有する。
【００４０】
異常検知手段２１３は、シーケンス設定手段２１２によって設定された異常検知シーケンスに従った異常検知処理期間中に撮像されたフレーム画像データのうち、関心領域設定手段２１１によって設定された第２の関心領域において輝度解析を行い、異常検知処理を行う機能を有する。
【００４１】
出力手段２１４は、異常検知手段２１３によって異常が検知された場合に、異常を検知した旨や、異常を検知したフレーム画像データを、表示部２５を介して出力する機能を有する。また、出力手段２１４は、異常検知手段２１３によって異常を検知した場合に、異常を検知した旨や、異常を検知したフレーム画像データを、通信部２６及びネットワークＮを介して外部装置に送信する機能を有してもよい。また、出力手段２１４は、後述する輝度解析の結果（例えば、各フレームの輝度分布等や、エッジ位置の時系列推移等）を、通信部２６及びネットワークＮを介して外部装置に送信する機能を有してもよい。
【００４２】
記録制御手段２１５は、異常検知手段２１３により異常が検知された場合に、異常が検知されたフレーム以前であって所定時間内の複数のフレーム画像データを一次記憶部２２から取得して二次記憶部２３に記録するように制御する機能を有する。また、記録制御手段２１５は、異常検知手段２１３により異常が検知された場合に、異常が検知されたフレームより後であって所定時間内の複数のフレーム画像を二次記憶部２３に適時記録するように制御する機能を有する。
【００４３】
再生制御手段２１６は、記録制御手段２１５によって二次記憶部２３に記憶された複数のフレーム画像データを表示部２５に、実時間に合わせて再生し、又は、スロー再生する機能を有する。これにより、高速度カメラにより高いフレームレートで撮像した一連のフレーム画像データを撮像時よりも低いフレームレートで表示部２５に表示させれば、操作者は、製品Ｕの動きを微小時間毎に撮像された一連の画像によりスローで観察することができる。
【００４４】
続いて、図４〜図６を用いて、異常検知装置２０の動作について説明する。
【００４５】
図４は、異常検知装置２０の動作をフローチャートとして示す図である。図４において、「ＳＴ」に数字を付した符号フローチャートの各ステップを示す。図５は、異常検知装置２０の動作をタイムチャートとして示す図である。図６は、異常検知装置２０の動作を、接着剤が塗布されたシール材Ｕ（Ｕ１〜Ｕ３）の監視に適用した場合のフレーム画像データを示す図である。図６は、動作部４０としてのコンベア４０によってシール材Ｕが右から左に運搬される工程（図４の（Ａ）〜（Ｆ）の順）を、撮像装置１０が撮像した場合の各フレーム画像データを示す。
【００４６】
操作者の操作による入力部２４からの指示信号に従って、異常検知装置２０は、製品（例えば、接着剤が塗布されたシール材）Ｕの監視を開始する（図４のステップＳＴ１）。異常検知装置２０は、フレーム画像データを表示部２５に表示させる（図４のステップＳＴ２）。ここで、異常検知装置２０は、ステップＳＴ２において、既に取得されている動画像データのフレーム画像データを表示部２５に再生表示させてもよいし、逐次取得されるフレーム画像データを撮像装置１０から順次受信し、それを表示部２５にライブ表示させてもよい。前者によれば、操作者は後で改めて製品の異常の発生について検証することができるし、後者によれば、操作者は製品の異常の発生をライブ監視することができる。以下、後者について説明する。
【００４７】
異常検知装置２０の関心領域設定手段２１１は、フレーム画像データに第１の関心領域Ｇ１と第２の関心領域Ｇ２（図６に図示）が設定されたか否かを判断する（図４のステップＳＴ３）。ステップＳＴ３の判断にてＮＯ、つまり、フレーム画像データに２個の関心領域が設定されていないと判断される場合、異常検知装置２０は、次のフレームについて、フレーム画像データを受信して、フレーム画像データをライブ表示させる（図４のステップＳＴ２）。なお、ステップＳＴ３にてＮＯと判断される場合は、現在の時間が、図５に示す第ｔ１フレームから第ｔ２フレームまでの間の場合である。
【００４８】
一方で、ステップＳＴ３の判断にてＹＥＳ、つまり、フレーム画像データに２個の関心領域が設定されたと判断される場合、異常検知装置２０は、次のフレームについて、フレーム画像データを表示部２５にライブ表示させる（図４のステップＳＴ４）。なお、ステップＳＴ３にてＹＥＳと判断される場合は、現在の時間が、図５に示す第ｔ２フレームの場合であり、図６（Ａ）に示す場合である。
【００４９】
シーケンス設定手段２１２は、ステップＳＴ４によって表示されたフレーム画像データのうち、ステップＳＴ３の結果によって設定された第１の関心領域Ｇ１において輝度解析を行い、基準フレームであるか否かを判断する（図４のステップＳＴ５）。つまり、シーケンス設定手段２１２は、フレーム画像データの全体ではなく、部分的な領域についてのみ輝度解析を行う。基準フレームとは、第１の関心領域内の輝度値が変化したと判断できるタイミング、つまり、各製品Ｕが第１の関心領域に対応する位置にくるタイミングに対応するフレームを意味し、図５及び図６（Ｂ）の第ｔ３フレームとして示される。図６（Ｂ）では、輝度解析によって求められた、シール材Ｕ１の後端に第１の関心領域の位置が一致している。なお、シール材Ｕ１に続くシール材Ｕ２には、接着剤のはみ出し異常（破線）が発生しているものとする。
【００５０】
図７は、異常検知装置２０において行われる輝度解析の例を示す図である。
【００５１】
シーケンス設定手段２１２は、過去を含めた複数のフレーム画像データのうち第１の関心領域内に存在する画素群が示す輝度値の周期変化に基づいて輝度解析を行う。例えば、シーケンス設定手段２１２は、過去を含めた複数のフレーム画像データのうち第１の関心領域（２次元領域）内に存在する画素群が示す平均輝度の周期変化（正常波形とのマッチング、図７（Ａ）に図示）や、第１の関心領域（１次元領域）内に存在する画素群が示す輝度値から計測されるエッジ（図７（Ｂ）に図示）位置のトラッキングに基づいて輝度解析を行う。
【００５２】
また、シーケンス設定手段２１２は、当該フレーム画像データの中の第１の関心領域内の画素群が示す輝度値に基づいて輝度解析を行う。例えば、シーケンス設定手段２１２は、第１の関心領域（１次元領域）内に存在する画素群が示す輝度分布の閾値との比較（図７（Ｃ）に図示）や、第１の関心領域（２次元領域）内に存在する画素群が示す輝度分布の閾値との比較（図７（Ｄ）に図示）や、第１の関心領域（１次元領域）内に存在する画素群が示す輝度値から計測されるエッジの有無（図７（Ｅ）に図示）や、第１の関心領域（２次元領域）内に存在する画素群が示す輝度値のヒストグラム（図７（Ｆ）に図示）に基づいて輝度解析を行う。
【００５３】
図４〜図６の説明に戻って、ステップＳＴ５の判断にてＮＯ、つまり、ステップＳＴ４によって表示されたフレーム画像データが基準フレームではないと判断された場合、異常検知装置２０は、次のフレームについて、フレーム画像データを表示部に表示させる（図４のステップＳＴ４）。
【００５４】
一方で、ステップＳＴ５の判断にてＹＥＳ、つまり、ステップＳＴ４によって表示されたフレーム画像データが基準フレームであると判断された場合、シーケンス設定手段２１２は、異常検知処理の開始タイミングを基準フレームからの経過予想時間（図５の「Ｒ１」）として求め、異常検知処理の終了タイミングを基準フレームからの経過予想時間（図５の「Ｒ２」）として求めることで、異常検知シーケンスを設定する（図４のステップＳＴ６）。異常検知処理の開始タイミングは、動きのあるシール材Ｕの先端が第２の関心領域にかかるタイミングを意味し、異常検知処理の終了タイミングは、動きのあるシール材Ｕの後端が第２の関心領域にかかるタイミングを意味する。
【００５５】
例えば、経過予想時間は、シーケンサ３０が保持する駆動制御シーケンス（例えば、コンベア４０によるシール材Ｕの運搬速度）や、第１の関心領域と第２の関心領域との画面上の距離を実座標系に変換した距離や、シール材Ｕの長さ及び間隔等により求めることができる。
【００５６】
なお、異常検知処理の開始タイミングを図５及び図６（Ｃ）に第ｔ４フレームとして示し、異常検知処理の終了タイミングを図５及び図６（Ｆ）に第ｔ５フレームとして示し、異常検知処理期間内を図５及び図６（Ｄ），（Ｅ）に第ｔ４〜第ｔ５フレームとして示す。
【００５７】
異常検知装置２０は、次のフレームについて、フレーム画像データを表示部２５にライブ表示させる（図４のステップＳＴ７）。異常検知手段２１３は、ステップＳＴ７によって表示されたフレーム画像データが、ステップＳＴ６によって設定された異常検知シーケンスに従った異常検知処理期間内のデータであるか否かを判断する（図４のステップＳＴ８）。ステップＳＴ８の判断にてＮＯ、つまり、フレーム画像データが、異常検知処理期間内のデータではないと判断される場合、異常検知装置２０は、次のフレームについて、フレーム画像データをライブ表示させる（図４のステップＳＴ７）。
【００５８】
一方で、ステップＳＴ８の判断にてＹＥＳ、つまり、フレーム画像データが、異常検知処理期間内のデータであると判断される場合、異常検知手段２１３は、ステップＳＴ７によって表示されたフレーム画像データのうち、ステップＳＴ３の結果によって設定された第２の関心領域に対して輝度解析を行い、異常検知処理を行う（図４のステップＳＴ９）。輝度解析の方法については、図７を用いて前述したとおりである。異常検知処理期間内の図６（Ｄ），（Ｅ）を比較すると分かるように、画像全体では輝度変化が僅かな場合であっても、第２の関心領域Ｇ２の部分においては、輝度変化を容易に検知することができる。
【００５９】
出力手段２１４は、ステップＳＴ９によって異常を検知したか否かを判断する（図４のステップＳＴ１０）。ステップＳＴ１０の判断にてＮＯ、つまり、ステップＳＴ９によって異常を検知していないと判断される場合、異常検知装置２０は、ステップＳＴ１２に進む。
【００６０】
一方で、ステップＳＴ１０の判断にてＹＥＳ、つまり、ステップＳＴ９によって異常を検知したと判断された場合、出力手段２１４は、異常を検知した旨や、異常を検知したフレーム画像データを出力する（図４のステップＳＴ１１）。また、出力手段２１４は、異常を検知した場合に、異常を検知した旨や、異常を検知したフレーム画像データを、表示部２５に表示させてもよいし、通信部２６及びネットワークＮを介して外部装置に出力してもよい。
【００６１】
続いて、異常検知装置２０は、製品の監視を終了するか否かを判断する（図４のステップＳＴ１２）。ステップＳＴ１２の判断にてＮＯ、つまり、製品の監視を終了しないと判断される場合、異常検知装置２０は、次のフレームについて、フレーム画像データをライブ表示させる（図４のステップＳＴ７）。
【００６２】
一方で、ステップＳＴ１２の判断にてＹＥＳ、つまり、操作者の操作による入力部２４からの指示信号に従って、製品の監視を終了すると判断される場合、異常検知装置２０は、動作を終了する。
【００６３】
なお、ステップＳＴ４〜ＳＴ１２の動作中の任意のタイミングで関心領域が再設定されてもよい。その場合、再設定のタイミングの後に改めてステップＳＴ４から動作が開始される。
【００６４】
図８は、異常検知装置２０の動作を、コンデンサ等の回路素子の監視に適用した場合のフレーム画像データを示す図である。図８は、図６の別の適用例である。図８は、製品Ｕが上下に反転している場合等の異常が発生している場合を、正確に精度よく検知するものである。
【００６５】
図８は、異常検知装置２０の動作を、コンデンサ等の回路素子Ｕ（Ｕ１，Ｕ２）の監視に適用した場合のフレーム画像データを示す。移動してきた回路素子Ｕの位置を、動作部４０としての配置部４０Ａが整え、回路素子Ｕが動作部４０としてのアーム４０Ｂによって引き上げられる工程（図８の（Ａ）〜（Ｇ）の順）を、撮像装置１０が撮像した場合の各フレーム画像データを示す。
【００６６】
シーケンス設定手段２１２は、異常検知処理の開始タイミングを基準フレームからの経過予想時間（図５の「Ｒ１」）として求め、異常検知処理の終了タイミングを基準フレームからの経過予想時間（図５の「Ｒ２」）として求めることで、異常検知シーケンスを設定する。図８に示す場合の異常検知処理の開始タイミングは、動きのある回路素子Ｕの全体がフレーム画像データに現れるタイミングを意味し、異常検知処理の終了タイミングは、回路素子Ｕとアーム４０Ｂとの距離が所定の距離となるタイミングを意味する。なお、回路素子Ｕについて一定期間は動きがないので、異常検知処理期間は、少なくとも１フレーム分を含めばよい。
【００６７】
異常検知処理期間内の図８（Ｃ），（Ｆ）を比較すると分かるように、画像全体では輝度に異常がない場合であっても、第２の関心領域Ｇ２の部分においては、輝度を容易に検知することができる。
【００６８】
以上のように、異常検知装置２０によると、第１の関心領域の設定により異常検知処理期間外のフレーム画像データについては異常検知処理を行わないので、異常検知処理期間外のフレーム画像データにおける異常とは関係ない輝度変化を無視することができる。また、異常検知装置２０によると、第２の関心領域の設定により異常に係る僅かな輝度変化についても正確に精度よく検知することができる。
【００６９】
また、撮像装置１０が高速度カメラである場合、異常検知装置２０は、高速度カメラにより、例えば１０００ｆｐｓでフレーム画像データを収集することができる。その場合、汎用のビデオカメラにより収集される３０ｆｐｓ程度のフレーム画像データの場合と比較して、細かい時間分解能（１／１０００秒単位）で異常検出を行うことができるという有利な効果が得られる。
【００７０】
２．第１の変形例
複数の関心領域について説明したが、その場合に限定されるものではなく、関心領域は１個でもよい。つまり、１個の関心領域が、タイミング設定用の関心領域と、異常検知用の関心領域を兼ねてもよい。その場合、関心領域設定手段２１１は、フレーム画像データ上の所定位置に、関心領域（例えば、図６（Ａ）の「Ｇ２」のみ）を設定する。シーケンス設定手段２１２は、フレーム画像データのうち関心領域Ｇ１において輝度解析を行い、異常検知シーケンスを設定する。この異常検知シーケンスでは、図５に示す経過予想時間Ｒ１は「０」となるので、経過予想時間Ｒ２のみが定義されればよい。異常検知手段２１３は、異常検知シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち関心領域Ｇ１において輝度解析を行い、異常検知処理を行う。
【００７１】
以上のように、異常検知装置２０の第１の変形例によると、関心領域の設定により異常検知処理期間外のフレーム画像データについては異常検知処理を行わないので、前述した実施形態に係る異常検知装置２０の効果と同様に、異常検知処理期間外のフレーム画像データにおける異常とは関係ない輝度変化を無視することができる。また、異常検知装置２０の第１の変形例によると、関心領域の設定により、前述した実施形態に係る異常検知装置２０の効果と同様に、異常に係る僅かな輝度変化についても正確に精度よく検知することができる。
【００７２】
また、撮像装置１０が高速度カメラである場合、異常検知装置２０によれば、前述した実施形態に係る異常検知装置２０の効果と同様に、細かい時間分解能（１／１０００秒単位）で異常検出を行うことができるという有利な効果が得られる。
【００７３】
３．第２の変形例
図４のステップＳＴ６において、シーケンス設定手段２１２は、経過予想時間を、シーケンサ３０が保持する駆動制御シーケンスや、第１の関心領域と第２の関心領域との画面上の距離を実座標系に変換した距離や、シール材Ｕの長さ及び間隔等により求めることについて説明した。しかし、その場合に限定されるものではない。
【００７４】
例えば、経過予想時間は、事前撮像により収集されたフレーム画像により求められる周期性を利用することもできる。その場合について説明する。
【００７５】
まず、シーケンス設定２１２は、事前の製品Ｕの撮像により収集されたフレーム画像の各関心領域内に存在する画素群が示す平均輝度を求めることで、関心領域ごとに平均輝度値の推移を求める。各フレーム画像のうち、動作のきっかけになりそうな部分に関心領域を設定することで、経過予想時間の算出精度を高めることができる。
【００７６】
図９は、関心領域ごとの平均輝度の推移を示す図である。
【００７７】
図９の上段は、図６に示す第１の関心領域Ｇ１内に存在する画素群が示す平均輝度の推移を示す。図９の下段は、図６に示す第２の関心領域Ｇ２内に存在する画素群が示す平均輝度の推移を示す。図９に示すように、第１の関心領域Ｇ１に係る平均輝度の変動と、第２の関心領域Ｇ２に係る平均輝度の変動とには、周期性が認められる。また、第１の関心領域Ｇ１の各周期の開始タイミングｔ３（輝度変化が閾値以上のタイミング）と、第２の関心領域Ｇ２の各周期の開始タイミングｔ４（輝度変化が閾値以上のタイミング）とには、タイムラグが発生している。
【００７８】
シーケンス設定２１２は、開始タイミング同士のタイムラグを、経過予想時間Ｒ１として求める。また、シーケンス設定２１２は、第１の関心領域Ｇ１の開始タイミングｔ３と、第２の関心領域Ｇ２の終了タイミングｔ５（輝度変化が閾値以上のタイミング）との間を、経過予想時間Ｒ２として求める。異常検知手段２１３は、実撮像において、第１の関心領域Ｇ１が平均輝度の閾値以上の変化を検知してから時間Ｒ１経過後に、第２の関心領域内の異常検知処理を開始する。一方で、異常検知手段２１３は、実撮像において、第１の関心領域Ｇ１が平均輝度の閾値以上の変化を検知してから時間Ｒ２経過後に、第２の関心領域内の異常検知処理を終了する。
【００７９】
また、図９に示す関心領域ごとの平均輝度の推移を表示部２５に表示させることで、操作者は、視覚的に経過予測時間を認識することができる。
【００８０】
以上説明した少なくとも１つの実施形態によれば、フレーム画像データの部分のみを輝度解析することで、異常（不具合）のある製品を正確に、精度よく検知することができる。
【００８１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８２】
１  異常検知システム
１０  撮像装置
２０  異常検知装置
２１  制御部
２２  一次記憶部
２３  二次記憶部
２５  表示部
２１１  関心領域設定手段
２１２  シーケンス設定手段
２１３  異常検知手段
２１４  出力手段
２１５  記録制御手段
２１６  再生制御手段
【図１】
2020065109.tif 000003
【図２】
2020065109.tif 000004
【図３】
2020065109.tif 000005
【図４】
2020065109.tif 000006
【図５】
2020065109.tif 000007
【図６】
2020065109.tif 000008
【図７】
2020065109.tif 000009
【図８】
2020065109.tif 000010
【図９】
2020065109.tif 000011
【手続補正書】
【提出日】平成31年4月2日(2019.4.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する関心領域設定手段と、
前記フレーム画像のうち前記設定された第１の関心領域において輝度解析を行うことで基準フレームを求め、前記基準フレームからの経過予想時間に基づいて、異常検知処理を行うタイミングを定義したシーケンスを設定するシーケンス設定手段と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された第２の関心領域において輝度解析を行い、異常検知処理を行う異常検知手段と、
を有し、
前記シーケンス設定手段は、前記基準フレームからの経過予想時間を、画面上における前記設定された第１の関心領域及び前記設定された第２の関心領域の距離を実座標系に変換した距離と、撮像対象物の運搬速度とにより求める、
異常検知装置。
【請求項２】
前記設定された第１の関心領域及び前記設定された第２の関心領域のうち少なくとも一方における前記輝度解析は、前記フレーム画像の１次元領域内に存在する画素群について行われる、
請求項１に記載の異常検知装置。
【請求項３】
前記設定された第１の関心領域及び前記設定された第２の関心領域のうち少なくとも一方における前記輝度解析は、前記フレーム画像の２次元領域内に存在する画素群について行われる、
請求項１に記載の異常検知装置。
【請求項４】
前記異常検知手段により異常が検知された場合、前記異常が検知されたフレーム以前であって所定時間内の複数のフレーム画像を一次記憶部から取得して二次記憶部に記録するように制御すると共に、前記異常が検知されたフレームより後であって所定時間内の複数のフレーム画像を前記二次記憶部に適時記録するように制御する記録制御手段、
をさらに有する請求項１乃至３のうちいずれか１項に記載の異常検知装置。
【請求項５】
前記二次記憶部に記憶された複数のフレーム画像を表示部に、実時間に合わせて再生し、又は、スロー再生する再生制御手段、
をさらに有する請求項４に記載の異常検知装置。
【請求項６】
前記異常検知手段により前記異常が検知された場合、外部装置に前記異常の検知を示す情報と、前記二次記憶部に記憶された複数のフレーム画像とを送信するように通信部を制御する出力手段、
をさらに有する請求項４又は５に記載の異常検知装置。
【請求項７】
前記出力手段は、前記輝度解析の結果を前記外部装置に送信するように前記通信部を制御する、
請求項６に記載の異常検知装置。
【請求項８】
前記シーケンス設定手段は、前記基準フレームからの経過予想時間から前記異常検知処理の開始タイミングを求め、前記基準フレームからの経過予想時間から前記異常検知処理の終了タイミングを求めることで、前記シーケンスを設定する、
請求項１乃至７のうちいずれか１項に記載の異常検知装置。
【請求項９】
前記関心領域設定手段は、前記フレーム画像上の異なる位置に、複数個の第１の関心領域をそれぞれ設定し、
前記シーケンス設定手段は、前記フレーム画像のうち前記複数個の第１の関心領域において輝度解析を行った解析結果の組み合わせに応じて前記基準フレームを求める、
請求項１乃至８のうちいずれか１項に記載の異常検知装置。
【請求項１０】
前記シーケンス設定手段は、前記基準フレームからの経過予想時間を、画面上における前記設定された第１の関心領域及び前記設定された第２の関心領域の距離を実座標系に変換した距離と、前記撮像対象物の運搬速度とに加え、前記撮像対象物の運搬方向の長さ及び間隔により求める、
請求項１乃至９のうちいずれか１項に記載の異常検知装置。
【請求項１１】
前記フレーム画像は、高速度カメラにより収集された画像である、
請求項１乃至１０のうちいずれか１項に記載の異常検知装置。
【請求項１２】
コンピュータに、
フレーム画像上の所定位置に、少なくとも１個の第１の関心領域と少なくとも１個の第２の関心領域とを設定する機能と、
前記フレーム画像のうち前記設定された第１の関心領域において輝度解析を行うことで基準フレームを求め、前記基準フレームからの経過予想時間に基づいて、異常検知処理を行うタイミングを定義したシーケンスを設定する機能と、
前記シーケンスに従った異常検知処理期間中に撮像されたフレーム画像のうち前記設定された第２の関心領域において輝度解析を行い、異常検知処理を行う機能と、
を実現させ、
前記シーケンスを設定する機能は、前記基準フレームからの経過予想時間を、画面上における前記設定された第１の関心領域及び前記設定された第２の関心領域の距離を実座標系に変換した距離と、撮像対象物の運搬速度とにより求める、
異常検知プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
例えば、複数の関心領域が３個の関心領域である場合、１個のタイミング設定用の関心領域で設定された異常検知処理期間中に、２個の検知用の関心領域のそれぞれにおいて異常検知が行われてもよい。また、例えば、複数の関心領域が３個の関心領域である場合、２個のタイミング設定用の関心領域で決定された異常検知処理期間中にそれぞれ、１個の検知用の関心領域において異常検知が行われてもよい。さらに、例えば、複数の関心領域が４個の関心領域である場合、１個目のタイミング設定用の関心領域で決定された異常検知処理期間中に、１個目の異常検知用の関心領域において異常検知が行われる一方で、２個目のタイミング設定用の関心領域で決定された異常検知処理期間中に、２個目の異常検知用の関心領域において異常検知が行われてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
まず、シーケンス設定手段２１２は、事前の製品Ｕの撮像により収集されたフレーム画像の各関心領域内に存在する画素群が示す平均輝度を求めることで、関心領域ごとに平均輝度値の推移を求める。各フレーム画像のうち、動作のきっかけになりそうな部分に関心領域を設定することで、経過予想時間の算出精度を高めることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
シーケンス設定手段２１２は、開始タイミング同士のタイムラグを、経過予想時間Ｒ１として求める。また、シーケンス設定手段２１２は、第１の関心領域Ｇ１の開始タイミングｔ３と、第２の関心領域Ｇ２の終了タイミングｔ５（輝度変化が閾値以上のタイミング）との間を、経過予想時間Ｒ２として求める。異常検知手段２１３は、実撮像において、第１の関心領域Ｇ１が平均輝度の閾値以上の変化を検知してから時間Ｒ１経過後に、第２の関心領域内の異常検知処理を開始する。一方で、異常検知手段２１３は、実撮像において、第１の関心領域Ｇ１が平均輝度の閾値以上の変化を検知してから時間Ｒ２経過後に、第２の関心領域内の異常検知処理を終了する。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2020065109.tif 000012
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2020065109.tif 000013