(57)【要約】【課題】低機能装置を現場に配置した場合にも判定の確度を高めることが可能な画像処理システムを提供する。【解決手段】画像処理システム１００Ａは、低機能装置１０と、低機能装置１０より演算能力の高い高機能装置２０とを用いて少なくとも１つの対象物１〜ｎを判定する。低機能装置１０は、対象物１〜ｎの撮像画像に第１の畳み込みニューラルネットワークを適用して対象物１〜ｎを識別する第１の判定結果を出力する手段と、第１の判定結果が所定条件に合致すれば、撮像画像を高機能装置２０に出力する手段とを含む。高機能装置２０は、第１の畳み込みニューラルネットワークと少なくとも一部が共通のサンプルで事前学習された第２の畳み込みニューラルネットワークを撮像画像に適用して、対象物１〜ｎを識別する第２の判定結果を出力する手段を含む。【選択図】図１
2019028960.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の第１の装置と、前記第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、
前記第１の装置は、
前記対象物の撮像画像に第１のニューラルネットワークを適用して前記対象物を識別する第１の判定結果を出力する手段と、
前記第１の判定結果が所定条件に合致すれば、前記撮像画像を前記第２の装置に出力する手段とを含み、
前記第２の装置は、前記第１のニューラルネットワークと少なくとも一部が共通のサンプルで事前学習された第２のニューラルネットワークを前記撮像画像に適用して、前記対象物を識別する第２の判定結果を出力する手段を含み、
前記第１のニューラルネットワークおよび前記第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有する、画像処理システム。
【請求項２】
１または複数の第１の装置と、前記第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、
前記第１の装置は、
前記対象物の撮像画像に第１のニューラルネットワークを適用して前記対象物を識別する第１の判定結果を出力する手段と、
前記第１の判定結果が所定条件に合致すれば、前記第１のニューラルネットワークの中間段階のデータ信号を前記第２の装置に出力する手段とを含み、
前記第２の装置は、前記第１のニューラルネットワークと少なくとも一部が共通する第２のニューラルネットワークを用いて前記対象物を識別する第２の判定結果を出力する手段を含み、
前記第１のニューラルネットワークおよび前記第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有し、
前記第２の判定結果を出力する手段は、前記第１のニューラルネットワークの前記中間段階に対応する前記第２のニューラルネットワークの層から前記データ信号を適用する、画像処理システム。
【請求項３】
前記第１の装置は、前記第２の判定結果を受けて、前記対象物をリアルタイムで判定する、請求項１または２に記載の画像処理システム。
【請求項４】
前記第１の装置は、前記第１の判定結果が所定の確度未満の前記撮像画像を前記第２の装置に出力する手段を含み、
前記第２の装置は、前記所定の確度未満の前記撮像画像に基づいて、前記第２のニューラルネットワークを再学習する手段を含む、請求項１または２に記載の画像処理システム。
【請求項５】
前記再学習する手段は、オフライン時に前記第２のニューラルネットワークを再学習する、請求項４に記載の画像処理システム。
【請求項６】
前記第２の装置は、
前記再学習された前記第２のニューラルネットワークのうち、前記第１のニューラルネットワークと共通する部分に基づいて、前記第１のニューラルネットワークのモデルを作成する手段と、
前記第１のニューラルネットワークのモデルうち、前記第１のニューラルネットワークに特有の部分を再学習する手段とを含む、請求項４に記載の画像処理システム。
【請求項７】
前記対象物ごとに判定結果を管理する管理装置をさらに備え、
前記第１の装置は、
前記第１の判定結果を前記管理装置に出力する手段と、
前記第１の判定結果が所定の確度未満の前記撮像画像を前記第２の装置に出力する手段とを含み、
前記第２の装置は、前記第２の判定結果を前記管理装置に出力する手段を含み、
前記管理装置は、前記対象物ごとに、前記第１の判定結果および前記第２の判定結果の少なくとも一方を前記対象物と関連付ける、請求項１〜６のいずれか１項に記載の画像処理システム。
【請求項８】
前記第１のニューラルネットワークおよび前記第２のニューラルネットワークは、畳み込みニューラルネットワークである、請求項１〜７のいずれか１項に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理システムに関し、特に、ニューラルネットワークを用いた画像処理システムに関する。
【背景技術】
【０００２】
ＦＡ（Factory Automation）分野では、画像計測処理を用いた自動制御が広く実用化されている。例えば、ワークなどの被検査対象を撮像し、その撮像された画像から欠陥などの特徴量を算出することで、当該ワークについての良否を検査するような検査工程が実現される。
【０００３】
このような画像計測処理の一例として、畳み込みニューラルネットワーク（以下、単に「ＣＮＮ」とも称す。）が注目されている。例えば、非特許文献１に示すように、ＣＮＮは、畳み込み層とプーリング層とが交互に配置された多層化された構造を有するネットワークである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】"ImageNet Classification with Deep Convolutional Neural Networks", A. Krizhevsky, I. Sutskever, and G. E. Hinton, In Advances in Neural Information Processing Systems, 2012
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の非特許文献１に開示される手法のように、ＣＮＮを用いて画像解析などを実行する場合には、複数の学習画像を用いた学習によりＣＮＮを構築し、その構築されたＣＮＮが画像解析に用いられる。
【０００６】
一方、ＣＮＮを用いた画像処理装置は、計測対象が学習した対象物以外の場合、ＣＮＮネットワークモデルのパラメータが最適化されていない。この場合、当該画像処理装置は、学習のために演算性能が必要であり、低機能装置では行なえない。また、当該画像処理装置に演算量の多いネットワークモデルを構築すると、低機能装置では演算性能が不足する。この場合、当該画像処理装置は、一定の時間内に判定を終わらせることができず、リアルタイムで対象物を検査することができない。
【０００７】
この発明の目的は、低機能装置を現場に配置した場合にも判定の確度を高めることが可能な画像処理システムを提供することである。
【課題を解決するための手段】
【０００８】
本開示のある局面によれば、１または複数の第１の装置と、第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、第１の装置は、対象物の撮像画像に第１のニューラルネットワークを適用して対象物を識別する第１の判定結果を出力する手段と、第１の判定結果が所定条件に合致すれば、撮像画像を第２の装置に出力する手段とを含み、第２の装置は、第１のニューラルネットワークと少なくとも一部が共通のサンプルで事前学習された第２のニューラルネットワークを撮像画像に適用して、対象物を識別する第２の判定結果を出力する手段を含み、第１のニューラルネットワークおよび第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有する。
【０００９】
本開示の他の局面によれば、１または複数の第１の装置と、第１の装置より演算能力の高い第２の装置とを用いて少なくとも１つの対象物を判定する画像処理システムであって、第１の装置は、対象物の撮像画像に第１のニューラルネットワークを適用して対象物を識別する第１の判定結果を出力する手段と、第１の判定結果が所定条件に合致すれば、第１のニューラルネットワークの中間段階のデータ信号を第２の装置に出力する手段とを含み、第２の装置は、第１のニューラルネットワークと少なくとも一部が共通する第２のニューラルネットワークを用いて対象物を識別する第２の判定結果を出力する手段を含み、第１のニューラルネットワークおよび第２のニューラルネットワークは、中間層があり、少なくとも一部が共通の部分を有するネットワーク構造を有し、第２の判定結果を出力する手段は、第１のニューラルネットワークの中間段階に対応する第２のニューラルネットワークの層からデータ信号を適用する。
【００１０】
好ましくは、第１の装置は、第２の判定結果を受けて、対象物をリアルタイムで判定する。
【００１１】
好ましくは、第１の装置は、第１の判定結果が所定の確度未満の撮像画像を第２の装置に出力する手段を含み、第２の装置は、所定の確度未満の撮像画像に基づいて、第２のニューラルネットワークを再学習する手段を含む。
【００１２】
好ましくは、再学習する手段は、オフライン時に第２のニューラルネットワークを再学習する。
【００１３】
好ましくは、第２の装置は、再学習された第２のニューラルネットワークのうち、第１のニューラルネットワークと共通する部分に基づいて、第１のニューラルネットワークのモデルを作成する手段と、第１のニューラルネットワークのモデルうち、第１のニューラルネットワークに特有の部分を再学習する手段とを含む。
【００１４】
好ましくは、対象物ごとに判定結果を管理する管理装置をさらに備え、第１の装置は、第１の判定結果を管理装置に出力する手段と、第１の判定結果が所定の確度未満の撮像画像を第２の装置に出力する手段とを含み、第２の装置は、第２の判定結果を管理装置に出力する手段を含み、管理装置は、対象物ごとに、第１の判定結果および第２の判定結果の少なくとも一方を対象物と関連付ける。
【００１５】
好ましくは、第１のニューラルネットワークおよび第２のニューラルネットワークは、畳み込みニューラルネットワークである。
【発明の効果】
【００１６】
この発明によれば、低機能装置を現場に配置した場合であっても判定の確度を高めることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施の形態１による画像処理システム１００Ａを示した模式図である。
【図２】この発明の実施の形態１による低機能装置１０の構成の一例を示した機能ブロック図である。
【図３】この発明の実施の形態１による高機能装置２０の構成の一例を示した機能ブロック図である。
【図４】この発明の実施の形態２による画像処理システム１００Ｂを示した模式図である。
【図５】この発明の実施の形態３による画像処理システム１００Ｃの判断の流れの一例を示した模式図である。
【図６】図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの一例を示した模式図である。
【図７】図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの他の一例を示した模式図である。
【図８】この発明の実施の形態４による画像処理システム１００Ｄの判断の流れの一例を示した模式図である。
【図９】図８の判断の流れに対応する画像処理システム１００ＤのＣＮＮモデルの一例を示した模式図である。
【図１０】この発明の実施の形態５による画像処理システム２００を示した模式図である。
【図１１】この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示した模式図である。
【図１２】この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示したフロー図である。
【図１３】この発明の実施の形態５による画像処理システム２００のワークの識別度に対するデータの配分を示した図である。
【発明を実施するための形態】
【００１８】
この発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００１９】
以下では、ニューラルネットワークの一例として、畳み込みニューラルネットワーク（ＣＮＮ）を例に説明する。しかし、画像処理に用いられるネットワーク構造は、ＣＮＮ以外にも、たとえば、ディープビリーフネットワーク（ＤＢＮ）や、積層デノイジングオートエンコーダ（ＳＤＡ）が存在する。
【００２０】
本発明では、中間層があり、少なくとも一部が共通の部分を持つネットワーク構造を対象としている。具体的には、ＣＮＮだけでなく、中間層を持つニューラルネットワーク、またはディープニューラルネットワークも本願発明の対象に含まれる。
【００２１】
［実施の形態１］
図１は、この発明の実施の形態１による画像処理システム１００Ａを示した模式図である。
【００２２】
図１を参照して、画像処理システム１００Ａは、低機能装置１０と、高機能装置２０とを含む。低機能装置とは、たとえば、ＦＡ現場において入力および判定を行なうセンサコントローラを含む、演算能力が比較的低い装置を指す。高機能装置とは、たとえば、低機能装置より演算能力が高いＰＣ（Personal Computer）またはワークステーション、あるいはクラウドなどにつながっているサーバーを含む、演算能力が比較的高い装置を指す。低機能装置１０は、撮像装置１１を含む。高機能装置２０は、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
【００２３】
撮像装置１１は、判定時間Ｔｊの間隔で流れてくるワーク１，２，３，・・・，ｎ（以下、ワークｎとも総称する）を順次撮像する。低機能装置１０は、撮像装置１１の撮像結果に基づいて、画像信号ＧｒまたはＣＮＮの中間段階のデータ信号Ｄｉを生成し、これを高機能装置２０に送信する。画像信号Ｇｒは、ワークｎの識別度が所定値（たとえば５０％）未満であって識別が曖昧なグレー判定を示す場合がある。画像処理システム１００Ａは、当該識別度に応じてワークｎの傷の有無等を判断する。
【００２４】
高機能装置２０は、画像信号Ｇｒおよびデータ信号Ｄｉを受けて、高ＣＮＮ演算部２３において画像信号Ｇｒまたはデータ信号ＤｉのＣＮＮ演算を行なう。高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎの判定結果を示す判定信号Ｊｄを生成し、これを低機能装置１０に送信する。高機能装置２０は、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍを低機能装置１０に送信する。
【００２５】
図２は、この発明の実施の形態１による低機能装置１０の構成の一例を示した機能ブロック図である。
【００２６】
図２を参照して、低機能装置１０は、撮像装置１１と、カメラＩ／Ｆ（Interface）１２と、ストレージ１３と、ＣＰＵ（Central Processing Unit）１４と、ＲＡＭ（Random Access Memory）１５と、通信Ｉ／Ｆ１６とを含む。
【００２７】
撮像装置１１は、ワークｎを撮像して、その撮像結果をカメラＩ／Ｆ１２に送信する。カメラＩ／Ｆ１２は、撮像結果をストレージ１３、ＣＰＵ１４、ＲＡＭ１５および通信Ｉ／Ｆ１６に送信する。ストレージ１３は、撮像装置１１での撮像結果、ＣＰＵ１４で用いられる演算プログラム、ＣＰＵ１４での演算結果などを長期的に記憶する。ＣＰＵ１４は、撮像装置１１での撮像結果を低ＣＮＮによって演算する。ＲＡＭ１５は、ＣＰＵ１４での演算の途中結果などを短期的に記憶する。通信Ｉ／Ｆ１６は、ＣＰＵ１４で演算された画像信号またはＣＮＮの中間段階のデータ信号を高機能装置２０に出力するとともに、高機能装置２０からの信号を受ける。
【００２８】
図３は、この発明の実施の形態１による高機能装置２０の構成の一例を示した機能ブロック図である。
【００２９】
図３を参照して、高機能装置２０は、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３と、ＲＡＭ２４と、通信Ｉ／Ｆ２５とを含む。高ＣＮＮ演算部２３は、精密な判定ができるＣＮＮの学習済みのネットワークモデルを備える。
【００３０】
マルチコアプロセッサ２１は、通信Ｉ／Ｆ２５を介して低機能装置１０から送信される画像信号またはデータ信号のＣＮＮ演算等を行なう。ストレージ２２は、低機能装置１０から送信される画像信号およびデータ信号、マルチコアプロセッサ２１で用いられる演算プログラム、マルチコアプロセッサ２１での演算結果などを長期的に記憶する。
【００３１】
高ＣＮＮ演算部２３は、低機能装置１０から送信される画像信号またはデータ信号を高ＣＮＮで演算する。また、高ＣＮＮ演算部２３は、オフラインで、蓄積されたグレー判定の画像信号を用いて再学習を行なう。また、高ＣＮＮ演算部２３は、低機能装置１０側で構築されたモデルに対しても再学習を行ない、当該再学習されたモデルを低機能装置１０に送信してＣＮＮを更新する。
【００３２】
ＲＡＭ２４は、マルチコアプロセッサ２１での演算の途中結果などを短期的に記憶する。通信Ｉ／Ｆ２５は、ワークｎの判定結果を示す判定信号および再学習済みのモデルデータ信号を低機能装置１０に出力するとともに、低機能装置１０からの信号を受ける。
【００３３】
以上のように、実施の形態１によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。また、高機能装置が低機能装置からＣＮＮの中間段階のデータ信号を受けて識別し判定することにより、リアルタイムで検査を行なうことができる。
【００３４】
［実施の形態２］
図４は、この発明の実施の形態２による画像処理システム１００Ｂを示した模式図である。
【００３５】
図４を参照して、画像処理システム１００Ｂは、低機能装置１０Ｘ，１０Ｙと、高機能装置２０とを含む。低機能装置１０Ｘ，１０Ｙは、撮像装置１１Ｘ，１１Ｙをそれぞれ含む。高機能装置２０は、図１と同様に、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
【００３６】
撮像装置１１Ｘは、判定時間Ｔ１の間隔で流れてくるワーク１Ｘ，２Ｘ，３Ｘ，・・・，ｎＸ（以下、ワークｎＸとも総称する）を順次撮像する。低機能装置１０Ｘは、撮像装置１１Ｘの撮像結果に基づいて、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これらを高機能装置２０に送信する。
【００３７】
撮像装置１１Ｙは、判定時間Ｔ２の間隔で流れてくるワーク１Ｙ，２Ｙ，３Ｙ，・・・，ｎＹ（以下、ワークｎＹとも総称する）を順次撮像する。低機能装置１０Ｙは、撮像装置１１Ｙの撮像結果に基づいて、画像信号Ｇｒ２またはＣＮＮの中間段階のデータ信号Ｄｉ２を生成し、これを高機能装置２０に送信する。
【００３８】
高機能装置２０は、画像信号Ｇｒ１，Ｇｒ２またはデータ信号Ｄｉ１，Ｄｉ２を受けて、高ＣＮＮ演算部２３において画像信号Ｇｒ１，Ｇｒ２またはデータ信号Ｄｉ１，Ｄｉ２のＣＮＮ演算を行なう。高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎＸの判定結果を示す判定信号Ｊｄ１を生成し、これを低機能装置１０Ｘに送信する。また、高機能装置２０は、高ＣＮＮ演算部２３での演算結果に基づいて、ワークｎＹの判定結果を示す判定信号Ｊｄ２を生成し、これを低機能装置１０Ｙに送信する。高機能装置２０は、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１，Ｄｍ２を低機能装置１０Ｘ，１０Ｙにそれぞれ送信する。
【００３９】
以上のように、実施の形態２によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において複数の低機能装置の１つ以上で判定が難しいワークであっても高機能装置を介してワークの識別度を高めて判定することができる。
【００４０】
［実施の形態３］
図５は、この発明の実施の形態３による画像処理システム１００Ｃの判断の流れの一例を示した模式図である。
【００４１】
図５の画像処理システム１００Ｃは、低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎと、高機能装置ＨＦＤとを含む。低機能装置ＬＦＤ１は、撮像装置の撮像結果を判断して、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これを高機能装置２０に送信する。高機能装置ＨＦＤは、高ＣＮＮ演算部での演算結果を判断して、ワークの判定結果を示す判定信号Ｊｄ１を生成し、これを低機能装置ＬＦＤ１に送信する。高機能装置ＨＦＤは、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１を低機能装置ＬＦＤ１に送信する。
【００４２】
図６は、図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの一例を示した模式図である。
【００４３】
図６に示すように、低機能装置ＬＦＤ１は、畳み込み層１０Ｃを含むＣＮＮ１０Ｍのネットワークモデルを有する。ＣＮＮは、畳み込み層（Convolution Layer）と全結合層（Fully Connected Layer）とを含む。この例では、低機能装置ＬＦＤ１から高機能装置ＨＦＤへの画像信号Ｇｒ１として画像信号が送られており、これを受けて高機能装置ＨＦＤが低機能装置ＬＦＤ１の判断を支援している。高機能装置ＨＦＤは、畳み込み層１０Ｃを含むＣＮＮ２０Ｍのネットワークモデルを有する。
【００４４】
図７は、図５の判断の流れに対応する画像処理システム１００ＣのＣＮＮモデルの他の一例を示した模式図である。
【００４５】
図７に示すように、低機能装置ＬＦＤ１は、畳み込み層１０Ｃ１，１０Ｃ２を含むＣＮＮ１０Ｍのネットワークモデルを有する。この例では、低機能装置ＬＦＤ１から高機能装置ＨＦＤへＣＮＮの中間段階のデータ信号Ｄｉ１が送られており、これを受けて高機能装置ＨＦＤが低機能装置ＬＦＤ１の判断を一部支援している。低機能装置ＬＦＤ１は、ＣＮＮの中間段階のデータ信号Ｄｉ１を送った結果、畳み込み層１０Ｃ１を含むＣＮＮ１０ＸＭのネットワークモデルとなる。高機能装置ＨＦＤは、データ信号Ｄｉ１を受けた結果、畳み込み層１０Ｃ２を含むＣＮＮ２０ＸＭのネットワークモデルとなる。
【００４６】
以上のように、実施の形態３によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置くことにより、ＣＮＮを用いた検査において、低機能装置から画像信号が送られた場合には、低機能装置の判断を支援する。また、低機能装置からＣＮＮの中間段階のデータ信号が送られた場合には、低機能装置の判断を一部支援する。これにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。
【００４７】
［実施の形態４］
図８は、この発明の実施の形態４による画像処理システム１００Ｄの判断の流れの一例を示した模式図である。
【００４８】
図８の画像処理システム１００Ｄは、低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎと、高機能装置ＨＦＤとを含む。低機能装置ＬＦＤ１は、撮像装置の撮像結果を判断して、画像信号Ｇｒ１またはＣＮＮの中間段階のデータ信号Ｄｉ１を生成し、これを高機能装置２０に送信する。高機能装置ＨＦＤは、高ＣＮＮ演算部での演算結果を判断して、ワークの判定結果を示す判定信号Ｊｄ１０を生成し、これを低機能装置ＬＦＤ１に送信する。高機能装置ＨＦＤは、ＣＮＮの再学習時には、再学習済みのモデルデータ信号Ｄｍ１０を低機能装置ＬＦＤ１に送信する。
【００４９】
続いて、低機能装置ＬＦＤ２は、撮像装置の撮像結果を判断して、画像信号Ｇｒ２またはＣＮＮの中間段階のデータ信号Ｄｉ２を生成し、これを高機能装置２０に送信する。同様に、低機能装置ＬＦＤｎは、撮像装置の撮像結果を判断して、画像信号ＧｒｎまたはＣＮＮの中間段階のデータ信号Ｄｉｎを生成し、これを高機能装置２０に送信する（ｎ＝１〜ｎ）。
【００５０】
高機能装置ＨＦＤは、低機能装置ＬＦＤｎからの画像信号ＧｒｎまたはＣＮＮの中間段階のデータ信号Ｄｉｎを受けて、ＣＮＮモデルを再学習する。高機能装置ＨＦＤは、再学習の結果をふまえて、ワークの判定結果を示す判定信号Ｊｄｎおよび再学習済みのモデルデータ信号Ｄｍｎを生成し、これらを低機能装置ＬＦＤ１，ＬＦＤ２，・・・，ＬＦＤｎにそれぞれ送信する。
【００５１】
図９は、図８の判断の流れに対応する画像処理システム１００ＤのＣＮＮモデルの一例を示した模式図である。
【００５２】
図９に示すように、高機能装置ＨＦＤは、畳み込み層２０Ｃを含むＣＮＮ２０Ｍのネットワークモデルを有する。この例では、高機能装置ＨＦＤから低機能装置ＬＦＤ１，ＬＦＤ２へ、ワークの判定結果を示す判定信号および再学習済みのモデルデータ信号がそれぞれ送られている。低機能装置ＬＦＤ１，ＬＦＤ２は、再学習結果を受けて、ＣＮＮモデルのうち全結合層の部分を改変する。その結果、低機能装置ＬＦＤ１は、畳み込み層２０Ｃおよび全結合層１０Ｘｅを含むＣＮＮ１０ＸＭのネットワークモデルを有する。低機能装置ＬＦＤ２は、畳み込み層２０Ｃおよび全結合層１０Ｙｅを含むＣＮＮ１０ＹＭのネットワークモデルを有する。
【００５３】
上記のように、再学習では、まず、高機能装置ＨＦＤが、低機能装置ＬＦＤ１，ＬＦＤ２から画像信号またはＣＮＮの中間段階のデータ信号を受けて、ＣＮＮモデルの全体を再学習する。高機能装置ＨＦＤは、学習済みの高機能装置側のＣＮＮモデルの一部分を移植した低機能装置用のＣＮＮモデルを作成し、それを再学習する。低機能装置ＬＦＤ１，ＬＦＤ２は、高機能装置ＨＦＤから当該低機能装置用の再学習済みＣＮＮモデルをそれぞれ受ける。
【００５４】
以上のように、実施の形態４によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置き、低機能装置側ではそのネットワークの一部分を使用して新たなＣＮＮモデルを構築することにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して判定することができる。
【００５５】
［実施の形態５］
図１０は、この発明の実施の形態５による画像処理システム２００を示した模式図である。
【００５６】
図１０を参照して、画像処理システム２００は、低機能装置１０と、高機能装置２０と、品質管理装置３０と、ケーブル５０とを含む。低機能装置１０は、図１と同様に、撮像装置１１を含む。高機能装置２０は、図１と同様に、マルチコアプロセッサ２１と、ストレージ２２と、高ＣＮＮ演算部２３とを含む。
【００５７】
撮像装置１１は、流れてくるワーク１，２，３，・・・，ｎ（以下、ワークｎとも総称する）を順次撮像する。低機能装置１０は、撮像装置１１の撮像結果に基づいて、比較的識別度の高い画像信号Ｇｒ１、またはデータ信号Ｄｉ１を生成し、これをケーブル５０を介して品質管理装置３０に送信する。また、低機能装置１０は、撮像装置１１の撮像結果に基づいて、比較的識別度の低い画像信号Ｇｒ２、またはデータ信号Ｄｉ２を生成し、これをケーブル５０を介して高機能装置２０に送信する。高機能装置２０は、画像信号Ｇｒ２およびデータ信号Ｄｉ２を高ＣＮＮ演算部２３でさらに演算した判定信号Ｋｄおよびモデルデータ信号Ｅｍを品質管理装置３０に送信する。
【００５８】
図１１は、この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示した模式図である。
【００５９】
図１１の画像処理システム２００は、低機能装置ＬＦＤと、高機能装置ＨＦＤと、品質管理装置ＱＭＤとを含む。低機能装置ＬＦＤは、撮像装置の撮像結果を判断して、比較的識別度の高い画像信号Ｇｒ１、またはデータ信号Ｄｉ１を生成し、これを品質管理装置ＱＭＤに送信する。また、低機能装置ＬＦＤは、撮像装置の撮像結果に基づいて、比較的識別度の低い画像信号Ｇｒ２、またはデータ信号Ｄｉ２を生成し、これを高機能装置ＨＦＤに送信する。高機能装置ＨＦＤは、画像信号Ｇｒ２またはデータ信号Ｄｉ２を高ＣＮＮ演算部でさらに演算した判定画像および判定結果を含む判定信号Ｋｄならびに再学習時にはモデルデータ信号Ｅｍを品質管理装置ＱＭＤに送信する。
【００６０】
図１２は、この発明の実施の形態５による画像処理システム２００の判断の流れの一例を示したフロー図である。
【００６１】
図１２を参照して、まず、ステップＳ１において、低機能装置１０で対象物たるワークｎを識別する。ワークｎの識別度が一定のしきい値（たとえば５０％）以上であれば、ステップＳ２において、ワークの番号、判定画像および判定結果を品質管理装置３０に送る。一方、ワークｎの識別度が一定のしきい値未満であれば、ステップＳ３において、ワークの番号および判定画像を高機能装置２０に送る。
【００６２】
ステップＳ４では、高機能装置２０で、低機能装置１０からの判定画像に基づいてワークを再度判定する。ステップＳ５では、ワークの番号、判定画像および判定結果を高機能装置２０から品質管理装置３０に送る。ステップＳ６では、ワークの残りがゼロかどうかを判定する。ワークの残りがゼロでなければ、ステップＳ１に戻る。ワークの残りがゼロであれば、検査を終了する。
【００６３】
図１３は、この発明の実施の形態５による画像処理システム２００のワークの識別度に対するデータの配分を示した図である。
【００６４】
図１３に示すように、ワーク１は、低機能装置ＬＦＤでの識別度が７０％であるため、低機能装置ＬＦＤから品質管理装置ＱＭＤにのみワークの番号、判定画像およびＯＫの判定結果が送られ、高機能装置ＨＦＤには送られない。一方、ワーク２は、低機能装置ＬＦＤでの識別度が４５％であるため、ワークの番号、判定画像およびＮＧの判定結果が、低機能装置ＬＦＤから高機能装置ＨＦＤに送られる。高機能装置ＨＦＤでは、判定画像を高ＣＮＮ演算部でさらに演算し、識別度が８０％に高められたＯＫの判定結果が、高機能装置ＨＦＤから品質管理装置ＱＭＤに送られる。品質管理装置ＱＭＤは、ワークの番号ごとに、ワークの判定情報等をワークと関連付ける。
【００６５】
以上のように、実施の形態５によれば、高機能装置側に精密な判定ができるＣＮＮの学習済みのネットワークモデルを置き、さらに対象物を管理する品質管理装置を置くことにより、ＣＮＮを用いた検査において低機能装置で判定が難しいワークであっても高機能装置を介して効率的に判定および管理することができる。
【００６６】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６７】
１０，１０Ｘ，１０Ｙ，ＬＦＤ，ＬＦＤ１，ＬＦＤ２，ＬＦＤｎ  低機能装置、１０Ｃ，１０Ｃ１，１０Ｃ２，２０Ｃ  畳み込み層、１０Ｘｅ，１０Ｙｅ  全結合層、１１，１１Ｘ，１１Ｙ  撮像装置、１２  カメラＩ／Ｆ、１３，２２  ストレージ、１４  ＣＰＵ、１５，２４  ＲＡＭ、１６，２５  通信Ｉ／Ｆ、２０，ＨＦＤ  高機能装置、２１  マルチコアプロセッサ、２３  高ＣＮＮ演算部、３０，ＱＭＤ  品質管理装置、５０  ケーブル、１００Ａ，１００Ｂ，２００  画像処理システム。
【図１】
2019028960.tif 000003
【図２】
2019028960.tif 000004
【図３】
2019028960.tif 000005
【図４】
2019028960.tif 000006
【図５】
2019028960.tif 000007
【図６】
2019028960.tif 000008
【図７】
2019028960.tif 000009
【図８】
2019028960.tif 000010
【図９】
2019028960.tif 000011
【図１０】
2019028960.tif 000012
【図１１】
2019028960.tif 000013
【図１２】
2019028960.tif 000014
【図１３】
2019028960.tif 000015