(57)【要約】【課題】撮像した情報を基に、不良が発生する前に不良の発生を予知して不良発生の予知を行うことができる不良予知システムを提供する。【解決手段】監視対象２を撮像する撮像手段３と、この撮像手段３によって撮像した映像を記録させる記録手段４と、記録手段４に記録された映像を用いて問題が発生しない通常状態および不良が発生する不良発生状態を学習する人工知能５が搭載された情報処理装置６と、この人工知能５によって学習した不良発生状態を示す映像を判別するときに不良発生を予知し、その通知を行う不良予知通知手段７とを備える。【選択図】図１
2020160518.tif 000002
【特許請求の範囲】
【請求項１】
監視対象を撮像する撮像手段と、
この撮像手段によって撮像した映像を記録させる記録手段と、
記録手段に記録された映像を用いて問題が発生しない通常状態および不良が発生する不良発生状態を学習する人工知能が搭載された情報処理装置と、
この人工知能によって学習した不良発生状態を示す映像を判別するときに不良発生を予知し、その通知を行う不良予知通知手段とを備えることを特徴とする不良予知システム。
【請求項２】
前記撮像手段は車両の前方および／または後方を撮像する車載カメラであり、
前記人工知能は車載カメラによって撮像した映像から、視線、電子機器の使用状況、移動方向の変化、速度の変化のうち少なくとも１つに注目する機械学習を行なわせるものである請求項１に記載の不良予知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不良予知システムに関する。
【背景技術】
【０００２】
現状の画像認識方法および画像認識装置は、完成品の画像を基に行なわれる。その主な用途は、パターン認識による完成品の誤欠品、組み間違いの検出に使用されている。製品の完成品の画像データを情報処理装置に登録し、ラインの最終工程において情報処理装置の画像データを製品の画像を比較確認し、完成度の良否判定を行なっていた。
【０００３】
例えば、コンビニエンス店にて提供されるおでん製造ラインの検査工程で、カメラを使用し画像比較で検査する画像検査方法が考えられる。
【０００４】
図４は従来の画像検査方法を説明する図である。すなわち、従来の画像検査方法は、製品９０を構成する複数の具材９１〜９３を櫛９４に刺し通すことにより形成されるものであって、具材９１〜９３をそれぞれ櫛９４に刺し通す３つの製造工程において完成された製品９０Ａ，９０Ｂ…を見本となる製品９０の画像と比較することにより、製品９０Ａ，９０Ｂ…の検査を行ない、良否判定を行なって不良品の製品９０Ａ，９０Ｃ，９０Ｄ…を排除することが行なわれている。これにより、不良品の製品９０Ａ，９０Ｃ，９０Ｄ…がそのまま出荷されることがない。
【０００５】
また、製造した製品９０Ａ，９０Ｂ…を撮像した映像を映像処理によって見本となる製品９０の画像と比較する演算処理においては種々の方法が考えられる。
【０００６】
特許文献１には、物品の形状をとらえるための映像処理の方法について記載されており、欠陥の種類に関係なく、欠陥検出の精度を一定にすることができるパターン欠陥検査装置が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開８−１５２３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像検査方法において検査される製品９０Ａ，９０Ｂ…は何れも具材９１〜９３の組み付けが完了した状態のものであるから、製造工程中のどの時点において組み付け間違い等が発生した場合においても、最終検査工程までは良品または不良品の判定ができないという問題があった。
【０００９】
加えて、不良品の組付けが完了していると元に戻せないために、不良品が廃棄処分となることがあり、これによって材料の無駄な消費が行なわれるだけでなく、不良品の処分費などの余分なコストがかかることが懸念される。
【００１０】
本発明は上述の事柄を考慮に入れてなされたものであり、撮像した情報を基に、不良が発生する前に不良の発生を予知して通知できる不良予知システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記問題点を解決するために、第１発明は、監視対象を撮像する撮像手段と、この撮像手段によって撮像した映像を記録させる記録手段と、記録手段に記録された映像を用いて問題が発生しない通常状態および不良が発生する不良発生状態を学習する人工知能が搭載された情報処理装置と、この人工知能によって学習した不良発生状態を示す映像を判別するときに不良発生を予知し、その通知を行う不良予知通知手段とを備えることを特徴とする不良予知システムを提供する（請求項１）。
【００１２】
撮像手段によって撮像された映像は記録手段に記録され、記録手段に記録された映像は情報処理装置の人工知能によって学習のために用いられる。すなわち、人工知能は問題を起こさない通常状態の映像と、不良が発生する不良発生状態を学習することにより、不良発生を予知することができる。次いで、不良発生が予知できた時点で不良予知通知手段がこれを通知することにより、不良発生前にこれに対応することができる。
【００１３】
監視対象が製造工程における製品であれば、不良品の製造につながる製造工程の途中において不良発生を予知することができ、不良発生を予知できた時点で対象となる監視対象を不良発生予備軍として手直し工程に回すことが可能となる。すなわち、不良が発生しなくなり、歩留まりが良くなり、不良製品の廃棄処分をなくすことも可能となる。とりわけ、手直しが不可となる加工を行う前に、不良発生の予知と通知を行い、可能なうちに手直しを行うことにより不良品の発生をなくすことが可能となる。
【００１４】
なお、本発明における不良とは製品としての基準に達しない不良品のみならず、事故・犯罪・災害なども含む、良くない状況が考えられる。撮像手段は可視光を用いて撮像するカメラのみならず、赤外光・紫外線・Ｘ線を含む電磁波を用いて像を撮像する検出器であっても、超音波の反響および／または透過率をマッピングする検出器であってもよい。
【００１５】
前記不良予知通知手段は不良発生を通知させるものであり、監視対象が不良品を検知する場合には警告音を発生させるスピーカーまたはブザーを含む発音装置などが考えられる。監視対象が良くない状況の発生予知する場合には発音装置のみならず、画像を表示させる表示器が考えられる。
【００１６】
前記撮像手段は車両の前方および／または後方を撮像する車載カメラであり、前記人工知能は車載カメラによって撮像した映像から、視線、電子機器の使用状況、移動方向の変化、速度の変化のうち少なくとも１つに注目する機械学習を行なわせるものである場合（請求項２）には、車載カメラが周囲の車両を撮像し、人工知能によって撮像された映像を用いて、周辺の車両・自転車・人のうち少なくとも一つを監視対象として、その映像から危険を予知する監視対象を早期に発見して不良予知通知手段から不良予知通知を行なうことができる。
【００１７】
人工知能が車両、自転車、人の少なくとも一つの視線、電子機器の使用状況、移動方向の変化、速度の変化に注目して機械学習を行なうことにより、不良予知を効率的に行なうことができ、的確な学習を行なうことができる。つまり、不良予知として事故の発生を予知することにより、交通事故を防止できる。
【００１８】
すなわち、監視対象の視線に注目して機械学習を行なわせることにより、監視対象の車両（四輪車、二輪車などの原動機付移動手段）や自転車の運転者または歩行者が前方不注意の状態であることを識別できる。また、監視対象の電子機器の使用状況に注目して機械学習を行なわせることにより、監視対象の車両や自転車の運転者または歩行者が携帯電話などの携帯通信端末を含む電子機器に注意をそらされた危険状態であることを識別できる。監視対象の移動方向の変化、速度の変化に注目して機械学習を行なわせることにより、車両、自転車、歩行者の衝突予測を行なうことができる。
【００１９】
前記不良予知通知手段は車両に搭載されたカーナビゲーションシステムの画面や案内を用いて、危険がどの方向から迫っているのかを通知することができる。機械学習を行なうポイントが明確に示されていることにより、撮像した画像の要部においては詳細に記録し、学習を行なうポイントに影響しない部分の映像は大まかに記録することにより記録容量を削減することも可能である。
【００２０】
前記情報処理装置は複数の前記撮像手段および不良予知通知手段とデータ通信可能に構成されており、各撮像手段によって撮像した映像を用いて監視対象毎に不良発生履歴を記録し、人工知能は監視対象毎の不良発生率を加味した不良予知を行なうものであり、各撮像装置と不良予知通知手段は前記情報処理装置とデータ通信可能な通信部を備えた処理部に接続されている場合には、複数の撮像手段によって撮像した多量の撮像を用いて、不良発生予知をより効率的かつ正確に行なうことができる。この場合の不良予知には、監視対象の不良品の発生予知や、事故発生予知のみならず、犯罪発生予知も含まれる。
【発明の効果】
【００２１】
上述したように、本発明によれば不良が発生する前にその傾向を人工知能によって確認して不良発生の予知を行なうことができる不良予知システムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態に係る不良予知システムを示す図である。
【図２】前記不良予知システムを用いた不良発生予知の例を示す図である。
【図３】第２実施形態にかかる不良予知システムの例を示す図である。
【図４】従来の製品の不良検査システムの動作を説明する図である。
【発明を実施するための形態】
【００２３】
以下、図１，図２を用いて、本発明の第一実施形態にかかる不良予知システム１とその動作を説明する。
【００２４】
図１に示すように、本発明の不良予知システム１は、監視対象としての製品２を撮像する撮像手段の例としてのカメラ３と、カメラ３によって撮像した映像を記録させる記録手段４と、記録手段４に記録された映像を用いて問題が発生しない通常状態および不良が発生する不良発生状態を学習する人工知能５が搭載された情報処理装置６と、この人工知能５によって学習した不良発生状態を示す映像を判別するときに不良発生を予知し、それを通知する不良予知通知手段７とを備える。
【００２５】
前記製品２は一例としておでんの具であり、串１０にいくつかの具材１１，１２，１３を正しい順番で、かつ、正しい方向に刺し通して形成されるものである。カメラ３は監視対象となる製品２の全体を常に撮像するものであり、製品２として串１０に各具材１１，１２，１３が組み付けられる様子を撮像するものである。なお、本実施形態の組み付け作業は例えば作業員によって行われる。
【００２６】
本実施形態の記録手段４は情報処理装置６内に組み込まれているハードディスクを用いて形成されているが、この記録手段４を情報処理装置６と別途設けてもよいことはいうまでもない。人工知能５は例えば情報処理装置６によって実行可能なプログラムによって実現可能であるが、人工知能５として別途の専用ハードウェアを搭載した情報処理装置６を形成してもよいことはいうまでもない。
【００２７】
人工知能５は記録手段４に記録された映像を学習して、最終的にサンプルとなる製品２の型に対して予め定められた基準（例えば、串１０が刺さる位置が中心から外れる許容範囲、差し込み角度の許容範囲、組み付け順序などを含む基準）の範囲内に収まる製造行程と、基準を外れる不良品となる製品２の製造工程を学習し、基準を外れる不良品となる製造工程に該当する作業工程が行われた時点で不良発生を予知して不良予知通知手段７を用いて不良通知を行うものである。
【００２８】
本実施形態の前記不良通知手段７はブザーであって、作業員に対して不良予知を通知するものである。すなわち、作業員のミスにより、具材１１，１２，１３の組み付け順序を間違えたり、刺し通す方向や位置が規定の範囲を超えるものとなることが生じうる。このようなときには不良通知手段７のブザーがなることにより、作業員は自らの作業工程が不良品を生み出す結果につながっていることを容易に判断することができ、早いうちに手直しを行うことができる。
【００２９】
図２（Ａ）〜図２（Ｄ）は製品２の製造工程を示す各段階を示すものであり、符号２’は、人工知能５によって速やかに不良品と指摘され、手直しを必要とする製品を示している。本発明の不良予知システム１を用いることにより、不良品の発生予備軍となる製品２’を速やかに見つけて、これを早急に手直しすることができるので、歩留まりを向上させることができる。
【００３０】
つまり、図２（Ｄ）に示す組み付けの最終段階において不良品のない製品２を製造することができる。
【００３１】
図３は本発明の第２実施形態にかかる不良予知システム２０の全体構成を示す図である。
【００３２】
図３に示す不良予知システム２０における、撮像手段は車両２１の前後に搭載された車載カメラ２２Ｆ，２２Ｒであり、これらの車載カメラ２２Ｆ，２２Ｒで撮像された映像は処理部２３によってまとめられて一旦記録され、インターネット２４への無線にて接続可能な通信部２５を備えるものであり、インターネット２４への無線接続が可能なエリアにおいて各車載カメラ２２Ｆ，２２Ｒの映像をネットワーク上に用意された記録手段４としての記録サーバ２６に転送されて記録させるように構成している。
【００３３】
また、本実施形態の情報処理装置６はインターネット２４に接続されて記録サーバ２６にアクセス可能なデータ通信部２７を備え、この記録サーバ２６を介して各車載カメラ２２Ｆ，２２Ｒに接続可能に構成されている。加えて、各車両２１内の処理部２３内にも各車載カメラ２２Ｆ，２２Ｒによって撮像した映像から学習する人工知能５を搭載してあることが好ましい。２８は各車両２１に搭載されたナビゲーションシステムを用いた不良予知通知手段である。
【００３４】
図３に示す例では、車両２１の周りに２台の車両３０，３１とその運転手３０Ｄ，３１Ｄに加えて、一人の歩行者３２が監視対象として存在する。車載カメラ２２Ｆ，２２Ｒはこれらの監視対象３０〜３２を撮像すると、その人工知能５は撮像した映像から各監視対象３０〜３２の視線３０Ａ，３１Ａ，３２Ａに注目した機械学習を行うと同時に、監視対象３０〜３２の電子機器３０Ｂ，３２Ｂの使用状況に注目した機械学習、および監視対象３０〜３２の移動方向、速度に注目した機械学習を行う。
【００３５】
本例では、監視対象３０は運転中に電子機器３０Ｂの携帯電話を使用しており注意が散漫になっているかもしれないことを判別することができ、監視対象３１の視線３１Ａは車両２１と道路脇との隙間を見ており、二輪車両の幅ぎりぎりの狭い隙間を通って追い越そうとするかもしれないこと判別することができ、監視対象３２の視線３１Ａは手元の情報端末に向かっており歩きながら情報端末３２Ｂの操作に集中して周囲が見えなくなっているかもしれないことを判別できる。
【００３６】
それぞれの危険性は自車両２１との位置関係や各監視対象３０の向かう方向、速度の変化から大いに異なるものであり、人工知能５はこれらの情報を総括して事故発生の危険性が予め設定した範囲を超えるときに不良予知通知手段としてのカーナビゲーションシステム２８に割り込みをかけて運転者に警告を通知することができる。
【００３７】
加えて、各車載カメラ２２Ｆ、２２Ｆ…によって撮像された映像を記録サーバ２６内に記録させることにより、人工知能５が実際に事故に至った状況を学習してより精度の高い判断基準を各車両２１の人工知能５によっても行わせるための判断基準レポートを作成して配布させることが可能である。
【００３８】
なお、前記判断基準レポートには多数の車載カメラ２２Ｆ，２２Ｒを用いて収集した映像を用いて学習した内容に加えて、各監視対象３０，３１，３２…を識別させて、常習的に危険運転を行う率や、常習的に電子機器を操作する率などの事故発生確率を各車両２１の人工知能５が活用できる判断基準レポートとして配布するようにしてもよい。
【００３９】
上記構成の不良予知システム２０を用いることにより、交通事故の発生を未然に予知し、運転者に不良状態の予知通知を行うことにより、事故発生を未然に防ぐことが可能となる。
【００４０】
上述の実施形態では車載カメラ２２Ｆ，２２Ｒの例として可視光を用いたカメラの例を示しているが、紫外光、赤外光、Ｘ線などのほか波長の電磁波を用いた撮像手段であっても、超音波を利用してマッピングを行う検出器などの変形も考えら得ることはいうまでもない。
【００４１】
また、不良予知システムは、不良品の発生および事故の発生などを例にして説明しているものの、本発明の不良予知システムを用いて犯罪の発生を不良状態として予知して未然に防ぐことも可能となることはいうまでもない。
【符号の説明】
【００４２】
１  不良予知システム
２  監視対象
３  撮像手段
４  記録手段
５  人工知能
６  情報処理装置
７  不良予知通知手段
【図１】
2020160518.tif 000003
【図２】
2020160518.tif 000004
【図３】
2020160518.tif 000005
【図４】
2020160518.tif 000006