(57)【要約】  本発明の実施形態は、システムがこれらの欠陥について訓練されていなくても、およびシステムを訓練するために使用されなかったアイテムにおいてさえ欠陥を検出することができる機械学習ベースの検出システムを提供し、それによって本質的に柔軟な検出システムを提供する。【選択図】図３
2021523348.tif 000002
【特許請求の範囲】
【請求項１】
画像化されたアイテムの予測を取得するための方法であって、
欠陥のないアイテムの少なくとも１つの画像を含む多数の画像を受信することと、
所定のサイズ表現を生成するために前記画像を埋め込むことと、
前記所定のサイズ表現を機械学習予測子に入力して、未知のクラスの画像化されたアイテムに関する予測を取得することと、
前記予測に基づいてデバイスを制御することと、を含む、方法。
【請求項２】
前記予測が、前記画像化されたアイテム上の欠陥を検出することを含む、請求項１に記載の方法。
【請求項３】
未知のクラスの前記アイテムに関する前記所定のサイズ表現および画像データを前記機械学習予測子に入力して、前記未知のクラスのアイテムに関する予測を取得することを含む、請求項１に記載の方法。
【請求項４】
前記欠陥のないアイテムを完全に表現する多数の画像が受信されたと判定することと、
未知のクラスの前記アイテムの前記画像データを前記機械学習予測子に入力することと、を含む、請求項３に記載の方法。
【請求項５】
前記画像の数が、欠陥のないアイテムの少なくとも１つの画像および未知のクラスのアイテムの画像を含む、請求項１に記載の方法。
【請求項６】
前記欠陥のないアイテムを完全に表現する多数の欠陥のないアイテムの画像が受信されたと判定することと、
未知のクラスの前記アイテムの画像を追加することと、
所定のサイズ表現を生成するために前記欠陥のないアイテム前記画像および前記未知のクラスの画像を埋め込むことと、を含む、請求項５に記載の方法。
【請求項７】
前記欠陥のないアイテムを完全に表現する多数の画像が受信されたと判定することが、前記欠陥のないアイテムの２Ｄおよび３Ｄ形状に関する情報を分析することを含む、請求項４または請求項６に記載の方法。
【請求項８】
前記埋め込むことが、
前記欠陥のないアイテムの少なくとも１つの画像を含む前記多数の画像のうちの画像を比較して、前記画像から属性を抽出することと、
前記属性を使用して、前記所定のサイズ表現を生成することと、を含む、請求項１に記載の方法。
【請求項９】
画像間の前記属性の類似性に基づいて前記画像から属性を抽出することを含む、請求項８に記載の方法。
【請求項１０】
前記埋め込むことが、機械学習技術を使用することを含む、請求項１に記載の方法。
【請求項１１】
画像化されたアイテム上の欠陥を検出するための方法であって、
第１のタイプのアイテムの画像、第２のタイプの欠陥のないアイテムの画像、および未知のクラスの前記第２のタイプのアイテムの画像について訓練されたプロセッサに入力することと、
前記プロセッサを使用して、未知のクラスの前記第２のタイプの前記アイテムの欠陥を検出することと、を含む、方法。
【請求項１２】
第２のタイプの前記アイテムの欠陥の検出に基づいてデバイスを制御することを含む、請求項１１に記載の方法。
【請求項１３】
前記プロセッサを使用して、第２のタイプの欠陥のないアイテムの画像および未知のクラスの前記第２のタイプのアイテムの前記画像から所定のサイズ表現を生成することと、
機械学習予測子に前記所定のサイズ表現を入力して、未知のクラスの第２のタイプの前記アイテムの欠陥を検出することと、を含む、請求項１１に記載の方法。
【請求項１４】
前記プロセッサを使用して、前記第２のタイプの未知のクラスのアイテムについて、前記アイテムの表面に目に見える欠陥、前記アイテムまたは前記アイテムの一部の望ましくないサイズ、前記アイテムまたは前記アイテムの一部の望ましくない形状または色、前記アイテムの一部の望ましくない数、前記アイテムのインターフェイスの間違っているまたは欠落しているアセンブリ、および前記アイテムまたは前記アイテムの一部の正しくない位置合わせおよび間違っているまたは欠陥があるバーコードからなる群のうちの１つ以上を検出することを含む、請求項１１に記載の方法。
【請求項１５】
生産ラインの目視検査のためのシステムであって、
カメラと通信するプロセッサと、信号処理システムと、を備え、前記プロセッサが、
欠陥のないアイテムの少なくとも１つの画像を含む多数の画像を受信するため、
所定のサイズ表現を生成するために前記画像を埋め込むため、
前記所定のサイズ表現を機械学習プロセスで使用して、未知のクラスの画像化されたアイテムに関する予測を取得するため、
前記予測に基づいて前記信号処理システムを制御するため、である、システム。
【請求項１６】
前記信号処理システムが、前記生産ラインを制御する機会を備える、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に目視検査プロセス、例えば、生産ライン上のアイテムの検査における機械学習プロセスの使用に関する。
【背景技術】
【０００２】
製造工程での検査は、欠陥を特定し、その検出に基づいて、例えば、欠陥を修正する、または欠陥部品を廃棄することで、製品の品質を管理するのに役立つ。欠陥検出のプロセスは、品質保証（ＱＡ）のゲーティングおよびソートにとって重要であり、生産性の向上、欠陥率の削減、および再作業と無駄の削減にも役立つ。
【０００３】
自動化された目視検査方法は、生産ラインで使用され、製造された部品に機能的または美的影響を与える可能性のある視覚的に検出可能な異常を識別する。それらを推進する基盤となる技術により、生産ラインの現在の目視検査ソリューションは、典型的には、特定のＱＡ、ゲーティング、またはソートタスクに合わせて高度にカスタマイズされている。
【０００４】
機械学習プロセスは、画像分析を介して、ラベルのない検査項目の欠陥を特定するために使用されることがある。欠陥のあるアイテムを検出するために機械学習技術を使用する従来のアプローチには、通常２つのステップが含まれる。まず、欠陥のあるアイテムを特徴付ける画像内の特徴が抽出され、次に特徴の数値に基づいて分類器が構築され、各欠陥にクラスコードが割り当てられる。
【０００５】
典型的に、機械学習予測子（特に畳み込みニューラルネットワーク）は、固定サイズの入力と固定サイズの出力を持つモデルに基づいている。例は、分類、検出、セグメンテーションの機械学習モデル、特に深層学習モデルを含み、これらは固定数の画像、典型的には、分類、検出、セグメンテーション用に１つの画像、ステレオ対応用に２つの画像などで入力される。
【０００６】
機械学習に基づくアプローチには、訓練フェーズと専門家が定義した機能セットが必要である。例えば、欠陥のあるアイテムの画像を収集し、画像内の欠陥を検証し、手動で注釈を付け、場合によっては様々な欠陥クラスに分類する必要があり、これらはすべて、多大な時間のかかる作業を伴う。さらに、新しいクラスの欠陥を追加するには、データ収集と再トレーニングのためにさらに多大な労力が必要である。
【０００７】
欠陥のデータベースを作成および更新する負担とは別に、画像化環境（カメラの配置、周囲の照明条件、画像化された記事の物理的な位置と位置）は、画像化されたアーティクルの視覚的表現に大きく影響し、これにより、これらのソリューションは、特定のアイテム、特定の欠陥、および特定の画像化環境にのみ関連することがよくある。したがって、これらのアプローチの初期の高コストに加えて、新しく製造アーティクルまたは新たに特定された欠陥はそれぞれ、新しい製造アーティクルまたは欠陥を含むプロジェクトが開始されてから展開されるまでの間に数週間から数か月で測定される可能性のあるダウンタイムを引き起こす。暫定期間中、プラントは、ＱＡ、ゲーティング、仕分け、またはその他のタスクを実行するために、高価な内部／外部の人的労働力を使用し、または、プラント生産ラインの１つ以上の部分でこれらのタスクのいずれも実行しないことに起因する生産低下に関連するリスクを負うことを余儀なくされる。
【０００８】
これらのリスクは、生産プラントの競争力と、バリューチェーン内で苦労して獲得した地位を維持する能力に大きな影響を与える可能性がある。自動車産業などの一部の非常に競争の激しい産業では、何十万もの欠陥のないアーティクルのうちのいくつかの欠陥のあるアーティクルは、即時のエスカレーションプロセスにつながる可能性があり、現在および／または将来の顧客ベースを維持するプラントの能力を危険にさらす。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の実施形態は、システムがこれらの欠陥について訓練されていなくても、およびシステムを訓練するために使用されなかったアイテムにおいてさえ欠陥を検出することができる機械学習ベースの検出システムを提供し、それによって本質的に柔軟な検出システムを提供する。
【課題を解決するための手段】
【００１０】
典型的な機械学習モデルとは対照的に、本発明の実施形態は、予測、分類、セグメンテーション、および同様の機械学習ベースのプロセスにおいて、可変サイズ（例えば、可変数の画像）の入力を使用して、画像化されたアイテムの欠陥を検出することを可能にする。以下でさらに説明するように、可変サイズの入力を使用して画像化されたアイテムの欠陥を予測する機能により、特定のアイテム、欠陥、または画像化環境に関する事前の知識がなくても、様々なタイプの製造アイテムを検査する機能が大幅に向上し、これにより、生産ラインの検査に柔軟で実装が簡単で使いやすいソリューションを提供する。この機能は、以下でさらに説明するように、オブジェクトの外観、オブジェクトの場所、照明条件などが大きく変動する環境で特に有益な場合がある。
【図面の簡単な説明】
【００１１】
本発明はここで、より完全に理解され得るように、以下の例示的な図を参照して、特定の例および実施形態に関連して説明される。図において、
【００１２】
【図１】本発明の実施形態に従って動作可能な、画像化されたアイテムの欠陥を検出するためのシステムを概略的に示す。
【図２】本発明の実施形態による、可変サイズのデータ入力から予測を取得するための方法を概略的に示す。
【図３】本発明の一実施形態による、生産ラインにおける欠陥アイテムの予測を提供するための方法を概略的に示す。
【図４】本発明の一実施形態による、生産ラインにおける欠陥アイテムの予測を提供するための方法を概略的に示す。
【図５】本発明の実施形態による、機械学習ベースの生産ライン検査のための方法を概略的に示す。
【発明を実施するための形態】
【００１３】
以下の説明では、本発明の様々な態様が説明される。説明の目的のために、本発明の完全な理解を提供するために、特定の構成および詳細が記載される。しかしながら、本明細書に提示される特定の詳細なしに本発明が実施され得ることも当業者には明らかであろう。さらに、本発明を不明瞭にしないために、周知の特徴は省略または簡略化され得る。
【００１４】
別途具体的に記述されない限り、以下の記載から明らかなように、「分析（ａｎａｌｙｚｉｎｇ）」、「処理（ｐｒｏｃｅｓｓｉｎｇ）」、「演算（ｃｏｍｐｕｔｉｎｇ）」、「計算（ｃａｌｃｕｌａｔｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」、「検出（ｄｅｔｅｃｔｉｎｇ）」、「識別（ｉｄｅｎｔｉｆｙｉｎｇ）」等のような用語を本明細書の記載の至る所で利用することは、コンピュータもしくはコンピューティングシステム、またはコンピューティングシステムのレジスタ内の電子などの物理量として表されるデータおよび／またはコンピューティングシステムのメモリ、レジスタもしくは他のそのような情報の記憶、送信または表示デバイス内の物理量として同様に表される他のデータへのメモリを操作および／または変換する、類似の電子コンピューティングデバイスのアクションおよび／またはプロセスを指すことがわかる。別段の記載がない限り、これらの用語は、人間の作業者のアクションとは無関係な、人間の作業者のアクションのない、プロセッサの自動アクションを指す。
【００１５】
本発明の実施形態は、可変サイズの入力を使用する予測を可能にする。
【００１６】
一実施形態では、画像化されたアイテムの予測を取得するためのシステムは、カメラと通信するプロセッサを含む。プロセッサは、カメラからいくつかの画像を受信し、画像を埋め込んで、画像の所定のサイズ表現を生成することができる。次に、所定のサイズ表現が機械学習プロセスで使用されて、画像化されたアイテムに関する予測が得られる。
【００１７】
いくつかの実施形態では、予測は、画像化されたアイテム上の欠陥の検出および／または欠陥のあるピクセルのセグメンテーションの実行を含む。
【００１８】
欠陥は、一般的に使用されている安価なカメラでも取得された画像で検出できるため、人間レベル（またはそれ以上）の欠陥検出方法を実現することができる。
【００１９】
本発明の実施形態は、特定のタイプの画像化されたアイテムを使用する知識または事前のトレーニングなしに、画像化されたアイテムの機械学習ベースの予測を提供する。いくつかの実施形態では、予測子は、第１のタイプのアイテムの画像で訓練されるが、第２のタイプのアイテムの画像を予測または分類することができる。
【００２０】
一実施形態では、第１のタイプのアイテムの画像、第２のタイプの欠陥のないアイテムの画像および未知のクラスの第２のタイプのアイテムの画像で訓練されたプロセッサに入力することによって、画像化されたアイテムの欠陥が検出される生産ライン上のアイテムの目視検査のための解決策が提供される。次に、プロセッサを使用して、未知のクラスの第２のタイプのアイテムの画像内の第２のタイプのアイテムの欠陥を検出する。
【００２１】
したがって、いくつかの実施形態では、予測子は、特定のタイプのアイテム（例えば、自動車エンジン部品）の欠陥を検出するように、オフサイトで訓練される。訓練フェーズの後、予測子は現場で、典型的には製造プラントで使用され、まったく異なるタイプのアイテム（例えば、異なる自動車部品、または、衛生製品、タービン、ＰＣＢなどのまったく異なる業界に関連するアイテム）の欠陥を検出する。
【００２２】
以下に示されるいくつかの実施形態では、予測は、検査ライン（例えば、製造プラント）上のアイテム上の１つ以上の欠陥を検出することを含み得る。したがって、いくつかの実施形態では、予測を使用して、欠陥のないアイテムと欠陥のあるアイテムを区別する。
【００２３】
欠陥は、例えば、アイテムの表面に目に見える欠陥、アイテムまたはアイテムの一部の望ましくないサイズ、アイテムまたはアイテムの一部の望ましくない形状または色、アイテムの一部の望ましくない数、アイテムのインターフェイスの間違っているまたは欠落しているアセンブリ、およびアイテムまたはアイテムの一部の正しくない位置合わせおよび間違っているまたは欠陥があるバーコード、一般に、生産ラインのユーザ、つまり人間の検査官にとって画像から明らかである欠陥のないサンプルと検査されたアイテムとの間の相違を含み得る。いくつかの実施形態では、欠陥は、拡大された画像、または高解像度の画像、例えば、顕微鏡または他の特殊なカメラによって取得された画像等においてのみ目に見える欠陥を含み得る。
【００２４】
本明細書で例示されるように、プロセッサは、生産ライン検査プロセス中に、検査ライン上のアイテムの画像データを（１つ以上のカメラから）受信することができる。
【００２５】
典型的に、製造工場で行われる生産ライン検査プロセスには、検査段階の前にセットアップ段階が含まれる場合がある。
【００２６】
セットアップ段階では、欠陥のない同じタイプの製造アイテム（欠陥のないアイテム）のサンプルが、検査ライン、同じ検査ライン、または検査段階に使用されるものると同様のセットアップパラメータを持つ検査ラインで画像化されます。セットアップパラメータは、典型的には、検査ラインに対するカメラの位置に関連し、例えば、画像化されたアイテムからのカメラの距離、カメラの視野（ＦＯＶ）を伴う画像化されたアイテムの場所などを含み得る。
【００２７】
セットアップ段階で取得された画像（セットアップ画像または参照画像とも呼ばれる）は、プロセッサによって分析され、検査段階で実行される機械学習アルゴリズムの参照として使用される。
【００２８】
検査段階では、検査アイテム（セットアップアイテムと同種の製造アイテムで欠陥を検査するもの）を画像化し、各検査アイテムから画像データを収集された画像データ（未知のクラスの画像、検査画像とも呼ばれる）は、欠陥のないアイテムの参照に基づいて、検査された各アイテムに１つ以上の欠陥が存在する場合は検出する、機械学習プロセスにより実行される。
【００２９】
「同じタイプのアイテム」という用語は、同じタイプのアイテム、同じ物理的構成であり、形状および寸法、場合によっては色および他の物理的特徴が互いに類似しているアイテムを指す。通常、単一の生産シリーズのアイテム、同じタイプのアイテムのバッチ、またはその生産ラインの同じ段階にあるアイテムのバッチは、「同じタイプのアイテム」である可能性がある。例えば、検査アイテムが衛生製品の場合、同じバッチのシンクボウルは同じタイプのアイテムである。
【００３０】
本発明の一例による、生産ラインの目視検査のためのシステムは、図１に概略的に示されている。
【００３１】
一実施形態では、検査ラインシステムは、１つ以上のカメラ１０３と、およびユーザインターフェースデバイス１０６などのデバイスおよび／または遠隔デバイス１０８などの他のデバイスと通信するプロセッサ１０２を含む。カメラ（複数可）１０３は、典型的に、検査ライン（例えば、コンベヤベルト）に対して載置または位置決めされ、その結果、検査ライン上に載置されたアイテムは、カメラ１０３のＦＯＶ内にある。
【００３２】
プロセッサ１０２は、１つ以上のカメラ１０３から検査ラインの画像データを受信し、本発明の実施形態によるプロセスを実行して画像データを分析し、クラウドを介してシステムに接続され得る、ユーザインターフェースデバイス１０６および／または遠隔デバイス１０８などの他のデバイスを制御するための信号を出力する。
【００３３】
この説明の文脈では、画像データは、部分的または完全な画像またはビデオだけでなく反射光の強度を表す画素値等のデータを含み得る。
【００３４】
ユーザインターフェースデバイス１０６は、ユーザへの指示および／または通知（例えば、モニタに表示されるテキストまたは他のコンテンツ）を表示するモニタまたは画面を含み得る。別の例では、ユーザインターフェースデバイス１０６は、プロセッサ１０２によって生成された信号に基づいて点灯または色を変えることができるライトを含むことができる。さらに別の例では、ユーザインターフェースデバイス１０６は、プロセッサ１０２によって生成された信号に基づいて音を発するためのオーディオプレーヤーを含む。他の実施形態では、ユーザインターフェースデバイス１０６は、ユーザと通信するための他の適切な媒体を含み得る。
【００３５】
いくつかの実施形態では、ユーザインターフェースデバイス１０６は、スマートフォン、タブレット、またはパーソナルコンピュータなどの多目的デバイスの一部であり得る。
【００３６】
いくつかの実施形態では、プロセッサ１０２は、例えば、ユーザインターフェースデバイス１０６を介して、ユーザ入力を受け入れることができる。例えば、ユーザインターフェースデバイス１０６は、ユーザが追加のフィードバックを入力できるようにするために、モニタおよびキーボードおよび／またはマウスおよび／またはタッチスクリーンを含み得る。例えば、検査段階中に、検査画像内のアイテムが欠陥があるとしてプロセッサ１０２によって誤って検出された場合、ユーザは、検査画像が欠陥のないアイテムのものであり、欠陥アイテムではないというフィードバックを（例えば、ユーザインターフェースデバイス１０６を介して）提供することができる。他の例では、ユーザは、欠陥がないと分類されたアイテムが実際には欠陥アイテムであるというフィードバックを提供することができる。これらの場合、ユーザ入力に基づいて、プロセッサ１０２は、このフィードバックを使用して、以下に説明するように、機械学習プロセスによって、および機械学習プロセスのために使用される参照セットを更新および改善することができる。
【００３７】
プロセッサ１０２は、例えば、１つ以上のプロセッサを含み得、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、集積回路（ＩＣ）、またはその他の適切な多目的または特定のプロセッサまたはコントローラであり得る。
【００３８】
プロセッサ１０２は、通常、メモリユニット１１２と通信する。一実施形態では、メモリユニット１１２は、以下で説明するように、プロセッサ１０２によって実行されるとき、プロセッサ１０２の動作の実行を容易にする実行可能な指示を記憶する。メモリユニット１１２はまた、カメラ１０３から受信した画像データの少なくとも一部を格納することができる。
【００３９】
メモリユニット１１２は、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、あるいは長期メモリユニット、または他の適切なメモリユニットもしくは記憶装置を含み得る。
【００４０】
セットアップ段階では、参照画像を収集して、機械学習プロセスが欠陥としてのみ検出し、例えば、画像化環境による変動を欠陥として検出しないために必要なすべての情報を表現する画像のセットを取得する。検査段階で機械学習プロセスで使用できる代表的な参照を実現するために必要なセットアップ画像の数は、検査対象のアイテムの様々な特徴とアイテムの生産ラインのプロパティによって異なる。例えば、外観のばらつきが大きいアイテム（例えば、製造プロセスでの形状公差が大きいオブジェクト、製造プロセスの結果としてのオブジェクトの表面のテクスチャのばらつきが大きいオブジェクトなど）は、単一の画像によって適切に表現されない場合がある。したがって、アイテムの代表的な変形をキャプチャするために、いくつかの画像、および異なるアイテムの異なる数の画像が必要になる場合がある。
【００４１】
いくつかの実施形態では、画像を分析して、欠陥のないアイテムを完全に表現する変形が得られることを決定することは、欠陥のないアイテムの２Ｄおよび３Ｄ形状に関する情報を分析することを含み得る。
【００４２】
いくつかの例をリストするには：
【００４３】
−生産ラインの異なる場所に載置することができるアイテムには、様々な場所に参照画像が必要になる。
【００４４】
−表面が３Ｄプロパティ（アイテムの表面の高さが異なる）を有するアイテムは、完全に表現された参照を実現するために、表面が浅いアイテムよりも参照画像の密度の高い分布が必要になる場合がある。
【００４５】
−回転できるアイテムまたは回転部分があるアイテムには、回転をカバーする参照画像が必要な場合がある。
【００４６】
−一部のアイテムには、許容範囲をカバーする参照画像で表現する必要のある形状許容値がある。
【００４７】
−場合によっては、高度に等尺性または高度にテクスチャ化されたアイテムは、アイテムの構成プロパティの良好な表現を得るために多くの参照画像を必要とする場合がある。
【００４８】
したがって、検査されるアイテムの異なる機能およびアイテムの生産ラインのプロパティを無視しながら、固定された、事前に決定された数のセットアップ画像を使用することは、時間および労力の浪費をもたらす可能性がある。例えば、固定数のセットアップ画像は、固定数の画像が第１のアイテムの代表的な参照を生成することができるが、異なるアイテムの代表的な参照を生成するために不必要に高い場合をもたらす可能性がある。別のケースでは、固定数は最初のアイテムの代表的な参照を生成するのに十分であり得るが、別のアイテムの代表的な参照を生成するのに十分ではない。
【００４９】
したがって、本発明の実施形態によれば、不確定な数の画像が、典型的に、セットアップ段階で使用される。すなわち、セットアップされた画像の数は事前に決定されておらず、各アイテムおよび／または製造プラントおよび／または画像化環境によって異なる可能性がある。
【００５０】
定義された不変の参照を機械学習プロセスで使用できるようにするために、参照用に様々な数のセットアップ画像が収集されても、本発明の実施形態は、様々な数のセットアップ画像から所定のサイズの表現を計算または埋め込み、この表現を機械学習プロセスへの入力として使用して、検査段階で欠陥を予測する。
【００５１】
様々な数のセットアップ画像から所定のサイズのベクトル（または他の表現）を計算するために、プロセッサ１０２は、一実施形態では、受信されたセットアップ画像を互いに比較する。一実施形態では、セットアップされた画像が比較されて、画像から属性を抽出し、属性を使用して、所定のサイズ表現を生成する。画像間の属性の類似性に基づいて、画像から属性を抽出することができる。
【００５２】
他の実施形態では、所定のサイズのベクトル（または他の表現）は、機械学習技術を使用して、様々な数のセットアップ画像から計算される。
【００５３】
プロセッサ１０２は、（１つ以上のカメラ１０３から）多数の画像を受信し、これらは、インスタンスごとに異なる可能性がある。インスタンスは、例えば、その生産の特定の段階で、特定の場所および視点にあるアイテムが検査されている検査インスタンスまたは特定のセッションを意味し得る。
【００５４】
プロセッサ１０２で受信された画像の数は、所定のサイズ表現が計算される欠陥のないアイテムの少なくとも１つの画像を含む。次に、所定のサイズ表現は、機械学習予測子によって使用されて、未知のクラスのアイテム（例えば、欠陥のないアイテムまたは欠陥のあるアイテムのいずれか）に関する予測を取得する。いくつかの実施形態では、プロセッサ１０２で受信された多数の画像は、欠陥のないアイテムの少なくとも１つの画像および未知のクラスのアイテムの画像を含み、所定のサイズ表現が両方から計算される。次に、所定のサイズ表現が機械学習予測子によって使用され、未知のクラスのアイテムに関する予測が取得される。
【００５５】
一実施形態では、プロセッサ１０２は、それぞれの場合に、受信した画像（参照画像と検査画像を含み得る）（例えば、各画像でシャムネットワークトポロジで畳み込みニューラルネットワークを個別に実行するまたは、例えば、検査画像から参照画像を差し引いた結果）を分析して、異なる画像間の類似性または他の関係を見つけることによって、または画像に影響を与える属性（例えば、照明条件）を分析することによって、所定のサイズの表現を計算し、さまざまなサイズの属性のセットをもたらす（アイテムの特徴および／またはアイテムの画像のプロパティが含まれる場合がある）。プロセッサは、（例えば、カレントニューラルネットワークまたは他のタイプの非固定入力サイズエンコーダを実行することによって）固定サイズ表現（例えば、ベクトル）を計算する。例えば、固定サイズの表現は、様々な数の属性から、所定の数の属性を含み得る。次に、この固定サイズの表現を機械学習プロセスで使用して、予測を提供することができる（例えば、画像化されたアイテムの欠陥を検出したり、欠陥のあるピクセルのセグメンテーションを実行したりするためなど）。
【００５６】
別の実施形態では、ピクセルの画像間統計的プロパティ（例えば、ピクセルの平均値および／またはピクセルの標準値、画像間の差を設定する動きベクトル、画像間の相関など）などの画像のプロパティ、一連の参照画像から抽出することができる。抽出されたプロパティを組み合わせて、所定のサイズであり、セットアップされた画像を適切に表すベクトルまたは他の表現を実現することができ、その結果、さらなる機械学習プロセス、例えば、埋め込みプロセッサ（以下で説明）のトレーニング中のプロセスおよび検査段階でのプロセスへの入力として使用することができる。
【００５７】
プロパティの組み合わせには、例えば、抽出されたプロパティの上位Ｋ個の要素のみまたは下位Ｋ個の要素、あるいはその両方を取得することが含まれる場合がある。その他の例を以下に詳しく説明する。
【００５８】
したがって、セットアップされた画像は、例えば、類似のプロパティ、一意に識別可能なプロパティ、互いからのプロパティの距離などを検出するために分析される。例えば、特定のプロパティに関して２つの類似した画像がある場合、１つの画像が必ずしもアイテムに関する情報を（他の画像の上に）追加するとは限らない。この場合、類似画像のうちの１つの画像データを削除または無視することができ、それにより、必要に応じて、画像データの表現のサイズを縮小して、所定のサイズ表現を達成することができる。
【００５９】
上記のように、いくつかの実施形態では、プロセッサ１０２は、予測の結果に基づいて、ユーザインターフェースデバイス１０６を制御する。例えば、プロセッサ１０２は、欠陥のあるアイテムの表示を表示するようにユーザインターフェースデバイス１０６を制御することができる。他の実施形態では、他のデバイス、例えば、信号処理システムを含み得る遠隔デバイス１０８は、欠陥検出の結果に基づいて制御され得る。
【００６０】
一例では、プロセッサ１０２と通信する信号処理システムは、例えば、関連する機械間でのメタデータの転送を可能にするプロトコルを実行することができる。例えば、関連する機械は、生産ラインおよび／またはカメラ１０３および／またはユーザインターフェース１０６を制御する機械を含み得る。したがって、例えば、カメラ１０３の場所または位置決め、または例えば、生産ラインのコンベヤベルトの動作は、プロセッサ１０２からの出力に基づいて制御され得る。
【００６１】
別の場合には、プロセッサ１０２からの出力を使用して、欠陥検出のプロセスを制御することができる。例えば、検出された欠陥のタイプおよび／またはアイテム上のその場所は、プロセッサ１０２（または別のプロセッサ）へのフィードバックとして使用され得、欠陥の将来の検出を変更し得る。
【００６２】
１つ以上のカメラ１０３は、ＣＣＤまたはＣＭＯＳまたは別のふさわしいチップを含み得る。カメラ１０３は、２Ｄまたは３Ｄカメラであり得る。いくつかの実施形態では、カメラ１０３は、例えば、スマートフォンまたはタブレットなどのモバイルデバイスを備えた標準的なカメラを含み得る。他の実施形態では、カメラ１０３は、高解像度画像を取得するための特殊なカメラである。
【００６３】
いくつかの実施形態では、カメラ（複数可）１０３および／またはプロセッサ１０２は、専用システムまたは生産プラント内の既存のシステムであり得る組み込みシステムの一部である。
【００６４】
いくつかの実施形態では、カメラ１０３からの画像データは、例えば、クラウド上のサーバー、または製造プラントのサーバーまたは中央制御装置であり得る遠隔デバイス１０８にアップロードされ得る。
【００６５】
本発明の実施形態によるプロセスおよび計算は、遠隔デバイスでおよび／または局所的に行うことができる。
【００６６】
図１に記載されているシステムの構成要素のすべてまたは一部は、例えば、インターネットまたは他の適切な通信ネットワークを介して、有線または無線の方法で接続することができる。一部の構成要素、例えば、カメラ１０３は、適切なネットワークハブを含み得る。
【００６７】
図２に概略的に示されている一実施形態では、本発明の実施形態による予測（例えば、画像化されたアイテムの欠陥の検出）のための方法は、可変サイズデータ（２０１）受信する（例えば、プロセッサ１０２で）ことおよびデータの固定サイズ表現を生成するためにデータを埋め込む（２０３）を含む。
【００６８】
一実施形態では、図２に示される方法を使用して、例えば、画像化されたアイテムの欠陥を検出するため、分類するため、ゲーティングするため、および／またはその他の検査タスクのため、機械学習予測アーキテクチャへの入力として使用されるデータの固定サイズ表現を計算することができる。
【００６９】
図２に示される方法は、上記のように、セットアップ段階および検査段階を含む検査プロセスの一部として検査ラインで行われ得る。
【００７０】
セットアップ段階では、セットアップ画像を分析して、検査段階で機械学習プロセスで使用できる代表的な参照を達成するのに十分なセットアップ画像が収集された時期を判定する。
【００７１】
「十分なセットアップ画像」は、アイテムのタイプの本質的に完全な表現が達成されたときに収集される。例えば、セットアップされた画像の分析を実行して、アイテムの可能な２Ｄ形状および３Ｄプロパティ（例えば、検査ライン上の回転）に関する情報を収集するか、またはアイテムの一意に識別可能な特徴およびこれらの一意の間の空間的関係をセットアップされた画像間で保持される特徴として見出すことができる。
【００７２】
セットアップ画像から収集された情報に基づいて、プロセッサ（例えば、プロセッサ１０２）は、第２のアイテムが以前にプロセッサによって学習されていなくても、同じタイプの第２のアイテムを検出することができる。これにより、プロセッサは（同じタイプの）新しいアイテムがいつ画像化されたかを検出し、新しいアイテムを分析して、例えば、許可された場所にあるかどうかを判定し、セットアップされた項目の分析に基づいて検査されたアイテムの欠陥を検索することができる。
【００７３】
一例では、埋め込み（２０３）のステップは、各画像から最も有用なプロパティを抽出するために、シャムネットワークトポロジにおいて各画像上で別々に畳み込みニューラルネットワークを実行することを含み得る（典型的には、これらには、とりわけアイテムの形状、輪郭、表面などに関するほとんどの情報を追加するプロパティが含まれる）。最も有用なプロパティは、異なる機械学習プロセスによって抽出することもできる。
【００７４】
埋め込みのステップは、所定のサイズベクトルを取得するために、抽出されたプロパティに基づいて画像を選択または結合して、画像上でリカレントニューラルネットワークまたは他のエンコーダアーキテクチャを実行することをさらに含み得る。
【００７５】
いくつかの実施形態では、固定表現は、埋め込みプロセッサを使用せずに計算することができる。例えば、ヒューリスティックアルゴリズムを実行して、抽出するプロパティおよび／または比較する特徴を判定して、最も多いおよび／または最も少ない相関プロパティまたは特徴を判定することができ、これを使用して、固定サイズ表現を計算することができる。
【００７６】
いくつかの実施形態では、固定サイズ表現は、例えば、特徴の空間的場所、例えば、参照画像内のアイテムの特徴の互いからのおよび／または検査画像に対する距離（２Ｄおよび／または３Ｄ距離）に基づいて、所定の規則に基づいて計算することができる。
【００７７】
ステップ２０１で受信された可変サイズのデータは、いくつかの画像を含み得る。一実施形態では、欠陥のないアイテムの少なくとも１つの画像が画像の数に含まれる。固定された，所定のサイズ表現は、欠陥のないアイテムの１つ以上の画像を使用して計算され、所定のサイズ表現は、未知のクラスのアイテムの画像データと共に機械学習予測子に入力され、未知のクラスのアイテムに関する予測を取得する。
【００７８】
図３に概略的に示されている一実施形態では、画像の数は、欠陥のないアイテムの少なくとも１つの画像および未知のクラスのアイテムの画像を含む。
【００７９】
プロセッサ３０２（上記の埋め込みプロセッサなど）は、未判定の数（ｎ）のセットアップ画像３２２、すなわち、既知のクラスの同じタイプのアイテム（例えば、欠陥のないアイテム）の画像と、検査画像３２４、すなわち、未知のクラスの同じタイプのアイテムの画像（例えば、欠陥のないアイテムまたは欠陥のあるアイテム）を受信する。次に、プロセッサ３０２は、受信画像を分析し、同じタイプの欠陥のないアイテムの受信画像および未知のクラスの同じタイプのアイテムの画像から、所定のサイズの表現３２６を計算し、その表現を予測子３２８に入力して、予測３２９、例えば、検査画像における欠陥検出を達成する。
【００８０】
いくつかの実施形態では、プロセッサ３０２で実行される分析は、ｎ個の画像３２２の各々および検査画像３２４から少なくとも１つの属性（例えば、プロパティ）を抽出し、抽出されたプロパティを比較することを含む。一実施形態では、画像から属性を抽出することは、画像間の属性の類似性に基づく。
【００８１】
典型的に、同じプロパティまたは属性が比較される。例えば、ある画像のピクセルの特定の統計的特性が、別の画像のピクセルの特定の統計的特性と比較される。例えば、検査画像内の各ピクセルについて、参照画像からの単一の最も類似したピクセルおよび／または参照画像からの単一の最も類似していないピクセルを選択することができる。
【００８２】
次に、所定のサイズのベクトルを機械学習プロセスに入力して、未知のクラスの同じタイプのアイテム（例えば、欠陥があるか欠陥がないかのいずれか）についての予測を可能にすることができる。
【００８３】
いくつかの実施形態では、固定サイズ表現を予測子に入力して未知のクラスの同じタイプのアイテムの予測を取得するステップに続いて、デバイスは、取得された予測に基づいて制御され得る。例えば、制御されるデバイスは、例えば、上記のように、遠隔デバイス１０８および／またはユーザインターフェースデバイス１０６であり得る。
【００８４】
図４に概略的に示されている一実施形態では、固定された所定のサイズ表現は、欠陥のないアイテムを完全に表現する多数の欠陥のない画像が受信されたと判定した後、欠陥のないアイテムの画像から計算される。
【００８５】
生産ラインにおける欠陥アイテムの予測を提供するための方法は、セットアップ画像を受信し（４０２）、欠陥のないアイテムを完全に表現する多数のセットアップ画像を受信したと判定すること（４０４）を含み得る。十分なセットアップ画像が受信されなかった場合（４０４）、さらに分析するために別のセットアップ画像が受信される。したがって、可変数のセットアップ画像が得られる。
【００８６】
欠陥のないアイテムを完全に表現する多数の欠陥のない画像が受信されたと判定することは、上記で詳述したように、欠陥のないアイテムの２Ｄおよび３Ｄ形状に関する情報を分析することを含み得る。
【００８７】
セットアップされた画像の分析（例えば、上記のように）が、十分なセットアップされた画像が受信されたと判定した場合（４０４）、次に、検査画像（未知のクラスの同じタイプのアイテムの画像、例えば、欠陥のないまたは欠陥のある）が追加され（４０６）、所定のサイズのベクトル（または他の表現）が、セットアップ画像および検査画像（４０８）の画像データから計算される。例えば、画像は、上記のように、所定のサイズ表現を生成するために埋め込まれる。
【００８８】
所定のサイズのベクトルが予測子（４１０）に入力されて、未知のクラスアイテム（４１２）の予測を取得する、すなわち、検査画像から欠陥を検出する。
【００８９】
この実施形態および他の実施形態は、検査画像ごとの予測プロセスの適応を可能にし、それにより、正確で柔軟な予測システムを提供する。
【００９０】
いくつかの実施形態では、デバイスを制御するための信号は、得られた予測に基づいて生成され得る。例えば、デバイスは、ユーザインターフェースデバイス１０６を含み得、プロセッサ１０２は、予測に基づいて欠陥アイテムの表示を表示するようにユーザインターフェースデバイス１０６を制御することができる。別の例では、デバイスは、遠隔デバイス１０８であり得、これは、検査ラインシステムの動作を制御するための、例えば、検査ラインのコンベヤベルトまたはカメラまたは他の要素の動作を制御するための信号処理システムまたはコントローラを含み得る。他のデバイスは、予測に基づいてプロセッサ１０２によって制御され得る。
【００９１】
いくつかの実施形態では、セットアップ画像は、必ずしもセットアップ段階中にではなく、ユーザからの入力に基づいて受信され得る（４０２）。例えば、ユーザは、検査段階中に、欠陥のないアイテムが（誤って）欠陥として検出されたこと、またはその逆を検出することができる。ユーザは、誤って検出されたアイテムの画像を「新しいセットアップ画像」または「欠陥画像」として入力することができ（例えば、上記のように、ユーザインターフェース１０６を介して）、それによって、セットアップ画像の分析に新しい情報を追加する。
【００９２】
本発明の実施形態による検査システムは、変化する画像環境で取得された画像、およびこれらの予測子が訓練されたアイテムと同じではなく、類似していないアイテムの欠陥を検出できる予測子を含む。
【００９３】
一実施形態では、画像化されたアイテムの欠陥を検出するための方法は、第１のタイプのアイテムの画像、第２のタイプの欠陥のないアイテムの画像、および未知のクラスの第２のタイプのアイテムの画像で訓練されたプロセッサに入力することと、プロセッサを使用して、その画像から第２のタイプのアイテム上の欠陥を検出することと、を含む。
【００９４】
いくつかの実施形態では、デバイスは、第２のタイプのアイテムの欠陥の検出に基づいて制御され得る。
【００９５】
欠陥（例えば、第２のタイプのアイテムおよび未知のクラスのアイテム上の）には、例えば、アイテムの表面に目に見える欠陥、アイテムまたはアイテムの一部の望ましくないサイズ、アイテムまたはアイテムの一部の望ましくない形状または色、アイテムの一部の望ましくない数、アイテムのインターフェイスの間違っているまたは欠落しているアセンブリ、およびアイテムまたはアイテムの一部の正しくない位置合わせおよび間違っているまたは欠陥があるバーコードのうちの１つ以上を含み得る。
【００９６】
本発明の一実施形態による機械学習ベースの生産ライン検査のための方法が、図５に概略的に示されている。
【００９７】
第１の特定のタイプ（５１２）のアイテム（例えば、衛生製品）の画像は、第２の異なるタイプ（５１４）のアイテム（例えば、タービン、エンジン部品およびキャンディーボックス）の画像で訓練されたプロセッサ（５０２）に入力される。プロセッサ５０２は、訓練に基づいて第１のタイプの画像からプロパティおよび／または特徴を抽出し、抽出されたプロパティおよび／または特徴を使用して、所定のサイズのベクトルを作成する（５２２）。典型的には、ベクトルは、画像化されたアイテムに関する情報（例えば、それらの空間的および形状の許容範囲）および／または画像化環境に関する情報を表現する。次に、ベクトルは、予測子（５０４）への入力として使用されて、第１のタイプ（５２４）のアイテムの新しい画像の欠陥を検出する。
【００９８】
プロセッサ５０２は、多くのタイプの物理的アイテムについて事前に訓練されて、異なる画像条件（例えば、照明強度、照明方向、照明色、ほこりっぽい環境など）、異なる空間的および環境的条件（例えば、アイテムの動き、検査ラインの「振動」、アイテムの配置）、および検査ライン上にあるかもしれないアイテムの異なる形状条件における多くのタイプの物理的アイテムの挙動を学習できるようにすることができる。
【００９９】
他の実施形態では、プロセッサ５０２は、必ずしも事前の訓練によってではなく、発見的アルゴリズムを使用することによって、特性および／または特徴を抽出して、所定のサイズのベクトルを作成することができる。
【０１００】
したがって、第１のタイプのアイテムで訓練されたプロセッサ（例えば、プロセッサ５０２）は、第２のタイプの欠陥のないアイテムの画像から、および（任意選択で）未知のクラスの第２のタイプのアイテムの画像から所定のサイズ表現を生成するために使用される。次に、所定のサイズ表現が機械学習予測子に入力されて、未知のクラスの第２のタイプのアイテムの画像内の第２のタイプのアイテムの欠陥が検出される。
【０１０１】
既知のニューラルネットワークは典型的には、入力例（画像など）によって訓練されるが、しかしニューラルネットワークが訓練され、未知の入力を予測するシステムにプログラムされると、典型的には、それ以降の入力をさらに訓練するために使用するのではなく、新しい入力ごとに予測を提供する。一方、本発明の実施形態は、機械学習プロセスを提供し、これは、プロセッサにプログラムされた後でも、未知の入力（例えば、未知の状態のアイテムの画像）と共に新しい例示的な入力（例えば、欠陥のないアイテムの画像）を使用して未知の入力の予測を提供し、それによって既知の学習機会の機能を改善し、新しい機械学習プロセスを提供する。
【０１０２】
本発明のこの実施形態および他の実施形態は、機械学習ベースのシステムの改善された機能を提供し、これにより、アイテムおよび画像化された環境に関する事前の訓練なしに、アイテムに関する予測を行うさらに新しい機能としてのプロセッサを可能にする。
【０１０３】
本発明の実施形態は、プラントで製造および検査されるアイテムに関係なく、特定の画像化環境に限定されることなく、製造プラントで機械学習ベースの検査システムをセットアップすることを可能にする。したがって、本発明の実施形態によるシステムおよび方法を使用して、特定のアイテム、欠陥、または画像化環境についての事前の知識がなくても、異なるタイプの製造されたアイテムおよび異なる欠陥を検査することができる。
【図１】
2021523348.tif 000003
【図２】
2021523348.tif 000004
【図３】
2021523348.tif 000005
【図４】
2021523348.tif 000006
【図５】
2021523348.tif 000007
【手続補正書】
【提出日】令和2年12月22日(2020.12.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像化されたアイテムの予測を取得するための方法であって、
既知のクラスの同じタイプのアイテムの不確定な数の画像と、不明なクラスのアイテムの画像を受信することと、
前記画像を埋め込んで、所定のサイズ表現を生成することと、
前記所定のサイズ表現を機械学習予測子に入力して、前記不明なクラスの前記アイテムに関する予測を取得することと、
前記予測に基づいて、デバイスを制御することと、を含む、方法。
【請求項２】
前記予測が、前記不明なクラスの前記アイテム上の欠陥を検出することを含む、請求項１に記載の方法。
【請求項３】
既知のクラスの前記アイテムが、欠陥のないアイテムを含む、請求項１に記載の方法。
【請求項４】
前記受信した画像を埋め込んで所定のサイズの表現を生成する前に、欠陥のないアイテムを完全に表現するいくつかの画像が受信されたと判定することを含む、請求項３に記載の方法。
【請求項５】
前記欠陥のないアイテムを完全に表現するいくつかの画像が受信されたと判定することが、前記欠陥のないアイテムの２Ｄおよび３Ｄ形状に関する情報を分析することを含む、請求項４に記載の方法。
【請求項６】
前記欠陥のないアイテムを完全に表現するいくつかの欠陥のないアイテムの画像が受信されたと判定することと、
不明なクラスの前記アイテムの前記画像を追加することと、
前記欠陥のないアイテム前記画像および前記不明なクラスの前記画像を埋め込んで、前記所定のサイズ表現を生成することと、を含む、請求項４に記載の方法。
【請求項７】
前記埋め込むことが、
前記受信した画像を比較して、前記画像から属性を抽出することと、
前記属性を使用して、前記所定のサイズ表現を生成することと、を含む、請求項１に記載の方法。
【請求項８】
画像間の前記属性の類似性に基づいて、前記画像から属性を抽出することを含む、請求項７に記載の方法。
【請求項９】
前記埋め込むことが、機械学習技術を使用することを含む、請求項１に記載の方法。
【請求項１０】
既知のクラスの同じタイプのアイテムの前記不確定な数の画像が、数枚の画像を含む、請求項１に記載の方法。
【請求項１１】
前記機械学習予測子が、第１のタイプのアイテムの画像で訓練され、既知のクラスの前記アイテムおよび不明なクラスの前記アイテムが、前記第１のタイプとは異なる第２のタイプである、請求項１に記載の方法。
【請求項１２】
画像化されたアイテムの予測を取得するための方法であって、
既知のクラスの同じタイプのアイテムの数枚の画像および不明なクラスのアイテムの画像を受信することと、
前記画像を埋め込んで、所定のサイズ表現を生成することと、
前記所定のサイズ表現を機械学習予測子に入力して、前記不明なクラスの前記アイテムに関する予測を取得することと、
前記予測に基づいて、デバイスを制御することと、を含む、方法。
【請求項１３】
既知のクラスの前記アイテムが、欠陥のないアイテムを含む、請求項１２に記載の方法。
【請求項１４】
生産ラインの目視検査のためのシステムであって、
カメラと通信するプロセッサを備え、前記プロセッサは、
既知のクラスの同じタイプのアイテムの不確定な数の画像と、不明なクラスのアイテムの画像と、を受信するため、
前記受信した画像を埋め込んで、所定のサイズ表現を生成するため、
前記所定のサイズ表現を機械学習プロセスで使用して、不明なクラスの前記アイテムに関する予測を取得するため、
前記予測に基づいて、デバイスを制御するため、である、システム。
【請求項１５】
前記デバイスが、前記生産ラインを制御するための信号処理システムを含む、請求項１４に記載のシステム。
【請求項１６】
前記予測が、不明なクラスの前記アイテムの欠陥を検出することを含む、請求項１４に記載のシステム。
【請求項１７】
既知のクラスの前記同じタイプのアイテムが、欠陥のないアイテムを含む、請求項１４に記載のシステム。
【請求項１８】
前記プロセッサが、
前記画像を埋め込む前に、前記欠陥のないアイテムを完全に表すいくつかの画像が受信されたことを判定するためのものである、請求項１７に記載のシステム。
【請求項１９】
前記プロセッサが、
前記受信した画像を比較して、前記画像から属性を抽出し、
前記属性を使用して、前記所定のサイズ表現を生成するためのものである、請求項１４に記載のシステム。
【請求項２０】
前記機械学習プロセスが、第１のタイプのアイテムの画像で訓練され、既知のクラスの前記アイテムおよび不明なクラスの前記アイテムが、前記第１のタイプとは異なる第２のタイプである、請求項１４に記載のシステム。
【国際調査報告】
2021523348.tif 000008
2021523348.tif 000009