(57)【要約】  欠陥製品を検出し、修正するためのシステムおよび方法は、少なくとも１つのイメージセンサを用いて製品の少なくとも１つの画像を取り込み（２２１）、製品のオリジナル画像を生成することを含む。エンコーダ（２２３ａ）は、前記オリジナル画像から抽出された画像の部分を符号化して特徴空間ベクトルを生成する。デコーダ（２２３ｂ）は、前記特徴空間ベクトルを復号して、欠陥のない製品を予測するように訓練された隠れ層に従って前記部分の各々の欠陥のない構造的特徴を予測することによって、前記画像の前記部分を再構成された部分に再構成する。前記再構成された部分の各々は、前記製品の欠陥のない表現の再構成された画像に合成される（２２４）。前記再構成された画像（２２５）がコントラスタ（２３０）に伝達されて、製品の欠陥を示す異常を検出する。
2020525940.tif 000002
【特許請求の範囲】
【請求項１】
欠陥製品を検出し、修正する方法であって、
少なくとも１つの画像センサを用いて、製品の少なくとも１つの画像を取り込んで（１００）、前記製品のオリジナル画像を生成し、
エンコーダを用いて、前記オリジナル画像から抽出された画像の少なくとも１つの部分的にマスクされた部分の各々を符号化して（８０２）、特徴空間ベクトルを生成し、
デコーダを用いて、前記特徴空間ベクトルを復号して（８０３）、欠陥のない製品を予測するように訓練された隠れ層に従って前記少なくとも１つのマスクされた部分の各々における欠陥のない構造的特徴を予測することによって、前記画像の前記少なくとも１つのマスクされた部分を対応する少なくとも１つの再構成された部分に再構成し、
前記少なくとも１つの再構成部分の各々を前記製品の欠陥のない表現の再構成画像に合成し（８０４）、
前記再構成された画像をコントラスタに伝達して（８０６）、前記製品内の欠陥を示す異常を検出する、方法。
【請求項２】
前記オリジナル画像を前記再構成画像と対比して（８０５）、前記オリジナル画像と前記再構成画像との間の差の位置を示す異常マップを生成することをさらに含む、請求項１に記載の方法。
【請求項３】
前記コントラスタは、前記再構成された画像と前記オリジナル画像との間の画素毎の差を決定する、請求項２に記載の方法。
【請求項４】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記オリジナル画像との間の差に対応する差分値のマトリックスを含む、請求項２に記載の方法。
【請求項５】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記オリジナル画像との間の差を描写する画像を含む、請求項２に記載の方法。
【請求項６】
異常タグ付け装置を用いて、前記製品上の欠陥に対応する異常として差の位置をタグ付けすること（８０６）を、さらに含む、請求項１に記載の方法。
【請求項７】
前記検出された異常に従って前記製品を自動的に廃棄すること（８０７）を、さらに含む、請求項１に記載の方法。
【請求項８】
少なくとも１つの画像パッチを抽出し、前記少なくとも１つの画像パッチの各々を部分的にマスクして、前記オリジナル画像の前記少なくとも１つのマスクされた部分を生成する画像パッチ抽出器（２２２）を、さらに含む、請求項１に記載の方法。
【請求項９】
前記画像パッチ抽出器は、前記オリジナル画像を横切るグリッドを課し、前記グリッドによって定義される各領域は、抽出される部分に対応する、請求項８に記載の方法。
【請求項１０】
通知デバイスを用いて前記異常をオペレータ（３００）に通知することを、さらに含む、請求項１に記載の方法。
【請求項１１】
前記通知デバイスは、前記異常に対応するタグを有する前記製品の前記オリジナル画像を表示するディスプレイを含む、請求項１０に記載の方法。
【請求項１２】
欠陥製品を検出し、修正する方法であって、
画像パッチ抽出器を用いて、製品のオリジナル画像の部分を抽出し（８０１）、各部分を部分的にマスキングして、少なくとも１つのマスキングされた部分を形成し、
再構成器を用いて、前記オリジナル画像を再構成し（８０３）、該再構成は、
エンコーダを用いて、前記オリジナル画像から抽出された画像の少なくとも１つの部分的にマスクされた部分の各々を符号化して （８０２）、特徴空間ベクトルを生成し、
デコーダを用いて、前記特徴空間ベクトルを復号し（８０３）、欠陥のない製品を予測するように訓練された隠れ層に従って前記少なくとも１つのマスクされた部分のそれぞれにおける欠陥のない構造的特徴を予測することによって、前記画像の前記少なくとも１つのマスクされた部分を対応する少なくとも１つの再構成された部分に再構成し、
画像合成モジュールを用いて、前記少なくとも１つの再構成された部分を前記オリジナル画像に合成して、再構成された画像を生成し、
コントラスタを用いて、前記製品の前記オリジナル画像と前記再構成された画像と対比して、前記オリジナル画像と前記再構成された画像との間の差の位置を示す異常マップを生成し、
異常タグ付け装置を用いて、前記製品上の欠陥に対応する異常として前記差の位置をタグ付けし（８０６）、
ディスプレイを介して自動的に異常をオペレータに通知する（８０７）、方法。
【請求項１３】
前記画像パッチ抽出器は、前記オリジナル画像を横切るグリッドを課し、前記グリッドによって定義される各領域は、抽出される部分に対応する、請求項１２に記載の方法。
【請求項１４】
マスクされた部分を生成するために、再構成される前記部分の領域を黒くする（２２２）ことを、さらに含む、請求項１２に記載の方法。
【請求項１５】
前記コントラスタは、前記再構成された画像と前記オリジナル画像との間の画素毎の差を決定する、請求項１２に記載の方法。
【請求項１６】
前記ディスプレイは、前記異常に対応するタグを有する前記製品の前記オリジナル画像を表示する、請求項１２に記載の方法。
【請求項１７】
欠陥製品を検出し、修正するシステムであって、
製品の少なくとも１つの画像を取り込んで前記製品のオリジナル画像を生成する少なくとも１つの画像センサ（１００）と、
前記製品の対応する部分の欠陥のない表現となるように、前記オリジナル画像の部分的にマスクされた部分を再構成することによって、製品のオリジナルを再構成する再構成器（２２０）と、を有し、
前記再構成器は、
前記オリジナル画像から抽出された画像の少なくとも１つの部分的にマスクされた部分の各々を符号化して特徴空間ベクトルを生成するための符号器（２２３ａ）と、
欠陥のない製品を予測するように訓練された隠れ層に従って、前記少なくとも１つの部分の各々における欠陥のない構造的特徴を予測することによって、前記画像の少なくとも１の部分を対応する少なくとも１つの再構成された部分に再構成するために、特徴空間ベクトルを復号するためのデコーダ（２２３ｂ）と、
前記少なくとも１つの再構成された部分の各々を前記製品の欠陥のない表現の再構成された画像に合成するための画像合成モジュール（２２４）と、
前記タグ付けされた異常に従って前記製品を自動的に廃棄するための異常補正システム（３００）と、を有する、システム。
【請求項１８】
前記製品の前記オリジナル画像を前記再構成された画像と対比し、前記オリジナル画像と前記再構成された画像との間の差の位置を示す異常マップを生成するためのコントラスタ（２３０）を、さらに含む、請求項１７に記載のシステム。
【請求項１９】
前記製品上の欠陥に対応する異常として前記差の位置をタグ付けするための異常タグ付け装置（２４０）を、さらに含む、請求項１７に記載のシステム。
【請求項２０】
前記異常に対応するタグを有する前記製品のオリジナル画像を表示するディスプレイ（３００）を、さらに含む、請求項１７に記載のシステム。
【請求項２１】
患者の状態を診断するシステムであって、
解剖学的画像を生成する医療撮像装置（７１０）と、
前記解剖学的画像の部分をその部分の健全な表現になるように再構成し、その部分を前記解剖学的画像に合成して再構成画像を生成する再構成装置（２２０）と、
前記解剖学的画像を前記再構成された画像と対比して、前記解剖学的画像と前記再構成された画像との間の差の位置を示す異常マップを生成するコントラストタ （２３０）と、
前記解剖学的画像内の解剖学的異常に対応する異常として前記差の位置をタグ付けする異常タグ付け装置（２４０）と、
前記解剖学的異常に対応するタグを有する前記解剖学的画像を表示するディスプレイ（３００）と、を有する、システム。
【請求項２２】
前記解剖学的画像の前記部分を抽出する画像パッチ抽出器（２２２）を、さらに含む、請求項２１に記載のシステム。
【請求項２３】
前記画像パッチ抽出器は、前記解剖学的画像を横切るグリッドを課し、前記グリッドによって規定される各領域は、抽出されるべき部分に対応する、請求項２２に記載のシステム。
【請求項２４】
前記再構成器は、再構成される前記部分の領域を黒くする、請求項２１に記載のシステム。
【請求項２５】
前記再構成器は、解剖学的構造の健全な描写の画像部分を生成するように訓練されたエンコーダ-デコーダ構成（２２３）を含む、請求項２１に記載のシステム。
【請求項２６】
前記コントラスタは、前記再構成された画像と前記オリジナル画像との間の画素毎の差を決定する、請求項２１に記載のシステム。
【請求項２７】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記オリジナル画像との間の差に対応する差分値のマトリックスを含む、請求項２１に記載のシステム。
【請求項２８】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記解剖学的画像との間の差を表す画像を含む、請求項２１に記載のシステム。
【請求項２９】
前記医療撮像装置がＸ線撮像装置を含む、請求項２１に記載のシステム。
【請求項３０】
前記ディスプレイは、医師が添え木を取り付けるために、タグ付けされた骨折を有するＸ線画像を表示する、請求項２９に記載のシステム。
【請求項３１】
患者の状態を診断するためのシステムであって、
解剖学的画像を生成する医療撮像装置（７１０）と、
解剖学的画像の部分を抽出し、前記部分的にマスクして部分的にマスクされた画像パッチを生成する画像パッチ抽出器（２２２）と、
前記解剖学的画像の前記部分的にマスクされた画像パッチを再構成して、前記部分の健全な表現とすることによって前記解剖学的画像を再構成する再構成器（２２０）と、
前記オリジナル画像に前記健全な表現を合成して再構成された画像を生成する画像合成モジュール（２２４）と、
前記解剖学的画像を前記再構成された画像と対比して、前記解剖学的画像と前記再構成された画像との間の差の位置を示す異常マップを生成するコントラスタ （２３０）と、
前記解剖学的画像における解剖学的異常に対応する異常として前記差異の位置をタグ付けする異常タグ付け装置（２４０）と、
前記解剖学的異常に対応するタグに応じて薬剤を自動的に投与する診断システム（７３０）と、を有する、システム。
【請求項３２】
前記解剖学的画像の前記部分を抽出する画像パッチ抽出器（２２２）を、さらに含む、請求項３１に記載のシステム。
【請求項３３】
前記画像パッチ抽出器は、前記解剖学的画像を横切るグリッドを課し、前記グリッドによって規定される各領域は、抽出されるべき部分に対応する、請求項３２に記載のシステム。
【請求項３４】
前記再構成器は、再構成される前記部分の領域を黒くすることによって前記部分を部分的にマスクする、請求項３１に記載のシステム。
【請求項３５】
前記再構成器は、解剖学的構造の健全な描写の画像部分を生成するように訓練されたエンコーダ-デコーダ構成（２２３）を含む、請求項３１に記載のシステム。
【請求項３６】
前記コントラスタは、前記再構成された画像と前記オリジナル画像との間の画素毎の差を決定する、請求項３１に記載のシステム。
【請求項３７】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記オリジナル画像との間の差に対応する差分値のマトリックスを含む、請求項31に記載のシステム。
【請求項３８】
前記異常マップは、前記オリジナル画像上の複数の位置における前記再構成された画像と前記解剖学的画像との間の差を表す画像を含む、請求項３１に記載のシステム。
【請求項３９】
前記医療撮像装置がＸ線撮像装置を含む、請求項３１に記載のシステム。
【請求項４０】
前記解剖学的異常が骨折に対応する、請求項３９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願情報
本出願は、2017年6月27日出願の仮米国特許出願第62/525,291号、2018年5月18日出願のされた非仮米国特許出願第15/983,342号、および2018年5月18日出願の非仮米国特許出願第15/983,392号の優先権を主張し、参照によりそれらの全体が本明細書に組み込まれる。
【０００２】
本発明は、異常検出に関し、より詳細には、異常検出用途の再構成器およびコントラスタに関する。
【背景技術】
【０００３】
関連技術の説明
顧客への製品の出荷前に、製品に欠陥及び異常が発生する。欠陥及び異常は、様々な方法、問題の製品に依存する様々な頻度及び多様なタイプ、及びそれがどのように作られたかで発生する可能性がある。しかしながら、欠陥製品は、一般に、欠陥及び異常のために顧客を満足させるための基準を満たさない。
【０００４】
したがって、出荷品から製品を取り出すことは、顧客の不満を防止し、一貫した製品品質を保証することができる。しかしながら、欠陥のある製品、特に特定のタイプの欠陥を有する製品の例が比較的稀であり得るため、どの製品が欠陥を含んでいるかを認識することが難しいことがある。
【発明の概要】
【０００５】
本原理の一態様によれば、欠陥製品を検出し、修正する方法が提供される。その方法は、少なくとも１つの画像センサで製品の少なくとも１つの画像を取り込んで、前記製品のオリジナル画像を生成することを含む。エンコーダは、オリジナル画像から抽出された画像の少なくとも一部の各々を符号化して、特徴空間ベクトルを生成する。デコーダは、前記特徴空間ベクトルを復号して、欠陥のない製品を予測するように訓練された隠れ層に従って前記少なくとも一部の各々における欠陥のない構造的特徴を予測することによって、前記画像の前記少なくとも一部を対応する少なくとも１つの再構成された部分に再構成する。前記少なくとも１つの再構成された部分の各々は、前記製品の欠陥のない表現の再構成された画像に合成される。前記再構成された画像は、前記製品内の欠陥を示す異常を検出するためにコントラスタに伝達される。
【０００６】
本原理の別の態様によれば、欠陥製品を検出し、修正する方法が提供される。その方法は、画像パッチ抽出器を用いて、製品のオリジナル画像の部分を抽出することを含む。前記オリジナル画像は、再構成器で再構成される。この再構成は、エンコーダで、前記オリジナル画像から抽出された画像の少なくとも一部の各々を符号化して特徴空間ベクトルを生成することと、デコーダで、前記特徴空間ベクトルを復号して、欠陥のない製品を予測するように訓練された隠れ層に従って前記少なくとも一部の各々における欠陥のない構造的特徴を予測することによって、前記画像の前記少なくとも一部を対応する少なくとも１つの再構成された部分に再構成することとを含む。再構成画像を生成するために、前記オリジナル画像への部分が画像合成モジュールで合成される。前記オリジナル画像と前記再構成された画像との間の差の位置を示す異常マップを生成するために、コントラスタで、前記製品の前記オリジナル画像と前記再構成された画像とが対比される。異常タグ付け装置で、前記差の位置が、前記製品上の欠陥に対応する異常としてタグ付けされる。オペレータには、異常の表示が自動的に通知される。
【０００７】
本原理の別の態様によれば、欠陥製品を検出し、修正するシステムが提供される。そのシステムは、製品の少なくとも１つの画像を取り込んで前記製品のオリジナル画像を生成する少なくとも１つの画像センサを含む。再構成器は、前記製品の前記部分の欠陥のない表現になるように前記オリジナル画像の部分を再構成することによって製品のオリジナル画像を再構成する。前記再構成器は、前記オリジナル画像から抽出された画像の少なくとも１つの部分の各々を符号化して特徴空間ベクトルを生成するエンコーダと、前記特徴空間ベクトルを復号して、欠陥のない製品を予測するように訓練された隠れ層に従って前記少なくとも１つの部分の各々における欠陥のない構造的特徴を予測することによって、前記画像の前記少なくとも１つの部分を対応する少なくとも１つの再構成された部分に再構成するデコーダとを含む。画像合成モジュールは、前記少なくとも１つの再構成された部分の各々を、前記製品の欠陥のない表現の再構成された画像に合成する。異常修正システムは、タグ付けされた異常に従って前記製品を自動的に廃棄する。
【０００８】
これらおよび他の特徴および利点は、添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００９】
本開示は、以下の図面を参照して好ましい実施形態の以下の説明において詳細を提供する。
【００１０】
【図１】図１は、本発明の原理による、欠陥製品を修正する高レベルシステム/方法を示すブロック/フロー図である。
【図２】図２は、本発明の原理による、欠陥および異常を検出し、修正するシステム/方法を示すブロック/フロー図である。
【図３】図３は、本発明の原理による、再構成器およびコントラスタを使用して欠陥および異常を検出および修正するシステム/方法を示すブロック/フロー図である。
【図４】図４は、本発明の原理による、欠陥および異常を検出し、修正するための画像を再構成するシステム/方法を示すブロック/フロー図である。
【図５】図５は、本発明の原理による、欠陥および異常を検出および修正するための再構成された画像とオリジナル画像とを対比させるシステム/方法を示すブロック/フロー図である。
【図６】図６は、本発明の原理による、欠陥および異常を検出し、修正する再構成器を訓練するシステム/方法を示すブロック/フロー図である。
【図７】図７は、本発明の原理による、医療異常を診断する高レベルシステム/方法を示すブロック/フロー図である。
【図８】図８は、本原理による、再構成器およびコントラスタを用いて欠陥および異常を検出するシステム/方法を示すフロー図である。
【発明を実施するための形態】
【００１１】
好ましい実施形態の詳細な説明
【００１２】
本発明の原理によれば、異常検出するシステムおよび方法が提供される。特に有用な実施形態では、システムおよび方法は、例えば、製造された製品のような製品おける欠陥を修正するように構成され得る。
【００１３】
一実施形態では、製品は、再構成器およびコントラスタを使用して欠陥について検査される。再構成器は、欠陥を含む製品の画像を再構成するために使用されるエンコーダ-デコーダ構成を含むことができる。エンコーダ-デコーダ構成は、欠陥を含まない例から訓練される。したがって、エンコーダ-デコーダ構成は、製品の不完全な画像を使用し、欠陥のない訓練に従って画像を再構成する。その結果、製品の再構成画像は、再構成画像が欠陥の無い製品を描写する場合に生成できる。
【００１４】
次いで、コントラスタは、再構成された画像と製品のオリジナル画像との差を決定することができる。オリジナル画像と再構成された画像との間に実質的な差がある場合、製品は欠陥がないと見なされる。言い換えれば、製品の欠陥のない再構成画像と一致しないことによって、製品が何らかの異常または欠陥を含んでいると判定することができる。
【００１５】
製品が欠陥のない再構成と一致しないかどうかを決定するために使用されるシステムおよび方法のために、エンコーダ-デコーダ構成は、製品の通常の欠陥のない画像のみを用いて訓練され得る。したがって、訓練サンプルを豊富に見つけることができ、エンコーダ-デコーダ構成の訓練を安価かつ効率的にすることができる。
【００１６】
本明細書に記載した実施形態は、全体にハードウェアであってもよく、全体にソフトウェアであってもよく、またはハードウェアおよびソフトウェア要素の両方を含んでもよい。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むがこれらに限定されないソフトウェアで実施される。
【００１７】
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品を含んでいてもよい。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、または転送する任意の装置を含んでいてもよい。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム(または装置またはデバイス)、または伝搬媒体とすることができる。媒体は、半導体または固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、リジッド磁気ディスク、および光ディスクなどのようなコンピュータ可読記憶媒体を含んでいてもよい。
【００１８】
各コンピュータプログラムは、汎用または専用プログラマブルコンピュータによって読み取り可能な機械可読記憶媒体またはデバイス(例えば、プログラムメモリまたは磁気ディスク)に有形に記憶され、それら記憶媒体またはデバイスがコンピュータによって読み取られて本明細書で記載された手順を実行する場合にコンピュータの動作を構成および制御してもよい。また、本発明のシステムは、コンピュータプログラムで構成されたコンピュータ可読記憶媒体で具現化されると考えることができ、そのように構成された記憶媒体は、本明細書で説明される機能を実行するために、コンピュータは特定の事前定義された方法で動作させる。
【００１９】
プログラムコードを記憶および/または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に結合された少なくとも１つのプロセッサを含んでいてもよい。メモリ要素は、プログラムコードの実際の実行中に使用されるローカルメモリ、大容量記憶装置、および実行中に大容量記憶装置からコードが取り出される回数を減らすために少なくともいくつかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力/出力またはI/O装置(キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない)は、直接または介在するI/Oコントローラを介して、システムに結合されてもよい。
【００２０】
ネットワークアダプタは、介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするためにシステムに結合されてもよい。モデム、ケーブルモデム、およびイーサネットカードは、現在使用可能なネットワークアダプタの種類の一例に過ぎない。
【００２１】
ここで、同様の数字が同一または類似の要素を表す図を詳細に参照する。最初に図１を参照すると、欠陥製品を修正するための高レベルのシステム/方法が、本原理の一実施形態に従って例示的に示されている。
【００２２】
一実施形態では、製造プラント１０が製品を製造する。製造される製品は、任意の物理的製品であってもよい。製造された製品は、欠陥を有して製造されることがある。したがって、製造された製品を品質保証システム２０に送ることができる。
【００２３】
品質保証システム２０は、製造された製品を検査して、製品の欠陥や異常などの問題に関して製品が品質基準に適合することを保証する。そのような欠陥は、例えば、亀裂、穴、突起、変色、または製品のオリジナル設計に含まれない任意の特徴などの視覚的欠陥を含むことができる。品質保証システム２０は、検査を実行するための自動システム、例えばカメラを含む自動視覚システムを含むことができる。しかしながら、例えば、レーダ、赤外線、超音波、又は他の検出方法を含む他の検査システムを使用することができる。結果に基づいて、品質保証システム２０は、製品欠陥を修正するためのステップを自動的に実行することができる。そのようなステップは、例えば、欠陥のある製品を廃棄すること、欠陥のあるものとして製品を自動的にリストアップし、修理を必要とすること、欠陥についてオペレータに警告すること、または任意の他の修正措置を含むことができる。
【００２４】
本発明の一態様によれば、修正措置は、欠陥品として製品を列挙することと、製品を製造プラント１０に返送してリサイクルまたは改修することとを含むことができる。しかし、製品に欠陥がない場合、その製品は、顧客に送るために出荷梱包システム３０に送ることができる。
【００２５】
ここで図２を参照すると、本発明の原理の一実施形態による、欠陥および異常を検出し、修正するためのシステム/方法が例示的に示されている。
【００２６】
本発明の態様によれば、アイテム内の欠陥および異常は、撮像装置１００によって捕捉される。撮像装置１００は、欠陥および異常の認識を容易にするために、分析のためのアイテムの画像を取り込む。例えば、撮像装置１００は、例えば、アイテム全体又はアイテムの一部のいずれかの画像を取り込むためのカメラ装置又は複数のカメラ装置を含むことができる。よって、複数の撮像装置１００を使用して、複数の視点からアイテムの画像を同時にキャプチャすることができる。したがって、例えば、表面全体、または適切な撮像装置１００の深さ全体(例えば、磁気共鳴撮像(MRI)またはコンピュータ支援断層撮影などを含む撮像装置１００の場合と同様)などのアイテム全体を撮像装置１００によって取り込むことができる。あるいは、単一の撮像装置１００を使用することができ、アイテムおよび撮像装置１００は、例えば、コンベヤ、ジンバル、または移動ステージによって複数の視点から画像を取り込むために、互いに相対的に移動させることができる。また、撮像装置１００は、例えば、赤外線センサ、レーダセンサ、超音波センサ、光検出および測距(LIDAR)センサなどを含むこともできる。これにより、撮像装置１００は、解析対象物の画像を生成することができる。
【００２７】
次いで、画像は、異常検出およびタグ付けシステム２００によって分析することができる。異常検出およびタグ付けシステム２００は、画像を処理して、撮像装置１００からの画像に従って、アイテムに潜在的な異常が存在することを認識する。ここで、異常は、画像に示されるように、アイテムのその位置に通常存在するものから逸脱するアイテムの特徴であると考えられる。例えば、異常検出およびタグ付けシステム２００は、アイテムの画像を欠陥のないアイテムと比較することができる。したがって、異常検出およびタグ付けシステム２００が欠陥のないアイテムとは異なるアイテムの画像を分析するとき、異常検出およびタグ付けシステム２００は、画像内およびアイテム上のどこに差があるかを欠陥のないアイテムから決定する。次いで、異常検出およびタグ付けシステム２００は、欠陥のないアイテムとは異なるアイテムの特徴を潜在的な異常または欠陥としてタグ付けすることができる。
【００２８】
タグ付けされた異常に関する情報は、次に、修正措置を行うために、異常修正システム３００に提供することができる。修正措置は、欠陥の深刻さに依存し得る。例えば、アイテムが製造された製品である場合、生産ラインは停止されてもよく、またはアイテムが廃棄されてもよく、あるいはリサイクルまたは改修のために取り除かれてもよい。しきい値を使用することもでき、その結果、しきい値数の異常がタグ付けされた場合、より抜本的な措置を取ることができる。例えば、アイテムが製造された製品である場合、第１の閾値数の異常に達すると、アイテムが廃棄されることになり、第２の閾値に達すると、生産ライン全体が停止することになる。代替的に、または追加的に、異常修正システム３００は、タグ付けされた異常を有するアイテムをオペレータに通知するための通知デバイスを含むことができる。
【００２９】
ここで図３を参照すると、再構成器およびコントラスタを使用して欠陥および異常を検出および修正するためのシステム/方法が、本原理に従って例示的に示されている。
【００３０】
本発明の態様によれば、撮像装置１００によって撮影されたアイテムの画像は、再構成器２２０およびコントラスタ２３０の両方に提供することができる。再構成器２２０は、例えば、メモリ又は記憶装置内の、アイテムの画像を受け取り、再構成された画像がコントラスタ２３０でオリジナル画像と対比できるように、欠陥又は異常を含まないアイテムの再構成された画像を生成することができる。
【００３１】
再構成器２２０は、アイテムの画像を受け取り、画像を再構成して、欠陥または異常を除去する。例えば、再構成器は、画像を画像の複数のより小さな部分に分割し、より小さな各部分の領域を部分的にマスクし、各部分を再構成することができる。しかしながら、画像を再構成する他の方法も考えられる。再構成器２２０は、例えば、記憶装置、ランダムアクセスメモリ(RAM)、バッファ、またはキャッシュなどのメモリに記憶された画像に対して再構成を実行するために、例えば、プロセッサを含むことができる。したがって、再構成器２２０は、再構成された画像を用いて、欠陥または異常を有さないアイテムの表現を生成する。再構成された画像は、例えば、RAM、バッファ又はキャッシュのような記憶装置に記憶又はキャッシュすることができる。
【００３２】
次に、再構成された画像は、撮像装置１００からのオリジナル画像と共にコントラスタ２３０に供給される。次に、コントラスタ２３０は、再構成された画像をオリジナル画像と比較することができる。再構成された画像はアイテムの欠陥のない表現であるので、再構成された画像とオリジナル画像との間のいかなる差もコントラスタ２３０によって検出される。再構成器２２０と同様に、コントラスタ２３０は、対比を実行するための、例えばプロセッサと、オリジナル画像および再構成された画像を一時的または永続的に格納するための、例えばRAM、バッファまたはキャッシュなどの記憶装置とを含むことができる。
【００３３】
次いで、コントラスタ２３０は、検出された差に関するデータを異常タグ付け装置２４０に提供する。異常タグ付け装置２４０は、再構成された画像とオリジナル画像との間の差の位置に関するデータを使用して異常を識別する。このように、異常タグ付け装置２４０は、識別され、タグ付けされた異常を有するアイテムのタグ付けされた画像を生成することができる。
【００３４】
タグ付けされた画像は、上述したように、異常に関する修正措置を行うために異常修正システム３００によって使用することができる。例えば、異常修正システム３００は、例えば、アイテムが特定の数の異常を有する場合、アイテムが廃棄されるべきであることを自動的に決定することができる。代替的に、異常修正システム３００は、アイテムが何らかの異常を有する場合には、そのアイテムを廃棄すべきであること、またはそのアイテムを製造業者に返送して、改修またはリサイクルすることができることを自動的に決定することができる。異常修正システム３００は、例えば、異常を有するアイテムが見つかった場合、または異常を有する特定の数のアイテムが見つかった場合、生産ライン全体を停止すべきであると自動的に判断することさえできる。また、異常修正システム３００は、例えば、オペレータに異常を通知し、オペレータにタグ付けされた画像を提供することができる。
【００３５】
ここで、図４を参照すると、欠陥及び異常を検出及び修正するための画像を再構成するシステム/方法が、本発明の原理に従って例示的に示されている。
【００３６】
再構成器２２０は、画像パッチ抽出器２２２を用いて画像パッチを抽出することによって、アイテムのオリジナル画像２２１を再構成して、アイテムの欠陥のないバージョンを表すことができる。画像パッチ抽出器２２２は、例えば、画像に重ね合わされたグリッドを使用して、再構成されるべきオリジナル画像２２１の部分を識別することができる。次いで、画像パッチ抽出器２２２は、プロセッサを使用して、オリジナル画像２２１から一連の画像パッチ２２２ａを抽出することができる。ここで、一連の各画像パッチ２２２ａは、オリジナル画像２２１の識別された部分によるオリジナル画像２２１の異なる部分である。各画像パッチ２２２ａの再構成を容易にするために、各画像パッチ２２２ａの領域２２２ｃは、部分的にマスクされた画像パッチ２２２ｂを生成するために、黒くするか、さもなければマスクされる。このようにして、オリジナル画像２２１内のアイテムの特徴に関するデータが画像パッチ２２２ａから除去され、その結果、再構成は、オリジナル画像２２１の対応する部分に存在する任意の特徴とは独立して実行することができる。
【００３７】
一連の各画像について、再構成モジュール２２３は、部分的にマスクされた各画像パッチ２２２ｂのマスクされた領域２２２ｃを再構成することができる。したがって、再構成モジュール２２３は、例えば、プロセッサを含む処理デバイスと、例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、または、例えば、RAM、バッファ、もしくはキャッシュなどの一時メモリなどの記憶デバイスとを含むことができる。マスクされた領域２２２ｃを再構成するために、再構成モジュール２２３は、例えば、記憶装置に記憶されたエンコーダ-デコーダ構成、又は画像を再構成するための他の適切なニューラルネットワークを利用することができる。
【００３８】
本発明の態様によれば、再構成モジュール２２３は、分析されるタイプの欠陥のないアイテムを使用して訓練される。したがって、再構成モジュール２２３は、オリジナル画像２２１の各部分的にマスクされた画像パッチ２２２ｂについてマスクされた領域２２２ｃを再構成するとき、マスクされた領域２２２ｃの内容を予測することによって、欠陥のない訓練に基づいて再構成する。その結果、再構成された部分は、再構成された画像パッチにおいて欠陥がないように見えることになる。欠陥のないアイテムを用いて再構成モジュール２２３を訓練することによって、訓練画像を容易に見つけることができる。したがって、再構成モジュール２２３の訓練は迅速かつ効率的であり、大きな訓練セットが精度の改善を容易にする。さらに、欠陥のない画像を再構成することによって、欠陥および異常の種類を考慮に入れる必要がなく、したがって再構成の複雑さが低減され、異常検出およびタグ付けシステム２００の速度および効率が改善される。
【００３９】
本発明の実施形態では、再構成モジュール２２３は、エンコーダ２２３ａおよびデコーダ２２３ｂを含むエンコーダ-デコーダ構成を使用する。したがって、マスク領域２２２ｃを有する部分的にマスクされた画像パッチ２２２ｂは、エンコーダ２２３ａに提供され、エンコーダ２２３ａは、隠れ層を有する部分的にマスクされた画像パッチ２２２ｂを、例えば、多次元特徴空間ベクトルなどの特徴空間における潜在表現に変換する。隠れ層は、活性化関数および重み行列を含むことができる。エンコーダ２２３ａは、例えば、多次元特徴空間ベクトルなどの符号化表現に到達するために、１つまたは複数の隠れ層を含むことができる。画像パッチ２２２ａの特徴をマスキングすることに加えて、エンコーダ４２３ａは、画像パッチ２２３のマスキングされていない領域内の任意の特徴をさらに難読化するために表現の次元数を低減し、したがって、画像パッチ２２３の再構成された表現に存在する異常のリスクを低減するように構成することができる。
【００４０】
次に、符号化した表現がデコーダ２２３ｂによって復号されて、予測画像パッチ２２４ａを生成することができる。エンコーダ２２３ａと同様に、デコーダ２２３ｂは、１つまたは複数の隠れ層を使用して、活性化関数および重み行列を使用することによって、符号化表現を出力画像に対応する表現に変換することができる。デコーダ２２３ｂの活性化関数および重み行列は、エンコーダ２２３ａの活性化関数および重み行列と同じであっても、異なっていてもよい。
【００４１】
部分的にマスクされた画像パッチ２２２ｂはマスクされた領域２２２ｃを含むので、エンコーダ２２３ａは、マスクされた領域２２２ｃ内のアイテムの特徴に関連するデータなしに、部分的にマスクされた画像パッチ２２２ｂを符号化する。したがって、アイテムの対応する部分の特徴は、多次元特徴空間ベクトルに符号化されない。その結果、デコーダ２２３ｂは、オリジナル画像２２１の対応する部分の特徴から影響を受けることなく、マスクされた領域２２２ｃを予測することによって画像パッチ２２２ａを再構成することができる。これにより、マスクされた領域２２２ｃに対応する欠陥のないアイテムを効率的に予測することができる。
【００４２】
エンコーダ２２３ａおよびデコーダ２２３ｂは、欠陥のないアイテムで訓練されているので、デコーダ２２３ｂは、欠陥のない特徴を予測するように訓練される。したがって、予測画像部分は、オリジナル画像２２１の対応する画像パッチ２２２ａが欠陥または異常を有していたとしても、欠陥または異常を有していない再構成画像パッチ２２４ａを含む。
【００４３】
再構成された画像パッチ２２４ａは、その後、画像合成モジュール２２４によってオリジナル画像２２１に合成される。画像合成モジュール２２４は、例えば、プロセスを含む処理デバイスと、例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、または、例えば、RAM、バッファ、またはキャッシュのような一時メモリのような記憶デバイスとを含むことができる。再構成画像パッチ２２４ａは、オリジナル画像２２１が再構成画像２２５になるように、オリジナル画像２２１の対応する部分を置換する。あるいは、再構成された画像パッチ２２４ａは、オリジナル画像とは独立して、他の以前に再構成された画像パッチとステッチされ得る。各抽出した画像パッチ２２２ａは、再構成モジュール２２３によって再構成され、画像合成モジュール２２４で画像に合成される。したがって、再構成画像２２５は、識別されたすべての部分がその部分の再構成バージョンで置換された状態で生成される。その結果、再構成画像２２５は、欠陥のないアイテムを描写することになる。次いで、再構成画像２２５は、例えば、ハードドライブ、ソリッドステートドライブ、若しくは、例えばRAM、バッファ、キャッシュ等のフラッシュメモリ又は一時メモリなどの記憶装置に記憶することが可能である。
【００４４】
次に図５を参照すると、本発明の原理に従って、欠陥および異常を検出し、修正するための、再構成された画像とオリジナル画像とを対比させるためのシステム/方法が例示的に示されている。
【００４５】
再構成画像２２５は、再構成器２２０によって再構成されたオリジナル画像２２１の多数の部分を有する画像を含むことができる。したがって、上述したように、再構成画像２２５は、再構成プロセスによって除去された任意の欠陥または異常を有するアイテムを描写する。再構成画像２２５は、例えば、プロセッサと、例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、RAM、バッファ、またはキャッシュなどの記憶装置とを含む処理装置を使用して、コントラスタ２３０によってオリジナル画像２２１と対比することができる。コントラスタ２３０は、例えば、異常マップ２３１を生成するために、画像間の画素毎の差を決定することができる。２つの画像間のコントラストの高い領域は、その位置における画素の差を大きくする。その差は、画素毎の差を表す新しい画像にマッピングされ、したがって、異常マップ２３１の異常を強調することができる。
【００４６】
次に図６を参照すると、本発明の原理に従って、欠陥アイテムを検出し、修正する再構成器を訓練するシステム/方法が例示的に示されている。
【００４７】
再構成器は、訓練画像４２１を用いて再構成学習モジュール４２３を訓練することによって画像を再構成するように訓練できる。訓練画像４２１はそれぞれ、上述の異常検出およびタグ付けシステム２００などの異常検出タグ付けシステムによって分析されるべき種類のアイテムの画像を含むことができる。各訓練画像４２１は、欠陥がなく、言い換えると、「正常」である。このように、再構成学習モジュール４２３は、欠陥のないアイテム画像を再構成するように訓練が行われる。再構成訓練モジュール４２３を欠陥のないアイテムで訓練することによって、訓練画像を容易に見つけることができる。したがって、再構成訓練モジュール４２３の訓練は、迅速かつ効率的であり、大きな訓練セットは、改善された精度を容易にする。さらに、欠陥のない画像を再構成することによって、欠陥および異常のタイプを考慮に入れる必要がなく、したがって再構成の複雑さが低減され、異常検出およびタグ付けシステム２００の速度および効率が改善される。
【００４８】
再構成学習モジュール４２３を訓練するために、画像パッチ抽出器４２２は訓練画像４２１のパッチ４２２ａを抽出する。プロセッサを有する処理装置を含む画像パッチ抽出器４２２は、例えば、画像上に重ね合わされたグリッドを使用して、再構成されるべき訓練画像４２１の部分を識別することができる。次いで、画像パッチ抽出器４２２は、訓練画像４２１から一連の画像パッチ４２２ａを抽出することができ、一連の各画像パッチ４２２ａは、訓練画像４２１の識別された部分による訓練画像４２１の異なる部分であり、画像パッチ４２２ａをキャッシュまたはバッファに一時的または永続的に格納することができる。
【００４９】
各画像パッチ４２２ａの一部は、部分的にマスクされた画像パッチ４２２ｂを生成するために、画像パッチ４２２ａのマスクされた領域４２２ｃを形成するように、黒くするか、さもなければマスクされることができる。このマスクされた領域４２２ｃは、訓練画像４２１の対応する部分の特徴に関するデータを全く含まない。したがって、部分的にマスクされた各画像パッチ４２２ｂの再構成は、訓練画像４２１の任意の特徴とは独立して実行することができる。
【００５０】
一連の各画像について、再構成学習モジュール４２３は、部分的にマスクされた各画像パッチ４２２ｂのマスクされた領域４２２ｃを再構成することができる。したがって、再構成学習モジュール４２３は、例えば、プロセッサを含む処理デバイスと、例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、または、例えば、RAM、バッファ、もしくはキャッシュなどの一時メモリなどの記憶デバイスとを含むことができる。マスクされた領域４２２ｃを再構成するために、再構成学習モジュール４２３は、例えば、記憶装置に記憶されたエンコーダ-デコーダ構成、又は画像を再構成するための他の適切なニューラルネットワークを利用することができる。
【００５１】
したがって、部分的にマスクされた画像パッチ４２２ｂは、エンコーダ４２３ａに提供され、エンコーダ４２３ａは、隠れ層を有するマスクされた領域４２２ｃを、例えば、多次元特徴空間ベクトルなどの特徴空間内の潜在表現に変換する。隠れ層は、活性化関数および重み行列を含むことができる。エンコーダ４２３ａは、例えば、多次元特徴空間ベクトルなどの符号化表現に到達するために、１つまたは複数の隠れ層を含むことができる。再構成学習モジュール４２３は、部分的にマスクされた画像４２２ｂを用いて訓練されるので、多次元特徴空間ベクトルの次元数を恒等関数の次元数未満に低減する必要はない。しかしながら、エンコーダ４２３ａを削減することは、画像パッチ４２３のマスクされていない領域の任意の特徴をさらに難読化するために表現の次元を削減し、したがって、画像パッチ２２３の再構成された表現に存在する異常のリスクを低減するように構成することができる。
【００５２】
次に、符号化された表現は、デコーダ４２３ｂによって復号されて、予測画像パッチ４２４ａを生成することができる。エンコーダ４２３ａと同様に、デコーダ４２３ｂは、１つまたは複数の隠れ層を使用して、活性化関数および重み行列を使用することによって、符号化表現を出力画像に対応する表現に変換することができる。デコーダ４２３ｂの活性化関数および重み行列は、エンコーダ４２３ａの活性化関数および重み行列と同じであっても、異なっていてもよい。
【００５３】
再構成学習モジュール４２３は、部分的にマスクされた画像４２３で訓練されるので、再構成学習モジュール４２３は、マスクされた部分４２２ｃ内の任意の既存のデータとは独立したデータを予測することによって、画像パッチの再構成を学習する。したがって、符号化および復号化の複雑さが低減され、画像再構成の速度および効率が改善される。
【００５４】
次に、予測画像を入力画像と比較することができる。誤差は、損失関数を用いて、入力画像と予測画像との差に応じて決定することができる。エラーは、他のバックプロパゲーション方法のうち、例えば、勾配降下法、または共役勾配法などの適切なバックプロパゲーションプロセスを使用して、各レイヤにおける重み行列を更新するために、エンコーダ４２３ａおよびデコーダ４２３ｂの各隠れレイヤにバックプロパゲーションされ得る。この処理は、複数の訓練画像を用いて繰り返される。訓練画像は、再構成される種類の欠陥のないアイテムの画像の部分に対応する。例えば、再構成学習モジュール４２３は、製造された製品の画像を再構成するために、製造された製品を用いて訓練できる。したがって、再構成学習モジュール４２３のエンコーダ-デコーダ構成は、欠陥のないアイテムの画像を再構成するようにトレーニングされる。
【００５５】
トレーニングは、上述の再構成モジュール２２３のような再構成モジュールとして再構成学習モジュール４２３を実装する前に、再構成学習モジュール４２３をトレーニングするための独立したプロセスとして実行することができるが、再構成モジュールは、製品画像を再構成するために再構成モジュールを実装することと同時に再構成学習モジュール４２３としてトレーニングすることができる。
【００５６】
したがって、製品の画像部分を再構成しながら、再構成学習モジュール４２３などの再構成モジュールは、画像パッチ４２２ａを再構成することができる。次いで、再構成された画像パッチ４２４ａは、画像合成モジュール４２４によって訓練画像４２１に合成される。再構成画像パッチ４２４ａは、訓練画像４２１が予測再構成４２５になるように、訓練画像４２１の対応する画像パッチ４２４ａを置換する。抽出された各画像パッチ４２２ａは、再構成学習モジュール４２３によって再構成され、画像合成モジュール４２４によって画像に合成される。したがって、予測再構成４２５は、その部分の再構成されたバージョンで置き換えられたすべての識別された部分を用いて生成できる。
【００５７】
再構成バージョンは、上述のコントラスタ２３０および異常タグ付けモジュール２４０などのプロセスおよびシステムを使用して、オリジナル画像と対比することができる。オリジナル画像に欠陥がないことがわかった場合、再構成された部分を使用して、例えば、損失関数による誤差を決定し、その誤差を、上述したように、再構成学習モジュール４２３の隠れ層に逆伝播することができる。したがって、再構成学習モジュール４２３は、製品が欠陥を有するかどうかを同時に判定しながら、欠陥のない製品画像を用いて連続的に訓練することができる。
【００５８】
ここで図７を参照すると、本発明の原理による医療異常を診断するための高レベルのシステム/方法が、本発明の原理に従って例示的に示されている。
【００５９】
一実施形態では、医療スキャン装置７１０は、例えば、Ｘ線センサ、磁気共鳴画像(ＭＲＩ)装置、コンピュータ断層撮影(CT)スキャン、陽電子放出断層撮影(ＰＥＴ)スキャン、光学画像、又は医療診断に適した他のスキャン装置のような、人の解剖学的構造のスキャンを生成する。したがって、医療用走査装置７１０は、解剖学的構造または生理学的構造の画像を生成することができる。人の解剖学的構造または生理学的構造は、治療を必要とする疾患または状態を示す異常を含むことがある。このように、画像は、医療異常検出システム７２０に提供できる。
【００６０】
医療異常検出システム７２０は、何らかの異常があるかどうかを判定するために解剖学的構造スキャンを検査する。このような異常は、例えば、腫瘍、血餅、骨折、脱臼、骨折を含む医学的異常を示す、例えば、解剖学的構造および生理学における身体的徴候および症状を含み得る。医学的異常検出システム７２０は、スキャンを正常な解剖学的構造および生理学的構造のスキャンと比較することによって、異常が存在することを判定することができる。例えば、医療異常検出システム７２０は、医学的に正常な患者の解剖学的構造および生理学的構造の画像を用いて訓練される機械学習システムを含むことができる。正常な患者スキャンを用いてシステムを訓練することによって、医療異常検出システム７２０は、異常を含まない解剖学的スキャンの再構成を生成し、再構成されたバージョンを元のスキャンと比較して差異を識別することができる。差の位置は、解剖学的構造または生理学的構造の異常を示す。したがって、これらの差は、医療異常検出システム７２０で識別することができる。
【００６１】
識別された異常は、例えば、ディスプレイ、コンピュータ、または他の通知デバイスなどの診断システム７３０に通信することができる。これにより、診断システム７３０は、医師に異常を通知することができる。したがって、医師は、患者の解剖学的構造の異常を容易かつ迅速に見つけることができ、そうでなければ、気づかなかったり、検出されなかったりする可能性がある。代替的に、診断システム７３０は、薬剤を自動的に投与するための装置を含むことができる。例えば、医療用走査装置７１０がX線装置である場合、異常は骨折に対応し得る。したがって、診断システム７３０は、例えば、骨関連異常のタグ付けに応答して、鎮痛剤を自動的に投与することができる。
【００６２】
ここで図８を参照すると、再構成器およびコントラスタを用いて欠陥および異常を検出するためのシステム/方法が、本原理に従って例示的に示されている。
【００６３】
ブロック８０１で、アイテムのオリジナル画像上の位置から画像パッチを抽出し、画像パッチを部分的にマスクする。
【００６４】
オリジナル画像は、例えば、カメラ、ＣＣＤ、赤外線センサ、ＬＩＤＡＲセンサ、又は画像を取り込む他の装置のような撮像装置で取り込むことができる。オリジナル画像は、他のアイテムの中でも、例えば、製造された製品、または解剖学的構造の一部などのアイテムの画像である。時折、アイテムは、例えば、亀裂、バリ、突起、へこみ等のような望ましくない欠陥及び異常を含む。画像装置は、これらの異常及び欠陥を取り込む。
【００６５】
次いで、例えば、画像上に重ね合わされたグリッドを使用して、オリジナル画像の部分を再構成するために識別することができる。次いで、これらの部分は、オリジナル画像から一連の画像パッチとして抽出され、この一連の各画像パッチは、オリジナル画像の識別された部分に従ったオリジナル画像の異なる部分である。領域を再構成できるように部分の領域を隠すために、例えば、黒くする、隠す、または、そうでなければ、後続の処理から領域を除去することによって、領域をマスクすることができる。
【００６６】
ブロック８０２において、エンコーダの１つまたは複数の隠れ層を使用して、部分的にマスクされた画像パッチを特徴空間ベクトルに変換することによって、部分的にマスクされた画像パッチを符号化する。
【００６７】
本発明の実施形態では、画像パッチは、隠れ層を有する画像パッチを特徴空間ベクトルに変換するエンコーダに提供される。隠れ層は、活性化関数および重み行列を含むことができる。エンコーダは、特徴空間ベクトルに到達するために１つまたは複数の隠れ層を含むことができる。
【００６８】
ブロック８０３で、デコーダの１つまたは複数の隠れ層を使用して特徴空間ベクトルを再構成パッチに復号することによって、アイテムの部分的にマスクされた画像パッチを再構成する。
【００６９】
次いで、符号化表現は、デコーダによって復号されて、符号化表現を入力画像パッチの元の次元数を有する表現に戻す予測画像パッチを生成することができる。エンコーダと同様に、デコーダは、活性化関数および重み行列を使用することによって、１つまたは複数の隠れレイヤを使用して、符号化表現を出力画像パッチに対応する表現に変換することができる。デコーダの活性化関数および重み行列は、エンコーダの活性化関数および重み行列と同じであっても、異なっていてもよい。
【００７０】
エンコーダは部分的にマスクされた画像部分を符号化するので、デコーダは部分的にマスクされた画像部分のマスクされた領域を予測する。したがって、例えば、入力画像パッチとして使用される画像パッチの物理的または可視的特徴を含むコンテンツは、アイテムのオリジナル画像のいかなる特徴からも影響を受けることなく、デコーダによる復号中に予測される。その結果、予測画像パッチを含む出力表現は、重み行列および活性化関数に従って画像パッチを再構成する。
【００７１】
ブロック８０４で、再構成されたパッチをオリジナル画像上の位置に合成して、再構成された画像を生成する。
【００７２】
再構成された画像パッチは、その後、オリジナル画像に合成される。再構成された画像パッチは、オリジナル画像が再構成された画像になるように、オリジナル画像の対応する部分を置き換える。あるいは、再構成された画像パッチは、オリジナル画像とは独立して、他の以前に再構成された画像パッチとステッチされ得る。
【００７３】
抽出された各画像部分は再構成され、画像に合成される。従って、再構成された画像は、対応する再構成されたパッチで置き換えられた全ての抽出されたパッチを用いて生成される。その結果、再構成された画像は、欠陥のないアイテムを描写することになる。次いで、再構成された画像は、例えば、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、又は、例えばRAM、バッファ、若しくはキャッシュのような一時メモリのような記憶装置に記憶されることができる。
【００７４】
ブロック８０５で、再構成された画像をオリジナルと対比させて、再構成された画像とオリジナル画像との間の差の位置における異常を示す異常マップを生成する。
【００７５】
アイテム内の異常および欠陥を判定するために、再構成された画像は、コントラスタを用いてオリジナル画像と比較され得る。コントラスタは、例えば、画像間の画素毎の差を実行することによって、再構成画像をオリジナル画像と比較することができる。しかしながら、他の対比方法が考えられる。対比のために、再構成画像とオリジナル画像との間の差は、各位置における再構成画像とオリジナル画像との間の差の程度を表す異常マップにマッピングすることができる。異常マップは、例えば、画像のような視覚的表現、又は行列表現、又は他の任意の適切な表現の形態をとることができる。その結果、異常マップは、アイテムの別個の表現の形態をとることができ、あるいは、実際のアイテムの表現と異常の表現との両方を提供するために、オリジナル画像上に重ねることができる。
【００７６】
ブロック８０６で、異常マップ上のタグ異常は、再構成された画像とオリジナル画像との間の差に対応するアイテムの可能な異常を示す。
【００７７】
次いで、異常マップは、異常マップ内の結果に対応する、再構成された画像とオリジナル画像との間の最大の差の領域にタグ付けすることによって、異常を識別するために使用され得る。タグ付けされた領域は、例えば、再構成された画像とオリジナル画像との間の差の程度を表す異常閾値に従って決定することができる。領域が、異常閾値よりも大きい異常で表されるような差を有する場合、その領域は、アイテムの対応する位置上に異常を含むものとしてタグ付けできる。このようにして、アイテムの欠陥および異常を識別することができる。異常タグは、例えば、異常マップ、オリジナル画像、またはその両方に、あるいは、例えば、座標を有するリストのような別個の表現として適用されることができる。
【００７８】
ブロック８０７で、異常を自動的に修正する。
【００７９】
異常マップ及び異常タグに応答して、修正措置をとることができる。例えば、欠陥を示す異常を有する製品は、生産ラインから自動的に除去でき、又は生産ライン全体を自動的に停止することができる。別の可能な修正措置として、オペレータが適切な措置をとることができるように、例えば、ディスプレイまたは可聴警告などの通知システムを介してオペレータに通知を提供することができる。
【００８０】
上記は、あらゆる点で例示的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は、詳細な説明からではなく、むしろ特許法によって許容される完全な範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の原理を例示するに過ぎず、当業者は、本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性を用いて説明したが、特許証によって保護されることが請求され、望まれるものは、添付の特許請求の範囲に記載されている。
【図１】
2020525940.tif 000003
【図２】
2020525940.tif 000004
【図３】
2020525940.tif 000005
【図４】
2020525940.tif 000006
【図５】
2020525940.tif 000007
【図６】
2020525940.tif 000008
【図７】
2020525940.tif 000009
【図８】
2020525940.tif 000010
【国際調査報告】
2020525940.tif 000011
2020525940.tif 000012