(57)【特許請求の範囲】
【請求項１】
異常検出を扱うコンピューティングデバイスであって、
入力画像を受信するエンコーダであり、前記入力画像及び前記エンコーダの少なくとも１つの第１のパラメータに従ってセマンティック潜在ベクトルと視覚外観潜在ベクトルとを含む第１の潜在ベクトルを生成する、エンコーダと、
前記エンコーダに結合され、前記入力画像及び前記第１の潜在ベクトルを受信する訓練モジュールであり、前記入力画像及び前記第１の潜在ベクトル並びに損失関数に従って前記少なくとも１つの第１のパラメータを更新する、訓練モジュールと、
を含むコンピューティングデバイス。
【請求項２】
前記入力画像は、前記セマンティック潜在ベクトルの最大信頼度スコアが閾値より低い場合、異常であると決定される、請求項１に記載のコンピューティングデバイス。
【請求項３】
前記セマンティック潜在ベクトルは前記入力画像のセマンティック情報を含み、前記入力画像の視覚外観情報を含まない、請求項１に記載のコンピューティングデバイス。
【請求項４】
前記視覚外観潜在ベクトルは前記入力画像の視覚外観情報を含み、前記入力画像のセマンティック情報を含まない、請求項１に記載のコンピューティングデバイス。
【請求項５】
前記訓練モジュールは、
少なくとも１つの潜在ベクトルを受信するデコーダであり、前記少なくとも１つの潜在ベクトル及び前記デコーダの少なくとも１つの第２のパラメータに従って少なくとも１つの再構成画像を生成する、デコーダと、
前記デコーダに結合され、前記入力画像、前記少なくとも１つの再構成画像、及び前記少なくとも１つの潜在ベクトルを処理する処理モジュールであり、複数の入力ペアを生成する、処理モジュールと、
前記処理モジュールに結合され、前記複数の入力ペアを受信するディスクリミネータモジュールであり、前記複数の入力ペア及び前記ディスクリミネータモジュールの少なくとも１つの第３のパラメータに従って複数のスコアを生成する、ディスクリミネータモジュールと、
前記ディスクリミネータモジュールに結合され、前記複数のスコアを受信するフィードバックモジュールであり、前記複数のスコア及び前記損失関数に従って前記少なくとも１つの第１のパラメータ、前記少なくとも１つの第２のパラメータ、及び前記少なくとも１つの第３のパラメータを更新する、フィードバックモジュールと、
を含む、請求項１に記載のコンピューティングデバイス。
【請求項６】
前記少なくとも１つのベクトルは、前記第１の潜在ベクトル又はランダムサンプリングされた潜在ベクトルである、請求項５に記載のコンピューティングデバイス。
【請求項７】
前記複数の入力ペアのうち１つは、前記入力画像と、前記入力画像の少なくとも１つのラベルを有する前記視覚外観潜在ベクトルとを含む、請求項５に記載のコンピューティングデバイス。
【請求項８】
前記複数の入力ペアのうち１つは、前記少なくとも１つの再構成画像と、前記少なくとも１つの潜在ベクトルとを含む、請求項５に記載のコンピューティングデバイス。
【請求項９】
前記エンコーダは、前記少なくとも１つのベクトルが前記第１の潜在ベクトルである場合、前記少なくとも１つの再構成画像を受信して第２の潜在ベクトルを生成する、請求項５に記載のコンピューティングデバイス。
【請求項１０】
前記フィードバックモジュールは、前記第１の潜在ベクトルと前記第２の潜在ベクトルとの間の差に従って前記損失関数を計算する、請求項９に記載のコンピューティングデバイス。
【請求項１１】
前記損失関数は、少なくとも１つの正則化器、カテゴリ損失関数、カルバックライブラー（ＫＬ）ダイバージェンス関数、及びワッサースタイン敵対的生成ネットワーク（ＷＧＡＮ）損失関数を含む、請求項１に記載のコンピューティングデバイス。
【請求項１２】
前記少なくとも１つの正則化器は、前記少なくとも１つのベクトルが前記第１の潜在ベクトルである場合、前記入力画像と前記少なくとも１つの再構成画像との間の差を計算するＬ１ノルム関数である、請求項１１に記載のコンピューティングデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアシステムにおいて使用されるデバイス及び方法に関し、より詳細には、異常検出を扱うデバイス及び方法に関する。
【背景技術】
【０００２】
異常検出は、正常データから異常データ（例えば、普通でない例）を区別して、分布不整合問題を解決することを目的とする。異常検出は、バイオメディカルイメージング、ビデオ監視、自動光学検査（ＡＯＩ）等のいくつかの適用ドメインにおける問題を解決するために適用されている。正常データと異常データとを分離するために、異常検出について種々の方法が提案されている。しかしながら、これらの方法の性能は、正常データ及び異常データの複雑な背景又は内容変異形により低減する可能性がある。ゆえに、異常検出を扱うための改善された方法が必要とされている。
【発明の概要】
【０００３】
したがって、本発明は、上述の問題を解決するための異常検出を扱うデバイス及び方法を提供する。
【０００４】
異常検出を扱うコンピューティングデバイスが、入力画像を受信するエンコーダであり、入力画像及びエンコーダの少なくとも１つの第１のパラメータに従ってセマンティック潜在ベクトルと視覚外観潜在ベクトルとを含む第１の潜在ベクトルを生成する、エンコーダと、エンコーダに結合され、入力画像及び第１の潜在ベクトルを受信する訓練モジュールであり、入力画像及び第１の潜在ベクトル並びに損失関数に従って少なくとも１つの第１のパラメータを更新する、訓練モジュール、とを含む。
【０００５】
本発明のこれら及び他の目的は、種々の図表及び図面に示される好適な実施形態の以下の詳細な説明を読んだ当業者に明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】本発明の一例によるコンピューティングデバイスの概略図である。
【図２】本発明の一例による訓練モジュールの概略図である。
【図３】本発明の一例によるディスクリミネータモジュールの概略図である。
【図４】本発明の一例による実験結果の比較表である。
【図５】本発明の一例による処理のフローチャートである。
【発明を実施するための形態】
【０００７】
図１は、本発明の一例によるコンピューティングデバイス１０の概略図である。コンピューティングデバイス１０は、エンコーダ１００及び訓練モジュール１１０を含む。詳細には、エンコーダ１００は、入力画像を受信し、入力画像及びエンコーダ１００の少なくとも１つの第１のパラメータに従って第１の潜在ベクトル（latent  vector）（例えば、潜在コード又は潜在表現）を生成し、第１の潜在ベクトルは、セマンティック（semantic）潜在ベクトル（例えば、セマンティック潜在コード）及び視覚外観（visual  appearance）潜在ベクトル（例えば、視覚外観潜在コード）を含む。訓練モジュール１１０は、エンコーダ１００に結合され、入力画像及び第１の潜在ベクトルを受信する。訓練モジュール１１０は、入力画像、第１の潜在ベクトル、及び損失関数に従ってエンコーダ１００の少なくとも１つの第１のパラメータを更新する。
【０００８】
異常検出の方法は、正常データから異常データ（例えば、普通でない例又は特異なデータ）を区別する（例えば、識別する）方法に従って２つのカテゴリに分けられ得る。自己表現法（Self-representation  methods）は、入力（例えば、入力画像）と出力（例えば、再構成画像）との間の再構成誤差をＬ１ノルム関数又はＬ２ノルム関数により測定し（例えば、評価又は計算し）、入力が異常（例えば、外れ値、分布外、新しいもの）であるかどうかを区別するように設計される。例えば、より高い再構成誤差は、入力が異常である可能性がより高いことを表す。しかしながら、自己表現法のモジュールは、正常データ及び異常データの視覚外観情報（例えば、視覚属性）を再構成可能であり得、入力のセマンティック情報（例えば、カテゴリ特徴又はカテゴリ情報）なしに入力の視覚外観情報に従って出力を生成して、再構成誤差を低減させ得る。ゆえに、再構成誤差は、異常検出の適切なインジケータでない可能性がある。
【０００９】
一方、信頼度推定法（confidence  estimation  methods）は、信頼度スコア及び閾値を見出すように設計される。例えば、入力は、信頼度スコアが閾値より低い場合、異常であると決定される。しかしながら、信頼度推定法のモジュールは、入力が異常であるとき、高い信頼度スコアを生成することがある（すなわち、高い信頼度スコアは閾値より高い）。すなわち、信頼度推定法のモジュールは、入力のセマンティック情報に従って信頼度スコアを生成しない可能性がある。ゆえに、信頼度推定法は、異常データを識別するのに失敗する可能性がある。さらに、双方の方法の性能は、正常データ又は異常データの複雑な背景又は内容変異形（content  variants）により影響を受ける可能性がある。
【００１０】
本発明は、特徴のもつれ解き（feature  disentanglement）（例えば、もつれを解かれた特徴）を用いた異常検出のデバイス及び方法を提供し、正常データ又は異常データから視覚外観情報及びセマンティック情報のもつれを解く（disentangle）（例えば、分離又は区別する）ことを目的とする。ゆえに、方法の性能が正常データ及び異常データの複雑な背景又は内容変異形により低減し得るという問題が解決される。
【００１１】
さらに、本発明は、１クラスの異常検出（すなわち、あるデータセット内のすべてのクラスが正常データとして取り扱われ、他のデータセットのクラスが異常データとみなされる）に有効であるだけでなく、複数クラスの異常検出（すなわち、データセットの１クラスが異常データとして取り扱われ、該データセットの残りのクラスが正常データとみなされる）にも有効である。
【００１２】
一例において、セマンティック潜在ベクトルは入力画像のセマンティック情報を含み、入力画像の視覚外観情報を含まない。一例において、視覚外観潜在ベクトルは入力画像の視覚外観情報を含み、入力画像のセマンティック情報を含まない。すなわち、エンコーダ１００は、入力画像のセマンティック情報及び視覚外観情報を、それぞれ、第１の潜在ベクトルのセマンティック潜在ベクトル及び視覚外観潜在ベクトルにエンコードする。ゆえに、コンピューティングデバイス１０は、セマンティック情報に焦点を合わせて信頼度スコアを推定する。
【００１３】
一例において、訓練モジュール１１０は、エンコーダ１００の少なくとも１つの第１のパラメータを更新して、入力画像からセマンティック情報及び視覚外観情報のもつれを解く（例えば、分離する）ためのより良い能力をエンコーダ１００に持たせる。
【００１４】
一例において、エンコーダ１００及び訓練モジュール１１０は、訓練処理（例えば、もつれ解き処理）において正常データの分布を見出す（例えば、学習する）ように組み合わせられる。一例において、セマンティック潜在ベクトル及び視覚外観潜在ベクトルは、それぞれ、訓練処理において正常データからセマンティック情報及び視覚外観情報を見出す（例えば、学習する）ように訓練される。訓練処理を通じて、エンコーダ１００は、入力画像のセマンティック情報及び視覚外観情報をより正確に分離することができる。ゆえに、コンピューティングデバイス１０は、入力画像の無関係な特徴を除去することにより、信頼度スコアをより正確に推定することができる。
【００１５】
一例において、入力画像は、訓練処理が実行されるときの訓練データセットの画像（すなわち、実画像）である。一例において、入力画像は、訓練処理が完了した後に検出されるべき目標である。
【００１６】
一例において、エンコーダ１００は、例えば、終了条件（例えば、反復回数がデフォルト値に等しい）が満たされたとき、訓練モジュール１１０なしで独立して動作する。この状況において、エンコーダ１００は、潜在ベクトルの生成を開始して、正常データから異常データのもつれを解く（すなわち、入力画像が異常であるかどうかを決定する）。
【００１７】
一例において、セマンティック潜在ベクトルはワンホット（one-hot）ベクトルであり、セマンティック潜在ベクトルの各値は予測分布を満たす（例えば、従う）。一例において、入力画像は、セマンティック潜在ベクトルの最大信頼度スコアが閾値に等しいか又はより小さい場合、異常であると決定される。一例において、入力画像は、セマンティック潜在ベクトルの最大信頼度スコアが閾値より高い場合、異常でないと決定される。すなわち、コンピューティングデバイス１０は、信頼度推定のために、視覚外観潜在ベクトルなしにセマンティック潜在ベクトルを使用する。コンピューティングデバイス１０は、セマンティック潜在ベクトルの最大信頼度スコアを選択し、その最大信頼度スコアを閾値と比較して、入力画像が異常であるかどうかを決定する。ゆえに、コンピューティングデバイス１０は、入力画像の無関係な特徴（すなわち、視覚情報）を除去することにより、入力画像が異常であるかどうかを決定する。正常データ又は異常データの複雑な背景又は内容変異形により性能が影響を受ける可能性がある問題が解決される。
【００１８】
一例において、エンコーダ１００と訓練モジュール１１０との組み合わせは、変分オートエンコーダ敵対的生成ネットワーク（variational  autoencoder-generative  adversarial  network、ＶＡＥ‐ＧＡＮ）モジュールと呼ばれてもよい。換言すれば、訓練モジュール１１０は、デコーダ及びディスクリミネータ（discriminator）（例えば、ディスクリミネータモジュール）を含んでもよい。
【００１９】
図２は、本発明の一例による訓練モジュール２０の概略図である。訓練モジュール２０は、図１における訓練モジュール１１０を実現するために利用されてもよい。訓練モジュール２０は、デコーダ２００、処理モジュール２１０、ディスクリミネータモジュール２２０、及びフィードバックモジュール２３０を含む。デコーダ２００は少なくとも１つの潜在ベクトルを受信し、少なくとも１つの潜在ベクトル及びデコーダ２００の少なくとも１つの第２のパラメータに従って少なくとも１つの再構成画像を生成する。処理モジュール２１０はデコーダ２００に結合され、入力画像、少なくとも１つの潜在ベクトル、及び少なくとも１つの再構成画像を受信し、処理する。次いで、処理モジュール２１０は複数の入力ペアを生成する。ディスクリミネータモジュール２２０は処理モジュール２１０に結合され、複数の入力ペアを受信する。ディスクリミネータモジュール２２０は、複数の入力ペア及びディスクリミネータモジュール２２０の少なくとも１つの第３のパラメータに従って複数のスコアを生成する。フィードバックモジュール２３０はディスクリミネータモジュール２２０に結合され、複数のスコアを受信する。フィードバックモジュール２３０は、複数のスコア及び損失関数に従って少なくとも１つの第１のパラメータ、少なくとも１つの第２のパラメータ、及び少なくとも１つの第３のパラメータを更新する。
【００２０】
一例において、少なくとも１つのベクトルは、第１の潜在ベクトル又はランダムサンプリングされた（random  sampled）潜在ベクトルである。例えば、デコーダ２００は第１の潜在ベクトルを受信し、第１の再構成画像を生成する。デコーダ２００はランダムサンプリングされた潜在ベクトルを受信し、第２の再構成画像を生成する。
【００２１】
一例において、ランダムサンプリングされた潜在ベクトルは、セマンティック潜在ベクトル及び視覚外観潜在ベクトルを含む。一例において、ランダムサンプリングされた潜在ベクトルの視覚外観潜在ベクトルは、多変量正規分布（例えば、多変量ガウス分布）
【数１】
0006955612.tif 000002
を満たす（例えば、従う）ことができる。一例において、エンコーダ１００は、分布ｐ（ｚ）を課すことにより正則化され（regularized）、ここで、
【数２】
0006955612.tif 000003
である。
【００２２】
一例において、エンコーダ１００とデコーダ２００との組み合わせは、オートエンコーダと呼ばれてもよい。一例において、エンコーダ１００とデコーダ２００との組み合わせは、変分オートエンコーダ（variational  autoencoder、ＶＡＥ）と呼ばれてもよい。
【００２３】
一例において、デコーダ２００の目標は、入力画像（すなわち、実画像）の品質と同じ品質を有する再構成画像を生成することである。
【００２４】
一例において、処理モジュール２１０は、画像（例えば、入力画像又は少なくとも１つの再構成画像）を受信し、画像の次元（dimensions）を削減してベクトルを生成する。次いで、処理モジュール２１０は、該ベクトル及び潜在ベクトル（例えば、少なくとも１つの潜在ベクトル）を連結し、入力ペアを生成する。
【００２５】
一例において、複数の入力ペアのうち１つは、入力画像（すなわち、実画像）と、入力画像の少なくとも１つのラベルを有する視覚外観潜在ベクトルとを含み、少なくとも１つのラベルは、セマンティック潜在ベクトルとしてのグラウンドトルース（ground  truth）である（すなわち、少なくとも１つのラベルは、入力画像の理想的なセマンティック情報を含む）。
【００２６】
一例において、複数の入力ペアのうち１つは、少なくとも１つの再構成画像と、少なくとも１つの潜在ベクトルとを含む。例えば、デコーダ２００が、第１の潜在ベクトルを受信したとき第１の再構成画像を生成する場合、入力ペアは、第１の潜在ベクトルと第１の再構成画像とを含む。デコーダ２００が、ランダムサンプリングされた潜在ベクトルを受信したとき第２の再構成画像を生成する場合、入力ペアは、ランダムサンプリングされた潜在ベクトルと第２の再構成画像とを含む。
【００２７】
一例において、ディスクリミネータモジュール２２０は、少なくとも１つの再構成画像を生成するために少なくとも１つの潜在ベクトルのセマンティック潜在ベクトルを無視しないようにデコーダ２００を制約する。
【００２８】
一例において、ディスクリミネータモジュール２２０は、入力ペアを受信した後、入力ペアがどれほど真（又は偽）であるかを区別する（例えば、決定又は判別する）（すなわち、入力ペアにおける画像及び潜在ベクトルが元のデータからのものである可能性がより高いか、あるいはエンコーダ１００又はデコーダ２００により生成された再構成データからのものである可能性がより高いかを区別する）スコアを生成する。複数のスコア間におけるより大きい差は、ディスクリミネータモジュール２２０が複数の入力ペアをより成功裏に区別していることを表す。
【００２９】
図３は、本発明の一例によるディスクリミネータモジュール３００の概略図である。ディスクリミネータモジュール３００は、図２におけるディスクリミネータモジュール２２０を実現するために利用されてもよい。ディスクリミネータモジュール３００は入力ペアを受信し、対応するスコアを生成する。入力ペアの異なる内容に従って３つのケース（ａ）、（ｂ）、（ｃ）がある。
【００３０】
ケース（ａ）では、ディスクリミネータモジュール３００は、入力画像（すなわち、実画像）と入力画像の少なくとも１つのラベルを有する視覚外観潜在ベクトルとを含む入力ペアを受信する。ディスクリミネータモジュール３００は、少なくとも１つの第３のパラメータ、入力画像、及び少なくとも１つのラベルを有する第１の潜在ベクトルの視覚外観潜在ベクトルに従って第１のスコアを生成する。
【００３１】
ケース（ｂ）では、ディスクリミネータモジュール３００は、第１の潜在ベクトルと第１の再構成画像とを含む入力ペアを受信する。ディスクリミネータモジュール３００は、少なくとも１つの第３のパラメータ、第１の潜在ベクトル、及び第１の再構成画像に従って第２のスコアを生成する。
【００３２】
ケース（ｃ）では、ディスクリミネータモジュール３００は、ランダムサンプリングされた潜在ベクトルと第２の再構成画像とを含む入力ペアを受信する。ディスクリミネータモジュール３００は、少なくとも１つの第３のパラメータ、ランダムサンプリングされた潜在ベクトル、及び第２の再構成画像に従って第３のスコアを生成する。
【００３３】
ケース（ａ）〜（ｃ）は、同じ反復（iteration）内で発生し得ることに留意されたい。すなわち、図３によれば、ディスクリミネータモジュール３００は第１のスコア、第２のスコア、及び第３のスコアを生成し、一反復において上記スコアをフィードバックモジュール２３０に送信する。次いで、フィードバックモジュール２３０は、損失関数及びこれらのスコアに従って少なくとも１つの第１のパラメータ、少なくとも１つの第２のパラメータ、及び少なくとも１つの第３のパラメータを更新する。
【００３４】
一例において、フィードバックモジュール２３０は、第１のスコア及び第２のスコア並びに損失関数に従って第１の値を生成する。一例において、フィードバックモジュール２３０は、第１のスコア及び第３のスコア並びに損失関数に従って第２の値を生成する。一例において、フィードバックモジュール２３０は、一反復において第１の値及び第２の値に従ってエンコーダ１００の少なくとも１つの第１のパラメータとデコーダ２００の少なくとも１つの第２のパラメータとを更新する。一例において、フィードバックモジュール２３０は、一反復において第１の値及び第２の値に従ってディスクリミネータモジュール２２０の少なくとも１つの第３のパラメータを更新する。一例において、第１の値は、各反復において同じでもよく、あるいは異なってもよい。第２の値は、各反復において同じでもよく、あるいは異なってもよい。
【００３５】
一例において、フィードバックモジュール２３０は、少なくとも１つの第１のパラメータ及び少なくとも１つの第２のパラメータを更新することが要求された（例えば、構成された）とき第１の値及び第２の値を生成してもよく、少なくとも１つの第３のパラメータは、固定されてもよい。一例において、フィードバックモジュール１２０は、少なくとも１つの第３のパラメータを更新することが要求された（例えば、構成された）とき第１の値及び第２の値を生成してもよく、少なくとも１つの第１のパラメータ及び少なくとも１つの第２のパラメータは、固定されてもよい。すなわち、フィードバックモジュール１２０は、一反復においてエンコーダ１００のパラメータ及びデコーダ２００のパラメータ（又は、ディスクリミネータモジュール２２０のパラメータ）を更新し、ディスクリミネータモジュール２２０のパラメータ（又は、エンコーダ１００のパラメータ及びデコーダ２００のパラメータ）は、固定される。
【００３６】
一例において、フィードバックモジュール２３０は、適応モーメント推定（Adaptive  Moment  Estimation、ＡＤＡＭ）最適化器を使用して、一反復における第１の値及び第２の値に従ってエンコーダ１００の少なくとも１つの第１のパラメータ及びデコーダ２００の少なくとも１つの第２のパラメータを更新する。少なくとも１つの第１のパラメータ及び少なくとも１つの第１のパラメータを更新する反復の後、ディスクリミネータモジュール２２０は新しい複数の入力ペアを受信し、新しい複数のスコアを生成する。新しい複数のスコア間における新しい差は、現在の複数のスコア間における差より小さい可能性がある。
【００３７】
一例において、フィードバックモジュール２３０は、ＡＤＡＭ最適化器を使用して、一反復における第１の値及び第２の値に従って少なくとも１つの第３のパラメータを更新する。少なくとも１つの第３のパラメータを更新した反復の後、ディスクリミネータモジュール２２０は、同じ複数の入力ペアを受信したとき、更新されたディスクリミネータモジュール２２０の少なくとも１つの新しい第３のパラメータに従って新しい複数のスコアを生成する。新しい複数のスコア間における新しい差は、現在の複数のスコア間における差より大きい可能性がある。
【００３８】
一例において、少なくとも１つの第１のパラメータ及び少なくとも１つの第２のパラメータは、少なくとも１つの第３のパラメータがＮ回更新された後に更新され、Ｎは正の整数である。一例において、少なくとも１つの第３のパラメータは、少なくとも１つの第１のパラメータ及び少なくとも１つの第２のパラメータがＭ回更新された後に更新され、Ｍは正の整数である。
【００３９】
一例において、訓練処理（例えば、上記の例）は、デコーダ２００が現実画像の品質と同じ品質を有する少なくとも１つの再構成画像を生成することを奨励するだけでなく、エンコーダ１００がセマンティック潜在ベクトル及び視覚外観潜在ベクトルに対して、それぞれ、入力画像のセマンティック情報及び視覚情報のもつれを解くことも可能にする。一例において、エンコーダ１００は、例えば、ディスクリミネータモジュール２２０が複数のスコアに従って複数の入力ペアを区別できない（例えば、複数のスコアの差がゼロに近い）とき、訓練モジュール１１０（例えば、訓練モジュール２０）なしで独立して動作する。この状況において、エンコーダ１００は、潜在ベクトルの生成を開始して、正常データから異常データのもつれを解く（すなわち、入力画像が異常であるかどうかを決定する）。
【００４０】
一例において、エンコーダ１００は、デコーダ２２０により受信された少なくとも１つのベクトルが第１の潜在ベクトルである場合、少なくとも１つの再構成画像（すなわち、第１の再構成画像）を受信して第２の潜在ベクトルを生成する。一例において、フィードバックモジュール２３０は、第１の潜在ベクトルと第２の潜在ベクトルとの間の差に従って損失関数を計算する。
【００４１】
一例において、損失関数Ｌｔｏｔａｌ（Ｅ，Ｄ，Ｄｉｓ）は、少なくとも１つの正則化器（regularizer）（例えば、少なくとも１つの正則化関数）、カテゴリ損失関数（例えば、教師あり（supervised）損失関数）、カルバックライブラー（Kullback-Leibler、ＫＬ）ダイバージェンス関数、及びワッサースタイン敵対的生成ネットワーク（Wasserstein  Generative  Adversarial  Network、ＷＧＡＮ）損失関数を含む。少なくとも１つの正則化器は、再構成損失関数Ｌｒ（Ｅ，Ｄ）及び特徴一貫性損失関数Ｌｚ（Ｅ，Ｄ）でもよい。一例において、再構成損失関数Ｌｒは、少なくとも１つのベクトルが第１の潜在ベクトルである場合、入力画像と少なくとも１つの再構成画像（すなわち、第１の再構成画像）との間の差を計算するＬ１ノルム関数である。一例において、特徴一貫性損失関数Ｌｚ（Ｅ，Ｄ）は、第１の潜在ベクトルと第２の潜在ベクトルとの間の差を計算するＬ１ノルム関数である。再構成損失関数Ｌｒ（Ｅ，Ｄ）、カテゴリ損失関数Ｌｃ（Ｅ）、及び特徴一貫性関数Ｌｚ（Ｅ，Ｄ）は、以下の式に従って実行されてもよい。
【数３】
0006955612.tif 000004
ここで、ｘは入力画像であり、
【数４】
0006955612.tif 000005
は期待値式であり、Ｅ（ｘ）は、エンコーダ１００により生成された潜在ベクトル（例えば、第１の潜在ベクトル又は第２の潜在ベクトル）であり、Ｄ（ｃ，ｚ）は、デコーダ２００により生成された再構成画像（例えば、少なくとも１つの再構成画像）であり、ｃ及びｚは、それぞれ、潜在ベクトルのセマンティック潜在ベクトル及び視覚外観潜在ベクトルである。ＣＧｉは、入力画像のラベル（すなわち、少なくとも１つのラベル）を表す。
【００４２】
損失関数Ｌｔｏｔａｌ（Ｅ，Ｄ，Ｄｉｓ）は、損失関数に従って少なくとも１つの第１のパラメータ、少なくとも１つの第２のパラメータ、及び少なくとも１つの第３のパラメータを更新するために、敵対的ミニマックス問題（min-max  problem）を解くように最適化される。損失関数は、以下の式に従って実行されてもよい。
【数５】
0006955612.tif 000006
ここで、Ｌ（Ｅ，Ｄ，Ｄｉｓ）はＷＧＡＮ損失関数であり、ＬＫＬ（Ｅ）はＫＬダイバージェンス関数であり、数式（式４）における係数λ１、λ２、及びλ３は固定値である。
【００４３】
一例において、再構成損失関数Ｌｒ（Ｅ，Ｄ）は、入力画像の構造を維持することに関する。一例において、カテゴリ損失関数Ｌｃ（Ｅ）は、エンコーダ１００が入力画像のセマンティック情報を第１の潜在ベクトルのセマンティック潜在ベクトルとして識別するためのものである。一例において、再構成損失関数Ｌｒ（Ｅ，Ｄ）は、視覚外観潜在ベクトルにおける潜在ベクトル一貫性を維持することに関する。
【００４４】
図４は、本発明の一例による実験結果の比較表４０である。図４では、７つの方法がＭＮＩＳＴ（Modified  National  Institute  of  Standards  and  Technology）データセットを用いた実験結果を生成しており、すなわち、標準ＶＡＥ、ＡｎｏＧＡＮ、効率的ＧＡＮベース異常検出（Efficient  GAN  Based  Anomaly  Detection、ＥＧＢＡＤ）、ＧＡＮｏｍａｌｙ、敵対的生成ネットワークに結合された無限ガウス混合モデル（Infinite  Gaussian  Mixture  Model  coupled  with  Generative  Adversarial  Networks（ＩＧＭＭ‐ＧＡＮ）、ニューラルネットワークにおける外れ値検出（Outlier  Detection  In  Neural  Networks、ＯＤＩＮ）、及び本発明の一例である。次いで、比較表４０は、受信者動作特性下面積（Area  Under  the  Receiver  Operating  Characteristic、ＡＵＲＯＣ）曲線メトリックを採用することによる定性的及び定量的な実験結果を示す。よりチャレンジングなマルチクラス異常検出に焦点を合わせるために、ＭＮＩＳＴデータの１つのクラスが異常として取り扱われ、ＭＮＩＳＴデータの残りのクラスが正常データとして取り扱われている。比較表４０によれば、実験結果は、本発明が他の方法よりも良好に機能することを示す。
【００４５】
上記の例におけるコンピューティングデバイス１０の動作は、図５に示す処理５０に要約することができる。処理５０はコンピューティングデバイス１０において利用され、以下のステップを含む。
【００４６】
ステップ５００：開始。
【００４７】
ステップ５０２：入力画像を受信する。
【００４８】
ステップ５０４：入力画像及びエンコーダの少なくとも１つの第１のパラメータに従ってセマンティック潜在ベクトルと視覚外観潜在ベクトルとを含む第１の潜在ベクトルを生成する。
【００４９】
ステップ５０６：入力画像、第１の潜在ベクトル、及び損失関数に従って少なくとも１つの第１のパラメータを更新する。
【００５０】
ステップ５０８：終了。
【００５１】
処理５０は、コンピューティングデバイス１０の動作を説明するために用いられる。処理５０の詳細な説明及びバリエーションは前の説明を参照可能であり、ここでは説明されない。
【００５２】
当業者は、上述の説明及び例に対して組み合わせ、修正、及び／又は改変を容易に行うであろう。上述のエンコーダ、デコーダ、説明、関数、モジュール、及び／又は提案されたステップを含む処理は、ハードウェア、ソフトウェア、ファームウェア（ハードウェアデバイスと、ハードウェアデバイス上に読取専用ソフトウェアとして存在するコンピュータ命令及びデータとの組み合わせとして知られる）、電子システム、又はこれらの組み合わせであり得る手段により実現できる。
【００５３】
ハードウェアの例は、アナログ回路、デジタル回路、及び／又は混合回路を含んでもよい。例えば、ハードウェアは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス、結合ハードウェアコンポーネント、又はこれらの組み合わせを含んでもよい。一例において、ハードウェアは、汎用プロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、又はこれらの組み合わせを含む。
【００５４】
ソフトウェアの例は、記憶ユニット（例えば、コンピュータ読取可能媒体）に保持された（例えば、記憶された）コードのセット、命令のセット、及び／又は関数のセットを含んでもよい。コンピュータ読取可能媒体は、加入者識別モジュール（ＳＩＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ‐ＲＯＭ／ＤＶＤ‐ＲＯＭ／ＢＤ‐ＲＯＭ、磁気テープ、ハードディスク、光データ記憶デバイス、不揮発性記憶ユニット、又はこれらの組み合わせを含んでもよい。コンピュータ読取可能媒体（例えば、記憶ユニット）は、少なくとも１つのプロセッサに内部的に結合され（例えば、統合され）、あるいは外部的に結合され（例えば、分離され）てもよい。１つ以上のモジュールを含み得る少なくとも１つのプロセッサは、コンピュータ読取可能媒体内のソフトウェアを実行し（例えば、実行するように構成され）てもよい。コードのセット、命令のセット、及び／又は関数のセットは、少なくとも１つのプロセッサ、モジュール、ハードウェア、及び／又は電子システムに、関連するステップを実行させることができる。
【００５５】
要約すると、本発明は、異常検出（例えば、１クラス異常検出及びマルチクラス異常検出）を扱うコンピューティングデバイスを提供する。本発明は、入力画像からセマンティック情報及び視覚外観情報のもつれを解いて、入力画像の複雑な背景又は内容変異形により引き起こされる効果を低減させる。
【００５６】
当業者は、本発明の教示を保有する一方でデバイス及び方法の多くの修正及び改変がなされ得ることに容易に気づくであろう。したがって、上記開示は、別記の特許請求の範囲の範囲及び境界によってのみ限定されるとみなされるべきである。
【図１】
0006955612.tif 000007
【図２】
0006955612.tif 000008
【図３】
0006955612.tif 000009
【図４】
0006955612.tif 000010
【図５】
0006955612.tif 000011