【手続補正書】
【提出日】令和2年4月3日(2020.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピューティング装置の一つ以上のプロセッサーにおいて実行される画像比較方法であって、
前記プロセッサーが事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データ及び第２画像データを演算する段階と、
前記プロセッサーが前記第１画像データ及び前記第２画像データに基づき、前記第２画像データのアノマリー関連情報を決定する段階と、
前記プロセッサーが前記ネットワーク関数を利用して決定されたアノマリー関連情報を出力する段階と、を含む、
画像比較方法。
【請求項２】
請求項１において、
前記ネットワーク関数は、
前記第１画像データが入力される第１サブネットワークと、
前記第２画像データが入力される第２サブネットワークとを含む、
画像比較方法。
【請求項３】
請求項２において、
前記ネットワーク関数は、
前記第１サブネットワークと前記第２サブネットワークとのうち、少なくとも１つと直列（ｉｎ  ｓｅｒｉｅｓ）で繋がる比較モジュールをさらに含む、
画像比較方法。
【請求項４】
請求項３において、
前記第１サブネットワーク、前記第２サブネットワーク、前記比較モジュールのうち、少なくとも１つはディープニューラルネットワーク（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＤＮＮ）構造を含む、
画像比較方法。
【請求項５】
請求項４において、
前記第１サブネットワークと前記第２サブネットワークとのうち、少なくとも１つは、
前記ディープニューラルネットワーク構造のうち、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＣＮＮ）構造を含む、
画像比較方法。
【請求項６】
請求項４において、
前記比較モジュールは、
前記ディープニューラルネットワーク構造のうち、逆畳み込みニューラルネットワーク（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）構造を含む、
画像比較方法。
【請求項７】
請求項４において、
前記比較モジュールは、
前記第１サブネットワークと前記第２サブネットワークとのうち、少なくとも１つのサブネットワークとＵ−ネットワーク（Ｕ−Ｎｅｔ）構造の少なくとも一部分を構成する、
画像比較方法。
【請求項８】
請求項３において、
前記第１サブネットワークと前記第２サブネットワークとは、
同じ重み（ｗｅｉｇｈｔ）を持つリンクを少なくとも一つ以上共有する、
画像比較方法。
【請求項９】
請求項８において、
前記第１サブネットワークと前記第２サブネットワークとは、
シャムネットワーク（Ｓｉａｍｅｓｅ  Ｎｅｔｗｏｒｋ）の少なくとも一部分を構成する、
画像比較方法。
【請求項１０】
請求項３において、
前記プロセッサーが前記アノマリー関連情報を決定する段階は、
前記プロセッサーが前記第１サブネットワークの少なくとも１つのレイヤー及び前記第２サブネットワークの少なくとも１つのレイヤーに基づき、少なくとも１つのレイヤー比較情報を生成する段階と、
前記プロセッサーが前記生成されたレイヤー比較情報に基づき、前記アノマリー関連情報を演算する段階とを含む、
画像比較方法。
【請求項１１】
請求項１０において、
前記プロセッサーが前記アノマリー関連情報を演算する段階は、
前記プロセッサーが前記生成されたレイヤー比較情報を前記比較モジュールの対応するレイヤーに提供する段階を含む、
画像比較方法。
【請求項１２】
請求項１１において、
前記対応するレイヤーは、
前記レイヤー比較情報を生成する際ベースとなった前記第１サブネットワークのレイヤー又は前記第２サブネットワークのレイヤーの位置によって決まる、
画像比較方法。
【請求項１３】
請求項１において、
前記第１画像データは、アノマリーデータを含まない正常な状態の画像データだけを含むマスター画像であり、
前記第２画像データは、スレーブ画像である、
画像比較方法。
【請求項１４】
請求項１３において、
前記アノマリー関連情報は、前記第２画像データの中でアノマリーが存在するピクセルの位置情報関連データを含む、
画像比較方法。
【請求項１５】
請求項１において、
前記第１画像データと第２画像データは大きさが同じである、
画像比較方法。
【請求項１６】
コンピューティング装置であって、
一つ以上のプロセッサーと、
前記一つ以上のプロセッサーにおいて実行可能な命令を保存するメモリーとを含み、
前記一つ以上のプロセッサーは、
事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データ及び第２画像データを演算し、
前記第１画像データ及び前記第２画像データに基づき、前記第２画像データのアノマリー関連情報を決定し、さらに
前記ネットワーク関数を利用して決定されたアノマリー関連情報を出力する、
コンピューティング装置。  
【請求項１７】
エンコードされた命令を含むコンピューター可読保存媒体に保存されたコンピュータープログラムであって、前記コンピュータープログラムはコンピューターシステムの一つ以上のプロセッサーによって実行される場合、前記一つ以上のプロセッサーに画像比較のための動作を実行するようにさせ、前記動作は、
前記プロセッサーが事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データ及び第２画像データを演算する動作と、
前記プロセッサーが前記第１画像データ及び前記第２画像データに基づき、前記第２画像データのアノマリー関連情報を決定する動作と、
前記プロセッサーが前記ネットワーク関数を利用して決定されたアノマリー関連情報を出力する動作と、
を含む、コンピューター可読保存媒体に保存されたコンピュータープログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
前述のような課題を実現するための本開示の第１の実施例に基づき、コンピューティング装置における一つ以上のプロセッサーにおいて実行される画像比較方法が開示される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前述の画像比較方法は、前述のプロセッサーが事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データ及び第２画像データを演算する段階と、前述のプロセッサーが前述の第１画像データ及び前述の第２画像データに基づき、前述の第２画像データのアノマリー関連情報を決定する段階と、前述のプロセッサーが前述のネットワーク関数を利用して決定されたアノマリー関連情報を出力する段階とを含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
画像比較方法の代替実施例において、前述のプロセッサーが前述のアノマリー情報を決定する段階は、前述のプロセッサーが前述の第１サブネットワークの少なくとも１つのレイヤー及び前述の第２サブネットワークの少なくとも１つのレイヤーに基づき、少なくとも１つのレイヤー比較情報を生成する段階と、前述のプロセッサーが前述の生成されたレイヤー比較情報に基づき、前述のアノマリー関連情報を演算する段階とを含むことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
画像比較方法の代替実施例において、前述のプロセッサーが前述のアノマリー関連情報を演算する段階は、前述のプロセッサーが前述の生成されたレイヤー比較情報を前述の比較モジュールの対応するレイヤーに提供する段階を含むことができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
画像比較方法の代替実施例において、前述の第１画像データと第２画像データとは大きさが同じであることがあり得る。
前述のような課題を実現するための本開示の第１の実施例に基づき、コンピューティング装置が開示される。前述のコンピューティング装置は一つ以上のプロセッサーと、前述の一つ以上のプロセッサーにおいて実行可能な命令を保存するメモリーとを含み、前述の一つ以上のプロセッサーは、事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データと第２画像データとを演算し、前述の第１画像データ及び前述の第２画像データに基づき、前述の第２画像データのアノマリー関連情報を決定し、さらに前述のネットワーク関数を利用して決定されたアノマリー関連情報を出力することができる。
前述のような課題を実現するための本開示の第１の実施例に基づき、エンコードされた命令を含むコンピューター可読保存媒体に保存されたコンピュータープログラムが開示される。前述のコンピュータープログラムはコンピューターシステムの一つ以上のプロセッサーによって実行される場合、前述の一つ以上のプロセッサーに画像比較のための動作を実行するようにさせ、前述の動作は、前述のプロセッサーが事前に学習されたネットワーク関数を利用して相互関連性を持つ第１画像データ及び第２画像データを演算する動作と、前述のプロセッサーが前述の第１画像データ及び前述の第２画像データに基づき、前述の第２画像データのアノマリー関連情報を決定する動作と、前述のプロセッサーが前述のネットワーク関数を利用して決定されたアノマリー関連情報を出力する動作とを含むことができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
プロセッサー（１１０）は、一つ以上のコアで構成されることができ、コンピューティング装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ  ｐｕｒｐｏｓｅ  ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、テンサー処理装置（ＴＰＵ：ｔｅｎｓｏｒ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）等のデータ分析、ディープラーニングのためのプロセッサーを含むことができる。プロセッサー（１１０）は、メモリー（１３０）に保存されたコンピュータープログラムを読み取り、本開示の第１の実施例に基づく画像比較方法を遂行することができる。本開示の第１の実施例に基づき、プロセッサー（１１０）は、神経網の学習のための計算を遂行することができる。プロセッサー（１１０）は、ディープラーニング（ＤＬ：ｄｅｅｐ  ｌｅａｒｎｉｎｇ）において学習のための入力データの処理、入力データにおける特徴（ｆｅａｔｕｒｅ）抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用した神経網の重み更新等の神経網の学習のための計算を遂行することができる。プロセッサー（１１０）のＣＰＵ、ＧＰＧＰＵ、ＴＰＵのうち、少なくとも一つがネットワーク関数の学習を処理することができる。例えば、ＣＰＵとＧＰＧＰＵとが共にネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本開示の第１の実施例において複数のコンピューティング装置のプロセッサーを一緒に使ってネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本開示の第１の実施例に基づくコンピューティング装置で実行されるコンピュータープログラムは、ＣＰＵ、ＧＰＧＰＵ又はＴＰＵで実行可能なプログラムになり得る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図３に示す畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）は、ディープニューラルネットワークの一種であり、畳み込みレイヤーを含む神経網を含む。畳み込みニューラルネットワークは、最低限の前処理（ｐｒｅｐｒｏｃｅｓｓ）を使うように設計された多層パーセプトロン（ｍｕｌｔｉｌａｙｅｒ  ｐｅｒｃｅｐｔｒｏｎｓ）の一種である。ＣＮＮは一つ又は複数の畳み込みレイヤーと、これと結合した人工神経網階層により構成されることができ、さらに重みとプーリングレイヤー（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）を追加して活用することができる。こうした構造のおかげでＣＮＮは、２次元構造の入力データを十分に活用することができる。畳み込みニューラルネットワークは、画像からオブジェクトを認識するために使われることができる。畳み込みニューラルネットワークは、画像データを次元を持つ行列で表し処理することができる。例えばＲＧＢ（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ）でエンコードされた画像データの場合、Ｒ、Ｇ、Ｂの色相別にそれぞれ２次元（例えば、２次元画像である場合）行列で表すことができる。つまり、画像データの各ピクセルの色相値が行列の成分になり得るが、行列の大きさは画像の大きさと同じ大きさになり得る。従って画像データは、３つの２次元行列で（３次元のデータアレー）表すことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
シャムネットワーク（２００）（Ｓｉａｍｅｓｅ  Ｎｅｔｗｏｒｋ）は、カテゴリ別学習データ（ｔｒａｉｎｉｎｇ  ｄａｔａ）が十分ではない認識器に使用できるニューラルネットワークである。シャムネットワークは、データにおける類似性測定を学習することができる。シャムネットワークは、図４に示すように少なくとも部分的に重みを共有する２つ以上のニューラルネットワーク（２１０、２３０）（サブネットワーク）とニューラルネットワークからの出力が入力される比較モジュール（２５０）とを含むことができる。シャムネットワーク（２００）には少なくとも２つの画像が入力されることができる。シャムネットワーク（２００）は、入力される２つの画像の類似度を判断した結果を出力することができる。画像処理のためにシャムネットワークは、画像の入力を受ける２つの畳み込みニューラルネットワークを含むことができる。シャムネットワークにおいて、画像の入力を受ける２つの畳み込みニューラルネットワークは、重みの少なくとも一部を共有することが可能である。シャムネットワークに含まれたサブネットワークは、重み共有モジュール（２２０）によって重みを共有でき、サブネットワークが重みを共有することにより、シャムネットワークは入力された２つのデータに対して共通の重みで特徴を抽出し比較することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
ニューラルネットワークの学習において、一般的に学習データは実データ（つまり、学習されたニューラルネットワークを利用して処理しようとするデータ）の部分集合になり得るが、従って、学習データに対する誤差は減少するものの実データに対しては誤差が増加する学習サイクルが存在し得る。過剰適合（ｏｖｅｒ  ｆｉｔｔｉｎｇ）は、このように学習データにおいて、過剰に学習したことにより実データに対する誤差が増加する現象である。例えば、黄色い猫を見て猫について学習したニューラルネットワークが黄色以外の色の猫を見たときは猫であることを認識できない現象が過剰適合の一種になり得る。過剰適合はマシンラーニングアルゴリズムの誤差を増加させる原因として作用することがある。こうした過剰適合を防ぐために多様な最適化方法が使われることができる。過剰適合を防ぐためには学習データを増やしたり、正則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、学習の過程においてネットワークのノードの一部を省略するドロップアウト（ｄｒｏｐ  ｏｕｔ）等の方法が適用されることができる。