(57)【要約】      （修正有）【課題】未知の類型に対する特徴表現を強化したオープンセット認識方法と装置及び記憶媒体を提供する。【解決手段】オープンセット認識方法は、補助データ、及びオープンセット認識のための既知類型を有するトレーニングデータを取得し、補助データ及びトレーニングデータを交替で用いて、ニューラルネットワークを、収斂するまでトレーニングし、トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し、認識待ちデータの特徴に基づいて、認識待ちデータの類型を認識することを含む。【選択図】図１
2019091443.tif 000002
【特許請求の範囲】
【請求項１】
オープンセット認識方法であって、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収束するまでトレーニングし；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識することを含む、方法。
【請求項２】
請求項1に記載の方法であって、
前記トレーニングデータに基づいて前記補助データに対して変換を行い、変換後の補助データが前記トレーニングデータに近づくようにさせることをさらに含む、方法。
【請求項３】
請求項1又は2に記載の方法であって、
前記ニューラルネットワークは、畳み込みニューラルネットワークである、方法。
【請求項４】
請求項3に記載の方法であって、
前記畳み込みニューラルネットワークの出力層は、並列する第一全結合層及び第二全結合層を含み、
前記畳み込みニューラルネットワークをトレーニングすることは、
前記畳み込みニューラルネットワークが収束するまで、
前記補助データから所定量のデータを取り出して前記畳み込みニューラルネットワークに入力し、前記第一全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、計算された損失関数に基づいて前記畳み込みニューラルネットワーク中の前記第二全結合層のウェイト以外のウェイトを更新し；及び
前記トレーニングデータから所定量のデータを取り出して前記畳み込みニューラルネットワークに入力し、前記第二全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、計算された損失関数に基づいて前記畳み込みニューラルネットワーク中の前記第一全結合層のウェイト以外のウェイトを更新すること
を繰り返して行うことを含む、方法。
【請求項５】
請求項4に記載の方法であって、
前記畳み込みニューラルネットワークは、第一畳み込み層、第二畳み込み層、前記第一畳み込み層と前記第二畳み込み層と間に挿入される第一プーリング層、前記第二畳み込み層の後の第二プーリング層、及び、前記第二プーリング層の後の並列する前記第一全結合層と前記第二全結合層を含み、
前記第二プーリング層から前記認識待ちデータの特徴を抽出する、方法。
【請求項６】
請求項2に記載の方法であって、
dual-GAN（Generative  Adversarial  Network）を用いて前記補助データに対して変換を行う、方法。
【請求項７】
請求項1又は2に記載の方法であって、
前記トレーニングデータは、k個の類型を有し、各トレーニングデータは、k個の類型のうちの対応する類型に属し、kは、1以上の整数であり、
前記認識待ちデータの類型を認識することは、
トレーニング後の畳み込みニューラルネットワークを用いて、各トレーニングデータの特徴を抽出し；
各類型に属するすべてのトレーニングデータの特徴の平均値を計算し、各類型の特徴平均値を取得し；及び
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離に基づいて、前記認識待ちデータの類型を確定することを含む、方法。
【請求項８】
請求項7に記載の方法であって、
前記認識待ちデータの類型を確定することは、
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離を計算し；
計算された距離のうちの最小距離を見つけ；及び
前記最小距離と所定閾値との比較を行い、前記最小距離が前記所定閾値よりも大きい場合、前記認識待ちデータを未知類型に分類し、前記最小距離が前記所定閾値よりも小さい場合、前記認識待ちデータを、前記最小距離に関する類型に分類することを含む、方法。
【請求項９】
オープンセット認識装置であって、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得するための取得装置；
前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収束するまでトレーニングするためのトレーニング装置；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出するための抽出装置；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識するための認識装置を含む、装置。
【請求項１０】
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータに、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収束するまでトレーニングし；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識することを実行させるためのものである、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関し、特に、オープンセット認識（open  set  recognition）方法と装置及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
古文書の漢字の認識が、古文書のデジタル化、古文書の整理、及び文化の保護にとって非常に重要である。しかし、現代の漢字の認識に比べ、古文書の漢字の認識は、挑戦性がある課題である。第一、古文書の漢字の数は、現代の漢字より遥かに多く；第二、古文書の漢字の構造は、現代の簡略化された漢字よりかなり複雑であり；第三、古文書の漢字のフォントは、多種多様であり、即ち、一定数の古文書の漢字は、より多くの字体を有し；第四、毛筆書写又は木版印刷のため、古文書の漢字のライティングスタイルは、様々である。その結果、撮影又はスキャンされた古文書の画像の画質劣化は、現代の文書よりもっと酷い。
【０００３】
近年、畳み込みニューラルネットワーク（CNN）などのようなディープラーニング方法は、OCRの分野において従来の文字認識方法より効果が良い。今のところ、主流としてのCNNに基づく教師あり学習方法は、通常、数千万個のトレーニングサンプルを要し、これらのサンプルは、人工で標識する必要がある。古文書の漢字の認識では、このようなデータを大量標識することができない。従来では、未標識のトレーニングサンプルを用いて認識精度を向上させる半教師あり学習方法が提案されているが、このような半教師あり学習アルゴリズムの原理は、閉世界仮説によるものである。言い換えると、テストデータ（評価用データ）及びトレーニング期間に使用するデータ（学習用データ）の類型の数が同じであると仮定する。このようにすべてのテストクラスがトレーニング時に既知である問題は、クローズドセット認識と称される。
【０００４】
また、順次（例えば、１ページずつ、文書ごとに）トレーニングサンプルを標識することで古文書の漢字を認識するオープンセット認識アルゴリズムでは、ラベルデータを用いて１つのモデルをトレーニングした後に、テスト期間におけるテストデータは、トレーニング時に見えないクラス（class）に由来する可能性がある。テストデータがトレーニング期間に見えないクラスに属するデータを含むという問題は、オープンセット認識と称される。例えば、トレーニングサンプルがK個の異なる古文書の漢字のクラスに対応した場合、K個のクラスに属する１つのキャラクター（文字）に対応するテスト画像を与えると、オープンセット認識アルゴリズムは、該キャラクターを認識することができるはずであり；テスト画像がトレーニング期間に見えない、K個のクラス以外の類型に属するキャラクターに対応すれば、オープンセット認識アルゴリズムは、テストサンプルを無視又は拒絶することができるはずである。また、拒絶されたテストサンプルは、手動で標識され（新しいクラスとされる）、そして、再びトレーニングセットに入れて新しいモデルをトレーニングするために用いられても良い。
【０００５】
オープンセット認識について、トレーニング期間には、認識待ち問題の空間を完全に把握できない場合があり、テスト期間には、未知類型のテストサンプルを認識アルゴリズムに与える可能性がある。オープンセット認識アルゴリズムの目標は、学習により１つの予測モデルを取得し、既知類型のデータを正確なクラスに分類し、また、未知類型のデータを拒絶することにある。従来技術では、幾つかのオープンセット認識方法が既に提案されている。例えば、開放空間リスク（open-space  risk）という概念を導入することで、1対の組み合わせマシン公式（combined  machine  formula）に基づいて線形SVMを用いてオープンセット認識を行い；広義のスパース表現に基づくクラス再構築誤差アルゴリズムによりオープンセット認識を行い、それは、誤差分布の尾部（tail）について統計極値理論（EVT）を用いてモデル化し；CAP（compact  abating  probability）を導入することでオープンセット認識を行い；及び、開発されたWeibull-SVM（W-SVM）アルゴリズムに基づいてオープンセット認識を行い、該アルゴリズムは、基本的に、統計EVTと、オープンセット認識のためのバイナリSVMとを組み合わせるものである。
【０００６】
本発明の発明者は、次のようなことを発見した。即ち、従来技術では、殆どのオープンセット認識アルゴリズムは、トレーニングデータセットから抽出した特徴により、異なる種類のデータ（既知類型及び未知類型）を有効に表し得ると仮定する。しかし、多くの場合、このような仮定は、成立せず、又は、一部のみが成立しており、例えば、CNNに基づくエンドトゥエンド（Ｅ２Ｅ）方法は、学習により既知類型の特徴のみを得ることができる。これらの特徴が未知類型のデータを表すことができなければ、これらの特徴を用いて未知の（新しい）類型のデータを見つけることができない。よって、学習により得られた特徴は、未知類型を検出する鍵である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術の上述の欠点に鑑み、本発明の目的は、補助データセットを用いる特徴学習方法を提供することにあり、これにより、特徴表現（feature  representation）を強化することで、学習によりオープンセット認識のための特徴を得ることができる。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、オープンセット認識方法が提供され、それは、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収斂（収束）するまでトレーニングし；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識することを含む。
【０００９】
本発明のもう１つの側面によれば、オープンセット認識装置が提供され、それは、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを得るための取得装置；
前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収斂するまでトレーニングするためのトレーニング装置；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出するための抽出装置；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識するための認識装置を含む。
【００１０】
本発明のまたもう１つの側面によれば、コンピュータ可読記憶媒体が提供され、それは、プログラムを記憶しており、前記プログラムは、プロセッサ（コンピュータ）に、補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；前記補助データ及び前記トレーニングデータを交替で用いて、ニューラルネットワークを、収斂するまでトレーニングし；トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び、前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識するステップを実行させることができる。
【００１１】
本発明の他の側面によれば、プログラムが提供される。前記プログラムは、コンピュータに、上述のような方法を実行させることができる。
【００１２】
本発明の上述の方法及び装置は、補助データの特徴及びトレーニングデータの特徴に対して交替学習を行うことで、データの、強化された特徴表現を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施例におけるオープンセット認識方法のフローチャートである。
【図２】古文書の漢字（第２行）及びCASIA手書きデータ（第１行）の例を示す図である。
【図３】本発明の１つの応用例に用いる畳み込みニューラルネットワークの構成図である。
【図４】本発明の実施例における畳み込みニューラルネットワークへのトレーニング処理のフローチャートである。
【図５】本発明の実施例における認識待ちデータの特徴による認識待ちデータへの認識処理のフローチャートである。
【図６】本発明の実施例におけるオープンセット認識装置の構成図である。
【図７】本発明の実施例におけるオープンセット認識装置中の認識装置の構成図である。
【図８】本発明の実施例における方法及び装置の実施に用いるコンピュータの構成図である。
【発明を実施するための形態】
【００１４】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【００１５】
従来技術では、殆どのオープンセット認識方法は、次のような仮定によるものであり、即ち、トレーニングデータセットから抽出した特徴は、異なる種類のデータ（既知類型及び未知類型を含む）を有効に表すことができるという仮定である。しかし、実際には、一般的なシステム、特に、エンドトゥエンドのニューラルネットワークについて言えば、このような有効な特徴が存在しない。これに鑑み、本発明は、オープンセット認識のためのデータの特徴を抽出する新しい技術を提供し、該特徴は、データが所属する類型を有効に表すことができる。
【００１６】
以下、未知類型の古文書の漢字の検出を応用例として、本発明の実施例による方法及び装置を詳細に説明する。
【００１７】
図1は、本発明の実施例におけるオープンセット認識方法のフローチャートである。図1に示すように、オープンセット認識方法100は、ステップS110、ステップS130、ステップS140、及びステップS150を含む。
【００１８】
ステップS110：補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
ステップS130：補助データ及びトレーニングデータを交替で利用して、ニューラルネットワークを、収斂するまでトレーニングし；
ステップS140：トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
ステップS150：認識待ちデータの特徴に基づいて、認識待ちデータの類型を認識する。
【００１９】
また、好ましくは、オープンセット認識方法100は、さらに、ステップS120を含み、ステップS120では、トレーニングデータに基づいて補助データに対して変換を行うことで、変換後の補助データがトレーニングデータに近づく（approach）ようにさせる。
【００２０】
ステップS110では、理論上、任意のデータセットを補助データセットとして、特徴学習を行うことができる。しかし、実際の応用では、補助データセットとトレーニングデータセットとが完全に異なる場合、学習により得られた特徴は、解決しようとする問題と関係がなく、未知類型の検出に無用になる可能性がある。よって、適切な補助データセットを選択する必要があり、例えば、トレーニングデータセットの分野と同じ分野での補助データセットを選択しても良い。好ましくは、トレーニングデータセットに類似した補助データセットを選択する。
【００２１】
未知類型の古文書の漢字を検出する応用例では、トレーニングデータセットは、既知類型を有する古文書の漢字データセットであり、補助データセットは、従来の各種の漢字セット、例えば、CASIA（中国科学院自動化研究所「Institute  of  Automation，Chinese  Academy  of  Sciences（CASIA））手書きデータセットから選択されても良い。以下、CASIA手書きデータセットを補助データセットとして説明を行う。図2は、古文書の漢字（第２行）及びCASIA手書きデータ（第１行）の例を示している。
【００２２】
CASIA手書きデータは、古文書の漢字データに近いが、ライティングスタイルが全く異なる。好ましくは、CASIA手書きデータは、できるだけ古文書の漢字データに近いことが望ましく、換言すると、補助データは、できるだけトレーニングデータに近いことが望ましい。これにより、ステップS120では、好ましくは、補助データに対して変換を行うことで、変換後の補助データがトレーニングデータに十分に近づくことを確保し、好ましくは、変換後の補助データとトレーニングデータとが確率分布上で互いに接近することを確保する。
【００２３】
補助データに対しての変換は、従来の画像処理及びコンピュータビジョン技術（例えば、画像分割及びライティングスタイル変換方法）を用いて実現することができる。本実施例では、従来のdual-GAN（dual-GAN（Generative  Adversarial  Network））メカニズムを採用して、補助データとしてのCASIA手書きデータに対して変換を行うことで、変換後のデータが古文書の漢字データに近づくようにさせる。該dual-GAN（Generative  Adversarial  Network）メカニズムは、２つの集合（セット）の２組の未標識画像を用いて画像変換器に対してトレーニングを行うことができ、これにより、データに対しての繁雑な人工的標識を要せず、コストを低減することができる。dual-GAN（Generative  Adversarial  Network）メカニズムは、当業者に既知のため、ここでは、dual-GAN（Generative  Adversarial  Network）メカニズムを用いて補助データセットを変換する処理の詳しい説明を省略する。
【００２４】
ステップS130では、当業者は、実際のニーズに応じて適切な従来のニューラルネットワーク、例えば、畳み込みニューラルネットワーク、全結合（fully-connected）ニューラルネットワーク、循環ニューラルネットワーク、再帰型ニューラルネットワークなどを選択しても良い。本応用例では、畳み込みニューラルネットワークを用いて特徴を抽出する。
【００２５】
図3は、本応用例に採用する畳み込みニューラルネットワークの構成図である。図3に示すように、畳み込みニューラルネットワーク300は、補助データ（本応用例では、CASIA手書きデータである）又はトレーニングデータ（本応用例では、古文書の漢字データである）を受け取る入力層301；第一畳み込み層302；第一プーリング層303；第二畳み込み層304；第二プーリング層305；及び、第一全結合層306と第二全結合層307とを含む出力層を有する。しかし、畳み込みニューラルネットワークの構成は、これに限定されず、当業者は、実際の応用に応じて、異なる畳み込みニューラルネットワークを設計しても良く、例えば、より多くの又はより少ない畳み込み層、プーリング層、又は全結合層を採用しても良い。また、当業者は、実際のニーズに応じて、出力層、特定のプーリング層、又は特定の畳み込み層から、認識待ちデータの特徴を抽出しても良い。好ましくは、畳み込みニューラルネットワークの最後の１つのプーリング層（即ち、一例としての畳み込みニューラルネットワーク300の第二プーリング層305）から特徴を抽出する。
【００２６】
以下、図4に基づいて、ステップS13で図3中の畳み込みニューラルネットワークをトレーニングするプロセスを詳しく説明する。
【００２７】
図4は、本発明の実施例における畳み込みニューラルネットワークへのトレーニング処理のフローチャートである。図4に示すように、トレーニング処理S130は、ステップS131、ステップS132、及びステップS133を含む。
【００２８】
ステップS131では、補助データセットとしてのCASIA手書きデータセット、又は、変換後のCASIA手書きデータセットから所定量（少量）のデータを取り出して畳み込みニューラルネットワークに入力し、第一全結合層306の出力を畳み込みニューラルネットワークの出力とすることで、該畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて畳み込みニューラルネットワーク中の第二全結合層307のウェイト（weight）以外のウェイトを更新する。
【００２９】
ステップS132では、トレーニングデータセットとしての古文書の漢字データセットから所定量（少量）のデータを取り出して畳み込みニューラルネットワークに入力し、第二全結合層307の出力を畳み込みニューラルネットワークの出力とすることで、畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて畳み込みニューラルネットワーク中の第一全結合層306のウェイト以外のウェイトを更新する。
【００３０】
ステップS133では、畳み込みニューラルネットワークが収斂しているかを判断する。収斂している場合、操作（処理）を終了する。収斂していない場合、ステップS131に戻り、処理を、畳み込みニューラルネットワークが収斂するまで繰り返して行う。
【００３１】
該トレーニング方法では、補助データ又は変換後の補助データ、及びトレーニングデータを交替で入力し、畳み込みニューラルネットワークをトレーニングすることで、畳み込みニューラルネットワークは、処理済みの学習タスクを覚えることができる。
【００３２】
上述の操作で畳み込みニューラルネットワークに対してトレーニングを行った後に、ステップS140では、トレーニング後の畳み込みニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出することができ、これにより、ステップS150では、抽出された認識待ちデータの特徴に基づいて認識待ちデータを認識することができる。
【００３３】
以下、図5を参照しながら、認識ステップS150の具体的な操作プロセスを説明する。
【００３４】
図5は、本発明の実施例において認識待ちデータの特徴に基づいて認識待ちデータを認識する例示的な処理S150のフローチャートである。ここでは、トレーニングデータがk（kは、1以上の整数である）個の類型を有し、且つ各トレーニングデータがk個の類型のうちの対応する類型に属するとする。図5に示すように、処理S150は、ステップS151乃至S153を含む。
【００３５】
ステップS151：トレーニング後の畳み込みニューラルネットワークを用いて、各トレーニングデータの特徴を抽出し；
ステップS152：各類型に属する（含まれる）すべてのトレーニングデータの特徴の平均値を計算し、各々の類型の特徴平均値を取得し；及び
ステップS153：抽出された認識待ちデータの特徴と、各類型の特徴平均値との間の距離に基づいて、認識待ちデータの類型を確定する。
【００３６】
具体的には、認識待ちデータの類型の確定は、抽出された認識待ちデータの特徴と、各類型の特徴平均値との間の距離を計算し；計算された距離のうちの最小距離を見つけ；及び、該最小距離と所定閾値との比較を行い、最小距離が所定閾値よりも大きい場合、認識待ちデータを未知類型に分類し、最小距離が所定閾値よりも小さい場合、認識待ちデータを、最小距離に関する類型に分類することを含む。
【００３７】
なお、ここで言及されている距離は、ユークリッド距離、コサイン距離などを含んでも良い。
【００３８】
認識待ちデータの特徴に基づいて認識待ちデータを認識する処理は、上述の例に限定されず、当業者は、さらに、実際の応用に応じて他の従来の認識処理を採用しても良く、例えば、スパースクラスター化インデックス概念を利用した認識処理、統計極値理論を利用した認識処理などである。
【００３９】
以上、図1乃至図5に基づいて本発明の実施例におけるオープンセット認識方法を説明した。以下、図6乃至図7をもとに、本発明の実施例におけるオープンセット認識装置を説明する。
【００４０】
図6は、本発明の実施例におけるオープンセット認識装置の構成図である。図6に示すように、オープンセット認識装置600は、次のようなもものを含む。
【００４１】
取得装置610：補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
トレーニング装置630：補助データ及びトレーニングデータを交替で利用して、ニューラルネットワークを、収斂するまでトレーニングし；
抽出装置640：トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
認識装置650：認識待ちデータの特徴に基づいて、認識待ちデータの類型を認識する。
【００４２】
好ましくは、装置600は、さらに、変換装置620を含み、それは、トレーニングデータに基づいて補助データに対して変換を行うことで、変換後の補助データがトレーニングデータに近づくようにさせるために用いられる。
【００４３】
トレーニングされるニューラルネットワークについて、当業者は、実際のニーズに応じて、適切な従来のニューラルネットワーク、例えば、畳み込みニューラルネットワーク、全結合ニューラルネットワーク、循環ニューラルネットワーク、逓帰ニューラルネットワークなどを選択しても良い。未知類型の古文書の漢字を検出する応用例では、畳み込みニューラルネットワークを採用して特徴を抽出し、該畳み込みニューラルネットワークの出力層は、並列する第一全結合層及び第二全結合層を含む。この場合、トレーニング装置630は、さらに、次のような反復処理を行うように構成され、即ち、畳み込みニューラルネットワークが収斂するまで、補助データセットとしてのCASIA手書きデータセット又は変換後のCASIA手書きデータセットから所定量（少量）のデータを取り出して畳み込みニューラルネットワークに入力し、第一全結合層306の出力を畳み込みニューラルネットワークの出力とすることで、該畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて畳み込みニューラルネットワーク中の第二全結合層307のウェイト以外のウェイトを更新し；及び、トレーニングデータセットとしての古文書の漢字データセットからさ所定量（少量）のデータを取り出して畳み込みニューラルネットワークに入力し、第二全結合層307の出力を畳み込みニューラルネットワークの出力とすることで、畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて畳み込みニューラルネットワーク中の第一全結合層306のウェイト以外のウェイトを更新する。
【００４４】
図7は、本発明の実施例における認識装置の例示的な構成図である。ここでは、トレーニングデータがk（kは、1以上の整数である）個の類型を有し、且つ各トレーニングデータがk個の類型のうちの対応する類型に属するとする。図7に示すように、認識装置650は、次のようなものを含む。
【００４５】
抽出ユニット651：トレーニング後の畳み込みニューラルネットワークを用いて、各トレーニングデータの特徴を抽出し；
計算ユニット652：各類型に含まれるすべてのトレーニングデータの特徴の平均値を計算し、各類型の特徴平均値を取得し；及び
確定ユニット653：抽出された認識待ちデータの特徴と、各類型の特徴平均値との間の距離に基づいて、認識待ちデータの類型を確定する。
【００４６】
具体的には、確定ユニット653は、さらに次のように構成され、即ち、抽出された認識待ちデータの特徴と、各類型の特徴平均値との間の距離を計算し；計算された距離のうちの最小距離を見つけ；及び、前記最小距離と所定閾値との比較を行い、前記最小距離が前記所定閾値よりも大きい場合、前記認識待ちデータを未知類型に分類し、前記最小距離が前記所定閾値よりも小さい場合、前記認識待ちデータを、前記最小距離に関する類型に分類する。
【００４７】
上述のように、このような認識方法は、例示に過ぎず、当業者は、実際のニーズに応じて、従来の他の、認識待ちデータに基づく特徴を採用して認識待ちデータを認識する方法を採用しても良い。
【００４８】
以上、未知類型の古文書の漢字の検出を応用例として、本発明の実施例におけるオープンセット認識方法及び装置を説明した。しかし、本発明の実施例は、このような応用例に限定されない。
【００４９】
例えば、本発明は、さらに、工業分野での異常検出又は故障検出に適用することができる。一応用例では、適切な補助データ、及びトレーニングデータとしてのシステムの正常稼働データを用いて、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）をトレーニングする。その後、トレーニング後のニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいてシステムの異常稼働状況、例えば、電力システム故障、電機故障、化工プロセス故障などを認識する。もう１つの応用例では、適切な補助データ、及びトレーニングデータとしてのシステムの従来の異常状況データと正常稼働データを用いて、ニューラルネットワークをトレーニングする。その後、トレーニング後のニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいて現在のステムの未知異常状況を認識する。
【００５０】
また、本発明は、さらに、医療分野での病変検出に応用することができる。一応用例では、適切な補助データ、及びトレーニングデータとしての健康データ（例えば、CTによるデータ、超音波Bによるデータ、X線による画像など）を用いてニューラルネットワークをトレーニングする。その後、トレーニング後のニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいて病変を認識する。もう１つの応用例では、適切な補助データ、及びトレーニングデータとしての従来の病変データと健康データを用いて畳み込みニューラルネットワークをトレーニングする。その後、トレーニング後のニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいて未知病変を認識する。
【００５１】
また、本発明は、さらに、電子商取引分野での異常又は詐欺検出に適用することができる。このような場合、適切な補助データ、及びトレーニングデータとしての正常電子商取引データを用いてニューラルネットワークをトレーニングする。その後、トレーニング後のニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいて異常取引行為、欺詐行為などを認識する。
【００５２】
また、本発明は、さらに、銀行や通信分野での信用格付けに用いることができる。このような場合、適切な補助データサンプル、及びトレーニングデータとしての正常顧客行為データを基づいてニューラルネットワークをトレーニングする。その後、ニューラルネットワークを用いて特徴を抽出し、そして、抽出された特徴に基づいて非正常（異常）顧客行為を認識する。
【００５３】
なお、説明のために上述の応用例を挙げたが、本発明の応用分野及び応用シナリオは、上述の具体例に限定されず、当業者は、実際のニーズに応じて、本発明の方法及び装置を他の異なる分野及びシナリオに適用することもできる。
【００５４】
本発明の方法及び装置により、補助データの特徴及びオープンセットデータの特徴に対して交替学習を行うことで、オープンセットデータの、強化された特徴表現を得ることができる。
【００５５】
なお、上述のシステム中の各部品は、ソフトウェア、ファームウェア、ハードウェア又はその組み合わせの方式で構成されても良い。構成に当たって使用する具体的な手段又は方式は、当業者に既知のため、ここではその詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ（例えば、図8に示す汎用コンピュータ800）に、該ソフトウェアを構成するプログラムをインスタールし、該コンピュータは、各種のプログラムがインストールされている時に、各種の功能などを実現することができる。
【００５６】
図8は、本発明の実施例による方法及びシステムの実施に用いられるコンピュータを示す図である。
【００５７】
図8では、中央処理装置（CPU）801は、ROM  802に記憶されているプログラム、又は、記憶部808からRAM  803にロードされているプログラムに基づいて、各種の処理を行う。RAM  803には、必要に応じて、CPU  801が各種の処理を実行する時に必要なデータを記憶しても良い。なお、CPU  801、ROM  802及びRAM  803は、バス804を経由して接続される。また、入力／出力インターフェース805も、バス804に接続される。
【００５８】
また、次のような部品は、入力／出力インターフェース805に接続され、即ち、入力部806（キーボード、マウスなどを含む）、出力部807（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部808（ハードディスクなどを含む）、及び通信部809（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部809は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ810を入力／出力インターフェース805に接続させても良い。取り外し可能な媒体811、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ810にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部808にインスタールされるようにさせることができる。
【００５９】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体811から、ソフトウェアを構成するプログラムをインストールすることができる。
【００６０】
なお、当業者が理解すべきは、このような記憶媒体は、図8に示すような取り外し可能な811に限定されない。取り外し可能な媒体811は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM  802、記憶部分808中のハードディスクなどであっても良い。
【００６１】
本発明は、さらに、マシン可読指令コードを含むプログラムプロダクト（プログラム）に関する。指令コードは、マシン（例えば、コンピュータ）により読み出されて実行される時に、前述の実施例における方法を実行することができる。
【００６２】
それ相応に、前述のようなマシン可読取指令コードを含むプログラムプロダクトを記憶した記憶媒体も本発明の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカードなどを含むが、これらに限定されない。
【００６３】
また、上述の各実施例に関し、さらに次のような付記を開示する。
【００６４】
（付記1）
オープンセット認識方法であって、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
前記補助データ及び前記トレーニングデータを交替で利用して、ニューラルネットワークを、収斂するまでトレーニングし；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識することを含む、方法。
【００６５】
（付記2）
付記1に記載の方法であって、さらに、
前記トレーニングデータに基づいて前記補助データに対して変換を行うことで、変換後の補助データが前記トレーニングデータに近づくようにさせることを含む、方法。
【００６６】
（付記3）
付記1又は2に記載の方法であって、
前記ニューラルネットワークは、畳み込みニューラルネットワークである、方法。
【００６７】
（付記4）
付記3に記載の方法であって、
前記畳み込みニューラルネットワークをトレーニングすることは、
下記の反復処理を、前記畳み込みニューラルネットワークが収斂するまで行い、そのうち、前記畳み込みニューラルネットワークの出力層は、並列する第一全結合層及び第二全結合層を含み、
前記補助データから所定量のデータを取り出して前記畳み込みニューラルネットワークに入力し、前記第一全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて、前記畳み込みニューラルネットワーク中の前記第二全結合層のウェイト以外のウェイトを更新し；及び
前記トレーニングデータから所定量のデータを取り出して前記畳み込みニューラルネットワークに入力し、前記第二全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて、前記畳み込みニューラルネットワーク中の前記第一全結合層のウェイト以外のウェイトを更新する処理である、方法。
【００６８】
（付記5）
付記4に記載の方法であって、
前記畳み込みニューラルネットワークは、第一畳み込み層、第二畳み込み層、前記第一畳み込み層と前記第二畳み込み層との間に挿入される第一プーリング層、前記第二畳み込み層の後の第二プーリング層、及び前記第二プーリング層の後の並列する前記第一全結合層と前記第二全結合層を含み、
前記第二プーリング層から前記認識待ちデータの特徴を抽出する、方法。
【００６９】
（付記6）
付記2に記載の方法であって、
dual-GAN（Generative  Adversarial  Network）を用いて前記補助データに対して変換を行う、方法。
【００７０】
（付記7）
付記1又は2に記載の方法であって、
前記トレーニングデータは、k個の類型を有し、各トレーニングデータは、k個の類型のうちの対応する類型に属し、kは、1以上の整数であり、
前記認識待ちデータの類型を認識することは、
トレーニング後の畳み込みニューラルネットワークを用いて、各トレーニングデータの特徴を抽出し；
各類型に属するすべてのトレーニングデータの特徴の平均値を計算し、各類型の特徴平均値を取得し；及び
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離に基づいて、前記認識待ちデータの類型を確定することを含む、方法。
【００７１】
（付記8）
付記7に記載の方法であって、
前記認識待ちデータの類型を確定することは、
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離を計算し；
計算された距離のうちの最小距離を求め；及び
前記最小距離と所定閾値との比較を行い、前記最小距離が前記所定閾値よりも大きい場合、前記認識待ちデータを未知類型に分類し、前記最小距離が前記所定閾値よりも小さい場合、前記認識待ちデータを、前記最小距離に関する類型に分類することを含む、方法。
【００７２】
（付記9）
付記2に記載の方法であって、
前記トレーニングデータに基づいて前記補助データに対して変換を行うことで、変換後の補助データと、前記トレーニングデータとが確率分布上で近づくようにさせる、方法。
【００７３】
（付記10）
付記1又は2に記載の方法であって、
前記トレーニングデータに類似した補助データを取得する、方法。
【００７４】
（付記11）
オープンセット認識装置であって、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを得るための取得装置；
前記補助データ及び前記トレーニングデータを交替で利用して、ニューラルネットワークを、収斂するまでトレーニングするためのトレーニング装置；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出するための抽出装置；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識するための認識装置を含む、装置。
【００７５】
（付記12）
付記11に記載の装置であって、さらに、
前記トレーニングデータに基づいて前記補助データに対して変換を行い、変換後の補助データが前記トレーニングデータに近づくようにさせるための変換装置を含む、装置。
【００７６】
（付記13）
付記11又は12に記載の装置であって、
前記ニューラルネットワークは、畳み込みニューラルネットワークである、装置。
【００７７】
（付記14）
付記13に記載の装置であって、
前記トレーニング装置はさらに、下記反復処理を、前記畳み込みニューラルネットワークが収斂するまで行うように構成され、そのうち、前記畳み込みニューラルネットワークの出力層は、並列する第一全結合層及び第二全結合層を含み、
前記補助データから所定量のデータを取り出して前記畳み込みニューラルネットワークに入力し、前記第一全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて前記畳み込みニューラルネットワーク中の前記第二全結合層のウェイト以外のウェイトを更新し；及び
前記トレーニングデータから所定量のデータを取り出し前記畳み込みニューラルネットワークに入力し、前記第二全結合層の出力を前記畳み込みニューラルネットワークの出力とすることで、前記畳み込みニューラルネットワークの損失関数を計算し、そして、計算された損失関数に基づいて前記畳み込みニューラルネットワーク中の前記第一全結合層のウェイト以外のウェイトを更新する処理である、装置。
【００７８】
（付記15）
付記14に記載の装置であって、
前記畳み込みニューラルネットワークは、第一畳み込み層、第二畳み込み層、前記第一畳み込み層と前記第二畳み込み層との間に挿入される第一プーリング層、前記第二畳み込み層の後の第二プーリング層、及び前記第二プーリング層の後の並列する前記第一全結合層と前記第二全結合層を含み、
前記第二プーリング層から前記認識待ちデータの特徴を抽出する、装置。
【００７９】
（付記16）
付記12に記載の装置であって、
前記変換装置は、dual-GAN（Generative  Adversarial  Network）を用いて前記補助データに対して変換を行う、装置。
【００８０】
（付記17）
付記11又は12に記載の装置であって、
前記トレーニングデータは、k個の類型を有し、各トレーニングデータは、k個の類型のうちの対応する類型に属し、kは、1以上の整数であり、
前記認識装置は、さらに、
トレーニング後の畳み込みニューラルネットワークを用いて、各トレーニングデータの特徴を抽出するための抽出ユニット；
各類型に属するすべてのトレーニングデータの特徴の平均値を計算し、各類型の特徴平均値を得るための計算ユニット；及び
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離に基づいて、前記認識待ちデータの類型を確定するための確定ユニットを含む、装置。
【００８１】
（付記18）
付記17に記載の装置であって、
前記確定ユニットは、さらに、
前記認識待ちデータの特徴と、各類型の特徴平均値との間の距離を計算し；
計算された距離のうちの最小距離を求め；及び
前記最小距離と所定閾値との比較を行い、前記最小距離が前記所定閾値よりも大きい場合、前記認識待ちデータを未知類型に分類し、前記最小距離が前記所定閾値よりも小さい場合、記認識待ちデータを、前記最小距離に関する類型に分類するように構成される、装置。
【００８２】
（付記19）
付記12に記載の装置であって、
前記変換装置は、前記トレーニングデータに基づいて前記補助データに対して変換を行い、変換後の補助データと前記トレーニングデータとが確率分布上で互いに近づくようにさせる、装置。
【００８３】
（付記20）
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、コンピュータに、
補助データ、及びオープンセット認識のための、既知類型を有するトレーニングデータを取得し；
前記補助データ及び前記トレーニングデータを交替で利用して、ニューラルネットワークを、収斂するまでトレーニングし；
トレーニング後のニューラルネットワークを用いて、オープンセット認識のための認識待ちデータの特徴を抽出し；及び
前記認識待ちデータの特徴に基づいて、前記認識待ちデータの類型を認識することを実行させるためのものである、記憶媒体。
【００８４】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2019091443.tif 000003
【図２】
2019091443.tif 000004
【図３】
2019091443.tif 000005
【図４】
2019091443.tif 000006
【図５】
2019091443.tif 000007
【図６】
2019091443.tif 000008
【図７】
2019091443.tif 000009
【図８】
2019091443.tif 000010