(57)【要約】  パターン認識装置２０は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測部２１と、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定部２２とを備える。
2020065908.tif 000002
【特許請求の範囲】
【請求項１】
学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測手段と、
予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備える
ことを特徴とするパターン認識装置。
【請求項２】
決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段を備える
請求項１記載のパターン認識装置。
【請求項３】
第１学習データは、前記第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、
第２学習データは、前記第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含む
請求項２記載のパターン認識装置。
【請求項４】
学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、前記異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、前記第１学習データとを用いて学習する
請求項３記載のパターン認識装置。
【請求項５】
複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、
学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習手段と、
学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価手段と、
学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶する記憶手段と、
評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択手段とを備える
ことを特徴とするパターン認識装置。
【請求項６】
学習データは、前記学習データに含まれる特徴量データを出力した層を示す情報を含む
請求項５記載のパターン認識装置。
【請求項７】
学習データは、前記学習データに含まれる特徴量データの生成元である学習用の画像データと、前記特徴量データおよび前記画像データに対応する正解クラスとを含む
請求項５または請求項６記載のパターン認識装置。
【請求項８】
学習データは、前記学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含む
請求項５から請求項７のうちのいずれか１項に記載のパターン認識装置。
【請求項９】
学習手段は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習する
請求項８記載のパターン認識装置。
【請求項１０】
記憶手段は、パラメータと、前記パラメータを有するニューラルネットワーク型識別器の識別性能と、前記パラメータが導出された学習に利用された学習データの数とを併せて記憶する
請求項５から請求項９のうちのいずれか１項に記載のパターン認識装置。
【請求項１１】
学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測し、
予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する
ことを特徴とするパターン認識方法。
【請求項１２】
複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定し、
学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習し、
学習された後の前記ニューラルネットワーク型識別器の識別性能を評価し、
学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させ、
評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する
ことを特徴とするパターン認識方法。
【請求項１３】
コンピュータに、
学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測処理、および
予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定処理
を実行させるためのパターン認識プログラム。
【請求項１４】
コンピュータに、
複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定処理、
学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習処理、
学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価処理、
学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させる記憶処理、および
評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択処理
を実行させるためのパターン認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識装置、パターン認識方法およびパターン認識プログラムに関し、特に統計的パターン認識技術を応用したパターン認識装置、パターン認識方法およびパターン認識プログラムに関する。
【背景技術】
【０００２】
ディープラーニングを用いた画像認識技術が、様々な映像監視システムに搭載されている。ディープラーニングでは、例えばニューラルネットワークという計算アルゴリズムが扱われる。【０００３】
特許文献１〜特許文献４には、ニューラルネットワークに関する技術が記載されている。例えば、特許文献１には、多層ニューラルネットワークを用いた情報処理装置が記載されている。また、特許文献２には、適切な規模のニューラルネットワークを作成できる機械学習装置が記載されている。【０００４】
また、特許文献３には、ニューラルネットワークの構造を最適化することが可能なニューラルネットワーク学習装置が記載されている。また、特許文献４には、文字の全体形状のみならず文字の小領域単位の形状の学習も行い、認識を行うようにしたニューロを使った文字認識装置が記載されている。【０００５】
ディープラーニングの実行手順として、特にファインチューニング(fine-tuning) と呼ばれる手順が使用されることが多い。ファインチューニングでは、予め大量の画像データが用いられて学習されたプレトレインド(pre-trained) の辞書が初期値とされ、映像監視システムが本来認識する対象物を示す画像データが追加で学習される。【０００６】
辞書は、例えばニューラルネットワーク等のネットワークモデル、およびネットワークモデルの重みパラメータを含む。対象物を示す画像データが追加で学習されることによって、ネットワークモデルの重みパラメータが修正される。【０００７】
例えば、非特許文献１に、ファインチューニングに関連する技術が記載されている。非特許文献１には、教師なし学習で特徴抽出ネットワークを構築した後、認識対象ラベルが用いられたファインチューニングでネットワーク全体の重みパラメータを調整し直す学習方法が記載されている。【０００８】
また、非特許文献２には、新しい学習データが得られた場合のネットワークの重みパラメータを修正する方法や、新しいクラスのデータが追加された場合の出力層へのニューロンの追加を伴うネットワークの重みパラメータを修正する方法が記載されている。【０００９】
学習データや認識対象のクラスが追加された場合、ネットワーク全体の重みパラメータを修正する方法と、ネットワークの出力層に近い２層〜３層の中間層の重みパラメータのみを修正する方法がある。【００１０】
ネットワーク全体の重みパラメータを修正する方法は、ネットワークの出力層に近い中間層の重みパラメータのみを修正する方法に比べて、高い識別率を有するネットワークを構築できる可能性が理論的に高いという特長を有する。【００１１】
また、ネットワークの出力層に近い中間層の重みパラメータのみを修正する方法は、ネットワーク全体の重みパラメータを修正する方法に比べて、重みパラメータの修正に係る計算量が少ないという特長を有する。【００１２】
ネットワーク全体の重みパラメータを修正した方が高い識別率を有するネットワークを構築できる可能性が高まる理由は、新たに追加された学習データや認識対象のクラスからの特徴の適切な抽出が、ネットワークの前段部分で実行される可能性が高まるためである。【００１３】
よって、計算リソースも学習データも十分に利用可能である場合、学習データや認識対象のクラスが追加されたらネットワーク全体の重みパラメータを修正する方が好ましい。また、少なくとも計算リソースと学習データのどちらかが十分に利用可能でない場合、学習データや認識対象のクラスが追加されたらネットワークの出力層に近い層の重みパラメータのみを修正する方が好ましい。【００１４】
また、学習データは画像データであることが多い。しかし、SVM（Support Vector Machine：サポートベクトルマシン）やLVQ （Learning Vector Quantization：学習ベクトル量子化）識別器の学習において、特徴抽出手段は、識別手段と完全に独立している。よって、特徴抽出手段が出力する単一の特徴量データが、識別手段の学習データとして用いられることも多い。【００１５】
特徴量データは、画像データに比べて使用されてもプライバシ問題が発生しにくいという優位性を有する。すなわち、画像データは記録不可であるが、個人が特定されない程度に抽象化された特徴量データは記録可能であるという要件が学習装置に課せられることも考えられる。【００１６】
上記の要件が学習装置に課せられた場合、学習装置に特徴量データのみが存在し、特徴量データに対応する画像データは記録されていないため存在しないという状況が生じることが考えられる。上記の状況では、ニューラルネットワーク型識別器の異なる層で異なる画像データからそれぞれ抽出された各特徴量データが混合された学習データが用いられる場合がある。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２０１８−０２６０４０号公報
【特許文献２】特開２０１７−１８２３１９号公報
【特許文献３】特開２０１７−０３７３９２号公報
【特許文献４】特開平０７−１６０８３０号公報
【非特許文献】
【００１８】
【非特許文献１】P. Sermanet, K. Kavukcuoglu, S. Chintala, and Y. LeCun, "Pedestrian detection with unsupervised multi-stage feature learning," In Proc. International Conference on Computer Vision and Pattern Recognition (CVPR), 2013.
【非特許文献２】Christoph K¨ading, Erik Rodner, Alexander Freytag, and Joachim Denzler, "Fine-tuning Deep Neural Networks in Continuous Learning Scenarios," In ACCV 2016 Workshop on Interpretation and Visualization of Deep Neural Nets, 2016.
【発明の概要】
【発明が解決しようとする課題】
【００１９】
画像データと特徴量データとが混合された学習データ、またはニューラルネットワーク型識別器の異なる層で異なる画像データからそれぞれ抽出された各特徴量データが混合された学習データが用いられる学習方法には、課題が存在する。以下、学習方法に課題が存在する理由を、図面を参照して説明する。【００２０】
図１１は、ニューラルネットワーク型識別器の一例を示す説明図である。図１１は、ニューラルネットワーク型識別器の構造、および特徴量データが抽出される層の位置を示す。図１１に示すニューラルネットワーク型識別器は、コンボリューション層と全結合層とが層状に結合されたネットワーク型識別器である。【００２１】
図１１に示すコンボリューション層では、局所領域内でコンボリューションが行われる。また、図１１に示すコンボリューション層における各数字は、画像または特徴量等の２次元で表現されるデータの、縦のサイズと横のサイズが掛け合わせられたサイズを示す。例えば、「224x224 」は、縦のサイズが224 （ピクセルまたは個）、横のサイズが224 （ピクセルまたは個）のデータのサイズである。【００２２】
また、図１１に示す全結合層のニューロンは、前段の層内の全てのニューロンと結合されている。また、図１１に示す全結合層における各数字は、１次元で表現される特徴量データのサイズを示す。例えば、「4096」は、層から出力される特徴量データのサイズが4096（個）であることを意味する。【００２３】
図１１に示すネットワークの学習が実行される場合、特にファインチューニングが実行される場合、使用可能な学習データの量は、多い方が好ましいと考えられる。また、ネットワークを新しいデータに可能な限り適合させるという観点から、ファインチューニングでネットワークの重みパラメータを可能な限り修正する方が好ましいと考えられる。【００２４】
しかし、ネットワークの重みパラメータが修正されると、修正された重みパラメータを有する層よりも上位の層から抽出された特徴量データは、利用不可能になる。よって、特徴量データが含まれている学習データが利用されている場合、重みパラメータが変更された分だけ利用可能な学習データが減少するという課題が存在する。【００２５】
上記のように、ファインチューニングで重みパラメータが修正される層を増やすことと、再利用可能な特徴量データの量を増やすことは、同時に満たされない。よって、再利用可能な特徴量データの量を考慮しながら重みパラメータが修正される層を最適に決定する方法が求められる。特許文献１〜特許文献４、および非特許文献１〜非特許文献２には、上記の決定方法が記載されていない。【００２６】
そこで、本発明は、上述した課題を解決する、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できるパターン認識装置、パターン認識方法およびパターン認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２７】
本発明によるパターン認識装置は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測手段と、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備えることを特徴とする。【００２８】
本発明によるパターン認識装置は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習手段と、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価手段と、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶する記憶手段と、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段からパラメータを選択する選択手段とを備えることを特徴とする。【００２９】
本発明によるパターン認識方法は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測し、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定することを特徴とする。【００３０】
本発明によるパターン認識方法は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定し、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習し、学習された後のニューラルネットワーク型識別器の識別性能を評価し、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶手段に記憶させ、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段からパラメータを選択することを特徴とする。【００３１】
本発明によるパターン認識プログラムは、コンピュータに、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測処理、および予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定処理を実行させることを特徴とする。【００３２】
本発明によるパターン認識プログラムは、コンピュータに、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定処理、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習処理、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価処理、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶手段に記憶させる記憶処理、および評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段からパラメータを選択する選択処理を実行させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
【図面の簡単な説明】
【００３４】
【図１】本発明によるパターン認識装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態のパターン認識装置１００によるファインチューニング実行処理の動作を示すフローチャートである。
【図３】本発明によるパターン認識装置の第２の実施形態の構成例を示すブロック図である。
【図４】学習データ記憶手段２０２に記憶されている学習データの例を示す説明図である。
【図５】ファインチューニングの実行対象の層の範囲と学習データ量との関係の例を示す説明図である。
【図６】第２の実施形態のパターン認識装置２００によるファインチューニング実行処理の動作を示すフローチャートである。
【図７】学習データ記憶手段２０２に記憶されている学習データの他の例を示す説明図である。
【図８】本発明によるパターン認識装置のハードウェア構成例を示す説明図である。
【図９】本発明によるパターン認識装置の概要を示すブロック図である。
【図１０】本発明によるパターン認識装置の他の概要を示すブロック図である。
【図１１】ニューラルネットワーク型識別器の一例を示す説明図である。
【発明を実施するための形態】
【００３５】
［構成の説明］
実施形態１．
以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明によるパターン認識装置の第１の実施形態の構成例を示すブロック図である。
【００３６】
図１に示すように、パターン認識装置１００は、ニューラルネットワーク型識別器１０１と、第１学習データ記憶手段１０２と、第２学習データ記憶手段１０３と、学習手段１０４とを備える。
【００３７】
上述したように、ファインチューニング用の学習データとして、画像データ以外にニューラルネットワーク型識別器の複数の中間層からの各出力がそれぞれ記録された複数の特徴量データが存在する場合、識別性能と特徴量データの再利用可能性との間にトレードオフの関係がある。
【００３８】
ニューラルネットワーク型識別器の識別性能、および特徴量データの再利用可能性は、ファインチューニングの対象の層の範囲と関連する。本実施形態のパターン認識装置１００は、画像データと特徴量データ、または複数種類の特徴量データが学習データとして与えられている場合、ファインチューニング後の識別性能と学習データの再利用可能性の両方を考慮してファインチューニングの対象の層の範囲を決定する。
【００３９】
ニューラルネットワーク型識別器１０１は、ニューラルネットワークを用いてパターン認識処理を行う識別器である。
【００４０】
ニューラルネットワークは、例えば局所領域内でコンボリューションが行われるコンボリューション層、局所領域内で指定された性質の値が抽出されるプーリング層、およびニューロンが前段の層内の全てのニューロンと結合された全結合層等が層状に結合されたネットワークである。
【００４１】
本実施形態のニューラルネットワーク型識別器１０１は、例えば図１１に示すニューラルネットワーク型識別器である。また、ニューラルネットワーク型識別器１０１は、ResNet、GoogleNet 、またはMobileNet 等でもよい。
【００４２】
第１学習データ記憶手段１０２は、第１学習データを記憶する機能を有する。第１学習データには、例えば、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に１つの層から出力される特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データが出力された層の識別情報とが含まれる。
【００４３】
本実施形態の第１学習データは、ニューラルネットワーク型識別器１０１により事前に生成されている。例えば、図１１に示すニューラルネットワーク型識別器の入力層に学習用の画像データが入力された際、中間層L3の有効な状態（発火）のニューロンの値がサンプリングされて特徴量データが生成される。ニューラルネットワーク型識別器１０１は、生成された特徴量データを基に第１学習データを生成する。
【００４４】
次いで、第１学習データ記憶手段１０２には、生成された特徴量データと、入力された学習用の画像データに対応する正解クラスを示す情報と、中間層L3を示す情報とを含む第１学習データが保存される。予め定められた層が入力層であれば、特徴量データの保存は、入力された学習用の画像データの保存と等価になる。
【００４５】
第２学習データ記憶手段１０３は、第２学習データを記憶する機能を有する。第２学習データには、例えば、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる画像データがニューラルネットワーク型識別器１０１に入力された際に出力される特徴量データが含まれる。含まれる特徴量データは、第１学習データに含まれる特徴量データが出力された１つの層と異なる１つの層から出力されるデータである。
【００４６】
また、第２学習データには、入力された画像データに対応する正解クラスと、特徴量データが出力された層の識別情報とが、特徴量データと共に含まれる。
【００４７】
第２学習データは、第１学習データと同一構造のデータである。上記のように、第２学習データは、第１学習データに含まれる特徴量データがサンプリングされた層と別の層からサンプリングされた特徴量データを含む。
【００４８】
また、第１学習データ記憶手段１０２に記憶されている第１学習データの生成に利用された学習用の画像データは、第２学習データ記憶手段１０３に記憶されている第２学習データの生成に利用された学習用の画像データと異なる。なお、共通の学習用の画像データを基にそれぞれ生成された第１学習データおよび第２学習データが、各記憶手段に記憶されていてもよい。
【００４９】
学習手段１０４は、第１学習データと第２学習データとを両方用いて、ニューラルネットワーク型識別器１０１に対してファインチューニングを実行する機能を有する。以下、学習手段１０４によるファインチューニングの実行方法をいくつか示す。
【００５０】
例えば、図１１に示す中間層L1から特徴量データF1、中間層L2から特徴量データF2がそれぞれ抽出されたとする。特徴量データF1は第１学習データに、特徴量データF2は第２学習データにそれぞれ含まれている。学習手段１０４は、第１学習データと第２学習データとを両方用いて、中間層L1よりも上位の層のみに対してファインチューニングを実行してもよい。
【００５１】
中間層L1よりも上位の層のみに対してファインチューニングを実行する際、学習手段１０４は、特徴量データF1を中間層L1へ、特徴量データF2を中間層L2へそれぞれ入力する。学習手段１０４は、例えば、入力層に画像データが入力された場合と同様に、出力層からの出力と正解ラベルとの二乗和を誤差関数として、バックプロパゲーションで誤差関数の値を減少させるようにネットワークの重みパラメータを修正する。
【００５２】
学習手段１０４は、バックプロパゲーションにおける誤差の逆伝搬を中間層L1で止める。上記の方法によれば、ファインチューニングで重みパラメータが修正される層は、中間層L1よりも上位の層に限られる。しかし、特徴量データF1および特徴量データF2は、ファインチューニングが実行された後のニューラルネットワーク型識別器１０１においても使用可能なデータになる。
【００５３】
また、学習手段１０４は、上記の方法で中間層L1よりも上位の層のみを学習した後、特徴量データF2を用いて中間層L2よりも上位の層を学習するという２段階でファインチューニングを実行してもよい。
【００５４】
２段階でファインチューニングを実行する方法によれば、学習手段１０４は、ニューラルネットワーク型識別器１０１の、より下位の中間層L2まで学習データに適合させることができる。
【００５５】
ただし、一度中間層L2以上の層の重みパラメータが修正されると、中間層L2よりも上位の層からサンプリングされた特徴量データ（本例では特徴量データF1）が、ニューラルネットワーク型識別器１０１で使用不可能になる。学習データの削減を回避する要請がある場合、本方法は、要請にそぐわない。
【００５６】
第１学習データと第２学習データとを利用してニューラルネットワーク型識別器１０１に対してファインチューニングを実行する際、学習手段１０４は、上記のような検討を行った上でファインチューニングの実行対象の層の範囲を決定する。
【００５７】
上記の例であれば、学習手段１０４は、特徴量データF1と特徴量データF2とを用いて中間層L1よりも上位の層のみを学習するか、さらに特徴量データF2のみを用いて中間層L2まで学習するかを、それぞれの識別性能、および学習データの減少量を考慮して決定する。
【００５８】
上記の識別性能は、学習手段１０４がファインチューニングを実行する前に予測可能な値である。ニューラルネットワーク型識別器１０１に対するファインチューニングの実行対象の層の範囲を決定した後、学習手段１０４は、ニューラルネットワーク型識別器１０１の決定された範囲に対してファインチューニングを実行する。
【００５９】
例えば、学習手段１０４は、以下の計算式で算出されるスコアのうち最大のスコアが算出される範囲を、ファインチューニングの実行対象の層の範囲に決定してもよい。
【００６０】
（スコア）＝（識別性能）−α×（学習データの減少量）・・・式（１）
【００６１】
ただし、式（１）における定数αは、識別性能の次元と学習データの減少量の次元とを揃えるための定数である。
【００６２】
また、学習手段１０４は、第１学習データと第２学習データとを利用して学習を行う。例えば、第１学習データは、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に予め定められた層から出力された特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データが出力された層の識別情報との組を含む。
【００６３】
本実施形態の第１学習データに含まれる特徴量データと第２学習データに含まれる特徴量データは、基本的に同一の画像データを基に生成されたデータではない。よって、本実施形態の学習手段１０４は、同一の画像データに対する複数種類の特徴量データを生成し、生成された特徴量データを結合した上で識別器の学習を行う一般的な学習手段と異なる。
【００６４】
また、本実施形態の学習手段１０４は、異なる２つの層からそれぞれ抽出された特徴量データを用いる。しかし、学習手段１０４は、より多くの層からそれぞれ抽出された特徴量データを併せて学習に用いてもよい。
【００６５】
なお、通常教師情報は、最上位層である出力層からの理想的な出力値として与えられる。学習手段１０４は、ニューラルネットワーク型識別器１０１の出力層からの出力値と、理想的な出力値との誤差を最小化するように、上位層側から層間のネットワークの重みパラメータを更新する。
【００６６】
すなわち、学習手段１０４は、残差が１層ずつ下位の層に伝搬されていく手順でファインチューニングを実行する。よって、本実施形態の学習手段１０４は、中間の層のみに対するファインチューニングを実行しない。
【００６７】
［動作の説明］
以下、本実施形態のパターン認識装置１００のファインチューニングを実行する動作を図２を参照して説明する。図２は、第１の実施形態のパターン認識装置１００によるファインチューニング実行処理の動作を示すフローチャートである。
【００６８】
最初に、学習用の画像データが、ニューラルネットワーク型識別器１０１に入力される。次いで、ニューラルネットワーク型識別器１０１の予め定められた１つの層から、特徴量データが出力される。
【００６９】
次いで、ニューラルネットワーク型識別器１０１は、出力された特徴量データ、入力された学習用の画像データに対応する正解カテゴリを示す情報、および第何層目であるか等の特徴量データが出力された層の位置を示す情報を含む第１学習データを生成する（ステップS101）。ニューラルネットワーク型識別器１０１は、生成された第１学習データを第１学習データ記憶手段１０２に保存する。
【００７０】
次いで、ステップS101で入力された学習用の画像データと異なる学習用の画像データが、ニューラルネットワーク型識別器１０１に入力される。次いで、ニューラルネットワーク型識別器１０１の第１学習データに関して予め定められた層と異なる層から特徴量データが出力される。
【００７１】
次いで、ニューラルネットワーク型識別器１０１は、出力された特徴量データ、入力された学習用の画像データに対応する正解カテゴリを示す情報、および第何層目であるか等の特徴量データが出力された層の位置を示す情報を含む第２学習データを生成する（ステップS102）。ニューラルネットワーク型識別器１０１は、生成された第２学習データを第２学習データ記憶手段１０３に保存する。
【００７２】
次いで、学習手段１０４は、ニューラルネットワーク型識別器１０１に対するファインチューニングの実行対象の層の範囲を決定する（ステップS103）。学習手段１０４は、第１学習データ記憶手段１０２に保存されている第１学習データ、および第２学習データ記憶手段１０３に保存されている第２学習データの両方を利用して決定する。
【００７３】
具体的には、学習手段１０４は、第１学習データと第２学習データとを用いて予め定められた層よりも上位の層のみを学習するか、さらに第２学習データのみを用いてより下位の層まで学習するかを、それぞれの学習後の識別性能、および学習データの減少量を考慮して決定する。
【００７４】
例えば、学習手段１０４は、学習後の識別性能を予測し、予測された識別性能を基に式（１）のスコアを算出する。学習手段１０４は、算出された式（１）のスコアを基に実行対象の層の範囲を決定する。
【００７５】
決定した後、学習手段１０４は、ニューラルネットワーク型識別器１０１の決定された範囲に対してファインチューニングを実行する（ステップS104）。ファインチューニングを実行した後、パターン認識装置１００は、ファインチューニング実行処理を終了する。
【００７６】
［効果の説明］
本実施形態のパターン認識装置１００は、ネットワーク構造で表現されるニューラルネットワーク型識別器１０１を備える。また、パターン認識装置１００は、第１学習データを記憶する第１学習データ記憶手段１０２と、第２学習データを記憶する第２学習データ記憶手段１０３とを備える。
【００７７】
第１学習データは、学習用の画像データがニューラルネットワーク型識別器１０１に入力された際に１つの層から出力される特徴量データと、入力された学習用の画像データに対応する正解クラスと、特徴量データを出力する層の識別情報とを含む。
【００７８】
第２学習データは、第１学習データの生成に使用された学習用の画像データと異なる画像データがニューラルネットワーク型識別器１０１に入力された際に、第１学習データに含まれる特徴量データを出力した１つの層と異なる層から出力される特徴量データを含む。また、第２学習データは、入力された学習用の画像データに対応する正解クラスと、特徴量データを出力する層の識別情報とを含む。
【００７９】
また、パターン認識装置１００は、第１学習データと第２学習データの両方を用いて、ニューラルネットワーク型識別器１０１に対してファインチューニングを実行する学習手段１０４を備える。
【００８０】
本実施形態のパターン認識装置１００は、ファインチューニングで重みパラメータが修正される層の最適な範囲を決定できる。その理由は、学習手段１０４がファインチューニング後の識別性能と学習データの再利用可能性の２つの観点でファインチューニングの結果を表す指標を算出し、算出された指標に基づいて最適な学習範囲を選択するためである。
【００８１】
実施形態２．
［構成の説明］
次に、本発明によるパターン認識装置の第２の実施形態を、図面を参照して説明する。図３は、本発明によるパターン認識装置の第２の実施形態の構成例を示すブロック図である。
【００８２】
図３に示すように、パターン認識装置２００は、ニューラルネットワーク型識別器２０１と、学習データ記憶手段２０２と、学習手段２０３と、学習データ選択手段２０４と、再学習範囲決定手段２０５と、評価手段２０６と、再学習結果記憶手段２０７と、再学習結果選択手段２０８とを備える。
【００８３】
ニューラルネットワーク型識別器２０１は、ニューラルネットワークを用いてパターン認識処理を行う識別器である。ニューラルネットワーク型識別器２０１が有する機能は、第１の実施形態のニューラルネットワーク型識別器１０１が有する機能と同様である。
【００８４】
学習データ記憶手段２０２は、学習用の画像データと、ニューラルネットワーク型識別器２０１の中間層から出力された特徴量データとを含む学習データを記憶する機能を有する。記憶されている学習データには、第１の実施形態の第１学習データと、第２学習データとが含まれる。なお、学習データには、画像データ、または特徴量データのうちのいずれか１つのみが含まれていてもよい。
【００８５】
学習手段２０３は、学習データ記憶手段２０２に記憶されている学習データを用いて、ニューラルネットワーク型識別器２０１に対してファインチューニングを実行する機能を有する。学習手段２０３が有する機能は、第１の実施形態の学習手段１０４が有する機能と同様である。
【００８６】
学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データの中から、ファインチューニングの実行対象の層よりも下位の層から抽出された特徴量データを含む学習データを選択する機能を有する。
【００８７】
再学習範囲決定手段２０５は、ファインチューニングの実行対象の層の範囲（再学習範囲）の候補を１通り以上決定する機能を有する。再学習範囲決定手段２０５は、ニューラルネットワーク型識別器２０１を構成する層の中からファインチューニングの実行対象の層の範囲の候補を１通り、または複数通り決定する。
【００８８】
例えば、再学習範囲決定手段２０５は、図１１に示すニューラルネットワーク型識別器に対してファインチューニングの実行対象の層の範囲の候補を「第L1層よりも上位の層」、「第L2層よりも上位の層」、「第L3層よりも上位の層」と３通り決定する。再学習範囲決定手段２０５は、決定されたファインチューニングの実行対象の層の範囲の候補を示す情報を出力する。
【００８９】
学習データ選択手段２０４は、再学習範囲決定手段２０５が決定したファインチューニングの実行対象の層の範囲の候補を示す１つの情報に着目する。次いで、学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データのうち、ファインチューニングの実行対象の層の範囲の候補以外から得られた学習データのみ選択する。
【００９０】
学習データ選択手段２０４が選択した学習データは、継続して利用可能なデータである。一般的に、継続して利用可能なデータは、多い方が好ましいと考えられる。以下、学習データ選択手段２０４の具体的な選択方法を、図４を参照して説明する。図４は、学習データ記憶手段２０２に記憶されている学習データの例を示す説明図である。
【００９１】
図４は、学習データのデータ名と、データの内容とを併せて示す。データの内容は、学習データが画像データ、または特徴量データのいずれかを含むことを示す。学習データが特徴量データを含む場合、データの内容は、特徴量データが抽出されたニューラルネットワーク型識別器２０１の層も示す。
【００９２】
図４は、学習データＡおよび学習データＢが画像データを含むことを示す。また、図４は、学習データＣおよび学習データＤが中間層L3から抽出された特徴量データを含むことを示す。
【００９３】
また、図４は、学習データＥおよび学習データＦが中間層L2から抽出された特徴量データを含むことを示す。また、図４は、学習データＧおよび学習データＨが中間層L1から抽出された特徴量データを含むことを示す。
【００９４】
例えば、入力層が含まれる全ての層を再学習範囲決定手段２０５がファインチューニングの実行対象の範囲の候補に決定した場合、学習データ選択手段２０４は、学習データＡおよび学習データＢをファインチューニングに用いる学習データに選択する。
【００９５】
また、中間層L3以上の層を再学習範囲決定手段２０５がファインチューニングの実行対象の範囲の候補に決定した場合、学習データ選択手段２０４は、学習データＡ、学習データＢ、学習データＣ、および学習データＤをファインチューニングに用いる学習データに選択する。
【００９６】
図５は、ファインチューニングの実行対象の層の範囲と学習データ量との関係の例を示す説明図である。図５に示すように、一般的にファインチューニングの実行対象の層の範囲が狭いほど、学習に用いられる学習データ量、およびファインチューニング後に再利用可能な学習データ量は増える。
【００９７】
なお、図５は、学習に利用される学習データ量、および再利用可能な学習データ量の変化を定性的に示す。ファインチューニングの実行対象の層の範囲と、学習に利用される学習データ量、およびファインチューニング後に再利用可能な学習データ量との関係は、必ずしも図５に示すように線形関数で表されるわけではない。両者の関係は、学習データ量に含まれる画像データの量、および各層からサンプリングされた特徴量データの量の割合に依存する。
【００９８】
評価手段２０６は、ファインチューニングが実行された後のニューラルネットワーク型識別器２０１の識別性能を評価する機能を有する。
【００９９】
評価手段２０６は、学習手段２０３により更新されたニューラルネットワーク型識別器２０１を用いて、例えば評価データに対するニューラルネットワーク型識別器２０１の識別性能を求める。識別性能は、例えば正認識率と誤認識率とで表現されてもよい。
【０１００】
再学習結果記憶手段２０７は、ファインチューニングが実行された後のニューラルネットワーク型識別器２０１の重みパラメータを示す情報を一時的に記憶する機能を有する。
【０１０１】
再学習結果記憶手段２０７は、学習手段２０３により更新されたニューラルネットワーク型識別器２０１のネットワークの重みパラメータを示す情報を記憶する。また、再学習結果記憶手段２０７は、評価手段２０６で求められた識別性能、ファインチューニングの実行対象の層の範囲の候補を示す情報、および学習データ選択手段２０４が選択した学習データ数を、重みパラメータを示す情報と共に記憶する。
【０１０２】
再学習結果選択手段２０８は、評価手段２０６により評価された識別性能と、ファインチューニングが実行された後も利用可能な学習データ量とに基づいて、再学習結果（ファインチューニングの結果）を選択する機能を有する。再学習結果選択手段２０８は、識別性能と利用可能な学習データ量とが考慮された統一的な指標に基づいて、最適な再学習結果を選択できる。
【０１０３】
すなわち、再学習結果選択手段２０８は、最良のニューラルネットワーク型識別器２０１を選出する。具体的には、再学習結果選択手段２０８は、再学習結果記憶手段２０７に記憶されているファインチューニングの実行対象の層の範囲の候補毎の識別性能、および学習データ選択手段２０４が選択した学習データ数に基づいて選出する。
【０１０４】
最良のニューラルネットワーク型識別器２０１の選択基準として、例えば以下に示す基準が考えられる。
【０１０５】
例えば、識別性能の許容範囲が既知である場合、再学習結果選択手段２０８は、識別性能が許容範囲内である再学習結果の中から、最もファインチューニングの実行対象の層の数が少ない再学習結果を選べばよい。上記の基準で再学習結果を選ぶことによって、再学習結果選択手段２０８は、再利用可能な学習データ量を最大にできる。
【０１０６】
また、再学習結果選択手段２０８は、再利用可能な学習データ量の減少による負の影響が与えられた識別性能を表すスコアを、例えば以下のように計算してもよい。
【０１０７】
（スコア）＝（識別性能）−α×（学習データの減少量）・・・式（２）
【０１０８】
ただし、式（２）における定数αは、識別性能の次元と学習データの減少量の次元とを揃えるための定数である。再学習結果選択手段２０８は、最大のスコアを与える再学習結果に対応するニューラルネットワーク型識別器２０１を選択してもよい。
【０１０９】
また、再利用可能な学習データ量を最大にする場合、再学習結果選択手段２０８は、最もファインチューニングの実行対象の層の数が少ないニューラルネットワーク型識別器２０１を選択すればよい。再利用可能な学習データ量を最大にするという基準が当初から明確である場合、再学習範囲決定手段２０５は、基準に対応する層の範囲のみを示す情報を出力すればよい。
【０１１０】
本実施形態では、識別問題を題材としてパターン認識処理を行うためのニューラルネットワーク型識別器がニューラルネットワーク型識別器２０１として用いられる例を説明した。しかし、ニューラルネットワーク型識別器２０１は、識別問題以外の問題を解決するためのネットワーク型識別器でもよい。
【０１１１】
例えば、オブジェクト検知を行うように学習されたネットワーク型識別器や、数値を予測するために回帰問題が学習されたネットワーク型識別器が、ニューラルネットワーク型識別器２０１でもよい。
【０１１２】
ニューラルネットワーク型識別器２０１が識別問題以外の問題を解決するためのネットワーク型識別器である場合、評価手段２０６が有する機能と再学習結果選択手段２０８が有する機能のみ変更される。
【０１１３】
ニューラルネットワーク型識別器２０１がオブジェクト検知を行うように学習されたネットワーク型識別器である場合、評価手段２０６は、mAP(mean Average Precision) で検知性能を表してもよいし、誤検知率と検知率とで検知性能を表してもよい。
【０１１４】
誤検知率と検知率とで検知性能を表す場合、評価手段２０６は、誤検知率および検知率の２次元の指標を検知性能という１次元の指標に変換するために、例えば検知率と誤検知率にそれぞれ重みを付けた上で検知率と誤検知率を加算してもよい。
【０１１５】
評価手段２０６は、例えば誤検知率に付けられる重みを負の値にするか、検知率に付けられる重みの絶対値よりも誤検知率に付けられる重みの絶対値を大きくすれば、誤検知に対するペナルティをより大きく勘案できる。
【０１１６】
また、検知性能の許容範囲が既知である場合、再学習結果選択手段２０８は、検知性能が許容範囲内である再学習結果の中から、最もファインチューニングの実行対象の層の数が少ない再学習結果を選べばよい。上記の基準で再学習結果を選ぶことによって、再学習結果選択手段２０８は、再利用可能な学習データ量を最大にできる。
【０１１７】
また、再学習結果選択手段２０８は、再利用可能な学習データ量の減少による負の影響が与えられた検知性能を表すスコアを、例えば以下のように計算してもよい。
【０１１８】
（スコア）＝（検知性能）−β×（学習データの減少量）・・・式（３）
【０１１９】
ただし、式（３）における定数βは、検知性能の次元と学習データの減少量の次元とを揃えるための定数である。再学習結果選択手段２０８は、最大のスコアを与える再学習結果に対応するニューラルネットワーク型識別器２０１を選択してもよい。
【０１２０】
また、再利用可能な学習データ量を最大にする場合、再学習結果選択手段２０８は、最もファインチューニングの実行対象の層の数が少ないニューラルネットワーク型識別器２０１を選択すればよい。再利用可能な学習データ量を最大にするという基準が当初から明確である場合、再学習範囲決定手段２０５は、基準に対応する層の範囲のみを示す情報を出力すればよい。
【０１２１】
また、ニューラルネットワーク型識別器２０１が回帰問題が学習されたネットワーク型識別器である場合、評価手段２０６は、例えば予測された数値と真値との二乗誤差の逆数等を検知性能の性能値として求めればよい。
【０１２２】
なお、上記の説明では、再学習結果選択手段２０８が識別性能の値や検知性能の値からスコアを算出する式の例として、一次式を示した。しかし、統計的な関係性を高精度に表現することが求められる場合、再学習結果選択手段２０８は、スコアを算出する式として一次式の代わりに、より高次の計算式を用いてもよい。また、再学習結果選択手段２０８は、特定のモデル式に基づいてスコアを計算してもよい。
【０１２３】
［動作の説明］
以下、本実施形態のパターン認識装置２００のファインチューニングを実行する動作を図６を参照して説明する。図６は、第２の実施形態のパターン認識装置２００によるファインチューニング実行処理の動作を示すフローチャートである。
【０１２４】
最初に、再学習範囲決定手段２０５が、ニューラルネットワーク型識別器２０１に対するファインチューニングの実行対象の層の範囲の候補を決定する（ステップS201）。再学習範囲決定手段２０５は、決定されたファインチューニングの実行対象の層の範囲の候補を学習データ選択手段２０４に入力する。
【０１２５】
次いで、学習データ選択手段２０４が、ステップS201で入力された各ファインチューニングの実行対象の層の範囲の候補のうち、１つの範囲の候補に着目する。すなわち、再学習ループに入る（ステップS202）。
【０１２６】
学習データ選択手段２０４は、着目されたファインチューニングの実行対象の層の範囲の候補に対してファインチューニングを実行するために求められる学習データを、学習データ記憶手段２０２に記憶されている学習データの中から選択する（ステップS203）。学習データ選択手段２０４は、選択された学習データを学習手段２０３に入力する。
【０１２７】
次いで、学習手段２０３は、ステップS203で選択された学習データを用いて、ニューラルネットワーク型識別器２０１に対してファインチューニングを実行する（ステップS204）。
【０１２８】
次いで、評価手段２０６は、ステップS204で更新されたニューラルネットワーク型識別器２０１を用いて、評価データに対するニューラルネットワーク型識別器２０１の識別性能を評価する（ステップS205）。
【０１２９】
次いで、評価手段２０６は、ステップS205で評価された識別性能を再学習結果記憶手段２０７に再学習結果として格納する（ステップS206）。
【０１３０】
また、学習手段２０３は、ステップS204で更新されたニューラルネットワーク型識別器２０１の重みパラメータを示す情報、およびファインチューニングの実行対象の層の範囲の候補を示す情報を、再学習結果記憶手段２０７に格納されている再学習結果に含める。また、学習データ選択手段２０４は、選択された学習データ数を、再学習結果記憶手段２０７に格納されている再学習結果に含める。
【０１３１】
パターン認識装置２００は、ステップS201で決定された各ファインチューニングの実行対象の層の範囲の候補全てに対してファインチューニングが実行されるまでの間、ステップS203〜ステップS206の処理を繰り返し実行する。各ファインチューニングの実行対象の層の範囲の候補全てに対してファインチューニングが実行された時、パターン認識装置２００は、再学習ループを抜ける（ステップS207）。
【０１３２】
次いで、再学習結果選択手段２０８は、再学習結果記憶手段２０７に格納されている再学習結果のうち最適な再学習結果を選択する（ステップS208）。最適な再学習結果を選択した後、パターン認識装置２００は、ファインチューニング実行処理を終了する。
【０１３３】
以下、本実施形態の他の例を、図７を参照して説明する。上記の例のパターン認識装置２００は、１種類のニューラルネットワーク型識別器２０１のみ備える。
【０１３４】
すなわち、中間層から抽出された特徴量データは、１種類のニューラルネットワーク型識別器に関する特徴量データのみである。換言すると、特徴量データが抽出されたニューラルネットワーク型識別器は、予め１種類に特定された。
【０１３５】
しかし、本実施形態の学習データ記憶手段２０２には、複数のニューラルネットワーク型識別器からそれぞれ抽出された各特徴量データが、混在して記憶されてもよい。すなわち、パターン認識装置２００は、複数種類のニューラルネットワーク型識別器を備えてもよい。パターン認識装置２００が複数種類のニューラルネットワーク型識別器を備える場合、各ニューラルネットワーク型識別器は、ネットワーク識別情報をそれぞれ有する。
【０１３６】
本変形例では、ニューラルネットワーク型識別器が、ネットワーク識別情報をさらに具備する。ネットワーク識別情報は、各ネットワークのモデル、および各ネットワーク係数を区別可能な情報である。
【０１３７】
すなわち、例えば同じネットワーク構造のニューラルネットワーク型識別器同士であっても各ネットワーク係数が異なる場合、各ニューラルネットワーク型識別器には、それぞれ異なるネットワーク識別情報が割り当てられる。
【０１３８】
ネットワーク識別情報は、単一の数値、または文字列で表現されてもよい。また、ネットワーク識別情報は、層数、各層の種類、フィルタサイズ、フィルタ係数、ストライド幅、活性化関数等が所定の規則に従って１列の数値列として展開された情報でもよい。
【０１３９】
各層の種類は、コンボリューション層、プーリング層、フルコネクト層、softmax 層等である。また、フィルタサイズ等の層に関する各情報は、層毎に列挙されてもよい。
【０１４０】
また、学習データ記憶手段２０２に記憶されている学習データでは、ニューラルネットワーク型識別器を識別できるネットワーク識別情報と、学習データに含まれる特徴量データが抽出されたニューラルネットワーク型識別器の層の位置を示す情報とが対応付けられている。
【０１４１】
具体的には、学習データ記憶手段２０２に記憶されている画像データと特徴量データのうち特徴量データに関して、特徴量データが抽出されたニューラルネットワーク型識別器のネットワーク識別情報と、特徴量データが抽出された層の位置を示す情報との組が記憶される。
【０１４２】
また、１つの特徴量データは、複数のニューラルネットワーク型識別器と対応付けられてもよい。例えば全体の構造が異なるが、入力層から第Ｎ層までのネットワーク構造およびネットワークの重みパラメータが共通しているニューラルネットワーク型識別器Ａとニューラルネットワーク型識別器Ｂを、パターン認識装置２００が備えているとする。
【０１４３】
ニューラルネットワーク型識別器Ａの第Ｎ層から抽出された特徴量データが学習データ記憶手段２０２に記憶されている場合、記憶されている特徴量データには、ニューラルネットワーク型識別器Ｂの第Ｎ層から抽出された特徴量データであることを示す情報も追記される。情報が追記された特徴量データは、異なるファインチューニングに渡って使用される。
【０１４４】
図７は、学習データ記憶手段２０２に記憶されている学習データの他の例を示す説明図である。図７は、学習データのデータ名と、データの内容とを併せて示す。
【０１４５】
データの内容は、学習データが画像データ、または特徴量データのいずれかを含むことを示す。学習データが特徴量データを含む場合、データの内容は、特徴量データが抽出されたニューラルネットワーク型識別器のネットワーク識別情報と、特徴量データが抽出された層も示す。
【０１４６】
図７は、学習データＡおよび学習データＢが画像データを含むことを示す。また、図７は、学習データＣおよび学習データＤが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データを含むことを示す。
【０１４７】
同様に、学習データＣおよび学習データＤは、ネットワーク識別情報N2で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データ、およびネットワーク識別情報N3で識別されるネットワーク型識別器の中間層L3から抽出された特徴量データを含む。
【０１４８】
すなわち、ネットワーク識別情報N1で識別されるネットワーク型識別器の構造、ネットワーク識別情報N2で識別されるネットワーク型識別器の構造、およびネットワーク識別情報N3で識別されるネットワーク型識別器の構造は、入力層から中間層L3まで共通である。
【０１４９】
また、図７は、学習データＥおよび学習データＦが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L2から抽出された特徴量データ、およびネットワーク識別情報N2で識別されるネットワーク型識別器の中間層L2から抽出された特徴量データを含むことを示す。
【０１５０】
すなわち、ネットワーク識別情報N1で識別されるネットワーク型識別器の構造とネットワーク識別情報N2で識別されるネットワーク型識別器の構造は、入力層から中間層L2まで共通である。
【０１５１】
また、図７は、学習データＧおよび学習データＨが、ネットワーク識別情報N1で識別されるネットワーク型識別器の中間層L1から抽出された特徴量データを含むことを示す。
【０１５２】
学習データ選択手段２０４は、再学習範囲決定手段２０５が決定したファインチューニングの実行対象の層の範囲の候補のうち、１つの範囲の候補に着目する。次いで、学習データ選択手段２０４は、学習データ記憶手段２０２に記憶されている学習データのうち、ニューラルネットワーク型識別器のファインチューニングの実行対象の層の範囲の候補以外から得られた学習データのみを選択する。
【０１５３】
すなわち、本変形例の学習データ選択手段２０４は、ファインチューニングの実行対象のニューラルネットワーク型識別器を示すネットワーク識別情報と、含まれているネットワーク識別情報が等しい学習データだけを選択する。
【０１５４】
従って、本変形例のパターン認識装置２００は、様々な撮影地点向けに様々なニューラルネットワーク型識別器が構築されていた場合であっても、構造が同様な範囲で複数のニューラルネットワーク型識別器に対して同じ特徴量データを利用できる。
【０１５５】
以下、各実施形態のパターン認識装置のハードウェア構成の具体例を説明する。図８は、本発明によるパターン認識装置のハードウェア構成例を示す説明図である。
【０１５６】
図８に示すパターン認識装置は、ＣＰＵ（Central Processing Unit ）１１と、主記憶部１２と、通信部１３と、補助記憶部１４とを備える。また、ユーザが操作するための入力部１５や、ユーザに処理結果または処理内容の経過を提示するための出力部１６を備えてもよい。
【０１５７】
なお、図８に示すパターン認識装置は、ＣＰＵ１１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図８に示すパターン認識装置は、ＣＰＵ１１とＤＳＰとを併せて備えてもよい。
【０１５８】
主記憶部１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１２は、例えばＲＡＭ（Random Access Memory）である。
【０１５９】
通信部１３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。
【０１６０】
補助記憶部１４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。
【０１６１】
入力部１５は、データや処理命令を入力する機能を有する。入力部１５は、例えばキーボードやマウス等の入力デバイスである。
【０１６２】
出力部１６は、データを出力する機能を有する。出力部１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。
【０１６３】
また、図８に示すように、パターン認識装置において、各構成要素は、システムバス１７に接続されている。
【０１６４】
補助記憶部１４は、例えば、学習手段１０４、学習手段２０３、学習データ選択手段２０４、再学習範囲決定手段２０５、評価手段２０６、および再学習結果選択手段２０８を実現するためのプログラムを記憶している。
【０１６５】
なお、パターン認識装置は、ハードウェアにより実現されてもよい。例えば、パターン認識装置は、内部に図１に示すような機能を実現するプログラムが組み込まれたＬＳＩ（Large Scale Integration ）等のハードウェア部品が含まれる回路が実装されてもよい。
【０１６６】
また、パターン認識装置は、図８に示すＣＰＵ１１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現されてもよい。
【０１６７】
ソフトウェアにより実現される場合、ＣＰＵ１１が補助記憶部１４に格納されているプログラムを、主記憶部１２にロードして実行し、パターン認識装置の動作を制御することによって、各機能がソフトウェアにより実現される。また、ＣＰＵ１１が、補助記憶部１４に格納されている学習データ等を、主記憶部１２にロードしてもよい。
【０１６８】
また、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１６９】
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１７０】
次に、本発明の概要を説明する。図９は、本発明によるパターン認識装置の概要を示すブロック図である。本発明によるパターン認識装置２０は、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、画像データと異なる学習用の画像データが入力されたニューラルネットワーク型識別器の複数の層のうちの１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後のニューラルネットワーク型識別器の識別性能を予測する予測手段２１（例えば、学習手段１０４）と、予測された識別性能に基づいてニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段２２（例えば、学習手段１０４）とを備える。
【０１７１】
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
【０１７２】
また、パターン認識装置２０は、決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段（例えば、学習手段１０４）を備えてもよい。
【０１７３】
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
【０１７４】
また、第１学習データは、第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、第２学習データは、第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含んでもよい。
【０１７５】
そのような構成により、パターン認識装置は、ファインチューニングの精度をより高めることができる。
【０１７６】
また、学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、第１学習データとを用いて学習してもよい。
【０１７７】
そのような構成により、パターン認識装置は、より多様なファインチューニングを実行できる。
【０１７８】
また、図１０は、本発明によるパターン認識装置の他の概要を示すブロック図である。本発明によるパターン認識装置３０は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段３１（例えば、再学習範囲決定手段２０５）と、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習手段３２（例えば、学習手段２０３）と、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価手段３３（例えば、評価手段２０６）と、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶する記憶手段３４（例えば、再学習結果記憶手段２０７）と、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段３４からパラメータを選択する選択手段３５（例えば、再学習結果選択手段２０８）とを備える。
【０１７９】
そのような構成により、パターン認識装置は、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できる。
【０１８０】
また、学習データは、学習データに含まれる特徴量データを出力した層を示す情報を含んでもよい。
【０１８１】
そのような構成により、パターン認識装置は、所定の層よりも上位の層から抽出された全ての特徴量データを認識できる。
【０１８２】
また、学習データは、学習データに含まれる特徴量データの生成元である学習用の画像データと、特徴量データおよび画像データに対応する正解クラスとを含んでもよい。
【０１８３】
そのような構成により、パターン認識装置は、ファインチューニングの精度をより高めることができる。
【０１８４】
また、学習データは、学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含んでもよい。
【０１８５】
そのような構成により、パターン認識装置は、複数種類のニューラルネットワーク型識別器に対応できる。
【０１８６】
また、学習手段３２は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習してもよい。
【０１８７】
そのような構成により、パターン認識装置は、複数種類のニューラルネットワーク型識別器に対応できる。
【０１８８】
また、記憶手段３４は、パラメータと、パラメータを有するニューラルネットワーク型識別器の識別性能と、パラメータが導出された学習に利用された学習データの数とを併せて記憶してもよい。
【０１８９】
そのような構成により、パターン認識装置は、複数のファインチューニングの結果をまとめて管理できる。
【０１９０】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１９１】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
【０１９２】
（付記１）学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測手段と、予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備えることを特徴とするパターン認識装置。
【０１９３】
（付記２）決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段を備える付記１記載のパターン認識装置。
【０１９４】
（付記３）第１学習データは、前記第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、第２学習データは、前記第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含む付記２記載のパターン認識装置。
【０１９５】
（付記４）学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、前記異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、前記第１学習データとを用いて学習する付記３記載のパターン認識装置。
【０１９６】
（付記５）複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習手段と、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価手段と、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶する記憶手段と、評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択手段とを備えることを特徴とするパターン認識装置。
【０１９７】
（付記６）学習データは、前記学習データに含まれる特徴量データを出力した層を示す情報を含む付記５記載のパターン認識装置。
【０１９８】
（付記７）学習データは、前記学習データに含まれる特徴量データの生成元である学習用の画像データと、前記特徴量データおよび前記画像データに対応する正解クラスとを含む付記５または付記６記載のパターン認識装置。
【０１９９】
（付記８）学習データは、前記学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含む付記５から付記７のうちのいずれかに記載のパターン認識装置。
【０２００】
（付記９）学習手段は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習する付記８記載のパターン認識装置。
【０２０１】
（付記１０）記憶手段は、パラメータと、前記パラメータを有するニューラルネットワーク型識別器の識別性能と、前記パラメータが導出された学習に利用された学習データの数とを併せて記憶する付記５から付記９のうちのいずれかに記載のパターン認識装置。
【０２０２】
（付記１１）学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測し、予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定することを特徴とするパターン認識方法。
【０２０３】
（付記１２）複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定し、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習し、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価し、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させ、評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択することを特徴とするパターン認識方法。
【０２０４】
（付記１３）コンピュータに、学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測処理、および予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定処理を実行させるためのパターン認識プログラム。
【０２０５】
（付記１４）コンピュータに、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定処理、学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習処理、学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価処理、学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶手段に記憶させる記憶処理、および評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択処理を実行させるためのパターン認識プログラム。
【符号の説明】
【０２０６】
１１  ＣＰＵ
１２  主記憶部
１３  通信部
１４  補助記憶部
１５  入力部
１６  出力部
１７  システムバス
２０、３０、１００、２００  パターン認識装置
２１  予測手段
２２、３１  決定手段
３２、１０４、２０３  学習手段
３３、２０６  評価手段
３４  記憶手段
３５  選択手段
１０１、２０１  ニューラルネットワーク型識別器
１０２  第１学習データ記憶手段
１０３  第２学習データ記憶手段
２０２  学習データ記憶手段
２０４  学習データ選択手段
２０５  再学習範囲決定手段
２０７  再学習結果記憶手段
２０８  再学習結果選択手段
【図１】
2020065908.tif 000003
【図２】
2020065908.tif 000004
【図３】
2020065908.tif 000005
【図４】
2020065908.tif 000006
【図５】
2020065908.tif 000007
【図６】
2020065908.tif 000008
【図７】
2020065908.tif 000009
【図８】
2020065908.tif 000010
【図９】
2020065908.tif 000011
【図１０】
2020065908.tif 000012
【図１１】
2020065908.tif 000013
【手続補正書】
【提出日】令和2年11月24日(2020.11.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測する予測手段と、
予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する決定手段とを備える
ことを特徴とするパターン認識装置。
【請求項２】
決定された範囲の層が出力する特徴量データを用いてニューラルネットワーク型識別器を学習する学習手段を備える
請求項１記載のパターン認識装置。
【請求項３】
第１学習データは、前記第１学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第１学習データに含まれる特徴量データを出力した１つの層を示す情報とを含み、
第２学習データは、前記第２学習データに含まれる特徴量データの生成元である学習用の画像データに対応する正解クラスと、前記第２学習データに含まれる特徴量データを出力した１つの層を示す情報とを含む
請求項２記載のパターン認識装置。
【請求項４】
学習手段は、第１学習データに含まれる特徴量データの生成元である学習用の画像データと異なる学習用の画像データと、前記異なる学習用の画像データに対応する正解クラスとを含む第３学習データと、前記第１学習データとを用いて学習する
請求項３記載のパターン認識装置。
【請求項５】
複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、
学習用の画像データが入力された前記ニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いて前記ニューラルネットワーク型識別器を学習する学習手段と、
学習された後の前記ニューラルネットワーク型識別器の識別性能を評価する評価手段と、
学習されて導出された前記ニューラルネットワーク型識別器のパラメータを前記決定された範囲の候補と共に記憶する記憶手段と、
評価された識別性能と学習に利用された学習データの数とに基づいて前記記憶手段からパラメータを選択する選択手段とを備え、
学習データは、当該学習データに含まれる特徴量データを出力した前記ニューラルネットワーク型識別器を示すネットワーク情報を含む
ことを特徴とするパターン認識装置。
【請求項６】
学習データは、前記学習データに含まれる特徴量データを出力した層を示す情報を含む
請求項５記載のパターン認識装置。
【請求項７】
学習データは、前記学習データに含まれる特徴量データの生成元である学習用の画像データと、前記特徴量データおよび前記画像データに対応する正解クラスとを含む
請求項５または請求項６記載のパターン認識装置。
【請求項８】
学習手段は、学習対象のニューラルネットワーク型識別器を示すネットワーク情報を含む学習データを用いて学習する
請求項５記載のパターン認識装置。
【請求項９】
記憶手段は、パラメータと、前記パラメータを有するニューラルネットワーク型識別器の識別性能と、前記パラメータが導出された学習に利用された学習データの数とを併せて記憶する
請求項５から請求項８のうちのいずれか１項に記載のパターン認識装置。
【請求項１０】
学習用の画像データが入力された複数の層が層状に結合されたニューラルネットワーク型識別器の前記複数の層のうちの１つの層が出力する特徴量データを含む第１学習データと、前記画像データと異なる学習用の画像データが入力された前記ニューラルネットワーク型識別器の前記複数の層のうちの前記１つの層と異なる１つの層が出力する特徴量データを含む第２学習データとが用いられて学習された後の前記ニューラルネットワーク型識別器の識別性能を予測し、
予測された識別性能に基づいて前記ニューラルネットワーク型識別器の学習対象の層の範囲を決定する
ことを特徴とするパターン認識方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、パターン認識装置およびパターン認識方法に関し、特に統計的パターン認識技術を応用したパターン認識装置およびパターン認識方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
そこで、本発明は、上述した課題を解決する、再利用可能な特徴量データの量を考慮しながらファインチューニングを実行できるパターン認識装置およびパターン認識方法を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明によるパターン認識装置は、複数の層が層状に結合されたニューラルネットワーク型識別器の学習対象の層の範囲の候補を決定する決定手段と、学習用の画像データが入力されたニューラルネットワーク型識別器の決定された範囲の候補の層が出力する特徴量データを含む学習データを用いてニューラルネットワーク型識別器を学習する学習手段と、学習された後のニューラルネットワーク型識別器の識別性能を評価する評価手段と、学習されて導出されたニューラルネットワーク型識別器のパラメータを決定された範囲の候補と共に記憶する記憶手段と、評価された識別性能と学習に利用された学習データの数とに基づいて記憶手段からパラメータを選択する選択手段とを備え、学習データは、その学習データに含まれる特徴量データを出力したニューラルネットワーク型識別器を示すネットワーク情報を含むことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【国際調査報告】
2020065908.tif 000014
2020065908.tif 000015