(57)【要約】【課題】ＢＮ層を含むニューラルネットワークにおいて、学習精度を向上できる学習処理を実現する情報処理装置を提供することにある。【解決手段】本実施形態の情報処理装置は、バッチ正規化層を含むニューラルネットワークの学習処理を実行するプロセッサ及び当該学習処理で使用されるメモリを含む。前記プロセッサは、前記ニューラルネットワークを設定し、前記学習処理を実行する間に、重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する。【選択図】図１
2020135011.tif 000002
【特許請求の範囲】
【請求項１】
バッチ正規化層を含むニューラルネットワークの学習処理を実行するプロセッサと、前記プロセッサによる前記学習処理で使用されるメモリと、
を具備し、
前記プロセッサは、
前記ニューラルネットワークを設定し、
前記学習処理を実行する間に、重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する、情報処理装置。
【請求項２】
所定の条件に基づいて、前記重みパラメータの更新と前記正規化パラメータの更新とをそれぞれ異なるタイミングで実行する、請求項１に記載の情報処理装置。
【請求項３】
前記所定の条件として、所定の学習処理の繰り返し毎に、前記重みパラメータの更新と前記正規化パラメータの更新とを切り替える、請求項２に記載の情報処理装置。
【請求項４】
前記所定の条件として、前記重みパラメータの更新後に、前記ニューラルネットワークの学習精度が所定の閾値を下回る場合に、前記重みパラメータを固定化して、前記正規化パラメータの更新を実行する、請求項２に記載の情報処理装置。
【請求項５】
前記正規化パラメータの更新処理は、正規化処理の出力をアフィン変換する際のパラメータの調整を含む、請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記ニューラルネットワークの学習処理に含まれる誤差の逆伝播処理を実行する間に、前記重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記ニューラルネットワークは、
畳み込み層及び前記バッチ正規化層を含む第１段階層と、少なくとも、畳み込み層及び前記バッチ正規化層を含む第２段階層と
を有する、請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
バッチ正規化層を含むニューラルネットワークの学習処理に適用する方法であって、
前記ニューラルネットワークを設定し、
前記学習処理を実行する間に、重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する、方法。
【請求項９】
所定の条件に基づいて、前記重みパラメータの更新と前記正規化パラメータの更新とをそれぞれ異なるタイミングで実行する、請求項８に記載の方法。
【請求項１０】
前記所定の条件として、所定の学習処理の繰り返し毎に、前記重みパラメータの更新と前記正規化パラメータの更新とを切り替える、請求項９に記載の方法。
【請求項１１】
前記所定の条件として、前記重みパラメータの更新後に、前記ニューラルネットワークの学習精度が所定の閾値を下回る場合に、前記重みパラメータを固定化して、前記正規化パラメータの更新を実行する、請求項９に記載の方法。
【請求項１２】
前記正規化パラメータの更新処理は、正規化処理の出力をアフィン変換する際のパラメータの調整を含む、請求項８から１１のいずれか１項に記載の方法。
【請求項１３】
前記ニューラルネットワークの学習処理に含まれる誤差の逆伝播処理を実行する間に、前記重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する、請求項８から１２のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ニューラルネットワークの学習処理に適用する情報処理装置及び方法に関する。
【背景技術】
【０００２】
畳み込みニューラルネットワーク（Convolutional Neural Network）を代表とするディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）は、パラメータを更新（調整）する学習処理により最適化される。
【０００３】
ＤＮＮでは、バッチ正規化層（Batch-Normalization layer：ＢＮ層）の正規化処理により、学習処理の安定化や学習速度の向上を図ることができる。ＤＮＮの学習処理は、ＢＮ層の正規化処理を含めて、学習処理対象のデータセットをミニバッチ（mini batch）のサイズ（ミニバッチサイズ）に分割して行う学習処理（ミニバッチ学習処理）が主流になっている。ミニバッチサイズとは、パラメータ更新を含む１回の推論及び学習処理に使用する、入力データ及び学習用データ（データセット）の数である。
【０００４】
ここで、ミニバッチ学習処理により学習処理の速度を向上できるが、学習処理における演算に必要なメモリ容量を少なくするためには、ミニバッチサイズが少ない方が望ましい。一方、ミニバッチサイズが相対的に少ない場合には、学習精度が劣化することが確認されている。ミニバッチサイズが少ない場合に学習精度の劣化を抑制する方法として、バッチ再正規化（Batch-Renormalization）方式が提案されているが、必ずしも有効ではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１６／０２１７３６８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、ＢＮ層を含むＤＮＮにおいて、学習精度を向上できる学習処理を実現する情報処理装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
本実施形態の情報処理装置は、バッチ正規化層を含むニューラルネットワークの学習処理を実行するプロセッサ及び当該学習処理で使用されるメモリを含む。前記プロセッサは、前記ニューラルネットワークを設定し、前記学習処理を実行する間に、重みパラメータの更新と前記バッチ正規化層の正規化処理での正規化パラメータの更新とを交互又は異なるタイミングで実行する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に関するシステムの構成を示すブロック図。
【図２】実施形態に関する学習処理の概略を説明するための図。
【図３】実施形態に関する畳み込み処理の概略を説明するための図。
【図４】実施形態に関するＣＮＮの一例を示すブロック図。
【図５】実施形態に関するＣＮＮの一例を示すブロック図。
【図６】実施形態に関する学習処理を説明するためのフローチャート。
【図７】実施形態に関するパラメータの更新処理を説明するための概念図。
【図８】実施形態に関する学習精度の向上を説明するための図。
【図９】実施形態の変形例を示すブロック図。
【発明を実施するための形態】
【０００９】
以下図面を参照して、実施形態を説明する。
［システム構成］
図１は、本実施形態のシステムの構成を示すブロック図である。図１に示すように、システムは、本実施形態の要部であるプロセッサ１０、ストレージ１１、及びアプリケーション（ＡＰ）システム１２を有する。
【００１０】
本実施形態では、プロセッサ１０は、例えばＧＰＵ（Graphic Processing Unit）やＣＰＵ（Central Processing Unit）であり、ハードウェア及びソフトウェアにより構成されている。プロセッサ１０は、ソフトウェアである学習処理部１３により、ディープニューラルネットワーク（ＤＮＮ又は単にニューラルネットワークと表記する）１４に対して、メモリ１５を使用して学習処理を実行する。
【００１１】
本実施形態は、ＤＮＮとして、例えば画像を入力データとする画像認識処理に有効な畳み込みニューラルネットワーク（ＣＮＮ）の学習処理に関する。
【００１２】
ストレージ１１は、ＣＮＮの学習処理に必要な学習用データ（又は訓練データ）１００及び正解ラベル（正解データ又は教師データ）１１０を格納している。ストレージ１１は、プロセッサ１０からのアクセスに応じて、学習用データ１００及び正解ラベル１１０を出力する。
【００１３】
ＡＰシステム１２は、プロセッサ１０により最適化されたＣＮＮを利用し、例えば、未知の入力画像を認識する画像認識システムである。画像認識システムは、ハードウェア及びソフトウェアから構成されるコンピュータ、サーバシステム、又はＷｅｂサービスを実行するクラウドシステムを含む。
【００１４】
図２は、本実施形態の学習処理の概略を説明するための図である。図２に示すように、ＣＮＮ２０は、図示しない入力層（input layer）と出力層（output layer）との中間に、畳み込み層(convolution layer、以下ＣＶ層)を代表とする複数の層２１-1〜２１-nからなる中間層（internal layer）を含む。中間層は、隠れ層（hidden layer）とも呼ばれる。本実施形態では、学習処理部１３は、ＣＮＮ２０において、各層２１-1〜２１-nのそれぞれにおいて、学習用データ１００からミニバッチ（mini batch）サイズの入力データ（後述するサブセット）の単位で、学習処理（ミニバッチ学習処理）を実行する。
【００１５】
学習処理部１３はＣＮＮ２０の学習処理として、各層２１-1〜２１-nにおいて、前段層の出力値を後段層に順伝搬（forward propagation）する処理２２と、その逆方向に誤差を逆伝播（back propagation）する処理（誤差逆伝播）２３を実行する。即ち、ＣＮＮ２０は、誤差逆伝播２３によりパラメータ（重みパラメータ及び正規化パラメータ）を更新する、順伝搬型ニューラルネットワークである。
【００１６】
学習処理部１３は、判定部２４により、ＣＮＮ２０の出力（予測ラベル）と、ストレージ１１から取得した正解ラベルとの誤差の有無を判定する。判定結果により誤差がある場合に、当該誤差（Ｌ）は、ＣＮＮ２０に逆伝播される（２５）。学習処理部１３は、ＣＮＮ２０において、当該誤差が所定の値を下回るまで、後述するパラメータの更新処理、又は所定回数の学習処理だけ、繰り返し実行する。
【００１７】
図３は、ＣＮＮ２０のＣＶ層における畳み込み処理の概略を説明するための図である。
【００１８】
図３に示すように、本実施形態では、ＣＮＮ２０のＣＶ層には、ミニバッチサイズの入力データ３０が入力されて、前述のミニバッチ学習処理に含まれる畳み込み処理が実行される。ミニバッチサイズの入力データ３０は、学習処理の対象である学習用データ１００を所定のサイズのデータに分割したものである。ミニバッチ学習処理では、当該入力データ３０に対する学習処理ごとに、まとめて１回のパラメータ更新が実行される。例えば、学習用データ１００が６万枚の画像のデータセットの場合、ミニバッチサイズが「１０」であれば、入力データ３０は１０枚の画像からなるサブセットに相当する。６万枚の画像のデータセットをミニバッチサイズ「１０」で学習処理した場合、「６万／１０＝６千回」のパラメータ更新が実行される。一般的に、ミニバッチサイズは、１０〜１００程度である。
【００１９】
本実施形態の学習処理部１３は、ＣＮＮ２０において、学習用データ１００からサブセットである入力データ３０をランダムに取り出して、１回分の学習処理（パラメータ更新を含む）を実行する。学習処理部１３は、１回分のミニバッチ学習処理が終了すると、次のサブセットをランダムに取り出して、次回の学習処理に移行する。学習処理部１３は、当該学習処理を、学習用データ１００である画像のデータセット全てに対して繰り返す。この場合、学習用データ１００を１単位とする、学習処理の繰り返し回数（パラメータの更新回数に相当）を、エポック（epoch）と呼ぶ。即ち、エポック数が「１」であれば、前述の具体例では、パラメータ更新回数は「６千回」となる。学習処理部１３は、学習精度が不十分であれば、例えばエポック数を「３」に設定して、学習用データ１００を１単位とする学習処理を３回分繰り返すことになる。即ち、ＣＮＮ２０の学習処理では、ミニバッチサイズとエポック数により、パラメータ更新回数が決定される。
【００２０】
学習処理部１３は、ＣＶ層では、例えば8×8の画素サイズの入力データ３０-1において、例えば3×3の画素サイズ３１-1に対して、重みフィルタ３２-1を用いた畳み込み処理（３５）を実行する。この畳み込み処理（３５）により、応答値３４-1を含む特徴量３３-1が算出される。学習処理では、重みパラメータ（重みとバイアスを含む）が更新された重みフィルタ３２-nにより、畳み込み処理がｎ回（前述のパラメータ更新回数）繰り返し実行されて、応答値３４-ｎを含む特徴量３３-nが更新される。ＣＮＮ２０では、特徴量３３-nは、後述するように、中間層に含まれるバッチ正規化層（ＢＮ層）や活性化層（activation layer）を経由して、出力層まで伝播される。出力層では、抽出された特徴量と正解ラベルとの差分（誤差）が算出されて、当該誤差が誤差逆伝播される。
【００２１】
図４及び図５は、本実施形態のＣＮＮの一例を示すブロック図である。図４に示すように、本実施形態のＣＮＮは、中間層４１に対する前段層４０及び後段層４２を含む。前段層４０は、中間層４１に対して入力側である入力層を含む。後段層４２は、後述する、中間層４１に対して出力側である出力層を含む。
【００２２】
本実施形態の中間層４１は、後述するように、ＣＶ層５０及びその隣接層であるバッチ正規化層（ＢＮ層）５１を含む。図５に示すように、中間層４１は、ＣＶ層５０-1、ＢＮ層５１-1、活性化層（activation layer）５２-1を含む１段階層、及びＣＶ層５０-2、ＢＮ層５１-2、活性化層５２-2を含む２段階層のように、多段階層の構成である。なお、図４に示す後段層４２には、出力層５３の前段に全結合層（fully connected layer）が含まれる場合がある。
【００２３】
ここで、本実施形態の学習処理における、ＣＶ層５０（５０-1,５０-2）及びＢＮ層５１（５１-1,５１-2）によるパラメータ更新処理を説明する。ＣＶ層５０は、ミニバッチサイズの入力データ３０（入力データＸと表記する場合がある）に対する畳み込み処理を実行する層である（図３を参照）。なお、本実施形態の学習処理は、学習処理部１３により実行される。以下、ＣＶ層５０及びＢＮ層５１を主体として、パラメータ更新処理を説明する。
【００２４】
ＢＮ層５１は、本実施形態の学習処理（ミニバッチ学習処理）において、ＣＶ層５０により算出される特徴の分布を調整して、当該分布の偏りを無くすように正規化処理を実行する層である。即ち、ＢＮ層５１は、白色化（whitening）及びアフィン変換（affine transformation）に相当する正規化処理を実行し、ミニバッチ学習処理間での特徴の分布が近くなるように調整する。
【００２５】
具体的には、ＢＮ層５１は、後述するように、ＣＶ層５０から出力される特徴量に対して、平均値μと分散値σを算出し、平均値μが０、分散値σが１になるように正規化処理を実行する。ＣＶ層５０は、ミニバッチサイズの入力データＸに対する特徴量を出力する。さらに、ＢＮ層５１は、スケーリング係数γとシフトオフセット値βを使用して、新たな特徴（出力データＹとする）を算出する。これにより、入力データＸが学習処理の度に大きく変化することを抑制し、中間層の学習プロセスを安定化させると共に、学習速度（学習の収束速度）を向上できる。なお、活性化層５２（５２-1,５２-2）は、例えば活性化関数ＲｅＬＵ(Rectified linear Unit)を使用する活性化処理（数値の変換処理）を実行する。
【００２６】
出力（分類）層５３は、ＣＮＮの画像認識処理の出力である予測ラベルと、正解ラベルＴとの誤差Ｌを算出する。ＣＮＮは、当該誤差が所定の値を下回るまで、又は学習処理の既定回数分（所定のエポック数）だけ、学習処理を繰り返し実行する（図２を参照）。本実施形態の学習処理は、後述するように、誤差逆伝播、ＣＶ層５０による重みパラメータ（重みＷとバイアスＢを含む）の更新処理、及びＢＮ層５１による正規化パラメータの更新処理を含む。
【００２７】
［ＣＮＮの学習処理］
以下、図６及び図７を参照して、本実施形態のＣＮＮの学習処理を説明する。図６は、本実施形態のＣＮＮの学習処理の手順を説明するフローチャートである。図７は、重みパラメータの更新処理及び正規化パラメータの更新処理を説明するための概念図である。
【００２８】
図６を参照して、本実施形態のＣＮＮの学習処理の手順を説明する。前述したように、本実施形態のＣＮＮはミニバッチ学習処理を実行する。ミニバッチ学習処理は、ミニバッチサイズの入力データＸに対する学習処理ごとに、１回のパラメータの更新処理を実行する。
【００２９】
図６に示すように、ＣＮＮは、学習用データ１００からランダムに、ミニバッチサイズの入力データＸを入力する（Ｓ１）。ここで、学習用データ１００が、例えば６万枚の画像のデータセットである場合に、当該データセットを分割したサブセットとして、ミニバッチサイズの入力データＸは例えば３２枚の画像とする。
【００３０】
ＣＮＮは、入力データＸに対して、図５に示すような多段階層による各処理（畳み込み処理や正規化処理等）を実行することで、画像の認識処理を実行する（Ｓ２）。ここで、図３に示すように、ＣＶ層５０は、重みフィルタを用いた畳み込み処理を実行し、入力データＸに対応する特徴量を算出する。即ち、ＣＶ層５０は、重みパラメータ（重みＷとバイアスＢを含む）を使用した畳み込み処理を実行する。
【００３１】
さらに、ＣＶ層５０の隣接層であるＢＮ層５１は、ＣＶ層５０から出力される特徴量に対する正規化処理を実行する。具体的には、ＢＮ層５１は、正規化パラメータを使用した正規化処理を実行する（図７の７１を参照）。即ち、ＢＮ層５１は、ミニバッチサイズの入力データ単位の平均値μと分散値σを算出し、ＣＶ層５０からの特徴量について平均値μを減算し、分散値σで除算する正規化処理を実行して、新たな特徴量（Ｙ）を算出する。ここで、ＢＮ層５１は、当該正規化処理の結果に対して、学習可能なオフセット（offset）βだけ次の層への入力をシフトし、スケール（scale）係数γだけスケーリングできる。これにより、当該正規化処理の結果（アフィン変換する際のパラメータ）を調整することが可能となる。このようにして、ＢＮ層５１は、当該結果を次の層に入力する際の変動を抑制し、ミニバッチ間の分布の変動を抑制できる。
【００３２】
ＣＮＮは、出力層５３により、認識処理（Ｓ２）の出力である予測ラベルと正解ラベルＴとの誤差Ｌを算出すると、誤差の逆伝播処理を実行する（Ｓ３）。逆伝播処理は、当該誤差Ｌを中間層４１に逆伝播する処理を含む。ＣＮＮは、誤差の逆伝播処理に伴って、パラメータ（重みパラメータ及び正規化パラメータ）の更新処理を実行する（Ｓ４）。
【００３３】
本実施形態では、ＣＮＮは、パラメータの更新処理において、ＣＶ層５０の重みパラメータの更新処理（Ｓ５）と、ＢＮ層５１の正規化パラメータの更新処理（Ｓ６）を同時に実行せずに、交互に実行する（Ｓ４）。即ち、ＣＮＮは、パラメータの更新処理において、所定の条件（後述する）に基づいて、重みパラメータの更新処理（Ｓ５）と、正規化パラメータの更新処理（Ｓ６）を異なるタイミングで実行する。
【００３４】
即ち、図７に示すように、ＣＮＮは、ＣＶ層５０の畳み込み処理（７０）での重みパラメータ（重みＷとバイアスＢ）を更新する（Ｓ５）。ＣＮＮは、学習処理の回数（繰り返し回数）が既定回数を超えている否かを判定する（Ｓ７）。学習処理の回数が既定回数を超えていない段階では、ＣＮＮは、ＢＮ層５１の正規化パラメータの更新処理を実行せずに（正規化パラメータを固定化）、最初の入力処理（Ｓ１）から学習処理を繰り返す（Ｓ７のＮＯ）。
【００３５】
即ち、ＣＮＮは、認識処理（Ｓ２）及び誤差の逆伝播処理（Ｓ３）を繰り返す。同様に、ＣＮＮは、誤差の逆伝播処理に伴って、パラメータの更新処理を実行する（Ｓ４）。ここで、本実施形態では、ＣＮＮは、パラメータの更新処理において、例えば、重みパラメータの更新処理（Ｓ５）を実行せずに（重みパラメータを固定化）、正規化パラメータの更新処理を実行する（Ｓ６）。
【００３６】
即ち、図７に示すように、ＣＮＮは、ＣＶ層５０の畳み込み処理（７０）での重みパラメータを更新せずに、ＢＮ層５１の正規化処理（７１）での正規化パラメータを更新する（Ｓ６）。正規化パラメータは、ミニバッチサイズの入力データＸ単位の平均値μ、分散値σ、スケーリング係数γ及びシフトオフセット値βを含む。
【００３７】
ＢＮ層５１は、更新後の平均値μnew、分散値σnew、スケーリング係数γ’及びシフトオフセット値β’を含む正規化パラメータを使用して正規化処理を実行する（７２）。なお、平均値μold、分散値σold、スケーリング係数γ及びシフトオフセット値βは、更新前のパラメータである。
【００３８】
ＣＮＮは、学習処理の回数が既定回数を超えていない段階（Ｓ７のＮＯ）では、ＣＶ層５０の畳み込み処理（７０）での重みパラメータを更新せずに、最初の入力処理（Ｓ１）から学習処理を繰り返す。ＣＮＮは、学習処理の回数が既定回数に到達した場合には（Ｓ７のＹＥＳ）、学習処理を終了する。
【００３９】
以上のように本実施形態によれば、ＣＮＮの最適化に必要な学習処理において、誤差の逆伝播処理に伴って、パラメータの更新処理を実行する場合に、重みパラメータの更新処理と、正規化パラメータの更新処理を同時に実行せずに、交互に実行する。これにより、重みパラメータの更新時に、正規化パラメータの変動（ばらつき）の影響を抑制できるため、結果として学習精度の向上を図ることが可能となる。
【００４０】
ここで、本実施形態では、ＣＮＮは、重みパラメータ及び正規化パラメータの各更新処理を、所定の条件に基づいて、交互又は異なるタイミングで実行する。所定の条件の一例では、１エポックの学習処理毎に各更新処理を切り替える。例えば、最初のエポックの学習処理では、正規化パラメータを固定化して、重みパラメータの更新処理のみを実行する。当該エポックの終了後の次のエポックの学習処理では、重みパラメータを固定化して、正規化パラメータの更新処理のみを実行する。
【００４１】
また、所定の条件の他の例では、ＣＮＮは、学習結果である予測ラベルと正解ラベルとの誤差量が所定の閾値を超える場合に、各更新処理を切り替える。即ち、ＣＮＮは、先ずは重みパラメータのみを所定の回数だけ更新して、正規化パラメータを固定化する処理を実行する。ここで、誤差量が所定の閾値を超えて、許容範囲の学習精度を確保できない場合には、重みパラメータを固定化して、正規化パラメータのみを更新する処理に切り替える。
【００４２】
図８は、本実施形態の学習処理において、各エポック（epoch）に対する学習精度（accuracy）の特性８０を、比較例の学習処理での学習精度の特性８１との比較で示す図である。比較例は、誤差の逆伝播処理に伴って、パラメータの更新処理を実行する場合に、重みパラメータの更新処理と、正規化パラメータの更新処理を同時に実行する場合である。なお、図８は、一例として、事前学習で精度６０％のＣＮＮモデルを使用して、バッチサイズ１で学習処理を実行した結果である。
【００４３】
図８に示すように、本実施形態の学習処理による学習精度（特性８０）は、既存手法の学習処理による学習精度（特性８１）に対して、各エポック（例えば１０、１５、２０）のそれぞれに対して向上している。例えば、２０エポックでは、本実施形態の学習処理による学習精度は０．９程度に収束している。
［変形例］
図９は、本実施形態の変形例を示すブロック図である。図９において、図１に示す本実施形態のシステムと同様の要素については、同一符号を付して説明を省略する。
【００４４】
図９に示すように、本変形例のシステムでは、プロセッサ１０は、ＣＮＮの学習処理において、重みパラメータ及び正規化パラメータの調整（チューニング）用データ（学習用データ）として、センサデバイス９０から出力される画像データ９００を使用する。センサデバイス９０は、１枚単位の画像をスキャンして得られる画像データ９００をプロセッサ１０に送出する。
【００４５】
さらに、プロセッサ１０は、当該画像データ９００に対応する正解ラベル（例えば、画像を識別するデータ）９１０を、例えばネットワークを介して接続されるクラウドシステムである外部システム９１から取得する。プロセッサ１０は、画像データ９００及び正解ラベル９１０を使用して、前述したように、本実施形態の学習処理を実行する。なお、学習処理の作用効果については、本実施形態と同様であるため、説明を省略する。
【００４６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４７】
１０…プロセッサ（情報処理装置）、１１…ストレージ、
１２…アプリケーション（ＡＰ）システム、１５…メモリ、
２０…ニューラルネットワーク（ＣＮＮ）、４０…前段層、４１…中間層（隠れ層）、
４２…後段層、５０-1、５０-2…畳み込み層（ＣＶ層）、
５１-1、５１-2…バッチ正規化層（ＢＮ層）、９０…センサデバイス、９１…外部システム。
【図１】
2020135011.tif 000003
【図２】
2020135011.tif 000004
【図３】
2020135011.tif 000005
【図４】
2020135011.tif 000006
【図５】
2020135011.tif 000007
【図６】
2020135011.tif 000008
【図７】
2020135011.tif 000009
【図８】
2020135011.tif 000010
【図９】
2020135011.tif 000011