(57)【要約】ニューラルネットワークモデルの訓練方法、装置及び電子機器を提供する。該方法は、ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出するステップと、最適化されたニューラルネットワークサブモデルを形成するように、該ニューラルネットワークサブモデルを訓練するステップと、該最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該ニューラルネットワークモデルにおける各重みを初期化するステップと、既知の訓練セットに基づいて、該初期化ニューラルネットワークモデルにおける各重みを調整するステップとを含む。該方法によれば、大規模なニューラルネットワークの訓練時間を短縮でき、オーバーフィッティングの問題を回避できる。【選択図】図３
2019508803.tif 000002
【特許請求の範囲】
【請求項１】
ニューラルネットワークモデルにおける各重みを決定するための、ニューラルネットワークモデルの訓練方法であって、
ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出するステップと、
最適化されたニューラルネットワークサブモデルを形成するように、前記ニューラルネットワークサブモデルを訓練するステップと、
前記最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記ニューラルネットワークモデルにおける各重みを初期化するステップと、
既知の訓練セットに基づいて、前記初期化ニューラルネットワークモデルにおける各重みを調整するステップと、を含む、ニューラルネットワークモデルの訓練方法。
【請求項２】
ニューラルネットワークモデルの一部を抽出するステップは、
前記ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、前記ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換するステップと、
前記ニューラルネットワークサブモデルを形成するように、前記通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出するステップと、を含む、請求項１に記載のニューラルネットワークモデルの訓練方法。
【請求項３】
初期化ニューラルネットワークモデルを形成するように、前記ニューラルネットワークモデルにおける各重みを初期化するステップは、
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップと、
前記初期化ニューラルネットワークモデルを形成するように、前記初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するステップと、を含む、請求項２に記載のニューラルネットワークモデルの訓練方法。
【請求項４】
初期化ニューラルネットワークモデルを形成するように、前記ニューラルネットワークモデルにおける各重みを初期化するステップは、
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップと、
調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整するステップと、
前記初期化ニューラルネットワークモデルを形成するように、前記調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するステップと、を含む、請求項２に記載のニューラルネットワークモデルの訓練方法。
【請求項５】
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップは、
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化するステップ、を含み、
前記初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、前記最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である、請求項３に記載のニューラルネットワークモデルの訓練方法。
【請求項６】
前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化するステップは、
前記最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとするステップ、を含む、請求項５に記載のニューラルネットワークモデルの訓練方法。
【請求項７】
ニューラルネットワークモデルにおける各重みを決定するための、ニューラルネットワークモデルの訓練装置であって、
ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出する抽出手段と、
最適化されたニューラルネットワークサブモデルを形成するように、前記ニューラルネットワークサブモデルを訓練する第１訓練手段と、
前記最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記ニューラルネットワークモデルにおける各重みを初期化する初期化手段と、
既知の訓練セットに基づいて、前記初期化ニューラルネットワークモデルにおける各重みを調整する第２訓練手段と、を含む、ニューラルネットワークモデルの訓練装置。
【請求項８】
前記抽出手段は、
前記ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、前記ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換する第１変換手段と、
前記ニューラルネットワークサブモデルを形成するように、前記通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出する抽出サブ手段と、を含む、請求項７に記載のニューラルネットワークモデルの訓練装置。
【請求項９】
前記初期化手段は、
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化する第１初期化サブ手段と、
前記初期化ニューラルネットワークモデルを形成するように、前記初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する第２変換手段と、を含む、請求項８に記載のニューラルネットワークモデルの訓練装置。
【請求項１０】
前記初期化手段は、
初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化する第２初期化サブ手段と、
調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整する第３訓練手段と、
前記初期化ニューラルネットワークモデルを形成するように、前記調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する第３変換手段と、を含む、請求項８に記載のニューラルネットワークモデルの訓練装置。
【請求項１１】
前記第１初期化サブ手段は、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化し、
前記初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、前記最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である、請求項９に記載のニューラルネットワークモデルの訓練装置。
【請求項１２】
前記第１初期化サブ手段は、前記最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとする、請求項１１に記載のニューラルネットワークモデルの訓練装置。
【請求項１３】
請求項７乃至１２の何れかに記載のニューラルネットワークモデルの訓練装置を含む、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理の技術分野に関し、特にニューラルネットワークモデルの訓練方法、装置及び電子機器に関する。
【背景技術】
【０００２】
近年、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）に基づく分類方法は、手書き文字認識の分野で大きな成功を収めている。
【０００３】
ＣＮＮモデルは階層的なモデルであり、図１はＣＮＮモデルを示す図である。図１に示すように、ＣＮＮモデルは、１つの入力層、１つ以上の隠れ層１０２及び１つの出力層１０３により構成されている。ここで、入力層１０１は、認識すべきサンプルに対応する処理すべきデータを提供し、認識すべきサンプルがグレースケール画像である場合は、該処理すべきデータは二次元行列である。隠れ層１０２の類型は、通常畳み込み層、緩和（ｒｅｌａｘａｔｉｏｎ）畳み込み層、プーリング層、ニューロン層又は全結合層などであってもよく、各隠れ層はデータを処理するための特定の操作を提供する。出力層１０３は、モデルの最終的な結果を提供し、分類のためのＣＮＮモデルでは、出力層１０３は、認識すべきサンプルが各類に属する確率を出力する。
【０００４】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の公表された実験的証拠によると、ＣＮＮモデルの規模が大きいほど、認識すべきサンプルに対する認識結果が正確になる。しかし、大規模なＣＮＮモデルに基づく訓練は、（ａ）モデルが大きいほど、オーバーフィッティングになり易く、（ｂ）モデルが大きいほど、必要な訓練時間が長くなるという問題がある。
【０００６】
本発明の実施例は、小規模なニューラルネットワークモデルを訓練し、小規模なニューラルネットワークモデルにより大規模なニューラルネットワークモデルを初期化し、初期化された大規模なニューラルネットワークモデルを微調整することで、大規模なニューラルネットワークを直接に訓練することによるオーバーフィッティング及び長すぎる訓練時間などの問題を回避できるニューラルネットワークモデルの訓練方法、装置及び電子機器を提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例の第１態様では、ニューラルネットワークモデルにおける各重みを決定するための、ニューラルネットワークモデルの訓練方法であって、ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出するステップと、最適化されたニューラルネットワークサブモデルを形成するように、前記ニューラルネットワークサブモデルを訓練するステップと、前記最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記ニューラルネットワークモデルにおける各重みを初期化するステップと、既知の訓練セットに基づいて、前記初期化ニューラルネットワークモデルにおける各重みを調整するステップと、を含む、ニューラルネットワークモデルの訓練方法を提供する。
【０００８】
本発明の実施例の第２態様では、ニューラルネットワークモデルの一部を抽出するステップは、前記ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、前記ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換するステップと、前記ニューラルネットワークサブモデルを形成するように、前記通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出するステップと、を含む。
【０００９】
本発明の実施例の第３態様では、初期化ニューラルネットワークモデルを形成するように、前記ニューラルネットワークモデルにおける各重みを初期化するステップは、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップと、前記初期化ニューラルネットワークモデルを形成するように、前記初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するステップと、を含む。
【００１０】
本発明の実施例の第４態様では、初期化ニューラルネットワークモデルを形成するように、前記ニューラルネットワークモデルにおける各重みを初期化するステップは、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップと、調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整するステップと、前記初期化ニューラルネットワークモデルを形成するように、前記調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するステップと、を含む。
【００１１】
本発明の実施例の第５態様では、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化するステップは、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化するステップ、を含み、前記初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、前記最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である。
【００１２】
本発明の実施例の第６態様では、前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化するステップは、前記最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとするステップ、を含む。
【００１３】
本発明の実施例の第７態様では、ニューラルネットワークモデルにおける各重みを決定するための、ニューラルネットワークモデルの訓練装置であって、ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出する抽出手段と、最適化されたニューラルネットワークサブモデルを形成するように、前記ニューラルネットワークサブモデルを訓練する第１訓練手段と、前記最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記ニューラルネットワークモデルにおける各重みを初期化する初期化手段と、既知の訓練セットに基づいて、前記初期化ニューラルネットワークモデルにおける各重みを調整する第２訓練手段と、を含む、ニューラルネットワークモデルの訓練装置を提供する。
【００１４】
本発明の実施例の第８態様では、前記抽出手段は、前記ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、前記ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換する第１変換手段と、前記ニューラルネットワークサブモデルを形成するように、前記通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出する抽出サブ手段と、を含む。
【００１５】
本発明の実施例の第９態様では、前記初期化手段は、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化する第１初期化サブ手段と、前記初期化ニューラルネットワークモデルを形成するように、前記初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する第２変換手段と、を含む。
【００１６】
本発明の実施例の第１０態様では、前記初期化手段は、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける各重みを初期化する第２初期化サブ手段と、調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整する第３訓練手段と、前記初期化ニューラルネットワークモデルを形成するように、前記調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する第３変換手段と、を含む。
【００１７】
本発明の実施例の第１１態様では、前記第１初期化サブ手段は、初期化通常畳み込みニューラルネットワークモデルを形成するように、前記最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化し、前記初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、前記最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である。
【００１８】
本発明の実施例の第１２態様では、前記第１初期化サブ手段は、前記最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、前記通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとする。
【００１９】
本発明の実施例の第１３態様では、上記実施例の第７態様乃至第１２態様の何れかに記載のニューラルネットワークモデルの訓練装置を含む、電子機器を提供する。
【００２０】
本発明の実施例の第１４態様では、ニューラルネットワークモデルの訓練装置又は電子機器においてプログラムを実行する際に、コンピュータに、該ニューラルネットワークモデルの訓練又は電子機器において上記実施例の第１態様乃至第６態様の何れかに記載のニューラルネットワークモデルの訓練方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【００２１】
本発明の実施例の第１５態様では、コンピュータに、ニューラルネットワークモデルの訓練装置又は電子機器において上記実施例の第１態様乃至第６態様の何れかに記載のニューラルネットワークモデルの訓練方法を実行させるための上記実施例の第１４態様に記載のコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【００２２】
本発明の有益な効果としては、大規模なニューラルネットワークの訓練時間を短縮でき、オーバーフィッティングの問題を回避できる。
【００２３】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００２４】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００２５】
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００２６】
本発明の実施例の図面又は実施形態に説明されている要素及び特徴は、１つ又は複数の他の図面又は実施形態に示す要素及び特徴と組み合わせてもよい。図面において、類似する符号は複数の図面における対応する構成部を表し、複数の態様に用いられる対応構成部を表してもよい。
【００２７】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図１】ＣＮＮモデルを示す図である。
【図２】実施例１のニューラルネットワークモデルを示す図である。
【図３】実施例１のニューラルネットワークモデルの訓練方法を示す図である。
【図４】実施例１のニューラルネットワークモデルの一部を抽出する方法を示す図である。
【図５】実施例１の通常畳み込みニューラルネットワークモデルを示す図である。
【図６】実施例１の緩和畳み込み層の処理方法を示す図である。
【図７】実施例１の通常畳み込み層の処理方法を示す図である。
【図８】実施例１のニューラルネットワークサブモデルを示す図である。
【図９】実施例１のニューラルネットワークモデルにおける各重みを初期化する方法を示す図である。
【図１０】（Ａ）は、最適化されたニューラルネットワークサブモデルの入力層及び畳み込み層を示す図である。（Ｂ）は、初期化された通常畳み込みニューラルネットワークモデルの入力層及び畳み込み層を示す図である。
【図１１】（Ａ）は、最適化されたニューラルネットワークサブモデルのプーリング層及び畳み込み層を示す図である。（Ｂ）は、初期化された通常畳み込みニューラルネットワークモデルのプーリング層及び畳み込み層を示す図である。
【図１２】（Ａ）は、図１１（Ａ）のプーリング層及び畳み込み層の一部を示す図である。（Ｂ）は、図１１（Ｂ）のプーリング層及び畳み込み層の一部を示す図である。
【図１３】（Ａ）は、最適化されたニューラルネットワークサブモデルの全結合層及びその前の隠れ層を示す図である。（Ｂ）は、初期化された通常畳み込みニューラルネットワークモデルの全結合層及びその前の隠れ層を示す図である。
【図１４】（Ａ）は、図１３（Ａ）の全結合層及びその前の隠れ層の一部を示す図である。（Ｂ）は、図１３（Ｂ）の全結合層及びその前の隠れ層の一部を示す図である。
【図１５】実施例１のニューラルネットワークモデルにおける各重みを初期化する方法を示す他の図である。
【図１６】実施例２のニューラルネットワークモデルの訓練装置を示す図である。
【図１７】実施例２の抽出部を示す図である。
【図１８】実施例２の初期化部を示す図である。
【図１９】実施例２の初期化部を示す他の図である。
【図２０】実施例３の電子機器２０００のシステム構成を示すブロック図である。
【発明を実施するための形態】
【００２８】
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。以下は、図面を参照しながら本発明の各実施例を説明する。これらの実施例は単なる例示的なものであり、本発明を限定するものではない。
【００２９】
＜実施例１＞
本発明の実施例１はニューラルネットワークモデルの訓練方法を提供し、該方法はニューラルネットワークモデルにおける各重みを決定するために用いられる。
【００３０】
図２は実施例１のニューラルネットワークモデルを示す図である。図２に示すように、ニューラルネットワークモデル２００は、入力層２０１、畳み込み層２０２、プーリング層２０３、緩和畳み込み層２０４、全結合層２０５及び出力層２０６を含み、ここで、畳み込み層２０２、プーリング層２０３、緩和畳み込み層２０４及び全結合層２０５は何れも隠れ層である。
【００３１】
本実施例では、入力層２０１は認識すべきデータ２０１１を入力し、畳み込み層２０２、プーリング層２０３、緩和畳み込み層２０４、全結合層２０５及び出力層２０６の各層は前の層により出力されたデータを受信し、自分の層に対応する重みを用いてデータを処理し、自分の層により出力されるデータをそれぞれ生成し、自分の層のニューロン（ｎｅｕｒｏｎ）から出力し、各層のニューロンはそれぞれ２０２１〜２０２４、２０３１〜２０３４、２０４１〜２０４６、２０５１〜２０５８及び２０６１〜２０６１０であり、出力層２０６のニューロンにより出力されたデータに基づいて、認識すべきデータ２０１１が各類別２０６ａに属する確率を決定できる。また、図２において、ニューロン２０２１、２０２４、２０３１、２０３４、２０４１、２０４６、２０５１、２０５８、２０６１及び２０６１０のみの符号を図示しており、他のニューロンの符号を図示していない。
【００３２】
図２に示すように、ニューラルネットワークモデル２００を用いて手書きデジタル画像を認識する場合は、入力層２０１により入力された認識すべきデータ２０１１は手書きデジタル画像であってもよく、畳み込み層２０２、プーリング層２０３及び緩和畳み込み層０２４のニューロンにより出力されたデータは特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）であってもよく、全結合層２０５及び出力層２０６のニューロンにより出力されたデータは数値であってもよい。数字０〜９の何れかの数字は類別２０６ａに対応してもよい。従って、出力層２０６により出力されたデータに基づいて、認識すべきデータ２０１１が０〜９の各数字に属する確率を決定できる。
【００３３】
ニューラルネットワークモデル２００では、出力層２０６により出力された分類結果の正確性を確保するために、各層に対応する重みを適切に選択する必要があり、ここで、各層に対応する重みはｍ×ｎの行列であってもよく、ｍ及びｎは自然数である。
【００３４】
即ち、本実施例のニューラルネットワークモデルの訓練方法は、ニューラルネットワークモデルにおける各層に対応する重みを決定するために用いられる。
【００３５】
本実施例の以下の説明では、図２に示すニューラルネットワークモデル２００を一例にして、本実施例のニューラルネットワークモデルの訓練方法を説明する。
【００３６】
なお、本実施例では、ニューラルネットワークモデル２００は緩和畳み込み層２０４を有するため、ニューラルネットワークモデル２００は畳み込みニューラルネットワークモデルに属する。しかし、本実施例のニューラルネットワークモデル２００は緩和畳み込み層２０４を有しなくてもよく、本実施例はこれに限定されない。また、本実施例で説明されるニューラルネットワークモデルの訓練方法は、畳み込みニューラルネットワークモデルに適用されてもよいし、他のニューラルネットワークモデルに適用されてもよい。
【００３７】
図３は本実施例のニューラルネットワークモデルの訓練方法を示す図である。図３に示すように、該方法は以下のステップを含む。
【００３８】
ステップＳ３０１：ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出する。
【００３９】
ステップＳ３０２：最適化されたニューラルネットワークサブモデルを形成するように、該ニューラルネットワークサブモデルを訓練する。
【００４０】
ステップＳ３０３：初期化ニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該ニューラルネットワークモデルにおける各重みを初期化する。該初期化ニューラルネットワークモデルは、該最適化されたニューラルネットワークサブモデルと同一の出力特性を有する。
【００４１】
ステップＳ３０４：既知の訓練セットに基づいて、該初期化ニューラルネットワークモデルにおける各重みを調整する。
【００４２】
本発明の実施例によれば、小規模なニューラルネットワークモデルを訓練し、小規模なニューラルネットワークモデルにより大規模なニューラルネットワークモデルを初期化し、初期化された大規模なニューラルネットワークモデルを微調整することで、大規模なニューラルネットワークを直接に訓練する方法に比べて、本実施例の方法はオーバーフィッティング及び長すぎる訓練時間などの問題を回避できる。
【００４３】
図４は本実施例のニューラルネットワークモデルの一部を抽出する方法を示す図である。図４に示すように、該方法は以下のステップを含む。
【００４４】
ステップＳ４０１：該ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、該ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換する。
【００４５】
ステップＳ４０２：該ニューラルネットワークサブモデルを形成するように、該通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出する。
【００４６】
ステップＳ４０１において、図２のニューラルネットワークモデル２００における緩和畳み込み層２０４を通常畳み込み層に変換し、ニューラルネットワークモデル２００を畳み込みニューラルネットワークモデルから通常畳み込みニューラルネットワークモデルに変換する。
【００４７】
図５は該通常畳み込みニューラルネットワークモデル５００を示す図である。ここで、緩和畳み込み層２０４は通常畳み込み層５０４に変換され、通常畳み込みニューラルネットワークモデル５００の他の層はニューラルネットワークモデル２００と同じである。
【００４８】
通常畳み込み層５０４のデータ処理方法と緩和畳み込み層２０４のデータ処理方法の相違点として、通常畳み込み層５０４では、畳み込み演算に関与する同一のニューロン内の異なる位置のデータは重みを共有するが、緩和（ｒｅｌａｘａｔｉｏｎ）畳み込み層２０４では、畳み込み演算に関与する同一のニューロン内の異なる位置のデータは何れの重みも共有しない。
【００４９】
図６は本実施例の緩和畳み込み層２０４の処理方法を示す図である。図６に示すように、Ｐ１及びＰ２は畳み込み演算に関与する異なるニューロンであり、Ｐ１１及びＰ１４はＰ１における異なる位置のデータであり、Ｐ２１及びＰ２４はＰ２における異なる位置のデータであり、Ｗ１１、Ｗ１４、Ｗ２１及びＷ２４は異なる重みであり、Ｔ１１及びＴ１４は畳み込み演算後に生成されたデータであり、ここで、Ｔ１１及びＴ１４の計算方法は以下の式（１）、（２）に示されている。
【数１】
2019508803.tif 000003
【数２】
2019508803.tif 000004
【００５０】
図６及び式（１）、（２）はＴ１１及びＴ１４の計算方法のみを示し、Ｔ１２及びＴ１３の計算方法はそれと類似し、本実施例では詳細な説明を省略する。
【００５１】
図６及び式（１）、（２）に示すように、ニューロンＰ１におけるデータＰ１１及びＰ１４は独立した重みＷ１１及びＷ１４にそれぞれ対応し、ニューロンＰ２におけるデータＰ２１及びＰ２４は独立した重みＷ２１及びＷ２４にそれぞれ対応し、即ち、同一のニューロン内の異なる位置のデータは何れの重みも共有しない。
【００５２】
図７は本実施例の通常畳み込み層５０４の処理方法を示す図である。Ｐ１、Ｐ２、Ｐ１１、Ｐ１４、Ｐ２１、Ｐ２４、Ｔ１１及びＴ１４の意味は図６と同じであり、Ｗ１及びＷ２は異なる重みであり、ここで、Ｔ１１及びＴ１４の計算方法は以下の式（３）、（４）に示されている。
【数３】
2019508803.tif 000005
【数４】
2019508803.tif 000006
【００５３】
図７及び式（３）、（４）に示すように、ニューロンＰ１における異なる位置のデータＰ１１及びＰ１４は重みＷ１を共有し、ニューロンＰ２における異なる位置のデータＰ２１及びＰ２４は重みＷ２を共有する。
【００５４】
本実施例のステップＳ４０１において、重みの数を低減させるように、ニューラルネットワークモデル２００の緩和畳み込み層２０４における一部の重みを削除してもよい。これによって、畳み込み演算に関与する同一のニューロン内のデータは重みを共有し、緩和畳み込み層２０４を通常畳み込み層５０４に変換し、ニューラルネットワークモデル２００を通常畳み込みニューラルネットワークモデル５００に変換した。
【００５５】
本実施例のステップＳ４０２において、ニューラルネットワークサブモデルを取得するように、通常畳み込みニューラルネットワークモデル５００の各隠れ層のニューロンを所定の割合で削除してもよい。ここで、各隠れ層の削除されたニューロンの割合は同じであってもよいし、異なってもよい。
【００５６】
図８は本実施例のニューラルネットワークサブモデル８００を示す図である。図８に示すように、図５の通常畳み込みニューラルネットワークモデル５００をベースにして、各隠れ層のニューロンを５０％の割合で削除し、ニューラルネットワークサブモデル８００を形成する。ここで、図８の８０１は通常畳み込みニューラルネットワークモデル５００から削除されたニューロンであり、図８の入力層２０１及び出力層２０６は図５の入力層２０１及び出力層２０６とそれぞれ同じであり、図８の畳み込み層８０２、プーリング層８０３、畳み込み層８０４及び全結合層８０５は図５の畳み込み層２０２、プーリング層２０３、畳み込み層２０４及び全結合層２０５にそれぞれ対応する。
【００５７】
本実施例のステップＳ４０１及びステップＳ４０２において、まずニューラルネットワークモデル２００を通常畳み込みニューラルネットワークモデルに変換し、そして、通常畳み込みニューラルネットワークモデルに対してニューロンを削除し、ニューラルネットワークサブモデル８００を取得する。ここで、ニューラルネットワークモデル２００を通常畳み込みニューラルネットワークモデルに変換する目的は、後で生成されるニューラルネットワークサブモデル８００における重みの数を低減でき、オーバーフィッティングを回避することである。しかし、本実施例はこれに限定されず、ニューラルネットワークモデル２００が緩和畳み込み層２０４を有しない場合は、ニューラルネットワークモデル２００に対してニューロンの削除処理を直接行ってもよい。
【００５８】
本実施例のステップＳ３０２において、既知の訓練セットに基づいて、ニューラルネットワークサブモデル８００を訓練し、その中の各重みの最適値を決定し、ニューラルネットワークサブモデル８００を最適化されたニューラルネットワークサブモデルに訓練してもよい。ここで、ニューラルネットワークサブモデル８００の訓練方法は従来技術を参照してもよく、本実施例ではその説明を省略する。
【００５９】
本実施例のステップＳ３０３において、最適化されたニューラルネットワークサブモデルはニューラルネットワークモデル２００における各重みを初期化するために用いられてもよく、初期化されたニューラルネットワークモデル２００は最適化されたニューラルネットワークサブモデルと同一の出力特性を有する。これによって、初期化プロセスに新たな誤差を導入することはない。
【００６０】
図９は、ステップＳ３０３を実現するための、本実施例のニューラルネットワークモデルにおける各重みを初期化する方法を示す図である。図９に示すように、該方法は以下のステップを含む。
【００６１】
ステップＳ９０１：初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化する。
【００６２】
ステップＳ９０２：該初期化ニューラルネットワークモデルを形成するように、該初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する。
【００６３】
本実施例のステップＳ９０１において、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、該通常畳み込みニューラルネットワークモデル５００における対応する隠れ層の重みを初期化してもよい。ここで、該初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、該最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である。例えば、該最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとしてもよい。
【００６４】
以下は、図５の通常畳み込みニューラルネットワークモデル５００を一例にして、各重みの初期化プロセスを説明する。
【００６５】
１．第１隠れ層である畳み込み層２０２の各重みの初期化
図５において、畳み込み層２０２は入力層２０１に接続し、該畳み込み層２０２は入力層２０１の後の第１隠れ層である。畳み込み層２０２の入力データは入力層２０１の認識すべきデータであり、該認識すべきデータと畳み込み層２０２の重みとの畳み込みにより畳み込み層２０２の各ニューロンの出力データを取得する。
【００６６】
図１０（Ａ）は最適化されたニューラルネットワークサブモデル８００の入力層２０１及び畳み込み層８０２を示す図であり、図１０（Ｂ）は初期化された通常畳み込みニューラルネットワークモデル５００の入力層２０１及び畳み込み層２０２を示す図である。
【００６７】
図１０（Ａ）に示すように、ニューラルネットワークサブモデル８００において、入力データと重みＫ１との畳み込みによりニューロン８０２１により出力された特徴マップＡ１を取得し、入力データと重みＫ２との畳み込みにより特徴マップＡ２を取得する。図１０（Ｂ）に示すように、重みＫ１に所定の係数Ｌ１１を乗算し、通常畳み込みニューラルネットワークサブモデル５００の畳み込み層２０２のニューロン２０２１、２０２３に対応する重みとし、重みＫ２に所定の係数Ｌ１２を乗算し、通常畳み込みニューラルネットワークサブモデル５００の畳み込み層２０２のニューロン２０２２、２０２４に対応する重みとすることで、通常畳み込みニューラルネットワークモデル５００の畳み込み層２０２の各重みを初期化する。
【００６８】
本実施例では、所定の係数Ｌ１１及びＬ１２は共に１であってもよいため、通常畳み込みニューラルネットワークモデル５００の畳み込み層２０２のニューロン２０２１、２０２２、２０２３及び２０２４により出力された特徴マップはそれぞれＡ１、Ａ２、Ａ３及びＡ４であり、ここで、Ａ１＝Ａ３、Ａ２＝Ａ４。これによって、初期化された通常畳み込みニューラルネットワークモデル５００の畳み込み層２０２は最適化されたニューラルネットワークサブモデル８００の畳み込み層８０２と同一の出力特性を有する。
【００６９】
なお、本実施例では、Ｌ１１及びＬ１２は他の値を有してもよいし、互いに異なってもよい。
【００７０】
２．非第１隠れ層である畳み込み層５０４の各重みの初期化
図５において、畳み込み層２０２の各ニューロンにより出力された特徴マップをプーリング層２０３の入力データとし、プーリング層２０３により出力された特徴マップを畳み込み層５０４の入力データとし、該畳み込み層５０４は非第１隠れ層である。
【００７１】
図１１（Ａ）は最適化されたニューラルネットワークサブモデル８００のプーリング層８０３及び畳み込み層８０４を示す図であり、図１１（Ｂ）は初期化された通常畳み込みニューラルネットワークモデル５００のプーリング層２０３及び畳み込み層５０４を示す図である。
【００７２】
図１１（Ａ）に示すように、プーリング層８０３の各ニューロンにより出力された特徴マップＢ１及びＢ２は、畳み込み層８０４の各ニューロンの特徴マップＣ１〜Ｃ３を生成するために用いられる。ここで、プーリング層８０３において、図１０（Ａ）のＡ１及びＡ２と対応する重みに対してプーリング処理をそれぞれ行い、Ｂ１及びＢ２を取得する。
【００７３】
図１１（Ｂ）に示すように、プーリング層２０３の各ニューロンにより出力された特徴マップＢ１〜Ｂ４は、畳み込み層５０４の各ニューロンの特徴マップＣ１’〜Ｃ６’を生成するために用いられる。ここで、プーリング層２０３において、図１０（Ｂ）のＡ１〜Ａ４と対応する重みに対してプーリング処理をそれぞれ行い、Ｂ１〜Ｂ４を取得する。また、プーリング層２０３における各重みはプーリング層８０３における各重みに所定の係数を乗算して得られたものであり、該所定の係数は例えば１であってもよいため、図１１（Ｂ）において、Ｂ１＝Ｂ３、Ｂ２＝Ｂ４。これによって、初期化された通常畳み込みニューラルネットワークモデル５００のプーリング層２０３は最適化されたニューラルネットワークサブモデル８００のプーリング層８０３と同一の出力特性を有する。
【００７４】
図１２（Ａ）は図１１（Ａ）のプーリング層８０３及び畳み込み層８０４の一部を示す図であり、図１２（Ｂ）は図１１（Ｂ）のプーリング層２０３及び畳み込み層５０４の一部を示す図であり、図１２（Ａ）及び図１２（Ｂ）において、対応する重みを示している。
【００７５】
図１２（Ａ）に示すように、ニューラルネットワークサブモデル８００では、Ｂ１及びＢ２と重みＫ３及びＫ４との畳み込みを行い、ニューロン８０４１により出力された特徴マップＣ１を取得し、該畳み込みは以下の式（５）に示されている。
【数５】
2019508803.tif 000007
【００７６】
図１２（Ｂ）に示すように、重みＫ３に所定の係数Ｌ２１を乗算し、Ｋ３’を取得し、通常畳み込みニューラルネットワークサブモデル５００の畳み込み層５０４における特徴マップＢ１及びＢ３に対応する重みとし、重みＫ４に所定の係数Ｌ２２を乗算し、Ｋ４’を取得し、通常畳み込みニューラルネットワークサブモデル５００の畳み込み層５０４における特徴マップＢ２及びＢ４に対応する重みとすることで、通常畳み込みニューラルネットワークモデル５００の畳み込み層５０４の各重みを初期化する。
【００７７】
本実施例では、所定の係数Ｌ２１及びＬ２２は共に１／２であってもよいため、Ｋ３’＝Ｋ３×１／２、Ｋ４’＝Ｋ４×１／２。よって、ニューロン５０４１により出力された特徴マップＣ１’は以下の式（６）に示されてもよい。
【数６】
2019508803.tif 000008
【００７８】
このように、Ｃ１’＝Ｃ１となり、よって、初期化された通常畳み込みニューラルネットワークモデル５００の畳み込み層５０４は最適化されたニューラルネットワークサブモデル８００の畳み込み層８０４と同一の出力特性を有する。
【００７９】
なお、本実施例では、Ｌ２１及びＬ２２は他の値を有してもよいし、互いに異なってもよい。
【００８０】
本実施例では、上記方法と同様な方法を用いて、図１１（Ａ）のＢ１及びＢ２とＣ２との間の重みを用いて図１１（Ｂ）のＢ１〜Ｂ４とＣ２’との間の重みを初期化し、図１１（Ａ）のＢ１及びＢ２とＣ３との間の重みを用いて図１１（Ｂ）のＢ１〜Ｂ４とＣ３’との間の重みを初期化してもよく、これによって、Ｃ２’＝Ｃ２、Ｃ３’＝Ｃ３。
【００８１】
本実施例では、上記方法と同様な方法を用いて、図１１（Ａ）のＢ１及びＢ２とＣ１との間の重みを用いて図１１（Ｂ）のＢ１〜Ｂ４とＣ４’との間の重みを初期化し、図１２（Ｂ）に示すように、Ｋ３及びＫ４に基づいてＫ３’及びＫ４’を生成してもよく、これによって、Ｂ１〜Ｂ４とＫ３’及びＫ４’に基づいてニューロン５０４４により出力された特徴マップＣ４’を生成でき、Ｃ１’＝Ｃ４’。同様に、図１１（Ａ）のＢ１及びＢ２とＣ２との間の重みを用いて図１１（Ｂ）のＢ１〜Ｂ４とＣ５’との間の重みを初期化し、図１１（Ａ）のＢ１及びＢ２とＣ３との間の重みを用いて図１１（Ｂ）のＢ１〜Ｂ４とＣ６’との間の重みを初期化してもよく、これによって、Ｃ２’＝Ｃ５’、Ｃ３’＝Ｃ６’。
【００８２】
本実施例では、畳み込み層５０４の後に他の畳み込み層がある場合は、該他の畳み込み層における各重みの初期化方法は、畳み込み層５０４における各重みの初期化方法と類似する。
【００８３】
３．全結合層２０５の各重みの初期化
図５において、全結合層２０５は全ての畳み込み層の後に位置してもよく、且つ全結合層２０５の後に出力層２０６が接続されてもよく、即ち該全結合層２０５は最後の隠れ層であってもよい。或いは、全結合層２０５の後に他の全結合層が接続されてもよく、即ち該全結合層２０５は非最後の隠れ層であってもよい。
【００８４】
全結合層２０５が非最後の隠れ層である場合は、全結合層２０５の各重みの初期化方法は第１隠れ層の後に位置する畳み込み層５０４の初期化方法を参照してもよい。また、全結合層２０５では、畳み込み演算の代わりに乗算演算を用いてもよい。これは、全結合層２０５を重みが１×１の畳み込み層と見なしてもよいからである。
【００８５】
以下は、全結合層２０５は最後の隠れ層である場合の全結合層２０５の各重みの初期化方法を説明する。
【００８６】
最後の隠れ層である全結合層２０５は、出力層２０６の類別数と同一の数のニューロンを有する。このため、最適化されたニューラルネットワークサブモデル８００の全結合層８０５と初期化された通常畳み込みニューラルネットワークモデル５００の全結合層２０５とは、ニューロンの数が同じであるが、入力データの数が異なってもよい。
【００８７】
図１３（Ａ）は最適化されたニューラルネットワークサブモデル８００の全結合層８０５及びその前の隠れ層を示す図であり、図１３（Ｂ）は初期化された通常畳み込みニューラルネットワークモデル５００の全結合層２０５及びその前の隠れ層を示す図である。
【００８８】
図１３（Ａ）に示すように、前の隠れ層の各ニューロンにより出力されたデータＦ１及びＦ２は、全結合層８０５の各ニューロンにより出力されたデータＥ１〜Ｅ３を生成するために用いられる。図１３（Ｂ）に示すように、前の隠れ層の各ニューロンにより出力されたデータＦ１〜Ｆ４は、全結合層２０５の各ニューロンにより出力されたデータＥ１’〜Ｅ３’を生成するために用いられる。ここで、データＦ１〜Ｆ４は浮動小数点数の形式であってもよい。
【００８９】
図１３（Ａ）では、その前のサブモデルの抽出処理のため、その前の隠れ層のニューロンの数は、図１３（Ｂ）の前の隠れ層の数に比べて半減している。このため、図１３（Ａ）における前の隠れ層により出力されたデータの数も図１３（Ｂ）における前の隠れ層により出力されたデータの数の半分である。図１３（Ｂ）では、前の隠れ層は、初期化された後に、Ｆ１＝Ｆ３、Ｆ２＝Ｆ４という条件を満たしてもよい。
【００９０】
図１４（Ａ）は図１３（Ａ）の全結合層８０５及びその前の隠れ層の一部を示す図であり、図１４（Ｂ）は図１３（Ｂ）の全結合層２０５及びその前の隠れ層の一部を示す図であり、図１４（Ａ）及び図１４（Ｂ）において、対応する重みを示している。
【００９１】
図１４（Ａ）に示すように、ニューラルネットワークサブモデル８００では、Ｆ１及びＦ２と重みＫ５及びＫ６とを乗算し、ニューロン８０５１により出力されたデータＥ１を取得し、該乗算は以下の式（７）に示されている。
【００９２】
Ｅ１＝Ｆ１×Ｋ５＋Ｆ２×Ｋ６            （７）
図１４（Ｂ）に示すように、重みＫ５に所定の係数Ｌ３１を乗算し、Ｋ５’を取得し、通常畳み込みニューラルネットワークモデル５００の全結合層２０５におけるＦ１及びＦ３に対応する重みとし、重みＫ６に所定の係数Ｌ３２を乗算し、Ｋ５’を取得し、通常畳み込みニューラルネットワークモデル５００の全結合層２０５におけるＦ２及びＦ４に対応する重みとすることで、通常畳み込みニューラルネットワークモデル５００の全結合層２０５の各重みを初期化する。
【００９３】
本実施例では、所定の係数Ｌ３１及びＬ３２は共に１／２であってもよいため、Ｋ５’＝Ｋ５×１／２、Ｋ６’＝Ｋ６×１／２。よって、ニューロン２０５１により出力されたデータＥ１’は以下の式（８）に示されてもよい。
【数７】
2019508803.tif 000009
【００９４】
このように、Ｅ１’＝Ｅ１となり、よって、初期化された通常畳み込みニューラルネットワークモデル５００の全結合層２０５は最適化されたニューラルネットワークサブモデル８００の全結合層８０５と同一の出力特性を有する。
【００９５】
なお、本実施例では、Ｌ３１及びＬ３２は他の値を有してもよいし、互いに異なってもよい。
【００９６】
本実施例では、上記方法と同様な方法を用いて、図１３（Ａ）のＦ１及びＦ２とＥ２との間の重みを用いて図１３（Ｂ）のＦ１〜Ｆ４とＥ２’との間の重みを初期化し、図１３（Ａ）のＦ１及びＦ２とＥ３との間の重みを用いて図１３（Ｂ）のＦ１〜Ｆ４とＥ３’との間の重みを初期化してもよく、これによって、Ｅ２’＝Ｅ２、Ｅ３’＝Ｅ３。
【００９７】
上記の処理１〜３によれば、図５に示す通常畳み込みニューラルネットワークモデル５００における各重みを初期化することができる。なお、通常畳み込みニューラルネットワークモデル５００は図５に示す結果に限定されず、通常畳み込みニューラルネットワークモデル５００は他の隠れ層をさらに有してもよく、該他の隠れ層の初期化方法は上記１〜３の処理を参照してもよい。
【００９８】
本実施例のステップＳ９０２において、通常畳み込み層を緩和畳み込み層に変換する処理はステップＳ４０１の逆の処理であってもよく、即ち、ステップＳ９０２において、畳み込み演算に関与する同一のニューロン内の異なる位置のデータが異なる重みに対応するように、通常畳み込み層内の重みを複数個の重みに複製してもよい。例えば、図７における重みＷ１をＷ１１及びＷ１４に複製し、重みＷ２をＷ２１及びＷ２４に複製することで、通常畳み込み層を緩和畳み込み層に変換する。
【００９９】
図１５は、ステップＳ０３を実現するための、本実施例のニューラルネットワークモデルにおける各重みを初期化する方法を示す他の図である。図１５に示すように、該方法は以下のステップを含む。
【０１００】
ステップＳ９０１：初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化する。
【０１０１】
ステップＳ１５０１：調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整する。
【０１０２】
ステップＳ１５０２：該初期化ニューラルネットワークモデルを形成するように、該調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する。
【０１０３】
図１５の方法と図９の方法との相違点として、図１５の方法においてステップＳ１５０１が追加され、即ち、初期化通常畳み込みニューラルネットワークモデルが取得された後に、通常畳み込みニューラルネットワークモデルを調整する。これによって、後続のステップＳ３０４における調整の処理量を低減できる。ステップＳ１５０１における調整の方法は、従来技術におけるニューラルネットワークモデルの調整方法を参照してもよく、本実施例では説明を省略する。
【０１０４】
本実施例では、ステップＳ１５０２において通常畳み込み層を緩和畳み込み層に変換する処理方法は、ステップＳ９０２の処理方法と同じであってもよい。
【０１０５】
図９及び図１５に示す方法では、まずステップＳ９０１において通常畳み込みニューラルネットワークモデルにおける各重みを初期化し、そして、ステップＳ９０２又はステップＳ１５０１及びＳ１５０２において、ニューラルネットワークモデル２００の各重みを初期化するように通常畳み込み層を緩和畳み込み層に変換する。なお、本実施例はこれに限定されず、ニューラルネットワークモデル２００が緩和畳み込み層を有しない場合は、ステップＳ９０２又はステップＳ１５０１及びＳ１５０２を行うことなく、ステップＳ９０１においてニューラルネットワークモデル２００の各重みを直接初期化してもよい。
【０１０６】
本実施例のステップＳ３０４において、既知の訓練セットに基づいて、初期化ニューラルネットワークモデルにおける各重みを調整してもよく、調整の方法は従来技術を参照してもよく、本実施例では詳細な説明を省略する。
【０１０７】
本発明の実施例によれば、小規模なニューラルネットワークモデルを訓練し、小規模なニューラルネットワークモデルにより大規模なニューラルネットワークモデルを初期化し、初期化された大規模なニューラルネットワークモデルを微調整する。小規模なネットワークでは殆どの訓練処理が完了するため、大規模なネットワークでは数ラウンドの未調整のみを行えば収束を実現することができる。従って、大規模なニューラルネットワークを直接に訓練することによるオーバーフィッティング及び長すぎる訓練時間などの問題を回避できる。
【０１０８】
＜実施例２＞
実施例２は、実施例１の方法に対応するニューラルネットワークモデルの訓練装置を提供する。
【０１０９】
図１６は本実施例２のニューラルネットワークモデルの訓練装置を示す図である。図１６に示すように、ニューラルネットワークモデルの訓練装置１６００は、抽出部１６０１、第１訓練部１６０２、初期化部１６０３及び第２訓練部１６０４を含む。
【０１１０】
抽出部１６０１は、ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出する。第１訓練部１６０２は、最適化されたニューラルネットワークサブモデルを形成するように、該ニューラルネットワークサブモデルを訓練する。初期化部１６０３は、該適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該ニューラルネットワークモデルにおける各重みを初期化する。第２訓練部１６０４は、既知の訓練セットに基づいて、該初期化ニューラルネットワークモデルにおける各重みを調整する。
【０１１１】
図１７は本実施例２の抽出部１６０１を示す図である。図１７に示すように、抽出部１６０１は、第１変換部１７０１及び抽出サブ部１７０２を含む。
【０１１２】
第１変換部１７０１は、該ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、該ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換する。抽出サブ部１７０２は、該ニューラルネットワークサブモデルを形成するように、該通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出する。
【０１１３】
図１８は本実施例２の初期化部１６０３を示す図である。図１８に示すように、初期化部１６０３は、第１初期化サブ部１８０１及び第２変換部１８０２を含む。
【０１１４】
第１初期化サブ部１８０１は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化する。第２変換部１８０２は、該初期化ニューラルネットワークモデルを形成するように、該初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する。
【０１１５】
本実施例では、第１初期化サブ部１８０１は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化してもよい。ここで、該初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、該最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一である。例えば、第１初期化サブ部１８０１は、該最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、該通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとしてもよい。
【０１１６】
本実施例では、第２変換部１８０２は、第１変換部１７０１と逆の処理を用いて、通常畳み込みニューラルネットワークモデルを緩和畳み込みニューラルネットワークモデルに変換してもよい。
【０１１７】
図１９は本実施例２の初期化部を示す他の図である。図１９に示すように、初期化部１６０３は、第２初期化サブ部１９０１、第３訓練部１９０２及び第３変換部１９０３を含む。
【０１１８】
第２初期化サブ部１９０１は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化する。第３訓練部１９０２は、調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整する。第３変換部１９０３は、該初期化ニューラルネットワークモデルを形成するように、該調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換する。
【０１１９】
本実施例では、第２初期化サブ部１９０１の処理方法は第１初期化サブ部１８０１の処理方法と同じであってもよく、第３訓練部１９０２の初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整する方法は従来技術を参照してもよく、第３変換部１９０３の通常畳み込み層を緩和畳み込み層に変換する方法は第２変換部１８０２を参照してもよい。
【０１２０】
本発明の実施例によれば、小規模なニューラルネットワークモデルを訓練し、小規模なニューラルネットワークモデルにより大規模なニューラルネットワークモデルを初期化し、初期化された大規模なニューラルネットワークモデルを微調整する。小規模なネットワークでは殆どの訓練処理が完了するため、大規模なネットワークでは数ラウンドの未調整のみを行えば収束を実現することができる。従って、大規模なニューラルネットワークを直接に訓練することによるオーバーフィッティング及び長すぎる訓練時間などの問題を回避できる
＜実施例３＞
本発明の実施例は電子機器をさらに提供し、該電子機器は実施例２に記載されたニューラルネットワークモデルの訓練装置を含む。
【０１２１】
図２０は本発明の実施例の電子機器２０００のシステム構成を示すブロック図である。図２０に示すように、電子機器２０００は、中央処理装置２１００及び記憶装置２１４０を含んでもよく、記憶装置２１４０は中央処理装置２１００に接続される。なお、該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。
【０１２２】
１つの態様では、ニューラルネットワークモデルの訓練装置の機能は中央処理装置２１００に統合されてもよい。ここで、中央処理装置２１００は、ニューラルネットワークサブモデルを形成するように、ニューラルネットワークモデルの一部を抽出し、最適化されたニューラルネットワークサブモデルを形成するように、該ニューラルネットワークサブモデルを訓練し、該最適化されたニューラルネットワークサブモデルと同一の出力特性を有する初期化ニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該ニューラルネットワークモデルにおける各重みを初期化し、既知の訓練セットに基づいて、該初期化ニューラルネットワークモデルにおける各重みを調整するように構成されてもよい。
【０１２３】
ここで、中央処理装置２１００は、該ニューラルネットワークモデルを通常畳み込みニューラルネットワークモデルに変換するように、該ニューラルネットワークモデルにおける緩和畳み込み層を通常畳み込み層に変換し、該ニューラルネットワークサブモデルを形成するように、該通常畳み込みニューラルネットワークモデルの各隠れ層における一部のニューロンを抽出するように構成されてもよい。
【０１２４】
ここで、中央処理装置２１００は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化し、該初期化ニューラルネットワークモデルを形成するように、該初期化通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するように構成されてもよい。
【０１２５】
ここで、中央処理装置２１００は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける各重みを初期化し、調整された通常畳み込みニューラルネットワークモデルを形成するように、既知の訓練セットに基づいて、初期化通常畳み込みニューラルネットワークモデルにおける各重みを調整し、該初期化ニューラルネットワークモデルを形成するように、該調整された通常畳み込みニューラルネットワークモデルにおける通常畳み込み層を緩和畳み込み層に変換するように構成されてもよい。
【０１２６】
ここで、中央処理装置２１００は、初期化通常畳み込みニューラルネットワークモデルを形成するように、該最適化されたニューラルネットワークサブモデルにおける各隠れ層の重みに基づいて、該通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の重みを初期化し、該初期化通常畳み込みニューラルネットワークモデルの各隠れ層の出力特性は、該最適化されたニューラルネットワークサブモデルの各隠れ層の出力特性と同一であるように構成されてもよい。
【０１２７】
ここで、中央処理装置２１００は、該最適化されたニューラルネットワークサブモデルにおける隠れ層の各重みに所定の係数を乗算し、該通常畳み込みニューラルネットワークモデルにおける対応する隠れ層の各重みとするように構成されてもよい。
【０１２８】
もう１つの態様では、ニューラルネットワークモデルの訓練装置は中央処理装置２１００とそれぞれ構成されてもよく、例えばニューラルネットワークモデルの訓練装置は中央処理装置２１００に接続されたチップであり、中央処理装置の制御によりニューラルネットワークモデルの訓練装置の機能を実現してもよい。
【０１２９】
図２０に示すように、電子機器２０００は、通信モジュール２１１０、入力部２１２０、音声処理装置２１３０、ディスプレイ２１６０及び電源２１７０を含んでもよい。なお、電子機器２０００は、図２０に示されている全ての構成部を含まなくてもよい。また、電子機器２０００は、図２０に示されていない構成部をさらに含んでもよく、従来技術を参照してもよい。
【０１３０】
図２０に示すように、中央処理装置２１００は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置２１００は入力を受信し、電子機器２０００の各部の操作を制御する。
【０１３１】
記憶装置２１４０は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。また、中央処理装置２１００は、記憶装置２１４０に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の構成部は従来技術に類似するため、ここでその説明が省略される。電子機器２０００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。
【０１３２】
本発明の実施例は、ニューラルネットワークモデルの訓練装置又は電子機器においてプログラムを実行する際に、コンピュータに、該ニューラルネットワークモデルの訓練装置又は電子機器において上記実施例１に記載のニューラルネットワークモデルの訓練方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【０１３３】
本発明の実施例は、コンピュータに、ニューラルネットワークモデルの訓練装置又は電子機器において上記実施例１に記載のニューラルネットワークモデルの訓練方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【０１３４】
本発明の実施例を参照しながら説明したニューラルネットワークモデルの訓練装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図１６〜図１９に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせ（例えば、各手段など）は、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、実施例１に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【０１３５】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【０１３６】
図１６〜図１９に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せ（例えば、各手段など）は、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図１６〜図１９に記載されている機能的ブロック図における一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【０１３７】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。
【図１】
2019508803.tif 000010
【図２】
2019508803.tif 000011
【図３】
2019508803.tif 000012
【図４】
2019508803.tif 000013
【図５】
2019508803.tif 000014
【図６】
2019508803.tif 000015
【図７】
2019508803.tif 000016
【図８】
2019508803.tif 000017
【図９】
2019508803.tif 000018
【図１０】
2019508803.tif 000019
【図１１】
2019508803.tif 000020
【図１２】
2019508803.tif 000021
【図１３】
2019508803.tif 000022
【図１４】
2019508803.tif 000023
【図１５】
2019508803.tif 000024
【図１６】
2019508803.tif 000025
【図１７】
2019508803.tif 000026
【図１８】
2019508803.tif 000027
【図１９】
2019508803.tif 000028
【図２０】
2019508803.tif 000029
【国際調査報告】
2019508803.tif 000030
2019508803.tif 000031
2019508803.tif 000032
2019508803.tif 000033
2019508803.tif 000034