(57)【要約】  本発明は、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法を提供する。方法は、１）セグメントに基づく二段深層学習モデルを構築して訓練し、当該モデルは縦方向に第１段と第２段とに分けられ、前記第１段の各層は横方向にＭ個のセグメントに分けられ、第１段における異なるセグメント間の隣接層のニューロンノード間の重みは０であるステップと、２）処理対象のビッグデータをデータのタイプに応じてＭ個のサブセットに分け、それぞれセグメントに基づく二段深層学習モデルの第１層のＭ個のセグメントに入力して処理するステップと、３）ビッグデータの処理結果を出力するステップと、を含む。本発明に係るセグメントに基づく二段深層学習モデルは、モデルの規模を効果的に縮小させ、モデルの訓練時間を短縮させ、本発明に係る方法は、ビッグデータの処理速度を向上させ、処理時間を短縮させる。【選択図】図１
2018511870.tif 000002
【特許請求の範囲】
【請求項１】
セグメントに基づく二段深層学習モデル用のビッグデータの処理方法であって、
セグメントに基づく二段深層学習モデルを構築して訓練するステップ１）であって、当該モデルは縦方向に第１段と第２段とに分けられ、前記第１段の各層は横方向にマルチモード入力のモード数であるＭ個のセグメントに分けられ、第１段における異なるセグメント間の隣接層のニューロンノード間の重みは０である、前記ステップ１）と、
処理対象のビッグデータをデータのタイプに応じてＭ個のサブセットに分け、それぞれセグメントに基づく二段深層学習モデルの第１層のＭ個のセグメントに入力して処理するステップ２）と、
ビッグデータの処理結果を出力するステップ３）と、
を含む、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法。
【請求項２】
前記ステップ１）は、
深さがＬ層の深層学習モデルを縦方向に第１段と第２段とに分けるステップ１０１）であって、入力層が第１層、出力層が第Ｌ層、
【数１】
2018511870.tif 000023
を満たす第Ｌ＊層が分割層とされ、第１層から第Ｌ＊層までのすべての層が第１段と呼ばれ、第Ｌ＊＋１層から第Ｌ層までのすべての層が第２段と呼ばれる、前記ステップ１０１）と、
第１段内の各層におけるューロンノードを横方向にＭ個のセグメントに分けるステップ１０２）であって、Ｌ層のニューラルネットワークの入力幅がＮとされ、すなわち、各層がＮ個のニューロンノードを有し、第１段のニューロンノードがＭ個のセグメントに分けられ、各セグメントの幅がＤｍであり、
【数２】
2018511870.tif 000024
且つ
【数３】
2018511870.tif 000025
であり、同一のセグメントにおいて、任意の２層の幅がいずれも同じになるように設定される、前記ステップ１０２）と、
訓練サンプルをＭ個のサブセットに分け、それぞれ深層学習モデルの第１層のＭ個のセグメントに入力するステップ１０３）と、
第１段のＭ個のセグメントのサブモデルのそれぞれを訓練するステップ１０４）であって、第１段における異なるセグメント間の隣接層のニューロンノード間の重みが０であり、すなわち、第ｍセグメントのすべてのノード集合がＳmであり、第
【数４】
2018511870.tif 000026
層の任意のノードが
【数５】
2018511870.tif 000027
であり、第ｏセグメントの第
【数６】
2018511870.tif 000028
層の任意ノードが
【数７】
2018511870.tif 000029
であると、ノード
【数８】
2018511870.tif 000030
と
【数９】
2018511870.tif 000031
との間の重みが
【数１０】
2018511870.tif 000032
であり、上述の制約条件において、第１段のＭ個のセグメントのサブモデルを、それぞれ、深層ニューラルネットワーク学習アルゴリズムを利用して訓練する、前記ステップ１０４）と、
第２段の各層を訓練するステップ１０５）と、
各層のネットワークパラメータを深層ニューラルネットワーク学習アルゴリズムによって各層のネットワークパラメータが最適値に達するまで全体的にファインチューニングするステップ１０６）と、
を更に含む、請求項１に記載のセグメントに基づく二段深層学習モデル用のビッグデータの処理方法。
【請求項３】
前記Ｌ＊の値は、交差検証方法によってＬ＊の値域内から１つの最適値を決定することにより得られる、請求項２に記載のセグメントに基づく二段深層学習モデル用のビッグデータの処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工知能及びビッグデータの分野に関し、特に、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法に関する。
【背景技術】
【０００２】
ネットワーク技術の急速な発展に伴って、データの容量と多様性が迅速に増加しているが、データ処理用のアルゴリズムの複雑さを改善することは困難であり、ビッグデータを如何に効率良く処理するかが差し迫った課題となっている。個人の経験と手動による操作によってデータ記述、データ注記、特徴選択、特徴抽出、データ処理を行う従来の方法では、ビッグデータの急速に増加するニーズを満たすことが困難である。人工知能技術の急速な発展、特に、深層学習アルゴリズムの画期的な研究は、ビッグデータの処理についての問題を解決するのに価値のある検証の方向性を指し示している。
【０００３】
ヒントン（Hinton）らは、２００６年に深層信念ネットワーク用の層ごとの初期化訓練方法を提案した。これは深層学習方法の研究の起点であり、当該方法は数十年にわたって深層ニューラルネットワークの訓練が困難且つ非効率的である状況を打破した。それ以来、深層学習アルゴリズムは、画像認識、音声認識、自然言語理解等の分野に幅広く用いられている。深層学習は、人間の脳の階層抽象化をシミュレートし、最下位層データを層ごとにマッピングしてより抽象的な特徴を取得することができる。深層学習は、ビッグデータから特徴を自動的に抽出でき、大量のサンプル訓練によって良好な処理効果を図ることができるので、幅広く注目されている。実際、ビッグデータの急速な成長と深層学習の画期的な研究とは互いに補完し合い、一方ではビッグデータの急速な成長のため、大量のデータを効率的に処理する方法が必要となり、他方では深層学習モデルの訓練には大量のサンプルデータが必要となる。要するに、ビッグデータによって深層学習の性能を極限まで高めることができる。
【０００４】
しかしながら、従来の深層学習モデルは、例えば、モデルを拡張させることが困難であること、パラメータの最適化が困難であること、訓練時間が長く且つ推論効率が低いことなど、多くの深刻な問題を抱えている。２０１３年にベンジオ（Bengio）が発表した概説論文では、従来の深層学習が直面する挑戦や課題がまとめられ、そこには、従来の深層学習モデルの規模を如何に拡張して深層学習モデルを如何により大規模なデータセットに適用するか、パラメータ最適化の困難さを如何に低減させるか、高コストの推理やサンプリングを如何に回避するか、変化要素を如何に解くかなどが含まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ビッグデータの適用における従来のニューラルネットワーク深層学習モデルの上記問題を克服し、セグメントに基づく二段深層学習モデルを提案することを目的とする。深層学習モデルを段及びセグメントに分けて、セグメント間の重みを制約することにより、モデルの拡張性を向上させることが可能となる。当該モデルに基づいて、本発明は、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法を提案し、当該方法によれば、ビッグデータの処理速度を向上させ、処理時間を短縮させることができる。
【課題を解決するための手段】
【０００６】
上記目的を実現するために、本発明は、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法であって、
セグメントに基づく二段深層学習モデルを構築して訓練するステップ１）であって、当該モデルは縦方向に第１段と第２段とに分けられ、前記第１段の各層は横方向にマルチモード入力のモード数であるＭ個のセグメントに分けられ、第１段における異なるセグメント間の隣接層のニューロンノード間の重みは０である、前記ステップ１）と、
処理対象のビッグデータをデータのタイプに応じてＭ個のサブセットに分け、それぞれセグメントに基づく二段深層学習モデルの第１層のＭ個のセグメントに入力して処理するステップ２）と、
ビッグデータの処理結果を出力するステップ３）と、を含む、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法を提供する。
【０００７】
上記技術的解決手段において、前記ステップ１）は、
深さがＬ層の深層学習モデルを縦方向に第１段と第２段とに分けるステップ１０１）であって、入力層が第１層、出力層が第Ｌ層、
【数１】
2018511870.tif 000003
を満たす第Ｌ＊層が分割層とされ、第１層から第Ｌ＊層までのすべての層が第１段と呼ばれ、第Ｌ＊＋１層から第Ｌ層までのすべての層が第２段と呼ばれる、前記ステップ１０１）と、
第１段内の各層におけるニューロンノードを横方向にＭ個のセグメントに分けるステップ１０２）であって、Ｌ層のニューラルネットワークの入力幅がＮとされ、すなわち、各層がＮ個のニューロンノードを有し、第１段のニューロンノードがＭ個のセグメントに分けられ、各セグメントの幅がＤmであり、
【数２】
2018511870.tif 000004
且つ
【数３】
2018511870.tif 000005
であり、同一のセグメントにおいて、任意の２層の幅がいずれも同じになるように設定される、前記ステップ１０２）と、
訓練サンプルをＭ個のサブセットに分け、それぞれ深層学習モデルの第１層のＭ個のセグメントに入力するステップ１０３）と、
第１段のＭ個のセグメントのサブモデルのそれぞれを訓練するステップ１０４）であって、第１段における異なるセグメント間の隣接層のニューロンノード間の重みが０であり、すなわち、第ｍセグメントのすべてのノード集合がＳmであり、第
【数４】
2018511870.tif 000006
層の任意のノードが、
【数５】
2018511870.tif 000007
であり、第ｏセグメントの第
【数６】
2018511870.tif 000008
層の任意のノードが、
【数７】
2018511870.tif 000009
であると、ノード
【数８】
2018511870.tif 000010
と
【数９】
2018511870.tif 000011
との間の重みが
【数１０】
2018511870.tif 000012
であり、上述の制約条件において、第１段のＭ個のセグメントのサブモデルを、それぞれ、深層ニューラルネットワーク学習アルゴリズムを利用して訓練する、前記ステップ１０４）と、
第２段の各層を訓練するステップ１０５）と、
各層のネットワークパラメータを深層ニューラルネットワーク学習アルゴリズムによって各層のネットワークパラメータが最適値に達するまで全体的にファインチューニングする（全局微調）ステップ１０６）と、
を更に含む。
【０００８】
上記技術的解決手段において、Ｌ＊の値は、交差検証法によってＬ＊の値域内から１つの最適値を決定することにより得られる。
【発明の効果】
【０００９】
本発明の利点は以下の通りである。
１、本発明に係るセグメントに基づく二段深層学習モデルは、モデルの規模を効果的に縮小させ、モデルの訓練時間を短縮させる。
２、本発明に係るビッグデータの処理方法は、マルチソース異種データ又はマルチモードのビッグデータの並列入力をサポートし、ビッグデータの処理速度を向上させ、処理時間を短縮させる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係るセグメントに基づく二段深層学習モデル用のビッグデータの処理方法のフローチャートである。
【図２】セグメントに基づく二段深層学習モデルの模式図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の方法を更に詳細に説明する。
図１に示すように、セグメントに基づく二段深層学習モデル用のビッグデータの処理方法は、以下を含む。
【００１２】
ステップ１）セグメントに基づく二段深層学習モデルを構築して訓練する。当該ステップ１）は以下のステップをさらに含む。
【００１３】
ステップ１０１）深さがＬ層の深層学習モデルを縦方向に第１段と第２段とに分ける。入力層が第１層、出力層が第Ｌ層、
【数１１】
2018511870.tif 000013
を満たす第Ｌ＊層が分割層とされ、第１層から第Ｌ＊層までのすべての層が第１段と呼ばれ、第Ｌ＊＋１層から第Ｌ層までのすべての層が第２段と呼ばれる。
【００１４】
Ｌ＊の値は、交差検証法によってＬ＊の値域内から１つの最適値を決定することにより得られる。
【００１５】
ステップ１０２）第１段内の各層におけるニューロンノードを横方向にＭ個（Ｍはマルチモード入力のモード数）のセグメントに分ける。ここで、図２に示すように、Ｌ層のニューラルネットワークの入力幅がＮとされ、すなわち、各層がＮ個のニューロンノードを有し、第１段のニューロンノードがＭ個のセグメントに分けられ、各セグメントの幅がＤmであり、
【数１２】
2018511870.tif 000014
且つ
【数１３】
2018511870.tif 000015
であり、同一のセグメントにおいて、任意の２層の幅がいずれも同じになるように設定される。
【００１６】
ステップ１０３）訓練サンプルをＭ個のサブセットに分け、それぞれ深層学習モデルの第１層のＭ個のセグメントに入力する。
【００１７】
ステップ１０４）第１段のＭ個のセグメントのサブモデルのそれぞれを訓練する。第１段における異なるセグメント間の隣接層のニューロンノード間の重みが０であり、すなわち、第ｍセグメントのすべてのノード集合がＳmであり、第
【数１４】
2018511870.tif 000016
層の任意のノードが、
【数１５】
2018511870.tif 000017
であり、第ｏセグメントの第
【数１６】
2018511870.tif 000018
層の任意ノードが、
【数１７】
2018511870.tif 000019
であると、ノード
【数１８】
2018511870.tif 000020
と
【数１９】
2018511870.tif 000021
との間の重みが
【数２０】
2018511870.tif 000022

であり、上述の制約条件において、第１段のＭ個のセグメントのサブモデルを、それぞれ、深層ニューラルネットワーク学習アルゴリズムを利用して訓練する。
【００１８】
ステップ１０５）第２段の各層を訓練する。
【００１９】
ステップ１０６）各層のネットワークパラメータを深層ニューラルネットワーク学習アルゴリズムによって各層のネットワークパラメータが最適値に達するまで全体的にファインチューニングする。
【００２０】
前記深層ニューラルネットワーク学習アルゴリズムはＢＰアルゴリズムである。
【００２１】
ステップ２）処理対象のビッグデータをデータのタイプに応じてＭ個のサブセットに分け、それぞれセグメントに基づく二段深層学習モデルの第１層のＭ個のセグメントに入力して処理する。
【００２２】
ステップ３）ビッグデータの処理結果を出力する。
【００２３】
なお、上記実施例は本発明の技術的解決手段を説明するためのものであって、限定するものではない。実施例を参照して本発明を詳細に説明したが、当業者は、本発明の技術的解決手段の精神と範囲を逸脱せずに本発明の技術的解決手段を変更したり同等置換したりすることができ、それらの変更や置換は本発明の特許請求の範囲に属すると理解できる。
【図１】
2018511870.tif 000033
【図２】
2018511870.tif 000034
【国際調査報告】
2018511870.tif 000035
2018511870.tif 000036
2018511870.tif 000037
2018511870.tif 000038