(57)【特許請求の範囲】
【請求項１】
機械学習に基づくネットワークモデル構築方法であって、
オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップと、
前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップと、
前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップと、
ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするステップと、
を含む方法。
【請求項２】
オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップは、
前記データ処理手順において前記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するステップと、
前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するステップと、
前記参照データセットを形成するために、前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された前記操作データからいくつか又はすべてのデータを抽出するステップと、
を含み、
前記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、
請求項１に記載の方法。
【請求項３】
前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するステップと、
各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループに従い、前記データ処理ステップに相当する前記サブネットワークの入力層構造及び出力層構造を決定するステップと、
各データ処理ステップに相当する前記サブネットワークの前記ネットワークメイン構造、前記入力層構造、及び前記出力層構造に従い、前記データ処理ステップに相当する前記サブネットワークを構築するステップであり、１つのサブネットワークが１つのデータ処理ステップに相当する、ステップと、
を含む、請求項２に記載の方法。
【請求項４】
前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップは、
前記参照データセットから各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを順次読み出すステップと、
各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを参照し、及びニューラルネットワーク（ＮＮ）訓練最適化アルゴリズムに従い、各データ処理ステップに相当する前記サブネットワークのパラメータに対して最適化調整を実行するステップであり、前記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、ステップと、
を含む、請求項２又は３に記載の方法。
【請求項５】
ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするステップは、
シードネットワークとして前記少なくとも１つのサブネットワークから任意のサブネットワークを選択するステップと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、前記マージシーケンスに従い被マージ対象ネットワークとして前記少なくとも１つのサブネットワークから前記シードネットワーク以外のサブネットワークを選択するステップと、
前記シードネットワークと前記被マージ対象ネットワークとの間の入力層及び出力層を分離するステップと、
全結合方式で前記シードネットワークと前記被マージ対象ネットワークとに対してマージ結合を実行するステップと、
前記マージ結合が成功した場合、前記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと前記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するステップと、
前記ターゲットネットワークモデルを形成するために、前記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された前記ネットワークを使用することによりプロセスを反復するステップと、
を含む、請求項４に記載の方法。
【請求項６】
前記マージ結合が失敗した場合、前記シードネットワークと前記被マージ対象ネットワークとの間に中間隠れ層を追加し、前記中間隠れ層を使用することにより全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行するステップ、
をさらに含む請求項５に記載の方法。
【請求項７】
機械学習に基づくネットワークモデル構築装置であって、
オリジナルネットワークモデルのデータ処理手順と前記データ処理手順において前記オリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュールと、
前記データ処理手順及び前記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュールと、
前記参照データセットを使用することにより前記少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュールと、
ターゲットネットワークモデルを形成するために、前記最適化訓練が実行された前記少なくとも１つのサブネットワークをマージするように構成されたマージモジュールと、
を含む装置。
【請求項８】
前記取得モジュールは、
前記データ処理手順において前記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニットと、
前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニットと、
前記参照データセットを形成するために、前記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された前記操作データからいくつか又はすべてのデータを抽出するように構成されたサンプリング抽出ユニットと、
を含み、
前記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、
請求項７に記載の装置。
【請求項９】
前記階層構築モジュールは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニットと、
各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループに従い、前記データ処理ステップに相当する前記サブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニットと、
各データ処理ステップに相当する前記サブネットワークの前記ネットワークメイン構造、前記入力層構造、及び前記出力層構造に従い、前記データ処理ステップに相当する前記サブネットワークを構築するように構成された構築ユニットであり、１つのサブネットワークが１つのデータ処理ステップに相当する、構築ユニットと、
を含む、請求項８に記載の装置。
【請求項１０】
前記最適化訓練モジュールは、
前記参照データセットから各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを順次読み出すように構成された読み出しユニットと、
各データ処理ステップに対応する入力／出力データの前記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する前記サブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニットであり、前記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニットと、
を含む、請求項８又は９に記載の装置。
【請求項１１】
前記マージモジュールは、
シードネットワークとして前記少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニットと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、前記マージシーケンスに従い被マージ対象ネットワークとして前記少なくとも１つのサブネットワークから前記シードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニットと、
前記シードネットワークと前記被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニットと、
全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニットと、
前記マージ結合が成功した場合、前記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと前記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニットと、
を含み、
前記シード選択ユニットは、前記ターゲットネットワークモデルを形成するために、前記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された前記ネットワークを使用することにより、前記被マージ対象選択ユニットと前記分離ユニットと前記マージ結合ユニットと前記最適化調整ユニットとにより実行される対応する処理を反復するようにさらに構成される、
請求項１０に記載の装置。
【請求項１２】
前記マージモジュールは、
前記マージ結合が失敗した場合、前記シードネットワークと前記被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニットであり、それにより、前記マージ結合ユニットは、前記中間隠れ層を使用することにより全結合方式で前記シードネットワーク及び前記被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット、
をさらに含む、請求項１１に記載の装置。
【請求項１３】
コンピュータ読取可能命令を記憶したコンピュータ読取可能記憶媒体であって、前記コンピュータ読取可能命令は少なくとも１つのプロセッサにより実行されて、
請求項１乃至６のうちいずれか１項に記載の機械学習に基づくネットワークモデル構築方法を実行する、コンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、2016年6月2日に申請され“MACHINE  LEARNING-BASED  NETWORK  MODEL  BUILDING  METHOD  AND  APPARATUS”と題された中国特許出願第201610389530.9号に対する優先権を主張し、該出願はその全体を参照援用される。
【０００２】
本出願は、インターネット技術の分野に関し、詳細には、機械学習に基づくネットワークモデル構築方法及び装置に関する。
【背景技術】
【０００３】
機械学習技術の急速な発展とともに、機械学習法はより多くの分野でネットワークモデルを構築するために使用され始め、構築されたネットワークモデルは分析、制御、及び決定のツールとして使用されている。ネットワークモデルは、非ニューラルネットワーク（ＮＮ）モデルとＮＮモデルとを含む。ＮＮは、互いに接続された多数の処理ユニット（ニューロンとして参照される）により形成された複雑なネットワークシステムであり、高複雑性の非線形の動的学習システムである。ＮＮの基礎はニューロンであり、ＮＮモデルはニューロンのネットワークトポロジー、ノード特徴、及び学習ルールを使用することにより示される。
【発明の概要】
【０００４】
本出願の実施例は、機械学習に基づくネットワークモデル構築方法及び装置を提供して、ネットワークモデルを構築するプロセスを簡素化し、モデル構築効率を改善する。
【０００５】
本出願の実施例の第１の態様が、機械学習に基づくネットワークモデル構築方法を提供し、
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップと、
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップと、
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップと、
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするステップと、
を含む。
【０００６】
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するステップは、
上記データ処理手順において上記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するステップと、
上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するステップと、
上記参照データセットを形成するために、上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された上記操作データからいくつか又はすべてのデータを抽出するステップと、
を含み、
上記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
【０００７】
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するステップは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するステップと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループに従い、上記データ処理ステップに相当する上記サブネットワークの入力層構造及び出力層構造を決定するステップと、
各データ処理ステップに相当する上記サブネットワークの上記ネットワークメイン構造、上記入力層構造、及び上記出力層構造に従い、上記データ処理ステップに相当する上記サブネットワークを構築するステップであり、１つのサブネットワークが１つのデータ処理ステップに相当する、ステップと、
を含む。
【０００８】
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するステップは、
上記参照データセットから各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを順次読み出すステップと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する上記サブネットワークのパラメータに対して最適化調整を実行するステップであり、上記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、ステップと、
を含む。
【０００９】
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするステップは、
シードネットワークとして上記少なくとも１つのサブネットワークから任意のサブネットワークを選択するステップと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、上記マージシーケンスに従い被マージ対象ネットワークとして上記少なくとも１つのサブネットワークから上記シードネットワーク以外のサブネットワークを選択するステップと、
全結合方式で上記シードネットワークと上記被マージ対象ネットワークとに対してマージ結合を実行するステップと、
上記マージ結合が成功した場合、上記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと上記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するステップと、
上記ターゲットネットワークモデルを形成するために、上記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された上記ネットワークを使用することによりプロセスを反復するステップと、
を含む。
【００１０】
方法は、
上記マージ結合が失敗した場合、上記シードネットワークと上記被マージ対象ネットワークとの間に中間隠れ層を追加し、上記中間隠れ層を使用することにより全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行するステップ、
をさらに含む。
【００１１】
本出願の実施例の第２の態様が、機械学習に基づくネットワークモデル構築装置を提供し、
オリジナルネットワークモデルのデータ処理手順と上記データ処理手順において上記オリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュールと、
上記データ処理手順及び上記参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュールと、
上記参照データセットを使用することにより上記少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュールと、
ターゲットネットワークモデルを形成するために、上記最適化訓練が実行された上記少なくとも１つのサブネットワークをマージするように構成されたマージモジュールと、
を含む。
【００１２】
上記取得モジュールは、
上記データ処理手順において上記オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニットと、
上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニットと、
上記参照データセットを形成するために、上記オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された上記操作データからいくつか又はすべてのデータを抽出するように構成されたサンプリング抽出ユニットと、
を含み、
上記参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
【００１３】
上記階層構築モジュールは、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニットと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループに従い、上記データ処理ステップに相当する上記サブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニットと、
各データ処理ステップに相当する上記サブネットワークの上記ネットワークメイン構造、上記入力層構造、及び上記出力層構造に従い、上記データ処理ステップに相当する上記サブネットワークを構築するように構成された構築ユニットであり、１つのサブネットワークが１つのデータ処理ステップに相当する、構築ユニットと、
を含む。
【００１４】
上記最適化訓練モジュールは、
上記参照データセットから各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを順次読み出すように構成された読み出しユニットと、
各データ処理ステップに対応する入力／出力データの上記少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当する上記サブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニットであり、上記パラメータはネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニットと、
を含む。
【００１５】
上記マージモジュールは、
シードネットワークとして上記少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニットと、
各データ処理ステップに従い指定されたマージシーケンスを取得し、上記マージシーケンスに従い被マージ対象ネットワークとして上記少なくとも１つのサブネットワークから上記シードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニットと、
上記シードネットワークと上記被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニットと、
全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニットと、
上記マージ結合が成功した場合、上記シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと上記被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニットと、
を含み、
上記シード選択ユニットは、上記ターゲットネットワークモデルを形成するために、上記少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得された上記ネットワークを使用することにより、上記被マージ対象選択ユニットと上記分離ユニットと上記マージ結合ユニットと上記最適化調整ユニットとにより実行される対応する処理を反復するようにさらに構成される。
【００１６】
上記マージモジュールは、
上記マージ結合が失敗した場合、上記シードネットワークと上記被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニットであり、それにより、上記マージ結合ユニットは、上記中間隠れ層を使用することにより全結合方式で上記シードネットワーク及び上記被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット、
をさらに含む。
【００１７】
本出願の実施例において、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスが簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整が分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
【図面の簡単な説明】
【００１８】
本出願の実施例又は既存技術における技術的解決策をより明りょうに説明するために、実施例又は既存技術を説明するのに必要な添付図面が下記のとおり簡潔に説明される。明らかなように、下記説明における添付図面は専ら本出願のいくつかの実施例を示し、当業者は創造的取り組みなしにこれら添付図面から他の図面をさらに導き出し得る。
【図１】本出願の一実施例による機械学習に基づくネットワークモデル構築方法のフローチャートである。
【図２】本出願の一実施例による別の機械学習に基づくネットワークモデル構築方法のフローチャートである。
【図２Ａ】本出願の一実施例によるオリジナルネットワークモデルの概略図である。
【図３ａ】本出願の一実施例によるオリジナルネットワークモデル内のデータ処理ステップａ１に相当するサブネットワークｂ１に対する最適化訓練を構築し、実行するプロセスの概略図である。
【図３ｂ】本出願の一実施例によるサブネットワークｂ１及びサブネットワークｂ２をマージするプロセスとマージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスとの概略図である。
【図３ｃ】本出願の一実施例によるサブネットワークｂ１及びサブネットワークｂ２をマージするプロセスとマージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスとの別の概略図である。
【図４】本出願の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。
【図５】本発明の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。
【発明を実施するための形態】
【００１９】
本出願の実施例における添付図面を参照して本出願の実施例における技術的解決策を下記のとおり明りょうかつ完全に説明する。明らかなように、説明される実施例は、実施例のすべてでなく本出願のいくつかの実施例である。創作的取り組みなく本出願の実施例に基づき当業者により得られるすべての他の実施例が本出願の保護範囲内に入るものとする。
【００２０】
本出願の一実施例では、ネットワークモデルに対して機械学習を実行してＮＮモデルを構築するプロセスにおいて、既存のネットワークモデルのデータが、訓練セットを形成するためにラベル付けされる必要があり、次いで、ＮＮモデルが、まさに最初から構築される。ＮＮを訓練するプロセスにおいて、大量のデータが、訓練セットとして使用されるラベル付けされたデータを生成するために、手動でラベル付けされる必要がある。プロセスは、大量のヒューマン・マシン・インタラクションを必要とし、多数のデバイスリソースを消費する必要がある。さらに、まさに最初からＮＮモデルを構築することは、構築されたネットワークモデル全体に対する複雑なパラメータ調整を必要とし、重い作業負荷及び低いモデル構築効率につながる。
【００２１】
ネットワークモデルは、非ＮＮモデルと、ＮＮモデルとを含む。ＮＮは、互いに接続された多数の処理ユニット（ＮＮにおいてニューロンとして参照される）により形成された複雑なネットワークシステムであり、高複雑性の非線形の動的学習システムである。ニューロンは、ＮＮを形成する基本ユニットである。ＮＮモデルは、ニューロンのネットワークトポロジー、ノード特徴、及び学習ルールを使用することにより示される。非ＮＮモデルと比較して、ＮＮモデルは、より強いディープラーニング能力とより良い環境適合力とを有する。
【００２２】
本出願の実施形態は、学習に基づくネットワークモデル構築方法及び装置を提供し、それにより、オリジナルネットワークモデルのデータ処理手順が分析され、少なくとも１つの相当（equivalent）サブネットワークが、参照データセットとしてデータ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データ（operating  data）を使用することにより階層的に構築され、最適化訓練が、少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルが、マージを用いて最終的に形成される。ターゲットネットワークモデルは、機械学習プロセスを使用することにより構築され、それにより、下記の有益な効果が得られる。
【００２３】
（１）性能信頼性が高い。ターゲットネットワークモデルは、オリジナルネットワークモデルのデータ処理手順に相当する少なくとも１つのサブネットワークに対して接合（joint）最適化調整を実行することにより取得される。ゆえに、オリジナルネットワークモデルと比較して、ターゲットネットワークモデルについて、データ処理ステップ間における流し込み及び適合の問題がそれ以上考慮される必要がない。さらに、接合最適化プロセスは、オリジナルネットワークモデルの実際の操作データに基づき、それにより、ターゲットネットワークモデルの処理性能信頼性が確保できる。
【００２４】
（２）調整柔軟性が高い。ターゲットネットワークモデルは、オリジナルネットワークモデルの実際の操作データを訓練することにより変更されるように駆動される。ゆえに、ターゲットネットワークモデルが調整される必要がある場合、ターゲットネットワークモデルの層化された構造間でパラメータ適合の問題を考慮することなく、訓練プロセスに関連したパラメータのみが調整される必要があり、それにより、調整柔軟性が比較的高い。さらに、新しい操作データがオリジナルネットワークモデル内で発生し、あるいは生成された場合、ターゲットネットワークモデルは、過剰な人間の干渉なく新しい操作データを使用することにより直接調整されることができ、それにより、マンパワーコストが削減され、モデル構築の作業負荷が削減される。
【００２５】
（３）構築プロセスが簡素である。ターゲットネットワークモデルは、まさに最初から開始することにより構築される必要がない。ゆえに、複雑なネットワーク構造調整プロセスが回避される。さらに、冗長な人間の体験が参照として必要とされず、それにより、モデル構築時間が大きく削減され、構築効率が改善される。
【００２６】
（４）データが完全に使用される。ターゲットネットワークモデルは、接合最適化を用いて少なくとも１つのサブネットワークにより形成されたディープネットワークであり、それにより、性能信頼性が高い。オリジナルネットワークモデルと比較して、パラメータは、データの値の完全な使用を行うために連続的に反復されて、より良い性能最適化を実現することができる。
【００２７】
（５）ターゲットネットワークモデルが説明力を有する。ターゲットネットワークモデルは、機械学習法を使用してオリジナルネットワークモデルに対して相当の置換を実行することにより形成される。プロセスにおいて、データ処理手順でオリジナルネットワークモデルにより生成された実際の操作データが使用され、人間により理解又は知覚されるラベル付けされたデータは追加されず、それにより、オリジナルネットワークモデルの説明的ファクタがある程度継承され、ターゲットネットワークモデルは、比較的高い説明力要件を有するシナリオに対してより適用可能である。
【００２８】
オリジナルネットワークモデルは、非ＮＮモデル又はＮＮモデルであり得、ターゲットネットワークモデルはＮＮモデルであり得ることに留意すべきである。特に指定されない限り、本出願の後の実施例において、オリジナルネットワークモデルが一例として非ＮＮモデルを使用することにより説明され、ターゲットネットワークモデルが一例としてＮＮモデルを使用することにより説明される。
【００２９】
前述の説明に基づき、本出願の一実施例は、機械学習に基づくネットワークモデル構築方法を開示する。図１を参照し、方法は下記のステップＳ１０１乃至ステップＳ１０４を含み得る。
【００３０】
Ｓ１０１：オリジナルネットワークモデルのデータ処理手順と、データ処理手順においてオリジナルネットワークモデルにより生成された参照データセットとを取得する。
【００３１】
オリジナルネットワークモデルは、分析、制御、及び決定のツールとして使用され、完全なデータ処理手順を形成するために操作プロセスにおいて一連のデータ処理ステップを実行する。データ処理ステップは本明細書において、これらに限られないが下記のうち少なくとも１つを含み得る。
【００３２】
（１）多様化されていない機械学習ステップ。ステップは、分類アルゴリズム、クラスタリングアルゴリズム、成分分析アルゴリズム、次元削減マッピングアルゴリズム、及びエンコーダ方法に基づき実現される。分類アルゴリズムは、これらに限られないが、サポートベクトルマシン（Support  Vector  Machine）（ＳＶＭ）、決定木、閾値分類器、ロジスティック回帰、浅い（shallow）ＮＮ、勾配ブースティング決定木（gradient  boosting  decision  tree）（ＧＢＤＴ）、弱分類アルゴリズムの精度をブーストする方法、Ｋ近傍法（k-nearest  neighbor）（ＫＮＮ）、ベイズ分類器、ランダムフォレスト法、及び他の可能な異なる方法を含んでよい。クラスタリングアルゴリズムは、これらに限られないが、分割に基づくクラスタリング法（ｋ平均）（k-means）、ｋ中心、ＭｅａｎＳｈｉｆｔ、スペクトラルクラスタリング、ノイズ付き適用の密度に基づく空間クラスタリング（Density-Based  Spatial  Clustering  of  Applications  with  Noise）（ＤＢＳＣＡＮ）アルゴリズム、及びアフィニティ伝播（affinity  propagation）法を含んでよい。成分分析アルゴリズムは、これらに限られないが、主成分分析（principal  component  analysis）（ＰＣＡ）、正準対応分析（canonical  correspondence  analysis）（ＣＣＡ）、ファクタ分析、フーリエ変換、及びウェーブレット分析を含んでよい。次元削減マッピングアルゴリズムは、これらに限られないが、混合判別分析（mixture  discriminant  analysis）（ＭＤＡ）、フィッシャー（Fisher）投影、及びＩｓｏＭａｐ（大域的最適化アルゴリズム）を含んでよい。エンコーダ方法は、これらに限られないが、線形判別分析（linear  discriminant  analysis）（ＬＤＡ）、確率的潜在セマンティック分析（probabilistic  latent  semantic  analysis）（ＰＬＳＡ）、潜在セマンティック分析（latent  semantic  analysis）（ＬＳＡ）、及びスパースコーディング（sparse  coding）を含んでよい。
【００３３】
（２）データ統計ステップ。ステップは、データ統計アルゴリズムに基づき実現されてよく、データ統計アルゴリズムは、これらに限られないが、総和、平均算出、分位数評価、極値評価、中心統計モーメント評価、カイ二乗統計評価などを含んでよい。
【００３４】
（３）シーケンス分析ステップ。ステップは、シーケンス分析アルゴリズムに基づき実現されてよく、シーケンス分析アルゴリズムは、これらに限られないが、自己回帰和分移動平均モデル（autoregressive  integrated  moving  average  model）（ＡＲＩＭＡ）回帰、カーマン（Karman）フィルタリングなどを含んでよい。
【００３５】
（４）関数処理ステップ。関数は本明細書において、これらに限られないが、線形マッピング関数、情報エントロピー包含変換関数、解析関数、超越関数などを含んでよい。
【００３６】
（５）データ編集処理ステップ。ステップは、これらに限られないが、データマージ、データふるい分け、データ分離、データ変換などを含んでよい。
【００３７】
ステップＳ１０１において、オリジナルネットワークモデルにより操作されたデータ処理手順内の少なくとも１つのデータ処理ステップが、解析され、記録されてよい。さらに、オリジナルネットワークモデルは、各データ処理ステップを実行するときに操作データを生成する。操作データは本明細書において、これらに限られないが、実際の操作プロセスにおいてオリジナルネットワークモデルにより使用される入力データ及び中間データ並びに取得される出力データか、又は、訓練又はテストプロセスにおいてオリジナルネットワークモデルによりラベル付けされ使用される入力データ、中間データ、及び出力データか、又は、オリジナルネットワークモデルに対して手動で注入されるアナログ入力データ及び中間データ並びに取得された出力データかを含んでよい。ステップにおいて、いくつか又はすべての操作データが、参照データセットとして各データ処理ステップの操作データから抽出される。
【００３８】
Ｓ１０２：データ処理手順及び参照データセットに従い少なくとも１つのサブネットワークを階層的に構築する。
【００３９】
データ処理手順は、オリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを記録し、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。階層構築のアイデアは、オリジナルネットワークモデルの各データ処理ステップが相当の関数を有するサブネットワークにより実行でき、ゆえに、１つのデータ処理ステップが１つのサブネットワークのネットワークメイン構造に対応できるということであり、さらに、サブネットワークの入力／出力層がデータ処理ステップの入力／出力データにより決定できるということである。ゆえに、ステップにおいて、少なくとも１つのサブネットワークは、オリジナルネットワークモデルのデータ処理手順と抽出された参照データセットとに従い階層的に構築できる。例えば、オリジナルネットワークモデルのデータ処理手順が、合計で４つのデータ処理ステップ、すなわち「ステップａ１→ステップａ２→ステップａ３→ステップａ４」により表されると仮定し、ステップａ１は第１の層におけるサブネットワークｂ１に相当し、サブネットワークｂ１のメインネットワーク構造はステップａ１により決定され、サブネットワークｂ１の入力層及び出力層はステップａ１から抽出された入力／出力データにより決定される。同様に、ステップａ２は第２の層におけるサブネットワークｂ２に相当し、サブネットワークｂ２のメインネットワーク構造がステップａ２により決定され、サブネットワークｂ２の入力層及び出力層がステップａ２から抽出された入力／出力データにより決定される。類推により、ステップａ４は第４の層におけるサブネットワークｂ４に相当し、サブネットワークｂ４のメインネットワーク構造がステップａ４により決定され、サブネットワークｂ４の入力層及び出力層がステップａ４から抽出された入力／出力データにより決定される。例に従い、ターゲットネットワークモデルが、層化結合を用いてサブネットワークｂ１とサブネットワークｂ２とサブネットワークｂ３とサブネットワークｂ４とにより形成されることがさらに習得できる。
【００４０】
Ｓ１０３：参照データセットを使用することにより少なくとも１つのサブネットワークに対して最適化訓練を実行する。
【００４１】
最適化訓練の目的は、参照データセット内のデータを参照して少なくとも１つのサブネットワークのパラメータを連続的に調整し、それにより、サブネットワークの性能インジケータがオリジナルネットワークモデル内の対応するデータ処理ステップの性能インジケータの同じかさらにはより高いレベルに到達することである。サブネットワークのパラメータは本明細書において、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む。特定の実現の間、各データ処理ステップから抽出された入力／出力データの少なくとも１つのグループが、データ処理ステップに相当するサブネットワークに対して最適化訓練を実行することに使用される。ステップＳ１０２の例に従い、参照データセット内のステップａ１に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ１に対して最適化訓練を実行することに使用され、ステップａ２に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ２に対して最適化訓練を実行することに使用される。類推により、ステップａ４に対応する入力／出力データの少なくとも１つのグループが、サブネットワークｂ４に対して最適化訓練を実行することに使用される。
【００４２】
Ｓ１０４：ターゲットネットワークモデルを形成するために、最適化訓練が実行された少なくとも１つのサブネットワークをマージする。
【００４３】
ステップにおいて、最適化訓練が実行された少なくとも１つのサブネットワークは、連続的に反復的にマージされる必要がある。マージプロセスにおいて、接合最適化が、連続的マージを用いて形成されるネットワークに対して実行される必要がさらにあり、それにより、完全なターゲットネットワークモデルが最終的に形成される。反復的マージ及び接合最適化プロセスを使用することにより形成されるターゲットネットワークモデルは、ディープネットワークであり、比較的高い性能信頼性を有する。
【００４４】
本出願の本実施例における機械学習に基づくネットワークモデル構築方法を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、ターゲットネットワークモデルを形成するためにマージされ、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
【００４５】
本出願の一実施例が、別の機械学習に基づくネットワークモデル構築方法を開示する。図２を参照し、方法は下記のステップＳ２０１乃至ステップＳ２０４を含み得る。
【００４６】
Ｓ２０１：データ処理手順においてオリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得する。
【００４７】
オリジナルネットワークモデルは、分析、制御、及び決定のツールとして使用され、完全なデータ処理手順を形成するために操作プロセスにおいて一連のデータ処理ステップを実行する。ステップにおいて、オリジナルネットワークモデルにより操作されたデータ処理手順内の少なくとも１つのデータ処理ステップが、解析され、記録されてよい。例えば、オリジナルネットワークモデルのデータ処理手順において実行される「ステップａ１→ステップａ２→ステップａ３→ステップａ４」である合計４つのステップが取得されると仮定される。
【００４８】
本出願の一実施例において、被処理データがオリジナルデータとして参照される。オリジナルデータは、出力結果を最終的に取得するために、一連のデータ処理ステップを使用することにより処理され、すなわち、オリジナルネットワークモデル内のデータ処理ステップを使用することにより処理される。各データ処理ステップは、特定の処理関数を完了すること、例えば、統計を通してデータを分類し又はデータを取得することに使用される。データ処理ステップは、データ処理手順を形成する。データ処理手順は、データ処理ステップを含む１つ以上のデータ処理サブ手順を含んでよい。各データ処理サブ手順を使用することにより取得される結果が、出力サブ結果として参照される。出力サブ結果が取得された後、データサブ結果が、出力結果を取得するためにマージされる。オリジナルネットワークモデルにおいて、各データ処理ステップは、ネットワークノードとして参照され、各データ処理サブ手順は、オリジナルネットワークモデル内のサブ経路として参照され、各サブ経路は、データ処理ステップの実行シーケンスに従い連続してネットワークノードを順次結合することにより形成された一方向経路である。オリジナルネットワークモデルは、サブ経路を組み合わせることにより取得されるネットワークモデルである。
【００４９】
例えば、オリジナルネットワークモデルを形成するデータ処理手順が、３つのデータ処理サブ手順を含む。第１のデータ処理サブ手順が、データ分類処理ステップに対応するノード１１と、データ統計処理ステップに対応するノード１２と、データ回帰処理ステップに対応するノード１３とを含む。第２のデータ処理サブ手順が、データクラスタリング処理ステップに対応するノード２１と、データ関数マッピング処理ステップに対応するノード２２とを含む。第３のデータ処理サブ手順が、データ成分分析処理ステップに対応するノード３１と、データ統計処理ステップすなわちノード１２に対応するノード３２と、データ回帰処理ステップすなわちノード１３に対応するノード３３と、データシーケンス分析処理ステップに対応するノード３４とを含む。オリジナルデータは、第１の出力サブ結果を取得するために、第１のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。オリジナルデータは、第２の出力サブ結果を取得するために、第２のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。オリジナルデータは、第３の出力サブ結果を取得するために、第３のデータ処理サブ手順内のデータ処理ステップを使用することにより処理される。データマージ（オリジナルネットワークモデルにおけるノード００に対応する）ステップが、取得された第１の出力サブ結果と第２の出力サブ結果と第３の出力サブ結果とに対して実行されて、出力結果を取得する。図２Ａに示されるように、図２Ａは、本出願の本実施例によるオリジナルネットワークモデルの概略図である。
【００５０】
ステップＳ２０１において、オリジナルネットワークモデルを形成するデータ処理手順内の少なくとも１つのデータ処理ステップ、例えば、図２Ａにおけるノード１１に対応するデータ分類処理ステップが、取得されてよい。
【００５１】
Ｓ２０２：オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得する。
【００５２】
オリジナルネットワークモデルは、各データ処理ステップを実行するときに操作データを生成する。操作データは本明細書において、これらに限られないが、実際の操作プロセスにおいてオリジナルネットワークモデルにより使用される入力データ及び中間データ並びに取得される出力データか、又は、訓練又はテストプロセスにおいてオリジナルネットワークモデルによりラベル付けされ使用される入力データ、中間データ、及び出力データか、又は、オリジナルネットワークモデルに対して手動で注入されるアナログ入力データ及び中間データ並びに取得された出力データかを含んでよい。ステップにおいて、オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データが取得される。Ｓ２０１において説明された例に従い、オリジナルネットワークモデルがステップａ１を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ２を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ３を実行するときに生成された操作データと、オリジナルネットワークモデルがステップａ４を実行するときに生成された操作データとが、それぞれ取得される必要がある。
【００５３】
例えば、ステップにおいて、各データ処理ステップが実行されるときに生成される操作データが取得されてよく、例えば、ノード１１に対応するデータ分類処理ステップが実行されるときに生成される操作データである。
【００５４】
Ｓ２０３：オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データからサンプルとして参照データセットを抽出する。
【００５５】
特定の実現の間、本実施例において説明される例に従い、入力／出力データの２つのグループが、オリジナルネットワークモデルによりステップａ１を実行するプロセスにおいて生成され、ステップにおいて、入力／出力データの２つのグループのうち１つが、参照データセットに追加されるようにサンプルとして抽出されてよく、あるいは、入力／出力データの２つのグループが双方、参照データセットに追加されるように抽出されてよい。類推により、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む。
【００５６】
本実施例におけるステップＳ２０１乃至ステップＳ２０３は、図１に示されるステップＳ１０１の特定の詳細化されたステップであり得る。
【００５７】
Ｓ２０４：各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索する。
【００５８】
上記で説明されたように、データ処理ステップは、これらに限られないが下記のうち少なくとも１つを含んでよい。（１）多様化されていない機械学習ステップ、（２）データ統計ステップ、（３）シーケンス分析ステップ、（４）関数処理ステップ、及び（５）データ編集処理ステップ。データ処理ステップの各タイプは、サブネットワークの相当ネットワークメイン構造を有する。相当関係について、下記の表１を参照する。
【００５９】
【表１】
0006549332.tif 000002
表１の右列において、複数のネットワークメイン構造が存在する場合、それは、任意のネットワークメイン構造か又はネットワークメイン構造の任意の組み合わせが左列のデータ処理ステップに対応することを示す。例えば、データ統計ステップに相当するネットワークメイン構造が、プーリング層、畳み込み層、及び全結合層を含む。ゆえに、プーリング層と畳み込み層と全結合層とのうち任意の１つ又は組み合わせが、データ統計ステップに相当する。実際の適用の間、１つのデータ処理ステップがサブネットワークの複数の相当ネットワークメイン構造を有する場合、サブネットワークの最終的なネットワークメイン構造が、実際の訓練効果のフィードバックを使用することにより決定されてよく、例えば、誤り率が最小であるネットワークメイン構造が選択される。表１は網羅的でなく、別のデータ処理ステップ及び相当のネットワークメイン構造が存在する場合に表１に追加されてよいことが理解され得る。
【００６０】
各データ処理ステップに対応する相当ネットワークメイン構造が、表１に予め記憶される。例えば、データ分類処理ステップの相当処理が、全結合層及び／又はＭａｘｏｕｔ層のネットワークメイン構造を使用することにより完了されてよい。本出願の一実施例において、各ネットワークメイン構造は、少なくとも１つのニューロンを含むニューラルサブネットワークであり得る。本出願の一実施例において、ニューロンは、狭い又は一般化されたニューロンであり得る。ステップにおいて、サブネットワークの相当ネットワークメイン構造が、相当対応関係テーブルに従いオリジナルネットワークモデル内の各データ処理ステップについて決定される。
【００６１】
Ｓ２０５：各データ処理ステップに対応する入力／出力データの少なくとも１つのグループに従い、データ処理ステップに相当するサブネットワークの入力層構造及び出力層構造を決定する。
【００６２】
ステップにおいて、サブネットワークの相当入力層の次元が、各データ処理ステップに対応する入力データに従い決定される必要があり、サブネットワークの相当出力層の次元が、各データ処理ステップに対応する出力データに従い決定される必要がある。すなわち、データ処理ステップに相当するサブネットワークの入力層の次元は、データ処理ステップに対応する入力データのものと同じであり、データ処理ステップに相当するサブネットワークの出力層の次元は、データ処理ステップに対応する出力データのものと同じである。次元は本明細書において、データソース、データ量などを含んでよい。
【００６３】
Ｓ２０６：各データ処理ステップに相当するサブネットワークのネットワークメイン構造、入力層構造、及び出力層構造に従い、データ処理ステップに相当するサブネットワークを構築する。１つのサブネットワークは１つのデータ処理ステップに相当する。
【００６４】
本出願の一実施例において、１つのサブネットワークが１つのデータ処理ステップに相当することは、同じ入力で、サブネットワークを使用する処理を用いて取得される処理結果が、データ処理ステップを使用する処理を用いて取得される処理結果と同一か又は類似することを意味する。類似することは、２つの処理結果間の差が予め設定された閾値より小さいことを意味する。
【００６５】
ステップにおいて、入力層構造及び出力層構造は、サブネットワークのネットワークメイン構造に基づき追加されて、サブネットワークのネットワーク構造を形成する。本実施例におけるステップＳ２０４乃至ステップＳ２０６は、図１に示されるステップＳ１０２の特定の詳細化されたステップであり得る。
【００６６】
Ｓ２０７：参照データセットから各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを順次読み出す。
【００６７】
Ｓ２０８：各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当するサブネットワークのパラメータに対して最適化調整を実行する。パラメータは、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む。
【００６８】
ＮＮ訓練最適化アルゴリズムは、これらに限られないが下記のうち少なくとも１つを含んでよい：確率的勾配降下アルゴリズム、ＲＭＳＰｒｏｐ（最適化アルゴリズム）、モメンタム法、ＡｄａＧｒａｄ（異なる学習レートをパラメータに割り振るアルゴリズム）、及びＡｄａＤｅｌｔａ（最適化アルゴリズム）。ステップＳ２０７及びＳ２０８において、各データ処理ステップから抽出された入力／出力データの少なくとも１つのグループが、データ処理ステップに相当するサブネットワークに対して最適化訓練を実行することに使用される。本実施例において説明される例に従い、ステップａ１に対応する入力／出力データの少なくとも１つのグループが、ステップａ１に相当するサブネットワークｂ１に対して最適化訓練を実行するために参照データセットから読み出され、ステップａ２に対応する入力／出力データの少なくとも１つのグループが、ステップａ２に相当するサブネットワークｂ２に対して最適化訓練を実行するために参照データセットから読み出される。類推により、ステップａ４に対応する入力／出力データの少なくとも１つのグループが、ステップａ４に相当するサブネットワークｂ４に対して最適化訓練を実行するために参照データセットから読み出される。本実施例におけるステップＳ２０７及びステップＳ２０８は、図１に示されるステップＳ１０３の特定の詳細化されたステップであり得る。
【００６９】
ステップＳ２０４乃至ステップＳ２０８について、図３ａを参照する。図３ａは、オリジナルネットワークモデル内のデータ処理ステップａ１に相当するサブネットワークｂ１に対する最適化訓練を構築し、実行するプロセスの概略図である。
【００７０】
Ｓ２０９：シード（seed）ネットワークとして少なくとも１つのサブネットワークから任意のサブネットワークを選択する。
【００７１】
Ｓ２１０：予め設定されたマージシーケンスに従い被マージ対象（to-be-merged  object）ネットワークとして少なくとも１つのサブネットワークからシードネットワーク以外のサブネットワークを選択する。マージシーケンスはデータ処理ステップに従い設定されてよく、予め設定されたマージシーケンスは下記のうちいずれか１つを含む：少なくとも１つのデータ処理ステップの実行シーケンス、少なくとも１つのデータ処理ステップの逆実行シーケンス、及び少なくとも１つのサブネットワーク間の構造類似度のシーケンス。
【００７２】
ステップＳ２０９及びステップＳ２１０において、本実施例で説明される例に従い、オリジナルネットワークモデルは４つのデータ処理ステップ：「ステップａ１→ステップａ２→ステップａ３→ステップａ４」を実行し、相当サブネットワークはそれぞれ、サブネットワークｂ１、サブネットワークｂ２、サブネットワークｂ３、及びサブネットワークｂ４である。サブネットワークｂ２がシードネットワークであると仮定して、（１）少なくとも１つのデータ処理ステップの実行シーケンスに従い、ステップａ３に相当するサブネットワークｂ３が被マージ対象ネットワークとして選択されるべきであり、（２）選択が少なくとも１つのデータ処理ステップの実行シーケンスに対して逆のシーケンスに従い実行される場合、ステップａ１に相当するサブネットワークｂ１が被マージ対象ネットワークとして選択されるべきであり、（３）選択が少なくとも１つのサブネットワーク間の構造類似度のシーケンスに従い実行される場合、サブネットワークｂ２との間で最も高い構造類似性を有するサブネットワークが被マージ対象ネットワークとして選択されるべきである。サブネットワークｂ２及びサブネットワークｂ４のネットワークメイン構造が双方、全結合層構造であると仮定して、サブネットワークｂ４が被マージ対象ネットワークとして選択される。
【００７３】
Ｓ２１１：シードネットワークと被マージ対象ネットワークとの間の入力層及び出力層を分離する（Split）。
【００７４】
図３ａに示されるサブネットワークのネットワーク構造によれば、サブネットワークの入力層と出力層とはステップにおいて双方分離される必要がある。シードネットワークが上位層サブネットワークとして使用され、被マージ対象ネットワークが下位層サブネットワークとして使用される場合、シードネットワークの入力層と被マージ対象ネットワークの出力層とが双方分離される必要がある。シードネットワークが下位層サブネットワークとして使用され、被マージ対象ネットワークが上位層サブネットワークとして使用される場合、シードネットワークの出力層と被マージ対象ネットワークの入力層とが双方分離される必要がある。
【００７５】
Ｓ２１２：全結合方式で（in  a  fully  connected  manner）シードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する。マージ結合が成功した場合、ステップＳ２１４に進み、あるいはマージ結合が失敗した場合、ステップＳ２１３に進む。
【００７６】
全結合方式は、事前データＡ及びターゲットデータＢについて、Ｂ＝Ｗ×Ａが設定されることを意味する。Ｗは重み行列であり、×は行列乗算を示す。ステップにおいて、シードネットワークはＡであり、被マージ対象ネットワークはＢであると設定される。シードネットワークにおいて出力として使用される各ニューロンは、指定された重み行列Ｗのマッピングを用いて被マージ対象ネットワークにおいて入力として使用されるニューロンにマッピングされ、すなわち、シードネットワークにおいて出力として使用される各ニューロンと被マージ対象ネットワークにおいて入力として使用される各ニューロンとの間のマッピング関係が確立される。例えば、図３ｂにおいて、サブネットワークｂ１内の各ニューロンとサブネットワークｂ２の各ニューロンとの間のマッピング関係が、重み行列を使用することにより全結合方式で確立されて、サブネットワークｂ１とサブネットワークｂ２との間の結合を確立する。
【００７７】
Ｓ２１３：シードネットワークと被マージ対象ネットワークとの間に中間隠れ層を追加し、中間隠れ層を使用することにより全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する。
【００７８】
Ｓ２１４：シードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行する。
【００７９】
本出願の一実施例において、シードネットワークと被マージ対象ネットワークとは双方、サブＮＮであり得、最適化調整が、ステップ内で決定された入力／出力データを使用することによりサブＮＮに対して実行されてよい。
【００８０】
マージ結合を用いて取得されたネットワークの入力層は、下位層サブネットワークの入力層であり、マージ結合を用いて取得されたネットワークの出力層は、上位層サブネットワークの出力層である。ゆえに、ステップにおいて、最適化調整が、上位層サブネットワークに相当するデータ処理ステップに対応する出力データと下位層サブネットワークに相当するデータ処理ステップに対応する入力データとを参照して、マージ結合を用いて取得されたネットワークのパラメータに対して実行される必要がある。
【００８１】
Ｓ２１５：ターゲットネットワークモデルを形成するために、少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得されたネットワークを使用することによりステップＳ２１０乃至ステップＳ２１４のプロセスを反復する。
【００８２】
本出願の一実施例において、ステップＳ２１０乃至ステップＳ２１４は、繰り返し実行されてよい。各データ処理サブ手順内のデータ処理ステップに対応するサブネットワークは、予め設定されたマージシーケンスに従い、例えば、各データ処理サブ手順内のデータ処理ステップの実行シーケンスに従い順次マージされて、マージされたサブネットワークを取得する。例えば、第１のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第１のサブＮＮを取得する。同様に、第２のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第２のサブＮＮを取得し、第３のデータ処理サブ手順内のデータ処理ステップに対応するサブネットワークがマージされて、マージされた第３のサブＮＮを取得する。ノード００に対応するマージ処理が、予め設定されたマージシーケンスでマージされた第１のサブＮＮとマージされた第２のサブＮＮとマージされた第３のサブＮＮとに対して実行されて、ターゲットネットワークモデル、例えば、ＮＮモデルを取得する。
【００８３】
本実施例におけるステップＳ２０９乃至ステップＳ２１５は、図１に示されるステップＳ１０４の特定の詳細化されたステップであり得る。ステップＳ２０９乃至ステップＳ２１５について、図３ｂ及び図３ｃを参照する。図３ｂ及び図３ｃは、それぞれ、サブネットワークｂ１及びサブネットワークｂ２をマージするプロセスの概略図と、マージ結合を用いて取得されたネットワークに対して最適化訓練を実行するプロセスの概略図である。
【００８４】
本出願の一実施例において、中間隠れ層は、前のサブネットワークの出力を次のサブネットワークの入力に適合させることに使用される。例えば、図３ｂにおいて、サブネットワークｂ１の出力のフォーマットがサブネットワークｂ２の入力のフォーマットに合致しない場合、サブネットワークｂ１の出力が中間隠れ層の処理を用いて調整されてよく、それにより、調整されたサブネットワークｂ１の出力の形式はサブネットワークｂ２の入力の形式に合致する。
【００８５】
本出願の本実施例における機械学習に基づくネットワークモデル構築方法を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、マージされてターゲットネットワークモデルを形成し、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
【００８６】
本出願の一実施例が、機械学習に基づくネットワークモデル構築装置をさらに開示する。図４を参照し、装置は下記のユニットを実行し得る：
オリジナルネットワークモデルのデータ処理手順と、データ処理手順においてオリジナルネットワークモデルにより生成された参照データセットとを取得するように構成された取得モジュール１０１、
データ処理手順及び参照データセットに従い少なくとも１つのサブネットワークを階層的に構築するように構成された階層構築モジュール１０２、
参照データセットを使用することにより少なくとも１つのサブネットワークに対して最適化訓練を実行するように構成された最適化訓練モジュール１０３、及び、
ターゲットネットワークモデルを形成するために、最適化訓練が実行された少なくとも１つのサブネットワークをマージするように構成されたマージモジュール１０４。
【００８７】
特定の実現の間、取得モジュール１０１を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
データ処理手順においてオリジナルネットワークモデルにより実行された少なくとも１つのデータ処理ステップを取得するように構成されたステップ取得ユニット１００１、
オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データを取得するように構成されたデータ取得ユニット１００２、及び、
オリジナルネットワークモデルが各データ処理ステップを実行するときに生成された操作データから参照データセットを抽出するように構成されたサンプリング抽出ユニット１００３であり、参照データセットは、各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを含む、サンプリング抽出ユニット１００３。
【００８８】
特定の実現の間、階層構築モジュール１０２を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
各データ処理ステップに相当するサブネットワークのネットワークメイン構造について、予め設定された相当対応関係テーブルを検索するように構成された検索ユニット２００１、
各データ処理ステップに対応する入力／出力データの少なくとも１つのグループに従い、データ処理ステップに相当するサブネットワークの入力層構造及び出力層構造を決定するように構成された決定ユニット２００２、及び、
各データ処理ステップに相当するサブネットワークのネットワークメイン構造、入力層構造、及び出力層構造に従い、データ処理ステップに相当するサブネットワークを構築するように構成された構築ユニット２００３であり、１つのサブネットワークは１つのデータ処理ステップに相当する、構築ユニット２００３。
【００８９】
特定の実現の間、最適化訓練モジュール１０３を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
参照データセットから各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを順次読み出すように構成された読み出しユニット３００１、及び、
各データ処理ステップに対応する入力／出力データの少なくとも１つのグループを参照し、及びＮＮ訓練最適化アルゴリズムに従い、各データ処理ステップに相当するサブネットワークのパラメータに対して最適化調整を実行するように構成された調整ユニット３００２であり、パラメータは、ネットワークノード、重み、及び訓練レート、のうち少なくとも１つを含む、調整ユニット３００２。
【００９０】
特定の実現の間、マージモジュール１０４を実行するプロセスにおいて、装置は下記のユニットを具体的に実行する：
シードネットワークとして少なくとも１つのサブネットワークから任意のサブネットワークを選択するように構成されたシード選択ユニット４００１、
予め設定されたマージシーケンスに従い被マージ対象ネットワークとして少なくとも１つのサブネットワークからシードネットワーク以外のサブネットワークを選択するように構成された被マージ対象選択ユニット４００２であり、予め設定されたマージシーケンスは、下記：少なくとも１つのデータ処理ステップの実行シーケンス、少なくとも１つのデータ処理ステップの逆実行シーケンス、及び少なくとも１つのサブネットワーク間の構造類似度のシーケンス、のうちいずれか１つを含む、被マージ対象選択ユニット４００２、
シードネットワークと被マージ対象ネットワークとの間の入力層及び出力層を分離するように構成された分離ユニット４００３、
全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行するように構成されたマージ結合ユニット４００４、及び、
マージ結合が成功した場合にシードネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループと被マージ対象ネットワークに相当するデータ処理ステップに対応する入力／出力データの少なくとも１つのグループとを参照し、マージ結合を用いて取得されたネットワークのパラメータに対して最適化調整を実行するように構成された最適化調整ユニット４００５。
【００９１】
シード選択ユニット４００１は、ターゲットネットワークモデルを形成するために、少なくとも１つのサブネットワークのすべてに対してマージ結合が実行されるまで、シードネットワークとしてマージ結合を用いて取得されたネットワークを使用することにより、被マージ対象選択ユニット４００２と分離ユニット４００３とマージ結合ユニット４００４と最適化調整ユニット４００５とにより実行される対応処理を反復するようにさらに構成される。
【００９２】
マージモジュール１０４を実行するプロセスにおいて、装置は下記ユニットをさらに実行する：
マージ結合が失敗した場合にシードネットワークと被マージ対象ネットワークとの間に中間隠れ層を追加するように構成された追加ユニット４００６であり、それにより、マージ結合ユニット４００４は中間隠れ層を使用することにより全結合方式でシードネットワーク及び被マージ対象ネットワークに対してマージ結合を実行する、追加ユニット４００６。
【００９３】
図４に示される装置は、図１乃至図３の実施例において説明された方法内のステップを実行するように構成できる。ゆえに、図４に示される装置のユニットの機能については図３に示されるステップの説明を参照し、詳細はここで再度説明されない。
【００９４】
方法と同様に、本出願の本実施例における機械学習に基づくネットワークモデル構築装置を用いて、オリジナルネットワークモデルのデータ処理手順が分析され、データ処理手順においてオリジナルネットワークモデルにより生成された実際の操作データが参照データセットとして使用され、少なくとも１つの相当サブネットワークが階層的に構築され、最適化訓練が少なくとも１つのサブネットワークに対して実行され、ターゲットネットワークモデルがマージを用いて最終的に形成される。ターゲットネットワークモデルの層は、オリジナルネットワークモデルの実際の操作データを使用することにより柔軟かつ迅速に構築され、次いで、ターゲットネットワークモデルを形成するためにマージされ、まさに最初からターゲットネットワークモデルの構造全体を設計する必要がない。ゆえに、モデル構築プロセスは簡素化され、モデル構築効率が効果的に改善される。ターゲットネットワークモデルに対する最適化調整は分割方式で実行され、最適化調整が各サブネットワークに対して最初実行され、次いで、少なくとも１つのサブネットワークがマージされ、それにより、ターゲットネットワークモデルの最適化調整プロセスがより柔軟になり、モデル構築効率がさらに改善される。
【００９５】
当業者は、本実施例における方法の手順のうちすべて又はいくつかが、関連ハードウェアに命令するコンピュータプログラムにより実現されてよいことを理解し得る。プログラムは、コンピュータ読取可能記憶媒体に記憶されてよい。実行されたとき、プログラムは、前述の実施例における方法の手順を含み得る。記憶媒体は、磁気ディスク、光ディスク、読取専用メモリ（read-only  memory）（ＲＯＭ）、ランダムアクセスメモリ（random  access  Memory）（ＲＡＭ）などであり得る。
【００９６】
図５は、本出願の一実施例による機械学習に基づくネットワークモデル構築装置の概略構成図である。図５に示されるように、ネットワークモデル構築装置５０は、プロセッサ５０１、不揮発コンピュータ読取可能メモリ５０２、ディスプレイユニット５０３、及びネットワーク通信インターフェース５０４を含んでよい。これらコンポーネントは、バス５０５を通して通信を実行する。
【００９７】
本実施例において、メモリ５０２は、アプリケーションプログラム５０６とネットワーク通信モジュール５０７とオペレーティングシステム５０８とを含む複数のプログラムモジュールを記憶する。
【００９８】
プロセッサ５０１は、メモリ５０２内のアプリケーションプログラムに含まれる様々なモジュール（図には示されていない）を読み出して、ネットワークモデル構築装置の様々な機能アプリケーション及びデータ処理を実行することができる。本実施例において１つ以上のプロセッサ５０１が存在してよく、プロセッサ５０１は、ＣＰＵ、処理ユニット／モジュール、ＡＳＩＣ、論理モジュール、プログラマブルゲートアレイ等であり得る。
【００９９】
オペレーティングシステム５０８は、Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、又はＡｎｄｒｏｉｄ（登録商標）オペレーティングシステムであり得る。オペレーティングシステム５０８は、ネットワークモデル構築モジュール５０９を含んでよい。ネットワークモデル構築モジュール５０９は、図４に示される装置の機能モジュールにより形成されたコンピュータ実行可能命令セット５０９−１と、対応するメタデータ及びヒューリスティックアルゴリズム５０９−２とを含んでよい。これらコンピュータ実行可能命令セットは、プロセッサ５０１により実行されて図１若しくは図２に示される方法又は図４に示される装置の機能を完了することができる。
【０１００】
アプリケーションプログラム５０６は、端末デバイスにインストールされ実行するアプリケーションプログラムを含んでよい。
【０１０１】
本実施例において、ネットワーク通信インターフェース５０４は、ネットワーク通信モジュール５０７と協働してネットワークモデル構築装置５０の様々なネットワーク信号の受信及び送信を完了する。
【０１０２】
ディスプレイユニット５０３は、関連情報の入力及び表示を完了するように構成されたディスプレイパネルを有する。
【０１０３】
さらに、本出願の実施例における機能モジュールは１つの処理ユニットに統合されてよく、あるいは、モジュールの各々が物理的に単体で存在してもよく、あるいは、２つ以上のモジュールが１つのユニットに統合されてもよい。統合されたユニットは、ハードウェアの形式で実現されてよく、あるいはソフトウェア機能ユニットの形式で実現されてもよい。実施例における機能モジュールは、１つの端末内又はネットワークノードに位置してよく、あるいは複数の端末上に又は複数のネットワークノードに分散されてもよい。
【０１０４】
ゆえに、本出願は、コンピュータ読取可能命令を記憶した記憶媒体をさらに提供する。コンピュータ読取可能命令は、少なくとも１つのプロセッサにより実行されて、上記の任意の方法実施例を実行する。
【０１０５】
上記で開示されたものは専ら本出願の好適な実施例であり、明らかに、本出願の保護範囲を限定することは意図されない。ゆえに、本出願の特許請求の範囲に従い行われる均等的変更は本出願の範囲内に入るものとする。
【図１】
0006549332.tif 000003
【図２】
0006549332.tif 000004
【図２Ａ】
0006549332.tif 000005
【図３ａ】
0006549332.tif 000006
【図３ｂ】
0006549332.tif 000007
【図３ｃ】
0006549332.tif 000008
【図４】
0006549332.tif 000009
【図５】
0006549332.tif 000010