(57)【要約】本開示の実施例はサブネットワークサンプリング方法、ハイパーネットワークトポロジー構造の構築方法及び装置に関する。サブネットワークサンプリング方法は、ハイパーネットワークトポロジー構造に適用され、ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ｎ＞０として、且つｎが正整数であり、方法は、第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得し、１＞Ｎ≧ｎとすることと、第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定することと、サブ構造Ａ（Ｎ）においてＡ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定することと、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えることとを含む。
2022502718.tif 000002
【特許請求の範囲】
【請求項１】
サブネットワークサンプリング方法であって、ハイパーネットワークトポロジー構造に適用され、前記ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ｎ＞０として、且つ前記ｎが正整数であり、
前記サブネットワークサンプリング方法は、
第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得することであって、１＞Ｎ≧ｎとすることと、
第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定することと、
前記サブ構造Ａ（Ｎ）において前記Ａ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定することと、
前記バッチ正規化モジュールＣ（Ｂ）により前記サブ構造Ａ（Ｎ）をサブネットワークに加えることとを含む、前記サブネットワークサンプリング方法。
【請求項２】
前記サブネットワークサンプリング方法はさらに、
第１層の１つのサブ構造Ａ（１）を選択・取得することを含む
請求項１に記載のサブネットワークサンプリング方法。
【請求項３】
前記バッチ正規化モジュールＣ（Ｂ）により前記サブ構造Ａ（Ｎ）をサブネットワークに加えることは、前記正規化モジュールＣ（Ｂ）を前記サブ構造Ａ（Ｎ−１）に接続することにより、前記サブ構造Ａ（Ｎ）を前記サブネットワークに加えることを含む
請求項１又は２に記載のサブネットワークサンプリング方法。
【請求項４】
前記サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、
前記正規化モジュールＣ（Ｂ）を前記サブ構造Ａ（Ｎ）に接続することは、前記正規化モジュールＣ（Ｂ）を前記サブ構造Ａ（Ｎ−１）の出力モジュールに接続することをさらに含む
請求項３に記載のサブネットワークサンプリング方法。
【請求項５】
ハイパーネットワークトポロジー構造の構築方法であって、
ｎ層の構造を構築することであって、ｎ＞０とし、且つ前記ｎが正整数であることと、
各層にｍ個のサブ構造を設定することであって、ｍ＞０とすることと、
第二層乃至第ｎ層に対して、各サブ構造に前記ｍ個のバッチ正規化モジュールを設定することと、
第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築することとを含む、前記ハイパーネットワークトポロジー構造の構築方法。
【請求項６】
サブネットワークサンプリング装置であって、ハイパーネットワークトポロジー構造のサブネットワークサンプリングに適用され、前記ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ｎ＞０とし、且つｎ＞前記ｎが正整数であり、前記サブネットワークサンプリング装置は、
第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得するように構成される選択・取得ユニットであって、１＞Ｎ≧ｎとする選択・取得ユニットと、
第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定するように構成される決定ユニットと、
前記サブ構造Ａ（Ｎ）において前記Ａ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定する選択ユニットと、
前記バッチ正規化モジュールＣ（Ｂ）により前記サブ構造Ａ（Ｎ）をサブネットワークに加えるように構成される接続ユニットとを含む、前記サブネットワークサンプリング装置。
【請求項７】
前記選択・取得ユニットがさらに第１層の１つのサブ構造Ａ（１）を選択・取得するように構成される
請求項６に記載のサブネットワークサンプリング装置。
【請求項８】
前記接続ユニットがさらに前記正規化モジュールＣ（Ｂ）を前記サブ構造Ａ（Ｎ−１）に接続することにより、前記サブ構造Ａ（Ｎ）を前記サブネットワークに加えるように構成される
請求項６又は７に記載のサブネットワークサンプリング装置。
【請求項９】
前記サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、前記接続ユニットがさらに前記正規化モジュールＣ（Ｂ）を前記サブ構造Ａ（Ｎ−１）の出力モジュールに接続するように構成される
請求項８に記載のサブネットワークサンプリング装置。
【請求項１０】
ハイパーネットワークトポロジー構造の構築装置であって、層構築ユニット、サブ構造構築ユニット及び関係構築ユニットを含み、
前記層構築ユニットはｎ層の構造を構築するように構成され、ｎ＞０とし、且つ前記ｎが正整数であり、
前記サブ構造構築ユニットは各層にｍ個のサブ構造を設定するように構成され、ｍ＞０とすし、
前記サブ構造構築ユニットはさらに第二層乃至第ｎ層に対して、各サブ構造に前記ｍ個のバッチ正規化モジュールを設定するように構成され、
前記関係構築ユニットは第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築するように構成される、前記ハイパーネットワークトポロジー構造の構築装置。
【請求項１１】
電子装置であって、
命令を記憶するように構成されるメモリと、
前記メモリに記憶される命令を呼び出して請求項１−４のいずれか１項に記載のサブネットワークサンプリング方法又は請求項５に記載のハイパーネットワークトポロジー構造の構築方法を実行するように構成されるプロセッサとを含む、前記電子装置。
【請求項１２】
コンピュータ可読記憶媒体であって、
命令が記憶され、前記命令がプロセッサに実行される時、請求項１−４のいずれか１項に記載のサブネットワークサンプリング方法又は請求項５に記載のハイパーネットワークトポロジー構造の構築方法を実行する、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１９年０８月２９日に提出した中国特許出願第２０１９１０８１０１９９．７号の優先権を主張し、その内容はその全体が参照により本明細書に組み込まれる。
【０００２】
本開示の実施例はニューラルネットワークに関し、特にサブネットワークサンプリング方法、ハイパーネットワークトポロジー構造の構築方法及び装置に関する。
【背景技術】
【０００３】
現在、ニューラルネットワークが各分野に幅広く適用され、ニューラルアーキテクチャ検索（ＮＡＳ）などのような一部の分野において、検索ごとに単独したニューラルネットワークを生成し且つ訓練して指標を選択・取得する方法は評価効率が低いという問題に面し、検索アルゴリズムの速度を大幅に制限する。この問題を解決するために、あるＮＡＳ方法は、すべての検索ネットワーク構造空間を含む１つのハイパーネットワークを訓練し、ハイパーネットワーク内部のすべてのサブ構造が異なるサブネットワークを構築する時にパラメータを共有し、ハイパーネットワークのみをある程度まで訓練した後、サブネットワークをサンプリングし且つ指標を評価することができ、サブネットワークを改めた訓練する必要がないという方法を用いる。サブ構造に一般的に複数のバッチ正規化モジュール（ＢＮ層：ｂａｔｃｈ  ｎｏｒｍａｌｉｚａｔｉｏｎ）があり、前の層が出力した特徴に対してバッチ正規化を行い、中間層のデータ分布の変化によって生じる訓練が困難であるという問題を解決する。現在、バッチ正規化モジュール層が既に畳み込みニューラルネットワークに不可欠な部材である。
【０００４】
ある技術では、ハイパーネットワークの各層が複数の選択可能なサブ構造を有し、ハイパーネットワークトポロジー構造におけるサブネットワークパスにおいて、各層の各サブ構造に１つのバッチ正規化モジュールがあり、各バッチ正規化モジュールが前の層の各サブ構造に接続される。このような場合、１つのサブ構造のバッチ正規化モジュールは、前の層の各サブ構造の出力特徴のバッチ正規化パラメータを学習する必要があり、特に前の層の異なるサブ構造の出力特徴の分布が大きく異なる場合、現在の該層のバッチ正規化モジュールの学習が理想な状態を達成できない。従って、サブネットワークをサンプリングした後、サブネットワークを訓練し続ける必要があり、サブネットワークにおける各バッチ正規化モジュールのパラメータにこのサブネットワークパス（すなわち該ＢＮ層の前の層に接続されるサブ構造）に対して理想的な状態に到達できるまで学習させる。このように、サンプリングされたサブネットワークがさらなる訓練時間を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
関連技術に存在する問題を解決するために、本開示の実施例はサブネットワークサンプリング方法、ハイパーネットワークトポロジー構造の構築方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本開示の実施例の第一様態に係わるサブネットワークサンプリング方法は、ハイパーネットワークトポロジー構造に適用され、ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ｎ＞０とし、且つｎが正整数であり、該方法は、第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得することであって、ここで、１＞Ｎ≧ｎとすることと、第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定することと、サブ構造Ａ（Ｎ）においてＡ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定することと、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えることとを含む。
【０００７】
一例では、該方法はさらに第１層の１つのサブ構造Ａ（１）を選択・取得することを含む。
【０００８】
一例では、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えることは、正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）に接続することにより、サブ構造Ａ（Ｎ）をサブネットワークに加えることを含む。
【０００９】
一例では、サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ）に接続することを利用することは、さらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）の出力モジュールに接続することを利用することを含む。
【００１０】
本開示の実施例の第二様態に係わるハイパーネットワークトポロジー構造の構築方法は、ｎ層の構造を構築することであって、ここで、ｎ＞０として、且つｎが正整数であることと、各層にｍ個のサブ構造を設定することであって、ｍ＞０とすることと、第二層乃至第ｎ層に対して、各サブ構造にｍ個のバッチ正規化モジュールを設定することと、第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築することとを含む。
【００１１】
本開示の実施例の第三様態に係わるサブネットワークサンプリング装置は、ハイパーネットワークトポロジー構造に適用されてサブネットワークをサンプリングし、ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ｎ＞０として、且つｎが正整数であり、該装置は、第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得するように構成される選択・取得ユニットであって、１＞Ｎ≧ｎとする選択・取得ユニットと、第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定するように構成される決定ユニットと、サブ構造Ａ（Ｎ）においてＡ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定するように構成される選択ユニットと、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えるように構成される接続ユニットとを含む。
【００１２】
一例では、選択・取得ユニットがさらに第１層の１つのサブ構造Ａ（１）を選択・取得するように構成される。
【００１３】
一例では、接続ユニットがさらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）に接続することにより、サブ構造Ａ（Ｎ）をサブネットワークに加えるように構成される。
【００１４】
一例では、サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、接続ユニットがさらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）の出力モジュールに接続することを利用するように構成される。
【００１５】
本開示の実施例の第四様態に係わるハイパーネットワークトポロジー構造の構築装置は、ｎ層の構造を構築するように構成される層構築ユニットであって、ｎ＞０とし、且つｎが正整数である層構築ユニットと、各層にｍ個のサブ構造を設定し、さらに第二層乃至第ｎ層に対して、各サブ構造にｍ個のバッチ正規化モジュールを設定するように構成されるサブ構造構築ユニットであって、ｍ＞０とするサブ構造構築ユニットと、第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築するように構成される関係構築ユニットとを含む。
【００１６】
本開示の実施例の第五様態に係わる電子機器は、命令を記憶するように構成されるメモリと、メモリに記憶される命令を呼び出して第一様態のサブネットワークサンプリング方法又は第二様態のハイパーネットワークトポロジー構造の構築方法を実行するように構成されるプロセッサとを含む。
【００１７】
本開示の実施例の第六様態に係わるコンピュータ可読記憶媒体は、命令が記憶され、命令がプロセッサに実行される時、第一様態のサブネットワークサンプリング方法又は第二様態のハイパーネットワークトポロジー構造の構築方法を実行する。
【発明の効果】
【００１８】
本開示の実施例に係わる技術案は、ハイパーネットワークトポロジー構造におけるサブ構造に動的バッチ正規化モジュール、すなわち前の層に対応するバッチ正規化モジュールを設定し、サブネットワークをサンプリングする時前の層が選択したサブ構造に基づいて対応するバッチ正規化モジュールを動的に使用することにより、サンプリングされたサブネットワークがさらなる訓練時間を必要とせず、直接使用でき、それにより効率を高めるという有益な効果を含む
【００１９】
以上の一般的な説明及び以下の詳しい説明は例示的であり、説明的であり、本開示の実施例を制限するものではないと理解すべきである。
【図面の簡単な説明】
【００２０】
【図１】図１は例示的な一実施例に基づいて示されるサブネットワークサンプリング方法のプロセス模式図である。
【図２】図２は例示的な一実施例に基づいて示されるハイパーネットワークトポロジー構造の模式図である。
【図３】図３は例示的な一実施例に基づいて示される別のサブネットワークサンプリング方法のプロセス模式図である。
【図４】図４は例示的な一実施例に基づいて示されるハイパーネットワークトポロジー構造の構築方法のプロセス模式図である。
【図５】図５は例示的な一実施例に基づいて示されるサブネットワークサンプリング装置の模式図である。
【図６】図６は例示的な一実施例に基づいて示されるハイパーネットワークトポロジー構造の構築装置の模式図である。
【図７】図７は例示的な一実施例に基づいて示される電子装置の模式的なブロック図である。
【図８】図８は例示的な一実施例に基づいて示される別の装置の模式的なブロック図である。
【発明を実施するための形態】
【００２１】
ここの図面が明細書に合わせられ、且つ本明細書の一部を構成し、本発明と一致する実施例を示し、且つ明細書と共に本発明の原理を解釈することに用いられる。
【００２２】
ここで、示例的な実施例を詳しく説明し、その例示が図面に示される。以下の説明が図面に関する時、特に明記しない限り、異なる図面における同一数字が同じ又は同様の要素を示す。以下の示例的な実施例に説明される実施の形態が本発明と一致するすべての実施の形態を代表しない。反対に、それらは単に特許請求の範囲に詳しく説明される、本発明のある様態と一致する装置及び方法の例である。
【００２３】
従来のハイパーネットワークトポロジー構造は、サブネットワークをサンプリングした後、さらにサブネットワークを訓練する必要があり、さらなる時間及び運営コストを必要とする。本実施例はサブネットワークサンプリング方法Ｓ１０を提供し、図１に示されるように、図１は例示的な一実施例に基づいて示されるサブネットワークサンプリング方法Ｓ１０のプロセス模式図のブロック図であり、サブネットワークサンプリング方法Ｓ１０がハイパーネットワークトポロジー構造に適用され、ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ここで、ｎ＞０として、且つｎが正整数である。
【００２４】
図２に示されるように、ハイパーネットワークトポロジー構造１０が複数の層を含み、階層ごとに設定する複数のサブ構造１１、第ｎ層の各サブ構造１１が複数のバッチ正規化モジュール１２を含み、ｎが１より大きい整数であり、第ｎ層の各サブ構造１１の複数のバッチ正規化モジュール１２がそれぞれ第ｎ−１層の複数のサブ構造１１と一対一対応する。図に示されるように、各層がサブ構造Ａ、サブ構造Ｂ、サブ構造Ｃを有し、それに応じて、第二層乃至第ｎ層の各サブ構造に、いずれもバッチ正規化モジュールＡ、バッチ正規化モジュールＢ、バッチ正規化モジュールＣを有する。バッチ正規化モジュールＡ、バッチ正規化モジュールＢ、バッチ正規化モジュールＣがそれぞれ上階層サブ構造Ａ、サブ構造Ｂ、サブ構造Ｃに対応する。
【００２５】
サブネットワークサンプリング方法Ｓ１０は以下を含む。
【００２６】
Ｓ１１：第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得し、ここで、１＞Ｎ≧ｎとする。
【００２７】
サブネットワークをサンプリングする時、ハイパーネットワークトポロジー構造の各層にサブ構造を選択・取得する必要があり、且つサブ構造を接続し、ハイパーネットワークトポロジー構造の第Ｎ層に、必要に応じて１つのサブ構造Ａ（Ｎ）を選択・取得する。
【００２８】
Ｓ１２：第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定する。
【００２９】
第Ｎ−１層、すなわち上階層（前の層）が選択・取得したサブ構造Ａ（Ｎ−１）を決定し、それにより第Ｎ層がバッチ正規化モジュールを選択する根拠とする。
【００３０】
Ｓ１３：サブ構造Ａ（Ｎ）においてＡ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定する。
【００３１】
決定した上階層が選択・取得したサブ構造に基づき、本層が選択・取得したサブ構造において、対応するバッチ正規化モジュールを決定し、それにより上階層の異なるサブ構造出力の特徴に対して、個性化正規化を行うことを確保し、それにより本層サブ構造の結果がより正確になると確保する。
【００３２】
Ｓ１４：バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加える。
【００３３】
上階層が選択・取得したサブモジュールに対応するバッチ正規化モジュールＣ（Ｂ）により本層サブ構造Ａ（Ｎ）をサブネットワークに加え、異なるデータソースに対して異なる正規化処理を行うことを確保し、ソース違いに対する個性化処理を確保する。
【００３４】
本実施例の方法によれば、各層サブ構造の選択・取得及びサブ構造におけるバッチ正規化モジュールの選択・取得を実現し、それによりサンプリングしたサブネットワークがさらなる訓練時間を必要とせず、直接使用できると確保する。
【００３５】
図３は本開示の別の実施例のサブネットワークサンプリング方法Ｓ１０のプロセス模式図を示し、図３に示されるように、一例では、サブネットワークサンプリング方法Ｓ１０はさらに第１層の１つのサブ構造Ａ（１）を選択・取得するＳ１５を含む。サブネットワークを用いる過程では、各層は上階層が存在せず、従って上階層の異なるサブ構造のデータを受信せず、検出対象のデータを直接受信すればよく、従って対応するバッチ正規化モジュールを設定する必要がある。且つ選択・取得する時、必要に応じて直接選択・取得できる。
【００３６】
一例では、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えることは、正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）に接続することにより、サブ構造Ａ（Ｎ）をサブネットワークに加えることを含む。正規化モジュールを上階層サブ構造と接続し、上階層サブ構造が出力した特徴を受信し、それにより本層サブ構造Ａ（Ｎ）をサブネットワークに加える。
【００３７】
一例では、サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ）に接続することを利用することは、さらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）の出力モジュールに接続することを利用することを含む。各サブ構造はデータを受信し、且つデータ処理により特徴データを出力し、サブ構造の出力モジュールにより特徴データを出力するように構成され、従って、正規化モジュールを上階層のサブ構造の出力モジュールに接続することにより、特徴データを受信し且つ正規化処理を行うように構成され、それによりサブネットワークの効率を高める。
【００３８】
以上の実施例により、サブ構造が異なる上階層サブ構造に対して対応するバッチ正規化モジュールを用いるため、異なるサブ構造が出力した特徴に対して単独した処理を行うことを確保し、訓練効果を確保し、サンプリングしたサブネットワークがさらなる訓練時間を必要しない。
【００３９】
１つの発明構想に基づき、本開示の実施例はさらにハイパーネットワークトポロジー構造の構築方法Ｓ２０を提供し、図４に示されるように、方法以下を含む。
【００４０】
Ｓ２１：ｎ層の構造を構築し、ｎ＞０として、且つｎが正整数である。
【００４１】
構築したハイパーネットワークトポロジー構造が図２に示され、ハイパーネットワークトポロジー構造のｎ層の構造を構築する。
【００４２】
Ｓ２２：各層にｍ個のサブ構造を設定し、ｍ＞０とする。
【００４３】
各層に特徴抽出に構成される複数のサブ構造を設定し、サブ構造の間にパラメータを共有できる。
【００４４】
Ｓ２３：第二層乃至第ｎ層に対して、各サブ構造にｍ個のバッチ正規化モジュールを設定する。
【００４５】
第二層乃至第ｎ層、各サブ構造は上階層のｍ個のサブ構造が出力した特徴を受信する必要があり、上階層の各サブ構造が出力した特徴に差異が存在し、従って第二層乃至第ｎ層の各サブ構造において、さらにｍ個の（上階層の数量と一致する）バッチ正規化モジュールを設定し、バッチ正規化モジュールは上階層が出力した特徴に対してバッチ正規化を行うように構成され、中間層データ分布が変化するため訓練が困難であるという問題を解決する。
【００４６】
Ｓ２４：第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築する。
【００４７】
ｍ個のバッチ正規化モジュールを設定した後、各バッチ正規化モジュールと上階層サブ構造とが一対一対応する関係を構築し、それにより上階層の各サブ構造が対応する、すなわち専属する１つのバッチ正規化モジュールを有すると確保し、その後、サブネットワークを訓練又は用いる過程では、上階層が選択・取得したサブ構造に基づき、本層サブ構造において対応するバッチ正規化モジュールによりデータの正規化処理を行いことを決定する。
【００４８】
ハイパーネットワークトポロジー構造の構築方法Ｓ２０により構築されるハイパーネットワークトポロジー構造は、訓練効率を高めることができ、サンプリングしたサブネットワークが更なる訓練を必要としないと確保し、直接使用できる。
【００４９】
１つの発明構想によれば、図５に示されるように、本開示の実施例はさらにサブネットワークサンプリング装置１００を提供し、ハイパーネットワークトポロジー構造に適用されてサブネットワークをサンプリングし、ハイパーネットワークトポロジー構造がｎ層を含み、各層が少なくとも２つのサブ構造を含み、各サブ構造が上階層サブ構造と一対一対応するバッチ正規化モジュールを含み、ここで、ｎ＞０として、且つｎが正整数であり、サブネットワークサンプリング装置１００は、第Ｎ層の１つのサブ構造Ａ（Ｎ）を選択・取得し、１＞Ｎ≧ｎとするように構成される選択・取得ユニット１１０と、第Ｎ−１層の選択・取得したサブ構造Ａ（Ｎ−１）を決定するように構成される決定ユニット１２０と、サブ構造Ａ（Ｎ）においてＡ（Ｎ−１）と一対一対応するバッチ正規化モジュールＣ（Ｂ）を決定するように構成される選択ユニット１３０と、バッチ正規化モジュールＣ（Ｂ）によりサブ構造Ａ（Ｎ）をサブネットワークに加えるように構成される接続ユニット１４０と、を含む。
【００５０】
一例では、選択・取得ユニット１１０がさらに第１層の１つのサブ構造Ａ（１）を選択・取得するように構成される。
【００５１】
一例では、接続ユニット１４０がさらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）に接続することにより、サブ構造Ａ（Ｎ）をサブネットワークに加えるように構成される。
【００５２】
一例では、サブ構造がさらに特徴を出力するように構成される出力モジュールを含み、接続ユニット１４０がさらに正規化モジュールＣ（Ｂ）をサブ構造Ａ（Ｎ−１）の出力モジュールに接続することを利用するように構成される。
【００５３】
上記実施例におけるサブネットワークサンプリング装置１００については、各ユニットが操作を実行する具体的な方式が既に該方法に関する実施例において詳細に説明されるため、ここで詳細な説明を省略する。
【００５４】
１つの発明構想によれば、図６に示されるように、本開示の実施例はさらにハイパーネットワークトポロジー構造の構築装置２００を提供し、ｎ層の構造を構築し、ここで、ｎ＞０として、且つｎが正整数であるように構成される層構築ユニット２１０と、各層にｍ個のサブ構造を設定し、ｍ＞０とするように構成され、さらに第二層乃至第ｎ層に対して、各サブ構造にｍ個のバッチ正規化モジュールを設定するように構成されるサブ構造構築ユニット２２０と、第二層乃至第ｎ層に対して、各バッチ正規化モジュールと第Ｎ−１層サブ構造がそれぞれ一対一対応する対応関係を構築するように構成される関係構築ユニット２３０とを含む。
【００５５】
上記実施例におけるハイパーネットワークトポロジー構造の構築装置２００については、各ユニットが操作を実行する具体的な方式が既に該方法に関する実施例において詳細に説明され、ここで詳細な説明を省略する。
【００５６】
図７に示されるように、装置３００は、処理コンポーネント３０２、メモリ３０４、電源コンポーネント３０６、マルチメディアコンポーネント３０８、音声コンポーネント３１０、入力／出力（Ｉ／Ｏ）インタフェース３１２、センサコンポーネント３１４、及び通信コンポーネント３１６の一つまたは複数のコンポーネントを含んでもよい。
【００５７】
処理コンポーネント３０２は、一般的に、制御装置３００の操作、例えば表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関する操作を制御する。処理コンポーネント３０２は、前記方法の全部または一部のステップを完成するように、一つまたは複数のプロセッサ３２０を含んで命令を実行してもよい。また、処理コンポーネント３０２は、ほかのコンポーネントとのインタラクションを容易にするように、一つまたは複数のモジュールを含んでもよい。例えば、処理コンポーネント３０２は、マルチメディア３０８とのインタラクションを容易にするように、マルチメディアモジュールを含んでもよい。
【００５８】
メモリ３０４は、装置３００の操作をサポートするように、様々なデータを記憶するように構成される。これらのデータの例は、装置３００で操作されるいかなるプログラムまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、ピクチャ、映像などを含む。メモリ３０４は、いかなるタイプの揮発性または不揮発性記憶装置、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスク、またはそれらの組み合わせによって実現されることができる。
【００５９】
電源コンポーネント３０６は、装置３００の様々なコンポーネントに電力を提供する。電力コンポーネント３０６は、電源管理システム、一つ又は複数の電源、及び装置のために電力を生成、管理及び配布することに関するほかのコンポーネントを含んでもよい。
【００６０】
マルチメディアコンポーネント３０８は、前記装置３００とユーザーの間の一つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレー（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンは、タッチパネルを含む場合、ユーザーからの入力信号を受信するように、タッチスクリーンとして実現されることができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーをセンシングするように、一つ又は複数のタッチセンサを含んでもよい。前記タッチセンサは、タッチ又はスライド動作の限界をセンシングするだけでなく、前記タッチ又はスライド操作に関する持続時間及び圧力を検出することができる。いくつかの実施例において、マルチメディアコンポーネント３０８は、一つのフロントカメラ及び／又はリアカメラを含む。装置が操作モード、例えば撮影モード又はビデオモードにある場合、フロントカメラ及び／又はリアカメラは、外部からのマルチメディアデータを受信できる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであってよく、又は、焦点距離と光学ズーム機能を備える。
【００６１】
音声コンポーネント３１０は、音声信号を出力及び／又は入力するように構成される。例えば、音声コンポーネント３１０は、一つのマイク（ＭＩＣ）を含み、装置３００が呼び出しモード、記録モード及び音声識別モードのような操作モードにある場合、マイクが、外部の音声信号を受信するように構成される。受信された音声信号は、さらにメモリ３０４に記憶され、又は、通信コンポーネント３１６を介して送信される。いくつかの実施例において、音声コンポーネント３１０は、さらに、音声信号を出力するように構成されるスピーカーを含む。
【００６２】
Ｉ／Ｏインタフェース３１２は、処理コンポーネント３０２と周辺インタフェースモジュールの間にインタフェースを提供する。前記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームページボタン、音量ボタン、スタートボタンとロックボタンを含むがこれらに限定されない。
【００６３】
センサコンポーネント３１４は、一つ又は複数のセンサを含み、装置３００のために各方面の状態評価を提供するように構成される。例えば、センサコンポーネント３１４は、装置３００のオン／オフ状態、コンポーネントの相対的な位置決め、例えば前記コンポーネントが装置３００のディスプレイとキーパッドであるのを検出でき、センサコンポーネント３１４は、装置３００又は装置３００の一つのコンポーネントの位置変化、ユーザーと装置３００の接触が存在する否か、装置３００の方位又は加速／減速及び装置３００の温度変化を検出できる。センサコンポーネント３１４は、さらに、如何なる物理的な接触がない場合に付近物体の存在を検出するように構成されるアプローチセンサを含んでもよい。センサコンポーネント３１４は、さらに、イメージングアプリケーションに用いられるＣＭＯＳ又はＣＣＤ画像センサのような光センサを含んでもよい。いくつかの実施例において、該センサコンポーネント３１４は、さらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを含んでもよい。
【００６４】
通信コンポーネント３１６は、装置３００とほかの装置との有線又は無線通信を容易にするように構成される。装置３００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はこれらの組み合わせのような通信基準に基づく無線ネットワークにアクセスすることができる。一つの例示的な実施例において、通信コンポーネント３１６は、ブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。一つの例示的な実施例において、前記通信ユニット３１６は、さらに、近距離通信を促進するように、近距離通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術とほかの技術に基づいて実現されることができる。
【００６５】
例示的な実施例において、装置３００は、一つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号処理機（ＤＳＰ）、ディジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又はほかの電子素子によって実現されることができ、上記方法を実行するよう構成される。
【００６６】
例示的な実施例において、さらに、命令を含むメモリ３０４のような命令を含むコンピュータ可読記憶媒体を提供する。前記命令は、上記方法を完了するように、装置３００のプロセッサ３２０によって実行されることができる。例えば、前記コンピュータ可読記憶媒体は、ＲＯＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスクと光データ記憶装置などであってもよい。
【００６７】
図８は例示的な実施例に基づいて示される電子装置４００のブロック図である。例えば、電子装置４００は、サーバーとして提供されることができる。図７に示されるように、電子装置４００は、１つ又は複数のプロセッサが含まれる処理コンポーネント４２２、及び処理コンポーネント４２２で実行可能な命令、例えばアプリケーションを記憶するように構成される、メモリ４４２によって代表されるメモリリソースを含む。メモリ４４２に記憶されたアプリケーションは、それぞれが１組の命令に対応する１つ以上のモジュールを含んでもよい。また、処理コンポーネント４２２は、前記方法を実行するために、命令を実行するように構成される。
【００６８】
電子装置４００は、さらに電子装置４００の電源管理を実行するように構成される電源コンポーネント４２６、電子装置４００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース４５０、及び入力／出力（Ｉ／Ｏ）インタフェース４５８を含んでもよい。電子装置４００は、メモリ４４２に記憶された操作システム、例えばＷｉｎｄｏｗｓ（登録商標）  Ｓｅｒｖｅｒ  ＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）ＴＭ、Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似のものに基づいて操作されることができる。
【００６９】
当業者は、明細書を考えてここで開示された実施例を実施した後、本発明の実施例のほかの実施形態を想到しやすい。本願は、本発明の実施例のいかなる変形、用途又は適応的変化を含むことを目指し、これらの変化、変形、用途又は適応的変化が、本発明の実施例の一般的な原理に従いかつ本開示の実施例に開示されない本技術分野の周知常識と慣用技術手段を含む。明細書と実施例は、例示的なものと見なされるだけであるが、本開示の実施例の本当の範囲と精神は、以下の請求項の範囲によって示される。
【００７０】
本発明の実施例は、以上に説明され且つ図に示される精確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正と変更を行うことができると理解すべきである。本発明の実施例の範囲は、添付の特許請求範囲のみによって限定される。
【産業上の利用可能性】
【００７１】
本開示の実施例において、ハイパーネットワークトポロジー構造におけるサブ構造に動的バッチ正規化モジュール、すなわち上階層に対応するバッチ正規化モジュールを設定し、サブネットワークをサンプリングする時に上階層が選択したサブ構造に基づいて対応するバッチ正規化モジュールを動的し使用することにより、サンプリングしたサブネットワークがさらなる訓練時間を必要とせず、直接使用でき、それにより効率を高める。
【図１】
2022502718.tif 000003
【図２】
2022502718.tif 000004
【図３】
2022502718.tif 000005
【図４】
2022502718.tif 000006
【図５】
2022502718.tif 000007
【図６】
2022502718.tif 000008
【図７】
2022502718.tif 000009
【図８】
2022502718.tif 000010
【国際調査報告】
2022502718.tif 000011
2022502718.tif 000012
2022502718.tif 000013
2022502718.tif 000014