(57)【要約】本発明は、スーパーネットワークトレーニング方法、及び装置を提供し、本発明は、スマートニューラルネットワーク技術に係り、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。この方法は、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む。本発明で提供される技術方案は、ニューラルネットワークのトレーニングに適用され、正確かつ効率的なスーパーネットワークトレーニングのメカニズムを実現することができる。【選択図】図２
2021518932.tif 000002
【特許請求の範囲】
【請求項１】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む
ことを特徴とするスーパーネットワークトレーニング方法。
【請求項２】
サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数は、同じである、
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。
【請求項３】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されないステップ１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するステップ２と、
ステップ１からステップ２のプロセスを重複して、複数のサブネットワークを取得するステップ３と、を含む
ことを特徴とする請求項１または２に記載のスーパーネットワークトレーニング方法。
【請求項４】
サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、
前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すステップと、をさらに含む
ことを特徴とする請求項３に記載のスーパーネットワークトレーニング方法。
【請求項５】
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップは、
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップと、
前記複数のサブネットワークのトレーニング結果に基づいて、前記スーパーネットワークのパラメータを更新するステップと、を含む
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。
【請求項６】
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップは、
バックプロパゲーション（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行うステップを含む
ことを特徴とする請求項５に記載のスーパーネットワークトレーニング方法。
【請求項７】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するように構成される返さないサンプリングモジュールと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュールと、を含む
ことを特徴とするスーパーネットワークトレーニング装置。
【請求項８】
前記返さないサンプリングモジュールは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュールと、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュールと、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュールと、を含む
ことを特徴とする請求項７に記載のスーパーネットワークトレーニング装置。
【請求項９】
前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュールをさらに含む
ことを特徴とする請求項８に記載のスーパーネットワークトレーニング装置。
【請求項１０】
プロセッサーと、
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成される
ことを特徴とするコンピュータ装置。
【請求項１１】
非一時的なコンピュータ読み取り可能な記録媒体であって、
前記記録媒体におけるコマンドが移動端末のプロセッサーによって実行される場合、移動端末は、スーパーネットワークトレーニング方法を実行し、前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む
ことを特徴とする非一時的なコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートニューラルネットワーク技術に係り、特に、スーパーネットワークトレーニング方法、及び装置に関する。
【背景技術】
【０００２】
ニューラルネットワークは、各分野で広く適用されており、例えば、ニューラルネットワークアーキテクチャ検索（Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｓｅａｒｃｈ、ＮＡＳ）のようないくつかの分野において、毎回に検索する時、独立したニューラルネットワークを生成すると共にトレーニングして指標を取得する方法は、評価効率が低いという問題を存在し、検索アルゴリズムの速度が大きく制限される。いくつかのＮＡＳ方法は、すべての検索ネットワーク構造空間を含む一つのスーパーネットワークをトレーニングする方法を採用しているが、スーパーネットワーク内のすべてのサブ構造は、異なるサブネットワークを構築する際にパラメータを共有することにより、スーパーネットワークを一定の程度にトレーニングするだけで、サブネットワークに対してサンプリングすると共に、指標を評価することができ、サブネットワークを再度トレーニングする必要がない。
【０００３】
スーパーネットワークの各層には、複数の選択可能なサブ構造があり、スーパーネットワークをトレーニングする際に、一般的に均一なパスサンプリング方法で１つの単一のパスを選択してトレーニングする。図１は、均一なサンプリングでサブネットワークを構成する実施例を示す図である。均一なサンプリングには、一定の分散が存在するので、異なるサブ構造がトレーニングを受ける程度は、異なり、これにより、サブネットワークの指標を評価する時に、誤差が生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
相関技術に存在する問題を解決するために、本発明は、スーパーネットワークトレーニング方法、及び装置を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態の一態様によると、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップ、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含むスーパーネットワークトレーニング方を提供する。
【０００６】
選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数は、同じである。
【０００７】
選択的には、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されないステップ１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するステップ２と、
ステップ１からステップ２のプロセスを重複して、複数のサブネットワークを取得するステップ３と、を含む。
【０００８】
選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、
前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すステップと、をさらに含む。
【０００９】
選択的には、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップは、
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップと、
前記複数のサブネットワークのトレーニング結果に基づいて、前記スーパーネットワークのパラメータを更新するステップと、を含む。
【００１０】
選択的に、前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップは、
バックプロパゲーション（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行うステップを含む。
【００１１】
本発明の実施形態の他の一態様によると、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するように構成される返さないサンプリングモジュールと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュールと、を含むスーパーネットワークトレーニング装置を提供する。
【００１２】
選択的に、前記返さないサンプリングモジュールは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュールと、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュールと、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュールと、を含む。
【００１３】
選択的に、前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュールをさらに含む。
【００１４】
本発明の実施形態の他の一態様によると、
プロセッサーと
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるコンピュータ装置を提供する。
【００１５】
本発明の実施形態の他の一態様によると、
非一時的なコンピュータ読み取り可能な記録媒体であって、
前記記録媒体におけるコマンドが移動端末のプロセッサーによって実行される場合、移動端末は、スーパーネットワークトレーニング方法を実行し、前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む非一時的なコンピュータ読み取り可能な記録媒体を提供する。
【００１６】
本発明の実施例で提供される技術方案は、以下のような有益な効果を含むことができる。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ  ｗｉｔｈｏｕｔ  ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うように確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。且つ、一括でサブネットワークトレーニングを行った後、スーパーネットワークパラメータを一括で更新することにより、トレーニングの効率を向上させることができる。正確かつ効率的なスーパーネットワークトレーニングのメカニズムを実現することができる。
【００１７】
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【００１８】
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
【図１】均一なサンプリングでサブネットワークを構成する実現原理の模式図である。
【図２】一例示的な実施形態に係るスーパーネットワークトレーニング方法のフローチャートである。
【図３】図２のステップ２０１の一例示的な実現フローチャートである。
【図４】図２のステップ２０１でノンオーバーラップサンプリングを行う実現原理の例示的な模式図である。
【図５】一例示的な実施形態に係るスーパーネットワークトレーニング方法のフローチャートである。
【図６】一例示的な実施形態係るスーパーネットワークトレーニング装置のブロック図である。
【図７】図６の返さないサンプリングモジュール６０１の一例示的な構造のブロック図である。
【図８】一例示的な実施形態に係るスーパーネットワークトレーニング装置のブロック図である。
【図９】一例示的な実施形態に係る装置のブロック図（移動端末の一般的な構造）である。
【図１０】一例示的な実施形態係る装置のブロック図（サーバーの一般的な構造）である。
【発明を実施するための形態】
【００１９】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
【００２０】
スーパーネットワーク内のすべてのサブ構造が異なるサブネットワークを構築する際にパラメータを共有し、スーパーネットワークのサブネットワークのサンプリング評価指標（例えば、正確率など）を一定程度にトレーニングすると、サブネットワークのサンプリングを行いその指標を評価することができ、サブネットワークを再度トレーニングする必要がない。
【００２１】
スーパーネットワークの各層には、複数の選択可能なサブ構造があり、スーパーネットワークをトレーニングする際に、一般的に均一なパスサンプリング方法により１つの単一のパスを選択してトレーニングする。均一なサンプリングには、一定の分散が存在するので、異なるサブ構造が異なる程度のトレーニングを受け、これにより、サブネットワークの指標を評価する場合、誤差が生じる。
【００２２】
上記の問題を解決するために、本発明の実施例は、スーパーネットワークトレーニング方法、及び装置を提供する。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ  ｗｉｔｈｏｕｔ  ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うことを確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。
【００２３】
本発明の一実施例は、スーパーネットワークトレーニング方法を提供し、その方法により、スーパーネットワークをトレーニングして更新する過程は、図２に示す通りであり、下記のようなステップを含む。
【００２４】
ステップ２０１において、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なる。
当該ステップにおいて、ノンオーバーラップサンプリングを行う。選択されたサブ構造は、すべてのサブネットワークに対するサンプリングが完了するまで、サンプリングプールに戻されない。選択的には、サンプリングして得られたサブネットワークの数は、前記スーパーネットワークの各層でのサブ構造の数と同じであり、即ち、スーパーネットワークでのすべてのサブ構造に対して１回のサンプリングを行うことにより、すべてのサブ構造がいずれも均一なトレーニングを受けることができるように保証する。
【００２５】
具体的には、図３に示すように、当該ステップは、下記のようなステップを含む。
【００２６】
ステップ２０１１において、前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されない。
【００２７】
ステップ２０１２において、各層から選択されたサブ構造を接続して、一つのサブネットワークを構成する。
【００２８】
ステップ２０１３において、ステップ２０１１ないし２０１２の過程を重複して、複数のサブネットワークを取得する。選択的には、サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じになるまで、上記のプロセスを複製する。
【００２９】
図４は、図２のステップ２０１においてノンオーバーラップサンプリングを行う実現原理の模式図である。図４からわかるように、スーパーネットワークのＮ（Ｎは、正の整数であり）層での任意の一つの層に対して、いずれも返さない均一なサンプリングを行わない、これにより、すでにサンプリングされたサブ構造が重複的にサンプリングされなく、すべてのサブ構造がいずれも一度サンプリングされるように保証することができる。
【００３０】
ステップ２０２において、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返す。
【００３１】
サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合（この場合、すべてのサブ構造は、いずれもすでに一度サンプリングされ、スーパーネットワークの各層に対応するサンプリングプールは、いずれも空である）、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、次にニューラルネットワークに対してスーパーネットワークトレーニングを行うように、スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返す。
【００３２】
ステップ２０３において、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新する。
【００３３】
当該ステップにおいて、前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行う。具体的には、バックプロパゲーション（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行い、その後、前記複数のサブネットワークのトレーニング結果に基づいて、スーパーネットワークのパラメータ（例えば、ニューラルネットワークの重みなど）を更新する。
【００３４】
本発明の一実施例は、他のスーパーネットワークトレーニング方法を提供する。本発明の実施例において、スーパーネットワークは、Ｎ層で構成され、各層には、Ｍ個の選択可能なサブ構造があり、目標は、Ｍ回のサンプリングを行って、Ｍ個のサブネットワークを得て、Ｍ個のサブネットワークに対して一括でトレーニングを行う。ここで、ＭとＮは、正の整数である。
【００３５】
具体的な過程は、図５に示す通りである。
まず、各層において、返さないサンプリングによって一つのサブ構造を選択する。第１の層から開始して、１つの層のサンプリングを完了するたびに、ｎの値は、１だけ増加し、第Ｎ層（即ち、ｎ＝Ｎ）まで到達すると、一回のサンプリングが終了したことを意味し、各層においていずれも一個のサブ構造を選択して、一つのサブネットワークを構成することができる。
【００３６】
その後、現在、いくつかのサブネットワークをサンプリングしたのかを判断すると共に、目標値であるＭ個（即ち、ｍ＝Ｍ）に達したか否か判断する。Ｍ個のサブネットワークがサンプリングされた後、すべての層のすべてのサブ構造をサンプリングプールに返し、そうでない場合、ｍの値は、１だけ増加し、次のサブネットワークサンプリングに進入する。
【００３７】
Ｎ層のサンプリングが完了した後、各層で選択したサブ構造を接続して、サンプリングサブネットワークを構成する。
【００３８】
Ｍ回のネットワークサンプリングを繰り返して、１セットのＭ個のサブネットワークを得る。Ｍ個のサブネットワークのそれぞれに対して、１回のＢＰアルゴリズムのトレーニングを行い、トレーニングが完了した後、スーパーネットワークに対して１回のパラメータの更新を行う。
【００３９】
本発明の一実施例は、スーパーネットワークトレーニング装置をさらに提供し、図６に示すように、そのスーパーネットワークトレーニング装置の構造は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なるように構成される返さないサンプリングモジュール６０１と、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュール６０２と、を含む。
【００４０】
選択的に、図７に示すように、前記返さないサンプリングモジュール６０１の構造は、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュール６０１１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュール６０１２と、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュール６０１３と、を含む。
【００４１】
選択的に、図８に示すように、当該装置は、
前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュール６０３をさらに含む。
【００４２】
前記実施例の装置において、それぞれのモジュールが操作を実行する具体的な方法は、すでにその方法の実施例において詳細に説明したので、ここで詳細に説明しない。図６から図８に示すスーパーネットワークトレーニング装置は、処理能力を備えるコンピュータ機器に集積され、コンピュータ機器によって対応する機能を実現してもよい。
【００４３】
本発明の一実施例は、スーパーネットワークトレーニングのための装置９００をさらに提供し、図９は、その装置９００のブロック図である。例えば、装置９００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【００４４】
図８を参照すると、装置９００は、処理ユニット９０２、メモリ９０４、電源ユニット９０６、マルチメディアユニット９０８、オーディオユニット９１０、入力／出力（Ｉ／Ｏ）インタフェース９１２、センサーユニット９１４、及び通信ユニット９１６からなる群から選ばれる少なくとも１つを備えてもよい。
【００４５】
処理ユニット９０２は、一般的には、装置９００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット９０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー９２０を備えてもよい。また、処理ユニット９０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット９０２は、マルチメディアユニット９０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【００４６】
メモリ９０４は、装置９００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置９００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ９０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【００４７】
電源ユニット９０６は、装置９００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置９００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【００４８】
マルチメディアユニット９０８は、装置９００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット９０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置９００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【００４９】
オーディオユニット９１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット９１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置９００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ９０４にさらに記憶されてもよいし、通信ユニット９１６を介して送信されてもよい。一実施例では、オーディオユニット９１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【００５０】
Ｉ／Ｏインタフェース９１２は、処理ユニット９０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【００５１】
センサーユニット９１４は、装置９００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット９１４は、装置９００のオン／オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置９００のディスプレイ及びキーパッドである。センサーユニット９１４は、装置９００又は装置９００の１つのユニットの位置の変化や、ユーザが装置９００に接触しているか否かや、装置９００の方向又は加速／減速や、装置９００の温度変化を検出することができる。センサーユニット９１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット９１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット９１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【００５２】
通信ユニット９１６は、装置９００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置９００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット９１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット９１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。
【００５３】
例示的な実施例では、装置９００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、数字信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【００５４】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ９０４をさらに提供する。前記命令は、装置９００のプロセッサー９２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【００５５】
非一時的なコンピュータ読み取り可能な記録媒体であって、前記記録媒体におけるコマンドが移動端末のプロセッサーによって実行される場合、移動端末は、スーパーネットワークトレーニング方法を実行し、上記の方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新するステップと、を含む。
【００５６】
本発明の一実施例は、
プロセッサーと
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新するように構成されるコンピュータ装置をさらに提供する。
【００５７】
本発明の一実施例は、スーパーネットワークトレーニングのための装置１０００をさらに提供し、図１０は、その装置１０００のブロック図である。例えば、装置１０００はサーバーとして提供されてもよい。図１０を参照すると、装置１０００は、１つ以上のプロセッサーがさらに含まれた処理ユニット１０２２と、処理ユニット１０２２により実行可能な命令、例えばプログラムを記憶するメモリ１０３２を代表とするメモリリソースとを含む。メモリ１０３２に記憶されたアプリケーションプログラムは、１つ以上のそれぞれが一組の命令に対応するモジュールを含んでもよい。また、前記いずれか１つの実施例に提供された方法を実行するために、処理ユニット１０２２は命令を実行するように配置される。
【００５８】
装置１０００は、装置１０００の電源管理を実行するように配置された電源ユニット１０２６と、装置１０００をインターネットに接続させるように配置された有線又は無線インターネットインタフェース１０５０と、入力／出力（Ｉ／Ｏ）インタフェース１０５８とを備えてもよい。装置１０００は、メモリ１０３２に記憶された操作システム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ，  ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどに基づいて操作できる。
【００５９】
本発明の実施例は、スーパーネットワークトレーニング方法、及び装置を提供し、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、その後、サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、そのスーパーネットワークを更新する。完全公平なサンプリング方法を使用し、各層のサブ構造の選択において、返さないサンプリング（ｓａｍｐｌｉｎｇ  ｗｉｔｈｏｕｔ  ｒｅｐｌａｃｅｍｅｎｔ）を採用して、各サブ構造を均一に選択してトレーニングを行うように確保し、これにより、サブ構造のトレーニングを受ける程度が不均一することによるサブネットワークの指標を評価する際に誤差が生じる問題を解決することができる。且つ、一括でサブネットワークトレーニングを行った後、スーパーネットワークパラメータを一括で更新することにより、トレーニングの効率を向上させることができる。正確かつ効率的なスーパーネットワークトレーニングのメカニズムを実現することができる。
【００６０】
本発明の実施例で提供される技術方案は、異なるサブ構造のトレーニングを受ける程度が完全に同じであるよう保証し、サブネットワーク指標を評価する際の誤差を最大限減少させることができる、各セットのサブネットワークがバックプロパゲーションを行った後、一回のパラメータ更新を行うことにより、効率を向上させることができる。
【００６１】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【００６２】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【図１】
2021518932.tif 000003
【図２】
2021518932.tif 000004
【図３】
2021518932.tif 000005
【図４】
2021518932.tif 000006
【図５】
2021518932.tif 000007
【図６】
2021518932.tif 000008
【図７】
2021518932.tif 000009
【図８】
2021518932.tif 000010
【図９】
2021518932.tif 000011
【図１０】
2021518932.tif 000012
【手続補正書】
【提出日】令和1年11月28日(2019.11.28)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
相関技術に存在する問題を解決するために、本発明は、スーパーネットワークトレーニング方法、装置、プログラム、及び記録媒体を提供する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の実施形態の他の一態様によると、
移動端末のプロセッサーにより実行されることにより、移動端末は、スーパーネットワークトレーニング方法を実行し、
前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含むプログラムを提供する。
本発明の実施形態の他の一態様によると、
上記のプログラムが記録されるコンピュータ読み取り可能な記録媒体を提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
本発明の一実施例は、スーパーネットワークトレーニングのための装置８００をさらに提供し、図９は、その装置８００のブロック図である。例えば、装置８００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図９を参照すると、装置８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサーユニット８１４、及び通信ユニット８１６からなる群から選ばれる少なくとも１つを備えてもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
処理ユニット８０２は、一般的には、装置８００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー８２０を備えてもよい。また、処理ユニット８０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット８０２は、マルチメディアユニット８０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
メモリ８０４は、装置８００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置８００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ８０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
電源ユニット８０６は、装置８００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置８００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
マルチメディアユニット８０８は、装置９００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット８０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置８００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
オーディオユニット８１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット８１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置８００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ８０４にさらに記憶されてもよいし、通信ユニット８１６を介して送信されてもよい。一実施例では、オーディオユニット８１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
センサーユニット８１４は、装置８００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット８１４は、装置８００のオン／オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置８００のディスプレイ及びキーパッドである。センサーユニット８１４は、装置８００又は装置８００の１つのユニットの位置の変化や、ユーザが装置９００に接触しているか否かや、装置８００の方向又は加速／減速や、装置８００の温度変化を検出することができる。センサーユニット８１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット８１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット８１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
通信ユニット８１６は、装置８００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置９００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット８１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット８１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
例示的な実施例では、装置８００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、数字信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ８０４をさらに提供する。前記命令は、装置８００のプロセッサー８２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
本発明の一実施例は、スーパーネットワークトレーニングのための装置１９００をさらに提供し、図１０は、その装置１９００のブロック図である。例えば、装置１９００はサーバーとして提供されてもよい。図１０を参照すると、装置１９００は、１つ以上のプロセッサーがさらに含まれた処理ユニット１９２２と、処理ユニット１９２２により実行可能な命令、例えばプログラムを記憶するメモリ１９３２を代表とするメモリリソースとを含む。メモリ１９３２に記憶されたアプリケーションプログラムは、１つ以上のそれぞれが一組の命令に対応するモジュールを含んでもよい。また、前記いずれか１つの実施例に提供された方法を実行するために、処理ユニット１９２２は命令を実行するように配置される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
装置１９００は、装置１９００の電源管理を実行するように配置された電源ユニット１９２６と、装置１９００をインターネットに接続させるように配置された有線又は無線インターネットインタフェース１９５０と、入力／出力（Ｉ／Ｏ）インタフェース１９５８とを備えてもよい。装置１９００は、メモリ１９３２に記憶された操作システム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ，  ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭなどに基づいて操作できる。
【手続補正１８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む
ことを特徴とするスーパーネットワークトレーニング方法。
【請求項２】
サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数は、同じである、
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。
【請求項３】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造は、前記サンプリングプールに戻されないステップ１と、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するステップ２と、
ステップ１からステップ２のプロセスを重複して、複数のサブネットワークを取得するステップ３と、を含む
ことを特徴とする請求項１または２に記載のスーパーネットワークトレーニング方法。
【請求項４】
サンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、スーパーネットワークに対して複数回のサブネットワークサンプリングを行って複数のサブネットワークを取得した後、
前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すステップと、をさらに含む
ことを特徴とする請求項３に記載のスーパーネットワークトレーニング方法。
【請求項５】
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップは、
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップと、
前記複数のサブネットワークのトレーニング結果に基づいて、前記スーパーネットワークのパラメータを更新するステップと、を含む
ことを特徴とする請求項１に記載のスーパーネットワークトレーニング方法。
【請求項６】
前記複数のサブネットワークでの各サブネットワークに対してそれぞれ１回のトレーニングを行うステップは、
バックプロパゲーション（Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ、ＢＰ）アルゴリズムを使用して、前記複数のサブネットワークでの各サブネットワークに対してそれぞれトレーニングを行うステップを含む
ことを特徴とする請求項５に記載のスーパーネットワークトレーニング方法。
【請求項７】
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するように構成される返さないサンプリングモジュールと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成されるスーパーネットワークトレーニングモジュールと、を含む
ことを特徴とするスーパーネットワークトレーニング装置。
【請求項８】
前記返さないサンプリングモジュールは、
前記スーパーネットワークの第１の層から最後の層まで、層ごとに各層のサンプリングプールから１つのサブ構造を取り出して、取り出されたサブ構造が前記サンプリングプールに戻されないように構成される選択サブモジュールと、
各層から選択されたサブ構造を接続して、一つのサブネットワークを構成するように構成されるサブネットワーク組み合わせサブモジュールと、
前記選択サブモジュールと前記サブネットワーク組み合わせサブモジュールがサンプリングとサブネットワークを構成する操作を重複に行って、複数のサブネットワークを取得するように制御するように構成されるサンプリング制御サブモジュールと、を含む
ことを特徴とする請求項７に記載のスーパーネットワークトレーニング装置。
【請求項９】
前記返さないサンプリングモジュールでサンプリングして得られたサブネットワークの数と前記スーパーネットワークの各層でのサブ構造の数が同じである場合、前記スーパーネットワークのすべての層のすべてのサブ構造を対応する各層のサンプリングプールに返すように構成されるネットワークリリースモジュールをさらに含む
ことを特徴とする請求項８に記載のスーパーネットワークトレーニング装置。
【請求項１０】
プロセッサーと、
プロセッサーで実行可能なコマンドを格納するメモリと、を含み、
前記プロセッサーは、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得し、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するように構成される
ことを特徴とするコンピュータ装置。
【請求項１１】
移動端末のプロセッサーにより実行されることにより、移動端末は、スーパーネットワークトレーニング方法を実行し、
前記方法は、
スーパーネットワークに対して複数回のサブネットワークサンプリングを行って、複数のサブネットワークを取得するステップと、ここで、前記スーパーネットワークの任意の一つの層に対して、異なるサブネットワークのサンプリングする時に選択されたサブ構造が異なり、
サンプリングして得られた前記複数のサブネットワークに対してトレーニングを行って、前記スーパーネットワークを更新するステップと、を含む、プログラム。
【請求項１２】
請求項１１に記載のプログラムが記憶されるコンピュータ読み取り可能な記録媒体。
【国際調査報告】
2021518932.tif 000013
2021518932.tif 000014
2021518932.tif 000015
2021518932.tif 000016