(57)【特許請求の範囲】
【請求項１】
多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成し、前記初期世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団とするステップ（１）と、
現世代のネットワークモデル構造母集団に対して選択及び交差を行うステップ（２）と、
強化学習変異に基づいて一部のネットワークモデル構造を生成し、選択及び交差されたネットワークモデル構造をランダムに変異させて残りの部分のネットワークモデル構造を生成するステップ（３）と、
強化学習変異が生成したネットワークモデル構造、及びランダム変異によって生成されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成するステップ（４）と、
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップ（５）と、
前記次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで、上記ステップ（１）からステップ（５）を繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択するステップ（６）と、を含むことを特徴とするニューラルネットワーク構造モデルを検索する方法。
【請求項２】
前記多目的最適化ハイパーパラメータには、ネットワークモデル構造を実行する推論時間が含まれ、
ネットワークモデル構造新母集団を生成した後、
前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を、前記各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンにより前記ネットワークモデル構造を実行するステップと、
機器側ニューラルネットワークエンジンが前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得するステップと、をさらに含み、
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップは、
前記推論時間、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップを含むことを特徴とする請求項１に記載のニューラルネットワーク構造モデルを検索する方法。
【請求項３】
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップは、
予測評価指標を使用して、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップを含み、
前記予測評価指標は、自己符号化リグレッサーによって決定され、前記自己符号化リグレッサーは、ネットワークモデル構造及び評価指標を事前にトレーニングして得られた評価指標を予測可能な自己符号化リグレッサーであることを特徴とする請求項１に記載のニューラルネットワーク構造モデルを検索する方法。
【請求項４】
強化学習変異に基づいて生成されたネットワークモデル構造と、ランダム変異によって生成されたネットワークモデル構造は、所定の乱数比を満たすことを特徴とする請求項１〜３のいずれか１項に記載のニューラルネットワーク構造モデルを検索する方法。
【請求項５】
多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成するように構成される母集団生成ユニットと、
前記初期世代のネットワークモデル構造母集団、又は検索された次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、現世代のネットワークモデル構造母集団に対して選択及び交差を行うように構成される選択及び交差ユニットと、
強化学習変異に基づいて一部のネットワークモデル構造を生成し、選択及び交差されたネットワークモデル構造をランダムに変異させて残りの部分のネットワークモデル構造を生成するように構成される変異ユニットと、
強化学習変異されたネットワークモデル構造及びランダム変異されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成するように構成される新母集団生成ユニットと、
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索し、前記次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで選択、交差及び変異のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択するように構成される検索ユニットと、を備えることを特徴とするニューラルネットワーク構造モデルを検索する装置。
【請求項６】
前記多目的最適化ハイパーパラメータには、ネットワークモデル構造を実行する推論時間が含まれ、
送受信ユニットをさらに備え、前記送受信ユニットは、
新母集団生成ユニットがネットワークモデル構造新母集団を生成した後、前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を、前記各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンにより前記ネットワークモデル構造を実行し、機器側ニューラルネットワークエンジンが前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得するように構成され、
前記検索ユニットは、次の方式を使用して現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、
前記推論時間、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索することを特徴とする請求項５に記載のニューラルネットワーク構造モデルを検索する装置。
【請求項７】
トレーニングユニットをさらに備え、前記トレーニングユニットは、
自己符号化リグレッサーを使用して、ネットワークモデル構造及び評価指標をトレーニングして、評価指標を予測可能な自己符号化リグレッサーが得られるように構成され、
前記検索ユニットは、次の方式を使用して現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、
予測評価指標を使用して、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索し、
前記予測評価指標は、自己符号化リグレッサーによって決定され、前記自己符号化リグレッサーは、ネットワークモデル構造及び評価指標を事前にトレーニングして得られた評価指標を予測可能な自己符号化リグレッサーであることを特徴とする請求項５に記載のニューラルネットワーク構造モデルを検索する装置。
【請求項８】
強化学習変異に基づいて生成されたネットワークモデル構造と、ランダム変異によって生成されたネットワークモデル構造は、所定の乱数比を満たすことを特徴とする請求項５〜７のいずれか１項に記載のニューラルネットワーク構造モデルを検索する装置。
【請求項９】
プロセッサーと、
プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、請求項１〜４のいずれか１項に記載のニューラルネットワーク構造モデルを検索する方法を実行するように構成されることを特徴とするニューラルネットワーク構造モデルを検索する装置。
【請求項１０】
記録媒体内の命令がモバイル端末のプロセッサーにより実行されると、モバイル端末が請求項１〜４のいずれか１項に記載のニューラルネットワーク構造モデルを検索する方法を実行するようにする非一時的コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深層学習（Deep Learning）の技術分野に関し、特にニューラルネットワーク構造モデルを検索する方法、装置及び記録媒体に関する。
【背景技術】
【０００２】
深層学習ニューラルネットワークは、エンドツーエンドの特徴抽出を実現し、手動の特徴抽出と比較して、これは大きな改善であり、同時に、人工的に設計されたニューラルネットワークアーキテクチャは、ニューラルネットワークの複雑さを増やした。
【０００３】
技術の発展に伴い、ニューラルネットワークアーキテクチャ検索（Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｓｅａｒｃｈ，ＮＡＳ）は、ニューラルネットワークを使用してニューラルネットワークを設計することを実現し、機械学習の将来の方向を示している。ＮＡＳ技術では、検索戦略として進化的アルゴリズム又は強化学習アルゴリズムを使用してニューラルネットワーク構造モデルを検索する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、関連技術に存在する問題を克服するための、ニューラルネットワーク構造モデルを検索する方法、装置及び記録媒体を提供する。
【課題を解決するための手段】
【０００５】
本発明の実施例の第１の態様によれば、ニューラルネットワーク構造モデルを検索する方法が提供され、前記方法は、
多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成し、前記初期世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団とするステップと、現世代のネットワークモデル構造母集団に対して選択及び交差を行うステップと、強化学習変異に基づいて一部のネットワークモデル構造を生成し、選択及び交差されたネットワークモデル構造をランダムに変異させて残りの部分のネットワークモデル構造を生成するステップと、強化学習変異が生成したネットワークモデル構造、及びランダム変異によって生成されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成するステップと、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップと、前記次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで、上記のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択するステップと、を含む。
【０００６】
一例では、前記多目的最適化パラメータには、ネットワークモデル構造を実行するための推論時間が含まれる。
【０００７】
ネットワークモデル構造新母集団を生成した後、前記ニューラルネットワーク構造モデルを検索する方法は、
前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を、前記各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンにより前記ネットワークモデル構造を実行するステップと、機器側ニューラルネットワークエンジンが前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得するステップと、をさらに含む。
【０００８】
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップは、
前記推論時間、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップを含む。
【０００９】
一例では、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップは、
予測評価指標を使用して、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するステップを含み、
前記予測評価指標は、自己符号化リグレッサーによって決定され、前記自己符号化リグレッサーは、ネットワークモデル構造及び評価指標を事前にトレーニングして得られた評価指標を予測可能な自己符号化リグレッサーである。
【００１０】
一例では、強化学習変異に基づいて生成されたネットワークモデル構造と、ランダム変異によって生成されたネットワークモデル構造は、所定の乱数比を満たす。
【００１１】
本発明の実施例の第２の態様によれば、ニューラルネットワーク構造モデルを検索する装置が提供され、前記装置は、
多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成するように構成される母集団生成ユニットと、
前記初期世代のネットワークモデル構造母集団、又は検索された次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、現世代のネットワークモデル構造母集団に対して選択及び交差を行うように構成される選択及び交差ユニットと、
強化学習変異に基づいて一部のネットワークモデル構造を生成し、選択及び交差されたネットワークモデル構造をランダムに変異させて残りの部分のネットワークモデル構造を生成するように構成される変異ユニットと、
強化学習変異されたネットワークモデル構造及びランダム変異されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成するように構成される新母集団生成ユニットと、
現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索し、前記次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで選択、交差及び変異のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択するように構成される検索ユニットと、を備える。
【００１２】
一例では、前記多目的最適化パラメータには、ネットワークモデル構造を実行する推論時間が含まれる。
【００１３】
前記ニューラルネットワーク構造モデルを検索する装置は、送受信ユニットをさらに備え、前記送受信ユニットは、
新母集団生成ユニットがネットワークモデル構造新母集団を生成した後、前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を、前記各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンにより前記ネットワークモデル構造を実行し、機器側ニューラルネットワークエンジンが前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得するように構成され、
前記検索ユニットは、次の方式を使用して現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、
前記推論時間、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索する。
【００１４】
一例では、前記ニューラルネットワーク構造モデルを検索する装置は、トレーニングユニットをさらに備え、前記トレーニングユニットは、
自己符号化リグレッサーを使用して、ネットワークモデル構造及び評価指標をトレーニングして、評価指標を予測可能な自己符号化リグレッサーが得られるように構成される。
【００１５】
前記検索ユニットは、次の方式を使用して現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、
予測評価指標を使用して、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索し、
前記予測評価指標は、自己符号化リグレッサーによって決定され、前記自己符号化リグレッサーは、ネットワークモデル構造及び評価指標を事前にトレーニングして得られた評価指標を予測可能な自己符号化リグレッサーである。
【００１６】
一例では、強化学習変異が行われる一部のネットワークモデル構造は、所定の乱数比を満たす一部のネットワークモデル構造である。
【００１７】
本発明の実施例の第３の態様によれば、ニューラルネットワーク構造モデルを検索する装置が提供され、前記装置は、
プロセッサーと、
プロセッサーで実行可能な命令を記憶するためのメモリと、を備え、
ここで、前記プロセッサーは、第１の態様又は第１の態様の任意の一例に記載のニューラルネットワーク構造モデルを検索する方法を実行するように構成される。
【００１８】
本発明の実施例の第４の態様によれば、非一時的コンピュータ読み取り可能な記録媒体が提供され、前記記録媒体内の命令がモバイル端末のプロセッサーにより実行されると、モバイル端末が第１の態様又は第１の態様の任意の一例に記載のニューラルネットワーク構造モデルを検索する方法を実行するようにする。
【発明の効果】
【００１９】
本発明に提供された技術案によれば、以下のような技術効果が奏される。
【００２０】
強化学習変異に基づき、学習済みネットワークモデル構造を使用することができる。選択及び交差されたネットワークモデル構造母集団内のネットワークモデル構造をランダムに変異させることで、進化プロセスにおけるモデルの劣化をある程度回避することができる。本発明は、強化学習変異及びランダム変異を組み合わせることによって、進化的アルゴリズムで強化学習アルゴリズムを使用してランダム変異プロセスを調整し、ランダム性の探索と学習済み情報の使用との間でバランスを取ることを実現した。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【００２１】
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
【図１】一例示的な実施例に係るニューラルネットワーク構造モデルを検索するアーキテクチャを示す模式図である。
【図２】一例示的な実施例に係る強化学習アルゴリズムを実現するプロセスを示す模式図である。
【図３】一例示的な実施例に係る進化的アルゴリズムを実現するプロセスを示す模式図である。
【図４】一例示的な実施例に係るニューラルネットワーク構造モデルを検索する方法を示すフローチャートである。
【図５】一例示的な実施例に係るニューラルネットワーク構造モデルを検索するプロセスを示す模式図である。
【図６】一例示的な実施例に係るニューラルネットワーク構造モデルを検索する方法を示すフローチャートである。
【図７】一例示的な実施例に係る推論時間を決定するプロセスを示す模式図である。
【図８】一例示的な実施例に係るニューラルネットワーク構造モデルを検索する方法を示すフローチャートである。
【図９】一例示的な実施例に係る推論時間をトレーニングするプロセスを示す模式図である。
【図１０】一例示的な実施例に係るニューラルネットワーク構造モデルを検索する装置を示すブロック図である。
【図１１】一例示的な実施例に係るニューラルネットワーク構造モデルを検索する装置を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
【００２３】
本発明の実施例に提供されるニューラルネットワーク構造モデルを検索する方法は、図１に示すニューラルネットワーク構造モデルを検索するシナリオに適用されることができる。図１は、幾つかの例示的な実施例に係るニューラルネットワーク構造モデルを検索するプロセスを示す模式図である。図１を参照すると、ニューラルネットワーク構造モデルを検索するプロセスは、検索空間、検索戦略及び性能評価戦略に関与する。ニューラルネットワーク構造モデルを検索するプロセスでは、検索戦略を使用して検索空間内でネットワーク構造を検索し、検索されたネットワーク構造に対して性能評価を行い、評価結果に従って検索戦略を更新し、上記のネットワーク構造を検索、評価するプロセスを繰り返し実行して、評価要求を満たすニューラルネットワーク構造モデルを最終的に検索する。
【００２４】
関連技術では、ニューラルネットワーク構造モデルを検索するときに使用される検索戦略は、コントローラ内の進化的アルゴリズム（例えば、ＮＳＧＡ−ＩＩ多目的最適化進化的アルゴリズム）又は強化学習アルゴリズムにより生成されたネットワークモデル構造に基づいて得られる。例えば、図２を参照すると、コントローラは強化学習アルゴリズムを使用してニューラルネットワーク構造を生成する。ここで、コントローラパラメータを使用してニューラルネットワーク構造をサンプリング生成し、サンプリングされたニューラルネットワーク構造の収束をトレーニングすることによって、モデル評価指標が得られる。モデル評価指標を使用して制御パラメータを調整し、強化学習のプロセスを再開する。評価要求を満たすニューラルネットワーク構造が生成されるまで上記のプロセスを繰り返し実行する。図３を参照すると、コントローラは、ＮＳＧＡ−ＩＩ多目的最適化進化的アルゴリズムを使用してニューラルネットワーク構造を生成する。ここで、推論時間、評価指標、ネットワーク性能指標、ネットワーク計算量及びネットワークパラメータ等の多目的最適化ハイパーパラメータに基づいてネットワークモデル構造母集団をランダムに生成する。ランダム生成されたネットワークモデル構造母集団内で、要求を満たすネットワークモデル構造を予備選択する。予備選択されたネットワークモデル構造に対して交差アルゴリズムをさらに実行して、標準に達するネットワークモデル構造の選別を実現する。選択及び交差されたネットワークモデル構造ランダム母集団に対してランダム変異を行って、ネットワークモデル構造新母集団を生成する。ネットワークモデル構造新母集団内のネットワークモデル構造に対して性能評価を行い、次世代のネットワークモデル構造を検索し、検索された次世代のネットワークモデル構造に対して選択、交差、ランダム変異等のプロセスを実行する。評価結果を満たすネットワークモデル構造が得られ、要求を満たす検索戦略が得られ、ニューラルネットワーク構造モデルの検索が完了されるまで、上記のプロセスを繰り返し実行する。
【００２５】
現在、ニューラルネットワーク構造モデルを検索する方法では、検索戦略として進化的アルゴリズム又は強化学習戦略勾配アルゴリズムが単独で使用されている。
【００２６】
本発明は、多目的最適化に対する進化的アルゴリズムＮＳＧＡ−ＩＩのサポートと、生成されたモデルがフォールバックしないことを保証する利点とを組み合わせた、ニューラルネットワークアーキテクチャパータンを検索する方法を提供する。進化的アルゴリズムでは、強化学習アルゴリズムを使用してランダム変異プロセスを調整し、ランダム性の探索と学習済み情報の使用との間でバランスを取る。
【００２７】
図４は、一例示的な実施例に係るニューラルネットワークアーキテクチャパータンを検索する方法を示すフローチャートであり、図４に示すように、ニューラルネットワークアーキテクチャパータンを検索する方法は、端末に用いられ、下記のステップＳ１１乃至ステップＳ１６を含む。
【００２８】
ステップＳ１１において、多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成する。
【００２９】
ステップＳ１２において、現世代のネットワークモデル構造母集団に対して選択及び交差を行う。
【００３０】
本発明において、初期段階では、現世代のネットワークモデル構造母集団は、多目的最適化ハイパーパラメータに基づいて生成された初期世代のネットワークモデル構造母集団である。検索段階では、現世代のネットワークモデル構造母集団は、検索されたネットワークモデル構造母集団である。
【００３１】
ステップＳ１３において、強化学習変異に基づいて一部のネットワークモデル構造を生成する。
【００３２】
ステップＳ１４において、選択及び交差されたネットワークモデル構造母集団内のネットワークモデル構造をランダムに変異させて残りの部分のネットワークモデル構造を生成する。
【００３３】
ステップＳ１５において、強化学習変異が生成したネットワークモデル構造、及びランダム変異によって生成されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成する。
【００３４】
ステップＳ１６において、現世代のネットワークモデル構造母集団及びネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索する。
【００３５】
本発明では、ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するプロセスは、ネットワークモデル構造新母集団内のネットワークモデル構造に対して性能評価を行い、多目的最適化状態が最適に達していない場合、検索された次世代のネットワークモデル構造母集団に対して本発明の実施例に係る選択、交差、変異（強化学習変異及びランダム変異）等のプロセスを実行して、次世代のネットワークモデル構造新母集団を検索するように理解することができる。
【００３６】
ステップＳ１７において、次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで、上記のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択する。
【００３７】
本発明では、強化学習変異に基づき、学習済みネットワークモデル構造を使用することができる。選択及び交差されたネットワークモデル構造母集団内の一部のネットワークモデル構造をランダムに変異させることで、進化プロセスにおけるモデルの劣化をある程度回避することができる。本発明は、強化学習変異及びランダム変異を組み合わせることによって、進化的アルゴリズムで強化学習アルゴリズムを使用してランダム変異プロセスを調整し、ランダム性の探索と学習済み情報の使用との間でバランスを取ることを実現した。
【００３８】
本発明の一実施形態では、進化的アルゴリズムで強化学習アルゴリズムを使用してランダム変異プロセスを調整する際に、強化学習変異が行われる部分の割合を事前設定することができる。この割合は乱数比であってもよい。ここで、乱数比は、実際の需要に応じて設定された経験値であってもよい。ここで、主にランダム性の探索と学習済み情報の使用との間のバランスの需要に応じて設定される。進化的アルゴリズムで強化学習アルゴリズムを使用してランダム変異プロセスを調整する際に、部分的に強化学習に基づく変異を行う。残りの部分については、選択及び交差されたネットワークモデル構造をランダムに変異させる。強化学習変異されたネットワークモデル構造及びランダム変異されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成する。ネットワークモデル構造新母集団を評価して、前記ネットワークモデル構造新母集団に基づいてニューラルネットワーク構造モデルを検索する。本発明の一実施形態では、所定の乱数比を満たすことは、所定の乱数比以上であると理解することができる。本発明の上記の進化的アルゴリズムで強化学習アルゴリズムを使用してランダム変異プロセスを調整してネットワークモデル構造の生成を実現するプロセスは、図５を参照することができる。
【００３９】
本発明の上記の進化的アルゴリズム及び強化学習アルゴリズムを組み合わせることによって、多目的最適化プロセスにおいてランダム性の探索と学習済み情報の使用との間でバランスを取ることを実現することができる。
【００４０】
本発明の一実施形態では、上記で言及されたニューラルネットワーク構造モデルを検索する方法に基づき、ネットワークモデル構造新母集団内の各ネットワークモデル構造を、各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンによりネットワークモデル構造を実行し、機器側ニューラルネットワークエンジンがネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得することができる。機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する実際の推論時間に基づき、ネットワークモデル構造新母集団内でニューラルネットワーク構造モデルを検索して、対応する機器の利用可能なニューラルネットワーク構造モデルの生成を容易にする。
【００４１】
図６は、一例示的な実施例に係るニューラルネットワーク構造モデルを検索する方法を示すフローチャートである。図６に示すように、ニューラルネットワークアーキテクチャパータンを検索する方法は、端末に用いられ、下記のステップＳ２１乃至ステップＳ２８を含む。
【００４２】
図６に示すニューラルネットワーク構造モデルを検索する方法に係るステップＳ２１乃至ステップＳ２５、及びステップＳ２９は、図４に示す方法におけるステップＳ１１乃至ステップＳ１５、及びステップＳ１７と同じであり、本発明はここで詳細な説明を省略する。
【００４３】
ステップＳ２６において、ネットワークモデル構造新母集団内の各ネットワークモデル構造を、各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンによりネットワークモデル構造を実行する。
【００４４】
ステップＳ２７において、機器側ニューラルネットワークエンジンがネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得する。
【００４５】
本発明では、図７に示すような方式を使用して、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する推論時間を決定することができる。図７を参照すると、ネットワークモデル構造新母集団内のネットワークモデル構造がＮＡＳ側エージェントに送信され、ＮＡＳ側エージェントによりネットワークモデル構造を、ネットワークモデル構造を実行する機器側に送信する。機器側では、機器側エージェントがネットワークモデル構造を受信してから機器側ニューラルネットワークエンジンに送信し、機器側ニューラルネットワークエンジンによりネットワークモデル構造を実行する。機器側は、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行するために使用した実際の推論時間を記録し、機器側エージェントによりＮＡＳ側エージェントにフィードバックされる。ＮＡＳ側エージェントは、機器側エージェントにより送信された機器側ニューラルネットワークエンジンがネットワークモデル構造を実行するために使用した実際の推論時間を取得した後、コントローラでニューラルネットワーク構造モデルの検索を実行する。
【００４６】
ステップＳ２８において、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する実際の推論時間、現世代のネットワークモデル構造母集団及びネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索する。
【００４７】
本発明では、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する実際の推論時間をネットワークモデル構造新母集団内の各ネットワークモデル構造の多目的最適化パラメータの１つとし、ネットワークモデル構造新母集団内の各ネットワークモデル構造の評価に参与する。ここで、具体的な評価プロセスには、従来の評価プロセスにおけるネットワークモデル構造の更新するプロセスが含まれてもよく、例えば、ネットワークモデル構造の評価要求を満たさないネットワークモデル構造の推論時間を、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する実際の推論時間に更新してから、選択、交差、強化学習変異及びランダム変異、新母集団を生成するプロセス等を行う。
【００４８】
本発明では、ネットワークモデル構造新母集団内の各ネットワークモデル構造を機器側に送信し、機器側ニューラルネットワークエンジンがネットワークモデル構造を実行する実際の推論時間に基づいてニューラルネットワーク構造モデルを検索することで、対応する機器側の利用可能なニューラルネットワーク構造モデルの生成により有利である。
【００４９】
本発明のさらに別の実施形態では、大量のネットワークモデル構造をランダムに生成し、ネットワークモデル構造を順次トレーニングして真の評価指標が得られ、自己符号化リグレッサーを使用してネットワークモデル構造の評価指標をトレーニングして、ネットワークモデル構造の評価指標を予測可能な自己符号化リグレッサーが得られる。予測評価指標を使用して、次世代のネットワークモデル構造を検索することで、モデル評価時間を短縮し、検索効率を向上させることができる。
【００５０】
図８は、一例示的な実施例に係るニューラルネットワーク構造モデルを検索する方法を示すフローチャートである。図８に示すように、ニューラルネットワークアーキテクチャパータンを検索する方法は、端末に用いられ、下記のステップＳ３１乃至ステップＳ３９を含む。
【００５１】
図８に示すニューラルネットワーク構造モデルを検索する方法に係るステップＳ３１乃至ステップＳ３５は、図６に示す方法におけるステップＳ２１乃至ステップＳ２５と同じであり、本発明はここで詳細な説明を省略する。
【００５２】
ステップＳ３６において、大量のネットワークモデル構造をランダムに生成し、ランダムに生成された大量のネットワークモデル構造を順次トレーニングして各ネットワークモデル構造の評価指標が得られる。
【００５３】
ステップＳ３７において、自己符号化復号化リグレッサーに基づいてネットワークモデル構造及び評価指標をトレーニングして、ネットワークモデル構造の評価指標を予測可能な自己符号化リグレッサーが得られる。
【００５４】
ステップＳ３８において、上記の自己符号化リグレッサーに基づき、入力ネットワークモデル構造を予測して、このネットワークモデル構造の予測評価指標が得られる。
【００５５】
図９は、自己符号化リグレッサーを使用してネットワークモデル構造の評価指標をトレーニングして予測評価指標が得られるプロセスを示す模式図である。図９を参照すると、評価指標は多目的最適化ハイパーパラメータの１つとして、生成されたネットワークモデル構造Ａは入力パラメータとして、自己符号化器内に入力される。自己符号化器は、推論時間の中間表徴を生成し、この中間表徴に基づいて予測評価指標が得られる。ここで、リグレッサーはネットワークモデル構造Ａを符号化して中間表徴を生成し、復号化してネットワークモデル構造Ｂが得られ、リグレッサーのパラメータは、ｌｏｓｓ（Ｂ＝Ａ）を最小化するために逆伝播トレーニング（ＢＰ）によって得られる。トレーニングが完了された後、ネットワークモデル構造に基づいて評価指標を予測し、トレーニング評価指標及び予測評価指標に基づく損失（Ｌｏｓｓ）関数を最小化するために、逆伝播アルゴリズムに基づいてトレーニングして、更新された予測評価指標を得ることができる。
【００５６】
ステップＳ３９において、予測評価指標を使用して、現世代のネットワークモデル構造及びネットワークモデル構造新母集団に基づいてニューラルネットワーク構造モデルを検索する。
【００５７】
ステップＳ３１０において、多目的最適化状態が最適になるまで、上記のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択する。
【００５８】
本発明では、自己符号化リグレッサーを使用してネットワークモデル構造の評価指標をトレーニングして、評価指標を予測可能な自己符号化リグレッサーが得られ、予測評価指標を使用してニューラルネットワーク構造モデルを検索することで、モデル評価時間を短縮し、検索効率を向上させることができる。
【００５９】
同じ概念に基づき、本発明の実施例は、ニューラルネットワーク構造モデルを検索する装置をさらに提供する。
【００６０】
上記の機能を実現するために、本発明の実施例に提供されるニューラルネットワーク構造モデルを検索する装置は、各機能を実行する該当ハードウェア構造及び／又はソフトウェアモジュールを備えることを理解されたい。本発明の実施例に開示される各例のユニット及びアルゴリズムステップに関連して、本発明の実施例は、ハードウェア又はハードウェアとコンピュータソフトウェアの組み合わせの形式で実現されることができる。ある機能がハードウェアで実行されるか、又はコンピュータソフトウェアによりハードウェアを駆動する方式で実行されるかは、技術案の特定のアプリケーション及び設計上の制約条件に依存する。当業者は、特定のアプリケーションごとに異なる方法を使用して説明された機能を実現してもよいが、そのような実現が、本発明の実施例の技術案の範囲を超えると見なすべきではない。
【００６１】
図１０は、一例示的な実施例に係るニューラルネットワーク構造モデルを検索する装置を示すブロック図である。図１０を参照すると、ニューラルネットワーク構造モデルを検索する装置１００は、母集団生成ユニット１０１、選択及び交差ユニット１０２、変異ユニット１０３、新母集団生成ユニット１０４及び検索ユニット１０５を備える。
【００６２】
母集団生成ユニット１０１は、多目的最適化ハイパーパラメータに基づいて初期世代のネットワークモデル構造母集団を生成するように構成される。選択及び交差ユニット１０２は、前記初期世代のネットワークモデル構造母集団、又は検索された次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、現世代のネットワークモデル構造母集団に対して選択及び交差を行うように構成される。変異ユニット１０３は、強化学習変異に基づいて一部のネットワークモデル構造を生成し、選択及び交差されたネットワークモデル構造母集団をランダムに変異させて残りの部分のネットワークモデル構造を生成するように構成される。新母集団生成ユニット１０４は、強化学習変異が生成したネットワークモデル構造、及びランダム変異によって生成されたネットワークモデル構造に基づき、ネットワークモデル構造新母集団を生成するように構成される。検索ユニット１０５は、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索し、次世代のネットワークモデル構造母集団を現世代のネットワークモデル構造母集団として、多目的最適化状態が最適になるまで選択、交差及び変異のプロセスを繰り返し実行し、最終世代のネットワークモデル構造母集団から、異なるシナリオに適したニューラルネットワーク構造モデルを選択するように構成される。
【００６３】
一例では、変異ユニット１０３は、所定の乱数比を満たす一部のネットワークモデル構造が強化学習変異により生成され、他の部分のネットワークモデル構造が選択及び交差されたネットワークモデル構造のランダムに変異によって生成されるように構成される。
【００６４】
一例では、多目的最適化パラメータには、ネットワークモデル構造を実行するための推論時間が含まれる。ニューラルネットワーク構造モデルを検索する装置１００は、送受信ユニット１０６をさらに備える。送受信ユニット１０６は、新母集団生成ユニットがネットワークモデル構造新母集団を生成した後、前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を、前記各ネットワークモデル構造を実行する機器側に送信し、機器側ニューラルネットワークエンジンにより前記ネットワークモデル構造を実行し、機器側ニューラルネットワークエンジンが前記ネットワークモデル構造新母集団内の各ネットワークモデル構造を実行する推論時間を取得するように構成される。検索ユニット１０５は、次の方式を使用して現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、推論時間、現世代のネットワークモデル構造及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索する。
【００６５】
一例では、ニューラルネットワーク構造モデルを検索する装置は、トレーニングユニット１０７をさらに備える。トレーニングユニット１０７は、自己符号化リグレッサーを使用して、ネットワークモデル構造及び評価指標をトレーニングして、評価指標を予測可能な自己符号化リグレッサーが得られるように構成される。
【００６６】
検索ユニット１０５は、次の方式を使用して、現世代のネットワークモデル構造母集団及びネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索するように構成され、予測評価指標を使用して、現世代のネットワークモデル構造母集団及び前記ネットワークモデル構造新母集団に基づいて次世代のネットワークモデル構造母集団を検索する。ここで、予測評価指標は、自己符号化リグレッサーによって決定される。自己符号化リグレッサーは、ネットワークモデル構造及び評価指標を事前にトレーニングして得られた評価指標を予測可能な自己符号化リグレッサーである。
【００６７】
上記の実施例における装置に関して、各モジュールが操作を実行する具体的な方法は、この方法に係る実施例で詳細に説明されており、ここでは詳細な説明を省略する。
【００６８】
図１１は、一例示的な実施例に係るニューラルネットワーク構造モデルを検索する装置２００を示すブロック図である。例えば、ニューラルネットワーク構造モデルを検索する装置２００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【００６９】
図１１を参照すると、ニューラルネットワーク構造モデルを検索する装置２００は、処理ユニット２０２、メモリ２０４、電源ユニット２０６、マルチメディアユニット２０８、オーディオユニット２１０、入力/出力（Ｉ/Ｏ）インタフェース２１２、センサーユニット２１４、及び通信ユニット２１６からなる群から選ばれる少なくとも１つを備えてもよい。
【００７０】
処理ユニット２０２は、一般的には、ニューラルネットワーク構造モデルを検索する装置２００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット２０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー２２０を備えてもよい。また、処理ユニット２０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット２０２は、マルチメディアユニット２０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【００７１】
メモリ２０４は、ニューラルネットワーク構造モデルを検索する装置２００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、ニューラルネットワーク構造モデルを検索する装置２００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ２０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【００７２】
電源ユニット２０６は、ニューラルネットワーク構造モデルを検索する装置２００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及びニューラルネットワーク構造モデルを検索する装置２００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【００７３】
マルチメディアユニット２０８は、ニューラルネットワーク構造モデルを検索する装置２００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット２０８は、フロントカメラ及び/又はバックカメラを有してもよい。ニューラルネットワーク構造モデルを検索する装置２００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び/又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【００７４】
オーディオユニット２１０は、オーディオ信号を出力及び/又は入力するように配置される。例えば、オーディオユニット２１０は、マイクロフォン（ＭｉＣ）を有してもよい。ニューラルネットワーク構造モデルを検索する装置２００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ２０４にさらに記憶されてもよいし、通信ユニット２１６を介して送信されてもよい。一実施例では、オーディオユニット２１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【００７５】
Ｉ/Ｏインタフェース２１２は、処理ユニット２０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【００７６】
センサーユニット２１４は、ニューラルネットワーク構造モデルを検索する装置２００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット２１４は、ニューラルネットワーク構造モデルを検索する装置２００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、ニューラルネットワーク構造モデルを検索する装置２００のディスプレイ及びキーパッドである。センサーユニット２１４は、ニューラルネットワーク構造モデルを検索する装置２００又はニューラルネットワーク構造モデルを検索する装置２００の１つのユニットの位置の変化、ユーザによるニューラルネットワーク構造モデルを検索する装置２００への接触の有無、ニューラルネットワーク構造モデルを検索する装置２００の方向又は加速/減速、ニューラルネットワーク構造モデルを検索する装置２００の温度変化などを検出することができる。センサーユニット２１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット２１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット２１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【００７７】
通信ユニット２１６は、ニューラルネットワーク構造モデルを検索する装置２００と他の設備の間との無線又は有線通信を便利にさせるように配置される。ニューラルネットワーク構造モデルを検索する装置２００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット２１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット２１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術によって実現されてもよい。
【００７８】
例示的な実施例では、ニューラルネットワーク構造モデルを検索する装置２００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【００７９】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ２０４をさらに提供する。前記命令は、ニューラルネットワーク構造モデルを検索する装置２００のプロセッサー２２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【００８０】
本発明における単数形式の「１種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含むことを理解されたい。
【００８１】
本発明の実施例では、図面において特定の順序で操作を説明しているが、示された特定の順序又は連続した順序でこれらの操作が実行されるか、又は所望の結果を得るために、示された全ての操作が実行されることを要求するものとして解釈されるべきではないことをさらに理解されたい。特定の環境では、マルチタスク及び並列処理が有利な場合がある。
【００８２】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【００８３】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【図１】
0006889786.tif 000002
【図２】
0006889786.tif 000003
【図３】
0006889786.tif 000004
【図４】
0006889786.tif 000005
【図５】
0006889786.tif 000006
【図６】
0006889786.tif 000007
【図７】
0006889786.tif 000008
【図８】
0006889786.tif 000009
【図９】
0006889786.tif 000010
【図１０】
0006889786.tif 000011
【図１１】
0006889786.tif 000012