(57)【要約】【課題】予測の精度および不確実性について同時に最適化するように深層学習ネットワークのパラメータを調整する。【解決手段】１０５で、予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、１０６で、深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、１０７および１０８で、生成された訓練されたモデルにモンテカルロドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、１１０で、訓練されたモデルが最適化されていないことを適合度関数が示す場合、１０５で、深層学習アーキテクチャパラメータを更新して、モデル訓練および適合度関数評価の処理を反復し、訓練されたモデルが最適化されたことを適合度関数が示す場合、１１２で、予測のために訓練されたモデルを提供する。【選択図】図１
2018200677.tif 000002
【特許請求の範囲】
【請求項１】
予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、
前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、
前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、
前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、
前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供する管理方法。
【請求項２】
前記適合度関数は、入力と、前記深層学習アーキテクチャパラメータと、ドロップアウト率とから所与の出力を予測する確率を提供することによって、前記訓練されたモデルの前記予測の精度および不確実性を評価する請求項１に記載の管理方法。
【請求項３】
前記適合度関数は、前記深層学習アーキテクチャパラメータが閾値内に収束した場合に前記モデルが最適化されたことを示し、
モンテカルロ予測の平均および前記評価された不確実性を実際の検証データセットと比較することに基づいて、前記適合度関数が評価される請求項１に記載の管理方法。
【請求項４】
前記生成された訓練されたモデルは、装置の残存耐用年数（ＲＵＬ）を決定するように設定され、
前記訓練されたモデルの生成するための前記深層学習アーキテクチャパラメータに基づく前記モデル訓練の実施は、前記装置の過去のデータを記憶するデータベースからの訓練データの適用を含み、
前記適合度関数は、前記データベースに記憶された前記過去のデータからの検証セットに対照して、前記生成された訓練されたモデルに適用された前記モンテカルロ（ＭＣ）ドロップアウトの評価から得られる前記予測および前記不確実性に基づいて、前記訓練モデルの前記予測の精度および不確実性を評価するように設定される請求項１に記載の管理方法。
【請求項５】
前記適合度関数は、
2018200677.tif 000006
として定義され、
Ｐ（ｙ│ｘ，ｗ，ｄ）は、入力データｘ、ネットワークパラメータｗおよびドロップアウト率ｄが与えられた場合に出力ｙを予測する尤度であり、
ｘ＝入力データ、
ｗ＝ネットワークパラメータ、
ｄ＝ドロップアウト率、
μ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の平均、
σ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の偏差である請求項１に記載の管理方法。
【請求項６】
予測のために前記訓練されたモデルを提供することが、前記訓練されたモデルを実行して、受信されたデータに基づいてパラメータの予測および不確実性レベルを提供することを含む請求項１に記載の管理方法。
【請求項７】
処理を実行するための命令を記憶した非一時的コンピュータ可読媒体であって、
前記命令は、
予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、
前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、
前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、
前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、
前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供する非一時的コンピュータ可読媒体。
【請求項８】
前記適合度関数は、入力と、前記深層学習アーキテクチャパラメータと、ドロップアウト率とから所与の出力を予測する確率を提供することによって、前記訓練されたモデルの前記予測の精度および不確実性を評価する請求項７に記載の非一時的コンピュータ可読媒体。
【請求項９】
前記適合度関数は、前記深層学習アーキテクチャパラメータが閾値内に収束した場合に前記モデルが最適化されたことを示し、
モンテカルロ予測の平均および前記評価された不確実性を実際の検証データセットと比較することに基づいて、前記適合度関数が評価される請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１０】
前記生成された訓練されたモデルは、装置の残存耐用年数（ＲＵＬ）を決定するように設定され、
前記訓練されたモデルの生成するための前記深層学習アーキテクチャパラメータに基づく前記モデル訓練の実施は、前記装置の過去のデータを記憶するデータベースからの訓練データの適用を含み、
前記適合度関数は、前記データベースに記憶された前記過去のデータからの検証セットに対照して、前記生成された訓練されたモデルに適用された前記モンテカルロ（ＭＣ）ドロップアウトの評価から得られる前記予測および前記不確実性に基づいて、前記訓練モデルの前記予測の精度および不確実性を評価するように設定される請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１１】
前記適合度関数は、
2018200677.tif 000007
として定義され、
Ｐ（ｙ│ｘ，ｗ，ｄ）が、入力データｘ、ネットワークパラメータｗおよびドロップアウト率ｄが与えられた場合に出力ｙを予測する尤度であり、
ｘ＝入力データ、
ｗ＝ネットワークパラメータ、
ｄ＝ドロップアウト率、
μ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の平均、
σ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の偏差
である請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１２】
予測のために前記訓練されたモデルを提供することが、前記訓練されたモデルを実行して、受信されたデータに基づいてパラメータの予測および不確実性レベルを提供することを含む請求項７に記載の非一時的コンピュータ可読媒体。
【請求項１３】
予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、
前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、
前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、
前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、
前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供するプロセッサを備える管理装置。
【請求項１４】
前記適合度関数は、入力と、前記深層学習アーキテクチャパラメータと、ドロップアウト率とから所与の出力を予測する確率を提供することによって、前記訓練されたモデルの前記予測の精度および不確実性を評価する請求項１３に記載の装置。
【請求項１５】
前記適合度関数は、前記深層学習アーキテクチャパラメータが閾値内に収束した場合に前記モデルが最適化されたことを示し、
モンテカルロ予測の平均および前記評価された不確実性を実際の検証データセットと比較することに基づいて、前記適合度関数が評価される請求項１３に記載の管理装置。
【請求項１６】
前記生成された訓練されたモデルは、装置の残存耐用年数（ＲＵＬ）を決定するように設定され、
前記訓練されたモデルの生成するための前記深層学習アーキテクチャパラメータに基づく前記モデル訓練の実施は、前記装置の過去のデータを記憶するデータベースからの訓練データの適用を含み、
前記適合度関数は、前記データベースに記憶された前記過去のデータからの検証セットに対照して、前記生成された訓練されたモデルに適用された前記モンテカルロ（ＭＣ）ドロップアウトの評価から得られる前記予測および前記不確実性に基づいて、前記訓練モデルの前記予測の精度および不確実性を評価するように設定される請求項１３に記載の管理装置。
【請求項１７】
前記適合度関数は、
2018200677.tif 000008
として定義され、
Ｐ（ｙ│ｘ，ｗ，ｄ）が、入力データｘ、ネットワークパラメータｗおよびドロップアウト率ｄが与えられた場合に出力ｙを予測する尤度であり、
ｘ＝入力データ、
ｗ＝ネットワークパラメータ、
ｄ＝ドロップアウト率、
μ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の平均、
σ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた前記予測の偏差
である、請求項１３に記載の管理装置。
【請求項１８】
前記プロセッサは、前記訓練されたモデルを実行して、受信されたデータに基づいてパラメータについての予測および不確実性レベルを提供することによって、予測のために前記訓練されたモデルを提供する請求項１３に記載の管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理方法、非一時的コンピュータ可読媒体および管理装置に関し、不確実性推定のための深層学習ネットワークアーキテクチャの最適化に適用可能である。
【背景技術】
【０００２】
関連技術において、機器の稼働時間は、機器の利用性を高める新たな方法を模索する様々な産業に渡って益々重要となっている。予測的なメンテナンスを使用することで、機器の利用性を高め、操作者の安全性を向上し、環境事故を削減することができる。状態基準保全（ＣＢＭ：ｃｏｎｄｉｔｉｏｎ  ｂａｓｅｄ  ｍａｉｎｔｅｎａｎｃｅ）によってシステムの障害を検出することが不十分な場合があるが、その理由は、障害発生時に、予備部品が利用不可能な場合があり、または必要なリソース（例えば、保守員）が空いていない場合があるためである。
【０００３】
従って、アルゴリズム的な故障予測および残存耐用年数推定器が開発されている。予測器／推定器は劣化過程をモデル化し、コンポーネントの故障時刻、またはコンポーネントの性能が動作要件を下回る時刻を予測する。複雑なシステムのコンポーネントの劣化過程は、多数の要因、例えば、未定義の障害モード、動作条件、環境条件などによって影響を受ける場合がある。場合によっては、そのような要因は記録されないので、未知のものとみなされる。
【０００４】
故障の予測または残存耐用年数の推定値は本質的に不確実である。様々な不確実性の発生源、例えば、測定ノイズ、予測モデルの選択およびその複雑性などが存在し得る。不確実性を理解することは、データまたはモデルの有用性を理解するために必要とされる。例えば、推定された不確実性に基づいて、予測値に信頼限界を与えることが可能である。予測された値および不確実性（または信頼限界）に応じて、意思決定者は意思決定プロセスに予測を取り入れる場合に、より多く（大きい信頼限界）またはより少なく（低い信頼限界）注意を払うことができる。
【０００５】
不確実性が高い場合、意思決定者は、より多様なデータが必要であるか、または予測のために新たな機械学習モデルが必要であるかを判断することができる。例えば、不確実性推定は、ジェットエンジンなどの重要な機器の残存耐用年数（ＲＵＬ：ｒｅｍａｉｎｉｎｇ  ｕｓｅｆｕｌ  ｌｉｆｅ）を推定する場合に重要である。信頼性チームは、恐らくは、飛行機のメンテナンスを、ＲＵＬ信頼区間の下限が発生する時刻に合致するように予定する。これを行うことによって、運転中の壊滅的な故障が回避され得る。不確実性推定値の重要性の他の例は、異なる動作を実行する複数の機器を含む運用計画である。異なる動作の期間の予測と共に不確実性を知ることは、単に予測のみを取得する手法と比較して最終的な生産結果の観点で、より信頼性のある計画につながり得る。また、不確実性を定量化することは、より良好なコスト最適化を容易にする。
【０００６】
故障予測およびＲＵＬ推定のための関連技術の実装では、スライディングウィンドウ、再帰型ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、および長期短期記憶（ＬＳＴＭ：Ｌｏｎｇ  Ｓｈｏｒｔ  Ｔｅｒｍ  Ｍｅｍｏｒｙ）ネットワークを介して、時系列情報が考慮される。従って、情報処理は、スライディングウィンドウ実装のための独立した時間ウィンドウから、再帰型ニューラルネットワークおよびＬＳＴＭ実装のための系列依存の時間ウィンドウに及ぶ。しかしながら、これらの手法のうち、成された予測について不確実性推定値を提供するものはない。
【０００７】
深層学習では一般的に、不確実性の定量化は、関連技術における活発な研究分野となっている。「ドロップアウト」と呼ばれる特定の関連技術の技法が、深層学習において訓練段階中にモデル正則化技法としてしばしば使用される。関連技術の実施は、モンテカルロ（ＭＣ）ドロップアウトと呼ばれる技法を使用して推論段階において不確実性情報を提供するために、ドロップアウトが有益であり得ることを示している。ドロップアウトの量は精度および不確実性推定にとって重要であり、最適なドロップアウトおよびネットワークアーキテクチャの選択は重要なステップである。現在、検証段階において最高精度の結果を与えるドロップアウトは、推論段階に対して最適であると考えられている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１７−１２９８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ロバスト最適化の関連技術の実施は、不確実性および精度の両方が考慮される場合、トレードオフの問題であるので、両者が同時に最適化されなければならないということを示している。ＭＣドロップアウトの関連技術の実施では、精度のみに焦点が合わせられ、ドロップアウトは不確実性情報を与えるために使用されており、精度および不確実性が同時に最適化されていなかった。
【００１０】
本発明は、上記事情に鑑みなされたものであり、その目的は、予測の精度および不確実性について同時に最適化されるように深層学習ネットワークのパラメータを調整することが可能な管理方法、非一時的コンピュータ可読媒体および管理装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本開示の態様は管理方法であって、予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供する。
【００１２】
本開示の態様は管理装置であって、予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供するプロセッサを備える。
【００１３】
本開示の態様は、処理を実行するための命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化し、前記深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成し、前記生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、前記訓練されたモデルが最適化されていないことを前記適合度関数が示す場合、前記深層学習アーキテクチャパラメータを更新して、前記訓練されたモデルの生成と前記適合度関数の評価とを反復し、前記訓練されたモデルが最適化されたことを前記適合度関数が示す場合、前記訓練されたモデルを予測のために提供する。
【００１４】
本開示の態様は、前記命令をコンピュータに実行させるコンピュータプログラムを含むことができる。コンピュータプログラムは、コンピュータ可読媒体に記憶され、１つまたは複数のプロセッサによって実行可能な命令の形態にすることができる。
【発明の効果】
【００１５】
本発明によれば、予測の精度および不確実性について同時に最適化するように深層学習ネットワークのパラメータを調整することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、一実施例に係るフローの一例である。
【図２】図２は、一実施例に係るベースアーキテクチャスタックアップの一例を示す図である。
【図３】図３は、一実施例に係るＲＵＬ推定の場合のベースアーキテクチャスタックアップの一例を示す図である。
【図４】図４は、一実施例に係るモンテカルロドロップアウト方法および適合度関数評価の一例を示す図である。
【図５】図５は、一実施例に係るＲＵＬのための収束したネットワークアーキテクチャの一例を示す図である。
【図６】図６は、一実施例に係る最適化アルゴリズムのアーキテクチャパラメータ初期化の一例を示す図である。
【図７】図７は、一実施例に係る最適化アルゴリズムから生成された収束したアーキテクチャパラメータの一例を示す図である。
【図８】図８は、一実施例に係る複数の装置および管理装置を含むシステムを示す図である。
【図９】図９は、一実施例に係るＲＵＬのためのモデルの実行の一例を示す図である。
【図１０】図１０は、いくつかの実施例において使用するのに適したコンピュータデバイスを有するコンピューティング環境の一例を示す図である。
【発明を実施するための形態】
【００１７】
本明細書に記載の実施例は、精度および不確実性について同時に最適化するように深層学習ネットワークのパラメータを調整するための、深層学習に基礎を有するメカニズムを含む。最適化されたネットワークは、予測値ならびに予測における関連する不確実性を提供する。一般的に、ＭＣドロップアウト、深層学習および最適化の基礎に基づいて、実施例は、予測精度および不確実性に同時に焦点を合わせて最適化される適合度関数を併せた技法を含む。
【００１８】
実施例は、時系列センサデータ、故障データおよび動作データを使用して、予測の不確実性に関する正確な情報を提供しつつ、故障または残存耐用年数（ＲＵＬ）を正確に予測する問題に対処することを対象とする。そのような実施例は、ネットワークパラメータを精度および不確実性について同時に最適化することを含む。
【００１９】
本明細書に示される実施例は、深層学習アーキテクチャの動的ネットワーク生成を含む。実施例では、ベースアーキテクチャスタックアップは、モデルに含まれるネットワーク層タイプと、それらの間の関係とを定義する。ベースアーキテクチャスタックアップは問題に固有であり、ユーザによって指定されることが想定される。ベースアーキテクチャは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、長期短期記憶（ＬＳＴＭ）、および多層完全接続ニューラルネットワーク（ＮＮ）などの層タイプを含むことができる。
【００２０】
実施例では、ネットワークアーキテクチャは、入力されたネットワークアーキテクチャパラメータと、ベースアーキテクチャスタックアップとに基づいて生成される。ネットワークアーキテクチャパラメータは、限定はされないが、畳み込み層数、各層の畳み込みフィルタ数、ＬＳＴＭ層数、各層のＬＳＴＭユニット数、完全接続層数、各完全接続隠れ層の隠れユニット数、ドロップアウト率（ＣＮＮ層、ＬＳＴＭ層、完全接続層）、訓練最適化アルゴリズム、訓練最適化アルゴリズム学習率、訓練用の目的関数などを含む。
【００２１】
また、実施例は、ネットワークアーキテクチャおよび検討中の関連するパラメータの予測精度および不確実性を同時に評価するための適合度関数を含むことができる。実施例では、適合度関数は検証データセットに基づいて評価され、最適化アルゴリズムによって最適なネットワークアーキテクチャを発見するために使用される。
【００２２】
また、実施例は、自動最適ネットワークアーキテクチャ選択およびネットワーク訓練を含むことができ、これは最適化アルゴリズムとの結合動的ネットワークアーキテクチャ生成である。最適化アルゴリズムとの動的ネットワークアーキテクチャの結合は、深層学習ネットワークを動的に生成および訓練し、訓練された深層学習ネットワークを使用して検証データセットに関して適合度関数を評価し、ネットワークアーキテクチャパラメータに関して適合度関数について最適化し、複数のコンポーネントを使用して不確実性と共にＲＵＬ予測を実施することによって、最適なネットワークアーキテクチャパラメータを発見する。
【００２３】
以下の詳細な説明は、図のさらなる詳細と、本出願の実施例とを与える。形態間の冗長な要素の参照番号および説明は明確さのために省略されている。説明全体にわたって使用される用語は例として与えられており、限定するものではない。例えば、「自動」という用語の使用は、本出願を実施する当業者の所望の実施に応じて、実施の特定の態様に対するユーザまたは管理者の制御を含む、全自動または半自動の実施を含むことができる。選択は、ユーザによりユーザインターフェースまたは他の入力手段を介して行われ、または所望のアルゴリズムを介して実施され得る。また、「不確実性レベル」と「信頼性レベル」は交換可能に使用され得る。本明細書に記載の実施例は単独でまたは組み合わせて使用され、実施例の機能は、所望の実施による任意の手段を介して実施され得る。
【００２４】
図１は、一実施例に係るフローの一例である。実施例は図１に示された３つのステップを含むことができる。例えば、動的な深層学習ネットワークアーキテクチャの生成および訓練（ステップＳ１）と、検証データセットに関する適合度関数評価（ステップＳ２）と、深層学習ネットワークアーキテクチャおよびネットワークハイパーパラメータについての適合度関数の最適化（ステップＳ３）である。
【００２５】
本方法論の動作を示すための一実施例では、システムの残存耐用年数（ＲＵＬ）推定の一例が利用される。ＲＵＬとは、システムのコンポーネントが寿命に達する前に残っている時間である。ＲＵＬを推定することは、時系列センサデータ、イベントデータ、故障データおよび動作データからの情報を組み込むことを含む。本方法論を使用してＲＵＬを不確実性と共に正確に推定するためには、以下のステップが提示された順番で実行されなければならない。
【００２６】
データ準備１０１は予測のために入力されるデータを含む。予測のために入力されるデータは、センサ測定値から生成された時系列、動作の系列、および当該の問題に関連し得るコンポーネント／システムの動作中に発生したイベントのセットである。データが深層学習アルゴリズムへの入力として使用される前に、いくつかのステップを実施する必要がある。実施例は、センサに基づく故障予測、ＲＵＬ推定などの分野に以前貢献したデータ処理を活用する。
【００２７】
一例では、外れ値除去、データを深層学習によって利用可能な形式にするためのコンポーネント別の系列構築のような、ＲＵＬを決定するためのデータ準備１０１のためのステップが実施される。系列構築中に、従来の時間尺度をコンポーネントの時間尺度に変換する必要があり得るが、その理由は、ＲＵＬが動作時間で表現されなければならないためである（例えば、機器稼働停止時間、昼休みなどの非動作時間を含まない）。
【００２８】
データ準備１０１のための追加のステップは、（ａ）例えば、最小、最大、パーセンタイル、アベレージ、ＦＦＴ（高速フーリエ変換）など、ウィンドウに渡って予め定義された関数を使用すること、および（ｂ）畳み込みニューラルネットワーク（ＣＮＮ）を適用して自動特徴抽出を行うことによる、ウィンドウをデータに適用したセンサデータ圧縮（特徴抽出）を含むことができる。ＣＮＮを使用した自動特徴抽出が適用される場合、これは本明細書に記載のベースアーキテクチャスタックアップにおいて定義されなければならない。
【００２９】
データ準備１０１のための追加ステップはまた、所望の実施に応じて、対応するＲＵＬ値を有する生成された系列の要素ごとのラベルの生成を含むことができる。これは訓練段階においてモデルパラメータを学習するのに必要であり得る。
【００３０】
データが準備されると、１０２においてデータはさらに訓練セットおよび検証セットに分割される。訓練セットはモデル訓練段階中にモデルパラメータを学習するために使用される。検証セットは本開示で後述される適合度関数を評価するために使用される。
【００３１】
次に、動的な深層学習ネットワークアーキテクチャの生成および訓練の実行がある。この部分では、深層学習ネットワークアーキテクチャにおける既存の概念が利用され、これは畳み込みニューラルネットワーク（ＣＮＮ）、ＬＳＴＭネットワークおよびニューラルネットワーク（ＮＮ）を含む。最初のステップとして、１０３において、ユーザ定義されたベースアーキテクチャスタックアップが生成される。実施例におけるベースアーキテクチャスタックアップは、畳み込み層、ＬＳＴＭ層およびＮＮ層の間の関係として定義される。ベースアーキテクチャスタックアップは、所望の実施に応じて、畳み込み層、ＬＳＴＭ層およびＮＮ層が実行されるか否か、およびどこで実行されるか、どの層が互いに接続されるかなどを含むようにユーザによって定義され得る。
【００３２】
図２は一実施例によるベースアーキテクチャスタックアップを示す。図２に示されるように、実施例におけるベースアーキテクチャスタックアップ２００は、ユーザによって定義される畳み込み層２０１、ＬＳＴＭ層２０２およびＮＮ層２０３の間の関係を含む。ベースアーキテクチャ２００は初期化すべき多数のアーキテクチャパラメータ２０４を含む。そのようなパラメータは、限定はされないが、畳み込み層数、畳み込みフィルタ数、畳み込みフィルタサイズ、ＬＳＴＭ層数、ＬＳＴＭノード数、ＮＮ層数、ＮＮ隠れノード数、ドロップアウト率などを所望の実装に応じて含む。アーキテクチャパラメータは、メイン最適化アルゴリズムと以降称される最適化アルゴリズムを使用して最適化される。
【００３３】
図３は一実施例によるＲＵＬ推定の場合のベースアーキテクチャスタックアップの一例を示す。ＲＵＬについて、図３に示されるように、情報は入力層からＬＳＴＭ層へ、次いでＮＮ層へ、最後に出力層へ流れる。そのような関係はユーザ定義され得る。自動特徴抽出処理が必要とされる場合、ベースアーキテクチャスタックアップの関係は、入力層から畳み込み層、ＬＳＴＭ層、ＮＮ層、出力層までを含むことができる。メイン最適化アルゴリズムは、ユーザ定義されたベースアーキテクチャを不変に保つネットワークアーキテクチャパラメータを発見する。
【００３４】
図１に戻って、１０４においてメイン最適化アルゴリズムが開始され、１０５においてアーキテクチャパラメータが初期化される。本明細書に記載の実施例は、最適化アルゴリズム（すなわち、メイン最適化アルゴリズム）の実行を含む。メイン最適化は、所望の実施に応じて、勾配ベースまたは勾配フリーのアルゴリズム、例えば、進化アルゴリズムとすることができる。図２のベースアーキテクチャスタックアップ２００が定義されると、メイン最適化アルゴリズムは深層学習アーキテクチャパラメータ２０４を初期化し、深層学習ネットワークが動的に生成される。適合度関数（後述）を最適化することによって、メイン最適化アルゴリズムは最適なネットワークアーキテクチャをもたらす。メイン最適化アルゴリズムはベースアーキテクチャスタックアップ２００を変更しない。
【００３５】
一例として、ＲＵＬ推定の場合、図３に示されるように、メイン最適化はネットワークアーキテクチャパラメータを、４つのＬＳＴＭノードを有する１つのＬＳＴＭ層、２つの隠れノードを有する１つのＮＮ層、ＬＳＴＭ層用の０．５入力および出力ドロップアウト、およびＮＮ層用の０．５ドロップアウトとして初期化する。
【００３６】
次いで、１０６において、モデルが訓練される。メイン最適化アルゴリズムによるベースアーキテクチャスタックアップ２００の定義およびネットワークアーキテクチャパラメータの初期化の後に、図１に示されるように訓練データセットを使用してモデルが訓練される。ネットワークを訓練するのに必要なハイパーパラメータ、例えば学習率、エポック数などもまた、メイン最適化アルゴリズムによって決定される。訓練が完了し、モデルが収束すると、訓練されたモデルは、下記で提示されるように、検証データセットに関して適合度関数を評価するために使用される。
【００３７】
１０７において予測および不確実性がＭＣドロップアウトを使用して取得され、その後、１０８において適合度関数の評価が実行される。実施例では、精度および不確実性が同時に最適化される。従って、実施例は、検証データセットを使用して評価される開発された新たな適合度関数を含む。上記のように、関連技術はＭＣドロップアウトメカニズムがガウシアン分布を近似することを示している。従って、実施例は以下のような適合度関数を含む。
【００３８】
ガウシアン分布は、
2018200677.tif 000003
と表現される。
ここで、
ｘ＝入力データ
ｗ＝ネットワークパラメータ（例えば、深層学習アーキテクチャパラメータ）
ｄ＝ドロップアウト率
μ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた予測の平均（ｍｅａｎ）
σ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた予測の偏差
Ｐ（ｙ│ｘ，ｗ，ｄ）＝入力データｘ、ネットワークパラメータ（例えば、深層学習アーキテクチャパラメータから与えられた訓練されたモデル）ｗ、およびドロップアウトｄが与えられた場合に出力ｙを予測する尤度
である。
【００３９】
最大化すべき適合度関数は、検証セットに関する対数尤度＝
2018200677.tif 000004
として定義される。
ここで、ｎは検証データセットのデータ点の数である。
【００４０】
適合度関数を評価することは、２つのステップの手順を含む。第１のステップにおいて、訓練されたモデルを使用して、検証データセットおよびＭＣドロップアウト方法を使用して、予測および予測の不確実性を推定する。推論段階または予測段階中の現行方式では、ドロップアウトは非作動状態にされるが、このＭＣドロップアウトの場合では、作動状態のままにして予測および関連する不確実性を評価し、これは最終的に適合度関数を評価するために使用される。これは以下のＲＵＬ推定の例を使用して説明される。
【００４１】
例えば、検証データセットに関するＲＵＬ推定の場合、ドロップアウトを作動状態のままにして訓練されたモデルおよび検証データセットを使用することによって、同一のインスタンス（モンテカルロサンプル）についてＲＵＬが複数回評価される。
【００４２】
図４は一実施例によるＭＣドロップアウト方法および適合度関数評価の一例を示す。一例では、ドロップアウトの３つのインスタンスが示されており、最上層から中間層への特定の接続がドロップアウトに基づいてランダムにドロップされている。モンテカルロサンプル数に等しいそのようなインスタンスは、訓練されたモデルを使用して生成および実行され、ＭＣドロップアウトにつながる。図４に示されるように、予測の中間値または平均値は、上記で提示された適合度関数での予測されたＲＵＬ（μ）を表す。予測されたＲＵＬ（μ）および実際のＲＵＬ（ｙ）の差はモデルの精度を表す。予測されたＲＵＬ（μ）と共に、不確実性（σ）も、図４に示されたモンテカルロ予測を使用して計算され、すなわち、不確実性は生成された予測の標準偏差から測定される。検証データセットを使用して、実際のＲＵＬ（ｙ）、予測の中間値（μ）および不確実性（σ）が、上記で提示された適合度関数を評価するために使用される。評価された適合度関数（メイン最適化アルゴリズムによって最適化される）は、下記でさらに提示されるようにメイン最適化アルゴリズムによってネットワークアーキテクチャパラメータを更新するためにさらに使用される。
【００４３】
図１に戻ると、１０９および１１０において、適合度関数最適化およびネットワークアーキテクチャパラメータ更新処理が実行される。生成されたネットワークは訓練され、次いで検証データセットに関して適合度関数を評価するために使用される。次いで、１０９において、メイン最適化アルゴリズムは適合度関数が最適値に達した（すなわち、アルゴリズムが収束基準に達した）かを確認する。そうでなければ（Ｎｏ）、フローは１１０に進み、ここでネットワークアーキテクチャパラメータ（ドロップアウトを含む）が更新され、メイン最適化アルゴリズムにおける収束が達成されるまで、１０５〜１１０においてモデル訓練および適合度関数評価の処理が反復される。ネットワークアーキテクチャパラメータの更新は、使用される最適化アルゴリズムのタイプ（すなわち、勾配ベースまたは勾配フリーの方法）に基づく。そのような最適化方法および収束方法は、任意の所望の最適化アルゴリズム、例えば、シミュレーテッドアニーリング、勾配降下などを使用して実施され、深層学習アーキテクチャパラメータ２０４が収束するまで実行される。適合度関数が最適化される（すなわち、メイン最適化アルゴリズムが収束する）と、その結果の訓練されたネットワークモデルはドロップアウトと共に保存される。最適化されたネットワークモデルは非常に精度が高いだけでなく、予測についての意義のある不確実性推定値を与える。
【００４４】
図５は一実施例によるＲＵＬのための収束したネットワークアーキテクチャの一例を示す。ＲＵＬの場合の一例として、図１のフローに従うことによって、図３において初期化されたアーキテクチャは、２つのＬＳＴＭ層および２つのＮＮ層が存在する図５に示されたものに収束する。ＬＳＴＭ層は層ＬＡ１、ＬＡ２にそれぞれ３２ノードおよび６４ノードを有し、８つの隠れノードがＮＮ層の各層ＬＢ１、ＬＢ２に存在する。
【００４５】
図６は一実施例による最適化アルゴリズムのアーキテクチャパラメータ初期化の一例を示す。図６に示された例では、最適化アルゴリズムのためのアーキテクチャパラメータ初期化がＲＵＬのために提供される。図６に示されるように、パラメータは、ＬＳＴＭ層数、各層のＬＳＴＭノード数、ＮＮ層数、各層のＮＮノード数、ＬＳＴＭ入力ドロップアウト、ＬＳＴＭ出力ドロップアウト、およびＮＮドロップアウトを含むことができる。パラメータは、図１に記載された１０４の最適化アルゴリズムのためのユーザ定義された１０３のベースアーキテクチャスタックアップとして使用される。
【００４６】
図７は一実施例による最適化アルゴリズムから生成された収束したアーキテクチャパラメータの一例を示す。図７の例では、最適化アルゴリズムからのアーキテクチャパラメータ収束がＲＵＬのために提供され、図６に示されたベースアーキテクチャの入力に基づく。そのようなパラメータは、図１のフローの実行から推し進められた収束から最終的に取得される。収束したパラメータは、図６に示されたように、ＬＳＴＭ層数、各層のＬＳＴＭノード数、ＮＮ層数、各層のＮＮノード数、ＬＳＴＭ入力ドロップアウト、ＬＳＴＭ出力ドロップアウト、およびＮＮドロップアウトを含むことができ、ＬＳＴＭ層およびＮＮ層の最終決定に基づいて拡張または編集される。
【００４７】
一実施例において、図１に示されたフローは、ＲＵＬなどの所望のパラメータの予測を、予測の信頼性レベルと共に提供する最適化されたモデルを生成するために使用され得る。図１に示されたフローを使用できるそのようなシステムの一例が図８に与えられており、図８は一実施例による複数の装置および管理装置を含むシステムを示す。１つまたは複数の装置または装置システム８０１−１、８０１−２、８０１−３、８０１−４はネットワーク８００に通信可能に結合され、ネットワーク８００は管理装置８０２に接続される。管理装置８０２はデータベース８０３を管理し、これはネットワーク８００内の装置および装置システムから集約されたデータフィードバックを含む。代替的な実施例では、装置および装置システム８０１−１、８０１−２、８０１−３、８０１−４からのデータフィードバックは、企業資源計画システムなどの装置または装置システムからデータを集約する独自のデータベースなどの中央リポジトリまたは中央データベースに集約され、管理装置８０２は、中央リポジトリまたは中央データベースからデータにアクセスするかまたは検索することができる。そのような装置は、固定の装置、例えば、クーラー、エアコンディショナー、サーバ、ならびに移動式装置、例えば、自動車、トラック、クレーン、ならびに定期メンテナンスを受ける任意の他の装置を含むことができる。
【００４８】
そのような一実施例では、データベース８０３に提供された過去のデータは、モデルを訓練し、予測および不確実性レベルを提供する最適化されたモデルを生成するための基礎となることができる。例えば、所望の装置からデータベース８０３に記憶されるデータまたはモデル化すべき装置のタイプは、１０１においてフローを実行することによって準備され、その後、１０２において、訓練セットおよび検証セットがデータから定義される。１０３において、ユーザが、図２に示されたアーキテクチャを定義することによってベースアーキテクチャスタックアップ２００を定義する。アーキテクチャは、図２の例示的なベースアーキテクチャスタックアップ２００に示されたように、畳み込み層２０１が使用されるか否かおよびその方法、それらがＬＳＴＭ層２０２に供給されるか否かおよびその方法などを含むことができる。
【００４９】
図６に示されたように与えられたパラメータを使用して、１０５において深層学習アーキテクチャパラメータ２０４を初期化し、１０６において、初期化されたパラメータおよびデータベース８０３に記憶されたデータに基づいてモデル訓練を実施する。１０６においてモデルが訓練されると、データベース８０３に記憶されたデータを検証セットとして利用し、１０７においてＭＣドロップアウトを使用して予測および不確実性レベルを生成する。ＭＣドロップアウトを使用して、予測および関連する不確実性レベルのセットが生成され、これらは次いで１０８において適合度関数を評価するために使用される。図１の１０８において開示された式に基づいて、予測の平均および関連する偏差レベルを利用して、１０９において適合度関数が最適化されたかを判定することができる。適合度関数が最適化された場合（Ｙｅｓ）、フローは１１１に進んで最適化アルゴリズムを終了し、生成されたモデルは、ＲＵＬおよびＲＵＬ予測の不確実性レベルを決定するために管理装置８０２に配備される。そうでなければ（Ｎｏ）、フローは１１０に進み、ネットワークアーキテクチャパラメータ（ドロップアウトを含む）が更新され、メイン最適化アルゴリズムにおける収束が達成されるまで、１０５〜１１０においてモデル訓練および適合度関数評価の処理が反復される。
【００５０】
図８に示されるように、実施例は、故障の予測、ＲＵＬの計算、およびシステムのコンポーネントまたはシステム全体に対する他の予測的なメンテナンス動作を必要とするアプリケーションにおいて利用され得る。また、実施例は、予測アルゴリズムが意思決定プロセス、またはエンドツーエンドのプロセス最適化のようなアルゴリズムなどのいずれと結合されようとも有益である。
【００５１】
図９は一実施例によるＲＵＬのためのモデルの実行の一例を示す。具体的には、図９は、図８に示された管理装置８０２によって管理される装置についてのＲＵＬ予測およびＲＵＬ予測の不確実性レベルの一例を示す。各管理された装置上でモデルを実行することによって、装置のそれぞれについてのＲＵＬの予測およびＲＵＬ予測の不確実性レベルが取得され、その後、装置システムの管理者は、特定の装置に対するメンテナンスをいつ予定するかを決定することができ、不確実性レベルが与えられた場合にどの程度の重みが予測に与えられるべきかを決定することができる。
【００５２】
本明細書に記載の実施例はＲＵＬを対象とするが、本開示はそれに限定されず、予測および不確実性レベルを生成するためのモデルを必要とする任意のパラメータが適用可能である。生成されたモデルから決定される他のパラメータの例は、限定はされないが、車両の到着の推定時刻、機器のセットの予想電力消費、装置からサーバへのデータフィードバックの予想ネットワークトラフィック、１ヶ月間の修理の予想コストなどを所望の実施に応じて含むことができる。過去のデータセットが所望のパラメータの関連するデータと共にデータベース８０３に与えられている限り、図１に示されたフロー図を実行して、所望のパラメータの予測および不確実性を提供可能なモデルを生成することができる。
【００５３】
図１０は、図８に示された管理装置８０２などの、いくつかの実施例において使用するのに適したコンピュータデバイスを有するコンピューティング環境の一例を示す。
【００５４】
コンピューティング環境９００内のコンピュータデバイス９０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ９１０、メモリ９１５（例えば、ＲＡＭ、ＲＯＭ、および／または同様のもの）、内部ストレージ９２０（例えば、磁気、光学、ソリッドステートストレージ、および／またはオーガニック）、ならびに／あるいはＩ／Ｏインターフェース９２５を含むことができ、これらはいずれも情報を伝達するために通信メカニズムまたはバス９３０上で結合され、またはコンピュータデバイス９０５に組み込まれる。Ｉ／Ｏインターフェース９２５はまた、所望の実施に応じて、カメラから画像を受信する、またはプロジェクタもしくはディスプレイに画像を提供するように構成される。
【００５５】
コンピュータデバイス９０５は、入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０に通信可能に結合される。入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０の一方または両方は、有線または無線インターフェースとすることができ、取り外し可能にすることができる。入力／ユーザインターフェース９３５は、入力を与えるのに使用される物理的または仮想的な任意のデバイス、コンポーネント、センサ、またはインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソルコントロール、マイクロフォン、カメラ、点字、モーションセンサ、光学リーダ、および／または同様のもの）を含むことができる。出力デバイス／インターフェース９４０は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカ、点字などを含むことができる。いくつかの実施例では、入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０は、コンピュータデバイス９０５に組み込まれ、または物理的に結合される。他の実施例では、他のコンピュータデバイスは、コンピュータデバイス９０５に対して入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０として機能する、またはそれらの機能を提供することができる。
【００５６】
コンピュータデバイス９０５の例は、限定はされないが、高移動性のデバイス（例えば、スマートフォン、車両および他の機械内のデバイス、人間および動物によって持ち運ばれるデバイスなど）、移動性のデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビジョン、ラジオなど）、ならびに移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つまたは複数のプロセッサが組み込まれたおよび／または結合されたテレビジョン、ラジオなど）を含むことができる。
【００５７】
コンピュータデバイス９０５は、外部ストレージ９４５と、同一のまたは異なる構成の１つまたは複数のコンピュータデバイスを含む、任意数のネットワーク化されたコンポーネント、デバイス、およびシステムと通信するためのネットワーク９５０とに（例えば、Ｉ／Ｏインターフェース９２５を介して）通信可能に結合され得る。コンピュータデバイス９０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、または他のラベルとして機能することができ、これらのサービスを提供することができ、またはこれらと称され得る。
【００５８】
Ｉ／Ｏインターフェース９２５は、限定はされないが、コンピューティング環境９００内の少なくとも全ての接続されたコンポーネント、デバイス、およびネットワークへ、および／またはこれらから情報を伝達するための任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができる。ネットワーク９５０は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。
【００５９】
コンピュータデバイス９０５は、一時的媒体および非一時的媒体を含むコンピュータ使用可能またはコンピュータ可読媒体を使用する、および／またはこれらを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスクおよびテープ）、光学媒体（例えば、ＣＤ  ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステートメディア（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、および他の不揮発性ストレージまたはメモリを含む。
【００６０】
コンピュータデバイス９０５は、いくつかのコンピューティング環境において、技法、方法、アプリケーション、処理、またはコンピュータ実行可能命令を実施するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、これから取り出され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の１つまたは複数から生じ得る。
【００６１】
プロセッサ９１０は、ネイティブまたは仮想環境において任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット９６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット９６５、入力ユニット９７０、出力ユニット９７５、ならびに異なるユニットが互いと、ＯＳと、および他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム９９５を含む１つまたは複数のアプリケーションが配備され得る。記載のユニットおよび要素は、設計、機能、構成、または実施が変更可能であり、与えられた記載に限定されない。
【００６２】
いくつかの実施例では、情報または実行命令がＡＰＩユニット９６５によって受信された場合、１つまたは複数の他のユニット（例えば、論理ユニット９６０、入力ユニット９７０、出力ユニット９７５）に伝達され得る。いくつかの例では、論理ユニット９６０は、ユニット間の情報フローを制御し、上述のいくつかの実施例においてＡＰＩユニット９６５、入力ユニット９７０、出力ユニット９７５によって提供されるサービスを管理するように構成され得る。例えば、１つまたは複数の処理または実施のフローは、論理ユニット９６０によって単独で、またはＡＰＩユニット９６５と連携して制御され得る。入力ユニット９７０は、実施例に記載された計算のための入力を取得するように構成可能であり、出力ユニット９７５は、実施例に記載された計算に基づいて出力を提供するように構成され得る。
【００６３】
一実施例では、プロセッサ９１０は、図１に示されたフローを実行して、ａ）図１の１０５のフローを実行することによって、予め定義されたベースアーキテクチャの深層学習アーキテクチャパラメータを初期化することと、ｂ）図１の１０６のフローを実行することによって、深層学習アーキテクチャパラメータに基づいてモデル訓練を実施して、訓練されたモデルを生成することと、ｃ）図１の１０７および１０８のフローを実行することによって、生成された訓練されたモデルにモンテカルロ（ＭＣ）ドロップアウトを反復的に適用して予測および不確実性を取得し、前記訓練されたモデルの前記予測の精度および不確実性を評価するように適合度関数が構成され、ｄ）１１０のフローを実行し、訓練されたモデルが最適化されていないことを適合度関数が示す場合、図１の１０５のフローに戻ることによって、深層学習アーキテクチャパラメータを更新し、本方法をステップｂ）から反復することと、ｅ）訓練されたモデルが最適化されたことを適合度関数が示す場合、図１の１１２のフローを実行することによって、予測のために訓練されたモデルを提供することとを行う。プロセッサ９１０は、図１のフローに従う順序でステップａ）からｅ）を実行するように構成され得る。プロセッサ９１０はそれによって、予測のために訓練されたモデルを提供することができ、例えば、ＲＵＬに関する一実施例において、図９に示されたように、訓練されたモデルを実行し、受信されたデータに基づいてパラメータについての予測および不確実性レベルを提供する。
【００６４】
記載された順序で、図１に同様に示されたようにフローステップａ）からｅ）を実行することによって、生成されたモデルは、所望のパラメータの予測を提供するように最適化されるだけでなく、関連技術の実施では欠けている予測の不確実性レベルを提供するように構成される。フローステップａ）からｅ）をその順序で実行することによって、モデルはＭＣドロップアウトを使用して予測および不確実性の両方について訓練され、その後、適合度関数の最適化に基づく収束した解は、予測および不確実性の両方について最適化された生成されたモデルを生成する。従って、そのような解は、予測のみを提供するようにのみ最適化され構成された関連技術の実施に対して利点を提供することができる。その理由は、ａ）からｅ）のフローステップから生成されたモデルを含む実施が、管理者がそのような予測に与えるべき重みを決定するのに利用され得る予測についての信頼性レベルを提供することができるためである。
【００６５】
一実施例では、図１の１０７に関して記載されたように、適合度関数が、入力と、深層学習アーキテクチャパラメータと、ドロップアウト率とから所与の出力を予測する確率を提供することによって、訓練モデルの予測の精度および不確実性を評価するように構成される。
【００６６】
図１に示されたように、適合度関数は、
2018200677.tif 000005
として定義される。
Ｐ（ｙ│ｘ，ｗ，ｄ）が、入力データｘ、ネットワークパラメータｗおよびドロップアウト率ｄが与えられた場合に出力ｙを予測する尤度であり、ｘ＝入力データ、ｗ＝ネットワークパラメータ（例えば、深層学習アーキテクチャパラメータ）、ｄ＝ドロップアウト率、μ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた予測の平均、σ＝ＭＣドロップアウトメカニズムを使用してサンプリングされた予測の偏差である。適合度関数は、深層学習アーキテクチャパラメータが閾値内に収束した場合にモデルが最適化されたことを示し、予測の平均と、予測の平均を検証データセットと比較することから計算される不確実性とに基づいて、適合度関数が評価される。
【００６７】
図８に示されるように、コンピュータデバイス９０５が管理装置８０２として実装された場合、生成された訓練されたモデルは、管理される装置の所望のパラメータ、例えば、装置の残存耐用年数（ＲＵＬ）を決定するように構成される。そのような一実施例では、プロセッサ９１０は、深層学習アーキテクチャパラメータ２０４に基づいてモデル訓練を実施し、データベース８０３に示された装置の過去のデータを記憶するように構成されたデータベース８０３からの訓練データを適用することによって、訓練されたモデルを生成する。そして、適合度関数が、生成された訓練されたモデルに適用されるモンテカルロ（ＭＣ）ドロップアウトを評価することから取得される予測および不確実性に基づいて、データベース８０３に記憶された過去のデータからの検証セットとの比較で訓練モデルの予測の精度および不確実性を評価する。
【００６８】
詳細な説明の一部は、アルゴリズムと、コンピュータ内の動作の記号的表現との観点で提示されている。これらのアルゴリズム的記述および記号的表現は、データ処理技術の当業者によって、彼らの革新の本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の終了状態または結果をもたらす一連の定義されたステップである。実施例では、実施されるステップは、有形の結果を実現するために有形の量の物理的操作を必要とする。
【００６９】
特記しない限り、本議論から明らかなように、本説明全体にわたって、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などの用語を使用する議論が、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表現されるデータを、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶、伝送もしくは表示デバイス内の物理量として同様に表現される他のデータに操作および変換するコンピュータシステムまたは他の情報処理デバイスの動作および処理を含むことができる。
【００７０】
また、実施例は本明細書の動作を実施するための装置に関することができる。この装置は必要な目的のために特別に構築することができ、あるいは１つまたは複数のコンピュータプログラムによって選択的にアクティブ化または再構成される１つまたは複数の汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、コンピュータ可読媒体、例えば、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体に記憶される。コンピュータ可読記憶媒体は、有形媒体、例えば、限定はされないが、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイスおよびドライブ、または電子情報を記憶するのに適した任意の他のタイプの有形もしくは非一時的媒体を含むことができる。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書で提示されたアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本質的に関連するものではない。コンピュータプログラムは、所望の実施の動作を実行する命令を含む純粋なソフトウェア実装を含むことができる。
【００７１】
様々な汎用システムは、本明細書の例に従うプログラムおよびモジュールと共に使用され、または所望の方法ステップを実施するためのより特化した装置を構築することが好都合であると分かる場合がある。加えて、実施例は、任意の特定のプログラミング言語に関して記載されていない。種々のプログラミング言語が本明細書に記載の実施例の教示を実装するために使用され得る。プログラミング言語の命令は、１つまたは複数の処理デバイス、例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、プロセッサまたはコントローラによって実行され得る。
【００７２】
上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアおよびハードウェアの何らかの組み合わせによって実施され得る。実施例の様々な態様は回路および論理デバイス（ハードウェア）を使用して実施され、他の態様は、プロセッサによって実行された場合に、プロセッサに本出願の実施例を実施するための方法を実行させる、機械可読媒体に記憶された命令（ソフトウェア）を使用して実施できる。さらに、本出願のいくつかの実施例はハードウェアのみで実施でき、他の実施例はソフトウェアのみで実施できる。その上、記載の様々な機能は単一のユニットで実施でき、または任意数の方法でいくつかのコンポーネントに渡って分散できる。ソフトウェアによって実施される場合、本方法は、コンピュータ可読媒体に記憶された命令に基づいて汎用コンピュータなどのプロセッサによって実行できる。所望であれば、命令は媒体に、圧縮および／または暗号化された形式で記憶できる。
【００７３】
その上、本出願の他の実施例は、本明細書を考察し、本出願の教示を実践することから当業者に明らかである。記載された実施例の様々な態様および／またはコンポーネントは、単一でまたは任意の組み合わせで使用できる。本明細書の実施例は単なる例示であり、本出願の真の範囲および精神が特許請求の範囲によって示される。
【符号の説明】
【００７４】
８００…ネットワーク、８０１−１、８０１−２、８０１−３、８０１−４…装置または装置システム、８０２…管理装置、８０３…データベース、９００…コンピューティング環境、９０５…コンピュータデバイス、９１０…プロセッサ、９１５…メモリ、９２０…内部ストレージ、９２５…Ｉ／Ｏインターフェース、９３０…バス、９３５…入力／ユーザインターフェース、９４０…出力デバイス／インターフェース、９４５…外部ストレージ、９６０…論理ユニット、９６５…アプリケーションプログラミングインターフェースユニット、９７０…入力ユニット、９７５…出力ユニット
【図１】
2018200677.tif 000009
【図２】
2018200677.tif 000010
【図３】
2018200677.tif 000011
【図４】
2018200677.tif 000012
【図５】
2018200677.tif 000013
【図６】
2018200677.tif 000014
【図７】
2018200677.tif 000015
【図８】
2018200677.tif 000016
【図９】
2018200677.tif 000017
【図１０】
2018200677.tif 000018