(57)【要約】      （修正有）【課題】モデルベースの診断及び予後診断技術を可能にするより多くの関連データ量を生成するシステム及び方法を提供する。【解決手段】コンポーネントをモデル化するための装置であり、物理的コンポーネント１０２は、未知のパラメータのベクトルを有し、装置は、少なくとも１つのコンピュータ１０４と、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える。少なくとも１つのメモリ、およびコンピュータプログラムコードは、少なくとも１つのコンピュータを用いて、装置に、少なくとも未知のパラメータのベクトルに基づいて点の実現可能性をモデル化するバイナリ関数を構築させ、第１の反復において、バイナリ関数の近似のシーケンスを構築させ、かつ、第２の反復において、未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、バイナリ関数の近似のシーケンスを更新させる。【選択図】図１
2019197540.tif 000002
【特許請求の範囲】
【請求項１】
コンポーネントをモデル化するための装置であって、前記コンポーネントが、未知のパラメータのベクトルを有し、前記装置が、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、
前記少なくとも１つのメモリ、および前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
前記未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築させ、
第１の反復において、前記バイナリ関数の近似のシーケンスを構築させ、かつ
第２の反復において、前記未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、前記バイナリ関数の前記近似のシーケンスを更新させるように構成されている、装置。
【請求項２】
前記バイナリ関数が、
【数１】
2019197540.tif 000059
であり、式中、
ｗが、前記未知のパラメータのベクトルであり、
ｗが実現可能な場合は、ｐ（ｗ）＝１であり、そうでない場合は、ゼロである、請求項１に記載の装置。
【請求項３】
前記近似のシーケンスが、ｑ（ｗ）によって表され、
ｗが、未知のパラメータのベクトルであって、
前記第１の反復において、全てのｗについて、ｑ（ｗ）が、０．５に設定されている、請求項１に記載の装置。
【請求項４】
前記コスト関数が、Ｊ（ｗ）であり、式中、ｗが、前記未知のパラメータのベクトルであり、
前記バイナリ関数の前記近似のシーケンスの前記更新が、Ｊ（ｗ）の最適化問題を使用することによって行われ、
前記最適化問題が、ｇｉ（ｗ）≦０によって制約され、式中のｉ＝１，２、ｇｉが制約関数であり、式中のｇｉ（ｗ）が近似関数ｑ（ｗ）の関数である請求項１に記載の装置。
【請求項５】
前記第１の反復において、前記バイナリ関数の前記近似のシーケンスが、クロスエントロピー損失関数を最小化することによって構築される、請求項１に記載の装置。
【請求項６】
前記少なくとも１つのメモリ、および前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、さらに、前記装置に、
前記第２の反復に続いて、前記未知のパラメータのベクトルの前記コスト関数の前記最小値に少なくとも部分的に基づいて、前記バイナリ関数の前記近似のシーケンスを更新することによって反復させ、かつ
続く反復において、前記バイナリ関数の更新された近似のシーケンスに基づいて、音声または視覚アラームを生成させるように、構成されている、請求項１に記載の装置。
【請求項７】
前記コンポーネントが、レールスイッチ、回路、電気モータ、風力タービン、エレベータ、または機械的ブレーキのうちの１つである、請求項１に記載の装置。
【請求項８】
前記少なくとも１つのメモリ、および前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、さらに、前記装置に、
前記更新された近似のシーケンスを使用して、前記コンポーネントのモデルベースの診断を可能にさせるように構成されている、請求項１に記載の装置。
【請求項９】
コンポーネントをモデル化するための装置であって、前記コンポーネントが、未知のパラメータのベクトルを有し、前記装置が、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと、を備え、
前記少なくとも１つのメモリ、および前記コンピュータプログラムコードが、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
前記未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築させ、
前記バイナリ関数の近似のシーケンスを構築させ、かつ
少なくとも２回の反復で反復プロセスをたどらせるように構成されており、各反復が、
前記未知のパラメータのベクトルのコスト関数の最小値を考慮することによって、前記バイナリ関数の前記近似のシーケンスを更新させることを含む、装置。
【請求項１０】
前記コスト関数が、より低い不確実性を有する点の探索よりも、より高い不確実性を有する点の探索を促進するという制約を受ける、請求項９に記載の装置。
【請求項１１】
前記制約が、前記プロセスが反復されるにつれて、重要性を失う、請求項１０に記載の装置。
【請求項１２】
前記制約が、反復の数が無限大に近付くにつれて、前記制約が消えるという要件を満たす、請求項１１に記載の装置。
【請求項１３】
前記コスト関数が、前記プロセスが反復されるにつれて重要性を失うという制約を受ける、請求項９に記載の装置。
【請求項１４】
前記コスト関数が、別の点の不確実性よりも高い不確実性を有する点の探査を促進するという制約を受ける、請求項９に記載の装置。
【請求項１５】
コンポーネントをモデル化するための方法であって、前記コンポーネントが、未知のパラメータのベクトルを有し、前記方法が、
前記未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築することと、
第１の反復の間に、前記バイナリ関数の近似のシーケンスを構築することと、
第２の反復の間に、前記未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、前記バイナリ関数の前記近似のシーケンスを更新することと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、システムモデル化に関する。
【０００２】
システムモデルは、独自の理由で不完全なことが多い。しかしながら、完全なシステムモデルを有することは、完全なシステムモデルが、制御、診断、予後診断、および（再）設計などのシステム分析を可能にするので有利である。
【０００３】
システムモデル化に対する現在の手法は、システム／コンポーネントモデルが因果的ブラックボックスモデルである純粋な機械学習手法を含む。それらは、物理的な意味を有していない。
【０００４】
本明細書に記載のいくつかの実施形態は、検索空間を制約することによって、モデルパラメータ調整をより容易にし、したがって、学習モデルの物理的解釈を可能にする、パラメータ実現可能性空間の表現を学習する。それらはまた、システムモデルを提供することによって、モデルベースのシステム分析（制御、診断、予後診断）を可能にする。
【０００５】
本出願の一態様によれば、コンポーネントをモデル化するための装置があり、コンポーネントは、未知のパラメータのベクトルを有し、装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える。少なくとも１つのメモリ、およびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築させ、第１の反復において、バイナリ関数の近似のシーケンスを構築させ、かつ第２の反復において、未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、バイナリ関数の近似のシーケンスを更新させるように構成されてもよい。
【０００６】
前段落に記載の装置においては、バイナリ関数は、
【０００７】
【数１】
2019197540.tif 000003
【０００８】
であってもよく、式中、ｗは、未知のパラメータのベクトルであり、ｗが実現可能な場合はｐ（ｗ）＝１であり、そうでない場合はゼロである。近似のシーケンスは、ｑ（ｗ）によって表すことができ、式中、ｗは、未知のパラメータのベクトルであり、第１の反復において、ｑ（ｗ）は、全てのｗについて、０．５に設定されてもよい。コスト関数は、Ｊ（ｗ）であってもよく、式中、ｗは未知のパラメータのベクトルであり、バイナリ関数の近似のシーケンスの更新は、Ｊ（ｗ）の最適化問題を使用して行われ、最適化問題は、ｇｉ（ｗ）≦０によって制約され、式中、ｉ＝１、２であり、ｇｉは制約関数である。第１の反復において、バイナリ関数の近似のシーケンスは、クロスエントロピー損失関数を最小化することによって構築することができる。少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、第２の反復に続いて、未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、バイナリ関数の近似のシーケンスを更新することによって反復させ、続く反復において、バイナリ関数の更新された近似のシーケンスに基づいて、音声または視覚アラームを生成させるように、さらに構成されてもよい。いくつかの実施形態において、コンポーネントは、レールスイッチ、回路、電気モータ、風力タービン、エレベータ、または機械的ブレーキのうちの１つである。
【０００９】
別の態様においては、コンポーネントをモデル化するための装置が提供される。コンポーネントは、未知のパラメータのベクトルを有することができ、装置は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を備える。少なくとも１つのメモリ、およびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築させ、バイナリ関数の近似のシーケンスを構築させ、かつ少なくとも２回の反復で反復プロセスをたどらせるように構成されてもよく、各反復は、未知のパラメータのベクトルのコスト関数の最小値を考慮することによって、バイナリ関数の近似のシーケンスを更新させることを含む。
【００１０】
いくつかの実施形態において、コスト関数は、より低い不確実性を有する点の探索よりも、より高い不確実性を有する点の探索を促進するという制約を受ける。いくつかの実装形態において、制約は、プロセスが繰り返されるにつれて、重要性を失う。いくつかの実装形態において、制約は、反復の数が無限大に近付くにつれて、制約が消えるという要件を満たす。いくつかの実装形態において、コスト関数は、別の点の不確実性よりも高い不確実性を有する点の探索を促進するという制約を受ける。
【００１１】
別の態様では、コンポーネントをモデル化するための方法が提供され、コンポーネントは、未知のパラメータのベクトルを有し、本方法は、未知のパラメータのベクトルに基づいて、点の実現可能性をモデル化するバイナリ関数を構築することと、第１の反復の間に、バイナリ関数の近似のシーケンスを構築することと、第２の反復の間に、未知のパラメータのベクトルのコスト関数の最小値に少なくとも部分的に基づいて、バイナリ関数の近似のシーケンスを更新することと、を含む。
【００１２】
一態様は、実現可能性セットの表現を学習することを可能にする、探索活用戦略に存在する。
【００１３】
別の態様は、非因果的コンポーネントのパラメータを学習するための方法に存在する。
【００１４】
別の態様は、非因果的コンポーネントのパラメータの実現可能性セットの表現を学習するための方法に存在する。
【００１５】
別の態様は、非因果的コンポーネントのパラメータと、非因果的コンポーネントのパラメータの実現可能性セットの表現とを学習するための方法に存在する。
【００１６】
別の態様は、非因果的コンポーネントのパラメータと、非因果コンポーネントのパラメータの実現可能性セットの表現とを共同で学習するための方法に存在する。
【００１７】
別の態様は、非因果的コンポーネントの物理的に解釈可能なモデルを共同で学習するための方法に存在する。
【００１８】
別の態様は、部分的に既知のシステムのためのモデルベースの診断および予後診断技術を可能にするための方法に存在する。
【００１９】
概して、本明細書に記載のいくつかの実施形態は、レールスイッチ、回路、電気モータ、風力タービン、エレベータ、機械的ブレーキ、他の機械的コンポーネントなどの診断および／またはモデル化に関する。
【００２０】
従来のシステムは、十分なデータを生成することができなかった。有利に、本明細書に記載のシステムおよび方法は、より多くの関連データの量を生成する。例えば、開示された制約を使用すると、関連データの量が増加する。
【図面の簡単な説明】
【００２１】
【図１】４つのコンポーネントを有する非因果電気システムの例を示す。
【図２】メモリレスコンポーネントのテンプレートを示す。
【図３】非線形抵抗器を用いたＣａｕｅｒフィルタを示す。
【図４】図３からの抵抗器Ｒ４電圧の実験データを示す。
【図５Ａ】アルゴリズム１の線形近似による制約付き最適化（ＣＯＢＹＬＡ）結果を示す。
【図５Ｂ】アルゴリズム１の逐次最小二乗法プログラミング（ＳＬＳＱＰ）結果を示す。
【図６Ａ】無勾配法について分離している超平面を示す。
【図６Ｂ】無勾配法について分離している超平面を示す。
【図６Ｃ】無勾配法について分離している超平面を示す。
【図７Ａ】勾配近似を使用したアルゴリズムについて分離している超平面を示す。
【図７Ｂ】勾配近似を使用したアルゴリズムについて分離している超平面を示す。
【図７Ｃ】勾配近似を使用したアルゴリズムについて分離している超平面を示す。
【図７Ｄ】勾配近似を使用したアルゴリズムについて分離している超平面を示す。
【発明を実施するための形態】
【００２２】
本明細書に記載のシステムおよび方法は、部分的に既知の物理的システムにおいて、非因果的物理的コンポーネントの構成方程式を学習する問題に対処する。これは、システムの改善されたモデルを構築することを可能にする。
【００２３】
構成方程式のパラメータは、未知の制約のセットを満たす。パラメータおよび制約を共同で学習するために、本明細書に記載のシステムおよび方法は、反復手順を提案する。この手順は、最初の反復中の探索に好都合である。これは、制約条件のモデルを学習することを可能にする。制約学習が進むにつれて、より多くの重みが、構成方程式を見出だすことに与えられる。本発明の結果は、ＳｙｓＸプラットフォームの能力を増強するために、またはシステム分析ツールにおけるプラグインとして使用することができる。
【００２４】
さらに、一実装形態は、非線形抵抗器のモデルが学習される実例でテストされる。
【００２５】
一態様において、以下は、システム／コンポーネントの非因果的表現の学習について説明する。いくつかの実施形態は、未知のシステム／コンポーネントの構成方程式を学習する。それらは、パラメータ化された機械学習タイプのモデル、例えば回帰モデル、ニューラルネットワークを使用して表すことができる。モデルパラメータは、未知の実現可能性セットに残されるように制約されている。いくつかの実施形態は、パラメータと実現可能性セットの表現との両方を学習する反復手順を含む。いくつかの実施形態において、実現可能性セット表現モデルは、確率論的であり、バイナリ分類のための機械学習アルゴリズム（例えば、ロジスティック回帰、最後の層にソフトマックス関数を有するニューラルネットワーク）を使用して更新される。実現可能セット表現を学習するための訓練データは、パラメータ推定最適化プロセスの間に取得され得る。始めに、不確実性の高い検索空間の探索が促進され、学習プロセスが進むにつれて、焦点はパラメータ推定に向かってシフトされる。
【００２６】
散逸性制約のような他の制約を実現可能セット表現に含めることができる。コンポーネントモデルは、他の導関数を含まないアルゴリズム、およびベイジアン最適化などのグローバル最適化解への扉を開くガウスプロセスとして表すことができる。
【００２７】
序論
現在の課題の１つは、部分的に既知のシステムにおいて物理的コンポーネントのモデルを学習することである。そのようなシステムは本質的に非因果的である。連続状態のみを有するシステムの場合、システムの挙動は、次の形式の微分代数方程式（ＤＡＥ）として表すことができる。
【００２８】
【数２】
2019197540.tif 000004
【００２９】
式中、Ｆ、Ｈは、ベクトル値の連続的なマップであり、ｘは、状態ベクトルであり、ｚは、代数変数のベクトルであり、ｙは、出力のベクトルであり、ｗは、パラメータのベクトルである。非因果的システムは、そのコンポーネントに付随する変数と、それらの間の関係と、で構成されている。その関係は、パラメータ化された構成方程式と、コンポーネント間の接続と、よって引き起こされる。因果的（またはシグナルフロー）モデルとは異なり、非因果的モデルは、物理的な意味を保つ。図１は、４つのコンポーネントを有する非因果的電気システムの一例を示し、構成方程式および接続方程式は、次のとおりである。
【００３０】
【数３】
2019197540.tif 000005
【００３１】
【数４】
2019197540.tif 000006
【００３２】
加えて、構成方程式のパラメータは通常、いくつかの実現可能性セットの範囲内で制約されることに留意されたい。例えば、電気抵抗器の抵抗は、常に正である必要がある。
【００３３】
いくつかの実施形態は、以下のステップ：（ｉ）構成方程式のためのパラメトリック数学モデルを選択するステップ、ならびに（ｉｉ）パラメータおよびパラメータ制約の表現／モデルを学習するステップに基づいている。後者の場合、探索活用戦略を使用することが可能であり、始めに、制約表現を学習するために探索に焦点を当てる。後になって、制約表現がより有益になるにつれて、構成方程式の最良の実現可能なパラメータを見出だすことに焦点が移される。パラメータ制約の表現を有することは、検索の複雑さを減少させ、コンポーネントのパラメトリックモデルと制約表現を洗練するために新しいデータが利用可能であるときに良い初期条件を提供し、かつコンポーネントモデルの物理的解釈を可能にすることに役立つ。システム／コンポーネントの挙動を記述する物理法則の学習における最近の結果は、機械学習、およびその派生的で深い学習への再燃した関心によって支えられていた。（Ｍｉｃｈａｅｌ  Ｂ  Ｃｈａｎｇ、Ｔｏｍｅｒ  Ｕｌｌｍａｎ、Ａｎｔｏｎｉｏ  Ｔｏｒｒａｌｂａ、およびＪｏｓｈｕａ  Ｂ  Ｔｅｎｅｎｂａｕｍ、物理力学を学ぶための構成的オブジェクトベースの手法、ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１６１２．００３４１、２０１６）において、著者は、画像から直感的な物理学の予測モデルを学習するためにニューラルネットワークアーキテクチャを使用した。スパース回帰法は、（Ｓ．Ｂｒｕｎｔｏｎ、Ｊ．Ｎ．Ｋｕｔｚ、およびＪ．Ｐｒｏｃｔｏｒ、準拠物理法則のデータ駆動型発見、ＳＩＡＭ  Ｎｅｗｓ、５０（１）、２０１７年、Ｓａｍｕｅｌ  Ｈ．Ｒｕｄｙ、Ｓｔｅｖｅｎ  Ｌ．Ｂｒｕｎｔｏｎ、Ｊｏｓｈｕａ  Ｌ．Ｐｒｏｃｔｏｒ、およびＪ．Ｎａｔｈａｎ  Ｋｕｔｚ、偏微分方程式のデータ駆動型発見、Ｓｃｉｅｎｃｅ  Ａｄｖａｎｃｅｓ、３（４）、２０１７）において、支配的な物理法則を記述する（偏）微分方程式を発見するために使用された。測定値から自由形式の法則を抜粋するための遺伝的アルゴリズムに基づく、かなりスケーラブルでない方法が、（Ｍｉｃｈａｅｌ  ＳｃｈｍｉｄｔおよびＨｏｄ  Ｌｉｐｓｏｎ、実験データからの自由形式の自然法則の抜粋、Ｓｃｉｅｎｃｅ、３２４（５９２３）：８１〜８５，２００９）において提案された。
【００３４】
作業上の仮定は次のとおりである。（ｉ）物理的システムは物理的コンポーネントの相互接続によって記述される。（ｉｉ）システムコンポーネントの構成方程式は、コンポーネントのサブセットについてのみ既知である。（ｉｉｉ）システムの挙動についての観察結果が利用可能である。本明細書に記載されるように、コンポーネント変数への直接アクセスは必ずしも存在しない。物理的システムのコンポーネントベースの記述を有することで、制御に対するモデルベースの様々な分析方法（Ｃａｒｌｏｓ  Ｅ．Ｇａｒｃａ、Ｄａｖｉｄ．Ｐｒｅｔｔ、およびＭａｎｆｒｅｄ  Ｍｏｒａｒｉ、モデル予測制御：理論および実践調査、Ａｕｔｏｍａｔｉｃａ、２５（３）：３３５〜３４８、１９８９）、診断（Ｈ．Ａｌｗｉ、Ｃ．Ｅｄｗａｒｄｓ、およびＣ．Ｐ．Ｔａｎ、Ｆａｕｌｔ  ＤｅｔｅｃｔｉｏｎおよびＦａｕｌｔ−−Ｔｏｌｅｒａｎｔ  Ｃｏｎｔｒｏｌ  Ｕｓｉｎｇ  Ｓｌｉｄｉｎｇ  Ｍｏｄｅｓ、Ｓｐｒｉｎｇｅｒ、Ｌｏｎｄｏｎ、１９７４（ＩＳＢＮ：０−１２−０７８２５０−２）、Ｊｏｈａｎ  Ｄｅ  Ｋｌｅｅｒ、およびＢｒｉａｎ  Ｃ  Ｗｉｌｌｉａｍｓ、多重故障の診断、人工知能  、３２（１）：９７−１３０、１９８７）および予後（Ａｎｄｒｅｗ  Ｋ．Ｓ．Ｊａｒｄｉｎｅ、Ｄａｍｉｎｇ  Ｌｉｎ、およびＤｒａｇａｎ  Ｂａｎｊｅｖｉｃ）、状態ベースの保全を実施する機械診断および予後診断に関するレビュー、Ｍｅｃｈａｎｉｃａｌ  ＳｙｓｔｅｍｓおよびＳｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、２０（７）：１４８３〜１５１０、２００６）が可能になる。実際の仮定（ｉｉ）は想像以上に頻繁である。多くの場合、システム製造業者は自社製品に（モデルベースの）診断および予後診断機能を含めることによって、自社製品を改善したいと考えている。しかしながら、そのようなサブコンポーネントが第三者から取得された場合、システム製造業者は、独自の理由で、サブコンポーネントの詳細な仕様に必ずしもアクセスできるとは限らない。本発明者らは、最近の産業関連プロジェクトにおいてそのようないくつかの事例に直面した。そのような契約の一例（Ｉ．Ｍａｔｅｉ、Ａ．Ｇａｎｇｕｌｉ、Ｔ．Ｈｏｎｄａ、およびＪ．ｄｅ  Ｋｌｅｅｒ、診断へのハイブリッド手法例：鉄道スイッチ、第２６回診断原理の国際ワークショップ（ＤＸ−２０１５）、２２５〜２３２頁、２０１５年８月の議事録）において、本発明者らは、レールスイッチの構造的記述および電気的仕様の一部を有していたが、本発明者らは、いくつかの機械的部品の仕様を見出すことに課題を有していた。この文書で説明されている作業は、このような問題に対する解決策を提供する。
【００３５】
システムの挙動に関する定性的情報があるという幸運な場合、つまり、構成方程式は知っているがパラメータ値はわからない場合、学習問題は標準的なパラメータ推定問題となり、長い歴史がある（Ｙ．Ｂａｒｄ、非線形パラメータ推定、Ａｃａｄｅｍｉｃ、Ｎｅｗ  Ｙｏｒｋ、２０１１（ＩＳＢＮ：９７８−０−８５７２９−６４９−８））。ただし、１つのシナリオでは、そのような情報は利用できない。したがって、システムモデルに含まれている場合にＤＡＥ（１）が解決可能になるように、未知のコンポーネントに対する非因果的モデルを提案する必要がある。本明細書に記載の手法は、そのようなモデルを実現可能と呼ぶ。より高い目標は、コンポーネントモデルの再利用性である。これは、未知の物理的コンポーネントが異なる構成で使用されている場合、実際の挙動およびシミュレートされた挙動が類似している必要があることを意味する。ただし、再利用可能なコンポーネントを学習するには、そのコンポーネントの様々な使用例に対応する実験データが必要である。本明細書に記載の、ある一定の実施形態において、焦点は主に実現可能性にある。数値的な観点からは、実現可能性は、ある時間間隔にわたって、かつ、いくつかの初期条件に対して、ＤＡＥ（１）を解き、ｘ（ｔ）およびｚ（ｔ）の軌道を決定することに変換される。このプロセスは、
【００３６】
【数５】
2019197540.tif 000007
【００３７】
を必要とし、
【００３８】
【数６】
2019197540.tif 000008
【００３９】
はシステムの軌跡に沿って可逆である必要がある。この特性が軌道上のある点で失敗すると、数値シミュレーションは失敗する。本明細書に記載の手法は、以下の実現可能なコンポーネントモデルの定義を有する。
【００４０】
例えば、システムモデルで
【００４１】
【数７】
2019197540.tif 000009
【００４２】
がシステムの軌跡に沿って可逆的である場合、コンポーネントモデルは実現可能である。
【００４３】
この非限定的な一例において、抵抗器のための線形モデルを有する代わりに、その構成方程式が非線形モデル
【００４４】
【数８】
2019197540.tif 000010
【００４５】
によって与えられ、式中、ｗは抵抗器のパラメータを表すと仮定する。自明な方程式を消去した後では、
Ｊａｃｏｂｉａｎ行列
【００４６】
【数９】
2019197540.tif 000011
【００４７】
を決定する可解性を用いて、
電気回路のＤＡＥは次のようになる。
【００４８】
【数１０】
2019197540.tif 000012
【００４９】
したがってｆおよびパラメータｗの形式がどのように選択されても、最小要件は変換行列（３）が可逆的であることであり、これは、この特定の場合に∂ｆ／（∂ｉＲ）の可逆性に変換される。固定のｆでは、ｗの選択が悪いと、可逆性が損なわれる可能性がある。（この場合のＤＡＥは半明示的である。このようなタイプの場合、∂Ｆ／∂ηの可逆性は代数制約のＪａｃｏｂｉａｎの可逆性、すなわち∂ｆ／（∂ｉＲ）
にまとまる）。
【００５０】
ｗ事前の実現可能性セットを知ることは、単純な電気回路のためであっても平凡なことではなく、何百または潜在的な何千ものコンポーネントを有する複雑なシステムでは、もちろんのことである。これに加えて、システムの所与の構成に対して実現可能なパラメータが見つかったとしても、それらが異なる構成に対して実現可能であることが保証されないという追加の課題がある。これは、新しいＪａｃｏｂｉａｎが大きく異なる可能性があるという事実の結果である。
【００５１】
以下では、コンポーネントの未知の構成方程式は連立方程式Ｇ（ξ；ｗ）＝０で表され、式中、Ｇは微分可能ベクトル値関数、ξはコンポーネントの変数ベクトル、ｗは未知パラメータのベクトルであると仮定する。ｗを学習するために、コンポーネントの挙動についての間接的な情報を与える、ある時間間隔にわたる測定値ｙｍのセットへのアクセスがあると仮定する。これらの測定値は、制約付きの非線形最小二乗問題を解くために使用される。
【００５２】
【数１１】
2019197540.tif 000013
【００５３】
を条件として、
式中、
【００５４】
【数１２】
2019197540.tif 000014
【００５５】
はシミュレートされた測定値であり、｛ｔｉ｝（ｉ≧０）は測定が行われときのインスタンスのシーケンスを表し、かつｗは未知の実現可能性セットである。１つの目的は、最適なものｗ、およびセットの少なくとも一部ｗを共同で学習することができる方法を考え出すことである。
【００５６】
物理的コンポーネントのモデル
図１は、電気的コンポーネントを使用して作成されたシステムとみなす。特に、図１は、コンピュータ１０４に接続されたモデルまたは物理的コンポーネント１０２を示す。図１に示される物理的コンポーネント１０２のコンポーネントは、それらを通って他のコンポーネントと相互作用するピンを有する。特に、ピンは、電流および電位という２つの変数によって特徴付けられる。電流は接続点で保存されるフロー変数である。文献では、電流および電位は、それぞれ、変数を通り、横切るように称される。ピンは一般にコネクタと称され、物理的領域に関係なく、それらは、少なくとも１つの流動変数および可能性変数を有する（熱流体領域では、いくつかのそのような変数があり得る）。
【００５７】
図２は、メモリレスコンポーネントのテンプレートを示している。本明細書に記載のいくつかの実施形態は、図２に示すように、２つのピン（コネクタ）コンポーネント２０２、２０４を考慮している。各コネクタ２０２、２０４は、２つの変数、すなわち流動変数ｆおよび可能性変数ｘを有する。物理的領域に応じて、流動変数は、電流（電気）、力（並進力学）、トルク（回転力学）または熱流速（熱）であり得る。変数ｘは、電位（電気）、変位（並進力学）、角度（回転力学）または温度（熱）を表すことができる。モデルの構成方程式は、変数（ｆａ、ｘａ）および（ｆｂ、ｘｂ）のペア間の関係を記述する方程式のセットである。メモリレスコンポーネントの場合には、
【００５８】
【数１３】
2019197540.tif 000015
【００５９】
があり、式中、
【００６０】
【数１４】
2019197540.tif 000016
【００６１】
は、コネクタ変数を制約するベクトル値の微分マップであり、ｗは、パラメータのベクトルである。例えば、電気抵抗器の場合、ｆａ＋ｆｂ＝０およびｗｆａ＝ｘａ−ｘｂがある。Ｇ４つの変数に対して２つの方程式のみを定義することに留意されたい。他のコンポーネントに接続するとき、他のコンポーネントの構成方程式と、接続方程式とから追加の方程式が生成される。最も単純なシナリオでは、４つの変数のうち２つが他の方程式から独立して計算される。これは、１つのコネクタが地面（ゼロ電位）に接続され、残りのコネクタが電流または電圧源に接続されている場合である。より複雑なシナリオにおいては、システムの挙動は代数方程式のセットで記述され、全てのコンポーネントの変数が同時に計算される。本明細書に記載されるいくつかの手法は、コンポーネントの変数の導関数を含むことによって、同様にメモリを使用してコンポーネントをモデル化し、
【００６２】
【数１５】
2019197540.tif 000017
【００６３】
【数１６】
2019197540.tif 000018
【００６４】
ｘ（ｎ）はｘのｎ番目の導関数である。我々は、２×（ｎ＋１）＋２×（ｍ＋１）変数および２つだけの方程式（Ｇは、２次元ベクトル値関数のままである）を有するように見えることがある。しかしながら、これらのタイプのコンポーネントについては、最大の導関数だけが未知の変数であり、一方、低次の導関数は前の積分ステップから既知であると仮定される。
【００６５】
コンポーネントに関する事前の情報がなければ、Ｇの構造を選択することは科学というよりは芸術である。最も単純な形式は、線形回帰モデルでＧ（ξ；ｗ）＝Ｗξ内線あり、式中、Ｗはパラメータの行列であり、ξ内線は要素のξ’エントリのべき乗である「特徴」のベクトルである。例えば、メモリがない場合は、
【００６６】
【数１７】
2019197540.tif 000019
【００６７】
を有することができる。より複雑な挙動は、（Ｓａｍｕｅｌ  Ｈ．Ｒｕｄｙ、Ｓｔｅｖｅｎ  Ｌ．Ｂｒｕｎｔｏｎ、Ｊｏｓｈｕａ  Ｌ．Ｐｒｏｃｔｏｒ、およびＪ．Ｎａｔｈａｎ  Ｋｕｔｚ、偏微分方程式のデータ駆動型発見、Ｓｃｉｅｎｃｅ  Ａｄｖａｎｃｅｓ、３（４）、２０１７）に提案されているように、エントリのべき乗の乗算も考慮することによって、達成することができる。ニューラルネットワーク（ＮＮ）は普遍的な近似子である（Ｇ．Ｃｙｂｅｎｋｏ、シグモイド関数の重ね合わせによる近似、制御数学、信号、およびシステム、２（４）：３０３〜３１４、１９８９年１２月）ことを想起すると、入力はベクトルξであり、出力は、ゼロ定数であるターゲットに従わなければならない、ＮＮによって記述されるＧを選択することができる。ただし、ＮＮは双方向グラフとみなすことに留意されたい。つまり、それは方程式のセットを表し、割り当てのセットを表すものではない。
【００６８】
したがって、本明細書に記載のいくつかの技術は、モデルに基づく診断に使用することができる。例えば、モデルは、何かがコンポーネントに問題があると判定するために使用されてもよく、その判定に応答して、音声または視覚警報が送信されてもよい。いくつかの実施形態において、これは、レールスイッチ、回路、電気モータ、風力タービン、エレベータ、機械的ブレーキ、他の機械的コンポーネントなどに適用され得る。
【００６９】
特殊なケース
上記のように、結果として得られるモデルが実現可能である限り、マップＧは潜在的に任意の数学的表現を取ることができる。物理学ベースのモデル化において使用される物理的コンポーネントの構成方程式テンプレートに触発されて、本明細書に記載される手法は、以下の特殊な場合を考慮する。
【００７０】
タイプ１：最も一般的な挙動テンプレートの１つは、コンポーネントを通るフローが失われない場合に対応する。構成方程式は次の式で与えられる。
【００７１】
【数１８】
2019197540.tif 000020
【００７２】
このテンプレートは、抵抗器、コンデンサ、インダクタ、バネ、ダンパーなど、複数の領域からの線形または非線形のコンポーネントをカバーしている（表１を参照）。
【００７３】
タイプ２：流動損失を被る物理的要素がある。したがって、２つのコネクタでの流れは異なる。この場合のテンプレートは次のように表すことができる。
【００７４】
【数１９】
2019197540.tif 000021
【００７５】
【表１】
2019197540.tif 000022
【００７６】
このテンプレートに対応する典型的な例は、方程式がｘａ＝ｘｂおよび
【００７７】
【数２０】
2019197540.tif 000023
【００７８】
によって与えられる機械的ブレーキであり、式中、ｇは、フロー損失を関数ｘａおよびその導関数、ならびに可能な外部信号として決定するマップである。例えば、粘性損失の場合は
【００７９】
【数２１】
2019197540.tif 000024
【００８０】
である。変数ｕは、ブレーキを作動／停止する外因性の信号である。
【００８１】
タイプ３：対応するテンプレートを使用して、流動方程式および可能性方程式が完全に分離している場合
【００８２】
【数２２】
2019197540.tif 000025
【００８３】
これは、理想的な変圧器の場合、または特に
【００８４】
【数２３】
2019197540.tif 000026
【００８５】
【数２４】
2019197540.tif 000027
【００８６】
の理想的な歯車の場合である。
【００８７】
共同学習および制約の発見
いくつかの実装は、Ｇのためのパラメトリックモデルを選択し、実験データと最もよく一致するようにそのパラメータを学習することが有利である。始めは、実現可能性セットに関する情報はない。したがって、徐々に、データを取得し、Ｇのパラメータを最適化して、実現可能性セットのモデルを構築する必要がある。本明細書に記載の手法は、コスト関数Ｊ（ｗ）の減少をパラメータ値の近くに抑制するように試みながら、始めに高い不確実性を有する点の探査を促進する逐次方式を提案する。以下では、Ｊ（ｗ）は、少なくとも１つの（局所）ミニマイザを有すると仮定する。この方式は、次の結果によって有効になる。
【００８８】
命題３．１：｛ｇｋ｝（ｋ≧０）とすると、
【００８９】
【数２５】
2019197540.tif 000028
【００９０】
【数２６】
2019197540.tif 000029
【００９１】
は連続微分スカラー関数の２つの収束シーケンスとなる。それらは最適化問題のシーケンスを引き起こす。
【００９２】
【数２７】
2019197540.tif 000030
【００９３】
を条件とする。
式中、各問題（Ｐｋ）は、少なくとも局所ミニマイザ
【００９４】
【数２８】
2019197540.tif 000031
【００９５】
を解として認める。次に、シーケンス
【００９６】
【数２９】
2019197540.tif 000032
【００９７】
の限界点ｗ＊は、問題の解である。
（Ｐ）：ｍｉｎ＿ｗ    Ｊ（ｗ）
ｇｉ（ｗ）≦０、ｉ＝１、２
を条件とする。
【００９８】
証明は連続性の議論から得られる。セットアップにおいて、Ｊは（４）に導入されたコスト関数であり、ｇｉ（ｗ）は実現可能性セットに関連する制約関数である。それらは、ｗの実現可能性セットについての理解が深まるにつれて、各反復ｋとともに進化する。
【００９９】
いくつかの実施形態は、バイナリ関数によって点の実現可能性をモデル化し
【０１００】
【数３０】
2019197540.tif 000033
【０１０１】
式中、ｗが実現可能な場合はｐ（ｗ）＝１、そうでなければゼロである。全ての可能な点の実現可能性を最初に探ることができる場合、実現可能性空間を記述するマップｐ（・）を構築することができる。明らかに、これは絶望的なシナリオである。望むことができる最良のことは、実現可能性がテストされた点のかなり大きなデータセットを有することである。
【０１０２】
【数３１】
2019197540.tif 000034
【０１０３】
が（任意の大きさ）のコンパクトなセットであるとする。滑らかで、パラメータ化された関数ｑ：Ｓ→［０，１］としてモデル化された、ｑ（ｗ）＝ｑ（ｗ；β）である、ｐ（ｗ）の近似を見出だしたい。この近似は、クロスエントロピー損失関数
【０１０４】
【数３２】
2019197540.tif 000035
【０１０５】
を最小化することによって得られる。ｑ＊（ｗ）＝ｑ（ｗ；β＊）によってｐの最良の近似を表し、式中、β＊＝ａｒｇ  ｍｉｎβＨ（β；Ｓ）であり、Ｈ＊（Ｓ）＝Ｈ（β；Ｓ）である。関数ｑ*は、セットＳ内の任意の点ｗの実現可能性を探ることができる理想的なシナリオにおける目標関数を表すことができる。次の結果は、セットＳを探り続けながら、ｐの近似を逐次学習することを通じてｑ＊に到達することができる方法を示している。
【０１０６】
命題３．２：｛Ｓｋ｝（ｋ≧０）を∪（ｋ≧０）  Ｓｋ＝Ｓのように、離散点のセットの増加するシーケンスとする。｛ｑｋ（ｗ）｝（ｋ≧０）をｐ（ｗ）の近似のシーケンスであるとし、式中、
【０１０７】
【数３３】
2019197540.tif 000036
【０１０８】
【数３４】
2019197540.tif 000037
【０１０９】
を伴う。
【０１１０】
次に、
【０１１１】
【数３５】
2019197540.tif 000038
【０１１２】
であり、
ｌｉｍｋ→∞ｑｋ＝ｑ＊である。
【０１１３】
セットＳＫは、Ｓからのサンプルを含む。これらのサンプルは、量
【０１１４】
【数３６】
2019197540.tif 000039
【０１１５】
を通じてエントロピーＨ（β；Ｓ）の近似を可能にし、近似は、ＳＫがＳに近付くにつれて、より正確になる。Ｓを任意に大きくすることによって、
【０１１６】
【数３７】
2019197540.tif 000040
【０１１７】
全体をカバーすることができる。ｑの可能な選択は、ソフトマックス関数
【０１１８】
【数３８】
2019197540.tif 000041
【０１１９】
である。最後の層がソフトマックス関数であるＮＮのように、より複雑な表現をすることができる。パラメータβｋを学習することは、クロスエントロピー損失関数を使用してバイナリ分類器を学習することと同じである。
【０１２０】
これで関数Ｊｋおよびｇ（ｋ，ｉ）を定義する準備ができた。特に、
【０１２１】
【数３９】
2019197540.tif 000042
【０１２２】
式中、｛δ（ｋ，１）｝（ｋ≧０）は正のシーケンスであって、ｌｉｍｋ→∞δｋ，１＝ε，０＜ε≪１
【０１２３】
およびδ０，１＝１を伴い、｛δｋ，２｝ｋ≧０は、ｌｉｍｋ→∞δｋ，２＝１＋εのように正の値の増加するシーケンスであって、δ１，２＝εを伴う。関数ｑｋ（ｗ）は、命題３．２で導入された。第２の制約（１５）はエントロピーのような用語を使用し、その目的は、より高い不確実性を有する点の探索を促進することである。この用語は、ｑｋのモデルが改善されるにつれて重要性を失う。極限では、制約（１４）はｑ＊（ｗ）≧１−εとなり、（１５）はｑ＊（ｗ）ｌｏｇｑ＊（ｗ）＋［１−ｑ＊（ｗ）］ｌｏｇ［１−ｑ＊（ｗ）］≦εとなり、これは任意のｗについても満たされている。したがって、この制約は極限で消える。これにより、最適化問題の解決策が確実に実行可能になる。第１の反復において、利用可能なデータがないとき、全てのｗに対してｑ０（ｗ）＝０．５を確実にする。これは、全ての点が最大の不確実性を有することを意味する。この値でのエントロピーは１なので、（Ｐ０）が解を有することも確実にする。ソフトマックス関数の場合、これは、β０＝０を強制する場合に起こる。したがって、最初の反復においては、制約のない最適化問題を解く。第２の・反復においては、ｑ１（ｗ）は、点０．５を通過する滑らかな関数であるため、制約（１５）が満たされるようにｗが存在する。スカラーεは、ｑ＊（ｗ）が最後にｐ（ｗ）の近似であるという事実を説明している。
【０１２４】
ここまでは、中間の実現可能性モデルｑｋ（ｗ）を訓練するためのデータを蓄積する手順を扱っていない。各反復ｋにおいては、最適化アルゴリズムは、ミニマイザを検索する際にデータ点を生成する。検索には関数評価が必要で、それにはモデルのシミュレーションも必要である。したがって、反復ｋにおいてより良い点を検索しながらテストされた各点は、シミュレーションの成功に応じて、実現可能または実現不可能として分類される。反復プロセスの始めにおいて、第２の制約（１５）は、不確実性の高い点に向かって検索をプッシュし、これにより以前に訪れたことがない点を探索するのに役立つ。しかしながら、この戦略は、ｋの反復を停止するときにデータセットＳｋが十分大きく、有益であることを保証できないので、結果としての実現可能性モデルｑｋ（ｗ）はｐ（ｗ）で定義されたランドスケープ全体と厳密に一致する。それでも、最適化プロセスの一部として生成された軌跡に沿って設定された、実現可能性の良好な局所表現を提供することができる。以下のアルゴリズム１でこれまでに記載した手法を要約する。このアルゴリズムの６行目は、制約付き最適化問題（１２）〜（１３）を解き、解の検索中に解、ならびに全ての訪問点およびそれらのラベルを返す。それはｑ関数の以前のモデルを使用するので、任意の訪問点の実現可能性がｑによって予測されるため、予測ステップをも含むものとして解釈することができる。８行目において、実現可能性モデルは、新しく取得されたデータに基づいて再訓練される。データセットＤが非常に大きくなる場合、オンライン学習を使用することができる。例えば、更新方向を命令する勾配が、新しく取得されたデータのみを使用して計算されるバッチ学習更新ステップを実行することができる。より極端な変更は、実現可能性モデルの更新をコスト関数評価内に転送することである。そこでは、各シミュレーションの後に確率的勾配降下アルゴリズムの１ステップを使用することができる。
【０１２５】
［表］
2019197540.tif 000043
【０１２６】
実現可能性モデルの事前訓練
最適化プロセスを進めながら、実現可能性セットのモデルを構築する方法を示した。この手法の不利点は、始めは制約確率モデルに不確実性が高いことである。点ｗの実現可能性は、その時点でのシミュレーションの成功に基づいており、最適化プロセスとは関係がない。実際の最適化プロセスを開始する前に、コンポーネントのパラメータ空間からサンプリングすることができ、各サンプルについてシミュレーションを実行し、確率モデルｑ（ｗ；β）を事前に訓練するためのデータを使用することができる。実現可能ではあるが、特にシステムモデルが複雑な場合、この手法は時間と計算量の両方がかかる可能性がある。より安価な代替方法は、様々な構成で学習したいコンポーネントを含む、はるかに単純なモデルを生成することである。このような構成は、Ｇ（ξ；ｗ）＝０で記載されたコンポーネントの構成方程式の未知の変数を計算するための様々なシナリオを記載し、このようにして実現可能空間の少なくとも一部に光を当てる。つまり、シミュレーションを成功させるためには、モデルのＪａｃｏｂｉａｎ行列に対して異なる構造を生成することになる。
【０１２７】
実用的な実装態様
以下のアルゴリズム１でこれまでに記載した手法を要約する。このアルゴリズムの６行目は、制約付き最適化問題（１２）〜（１３）を解き、解の検索中に解、ならびに全ての訪問点およびそれらのラベルを返す。それはｑ関数の以前のモデルを使用するので、任意の訪問点の実現可能性がｑによって予測されるため、予測ステップをも含むものとして解釈することができる。８行目において、実現可能性モデルは、新しく取得されたデータに基づいて再訓練される。
【０１２８】
［表］
2019197540.tif 000044
【０１２９】
このアイデアは、アルゴリズム２に詳述されている。バリア関数として対数関数を選んだ。アルゴリズムがモデルを実現不可能な点でシミュレートし続けるにつれて、その値は増加する。これにより、コスト関数の勾配の平準化が妨げられる。中間最適化問題（１２）〜（１３）は、不等式制約を伴う最適化問題である。そのような問題を解決するために利用可能ないくつかの方法、すなわち、ペナルティ法、バリア法、プライマル法、または逐次二次計画法（ＳＱＰ）（Ｄ．Ｐ．Ｂｅｒｔｓｅｋａｓ、非線形計画法、Ａｔｈｅｎａ  Ｓｃｉｅｎｔｉｆｉｃ、１９９９）がある。多くの技術的条件の中で、それらの多くはコスト関数の２回の連続的な微分可能性を必要とする。複雑なシステムでは、勾配を計算することでさえも困難な場合がある。コスト関数Ｊの勾配は次式で与えられ、
【０１３０】
【数４０】
2019197540.tif 000045
【０１３１】
式（２）のように、式中、∂ｙ／∂ｗ＝∂Ｈ／∂ｘ  ∂ｘ／∂ｗ＋∂Ｈ／∂ｗ。Ｈが状態内で線形であり、ｗに依存しない単純なシナリオにおいても、∂ｘ／∂ｗが必要である。前進法および後退法を使用する感度分析機能は、ＤＡＥソルバー（Ｌｉｎｄａ  Ｐｅｔｚｏｌｄ、Ｓｈｅｎｇｔａｉ  Ｌｉ、Ｙａｎｇ  Ｃａｏ、およびＲａｄｕ  Ｓｅｒｂａｎ、微分代数方程式および偏微分方程式の感度解析、コンピュータおよび化学工学  、３０（１０）：１５５３〜１５５９、２００６）に既に統合されており、理論的には、それらの結果から∂ｘ／∂ｗを抽出することができた。それでも、Ｈｅｓｓｉａｎを取得することは、些細なことではない。幸いなことに、それは、勾配を使用して反復的に近似することができる（Ｊｏｒｇｅ  Ｎｏｃｅｄａｌ、限られた記憶域を有する準ニュートン行列の更新、Ｍａｔｈｅｍａｔｉｃｓ  ｏｆ  Ｃｏｍｐｕｔａｔｉｏｎ、３５（１５１）：７７３〜７８２、１９８０）。勾配が明示的に利用可能でないとき、最適化アルゴリズムは数値近似に頼る。これらの近似を信頼しない場合、別の代替案は、Ｎｅｌｄｅｒ−Ｍｅａｄアルゴリズム（Ｍ．Ｊ．Ｄ．Ｐｏｗｅｌｌ、最小化アルゴリズムの検索方向について、Ｍａｔｈｅｍａｔｉｃａｌ  Ｐｒｏｇｒａｍｍｉｎｇ、４（２）：１９３〜２０１、１９７３年４月）、パターン検索（Ｒｏｂｅｒｔ  Ｈｏｏｋｅ、およびＴ．Ａ．Ｊｅｅｖｅｓ、数値的および統計的問題の「直接検索」解、Ｊ．ＡＣＭ、８（２）：２１２〜２２９、１９６１年４月）、粒子群最適化（Ｊａｍｅｓ  Ｋｅｎｎｅｄｙ、およびＲｕｓｓｅｌｌ  Ｃ  Ｅｂｅｒｈａｒｔ、粒子群最適化、ニューラルネットワークに関するＩＥＥＥ国際会議の議事録、１９４２〜１９４８頁、１９９５年）、遺伝的アルゴリズム（Ｍｅｌａｎｉｅ  Ｍｉｔｃｈｅｌｌ、遺伝的アルゴリズムの紹介、ＭＩＴ  Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ、ＭＡ、ＵＳＡ、１９９８年）、進化戦略（Ｈａｎｓ−Ｇｅｏｒｇ  ＢｅｙｅｒおよびＨａｎｓ−Ｐａｕｌ  Ｓｃｈｗｅｆｅｌ、進化戦略−包括的な紹介、Ｎａｔｕｒａｌ  Ｃｏｍｐｕｔｉｎｇ、１（１）：３〜５２、２００２年５月）、Ｐｏｗｅｌｌのアルゴリズムとその異なるバージョン（Ｍ．Ｊ．Ｄ．Ｐｏｗｅｌｌ）、導関数を計算せずに、いくつかの変数の関数の最小値を見出だすための効率的な方法、コンピュータジャーナル、７（２）：１５５〜１６２、１９６４）、に基づくシンプレックス検索のような無勾配方法に頼ることである。しかしながら、前述のアルゴリズムの多くは、せいぜいボックスタイプの制約を受け入れる。
【０１３２】
したがって、（１２）〜（１３）を制約のない最適化問題に変換する必要がある。バリア機能のアイデアを使用してこれを実装する。すなわち、（Ｐｋ）のコスト関数
【０１３３】
【数４１】
2019197540.tif 000046
【０１３４】
に置き換え、式中、
【０１３５】
【数４２】
2019197540.tif 000047
【０１３６】
は、減少する正のスカラーのシーケンスである。新しいコスト関数は、最小化Ｊ（ｗ）、高い実現可能性確率を有する点の選択、および高い不確実性を有する点の探索の間のトレードオフを表す。最適化問題（Ｐｋ）の新しいシーケンスは、無勾配方法を使用できるため、制約のない最適化問題のシーケンスである。
【０１３７】
準最適解が受け入れられる場合は、反復手順を排除し、コスト関数、
【０１３８】
【数４３】
2019197540.tif 000048
【０１３９】
を用いてワンショット最適化問題を解くことができ、式中、ｑ（ｗ）は、モデルのシミュレーションが実行されるたびに更新される実現可能性モデルである。ますます多くの点を探索するにつれてエントロピー項がほぼゼロになるので、この発見的方法論は満足のいく結果を提供する良い機会を有する。さらに、検索が実現可能な領域内で実行される場合、第２の項はゼロになる。したがって、検索は主にＪを最小化することに焦点を当てている。コスト関数の計算方法を改変するだけでよく、制約のない最適化アルゴリズムを使用できる。コスト関数内の計算は、アルゴリズム３に要約されている。
【０１４０】
［表］
2019197540.tif 000049
【０１４１】
アルゴリズム３の１３行目においては、パラメータβを最初から再訓練するのではなく、代わりにオンライン勾配降下アルゴリズムを使用でき、命題３．２で定義された
【０１４２】
【数４４】
2019197540.tif 000050
【０１４３】
の勾配は、単一の例の勾配で近似されβ←β−α∇ｈ（β；（ｗ，ｙ））、式中、ｈ（β；（ｗ，ｙ））＝−ｙｌｏｇｑ（ｗ；β）−（１−ｙ）ｌｏｇ［１−ｑ（ｗ；β）］。勾配を近似するため、または導関数を含まないアルゴリズムで検索の方向をテストするためのコスト関数の呼び出しごとに、実現可能性確率が更新される。
【０１４４】
デモ例
いくつかの実装において、目標は、図３に示されるＣａｕｅｒフィルタで非線形抵抗器Ｒ＿ｎｏｎｌｉｎのモデルを学習することである。出力測定値は、１００秒の時間間隔にわたる抵抗器Ｒ４の両端の電圧である。電圧は、非線形抵抗器の挙動に関する間接的な情報を提供する。この回路は、入力が正規分布信号の帯域制限された白色雑音である電圧源によって電力を供給される。
【０１４５】
抵抗器Ｒ４の電圧の「実験的な」出力測定値を図４に示す。非線形抵抗器の「真の」実際の挙動は、ｉ＝０．０１・ｖ３によって記述され、式中、ｉおよびｖは、それぞれ抵抗器の電流および電圧を表す。学習プロセスにおいては、多項式ｗ１ｉ＝ｗ２ｖ２＋ｗ３ｖ３によって構成方程式をモデル化する。パラメータ値に加えて、ｗに対応する実現可能性セットの表現を学習したい。実現可能セットの記述的な３Ｄ表現を得るために、パラメータの三次元ベクトルを選択する。
【０１４６】
ベクトルｗが実行可能になる確率は、ソフトマックス関数
【０１４７】
【数４５】
2019197540.tif 000051
【０１４８】
を使用してモデル化される。この表現は、実現可能な部分空間および実現不可能な部分空間を分離する超平面を提供する。確かにそのような分離が可能であるという仮定をしていることに留意されたい。そうではない場合がある。より複雑な表現では、ＮＮをソフトマックス関数の前に置くことができる。分離超平面はβ１ｗ１＋β２ｗ２＋β３ｗ３＝０で与えられる。したがって、ｗは実現可能であるβＴｗ＞０。
【０１４９】
学習手順は、ＰｙｔｈｏｎのＳｃｉＰｙライブラリ（Ｅｒｉｃ  Ｊｏｎｅｓ、Ｔｒａｖｉｓ  Ｏｌｉｐｈａｎｔ、Ｐｅａｒｕ  Ｐｅｔｅｒｓｏｎら、ＳｃｉＰｙ：Ｐｙｔｈｏｎ用オープンソース科学ツール、２００１年〜）の最適化パッケージからのアルゴリズムを使用してＰｙｔｈｏｎに実装された。最適化コスト関数の評価は、Ｍｏｄｅｌｉｃａ（Ｐｅｔｅｒ  Ｆｒｉｔｚｓｏｎ、Ｍｏｄｅｌｉｃａ３．３を用いたオブジェクト指向モデル化とシミュレーションの原理：サイバーフィジカルアプローチ、ＩＥＥＥ  Ｐｒｅｓｓ、Ｗｉｌｅｙ、Ｈｏｂｏｋｅｎ、ＮＪ、第２版、２０１５）電気回路モデルの説明から生成された、機能モックアップユニット（ＦＭＵ）（Ｔ．Ｂｌｏｃｈｗｉｔｚ、Ｍ．Ｏｔｅｒ、Ｍ．Ａｒｎｏｌｄ、Ｃ．Ｂａｕｓｃｈ、Ｃ．Ｃｌａｕ、Ｈ．Ｅｌｍｑｖｉｓｔ、Ａ．Ｊｕｎｇｈａｎｎｓ、Ｊ．Ｍａｕｓｓ、Ｍ．Ｍｏｎｔｅｉｒｏ、Ｔ．Ｎｅｉｄｈｏｌｄ、Ｄ．Ｎｅｕｍｅｒｋｅｌ、Ｈ．Ｏｌｓｓｏｎ、Ｊ．ｖ、Ｐｅｅｔｚ、Ｓ．Ｗｏｌｆ、Ａｔｅｇｏ  Ｓｙｓｔｅｍｓ  Ｇｍｂｈ、Ｑｔｒｏｎｉｃ  Ｂｅｒｌｉｎ、Ｆｒａｕｎｈｏｆｅｒ  Ｓｃａｉ、およびＳｔ．Ａｕｇｕｓｔｉｎ、ツールに依存しないシミュレーションモデルの交換のための機能的モックアップインターフェース、第８回国際Ｍｏｄｅｌｉｃａ会議の議事録、２０１１年）のシミュレーションに基づいている。
【０１５０】
最初にアルゴリズム１を実装した。図５Ａ〜図５Ｂは、アルゴリズム１によって生成された分離超平面を示す。より具体的には、図５Ａはアルゴリズム１のＣＯＢＹＬＡ結果を示し、図５Ｂはアルゴリズム１のＳＬＳＱＰ結果を示す。内側のループは、制約を受け入れる２つのアルゴリズム、ＣＯＢＹＬＡ（Ｍ．Ｊ．Ｄ．Ｐｏｗｅｌｌ、導関数なしの最適化アルゴリズムの見方、技術報告、ケンブリッジ大学、英国、２００７年５月）、制約付き最適化のための導関数を含まないアルゴリズムと、逐次最小二乗計画法（ＳＬＳＱＰ）（Ｄ．Ｋｒａｆｔ、逐次二次計画法のためのソフトウェアパッケージ、Ｄｅｕｔｓｃｈｅ  Ｆｏｒｓｃｈｕｎｇｓ−ｕｎｄ  Ｖｅｒｓｕｃｈｓａｎｓｔａｌｔ  ｆｕｒ  Ｌｕｆｔ−ｕｎｄ  Ｒａｕｍｆａｈｒｔ  Ｋｏｌｎ：Ｆｏｒｓｃｈｕｎｇｓｂｅｒｉｃｈｔ、Ｗｉｓｓ、Ｂｅｒｉｃｈｔｓｗｅｓｅｎ  ｄ、ＤＦＶＬＲ、１９８８年）とを使用して実装された。２５回の外部反復を実行し、内部反復ごとに反復の最大数を３００に制限した。ミニマイザ内の相対誤差および最小値をｘｔｏｌ＝ｆｔｏｌ＝１ｅ−１６に設定した。シーケンスδｋ，１およびδｋ，２は、δｋ，１＝ε＋（１−ε）（λ＋ε）ｋおよびδｋ，２＝１＋ε−λｋとして選択し、ε＝１ｅ−７およびλ＝０．８とした。勾配近似のためのステップサイズは、ｅｐｓ＝１ｅ−０４に設定した。最適化手順の結果を表２に要約する。
【０１５１】
【表２】
2019197540.tif 000052
【０１５２】
ＣＯＢＹＬＡを使用して蓄積されたデータは、実現可能パラメータおよび実現不可能パラメータの間のより明確な分離を示す。ＳＬＳＱＰは、大部分が分離している超平面の周りの点を調べた。
【０１５３】
アルゴリズム３は、無勾配アルゴリズムおよび勾配近似に基づくアルゴリズムの両方でテストされた。第２のクラスは勾配近似を制御するハイパーパラメータに依存するため、２つのクラスのアルゴリズムを比較することはすぐにはできない。したがって、同じクラスにのみ属するアルゴリズムを比較する。反復の最大数および関数評価の最大数を、それぞれ１０００および１５００に制限した。アルゴリズム３のハイパーパラメータはλ１＝１およびλ２＝０．１として選ばれた。全てのアルゴリズムに同じ初期条件、すなわちｗ０＝［０．１，０．１，０．１］を使用する。ミニマイザ内の相対誤差および最小値をｘｔｏｌ＝ｆｔｏｌ＝１ｅ−１６に設定した。無勾配アルゴリズムを使用した最適化結果を表３に示す。解ｗ＊はスカラー倍増に対して不変であるので、解を最初の要素
【０１５４】
【数４６】
2019197540.tif 000053
【０１５５】
で除算することができる。
【０１５６】
【表３】
2019197540.tif 000054
【０１５７】
【数４７】
2019197540.tif 000055
【０１５８】
および
【０１５９】
【数４８】
2019197540.tif 000056
【０１６０】
に興味がある。特に、３つの全てのアルゴリズム
【０１６１】
【数４９】
2019197540.tif 000057
【０１６２】
について、その真の値に近付く。無勾配方法のための分離超平面は、図６Ａ〜６Ｃに示され、特に、図６Ａは、これをＰｏｗｅｌｌに関して示し、図６Ｂは、これをＮｅｌｄｅｒ−Ｍｅａｄに関して示し、図６Ｃは、これをＣＯＢＹＬＡに関して示す。各アルゴリズムが異なる超平面を学習したことは、驚くべきことではない。これらの超平面のパラメータは、各アルゴリズムによって生成された軌跡、アルゴリズムごとに異なる軌跡に基づいて計算される。
【０１６３】
次に、勾配近似を使用するアルゴリズム、Ｂｒｏｙｄｅｎ−Ｆｌｅｔｃｈｅｒ−Ｇｏｌｄｆａｒｂ−Ｓｈａｎｎｏ（ＢＦＧＳ）アルゴリズム、限定メモリＢＦＧＳアルゴリズム（Ｌ−ＢＦＧＳ）（Ｊｏｒｇｅ  Ｎｏｃｅｄａｌ、限られた記憶域を有する準ニュートン行列の更新、Ｍａｔｈｅｍａｔｉｃｓ  ｏｆ  Ｃｏｍｐｕｔａｔｉｏｎ、３５（１５１）：７７３〜７８２、１９８０）、非線形共役勾配アルゴリズム（ＣＧ）（Ｒ．ＦｌｅｔｃｈｅｒおよびＣ．Ｍ．Ｒｅｅｖｅｓ、共役勾配による関数最小化、コンピュータジャーナル、７（２）：１４９〜１５４、１９６４）、およびＳＬＳＱＰを使用した。結果を表４に示す。無勾配アルゴリズムの場合に使用される設定に加えて、勾配近似のステップサイズをｅｐｓ＝１ｅ−４に設定する。
【０１６４】
【表４】
2019197540.tif 000058
【０１６５】
図７Ａ〜図７Ｄは、勾配近似を使用するアルゴリズムについて分離している超平面を示す。特に、図７Ａは、これをＢＦＧＳに関して示し、図７Ｂは、これをＳＬＳＱＰに関して示し、図７Ｃは、これをＣＧに関して示し、図７Ｄは、これをＬ−ＢＦＧＳ−Ｂに関して示す。
【０１６６】
本明細書に開示された技術は、開示された技術を実行するために、電子データ処理デバイスによって読み取り可能および実行可能な命令を記憶する非一時的記憶媒体によって、具現化され得ることがさらに理解されるであろう。そのような非一時的記憶媒体は、ハードドライブまたは他の磁気記憶媒体、光ディスクまたは他の光学記憶媒体、ＲＡＩＤディスクアレイなどのクラウドベースの記憶媒体、フラッシュメモリまたは他の不揮発性電子記憶媒体などを含むことができる。
【図１】
2019197540.tif 000060
【図２】
2019197540.tif 000061
【図３】
2019197540.tif 000062
【図４】
2019197540.tif 000063
【図５Ａ】
2019197540.tif 000064
【図５Ｂ】
2019197540.tif 000065
【図６Ａ】
2019197540.tif 000066
【図６Ｂ】
2019197540.tif 000067
【図６Ｃ】
2019197540.tif 000068
【図７Ａ】
2019197540.tif 000069
【図７Ｂ】
2019197540.tif 000070
【図７Ｃ】
2019197540.tif 000071
【図７Ｄ】
2019197540.tif 000072