(57)【要約】【課題】異常検出や予知保全等の課題に適用可能な機械学習モデルを訓練するためには、大量のラベル付きデータが必要とるため、導入するコストが高く、ハイパーパラメータを特定するためにはユーザの手間がかかる。【解決手段】  本発明に係るハイパーパラメータ管理装置は、圧縮ネットワークと、推定ネットワークと、計算部とを含み、ハイパーパラメータ計算部は、対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、対象データの主成分の分散比を計算し、分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、推定ネットワークハイパーパラメータを推定ネットワークに設定し、圧縮ネットワークハイパーパラメータを圧縮ネットワークに設定する。【選択図】図３
2020201617.tif 000002
【特許請求の範囲】
【請求項１】
ハイパーパラメータ管理装置であって、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
前記ハイパーパラメータ計算部は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する、
ことを特徴とするハイパーパラメータ管理装置。
【請求項２】
前記ハイパーパラメータ管理装置は、
データの特異性を判定する判定部を更に含み、
前記圧縮ネットワークは、
前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
前記推定ネットワークは、
前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
前記判定部は、
前記密度分布に基づいて、前記対象データの特異性を判定する、
ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
【請求項３】
前記推定ネットワークハイパーパラメータは、前記対象データを近似するために必要なガウス分布の数を示すものである、
ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
【請求項４】
前記圧縮ネットワークハイパーパラメータは、前記低次元表現の次元数を示すものである、
ことを特徴とする、請求項１に記載のハイパーパラメータ管理装置。
【請求項５】
ハイパーパラメータ管理システムであって、
前記ハイパーパラメータ管理システムは、
ハイパーパラメータ管理サーバと、クライアント端末とを含み、
前記ハイパーパラメータ管理サーバと、前記クライアント端末とが通信ネットワークを介して接続されており、
前記ハイパーパラメータ管理サーバは、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部と、
データの特異性を判定する判定部とを含み、
解析対象のデータを前記クライアント端末から受信する場合には、
前記ハイパーパラメータ計算部は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定し、
前記圧縮ネットワークは、
前記対象データを次元圧縮し、前記対象データに対応する対象データ低次元表現を生成し、前記対象データ低次元表現に基づいて、再構築データを生成し、
前記再構築データと、前記対象データとに基づいて、前記再構築データの前記対象データに対する誤差を計算し、
前記推定ネットワークは、
前記対象データ低次元表現と、前記誤差とに基づいて、前記対象データの密度分布を推定し、
前記判定部は、
前記密度分布に基づいて、前記対象データの特異性を判定し、当該判定の結果を前記クライアントに通知する、
ことを特徴とするハイパーパラメータ管理システム。
【請求項６】
ハイパーパラメータ管理装置によって実行されるハイパーパラメータ管理方法であって、
前記ハイパーパラメータ管理装置は、
データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、
前記低次元表現の密度分布を推定する推定ネットワークと、
前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、
前記ハイパーパラメータ管理方法は、
対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを前記ハイパーパラメータ計算部によって計算する工程と、
前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する工程と、
を含むハイパーパラメータ管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法に関する。
【背景技術】
【０００２】
機械学習技術は、ヘルスケアや金融、産業などの様々な分野で蓄積されたデータの解析に対して、新しい社会的価値を創出する技術として注目されている。機械学習には、ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅやｄｅｅｐｌｅａｒｎｉｎｇといったアルゴリズムの種類、及び各アルゴリズムにおいてモデルを決定するために必要なパラメータがある。事前に設定され、モデルの挙動を制御するこれらのパラメータは「ハイパーパラメータ」と呼ばれる。
【０００３】
一般的に、こうしたハイパーパラメータの組み合わせは、数万通り以上存在する。このため、解析したい問題に機械学習を適用する際には、ハイパーパラメータの組み合わせをいくつも試行し、最も精度が高くなる組み合わせを特定する必要がある。加えて、ハイパーパラメータの組み合わせは解析する問題ごとに最適な組み合わせが異なるため、問題やデータが変わるごとにハイパーパラメータの組み合わせの検討を行う必要があり、この点が機械学習技術を活用する上での課題となっている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｓａｔｏｐａａ，  Ｖ．，  Ａｌｂｒｅｃｈｔ，  Ｊ．，  Ｉｒｗｉｎ，  Ｄ．  ａｎｄ  Ｒａｇｈａｖａｎ，  Ｂ．，  ２０１１．  Ｆｉｎｄｉｎｇ  ａ  ‘ｋｎｅｅｄｌｅ’ｉｎ  ａ  ｈａｙｓｔａｃｋ：  Ｄｅｔｅｃｔｉｎｇ  ｋｎｅｅ  ｐｏｉｎｔｓ  ｉｎ    ｓｙｓｔｅｍ  ｂｅｈａｖｉｏｒ．  １６６−１７１.  Ｉｎ  ３１−ｓｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｃｏｍｐｕｔｉｎｇ  Ｓｙｓｔｅｍｓ。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の非特許文献１には、ハイパーパラメータを特定する手段が記載されている。しかしながら、上記の非特許文献に記載の手段では、機械学習モデルを訓練するためには、大量のラベル付きデータが必要となる。そのため、非特許文献に記載の手段を導入しようとすると、ハイパーパラメータを特定するためのコストや工数を要する。
【０００６】
そこで、本発明は、ハイパーパラメータを教師なし学習の手法を用いて特定することで、低コストで異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、代表的な本発明のハイパーパラメータ管理装置の一つは、データを次元圧縮し、低次元表現を生成する圧縮ネットワークと、前記低次元表現の密度分布を推定する推定ネットワークと、前記圧縮ネットワーク及び前記推定ネットワークのハイパーパラメータを計算するハイパーパラメータ計算部とを含み、前記ハイパーパラメータ計算部は、対象データ及び一様データに基づいて、ギャップ統計計算手法を用いてギャップ統計量を計算し、少なくとも前記ギャップ統計量に基づいて、曲線フィット手法を用いて推定ネットワークハイパーパラメータを計算し、前記対象データの主成分の分散比を計算し、少なくとも前記分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算し、前記推定ネットワークハイパーパラメータを前記推定ネットワークに設定し、前記圧縮ネットワークハイパーパラメータを前記圧縮ネットワークに設定する。
【発明の効果】
【０００８】
本発明によれば、ハイパーパラメータを教師なし学習の手法を用いて特定することで、低コストで異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することができる。
上記した以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態を実施するためのコンピュータシステムのブロック図である。
【図２】本発明に係るハイパーパラメータ管理システムの構成の一例を示すブロック図である。
【図３】本発明の実施形態に係るハイパーパラメータ管理装置の機能的構成を示す図である。
【図４】本発明の実施形態に係るハイパーパラメータ管理装置のテスト環境の構成を示すブロック図である。
【図５】本発明の実施形態に係る圧縮ネットワークの構成を示す図である。
【図６】本発明の実施形態に係る推定ネットワークの構成を示す図である。
【図７】本発明の実施形態に係る圧縮ネットワーク及び推定ネットワークにおけるデータの流れを示す図である。
【図８】本発明の実施形態に係るハイパーパラメータの例を示す図である。
【図９】本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例を示す図である。
【図１０】本発明の実施形態に係るクラスター数毎のギャップ統計量を示す図である。
【図１１】本発明の実施形態に係る曲線フィット手法を、クラスター数毎のギャップ統計量を示すグラフに対して適用した一例を示す図である。
【図１２】本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのグラフを示す図である。
【図１３】本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定するためのグラフを示す図である。
【図１４】本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク及び推定ネットワークに設定した結果を示す図である。
【図１５】本発明の実施形態に係るハイパーパラメータによる精度の表面プロットを示す図である。
【図１６】本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して使用するための構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、従来例及び本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１１】
（概要）
上述したように、本発明は、ハイパーパラメータの最適化に関する。ここでのハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータである。ハイパーパラメータは、例えば、学習率やバッチサイズ、学習イテレーション数等、機械学習アルゴリズムにおける様々な特性を規定するものを含む。
【００１２】
解析したい問題に機械学習を適用する際には、その問題を最も効率的に解決できる機械学習モデルを構築するためには、そのモデルのハイパーパラメータを最適化することが望ましい。しかし、機械学習モデルのハイパーパラメータ間では、相互関係が存在する場合があるため、一方のハイパーパラメータの最適化を追求すれば、他方のハイパーパラメータの効率を犠牲にせざるを得ないトレードオフが発生することがある。そのため、ハイパーパラメータを１つずつ最適化するだけでは、システム全体の精度や効率を向上させることが難しい。
【００１３】
そのため、従来では、機械学習モデルを、例えば異常検出や予知保全等のような分野に適用する場合には、機械学習を訓練するための訓練用ラベル付きデータを入手した上で、ハイパーパラメータの組み合わせをいくつも試行し、最も精度が高くなる組み合わせを特定する必要があった。
【００１４】
上記の課題を鑑みて、本実施形態においては、異常検出や予知保全等に効果的な機械学習モデルを実現するために、ラベル付きデータが不要となる教師なし学習の手法を用いて、当該機械学習モデルのハイパーパラメータを特定する。具体的には、本実施形態における機械学習モデルは、対象データを圧縮し、対象データの低次元表現を生成する圧縮ネットワークと、当該低次元表現の密度分布を推定する推定ネットワークとを含んでいる。そして、この密度分布を解析することで、対象データを生成した装置（例えば冷却ファン等）が正常であるか、異常であるかを判定することができる。
【００１５】
また、当該機械学習モデルの異常検出の精度を向上するためには、圧縮ネットワークが生成する低次元表現の次元数や、推定ネットワークにおいて特定のデータを近似するために必要なガウス分布の数等のハイパーパラメータを最適化する必要がある。そのため、本発明では、圧縮ネットワークのハイパーパラメータである低次元表現の次元数と、推定ネットワークのハイパーパラメータであるガウス分布の数を計算することに関する。以下では、これらのハイパーパラメータを計算する方法の詳細について説明する。
【００１６】
（ハードウェア構成）
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。
【００１７】
コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
【００１８】
ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、ハイパーパラメータ管理アプリケーション３５０を格納していてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。
【００１９】
ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、ハイパーパラメータ管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。
【００２０】
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。
【００２１】
表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
【００２２】
例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。
【００２３】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【００２４】
ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。
【００２５】
ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【００２６】
次に、図２を参照して、本実施形態に係るハイパーパラメータ管理システムの構成について説明する。
【００２７】
図２は、本実施形態に係るハイパーパラメータ管理システム２００の構成を示す図である。ハイパーパラメータ管理システム２００は、例えば異常検出や予知保全等の分野に適用可能な機械学習モデルにおけるハイパーパラメータを特定するためのシステムである。以下では、このハイパーパラメータ管理システム２００の構成について説明する。
【００２８】
図２に示すように、ハイパーパラメータ管理システム２００は、ハイパーパラメータ管理装置２０５、ネットワーク２２５、及びクライアント端末２３５Ａ，２３５Ｂからなる。ハイパーパラメータ管理装置２０５は、ネットワーク２２５を介して、クライアント端末２３５Ａ、２３５Ｂと接続される。
【００２９】
ハイパーパラメータ管理装置２０５は、クライアント端末２３５Ａ，２３５Ｂとのデータの送受信を行う通信部２０７と、対象データの次元を圧縮し、低次元表現を生成する圧縮ネットワーク２１０と、低次元表現の密度分布を推定する推定ネットワーク２２０と、圧縮ネットワーク２１０及び推定ネットワーク２２０のためのハイパーパラメータを計算するハイパーパラメータ計算部２３０と、各種情報を格納する記憶部２４０と、対象データの特異性を判定する判定部２５０とからなる。
なお、ハイパーパラメータ管理装置２０５に含まれるそれぞれの機能部は、図１に示すハイパーパラメータ管理アプリケーション３５０を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。また、上記の機能部は、同一のコンピューティング環境に実施されてもよく、分散されたコンピューティング環境に実施されてもよい。例えば、ハイパーパラメータ計算部２３０を遠隔のサーバに実装し、それ以外の機能部をクライアント端末２３５Ａ、２３５Ｂ等のローカルデバイスに実装する構成であってもよい。
【００３０】
クライアント端末２３５Ａ、２３５Ｂは、解析の対象となる対象データを、ネットワーク２２５を介してハイパーパラメータ管理装置２０５に送信する端末である。ハイパーパラメータ管理装置２０５による解析（例えば、異常検出等）が終了した後、解析の結果を示す情報がクライアント端末２３５Ａ、２３５Ｂに返送される。これらのクライアント端末２３５Ａ、２３５Ｂは、例えば、デスクトップパソコン、ノートパソコン、タブレット、スマートフォン等、任意のデバイスであってもよい。
【００３１】
なお、以上では、圧縮ネットワーク２１０及び推定ネットワーク２２０がハイパーパラメータ管理装置２０５に配置され、クライアント端末２３５Ａ、２３５Ｂから送信された解析対象データを解析し、当該解析の結果を示す情報を返送する構成について説明したが、本発明はこれに限定されず、圧縮ネットワーク２１０及び推定ネットワーク２２０が他のサーバやクライアント端末２３５Ａ，２３５Ｂに配置される構成も可能である。この場合には、圧縮ネットワーク２１０及び推定ネットワーク２２０によって生成される情報（低次元表現及び密度分布）をハイパーパラメータ管理装置２０５に送信し、ハイパーパラメータ計算部２３０が当該情報に基づいてハイパーパラメータを計算し、計算したハイパーパラメータを返送してもよい。
【００３２】
次に、図３を参照して、本発明の実施形態に係るハイパーパラメータ管理装置を訓練するための機能的構成について説明する。
【００３３】
図３は、本発明の実施形態に係るハイパーパラメータ管理装置２０５の機能的構成を示す図である。このような構成は、例えばハイパーパラメータ管理装置２０５を訓練する（つまり、適切なハイパーパラメータを特定する）際に用いられてもよい。
【００３４】
まず、ハイパーパラメータ計算部２３０は、記憶部２４０から、（訓練用の）対象データ２０８を受信する。この対象データ２０８は、例えば異常検出の解析対象である信号を示すデータでああってもよい。一例として、この対象データ２０８は、複合信号を窓関数に通して、周波数スペクトルを計算した結果を、時間、周波数、信号成分の強さの３次元を表すスペクトログラム（例えばＬｏｇ−Ｍｅｌ  Ｓｐｅｃｔｒｏｇｒａｍ）であってもよい。
なお、図３では、訓練用の対象データ２０８として、記憶部に予め格納された一例を図示しているが、本発明はこれに限定されず、例えば上述したクライアント端末から受信したデータを使用することも可能である。
【００３５】
対象データ２０８を受信したハイパーパラメータ計算部２３０は、対象データ２０８に対して、圧縮ネットワーク２１０のための圧縮ネットワークハイパーパラメータを計算する処理と、推定ネットワーク２２０のための推定ネットワークハイパーパラメータを計算する処理とを同時に実行する。上述したように、これらのハイパーパラメータは、対象データの特異性を正確に判定するために、圧縮ネットワーク２１０及び推定ネットワーク２２０の特性を定義するパラメータである。
具体的には、ハイパーパラメータ計算部２３０は、圧縮ネットワークハイパーパラメータを計算するためには、対象データ２０８の主成分及び分散比を計算し、当該主成分及び分散比に基づいて、曲線フィット手法を用いて圧縮ネットワークハイパーパラメータを計算する。この圧縮ネットワークパラメータは、圧縮ネットワーク２１０に設定される。この計算の詳細については後述する。
また、ハイパーパラメータ計算部２３０は、推定ネットワークハイパーパラメータを計算するためには、対象データ２０８と、一様分布を示す一様データとに基づいて、ギャップ統計計算手法を用いて対象データ２０８と一様データとのギャップ統計量を計算する。
その後、ハイパーパラメータ計算部２３０は、このギャップ統計量に基づいて、曲線フィット手法を用いて、推定ネットワークハイパーパラメータを計算する。この推定ネットワークハイパーパラメータは、推定ネットワーク２２０に設定される。この計算の詳細については後述する。
これにより、圧縮ネットワーク２１０及び推定ネットワークの、対象データの特異性の判定精度を向上させることができる。
【００３６】
次に、図４を参照して、本発明の実施形態に係るハイパーパラメータ管理装置のテスト環境の構成について説明する。
【００３７】
図４は、本発明の実施形態に係るハイパーパラメータ管理装置２０５のテスト環境４００の構成を示す図である。
なお、ここでは、圧縮ネットワーク２１０及び推定ネットワーク２２０は、既に訓練済み（つまり、適切な圧縮ネットワークハイパーパラメータ及び推定ネットワークハイパーパラメータが既に上述の手段によって特定されており、設定されている）であることを前提とする。
【００３８】
図４に示すように、テスト環境４００は、解析対象データの発生源である装置４１０と、ハイパーパラメータ管理装置２０５とを含む。
なお、図４に示すテスト環境４００の構成は、訓練済みの圧縮ネットワーク２１０及び推定ネットワーク２２０を用いて、対象データの特異性を判定する際に用いられてもよい。ここでの特異性とは、検証対象の装置によって生成されるデータが、当該装置の性質からして妥当なものであるか否かを示す尺度である。この特異性に基づいて、装置４１０が正常に作動しているか、異常が現れているかを決定することができる。以下では、説明の便宜上、「特異性を判定する」との表現は、「対象データを生成した装置が正常であるか否かを検証する」ことを意味するものとする。
【００３９】
まず、解析対象データ４１５は、装置４１０から収集され、ハイパーパラメータ管理装置２０５によって解読可能なスペクトルグラム４２０（例えばＬｏｇ−Ｍｅｌ  Ｓｐｅｃｔｒｏｇｒａｍ）に変換される。一例として、装置４１０は、例えば工場やデータセンターに配置されるコンピューティングデバイスの冷却ファンであって、解析対象データは、ファンによる騒音を表す音声信号であってもよい。その後、変換されたスペクトルグラム４２０は、ハイパーパラメータ管理装置２０５に入力される。
【００４０】
対象データであるスペクトルグラム４２０を受信したハイパーパラメータ管理装置２０５の判定部２５０は、訓練済みの圧縮ネットワーク２１０及び推定ネットワーク２２０を用いて、スペクトルグラム４２０のスペクトル密度Ｅ（Ｅｎｅｒｇｙ  Ｓｐｅｃｔｒａｌ  Ｄｅｎｓｉｔｙ）４３０を計算する。ここでは、エネルギースペクトル密度とは、対象データであるスペクトルグラム４２０の信号や時系列のエネルギーが周波数についてどのように分布されているかを示す関数である。
【００４１】
このエネルギースペクトル密度を解析することで、このエネルギースペクトル密度が、検証対象の装置４１０の性質からして妥当であるか否か（つまり、データ４１５の特異性）を判定することができる。これにより、装装置２１０が正常に作動しているか、異常が現れているかを決定することができる。この結果は、例えば異常検出や予知保全等の目的のために用いられてもよい。
【００４２】
次に、図５を参照して、本発明の実施形態に係る圧縮ネットワークについて説明する。
【００４３】
図５は、本発明の実施形態に係る圧縮ネットワーク２１０を示す図である。上述したように、図５に示す圧縮ネットワーク２１０は、対象データを次元圧縮して、低次元表現を生成するためのネットワークである。圧縮ネットワーク２１０は、一例として、いわゆるオートエンコーダーネットワークであってもよい。
【００４４】
図５に示すように、圧縮ネットワーク２１０は、主に、エンコーダー５１０と、デコーダー５２０とからなる。
【００４５】
エンコーダー５１０は、対象データ５０５（例えば、図４に示すスペクトルグラム４２０）を入力として受け付け、この対象データを次元圧縮し、低次元表現５１５（ｚｃ）を生成するものである。ここでは、情報の次元とは、ある情報における特徴を表すための変数の数を意味する。原則として、情報の次元が高い程、情報の特徴をより細かく表現することができる。ここでの低次元表現５１５は、対象データ５０５を、元より少ない次元数で表したものである。対象データ５０５を低次元表現に落とし込むことで、元のデータの意味を保ちつつ、当該データを格納するための所要容量を減らすことができる。
【００４６】
また、エンコーダー５１０の圧縮率を調整することで、対象データ５０５を圧縮する度合を設定することができる。原則として、圧縮率が高い程、データがより少ない次元数の低次元表現となるため、所要容量が減るが、後述するように、対象データの特異性を判定する精度が低減する。ここでの「低次元表現の次元数」は、圧縮ネットワーク２１０のハイパーパラメータの一つであり、後述する手法で適切な次元数を計算することで、異常検出や予知保全に効果的な機械学習モデルを実現することができる。
【００４７】
次元圧縮の具体的な方法としては、例えばＲａｎｄｏｍ  Ｐｒｏｊｅｃｔｉｏｎ，主成分分析、Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ，  Ｉｓｏｍａｐ，Ｌｏｃａｌｌｙ  Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ，  Ｍｏｄｉｆｉｅｄ  Ｌｏｃａｌｌｙ  Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ，  Ｈｅｓｓｉａｎ  Ｌｏｃａｌｌｙ  Ｌｉｎｅａｒ  Ｅｍｂｅｄｄｉｎｇ，Ｓｐｅｃｔｒａｌ  Ｅｍｂｅｄｄｉｎｇ，  Ｌｏｃａｌ  Ｔａｎｇｅｎｔ  Ｓｐａｃｅ  Ａｌｉｇｎｍｅｎｔ，  Ｍｕｌｔｉ−ｄｉｍｅｎｓｉｏｎａｌ  Ｓｃａｌｉｎｇ，  ｔ−ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｔｏｃｈａｓｔｉｃ  Ｎｅｉｇｈｂｏｒ  Ｅｍｂｅｄｄｉｎｇ，及びＲａｎｄｏｍ  Ｆｏｒｅｓｔ  Ｅｍｂｅｄｄｉｎｇを使用することができる。
【００４８】
デコーダー５２０は、エンコーダー５１０によって生成された低次元表現５１５に基づいて、対象データ５０５を再構築した再構築データ５２５（ｘ’）を生成するものである。なお、再構築データ５２５を低次元表現５１５に基づいて生成する際に損失が発生する。この損失は、低次元表現５１５の次元数が低い程、高くなる。対象データ５０５と、再構築データ５２５に対して、ユークリッド距離計算等の任意の距離計算法を施すことで、再構築データ５２５の対象データ５０５に対する誤差５３０（ｚｒ）を計算することができる。
【００４９】
次に、低次元表現５１５（ｚｃ）と、再構築データ５２５の対象データ５０５に対する誤差５３０とを含む出力データ５３５（ｚ）は、後述する推定ネットワークの入力となる。この出力データ５３５を推定ネットワークによって処理することで、対象データ５０５の特異性の判断に用いられる密度分布（例えばエネルギースペクトル密度）を計算することができる。
【００５０】
次に、図６を参照して、本発明の実施形態に係る推定ネットワークの構成について説明する。
【００５１】
図６は、本発明の実施形態に係る推定ネットワーク２２０の構成を示す図である。上述したように、図６に示す推定ネットワーク２２０は、圧縮ネットワークからの出力データ５３５（ｚ）に基づいて、対象データの密度分布（例えばエネルギースペクトル密度）を計算するネットワークである。
【００５２】
図６に示すように、推定ネットワーク２２０は、主にマルチレーヤーネットワーク６０５と、演算レーヤー６３０とからなる。
【００５３】
まず、マルチレーヤーネットワーク６０５は、圧縮ネットワーク２１０から出力データ５３５を受け付け、当該出力データ５３５に対して所定の推定演算を施すことで、あるデータ点が特定のクラスターに属する確率６１０（ｐ）を計算する。その後、この確率６１０は、いわゆるソフトマックス関数で正規化される。このソフトマックス関数とは、確率６１０のような非正規化されたベクターを入力し、それを確率分布（つまり、各成分が０以上１以下の数字となり、成分の和が１となる分布）に変換し、正規化する関数である。
【００５４】
次に、演算レーヤー６３０は、ソフトマックス関数で正規化された確率６１０と、推定ネットワーク２２０のハイパーパラメータであるガウス分布の数γ６２０を入力し、混合確率（Ｍｉｘｔｕｒｅ  Ｐｒｏｂａｂｉｌｉｔｙ）、平均、及び混合ガウスモデル（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）の分散比を計算する。ここでは、混合ガウスモデルとは、ガウス分布の線形重ね合わせで表されるモデルである。十分な数のガウス分布を用い，線形結合する重みの係数、各分布の平均、及び共分散を調節すれば，所定の連続関数を任意の精度で近似することができる。
【００５５】
所定のデータを近似するために必要なガウス分布の数γ６２０は、推定ネットワーク２２０のハイパーパラメータの一つである。未訓練の推定ネットワークでは、所定のデータを近似するための適切なガウス分布の数が不明であるため、数多くのパラメータを試行し、最も精度が高くなるパラメータを推定する必要がある。しかし、本実施形態では、所定のデータに対して適切なガウス分布の数γ６２０を後述する手法で計算し、推定ネットワーク２２０に予め設定することにより、この試行錯誤が不要となり、異常検出や予知保全に効果的な機械学習モデルを実現することができる。
【００５６】
次に、演算レーヤー６３０は、ソフトマックス関数で正規化された出力の混合確率、平均、及び混合ガウスモデルの分散比を用いて、エネルギースペクトル密度６４０を計算する。上述したように、このエネルギースペクトル密度６４０は、対象データの信号や時系列のエネルギーが周波数についてどのように分布するかを示す関数である。このエネルギースペクトル密度の関数は、以下の数式１に示される。
【数１】
2020201617.tif 000003
ここで、Φｋ、μｋ、及びΣｋはそれぞれ、混合確率、平均、及び混合ガウスモデルの所定の成分ｋの分散比を表す。
【００５７】
次に、図７を参照して、本発明の実施形態に係る圧縮ネットワーク及び推定ネットワークにおけるデータの流れについて説明する。
【００５８】
図７は、本発明の実施形態に係る圧縮ネットワーク２１０及び推定ネットワーク２２０におけるデータの流れを示す図である。
【００５９】
図７に示すように、まず、対象データ５０５（例えば、スペクトルグラム）が圧縮ネットワーク２１０に入力される。圧縮ネットワーク２１０は、圧縮ネットワークハイパーパラメータである低次元表現の次元数に従って対象データ５０５を次元圧縮し、低次元表現５１５を生成する。その後、低次元表現５１５に基づいて、再構築データが生成され、再構築データの対象データ５０５に対する誤差５３０が計算される。
【００６０】
次に、低次元表現５１５及び再構築データの対象データ５０５に対する誤差５３０を含む出力データ５３５が推定ネットワーク２２０に入力される。推定ネットワーク２２０は、推定ネットワークのハイパーパラメータであるガウス分布の数に従って、数式１を用いて、対象データのエネルギースペクトル密度を計算する。このエネルギースペクトル密度を解析することで、対象データが、検証対象の装置の性質からして妥当であるか否かを判定することができる。
【００６１】
次に、図８を参照して、本発明の実施形態に係るハイパーパラメータの例について説明する。
【００６２】
図８は、本発明の実施形態に係るハイパーパラメータの例を示す図である。上述したように、本実施形態は、圧縮ネットワーク２１０のハイパーパラメータである低次元表現の次元数８０５と、推定ネットワーク２２０のハイパーパラメータであるガウス分布の数８１０とを最適化することに関する。具体的には、ここでの「最適化」とは、対象データの特異性を所定の目標精度で判定することを可能とするハイパーパラメータを特定することを意味する。
【００６３】
図８に示す表８００は、低次元表現８０５、ガウス分布の数８１０、及びこれらのパラメータによる特異性の判定精度８１５の対応関係を示す。図８に示すように、原則としては、圧縮率が高い程、低次元表現の次元数が少なくなり、データを格納するための所要容量が減り、当該低次元表現を近似するために必要なガウス分布の数が少なくなるが、特異性の判定精度８１５が低減する（つまり、対象データを生成した装置が異常であるか否かとの判定の信頼性が減る）。従って、本実施形態は、判定精度８１５を最大化しつつ、対象データをなるべく圧縮し、なるべく少ない数のガウス分布で対象データを近似することができるハイパーパラメータを特定することに関する。
【００６４】
次に、図９を参照して、本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例について説明する。
【００６５】
図９は、本発明の実施形態に係る推定ネットワークハイパーパラメータを特定するためのクラスターの一例を示す図である。図９は、対象データを示すグラフ９０５と、粗クラスタリングの結果を示すグラフ９１０と、細クラスタリングの結果を示すグラフ９２０とを含む。
【００６６】
対象データを示すグラフ９０５は、１つ以上の検証対象の装置から収集されたデータであってもよい。この対象データは、例えば、複数の装置の冷却ファンから収集された騒音の音量を示す情報であってもよい。それぞれの冷却ファンから収集された騒音データ点の群れは１つの「クラスター」と呼ばれる。
【００６７】
原則として、グラフ９０５に示すような生データの密度分布を上述した推定ネットワークによって推定する場合には、推定ネットワークは、１つのクラスターを１つのガウス分布で近似するため、クラスターの数は、推定ネットワークのハイパーパラメータであるガウス分布の数に等しい。そのため、対象データにおけるクラスター数の値を判定し、この値を推定ネットワークのハイパーパラメータとして設定することで、対象データの密度分布をより正確に推定することができる。
【００６８】
しかし、対象データによっては、クラスターの数を正確に判定することが難しい場合があり、使用するクラスター分析手段によっては、クラスター数が異なる結果が出ることがある。例えば、グラフ９１０で示す粗クラスタ分析手法では、４つのクラスターが識別されるが、グラフ９２０で示す細クラスタ分析手法では、６のクラスターが識別される。
従って、本実施形態では、正確なクラスター数を判定するためには、以下に説明するギャップ統計計算手法及び曲線フィット手法を用いることとする。
【００６９】
次に、図１０を参照して、本発明の実施形態に係るギャップ統計計算手法について説明する。
【００７０】
図１０は、本発明の実施形態に係るクラスター数１０２０毎のギャップ統計量１０２０示す図である。ここでのギャップ統計量とは、対象データと、対象データの一様分布を示す一様データとの分散度（ｄｉｓｐｅｒｓｉｏｎ）を示す尺度である。以下では、このギャップ統計量を計算する方法について説明する。
なお、ここでの一様データは、例えば、対象データの各特徴について全ての観測値にわたって生成される一様分布を示すものであってもよい。
【００７１】
まず、クラスターの最大値Ｋ及び一様分布を抽出する回数の最大値Ｎrを設定した後、初期条件を以下の数式２、数式３、及び数式４のように設定する。
【数２】
2020201617.tif 000004
ここでは、ｋはクラスターの数である。
【数３】
2020201617.tif 000005
ここでは、ｍは一様分布を抽出する回数である。
【数４】
2020201617.tif 000006
ここでは、Ａ及びＢは、対象データの下限及び上限である。一例として、ＡとＢは、例えば０と１であってもよい。
次に、数式５を用いて、一様分布におけるクラスター内の分散度Ｄｒ（ｍ）を計算する。
【数５】
2020201617.tif 000007
ここでは、ｄii’は、例えば平方ユークリッド距離であってもよい。
その後、数式５を用いて、対象データのクラスターにおける分散度Ｄoを計算する。
最後に、上記により計算したＤｒ（ｍ）及びＤoを用いて、対象データと一様データのギャップ統計量を以下の数式６によって計算する。
【数６】
2020201617.tif 000008
【００７２】
上記により計算された、クラスター数毎のギャップ統計量に対して曲線フィットの手法を施すことにより、推定ネットワークハイパーパラメータであるガウス分布の数に対応する、対象データ数のクラスター数を特定することができる。
【００７３】
次に、図１１を参照して、本発明の実施形態に係る曲線フィット手法について説明する。
【００７４】
図１１は、本発明の実施形態に係る曲線フィット手法を、クラスター数毎のギャップ統計量を示すグラフ（例えば、図１０に示すグラフタ）に対して適用した一例を示す図である。ここでの曲線フィット手法は、クラスター数毎のギャップ統計量を示すグラフにおける変曲点を特定する手法である。
なお、この変曲点は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す点である。以下では、この曲線フィット手法について説明する。
【００７５】
まず、入力となるクラスター数毎のギャップ統計量を示すグラフ（例えば、図１０に示すグラフ）に対して、スプライン曲線が適用される。このスプライン曲線とは、与えられた複数の制御点を通る滑らかな曲線で、隣り合う点に挟まれた各区間に対し、個別の多項式を用いたものである。
【００７６】
次に、クラスター数を表す横軸の値及びギャップ統計量を表す縦軸の値は、以下の数式７によって正規化される。横軸及び縦軸の値が正規化された結果は、図１１に示すグラフ１１３０に示される。
【数７】
2020201617.tif 000009
次に、正規化されたグラフ１１３０に基づいて、差分曲線１１４２は以下の数式８によって計算される（図１１のグラフ１１４０参照）。
【数８】
2020201617.tif 000010
ここでは、ｘdi及びｘｎiは正規化されたクラスター数であり、ｙniは正規化されたギャップ統計量であり、ｙdiはｙniとｘｎiの差である。
次に、差分曲線１１４２を計算した後、グラフ１１４０における極大値が以下の数式９によって計算される。
【数９】
2020201617.tif 000011
ここでは、ｘｌｍｘはクラスター数の極大値であり、ｙｌｍｘはギャップ統計量の極大値である。
次に、極大値の閾値Ｔｌｍｘは以下の数式１０によって計算される。
【数１０】
2020201617.tif 000012
数式１０の閾値Ｔｌｍｘを下回る差分値（例えばｘｄｊ、ｙｄｊ（ｊ＞i））がある場合には、当該差分値の横軸の値であるｘｌｍｘを曲線の変曲点１１４５として特定する。上述したように、この変曲点１１４５は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す値である。
【００７７】
次に、図１２を参照して、本発明の実施形態に係る推定ネットワークハイパーパラメータを示すグラフについて説明する。
【００７８】
図１２は、本発明の実施形態に係る推定ネットワークハイパーパラメータ１１４５を特定するためのグラフ１２４０を示す図である。このグラフ１２４０は、上記説明したギャップ統計計算手法及び曲線フィット手法を、図１０に示すグラフに対して適用した結果を示し、図１１に示すグラフ１１４０を非正規化したものである。
【００７９】
上述したように、グラフ１２４０の変曲点１１４５の横軸の値は、対象データの正確なクラスター数に対応し、推定ネットワークハイパーパラメータであるガウス分布の数を示す値である。例えば、グラフ１２４０の場合、推定ネットワークハイパーパラメータであるガウス分布の数が「４」である。従って、推定ネットワークが使用するガウス分布の数を「４」とし、圧縮ネットワークハイパーパラメータを後述する手段で特定して圧縮ネットワークに設定することで、対象データの特異性を判定する精度を向上させ、異常検出や予知保全等の分野に適用可能な機械学習モデルを提供することができる。
【００８０】
次に、図１３を参照して、本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定する手段について説明する。
【００８１】
図１３は、本発明の実施形態に係る圧縮ネットワークハイパーパラメータを特定するためのグラフ１３１０を示す図である。図１３に示すように、グラフ１３１０の横軸は、いわゆる主成分分析による対象データの主成分１３１５を示し、グラフ１３１０の縦軸は、いわゆる分散分析による対象データの分散比１３２０を示す。
【００８２】
主成分分析とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の手法である。ここでの主成分は、圧縮ネットワークによって生成される低次元表現の次元数に対応する。また、ここでの分散比とは、異なった二組の母集団から抽出された試料の分散をそれぞれu2，υ2とした場合に，両者の比をとり，F＝u2/υ2で表したものである。このFの値が非常に大きな値、又はゼロに近い値の場合には、両者は同一母集団から抽出されたものではないと推定することができる。
【００８３】
主成分分析及び分散分析を対象データに対して適用することで、図１３のグラフ１３１０のような、対象データの主成分毎の分散比を示すグラフを生成することができる。
なお、分散分析及び主成分分析は、一般的に知られている手段で計算されるため、ここではその詳細な説明は省略する。
【００８４】
対象データの主成分毎の分散比を示すグラフ１３１０に対して、上述した曲線フィット手法を適用することで、グラフ１３１０の変曲点１３２５を特定することができる。この変曲点１３２５の横軸の値は、対象データを表すための適切な主成分の数であり、圧縮ネットワークのハイパーパラメータである低次元表現の次元数を示す値である。例えば、図１３に示すグラフ１３１０の場合には、主成分の数が「６」であるため、圧縮ネットワークのハイパーパラメータである低次元表現の次元数も「６」となる。
【００８５】
上述したように、ここで特定した圧縮ネットワークのハイパーパラメータと、ギャップ統計計算及び曲線フィット手法によって特定した推定ネットワークのハイパーパラメータを、圧縮ネットワーク及び推定ネットワークのそれぞれに設定することで、対象データの特異性を高精度で判定することができる。
【００８６】
次に、図１４を参照して、本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク及び推定ネットワークに設定した結果ついて説明する。
【００８７】
図１４は、本発明の実施形態に係る計算手段によって特定されたハイパーパラメータを圧縮ネットワーク２１０及び推定ネットワーク２２０に設定した結果を示す図である。
【００８８】
上述した計算手法によってハイパーパラメータが特定された後、当該ハイパーパラメータを該当するネットワークに設定することで、上述したハイパーパラメータ管理装置２０５は、対象データの特異性を高精度で判定することができるようになる。
【００８９】
例えば、上述した一例で特定した低次元表現の次元数が「６」であり、ガウス分布の数が「４」であると特定した場合には、圧縮ネットワーク２１０のハイパーパラメータを「６」に設定し、推定ネットワーク２２０のハイパーパラメータを「４」に設定する。
【００９０】
図１４に示すグラフ１４１０は、圧縮ネットワーク２１０及び推定ネットワーク２２０のハイパーパラメータを上述した計算手法によって特定したハイパーパラメータに設定した場合の、ハイパーパラメータ管理装置２０５の性能特徴を示すものである。この性能特徴は、例えば、対象データが異常であることを正しく判定した正陽性率と、対象データが異常であることを誤って判定した偽陽性率との関係で表されてもよい。例えば、この場合には、ハイパーパラメータ管理装置２０５は、対象データを９８％の精度で正しく判別することができた。
【００９１】
次に、図１５を参照して、本発明の実施形態に係るハイパーパラメータによる精度の表面プロットについて説明する。
【００９２】
図１５は、本発明の実施形態に係るハイパーパラメータによる精度の表面プロット１５００を示す図である。表面プロット１５００は、低次元表現数１５０５と、ガウス分布の数と、対象データの特異性を判定する精度１５１５との対応関係を示すものである。
【００９３】
上述した計算手段によって特定した低次元表現の次元数の値と、ガウス分布の数の値とを設定した機械学習モデルを用いた場合には、他のハイパーパラメータに比べて、より高い判定精度で対象データの特異性を判定することができる。
例えば、図１５の表面プロット１５００に示すように、ガウス分布の数１５１０の値を「４」とし、低次元表現の次元数１５０５の値を「６」にした場合、判定精度１５１５の値１５２５が最大となる。このように、圧縮ネットワークのハイパーパラメータ及び推定ネットワークのハイパーパラメータを上述した計算手段で特定することにより、判定精度１５１５を最大化しつつ、対象データをなるべく圧縮し、なるべく少ない数のガウス分布で対象データを近似することができることが可能となる。
【００９４】
次に、図１６を参照して、本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して訓練するための構成の一例について説明する。
【００９５】
図１６は、本発明の実施形態に係る推定ネットワーク及び圧縮ネットワークを独立して訓練するための構成１６００の一例を示す図である。
以上では、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを特定する処理を並行に実行する構成について説明したが、本発明はこれに限定されず、推定ネットワークハイパーパラメータ及び圧縮ネットワークハイパーパラメータを独立して特定する構成も可能である。
【００９６】
図１６に示すように、構成１６００は、解析対象データの発生源である装置４１０と、ハイパーパラメータ管理装置２０５とを含む。
なお、構成１６００は、図４を参照して説明したテスト環境４００と実質的に同様であるため、同様の構成要素に同じ参照符号を付し、その説明を省略する。
【００９７】
構成１６００では、装置４１０から収集される対象データ４１５がハイパーパラメータ管理装置２０５によって解読可能なスペクトルグラム４２０（例えばＬｏｇ−Ｍｅｌ  Ｓｐｅｃｔｒｏｇｒａｍ）に変換された後、当該スペクトルグラム４２０が圧縮ネットワーク２１０に入力される。この段階では、圧縮ネットワーク２１０はまだ未訓練であり、最適な圧縮ネットワークハイパーパラメータが設定されていないため、この際には、任意の次元数の低次元表現を生成する。
【００９８】
当該低次元表現と、再構築データの対象データに対する誤差とを含む出力データ５３５（ｚ）は、推定ネットワーク２２０に送信される。その後、当該出力データ５３５に基づいて、上述したギャップ統計計算手段及び曲線フィット手段を用いて、推定ネットワークのハイパーパラメータである低次元表現の次元数であるガウス分布の数が特定される。
【００９９】
推定ネットワーク２２０は、特定されたガウス分布の数に基づいて、出力データ５３５の密度分布を推定する。その後、この密度分布と、推定ネットワーク２２０で使用されたハイパーパラメータとが圧縮ネットワーク２１０に送信される。圧縮ネットワーク２１０は、これらの情報に基づいて、上述した分散分析及び曲線フィット手法を用いて、適切な低次元表現の次元数を特定し、ハイパーパラメータとして設定する。
【０１００】
これにより、それぞれのハイパーパラメータが、一つ一つ連続で特定されるため、より柔軟性の高い機械学習モデル構成を実現することができる。なお、このプロセスは、所定の判定精度を達成するまで繰り返されてもよい。
【０１０１】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１０２】
２０５      ハイパーパラメータ管理装置
２０７      通信部
２０８      対象データ
２１０      圧縮ネットワーク
２２０      推定ネットワーク
２３０      ハイパーパラメータ計算部
【図１】
2020201617.tif 000013
【図２】
2020201617.tif 000014
【図３】
2020201617.tif 000015
【図４】
2020201617.tif 000016
【図５】
2020201617.tif 000017
【図６】
2020201617.tif 000018
【図７】
2020201617.tif 000019
【図８】
2020201617.tif 000020
【図９】
2020201617.tif 000021
【図１０】
2020201617.tif 000022
【図１１】
2020201617.tif 000023
【図１２】
2020201617.tif 000024
【図１３】
2020201617.tif 000025
【図１４】
2020201617.tif 000026
【図１５】
2020201617.tif 000027
【図１６】
2020201617.tif 000028