(57)【要約】【課題】回転検出装置の使用環境に応じた当該回転検出装置の故障予知を高精度かつ容易に行う。【解決手段】状態観測部３１は、状態変数を観測して学習部３３に出力する。判定データ取得部３２は、回転検出装置２の故障の程度を表す判定データを回転検出装置２から取得する。状態変数は、センサ２１の状態に関するデータおよび半導体集積回路２２の状態に関するデータの少なくとも一方を含む。学習部３３は、状態変数および判定データを含むデータセットを用いて回転検出装置２の状態と回転検出装置２の故障との関係を学習する。【選択図】図１
2020201184.tif 000002
【特許請求の範囲】
【請求項１】
回転検出装置の状態と前記回転検出装置の故障との関係を学習する機械学習装置であって、
前記回転検出装置は、センサと、前記センサからの信号を処理する半導体集積回路とを含み、
前記機械学習装置は、
前記回転検出装置の状態を表す状態変数から前記回転検出装置の故障の程度を表す第１判定データを導出する学習部と、
前記状態変数を観測して前記学習部に出力する状態観測部と、
前記故障の程度を表す第２判定データを前記回転検出装置から取得する判定データ取得部とを備え、
前記状態変数は、前記センサの状態に関するデータおよび前記半導体集積回路の状態に関するデータの少なくとも一方を含み、
前記第１判定データおよび前記第２判定データの各々は、前記センサの故障の程度を表すデータおよび前記半導体集積回路の故障の程度を表すデータの少なくとも一方を含み、
前記学習部は、前記状態変数および前記第２判定データを含むデータセットを用いて前記関係を学習する、機械学習装置。
【請求項２】
前記学習部は、学習済みの前記関係を用いて前記回転検出装置の故障予知を出力する、請求項１に記載の機械学習装置。
【請求項３】
前記半導体集積回路は、前記半導体集積回路の故障を診断する第１自己診断機能を有し、
前記センサは、前記センサの故障を診断する第２自己診断機能を有し、
前記状態変数は、前記センサによって検出された回転速度、前記センサの出力信号の振幅および周期に関するデータ、前記センサの温度に関するデータ、および前記半導体集積回路のジャンクション温度に関するデータ、ならびに前記ジャンクション温度および前記センサの温度の差分に関するデータの少なくとも１つを含み、
前記第１判定データおよび前記第２判定データの各々は、前記第１自己診断機能から出力される電圧値および電流値、前記第１自己診断機能の診断結果、前記センサの出力信号の電圧値、前記センサに供給される電圧値、前記センサに供給される電流値、ならびに前記第２自己診断機能の診断結果の少なくとも１つを含む、請求項１または２に記載の機械学習装置。
【請求項４】
前記関係は、ニューラルネットワークとして表現され、
前記ニューラルネットワークの入力層は、前記状態変数に対応し、
前記ニューラルネットワークの出力層は、前記第１判定データに対応する、請求項１〜３のいずれか１項に記載の機械学習装置。
【請求項５】
前記学習部は、前記第１判定データが前記第２判定データに近づくように前記ニューラルネットワークを更新する、請求項４に記載の機械学習装置。
【請求項６】
前記学習部は、
前記回転検出装置の累積動作時間のうち、前記回転検出装置の故障率が基準頻度以下である学習期間において学習し、
前記学習期間において観測された前記状態変数から導出した前記第１判定データを正常状態として分類し、
前記学習期間経過後に観測された前記状態変数から導出した前記第１判定データと前記正常状態に含まれる前記第１判定データとの差分に応じた前記回転検出装置の故障予知を出力する、請求項４に記載の機械学習装置。
【請求項７】
前記学習部は、前記状態変数に対する故障予知の報酬を計算する報酬計算部と、
予め定められた更新式および前記報酬を用いて、前記故障予知の評価関数を更新する関数更新部とを含む、請求項１〜３のいずれか１項に記載の機械学習装置。
【請求項８】
前記報酬計算部は、前記状態変数に対応する前記半導体集積回路のジャンクション温度が基準温度より小さい場合、前記状態変数に対応する故障予知の報酬を増加し、当該ジャンクション温度が前記基準温度より大きい場合、当該故障予知の報酬を低減する、請求項７に記載の機械学習装置。
【請求項９】
前記報酬計算部は、前記状態変数に対応する、前記半導体集積回路のジャンクション温度と前記センサの温度との差分が基準値より小さい場合、前記状態変数に対応する故障予知の評価値を増加し、前記差分が前記基準値より大きい場合、当該故障予知の報酬を減少させる、請求項７に記載の機械学習装置。
【請求項１０】
前記データセットは、複数の回転検出装置各々の状態を表す状態変数および故障の程度を表す判定データを含む、請求項１〜９のいずれか１項に記載の機械学習装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の機械学習装置と、
前記学習部から出力される故障予知に応じて、前記回転検出装置の故障の有無または故障の度合いを表す故障情報を出力する故障情報出力部とを備える、故障予知装置。
【請求項１２】
請求項１１に記載の故障予知装置と、
前記回転検出装置とを備える、故障予知システム。
【請求項１３】
回転検出装置の状態と前記回転検出装置の故障との関係を学習する機械学習方法であって、
前記回転検出装置は、センサと、前記センサからの信号を処理する半導体集積回路とを含み、
前記機械学習方法は、
前記回転検出装置の状態を表す状態変数から前記回転検出装置の故障の程度を表す第１判定データを導出するステップと、
前記状態変数を観測するステップと、
前記故障の程度を表す第２判定データを前記回転検出装置から取得するステップと、
前記状態変数および前記第２判定データを含むデータセットを用いて前記関係を学習するステップとを含み、
前記状態変数は、前記センサの状態に関するデータおよび前記半導体集積回路の状態に関するデータの少なくとも一方を含み、
前記第１判定データおよび前記第２判定データの各々は、前記センサの故障の程度を表すデータおよび前記半導体集積回路の故障の程度を表すデータの少なくとも一方を含む、機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回転検出装置の状態と当該回転検出装置の故障との関係を学習する機械学習装置、当該機械学習装置を備える故障予知装置、当該故障予知装置を備える故障予知システム、および回転検出装置の状態と当該回転検出装置の故障との関係を学習する機械学習方法に関する。
【背景技術】
【０００２】
従来、回転検出装置の故障を検出する故障検出装置が知られている。たとえば、特表２０１７−５３４８６２号公報（特許文献１）には、回転するターゲットの速度、方向、および位置などを決定するとともに、自己テスト能力を有する磁場センサが開示されている。当該磁場センサによれば、自己テスト能力により、故障しているか否かを磁場センサ自身が判定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５３４８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
回転検出装置が故障に至る要因は、回転検出装置の使用環境によって変化する。そのため、予め定められた基準に従って回転機械装置の故障を予知する構成によると、回転検出装置の使用環境によっては故障予知の精度が低下し得る。回転検出装置の故障を精度よく予知することができないと、回転検出装置を適時に交換することが困難になり得る。その結果、回転検出装置を搭載する装置において、動作不良が発生する可能性が高まる。
【０００５】
本発明は、上述のような課題を解決するためになされたものであり、その目的は、回転検出装置の使用環境に応じた当該回転検出装置の故障予知を高精度かつ容易に行うことである。
【課題を解決するための手段】
【０００６】
本発明の一局面に係る機械学習装置は、回転検出装置の状態と回転検出装置の故障との関係を学習する。回転検出装置は、センサと、センサからの信号を処理する半導体集積回路とを含む。機械学習装置は、学習部と、状態観測部と、判定データ取得部とを備える。学習部は、回転検出装置の状態を表す状態変数から回転検出装置の故障の程度を表す第１判定データを導出する。状態観測部は、状態変数を観測して学習部に出力する。判定データ取得部は、回転検出装置の故障の程度を表す第２判定データを回転検出装置から取得する。状態変数は、センサの状態に関するデータおよび半導体集積回路の状態に関するデータの少なくとも一方を含む。第１判定データおよび第２判定データの各々は、センサの故障の程度を表すデータおよび半導体集積回路の故障の程度を表すデータの少なくとも一方を含む。学習部は、状態変数および第２判定データを含むデータセットを用いて回転検出装置の状態と回転検出装置の故障との関係を学習する。
【０００７】
本発明の他の局面に係る機械学習方法は、回転検出装置の状態と前記回転検出装置の故障との関係を学習する回転検出装置は、センサと、センサからの信号を処理する半導体集積回路とを含む。機械学習方法は、回転検出装置の状態を表す状態変数から回転検出装置の故障の程度を表す第１判定データを導出するステップを含む。機械学習方法は、状態変数を観測するステップをさらに含む。機械学習方法は、回転検出装置の故障の程度を表す第２判定データを回転検出装置から取得するステップをさらに含む。機械学習方法は、状態変数および第２判定データを含むデータセットを用いて回転検出装置の状態と回転検出装置の故障との関係を学習するステップをさらに含む。状態変数は、センサの状態に関するデータおよび半導体集積回路の状態に関するデータの少なくとも一方を含む。第１判定データおよび第２判定データの各々は、センサの故障の程度を表すデータおよび半導体集積回路の故障の程度を表すデータの少なくとも一方を含む。
【発明の効果】
【０００８】
本発明に係る機械学習装置および機械学習方法によれば、状態変数がセンサの状態に関するデータおよび半導体集積回路の状態に関するデータの少なくとも一方を含むとともに、第１判定データおよび第２判定データの各々がセンサの故障の程度を表すデータおよび半導体集積回路の故障の程度を表すデータの少なくとも一方を含むことにより、回転検出装置の使用環境に応じた当該回転検出装置の故障予知を高精度かつ容易に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る故障予知システムの構成を示す機能ブロック図である。
【図２】図１のセンサの出力信号の波形図である。
【図３】図１のセンサが２つのセンサ素子を含む場合の、当該２つのセンサ素子の各々から出力され出力信号の波形図を示す図である。
【図４】図１のセンサの出力信号の電圧の正常動作範囲を示す図である。
【図５】図１のセンサの構成および半導体集積回路の構成を示す機能ブロック図である。
【図６】図１の機械学習装置によって行われる学習処理の流れの一例を示すフローチャートである。
【図７】学習部によって用いられるニューラルネットワークの構成例を示す図である。
【図８】教師なし学習における学習期間が回転検出装置の累積動作時間の偶発故障期間に設定されている場合の回転検出装置のバスタブ曲線である。
【図９】学習アルゴリズムに強化学習を適用する場合の学習部の構成を示す機能ブロック図である。
【図１０】機械学習装置によって行われる学習処理（強化学習）の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。
【００１１】
図１は、実施の形態に係る故障予知システム１の構成を示す機能ブロック図である。図１に示されるように、故障予知システム１は、回転検出装置２と、故障予知装置５とを備える。故障予知装置５は、機械学習装置３と、故障情報出力部４とを含む。回転検出装置２は、回転体１０の回転を検出するセンサ２１と、センサ２１からの出力信号を処理する半導体集積回路２２とを含む。センサ２１および半導体集積回路２２の各々は、自己診断機能を有する。
【００１２】
機械学習装置３は、状態観測部３１と、判定データ取得部３２と、学習部３３とを含む。機械学習装置３は、回転検出装置２の状態と回転検出装置２の故障との関係を学習し、当該関係を用いて回転検出装置２の故障予知を故障情報出力部４に出力する。
【００１３】
故障情報出力部４は、学習部３３から出力される故障予知に応じて、回転検出装置２の故障の有無または故障の度合いを表す故障情報を故障予知装置５の外部に出力する。故障情報出力部４は、たとえばディスプレイ、スピーカ、およびライトを含む。
【００１４】
回転検出装置２は、たとえば自動車に搭載され、エンジンのカムシャフト、あるいはクランクシャフトの回転角度を検出する。センサ２１には、たとえば磁気の変化を検出する磁気センサが使われる。磁気センサとしては、たとえば、ホールセンサ、および磁気抵抗センサを挙げることができる。磁気抵抗センサとしては、たとえば、ＡＭＲ（Anisotropic  Magneto  Resistive）センサ、ＧＭＲ（Giant  Magneto  Resistive）センサ、およびＴＭＲ（Tunneling  Magneto  Resistive）センサを挙げることができる。
【００１５】
近年、カーシェアあるいはライドシェアといったモビリティサービスが登場し、「所有から利用へ」という自動車の利用形態の変化の流れが加速している。今後は従来と比べて自動車の稼働時間は大幅に上昇することが想定されている。回転検出装置２の故障により自動車の動作不良が発生すると、モビリティサービスのダウンタイムが発生することから、自動車に搭載された回転検出装置２の故障の兆候を高精度に把握するニーズが高まっている。すなわち、回転検出装置２の故障による自動車の動作不良を防止するために、回転検出装置が完全に故障する前にその兆候である劣化を高精度に検出し、回転検出装置２が動作不能になる前に回転検出装置２を適時に交換することが求められている。
【００１６】
回転検出装置２が故障に至る要因は、回転検出装置２の使用環境によって変化する。そのため、予め定められた基準に従って回転検出装置２の故障を予知する構成によると、回転検出装置２の使用環境によっては故障予知の精度が低下し得る。回転検出装置２の故障を精度よく予知することができないと、回転検出装置２を適時に交換することが困難になり得る。その結果、回転検出装置２を搭載する装置において、動作不良が発生する可能性が高まる。また、まだ故障の兆候が少ない回転検出装置２を不必要に早く交換してしまうことも生じ得る。
【００１７】
そこで、機械学習装置３においては、回転検出装置２の状態を表す状態変数にセンサ２１の状態に関するデータおよび半導体集積回路２２の状態に関するデータの少なくとも一方を含ませることにより、当該状態変数に回転検出装置２の使用環境を反映させる。また、センサ２１の故障の程度を表すデータおよび半導体集積回路２２の故障の程度を表すデータの少なくとも一方を判定データに含ませて、当該判定データを回転検出装置２から自動的に取得する。回転検出装置２から取得される判定データは教師データの役割を果たすため、機械学習に教師データが必要な場合でも、ラベル付けの手間を省くことができる。当該状態変数および当該判定データを用いて機械学習を行うことにより、回転検出装置２の使用環境に応じた回転検出装置２の故障予知を高精度かつ容易に行うことができる。
【００１８】
状態観測部３１は、回転検出装置２の状態を表す状態変数を観測し、学習部３３に出力する。状態変数は、センサ２１により検出された回転体１０の回転速度に関するデータと、センサ２１の出力信号の周期および振幅に関するデータと、センサ２１の温度に関するデータと、半導体集積回路２２のジャンクション温度に関するデータとセンサ２１の温度と半導体集積回路２２のジャンクション温度との差分に関するデータの少なくとも１つを含む。
【００１９】
回転検出装置２が自動車に搭載される場合、エンジン付近に搭載されることが多い。回転検出装置２の動作時において回転検出装置２の周囲温度は、比較的高いことが一般的である。そのため、回転検出装置２の動作時の周囲温度は、回転検出装置２の故障に影響する大きな要因となる。
【００２０】
半導体集積回路２２のジャンクション温度に関するデータは、半導体集積回路２２に内蔵された温度センサによって取得される。あるいは、回転検出装置２が取り付けられたエンジンの温度を取得することができる場合、当該温度から半導体集積回路２２のジャンクション温度を推定してもよい。
【００２１】
センサ２１により検出された回転速度から、半導体集積回路２２の動作状態を取得することが可能である。たとえば、回転速度がゼロである場合、半導体集積回路２２は停止していると推定される。
【００２２】
図２は、図１のセンサ２１の出力信号Ｓｇの波形図である。図２に示されるように、センサ２１の出力信号Ｓｇは、周期および振幅を持つ信号である。センサ２１が劣化した場合の出力信号Ｓｇの周期および振幅は、センサ２１が正常である場合の周期および振幅とは異なる場合が多い。そのため、センサ２１の出力信号の周期および振幅からセンサ２１の故障の兆候を検出することが可能である。
【００２３】
また、センサ２１がホールセンサあるいは磁気抵抗センサを含む場合、センサ２１の製造バラツキによる精度悪化、周囲温度、あるいは外乱ノイズに対する誤動作抑制のために、センサ２１内に複数のセンサ素子によってブリッジ回路が構成されることがある。それぞれのセンサ素子には時間的、および空間的に異なる磁場が印加され、それぞれのセンサ素子からは異なる磁場に相当する信号が出力される。たとえば、２個のセンサ素子の出力信号Ｓｇ１，Ｓｇ２が図３に示されるように９０°の位相差を持つよう設計されている場合、実際の位相差から故障の兆候を検出することが可能である。また、ブリッジ回路からの出力では確認不可能な抵抗値のオフセット情報から故障の兆候を検出することが可能である。
【００２４】
ホールセンサあるいは磁気抵抗センサは温度に対して出力が変化することが一般的である。半導体集積回路２２のジャンクション温度とセンサ２１の温度との差分に関するデータから、センサ２１の故障の兆候を検出することが可能である。
【００２５】
自動車に搭載されるセンサ２１は高温にさらされるため、高温時の信頼性が必要となる。半導体集積回路２２のジャンクション温度に関するデータおよびセンサ２１の温度に関するデータが、閾値温度以上となった時間を算出することで、故障の兆候を検出することが可能である。
【００２６】
機械学習装置３において、判定データ取得部３２は、回転検出装置２の故障の有無または故障の度合いを判定するための判定データ（第２判定データ）を回転検出装置２から取得する。判定データは、半導体集積回路２２に内蔵された自己診断機能（ＢＩＳＴ：Build  In  Self  Test）の結果と、当該自己診断機能により取得された半導体集積回路２２の内蔵回路の電圧および電流値と、センサ２１の出力信号の電圧と、センサ２１に供給される電圧と、センサ２１に供給される電流と、センサ２１の自己診断機能（第２自己診断機能）の結果の少なくとも１つを含むデータである。
【００２７】
半導体集積回路２２に内蔵された自己診断機能（第１自己診断機能）は、半導体集積回路２２のデジタル回路に検査用パターンを入力し、デジタル回路からの出力をあらかじめ保持された期待値と比較する機能を含む。または、半導体集積回路２２に内蔵された回路により生成される電圧あるいは電流を、内蔵されたＡＤ（Analog  to  Digital）変換器によりデジタル値に変換し、あらかじめ保持された期待値と比較する機能を含む。また、自己診断機能による出力は、診断結果が合格か不合格かを示す値のみであってもよいし、自己診断機能によって取得された電圧および電流値、ならびに期待値との差異情報を含んでもよい。
【００２８】
センサ２１の出力信号の電圧からは、電圧が正常動作範囲内であるかを観測することで故障の有無または故障の度合いを判定することができる。図４に示されるように、正常動作時にセンサ２１の出力信号が取り得る正常電圧範囲Ｖ１〜Ｖ２（Ｖ２＞Ｖ１）がある。センサ２１の出力信号の電圧が正常電圧範囲外である場合、センサ２１が故障していると判定される。典型的なセンサ２１の故障においては、センサ２１の出力信号の電圧が電源電圧Ｖｓ（＞Ｖ２）、あるいは接地電圧Ｖ０（＜Ｖ１）付近の電圧に固定されることが多い。
【００２９】
図５は、図１のセンサ２１の構成および半導体集積回路２２の構成を示す機能ブロック図である。図５に示されるように、センサ２１は、抵抗Ｒ１〜Ｒ４を含む。半導体集積回路２２は、センサ駆動回路２２１と、増幅回路２２２とを含む。
【００３０】
抵抗Ｒ１と抵抗Ｒ２とは、センサ駆動回路２２１の出力端と、接地点との間に直列に接続されている。抵抗Ｒ３と抵抗Ｒ４とは、センサ駆動回路２２１の出力端と、接地点との間に直列に接続されている。直列に接続された抵抗Ｒ１および抵抗Ｒ２、ならびに直列に接続された抵抗Ｒ３および抵抗Ｒ４は、センサ駆動回路２２１の出力端と、接地点との間において並列に接続されている。抵抗Ｒ１と抵抗Ｒ２との接続点の電圧、および抵抗Ｒ３と抵抗Ｒ４との接続点の電圧は、増幅回路２２２に入力される。センサ２１は、ホイートストン・ブリッジ型センサである。
【００３１】
センサ駆動回路２２１は、センサ２１に電圧および電流を供給する。センサ２１の出力信号は、増幅回路２２２によって増幅されて、半導体集積回路２２において信号処理される。センサ２１に故障の兆候としての劣化がある場合、センサ２１の抵抗値が変化し、センサ駆動回路２２１より供給される電圧または電流が変化する。そのため、センサ２１に供給される電圧および電流の変化から故障の有無または故障の度合いを判定することができる。
【００３２】
機械学習装置３において、学習部３３は、状態観測部３１によって観測された状態変数および判定データ取得部３２によって取得された判定データを用いて作成されるデータセットに従って、回転検出装置２の故障予知を学習する。データセットは、状態変数および判定データを互いに関連付けたデータである。
【００３３】
なお、機械学習装置３は、回転検出装置２とは別個の装置であってもよい。たとえば、機械学習装置３は、回転検出装置２に接続されるＥＣＵ（Electronic  Control  Unit）等の計算装置に内蔵されてもよい。この場合、機械学習装置３は、当該計算装置のプロセッサを利用して機械学習を実行する。また、機械学習装置３は、クラウドサーバ上に設けられてもよい。この場合、機械学習装置３は、自動車等に搭載された通信機器を介して回転検出装置２に接続される。また、機械学習装置３は、回転検出装置２に内蔵されてもよい。この場合、機械学習装置３は、回転検出装置２のプロセッサを利用して機械学習を実行する。
【００３４】
図６は、図１の機械学習装置３によって行われる学習処理の流れの一例を示すフローチャートである。図６に示される処理は、機械学習装置３を統合的に制御する不図示のメインルーチンによってサンプリングタイム毎に呼び出される。後に説明する図９に示される処理についても同様である。以下では、ステップを単にＳと記載する。
【００３５】
図６に示されるように、Ｓ１０１において、状態観測部３１は、回転検出装置２の状態を表す状態変数を取得する。Ｓ１０１に続いてＳ１０２において、判定データ取得部３２は、回転検出装置２から判定データを取得する。Ｓ１０２に続いてＳ１０３において、学習部３３は、Ｓ１０１で取得した状態変数およびＳ１０２で取得した判定データの組合せ用いてデータセットを作成し、当該データセットに従って故障予知を学習する。Ｓ１０１〜Ｓ１０３の処理は、機械学習装置３が故障予知を十分に学習するまで繰り返し実行される。
【００３６】
学習部３３は、例えば、回転検出装置２の状態と故障との関係をニューラルネットワークとして表現し、いわゆる教師あり学習により、回転検出装置２の故障予知を学習することができる。ここで、教師あり学習とは、或る入力とラベル付けされた教師データ（正解データ）の組を大量に機械学習装置３に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定する学習アルゴリズムをいう。
【００３７】
図７は、学習部３３によって用いられるニューラルネットワークの構成例を示す図である。図７に示されるように、ニューラルネットワークは、複数のニューロンｘ１〜ｘｍからなる入力層Ｌｉ、複数のニューロンｙ１〜ｙｎからなる中間層Ｌｈ（隠れ層）、および複数のニューロンｚ１〜ｚｋからなる出力層Ｌｏとを含む。中間層Ｌｈに含まれる層数は、１層でもよいし、２層以上でもよい。
【００３８】
学習部３３は、状態観測部３１によって観測される状態変数と、当該状態変数が観測されたサンプリングタイムにおいて判定データ取得部３２によって取得された判定データ（第２判定データ）との組合せを用いて作成されるデータセットに従って、いわゆる教師あり学習により、回転検出装置２の故障予知を学習する。すなわち、学習部３３は、入力層に状態変数を入力し、出力層から出力される結果（第１判定データ）が、判定データ取得部３２によって取得された判定データに近づくようにニューロン間の重み計数を最適化することで故障予知を学習する。学習部３３は、判定データ取得部３２によって取得された判定データを教師データとして用いる。
【００３９】
また、学習部３３は、故障がほとんど想定されない状態、すなわち、回転検出装置２が正常に動作している状態の状態変数のみを蓄積し、いわゆる教師なし学習によって、回転検出装置２の故障予知を学習することもできる。教師なし学習とは、入力データのみを大量に機械学習装置３に与えることで、入力データがどのように分布しているかを学習する学習アルゴリズムである。教師なし学習においては、入力データに対応する教師データを与えなくても、入力データに対する圧縮、分類、および整形等を学習することができる。たとえば、教師なし学習によって、複数の入力データを、似た特徴を有するデータ同士にクラスタリングすることができる。クラスタリングの結果を使って、何らかの基準を設けてクラスタリングが最適化されるような出力の割当てを行うことにより、入力データに対する出力の予測を実現することができる。また、教師なし学習と教師あり学習との中間的な学習アルゴリズムとして、半教師あり学習と呼ばれる学習アルゴリズムが知られている。半教師あり学習においては、入力データの一部に教師データが割り当てられる。
【００４０】
図８は、教師なし学習における学習期間ＴＬが回転検出装置２の累積動作時間の偶発故障期間Ｔ２に設定されている場合の回転検出装置２のバスタブ曲線である。図８において、横軸は回転検出装置２の累積動作時間を示し、縦軸は故障発生頻度を示す。図８に示されるように、一般に製品の出荷直後の初期故障期間Ｔ１の故障発生頻度および出荷後から一定期間経過した後の摩耗故障期間Ｔ３の故障発生頻度は、初期故障期間Ｔ１と摩耗故障期間Ｔ３との間の偶発故障期間Ｔ２の故障発生頻度よりも高いことが知られている。偶発故障期間Ｔ２の故障発生頻度は、基準頻度Ｆｔｈより小さい。そこで、偶発故障期間Ｔ２の一部を教師なし学習の学習期間ＴＬとし、学習部３３は、学習期間ＴＬに観測された状態変数からニューラルネットワークを用いて判定データを導出し、当該判定データを正常状態として定義する。学習期間ＴＬの経過後は正常状態の更新を行わず、学習期間ＴＬの経過後に観測された状態変数に対応するニューラルネットワークの出力結果と正常状態との差から故障予知を実現することができる。
【００４１】
また、学習部３３が用いる学習アルゴリズムとして、強化学習（Reinforcement  Learning）を用いることもできる。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測して行動を決定するということを繰り返しながら、行動選択の方針である方策を最適化していくという学習アルゴリズムである。強化学習においてエージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Q-learning）あるいはＴＤ学習（Temporal  Difference  Learning）が知られている。たとえば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は以下の式（１）で表される。
【００４２】
【数１】
2020201184.tif 000003
【００４３】
式（１）において、ｓｔは時刻ｔにおける状態を表し、ａｔは時刻ｔにおける行動を表す。行動ａｔにより、状態はｓｔからｓｔ＋１に変化する。ｒｔ＋１は、状態ｓｔにおいて行動ａｔを選択した場合によって得られる報酬を表す。γは割引率を表し、αは学習計数を表す。なお、γの範囲は０＜γ≦１であり、αの範囲は０＜α≦１とする。学習部３３がＱ学習を行う場合、サンプリングタイムｔにおける回転検出装置２の状態変数が状態ｓｔであり、サンプリングタイムｔにおける回転検出装置２の故障予知が行動ａｔとなる。
【００４４】
式（１）で表される更新式は、時刻ｔ＋１においてＱ（ｓｔ＋１，ａ）が最大となる行動ａの行動価値が、時刻ｔにおいて実行された行動ａｔの行動価値関数Ｑ（ｓｔ，ａｔ）よりも大きければ、行動価値関数Ｑ（ｓｔ，ａｔ）を大きくし、逆の場合は行動価値関数Ｑ（ｓｔ，ａｔ）を小さくする。換言すれば、式（１）は、時刻ｔにおける行動ａｔの行動価値関数Ｑ（ｓｔ，ａｔ）を、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓｔ，ａｔ）を更新する。その結果、或る状態における最良の行動価値が、それ以前の状態における行動価値に順次伝搬していく。
【００４５】
学習部３３が学習アルゴリズムとして強化学習を用いる場合、学習部３３は、図９に示されるように、報酬計算部３３１と、関数更新部３３２とを含む。報酬計算部３３１、状態観測部３１によって観測された状態変数を用いて故障予知に対応する報酬を計算する。たとえば、報酬計算部３３１は、状態観測部３１によって観測された半導体集積回路２２のジャンクション温度が、規定温度（基準温度）より大きいとき報酬ｒを低減する（たとえば報酬に「−１」を加える）。複数の規定温度に応じてそれぞれ報酬の減少値を変化させてもよい。他方、半導体集積回路２２のジャンクション温度が、規定温度より小さいとき報酬ｒを増大させる（たとえば報酬に「１」を加える）。また、報酬計算の別の例として、状態観測部３１によって観測された半導体集積回路２２のジャンクション温度とセンサ２１の温度との差分が規定値（基準値）より大きいとき報酬ｒを低減し、規定値より小さいとき報酬ｒを増大させてもよい。
【００４６】
関数更新部３３２は、報酬計算部３３１によって計算される報酬に従って、回転検出装置２の故障予知を決定するための評価関数を更新する。たとえば、Ｑ学習の場合、式（１）で表される行動価値関数Ｑ（ｓｔ，ａｔ）を回転検出装置２の故障予知を決定するための評価関数として用いる。
【００４７】
図１０は、機械学習装置３によって行われる学習処理（強化学習）の流れの一例を示すフローチャートである。図１０に示されるように、Ｓ２０１において、状態観測部３１は、回転検出装置２の状態を表す状態変数を取得する。Ｓ２０１に続いてＳ２０２において、報酬計算部３３１は、状態観測部３１によって観測された状態変数を用いて報酬を計算する。Ｓ２０２に続いてＳ２０３において、関数更新部３３２は、報酬計算部３３１によって計算された報酬および更新式（たとえば式（１））を用いて、評価関数（たとえば行動価値関数）を更新する。Ｓ２０３に続いてＳ２０４において、関数更新部３３２において更新された評価関数を用いて、報酬が最も多く得られる回転検出装置２の故障予知を行動として選択する。Ｓ２０１〜Ｓ２０４の処理は、機械学習装置３が故障予知を十分に学習するまで繰り返し実行される。
【００４８】
学習部３３によって行われる学習手法として、状態変数の特徴量そのものの抽出を学習する深層学習（Deep  Learning）を用いることもできる。あるいは、他の公知の学習アルゴリズム（たとえば遺伝的プログラミング、機能論理プログラミング、あるいはサポートベクターマシン）に従って機械学習が実行されてもよい。
【００４９】
学習部３３は、複数の回転検出装置に対して作成されるデータセットに従って、回転検出装置の故障予知を学習するようにしてもよい。なお、学習部３３は、同一の自動車で使用される複数の回転検出装置からデータセットを取得してもよいし、あるいは、異なる自動車に搭載された回転検出装置から収集されるデータセットを利用して回転検出装置の故障予知を学習してもよい。さらに、データセットを収集する回転検出装置を途中で対象に追加し、あるいは、逆に対象から除去することも可能である。また、ある回転検出装置に関して回転検出装置の故障予知を学習した機械学習装置を、これとは別の回転検出装置の機械学習装置として利用し、当該別の回転検出装置に関して故障予知を再学習させることによって当該別の回転検出装置の使用環境に適応するように学習部を更新してもよい。
【００５０】
以上、実施の形態に係る機械学習装置および機械学習方法によれば、回転検出装置の使用環境に応じた当該回転検出装置の故障予知を高精度かつ容易に行うことができる。
【００５１】
今回開示された各構成は、矛盾しない範囲で適宜組み合わせて実施することも予定されている。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００５２】
１  故障予知システム、２  回転検出装置、３  機械学習装置、４  故障情報出力部、５  故障予知装置、１０  回転体、２１  センサ、２２  半導体集積回路、３１  状態観測部、３２  判定データ取得部、３３  学習部、２２１  センサ駆動回路、２２２  増幅回路、３３１  報酬計算部、３３２  関数更新部、Ｌｈ  中間層、Ｌｉ  入力層、Ｌｏ  出力層。 
【図１】
2020201184.tif 000004
【図２】
2020201184.tif 000005
【図３】
2020201184.tif 000006
【図４】
2020201184.tif 000007
【図５】
2020201184.tif 000008
【図６】
2020201184.tif 000009
【図７】
2020201184.tif 000010
【図８】
2020201184.tif 000011
【図９】
2020201184.tif 000012
【図１０】
2020201184.tif 000013