(57)【要約】【課題】教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定する。【解決手段】画像取得部は、正常な監視対象が撮像された画像データを取得する。画像処理部は、画像データに対して、監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する。学習部は、複数の複製画像データを教師データとして、監視対象を撮像した画像データから、監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる。【選択図】図１
2019028591.tif 000002
【特許請求の範囲】
【請求項１】
正常な監視対象が撮像された画像データを取得する画像取得部と、
前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、
前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる学習部と
を備えるモデル学習装置。
【請求項２】
前記画像データは、前記監視対象の温度によって色調が異なる熱画像を含み、
前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
請求項１に記載のモデル学習装置。
【請求項３】
前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、
前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、
をさらに備え、
前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行う
請求項２に記載のモデル学習装置。
【請求項４】
前記画像処理部は、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
請求項１から請求項３のいずれか１項に記載のモデル学習装置。
【請求項５】
前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、
前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する
請求項１から請求項４のいずれか１項に記載のモデル学習装置。
【請求項６】
正常な監視対象が撮像された画像データを取得するステップと、
前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップと
を有する学習済みモデルの生成方法。
【請求項７】
コンピュータに、
正常な監視対象が撮像された画像データを取得するステップと、
前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させるステップと
を実行させるためのプログラム。
【請求項８】
正常時における監視対象が撮像された画像データに対して、正常の範囲を超えずに色調の変更を伴う異なる画像処理を行うことにより生成された複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように学習された学習済みモデルであって、
コンピュータに、
取得された前記画像データから、前記監視対象の正常性の判定に用いられる値を出力するステップ
を実行させるための学習済みモデル。
【請求項９】
撮像された画像データを取得する画像取得部と、
請求項８に記載の学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出する推論処理部と、
算出された前記値を用いて、前記監視対象の正常性を判定する判定部と
を備える監視装置。
【請求項１０】
監視対象が撮像された画像データを取得するステップと、
請求項８に記載の学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、
算出された前記値を用いて、前記監視対象の正常性を判定するステップと
を有する監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法に関する。
【背景技術】
【０００２】
特許文献１には、予め監視対象の過去の正常時の画像の学習により正常規範画像を生成し、監視対象を撮像した画像と正常規範画像とを比較して監視対象の正常性を判定する技術が開示されている。
特許文献２には、機械学習に係るモデルの学習時において、教師データである画像にフィルタ処理、トリミング処理および回転処理を行うことで、ラベル付けを行う手間を省きつつ教師データを増加させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−７８２３９号公報
【特許文献２】特開２０１６−６２５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明において、正常規範画像を生成するためには、監視対象の正常時の画像を大量に用意する必要がある。一方で、監視対象の正常性の判定を早期に実施したいという要望があり、この場合には学習のために十分な画像を用意することができないことがある。
本発明の目的は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができるモデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によれば、モデル学習装置は、正常な監視対象が撮像された画像データを取得する画像取得部と、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させる学習部とを備える。
【０００６】
本発明の第２の態様によれば、第１の態様に係るモデル学習装置は、前記画像データが、前記監視対象の温度によって色調が異なる熱画像を含み、前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
【０００７】
本発明の第３の態様によれば、第２の態様に係るモデル学習装置は、前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、をさらに備え、前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行うものであってよい。
【０００８】
本発明の第４の態様によれば、第１から第３の何れかの態様に係るモデル学習装置は、前記画像処理部が、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
【０００９】
本発明の第５の態様によれば、第１から第４の何れかの態様に係るモデル学習装置は、前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するものであってよい。
【００１０】
本発明の第６の態様によれば、学習済みモデルの生成方法は、正常な監視対象が撮像された画像データを取得するステップと、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させることで学習済みモデルを生成するステップとを有する。
【００１１】
本発明の第７の態様によれば、プログラムは、コンピュータに、正常な監視対象が撮像された画像データを取得するステップと、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させるステップとを実行させる。
【００１２】
本発明の第８の態様によれば、学習済みモデルは、正常時における監視対象が撮像された画像データに対して、正常の範囲を超えずに色調の変更を伴う異なる画像処理を行うことにより生成された複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように学習された学習済みモデルであって、コンピュータに、取得された前記画像データから、前記監視対象の正常性の判定に用いられる値を出力するステップを実行させる。
【００１３】
本発明の第９の態様によれば、監視装置は、撮像された画像データを取得する画像取得部と、第８の態様に係る学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出する推論処理部と、算出された前記値を用いて、前記監視対象の正常性を判定する判定部とを備える。
【００１４】
本発明の第１０の態様によれば、監視方法は、監視対象が撮像された画像データを取得するステップと、第９の態様に係るモデル学習装置によって学習された学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、算出された前記値を用いて、前記監視対象の正常性を判定するステップとを有する。
【発明の効果】
【００１５】
上記態様のうち少なくとも１つの態様によれば、モデル学習装置は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定させることができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る監視システムの構成を示す概略図である。
【図２】第１の実施形態に係る監視装置の構成を示す概略ブロック図である。
【図３】第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。
【図４】第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。
【図５】第３の実施形態に係る監視装置の構成を示す概略ブロック図である。
【図６】第３の実施形態に係る画像データの分割例を示す図である。
【図７】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１７】
〈定義〉
「特定する」とは、第１の値を用いて複数の値を取り得る第２の値を定めることである。例えば、「特定する」は、第１の値から第２の値を算出すること、テーブルを参照して第１の値に対応する第２の値を読み出すこと、第１の値をクエリとして第２の値を検索すること、第１の値に基づいて複数の候補の中から第２の値を選択することを含む。
「取得する」とは、新たに値を得ることである。例えば、「取得する」は、値を受信すること、値の入力を受け付けること、テーブルから値を読み出すこと、値を算出すること、値を計測することを含む。
【００１８】
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る監視システムの構成を示す概略図である。
第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。近傍法は、複数の標本データの中から、対象データの近傍の標本データを抽出し、抽出した標本データに基づいて、正常性を判定する手法である。近傍法の例としては、ｋ近傍法、局所外れ値法などが挙げられる。
監視システム１０は、撮像装置２００と、監視装置３００とを備える。
【００１９】
撮像装置２００は、監視対象１００を撮像し、可視画像データ、赤外画像データ、および熱画像データを得る。可視画像データは、監視対象１００によって反射された可視光の計測によって得られる画像データである。赤外画像データは、撮像装置２００が投光し、監視対象１００によって反射された赤外線の計測によって得られる画像データである。熱画像データは、監視対象１００から放射される赤外線の計測によって得られる画像データである。撮像装置２００は、画像データを一定周期ごとに撮像する。
監視装置３００は、撮像装置２００が撮像した画像データに基づいて、監視対象１００の正常性を判定する。
【００２０】
図２は、第１の実施形態に係る監視装置の構成を示す概略ブロック図である。
監視装置３００は、画像取得部３０１、温度取得部３０２、履歴記憶部３０３、補正値特定部３０４、画像処理部３０５、学習部３０６、モデル記憶部３０７、推論処理部３０８、判定部３０９、出力制御部３１０を備える。
【００２１】
画像取得部３０１は、撮像装置２００が撮像した可視画像データ、赤外画像データ、および熱画像データを取得する。
履歴記憶部３０３は、画像データと撮像時刻とを関連付けて記憶する。履歴記憶部３０３が記憶する画像データは、すべて正常な監視対象１００が撮像された画像データである。
【００２２】
温度取得部３０２は、撮像装置２００が画像データを撮像した時刻における監視対象１００の環境温度を示す温度データを取得する。例えば、温度取得部３０２は、ネットワークを介して監視対象１００が設置された地域の気象情報を取得する。
【００２３】
補正値特定部３０４は、画像データの画像処理に用いる補正値を特定する。具体的には、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、監視対象１００の環境照度に応じて可視画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、可視画像データの平均明度の増分とガンマ補正値との関係を特定する。可視画像データは、環境照度が低いほど、明度が低く、かつコントラストが低くなる。また、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、環境温度に応じて熱画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、温度の増分とガンマ補正値との関係を特定する。熱画像データは、温度が低いほど、明度が低くなる。
【００２４】
画像処理部３０５は、画像データに複数の異なる画像処理を行うことで、複数の複製画像データを生成する。画像処理の例としては、平滑化処理、ガンマ補正、エッジ抽出、平行移動、回転などが挙げられる。ガンマ補正は、色調変更を伴う画像処理の一例である。例えば、画像処理部３０５は、Ａ個の画像データについて、Ｂパターンの平滑化処理、Ｃパターンのガンマ補正、Ｄパターンの平行移動、Ｅパターンの回転を行うことで、Ａ×Ｂ×Ｃ×Ｄ×Ｅ個の複製画像データを生成する。画像処理部３０５は、監視対象１００の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行う。例えば、画像処理部３０５は、熱画像の画像処理を行う場合に、画像データの色調を、所定期間の最高気温から最低気温までの温度範囲内で変化させるように画像処理を行う。また例えば、画像処理部３０５は、可視画像の画像処理を行う場合に、画像データの色調を、照明のオンからオフまでの照度範囲内で変化させるように画像処理を行う。
【００２５】
学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、近傍法の標本データとして、画像取得部３０１に入力された画像データと、画像処理部３０５が生成した複製画像データとをモデル記憶部３０７に記憶させる。複数の複製画像データを含む標本データ群は、学習済みモデルの一例である。
【００２６】
モデル記憶部３０７は、学習部３０６によって学習されたモデルを記憶する。
【００２７】
推論処理部３０８は、モデル記憶部３０７が記憶するモデルを用いて、画像取得部３０１に入力された画像データから、監視対象１００の正常性を示す指標値を算出する。指標値は、監視対象１００が異常である可能性が高いほど大きい値となる。
【００２８】
判定部３０９は、推論処理部３０８が算出した指標値と閾値とを比較することで、監視対象１００の正常性を判定する。判定部３０９は、指標値が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
【００２９】
出力制御部３１０は、判定部３０９による判定結果を出力装置に出力させる。出力装置の例としては、ディスプレイ、プリンタ、スピーカなどが挙げられる。
【００３０】
次に、第１の実施形態に係る監視装置の動作について説明する。監視装置３００の画像取得部３０１は、学習済みモデルを作成する前に、撮像装置２００から画像データを取得し、撮像時刻に関連付けて履歴記憶部３０３に記録する。これにより、監視装置３００は、履歴記憶部３０３に複数の画像データを記憶させる。このとき、監視装置３００は、画像データのうち、黒つぶれ（blocked up shadows）または白とび（blown out highlights）により監視対象１００の像を再現できないものを除外しておくとよい。
【００３１】
図３は、第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。
監視装置３００の温度取得部３０２は、履歴記憶部３０３が記憶する画像データの撮像時刻における監視対象１００の環境温度を示す温度データを取得する（ステップＳ１）。補正値特定部３０４は、履歴記憶部３０３が記憶する複数の熱画像データの色調と、当該熱画像データの撮像時における環境温度とに基づいて、温度の増分とガンマ補正値との関係を特定する（ステップＳ２）。例えば、補正値特定部３０４は、２つの熱画像データについて、明度の差が最小となるようなガンマ補正値を求め、さらに当該２つの熱画像データにおける環境温度差を求めることで、ガンマ補正値と温度の増分との関係を求めることができる。また補正値特定部３０４は、履歴記憶部３０３が記憶する複数の可視画像データの色調に基づいて、平均明度の増分とガンマ補正値との関係を特定する（ステップＳ３）。
【００３２】
画像処理部３０５は、温度取得部３０２が取得した温度データ、または他の気象データに基づいて、現在時刻を起点とした所定期間（例えば、２か月間）における最高気温と最低気温を特定する（ステップＳ４）。画像処理部３０５は、履歴記憶部３０３が記憶する熱画像データのそれぞれについて、その熱画像データに係る環境温度から、最高気温と最低気温との範囲を所定数に分割した各温度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ５）。例えば、最高気温が１０℃であり、最低気温が−１０℃であり、ある熱画像データに係る環境温度が０℃であり、最高気温と最低気温とを５分割する場合、画像処理部３０５は、増分−１０℃に対応するガンマ補正値、増分−５℃に対応するガンマ補正値、増分５℃に対応するガンマ補正値、増分１０℃に対応するガンマ補正値を用いて、熱画像データのガンマ補正を行うことで、４個の複製画像データを生成する。
【００３３】
画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データに基づいて、平均明度の最大値と最小値とを特定する（ステップＳ６）。画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データのそれぞれについて、その可視画像データの平均明度から、平均明度の範囲を所定数に分割した各明度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ７）。
【００３４】
画像処理部３０５は、履歴記憶部３０３が記憶する各画像データ、および各複製画像データについて、少なくとも平滑化処理を含むその他の画像処理を行うことで、さらに複数の複製画像データを生成する（ステップＳ８）。
【００３５】
学習部３０６は、履歴記憶部３０３が記憶する画像データおよび画像処理部３０５が生成した複数の複製画像データを教師データとしてモデルを学習させ（ステップＳ９）、学習済みモデルをモデル記憶部３０７に記録する（ステップＳ１０）。
【００３６】
モデル記憶部３０７に学習済みモデルが記憶されると、監視装置３００は、一定周期に係るタイミングごとに、監視対象１００の正常性判定処理を行う。図４は、第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。
監視装置３００の画像取得部３０１は、撮像装置２００から画像データを取得する（ステップＳ５１）。次に、画像処理部３０５は、取得した画像データを平滑化する（ステップＳ５２）。推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルに、平滑化された画像データを入力することで、指標値を算出する（ステップＳ５３）。
【００３７】
例えば、推論処理部３０８は、ｋ近傍法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データに係る距離の代表値を、指標値として特定する。
例えば、推論処理部３０８は、局所外れ値因子法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データの密度を算出する。推論処理部３０８は、ｋ個の標本データに係る距離の代表値を算出した密度に基づいて正規化した値を、指標値として特定する。
標本データと取得された画像データとの距離、標本データの密度、および指標値は、「監視対象の正常性の判定に用いられる値」の一例である。
【００３８】
次に、判定部３０９は、指標値が閾値未満であるか否かを判定する（ステップＳ５４）。指標値が閾値未満である場合（ステップＳ５４：ＹＥＳ）、判定部３０９は、監視対象１００が正常であると判定する（ステップＳ５５）。他方、指標値が閾値以上である場合（ステップＳ５４：ＮＯ）、判定部３０９は、監視対象１００が異常であると判定する（ステップＳ５６）。
そして、出力制御部３１０は、判定部３０９の判定結果を、出力装置に出力させる（ステップＳ５７）。
【００３９】
このように、第１の実施形態に係る監視装置３００は、正常な監視対象が撮像された画像データに対して、監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成し、これらを教師データとしてモデルを学習させる。これにより、監視装置３００は、少ない画像データから多量の教師データを生成することができる。したがって、第１の実施形態に係る監視システム１０によれば、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。なお、第１の実施形態では、色調の変更を伴う異なる画像処理として、ガンマ補正値を異ならせたガンマ補正を用いたが、これに限られない。例えば、他の実施形態においては、補正値を異ならせたコントラスト補正、明度補正など、他の画像処理を実施してもよい。
【００４０】
第１の実施形態に係る画像処理部３０５は、熱画像データの色調を、監視対象１００の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない環境温度における監視対象１００の状態を表す熱画像データを生成することができる。また、補正値特定部３０４は、画像データと撮像時の環境温度とに基づいて、温度変化と色調の補正値との関係を特定する。これにより、監視装置３００は、目的の温度に対応する色調になるように画像処理を行うことができる。
【００４１】
第１の実施形態に係る画像処理部３０５は、可視画像データの色調を、監視対象１００の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない照明環境における監視対象１００の状態を表す可視画像データを生成することができる。
【００４２】
また、第１の実施形態に係る監視装置３００は、学習済みモデルとして監視対象１００の正常時の状態を学習する。つまり、第１の実施形態に係る監視装置３００においては、教師データとして正常時の監視装置３００が写る画像データのみを用い、異常時の監視装置３００が写る画像データを用いない。したがって、監視装置３００は、各画像データを教師データとして用いるにあたり、正常か異常かを示すラベルを付する必要がない。
【００４３】
ところで、監視対象１００の監視を継続することで、撮像装置２００によって撮像される画像データの数は次第に増加する。したがって、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルを構成するオリジナルの（複製画像データでない）画像データの数が増加する。オリジナルの画像データは、複製画像データと比較して教師データとしての信頼性が高い。そのため、監視装置３００は、入力される画像データの近傍の標本データを選択する際に、複製画像データと比較してオリジナルの画像データが選択されやすいようにモデルを形成してもよい。例えば、学習部３０６は、標本データの数が所定数に達した状態で新たにオリジナルの画像データを取得した場合に、オリジナルの画像データを標本データに加えるとともに、複製画像データである標本データを削除することで、学習済みモデルを更新してよい。また例えば、推論処理部３０８は、標本データの選択時に、オリジナルの画像データの距離に１未満の重みを乗算することで、オリジナルの画像データが選択されやすいようにしてもよい。ただし、推論処理部３０８は、選択した標本データを用いて指標値を算出するとき、重みを加味しない距離に基づいて指標値を算出する。
【００４４】
〈第２の実施形態〉
第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。これに対し、第２の実施形態に係る監視システム１０は、ニューラルネットワークに基づいて画像データから監視対象１００の正常性を判定する。
【００４５】
第２の実施形態に係る監視装置３００は、第１の実施形態とモデル記憶部３０７が記憶するモデル、ならびに学習部３０６、推論処理部３０８および判定部３０９の処理が異なる。
【００４６】
モデル記憶部３０７は、入力層、中間層、および出力層からなるニューラルネットワークモデルを記憶する。入力層および出力層のノード数は、画像データの画素数と等しい。学習済みモデルは、入力層に入力された画像データを圧縮した後に復元して出力するオートエンコーダとして機能する。学習済みモデルが出力する画像データは、「監視対象の正常性の判定に用いられる値」の一例である。
【００４７】
学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、モデル記憶部３０７が記憶するモデルの入力層と出力層に教師データを入力し、入力層と中間層の各ノードにおける重み係数と活性化関数とを学習させる。教師データは、いずれも正常時における監視対象１００が写った画像データである。そのため、学習済みモデルは、入力された画像データから、正常時における監視対象１００が写った画像データを出力するように学習される。つまり、異常時における監視対象１００が写った画像データが学習済みモデルに入力されることで、学習済みモデルが、オリジナルの画像データより正常に近い監視対象１００が写った画像データを出力することが期待される。
【００４８】
推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルを用いて、画像取得部３０１に入力された画像データから、画像データを再生成する。学習済みモデルは、正常時における監視対象１００が写った画像データに基づいて学習されているため、入力した画像データと再生成された画像データとの差は、監視対象１００が異常である可能性が高いほど大きくなる。
【００４９】
判定部３０９は、推論処理部３０８が再生成した画像データと入力した画像データとの差を算出し、当該差を閾値と比較することで、監視対象１００の正常性を判定する。判定部３０９は、再生成した画像データと入力した画像データとの差が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
【００５０】
このように、第２の実施形態に係る監視装置３００は、第１の実施形態に係る監視装置３００と同様に、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。
【００５１】
なお、第２の実施形態に係る学習済みモデルは、再生成された画像を出力するが、これに限られない。例えば、他の実施形態においては、学習済みモデルが再生成した画像データと入力した画像データとの差を出力してもよい。この場合、再生成した画像データと入力した画像データとの差は、「監視対象の正常性の判定に用いられる値」の一例である。
【００５２】
ところで、監視対象１００の監視を継続し、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルの学習に用いられる画像データに係る環境温度の最大値から最小値までの範囲は広くなっていく。例えば、学習が半年間続けられると、学習済みモデルは、夏季の監視対象１００を写す画像データで学習され、さらに冬季の監視対象１００を写す画像データでも学習される。この場合、例えば監視対象１００が過熱状態にある熱画像データを入力として学習済みモデルに画像データを再生成させると、入力した画像データと再生成された画像データとの差が閾値以下となる可能性がある。これは、学習済みモデルが夏季の画像データを用いて学習された結果、夏季の正常時の温度に係る画像データとして再生成されてしまうことによる。そのため、監視装置３００は、常に所定期間に係る画像データによって学習されるように学習モデルを更新してもよい。例えば、学習部３０６は、定期的に、履歴記憶部３０３が記憶する画像データのうち最新の所定期間に撮像されたものを用いてモデルを学習させ、古いモデルに上書きしてモデル記憶部３０７に記録してもよい。
【００５３】
〈第３の実施形態〉
第３の実施形態に係る監視システム１０は、監視対象１００のうち異常が生じている箇所を出力する。
【００５４】
図５は、第３の実施形態に係る監視装置の構成を示す概略ブロック図である。
第３の実施形態に係る監視装置３００は、第１、第２の実施形態の構成に加え、さらに分割部３１１と異常特定部３１２とを備える。
【００５５】
図６は、第３の実施形態に係る画像データの分割例を示す図である。
分割部３１１は、画像取得部３０１が取得した画像データを複数の領域に分割し、分割画像データを生成する。例えば、分割部３１１は、画像データを縦に４等分、横に４等分した１６個の分割画像データを生成する。画像処理部３０５は、各分割画像データについて画像処理を行い、複製画像データを生成する。
【００５６】
学習部３０６は、分割部３１１によって分割される複数の領域のそれぞれについて、分割画像データおよび複製画像データを教師データとして、モデルを学習させる。モデル記憶部３０７は、分割される領域ごとに、学習済みモデルを記憶する。
推論処理部３０８は、分割部３１１によって分割された分割画像データを、それぞれ対応する学習済みモデルに入力することで、各領域の指標値を算出する。判定部３０９は、各領域の指標値と閾値とを比較し、少なくとも１つの領域について指標値が閾値以上となる場合に、監視対象１００が異常であると判定する。異常特定部３１２は、指標値が閾値以上となった領域を特定することで、監視対象１００のうち異常が生じている箇所を特定する。出力制御部３１０は、異常特定部３１２によって特定された箇所を示す情報を出力装置に出力させる。
【００５７】
このように、第３の実施形態によれば、監視装置３００は、画像データを分割して複数の分割画像データを生成し、分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する。これにより、監視装置３００は、画像データに基づいて、異常が生じている箇所を特定することができる。
【００５８】
〈変形例〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、監視装置３００がモデルの学習およびモデルに基づく推論を行うが、これに限らない。例えば、他の実施形態では、モデル学習装置と監視装置３００とが別個に設けられ、モデル学習装置がモデルの学習を行い、監視装置３００がモデルに基づく推論を行ってもよい。
【００５９】
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の監視装置３００は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２または補助記憶装置９０３に確保する。
【００６０】
補助記憶装置９０３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置９０３は、コンピュータ９００のバスに直接接続された内部メディアであってもよいし、インタフェース９０４または通信回線を介してコンピュータ９００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の記憶媒体である。
【００６１】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６２】
１０  監視システム
１００  監視対象
２００  撮像装置
３００  監視装置
３０１  画像取得部
３０２  温度取得部
３０３  履歴記憶部
３０４  補正値特定部
３０５  画像処理部
３０６  学習部
３０７  モデル記憶部
３０８  推論処理部
３０９  判定部
３１０  出力制御部
３１１  分割部
３１２  異常特定部
【図１】
2019028591.tif 000003
【図２】
2019028591.tif 000004
【図３】
2019028591.tif 000005
【図４】
2019028591.tif 000006
【図５】
2019028591.tif 000007
【図６】
2019028591.tif 000008
【図７】
2019028591.tif 000009