(57)【要約】【課題】追加学習後に学習モジュールの制御性能が劣化した場合に対処し得る評価装置、評価方法及びそのプログラムを提供する。【解決手段】第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価装置６０は、第２の学習モジュールが達成すべき学習目標を受け付ける学習目標受付部２０３と、少なくとも学習目標に含まれる評価項目について第２の学習モジュールの評価を行い、評価データを生成する評価部２０４と、学習目標と評価データとを用いて、第２の学習モジュールが学習目標を達成したか否か判定する判定部２０５と、学習目標を達成しないと判定される場合、少なくとも学習目標に基づいて、第２の学習モジュールと異なる第３の学習モジュールを取得する学習モジュール選択部２０６とを備える。【選択図】図６
2018181184.tif 000002
【特許請求の範囲】
【請求項１】
第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価装置であって、
前記第２の学習モジュールが達成すべき学習目標を受け付ける学習目標受付部と、
少なくとも前記学習目標に含まれる評価項目について前記第２の学習モジュールの評価を行い、評価データを生成する評価部と、
前記学習目標と前記評価データとを用いて、前記第２の学習モジュールが前記学習目標を達成したか否か判定する判定部と、
前記学習目標を達成しないと判定される場合、少なくとも前記学習目標に基づいて、前記第２の学習モジュールと異なる第３の学習モジュールを取得する学習モジュール選択部と
を備えた評価装置。
【請求項２】
前記第３の学習モジュールは、前記第１の学習モジュールである、請求項１に記載の評価装置。
【請求項３】
前記第２の学習モジュールが前記学習目標を達成することができなかった要因を推定して、学習モジュールの追加学習に用いる学習データに関する要因改善データを生成する要因推定部をさらに備えた、請求項１に記載の評価装置。
【請求項４】
前記学習モジュール選択部は、前記要因改善データに基づいて学習指示を生成する、請求項３に記載の評価装置。
【請求項５】
前記要因推定部は、前記推定した要因を出力し、前記推定した要因に関するユーザ入力を受信して、前記ユーザ入力に基づいて前記要因改善データを生成する、請求項３に記載の評価装置。
【請求項６】
第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価方法であって、制御部を備えるコンピュータが、
前記第２の学習モジュールが達成すべき学習目標を受け付ける工程と、
少なくとも前記学習目標に含まれる評価項目について前記第２の学習モジュールの評価を行い、評価データを生成する工程と、
前記学習目標と前記評価データとを用いて、前記第２の学習モジュールが前記学習目標を達成したか否か判定する工程と、
前記学習目標を達成しないと判定される場合、少なくとも前記学習目標に基づいて、前記第２の学習モジュールと異なる第３の学習モジュールを取得する工程と
を含む評価方法。
【請求項７】
コンピュータに、第１の学習モジュールを追加学習させた第２の学習モジュールを評価させるためのプログラムであって、
前記第２の学習モジュールが達成すべき学習目標を受け付ける処理と、
少なくとも前記学習目標に含まれる評価項目について前記第２の学習モジュールの評価を行い、評価データを生成する処理と、
前記学習目標と前記評価データとを用いて、前記第２の学習モジュールが前記学習目標を達成したか否か判定する処理と、
前記学習目標を達成しないと判定される場合、前記第２の学習モジュールと異なる第３の学習モジュールを取得する処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価装置、評価方法及びそのプログラムに関する。
【背景技術】
【０００２】
従来より、ニューラルネットワークの技術を用いてシステムの制御を行うことが知られている。例えば、特許文献１には、ニューラルネットワークを用いて、複数のかごの中から乗り場へ移動させるべき最適なかごを選択するエレベータシステムが開示されている。
【０００３】
また、引用文献２には、ニューラルネットワークを用いたパターン認識装置において誤認識を低減するために、ニューラルネットワークに対して追加学習を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５５２８９号公報
【特許文献２】特開平９−６２６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ニューラルネットワークの技術を用いた制御システムでは、制御性能を向上等させるためにニューラルネットワークの追加学習を行うことがある。例えば、最初の学習時には、図１１の時刻１から時刻２の期間に得られたデータからランダムに選択した学習データＡを用い、その後、図１１の時刻２から時刻３の期間に得られたデータからランダムに選択した学習データＢを用いて追加学習を行う場合が考えられる。
【０００６】
このような場合に、学習データの選択をランダムに行っていることに起因して、学習データＢが不適切な学習データを含む場合がある。このように不適切な学習データを含む追加学習データＢを用いて追加学習を行った場合、追加学習後のニューラルネットワークの制御性能は、追加学習以前のニューラルネットワークと比較して性能が劣化することがある。
【０００７】
また、時刻２から時刻３の期間において特殊なイベントが発生していた場合は、追加学習後のニューラルネットワークが、特殊なイベントに特化したものとなる可能性がある。その結果、追加学習後のニューラルネットワークの制御性能は、追加学習以前のニューラルネットワークと比較して性能が劣化してしまう恐れがある。
【０００８】
そこで、本発明は、追加学習後に学習モジュールの制御性能が劣化した場合に対処し得る評価装置、評価方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価装置は、第２の学習モジュールが達成すべき学習目標を受け付ける学習目標受付部と、少なくとも学習目標に含まれる評価項目について第２の学習モジュールの評価を行い、評価データを生成する評価部と、学習目標と評価データとを用いて、第２の学習モジュールが学習目標を達成したか否か判定する判定部と、学習目標を達成しないと判定される場合、少なくとも学習目標に基づいて、第２の学習モジュールと異なる第３の学習モジュールを取得する学習モジュール選択部とを備える。
【００１０】
この態様によれば、追加学習後に学習モジュールの制御性能が学習目標を達成しなかった場合に、学習目標を達成しなかった学習モジュールを使用し続けることを回避することができるので、学習モジュールを用いるシステムの信頼性を高めることができる。例えば、学習目標を達成しなかった学習モジュールの使用を回避することで、システム全体の処理精度の低下を防ぐことができる。また、学習目標を達成しない場合に、少なくとも学習目標に基づいて、学習目標を達成しなかった学習モジュールと異なる学習モジュールを取得する構成により、学習モジュールを用いて制御を行う制御装置、評価を行う評価装置のいずれも複数の学習モジュールを保持する必要がないので、学習モジュールを記録するためのハードウェア資源を最小限にすることができる。
【００１１】
上記評価装置において、第３の学習モジュールは、第１の学習モジュールとしてもよい。この態様によれば、性能劣化前の学習モジュールを用いてシステムの制御を続行することができるので、学習モジュールを用いるシステムの安定性の低下を防ぐことができる。
【００１２】
上記評価装置において、学習モジュールが学習目標を達成することができなかった要因を推定して、学習モジュールの追加学習に用いる学習データに関する要因改善データを生成する要因推定部をさらに備えてもよい。この態様によれば、性能劣化した学習モジュールから有益な情報を得ることができる。このような情報を活用することにより、学習モジュールの精度向上に必要となる学習データや処理を低減することができ、ＣＰＵの負荷を低減することができる。
【００１３】
上記評価装置において、学習モジュール選択部は、要因改善データに基づいて学習指示を生成してもよい。この態様によれば、性能劣化した学習モジュールが有する問題を克服し得る、効率的な追加学習を学習モジュールにさせることができる。この効率的な追加学習をさせた学習モジュールをシステムに用いることで、最短時間で、学習モジュールの更新による性能劣化を改善することができる。
【００１４】
上記評価装置において、要因推定部は、推定した要因を出力し、推定した要因に関するユーザ入力を受信して、ユーザ入力に基づいて要因改善データを生成してもよい。この態様によれば、より信頼性の高い情報に基づいて、性能劣化要因に関する情報を生成することができる。
【００１５】
本発明の他の態様に係る、第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価方法は、第２の学習モジュールが達成すべき学習目標を受け付ける工程と、少なくとも学習目標に含まれる評価項目について第２の学習モジュールの評価を行い、評価データを生成する工程と、学習目標と評価データとを用いて、第２の学習モジュールが学習目標を達成したか否か判定する工程と、学習目標を達成しないと判定される場合、少なくとも学習目標に基づいて、第２の学習モジュールと異なる第３の学習モジュールを取得する工程とを含む。
【００１６】
本発明の他の態様に係るプログラムは、コンピュータに、第１の学習モジュールを追加学習させた第２の学習モジュールを評価させるためのプログラムであって、第２の学習モジュールが達成すべき学習目標を受け付ける処理と、少なくとも学習目標に含まれる評価項目について第２の学習モジュールの評価を行い、評価データを生成する処理と、学習目標と評価データとを用いて、第２の学習モジュールが学習目標を達成したか否か判定する処理と、学習目標を達成しないと判定される場合、第２の学習モジュールと異なる第３の学習モジュールを取得する処理とを実行させる。
【発明の効果】
【００１７】
本発明によれば、追加学習後に学習モジュールの制御性能が性能劣化した場合に対処し得る評価装置、評価方法及びそのプログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る学習システムのネットワーク構成を示す図である。
【図２】本発明の実施形態に係る学習装置の物理的構成を示す図である。
【図３】本発明の実施形態に係る追加学習制御装置の物理的構成を示す図である。
【図４】本発明の実施形態に係る学習装置の機能ブロック図である。
【図５】本発明の実施形態に係る追加学習制御装置の機能ブロック図である。
【図６】本発明の実施形態に係る追加学習制御装置によって実行される追加学習処理の流れを示すフローチャートである。
【図７】本発明の実施形態に係る追加学習制御装置によって実行される追加学習処理の流れを示すフローチャートである。
【図８】本発明の実施形態に係る追加学習制御装置によって出力される画面の一例である。
【図９】本発明の別の実施形態に係る学習システムのネットワーク構成を示す図である。
【図１０】本発明の実施形態に係る評価装置の物理的構成を示す図である。
【図１１】学習データを選択する際の時系列を示す図である。
【発明を実施するための形態】
【００１９】
添付図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
【００２０】
（ネットワーク構成）
図１を参照して、本発明の所定の実施形態に係る学習システム１のネットワーク構成について説明する。学習システム１は、学習装置１０、追加学習制御装置２０、１又は複数のセンサ３０及び記憶装置４０を備える。学習装置１０は、通信ネットワークＮを介して、追加学習制御装置２０、１又は複数のセンサ３０及び記憶装置４０に接続される。通信ネットワークＮは、有線又は無線回線により構成された有線通信網及び無線通信網のいずれであってもよく、インターネットやＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）であってよい。
【００２１】
学習装置１０は、記憶装置４０に記憶された学習データに基づいて、学習モジュールの学習を行い、学習済モジュールを記憶装置４０に記憶する。本実施形態に係る学習装置１０は、学習モジュールを備えるが、学習モジュールは、学習装置１０と別体の装置に備えられてもよい。
【００２２】
なお、学習モジュールとは、学習能力を備えた専用若しくは汎用のハードウェア若しくはソフトウェアの一単位、又は、当該ハードウェア若しくはソフトウェアの一単位の組合せを含む。当該学習を行う学習モジュールには、学習データによりすでに何らかの学習を行っているものもあれば、学習前のものも含む。ここで、学習能力とは、あるタスクの処理能力を、学習データから得られる経験に基づいて向上させることのできる能力をいう。
【００２３】
追加学習制御装置２０は、学習済モジュールを用いて、入力データの特徴に応じた出力データを出力する。本実施形態に係る追加学習制御装置２０は、学習済モジュール又は当該学習済モジュールの複製物を学習装置１０から取得して、学習モジュールとして設定する。追加学習制御装置２０は、設定された学習モジュールを用いて出力した出力データに対する評価を行い、評価データを出力することができる。追加学習制御装置２０は、設定された学習モジュールが達成すべき学習目標と評価データとを用いて、現在設定されている学習モジュールが学習目標を達成したか否か判定することができる。学習目標を達成していないと判定される場合、追加学習制御装置２０は、例えば以前設定されていた学習モジュールを学習装置１０から取得して、学習モジュールとして設定してもよい。なお、追加学習制御装置２０は、後述する評価装置６０の機能構成を備えており、評価装置６０を実質的に含むものである。
【００２４】
なお、学習済モジュールの複製物とは、学習済モジュールの機能を再現することができる専用若しくは汎用のハードウェア若しくはソフトウェアの一単位、又は、当該ハードウェア若しくはソフトウェアの一単位の組合せを含む。
【００２５】
学習済モジュールの複製物は、必ずしも学習能力を備えていなくてもよい。また、学習済モジュールの構成と、学習済モジュールの複製物の構成は、必ずしも一致していなくてもよい。また、学習済モジュールの複製物は、いわゆる蒸留によって得られる学習モジュールを含む。すなわち、学習済モジュールの複製物は、学習済モジュールの機能を保つように、学習済モジュールと構造が異なる他の学習モジュールを学習させることで得られる、学習済みの当該他の学習モジュールを含む。
【００２６】
ここで、当該他の学習モジュールは、学習済モジュールよりも構造が単純であってよく、よりデプロイに適したものであってよいし、当該他の学習モジュールの学習には、学習済モジュールの出力データを用いてよい。なお、学習済モジュールの複製物は、学習モジュールの学習過程において、オーバーフィッティングを防ぐ正則化の方法を変えたり、バックプロパゲーションの学習率を変えたり、重み係数の更新アルゴリズムを変えたりして得られる学習済モジュールを含む。
【００２７】
また、学習済モジュール又は当該学習済モジュールの複製物を取得するとは、学習済モジュールの機能を追加学習制御装置２０において再現するために必要な情報を取得することをいう。例えば、学習モジュールがニューラルネットワークを含む場合、学習済モジュール又は当該学習済モジュールの複製物を取得するとは、少なくとも、ニューラルネットワークのレイヤ数、各レイヤに関するノード数、ノード間を繋ぐリンクの重みパラメータ、各ノードに関するバイアスパラメータ及び各ノードに関する活性化関数の関数形に関する情報を取得することをいう。
【００２８】
センサ３０は、物理量を検出する物理量センサ、化学量を検出する化学量センサ、情報を検出する情報センサのいずれであってもよいが、これらに限られるものではなく、任意のセンサを含み得る。物理量センサは、例えば光を検出して画像データや動画データを出力するカメラや、人の心拍を検出して心拍データを出力する心拍センサ、人の血圧を検出して血圧データを出力する血圧センサ及び人の体温を検出して体温データを出力する体温センサ等のバイタルセンサを含み、その他任意の物理量を検出して電気的信号を出力するセンサを含む。化学量センサは、例えばガスセンサ、湿度センサ、イオンセンサを含み、その他任意の化学量を検出して電気信号を出力するセンサを含む。情報センサは、例えば統計データから特定のパターンを検出するセンサを含み、その他任意の情報を検出するセンサを含む。
【００２９】
記憶装置４０は、センサ３０によって出力されたセンシングデータを記憶する。また、記憶装置４０は、学習装置１０によって出力された学習済モジュールを記憶する。図１では、記憶装置４０を単一の記憶部として示しているが、記憶装置４０は、１又は複数のファイルサーバによって構成されてよい。
【００３０】
なお、図１において、学習装置１０、追加学習制御装置２０及び記憶装置４０は、それぞれ別体として構成されているが、これらを一体として構成してもよい。すなわち、学習装置１０、追加学習制御装置２０及び記憶装置４０の全てを一体として構成してもよく、学習装置１０、追加学習制御装置２０及び記憶装置４０のうちの２つを選択的に一体として構成してもよい。このとき、一体として構成された、学習装置１０、追加学習制御装置２０及び記憶装置４０の各要素間は、内部バスを介して接続される。
【００３１】
（物理的構成：学習装置）
図２を参照して、本発明の所定の実施形態に係る学習装置１０の物理的構成について説明する。学習装置１０は、制御部１０ａと、記憶部１０ｂと、通信部１０ｃと、入力部１０ｄと、表示部１０ｅを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。
【００３２】
制御部１０ａは、ハードウェアプロセッサに相当するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）、及びメモリに相当するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）を含む。ＣＰＵが記憶部１０ｂに記憶されているプログラムをＲＡＭに展開し、ＲＡＭに展開された当該プログラムを解釈及び実行することにより、制御部１０ａは、後述する図４の各部として機能する。
【００３３】
なお、ハードウェアプロセッサの種類はＣＰＵに限定されない。例えば、ハードウェアプロセッサとして、ＣＰＵ、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＧＰＵ）、Ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ（ＡＳＩＣ）を単独で、又は、組合せて使用することができる。ＲＡＭは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭは、ＣＰＵが実行するアプリケーション等のプログラムやデータを一時的に記憶する。
【００３４】
記憶部１０ｂは、例えばＨａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ（ＳＤＤ）等の不揮発性の記憶媒体である。記憶部１０ｂは、ＣＰＵが実行するプログラム及びデータを記憶する。
【００３５】
通信部１０ｃは、学習装置１０を通信ネットワークＮに接続するハードウェアインタフェースである。
【００３６】
入力部１０ｄは、ユーザからの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。
【００３７】
表示部１０ｅは、ＣＰＵによる処理結果を視覚的に表示するものであり、例えば、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ（ＬＣＤ）により構成される。
【００３８】
学習装置１０は、例えば一般のパーソナルコンピュータのＣＰＵによって本実施形態に係る学習プログラムを実行することで構成されてよい。学習プログラムは、ＲＡＭや記憶部１０ｂ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｃにより接続される通信ネットワークＮを介して提供されてもよい。これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。
【００３９】
（物理的構成：追加学習制御装置）
図３を参照して、本発明の所定の実施形態に係る追加学習制御装置２０の物理的構成について説明する。追加学習制御装置２０も、学習装置１０と同様に、ＣＰＵ及びＲＡＭを含む制御部２０ａ、データ等を記憶する記憶部２０ｂ、ネットワークＮと接続するための通信部２０ｃ、ユーザからの入力を受け付ける入力部２０ｄ、表示部２０ｅ等を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。ＣＰＵが記憶部２０ｂに記憶されているプログラムをＲＡＭに展開し、ＲＡＭに展開された当該プログラムを解釈及び実行することにより、制御部２０ａは、後述する図５の各部として機能する。
【００４０】
追加学習制御装置２０は、例えば一般のパーソナルコンピュータのＣＰＵによって追加学習制御プログラムを実行することで構成されてよい。追加学習制御プログラムは、ＲＡＭや記憶部２０ｂ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２０ｃにより接続される通信ネットワークＮを介して提供されてもよい。
【００４１】
（機能構成：学習装置）
図４を参照して、本発明の所定の実施形態に係る学習装置１０の機能構成について説明する。学習装置１０は、学習指示受付部１０１、学習データ取得部１０２、学習制御部１０３、学習モジュール１０４、学習済モジュール出力部１０５及び学習済モジュール抽出部１０６を備える。
【００４２】
学習指示受付部１０１は、入力部１０ｄを介したユーザからの学習指示、又は通信部１０ｃを介した追加学習制御装置２０からの学習指示を受け付けて、学習指示に含まれる情報を後述の学習データ取得部１０２に引き渡す。本実施形態では、学習指示には、学習データ取得条件、入力パラメータの指定等が含まれる。学習データ取得条件とは、学習モジュール１０４を学習させるための学習データとして使用できるデータのうちでも、ユーザからの学習指示を満たすために必要となる条件をいう。例えばセンサ３０で取得されるデータのうち、取得日時を指定したものでもよい。入力パラメータとは、学習指示に含まれる情報のうち、学習済モジュールの制御の性能に影響を与える要因をいう。
【００４３】
学習データ取得部１０２は、学習データ取得条件を受信して、受信した学習データ取得条件に基づいて記憶装置４０から学習データを取得する。
【００４４】
学習制御部１０３は、学習データ取得部１０２が取得した学習データを用いて、学習モジュール１０４を学習させる。学習制御部１０３は、学習指示受付部１０１で受け付けた学習指示に基づいて学習を完了させる。学習が完了したと判断する基準は、例えば所定個数の学習データによる学習をした場合でもよい。または学習済モジュールの制御の性能が後述の学習目標を満たした場合に、学習を完了してもよい。学習が完了すると、学習制御部１０３は、学習済モジュールを記憶装置４０に記憶する。この際、本実施形態では、学習制御部１０３は、学習済モジュールを一意に識別可能な学習モジュール識別子及び学習データ取得条件と関連付けて学習済モジュールを記憶する。
【００４５】
ここで、記憶装置４０に記憶される学習済モジュールは、その更新履歴がわかるようにバージョン管理されることが望ましい。バージョン管理は、学習モジュール識別子そのもので行ってもよいし、別途設けたバージョン情報で行ってもよい。
【００４６】
学習モジュール１０４は、機械学習を実現するためのモジュールである。ここでは、学習モジュール１０４の一例としてニューラルネットワークを適用した実施例について説明する。しかしながら、ニューラルネットワークは学習モジュール１０４の一例にすぎず、学習装置１０は、学習モジュール１０４として他の構成を適用してもよい。
【００４７】
学習済モジュール出力部１０５は、学習済モジュールと学習モジュール識別子とを例えば追加学習制御装置２０のような外部に出力する。
【００４８】
学習済モジュール抽出部１０６は、学習モジュール抽出条件を受信して、受信した学習モジュール抽出条件に基づいて記憶装置４０から学習済モジュールを取得する。本実施形態では、学習モジュール抽出条件には、現在設定されている学習モジュールの学習モジュール識別子、及び抽出ポイントが含まれる。抽出ポイントは、性能が劣化する前の日付や現在設定されている学習モジュールから遡るバージョンの指定等、抽出対象となる学習モジュールを指定可能な情報を含む。例えば、抽出ポイントは、「２０１７年１２月３１日以前」、「現在設定されている学習モジュールの１つ前のバージョン」とすることができる。
【００４９】
（機能構成：追加学習制御装置）
図５を参照して、本発明の所定の実施形態に係る追加学習制御装置２０の機能構成について説明する。追加学習制御装置２０は、学習済モジュール受付部２０１、学習モジュール２０２、学習目標受付部２０３、評価部２０４、判定部２０５、学習モジュール選択部２０６、要因推定部２０７、制御部２０８及びデータベース（ＤＢ）２０９を備える。
【００５０】
学習済モジュール受付部２０１は、学習済モジュールと学習モジュール識別子とを受け付けて、受け付けた学習済モジュールを学習モジュール２０２として設定する。本実施形態では、学習済モジュール受付部２０１は、学習装置１０の学習済モジュール出力部１０５から学習済モジュールと学習モジュール識別子とを受け付けて、受け付けた学習済モジュールを学習モジュール２０２として設定する。なお、学習済モジュール受付部２０１は、学習済モジュールを記憶装置４０から受け付けて、学習モジュール２０２として設定してもよい。ここでは、学習モジュール２０２の一例としてニューラルネットワークを適用した実施例について説明する。しかしながら、ニューラルネットワークは学習モジュール２０２の一例にすぎず、追加学習制御装置２０は、学習モジュール２０２として他の構成を適用してもよい。
【００５１】
学習目標受付部２０３は、入力部２０ｄを介して、学習モジュール２０２が達成すべき学習目標を受け付けて、受け付けた学習目標をＤＢ２０９に記憶する。本実施形態では、学習目標には、評価項目及び条件が含まれる。評価項目は、学習モジュール２０２を評価するための項目であり、例えば、学習モジュールが出力する出力データの精度を判断するために用いられる項目である。
【００５２】
条件は、評価項目に対する条件として、例えば、評価項目「制御部２０８が制御する装置に対する外部操作回数／日」に対して、「当該評価項目が基準値ｘ以下」、「当該評価項目が直前に設定されていた学習モジュールより小さい」、評価項目「制御部２０８が制御する装置の消費電力量／月」に対して、「当該評価項目が基準値ｙ以下」、「当該評価項目が直前に設定されていた学習モジュールより小さい」、評価項目「所定の時間内に学習モジュール２０２が算出した値が許容変化率を超える回数／月」に対して、「当該評価項目が基準値ｚ以下」、「当該評価項目が直前に設定されていた学習モジュールより小さい」等とすることができる。
【００５３】
評価部２０４は、記憶装置４０に記憶されたセンシングデータを用いて学習モジュール２０２の評価を行って評価データを生成し、学習済モジュール受付部２０１が受け付けた学習モジュール識別子と関連付けて、生成した評価データをＤＢ２０９に記憶する。本実施形態では、評価部２０４は、少なくとも学習目標に含まれる評価項目について評価を行い、評価データを生成することができる。評価部２０４は、学習モジュール２０２が設定されてから一定の期間の経過後に自動で評価を行うこともできるし、別途、ユーザからの評価指示を受け付けて評価を行ってもよい。例えば、評価部２０４は、学習目標を受け付けることに応答して、評価を行ってもよい。なお、評価部２０４は学習目標に含まれる評価項目の他に、予め設定された評価項目について評価を行ってもよい。
【００５４】
判定部２０５は、学習目標受付部２０３が受け付けた学習目標とＤＢ２０９に記憶された評価データとを用いて、現在設定されている学習モジュールが、学習目標を達成したか否か判定する。学習目標を達成したと判定される場合、判定部２０５は、処理を終了する。
【００５５】
学習モジュール選択部２０６は、学習目標を達成していないと判定される場合に、学習装置１０の学習済モジュール抽出部１０６に後述するとおり学習モジュール抽出条件を送信し、その応答として得られた学習済モジュールを学習モジュール２０２として設定する。学習モジュール選択部２０６が学習済モジュール抽出部１０６に学習モジュール抽出条件を送信することにより得られた学習済モジュールは、学習モジュール２０２として設定される前に、再度学習目標を達成するか評価されてもよい。
【００５６】
また、学習モジュール選択部２０６は、後述の要因推定部２０７に、学習目標を達成することができなかった要因の推定を指示して、要因改善データを得てもよい。その後、要因推定部２０７から得られた要因改善データを用いて、学習モジュール選択部２０６は、学習装置１０に再追加学習を指示してもよい。
【００５７】
要因推定部２０７は、現在設定されている学習モジュールが学習目標を達成していないと判定される場合に、学習目標を達成することができなかった要因を推定する。本実施形態では、要因推定部２０７は、学習モジュール選択部２０６からの指示に応答して、学習目標と記憶装置４０のセンシングデータとを用いて、学習目標を達成することができなかった要因を推定する。学習目標を達成することができなかった要因を推定するために、記憶装置４０のセンシングデータを統計処理する。
【００５８】
制御部２０８は、学習モジュール２０２が算出した値を用いて、制御を行う。本実施形態では学習モジュールを用いてシステムの制御を行う一例として制御を行う制御部を示すが、後述するように、本発明の実施形態は、学習モジュールを用いて処理を実行する様々なシステムに適用することができる。
【００５９】
ＤＢ２０９には、学習目標ＤＢ２０９１及び評価データＤＢ２０９２が記憶される。本実施形態では、学習目標ＤＢ２０９１には、学習目標受付部２０３が受け付けた学習目標に含まれる、評価項目及び条件が記憶される。また、評価データＤＢ２０９２には、評価部２０４が生成した評価データと評価対象である学習モジュールの学習モジュール識別子とが関連付けて記憶される。
【００６０】
（追加学習処理）
［第１実施形態］
図６のフローチャートに沿って、追加学習制御装置２０によって実行される追加学習処理の第１実施形態について説明する。本発明の実施形態は、学習モジュールを用いて処理を実行する様々なシステムに適用することができ、その分野は特に限定されないが、以下の説明においては空調制御システムを例として記載する。
【００６１】
第１実施形態では、制御部２０８は例えば、空調制御部である。学習モジュール２０２はセンサ３０によって出力された現在室温、外気温、湿度等の値や既知の日時、部屋の体積等を入力パラメータとし、室温設定値を算出する。追加学習制御装置２０の制御部２０８は、学習モジュール２０２によって算出された室温設定値を用いて空調制御を行う。ここでは、制御部２０８が学習モジュール２０２を用いて実際に空調制御を行い、評価部２０４は、制御部２０８による制御結果について評価を行う実施例について説明する。しかしながら、代替として、追加学習制御装置２０はシミュレーション部（図示せず）を備えてもよい。代替の実施例では、シミュレーション部が学習モジュール２０２を用いて空調制御を行い、評価部２０４は、シミュレーション部によるシミュレーション結果について評価を行うことができる。
【００６２】
また、ここでは、追加学習制御装置２０が学習モジュール２０２及び制御部２０８を備えた実施例について説明するが、代替として、追加学習制御装置２０とは別体の制御装置が学習モジュール及び制御部を備えてもよい。
【００６３】
学習装置１０の学習制御部１０３によって事前に行われた学習の結果、記憶装置４０には、２０１０年１月１日から２０１２年１２月３１日までの期間の学習データを用いて学習したニューラルネットワーク０と、２０１０年１月１日から２０１４年１２月３１日までの期間の学習データを用いて学習したニューラルネットワーク１と、２０１０年１月１日から２０１６年１２月３１日までの期間の学習データを用いて学習したニューラルネットワーク２とが記憶されているものとする。ニューラルネットワーク０は、学習モジュール識別子０と関連付けて記憶装置４０に記憶されている。ニューラルネットワーク１は、学習モジュール識別子１と関連付けて記憶装置４０に記憶されている。ニューラルネットワーク２は、学習モジュール識別子２と関連付けて記憶装置４０に記憶されている。
【００６４】
追加学習制御装置２０は、２０１７年１月３１日まで、ニューラルネットワーク１を学習モジュール２０２として設定しているものとする。記憶装置４０には、センサ３０によって出力されたセンシングデータが随時記憶されている。すなわち、記憶装置４０には、ニューラルネットワーク１を用いて空調制御を行っていた期間中の、現在室温や外気温等の入力パラメータに関するセンシングデータ、及び室温設定値に対する外部操作回数や消費電力量等の評価項目に関するセンシングデータが記憶されている。また、評価部２０４によって以前行われた評価の結果、追加学習制御装置２０の評価データＤＢ２０９２には、ニューラルネットワーク０の評価データ０、及びニューラルネットワーク１の評価データ１が記憶されている。
【００６５】
Ｓ６０１において、追加学習制御装置２０の学習済モジュール受付部２０１は、ニューラルネットワークと学習モジュール識別子とを受け付けて、受け付けたニューラルネットワークを学習モジュール２０２として設定する。本実施形態では、２０１７年２月１日に、学習済モジュール受付部２０１は、学習装置１０の学習済モジュール出力部１０５から、ニューラルネットワーク２と学習モジュール識別子２と受け付けて、受け付けたニューラルネットワーク２を学習モジュール２０２として設定する。２０１７年２月１日以降、制御部２０８は、設定されたニューラルネットワーク２によって算出された室温設定値を用いて空調制御を行っている。その間、前述したように、記憶装置４０には、ニューラルネットワーク２を用いて空調制御を行っている期間中の、センサ３０によって出力されたセンシングデータが随時記憶されている。
【００６６】
Ｓ６０２において、追加学習制御装置２０の学習目標受付部２０３は、入力部２０ｄを介して、学習モジュール２０２が達成すべき学習目標を受け付けて、受け付けた学習目標をＤＢ２０９の学習目標ＤＢ２０９１に記憶する。本実施形態では、２０１７年４月１日に、入力部２０ｄを介して追加学習制御装置２０の管理者から学習目標を受け付けて、学習目標受付部２０３は、受け付けた学習目標を学習目標ＤＢ２０９１に記憶する。学習目標には、評価項目「室温設定値に対する外部操作回数／日」と、条件「直前に設定されていた学習モジュールより少ない」とが含まれるものとする。
【００６７】
Ｓ６０３において、追加学習制御装置２０の評価部２０４は、学習モジュール２０２の評価を行って評価データを生成し、学習済モジュール受付部２０１が受け付けた学習モジュール識別子と関連付けて、生成した評価データをＤＢ２０９の評価データＤＢ２０９２に記憶する。本実施形態では、Ｓ６０２で学習目標を受け付けることに応答して、評価部２０４は、ニューラルネットワーク２を用いて空調制御が行われた期間中に記憶装置４０に記憶されたセンシングデータを用いて、ニューラルネットワーク２の評価を行う。
【００６８】
ここで、評価部２０４は、Ｓ６０２で受け付けた学習目標に含まれる評価項目のみならず、予め設定された他の評価項目について評価を行ってもよい。このような構成とすることで、今後の学習目標において、異なる評価項目について、以前設定されていた学習モジュールとの比較条件が指定される場合に対応することができる。本実施形態では、評価部２０４は、学習目標に含まれる評価項目「室温設定値に対する外部操作回数／日」のみならず、予め設定された他の評価項目について評価を行って評価データ２を生成し、学習モジュール識別子２と関連付けて、評価データ２を評価データＤＢ２０９２に記憶する。
【００６９】
次に、Ｓ６０４において、追加学習制御装置２０の判定部２０５は、Ｓ６０２で学習目標受付部２０３が受け付けた学習目標と評価データＤＢ２０９２に記憶された評価データとを用いて、現在設定されている学習モジュールが、学習目標を達成したか否か判定する。学習目標を達成したと判定される場合（Ｓ６０４：Ｙｅｓ）、追加学習制御装置２０は、処理を終了する。
【００７０】
本実施形態では、判定部２０５は、評価項目「室温設定値に対する外部操作回数／日」、及び、条件「直前に設定されていた学習モジュールより少ない」を含む学習目標と、評価データ１及び評価データ２とを用いて、ニューラルネットワーク２が、学習目標を達成したか否か判定する。その結果、学習目標を達成していないと判定され（Ｓ６０４：Ｎｏ）、処理はＳ６０５に進む。
【００７１】
Ｓ６０５において、追加学習制御装置２０の学習モジュール選択部２０６は、学習装置１０の学習済モジュール抽出部１０６に学習モジュール抽出条件を送信し、その応答として得られた学習モジュールを学習モジュール２０２として設定し、処理を終了する。本実施形態では、学習モジュール選択部２０６は、学習済モジュール抽出部１０６に学習モジュール抽出条件「現在設定されている学習モジュールの学習モジュール識別子：学習モジュール識別子２、抽出ポイント：現在設定されている学習モジュールの１つ前のバージョン」を送信し、応答として得たニューラルネットワーク１を学習モジュール２０２として設定する。
【００７２】
［第２実施形態］
第１実施形態では、学習目標を達成していないと判定されたニューラルネットワーク２について、更新前のバージョンであるニューラルネットワーク１に戻す例について説明した。第２実施形態では、学習目標を達成していないと判定された場合に、ニューラルネットワークをさらに追加学習させる例について説明する。
【００７３】
図７は、追加学習制御装置２０によって実行される追加学習処理の流れを示すフローチャートである。第２実施形態では第１実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。図７のＳ７０１からＳ７０５は、図６のＳ６０１からＳ６０５と同じ処理であるので、これらの処理の詳細な説明は省略する。
【００７４】
Ｓ７０６において、学習モジュール選択部２０６は、追加学習制御装置２０の要因推定部２０７に、学習目標を達成することができなかった要因の推定を指示し、要因推定部２０７は、学習目標を達成することができなかった要因を推定する。本実施形態では、要因推定部２０７は、学習目標に含まれる評価項目「室温設定値に対する外部操作回数／日」について、記憶装置４０のセンシングデータを用いて要因を推定する。例えば、要因推定部２０７は、ニューラルネットワーク２に用いた学習データの期間である２０１０年１月１から２０１６年１２月３１日までの期間のセンシングデータを用いて、要因を推定する。
【００７５】
本実施形態では、要因推定部２０７は、既知のアルゴリズムを使用して、例えば学習目標に含まれる評価項目「室温設定値に対する外部操作回数／日」が他の日の値から大きく外れて多かった日について、考えられるパターンを見出す。例えば、特定の期間「２０１６年７月１日から２０１６年７月３１日まで」において「室温設定値に対する外部操作回数／日」が多いというパターンを見出したものとする。なお、パターンについては期間によるものだけでなく、入力パラメータに含まれる外気温、湿度等の値が所定の値と異なる値が続いたときに、「入力パラメータの値」が大きい又は少ないというパターンを見出してもよい。また、入力パラメータに含まれる部屋の体積が変わっていた場合に、「部屋の体積」が変化したというパターンを見出してもよい。
【００７６】
Ｓ７０７において、要因推定部２０７は、外れ値のパターンを見出したか否か判定する。外れ値のパターンを見出していない場合（Ｓ７０７：Ｎｏ）、追加学習制御装置２０は処理を終了する。一方、外れ値のパターンを見出した場合（Ｓ７０７：Ｙｅｓ）、Ｓ７０８に進み、要因推定部２０７は、見出した外れ値のパターンを出力してもよい。本実施形態では、図８に示されるように、見出した外れ値のパターンを示すテキスト８０１「２０１６年７月１日から２０１６年７月３１日において、室温設定値に対する外部操作回数／日が多い。」、パターンが性能劣化要因か否かを設定する性能劣化要因ラジオボタン８０２、詳細設定ボタン８０３、及び決定ボタン８０４を含む要因確定画面を出力する。詳細設定ボタンについては後述する。
【００７７】
Ｓ７０９において、要因推定部２０７は、ユーザ入力を受信したか否か判定する。ユーザ入力を受信した場合、Ｓ７１０に進み、要因推定部２０７は、ユーザ入力に基づいて要因改善データを生成し、生成した要因改善データを学習モジュール選択部２０６に戻す。要因改善データには、Ｓ７０８において要因推定部２０７が出力した外れ値のパターンのうち、性能劣化要因ラジオボタン８０２で性能劣化要因として選択されること等により、学習データに含めることが望ましくないことが指示されたパターンが含まれる。
【００７８】
本実施形態では、追加学習制御装置２０の管理者は、２０１６年７月１日から２０１６年７月３１日までの期間において室内工事が行われていたことを確認し、Ｓ７０８において出力された画面において、性能劣化要因ラジオボタン８０２で性能劣化要因として選択し、決定ボタン８０４を押下したものとする。その結果、要因推定部２０７は、受信したユーザ入力に基づいて要因改善データ「２０１６年７月１日から２０１６年７月３１日までの期間を除く」を生成し、生成した要因改善データを学習モジュール選択部２０６に戻す。
【００７９】
Ｓ７１１において、学習モジュール選択部２０６は、要因改善データに基づいて学習指示を生成し、生成した学習指示を学習装置１０の学習指示受付部１０１に送信して、処理を終了する。本実施形態では、学習モジュール選択部２０６は、「学習データ取得条件：２０１０年１月１日から２０１６年１２月３１日まで、２０１６年７月１日から２０１６年７月３１日までの期間を除く」を含む学習指示を学習指示受付部１０１に送信する。
【００８０】
なお、本実施形態では、Ｓ７０７で外れ値のパターンを見出したと判定される場合に、Ｓ７１０でユーザの入力に基づいて要因改善データを生成したが、Ｓ７０８からＳ７１０を省略してユーザの入力を受け付けることなく、要因推定部２０７が、見出した外れ値のパターンに基づいて要因改善データを生成してもよい。
【００８１】
このようにすることで、学習装置１０は、受信した学習指示に基づいて、ニューラルネットワークをさらに追加学習させることができる。本実施形態では、学習装置１０は、２０１６年７月１日から２０１６年７月３１日までの期間を除く学習データを用いて、ニューラルネットワーク１をさらに追加学習させることができる。
【００８２】
［第３実施形態］
第２実施形態では、学習目標を達成していないと判定された場合に、学習データに含めることが望ましくないデータを除外して、ニューラルネットワークをさらに追加学習させる例について説明した。第３実施形態では、学習目標を達成していないと判定された場合に、ニューラルネットワークに対してさらに学習させるべきデータを追加して、ニューラルネットワークを追加学習させる例について説明する。
【００８３】
図７を参照して、第３実施形態について説明する。第３実施形態においても、第１実施形態及び第２実施形態と共通の事柄についての記述を省略し、異なる点についてのみ説明する。図７のＳ７０１からＳ７０５までは、第１実施形態と同じ処理であるので、これらの処理の詳細な説明は省略する。
【００８４】
Ｓ７０６において、要因推定部２０７は、学習目標を達成することができなかった要因を推定する。本実施形態では、特定の時間帯「毎週土曜日の８時から９時」において「室温設定値に対する外部操作回数」が多いというパターンを見出したものとする。なお、パターンについては期間によるものだけでなく、入力パラメータに含まれる外気温、湿度等の値が所定の値と異なる値が続いたときに、「入力パラメータの値」が大きい又は少ないというパターンを見出してもよい。また、入力パラメータに含まれる部屋の体積が変わっていた場合に、「部屋の体積」が変化したというパターンを見出してもよい。
【００８５】
Ｓ７０７において、要因推定部２０７は、外れ値のパターンを見出したか否か判定する。本実施形態では、外れ値のパターンを見出したのでＳ７０８に進み、要因推定部２０７は、見出した外れ値のパターンを出力してもよい。本実施形態では、見出した外れ値のパターンを示すテキスト８０１「毎週土曜日の８時から９時において、室温設定値に対する外部操作が多い。」、性能劣化要因ラジオボタン８０２、詳細設定ボタン８０３、及び決定ボタン８０４を含む要因確定画面を出力する。
【００８６】
本実施形態では、追加学習制御装置２０の管理者は、毎週土曜日は平日よりも少ない数のユーザが部屋を利用することから、室温設定値を平日と比較して高く設定することが望ましいことを確認し、Ｓ７０９において出力された画面において、性能劣化要因ラジオボタン８０２で非性能劣化要因として選択し、詳細設定ボタン８０３を押下したものとする。例えば詳細設定ボタン８０３を押下することにより、詳細設定画面が表示され、管理者は、この詳細設定画面において入力パラメータの調整を行ってもよい。代替として、追加学習制御装置２０が、入力パラメータの調整を行ってもよい。
【００８７】
Ｓ７０９において、要因推定部２０７は、ユーザ入力を受信したか否か判定する。本実施形態では、管理者が、詳細設定画面において入力パラメータの調整をし、その後、決定ボタン８０４を押下したものとする。その結果、処理はＳ７１０に進み、要因推定部２０７は、ユーザ入力に基づいて要因改善データを生成し、生成した要因改善データを学習モジュール選択部２０６に戻す。本実施形態では、要因改善データには、詳細設定画面で指定された入力パラメータに関する設定が含まれる。
【００８８】
Ｓ７１１において、学習モジュール選択部２０６は、要因改善データに基づいて学習指示を生成し、生成した学習指示を学習装置１０の学習指示受付部１０１に送信して、処理を終了する。本実施形態では、学習モジュール選択部２０６は、詳細設定画面で指定された入力パラメータに関する設定を含む学習指示を学習指示受付部１０１に送信する。
【００８９】
なお、本実施形態では、Ｓ７０７で外れ値のパターンを見出したと判定される場合に、Ｓ７１０でユーザの入力に基づいて要因改善データを生成したが、Ｓ７０８からＳ７１０を省略してユーザの入力を受け付けることなく、要因推定部２０７が、見出した外れ値のパターンに基づいて要因改善データを生成してもよい。
【００９０】
このようにすることで、学習装置１０は、受信した学習指示に基づいて、ニューラルネットワークをさらに追加学習させることができる。本実施形態では、学習装置１０は、追加学習制御装置２０が見出したパターンが性能劣化要因ではなく、ニューラルネットワークにさらに学習させるべきパターンである場合に、追加の学習データを用いて、ニューラルネットワーク２をさらに追加学習させることができる。
【００９１】
［別の実施形態］
上述したとおり、別の実施形態では、図９に示されるように、学習システム１は、学習済モジュール受付部２０１と、学習モジュール２０２と、制御部２０８とを備えた制御装置５０を備えてもよい。学習システム１が制御装置５０を備える本実施形態では、学習システム１は、学習目標受付部２０３、評価部２０４、判定部２０５、学習モジュール選択部２０６、要因推定部２０７及びＤＢ２０９を備えた評価装置６０を備える。前述したように、追加学習制御装置２０は、評価装置６０を含む。
【００９２】
評価装置６０は、図１０に示されるように、ＣＰＵ及びＲＡＭを含む制御部６０ａ、ＤＢ２０９のデータ等を記憶する記憶部６０ｂ、ネットワークＮと接続するための通信部６０ｃ、ユーザからの入力を受け付ける入力部６０ｄ、表示部６０ｅ等を備えている。これら各構成は、バスを介して相互にデータ送受信可能に接続される。ＣＰＵが記憶部に記憶されているプログラムをＲＡＭに展開し、ＲＡＭに展開された当該プログラムを解釈及び実行することにより、制御部６０ａは、図９の各部として機能する。
【００９３】
評価装置６０は、例えば一般のパーソナルコンピュータのＣＰＵによって追加学習プログラムを実行することで構成されてよい。追加学習プログラムは、ＲＡＭや記憶部６０ｂ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部により接続される通信ネットワークＮを介して提供されてもよい。
【００９４】
本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、コンピュータに上記プログラムをインストールすることにより、当該コンピュータを評価装置６０又は追加学習制御装置２０として機能させることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ−ＲＯＭ等の記録媒体であってもよい。
【００９５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【００９６】
（付記１）
少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備えた、第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価装置であって、
前記ハードウェアプロセッサが、
前記第２の学習モジュールが達成すべき学習目標を受け付け、
少なくとも前記学習目標に含まれる評価項目について前記第２の学習モジュールの評価を行い、評価データを生成し、
前記学習目標と前記評価データとを用いて、前記第２の学習モジュールが前記学習目標を達成したか否か判定し、
前記学習目標を達成しないと判定される場合、少なくとも前記学習目標に基づいて、前記第２の学習モジュールと異なる第３の学習モジュールを取得する、
評価装置。
【００９７】
（付記２）
第１の学習モジュールを追加学習させた第２の学習モジュールを評価する評価方法であって、
少なくとも１つ以上のハードウェアプロセッサによって、前記第２の学習モジュールが達成すべき学習目標を受け付け、
前記ハードウェアプロセッサによって、少なくとも前記学習目標に含まれる評価項目について前記第２の学習モジュールの評価を行い、評価データを生成し、
前記ハードウェアプロセッサによって、前記学習目標と前記評価データとを用いて、前記第２の学習モジュールが前記学習目標を達成したか否か判定し、
前記学習目標を達成しないと判定される場合、少なくとも前記学習目標に基づいて、前記第２の学習モジュールと異なる第３の学習モジュールを取得する、
評価方法。
【符号の説明】
【００９８】
１…学習システム、１０…学習装置、１０ａ…制御部、１０ｂ…記憶部、１０ｃ…通信部、１０ｄ…入力部、１０ｅ…表示部、１０１…学習指示受付部、１０２…学習データ取得部、１０３…学習制御部、１０４…学習モジュール、１０５…学習済モジュール出力部、１０６…学習済モジュール抽出部、２０…追加学習制御装置、２０ａ…制御部、２０ｂ…記憶部、２０ｃ…通信部、２０ｄ…入力部、２０ｅ…表示部、２０１…学習済モジュール受付部、２０２…学習モジュール、２０３…学習目標受付部、２０４…評価部、２０５…判定部、２０６…学習モジュール選択部、２０７…要因推定部、２０８…制御部、２０９…ＤＢ、２０９１…学習目標ＤＢ、２０９２…評価データＤＢ、３０…センサ、４０…記憶装置、５０…制御装置、６０…評価装置、６０ａ…制御部、６０ｂ…記憶部、６０ｃ…通信部、６０ｄ…入力部、６０ｅ…表示部、８０１…テキスト、８０２…性能劣化要因ラジオボタン、８０３…詳細設定ボタン、８０４…決定ボタン
【図１】
2018181184.tif 000003
【図２】
2018181184.tif 000004
【図３】
2018181184.tif 000005
【図４】
2018181184.tif 000006
【図５】
2018181184.tif 000007
【図６】
2018181184.tif 000008
【図７】
2018181184.tif 000009
【図８】
2018181184.tif 000010
【図９】
2018181184.tif 000011
【図１０】
2018181184.tif 000012
【図１１】
2018181184.tif 000013