(57)【要約】【課題】通信量を削減しつつ、ＣＮＮモデルを用いた適切な分析を行うことができるデータ分析システムを提供する。【解決手段】データ分析システム９０は、学習済みニューラルネットワーク１８Ａの入力層を介して受け付けた観測データを、入力層から所定の中間層まで処理された結果得られる圧縮データを出力する変換処理を行う計器１０と、学習済みニューラルネットワーク１８Ｂにおいて圧縮データを次の中間層に入力し、次の中間層の出力である、圧縮データを復号したデータを、ＣＮＮモデルを用いて構成された出力層に入力し、出力層の出力を、観測データを分析した結果とする分析処理を行う機器２０とを含む。学習済みニューラルネットワーク１８Ａ、１８Ｂは、分析して得られる真の分析結果が既知の観測データを入力層に入力したときの出力層の出力と真の分析結果との誤差、及び観測データと復号したデータとの誤差を最小化するように予め学習されている。【選択図】図４
2020077155.tif 000002
【特許請求の範囲】
【請求項１】
計器により観測された観測データを分析する機器を含むデータ分析システムであって、
前記計器は、前記観測データを圧縮した圧縮データに変換する変換処理であって、予め用意された学習済みニューラルネットワークの入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理を行う変換部を備え、
前記機器は、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理を行う分析部を備え、
前記学習済みニューラルネットワークは、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように予め学習されているデータ分析システム。
【請求項２】
前記学習済みニューラルネットワークの学習においては、前記所定の中間層が、前記圧縮データの平均と分散をそれぞれ出力するノードを含み、前記平均を出力するノードの出力に、前記分散を出力するノードの出力を加算して、前記所定の中間層の次の中間層に入力し、
前記変換部は、前記平均を出力するノードの出力を、前記圧縮データとして出力する請求項１に記載のデータ分析システム。
【請求項３】
観測データを分析するためのニューラルネットワークを学習する学習装置であって、
前記観測データを圧縮した圧縮データに変換する変換処理であって、入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理と、
前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理とを行うためのニューラルネットワークについて、
前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように学習する学習部
を含む学習装置。
【請求項４】
前記ニューラルネットワークにおいて、前記所定の中間層が、前記圧縮データの平均と分散をそれぞれ出力するノードを含み、
前記学習部は、前記平均を出力するノードの出力に、前記分散を出力するノードの出力を加算して、前記所定の中間層の次の中間層に入力する請求項３に記載の学習装置。
【請求項５】
計器により観測された観測データを分析する機器を含むデータ分析システムによるデータ分析方法であって、
前記計器が、前記観測データを圧縮した圧縮データに変換する変換処理であって、予め用意された学習済みニューラルネットワークの入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理を行い、
前記機器が、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理を行うことを含み、
前記学習済みニューラルネットワークは、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように予め学習されているデータ分析方法。
【請求項６】
観測データを分析するためのニューラルネットワークを学習する学習装置による学習方法であって、
学習部が、前記観測データを圧縮した圧縮データに変換する変換処理であって、入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理と、
前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理とを行うためのニューラルネットワークについて、
前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように学習する
学習方法。
【請求項７】
コンピュータを、請求項１又は２に記載のデータ分析システムが備える変換部及び分析部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項３又は４に記載の学習装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ分析システム、学習装置、方法、及びプログラムに係り、特に、センサ等の計器により観測された観測データを分析するためのデータ分析システム、方法、及びプログラムに関する。
【背景技術】
【０００２】
ＩｏＴ（Internet of Things）機器は、今後益々増加することが予測されている。ＩｏＴ機器の増加に伴い、ＩｏＴ機器においても省電力化を図ることが重要になっている。
【０００３】
また、ＩｏＴ機器を設置する目的は、ＩｏＴ機器が取得する詳細なデータではなく、詳細なデータから得られる分析結果である場合が多い（例えば、非特許文献１を参照。）。そして、より適切な分析を行うために、ニューラルネットワーク（Neural Network）等の機械学習が用いられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＮＴＴ西日本、”ＩＴ融合による統合型次世代農業プロジェクトを推進｜お客様に対する価値創造｜事業を通じた価値創造｜”＜インターネット検索：https://www.ntt-west.co.jp/csr/2015/valuable/customer/topics02.html 検索日：2018/10/13＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ニューラルネットワーク等の機械学習を用いたデータ分析システムとして、センサ等の計器と、サーバコンピュータ等の機器とを含むシステムがある。計器から機器に観測データを送信する場合、図１０に示すように、計器では機械学習による推論の演算を途中まで行い得られた中間データを機器に送信する方法がある。この場合、機器では受信した中間データから機械学習による推論の演算の続きを行い、分析結果を得る。これにより、省通信なセンシングが可能である。この際、送信後に復号せずに推論を行うよう学習することで、推論に必要な情報に絞って圧縮されるため、高い圧縮率でも高精度な推論が可能となる。
【０００６】
しかしながら、一般的な局所結合モデルであるＣＮＮ（Convolutional Neural Network）モデルを適用しようとする場合、計器側で高い圧縮率で圧縮すると、圧縮の際に近傍との関連性が失われるため、全結合モデルにのみ適用可能であり、ＣＮＮモデルは適用不可であるという問題があった。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、通信量を削減しつつ、ＣＮＮモデルを用いた適切な分析を行うことができるデータ分析システム、学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係るデータ分析システムは、計器により観測された観測データを分析する機器を含むデータ分析システムであって、前記計器は、前記観測データを圧縮した圧縮データに変換する変換処理であって、予め用意された学習済みニューラルネットワークの入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理を行う変換部を備え、前記機器は、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理を行う分析部を備え、前記学習済みニューラルネットワークは、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように予め学習されている。
【０００９】
また、本発明に係る学習装置は、観測データを分析するためのニューラルネットワークを学習する学習装置であって、前記観測データを圧縮した圧縮データに変換する変換処理であって、入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理と、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理とを行うためのニューラルネットワークについて、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように学習する学習部を含んで構成されている。
【００１０】
また、本発明に係るデータ分析方法は、計器により観測された観測データを分析する機器を含むデータ分析システムによるデータ分析方法であって、前記計器が、前記観測データを圧縮した圧縮データに変換する変換処理であって、予め用意された学習済みニューラルネットワークの入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理を行い、前記機器が、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理を行うことを含み、前記学習済みニューラルネットワークは、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように予め学習されている。
【００１１】
また、本発明に係る学習方法は、観測データを分析するためのニューラルネットワークを学習する学習装置による学習方法であって、学習部が、前記観測データを圧縮した圧縮データに変換する変換処理であって、入力層を介して受け付けた前記観測データを、前記入力層から所定の中間層まで処理された結果得られる前記中間層の出力である前記圧縮データを出力する前記変換処理と、前記圧縮データから前記観測データを分析した結果を得る分析処理であって、前記圧縮データを前記所定の中間層の次の中間層に入力し、前記次の中間層の出力である、前記圧縮データを復号したデータを、ＣＮＮ（Convolutional Neural Network）モデルを用いて構成された出力層に入力し、前記出力層の出力を、前記観測データを分析した結果とする前記分析処理とを行うためのニューラルネットワークについて、前記分析して得られる真の分析結果が既知の観測データを前記入力層に入力したときの前記出力層の出力と前記真の分析結果との誤差、及び前記観測データと前記復号したデータとの誤差を最小化するように学習する。
【００１２】
また、本発明に係るプログラムは、コンピュータを、上記のデータ分析システムが備える変換部及び分析部として機能させる。
【００１３】
また、本発明に係るプログラムは、コンピュータを、上記の学習装置として機能させる。
【発明の効果】
【００１４】
以上説明したように、本発明に係るデータ分析システム、方法、及びプログラムによれば、通信量を削減しつつ、ＣＮＮモデルを用いた適切な分析を行うことができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係るニューラルネットワークの説明に供する図である。
【図２】本実施形態に係る学習用ニューラルネットワークの説明に供する図である。
【図３】本実施形態に係る学習済みニューラルネットワークの説明に供する図である。
【図４】本実施形態に係るデータ分析システムの機能的な構成の一例を示すブロック図である。
【図５】本実施形態に係るデータ変換処理プログラム及びデータ分析処理プログラムの処理の流れの一例を示すシーケンス図である。
【図６】本実施形態に係る学習装置の機能的な構成の一例を示すブロック図である。
【図７】本実施形態に係る学習処理プログラムの処理の流れの一例を示すフローチャートである。
【図８】変形例に係る学習用ニューラルネットワークの説明に供する図である。
【図９】変形例に係る学習済みニューラルネットワークの説明に供する図である。
【図１０】従来技術の説明に供する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
【００１７】
＜概要＞
まず、局所結合モデルであるＣＮＮモデルについて説明する。ＣＮＮモデルは、視覚を模したモデルであり、局所結合とすることで不要な結合が減り、多くのタスクで高精度となることを特徴とする。また、ＣＮＮモデルの入力は、近傍との関連性を保つ必要がある。ここで、近傍とは、画像データでは隣接した画素、時系列データでは時間的に前後にあたる値のことである。
【００１８】
本実施の形態では、図１に示すように、所定の中間層ｈ２により、推論に必要な情報に絞って圧縮した後に、出力層ｈ４において、ＣＮＮモデルに適用することで、さらに高い圧縮率でも高精度な推論を可能とするために、下記の方法によって近傍との関連性を保ちつつ、推論に必要な情報に絞る。
【００１９】
まず、ニューラルネットワークにおいて圧縮されるデータが、「元の入力に近く、近傍との関連性が保たれているが、推論に不要な部分は削除されている情報」となるように学習する。具体的には、図２に示すように、学習用ニューラルネットワーク１８Ｃにおいて、出力層ｈ４の出力と正解との誤差、および入力層ｈ１の入力と中間層ｈ３の出力である復号データとの誤差の合計を最小化するように学習する。その際、学習を進めるごとに前者（出力と正解の誤差）の重みを大きくすることで実現することが好ましい。
【００２０】
一般的な学習では、出力と正解の誤差を最小化するように学習する。あるいは、入力と復号の誤差を最小化するように学習する。従来技術では、出力と正解の誤差と、入力と復号の誤差とのどちらか一方を最小化するように学習するのみであったが、本発明の実施の形態では両方の合計を最小化するようにバランスを取ることに特徴がある。
【００２１】
＜データ分析システムの構成＞
本発明の実施の形態では、センサ等の計器と、サーバコンピュータ等の機器と、を含み、学習済みニューラルネットワークを用いてデータ分析を行う推定側のデータ分析システムについて説明する。
【００２２】
図３は、本実施形態に係るデータ分析システム９０の機能的な構成の一例を示すブロック図である。
【００２３】
図３に示すように、本実施形態に係るデータ分析システム９０は、計器１０と、機器２０と、を含んで構成されている。これら計器１０と機器２０とはネットワークＮを介して通信可能に接続されている。
【００２４】
本実施形態に係る計器１０は、例えば、センサ等であり、観測対象に取り付けられ、観測対象から観測データを取得する。また、計器１０は、電気的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を備えて構成されている。ＲＯＭには、本実施形態に係るデータ変換処理プログラムが記憶されている。
【００２５】
上記のデータ変換処理プログラムは、例えば、計器１０に予めインストールされていてもよい。このデータ変換処理プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、計器１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。
【００２６】
ＣＰＵは、ＲＯＭに記憶されているデータ変換処理プログラムを読み込んで実行することにより、入力部１２、変換部１４、及び出力部１６として機能する。また、ＲＯＭには、図４に示す学習済みニューラルネットワーク（学習済みモデル）１８Ａが格納されている。なお、計器１０が備える学習済みニューラルネットワーク１８Ａと、後述する機器２０が備える学習済みニューラルネットワーク１８Ｂとにより１つの学習済みニューラルネットワーク（以下、学習済みニューラルネットワーク１８という。）が構築される。つまり、１つの学習済みニューラルネットワーク１８を所定の中間層ｈ２で分割し、入力層ｈ１から所定の中間層ｈ２までが学習済みニューラルネットワーク１８Ａに含まれ、所定の中間層ｈ２の次の中間層ｈ３から出力層ｈ４までが学習済みニューラルネットワーク１８Ｂに含まれている。
【００２７】
本実施形態に係る入力部１２は、観測対象から取得された観測データの入力を受け付ける。
【００２８】
本実施形態に係る変換部１４は、入力部１２から入力を受け付けた観測データを圧縮した圧縮データに変換する変換処理を行う。この変換処理では、観測データが学習済みニューラルネットワーク１８Ａの入力層ｈ１に入力され、入力層ｈ１から所定の中間層ｈ２までの部分を用いて圧縮データに変換される。つまり、圧縮データは、学習済みニューラルネットワーク１８Ａの所定の中間層ｈ２の出力として得られる。
【００２９】
本実施形態に係る出力部１６は、変換部１４により得られた圧縮データを、計器１０の出力として、ネットワークＮを介して機器２０に送信する。
【００３０】
一方、本実施形態に係る機器２０は、例えば、サーバコンピュータ等であり、電気的には、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を備えて構成されている。ＲＯＭには、本実施形態に係るデータ分析処理プログラムが記憶されている。このデータ分析処理プログラムは、例えば、機器２０に予めインストールされていてもよい。このデータ分析処理プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、機器２０に適宜インストールすることで実現してもよい。
【００３１】
ＣＰＵは、ＲＯＭに記憶されているデータ分析処理プログラムを読み込んで実行することにより、入力部２２、分析部２４、及び出力部２６として機能する。また、ＲＯＭには、学習済みニューラルネットワーク（学習済みモデル）１８Ｂが格納されている。
【００３２】
本実施形態に係る入力部２２は、計器１０から出力された圧縮データの入力を受け付ける。
【００３３】
本実施形態に係る分析部２４は、入力部２２から入力を受け付けた圧縮データから、観測データを分析した結果を得る分析処理を行う。この分析処理では、圧縮データが所定の中間層の次の中間層ｈ３に入力され、次の中間層ｈ３の出力である、圧縮データを復号したデータを、出力層ｈ４としてのＣＮＮモデルに入力し、出力層ｈ４の出力を、観測データを分析した結果とする。
【００３４】
本実施形態に係る出力部２６は、分析部２４により得られた分析結果を出力する。この分析結果は、例えば、図示しない表示部や、予め指定された端末装置等に出力される。
【００３５】
本実施形態に係る学習済みニューラルネットワーク１８Ｂを用いることにより、圧縮データから、観測データの分析結果として、分類される各値の確率が出力される。例えば、観測データの画像が手書きされた１桁の数字であり、０〜９の何れかの値に分類する場合、０〜９の各値の確率が出力される。
【００３６】
学習済みニューラルネットワーク１８Ａ、１８Ｂが、後述する学習装置により予め学習される。学習用ニューラルネットワークは、分析対象となる観測データとは異なる、分析して得られる結果（分析結果）が既知の観測データを学習データとして予め学習されている。つまり、学習データでは、学習データにより示される画像が分類される値を示す正解ラベルが予め付与されている。
【００３７】
次に、図５を参照して、本実施形態に係るデータ分析システム９０の作用について説明する。なお、図５は、本実施形態に係るデータ変換処理プログラム及びデータ分析処理プログラムの処理の流れの一例を示すシーケンス図である。
【００３８】
図５のステップＳ１では、計器１０の入力部１２が、一例として、観測データとして推定対象の画像を入力する。
【００３９】
ステップＳ２では、計器１０の変換部１４が、ステップＳ１で入力された観測データを、学習済みニューラルネットワーク１８Ａを用いて、観測データを圧縮した圧縮データに変換する。
【００４０】
ステップＳ３では、計器１０の出力部１６が、ステップＳ２で変換して得られた圧縮データとしての所定の中間層ｈ２の出力を機器２０に送信する。
【００４１】
次に、ステップＳ４では、機器２０の入力部２２が、ステップＳ３で計器１０から送信された、圧縮データとしての所定の中間層ｈ２の出力を入力する。
【００４２】
ステップＳ５では、機器２０の分析部２４が、ステップＳ４で入力された圧縮データとしての所定の中間層ｈ２の出力値を、学習済みニューラルネットワーク１８Ｂを用いて、分析する。このとき、圧縮データが所定の中間層の次の中間層ｈ３に入力され、次の中間層ｈ３の出力である、圧縮データを復号したデータを、出力層ｈ４としてのＣＮＮモデルに入力し、出力層ｈ４の出力を、観測データを分析した結果とする。
【００４３】
ステップＳ６では、機器２０の出力部２６が、ステップＳ５での分析結果を出力し、これらデータ変換処理プログラム及びデータ分析処理プログラムによる一連の処理を終了する。
【００４４】
次に、データ分析システム９０で用いる学習済みニューラルネットワーク１８Ａ、１８Ｂを学習するための学習装置について説明する。
【００４５】
図６は、本実施形態に係る学習装置３０の機能的な構成の一例を示すブロック図である。
【００４６】
本実施形態に係る学習装置３０には、例えば、パーソナルコンピュータや、サーバコンピュータ等が適用される。学習装置３０は、上述の図３に示した機器２０の一機能として実現してもよい。学習装置３０は、電気的には、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を備えて構成されている。ＲＯＭには、本実施形態に係る学習処理プログラムが記憶されている。この学習処理プログラムは、例えば、学習装置３０に予めインストールされていてもよい。この学習処理プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、学習装置３０に適宜インストールすることで実現してもよい。
【００４７】
ＣＰＵは、ＲＯＭに記憶されている学習処理プログラムを読み込んで実行することにより、入力部３２、分析部３４、学習部３６、及び出力部３８として機能する。
【００４８】
本実施形態に係る入力部３２は、複数の学習データを含む学習データ群の入力を受け付ける。ここでいう学習データとは、分析対象となる観測データとは異なり、分析結果が既知の観測データである。
【００４９】
本実施形態に係る分析部３４は、学習用ニューラルネットワーク１８Ｃを用いて、入力部３２から入力を受け付けた学習データを分析した結果を得る処理を行う。学習用ニューラルネットワーク１８Ｃでは、入力層ｈ１から所定の中間層ｈ２までの部分により、学習データを圧縮した圧縮データに変換する変換処理を行う。つまり、圧縮データは、学習用ニューラルネットワーク１８Ｃの所定の中間層ｈ２の出力として得られる。
【００５０】
また、学習用ニューラルネットワーク１８Ｃでは、所定の中間層ｈ２の次の中間層ｈ３から出力層ｈ４までの部分により、所定の中間層ｈ２で得られた圧縮データから観測データを復元し、学習データを分析した結果を得る分析処理を行う。この分析処理では、圧縮データが所定の中間層ｈ２の次の中間層ｈ３に入力され、次の中間層ｈ３の出力である、圧縮データを復号したデータを、ＣＮＮモデルを含んで構成された出力層ｈ４に入力し、出力層ｈ４の出力を、学習データを分析した結果とする。
【００５１】
本実施形態に係る学習部３６では、分析部３４で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとを用いて、学習データを入力層ｈ１に入力したときの出力層ｈ４の出力と真の分析結果との誤差、及び学習データと復号したデータとの誤差を最小化するように、学習用ニューラルネットワーク１８Ｃにおける重みを更新する更新処理を行う。
【００５２】
具体的には、分析部３４で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとの誤差、及び当該学習データと、所定の中間層ｈ２で得られた圧縮データから次の中間層ｈ３により復元したデータとの誤差の重み付き和である目的関数を最小化するように、学習用ニューラルネットワーク１８Ｃにおける重みを更新する更新処理を行う。
【００５３】
本実施形態に係る出力部３８は、上記学習により得られた学習用ニューラルネットワーク１８Ｃから構築される学習済みニューラルネットワーク１８を記憶部等に出力する。
【００５４】
次に、図７を参照して、本実施形態に係る学習装置３０の作用について説明する。なお、図７は、本実施形態に係る学習処理プログラムの処理の流れの一例を示すフローチャートである。
【００５５】
図７のステップ１００では、入力部３２が、学習用ニューラルネットワーク１８Ｃの入力層ｈ１に学習データを入力する。例えば、１桁の数字が記載された手書き画像であって、記載された数字が既知の手書き画像が、学習データとして入力される。
【００５６】
ステップ１０２では、分析部３４が、ステップ１００で入力層ｈ１に入力された学習データを、所定の中間層ｈ２を用いて、学習データを圧縮した圧縮データに変換する。
【００５７】
そして、本ステップ１０２では、分析部３４が、上記で得られた圧縮データから、学習データを分析した結果を得る分析処理を行う。この分析処理では、圧縮データが所定の中間層ｈ２から次の中間層ｈ３に入力され、次の中間層ｈ３の出力である、圧縮データを復号したデータが、出力層ｈ４に入力され、出力層ｈ４の出力を、学習データを分析した結果とする。例えば、学習用ニューラルネットワーク１８Ｃの出力層ｈ４から、分析結果として、０から９までの各数字に該当する確率が出力される。
【００５８】
ステップ１０４では、学習部３６が、ステップ１０２で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとを用いて、学習用ニューラルネットワーク１８Ｃにおける重みを更新する更新処理を行う。この更新処理は、入力層ｈ１から送られてくる学習データに基づいて、分析部３４で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとの誤差、及び当該学習データと、所定の中間層ｈ２で得られた圧縮データから次の中間層ｈ３により復元したデータとの誤差の重み付き和である目的関数を最小化することで行う。
【００５９】
ステップ１０６では、出力部３８が、全ての学習データについて終了したか否かを判定する。全ての学習データについて終了したと判定した場合（肯定判定の場合）、ステップ１０８に移行し、全ての学習データについて終了していないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。
【００６０】
ステップ１０８では、出力部３８が、学習用ニューラルネットワーク１８Ｃに基づいて、学習済みニューラルネットワーク１８を構築し、構築した学習済みニューラルネットワーク１８を記憶部等に出力し、本学習処理プログラムによる一連の処理を終了する。
【００６１】
以上説明したように、本実施形態に係る分析システムによれば、計器が、学習済みニューラルネットワークの入力層を介して受け付けた観測データを、入力層から所定の中間層まで処理された結果得られる中間層の出力である前記圧縮データを出力する変換処理を行い、機器が、圧縮データを所定の中間層の次の中間層に入力し、次の中間層の出力である、圧縮データを復号したデータを、ＣＮＮモデルを用いて構成された出力層に入力し、出力層の出力を、観測データを分析した結果とする分析処理を行うことにより、通信量を削減しつつ、ＣＮＮモデルを用いた適切な分析を行うことができる。
【００６２】
［変形例］
図８に示すように、学習用ニューラルネットワーク２１８Ｃにおいて、所定の中間層ｈ２Ａが、圧縮データの平均と分散をそれぞれ出力するノードを含み、平均を出力するノードの出力に、分散を出力するノードの出力を加算したデータを、圧縮データとし、所定の中間層ｈ２Ａの次の中間層ｈ３に入力するようにしてもよい。
【００６３】
この場合、図９に示すように、計器の学習済みニューラルネットワーク２１８Ａでは、所定の中間層ｈ２Ｂが、圧縮データの平均を出力するノードを含み、平均を出力するノードの出力を、そのまま圧縮データとして出力して、所定の中間層ｈ２Ｂの次の中間層ｈ３に入力する。
【００６４】
より具体的には、学習済みニューラルネットワーク２１８Ａ、２１８Ｂが、学習装置により予め学習される。学習装置により学習済みニューラルネットワーク２１８Ａ、２１８Ｂを学習するための学習用ニューラルネットワーク２１８Ｃは、所定の中間層ｈ２Ａが、圧縮データの平均と分散をそれぞれ出力するノードを含み、平均を出力するノードの出力に、分散を出力するノードの出力を加算して、圧縮データとし、所定の中間層ｈ２Ａの次の中間層ｈ３に入力するように構成されている。
【００６５】
本実施形態に係る学習部３６では、分析部３４で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとを用いて、学習用ニューラルネットワーク２１８Ｃにおける重みを更新する更新処理を行う。
【００６６】
より具体的には、分析部３４で学習データを分析して得られた分析結果と、当該学習データに付与されている正解ラベルとの誤差、及び当該学習データと、所定の中間層ｈ２Ａで得られた圧縮データから次の中間層ｈ３により復元したデータとの誤差の重み付き和である目的関数を最小化するように、学習用ニューラルネットワーク２１８Ｃにおける重みを更新する更新処理を行う。
【００６７】
本実施形態に係る変換部１４は、学習済みニューラルネットワーク２１８Ａにおける所定の中間層ｈ２Ｂの平均μを出力するノードの出力を、所定の中間層ｈ２Ｂの出力として用いて、圧縮データを出力する。
【００６８】
また、上記の実施形態としてデータ分析システムが、物理的に分かれている計器及び機器を備えている場合を例示して説明した。実施形態は、計器及び機器を一つの装置として構成してもよい。
【００６９】
また、上記の実施形態としてデータ分析システム及び学習装置を例示して説明した。実施形態は、コンピュータを、データ分析システム及び学習装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
【００７０】
その他、上記の実施形態で説明したデータ分析システム及び学習装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【００７１】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【００７２】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【符号の説明】
【００７３】
１０ 計器
１２ 入力部
１４ 変換部
１６ 出力部
１８、１８Ａ、１８Ｂ、２１８Ａ、２１８Ｂ 学習済みニューラルネットワーク
１８Ｃ、２１８Ｃ 学習用ニューラルネットワーク
２０ 機器
２２ 入力部
２４ 分析部
２６ 出力部
３０ 学習装置
３２ 入力部
３４ 分析部
３６ 学習部
３８ 出力部
９０ データ分析システム
【図１】
2020077155.tif 000003
【図２】
2020077155.tif 000004
【図３】
2020077155.tif 000005
【図４】
2020077155.tif 000006
【図５】
2020077155.tif 000007
【図６】
2020077155.tif 000008
【図７】
2020077155.tif 000009
【図８】
2020077155.tif 000010
【図９】
2020077155.tif 000011
【図１０】
2020077155.tif 000012