(57)【要約】【課題】モデリング対象の現象に関する実測値に欠損値が生じやすい場合であっても、モデリングの精度を維持すること。【解決手段】一形態にかかるモデリングシステム１は、複数の連続した時刻における直接観測できない変数である潜在変数ｚｔを、外部から与えられた外部変数ｕｔと、直前の時刻の潜在変数ｚｔ−１とから、非線形関数を用いて順次導出する第１導出部７ａと、複数の連続した時刻における直接観測できる変数である観測変数ｘｔを、同一の時刻の潜在変数ｚｔから、非線形関数を用いて順次導出する第２導出部７ｂと、複数の連続した時刻における直接観測できる変数である観測変数ｙｔを、同一の時刻の潜在変数ｚｔから、非線形関数を用いて順次導出する第３導出部７ｃと、を備える。【選択図】図１
2019212159.tif 000002
【特許請求の範囲】
【請求項１】
複数の連続した時刻における直接観測できない変数である潜在変数を、直前の時刻の前記潜在変数から、非線形関数を用いて順次導出する第１の導出部と、
前記複数の連続した時刻における直接観測できる変数である第１の観測変数を、同一の時刻の前記潜在変数から、非線形関数を用いて順次導出する第２の導出部と、
前記複数の連続した時刻における直接観測できる変数である第２の観測変数を、同一の時刻の前記潜在変数から、非線形関数を用いて順次導出する第３の導出部と、
を備えるモデリングシステム。
【請求項２】
前記第１の導出部は、外部から与えられた外部変数をさらに用いて前記潜在変数を順次導出する、
請求項１記載のモデリングシステム。
【請求項３】
前記第２の導出部は、外部から与えられた外部変数をさらに用いて前記第１の観測変数を順次導出し、
前記第３の導出部は、外部から与えられた外部変数をさらに用いて前記第２の観測変数を順次導出する、
請求項１又は２に記載のモデリングシステム。
【請求項４】
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、確率分布として導出する、
請求項１〜３のいずれか１項に記載のモデリングシステム。
【請求項５】
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、正規分布として導出する、
請求項４記載のモデリングシステム。
【請求項６】
前記潜在変数、前記第１の観測変数、及び前記第２の観測変数を、離散分布として導出する、
請求項４記載のモデリングシステム。
【請求項７】
前記非線形関数は、ニューラルネットワークを含んでいる、
請求項１〜６のいずれか１項に記載のモデリングシステム。
【請求項８】
前記非線形関数のパラメータを、前記第１の観測変数の実測値あるいは前記第２の観測変数の実測値を用いた機械学習により、予め最適化する学習部をさらに備える、
請求項１〜７のいずれか１項に記載のモデリングシステム。
【請求項９】
前記学習部は、前記第１の観測変数の実測値及び前記第２の観測変数の実測値を基にして、前記非線形関数に関するＥＬＢＯ値を計算し、前記ＥＬＢＯ値を目的関数とした機械学習により前記パラメータを最適化する、
請求項８に記載のモデリングシステム。
【請求項１０】
前記学習部は、前記第２の観測変数の実測値が存在する時刻と前記第２の観測変数の実測値が存在しない時刻とで異なる演算式を用いて前記ＥＬＢＯ値を計算し、複数の時刻で合計した前記ＥＬＢＯ値を前記目的関数として用いる、
請求項９に記載のモデリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現象の時間的変化をモデリングするモデリングシステムに関する。
【背景技術】
【０００２】
近年、様々な現象の時間的変化をモデル化する技術が浸透し始めている。下記特許文献１には、電力系統の状態量を推定する装置が開示され、この装置は、電力量の出現分布情報を受信する電力系統計測部、電力系統の状態推定を非線形カルマンフィルタを用いて計算するシミュレータ部、電力系統の計測データとシミュレータデータとを用いて確率的に尤もらしい状態値を算出する最尤状態算出部、及び、計測データとシミュレータデータとの差が小さくなるようにシミュレータ部のパラメータを逐次修正するパラメータ補正部からなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２０１５／０７９５５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来の装置では、モデリング対象の現象に関する実測値が時間的に連続して得られず欠損値が生じやすい場合に、シミュレータ部のパラメータを予め適切に設定しておくことが困難な傾向にある。そのため、実測値に欠損値が生じやすい場合にモデリングの精度が低下する傾向にあった。
【０００５】
本発明の一側面は、上記課題に鑑みて為されたものであり、モデリング対象の現象に関する実測値に欠損値が生じやすい場合であっても、モデリングの精度を維持することが可能なモデリングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一形態にかかるモデリングシステムは、複数の連続した時刻における直接観測できない変数である潜在変数を、直前の時刻の潜在変数から、非線形関数を用いて順次導出する第１の導出部と、複数の連続した時刻における直接観測できる変数である第１の観測変数を、同一の時刻の潜在変数から、非線形関数を用いて順次導出する第２の導出部と、複数の連続した時刻における直接観測できる変数である第２の観測変数を、同一の時刻の潜在変数から、非線形関数を用いて順次導出する第３の導出部と、を備える。
【０００７】
上記形態のモデリングシステムによれば、潜在変数の時間的な変化と、その変化に基づいた第１及び第２の観測変数の時間的な変化をモデリングすることにより、特定の現象における観測値のシミュレーションに利用することができる。特に、２つの観測変数を含んでモデリングされているので、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてモデルのパラメータを推定できる。その結果、モデリングの精度を維持することができる。
【０００８】
ここで、前記第１の導出部は、外部から与えられた外部変数をさらに用いて前記潜在変数を順次導出してもよく、第２の導出部は、外部から与えられた外部変数をさらに用いて前記第１の観測変数を順次導出してもよく、前記第３の導出部は、外部から与えられた外部変数をさらに用いて前記第２の観測変数を順次導出してもよい。こうすれば、外部の環境を考慮に入れてモデリングの精度をより高めることができる。
【０００９】
また、潜在変数、第１の観測変数、及び第２の観測変数を、確率分布として導出する、こととしてもよく、特に、正規分布として導出してもよい。かかる構成を備えれば、生物の連続的な状態等の自然現象を適切にモデリングすることができる。
【００１０】
また、潜在変数、第１の観測変数、及び第２の観測変数を、確率分布として導出する、こととしてもよく、特に、離散分布として導出してもよい。かかる構成を備えれば、生物の離散的な状態等の自然現象を適切にモデリングすることができる。
【００１１】
また、非線形関数は、ニューラルネットワークを含んでいてもよく、任意の非線形関数を選択してもよい。この場合、この場合、生物成長等の非線形な現象を適切にモデリングすることができる。
【００１２】
また、非線形関数のパラメータを、第１の観測変数の実測値あるいは第２の観測変数の実測値を用いた機械学習により、予め最適化する学習部をさらに備える、こととしてもよい。かかる構成を採れば、第１及び第２の実測値の実測値を用いてモデルに利用される非線形関数のパラメータを最適化することができる。特に、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてパラメータを効率的に最適化することができる。
【００１３】
また、学習部は、第１の観測変数の実測値及び第２の観測変数の実測値を基にして、非線形関数に関するＥＬＢＯ値を計算し、ＥＬＢＯ値を目的関数とした機械学習によりパラメータを最適化する、こととしてもよい。
【００１４】
また、学習部は、第２の観測変数の実測値が存在する時刻と第２の観測変数の実測値が存在しない時刻とで異なる演算式を用いてＥＬＢＯ値を計算し、複数の時刻で合計したＥＬＢＯ値を目的関数として用いる、こととしてもよい。これにより、２つの観測変数のうちの片方の観測変数の実測値が欠損しやすい状況下であっても、もう片方の実測値を用いてパラメータを効率的に最適化することができる。
【発明の効果】
【００１５】
本発明によれば、モデリング対象の現象に関する実測値に欠損値が生じやすい場合であっても、モデリングの精度を維持することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態にかかるモデリングシステムの概略構成を示す図である。
【図２】図１のモデリングシステムを構成するコンピュータのハードウェア構成を示す図である。
【図３】図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程を説明する概念図である。
【図４】図１の予測値生成器７が用いる学習モデルにおける各変数の設定内容の例を示す図表である。
【図５】図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程の他の例を説明する概念図である。
【図６】図１の予測値生成器７が用いる学習モデルのデータ系列の生成過程の他の例を説明する概念図である。
【図７】本実施形態おける算出糖度の誤差の評価値ＭＡＥ、ＲＭＳＥ、ＲＡＥ、ＲＳＥを示すグラフである。
【図８】本実施形態おける算出糖度の時間変化を示すグラフである。
【図９】本実施形態おける算出糖度の時間変化を示すグラフである。
【図１０】本実施形態おける算出糖度の時間変化を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明に係るモデリングシステムの好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１８】
まず、図１〜３を用いて、本発明の一実施形態にかかるモデリングシステム１の機能および構成を説明する。図１に示すモデリングシステム１は、事前に様々な現象を取り巻く環境をモデル化し、それによって生成された学習モデルを用いて現象の時間変化を探索するコンピュータシステムである。より具体的には、学習モデルを基に現象の時間変化を高精度に推定するモデリングシステムである。モデリングシステム１の探索対象の現象としては、例えば、トマト等の植物の生育状態とし、栽培環境および生育状態に関する観測値を訓練データとして用いて事前に学習モデルを最適化し、その学習モデルを用いて現在の生育状態を推定し定量化できる。
【００１９】
なお、モデリングシステム１の探索対象の現象としては、トマト等の植物の生育状態が挙げられるが、これには限定されない。例えば、モデリングシステム１は、動物または食品等のその他の有体物の状態、天候、病気、または漁獲等の自然現象の状態、通信ネットワーク、交通、ライフライン、株価、または需給等の社会現象の状態を探索対象としてもよい。また、本明細書でいう「系列」とは、複数の時点における現象の様々な観測値あるいは予測値を示す数値の系列であり、ある規則に基づいて複数の時点において観測することにより得られる数値の系列、学習モデルに従ったある計算式によって複数の時点に関して計算された数値の系列である。
【００２０】
図１に示すように、モデリングシステム１は、入力部３、学習部５、及び予測値生成器７を含んで構成されている。本実施形態では、モデリングシステム１は１つの装置によって構成されているが、データ送受信機能を有する複数の装置によって構成されていてもよい。
【００２１】
モデリングシステム１を構成するコンピュータ１００の一般的なハードウェア構成を図２に示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行する演算装置であるＣＰＵ（プロセッサ）１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。当然ながら、搭載されるハードウェアモジュールはコンピュータ１００の種類により異なる。例えば、据置型のＰＣおよびワークステーションは入力装置および出力装置としてキーボード、マウス、およびディスプレイを備えることが多いが、スマートフォンではタッチパネルが入力装置および出力装置として機能することが多い。また、ＣＰＵ１０１にＧＰＵが付加されていてもよい。
【００２２】
後述するモデリングシステム１の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
【００２３】
図１に戻って、入力部３は、学習モデルのモデル化（以下、単に「モデル化」ともいう。）のために用いられる訓練データ系列、及び、モデル化した学習モデルに従って現象の時間変化を探索する処理（以下、単に「探索処理」ともいう。）において用いられる外部変数データ系列を外部から受け付ける。例えば、モデリングシステム１が対象とする現象が植物の生育状態である場合には、訓練データ系列に含まれる観測値（実測値）として、糖度、茎径、温度、光量、飽差、開花後の経過日数、灌水後の経過時間、積算温度、二酸化炭素濃度等が挙げられる。また、外部変数データ系列に含まれる数値として、温度、光量、飽差、開花後の経過日数、灌水後の経過時間、積算温度、二酸化炭素濃度、対象花房等が想定される。入力部３は、訓練データ系列を、温度センサ、光センサ、カメラ等の外部センサ装置からの信号を基に生成したデータ系列として受け付けてもよいし、他のコンピュータシステム等の外部装置を介して受け付けてもよい。入力部３は、外部変数データ系列を、ユーザ入力に基づいて受け付けてもよいし、内部のプログラム等によって生成されたものとして受け付けてもよいし、他のコンピュータシステム等の外部装置から受け付けてもよい。
【００２４】
学習部５は、入力部３によって受け付けられた訓練データ系列を用いて予測値生成器７に対応する学習モデルのパラメータを予め最適化する。学習部５による学習モデルのパラメータの最適化の処理の詳細は後述する。
【００２５】
予測値生成器７は、学習部５によってパラメータが最適化された学習モデルを用いて探索処理を実行する機能部分である。予測値生成器７は、入力部３によって受け付けられた外部変数データ系列を用いて探索処理を実行し、適切な生育状態（例えば、経時糖度等）を推定し定量化して出力する。
【００２６】
ここで、予測値生成器７が用いる学習モデルにおいてデータ系列を生成する過程を説明する。図３は、予測値生成器７が用いる学習モデルにおけるデータ系列の生成過程を説明する概念図である。このように、この学習モデルは、状態空間モデル（ＳＳＭ：State  Space  Model）をベースとしており、直接観測できない状態モデルと状態モデルから生成される観測モデルの２系列のデータ系列を有する。状態モデルは、時刻ｔの潜在変数ｚｔと、その１つ前の時刻ｔ−１の潜在変数ｚｔ−１と、その１つ後の時刻ｔ＋１の潜在変数ｚｔ＋１とを含み、時刻ｔの潜在変数ｚｔは前の潜在変数ｚｔ−１と、ｚｔと同じ時刻の外部変数ｕｔを基に生成され、それ以降の潜在変数ｚｔ＋１は同様にして順次生成される。この潜在変数ｚｔは、直接観測できない現象に関する数値であり、例えば、植物の状態を示す。観測モデルは、時刻ｔの２つの直接観測できる変数である観測変数ｘｔ，ｙｔと、その１つ前の時刻ｔ−１の観測変数ｘｔ−１，ｙｔ−１と、その１つ後の時刻ｔ＋１の観測変数ｘｔ＋１，ｙｔ＋１とを含む。時刻ｔの観測変数ｙｔは潜在変数ｚｔと、同じ時刻ｔの外部変数ｒｔを基に生成され、それ以降の観測変数ｙｔ＋１は同様にして順次生成される。時刻ｔの観測変数ｘｔは潜在変数ｚｔと、同じ時刻ｔの外部変数ｓｔを基に生成され、それ以降の観測変数ｘｔ＋１は同様にして順次生成される。すなわち、観測変数ｙｔと観測変数ｘｔとは同じ潜在変数ｚｔを基に生成される。外部変数ｕｔ，ｒｔ，ｓｔは、それぞれ、潜在変数ｚｔ、観測変数ｙｔ、観測変数ｘｔに作用する変数である。このように、この学習モデルにおいては、各変数ｚｔ，ｙｔ，ｘｔで異なる外部変数を持つことにより、モデル化時に各変数の生成過程に適したデータを設定することで適切に現象の予測を行うことが可能となる。
【００２７】
学習モデルの対象を植物の状態とする場合には、各変数には、図４に示すような数値が設定される。潜在変数ｚｔには植物の状態が設定され、観測変数ｘｔ，ｙｔにはそれぞれ、植物の糖度、および植物の茎径が設定される。この観測変数ｘｔとしては、モデル化を行う際に系列のデータを連続して得ることが不可能である、あるいは、系列のデータを連続して得るためのコストが高い数値が設定され、この観測変数ｙｔとしては、モデル化を行う際に系列のデータを連続して得ることが可能である、あるいは、系列のデータを連続して得るためのコストが低い数値が設定される。また、外部変数ｕｔとしては、温度、光量、飽差、開花後の経過日数、及び積算温度等が設定され、外部変数ｒｔ，ｓｔとしては、ＣＯ２濃度、光量、対象花房（第一花房であるか第二花房であるか）等が設定される。
【００２８】
図１に戻って、予測値生成器７は、探索処理を実行する第１導出部７ａ、第２導出部７ｂ、及び第３導出部７ｃを有している。第１導出部７ａは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの潜在変数ｚｔを、外部から与えられた時刻ｔの外部変数ｕｔと、直前の時刻ｔ−１の潜在変数ｚｔ−１とから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮ（Deep  Neural  Network）を用いて最適化された非線形関数を用いる。ここでは、下記式（１）；
【数１】
2019212159.tif 000003
によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚｔ−１及び外部変数ｕｔから平均μｚ及び標準偏差σｚの正規分布（確率分布）Ｎ（ｚ）を生成する生成過程Ｐθが想定される。より詳細には、第１導出部７ａは、下記式（２）；
【数２】
2019212159.tif 000004
を用いて、潜在変数ｚｔを、平均μｚ及び標準偏差σｚの正規分布として導出する。上記式（２）中、ＮＮｚは、ＤＮＮを用いて表現された非線形関数である。
【００２９】
第２導出部７ｂは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの観測変数ｘｔを、外部から与えられた時刻ｔの外部変数ｓｔと、時刻ｔの潜在変数ｚｔとから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮを用いて最適化された非線形関数を用いる。ここでは、下記式（３）；
【数３】
2019212159.tif 000005
によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚｔ及び外部変数ｓｔから平均μｘ及び標準偏差σｘの正規分布（確率分布）Ｎ（ｘ）を生成する生成過程Ｐθが想定される。より詳細には、第２導出部７ｂは、下記式（４）；
【数４】
2019212159.tif 000006
を用いて、観測変数ｘｔを、平均μｘ及び標準偏差σｘの正規分布として導出する。上記式（４）中、ＮＮｘは、ＤＮＮを用いて表現された非線形関数である。
【００３０】
第３導出部７ｃは、上記の学習モデルを前提にして、連続したそれぞれの時刻ｔの観測変数ｙｔを、外部から与えられた時刻ｔの外部変数ｒｔと、時刻ｔの潜在変数ｚｔとから、非線形関数を用いて順次導出する。例えば、非線形関数としてはＤＮＮを用いて最適化された非線形関数を用いる。ここでは、下記式（５）；
【数５】
2019212159.tif 000007
によって表現されるマルコフ性を仮定した生成過程、すなわち、パラメータθによって表現された、潜在変数ｚｔ及び外部変数ｒｔから平均μｙ及び標準偏差σｙの正規分布（確率分布）Ｎ（ｙ）を生成する生成過程Ｐθが想定される。より詳細には、第３導出部７ｃは、下記式（６）；
【数６】
2019212159.tif 000008
を用いて、観測変数ｙｔを、平均μｙ及び標準偏差σｙの正規分布として導出する。上記式（６）中、ＮＮｙは、ＤＮＮを用いて表現された非線形関数である。
【００３１】
本実施形態のモデリングシステム１では、予測値生成器７によって様々な外部変数データ系列を用いた探索処理が実行され適切な生育状態をモデル化する。そのモデルを用いてモデルベース強化学習システムを構築すれば、目標の生育状態となるように最適な制御内容（例えば、灌水のタイミング等）を獲得することができる。
【００３２】
次に、学習部５による機械学習によるモデル化の処理の詳細について説明する。
【００３３】
学習部５は、入力部３によって受け付けられた訓練データ系列を用いて、ＤＮＮで表現された非線形関数ＮＮｚ，ＮＮｘ，ＮＮｙのパラメータを最適化する。モデル化に用いられる訓練データ系列は、各時刻ｔ１〜ｔｍ（ｍは自然数）において欠損値が含まれない外部変数ｕｔ，ｓｔ，ｒｔ及び観測変数ｘｔ，ｙｔのラベルデータ系列Ｄｌと、各時刻ｔ１〜ｔｎ（ｎは自然数）において観測変数ｘｔが欠損している外部変数ｕｔ，ｓｔ，ｒｔ及び観測変数ｙｔのアンラベルデータ系列Ｄｕとを含んでいる。そして、学習部５は、ラベルデータ系列Ｄｌとアンラベルデータ系列Ｄｕとのそれぞれを対象に、変分ベイズ法の枠組みを勾配法で解く最適化手法（「Kingma,  D.P.,  &  Welling,  M.  :  Auto-Encoding  Variational  Bayes,  arXiv  preprint,  arXiv:  1312.6114(2013)」を参照）を用いて非線形関数ＮＮｚ，ＮＮｘ，ＮＮｙのパラメータを最適化する。
【００３４】
詳細には、学習部５は、ラベルデータ系列Ｄｌに対し近似事後分布を用い、パラメータθ，φを最適化するＥＬＢＯ（Evidence  Lower  Bound）値をデータの周辺尤度から、下記式（７）を用いて計算する。
【数７】
2019212159.tif 000009
上記（７）中、ｌｏｇｐθ（ｙｔ｜ｚｔ）は、訓練データ系列の観測変数ｙｔに関する潜在変数ｚｔの対数尤度であり、ｌｏｇｐθ（ｘｔ｜ｙｔ，ｚｔ）は、訓練データ系列の観測変数ｘｔに関する潜在変数ｚｔの対数尤度であり、時刻ｔのｑφ（ｚｔ）は、１つ前の時刻ｔ−１の潜在変数ｚｔ−１と、同じ時刻ｔの観測変数ｘｔ，ｙｔから潜在変数ｚｔを導き出すパラメータφを有する認識モデル（近似事後確率分布）の式である。また、ＤＫＬ（Ａ||Ｂ）は、ＡとＢとの間のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量を示し、右辺の第１項及び第３項はそれぞれ、観測変数ｘｔに関する潜在変数ｚｔの対数尤度の期待値と観測変数ｙｔに関する潜在変数ｚｔの対数尤度の期待値との和、及び潜在変数ｚｔの近似事後確率分布と潜在変数ｚｔの事前確率分布との近似度を示すＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量の期待値を示している。
【００３５】
加えて、学習部５は、アンラベルデータ系列Ｄｕに対し近似事後分布を用い、パラメータθ，φを最適化するＥＬＢＯ値を、上記式（７）とは異なる下記式（８）を用いて計算する。
【数８】
2019212159.tif 000010
上記（８）中、ｑφ（ｘｔ｜ｙｔ）は、時刻ｔの観測変数ｙｔから同じ時刻ｔの観測変数ｘｔを導き出すパラメータφを有する認識モデル（近似事後確率分布）の式であり、Ｈ（Ａ）は、Ａのエントロピーを示す。つまり、ＥＬＢＯ値Ｌｕは、観測変数ｙｔから導き出される観測変数ｘｔの近似事後確率分布におけるＥＬＢＯ値Ｌｌの期待値と近似事後確率分布ｑφ（ｘｔ｜ｙｔ）の期待値の和を示している。
【００３６】
さらに、学習部５は、ラベルデータ系列Ｄｌに対し計算したＥＬＢＯ値Ｌｌと、アンラベルデータ系列Ｄｕに対し計算したＥＬＢＯ値Ｌｕとを加算することにより、下記式（９）；
【数９】
2019212159.tif 000011
を用いて目的関数Ｊを計算する。上記式（９）中、右辺の第３項は観測変数ｘｔの周辺尤度の期待値である。そして、学習部５は、目的関数Ｊを最大化するように学習モデルのパラメータθ，φの最適化することによってモデル化の処理を実行する。なお、ＥＬＢＯ値Ｌｌ，Ｌｕがパラメータθ，φに関して微分可能なため、目的関数もパラメータθ，φに関して微分可能である。学習部５は、逆伝搬を介した確率的勾配降下法（Stochastic  Gradient  Descent）によってパラメータθ，φを最適化することができる。
【００３７】
以上説明した実施形態に係るモデリングシステム１によれば、外部変数ｕｔに基づいた潜在変数ｚｔの時間的な変化と、その変化に基づいた観測変数ｘｔ，ｙｔの時間的な変化をモデリングすることにより、特定の現象における観測値ｘｔ，ｙｔのシミュレーションに利用することができる。特に、２つの観測変数ｘｔ，ｙｔを含んでモデリングされているので、２つの観測変数ｘｔ，ｙｔのうちの片方の観測変数ｘｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙｔを用いて学習モデルのパラメータを機械学習によって推定できる。その結果、モデリングの精度を維持することができる。
【００３８】
本実施形態では、潜在変数ｚｔ、観測変数ｘｔ，ｙｔを正規分布として導出している。このようにすれば、生物の連続的な状態等の自然現象を適切にモデリングすることができる。
【００３９】
また、学習モデルで用いられる非線形関数はニューラルネットワークを含んで表現されているので、生物成長等の非線形な現象を適切にモデリングすることができる。
【００４０】
また、モデリングシステム１には、非線形関数のパラメータθを、観測変数ｘｔ，ｙｔの実測値を用いた機械学習により、予め最適化する学習部５を備えている。このような構成により、２つの観測変数ｘｔ，ｙｔのうちの片方の観測変数ｘｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙｔを用いてパラメータθを効率的に最適化することができる。
【００４１】
さらに、学習部５は、観測変数ｘｔの実測値が存在する時刻に対応するラベルデータ系列Ｄｌと観測変数ｘｔの実測値が存在しない時刻に対応するアンラベルデータ系列Ｄｕとで異なる演算式を用いてＥＬＢＯ値Ｌｌ，Ｌｕを計算し、それらを合計した値を目的関数として用いている。これにより、２つの観測変数ｘｔ，ｙｔのうちの片方の観測変数ｘｔの実測値が欠損しやすい状況下であっても、もう片方の実測値ｙｔを用いてパラメータθを効率的に最適化することができる。
【００４２】
なお、本発明は、上述した実施形態の態様に限定されるものではない。
【００４３】
例えば、モデリングシステム１の予測値生成器７が用いる学習モデルは、様々なデータ系列の生成過程を反映したものが採用可能である。
【００４４】
上記実施形態のモデリングシステム１は、図５に示すような生成過程を有する学習モデルに対応したモデル化処理及び探索処理を実行してもよい。図５に示す生成過程は、図３に示す生成過程と比較して、状態モデルにおいて、潜在変数ｄｔを離散分布として導出する点が異なる。モデリングシステム１は、上述した実施形態と同様にして、学習部５がモデル化処理を実行し、予測値生成器７が探索処理を実行することができる。このような学習モデルに対応した処理を実行することで、生物の離散的な状態（例えば、生育段階）等の自然現象を適切にモデリングすることができる。
【００４５】
また、上記実施形態のモデリングシステム１は、図６に示すような生成過程を有する学習モデルに対応したモデル化処理及び探索処理を実行してもよい。図５に示す生成過程は、図３に示す生成過程と比較して、さらにもう１つの状態モデルが追加され、追加された状態モデルにおいて、潜在変数ｄｔを離散分布として導出する点が異なる。追加された状態モデルでは、時刻ｔにおける潜在変数ｄｔが、同じ時刻ｔにおける外部変数ｖｔと、１つ前の時刻ｔ−１の潜在変数ｄｔ−１に基づいて生成される。また、観測モデルにおいては、時刻ｔの観測変数ｘｔ，ｙｔが、それぞれ、同じ時刻ｔの潜在変数ｚｔに加えて、同じ時刻ｔの潜在変数ｄｔに基づいて生成される。モデリングシステム１は、上述した実施形態と同様にして、学習部５がモデル化処理を実行し、予測値生成器７が探索処理を実行することができる。このような学習モデルに対応した処理を実行することで、生物の離散的な状態（例えば、生育段階）と連続的な状態（例えば、水分状態）等を組み合わせた自然現象を適切にモデリングすることができる。
【００４６】
また、上記実施形態のモデリングシステム１においては、第１導出部７ａが、外部変数ｕｔを用いないで、潜在変数ｚｔ−１のみから、潜在変数ｚｔを導出してもよいし、第２導出部７ｂが、外部変数ｓｔを用いないで、潜在変数ｚｔのみから、潜在変数ｘｔを導出してもよいし、第３導出部７ｃが、外部変数ｒｔを用いないで、潜在変数ｚｔのみから、潜在変数ｙｔを導出してもよい。同様に、図５あるいは図７に示す生成過程に対応する学習モデルが採用された場合も、いずれかあるいは全ての外部変数を用いないで各変数が導出されてもよい。
【００４７】
以下、本実施形態に係るモデリングシステム１における観測変数の推定精度について評価する。ここでは、図３に対応する学習モデルを欠損値の無いラベルデータ系列Ｄｌを用いてモデル化した場合（以下、「Ｃｏｎｔ−Ｓ」と示す。）、図３に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄｕを用いてモデル化した場合（以下、「Ｃｏｎｔ−ＳＳ」と示す。）、図５に対応する学習モデルを欠損値の無いラベルデータ系列Ｄｌを用いてモデル化した場合（以下、「Ｄｉｓｃ−Ｓ」と示す。）、図５に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄｕを用いてモデル化した場合（以下、「Ｄｉｓｃ−ＳＳ」と示す。）、図６に対応する学習モデルを欠損値の無いラベルデータ系列Ｄｌを用いてモデル化した場合（以下、「２Ｌ−Ｓ」と示す。）、及び、図６に対応する学習モデルを欠損値のあるアンラベルデータ系列Ｄｕを用いてモデル化した場合（以下、「２Ｌ−ＳＳ」と示す。）の評価結果を示した。
【００４８】
図７には、それぞれの場合での算出糖度の誤差の評価値ＭＡＥ（Mean  Absolute  Error）、ＲＭＳＥ（Root  Mean  Square  Error）、ＲＡＥ（Relative  Absolute  Error）、ＲＳＥ（Relative  Square  Error）を示している。このように、欠損値のあるデータ系列も用いてモデル化したＣｏｎｔ−ＳＳの場合は、欠損値の無いデータ系列のみを用いてモデル化したＣｏｎｔ−Ｓに比較して、ＭＡＥが４１％、ＲＭＳＥが４６％低下した。また、その他の生成過程を有する学習モデルについても、同様に、欠損値のあるデータ系列も用いてモデル化した場合のほうが、精度が向上していることが評価された。特に、Ｃｏｎｔ−ＳＳ、ＤｉｓｃＳＳ、及び２Ｌ−ＳＳの全てにおいて、ＲＡＥ及びＲＳＥが１未満となっており高精度が実現できている。
【００４９】
図８〜１０には、それぞれの場合での算出された糖度平均値の時間変化を糖度の実測値と比較して示している。これらの結果から、欠損値のあるデータ系列も用いてモデル化したＣｏｎｔ−ＳＳ、Ｄｉｓｃ−ＳＳ、及び２Ｌ−ＳＳの場合は、欠損値の無いデータ系列のみを用いてモデル化したＣｏｎｔ−Ｓ、Ｄｉｓｃ−Ｓ、及び２Ｌ−Ｓに比較して、糖度の時間変化に追随できていることが分かった。このように、観測変数に欠損値が生じても相補的なモデル化処理によって潜在空間を適切に表現できており、少量の訓練データによっても高い表現力が維持された学習モデルをモデル化できていることが分かった。
【符号の説明】
【００５０】
１…モデリングシステム、３…入力部、５…学習部、７…予測値生成器、７ａ…第１導出部、７ｂ…第２導出部、７ｃ…第３導出部、ｄｔ，ｚｔ…潜在変数、ｒｔ，ｓｔ，ｕｔ，ｖｔ…外部変数、ｘｔ，ｙｔ…観測変数。
【図１】
2019212159.tif 000012
【図２】
2019212159.tif 000013
【図３】
2019212159.tif 000014
【図４】
2019212159.tif 000015
【図５】
2019212159.tif 000016
【図６】
2019212159.tif 000017
【図７】
2019212159.tif 000018
【図８】
2019212159.tif 000019
【図９】
2019212159.tif 000020
【図１０】
2019212159.tif 000021