(57)【要約】【課題】被験体毎に追加の学習又は調整を行うことなく、被験体の生体信号データから個体差に関係する信号成分を抽出し分離して、被験体の疾患診断精度の向上と疾患関連信号の可視化を可能とする状態予測方法および装置を提供する。【解決手段】複数の被験体の生体信号を測定して得られた時系列の生体信号データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する。一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルを構築する。そして、複数の被験体の生体信号データを入力して深層生成モデルを学習する。そして、入力した生体信号データから、個体差を表現する特徴量と、上記の信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行う。【選択図】図２
2020042598.tif 000002
【特許請求の範囲】
【請求項１】
複数の被験体の生体信号を測定して得られた時系列の生体信号データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する方法であって、
１）一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、前記生体信号データに関連付けして前記深層生成モデルを構築するステップと、
２）複数の被験体の前記生体信号データを入力して深層生成モデルを学習するステップと、
３）入力した前記生体信号データから、前記個体差を表現する特徴量と前記信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行うステップ、
を備えたことを特徴とする状態予測方法。
【請求項２】
前記深層生成モデルを構築するステップにおいて、更に測定環境差を表現する特徴量が、前記生体信号データに関連付けられ、状態ラベル、個体差を表現する特徴量、測定環境差を表現する特徴量、及び、状態ラベルと個体差と測定環境差とに依存しないが時間的に変化し得る信号成分を、前記生体信号データに関連付けして前記深層生成モデルが構築されることを特徴とする請求項１に記載の状態予測方法。
【請求項３】
前記深層生成モデルにおいて、
同一の被験体の複数の生体信号データが、前記個体差を表現する特徴量を共有し、
前記深層生成モデルが、VAE（Variational Auto-Encoder）で構成される場合には、
前記個体差を表現する特徴量は、事前分布に従う潜在変数としてモデル化されることを特徴とする請求項１に記載の状態予測方法。
【請求項４】
前記深層生成モデルにおいて、
同一の測定環境で計測された複数の生体信号データが、前記測定環境差を表現する特徴量を共有し、
前記深層生成モデルが、VAE（Variational Auto-Encoder）で構成される場合には、
前記測定環境差を表現する特徴量は、事前分布に従う潜在変数としてモデル化されることを特徴とする請求項２に記載の状態予測方法。
【請求項５】
前記深層学習するステップにおいて、
前記個体差を表現する特徴量の推定には、
１つの前記生体信号データとそれに関連付けされた状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、
前記生体信号データの集合から得られた活性値の平均を入力として、前記個体差を表現する特徴量を出力する第２のニューラルネットワークと、
から構成される集団符号化器を用いることを特徴とする請求項１又は３に記載の状態予測方法。
【請求項６】
前記深層学習するステップにおいて、
前記測定環境差を表現する特徴量の推定には、
同一環境で測定された１つ以上の前記生体信号データとそれに関連付けされた状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、
前記生体信号データの集合から得られた活性値の平均を入力として、前記測定環境差を表現する特徴量を出力する第２のニューラルネットワークと、
から構成される集団符号化器を用いることを特徴とする請求項２又は４に記載の状態予測方法。
【請求項７】
被験体の状態予測した結果を表示するステップを更に備えたことを特徴とする請求項１〜６の何れかに記載の状態予測方法。
【請求項８】
前記生体信号データは、ｆＭＲＩ（functional Magnetic Resonance Imaging）画像データ、ＭＲＩ（Magnetic Resonance Imaging）画像データ、ＰＥＴ(Positron Emission Tomography)画像データ、超音波画像データ、脳波データ、心電図データ、心拍数データ、発汗量データ、血中酸素濃度データ、又は、血糖値データの何れかであることを特徴とする請求項１〜７の何れかに記載の状態予測方法。
【請求項９】
前記深層生成モデルは、VAE（Variational Auto-Encoder）を含むAE（Auto-Encoder）、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy-based Probabilistic Model）、FG（Flow-based Generative Model）、AR（Auto-regressive Model）の何れかを用いたことを特徴とする請求項１〜８の何れかに記載の状態予測方法。
【請求項１０】
複数の被験体の生体信号を測定して得られた時系列の生体信号データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する装置であって、
１）一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、前記生体信号データに関連付けして前記深層生成モデルを構築する生成モデル構築部と、
２）複数の被験体の前記生体信号データを入力して深層生成モデルを学習する学習部と、
３）入力した前記生体信号データから、前記個体差を表現する特徴量と、前記信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行う状態予測部、
を備えたことを特徴とする状態予測装置。
【請求項１１】
前記生成モデル構築部において、更に測定環境差を表現する特徴量が、前記生体信号データに関連付けられ、前記状態ラベル、前記個体差を表現する特徴量、前記測定環境差を表現する特徴量、及び、状態ラベルと個体差と測定環境とに依存しないが時間的に変化し得る信号成分を、前記生体信号データに関連付けして前記深層生成モデルが構築されることを特徴とする請求項１０に記載の状態予測装置。
【請求項１２】
前記深層生成モデルにおいて、
同一の被験体の複数の生体信号データが、前記個体差を表現する特徴量を共有し、
前記深層生成モデルが、VAE（Variational Auto-Encoder）で構成される場合には、
前記個体差を表現する特徴量は、事前分布に従う潜在変数としてモデル化されることを特徴とする請求項１０に記載の状態予測装置。
【請求項１３】
前記深層生成モデルにおいて、
同一の測定環境で計測された複数の生体信号データが、前記測定環境差を表現する特徴量を共有し、
前記深層生成モデルが、VAE（Variational Auto-Encoder）で構成される場合には、
前記測定環境差を表現する特徴量は、事前分布に従う潜在変数としてモデル化されることを特徴とする請求項１１に記載の状態予測装置。
【請求項１４】
前記学習部において、
前記個体差を表現する特徴量の推定には、
１つの前記生体信号データと状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、
前記生体信号データの集合から得られた活性値の平均を入力として、前記個体差を表現する特徴量を出力する第２のニューラルネットワークと、
から構成される集団符号化器を用いることを特徴とする請求項１０又は１２に記載の状態予測装置。
【請求項１５】
前記学習部において、
前記測定環境差を表現する特徴量の推定には、
同一環境で測定された１つ以上の前記生体信号データとそれに関連付けされた状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、
前記生体信号データの集合から得られた活性値の平均を入力として、前記測定環境差を表現する特徴量を出力する第２のニューラルネットワークと、
から構成される集団符号化器を用いることを特徴とする請求項１１又は１３に記載の状態予測装置。
【請求項１６】
被験体の状態予測した結果を表示する表示部を更に備えたことを特徴とする請求項１０〜１５の何れかに記載の状態予測装置。
【請求項１７】
請求項１〜７の何れかの状態予測方法における各ステップを、コンピュータに実行させるための状態予測プログラム。
【請求項１８】
請求項１０〜１６の何れかの状態予測装置における前記生成モデル構築部、前記学習部、及び前記状態予測部として、コンピュータを機能させるための状態予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脳機能画像データ，脳波，心拍や発汗データなどの生体信号データから、精神疾患を含む様々な疾患の状態を予測する技術に関するものである。
【背景技術】
【０００２】
近年、精神疾患を含む様々な疾患をもつ人口は上昇しており、早期発見、早期治療は、喫緊の課題となっている。生体信号データから疾患の進行度を数値化できれば、早期発見のみならず、治療法の評価など様々な応用が可能である。そのため、多様な生体信号データの医用データを活用して、機械学習による疾患に関わるバイオマーカーの発見が期待されている。このようなバイオマーカーの発見は、疾患の機序を明らかにするだけでなく、疾患の早期診断や定量的評価を可能にし、患者のクオリティ・オブ・ライフにも貢献すると共に、治療の有効性評価も可能になる。しかし、医用データの蓄積が行われているが、データセットの大きさは一般画像認識などに比べて遥かに小さく、解析には特徴選択や次元削減のような複雑な前処理と手続きが必要である。
【０００３】
また、生体信号データには、被験体の年齢，性別，身体的特徴や生活環境などの情報が信号成分として存在する。生体信号データから、疾患に由来するデータのみを抽出し分離することは困難である。また、生体信号データを計測する計測器毎に、分解能や感度（Ｓ／Ｎ比）が異なるため、これら計測器の特性も不要な信号成分として生体信号データの中に存在する。生体信号データとして脳機能画像データを例に挙げると、頭部の形状や機能的脳地図に個体差が存在する。
【０００４】
かかる状況下、脳機能画像データの解析に生成モデルの手法を用いた研究成果が報告されている（例えば、非特許文献１〜３を参照）。例えば、隠れマルコフモデルを用いて、脳機能画像データの背後にある脳の大規模神経系のダイナミクスのモデル化を試みた研究成果（非特許文献１）や、刺激への応答と線形の生成モデルでモデル化することにより脳機能画像データから刺激を推定した研究成果（非特許文献２）などが報告されている。これらのモデル化では、全被験体に共通のモデルと各被験体の個体差を表現するモデルの組み合わせによるモデル化を行っているため、新しい被験体に適応するためには個体差を表現するモデル部分を新たに調整する必要がある。
【０００５】
一方、深層学習と呼ばれる深層ニューラルネットワークを用いて、与えられたデータから、目的に必要な高次の特徴を自動的に学習することにより、様々なタスクで高い性能結果が報告されている。深層学習には主に“教師あり”分類を行う多層パーセプトロンと、“教師なし”次元削減が可能な自己符号化器（オートエンコーダ）が存在し、以前から脳機能画像データの解析に用いられている。深層学習には、深層生成モデルと呼ばれる生成モデルを実装できる構造が存在する。
【０００６】
本発明者らは、この深層生成モデルを用いて、脳機能画像データに加え被験体の状態（疾患の有無）をモデル化し、高い精度で被験体の疾患を診断できることを既に示している（非特許文献３を参照）。分類に一般的に用いられる識別モデルに比べ、生成モデルはその構造が一種の拘束条件として働くことから、想定した構造が真の構造に近ければ、少ないサンプル数のデータセットに対しても、高い精度で分類できることが知られている（非特許文献４を参照）。被験体の年齢や性別を既知の情報として与えることにより、関連する信号成分を除去するアプローチも知られている（非特許文献５を参照）。そのため、脳機能画像データの背後にある構造を深層生成モデル上で実現することにより、診断精度の向上とさらなる解析の可能性がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】H. Suk et al., “State-space model with deep learning for functional dynamics estimation in resting-state fMRI”,  NeuroImage, vol.129, pp.292-307, 2016.
【非特許文献２】P. Chen et al., “A Reduced-Dimension fMRI Shared Response Model”, Advances in Neural Information Processing Systems 28, 2015.
【非特許文献３】T. Matsubara et al., “Deep Neural Generative Model for fMRI Image Based Diagnosis of Mental Disorder Diagnosis”, arXiv: 1712.06260, 2017.
【非特許文献４】A. Prasad et al., “On Separability of Loss Functions, and Revisiting Discriminative Vs Generative Models”, in Advances in Neural Information Processing Systems (NIPS), pp.7053-7062, 2017.
【非特許文献５】N. Yahata et al., “A small number of abnormal brain connections predicts adult autism spectrum disorder”, Nature Communications, vol.7, no.7, pp.11254, 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の如く、本発明者らは、脳機能画像データの解析において、構造化深層生成モデルを用いて疾患診断精度の向上を図る研究を行っている（非特許文献３）。
しかしながら、非特許文献３に開示した方法では、個体差の信号成分を分離できておらず、疾患診断精度も限定的であるといった課題がある。被験体毎に機械学習を用いて個体差を分離するアプローチが知られているが（非特許文献２）、個々の被験体に対して膨大な計測データの追加の学習や調整が必要になるといった問題がある。また、被験体の年齢や性別を既知の情報として与えることにより、関連する信号成分を除去するアプローチが知られているが（非特許文献５）、生活環境や計測器の特性の違いなど数値化しにくい信号成分を除去することは困難であるといった問題がある。
【０００９】
かかる状況に鑑みて、本発明は、被験体毎に追加の学習又は調整を行うことなく、被験体の生体信号データから被験体の年齢，性別，身体的特徴や生活環境など個体差に関係する特徴量を抽出し分離して、被験体の疾患診断精度の向上と疾患関連信号の可視化を可能とする状態予測方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決すべく、本発明の状態予測方法は、複数の被験体の生体信号を測定して得られた時系列の生体信号データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する方法であって、下記１）〜３）のステップを備える。
１）一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルを構築するステップ。
２）複数の被験体の生体信号データを入力して深層生成モデルを学習するステップ。
３）入力した生体信号データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行うステップ。
【００１１】
本発明によれば、脳機能画像データなどの生体信号データの解析のために、個体差をモデル化した深層生成モデルを構築し、入力した生体信号データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行い、被験体の疾患診断精度の向上と疾患関連信号の可視化を実現できる。
本発明の状態予測方法は、複数の生体信号データが直接観測不可の潜在変数（個体差を表現する特徴量）を共有しているとし、深層生成モデルを構築する。すなわち、同一被験体の複数の生体信号データであれば、個体差を表現する特徴量を共有しているとする。本明細書において被験体とは、生体信号データを測定するヒトや動物などの生体といった意味で用いる。
【００１２】
状態ラベルは、状態の有無を示すラベルであり、一度の計測において変化しないものである。状態ラベルが疾患状態を示す場合は、疾患の有無の診断ラベルである。状態ラベルは、疾患の有無に限らず、有無以外に深刻度（慢性痛などには等級が該当）を示すこともある。
個体差は、単一の被験体から得られた全ての生体信号データ（例えば、脳機能画像データ）が共有する潜在変数としてモデル化され、それらの生体信号データから推論することによって、未知の被験体に対しても汎化することが可能である。ここで、個体差を表現する特徴量とは、上記のとおり、生体信号データにおいて個体差を表現する直接観測不可の潜在変数である。
【００１３】
深層生成モデルは、入力するデータを多次元同時確率分布で表現し、入力するデータに現われる特徴的な信号成分を効率よく表現できる生成モデルである。本発明では、一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルを構築する。そして、複数の被験体の生体信号データを入力して深層生成モデルを学習して、入力した生体信号データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行う。
【００１４】
深層生成モデルにおいて、同一の被験体の複数の生体信号データが個体差を表現する特徴量を共有する。すなわち、一の生体信号データは同じ被験体から得られた別の生体信号データと個体差を表現する特徴量を共有する。
これを前提にすることにより、生体信号データを信号成分に分解して、再び元の生体信号データを再構築する際には、同じ個体差を表現する特徴量が同じ値を取るという拘束条件を与えることができる。
【００１５】
本発明の状態予測方法における深層生成モデルを構築するステップにおいて、更に測定環境差を表現する特徴量が、生体信号データに関連付けられ、状態ラベル、個体差を表現する特徴量、測定環境差を表現する特徴量、及び、状態ラベルと個体差と測定環境差とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルが構築されることが好ましい。
【００１６】
ここで、測定環境差を表現する特徴量とは、生体信号データを測定する測定機器の特徴量、例えば、機器の分解能や感度（Ｓ／Ｎ比）などの特性によって変動する信号成分である。
生体信号データでは、個体差と環境差では共有されている範囲が異なる。そのため、同一被験体から得られた生体信号データは単一の特徴量（＝個体差）を共有し、また、単一の測定環境で測定された複数の被験体から得られた生体信号データは単一の特徴量（＝測定環境差）を共有している。すなわち、一の生体信号データは同じ被験体から得られた別の生体信号データと個体差を表現する特徴量を共有し、また、一の生体信号データは同じ測定環境から得られた別の生体信号データと測定環境差を表現する特徴量を共有している。
これを前提にすることにより、生体信号データを信号成分に分解して、再び元の生体信号データを再構築する際には、同じ個体差を表現する特徴量と測定環境差を表現する特徴量が同じ値を取るという拘束条件を与えることができる。
【００１７】
上記の深層生成モデルにおいて、同一の被験体の複数の生体信号データが、個体差を表現する特徴量を共有する。特に、深層生成モデルが、VAE（Variational Auto-Encoder）で構成される場合には、個体差を表現する特徴量は、事前分布に従う潜在変数としてモデル化される。VAEは、深層学習を用いた生成モデルとして代表的なものであり、データに存在する潜在変数（特徴量）を高い精度で得られることがわかっている。
また、上記の深層生成モデルにおいて、同一の測定環境で計測された複数の生体信号データが、測定環境差を表現する特徴量を共有する。特に、深層生成モデルが、VAEで構成される場合には、測定環境差を表現する特徴量は、事前分布に従う潜在変数としてモデル化される。
【００１８】
上述の深層学習するステップにおいて、個体差を表現する特徴量の推定には、１つの生体信号データとそれに関連付けされた状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、生体信号データの集合から得られた活性値の平均を入力として個体差を表現する特徴量を出力する第２のニューラルネットワークと、から構成される集団符号化器を用いる。
第１のニューラルネットワークと第２のニューラルネットワークの２つのニューラルネットワークが重なった（階層化されていない）集団符号化器を用いて、個体差に依存する特徴量を推定、具体的には、事前分布に従う潜在変数に関する重みのパラメータを推定する。第１のニューラルネットワークは、状態ラベルを入力として活性値を出力する。そして、第２のニューラルネットワークでは、活性値の平均を入力として再パラメータ化を用いて個体差を表現する特徴量の事後分布を出力する。
同様に、深層学習するステップにおいて、測定環境差を表現する特徴量の推定には、同一環境で測定された１つ以上の生体信号データとそれに関連付けされた状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、生体信号データの集合から得られた活性値の平均を入力として測定環境差を表現する特徴量を出力する第２のニューラルネットワークと、から構成される集団符号化器を用いる。
測定環境差を表現する特徴量の推定の場合、一つの被験体の生体信号データでは、個人差を表現する特徴量と区別がつかないことから、同一環境で測定された複数の被験体のデータを使うことが好ましい。
【００１９】
本発明の状態予測方法は、被験体の状態予測した結果を表示するステップを更に備える。
本発明における生体信号データは、ｆＭＲＩ（functional Magnetic Resonance Imaging）画像データ、ＭＲＩ（Magnetic Resonance Imaging）画像データ、ＰＥＴ(Positron Emission Tomography)画像データ、超音波画像データ、脳波データ、心電図データ、心拍数データ、発汗量データ、血中酸素濃度データ、又は、血糖値データの何れかである。
ここで、ｆＭＲＩ画像データは時系列データである一方、ＭＲＩ画像データは一般に時系列ではないが、時系列データではないＭＲＩ画像データであっても、経過観察などのために複数回撮影したＭＲＩ画像データは、時系列の生体信号データに準じて処理することが可能である。
【００２０】
本発明における深層生成モデルは、VAE（Variational Auto-Encoder）を含むAE（Auto-Encoder）、GAN（Generative Adversarial Nets）、GMM（Generative Moment Matching）、EP（Energy-based Probabilistic Model）、FG（Flow-based Generative Model）、AR（Auto-regressive Model）の何れかを用いることが好ましい。なお、深層生成モデルとしてVAEを用いる場合のみ、再パラメータ化、すなわち、上述した集団符号化器の第２のニューラルネットワークにおける活性値の平均を入力として個体差に依存する特徴量の事後分布を表現するパラメータを出力することが可能である。
【００２１】
次に、本発明の状態予測装置について説明する。
本発明の状態予測装置は、複数の被験体の生体信号を測定して得られた時系列の生体信号データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する装置であって、下記１）〜３）を備える。
１）一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルを構築する生成モデル構築部。
２）複数の被験体の生体信号データを入力して深層生成モデルを学習する学習部。
３）入力した生体信号データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて被験体の状態予測を行う状態予測部。
【００２２】
本発明の状態予測装置の生成モデル構築部において、更に測定環境差を表現する特徴量が、生体信号データに関連付けられ、状態ラベル、個体差を表現する特徴量、測定環境差を表現する特徴量、及び、状態ラベルと個体差と測定環境とに依存しないが時間的に変化し得る信号成分を、生体信号データに関連付けして深層生成モデルが構築されることが好ましい。
【００２３】
本発明の状態予測装置の深層生成モデルにおいて、同一の被験体の複数の生体信号データが、個体差を表現する特徴量を共有し、特に、深層生成モデルが、VAEで構成される場合には、個体差を表現する特徴量は、事前分布に従う潜在変数としてモデル化される。
同様に、深層生成モデルにおいて、同一の測定環境で計測された複数の生体信号データが、測定環境差を表現する特徴量を共有し、特に、深層生成モデルが、VAEで構成される場合には、測定環境差を表現する特徴量は、事前分布に従う潜在変数としてモデル化される。
【００２４】
また、本発明の状態予測装置における学習部では、個体差を表現する特徴量の推定に、１つの生体信号データと状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、生体信号データの集合から得られた活性値の平均を入力として、個体差を表現する特徴量を出力する第２のニューラルネットワークとから構成される集団符号化器を用いる。
同様に、学習部では、測定環境差を表現する特徴量の推定に、１つの生体信号データと状態ラベルを入力として活性値を出力する第１のニューラルネットワークと、生体信号データの集合から得られた活性値の平均を入力として、測定環境差を表現する特徴量を出力する第２のニューラルネットワークとから構成される集団符号化器を用いる。
本発明の状態予測装置は、被験体の状態予測した結果を表示する表示部を更に備える。
【００２５】
本発明の状態予測プログラムは、上述の本発明の状態予測方法における各ステップを、コンピュータに実行させるためのプログラムである。また、本発明の状態予測プログラムは、上述の本発明の状態予測装置における生成モデル構築部、学習部、及び状態予測部として、コンピュータを機能させるためのプログラムである。
【発明の効果】
【００２６】
本発明によれば、被験体毎に追加の学習又は調整を行うことなく、被験体の生体信号データから個体差に関係する特徴量を抽出し分離して、疾患診断精度の向上と疾患関連信号の可視化を図れる効果がある。また測定環境差に関係する特徴量を抽出し分離して、更なる精度向上を図ることができる。
【図面の簡単な説明】
【００２７】
【図１】状態予測方法のフロー図
【図２】状態予測装置の機能ブロック図
【図３】実施例１の深層生成モデルの構成模式図
【図４】深層ニューラルネットワークの概念図
【図５】集団符号化器の構成模式図
【図６】集団符号化器の説明図
【図７】符号化器及び復号化器の構成模式図
【図８】符号化／復号化の概念図
【図９】時系列の脳機能画像データのデータ構造の一例
【図１０】実施例２の深層生成モデルの構成模式図
【図１１】実施例２の符号化／復号化の概念図
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例１】
【００２９】
本発明の状態予測方法及び状態予測装置について、生体信号データとして磁気共鳴機能画像法(fMRI；functional Magnetic Resonance Imaging)の脳機能画像データを例に挙げて説明する。fMRIは、MRIを利用して人や動物の脳活動に関連する血流動態反応を視覚化するものであり、MRIが提供する構造情報の上に、脳の機能活動が生じた部位を画像化する。
本実施例の状態予測方法では、複数の被験体の脳機能画像を測定して得られた時系列の脳機能画像データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する。先ず、一度の計測において変化しない状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、脳機能画像データに関連付けして、深層生成モデルを構築する。次に、構築した深層生成モデルに対して、複数の被験体の時系列の脳機能画像データを入力して深層生成モデルを学習する。そして、入力した脳機能画像データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、抽出した特徴量と信号成分を分離した後の信号成分を用いて被験体の状態予測を行う。
【００３０】
図１は、本発明の状態予測方法のフローの一実施形態を示している。図１のフローでは、個体差を表現する特徴量にフォーカスしてフローを示しているが、個体差を表現する特徴量以外に、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分も、個体差を表現する特徴量と同様に処理している。
図１に示すように、個体差を表現する特徴量と、状態ラベルと、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を、脳機能画像データに関連付けして、深層生成モデルを構築する（ステップＳ０１）。構築した深層生成モデルの最適化のために、学習用の複数の被験体の脳機能画像データを入力し（ステップＳ０２）、深層生成モデルを繰り返し学習する（ステップＳ０３）。反復学習が完了すれば（ステップＳ０４）、個体差を表現する特徴量、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し分離する（ステップＳ０５）。予測対象の被験体の脳機能画像データを入力し（ステップＳ０６）、入力した脳機能画像データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し分離（ステップＳ０７）した後の信号成分を用いて、被験体の状態予測を行う（ステップＳ０８）。
【００３１】
図２は、本発明の状態予測装置の一実施形態の機能ブロック図を示している。
状態予測装置１は、複数の被験体の脳機能画像を測定して得られた時系列の脳機能画像データを入力として、深層ニューラルネットワークによる深層生成モデルを用いて被験体の状態を予測する装置である。生成モデル構築部２では、入力した時系列の脳機能画像データに、状態ラベル、個体差を表現する特徴量、及び、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を関連付けして深層生成モデルを構築する。学習部３では、複数の被験体の脳機能画像データを入力して深層生成モデルを繰り返し学習する。そして、学習済の深層生成モデルを用い、入力した時系列の脳機能画像データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて、被験体の状態予測を行い、状態の予測結果を表示パネルに表示する。
【００３２】
（深層生成モデルについて）
次に、本実施例の深層生成モデルについて、図３に示す構成模式図を用いて説明する。
以下では、生体信号データとして脳機能画像データを例に挙げて、深層生成モデルを説明する。脳機能画像データのデータセットをＤ＝｛ｘｉ，ｙｉ｝Ni=1と表す。ここで、Ｎは被験体数、ｉはインデックス番号であり、ｘｉは被験体ｉから得られた脳機能画像データの集合、ｙｉは被験体ｉの疾患の状態ラベル（診断結果）である。状態ラベルｙｉにおいて、ｙ＝０が疾患無し、ｙ＝１が疾患有りの状態を意味する。被験体ｉからはＴｉ枚の脳機能画像が得られているとし、ｘｉ＝｛ｘｉ,ｔ｝Tit=1で表す。
【００３３】
深層生成モデルにおいて、各被験体ｉには、疾患の有無とは別に個体差が存在すると仮定する。脳機能画像データにおける個体差とは、被験体によって脳の大きさや形状が異なること、抽象的な意味での脳の使い方や癖などが該当する。なお、脳の大きさや形状の個体差は、脳機能画像データの前処理によって除去が可能な要素であるが、完全に除去することは実際上困難である。ここで、脳機能画像データの前処理とは、磁場の安定を確保するために測定し始めの数枚の脳機能画像をデータから除外したり、撮像平面ごとのタイミングの補正、体動の補正、観測点の座標を標準脳座標系、例えばＭＮＩ（Montreal. Neurological Institute）座標系に変換する（空間正規化を行う）ことなどの処理をいう。
【００３４】
深層生成モデルは、この個体差が、事前分布ｐ（ｓ）に従う特徴量ｓｉで表現され、脳機能画像データｘｉを生成する直接観測不可の潜在変数としてモデル化される。図３に示すように、各脳機能画像データｘｉ,ｔは、状態ラベルｙｉ、個体差を表現する特徴量（以下、個体差という）ｓｉ、そして状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分（以下、潜在変数という）ｚｉ,ｔに紐付けられる構成である。潜在変数ｚｉ,ｔは、事前分布ｐ（ｚ）に従い、脳機能画像ごとのばらつきを表現するものである。例えば、脳機能画像データの採取中に被験体が頭で考えていたことや、前処理で除去しきれなかった体動などが相当する。
【００３５】
図４は、深層生成モデルを用いた深層ニューラルネットワークの概念図を示している。例えば、被験体ｉからＴｉ枚の脳機能画像データ５を入力し、状態ラベルと個体差を考慮して、符号化（Encorder）プロセスによって次元数を減らし、潜在変数ｚｉ,ｔの事後分布を求め、入力した脳機能画像データ５から、復号化（Decorder）プロセスによって脳機能画像データ５´を復号する。被験体以外の学習用データの脳機能画像データ５とその状態の入力を繰返し、バックワード計算において、入力した脳機能画像データ５と出力した脳機能画像データ５´の差を減らすように重みパラメータを変更する。入力する脳機能画像データとその状態ラベルが繰り返し与えられることによって、重みパラメータは改善されていく。
【００３６】
状態ラベルｙｉを条件とした脳機能画像データｘｉの生成モデルｐθは、図３の模式図に示すように構築される。図３において、実線矢印ａ〜ｃは生成モデルによる復号化を示し、構築された生成モデルｐθでは、状態ラベルｙｉと個体差ｓｉと潜在変数ｚi,tから、脳機能画像データｘi,tが生成される（実線矢印ａ〜ｃ）。VAEで構成される場合、生成モデルｐθは、下記数式で表される。
【００３７】
【数１】
2020042598.tif 000003
【００３８】
深層生成モデルを単体で学習させることは非常な困難が伴うため、例えば、推論モデルあるいは符号化器と呼ばれる別の深層ニューラルネットワークを導入し、変分法を用いて学習する。ただし、VAEで構成されない場合、必ずしも推論モデルは必要ではない。
図３において、点線矢印ｄ〜ｈは推論モデルによる符号化を示している。推論モデルを用いて脳機能画像データｘi,tと状態ラベルｙｉからそれぞれ個体差ｓｉと潜在変数ｚi,tが推論され（点線矢印ｄ〜ｇ）、さらに、個体差ｓｉから潜在変数ｚi,tが推論される（点線矢印ｈ）。推論モデルｑφを用いた変分推論により、上記の生成モデルｐθのモデルエビデンスlogｐ（ｘｉ｜ｙｉ）の下界は、下記数式のように表される。
【００３９】
【数２】
2020042598.tif 000004
【００４０】
ここで、ＤＫＬ(・||・)は、Kullback−Leibler divergenceであり、Ｌｇ(ｘｉ，ｙｉ)はモデルエビデンスの下界（ＥＬＢＯ：Evidence Lower BOund）である。ＥＬＢＯは生成モデルｐθと推論モデルｑφの目的関数に相当する。モデルエビデンスlogｐ（ｘｉ｜ｙｉ）の近似値として、ＥＬＢＯ  Ｌｇ(ｘｉ，ｙｉ)を用いることにより、被験体ｉの状態ラベルｙｉの事後確率ｐ（ｙｉ｜ｘｉ）をベイズの定理を用いて下記数式のように表現できる。
【００４１】
【数３】
2020042598.tif 000005
【００４２】
ここで、状態ラベルｙの事前確率ｐ(ｙ)は、例えば、ｐ(ｙ=0)＝ｐ(ｙ=1)＝0.5と仮定する。つまり、ＥＬＢＯ  Ｌｇ(ｘｉ，ｙ=１)が大きいほど、被験体ｉは対象となる状態である可能性が高いと言える。また状態ラベルｙｉの事前確率の対数logｐ（ｙｉ｜ｘｉ）の近似値Ｌｄ(ｘｉ，ｙｉ)も目的関数になり得る。これにより、２つの状態ラベルを明確に識別するようにモデルを学習させることができる。なお、単なる識別モデルと化すことを防ぐため、重みパラメータω∈[０，１]を用いて、２つの目的関数を下記数式のように調整し、Ｌ(ｘｉ，ｙｉ)を最終的な目的関数としてもよい（この目的関数に関する詳細については非特許文献５を参照）。
【００４３】
【数４】
2020042598.tif 000006
【００４４】
（深層生成モデルの構築について）
ここでは、深層ニューラルネットワークを用いて、生成モデルｐθと推論モデルｑφを実装することにより、深層生成モデルを構築する方法について説明する。
例えば、脳機能画像データが前処理された後、得られた脳機能画像データｘｉ,ｔ、個体差ｓｉ、潜在変数ｚｉ,ｔを、それぞれｎｘ次元、ｎｓ次元、ｎｚ次元のベクトルとする。
例えば、時系列の脳機能画像データにおいて、１１６の領域（ＲＯＩ；Regions-Of-Interest）に分割され、それぞれの領域で信号強度を平均化して１１６次元のベクトルが得られる場合には、脳機能画像データｘｉ,ｔの次元数は１１６である（ｎｘ＝１１６）。個体差として、年齢、性別、脳の大きさ、形状、脳の使い方、薬物の使用歴やその他の精神疾患の既往歴などが考えられる。それらが１０次元のベクトルで表現される場合には、個体差ｓｉの次元数は１０である（ｎｓ＝１０）。なお、個体差の特徴量において、１つの特徴量が必ずしも１次元であるとは限らず、例えば既往歴のように複雑な特徴量では、１つの特徴量が数次元で表現される。
【００４５】
深層生成モデルが、VAEで構成される場合、多次元同時確率分布のパラメータである潜在変数ｚｉ,ｔ，状態ラベルｙｉ，個体差ｓｉを推定するために、潜在変数に事前分布を仮定して、深層ニューラルネットワークの出力に事後分布が現われるように、深層ニューラルネットワークで学習する。
一例として、生成モデルは、復号化器（decoder）と呼ばれる単一の深層ニューラルネットワークで構成され、脳機能画像データｘｉ,ｔの事後分布ｐθ(ｘｉ,ｔ｜ｚｉ,ｔ，ｙｉ，ｓｉ)は、再パラメータ化の手法を用いて、対角行列を分散共分散行列に持つｎｚ次の多変量ガウス分布Ｎ（μｘｉ,ｔ，diag(σｘｉ,ｔ))で表現される。ここで、μｘｉ,ｔは、脳機能画像データｘｉ,ｔの事後分布の平均ベクトルであり、σｘｉ,ｔは脳機能画像データｘｉ,ｔの事後分布の分散ベクトルである。再パラメータ化の手法とは、データを点推定で出力するのではなく、データの事後分布のパラメータを出力する手法であり、再パラメータ化の手法を用いることにより、データの曖昧さやばらつきなどを含めて推定できる。
【００４６】
推論モデルは、一例として、２×ｎｘ個の出力ユニットを持ち、そのうちｎｘ個のユニットは恒等関数を活性化関数として用いて、事後分布の平均ベクトルμｘｉ,ｔを表現する。残るｎｘ個のユニットは指数関数を活性化関数として用いて、事後分布の分散ベクトルσｘｉ,ｔを表現する。
推論モデルのうち、状態ラベルと個体差に依存しないが時間的に変化し得る信号成分（潜在変数）ｚｉ,ｔを推論する部分に関しては、同じく符号化器（encoder）と呼ばれる単一の深層ニューラルネットワークによって実装され、復号化器と同様に、再パラメータ化によって事後分布ｑθ(ｚｉ,ｔ｜ｘｉ,ｔ，ｙｉ，ｓｉ)を表現する。
【００４７】
一方、推論モデルのうち個体差ｓｉを推論する事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)については調整が必要である。この推論モデルでは、被験体ｉ毎に、長さの一定ではない脳機能画像データの集合ｘｉ＝｛ｘｉ,ｔ｝Tit=1を入力として受け取る必要があるため、集団符号化器（collection-encoder）を用いて深層学習を行う。集団符号化器は、図５に示すように、個々の脳機能画像データｘｉ,ｔとそれに関連付けされた状態ラベルｙｉを入力として活性値を出力する第１のニューラルネットワーク１１と、脳機能画像データの集合から得られた活性値の平均化した値を入力として、個体差ｓｉを推論する事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)を出力する第２のニューラルネットワーク１２とから構成される。なお、図５において、信号処理のフローは下から上へとなっている。
【００４８】
集団符号化器の第１のニューラルネットワーク１１は、１枚の脳機能画像データｘｉ,ｔと状態ラベルｙｉを入力し、活性値ｈｉ,ｔを出力する。集団符号化器の第２のニューラルネットワーク１２は、脳機能画像データの集合ｘｉ＝｛ｘｉ,ｔ｝Tit=1から得られた活性値ｈｉ＝｛ｈｉ,ｔ｝Tit=1から求められた平均値（１／Ｔｉ×ΣTit=1｛ｈｉ,ｔ｝）を入力とし、再パラメータ化を用いて個体差ｓｉの事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)を出力する。
具体例で説明すると、図６に示すように、第１のニューラルネットワーク１１では、脳機能画像１において分割した１１６の領域（ＲＯＩ）の信号強度に基づく１１６次元の信号データとそれに関連付けされた状態ラベルｙ１を入力する。同様に、脳機能画像２、脳機能画像３、・・・、脳機能画像ＴｉのＲＯＩの信号強度に基づく１１６次元の信号データとそれに関連付けされた状態ラベルｙＴｉを入力する。第２のニューラルネットワーク１２では、脳機能画像データの集合から得られた活性値の平均化した値を入力として、個体差ｓｉを推論する事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)を出力する。
【００４９】
そして、被験体ｉの複数の脳機能画像データが直接観測できない個体差ｓｉの事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)を共有しているとし、深層生成モデルを構築する。すなわち、同一被験体の複数の脳機能画像データであれば、個体差ｓｉの事後分布ｑθ(ｓｉ｜ｘｉ，ｙｉ)を共有しているとする。この深層生成モデルの構造は、脳機能画像データが持つ構造を模しており、適切な拘束条件として作用する。
【００５０】
本実施例では、符号化器と復号化器にはそれぞれ３層の人工ニューラルネットワークを用いた。図７（１）は符号化器の構成、図７（２）は復号化器の構成を示している。また集団符号化器は、図５の構成模式図に示したとおり、第１のニューラルネットワーク１１に２層の人工ニューラルネットワークを、第２のニューラルネットワーク１２に１層の人工ニューラルネットワークを用いた。
具体例で説明すると、図８に示すように、符号化器では、時系列の脳機能画像データ（入力データ）の１１６の領域（ＲＯＩ）の信号強度に基づく１１６次元の信号データとそれに関連付けされた状態ラベルｙｉと個体差ｓｉを入力する。各中間層（隠れ層）では、それぞれ正規化が行われ、活性化関数としてＲｅＬＵを用いる。符号化器の人工ニューラルネットワークは、脳機能画像データｘｉ,ｔの事後分布の平均ベクトルμ、分散ベクトルσを算出し、潜在変数ｚｉ,ｔの事後分布ｑθ(ｚｉ,ｔ｜ｘｉ,ｔ，ｙｉ，ｓｉ)を表現する。
【００５１】
上述の如く、状態ラベルｙｉの事前確率の対数logｐ（ｙｉ｜ｘｉ）の近似値のＥＬＢＯ  Ｌｇ(ｘｉ，ｙｉ)は、目的関数となり期待値の計算が必要である。そのため、深層学習の訓練時において、個体差ｓｉと潜在変数ｚｉ,ｔを訓練の反復毎に１回サンプルして近似させ、検証時にはそれぞれのＭＡＰ推定（事後分布を表現する平均ベクトルμｚi,t）を用いた。
なお、人工ニューラルネットワークは、Adam optimization algorithmなどの最適化アルゴリズムを用いて訓練し、また、状態間の被験体数の不均衡は、オーバーサンプル法によって調整した。
【００５２】
図９に、時系列の脳機能画像データのデータ構造の一例を示す。図９（１）のテーブルは、時系列の脳機能画像データ（入力データｘｉ,ｔ）の１１６の領域１〜１１６（ＲＯＩ−１〜ＲＯＩ−１１６）の信号強度に基づく１１６次元の信号データを示している。これらの信号データは、時系列の脳機能画像から得られ、時間的に変化するデータである。
一方、これらの１１６次元の信号データに関連付けされた状態ラベルｙｉと個体差ｓｉは、時系列の脳機能画像において時間的に変化しない（時不変）。状態ラベルｙｉは、一度の計測において状態は変化しないものであり、個体差ｓｉも計測中に被験体が入れ替わることはなく同一の被験体である限り、計測において変化しないものである。図９（２）のテーブルに示すように、例えば、個体差ｓｉが１０次元で表現されるとする。なお、上述の如く、個体差の特徴量において、１つの特徴量が必ずしも１次元であるとは限らず、そのため特徴数と次元数は必ずしも一致しない。また、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分（潜在変数）ｚｉ,ｔも、１１６次元の信号データに関連付けされる。潜在変数ｚｉ,ｔは、状態ラベルｙｉと個体差ｓｉと異なり、時間的に変化するものである。図９の下のテーブルに示すように、例えば、状態ラベルと個体差とに依存しない信号成分（潜在変数）ｚｉ,ｔが１〜３２存在し、次元数も３２とする。
この場合、時系列の脳機能画像データ（入力データｘｉ,ｔ）である１１６次元の信号データは、状態ラベルｙｉと、個体差ｓｉと、潜在変数ｚｉ,ｔの次元数の合計４３（＝１＋１０＋３２）となり、推論される個体差ｓｉと潜在変数ｚｉ,ｔは、事後分布で表現されるのである。
【００５３】
（実験に用いた脳機能画像データについて）
脳機能画像データは、オープンデータベース（Open fMRI）から、統合失調症と双極性障害のデータベースを入手し、以下に説明する前処理を行って使用した。前処理は、磁場の安定を確保するために各被験体の最初の１０枚の脳機能画像を破棄し、時間方向の調整、体動の補正、そしてＭＮＩ座標系を用いた空間正規化を行った。ＡＡＬ（Automated anatomical labeling）テンプレートにより、１１６の領域（ＲＯＩ）に分割し、それぞれで信号強度を平均化し、１１６次元のベクトルｘｉ,ｔを得た。データの洗浄として、１．５ｍｍもしくは１．５°以上の体動が検出された瞬間から、以降の脳機能画像をすべて破棄した。
破棄した結果、脳機能画像が１００枚未満しか残らなかった被験体は、被験体のデータ全てを破棄した。また撮像位置のずれなどにより、ＭＮＩ座標系に変換できなかった被験体のデータも破棄した。結果的にコントロール群の被験体数は１１３、統合失調症の被験体数は４４人、双極性障害の被験体数は４５人のデータを得た。
【００５４】
（予測精度について）
実施例の状態予測方法による予測精度について説明する。予測精度の評価として、従来法（比較例１〜５）との精度比較を行い評価した。
比較例１としては、前処理済の脳機能画像において分割した１１６の領域（ＲＯＩ）間のピアソン相関係数（ＰＣＣ）を機能的結合して用いる方法により予測精度を求め、実施例の状態予測方法による予測精度と比較した。具体的には、比較例１では、ＲＯＩ間のＰＣＣの機能的結合からケンドールのタウ係数（Kendall τ coefficient）を用いて、ｍ個の特徴を選択し、局所線形埋め込み（ＬＬＥ；Locally Linear Embedding）により、近傍パラメータｋのもとでｄ次元の多様体に埋め込み、c-means法によりクラスタリングしたものである。
【００５５】
比較例２として、前処理済みの脳機能画像を用い、サポートベクターマシン（ＳＶＭ；Support Vector Machine）を用いて状態予測した場合の予測精度と実施例の状態予測方法による予測精度を比較した。ここで、ＳＶＭは、脳機能画像を一枚ずつ受け取り、それぞれに対して二値分類の結果を返すものであり、被験体ｉの診断にはＴｉ枚の脳機能画像に対する分類結果の多数決を用いた。
【００５６】
比較例３として、前処理済みの脳機能画像を用い、長期短期記憶（ＬＳＴＭ；Long Short Term Memory）を用いて状態予測した場合の予測精度と実施例の状態予測方法による予測精度を比較した。ここで、ＬＳＴＭは、再帰構造を持ったニューラルネットワークであり、１の被験体から得られた脳機能画像データの集合ｘｉ＝｛ｘｉ,ｔ｝Tit=1を順番に受け取り、状態の事後確率ｐ(ｙ｜ｘｉ)を、ロジスティック関数を用いて出力する。
【００５７】
比較例４として、前処理済みの脳機能画像を用い、自己符号化器（ＡＥ；Auto-encoder）と隠れマルコフモデルの組み合わせを用いて状態予測した場合の予測精度と実施例の状態予測方法による予測精度を比較した。比較例４では、ＡＥを用いて脳機能画像をｄ次元に埋め込み、その上で２つの隠れマルコフモデルを学習させた。１つの隠れマルコフモデルは被験体用（ｐθ(ｘｉ,ｔ｜ｙ=1)）、もう１つはコントロール群用（ｐθ(ｘｉ,ｔ｜ｙ=0)）である。それぞれの隠れマルコフモデルはガウス分布でモデル化されており、実施例の深層生成モデルと同様にベイズの法則によって、状態の事後確率ｐ(ｙ｜ｘｉ)を計算する。
【００５８】
比較例５として、前処理済みの脳機能画像を用い、発明者らが提案している既知の深層生成モデル、すなわち、脳機能画像ｘｉ、状態ラベルｙｉ、そして画像毎の差異ｚｉ,ｔを、符号化器ｑ(ｚｉ,ｔ｜ｘｉ,ｔ，ｙｉ)と復号化器ｐ(ｘｉ,ｔ｜ｚｉ,ｔ，ｙｉ)を用いて実装するが、被験体の個体差ｓｉはモデル化していない生成モデルを用いて状態予測した場合の予測精度と実施例の状態予測方法による予測精度を比較した。
【００５９】
データセットが不均衡であり、予測精度の比較項目としては、感度（Sensitivity）＝ＴＰ／（ＴＰ＋ＦＮ）、特異度（Specicity）＝ＴＮ／（ＴＮ＋ＦＰ）、バランスした正解率（Balanced accuracy）＝０．５×（感度＋特異度）を用いている。ここで、ＴＰ，ＴＮ，ＦＰ，ＦＮは、それぞれ、True Positive，True Negative，False Positive，False Negativeを表す。
予測精度の測定結果は、１０分割交差検定の５回の平均で採取したものであり、下記表１に示す。表１から実施例の深層生成モデルの場合では、統合失調症のデータセットに対して、比較例１〜５の全ての比較手法より明らかに優れた結果を示し、また、双極性障害のデータセットに対して、ほぼ同等あるいは優れた結果を示すことが確認できた。特に、比較例５の発明者らが提案している既知の深層生成モデルよりも高い精度が得られたという点は、実施例の深層生成モデルに与えた個体差ｓｉという構造が適切な拘束条件となっていることを示唆しているといえる。
【００６０】
【表１】
2020042598.tif 000007
【実施例２】
【００６１】
実施例２の深層生成モデルについて、図１０に示す構成模式図を用いて説明する。実施例１と同様に、時系列の脳機能画像データを例に挙げて、深層生成モデルを説明する。図１０において、実施例１の構成模式図の図３と同様に、脳機能画像データのデータセットはＤ＝｛ｘｉ，ｙｉ｝Ni=1、Ｎは被験体数、ｉはインデックス番号、ｘｉは被験体ｉから得られた脳機能画像データの集合、ｙｉは被験体ｉの疾患の状態ラベル（診断結果）である。状態ラベルｙｉにおいて、ｙ＝０が疾患無し、ｙ＝１が疾患有りの状態を意味し、被験体ｉからはＴｉ枚の脳機能画像が得られているとする。実施例２の深層生成モデルでは、各被験体ｉには、疾患の有無とは別に個体差と測定環境差が存在すると仮定する。脳機能画像データにおける測定環境差とは、脳機能画像の測定に用いた測定機器の分解能や感度の違いなどが該当する。また、測定時の周辺ノイズの違いも該当する。測定環境差は、個人差と同様に、脳機能画像データの前処理によって除去が可能な要素であるが、完全に除去することは実際上困難である。
【００６２】
本実施例の深層生成モデルは、個人差に加えて、測定環境差が、事前分布ｐ（ｆ）に従う特徴量ｆｉで表現され、脳機能画像データｘｉを生成する直接観測不可の潜在変数としてモデル化される。図１０に示すように、各脳機能画像データｘｉ,ｔは、状態ラベルｙｉ、個体差ｓｉ、測定環境差を表現する特徴量（以下、測定環境差）ｆｉ、そして状態ラベルと個体差と測定環境差に依存しないが時間的に変化し得る信号成分（以下、潜在変数）ｚｉ,ｔに紐付けられる構成である。
【００６３】
本実施例の深層生成モデルを用いた深層ニューラルネットワークでは、被験体から脳機能画像データを入力し、図１１に示すように、状態ラベルｙｉと個体差ｓｉと測定環境差ｆｉを考慮して、符号化プロセスによって次元数を減らし、潜在変数ｚｉ,ｔの事後分布を求め、入力した脳機能画像データから、復号化プロセスによって脳機能画像データを復号する。被験体以外の学習用データの脳機能画像データとその状態の入力を繰返し、バックワード計算において、入力した脳機能画像データと出力した脳機能画像データの差を減らすように重みパラメータを変更する。入力する脳機能画像データとその状態ラベルが繰り返し与えられることによって、重みパラメータは改善されていく。
【００６４】
なお、図１０において、実線矢印は生成モデルによる復号化を示し、状態ラベルｙｉと個体差ｓｉと測定環境差ｆｉと潜在変数ｚi,tから、脳機能画像データｘi,tが生成される。点線矢印は推論モデルによる符号化を示し、脳機能画像データｘi,tと状態ラベルｙｉからそれぞれ個体差ｓｉと測定環境差ｆｉと潜在変数ｚi,tが推論され、さらに、個体差ｓｉと測定環境差ｆｉとから潜在変数ｚi,tが推論される。
上記の深層ニューラルネットワークを用いて、生成モデルｐθと推論モデルｑφを実装することにより、深層生成モデルを構築する方法についての説明は、実施例１と同様であり割愛する。
【００６５】
（その他の実施例）
上述の実施例１では、生体信号データとしてfMRIの脳機能画像データを例に挙げて説明したが、本発明の状態予測方法及び状態予測装置は、発汗測定、心電図測定、脳波測定など他の時系列の生体信号データに対しても適用できる。
（１）発汗測定の場合、例えば、ヒトの全身の発汗部位（手のひら、足の裏、額、脇の下など）の測定ポイント（仮に２５カ所の測定ポイント）が存在するならば、２５次元の時系列の発汗信号データｘi,tが取得できることになる。これに被験体の特徴、例えば、年齢、性別、生活習慣、１日の尿の回数、１日の水分補給量、緊張しやすさ、制汗剤の使用度合、毛深さ、病歴などを考慮し、個体差を表現する特徴量ｓｉの次元数が決定される。脳機能画像データと同様に、特徴数と次元数は必ずしも一致しない。仮に、個体差を表現する特徴量ｓｉの次元数を８とし、発汗に関する疾病の状態ラベルの次元数を１とし、時間的に変化し得る信号成分の次元数を５とする。１人の被験者で１回の発汗測定を行うことにより得られる２５次元の発汗信号データから、５次元の時間的に変化するパラメータと９次元（＝８次元＋１次元）の時不変のパラメータが得られる。個体差を表現する特徴量ｓｉは、計測中に不変であり、被験体の各々の個体差を表現する特徴量ｓｉに関して得られるデータは時間的に変化するデータではなく固定である。なお、状態ラベルと個人差を表現する特徴量に依存しないが時間的に変化し得る信号成分である潜在変数ｚi,tは、時間的に変化する時系列のデータである。
実施例１と同様に、発汗信号データを入力して深層生成モデルを学習し、被験体から入力した発汗信号データから、個体差を表現する特徴量と、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分を抽出し、分離した後の信号成分を用いて被験体の発汗に関する疾病の有無の予測を行うことができる。
【００６６】
（２）心電図測定の場合、例えば１２誘導心電図であれば、１２種の時系列の波形データ、すなわち、１２次元の時系列の心電信号データｘi,tが得られ、被験体の特徴として、年齢、性別、病歴などを考慮し、個体差を表現する特徴量ｓｉの次元数が決定される。
（３）心拍測定の場合、時系列の心拍データが得られ、被験体の特徴として、年齢、性別、スポーツに関与する度合いなどを考慮し、個体差を表現する特徴量ｓｉの次元数が決定される。被験体が例えば“スポーツ選手などアスリートであれば常に心拍数が低め”といった情報は、個体差を表現する特徴量ｓｉとして扱われる。個体差によらず共通な情報、例えば、“現在運動中なので心拍数が高い”という一時的な情報であれば、状態ラベルと個体差とに依存しないが時間的に変化し得る信号成分（潜在変数）ｚi,tとして扱われる。
（４）脳波測定の場合、時系列の脳波データが得られ、被験体の特徴として、年齢、性別、病歴などを考慮し、個体差を表現する特徴量ｓｉの次元数が決定される。
（５）血中酸素濃度測定や血糖値測定の場合、時系列の血中酸素濃度データや血糖値データが得られ、被験体の特徴として、年齢、性別、体脂肪率、肥満度、食生活などを考慮し、個体差を表現する特徴量ｓｉの次元数が決定される。
【００６７】
（６）実施例２の場合には、測定環境差を表現する特徴量ｆｉの次元数が決定され、取得する生体信号データの次元数に、個人差を表現する特徴量の次元数、状態ラベルの次元数と同様に、加算される。測定環境差を表現する特徴量ｆｉは、同一の測定環境で計測された複数の生体信号データで共有される。
【産業上の利用可能性】
【００６８】
本発明は、脳機能画像データ，脳波，心拍や発汗データなど多様な生体信号データを計測する生体信号データの計測器や疾患診断装置に有用である。
【符号の説明】
【００６９】
１    状態予測装置
２    生成モデル構築部
３    学習部
４    状態予測部
５，５´  脳機能画像データ
１１  集団符号化器の第１のニューラルネットワーク
１２  集団符号化器の第２のニューラルネットワーク
【図１】
2020042598.tif 000008
【図２】
2020042598.tif 000009
【図３】
2020042598.tif 000010
【図４】
2020042598.tif 000011
【図５】
2020042598.tif 000012
【図６】
2020042598.tif 000013
【図７】
2020042598.tif 000014
【図８】
2020042598.tif 000015
【図９】
2020042598.tif 000016
【図１０】
2020042598.tif 000017
【図１１】
2020042598.tif 000018