(57)【要約】【課題】脳機能イメージングデータからヒトの脳活動状態を推定する方法を提供する。【解決手段】時系列に並んだ脳機能イメージングデータからなるデータセットから、脳機能イメージングデータを時系列に畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層の各チャンネルに入力し、チャンネル毎にフィルタによる畳み込み処理を行い、データセットの時間的かつ局所的な特徴量を抽出して特徴マップを生成し、特徴マップをＣＮＮのプーリング層において次元圧縮し、さらに、この畳み込み層およびプーリング層による処理を所定回数繰り返した後、得られた特徴マップをＣＮＮの全結合層で識別することによって、ヒトの脳活動状態を推定する。【選択図】図１
2018089142.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワークを用いて、ヒトの脳機能イメージングデータから当該ヒトの脳活動状態を推定する方法であって、
（１）前記脳機能イメージングデータが時系列に並んだデータセットを準備し、
（２）前記データセットの前記脳機能イメージングデータを時系列に前記畳み込みニューラルネットワークの畳み込み層の各チャンネルに入力し、
（３）前記チャンネル毎にフィルタによる畳み込み処理を行い、前記脳機能イメージングデータから特徴量を抽出することによって、前記データセットの特徴マップを複数生成し、
（４）（ａ）前記複数の特徴マップをそれぞれ前記畳み込みニューラルネットワークの次の畳み込み層の各チャンネルに入力し、当該チャンネル毎にフィルタによる畳み込み処理を行い、次の特徴マップを複数生成するステップ
を１回または所定の回数繰り返して実行し、
（５）前記ステップ（４）で最後に得られた特徴マップを前記畳み込みニューラルネットワークの少なくとも１つの全結合層において全結合し、前記全結合層による識別結果に基づいて、前記データセットから前記ヒトの脳活動状態を推定することを特徴とする方法。
【請求項２】
前記ステップ（３）および前記ステップ（４）において、前記畳み込み層のそれぞれの後段に各１つのプーリング層を配置するとともに、前記プーリング層において当該プーリング層の前段の前記畳み込み層で生成した前記複数の特徴マップをプーリングして、前記特徴マップの次元を圧縮することを特徴とする請求項１に記載の方法。
【請求項３】
前記プーリング層における前記プーリングがＭａｘプーリングであることを特徴とする請求項２に記載の方法。
【請求項４】
前記脳機能イメージングデータは、ｆＭＲＩ法またはｆＮＩＲＳ法によって得られたものであることを特徴とする請求項１〜請求項３のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＮＮ（Convolutional Neural Network）を用いて、ヒトの脳機能イメージングデータから当該ヒトの脳活動状態を推定する方法に関するものである。
【背景技術】
【０００２】
近年、ｆＭＲＩ（functional Magnetic Resonance Imaging）法と呼ばれる、ＭＲＩを利用して運動刺激、感覚刺激および認知過程に伴う脳活動領域を画像化する方法や、ｆＮＩＲＳ（functional Near Infrared Spectroscopy）法と呼ばれる、近赤外光をヒトの脳に照射して脳血液中のヘモグロビン濃度やその濃度変化を計測することでヒトの脳活動状態を画像化する方法が急速な発展を遂げている。
【０００３】
それに伴い、ｆＭＲＩ法やｆＮＩＲＳ法によって得られたデータを用いてヒトの脳活動状態を推定する方法がこれまでにいくつか提案されている。
例えば、特許文献１に記載の方法は、ヒト（利用者）の脳表層における複数の部位を計測チャンネルとして、各計測チャンネルのヘモグロビン濃度または当該濃度の変化量をヘモグロビン濃度関連値として計測して、ヒトの脳活動状態を推測する方法であり、推定準備工程と推定実行工程を備えている。
【０００４】
そして、推定準備工程では、ヒトが異なる脳活動状態にある複数の期間についての、それぞれ各計測チャンネルのヘモグロビン濃度関連値から算出された特徴ベクトルを、機械学習によりクラスタリングすることによって、脳活動状態と脳血流中のヘモグロビン濃度または当該濃度の変化との関係についてのヒトの傾向を検出し、ヒトの固有のクラスタリング結果を得る。
【０００５】
また、推定実行工程では、ヒトの固有クラスタリング結果における各クラスタから代表ベクトルとして抽出した特徴ベクトルを教師データとし、そのとき算出された特徴ベクトルを学習データとして、機械学習を行って、そのときのヒトの脳活動状態を推定する。それによってヒトのその時々の脳活動状態を、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるかを含めて正確に推定することができる。
【０００６】
しかしながら、従来技術においては、ｆＭＲＩ法やｆＮＩＲＳ法によって得られた画像データ（脳機能イメージングデータ）を用いてヒトの脳活動状態を推定する方法は提供されていない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−６６１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本発明の課題は、脳機能イメージングデータからヒトの脳活動状態を推定する方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明によれば、畳み込みニューラルネットワークを用いて、ヒトの脳機能イメージングデータから当該ヒトの脳活動状態を推定する方法であって、
（１）前記脳機能イメージングデータが時系列に並んだデータセットを準備し、
（２）前記データセットの前記脳機能イメージングデータを時系列に前記畳み込みニューラルネットワークの畳み込み層の各チャンネルに入力し、
（３）前記チャンネル毎にフィルタによる畳み込み処理を行い、前記脳機能イメージングデータから特徴量を抽出することによって、前記データセットの特徴マップを複数生成し、
（４）（ａ）前記複数の特徴マップをそれぞれ前記畳み込みニューラルネットワークの次の畳み込み層の各チャンネルに入力し、当該チャンネル毎にフィルタによる畳み込み処理を行い、次の特徴マップを複数生成するステップ
を１回または所定の回数繰り返して実行し、
（５）前記ステップ（４）で最後に得られた特徴マップを前記畳み込みニューラルネットワークの少なくとも１つの全結合層において全結合し、前記全結合層による識別結果に基づいて、前記データセットから前記ヒトの脳活動状態を推定することを特徴とする方法が提供される。
【００１０】
本発明の好ましい実施例によれば、前記ステップ（３）および前記ステップ（４）において、前記畳み込み層のそれぞれの後段に各１つのプーリング層を配置するとともに、前記プーリング層において当該プーリング層の前段の前記畳み込み層で生成した前記複数の特徴マップをプーリングして、前記特徴マップの次元を圧縮する。
【００１１】
本発明の別の好ましい実施例によれば、前記プーリング層における前記プーリングがＭａｘプーリングである。
本発明のさらに別の好ましい実施例によれば、前記脳機能イメージングデータは、ｆＭＲＩ法またはｆＮＩＲＳ法によって得られたものである。
【発明の効果】
【００１２】
本発明によれば、時系列に並んだ脳機能イメージングデータからなるデータセットから、脳機能イメージングデータを時系列に畳み込みニューラルネットワーク（ＣＮＮ）の畳み込み層の各チャンネルに入力し、チャンネル毎にフィルタによる畳み込み処理を行い、データセットの時間的かつ局所的な特徴量を抽出して特徴マップを生成し、次いで「特徴マップをＣＮＮの次の畳み込み層の各チャンネルに入力し、当該チャンネル毎にフィルタによる畳み込み処理を行い、次の特徴マップを生成するステップ」を１回または所定の回数繰り返して実行した後、得られた特徴マップをＣＮＮの全結合層で識別することによって、ヒトの脳活動状態を推定することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明による脳機能イメージングデータからヒトの脳活動状態を推定する方法のフロー図である。
【図２】本発明の方法で用いる畳み込みニューラルネットワーク（ＣＮＮ）の概略構成を示す図である。
【図３】本発明の方法によるＣＮＮの畳み込み層における処理を説明する図である。
【図４】本発明の方法によるＣＮＮの畳み込み層における処理を説明する図である。
【図５】本発明の方法によるＣＮＮの畳み込み層における処理を説明する図である。
【図６】本発明の方法で用いるＣＮＮの具体的な構成例を示す図である。
【図７】図６のＣＮＮの畳み込み層における処理を説明する図である。
【図８】図６のＣＮＮに円運動の時系列データを入力した場合の識別率を表すグラフである。
【図９】図６のＣＮＮに円運動の時系列データを入力した場合の第１層目の畳み込み層で得られた特徴マップを可視化した画像である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照しつつ、本発明の構成を好ましい実施例に基づいて説明する。
図１は、本発明による脳機能イメージングデータからヒトの脳活動状態を推定する方法のフロー図である。
脳機能イメージングデータは３次元の画像データ（この実施例では、９１個×９１個×１０９個のボクセルから構成される）であり、そのため、本発明の方法では、公知の２次元の畳み込みニューラルネットワーク[ＣＮＮ（Convolutional Neural Network）]を３次元に拡張したもの用いる。
【００１５】
図２は、ＣＮＮの概略構成を示す図である。
図２を参照して、ＣＮＮは、畳み込み層と、プーリング層と、全結合層とから構成されている。畳み込み層およびプーリング層は合わせて特徴量抽出部とも呼ばれ、全結合部は識別部とも呼ばれる。
【００１６】
畳み込み層は、複数のチャンネルを有し、チャンネル毎に入力された画像データをフィルタによって畳み込み処理し、画像データの特徴量を抽出して特徴マップを生成する。フィルタは、ＣＮＮの学習過程で、画像の最終的な識別に必要な特徴量を的確に抽出できるように自動的に最適化される。この特徴量としては、例えば、画像データの局所的な濃淡構造と、画像データのチャンネル毎の差異が挙げられる。
【００１７】
プーリング層は、特徴マップの次元圧縮を行い、特徴マップから余分な情報を除去する。プーリングの方法はいくつかあるが、本発明では、Ｍａｘプーリングを用いている。
Ｍａｘプーリングは、畳み込み層から出力された特徴マップを入力として、入力された特徴マップ上の所定サイズの領域内の画素値の最大値を次の特徴マップの１画素として出力するプーリングである。
【００１８】
全結合層は、特徴量抽出部（畳み込み層およびプーリング層）で最終的に得られた特徴マップに基づきデータセットの識別を行う。
【００１９】
本発明によれば、まず、ヒトの脳機能イメージングデータが時系列に並んだデータセットを準備する（図１のＳ１）。脳機能イメージングデータは、例えばｆＭＲＩ法やｆＮＩＲＳ法によって取得する。
【００２０】
次いで、データセットの脳機能イメージングデータを時系列にＣＮＮの畳み込み層の各チャンネルに入力し（図１のＳ２）、チャンネル毎にフィルタによる畳み込み処理を行い、脳機能イメージングデータから特徴量を抽出することによって、データセットの特徴マップを複数生成する（図１のＳ３）。ステップＳ２〜Ｓ３のプロセスを、図３〜図５に示す。
【００２１】
その後、複数の特徴マップをそれぞれＣＮＮのプーリング層においてプーリング（この実施例ではＭａｘプーリング）して、特徴マップの次元を圧縮する（図１のＳ４）。
【００２２】
本発明によれば、さらに、
（ａ）次元を圧縮した複数の特徴マップをそれぞれＣＮＮの次の畳み込み層の各チャンネルに入力し、チャンネル毎にフィルタによる畳み込み処理を行い、当該圧縮後の特徴マップから特徴量を抽出することによって、次の特徴マップを複数生成するステップ（図１のＳ６）と、
（ｂ）複数の次の特徴マップをそれぞれＣＮＮの次のプーリング層においてプーリング（この実施例ではＭａｘプーリング）して、当該次の特徴マップの次元を圧縮するステップ（図１のＳ７）
を所定の回数繰り返し実行する（図１のＳ５、Ｓ８、Ｓ１０）。
【００２３】
この実施例では、ステップ（ａ）〜（ｂ）を所定の回数繰り返して実行するようにしたが、ＣＮＮの計算量によっては、ステップ（ａ）〜（ｂ）を１回実行するだけでよい場合もある。
【００２４】
そして、最後に得られた特徴マップをＣＮＮの少なくとも１つの全結合層において全結合し、全結合層による識別結果に基づいて、データセットからヒトの脳活動状態を推定する（図１のＳ９）。
【００２５】
なお、本発明の方法においては、実用に先立って、予め用意した脳機能イメージングデータのテストデータセットを用いて、ＣＮＮの学習を行うことによって、各畳み込み層のフィルタを最適化しておく。この学習は、教師付き学習を前提として、誤差逆伝播法（Back Propagation）を用いることによって行う。
【００２６】
以上、本発明の好ましい実施例を説明したが、本発明の構成は上記実施例に限定されるものではなく、本願の特許請求の範囲に記載した構成の範囲内で種々の変形例を案出できることは言うまでもない。
例えば、上記実施例では、特徴量抽出部の各畳み込み層の後段に各１つのプーリング層を配置したが、特徴量抽出部を複数の畳み込み層のみから構成することもできる。
【００２７】
（実験）
次に、本発明の作用効果を検証するために実験を行った。
実験では、ＣＮＮを、図６に示すように、畳み込み層とプーリング層がそれぞれ３層（特徴量抽出部を形成する）、全結合層が３層（識別部を形成する）の合計９層から構成した。
そして、ＣＮＮの特徴量抽出部の各種パラメータを次の表１のように設定した。
【００２８】
【表１】
2018089142.tif 000003
【００２９】
また、ＣＮＮの識別部の各種パラメータを次の表２のように設定した。
【表２】
2018089142.tif 000004
【００３０】
また、入力層（ＣＮＮの前段）のユニットおよびＣＮＮのユニットの活性化関数にはＲｅＬＵ（Rectified Linear Unit）を使用し、出力層（ＣＮＮの後段）のユニットの活性化関数としてはソフトマックス関数を使用した。
なお、活性化関数は、ＣＮＮを含むニューラルネットワークにおいて、各層の入力を線形または非線形に変換する関数である。
【００３１】
このＣＮＮに、データセットとして、平面（１００×１００ピクセル）上において点が左回りまたは右回りに円運動を行う時系列データを入力して、円運動を識別させた。図７には、この場合のＣＮＮの第１層目の畳み込み層における処理を示した。
【００３２】
この場合、時系列データとして、点が平面上を６０フレームで一周するように設定し、点の位置が角距離１°変化する毎の画像データを、左回りおよび右回りのそれぞれについて３６０サンプル準備した。そして、このデータサンプルをランダムにシャッフルし、合計７２０サンプルのうちの６００サンプルをトレーニングデータとし、残りの１２０サンプルをテストデータとした。
【００３３】
トレーニングデータとテストデータの識別率の推移を図８のグラフに示した。
図８のグラフから、学習回数が３回目程度で、トレーニングデータおよびテストデータのいずれも１００％識別できていることがわかる。
【００３４】
さらに、前と同様の時系列データを用い、点に左回りの円運動をさせた時の画像データと、点に右回りの円運動させた時の画像データをそれぞれＣＮＮに入力し、ＣＮＮの第１層目の畳み込み層で生成された特徴マップを可視化した。可視化された特徴マップを図９に示す。
図９において、左回り円運動の時系列データと右回り円運動の時系列データとで、特徴マップの円運動の軌跡（黒っぽく写っている）上の輝点が、当該円の１つの直径に関して対称的に位置している。このことから、ＣＮＮが入力データを識別しやすいデータに変換していることが確認できた。
そして、これらの実験結果から、本発明によれば、時系列データを識別できることが確認できた。
【図１】
2018089142.tif 000005
【図２】
2018089142.tif 000006
【図３】
2018089142.tif 000007
【図４】
2018089142.tif 000008
【図５】
2018089142.tif 000009
【図６】
2018089142.tif 000010
【図７】
2018089142.tif 000011
【図８】
2018089142.tif 000012
【図９】
2018089142.tif 000013