(57)【要約】【課題】ユーザーウェアラブルデバイスで心房細動を検出する装置及び方法を提供する。【解決手段】本発明の装置は、センサーモジュール、データ処理モジュール、品質評価モジュール、及びイベント予測モジュールを備え、センサーモジュールは生体信号のデータサンプル及び動きデータサンプルを提供し、データ処理モジュールは、生体信号のデータサンプルを処理してベースラインを除去し、動きデータを処理して動き重要度測定を生成し、品質評価モジュールは、処理された生体信号のデータサンプルのセグメント及び対応する動き重要度測定に基づいて、第１ディープラーニングモデルを用いて信号品質インジケータを生成し、イベント予測モジュールは、必要な信号品質のインジケータに関連する処理された生体信号のデータサンプルのセグメントに基づいて、第２ディープラーニングモデルを用いてイベントの予測結果を生成する。【選択図】図３
2019084343.tif 000002
【特許請求の範囲】
【請求項１】
センサーモジュール、データ処理モジュール、品質評価モジュール、及びイベント予測モジュールを備える装置であって、
前記センサーモジュールは、生体信号を測定する第１センサー及び動き信号を測定する第２センサーを含み、出力として前記生体信号のデータサンプル及び動きデータサンプルを提供し、
前記データ処理モジュールは、
予め定められた時間区間に亘って収集された前記生体信号のデータサンプルの各セグメントを処理して前記生体信号のデータサンプルの各セグメントから信号ベースラインを除去し、前記処理された生体信号のデータサンプルのセグメントを生成し、
前記生体信号のデータサンプルと同時に収集された前記動きデータサンプルを用いて、前記生体信号のデータサンプルの各セグメントに対する、前記生体信号のデータサンプルのそれぞれのセグメントを感知する間の動きの程度を示す動き重要度測定を生成し、
前記品質評価モジュールは、前記処理された生体信号のデータサンプルのセグメント及び前記動き重要度測定に基づいて、第１ディープラーニングモデルを用いて信号品質インジケータを生成し、
前記イベント予測モジュールは、所望の信号品質インジケータに関連する前記処理された生体信号のデータサンプルのセグメントに基づいて、第２ディープラーニングモデルを用いてイベントの予測結果を生成することを特徴とする装置。
【請求項２】
前記生体信号は、心臓関連の生理的信号を含み、
前記動き信号は、慣性測定信号を含むことを特徴とする請求項１に記載の装置。
【請求項３】
前記動き重要度測定は、穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータを含むことを特徴とする請求項１に記載の装置。
【請求項４】
前記装置は、ユーザーウェアラブルデバイスを含み、
前記第１センサーは、光電容積脈波法（ＰＰＧ）センサーを含み、
前記第２センサーは、加速度計を含むことを特徴とする請求項１に記載の装置。
【請求項５】
前記生体信号のデータサンプルは、ＰＰＧのローデータサンプルを含み、
前記動きデータサンプルは、加速度計のローデータサンプルを含むことを特徴とする請求項４に記載の装置。
【請求項６】
前記データ処理モジュールは、前記加速度計により感知された前記動き信号の３軸における大きさの平均に基づいて、前記動きデータサンプルの各セグメントに対する前記動き重要度測定を生成することを特徴とする請求項４に記載の装置。
【請求項７】
前記イベント予測モジュールは、前記第２ディープラーニングモデルを用いて、関連する動き重要度測定で前記処理された生体信号のデータサンプルのセグメントを評価することを特徴とする請求項１に記載の装置。
【請求項８】
前記第１ディープラーニングモデルは、活性関数としてマックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、バッチ正規化、及び整流された線形部（ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）を有する三つのコンボリューションレイヤーを含み、１つの完全連結レイヤー及び１つの出力レイヤーにつながる多モード神経網であり、
前記コンボリューションレイヤーからの出力は、平坦化され、前記処理された生体信号のデータサンプルのセグメントに対する動き重要度測定に連結され、前記完全連結レイヤーに供給されることを特徴とする請求項１に記載の装置。
【請求項９】
前記第２ディープラーニングモデルは、コンボリューション神経網（ＣＮＮ）及び循環神経網（ＲＮＮ）の混合モデルを含み、
前記処理された生体信号のデータサンプルの各セグメントは、複数のサブセグメントに分割され、
各サブセグメントは、時間順序にゲートされた循環部に供給されることを特徴とする請求項１に記載の装置。
【請求項１０】
前記生体信号のデータサンプルの所定のセグメントにイベントが存在する高い確率を示す前記イベントの予測結果に応答して、前記装置は、ユーザーに通知を提供することを特徴とする請求項１に記載の装置。
【請求項１１】
前記センサーモジュールは、出力として前記生体信号のデータサンプルの単一チャンネル及び前記動きデータサンプルの単一チャンネルを提供することを特徴とする請求項１に記載の装置。
【請求項１２】
前記品質評価モジュールは、
複数の品質ラベル及び品質訓練データの１つ以上のセットに基づいて、事前に訓練された前記第１ディープラーニングモデルを用いて、前記動き重要度測定で前記処理された生体信号のデータサンプルのセグメントを共に評価し、
各処理された生体信号のデータサンプルのセグメントを、良い信号品質又は適合しない信号品質を有するものとして識別する前記信号品質インジケータを生成することを特徴とする請求項１に記載の装置。
【請求項１３】
前記イベント予測モジュールは、
良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを受信し、イベント注釈及びイベント検出訓練データの１つ以上のセットに基づいて、事前に訓練された前記第２ディープラーニングモデルを用いて前記処理された生体信号データサンプルのセグメントを評価し、
出力として、前記生体信号のデータサンプルの所定のセグメントにイベントが存在する確率を示す前記イベントの予測結果を生成することを特徴とする請求項１２に記載の装置。
【請求項１４】
前記イベント予測モジュールは、前記生体信号のデータサンプルの所定のセグメントに心房細動が存在する確率を示す心房細動（ＡＦｉｂ）の予測結果を生成するＡＦｉｂ予測モジュールを含み、
前記ＡＦｉｂ予測モジュールは、前記第２ディープラーニングモデルを用いて前記処理された生体信号データサンプルのセグメントを評価し、
前記第２ディープラーニングモデルは、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練されることを特徴とする請求項１３に記載の装置。
【請求項１５】
ユーザーウェアラブルデバイスにおけるイベントの検出方法であって、
前記ユーザーウェアラブルデバイスに具現された第１センサーから生体信号のデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現された第２センサーから動きデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記生体信号のデータサンプルの各セグメントに対してベースライン信号レベルの除去を遂行して処理された生体信号のデータサンプルのセグメントを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記生体信号のデータサンプルと同時に収集された前記動きデータサンプルを用いて、前記生体信号のデータサンプルの各セグメントに関連する動きの程度を、穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータに分類するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理された生体信号のデータサンプルのセグメント及び前記それぞれのセグメントに対する対応する動きインジケータを第１ディープラーニングモデルに提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第１ディープラーニングモデルを用いて、各処理された生体信号のデータサンプルのセグメントに対する信号品質インジケータを生成するステップと、
前記ユーザーウェアラブルデバイスに具現されたロセッサで、良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを第２ディープラーニングモデルに提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第２ディープラーニングモデルを用いて、所望の信号品質インジケータに関連する前記処理された生体信号のデータサンプルのセグメントに基づいてイベントの予測結果を生成するステップと、を有することを特徴とする方法。
【請求項１６】
前記生体信号のデータサンプルの各セグメントは、所定の時間区間に亘って収集された生体信号のデータサンプルを含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記生体信号のデータサンプルは、心臓関連の生理的データサンプルを含み、
前記動きデータサンプルは、慣性測定データサンプルを含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記第１センサーは、光電容積脈波法（ＰＰＧ）センサーを含み、
前記第２センサーは、加速度計を含み、
前記生体信号のデータサンプルは、ＰＰＧのローデータサンプルを含み、
前記動きデータサンプルは、加速度計のローデータサンプルを含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
前記動きデータサンプルを用いて、前記生体信号のデータサンプルの各セグメントに関連する動きの程度を分類するステップは、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記加速度計により感知された前記動き信号の３軸における大きさの平均に基づいて、前記生体信号データサンプルの各セグメントに関連する動きの程度を分類するステップを含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを前記第２ディープラーニングモデルに提供するステップは、前記良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメント及び前記それぞれのセグメントに対する対応する動きインジケータを前記第２ディープラーニングモデルに提供するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２１】
前記生体信号のデータサンプルの所定のセグメントにイベントが存在する高い確率を示す前記イベントの予測結果に応答して、前記ユーザーに通知を提供するステップを更に含むことを特徴とする請求項１５に記載の方法。
【請求項２２】
前記ユーザーウェアラブルデバイスに具現された第１センサーから生体信号のデータサンプルを受信するステップは、前記生体信号のデータサンプルの単一チャンネルを受信するステップを含み、
前記ユーザーウェアラブルデバイスに具現された第２センサーから動きデータサンプルを受信するステップは、前記動きデータサンプルの単一チャンネルを受信するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２３】
前記処理された生体信号のデータサンプルのセグメント及び前記それぞれのセグメントに対する対応する動きインジケータを第１ディープラーニングモデルに提供するステップは、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、複数の品質ラベル及び品質訓練データの１つ以上のセットに基づいて、事前に訓練された前記第１ディープラーニングモデルに前記処理された生体信号のデータサンプルのセグメント及び前記それぞれのセグメントに対する対応する動きインジケータを提供するステップを含み、
前記各処理された生体信号のデータサンプルのセグメントに対する信号品質インジケータを生成するステップは、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第１ディープラーニングモデルを用いて、前記各処理された生体信号のデータサンプルのセグメントを、良い信号品質又は適合しない信号品質を有するものとして識別する前記品質インジケータを生成するステップを含むことを特徴とする請求項１５に記載の方法。
【請求項２４】
前記良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを前記第２ディープラーニングモデルに提供するステップは、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練された前記第２ディープラーニングモデルに前記良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを提供するステップを含み、
前記所望の信号品質インジケータに関連する前記処理された生体信号のデータサンプルのセグメントに基づいてイベントの予測結果を生成するステップは、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第２ディープラーニングモデルを用いて、前記生体信号のデータサンプルの所定のセグメントにイベントが存在する確率を示す前記イベントの予測結果を生成するステップを含むことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記イベントの予測結果を生成するステップは、前記生体信号のデータサンプルの所定のセグメントに心房細動が存在する確率を示す予測結果を生成するステップを含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
ユーザーウェアラブルデバイスにおける心房細動（ＡＦｉｂ）の検出方法であって、
前記ユーザーウェアラブルデバイスに具現された光電容積脈波法（ＰＰＧ）センサーからＰＰＧセンサーのデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現された慣性測定センサーから動きデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記ＰＰＧセンサーのデータサンプルに対してベースラインの除去を遂行して処理されたＰＰＧのデータサンプルを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記動きデータサンプルの動きの程度を、穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータに分類するステップと
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、複数の品質ラベル及び品質訓練データの１つ以上のセットに基づいて、事前に訓練された第１ディープラーニングモデルに前記処理されたＰＰＧのデータサンプル及び対応する動きインジケータを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理されたＰＰＧのデータサンプルの所定のセグメントを、良い信号品質又は適合しない信号品質を有するものとして識別する信号品質インジケータを生成するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練された第２ディープラーニングモデルに、良い信号品質を示す関連する信号品質インジケータを有する前記処理されたＰＰＧのデータサンプルのセグメントを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理されたＰＰＧセンサーのデータサンプルの所定のセグメントに、前記心房細動が存在する確率を示す予測結果を生成するステップと、を有することを特徴とする方法
【請求項２７】
前記ＰＰＧのデータサンプルの所定のセグメントに前記心房細動が存在する高い確率を示す前記予測結果に応答して、前記ユーザーに通知を提供するステップを更に含むことを特徴とする請求項２６に記載の方法。
【請求項２８】
ユーザーウェアラブルデバイスにおける心房細動（ＡＦｉｂ）の検出方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記方法は、
前記ユーザーウェアラブルデバイスに具現された光電容積脈波法（ＰＰＧ）センサーからＰＰＧセンサーのデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現された慣性測定センサーから動きデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記ＰＰＧセンサーのデータサンプルに対してベースラインの除去を遂行して処理されたＰＰＧのデータサンプルを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記動きデータサンプルの動きの程度を、穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータに分類するステップと
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、複数の品質ラベル及び品質訓練データの１つ以上のセットに基づいて、事前に訓練された第１ディープラーニングモデルに前記処理されたＰＰＧのデータサンプル及び対応する動きインジケータを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理されたＰＰＧのデータサンプルの所定のセグメントを、良い信号品質又は適合しない信号品質を有するものとして識別する信号品質インジケータを生成するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練された第２ディープラーニングモデルに、良い信号品質を示す関連する信号品質インジケータを有する前記処理されたＰＰＧのデータサンプルのセグメントを提供するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理されたＰＰＧセンサーのデータサンプルの所定のセグメントに、前記心房細動が存在する確率を示す予測結果を生成するステップと、を有することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療モニタリングデバイス及びその方法に関し、より詳細には、ウェアラブルデバイスを用いた心房細動の検出装置及び方法に関する。
【背景技術】
【０００２】
心房細動（Ａｔｒｉａｌ  Ｆｉｂｒｉｌｌａｔｉｏｎ：ＡＦｉｂ）は先進国において一般大衆の大略２％の有病率を有する最も有り触れた心臓不整脈（ｃａｒｄｉａｃ  ａｒｒｈｙｔｈｍｉａ）の１つである。潜在的に、ＡＦｉｂの存在により主要な健康上のリスクが現実的なものになる。通常、ＡＦｉｂは心電図（ＥｌｅｃｔｒｏＣａｒｄｉｏＧｒａｍ：ＥＣＧ）により検出される。ＥＣＧ基盤のアプローチは、ＡＦｉｂ検出で非常に高い正確度を達成するものの、ＥＣＧ信号をモニタリングするためには設置される多数の電極を有する複雑なデバイスを必要とし、その過程は能動的な人的参加（人的貢献）を必要とする。近来に、光電容積脈波法（ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ：ＰＰＧ）がＡＦｉｂ検出においてＥＣＧに対する有望な代案になって来た。ＰＰＧ−基盤解法の長所はＰＰＧ信号が参加者からの能動的努力なしに消費者レベルのウェアラブルデバイスから容易に記録されてモニタリングされることである。この長所は、入手可能なウェアラブルデバイス及びスマートフォンと共に、日々のユーザーフレンドリーのＡＦｉｂモニタリング及び検出を一般大衆に利用させることができ、これはＡＦｉｂの影響を受ける人口集団に対する大きく且つ有益な影響につながる。
【０００３】
ウェアラブルデバイスから収集されたＰＰＧ信号を活用することは信号品質に影響を与える多様な種類の雑音のために難しい。信号品質はセンサーの品質及びユーザーからの動作により極端に影響を受ける。センサー及びユーザーの動きの全てからの人工雑音は、ＡＦｉｂを検出するための有用な任意の信号を遮断する。ウェアラブルデバイスから収集されたＰＰＧ信号に対する以前の研究は、ＰＰＧデータ又は加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）データにより計算される手作り信号の品質インデックスを用いることにより、この問題を解決しようと試みた。しかし、実際にこのような手動で操作された特性は高いバイアス及び粗末な一般化可能性（ｇｅｎｅｒａｌｉｚａｂｉｌｉｔｙ）に悩まされる蓋然性がある。精製されていない（フィルタリングされていない）低品質信号は、実使用の場合のＡＦｉｂ検出において性能を劣化させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７６８９８３３号明細書
【特許文献２】米国特許第８８６２２１４号明細書
【特許文献３】米国特許出願公開第２０１４／０３３０１３４号明細書
【特許文献４】米国特許出願公開第２０１６／０１３５７０６号明細書
【特許文献５】米国特許出願公開第２０１７／００３２２２１号明細書
【特許文献６】米国特許出願公開第２０１７／０１４３２６６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザーウェアラブルデバイスを用いて心房細動を検出する装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、以下で実質的に示すか又は説明するように、特許請求の範囲で提示するように、例えば、図面中の少なくとも１つに関連する心房細動のための装置及び方法を示す。図示した詳細な実施形態だけではなく、本発明のこのような、及び他の長所、側面、新規な特性が次の説明及び図面から更に完全に理解されるだろう。
【０００７】
上記目的を達成するためになされた本発明の一態様による装置は、センサーモジュール、データ処理モジュール、品質評価モジュール、及びイベント予測モジュールを備え、前記センサーモジュールは、生体信号を測定する第１センサー及び動き信号を測定する第２センサーを含み、出力として前記生体信号のデータサンプル及び動きデータサンプルを提供し、前記データ処理モジュールは、予め定められた時間区間に亘って収集された前記生体信号のデータサンプルの各セグメントを処理して前記生体信号のデータサンプルの各セグメントから信号ベースラインを除去し、前記処理された生体信号のデータサンプルのセグメントを生成し、前記生体信号のデータサンプルと同時に収集された前記動きデータサンプルを用いて、前記生体信号のデータサンプルの各セグメントに対する、前記生体信号のデータサンプルのそれぞれのセグメントを感知する間の動きの程度を示す動き重要度測定を生成し、前記品質評価モジュールは、前記処理された生体信号のデータサンプルのセグメント及び動き重要度測定に基づいて、第１ディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）モデルを用いて信号品質インジケータを生成し、前記イベント予測モジュールは、所望の信号品質インジケータに関連する前記処理された生体信号のデータサンプルのセグメントに基づいて、第２ディープラーニングモデルを用いてイベントの予測結果を生成する。
【０００８】
上記目的を達成するためになされた本発明の一態様によるユーザーウェアラブルデバイスにおけるイベントの検出方法は、前記ユーザーウェアラブルデバイスに具現された第１センサーから生体信号のデータサンプルを受信するステップと、前記ユーザーウェアラブルデバイスに具現された第２センサーから動きデータサンプルを受信するステップと、
前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記生体信号のデータサンプルの各セグメントに対してベースライン信号レベルの除去を遂行して処理された生体信号のデータサンプルのセグメントを提供するステップと、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記生体信号のデータサンプルと同時に収集された前記動きデータサンプルを用いて、前記生体信号のデータサンプルの各セグメントに関連する動きの程度を、穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータに分類するステップと、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記処理された生体信号のデータサンプルのセグメント及び前記それぞれのセグメントに対する対応する動きインジケータを第１ディープラーニングモデルに提供するステップと、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第１ディープラーニングモデルを用いて、各処理された生体信号のデータサンプルのセグメントに対する信号品質インジケータを生成するステップと、前記ユーザーウェアラブルデバイスに具現されたロセッサで、良い信号品質を示す関連する信号品質インジケータを有する前記処理された生体信号のデータサンプルのセグメントを第２ディープラーニングモデルに提供するステップと、前記ユーザーウェアラブルデバイスに具現されたプロセッサで、前記第２ディープラーニングモデルを用いて、所望の信号品質インジケータに関連する前記処理された生体信号のデータサンプルのセグメントに基づいてイベントの予測結果を生成するステップと、を有する。
【発明の効果】
【０００９】
本発明によると、心房細動検出がユーザーウェアラブルデバイスによって具現される。従って、心房細動検出が大衆化されることに貢献する効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による電子デバイスを示す図である。
【図２】本発明の一実施形態による電子デバイスのブロック図である。
【図３】本発明の一実施形態によるＡＦｉｂ検出システムを示す図である。
【図４】本発明の一実施形態によるユーザーウェアラブルデバイスのＡＦｉｂ検出方法を示すフローチャートである。
【図５】品質ラベルとして異なる品質点数による注釈付きの異なるＰＰＧデータサンプルのセグメントの例を示す図である。
【図６】ＰＰＧ信号の３０秒のセグメントに対する動き重要度測定の模範的な波形を示す図である。
【図７】一実施例の品質評価ネットワークの構造を示す図である。
【図８】一実施例におけるＣＲＮＮモデルを使用するＡＦｉｂ予測ネットワークの構造を示す図である。
【発明を実施するための形態】
【００１１】
本発明は、プロセス、装置、システム、組成物、コンピュータ読み取り（ｒｅａｄ）可能な格納媒体に実装されたコンピュータプログラム製品、ハードウェアプロセッサ又はプロセッサに結合されたメモリーに格納されるか又はメモリーにより提供される命令を実行するように構成されたプロセッサデバイスを含む多様な手段で具現される。本明細書の詳細な説明において、このような具現又は本発明が適用される他の形態が技術的に示される。一般的に、記述されたプロセスのステップの順序は本発明の範囲内で変更される。別に言及しない限り、作業を遂行するように構成されることで説明されるプロセッサ又はメモリーは、所定の時間に作業を遂行するように臨時に構成された汎用構成要素、又は作業を遂行するように製造された特殊構成要素で具現される。ここで、使用するように、「プロセッサ」の用語は、１つ以上のデバイス、回路、及び／又はコンピュータプログラム命令のようなデータを処理するように構成されるプロセシングコア（ｐｒｏｃｅｓｓｉｎｇ  ｃｏｒｅ）を示す。
【００１２】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。本発明は、このような実施形態に関連して説明されるが、本発明はどのような実施形態にも制限されない。本発明は、多数の代案、修正、及び均等物を含む。本発明を徹底的に理解するために、多数の具体的な例を詳細に次の説明で提示する。このような詳細な説明は例示の目的にために提供され、本発明は、このような具体的な詳細な説明の一部又は全部がなくても実施される。明確性の目的のため、本発明に関連する技術的分野において知られた内容は、本発明が不必要に曖昧にならないように詳細に記述しない。
【００１３】
本発明の実施形態において、ユーザーウェアラブルデバイスは、心房細動（Ａｔｒｉａｌ  Ｆｉｂｒｉｌｌａｔｉｏｎ：ＡＦｉｂ）検出システムを具現し、生物学的センサー信号及び動き信号のチャンネルを用いてウェアラブルデバイスにより提供される演算力のみを使用する高い正確度のＡＦｉｂ検出を提供する。一実施例において、ウェアラブルデバイスは、生物学的生理（ｂｉｏｐｈｙｓｉｏｌｏｇｉｃａｌ）センサー及び慣性測定（ｉｎｅｒｔｉａｌ  ｍｅａｓｕｒｅｍｅｎｔ）センサーを含み、ユーザーウェアラブルデバイスを着用した対象の生物学的信号（ｂｉｏｌｏｇｉｃａｌ  ｓｉｇｎａｌ）及び動き信号を収集する。ユーザーウェアラブルデバイスは、ディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）モデルを使用する神経網を具現し、生物学的信号（生体信号）及び動き信号を用いてＡＦｉｂを検出する。一実施例において、生物学的生理センサーは光電容積脈波法（ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ：ＰＰＧ）センサーであり、慣性測定センサーは加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）である。このような方式で、ユーザーウェアラブルデバイスは、一般大衆がアクセス可能なＡＦｉｂモニタリング及び検出のためのポータブル、無負担（ｎｏｎ−ｉｎｔｒｕｓｉｖｅ）、及び低費用の解法を具現する。他の実施例において、ユーザーウェアラブルデバイスは、他の生体センサーの信号を検出し、検出された生体センサーの信号を、対象の動きデータと共に使用するための医療モニタリングデバイスに採用し、関心のある医療イベントを検出する。本発明のユーザーウェアラブルデバイスの構成及び応用は、ＡＦｉｂ検出のみに限定されず、健康モニタリングで広い応用範囲を有する。
【００１４】
本発明のＡＦｉｂ検出のためのユーザーウェアラブルデバイスは、従来のシステム及び方法に比して多くの長所を具現する。一番目に、本発明のＡＦｉｂ検出システムは、生体信号の単一チャンネル及び動き信号の単一チャンネル、そしてディープ神経網を最小の事前処理又は変換を有するセンサーからのロー（ｒａｗ）信号に直接に適用される軽量ＡＦｉｂ検出方法を使用する。従って、ＡＦｉｂシステムは、高い正確度のＡＦｉｂ検出を提供してウェアラブルデバイスに効果的に具現される。二番目に、ＡＦｉｂ検出システムは、ディープラーニングモデルを用いて動き信号で生体信号を評価して、手動で品質測定を構成せずに生体信号の品質を評価する。この方法において、良い信号品質を有する生体信号のみがＡＦｉｂ検出のために使用され、従って強健なＡＦｉｂ予測結果が保証される。
【００１５】
一実施例において、検出システムは、ロー（ｒａｗ）生体センサー信号を入力に利用して補助（ａｕｘｉｌｉａｒｙ）コンボリューション神経網（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）を訓練することにより具現される品質評価ネットワークを含み、手動で品質測定を構成せずに生物学的生理センサーから収集された信号の品質を正確に評価する。品質評価ネットワークは、ゲートキーパーとして動作し、良い信号品質を有するロー生体センサー信号のセグメントを識別し、従ってＡＦｉｂ検出に適合する。ＡＦｉｂ検出システムは、品質評価ネットワークにより提供される信号からＡＦｉｂ存在の確率を予測する他の一つの訓練されたＣＮＮであるＡＦｉｂ予測ネットワークを更に含む。本発明のＡＦｉｂ検出システムは、ＡＦｉｂ検出において最先端のＥＣＧ基盤のアプローチに匹敵する高い正確度を達成するにも拘らず、手首（ｗｒｉｓｔ）バンドウェアラブルデバイスのような小さなモバイルデバイスで具現される簡単な構造を有する。
【００１６】
図１は、本発明の一実施形態による電子デバイスを示す図であり、図２は、本発明の一実施形態による電子デバイスのブロック図を示す図である。図１及び図２を参照すると、ユーザーウェアラブルデバイスである電子デバイス１００は、ディスプレイ１６０、プロセッサ１３０、センサーモジュール１５０、バッテリー１７０、バンド１４０、及びクラスプ（ｃｌａｓｐ）１４２を含む。バンドは手首を取り巻き、ユーザーウェアラブルデバイス１００はクラスプ１４２を用いることにより手首に固定される。センサーモジュール１５０は一つ以上のセンサー（１５２、１５６）及びローカルプロセッサ１５４を含む。ローカルプロセッサ１５４は、センサーモジュールのための制御機能を具現し、また感知された信号の処理及び前処理を遂行する。プロセッサ１３０は、ユーザーウェアラブルデバイスのための制御機能を具現し、また感知された信号に対する信号処理機能を更に遂行する。ローカルプロセッサ１５４又はプロセッサ１３０は診断プロセッサとしても示される。
【００１７】
ユーザーウェアラブルデバイス１００が手首に着用されるが、本発明の多様な実施形態はそのように限定される必要がない。ユーザーウェアラブルデバイス１００は、例えば腕（前腕、肘、上腕）、脚、胸部、ヘッドバンドのようなヘッド、チョーカー（ｃｈｏｋｅｒ）のようなネック、及び耳のような身体の他の部分に着用されるように設計される。ユーザーウェアラブルデバイス１００は、例えばスマートフォン、ラップトップ、又は病院や医者の執務室の多様な医療デバイスのような他の電子デバイスと通信する。
【００１８】
ディスプレイ１６０は、ユーザーの身体からモニタリングされた生物学的生理信号をユーザー及び／又は他人が見るために出力する。モニタリングされる生物学的生理信号は生体信号（ｂｉｏｓｉｇｎａｌｓ）又は生体測定データ（ｂｉｏｍｅｔｒｉｃ  ｄａｔａ）で示される。モニタリングされた生体信号は、例えば心拍動数、パルス形態、パルス間隔（脈拍間の間隔）、呼吸率、及び血圧である。ディスプレイ１６０は、例えば状態及び診断結果だけではなく、ユーザーウェアラブルデバイス１００を使用するか又は他の測定デバイスを使用するユーザー又は他人に対する指示も出力する。
【００１９】
プロセッサ１３０はセンサーモジュール１５０のセンサーからモニタリングされたか又は感知された信号を受信する。例えば、センサー（１５２、１５６）は、ユーザーウェアラブルデバイス１００がユーザーに着用された場合に、ユーザーの手首から信号を獲得する。本発明の実施形態において、センサーモジュール１５０は、生物学的生理センサーである第１センサー１５２及び慣性測定センサーである第２センサー１５６を含む。一実施例において、生物学的生理センサーは光電容積脈波法（ＰｈｏｔｏＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ：ＰＰＧ）センサーであり、慣性測定センサーは加速度計である。センサーモジュール１５０はセンサー（１５２、１５６）を制御するための、またセンサー（１５２、１５６）により感知された信号を処理するためのローカルプロセッサ１５４を含む。例えば、ローカルプロセッサ１５４は、センサー（１５２、１５６）によりモニタリングされた信号を分解（ｄｅｃｏｍｐｏｓｅ）し、分解された信号を再構成する。本発明の多様な実施例は、ローカルプロセッサ１５４の機能を遂行するプロセッサ１３０を含む。本発明の多様な実施例は、異なる数のセンサーを有する。
【００２０】
一実施例において、センサー１５２は、心拍動数又は心拍動形態のようなユーザーの心臓関連の生物学的生理情報を連続的に又は周期的にモニタリングするために使用されるＰＰＧセンサーである。一方、センサー１５６は、ユーザーの動き情報を連続的に又は周期的にモニタリングするために使用される加速度計である。センサーモジュール１５０は、例えばユーザーの温度を獲得するための温度計のような他のセンサーを含む。
【００２１】
ユーザーウェアラブルデバイス１００は、本発明のＡＦｉｂ検出システムをプロセッサ１３０により具現する。ＡＦｉｂ検出システムは、慣性測定センサー１５６により測定された動き信号を用いて生物学的生理センサー１５２により測定された生物学的生理信号の品質を評価するための品質評価ネットワークを含み、良い品質であると判定される生物学的生理信号を評価し、モニタリングされた信号からＡＦｉｂの存在の確率を推定するためのＡＦｉｂ予測ネットワークを更に含む。ＡＦｉｂ検出システムの詳細な構造は、以下でより詳細に説明する。
【００２２】
図２を参照すると、ユーザーウェアラブルデバイス１００は、センサーモジュール１５０、プロセッサ１３０、ディスプレイ１６０、及び他の構成要素に電力を供給するバッテリー１７０を含む。プロセッサ１３０はディスプレイ１６０に提供される出力を制御する。ディスプレイ１６０は、例えばボタン、ダイアル、タッチ感知スクリーン、及びマイクのような入力装置（図示せず）も含む。
【００２３】
本発明の実施形態において、センサーモジュール１５０はユーザーの生体信号を測定する少なくとも１つの生物学的生理センサー１５２を含む。本実施例で、生物学的生理センサー１５２はＰＰＧセンサーである。センサーモジュール１５０はユーザーの動きを測定する少なくとも１つの慣性測定センサー１５６を更に含む。本実施例で、慣性測定センサー１５６は３軸加速度計のような加速度計である。センサーモジュール１５０のセンサー（１５２、１５６）を制御し、センサー（１５２、１５６）によりそれぞれ感知される生体信号及び動き信号を処理するローカルプロセッサ１５４が提供される。一実施例で、信号処置動作はローカルプロセッサ１５４及び／又はプロセッサ１３０により具現される。そうでない場合、ローカルプロセッサ１５４は特定の信号の前処理のような信号処理の一部を遂行し、プロセッサ１３０は生体測定の判定又は他の機能のための他の信号処理アルゴリズムを具現する。本発明の実施形態において、生体測定の信号処理アルゴリズムを実行するために使用される特定のプロセッサは、本発明の実施に重要ではない。
【００２４】
本発明の実施形態において、プロセッサ１３０は、ユーザーウェアラブルデバイス１００の感知動作、サンプリングスケジュール、信号処理動作、そしてデバイスの通信イベント及び他のデバイス特化機能を制御する。本実施例で、プロセッサ１３０は、ＣＰＵ１３２、メモリー１３４、入力／出力（Ｉ／Ｏ）インターフェース１８２、通信インターフェース１８４、及びＡＦｉｂ検出モジュール１９０を含む。プロセッサ１３０がこのような多様なデバイスを含むものとして説明するが、他の実施例では、他の機能が異なるようにグループ化された他の構造を使用する。例えば、グループ化は異なる集積回路チップである。グループ化は、Ｉ／Ｏインターフェース１８２及び通信インターフェース１８４のような異なるデバイスを共に組み合わせることである。
【００２５】
メモリー１３４は不揮発性メモリー１３７及び揮発性メモリー１３８の中の少なくとも１つを含む。メモリー１３４は運営体制（ＯＳ）１３５又はアプリケーション１３６のデータや命令を格納する。プロセッサ１３０はＡＦｉｂ検出モジュール１９０を含み、加速度計からの動き信号のような動き信号を用いてＰＰＧ信号のような感知された生体信号に対してＡＦｉｂ検出を遂行する。本実施例で、ＡＦｉｂ検出モジュール１９０は、データ処理モジュール１９２、品質評価モジュール１９４、及びＡＦｉｂ予測モジュール１９６を含む。データ処理モジュール１９２は、感知された生体信号に対して信号の前処理を遂行する。例えば、データ処理モジュール１９２は感知された生体信号に対してベースライン除去（ｂａｓｅｌｉｎｅ  ｒｅｍｏｖａｌ）又はＤＣ信号レベルの除去を遂行する。例えば、品質評価モジュール１９４は、ゲートキーパー（ｇａｔｅ  ｋｅｅｐｅｒ）として動作し、良い品質を有するロー（ｒａｗ）ＰＰＧ信号のセグメントを識別し、これによってＡＦｉｂ検出に適合する品質評価ネットワークを具現する。ＡＦｉｂ予測モジュール１９６は品質評価ネットワークから提供された良い品質信号によりＡＦｉｂ存在の確率を予測するＡＦｉｂ予測ネットワークを具現する。
【００２６】
図３は、本発明の一実施形態によるＡＦｉｂ検出システムを示す図である。一実施例において、図３のＡＦｉｂ検出システムは、ユーザーウェアラブルデバイス１００のプロセッサ１３０のＡＦｉｂ検出モジュール１９０で具現される。図３を参照すると、ＡＦｉｂ検出システム２００はセンサーモジュール１５０と通信して感知された生体信号及び動き信号を受信する。本実施例で、センサーモジュール１５０は生体信号としてＰＰＧ信号を提供するＰＰＧセンサー１５２及び動き信号として加速度計信号を提供する加速度計１５６を含む。センサーモジュール１５０は特定の信号の前処理及び制御機能を提供するローカルプロセッサ１５４を含む。生体信号及び動き信号は、両方共に時系列（ｔｉｍｅ−ｓｅｒｉｅｓ）信号であり、一般的に所定のサンプリング率で電気的電圧レベルを連続的に測定されることが理解される。従って、本動作において、生物学的生理センサーにより測定された生体信号は、生体データサンプルの時系列で提供される。同様に、慣性測定センサーにより測定された動き信号は動きデータサンプルで提供される。本実施例で、ＰＰＧセンサー１５２及び加速度計１５６の両方は、１００Ｈｚのサンプリング率、即ち秒当り１００サンプルで動作する。
【００２７】
本実施例で、ＰＰＧセンサー１５２は、出力にＰＰＧのロー（ｒａｗ）データサンプル（１５１ノード）を提供し、加速度計１５６の出力に加速度計のローデータサンプル（１５７ノード）を提供する。本明細書で、「ロー（ｒａｗ）」信号は処理されないか又は最小に処理された感知信号を示す。
【００２８】
本明細書で、モニタリングされる生体信号はＰＰＧ信号であると称するが、他の種類の生体信号が本発明のＡＦｉｂ検出システムで使用されることが理解される。ＰＰＧセンサー１５２の使用は、例示的なことであり、制限される意図はない。他の実施例で、生体信号は、他のある心臓関連の生物学的生理信号である。なお、次の説明で、動き信号は加速度計により測定されるが、他の種類の動きセンサー又は慣性測定センサーも動き信号を獲得するために使用される。加速度計１５６の使用は、例示的なものであり、制限する意図はない
【００２９】
ＡＦｉｂ検出システム２００はＰＰＧのローデータサンプル及び加速度計のローデータサンプルを受信する。本発明のＡＦｉｂ検出システム２００の際立った特性は、ＡＦｉｂ検出システム２００がＰＰＧのデータサンプルの単一チャンネル及び加速度計のサンプルの単一チャンネルのみを用いて高い正確度のＡＦｉｂ予測結果を提供することにある。従って、ＡＦｉｂ検出システム２００はウェアラブルデバイスにおける具現に適合する小さな演算構造を用いて具現される。
【００３０】
ＡＦｉｂ検出システム２００において、ＰＰＧのローデータサンプルは、ベースライン除去モジュール２０２に提供されて、信号からベースライン信号レベル又はＤＣオフセットが除去される。例えば、ＰＰＧのデータサンプルが大略０Ｖ（ｚｅｒｏ  ｖｏｌｔ）を中心にした電圧値を有するようにベースラインレベルが除去される。一実施例で、ＰＰＧのローデータサンプルはＰＰＧのデータサンプルのセグメント毎に処理され、各セグメントは所定の時間区間、例えば３０秒に亘って収集されたＰＰＧデータサンプルを含む。１００Ｈｚのサンプリング率で、各セグメントは３０００ＰＰＧのデータサンプルを含む。ベースライン除去モジュール２０２は、ＰＰＧのデータサンプルのセグメント単位で動作し、出力として処理されたＰＰＧデータサンプルのセグメントを生成する。
【００３１】
一方、加速度計のローデータサンプルは、評価のために動き重要度モジュール２０４に提供される。ＰＰＧのデータサンプルの各セグメントに対して、ＰＰＧのデータサンプルと同時間帯に収集された動きデータサンプルの対応するセグメントが有る。動き重要度モジュール２０４は、対応する動き重要度データサンプルを用いてＰＰＧのデータサンプルの各セグメントに対する動き重要度測定を生成する。特に、動き重要度測定は、ＰＰＧのデータサンプルのそれぞれのセグメントを感知する間の動きの程度を示す。一実施例において、動き重要度測定は穏やかな動きを示す第１動きインジケータ及び激しい動きを示す第２動きインジケータを含む。動き重要度モジュール２０４は、第１動きインジケータ及び第２動きインジケータを用いて動きデータサンプルを評価し、ＰＰＧのデータサンプルの各セグメントに対応する動きデータサンプルを分類する。一実施例において、動きのローデータサンプルはＰＰＧのローデータサンプルと同じ方式でセグメント毎に処理される。一実施例において、動き重要度モジュール２０４は、加速度計により感知された動き信号の３軸における大きさの平均に基づいて、動きデータサンプルの各セグメントに対する動き重要度測定（２０８ノード）を生成する。
【００３２】
ＡＦｉｂ検出システム２００は、処理されたＰＰＧのデータサンプルのセグメント及び対応する動き重要度測定を受信する品質評価ネットワーク２１０を含む。品質評価ネットワーク２１０は、品質ラベルのセット及び１つ以上の品質訓練データのセットに基づいて、事前に訓練された第１ディープラーニングモデルを用いて、処理された生体信号データサンプルのセグメントを動き重要度測定として評価する。本動作において、品質評価ネットワーク２１０は出力として信号品質インジケータを生成し、信号品質インジケータは、各処理された生体信号のデータサンプルのセグメントを、良い（適合する）信号品質又は不適合な（適合しない）信号品質を有するものとして識別する。実際に、品質評価ネットワーク２１０は不適合な信号品質を有するＰＰＧのデータサンプルのセグメントをフィルタリングして取り除き（２１４ノード）、良い信号品質のＰＰＧのデータサンプルのセグメントのみをＡＦｉｂ予測のための次のステップへの移動を許容する。ＡＦｉｂ予測で、良い品質を有するＰＰＧのデータサンプルのセグメントのみが使用されるため、ＡＦｉｂ検出システム２００は強健且つ信頼性のあるＡＦｉｂ予測を遂行することができる。
【００３３】
品質評価ネットワーク２１０の際立った特性は、ＰＰＧのデータサンプルの信号品質を評価するために動き重要度測定を使用（２０８ノード）する。動きデータサンプルは、良い信号品質対不適合な信号品質に対する臨界値を設定することに使用されない。代わりに、動きデータは、ＰＰＧのデータサンプルの形態学（ｍｏｒｐｈｏｌｏｇｙ）と共に使用され、第１ディープラーニングモデルに適用されてＰＰＧのデータサンプルの品質を分類する。例えば、一部の場合に、動きが激しいとしても信号品質は相変わらず良くなる。また、一部の場合に、動きが穏やかだとしても信号品質は不適合となる。第１ディープラーニングモデルは、動きデータの観点からＰＰＧのデータサンプルの品質を分類して、意味のある品質評価結果を提供する。品質評価ネットワーク２１０の構造は、以下でより詳細に説明する。
【００３４】
ＡＦｉｂ検出システム２００は、品質評価ネットワーク２１０により提供されて処理されたＰＰＧのデータサンプルのセグメントを受信するＡＦｉｂ予測ネットワーク２２０を含む。即ち、ＡＦｉｂ予測ネットワーク２２０は良い信号品質として評価されて処理されたＰＰＧのデータサンプルのセグメントのみを受信する。ＡＦｉｂ予測ネットワーク２２０は、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練された第２ディープラーニングモデルを用いて、処理された生体データサンプルのセグメントを評価する。ＡＦｉｂ予測ネットワーク２２０は、生体信号のデータサンプルの所定のセグメントに心房細動が存在する確率を示す予測結果を生成（２２２ノード）する。生体信号のデータサンプルの特定のセグメントに存在するものとして検出されたＡＦｉｂに応答して、ＡＦｉｂ検出システム２００は使用者に通知を伝送する。例えば、通知はモバイルデバイス及び／又はウェアラブルデバイスのアプリケーションを通じて伝送される。
【００３５】
代案的な実施例において、ＡＦｉｂ予測ネットワーク２２０は、動き重要度測定及び良い品質のＰＰＧのデータサンプルのセグメントを受信し、関連する動き重要度測定と共に第２ディープラーニングモデルを用いて評価する。
【００３６】
一実施例において、品質評価ネットワーク２１０で具現される第１ディープラーニングモデルは、活性関数としてマックスプーリング（ｍａｘ  ｐｏｏｌｉｎｇ）、バッチ正規化（ｂａｔｃｈ  ｎｏｒｍａｌｉｚａｔｉｏｎ）、及び整流された線形部（ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔ）を有する三つのコンボリューションレイヤー含み、１つの完全連結レイヤー及び１つの出力レイヤーにつながる多モード（ｍｕｌｔｉｍｏｄａｌ）神経網である。コンボリューションレイヤーからの出力は、平坦化され、処理された生体信号のデータサンプルのセグメントに対する動き重要度測定に連結され、完全連結レイヤーに供給される。
【００３７】
他の実施例において、ＡＦｉｂ予測ネットワークで具現される第２ディープラーニングモデルは、コンボリューション神経網（ＣＮＮ）及び循環神経網（ＲＮＮ）の混合モデルであり、処理された生体信号のデータサンプルの各セグメントは複数のサブセグメントに分割され、各サブセグメントは時間順序にゲートされた（ｇａｔｅｄ）循環部（ｒｅｃｕｒｒｅｎｔ  ｕｎｉｔｓ）に供給される。
【００３８】
図４は、本発明の一実施形態によるユーザーウェアラブルデバイスのＡＦｉｂ検出方法を示すフローチャートである。一実施例で、方法３００は図１及び図２のユーザーウェアラブルデバイス１００のプロセッサ１３０のようなウェアラブルデバイスのプロセッサにより具現される。図４を参照すると、方法３００はユーザーウェアラブルデバイスにより具現された第１センサーから生体信号のデータサンプルの信号チャンネルを受信することから始める（ステップ３０２）。例えば、生体信号のデータサンプルはＰＰＧのデータサンプルである。方法３００は、またユーザーウェアラブルデバイスにより具現された第２センサーから動きデータサンプルの単一チャンネルを受信する（ステップ３０２）。例えば、動きデータサンプルは加速度計のデータサンプルである。本実施例で、方法３００は、ローデータサンプル、即ち処理されないか又は最小に処理されたデータサンプルを受信する。
【００３９】
ステップ３０４において、方法３００は、生体信号のデータサンプルのセグメントに対してベースライン信号レベルの除去を遂行し、処理された生体信号のデータサンプルのセグメントを提供する。ステップ３０６において、方法３００は、生体信号のデータサンプルと同時に収集された動きデータサンプルを用いて、生体信号のデータサンプルの各セグメントに関連する動きの程度を分類する。一実施例において、動きの程度は穏やかな動きを示す第１動きのインジケータ及び激しい動きを示す第２動きのインジケータに分類される。一実施例において、方法３００は、加速度計により感知された動き信号の３軸における大きさの平均に基づいて、生体信号のデータサンプルの各セグメントに関連する動きの程度を分類する。
【００４０】
方法３００はステップ３０８につながり、処理された生体信号のデータサンプルのセグメント及び各セグメントに対する対応する動きインジケータは、品質ラベルのセット及び品質訓練データの１つ以上のセットに基づいて、事前に訓練された第１ディープラーニングモデルを具現する品質評価ネットワークに提供される。ステップ３１０で、方法３００は各処理された生体信号のデータサンプルのセグメントを、良い信号品質又は不適合な信号品質を有するものとして識別する信号品質インジケータを生成する。不適合な品質の生体信号のデータサンプルのセグメントは捨てられる（ステップ３１２）。
【００４１】
方法３００はステップ３１４につながり、良い信号品質を示す関連する信号品質インジケータを有し且つ処理された生体信号のデータサンプルのセグメントは、ＡＦｉｂ注釈及びＡＦｉｂ検出訓練データの１つ以上のセットに基づいて、事前に訓練された第２ディープラーニングモデルを具現するＡＦｉｂ予測ネットワークに提供される。ステップ３１６で、方法３００は生体信号のデータサンプルが所定のセグメントで心房細動が存在する確率を示す予測結果を生成する。一実施例において、ＡＦｉｂの存在を検出することに応答して、ＡＦｉｂ検出方法３００はユーザーに通知を伝送する。例えば、通知はモバイルデバイス及び／又はウェアラブルデバイスのアプリケーションを通じて伝送される。
【００４２】
代案的な実施例において、方法３００は良い信号品質を示す関連する信号品質インジケータを有する処理された生体信号のデータサンプルのセグメント及び各セグメントに対して関連する動きインジケータを第２ディープラーニングモデルに提供する。
【００４３】
本発明の実施形態において、品質評価ネットワーク又はモジュールは、第１ディープラーニングモデルをＰＰＧのデータサンプルを評価することに適用し、良いか又は不適合な信号品質のレベルを判定する。第１ディープラーニングモデルは品質ラベルのセットに基づいて事前に訓練される。一実施例で、ＰＰＧのデータのセットが収集され、収集されたＰＰＧのデータの信号品質が人間である専門家により評価され、１（最も低い品質）〜１０（最も高い品質）の品質インデックスが各セグメントに品質ラベルとして割当られる。例えば、信号の品質は、形態学（ｍｏｒｐｈｏｌｏｇｙ）、周期性（ｐｅｒｉｏｄｉｃｉｔｙ）、ダイクロティックノッチ（ｄｉｃｒｏｔｉｃ  ｎｏｔｃｈ）の存在、及び拍動の一貫性に基づいて評価される。
【００４４】
図５は、品質ラベルとして異なる品質点数による注釈付きの異なるＰＰＧデータサンプルのセグメントの例を示す図である。図５を参照すると、左側の列の信号セグメントは非ＡＦｉｂとしてラベリングされ、そして右側の列の信号セグメントはＡＦｉｂとしてラベリングされる。信号の品質が低い場合、ＡＦｉｂ信号を非ＡＦｉｂ信号から区分することは不可能である。
【００４５】
ここで使用するように、「ディープラーニングモデル」の用語はより正確な分類と引き換えに長い訓練時間を必要とする分類モデルを指す。実際に、分類モデルの訓練は、高性能コンピュータ上で遂行され、その後訓練されたモデルがモデルを用いる推論が実行されるデバイス上に展開される。一実施例において、ここで説明するように、ディープラーニング神経網モデルはディープラーニングモデルと見なされる。しかし、他の機械学習及び／又は分類技術がディープラーニングモデルを生成するために採用される。簡単に言うと、本発明の実施形態は、ＡＦｉｂ検出又は専門家入力に基づいて、漸次的に改善される機械学習を用いたイベント予測に対するものである。多様な実施例中の少なくとも１つから、複数の分類者（インデックス、ラベル、又は注釈）、訓練データ、及び／又はテストデータの１つ以上のセットを用いて訓練されたディープラーニングモデルにデータが提供される。
【００４６】
本発明のＡＦｉｂ検出システムの詳細な構造は、生物学的生理センサーとしてＰＰＧセンサーを使用する一実施例を参照して説明される。以下で説明する実施例は、例示的なものに過ぎず、制限する意図はない。
【００４７】
模範的な一実施例において、ＰＰＧデータはウェアラブルデバイスにより収集された１４４３個のＰＰＧセグメントを有する１９名の患者から収集される。各ＰＰＧセグメントは、１００Ｈｚのサンプリング率を有する３０秒のデータを含み、セグメント当り３０００個のサンプルが得られる。なお、各ＰＰＧセグメントは１００Ｈｚで同時に記録された加速度計の測定値を得る。全てのＰＰＧサンプルの中の１１０１個はＡＦｉｂを有し、３４２個は他のリズムを有する。人間の専門家により手動で注釈された１（最も低い品質）〜１０（最も高い品質）の範囲の品質インデックスも、各ＰＰＧサンプルと共に得られる。信号の品質は、周期性、ダイクロティックノッチの存在、及び拍動の一貫性を含む因子に基づいて評価される。図５はＰＰＧ信号の模範的な波形を示す。ＡＦｉｂイベントの存在のためにＥＣＧサンプルも収集されて注釈される。このような注釈はＡＦｉｂに対する根拠の真理に使用される。
【００４８】
［データ処理］
一実施例において、ＡＦｉｂ検出システムは８レベルのウェーブレット分解（ｗａｖｅｌｅｔ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ）及びドブシーウェーブレット（Ｄａｕｂｅｃｈｉｅｓ  ｗａｖｅｌｅｔ）をＰＰＧの各セグメントに適用し、近似チャンネル（ａｐｐｒｏｘｉｍａｔｉｏｎ  ｃｈａｎｎｅｌ）をウェーブレットの再構成から除去して、ベースラインを除去する。加速度計の信号の対応する規模に基づいて各セグメントに対して動き重要度測定のセットが計算され、ＰＰＧ信号の記録のうちの動きの程度を捕捉する。例えば、数学式１のように、動き重要度測定は加速度計の信号の３軸における大きさの平均により計算される。
【００４９】
【数１】
2019084343.tif 000003
【００５０】
具体的に、各動きセグメントは３０秒のＰＰＧセグメントに亘って０．５秒ウィンドーに対して標準偏差の百分率を閾値にすることにより計算される２つの動きインジケータ（穏やかな動き及び激しい動き）の結果を含む。閾値は予め定められる。なお、ＡＦｉｂ検出システムは、６より高い品質インデックスを有する信号セグメントを良い品質のセグメント（０としてラベリングされる）に、残りを不適合な品質のセグメント（１としてラベリングされる）にグループ化し、例えば７１６個の良い品質及び２７個の不適合な品質のセグメントを生成する。
【００５１】
図６は、ＰＰＧ信号の３０秒のセグメントに対する動き重要度測定の模範的な波形を示す図である。左側の波形は加速度計のロー信号を示す。右側の波形は激しい動き４０２及び穏やかな動き４０４を有する０．５秒ウィンドーを示す。激しい動き及び穏やかな動きのウィンドーの百分率（最上に示される）は上述した動き重要度測定に使用される。
【００５２】
［品質評価ネットワーク］
図７は、一実施例の品質評価ネットワークの構造を示す図である。図７を参照すると、品質評価ネットワークは、２つの入力（３０秒の間隔を有する事前処理されたＰＰＧ信号及び上述した激しい動き測定）を収容し、信号が良い品質であるか否かの確率を予測するように設計された多モデル神経網を含む。動き変数はコンボリューションレイヤーからのＰＰＧの学習された特性と共に最後のステップで注入される。モデルは上述した二進数の良いか又は不適合な品質のラベルにより訓練される。
【００５３】
図７の品質評価ネットワークは、活性関数としてマックスプーリング、バッチ正規化、及び整流された線形部（ＲｅＬＵ）を有する三つのコンボリューションレイヤーにより構成され、１つの完全連結レイヤー及び１つの出力レイヤーにつながる。第１、第２、第３のレイヤーで、時間的次元に沿って３２、８、２のサイズを有する８、８、４のフィルターがある。１次元のマックスプーリングレイヤーのプーリングサイズは、それぞれ１２、８、２である。サンプルはフィルターのためにパディング（ｐａｄｄｅｄ）されない。コンボリューションレイヤーからの出力は、平坦化され、当該信号に対する動き重要度測定に連結され、ＲｅＬＵ活性化と共に完全連結レイヤーに供給され、不適合な品質を有するセグメントの確率を出力するシグモイド（ｓｉｇｍｏｉｄ）活性関数を有する出力レイヤーにつながる。
【００５４】
このモデルは、過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）を防止するように全てのコンボリューションフィルターの加重値に付与されたＬ２規則及び完全連結レイヤーに対する脱落（ｄｒｏｐ  ｏｕｔ）規則に規則化される。Ｌ２規則に対するパラメーターは０．０５であり、脱落に対する比率は５０％である。このモデルのパラメーターの総数は２５２９である。
【００５５】
［ＡＦｉｂ予測ネットワーク］
本発明の実施形態において、ＡＦｉｂ予測ネットワークは、品質評価ネットワークによって良い信号であると予測された事前処理されたＰＰＧ信号を収容する第２神経網を含む。このモデルは、一実施例において、根拠真理の目標として対応する３０秒のＥＣＧ信号に対するＡＦｉｂ注釈で訓練される。波形のローカル構造及びそれらの時間的進行の両方を、ＡＦｉｂを予測するための特性として効果的に抽出するために、ＣＮＮ及びＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の混合モデルであるＣＲＮＮモデル（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｒｅｃｕｒｒｅｎｔ  Ｈｙｂｒｉｄ  Ｍｏｄｅｌ）が開発された。ＡＦｉｂ予測ネットワークは、ベースラインとして循環構造のないＣＮＮモデルを用いて又は他の形態のディープ神経網構造を用いて具現される。
【００５６】
一実施例において、ＣＮＮベースラインモデルは品質評価ネットワーク（図６参照）に類似した３レイヤーＣＮＮである。差異点は各コンボリューションレイヤーのフィルターの数であり、このモデルは３２、１６、１６個のフィルターを有する。特に、ＡＦｉｂ  ＰＰＧのセグメントから変わらない複雑な波形の構造を抽出するためにより多くのフィルターが必要である。なお、本実施例で、第２入力として連結された動き測定は存在しない。このモデルのパラメーターの総数は１３１２１個である。他の実施例で、動き測定がＣＮＮのベースラインモデルに対する第２入力として連結される。
【００５７】
図８は、一実施例におけるＣＲＮＮモデルを使用するＡＦｉｂ予測ネットワークの構造を示す図である。図８を参照すると、ＣＲＮＮモデルは、固定された時間のセグメント間の変則的なパターンのような、ＰＰＧ信号の複雑な時間依存性をもっとよくモデリングする入力として連続的な時間ウィンドーからの信号を有するＲＮＮ構造を含む。ＣＲＮＮモデルで、データサンプルの３０秒のセグメントは１０個の３秒のウィンドーセグメントに分割され、各セグメントは時間順に特性抽出機ＧＲＵ（Ｇａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔｓ）セルに供給される。
【００５８】
各時間ウィンドーから波形構造を効果的に抽出するために、各ウィンドーに三つのコンボリューションレイヤーを含む特性抽出機が適用される。フィルターの数はＣＮＮの第１、第２、第３レイヤーで３２、１６、１６である。時間的次元に沿うフィルターのサイズは３２、１６、８であり、１次元マックスプーリングレイヤーのサイズは、各レベルでそれぞれ４、４、２である。サンプルはフィルターのためにパディング（ｐａｄｄｅｄ）されない。ＣＮＮのフィルターの加重値は、波形構造に対する特性が時間次元に沿って変わらない前提を有し、全ての時間的ステップで共有される。整流された線形部（ＲｅＬＵ）は全てのコンボリューションレイヤーに対する活性関数に使用される。各ウィンドーの抽出された描写は、その後各時間ステップ（３秒）でゲート付き再帰型ユニット（Ｇａｔｅｄ  Ｒｅｃｕｒｒｅｎｔ  Ｕｎｉｔｓ：ＧＲＵ）に供給される。各ＧＲＵセルで隠されたレイヤーのサイズは１６である。脱落（５０％）は、図８に図示したように反復部の隠されたレイヤーに適用される。
【００５９】
［最適化］
各モデルの加重値は、損失関数として二進交差エントロピー（ｂｉｎａｒｙ  ｃｒｏｓｓ  ｅｎｔｒｏｐｙ）を用いて、バックプロパゲーション（ｂａｃｋ  ｐｒｏｐａｇａｔｉｏｎ）を通じてアダムオプティマイザ（Ａｄａｍ  ｏｐｔｉｍｉｚｅｒ）により最適化される（０．０００５の学習率）。ＡＦｉｂ検出作業において不均衡のクラスサイズを取り扱うために、ＡＦｉｂ検出モデルを訓練する時により高いクラス加重値が０．７の不十分なクラス（ＡＦｉｂがないセグメント）及び０．３の他のクラスに割当てられる。モデルは６４例の最小バッチにより訓練される。訓練は、１５０エポック（ｅｐｏｃｈｅｓ）で又は確認エラーが１０個の連続的な反復に対する改善を中止する毎に中止され、過剰適合を防止する。
【００６０】
［品質評価結果］
本システムはファイブフォールド（ｆｉｖｅ  ｆｏｌｄ）の交差確認を用いてディープラーニングモデルの性能を評価する。本システムは各フォールドでテストセットの平均（ｍｅａｎ）正確度（ＡＣＣ）及び各フォールドでテストセットの予測された確率を用いて統合されたＡＵＣ（Ａｒｅａ  Ｕｎｄｅｒ  ｔｈｅ  Ｃｕｒｖｅ）を利用する。モデルの効果を立証するために動き測定の閾値が設定されて、良い品質信号及び不適合な品質信号を分離する簡単な規則基盤のベースラインモデルが含まれる。一実施例によると、本システムは２つの代案的なモデル（入力に動き測定を追加しないＣＮＮモデル、加速度計のロー信号、及びＰＰＧ信号の全てを使用するＣＮＮモデル）を更にテストする。評価は、根拠真理として人の評価に対しテストされる。ここに使用された品質評価のためのディープラーニングモデルは９５．２１％のＡＵＣを達成するベースラインモデルよりもずっと高い正確度及びＡＵＣを有する。
【００６１】
［ＡＦｉｂ検出結果］
ＡＦｉｂ検出システムを独立的に評価するために、良い品質にラベリングされた全ての信号（６より大きい品質点数を有する）は、ＡＦｉｂ予測モデルを訓練して立証することに使用される。信号の結果サンプルはＡＦｉｂサンプルにより支配される。より強健なモデルを訓練するために、モデルの損失関数において不十分なクラスにもっと高い加重値が割当られる。
【００６２】
上述した二つの構造（ＣＮＮ及びＣＲＮＮ）を含む二つのモデルがテストされる。モデルの全ては９７％よりも高い正確度及び９９％よりも高いＡＵＣを有する。混合モデルは、全体的に最も優れた性能を達成し、時間依存の情報をモデリングすることがＡＦｉｂを予測することに役立つことを示す。結果は１００００の範囲の数のパラメーターを有する相対的に小さいネットワーク構造が非常に高い性能を達成することを示す。
【００６３】
本発明の実施形態において、ＰＰＧ信号を使用するディープラーニングのＡＦｉｂ検出システムは、最小の手動特性機能で非常に高い性能を示した。品質評価ネットワークを訓練することにより、本システムは不適合な信号を正確に除去し、従ってＡＦｉｂ検出アルゴリズムによる強健な予測を保証する。これは、信号がウェアラブルデバイスから得られ、品質で大きな変動がある場合に非常に効果的である。なお、小さなコンボリューションネットワークであっても高い正確度でＡＦｉｂを予測することができる。
【００６４】
本発明の側面を、各ブロック又はブロックのどのような組み合わせでコンピュータプログラムの命令により具現されるかを示すフローチャート又はブロック図を参照して説明した。命令は、汎用コンピュータ、特殊目的のコンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供され、機械又は製造品が図面で各ブロック又はブロックの組み合わせに明示された通り行動するように導く。プロセッサにより実行された時に、命令は関数を具現するための手段を生成する。
【００６５】
これに関連して、フローチャート又はブロック図の各ブロックは、モジュール、セグメント、又は明示された論理的関数を具現するための一つ以上の命令を含むコードの一部に対応する。一部の代案的な具現において、あるブロックに関連する機能は、図面に記載された順序と異なるように発生することにも留意しなければならない。例えば、実際に連続した二つのブロックは実質的に同時に実行され、或いはブロックは時々反対の順序で実行される。
【００６６】
この分野における通常的な技術を有する者は、本発明の側面がデバイス、システム、方法、又はコンピュータプログラム製品に実装されることを理解するはずである。従って、ここで一般的に回路、モジュール、構成要素、又はシステムに示される本発明の側面は、ハードウェア、ソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなど）に、又はソフトウェア及びハードウェアのある組み合わせで実装され、実装されたコンピュータ読み取り可能なプログラムコードを有するコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラム製品を含む。
【００６７】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【００６８】
本発明は、ユーザーウェアラブルデバイスに具現された心房細動検出の大衆化に有用である。
【符号の説明】
【００６９】
１００    ユーザーウェアラブルデバイス（電子デバイス）
１３０    プロセッサ
１３２    ＣＰＵ
１３４    メモリー
１３５    運営体制（ＯＳ）
１３６    アプリケーション
１３７    不揮発性メモリー
１３８    揮発性メモリー
１４０    バンド
１４２    クラスプ（ｃｌａｓｐ）
１５０    センサーモジュール
１５２    ＰＰＧセンサー
１５４    ローカルプロセッサ
１５６    加速度計（センサー）
１６０    ディスプレイ
１７０    バッテリー
１８２    入力／出力（Ｉ／Ｏ）インターフェース
１８４    通信インターフェース
１９０    ＡＦｉｂ検出モジュール
１９２    データ処理モジュール
１９４    品質評価モジュール
１９６    ＡＦｉｂ予測モジュール
２００    ＡＦｉｂ検出システム
２０２    ベースライン除去モジュール
２０４    動き重要度モジュール
２０６    処理されたサンプル
２０８    動き重要度測定
２１０    品質評価ネットワーク
２１２    良い（適合する）品質ＰＰＧセグメント
２１４    不適合な（適合しない）品質ＰＰＧセグメント
２２０    ＡＦｉｂ予測ネットワーク
２２２    ＡＦｉｂ予測結果
【図１】
2019084343.tif 000004
【図２】
2019084343.tif 000005
【図３】
2019084343.tif 000006
【図４】
2019084343.tif 000007
【図５】
2019084343.tif 000008
【図６】
2019084343.tif 000009
【図７】
2019084343.tif 000010
【図８】
2019084343.tif 000011