(57)【要約】  音位置特定システムは、マルチマイク音コレクタと、コンピューティングデバイスとを含む。マルチマイク音コレクタは、キャリアと、音受信部に取り外し可能に取り付けられた複数の音受信部とを含む。コンピューティングデバイスは、データ通信部、シンクロナイザ、およびプロセッサを含む。データ通信部は、マルチマイク音コレクタから前処理された音データを受信する。シンクロナイザは、前処理された音データを同期させる。プロセッサは、同期された音データを分析して、目標音特徴を識別し、位置を特定する。音位置特定システムの音位置特定方法も提供される。本発明は、モニタリングされる被験者の特徴または生理学的徴候のモニタリングを容易にし、異常または疾患の早期検出および診断を可能にする。
2021502222.tif 000002
【特許請求の範囲】
【請求項１】
被験者の音データを収集する複数の音受信部を含むマルチマイク音コレクタと、
前記マルチマイク音コレクタと通信するコンピューティングデバイスと、
を含み、
前記コンピューティングデバイスは、
前記マルチマイク音コレクタから前処理された音データを受信するデータ通信部と、
前処理された前記音データを同期させる前記データ通信部に電気的に接続されたシンクロナイザと、
同期された前記音データを分析して、目標音特徴を識別し、位置特定する、前記シンクロナイザに電気的に接続されたプロセッサと、
を含む、
音位置特定システム。
【請求項２】
前記マルチマイク音コレクタは、
キャリアと、
前記キャリアに取り外し可能に取り付けられた複数の音収集モジュールと、
を含み、
前記音収集モジュールの各々は、
複数の前記音受信部のうちの1つと、
前記音データをデジタル音データに変換するために前記音受信部に電気的に接続された変換部と、
前記音受信部による音収集を制御し、前記デジタル音データを前処理するために前記変換部に電気的に接続されたマイクロコントローラ（MCU）と、
を含む、
請求項１に記載の音位置特定システム。
【請求項３】
前記マルチマイク音コレクタは、
キャリアと、
前記キャリアに取り外し可能に取り付けられた複数の前記音受信部と、
前処理装置と、
を備え、
前記前処理装置は、
前記音データをデジタル音データに変換するために前記音受信部に電気的に接続された変換部と、
前記音受信部による音収集を制御し、前記デジタル音データを前処理するために前記変換部に電気的に接続されたマイクロコントローラ（MCU）と、
を含む、
請求項１に記載の音位置特定システム。
【請求項４】
前記コンピューティングデバイスの前記プロセッサは、
同期された前記音データから予備音特徴を識別し抽出する特徴抽出部と、
前記予備音特徴を分離および分類して前記目標音特徴を取得する分類部と、
前記目標音特徴を分析して前記目標音特徴の音源の位置情報を取得する信号ローカライザと、
を含む、
請求項１に記載の音位置特定システム。
【請求項５】
前記プロセッサは、
取得した前記目標音特徴及び前記目標音特徴の音源の位置と、前記コンピューティングデバイスに保存されたデータとを比較して診断結果を得るデータアナライザ、
をさらに含む、請求項４に記載の音位置特定システム。
【請求項６】
前記コンピューティングデバイスは、データ分析および記憶のためにサーバとさらに通信する、請求項1に記載の音位置特定システム。
【請求項７】
前記音受信部は、前記被験者を聴診するための複数の聴診用チェストピースである、請求項1に記載の音位置特定システム。
【請求項８】
前記音受信部の量は、少なくとも3つである、請求項1に記載の音位置特定システム。
【請求項９】
前記音受信部の少なくとも一部は、前記被験者の胸部上に矩形に配置される、請求項1に記載の音位置特定システム。
【請求項１０】
前記音受信部の少なくとも一部が、前記被験者の心臓の上に矩形に配置される、請求項1に記載の音位置特定システム。
【請求項１１】
前記音受信部の少なくとも一部は、前記被験者の心臓上に三角形に配置される、請求項1に記載の音位置特定システム。
【請求項１２】
前記音受信部の少なくとも一部が、前記被験者の後胸部において左右の肋骨横隔膜角に配置される、請求項1に記載の音位置特定システム。
【請求項１３】
被験者の音データを収集する複数の音受信部と、前記音受信部と通信するコンピューティングデバイスと、を含む、音位置特定システムの音位置特定方法であって、
前記被験者の音データを取得し、
前記音データから目標音特徴を識別し、
前記目標音特徴を分析して前記目標音特徴の音源の位置情報を取得する、
音位置特定方法。
【請求項１４】
前記音データから目標音特徴を識別することは、
前記音データを前処理し、
予備音特徴を抽出し、
前記予備音特徴を分離および分類して、前記目標音特徴を取得する、
ことを含む、
請求項１３に記載の音位置特定方法。
【請求項１５】
前記予備音特徴を抽出することは、
音アクティビティ検出（VAD）アルゴリズム、メル周波数ケプストラム係数（MFCC）アルゴリズム、およびK平均アルゴリズムに従って実行される、
請求項１４に記載の音位置特定方法。
【請求項１６】
抽出した前記予備音特徴を分離及び分類することは、
前記予備音特徴からノイズを分離し、
正常な音特徴と異常な音特徴とを分類し、
望ましくない異常な音特徴を分離して、前記目標音特徴を取得する、
請求項１４に記載の音位置特定方法。
【請求項１７】
抽出された前記予備音特徴を分離及び分類することは、
K最近傍（KNN）アルゴリズム、ガウス混合モデル（GMM）アルゴリズム、サポートベクトルマシン（SVM）アルゴリズム、又はディープニューラルネットワーク（DNN）アルゴリズムに従って実行される、
請求項14に記載の音位置特定方法。
【請求項１８】
前記目標音特徴を分析することは、
前記目標音特徴の音源の位置情報を取得するために、前記目標音特徴に対して到来方向（DOA）推定を実行する、
請求項１３に記載の音位置特定方法。
【請求項１９】
前記目標音特徴及び前記目標音特徴の音源の位置情報と、保存データとを比較して、診断結果を取得する、
ことをさらに含む、請求項１３に記載の音位置特定方法。
【請求項２０】
前記被験者の複数次元画像上に前記目標音特徴の音源の位置情報を視覚化する、
ことをさらに含む、請求項１３に記載の音位置特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、音の位置特定のためのシステムおよび方法に関し、より詳細には、異常音の正確な位置特定のためのマルチマイク音コレクタ、システムおよび方法に関する。
【背景技術】
【０００２】
対象の特徴は、対象の内側から到来する音の分析によって評価することができる。例えば、作動中の機械によって作られる異常音は、機械の構成要素の誤作動の指標となり得る。医療および医療分野において同様に、身体の様々な器官の動きによって引き起こされる音の聴診は、生きている被験者の健康状態の診断のための一般的なツールである。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の音分析は、一度に1つのスポットで音をサンプリングし、通常の音および環境ノイズから異常音を識別するために特に訓練された専門家を必要とする。しかしながら、単一スポット検出は、しばしば、限られた、時には誤解を招く情報をもたらす。例えば、病的呼吸音特徴は聴診の症状やスポットによって異なるため、従来の単一スポット聴診は喘息の診断に有用なツールではない。
【０００４】
さらに、電子音アナライザの出現は音分析プロセスを容易にしたが、異常音源の正確な位置特定は依然として課題である。
【課題を解決するための手段】
【０００５】
本発明の一実施形態は、音位置特定システムを提供する。音位置特定システムは、マルチマイク音コレクタと、コンピューティングデバイスとを含む。マルチマイク音コレクタは、被験者の音データを収集する複数の音受信部を備える。コンピューティングデバイスは、マルチマイク音コレクタと通信し、マルチマイク音コレクタから前処理された音データを受信するデータ通信部と、前処理された音データを同期させるためにデータ通信部に電気的に接続されたシンクロナイザと、同期された音データを分析して、目標音特徴を識別し、位置を特定するためにシンクロナイザに電気的に接続されたプロセッサとを含む。
【０００６】
好ましくは、マルチマイク音コレクタは、キャリアと、該キャリアに取り外し可能に取り付けられた複数の音収集モジュールとを含む。各音収集モジュールは、複数の音受信部のうちの1つと、音受信部に電気的に接続され、音データをデジタル音データに変換する変換部と、変換部に電気的に接続され、音受信部による音収集を制御し、デジタル音データを前処理するマイクロコントローラ（MCU）とを含む。
【０００７】
好ましくは、マルチマイク音コレクタは、キャリアと、該キャリアに取り外し可能に取り付けられた複数の音受信部と、前処理装置とを含む。前処理装置は、音データをデジタル音データに変換するために音受信部に電気的に接続された変換部と、音受信部による音収集を制御し、デジタル音データを前処理するために変換部に電気的に接続されたMCUとを含む。
【０００８】
好ましくは、コンピューティングデバイスのプロセッサは、同期された音データから予備音特徴を識別し抽出する特徴抽出部と、予備音特徴を分離し分類して目標音特徴を取得する分類部と、目標音特徴を分析して目標音特徴の音源の位置情報を取得する信号ローカライザとを含む。
【０００９】
好ましくは、プロセッサはさらに、取得された目標音特徴および目標音特徴の音源の位置と、コンピューティングデバイスに保存されたデータとを比較して診断結果を取得するためのデータアナライザを含む。
【００１０】
好ましくは、コンピューティングデバイスは、データ分析および記憶のためにサーバとさらに通信している。
【００１１】
好ましくは、音受信部は、被験者を聴診するための複数の聴診チェストピースである。
【００１２】
好ましくは、音受信部の量は、少なくとも3つである。
【００１３】
好ましくは、音受信部の少なくとも一部は、被験者の胸部上に矩形に配置される。
【００１４】
好ましくは、音受信部の少なくとも一部は、被験者の心臓上に矩形に配置される。
【００１５】
好ましくは、音受信部の少なくとも一部は、被験者の心臓上に三角形に配置される。
【００１６】
好ましくは、音受信部の少なくとも一部は、被験者の後胸部において左右の肋骨横隔膜角に配置される。
【００１７】
本発明の一実施形態は、上述した音位置特定システムの音位置特定方法を提供する。この方法は、被験者の音データを取得し、音データから目標音特徴を識別し、目標音特徴を分析して目標音特徴の音源の位置情報を取得する。
【００１８】
好ましくは、音データから目標音特徴を識別することは、音データを前処理し、予備音特徴を抽出し、目標音特徴を取得するために予備音特徴を分離および分類することを含む。
【００１９】
好ましくは、予備音特徴を抽出することは、音アクティビティ検出（VAD）アルゴリズム、メル周波数ケプストラム係数（MFCC）アルゴリズム、およびK平均アルゴリズムに従って実行される。
【００２０】
好ましくは、抽出された予備音特徴を分離および分類することは、予備音特徴からノイズを分離し、正常および異常音特徴を分類し、目標音特徴を取得するために望ましくない異常音特徴を分離することを含む。
【００２１】
好ましくは、抽出された予備音特徴を分離して分類することは、K最近傍（KNN）アルゴリズム、ガウス混合モデル（GMM）アルゴリズム、サポートベクトルマシン（SVM）アルゴリズム、またはディープニューラルネットワーク（DNN）アルゴリズムに従って実行される。
【００２２】
好ましくは、目標音特徴を分析することは、目標音特徴の音源の位置情報を取得するために、目標音特徴に対して到来方向（DOA）推定を実行することを含む。
【００２３】
好ましくは、音位置特定方法は、目標音特徴および目標音特徴の音源の位置情報と、保存されたデータとを比較して、診断結果を取得することをさらに含む。
【００２４】
好ましくは、音位置特定方法は、被験者の複数次元画像上に目標音特徴の音源の位置情報を視覚化することをさらに含む。
【発明の効果】
【００２５】
要約すると、好ましい実施形態による本発明は、マルチマイク音コレクタを音分析および空間分析と結合して、モニタリング被験者から到来する異常または病的な音を識別し、異常な音の音源の詳細な位置情報を取得する。本発明は、被験者の特徴または生理学的徴候のモニタリングを容易にし、異常または疾患の早期検出および診断を可能にする。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による音位置特定システムの概略図である。
【図２】本発明の一実施形態による音位置特定システムのブロック図である。
【図３】本発明の別の実施形態による音位置特定システムの概略図である。
【図４Ａ】本発明の種々の実施形態による音位置特定システムのマルチマイク音コレクタのキャリアの概略図である。
【図４Ｂ】本発明の種々の実施形態による音位置特定システムのマルチマイク音コレクタのキャリアの概略図である。
【図５Ａ】本発明の種々の実施形態によるマルチマイク音コレクタの音受信部の配置の概略図である。
【図５Ｂ】本発明の種々の実施形態によるマルチマイク音コレクタの音受信部の配置の概略図である。
【図５Ｃ】本発明の種々の実施形態によるマルチマイク音コレクタの音受信部の配置の概略図である。
【図６】本発明の一実施形態による音位置特定システムのコンピューティングデバイスのプロセッサのブロック図である。
【図７】本発明の一実施形態による音位置特定方法のステップを示す流れ図である。
【図８Ａ】本発明の様々な実施形態による空間分析の結果の概略図である。
【図８Ｂ】本発明の様々な実施形態による空間分析の結果の概略図である。
【図８Ｃ】本発明の様々な実施形態による空間分析の結果の概略図である。
【図９Ａ】本発明の一実施形態による、音位置特定システムのコンピューティングデバイス内のアプリケーションのユーザインターフェースの概略図である。
【図９Ｂ】本発明の一実施形態による、音位置特定システムのコンピューティングデバイス内のアプリケーションのユーザインターフェースの概略図である。
【図１０】本発明の例示的な実施形態による呼吸音モニタリングおよび分析のステップを示す流れ図である。
【図１１】本発明の例示的な実施形態による呼吸音モニタリングおよび分析のステップを示す流れ図である。
【発明を実施するための形態】
【００２７】
添付の図面は、本発明の1つまたは複数の実施形態を示し、記述された説明とともに、本発明の原理を説明する。可能な限り、実施形態の同じまたは類似の要素を指すために、図面全体を通して同じ参照符号が使用される。
【００２８】
一般的な慣行によれば、様々な説明された特徴は、縮尺通りに描かれておらず、本開示に関連する特徴を強調するために描かれている。同様の参照符号は、図や本文中では同様の要素を表す。
【００２９】
以下、本発明の様々な例示的な実施形態を示す添付の図面を参照して、本発明をより全体的に説明する。しかしながら、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が十全であり、本開示の範囲を当業者に十分に伝えるように提供される。全体を通して、同様の参照符号は同様の要素を指す。
【００３０】
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本明細書で使用されるように、単数を表す用語、例えば、「１つの」、は、他の文脈が明確に示されない限り、複数も含むように意図される。「含む」などの用語は、本明細書で使用される場合、特徴、領域、整数、ステップ、操作、要素、および／または構成要素の存在を特定するが、1つ以上の他の特徴、領域、整数、ステップ、操作、要素、および／またはそれらのグループの存在または追加を妨げるものではない。
【００３１】
用語「および／または」は、関連する列挙された項目のうちの1つまたは複数の任意の組合せおよびすべての組合せを含むことが理解されるであろう。第1、第2、第3などの用語は、様々な要素、構成要素、領域、部分および／またはセクションを説明するために本明細書で使用され得るが、これらの要素、構成要素、領域、部分および／またはセクションは、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、1つの要素、構成要素、領域、部分またはセクションを別の要素、構成要素、領域、層またはセクションから区別するためにのみ使用される。したがって、以下で説明する第1の要素、構成要素、領域、部分、またはセクションは、本開示の教示から逸脱することなく、第2の要素、構成要素、領域、層、またはセクションと呼ぶことができる。
【００３２】
別段の定義がない限り、本明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。さらに、一般的に使用される辞書で定義されるような用語は、関連技術および本開示の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想化されたまたは過度に形式的な意味で解釈されないことが理解されるであろう。
【００３３】
以下、本発明の実施の形態について、図1〜図11の添付図面を参照しながら説明する。図面を参照して、本開示を詳細に説明するが、図示された要素は、必ずしも一定の縮尺で示されておらず、同様または類似の要素は、いくつかの図を通して、同じまたは類似の参照番号および同じまたは類似の用語によって示される。
【００３４】
本発明の様々な実施形態による、音の位置特定のためのマルチマイク音コレクタ、システムおよび方法は、病院、ヘルスケアセンタなどの医療およびヘルスケア環境において有用である。例示的な実施形態は、ヒト、動物、家畜、または他の種類の生きているものなどの生きている対象者または対象物を聴診することを対象とすることができる。本明細書に記載される例は、被験者の身体の特定の領域、例えば、胸部領域、前胸部領域、腹部領域、四肢領域、頭部領域、頸部領域、またはそれらの構成要素（例えば、肺、胃腸系、大動脈、三尖弁、上腕動脈、大腿動脈、気管、頸静脈、側頭部領域、乳様突起領域など）にわたる聴診に関連するが、これらに限定されない。当業者は、所望の情報および状況に応じて、被験者の身体の他の部分に対する聴診も有利に使用され得ることを容易に理解するであろう。したがって、開示された技術は、被験者の身体の1つまたは複数の異なる部分に対応する被験者の他の領域にわたって聴診するように適切に構成され得ることが理解される。さらに、本発明のいくつかの実施形態は、任意選択で、被験者の経歴または他の識別可能な情報を取得し、その情報を、医療または医療提供者によって行われる前述の聴診に関連付けるように構成されてもよい。
【００３５】
本発明の例示的な実施形態はまた、車両、機械、パイプラインなどの非生体物体によって生成される音の収集、分析、および位置特定を対象とすることができる。本発明の他の例示的な実施形態は、定義された空間内の音の収集および分析、ならびに空間内の音源の位置特定を対象とすることができる。
【００３６】
ここで、図1を参照する。本発明の一実施形態による音位置特定システムは、マルチマイク音コレクタ100と、コンピューティングデバイス200とを含む。マルチマイク音コレクタ100は、モニタリングすべき被験者10から到来する音を収集し、その音を音信号に変換するように構成される。コンピューティングデバイス200は、マルチマイク音コレクタ100と通信しており、マルチマイク音コレクタ100から送信された音響信号を受信するように構成されている。コンピューティングデバイス200は、さらに、クラウドサーバなどのサーバ300と通信してもよい。
【００３７】
ここで、図2を参照する。マルチマイク音コレクタ100は、複数の音収集モジュール101およびキャリア102を含む。音収集モジュール101の各々は、音受信部110、変換部120、マイクロコントローラ130、およびデータ送信部140を含む。音収集モジュール101は、物体または規定された空間の上に適切に配置されてもよく、音受信部110は、物体または規定された空間内から到来する音を音収集するように構成されたマイクロフォンであってもよい。音受信部110はまた、図1に例示的に示されるように、被験者10の身体の上に適切に配置されて被験者10の内部器官から到来する音を収集する聴診用チェストピースであってもよい。図3に示すような代替の実施形態では、マルチマイク音コレクタ100は、複数の音受信部110、前処理装置160、およびキャリア102を含んでもよい。変換部120、マイクロコントローラ（MCU）130、およびデータ送信部140は、前処理装置160に統合される。
【００３８】
音受信部110は、前述のマイクロフォンまたは聴診器チェストピースに限定されず、マイクロエレクトロメカニカル（MEMS）マイクロフォン、コンデンサマイクロフォン、エレクトレットコンデンサマイクロフォン、容量性マイクロフォン、圧電マイクロフォン、または可聴音および／または超音波およびハイパーソニック音などの不可聴音を収集することができる任意の音受信部、またはさまざまな周波数の機械的振動を検出し、振動を電気信号に変換することができる任意のセンサとすることができることを理解されたい。加えて、音コレクタ101の音受信部110は、同一であってもよく、あるいは異なるタイプの音受信部の組み合わせであってもよい。音位置特定を高精度化するために、マルチマイク音コレクタ100は、全てが同一平面上に配置されているわけではない3つ以上の音受信部110を含むことが好ましい。
【００３９】
らに、音受信部110は、医療用途に適した周波数応答を有してもよい。例えば、音受信機110の電力減衰は、100〜500Hzの周波数範囲では12dB未満、500〜1000Hzの周波数範囲では20dB未満とすることができ、音受信機110の周波数応答は、心音または呼吸音の検出などの様々な用途に合わせて調整することができる。一般に、音受信部110の周波数応答は、心音検出のために20〜800Hz、第1〜第4の心音の検出のために20〜100Hz、心雑音の検出のために20〜00Hzまたは100〜600Hzに最適化され得る。同様に、音受信機110の周波数応答は、小胞呼吸音の検出のために200〜600Hzに、気管支呼吸音の検出のために20〜100Hzに最適化されてもよい。
【００４０】
受信部110は、被験者を連続的にモニタリングするために、キャリア102に取り外し可能に取り付けられる。図4Aに例示的に示されるように、キャリア102は、ベスト、シャツ、ジャケット、サスペンダー、オーバーオール、ショートオール、袖、ウエストバンド、または他のタイプの衣服であってもよいが、これらに限定されない。あるいは、図4Bに例示されるように、キャリア102は、枕、バスタオル、スリープバッグ、バックパック、または自動車シートなどの一般的な消費者製品であってもよい。キャリア102は、特定の用途またはユーザ集団のための様々な設計を有してもよく、例えば、キャリアは、幼い子供のためにアニマルをテーマとした設計を有してもよく、またはより快適、便利、または多様な機能のために他の技術的特徴と一体化されてもよいことを理解されたい。
【００４１】
キャリア102上の音受信部110の量および配置は、様々な用途に応じて変わり得る。例えば、成人患者の心音および気管支呼吸音をモニタリングするために、図5Aの黒丸で示されるように、6つの聴診用チェストピースが、好ましくは、前胸部の心臓領域にわたって矩形に配置され、チェストピースの各々は、隣接するチェストピースからある距離（例えば、5cm）だけ離れている。一方、成人患者の肺領域全体の音をモニタリングするために、図5Bに黒丸で図示されているような9つの聴診用チェストピースが、好ましくは、チェストピースの各々が隣接するチェストピースからある距離（例えば10cm）だけ離れて、後胸部で矩形に配置されている。対照的に、図5Cに示すように、幼い子供をモニタリングするために、3つの聴診用チェストピースは、好ましくは、前胸部のより高い領域に三角形に配置され、チェストピースの各々は、心臓および肺の上部の音を記録するために、ある距離（例えば、5cm）だけ隣接するチェストピースから離間され、一方、図5Cにパターン化された円によって示すように、2つの聴診用チェストピースは、後胸部の左右の肋横隔膜角に配置され、幼い子供の肺の下部の音を記録するために、ある距離（例えば、10cm）だけ離間される。図5A〜5Cに例示されている好ましい実施形態は単に例示的なものであり、本発明は、音受信部の量および配置を図面に例示されたものに限定するものではないことを理解されたい。
【００４２】
再び図2を参照する。マルチマイク音コレクタ100の変換部120は、複数の音受信部に電気的に接続され、取得された未処理の音データをアナログ音データからデジタル音データに変換および符号化するように構成される。MCU130は、変換部120に電気的に接続され、音受信部110の音収集および変換部120から受信した音データのダウンサンプリング、位置決め、タグ付け、オーグメンテーション、フィルタリング、およびタイムスタンピングなどの前処理を制御するように構成される。データ送信部140は、MCU130に電気的に接続され、前処理された音データをコンピューティングデバイス200に送信するように構成される。マルチマイク音コレクタ100は、マルチマイク音コレクタ100に電力を供給し、蓄電するための電源150をさらに含んでもよい。電源150は、充電式または非充電式バッテリであってもよい。再充電可能バッテリーの場合、マルチマイク音コレクタ100は、再充電可能バッテリーを充電するための充電ポート（図示せず）をさらに含んでもよい。あるいは、マルチマイク音コレクタ100は、ワイヤレス充電ドックに結合されるワイヤレス充電回路を更に含んでもよい。
【００４３】
コンピューティングデバイス200は、データ通信部210、シンクロナイザ220、プロセッサ230、ディスプレイ240、メモリ250を含む。データ通信部210は、マルチマイク音コレクタ100のデータ送信部140と通信し、マルチマイク音コレクタ100から前処理された音データを受信するように構成される。シンクロナイザ220は、データ通信部210に電気的に接続され、受信された前処理された音データを同期させるように構成される。プロセッサ230は、シンクロナイザ220に電気的に接続され、同期されたデータを分析して、異常な音を識別し、位置特定するように構成される。プロセッサ230は、さらに、データ提示および可視化のためにディスプレイ240に、他のデバイスとのデータ通信のためにデータ通信部210に、およびデータ記憶のためにメモリ250に電気的に接続される。ディスプレイ240は、LCDスクリーン、タッチパネル、OLED、CRT、プロジェクタ、または他のタイプのディスプレイ構成要素であってもよい。メモリ260は、RAM、ROM、EEPROM、フラッシュメモリ、光記憶装置、磁気ディスク記憶装置または他の磁気記憶装置のような揮発性メモリまたは不揮発性メモリであってもよい。データ通信部210はさらに、より多くのデータ分析および記憶のためにサーバ300と通信することができる。本明細書で提供される本発明の実施形態は、データ処理および分析が行われるハードウェアを限定するものではなく、すなわち、コンピューティングデバイス200のプロセッサによって実行される機能のいくつかは、サーバ300によって実行されてもよく、その逆も同様であることを理解されたい。コンピューティングデバイス200は、コンピューティングデバイス200に電力を供給し、記憶するための電源260をさらに含むことができる。
【００４４】
コンピューティングデバイス200は、スマートフォン、モバイルデバイス、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、またはワークステーションとすることができるが、これらに限定されない。好ましい実施形態では、コンピューティングデバイス200は、マルチマイク音コレクタ100からブルートゥース（登録商標）信号を受信することができるスマートフォンである。マルチマイク音コレクタ100、コンピューティングデバイス200、およびサーバ300の間のデータ転送および通信は、USB、マイクロUSB、シリアルポート、IEEE1394、ブルートゥース、Wi−Fi、赤外線、ZigBee（登録商標）、WiMAX、3G、4G、4G LTE、5G、または他の一般的に知られている有線または無線伝送手段を介して行うことができることが理解されるべきである。
【００４５】
ここで、図6を参照する。コンピューティングデバイス200のプロセッサ230は、特徴抽出部410、分類部420、および信号ローカライザ430を含む。特徴抽出モジュール410は、シンクロナイザ220から受信した同期音データから予備音特徴を識別し、抽出するように構成される。分類部420は、特徴抽出部410から受信された抽出された予備音特徴を分離し、分類して、目標音特徴に単一化するように構成される。信号ローカライザ430は、複数信号分類（MUSIC）、ビームフォーミング、および他のデータ処理アルゴリズムなどの到来方向（DOA）推定を実行することによって、分類部420によって取得された目標音特徴を分析して、目標音特徴の音源の位置情報を取得するように構成される。MUSICアルゴリズムは、群遅延MUSIC (GD‐MUSIC）、再帰的に適用され射影されたMUSIC、最小分散無歪応答（MVDR）、および線形制約最小分散（LCMV）アルゴリズムを含み得る。ビームフォーミングアルゴリズムは、一般化サイドローブキャンセラ（GSC）アルゴリズムを含み得る。プロセッサ230は、Intel Core i7プロセッサ、ARMプロセッサ、x8086、または同様の計算能力を有する他のプロセッサまたは特定用途向け集積回路であってもよい。
【００４６】
プロセッサ230は、さらに、取得された目標音特徴および音源位置を、被験者10の以前の音記録、健全な被験者または正常な被験者の音データ、あるいは診断結果を得るためにメモリ250に記憶されたデフォルト設定と比較するように構成されたデータアナライザ（図には示されていない）を含んでもよい。例えば、心臓の左上部で検出された収縮中期から後期の心雑音は、僧帽弁逸脱（MVP）を示す可能性がある。
【００４７】
ここで、図7を参照する。本発明の様々な実施形態によれば、音位置特定システムの音位置特定方法は、（S1）被験者の音データを取得するステップと、（S2）音データから目標音特徴を識別するステップと、（S3）目標音特徴を分析して目標音特徴の音源の位置情報を取得するステップと、を含む。
【００４８】
ステップS1のような音データの取得は、上述の実施形態の音位置特定システムのマルチマイク音コレクタ100によって実行され、被験者または物体から、または定義された空間から到来する音を収集する。
【００４９】
一実施形態では、ステップS2におけるような音データからの目標音特徴の識別は、（S21）音データを前処理するステップと、（S22）予備音特徴を抽出するステップと、（S23）目標音特徴を得るために予備音特徴を分離し分類するステップと、を含む。ステップS21と同様に、音データの前処理は、（S211）取得した音データをデジタル音データに変換して符号化するステップと、（S212）デジタル音データを前処理するステップと、（S213）音データを同期させるステップと、を含む。ステップS212におけるようなデジタル音データの処理は、デジタル音データのダウンサンプリング、位置決め、タグ付け、オーグメンテーション、フィルタリング、およびタイムスタンピングを含む。
【００５０】
一実施形態によると、ステップS22のような予備的な音特徴の抽出は、音アクティビティ検出（VAD）、メル周波数ケプストラム係数（MFCC）、およびK平均アルゴリズムに従って同期された音データを処理することによって行われる。一実施形態では、ステップS23におけるような抽出された予備音特徴の分離および分類は、（S231）予備音特徴からノイズを分離するステップと、（S232）正常音特徴および異常音特徴を分類するステップと、（S233）目標音特徴を取得するために望ましくない異常音特徴を分離するステップとを含むことができ、K最近傍（KNN）、ガウス混合モデル（GMM）、サポートベクトルマシン（SVM）、またはディープニューラルネットワーク（DNN）アルゴリズムに従って実行される。マルチマイク音コレクタ100の音受信部110が、心音を検出するために最適化された聴診用チェストピースである例示的な実施形態では、2つ以上の異常な音特徴が、取得された心音から検出されてもよい。4番目の心拍音が目標音特徴（または関心音）である場合、ステップS233が実行されて、4番目の心拍音に関連しない異常音特徴が除去され、それによって、さらなる解析のために目標音特徴（例えば、この例における4番目の心拍音）が取り出される。
【００５１】
ステップS3のように目標音特徴を分析するステップは、（S31）音受信部110の座標を定義するステップと、（S32）目標音特徴の音源の位置情報を得るために目標音特徴に対して到来方向（DOA）推定を実行するステップとを含む。DOA推定は、GD−MUSIC、再帰的に適用され射影されたMUSIC、MVDR、及びLCMVアルゴリズムのような複数の信号分類（MUSIC）、GSCアルゴリズムのようなビームフォーミング、及び他のデータ処理アルゴリズムを含み得る。ステップS3は、さらに、（S33）診断結果を得るために、目標音特徴および目標音特徴の音源の位置情報を保存されたデータと比較するステップを含むことができる。記憶されたデータは、被験者の以前の音記録、健康な又は正常な被験者の音データ、又はシステムに記憶されたデフォルト設定であってもよい。
【００５２】
音位置特定方法は、（S4）目標音特徴の音源の位置情報を視覚化するステップをさらに含むことができる。位置情報は、より直感的な診断結果を提供するために、音受信部110の位置によって定義される座標系上で、または被験者の単次元もしくは複数次元の仮想画像もしくはモデル上で視覚化されてもよい。モデルは、写真画像、X線画像、コンピュータ断層撮影画像、または磁気共鳴画像から再構成された解剖学的モデルであってもよい。あるいは、解剖学的モデルは、胸部領域、頭頸部領域、および腹部領域などの身体の解剖学的環椎から確立された鋳型モデルであってもよい。
【００５３】
いくつかの例示的な実施形態によれば、異常音の位置は、図8Aに示されるように、右胸部上向き（RCU）スポットと左胸部上向き（LCU）スポットとの間で1次元的に、または図8Bに示されるように、右胸部下向き（RCD）、左胸部下向き（LCD）、RCU、およびLCUスポットによって画定される平面上で2次元的に、または図8Cに示されるように、前胸部胸腺（FCT）、前胸部（FC）、および後胸部（BC）スポットによって画定される空間内でより好ましくは3次元的に視覚化されてもよい。
【００５４】
図9Aおよび9Bに例示されるように、診断結果は、コンピューティングデバイス200上のアプリケーションによって視覚化することもできる。例えば、図9Aに示すように、アプリケーションは、記録された音波および音の強さおよび周波数を示し、音受信部の位置を示し、診断結果（被験者の生理学的状態など）を示すことができる。図9Bに示すように、異常音が発生すると、アプリケーションは、警告メッセージを提示し、異常音が検出された位置を示すことができる。
【００５５】
音位置特定方法は、（S5）目標音特徴に関連付けられたデータを記録し、記憶するステップをさらに含むことができる。データは、音特徴のタイプ、周波数、強度、および位置、ならびに音特徴の周波数、強度、および位置の時系列変化を含むことができる。
【００５６】
ここで、図10を参照する。本発明の一実施形態による音位置特定システムは、呼吸音のモニタリング及び喘息症状の検出に適用することができる。この例では、音コレクタの音受信部は、パッチの形成で一体化された聴診用チェストピースであり、患者の5つの選択されたスポットに取り外し可能に取り付けられ（S91）、図3に示すように、スポットは、前胸部の肺領域の右上葉および左上葉、後胸部の肺領域の右下葉および左下葉、ならびに気管支領域とすることができる。受音パッチが患者に取り付けられた後、パッチは、前処理装置に接続され（S92）、前処理装置は、デフォルト持続時間の間、パッチによって定期的に音収集（または聴診）ルーチンを開始するように構成されたMCUを含む。前処理装置は、スイッチオンされ、ブルートゥースを介してスマートフォンに結合される（S93）。ユーザは、スマートフォンにインストールされたアプリケーションから、モニタリングする時間、期間、項目、異常事象を検出した場合に送信されるアラートの種類を設定し、モニタリングプログラムを起動することができる（S94）。
【００５７】
起動されると、MCUは、10分ごとに音収集ルーチン（例えば、5つの音受信パッチによる連続聴診）を開始し、喘鳴または他の病的な音特徴のような目標の音特徴を識別するために、データのアルゴリズム分析のために音データをスマートフォンに無線で送信する（S95）。異常が検出されない場合、MCUは、設定されたモニタリング期間が終了するまで聴診ルーチンを継続し（S96）、その後、収集された音データのすべてが、保存および傾向分析のためにクラウドサーバに無線で送信され（S97）、さらに、サーバ内のモニタリング記録および分析結果が、ユーザまたは医師による詳細な診断およびフォローアップのためにスマートフォンに返信されてもよい。代替的に、喘鳴が検出されると、スマートフォンアプリケーションは、アラート着信音および／またはメッセージを発行し、治療アドバイスを示す（S98）一方、MCUは、定期的聴診ルーチンを停止し、アラートがキャンセルされるまで連続聴診を実行する。
【００５８】
同様に、図11に示されている。本発明の例示的な実施形態による音位置特定システムは、心音のモニタリングおよび不整脈症状の検出に適用することができる。この例では、音コレクタは、パッチの形態であり、その各々は、図1に示されるように、聴診用チェストピースおよびMCUを含む。2つの音収集パッチが、ユーザの前胸部および後胸部の心臓領域に取り外し可能に取り付けられる（S101）。MCUは、聴診用チェストピースによる心音および心拍数の記録を開始するように構成される。音収集パッチがユーザに取り付けられた後、パッチはスイッチオンされ、ブルートゥースを介してスマートフォンに結合される（S102）。ユーザは、スマートフォンにインストールされたアプリケーションから、パッチとスマートフォンとの間の接続状態を確認し、検出された心音、心拍数、および計算された心拍変動の音特徴をアクティブモード下でチェックすることができる。ユーザはまた、システムをアプリケーションからスタンバイモードに切り替えることができ、音収集パッチのMCUは、スタンバイモードの下で心音および心拍数の記録を停止する。
【００５９】
不規則な心拍または胸痛を経験する場合、ユーザは、システムをアプリケーションからアクティブモードに戻し、音収集パッチによる心音および心拍数の記録をアクティブにすることができる（S103）。異常な心音または心拍数が検出されない場合（S104）、音収集パッチは聴診ルーチン（例えば、3分間の連続的な音収集および記録）を開始し、待機モードに戻る（S105）。あるいは、異常な心音または心拍数が検出された場合（S104）、スマートフォンアプリケーションは、アラート着信音および／またはメッセージを発行し、治療アドバイスをユーザに示し（S106）、スマートフォンは、必要な緊急応答のために、そのようなイベントの通知を指定された病院または医療機関に送信することもできる。一方、音収集パッチは聴診ルーチンを繰り返し（S105）、心拍数が回復するまでのみ待機モードに戻る。収集された聴診データはすべて、記憶および傾向分析のためにクラウドサーバに無線で送信され（S107）、サーバ内のモニタリング記録および分析結果は、ユーザまたは医師による詳細な診断およびフォローアップのためにスマートフォンに返信されてもよい。
【００６０】
要約すると、好ましい実施形態による本発明は、マルチマイク音コレクタを音分析および空間分析と結合して、モニタリング被験者から来る異常または病的な音を識別し、異常な音の音源の詳細な位置情報を取得する。本発明は、被験者の特徴または生理学的徴候のモニタリングを容易にし、異常または疾患の早期検出および診断を可能にする。
【００６１】
上記説明は、本開示の実施形態にすぎず、本開示の範囲を限定することを意図しない。本開示の特許請求の範囲および明細書による多くの変形および修正は、依然として特許請求の範囲の開示の範囲内である。さらに、実施形態および特許請求の範囲のそれぞれは、開示された利点または特徴のすべてを達成する必要はない。さらに、要約書及び発明の名称は、特許文献の調査を容易にするのに役立つだけであり、クレームされた開示の範囲を限定することを決して意図したものではない。
【００６２】
〔関連出願の相互参照〕
【００６３】
本開示は、2017年11月10日に出願された米国特許出願第15／808，901号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【図１】
2021502222.tif 000003
【図２】
2021502222.tif 000004
【図３】
2021502222.tif 000005
【図４Ａ】
2021502222.tif 000006
【図４Ｂ】
2021502222.tif 000007
【図５Ａ】
2021502222.tif 000008
【図５Ｂ】
2021502222.tif 000009
【図５Ｃ】
2021502222.tif 000010
【図６】
2021502222.tif 000011
【図７】
2021502222.tif 000012
【図８Ａ】
2021502222.tif 000013
【図８Ｂ】
2021502222.tif 000014
【図８Ｃ】
2021502222.tif 000015
【図９Ａ】
2021502222.tif 000016
【図９Ｂ】
2021502222.tif 000017
【図１０】
2021502222.tif 000018
【図１１】
2021502222.tif 000019
【国際調査報告】
2021502222.tif 000020
2021502222.tif 000021