(57)【要約】【課題】深層学習を好適に利用して複数種の異常を容易に診断できる生体音診断装置を提供する。【解決手段】この生体音診断装置１は、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成される複数個の深層学習データセット及び被診断データセットを作成するデータセット作成プログラム３と、前記複数個の深層学習データセットをニューラルネットワーク８に入力させ、該深層学習データセットの出所を識別するようにその特徴を学習させる深層学習プログラム４と、前記被診断データセットを前記深層学習処理済みのニューラルネットワーク８に入力させ、前記深層学習処理済みのどの出所の前記深層学習データセットに該当するかどうかを判別させることにより診断する診断プログラム５と、を備える。【選択図】図１
2020027569.tif 000002
【特許請求の範囲】
【請求項１】
生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成される複数個の深層学習データセット及び被診断データセットを作成するデータセット作成処理を行うデータセット作成プログラムと、
前記複数個の深層学習データセットをニューラルネットワークに入力させ、該深層学習データセットの出所を識別するようにその特徴を学習させる深層学習処理を行う深層学習プログラムと、
前記被診断データセットを前記深層学習処理済みの前記ニューラルネットワークに入力させ、前記深層学習処理済みのどの出所の前記深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を行う診断プログラムと、
を備えることを特徴とする生体音診断装置。
【請求項２】
被診断データセットを深層学習処理済みのニューラルネットワークに入力させ、深層学習処理済みのどの出所の深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を行う診断プログラムを備える生体音診断装置であって、
前記被診断データセット及び前記深層学習データセットは、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成され、
前記ニューラルネットワークは、複数個の前記深層学習データセットが入力され、該深層学習データセットの前記出所を識別するようにその特徴を学習する前記深層学習処理が行われたものであることを特徴とする生体音診断装置。
【請求項３】
生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成される複数個の深層学習データセット及び被診断データセットを作成するデータセット作成処理と、
前記複数個の深層学習データセットをニューラルネットワークに入力させ、該深層学習データセットの出所を識別するようにその特徴を学習させる深層学習処理と、
前記被診断データセットを前記深層学習処理済みの前記ニューラルネットワークに入力させ、前記深層学習処理済みのどの出所の前記深層学習データセットに該当するかどうかを判別させることにより診断する診断処理と、
を備えることを特徴とする生体音診断方法。
【請求項４】
被診断データセットを深層学習処理済みのニューラルネットワークに入力させ、深層学習処理済みのどの出所の深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を備える生体音診断方法であって、
前記被診断データセット及び前記深層学習データセットは、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成され、
前記ニューラルネットワークは、複数個の前記深層学習データセットが入力され、該深層学習データセットの前記出所を識別するようにその特徴を学習する前記深層学習処理が行われたものであることを特徴とする生体音診断方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体音を診断する生体音診断装置に関する。
【背景技術】
【０００２】
医師は、聴診器を用いて心音や呼吸音などの生体音を聴き、異常の有無、更には異常の種類を診断する。この診断は、長年の熟練を要するものであるため、人間の耳による診断を補助するために、コンピュータによる生体音の診断が種々提案されてきた。その中で、心音について、フーリエ変換により生成した周波数スペクトルデータを利用した診断の技術が提案されている。
【０００３】
特許文献１には、タイマを用いることでＩ音及びII音を回避して収縮期及び拡張期の心雑音が含まれる一定期間の心音の波形データを取得し、それから生成した周波数スペクトルデータを基準の周波数スペクトルデータと照合して診断する技術が開示されている。特許文献２には、時間を所定の一定期間（フレーム）で分割し、各フレームにおける周波数スペクトルデータを用いて心雑音区間を検出し、心雑音区間における複数個の設定した周波数帯域に含まれるパワーの割合に基づいて診断する技術が開示されている。特許文献３には、心音の波形データと周波数スペクトルデータを用いて、心拍間隔、Ｉ音−II音の間隔、周波数域幅、中心周波数を心音特徴値パラメータとして算出し、その分布域を囲む境界線を楕円近似して求めた楕円パラメータに基づいて診断する技術が開示されている。特許文献４には、窓関数を用いて収縮期の心雑音が含まれる一定期間の心音の周波数スペクトルデータを生成し、その周波数スペクトルの強さ（パワースペクトル）が設定した第１閾値ラインを超えると異常と診断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６３−２５２１３６号公報
【特許文献２】特開２０１４−０８７５４３号公報
【特許文献３】特開２０１４−２３３５９８号公報
【特許文献４】特開２０１５−１８８５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、今日、人工知能（ＡＩ）における深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）の進歩は目覚ましいものがあり、様々な分野に利用されている。深層学習は、人間の脳と同じ神経回路を模した多層構造のニューラルネットワークが、入力したデータの特徴を自動で学習し、出力が入力したデータに適合するように、人間の関与なしに自身のニューラルネットワークを更新するものである。
【０００６】
上記の特許文献１〜４を含め従来の生体音診断の技術は、異常と診断する基準が比較的単純であるため、複数種の異常を診断することが必ずしも容易ではない。
【０００７】
本発明は、係る事由に鑑みてなされたものであり、その目的は、深層学習を好適に利用して複数種の異常を容易に診断できる生体音診断装置及び生体音診断方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載の生体音診断装置は、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成される複数個の深層学習データセット及び被診断データセットを作成するデータセット作成処理を行うデータセット作成プログラムと、前記複数個の深層学習データセットをニューラルネットワークに入力させ、該深層学習データセットの出所を識別するようにその特徴を学習させる深層学習処理を行う深層学習プログラムと、前記被診断データセットを前記深層学習処理済みの前記ニューラルネットワークに入力させ、前記深層学習処理済みのどの出所の前記深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を行う診断プログラムと、を備えることを特徴とする。
【０００９】
請求項２に記載の生体音診断装置は、被診断データセットを深層学習処理済みのニューラルネットワークに入力させ、深層学習処理済みのどの出所の深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を行う診断プログラムを備える生体音診断装置であって、前記被診断データセット及び前記深層学習データセットは、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成され、前記ニューラルネットワークは、複数個の前記深層学習データセットが入力され、該深層学習データセットの前記出所を識別するようにその特徴を学習する前記深層学習処理が行われたものであることを特徴とする。
【００１０】
請求項３に記載の生体音診断方法は、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成される複数個の深層学習データセット及び被診断データセットを作成するデータセット作成処理と、前記複数個の深層学習データセットをニューラルネットワークに入力させ、該深層学習データセットの出所を識別するようにその特徴を学習させる深層学習処理と、前記被診断データセットを前記深層学習処理済みの前記ニューラルネットワークに入力させ、前記深層学習処理済みのどの出所の前記深層学習データセットに該当するかどうかを判別させることにより診断する診断処理と、を備えることを特徴とする。
【００１１】
請求項４に記載の生体音診断方法は、被診断データセットを深層学習処理済みのニューラルネットワークに入力させ、深層学習処理済みのどの出所の深層学習データセットに該当するかどうかを判別させることにより診断する診断処理を備える生体音診断方法であって、前記被診断データセット及び前記深層学習データセットは、生体音の波形データが入力され、各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べられたものであって、スライディング期間だけスライドする複数個の処理単位期間の処理単位データから構成され、前記ニューラルネットワークは、複数個の前記深層学習データセットが入力され、該深層学習データセットの前記出所を識別するようにその特徴を学習する前記深層学習処理が行われたものであることを特徴とする。
【発明の効果】
【００１２】
本発明の生体音診断装置又は生体音診断方法によれば、深層学習を好適に利用して複数種の異常を容易に診断可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る生体音診断装置を示すブロック図である。
【図２】同上の生体音診断装置のデータセット作成処理に入力される生体音の波形データの例を示す概略図である。
【図３】同上の生体音診断装置の処理単位データの例のスペクトログラムを示すものであって、（ａ）がスペクトログラム、（ｂ）が周波数成分の強さ（振幅）とスペクトログラム図示上の明るさの対応を示すものである。
【図４】同上の生体音診断装置の深層学習処理で用いる多層構造のニューラルネットワークの例を示すブロック図である。
【図５】同上の生体音診断装置の実験での深層学習処理における正答率と診断処理における正答率の結果を示すグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態を図面を参照しながら説明する。本発明の実施形態に係る生体音診断装置１は、図１に示すように、プロセッシングユニット（例えば、ＣＰＵやＧＰＵなど）２と各種プログラムを有するコンピュータであって、プロセッシングユニット２が各種プログラムの各種処理を実行する。各種プログラムは、データセット作成プログラム３、深層学習プログラム４、診断プログラム５が含まれる。
【００１５】
データセット作成プログラム３は、データセット作成処理を行うプログラムである。データセット作成処理においては、波形データ記憶部６から生体音（例えば、心音や呼吸音など）の波形データが入力される。生体音の波形データは、通常は、予め人（例えば、患者やデータ提供者等）から採取したものである。採取には、聴診器と録音装置（例えば、ボイスレコーダ等）を用いることができる。採取した生体音は、一般に、ノイズ除去などが行われる。
【００１６】
データセット作成処理に入力される生体音の波形データは、サンプリングレートが所定（例えば、２０ｋＨｚなど）のものである。波形データは、図２に示すように、所定のスライディング期間（例えば、１秒など）でスライドしながら、所定の処理単位期間（例えば、５秒など）で切り取られる。つまり、隣接する処理単位期間は、処理単位期間からスライディング期間だけ引いた期間だけ、重なりを持つ。スライディング期間は、生体音の経時変化の連続性を担保するものである。
【００１７】
処理単位期間の波形データは、所定のフーリエ変換単位期間（例えば、２５ミリ秒など）で分割される。各フーリエ変換単位期間の生体音の波形データは、フーリエ変換され、各フーリエ変換単位期間の生体音の周波数スペクトルデータが生成される。各フーリエ変換単位期間の生体音の周波数スペクトルデータを時間軸に沿って並べると、生体音の周波数成分ごとの強さの経時変化を示すデータとなる。この生体音の周波数成分ごとの強さの経時変化を示すデータは、スペクトログラムと称される三次元表示のグラフ（例えば、横軸が時間、縦軸が周波数、色又は明るさが周波数成分の強さ）（図３参照）で良好に表すことができる。なお、図３は、図示の都合上、周波数成分の強さを明るさで示している。
【００１８】
こうして、図３に示すような、処理単位期間のデータ（処理単位データ）が作成される。なお、処理単位データの作成は、各フーリエ変換単位期間の生体音の周波数スペクトルデータを処理単位期間より長い期間（例えば、データセット作成処理で用いる全ての期間）生成しておいて、処理単位期間だけ並べることによって行うことも場合によっては可能である。
【００１９】
処理単位データは上記の切り取られた必要数だけ作成され、それら複数個の処理単位データは、１個のデータセットを構成する。
【００２０】
このようなデータセットは、出所の違いに対応して複数個作成される。出所は、元データ（生体音の波形データ）の採取先である。複数個のデータセットには、後述する深層学習処理で用いられるもの（深層学習データセット）と診断処理で用いられるもの（被診断データセット）が含まれる。深層学習データセットは、複数個である。それらのデータセットは、１個又は複数個のデータセット記憶部７に記憶される。複数個の深層学習データセットは、生体音の種類（例えば、心音や呼吸音など）に応じ、それに関連する各種の疾患を患った人々及び疾患を患っていない人々を出所とする複数種のデータセットとすることができる。被診断データセットは、診断を受ける人（例えば、患者や健康診断の受診者など）を出所とするデータセットとすることができる。
【００２１】
次に、深層学習プログラム４を説明する。深層学習プログラム４は、深層学習処理を行うプログラムである。深層学習処理は、深層学習モデルとして、多層構造のニューラルネットワーク８を用いる。多層構造のニューラルネットワーク８は、例えば、図４に示すような畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。
【００２２】
深層学習処理では、個々の深層学習データセット（詳しくは、それに含まれる複数個の処理単位データ）をニューラルネットワーク８に入力させる。ニューラルネットワーク８では、個々の深層学習データセットのそれぞれの出所を識別（出力が出所に適合）するようにそれぞれの特徴が学習され、自身のニューラルネットワーク８を更新する。深層学習処理において更新を重ねると、一般に、出所を識別する正答率が高くなる。
【００２３】
このような深層学習処理は、良好な正答率（例えば、９０％以上など）を満たす深層学習処理済みのニューラルネットワーク８を得ることができる。
【００２４】
次に、診断プログラム５を説明する。診断プログラム５は、診断処理を行うプログラムである。診断処理は、上記深層学習処理で得た深層学習処理済みのニューラルネットワーク８を用いる。
【００２５】
診断処理においては、データセット記憶部７から被診断データセットが入力される。診断処理では、被診断データセット（詳しくは、それに含まれる複数個の処理単位データ）を深層学習処理済みのニューラルネットワーク８に入力させる。深層学習処理済みのニューラルネットワーク８では、被診断データセットは、深層学習処理済みのどの出所の深層学習データセットに該当するかどうかが判別される。各種の疾患を患った人々の出所の深層学習データセットに該当すると判別されれば、その疾患、つまり異常と診断され、疾患を患っていない人々の出所の深層学習データセットに該当する（或いは、各種の疾患を患った人々の出所に該当しない）と判別されれば、正常と診断される。
【００２６】
このように、生体音診断装置１は、生体音の種類（例えば、心音や呼吸音など）に応じ、それに関連する各種の疾患を患った人々及び疾患を患っていない人々を出所とする複数種のデータセットを上記のデータセット作成処理により作成して上記深層学習処理を行い、被診断データセットについて、上記診断処理を行うことで、複数種の異常を容易に診断可能になる。
【００２７】
なお、診断処理は、深層学習処理済みのデータセットの一部（又は全部）或いは深層学習処理済みのデータセットと同じ出所のデータセットを被診断データセットとして入力して、深層学習処理済みのデータセットの確認テストに用いることもできる。
【００２８】
また、データセット作成プログラム３、深層学習プログラム４、診断プログラム５は、それぞれが別のプロセッシングユニット２で実行されることも可能である。
【００２９】
次に、生体音診断装置１による生体音の識別の実験について述べる。生体音は、心音とした。実験に使用した部屋は、一定の温度に保たれており、騒音計で測定したところ４６ｄＢであった。安静時の実験協力者３名の各々について、心尖部（僧帽弁領域）の心音を３分間の２セット分、採取した。実験協力者３名は、心疾患を患っていない２０代の男性である。採取は、聴診器にボイスレコーダを接続して作製した器具を用いて、聴診器のベル面を肌に直接押し当て、心音の波形データをボイスレコーダで記録することで行った。心音の波形データのノイズ除去には、一般の波形編集ソフトウェアを用いた。
【００３０】
データセット作成処理においては、心音の波形データのサンプリングレートを２０ｋＨｚ、フーリエ変換単位期間を２５ミリ秒、スライディング期間を１秒、処理単位期間を５秒とした。データセット作成処理においては、６個のデータセット（実験協力者３名の各々２セット分）を得た。
【００３１】
データセット作成処理で得た各データセットのうち、９０％のサブセットを深層学習処理に、１０％のサブセットを診断処理に用いた。ニューラルネットワーク８は、畳み込みニューラルネットワークとした。
【００３２】
深層学習処理では、図５の曲線ａに示すように、学習を重ねるにつれて、出所を識別する正答率が概ね増大して行っているのが分かる。詳細には、エポック（ｅｐｏｃｈ）数が４０近くで正答率が８０％以上になり、エポック数が９０近くで正答率が９５％以上になり、その後、エポック数が増えるにつれて１００％に概ね近づいているのが分かる。なお、エポック数とは、深層学習処理に用いる全てのデータセットのサブセットが入力されると１回と数える繰り返しの回数である。また、正否判断は、各エポック数において、深層学習処理に用いたデータセットのサブセットのうち１０％を入力して行った。
【００３３】
診断処理では、図５の曲線ｂに示すように、最初は正答率が良くないものの、学習を重ねると、エポック数が４０近くで約８０％の正答率が維持され始め、その後、約８０％が概ね維持されているのが分かる。
【００３４】
以上述べた生体音診断装置１による実験の比較実験として、以下述べるように、人間の耳による診断の実験を行った。すなわち、上記の心音を採取した実験協力者３名とは別の実験協力者（一般人）１名に周囲の雑音が入らないような密閉性の高いヘッドホンで３名分の心音を聞かせた後、無作為に選出した５秒間の心音の１０個のサンプルを聞かせ、それらが誰の心音なのかを回答させた。その結果は、約２０％の正答率であった。
【００３５】
このように、生体音診断装置１は、心音について高い診断能力を示している。この実験では、心疾患を患っていない人の心音について行ったものであるが、心疾患を患っている人の心音はこの実験の心音よりも大きな特徴を有していると言える。よって、生体音診断装置１は、心疾患を患っていない人の心音について高い正答率で診断できるとともに、心疾患を患っている人の心音についても高い正答率で診断できるものと考えられる。
【００３６】
以上、本発明の実施形態に係る生体音診断装置について説明したが、本発明は、実施形態に記載したものに限られることなく、特許請求の範囲に記載した事項の範囲内でのさまざまな設計変更が可能である。また、生体音診断装置を心音や呼吸音などを含む複数種の生体音に適用し、統合的に人を診断できる統合的生体音診断装置とすることも可能である。
【符号の説明】
【００３７】
１    生体音診断装置
２    プロセッシングユニット
３    データセット作成プログラム
４    深層学習プログラム
５    診断プログラム
６    波形データ記憶部
７    データセット記憶部
８    ニューラルネットワーク
【図１】
2020027569.tif 000003
【図２】
2020027569.tif 000004
【図３】
2020027569.tif 000005
【図４】
2020027569.tif 000006
【図５】
2020027569.tif 000007