(57)【要約】  生体音響データを含む元音響データから、精度よく必要な生体音響データを抽出するための生体音響抽出装置（１００）であって、生体音響データを含む元音響データを取得するための入力部（１０）と、入力部（１０）から入力された元音響データから、有音区間を推定する有音区間推定部（２０）と、有音区間推定部２０で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚イメージを生成する聴覚イメージ生成部（３０）と、聴覚イメージ生成部３０で生成された聴覚イメージに対して、音響特徴量を抽出する音響特徴量抽出部（４０）と、音響特徴量抽出部（４０）で抽出された音響特徴量を、所定の種別に分類する分類部（５０）と、分類部（５０）で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部（６０）とを備える。
2017135127.tif 000002
【特許請求の範囲】
【請求項１】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と
を備える生体音響抽出装置。
【請求項２】
請求項１に記載の生体音響抽出装置であって、
前記聴覚像生成部が、聴覚イメージモデルを用いて安定化聴覚像を生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された安定化聴覚像に基づいて、音響特徴量を抽出してなる生体音響抽出装置。
【請求項３】
請求項２に記載の生体音響抽出装置であって、
前記聴覚像生成部が、さらに安定化聴覚像から、総括安定化聴覚像と、聴覚スペクトルを生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された総括安定化聴覚像と、聴覚スペクトルに基づいて、音響特徴量を抽出してなる生体音響抽出装置。
【請求項４】
請求項３に記載の生体音響抽出装置であって、
前記音響特徴量抽出部が、聴覚スペクトル及び／又は総括安定化聴覚像の尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトル フラットネス、スペクトルロールオフ、スペクトルエントロピー、オクターブベースのスペクトルコントラストの少なくともいずれかを、音響特徴量として抽出してなる生体音響抽出装置。
【請求項５】
請求項１に記載の生体音響抽出装置であって、
前記聴覚像生成部が、聴覚イメージモデルを用いて神経活動パターンを生成するよう構成しており、
前記音響特徴量抽出部が、前記聴覚像生成部で生成された神経活動パターンに基づいて、音響特徴量を抽出してなる生体音響抽出装置。
【請求項６】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、
聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像を生成する総括安定化聴覚像生成部と、
前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と
を備える生体音響抽出装置。
【請求項７】
請求項１〜６のいずれか一項に記載の生体音響抽出装置であって、
元音響データの内、周期を有する区間を抽出するよう構成してなる生体音響抽出装置。
【請求項８】
請求項１〜７のいずれか一項に記載の生体音響抽出装置であって、
前記有音区間推定部が、
元音響データを微分又は差分して前処理するための前処理器と、
前記前処理器で前処理された前処理データを二乗するための二乗器と、
前記二乗器で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器と、
前記ダウンサンプリング器でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタと、
を備える生体音響抽出装置。
【請求項９】
請求項１〜８のいずれか一項に記載の生体音響抽出装置であって、
前記入力部が、検査対象の患者と非接触に設置される非接触式マイクロフォンである生体音響抽出装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の生体音響抽出装置であって、
前記判別部による生体音響データの判別が、非言語処理である生体音響抽出装置。
【請求項１１】
請求項１〜１０のいずれか一項に記載の生体音響抽出装置であって、
元音響データが、患者の睡眠時に取得される生体音響であり、
睡眠下に取得された生体音響データから、必要な生体音響データを抽出してなる生体音響抽出装置。
【請求項１２】
請求項１〜１１のいずれか一項に記載の生体音響抽出装置であって、
元音響データが、患者の睡眠時に集音される睡眠関連音であり、
生体音響データが、いびき音のデータであり、
前記所定の種別が、いびき音と非いびき音の別である生体音響抽出装置。
【請求項１３】
生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、
前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部と、
を備える生体音響解析装置。
【請求項１４】
生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、
生体音響データを含む元音響データを取得するための入力部と、
前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、
前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、
前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、
聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、
前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、
前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、
前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、
前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部と、
を備える生体音響解析装置。
【請求項１５】
請求項１３又は１４に記載の生体音響解析装置であって、
前記スクリーニング部は、元音響データから抽出される生体音響データに対して疾患スクリーニングを行うよう構成してなる生体音響解析装置。
【請求項１６】
請求項１５に記載の生体音響解析装置であって、
前記スクリーニング部は、元音響データから抽出される生体音響データに対して閉塞型睡眠時無呼吸症候群のスクリーニングを行うよう構成してなる生体音響解析装置。
【請求項１７】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する工程と、
前記生成された聴覚像に対して、音響特徴量を抽出する工程と、
前記抽出された音響特徴量を、所定の種別に分類する工程と、
前記分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程と
を含む生体音響抽出方法。
【請求項１８】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、
前記安定化聴覚像から、総括安定化聴覚像を生成する工程と、
前記生成された総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、
前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程と
を含む生体音響抽出方法。
【請求項１９】
請求項１８に記載の生体音響抽出方法であって、
前記安定化聴覚像から、聴覚スペクトルを生成すると共に、
前記所定の音響特徴量を抽出する工程において、前記総括安定化聴覚像に加え、前記生成された聴覚スペクトルから得られる所定の音響特徴量を抽出する生体音響抽出方法。
【請求項２０】
請求項１８又は１９に記載の生体音響抽出方法であって、さらに、
前記所定の音響特徴量を抽出する工程に先立ち、前記抽出された音響特徴量から、識別に寄与する音響特徴量を選択する工程を含む生体音響抽出方法。
【請求項２１】
請求項１８〜２０のいずれか一項に記載の生体音響抽出方法であって、
前記生体音響データか否かを判別する工程が、多項分布ロジスティック回帰分析を用いたいびき音又は非いびき音の分類である生体音響抽出方法。
【請求項２２】
生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析方法であって、
生体音響データを含む元音響データを取得する工程と、
前記取得された元音響データから、有音区間を推定する工程と、
前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、
前記安定化聴覚像から、聴覚スペクトル及び総括安定化聴覚像を生成する工程と、
前記生成された聴覚スペクトル及び総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、
前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程と、
前記判別工程で生体音響データと判別された真値データに対して、スクリーニングを行う工程と、
を含む生体音響解析方法。
【請求項２３】
請求項２２に記載の生体音響解析方法であって、
前記スクリーニングを行う工程が、多項分布ロジスティック回帰分析を用いた閉塞型睡眠時無呼吸症候群又は非閉塞型睡眠時無呼吸症候群のスクリーニングである生体音響抽出方法。
【請求項２４】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成機能と、
前記聴覚像生成機能で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能と
をコンピュータに実現させる生体音響抽出プログラム。
【請求項２５】
生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、
前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、
前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能と
をコンピュータに実現させる生体音響抽出プログラム。
【請求項２６】
生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析プログラムであって、
生体音響データを含む元音響データを取得するための入力機能と、
前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、
前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、
前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、
前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、
前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、
前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能と、
前記判別機能で生体音響データと判別された真値データに対して、スクリーニングを行う機能と、
をコンピュータに実現させる生体音響解析プログラム。
【請求項２７】
請求項２５又は２６に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
【背景技術】
【０００２】
ヒトの発する音である生体音響を解析して、疾患や疾病の症例判定や解析等を行う生体音響解析が行われている。このような生体音響解析を行うにあたっては、解析対象の音響データに、生体音響のデータのみが含まれていること、いいかえると生体音響以外の音響、例えばノイズ等を排除し、必要な音響データを抽出する作業が必要となる。ノイズが含まれていると、症例解析や判定、診断の精度に影響を与え、かといって本来の音響データがノイズと共に除去されてしまっても、同様に判定結果等の信頼性に影響を生じることから、これらの生体音響解析に当たっては、生体音響のデータのみを正確に選別することが求められる。従来、このような作業は人手による手作業で行われていたため、多大な負担となっており、音響データ中から必要な生体音響データのみを精度よく自動抽出可能なシステムが求められている。しかしながら、実用的な精度で自動抽出可能な手法は、未だ確立されていない。【０００３】
生体音響の一例として、いびき音を取り上げる。近年、睡眠時無呼吸症候群（Sleep Apnea Syndrome：ＳＡＳ）が注目されており、これは睡眠時に一定の無呼吸又は低呼吸を伴い、日中の過度の眠気や睡眠中の窒息感や喘ぎ、反復する中途覚醒等の症状を引き起こす病である。特に閉塞性睡眠時無呼吸症候群（Obstructive Sleep Apnea Syndrome：ＯＳＡＳ）は、高血圧症、脳卒中、狭心症、心筋梗塞等循環器病を合併する危険が指摘されており、早期の発見が求められている（例えば特許文献１、非特許文献１〜４）。【０００４】
現在、ＳＡＳの診断には終夜睡眠ポリグラフ（Polysomnography：ＰＳＧ）を用いた検査が行われている。これは、患者の検査入院を必要とする大掛かりな検査で、費用がかかる上、一晩中電極を体に貼り付ける必要があるため、患者の体に負担がかかってしまう。具体的には、患者の鼻口気流、気管音、酸素飽和度等を記録する必要があるため、測定機器や測定センサを多数、患者に装着する必要があった。またＳＡＳの簡易検査は睡眠時に実施されるため、これらの測定センサの取付状況等は測定結果に大きな影響を与える。例えば患者の寝返り等で測定センサが外れたり、装着位置がずれたり、衣服が擦れる音を拾う等の問題が発生する。また、睡眠時に測定センサ等が患者に装着された状況は、身体的、精神的な負担、苦痛ともなって望ましくない。このため、より簡便な検査方法の実現が期待されている。その１つのアプローチとして、いびき音の音響解析による方法に近年注目が集まっている。【０００５】
しかしながら、これまでのいびき音の研究では、終夜録音した睡眠時の録音（Sleep Related Sound：ＳＲＳ、以下「睡眠関連音」と呼ぶ。）データから注目するいびきエピソードを抽出する作業を手作業で行っていることから、データ収集時の負担が大きく、この結果、比較的小規模ないびき音データしか分析できなかった。【０００６】
診断技術としていびき音の分祈を行うためには、就寝中の長時間に渡って録音されたいびき音について着目する必要がある。そのためには、これまで手作業で行っていたいびきエピソードの抽出作業を自動化することが必須となる。【０００７】
一方で、患者のいびき音を負担なく収集する方法として、接触式のマイロフォンでなく、非接触式マイクロフォンを採用することが考えられる。しかしながら、非接触としたことで患者とマイクロフォンとの距離が、接触式のマイクロフォンと比べて相対的に大きくなる分だけ、いびき音の音量（音響スペクトルの振幅値）が小さくなり、寝言、咳、呼吸等、いびき音以外の患者から発生する音や、さらに患者以外に起因する物音、例えばベッドのきしむ音、金属音等のノイズの成分が高くなって、相対的に信号対雑音比（ＳＮＲ）が悪化することが懸念される。よって、実際に生体音響解析を行うにあたっては、その前処理としてノイズ成分を除去する必要があるところ、ＳＮＲが悪化した音響データから、いびき音のみといった、必要な音響データを正確に抽出することは極めて困難であり、実用的な方法が求められていた。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１４−１６６５６８号公報
【特許文献２】米国特許第８８８０２０７号明細書
【特許文献３】米国特許出願公開２０１５−００３９１１０号明細書
【非特許文献】
【０００９】
【非特許文献１】Abeyratne, U. R., et al. "Obstructive sleep apnea screening by integrating snore feature classes." Physiological measurement 34.2 (2013): 99.
【非特許文献２】Ohishi, Yasunori, et al. "Discrimination between singing and speaking voices." INTERSPEECH. 2005.
【非特許文献３】Patterson, Roy D., Mike H. Allerhand, and Christian Giguere. "Time‐domain modeling of peripheral auditory processing: A modular architecture and a software platform." The Journal of the Acoustical Society of America 98.4 (1995): 1890-1894.
【非特許文献４】榎本他，雑音耐性に優れたいびきのホルマン卜周波数解析に基づく閉塞型睡眠時無呼吸症候群と単純いびき症との識別，生体医工学，vo1.48，no.1，pp.115-121，2010
【非特許文献５】Duckitt, W. D., S. K. Tuomi, and T. R. Niesler. "Automatic detection, segmentation and assessment of snoring from ambient acoustic data." Physiological Measurement 27.10 (2006): 1047.
【非特許文献６】Karunajeewa, A. S., U. R. Abeyratne, and C. Hukins. "Silence-breathing-snore classification from snore-related sounds." Physiological Measurement 29.2 (2008): 227.
【非特許文献７】Cavusoglu, M., et al. "An efficient method for snore/nonsnore classification of sleep sounds." Physiological Measurement 28.8 (2007): 841.
【非特許文献８】Karunajeewa, A. S., U. R. Abeyratne, and C. Hukins. "Silence-breathing-snore classification from snore-related sounds." Physiological Measurement 29.2 (2008): 227.
【非特許文献９】Azarbarzin, A., and Z. Moussavi. "Automatic and unsupervised snore sound extraction from respiratory sound signals." Biomedical Engineering, IEEE Transactions on 58.5 (2011): 1156-1162.
【非特許文献１０】Dafna, E., A. Tarasiuk, and Y. Zigel. "Automatic detection of whole night snoring events using non-contact microphone." PloS One 8.12 (2013): e84139.
【非特許文献１１】Tsuzaki, Minoru. "Feature extraction by auditory modeling for unit selection in concatenative speech synthesis." Interspeech PP. 2223-2226 2001).
【非特許文献１２】Nonaka, Ryo, et al., "いびき音解析に用いる睡眠音分類法の開発," Proceedings of Life Engineering Symposium 2014 (LE 2014).
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、従来のこのような問題点を解決するためになされたものである。本発明の主な目的は、生体音響を含む音響データ中から精度よく必要な生体音響データを抽出可能な生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
【課題を解決するための手段及び発明の効果】
【００１１】
上記目的を達成するため、本発明の第１の形態に係る生体音響抽出装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部とを備えることができる。上記構成により、元音響データを聴覚イメージモデルを用いて聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
【００１２】
また、本発明の第２の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、聴覚イメージモデルを用いて安定化聴覚像を生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された安定化聴覚像に基づいて、音響特徴量を抽出することができる。
【００１３】
さらに、本発明の第３の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、さらに安定化聴覚像から、総括安定化聴覚像と、聴覚スペクトルを生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された総括安定化聴覚像と、聴覚スペクトルに基づいて、音響特徴量を抽出することができる。
【００１４】
さらにまた、本発明の第４の形態に係る生体音響抽出装置によれば、前記音響特徴量抽出部が、聴覚スペクトル及び／又は総括安定化聴覚像の尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトル フラットネス、スペクトルロールオフ、スペクトルエントロピー、オクターブベースのスペクトルコントラストの少なくともいずれかを音響特徴量として抽出することができる。
【００１５】
さらにまた、本発明の第５の形態に係る生体音響抽出装置によれば、前記聴覚像生成部が、聴覚イメージモデルを用いて神経活動パターンを生成するよう構成しており、前記音響特徴量抽出部が、前記聴覚像生成部で生成された神経活動パターンに基づいて、音響特徴量を抽出することができる。上記構成により、安定化聴覚像を用いる場合に比べ、処理負荷を軽減して処理速度の向上を図ることが可能となる。また前記音響特徴量抽出部が、音響スペクトルから得られる音響特徴量として、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少の少なくともいずれかを抽出することもできる。
【００１６】
さらにまた、本発明の第６の形態に係る生体音響抽出装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部とを備えることができる。
【００１７】
さらにまた、本発明の第７の形態に係る生体音響抽出装置によれば、元音響データの内、周期を有する区間を抽出するよう構成できる。
【００１８】
さらにまた、本発明の第８の形態に係る生体音響抽出装置によれば、前記有音区間推定部が、元音響データを微分又は差分して前処理するための前処理器と、前記前処理器で前処理された前処理データを二乗するための二乗器と、前記二乗器で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器と、前記ダウンサンプリング器でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタとを備えることができる。
【００１９】
さらにまた、本発明の第９の形態に係る生体音響抽出装置によれば、前記入力部を、検査対象の患者と非接触に設置される非接触式マイクロフォンとできる。
【００２０】
さらにまた、本発明の第１０の形態に係る生体音響抽出装置によれば、前記判別部による生体音響データの判別を、非言語処理とできる。このように、従来の音声信号に対する処理、例えば発話者の識別や音声認識といった言語に関する処理でなく、いびき音や腸音のような生体音響データに対する症例や疾患の処理において、聴覚イメージモデルに基づいた処理を適用でき、言語によらず広く適用できる。
【００２１】
さらにまた、本発明の第１１の形態に係る生体音響抽出装置によれば、元音響データが、患者の睡眠時に取得される生体音響であり、睡眠下に取得された生体音響データから、必要な生体音響データを抽出することができる。
【００２２】
さらにまた、本発明の第１２の形態に係る生体音響抽出装置によれば、元音響データが、患者の睡眠時に集音される睡眠関連音であり、生体音響データが、いびき音のデータであり、前記所定の種別が、いびき音と非いびき音の別とできる。
【００２３】
さらにまた、本発明の第１３の形態に係る生体音響解析装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部とを備えることができる。上記構成により、元音響データを聴覚イメージモデルを使用して聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
【００２４】
さらにまた、本発明の第１４の形態に係る生体音響解析装置によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析装置であって、生体音響データを含む元音響データを取得するための入力部と、前記入力部から入力された元音響データから、有音区間を推定する有音区間推定部と、前記有音区間推定部で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成部と、前記聴覚像生成部で生成された聴覚像に対して、聴覚スペクトルを生成する聴覚スペクトル生成部と、聴覚像に対して、総括安定化聴覚像を生成する総括安定化聴覚像生成部と、前記聴覚スペクトル生成部で生成された聴覚スペクトルと、前記総括安定化聴覚像生成部で生成された総括安定化聴覚像から、音響特徴量を抽出する音響特徴量抽出部と、前記音響特徴量抽出部で抽出された音響特徴量を、所定の種別に分類する分類部と、前記分類部で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別部と、前記判別部で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部とを備えることができる。
【００２５】
さらにまた、本発明の第１５の形態に係る生体音響解析装置によれば、前記スクリーニング部が、元音響データから抽出される生体音響データに対して疾患スクリーニングを行うよう構成できる。
【００２６】
さらにまた、本発明の第１６の形態に係る生体音響解析装置によれば、前記スクリーニング部は、元音響データから抽出される生体音響データに対して閉塞型睡眠時無呼吸症候群のスクリーニングを行うよう構成できる。
【００２７】
さらにまた、本発明の第１７の形態に係る生体音響抽出方法によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する工程と、前記生成された聴覚像に対して、音響特徴量を抽出する工程と、前記抽出された音響特徴量を、所定の種別に分類する工程と、前記分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程とを含むことができる。これにより、元音響データを聴覚イメージモデルを使用して聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
【００２８】
さらにまた、本発明の第１８の形態に係る生体音響抽出方法によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、前記安定化聴覚像から、総括安定化聴覚像を生成する工程と、前記生成された総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程とを含むことができる。
【００２９】
さらにまた、本発明の第１９の形態に係る生体音響抽出方法によれば、前記安定化聴覚像から、聴覚スペクトルを生成すると共に、前記所定の音響特徴量を抽出する工程において、前記総括安定化聴覚像に加え、前記生成された聴覚スペクトルから得られる所定の音響特徴量を抽出することができる。
【００３０】
さらにまた、本発明の第２０の形態に係る生体音響抽出方法によれば、さらに、前記所定の音響特徴量を抽出する工程に先立ち、前記抽出された音響特徴量から、識別に寄与する音響特徴量を選択する工程を含むことができる。
【００３１】
さらにまた、本発明の第２１の形態に係る生体音響抽出方法によれば、前記生体音響データか否かを判別する工程を、多項分布ロジスティック回帰分析を用いたいびき音又は非いびき音の分類とできる。
【００３２】
さらにまた、本発明の第２２の形態に係る生体音響解析方法によれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析方法であって、生体音響データを含む元音響データを取得する工程と、前記取得された元音響データから、有音区間を推定する工程と、前記推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する工程と、前記安定化聴覚像から、聴覚スペクトル及び総括安定化聴覚像を生成する工程と、前記生成された聴覚スペクトル及び総括安定化聴覚像から得られる所定の音響特徴量を抽出する工程と、前記抽出された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する工程と、前記判別工程で生体音響データと判別された真値データに対して、スクリーニングを行う工程とを含むことができる。
【００３３】
さらにまた、本発明の第２３の形態に係る生体音響解析方法によれば、前記スクリーニングを行う工程を、多項分布ロジスティック回帰分析を用いた閉塞型睡眠時無呼吸症候群又は非閉塞型睡眠時無呼吸症候群のスクリーニングとできる。
【００３４】
さらにまた、本発明の第２４の形態に係る生体音響抽出プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い聴覚像を生成する聴覚像生成機能と、前記聴覚像生成機能で生成された聴覚像に対して、音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能とをコンピュータに実現させることができる。上記構成により、元音響データを聴覚像を用いて聴覚像に変換した上で音響特徴量に基づいて分類することで、ノイズと必要な生体音響データとを精度よく判別することができる。
【００３５】
さらにまた、本発明の第２５の形態に係る生体音響抽出プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出するための生体音響抽出プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能とをコンピュータに実現させることができる。
【００３６】
さらにまた、本発明の第２６の形態に係る生体音響解析プログラムによれば、生体音響データを含む元音響データから、必要な生体音響データを抽出し、解析するための生体音響解析プログラムであって、生体音響データを含む元音響データを取得するための入力機能と、前記入力機能で入力された元音響データから、有音区間を推定する有音区間推定機能と、前記有音区間推定機能で推定された有音区間に基づいて、聴覚イメージモデルに従い安定化聴覚像を生成する安定化聴覚像生成機能と、前記安定化聴覚像から、総括安定化聴覚像を生成する機能と、前記生成された総括安定化聴覚像に対して、所定の音響特徴量を抽出する音響特徴量抽出機能と、前記音響特徴量抽出機能で抽出された所定の音響特徴量を、所定の種別に分類する分類機能と、前記分類機能で分類された音響特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別する判別機能と、前記判別機能で生体音響データと判別された真値データに対して、スクリーニングを行う機能とをコンピュータに実現させることができる。
【００３７】
さらにまた、本発明の第２７の形態に係るコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係る生体音響抽出装置を示すブロック図である。
【図２】有音区間推定部の一例を示すブロック図である。
【図３】本実施の形態に係るＡＩＭを用いた生体音響抽出方法を示すフローチャートである。
【図４】ＡＩＭの処理を示すブロック図である。
【図５】聴覚像を示すイメージ図である。
【図６】図６Ａ、図６Ｂは特徴ベクトルのインデックスと精度との関係を示すグラフである。
【図７】ＡＩＭＦopt.を用いた場合のＲＯＣ解析結果を示すグラフである。
【図８】有音区間の推定方法の一例を示すフローチャートである。
【図９】図９Ａは元音響データ、図９Ｂは前処理データ、図９Ｃは二乗データ、図９Ｄはダウンサンプリングデータ、図９Ｅは中央値の波形を示すグラフである。
【図１０】図１０Ａは元音響データ、図１０Ｂは比較例１に係るＺＣＲの処理結果、図１０Ｃは比較例２に係るＳＴＥの処理結果、図１０Ｄは実施例１に係る有音区間推定の処理結果の波形を示すグラフである。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
（生体音響抽出装置１００）
【００４０】
以下、生体音響抽出装置の一例として、元音響データとして睡眠関連音から、抽出対象の生態音響データとしていびき音を自動抽出する生体音響抽出装置について説明する。本発明の一実施の形態に係る生体音響抽出装置を図１のブロック図に示す。この図に示す生体音響抽出装置１００は、入力部１０と、有音区間推定部２０と、聴覚像生成部３０と、音響特徴量抽出部４０と、分類部５０と、判別部６０を備える。
【００４１】
入力部１０は、生体音響データを含む元音響データを取得するための部材である。入力部１０は、マイク部と、プレアンプ部を備えており、生体音響抽出装置１００を構成するコンピュータに収集した元音響データを入力している。マイク部には、好ましくは検査対象の患者と非接触に設置される非接触式マイクロフォンが利用できる。
【００４２】
有音区間推定部２０は、入力部１０から入力された元音響データから、有音区間を推定するための部材である。有音区間推定部２０は、図２のブロック図に示すように、元音響データを微分又は差分して前処理するための前処理器２１と、前処理器２１で前処理された前処理データを二乗するための二乗器２２と、二乗器２２で二乗された二乗データをダウンサンプリングするためのダウンサンプリング器２３と、ダウンサンプリング器２３でダウンサンプリングされたダウンサンプリングデータから中央値を取得するためのメディアンフィルタ２４とを備える。
【００４３】
聴覚像生成部３０は、有音区間推定部２０で推定された有音区間に基づいて、確立された聴覚イメージモデル（ＡＩＭ）に従い聴覚像を生成するための部材である。
【００４４】
音響特徴量抽出部４０は、聴覚像生成部３０で生成された聴覚像に対して、特徴量を抽出するための部材である。音響特徴量抽出部４０は、安定化聴覚像（Stabilized auditory image：ＳＡＩ）を横軸方向に同期加算して生成される聴覚スペクトル（ＡＳ）と、ＳＡＩを縦軸方向に同期加算して生成される総括安定化聴覚像（ＳＳＡＩ）に基づいて、特徴量を抽出することができる。具体的には、音響特徴量抽出部４０は聴覚スペクトルの尖度、歪度、スペクトル重心、スペクトルバンド幅、スペクトル フラットネス、スペクトルロールオフ、スペクトルエントロピー、ＯＳＣの少なくともいずれかを特徴量として抽出する。また音響特徴量抽出部４０が、音響スペクトルから得られる特徴量として、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少の少なくともいずれかを抽出することもできる。
【００４５】
分類部５０は、音響特徴量抽出部４０で抽出された特徴量を、所定の種別に分類するための部材である。
【００４６】
判別部６０は、分類部５０で分類された特徴量に対して、所定の閾値に基づいて生体音響データか否かを判別するための部材である。
【００４７】
このようにして、ヒトの聴覚経路から学習機構に至るまでをシミュレーションする生体音響抽出装置１００を構築することによって、高精度にいびき音を自動抽出することが可能となる。
（生体音響解析装置１１０）
【００４８】
さらに、生体音響抽出装置で抽出された生体音響データを解析するための生体音響解析装置を構成することもできる。生体音響解析装置１１０は、さらに判別部６０で生体音響データと判別された真値データに対して、スクリーニングを行うスクリーニング部７０を備えている。
【００４９】
以上の生体音響抽出装置や生体音響解析装置は、専用のハードウェアで構成する他、プログラムでソフトウェア的に実現することもできる。例えば、汎用あるいは専用のコンピュータに生体音響抽出プログラムあるいは生体音響解析プログラムをインストールし、ロードして、又はダウンロードして実行することで、仮想的な生体音響抽出装置や生体音響解析装置を実現することもできる。
（従来のいびき音の音響解析）
【００５０】
近年、非接触マイクロフォンを用いた、いびき音の音響解析が行われている。それらの研究では、睡眠時に録音される音（睡眠関連音）からいびき音のみを抽出する必要があるため、様々な自動いびき音抽出法が提案されている。例えば、
（ｉ）メル周波数ケプストラム係数（Mel-frequency cepstral coefficients：ＭＦＣＣ）と隠れマルコフモデル（Hidden Markov model：ＨＭＭ）を相互接続したネットワークを利用した方法、
（ｉｉ）サブバンドスペクトルエネルギー、ロバスト線形回帰（Robust linear regression：ＲＬＲ）や主成分分析（Principal component analysis：ＰＣＡ）を利用した方法、
（ｉｉｉ）サブバンドエネルギー分布、ＰＣＡ、教師なしFuzzy C-Means（ＦＣＭ）クラスタリングを利用した方法、
（ｉｖ）複数の音響解析手法を組み合わせた３４個の特徴量とAda Boostを利用した方法
等が提案されている。
【００５１】
これらの方法に関する報告例によれば、いびき音と非いびき音とを高精度に自動分類できると示されている。しかしながら、これらの方法では幾つかの信号処理技術を用いて特徴量を抽出する必要があった。一般的に、音の分類法の性能評価は、ゴールド・スタンダードな手法と考えられるマニュアル分類、すなわち人の耳による手作業の分類に基づく。このことから、本願発明者らは、ヒトの聴覚能力を模倣することにより、高性能の音の分類器を構成できるとの考え、本発明を成すに至った。具体的には、聴覚イメージモデル（Auditory Image Model：ＡＩＭ）を用いて、自動的にいびき音／非いびき音を分類可能な生体音響抽出装置を成すに至った。ＡＩＭは、ヒトが音を知覚するときに使う脳内表現と思われる「聴覚像」を模した聴覚イメージモデルである。具体的には、ＡＩＭは蝸牛基底膜を含むヒトの聴覚の末梢系から中枢系に到る機能を模擬した聴覚像のモデルである。このようなＡＩＭは、主に聴覚や音声言語知覚の研究において確立され、話者認識や音声認識等の分野で利用されているものの、いびき音や腸音のような生体音響の判別に用いられた報告例は本願発明者らの知る限り存在しない。
（実施例）
【００５２】
本発明の有効性を確認するため、４０名の被験者から得られた睡眠関連音の大規模データベースを用いて確認を行った。図３に、本実施の形態に係るＡＩＭを用いた生体音響抽出方法のフローチャートを示す。
（有音区間の推定）
【００５３】
まず、ステップＳ３０１において睡眠関連音を収集し、次にステップＳ３０２において有音区間の推定を行う。ここでは阿南共栄病院（徳島県阿南市羽ノ浦町中庄蔵ノホケ−３６）の協力を得て、終夜睡眠ポリグラフ（Polysomnography：ＰＳＧ）の検査中に、入力部１０を用いて、患者から６時間の間、睡眠関連音を録音した。この入力部１０は、マイク部の一形態である非接触式マイクロフォンと、プレアンプ部を備え、得られた音声データをコンピュータで収集している。ここで非接触式マイクロフォンは、患者の口から約５０ｃｍ離れた位置に設置した。録音に用いたマイクロフォンはオーストラリアＲＯＤＥ社製ModelＮＴ３で、プリアンプは米国Ｍ−ＡＵＤＩＯ社製Mobile-Pre USBで、録音時のサンプリング周波数は４４．１ｋＨｚ、デジタル分解能は１６ｂｉｔｓ／ｓａｍｐｌｅとした。
【００５４】
このようにして録音した睡眠関連音から、有音区間推定部２０を用いて、ステップＳ３０２において有音区間（Audio events：ＡＥ）を検出する。有音区間推定部２０は、短期エネルギー法（Short-Term Energy：ＳＴＥ）及びメディアンフィルタ２４を用いている。ＳＴＥ法は、ある一定の閾値（しきいち）以上の信号エネルギを有音区間として検出する方法である。ここで、睡眠関連音s（n）のｋ番目の短期エネルギーＥkは次式で表すことができる。
【００５５】
【数１】
2017135127.tif 000003
【００５６】
上式において、ｎはサンプル番号、Ｎはセグメント長である。実施例においては、睡眠関連音ｓ（ｎ）をＮ＝４０９６、シフト幅１０２４でセグメントに分割して、ｋ番目のセグメントにおける信号エネルギーを計算した。またＥkの平滑化を行うために、１０次のメディアンフィルタを用いた。
【００５７】
さらに実施例においては、セグメントにおけるＳＮＲが５ｄＢ以上の音を検出することで、ＡＥを抽出する。ここで、ＳＮＲの計算時において、背景雑音とは、１秒間の背景雑音のみの信号からＳＴＥ法を行った短期エネルギーの全フレーム平均値として用いている。
【００５８】
なお、非特許文献２によれば、歌声と音声の識別と音の継続時間の関係性を調査した聴取実験において、信号長が２００ｍｓ以上で識別率が７０％を超えると報告されている。これに従い、本実施例では信号長が２００ｍｓ以上の検出音をＡＥと定義する。
（聴覚イメージモデルの生成）
【００５９】
次に、ステップＳ３０３において聴覚イメージモデル（Auditory Image Model：ＡＩＭ）を用いて聴覚像を生成する。ここでは、聴覚像生成部３０が、ＡＩＭを用いて有音区間（ＡＥ）を解析する。非特許文献３に示す通り、パターソングループによりＡＩＭのシミュレータが提供されている。シミュレータはＣ言語の環境でも動作できるようになっているが、本実施例ではＭＡＴＬＡＢに上で使用することができるＡＩＭ２００６<http://www.pdn.cam.ac.uk/groups/cnbh/aim2006/>（モジュール；ｇｍ２００２、ｄｃｇｃ、ｈｌ、ｓｆ２００３、ｔｉ２００３）を用いた。利用できる主要な５つのステージとして、前蝸牛過程（Pre-cochlea processing：ＰＣＰ）、基底膜振動（Basilar membrane motion：ＢＭＭ）、神経活動パターン（Neural activity pattern：ＮＡＰ）、ストローブ同定（strobe identification：ＳＴＲＯＢＥＳ）、安定化聴覚像（ＳＡＩ）が挙げられる。これらのプロセスを経て、入力音を聴覚像として出力することが可能となる。
【００６０】
ＡＩＭの処理の一例を図４のブロック図に示す。まず前蝸牛過程（Pre-cochlea processing：ＰＣＰ）のステージでは、内耳の前庭窓までの応答特性を表現するために、バンドパスフィルタによるフィルタ処理が行われる。
【００６１】
基底膜振動（Basilar membrane motion：ＢＭＭ）のステージでは、蝸牛の基底膜 において行われるスペクトル解析を表現するために、等価矩形帯域幅（Equivalent Rectangular Bandwidth：ＥＲＢ）のように、フィルタが等間隔に並ぶ聴覚フィルタバンク（ガンマーチャープフィルタバンク、ガンマートーンフィルタバンク）が用いられる。ＢＭＭのステージでは、フィルタバンクの各フィルタからの出力を得ることができる。本実施例では、１００Ｈｚ〜６０００Ｈｚの間で、場所ごとに中心周波数と帯域幅が異なるフィルタが５０個並んでいるガンマーチャープフィルタバンクを使用する。なお、使用するフィルタの数は適宜調整可能としてもよい。
【００６２】
神経活動パターン（Neural activity pattern：ＮＡＰ）のステージでは、内有毛細胞により行われる神経信号変換処理を表現するために、ＢＭＭの各フィルタの出力がローパスフィルタリング、半波整流される。
【００６３】
ストローブ同定（strobe identification：ＳＴＲＯＢＥＳ）のステージでは、ＮＡＰの各フィルタの出力における極大点が適応しきい値処理により検出される。
（安定化聴覚像：ＳＡＩ）
【００６４】
さらに安定化聴覚像（Stabilized auditory image：ＳＡＩ）のステージでは、各周波数チャネルで極大点が検出された時点でその極大点を原点とした３５ｍｓフレームを作り、過去のＮＡＰ表現が記憶されているバッファからの情報と時間積分することで、時間軸を時間間隔軸に変換した聴覚像を生成する。この一連の処理をＳＴＩ（Strobed temporal integration）と呼び、聴覚像はＳＡＩとしてフレームごとに出力可能である。ＳＴＩは時間をかけてＮＡＰ表現を時間積分することによって、安定した聴覚像を生成することができる。そのため本実施例では、１エピソードのＡＥから得られる聴覚像の１０フレーム目以降の聴覚スペクトル（Auditory Spectrum：ＡＳ）とＳＳＡＩを解析対象とする。
（聴覚スペクトル：ＡＳ）
【００６５】
聴覚像の例を図５に示す。この図に示す聴覚像は、縦軸が聴覚フィルタの中心周波数軸、横軸が時間間隔軸を表す。ここで、聴覚像を横軸方向に同期加算して生成されるスペクトルを聴覚スペクトル（Auditory spectrum：ＡＳ）と呼ぶ。ＡＳは聴神経の興奮パターン（Excitation pattern）に相当する表現であり、フォルマントの極大点を確認できる周波数領域のスペクトルである。また、ＡＳの次元数は聴覚フィルタのフィルタ数に対応している。
（総括ＳＡＩ：ＳＳＡＩ）
【００６６】
さらに、縦軸方向に同期加算して生成されるスペクトルを総括ＳＡＩ（Summary SAI：ＳＳＡＩ）と呼ぶ。ＳＳＡＩは、信号が定常的でかつ周期的な場合、各チャネルの出力は限定された時間間隔のみを含むため、特定の間隔でのみ頂点を持つ時間領域のスペクトルである。またＳＳＡＩの次元数は、フレームのサイズ、入力信号のサンプリングレートによって決まる。本実施例では、フレーム間で信号の振幅包絡の影響を最小限にするため、ＡＳ、ＳＳＡＩを最大振幅１で正規化している。
（ＡＩＭから得られた音響特徴量）
【００６７】
次にステップＳ３０４において、ＡＩＭから得られた音響特徴量を抽出する。ここではＡＥの各ＳＡＩフレームにおけるＡＳとＳＳＡＩを計算することができる。ここで、ＡＳとＳＳＡＩから特徴量を抽出する方法について説明する。ＡＳやＳＳＡＩは、スペクトルと類似している形状を有することから、以下の８種類の特徴量を用いて特徴を抽出している。
【００６８】
まず尖度（Kurtosis）は、平均値あたりのスペクトルの突起傾向を測定する特徴量である。尖度の式を次式に示す。
【００６９】
【数２】
2017135127.tif 000004
【００７０】
次に歪度（Skewness）は、平均値あたりのスペクトルの非対称性を測定する特徴量である。歪度の式を次式に示す。
【００７１】
【数３】
2017135127.tif 000005
【００７２】
さらにスペクトル重心（Spectral centroid）は、スペクトルの重心を計算する特徴量である。スペクトル重心の式を次式に示す。
【００７３】
【数４】
2017135127.tif 000006
【００７４】
スペクトルバンド幅（Spectral bandwidth）は、信号の周波数帯域幅を定量化する特徴量である。スペクトルバンド幅の式を次式に示す。
【００７５】
【数５】
2017135127.tif 000007
【００７６】
スペクトルフラットネス（Spectral flatness）は、音質を定量化する特徴量である。スペクトルフラットネスの式を次式に示す。
【００７７】
【数６】
2017135127.tif 000008
【００７８】
スペクトルロールオフ（Spectral roll-off）は、スペクトル分布の全帯域のｃ×１００％を占める周波数を評価する特徴量である。スペクトルロールオフの式を次式に示す。
【００７９】
【数７】
2017135127.tif 000009
【００８０】
ここで、Ｘ＞０、ｃ＝０．９５である。
【００８１】
スペクトルエントロピー（Spectral entropy）は、信号の白色性を示した特徴量である。スペクトルエントロピーの式を次式に示す。
【００８２】
【数８】
2017135127.tif 000010
【００８３】
【数９】
2017135127.tif 000011
【００８４】
ここで、ｉはスペクトルのサンプル点、Ｎはスペクトルのサンプル点の総数、ｋはフレーム番号、Ｘはスペクトルの振幅とする。ただし、Ｘ＞０、ｃ＝０．９５とする。
【００８５】
オクターブベースのスペクトルコントラスト（Octave-based spectral contrast：ＯＳＣ）は、スペクトルのコントラストを表現する特徴量である。この手法ではオクターブフィルタバンクによってスペクトルをサブバンドに分割する。本実施例ではスペクトルの次元数を考慮して、サブバンド数をＡＳでは３、ＳＳＡＩでは５とする。ｂ番目のサブバンドのスペクトルピーク（Spectral peak）Ｐｅａｋk（ｂ）、スペクトルバレー（Spectral valley）Ｖａｌｌｅｙk（ｂ）、スペクトルコントラスト（Spectral contrast）ＯＳＣk（ｂ）は、それぞれ次式で示される。
【００８６】
【数１０】
2017135127.tif 000012
【００８７】
【数１１】
2017135127.tif 000013
【００８８】
【数１２】
2017135127.tif 000014
【００８９】
ここで、Ｘ’はサブバンド内で降順に並び替えた特徴ベクトル、ｊはサブバンド内のスペクトルのサンプル点、Ｎbはサブバンド内のサンプル点の総数、αは安定したピークとバレーの値を抽出するためのパラメータを表す。本実施例ではα＝０．２とする。ただし、スペクトルフラットネスに関しては、ＳＳＡＩを積分する際にＳＦkの値が限りなく０に近づいてしまい、定量化できなかったため、本実施例ではＡＳのみに適用した。
【００９０】
上述した特徴量はＡＥの全フレームから抽出されるため、それぞれの特徴量の平均値および標準偏差を、ＡＥから得られる特徴量として定義する。すなわち、ＡＥから（ｉ）２０次元のＡＳの特徴ベクトル、（ｉｉ）２２次元のＳＳＡＩの特徴ベクトル、（ｉｉｉ）４２次元の両者の特徴ベクトルを抽出することができる。これらに加えて、スペクトルから得られる特徴量、例えば、スペクトル非対称性（spectral asymmetry）、バンドエネルギー比（band energy ratio）等を用いることもできる。
【００９１】
本実施例では、それぞれの特徴ベクトルを（ｉ）ＡＳＦ：Auditory spectrum features、（ｉｉ）ＳＳＡＩＦ：Summary SAI features、（ｉｉｉ）ＡＩＭＦ：AIM featuresと呼ぶ。
（ＭＬＲを用いたいびき音／非いびき音の分類）
【００９２】
さらにステップＳ３０６において特徴ベクトルを用いたＭＬＲモデルに基づいて学習を行い、ステップＳ３０５でＭＬＲを用いたいびき音／非いびき音の分類を行い、さらにステップＳ３０７において閾値に基づく判別を行う。ここでは、分類部５０で音響特徴量を所定の種別に分類し、判別部６０でいびき音又は非いびき音の判別を行うために、ＡＥから抽出された特徴ベクトルを用いた多項分布ロジスティック回帰（Multi-nomial logistic regression：ＭＬＲ）分析を用いた。ＭＬＲ分析は、ロジスティック曲線を利用して複数の測定値を、２つのカテゴリのいずれかに分類する２値識別の識別器として優れた統計的分析手法である。ここでＭＬＲの式を次式に示す。
【００９３】
【数１３】
2017135127.tif 000015
【００９４】
ここで、ｐは分類対象となる音がいびき音のカテゴリに分類される確率を示す。またβd＝（ｄ＝０，１，．．．，Ｄ）は、最尤法（the maximum likelihood method）によって推定されたパラメータである。さらにｆd＝（ｄ＝０，１，．．．，Ｄ）は、独立変数（Independent variables）とされる特徴量スペクトルの値、Ｄは特徴ベクトルの次元を、それぞれ示す。
【００９５】
ＭＬＲ分析では、最尤法に基づく学習により推定されたβdと従属変数（Dependent variable）Ｙのモデルが構築される。ここでＹは、いびき音と相関があれば１（Ｙ＝１）に、非いびき音と相関があれば０（Ｙ＝０）に近付く。このモデルでテストを実行することで、テストセットｆdの独立変数が与えられると、Ｙ＝１を得る確率ｐを推定可能であることが確認された。ｐの閾値ｐthreに基づいて、各ＡＥを２つのカテゴリ（いびき音又は非いびき音）のいずれか一方に分類でき、いびき音と非いびき音の分類を分類器で実行できる。このシミュレーションは、ＭＡＴＬＡＢ（Ｒ２０１４ａ、The MathWorks, Inc., Natick, MA, USA）のStatistics Toolbox Version 9.0を用いて行った。なおＯＳＡＳスクリーニングの場合は、ＯＳＡＳと相関があれば１（Ｙ＝１）に、非ＯＳＡＳと相関があれば０（Ｙ＝０）に近付くとして同様に考えることができる。
（ＡＩＭを用いた分類器の性能評価）
【００９６】
次に、聴覚イメージモデル（ＡＩＭ）を用いた分類器の性能評価を行った。ここでは、分類性能の指標として、感度（Sensitivity）、特異度（Specificity）、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を用いた。
【００９７】
ここで感度（Sensitivity）は、判別結果がいびきを検出する能力である。また特異度（Specificity）は、非いびきのうち、判定結果が閾値以下になる割合である。また陽性適中度（Positive predictive value：ＰＰＶ）は、判定結果が閾値以上のとき、実際にいびきである確率を表す。さらに陰性適中度（Negative predictive value：ＮＰＶ）は、判定結果が閾値以下のとき、非いびきである確率を表す。これらに基づいて、ＴＰ、ＦＰ、ＦＮ、ＴＮの関係を、以下のように定義する。
【００９８】
【表１】
2017135127.tif 000016
【００９９】
ここで、感度（Sensitivity）、特異度（Specificity）、精度（Accuracy）、陽性適中度（ＰＰＶ）、陰性適中度（ＮＰＶ）を示す式を、上記ＴＰ、ＦＰ、ＦＮ、ＴＮを用いて、それぞれ次式のように規定する。
【０１００】
【数１４】
2017135127.tif 000017
【０１０１】
【数１５】
2017135127.tif 000018
【０１０２】
【数１６】
2017135127.tif 000019
【０１０３】
【数１７】
2017135127.tif 000020
【０１０４】
【数１８】
2017135127.tif 000021
【０１０５】
（ＲＯＣ曲線）
【０１０６】
ＲＯＣ（Receiver Operating Characteristic）曲線とは、横軸に偽陽性率（１−特異度）、縦軸に真陽性率（感度）をとり、それぞれプロットしたものである。本実施例では、ＲＯＣ曲線は Ｐthreにより構築することができる。ＲＯＣ曲線の最適しきい値、すなわち、最適のＰthreは、Ｙｏｕｄｅｎ’ｓ  ｉｎｄｅｘの手法を用いて求めることができる。ＲＯＣ曲線は、理想的な分類部の場合は左上に大きく弧を描く。この性質のため、ＲＯＣ曲線の下部領域の面積である曲線下面積（Area Under the Curve：ＡＵＣ）を、分類器や分類アルゴリズムの性能の良さを表す指標として利用できる。ＡＵＣ値は、０．５から１の範囲で値をとり、分類精度が良好な場合には１に近づく特性を持つ、分類精度の評価指標である。
（学習データセット及びテストデータセット）
【０１０７】
次に、４０名の被験者から抽出されたＡＥを用いて、本実施例に係る生体音響抽出装置の性能評価を行った。この結果を表１に示す。
【０１０８】
【表２】
2017135127.tif 000022
【０１０９】
M：male；F：female；BMI：body mass index；AHI：apnea-hypopnea index
【０１１０】
表１に示すように、４０名から抽出されたＡＥは、学習データセット１６１４１（いびき音１３４０６、非いびき音２７３５）、テストデータセット１０６５１（いびき音７３４６、非いびき音３３０５）に分割されている。
（ラベリング）
【０１１１】
本実施例では、聴取結果に基づいてＡＥのラベリング作業を行っている。ヘッドフォン（ＳＨＵＲＥ  ＳＲＨ８４０）から流れるＡＥを、３名の評価者が聴取してコンセンサスにより、ＡＥのラベリングを行った。このように、全員の同意なくいびき音が選定されないようにした。
【０１１２】
このようなラベリング作業時において、非いびき音（non-snore）だと判定されたＡＥを表２に示す。
【０１１３】
【表３】
2017135127.tif 000023
【０１１４】
（ＡＩＭに基づくいびき音と非いびき音の分類）
【０１１５】
以上のようにして得られた特徴ベクトルであるＡＳＦ、ＳＳＡＩＦ、ＡＩＭＦを用いて、本実施例の性能評価を行った。この結果を表３に示す。この表に示すように、どの特徴ベクトルでも、高精度にいびき音と非いびき音の分類が可能であることが分かる。その中でも、ＡＩＭＦが最も優れた性能を示した。これは、ヒトの聴覚が周波数情報と時間情報の両方を用いて音の分析を行っていることが理由だと思われる。
【０１１６】
【表４】
2017135127.tif 000024
【０１１７】
一般的に、特徴ベクトルの次元数が高い場合、計算量が大きくなる。そこで、使用した３つの特徴ベクトルから、それぞれ、高い分類精度を維持したまま、次元圧縮が行えるかどうかを検討した。ここでは分類精度の向上に寄与する特徴量を抽出するため、ＡＳＦ、ＳＳＡＩＦの次元数をそれぞれ増加させ、Ａｃｃｕｒａｃｙの変動割合を計算した。
【０１１８】
次元数を１つ増加させたとき、Ａｃｃｕｒａｃｙを１％以上増加させた特徴量を分類精度の向上に寄与する特徴量として抽出を行っている。図６に、特徴ベクトルのインデックスとＡｃｃｕｒａｃｙとの関係を示す。この図から、いびき音／非いびき音の分類に有効な特徴量が分かる。
【０１１９】
さらに表４に、ＡＳ、ＳＳＡＩから抽出された１％以上精度向上に貢献した特徴ベクトル（ＡＳＦopt'，ＳＳＡＩＦopt.）を示している。この結果から、ＡＳの次元数が４次元になり、ＳＳＡＩの次元数が５次元に、大幅に次元圧縮できることが確認された。
【０１２０】
【表５】
2017135127.tif 000025
Ave.: average
【０１２１】
さらに、ＡＩＭＦの次元圧縮を考慮して、ＡＳＦopt.とＳＳＡＩＦopt.を合わせた９次元のＡＩＭＦopt.を特徴ベクトルとして使用することとした。上述した３つの特徴ベクトル：ＡＳＦopt.、ＳＳＡＩＦopt.、ＡＩＭＦopt.によるシステムの性能評価を行った結果を表５に示す。表の結果から、より少ない特徴量を用いて、次元圧縮前と比較して同程度の、高精度ないびき音の自動分類及び抽出が行えることが判る。特に、ＡＩＭＦopt.を用いた場合、最も高いシステムの精度（Accuracy）が９６．９％、（感度：９７．２％、特異度：９６．３％）であることが分かった。ここでＡＩＭＦopt.を用いた場合のＲＯＣ解析結果を、図７に示す。このように、本実施例に係る生体音響抽出装置の有効性や、いびき音抽出のための最適な特徴量が確認できた。
【０１２２】
【表６】
2017135127.tif 000026
【０１２３】
ＡＳ：auditory spectrum；ＳＳＡＩ：summary SAI；ＯＴ：optimum threshold；ＴＰ：true positive；ＦＰ：false positive；ＴＮ：true negative；ＦＮ：false negative；Ｓｅｎ．：sensitivity；Ｓｐｅ．：specificity；ＡＵＣ：area under the curve；Ａｃｃ．：accuracy；ＰＰＶ：positive predictive value；ＮＰＶ：negative predictive value
（従来手法との対比）
【０１２４】
以上の通り、ＡＩＭベースのいびき音／非いびき音を分類する分類器の有効性が実証された。次に、いびき音／非いびき音分類手法として従来より提案されている報告例と本実施例を比較して、その優位性の可否を検証する。ここでは、過去の報告例として、DuckittらのＭＦＣＣｓ、CavusogluらのＳＥＤ、Karunajeewaらの正規化ＡＣ’ｓ、ＬＰＣｓ等、AzarbarzinらのＳＥＤ（５００Ｈｚ）、DafnaらのＭＦＣＣｓ、ＬＰＣｓ、ＳＥＤ等を用いたそれぞれの分類性能と、上述した本実施例の手法で４０名の被験者データを分類した精度Ａｃｃとを、以下の表７に纏めた。この表から明らかなとおり、分類対象とした被験者データや条件は異なるものの、本実施例の手法はいずれの報告例よりも優れた分類精度を達成している。
【０１２５】
【表７】
2017135127.tif 000027
【０１２６】
Ａｃｃ．：accuracy；ＰＰＶ：positive predictive value；ＭＦＣＣｓ：mel-frequency cepstrum coefficients；ＯＳＡＳ：obstructive sleep apnea syndrome；ＳＥＤ：subband energy distribution；ＡＣｓ：autocorrelation coefficients；ＬＰＣｓ：linear predictive coding coefficients；ＡＩＭＦ：AIM feature
（Duckittら）
【０１２７】
Duckittらは、メル周波数ケプストラム係数（ＭＦＣＣ）を用いて、非いびき音を呼吸音、物音、無音区間、その他の雑音（車の音、犬の吠える音等）に大別して学習させているが、将来的には寝言等の音声も区別して学習できるように拡張する必要があると報告している（非特許文献５）。
（Cavusogluら）
【０１２８】
Cavusogluらは、サブバンドエネルギー分布（Subband Energy Distribution：ＳＥＤ）を用いて単純ないびき音データセットのみを用いて学習した場合に、いびき音／非いびき音の分類で９８．７％の精度を達成したとしている。しかしながら、単純いびき音とＯＳＡＳ患者のいびき音を含むデータセットで学習した場合には、精度が９０．２％に低下したと報告されている（非特許文献７）。これに対して本発明の実施例に係る分類方法では、単純いびき音とＯＳＡＳいびき音を含むデータセットでも９７．３％の精度を達成している。
（Karunajeewa）
【０１２９】
Karunajeewaらは、正規化ＡＣ’ｓ、ＬＰＣｓ等を用いて非いびき音を分類するにあたり、呼吸音と無音区間のみを用いており、言語音や物音は患者が眠る直前の１０分又は２０分間を除外することで回避できると報告している（非特許文献６）。そこで、呼吸音とその他の非いびき音の割合を調査するため、本実施例で使用しているデータベースにおける非いびき音を３名の実施例者による聴感評価試験を行い、呼吸音、咳、音声（寝言、うめき声、話し声）、物音（ベッドのきしむ音、金属音、サイレン等）の４クラスに分類して各エピソード数の調査を行った。その結果、録音が開始してから最初の１時間を除外しているにも関わらず、呼吸音以外の非いびき音が全体の非いびき音に占める割合は２４．４％となり、決してこれらの音を無視できないことが分かった。そして、このようなデータセットにおいて、本実施例の分類方法は９６．９％という高い分類精度を示すことができた。したがって、実施例に係る分類方法は睡眠中に発生すると想定される様々な音に対応できることが示唆される。
（Azarbarzinら）
【０１３０】
Azarbarzinらは、５００ＨｚのＳＥＤを用いて、単純いびき音とＯＳＡＳいびき音のデータセットを分類し、９３．１％の精度を得たと報告している（非特許文献９）。しかしながら、分類対象データはわずか１５分から抽出されたに過ぎず、これに対して本実施例は２時間もの長時間のデータに対して９７．３％を達成している。
（Dafnaら）
【０１３１】
Dafnaらは、ＭＦＣＣｓ、ＬＰＣｓ、ＳＥＤ等、複数の音響解析手法を組み合わせた３４次元の特徴ベクトルを用いている（非特許文献１０）。しかしながら、この手法はそれぞれの特徴量に関する理論を十分に理解して使用する必要があり、システムの複雑性が高い。これに対して、本実施例では比較的低次元の特徴ベクトルを用いて、既存のＡＩＭシミュレータを利用したシンプルなプログラムで構築できる利点を有する。
【０１３２】
また津崎らは、これらの特徴ベクトルを使用する際に、ＡＳについてはピークの総数・位置・レベル、スペクトル重心、スペクトル傾斜、スペクトル起伏に対応する量を計算し、ＳＳＡＩについてはピークの時間間隔の逆数の対数によってピッチ相当値を計算し、ピークの高さによってピッチ明瞭性の指標として特徴抽出を行っている（非特許文献１１）。しかしながら、活用しているＳＳＡＩの情報が少なく、より有効に活用する手段を言及する必要があった。またピークの自動検出を実現するには、検出精度に対する頑健性が課題となっている。これに対して、本実施例ではピーク検出システムを用いないＡＩＭの特徴抽出法によるいびき音と非いびき音の分類法の効果検証を行った結果、ＡＳとＳＳＡＩの両方を用いた場合の結果が最も高い精度を示している。また、ＳＳＡＩのみを用いた場合でも９４％の精度を得ており、ＳＳＡＩの情報も有効活用している。
【０１３３】
また本実施例に係るＡＳやＳＳＡＩを用いた有音分類方法によれば、音響スペクトルから得られる特徴量、例えばピークの総数、位置、振幅に対応する特徴量や、スペクトルの重心、傾斜、増加や減少に対応する特徴量をＡＳやＳＳＡＩから抽出することができる。
【０１３４】
また、抽出されたいびき音の内で、ピッチ（周期）を有する区間のみを対象として、スクリーニングを行うこともできる。あるいは、予めいびき音を抽出する際に、ピッチを有する区間のみを抽出するように構成してもよい。なお以上の例では、セグメントにおけるＳＮＲが５ｄＢ以上の音をＡＥとして使用しているが、有音区間検出法の利用により、ＳＮＲ＜５ｄＢの音を使用することもできる。
【０１３５】
またＡＩＭの処理に際して、図４のブロック図で示すすべてのステージの処理を行う必要はなく、例えばＮＡＰ（神経活動パターン）のステージまでで得られる特徴量を用いることで、処理の高速化を図ることができる。
（実施例）
【０１３６】
以上説明した非接触マイク技術を使用したＡＩＭベースのいびき音と非いびき音の分類法を用いて、４０名の被験者を用いて生体音響抽出方法の精度評価を行った。これらの結果を実施例として以下説明する。
（システムの雑音耐性）
【０１３７】
本実施例では、睡眠関連音を録音するために非接触マイクを使用した。このアプローチは睡眠関連音分類の研究において、たびたび接触マイクと比較して議論される。非接触マイクは被験者に負荷をかけずに録音ができるという利点を有する一方、録音時のＳＮＲの大小が問題点として挙げられる。非接触マイクを用いたこれまでの報告例では、信号のＳＮＲを改善するアプローチとしてスペクトルサブトラクション法等の雑音低減処理を前処理に用いている。しかしながら、スペクトルの減算処理はミュージカルノイズと呼ばれる合成音声を生成してしまい、低いＳＮＲでは基本周波数の推定が困難となる。これに対して、本実施例のＢＭＭで使用したガンマチャープフィルタバンクは、ミュージカルノイズを生じさせることなく、−２ｄＢのような低いＳＮＲでも効果的に雑音環境下から音声を取り出すことができる。これは、ＡＩＭがノイズよりも周期音の微細構造を保存する特性を有しているためと考えられる。また、ＡＩＭベースの特徴ベクトルは、ＭＦＣＣよりも高い雑音抑圧を有していると報告されている。以上の理由から、ＡＩＭには実環境の録音に対する優れた雑音耐性があると言える。
（有音区間の推定）
【０１３８】
ここで、有音区間推定部２０が有音区間を推定する方法の一例を、図８のフローチャート及び図９Ａ〜図９Ｅのグラフに基づいて説明する。ここでは、元音響データの波形（信号強度の時間変化）の一例として、図９Ａに示すような睡眠関連音データから、有音区間としていびきエピソードを抽出することを考える。
【０１３９】
まずステップＳ８０１において、睡眠関連音を収集する。ここでは、非接触式マイクロフォンを用いて、睡眠中の患者から元音響データ（図９Ａ）となる睡眠関連音を録音する。
【０１４０】
次にステップＳ８０２において、元音響データを微分又は差分する。この処理は図２に示す前処理器２１で行う。ここでは、図９Ａの元音響データを、前処理器２１である微分器で微分しており、この結果得られる前処理データの信号波形を、図９Ｂに示す。なお差分は、デジタルフィルタの一である一次ＦＩＲ（Finite Impulse Response）フィルタで行うことができる。
【０１４１】
さらにステップＳ８０３において、前処理データを二乗する。この処理は図２に示す二乗器２２で行う。図９Ｂの前処理データを二乗器２２で二乗した結果得られる二乗データの信号波形を、図９Ｃに示す。
【０１４２】
さらにステップＳ８０４において、二乗データをダウンサンプリングする。この処理は図２に示すダウンサンプリング器２３で行う。図９Ｃの二乗データをダウンサンプリング器２３でダウンサンプリングした結果得られるダウンサンプリングデータの信号波形を、図９Ｄに示す。なお、ダウンサンプリングの代わりに、二乗データを、例えば、Ｎ＝４００、シフト幅２００でセグメントに分割して、ｋ番目のセグメントにおける信号エネルギーを求めて実現しても良い 。
【０１４３】
ステップＳ８０５において、ダウンサンプリングデータから中央値を取得する。この処理は図２に示すメディアンフィルタ２４で行う。図９Ｄのダウンサンプリングデータから、メディアンフィルタ２４で中央値を取得した結果得られる信号波形を、図９Ｅに示す。このようにして、図９Ａのような背景ノイズに埋もれた元音響データから、図９Ｅのように必要な生体音響データのみを抽出することが可能となり、背景ノイズに埋もれた睡眠関連音であっても、有音区間（呼吸音、いびき音等）を正確に抽出可能となる。
【０１４４】
なお、有音区間の検出に際しては、上述の通り差分、二乗等を用いる他、ニューラルネットワーク等の学習機械や、その他の時系列解析技術、信号解析・モデリング技術を用いて実現してもよい。
（比較例１、２）
【０１４５】
ここで比較のため、音声区間の検出方法として従来から知られている方法を比較例として適用した。ここでは、ゼロ交差率（Zero-Crossing Rate：ＺＣＲ）を用いる方法を比較例１、音声信号のエネルギーに基づくＳＴＥ法を比較例２として、図１０Ａの元音響データに対してそれぞれ有音区間の自動抽出を行った結果を、図１０Ｂ、図１０Ｃにそれぞれ示す。さらに比較のため、上述した実施例１に係る方法での自動抽出結果を図１０Ｄに示す。これらＺＣＲやＳＴＥ法は、外部から入力された音声信号より、音声区間のみを検出する音声区間検出方法として、代表的な手法である。
（ＺＣＲ）
【０１４６】
まずＺＣＲは、次式で定義される。
【０１４７】
【数１９】
2017135127.tif 000028
【０１４８】
ここで、ｓｇｎ［χ（ｋ）］は次式で表される。
【０１４９】
【数２０】
2017135127.tif 000029
【０１５０】
ＺＣＲは、発声される有音区間のＺＣＲが、無音区間のＺＣＲよりも相当小さい場面で主に利用されている。この方法は、音声の種別（強い調和構造）に依存する。
（ＳＴＥ法）
【０１５１】
またＳＴＥ法は、音のＳＴＥ関数を上記数１のように定義する。
【０１５２】
このＳＴＥ法は、有音区間における上記Ｅkの値が無音区間のＥkよりも相当大きく、ＳＮＲが高くて有音区間のＥkが背景音のノイズから明瞭に判読できる場面で主に利用されている。
【０１５３】
このように、ＺＣＲやＳＴＥ等の手法は、いずれも比較的雑音の影響が少ない環境を前提として自動音声区間検出を行っているため、図１０Ａに示すようなＳＮＲが低下する環境下では、適切な有音区間の抽出がなされ難い。図１０Ｂに示す比較例１のＺＣＲでは十分な抽出が成されているとは言えず、また図１０Ｃに示す比較例２の信号エネルギーでも、一様にピークが表れており分離が困難である。これに対し、上述した実施例１に係る方法での自動抽出結果は、図１０Ｄに示すように、明確に信号が抽出されており、図１０Ａのような極めてSNRの小さな睡眠関連音データに対しても、実施例に係る有音区間推定部を用いることで、有音区間（呼吸音、いびき音）を抽出、分離でき、有用性が確認された。
【０１５４】
なお、この例では元音響データとして、表６に示すように、１０人の被験者に対して睡眠関連音データを収集し、睡眠関連音の長さを１２０ｓとして人手によりいびき音（Snore）と呼気音（Breath）に予め分類している。
【０１５５】
【表８】
2017135127.tif 000030
【０１５６】
上述した感度（Sensitivity）、特異度（Specificity）、曲線下面積（ＡＵＣ）の定義に従い、被験者毎に曲線下面積、感度、特異度を、実施例１、比較例１、比較例２について、それぞれ算出した。得られた結果を、以下の表９〜表１１に、それぞれ示す。これらの結果、実施例１においては感度、特異度、曲線下面積のいずれも高い精度を達成できていることが確認された。
【０１５７】
【表９】
2017135127.tif 000031
【０１５８】
【表１０】
2017135127.tif 000032
【０１５９】
【表１１】
2017135127.tif 000033
【０１６０】
（実施例３）
【０１６１】
さらに、いびき音と非いびき音との分類がなされたデータに対して、ＡＩＭに基づくスクリーニング、すなわち篩い分けを図１のスクリーニング部７０でもって行う。ここでは、スクリーニング部７０が、いびき音からＯＳＡＳ（閉塞性睡眠時無呼吸症候群）か非ＯＳＡＳかの判定を行う。ここで、スクリーニング部７０がＯＳＡＳと非ＯＳＡＳの分類を適切に行えるか、その有用性を確認するため、実施例３を行った。ここでは、まずいびき音と非いびき音との分類用のデータセットとして、３１名の被験者から抽出したＡＥのデータセットを用意した。この内、２０名を学習データセットに、１１名をテストデータセットとして用いた。ここでは、被験者の睡眠１時間のデータを２時間分抽出した。
【０１６２】
ＡＥは、人手により予めいびき音又は非いびき音にラベル分けされている。いびき音と非いびき音の分類に用いたデータセットの詳細を以下の表に示す。
【０１６３】
【表１２】
2017135127.tif 000034
【０１６４】
M：male；F：female；BMI：body mass index；AHI：apnea-hypopnea index
【０１６５】
一方、ＯＳＡＳと非ＯＳＡＳの分類に用いたデータセットを、以下の表に示す。ここでは、５０名の被験者を用いて、この内３５名を学習データセットに、１５名をテストデータセットに、それぞれ利用した。
【０１６６】
【表１３】
2017135127.tif 000035
【０１６７】
（ＡＩＭに基づくＯＳＡＳと非ＯＳＡＳの分類）
【０１６８】
まず、図１の分類部５０及び判別部６０によるいびき音又は非いびき音の分類性能を  ６次元特徴ベクトル（ＡＳから抽出された尖度、歪度、スペクトル重心、スペクトルバンド幅、ＳＳＡＩから抽出された尖度、歪度）を用いて評価した。この表に示すとおり、これらの特徴ベクトルを用いることで、感度９８．４％、特異度９４．０６％という極めて高い精度でいびき音又は非いびき音の分類がなされていることが確認された。
【０１６９】
【表１４】
2017135127.tif 000036
【０１７０】
さらに本実施例において、図１の分類部５０及び判別部６０で判別されたいびき音の８次元特徴（ＡＳから抽出された歪度、スペクトル重心、スペクトルロールオフ、ＳＳＡＩから抽出された尖度、歪度、スペクトルバンド幅、スペクトルロールオフ、スペクトルエントロピー）ベクトルに基づき、スクリーニング部７０でＯＳＡＳと非ＯＳＡＳの分類を行った。また、いびき音又は非いびき音の分類、ＯＳＡＳと非ＯＳＡＳの分類では、上述した特徴量の組み合わせを用いることができる。これらの特徴量に加えて、スペクトル非対称性（spectral asymmetry）、バンドエネルギー比（band energy ratio）等を用いることもできる。このＯＳＡＳと非ＯＳＡＳの分類の評価は、１０ｆｏｌｄのクロスバリデーションテストで行った。ここでは、データセットからランダムに選択した９ｆｏｌｄを学習用として、残りの１ｆｏｌｄをテスト用として用いた。
【０１７１】
この結果、無呼吸低呼吸指数（apnea-hypopnea index：ＡＨＩ）の判断基準となる閾値を１５イベント／ｈに設定してＯＳＡＳ患者をスクリーニング部７０で篩い分けしたところ、上記表１４に示すように感度は８５．００％±２６．８７、特異度は９５．００％±１５．８１という優れた結果が得られ、本実施例の有用性が確認された。なお、ＡＨＩはこの値に限らず、５イベント／ｈや１０イベント／ｈ等とすることもできる。また分類部５０、判別部６０、スクリーニング部７０における解析に際して、男女の性別毎の特徴を加味した分類や判別、篩い分けも可能となる。なお、分類部５０や判別部６０を用いた睡眠音の分類や識別には、ＭＬＲに代えて、パターン認識・識別技術、学習機械、例えばニューラルネットワーク、ディープニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等を利用することもできる。また、上記実施例では２クラス分類としたが、上記学習機械を用いて、多クラス分類問題を考えることもできる。例えば、特徴量をもとに、直接、ＯＳＡＳいびき（１）、非ＯＳＡＳいびき（２）、非いびき（３）のように分類することもできる。勿論、自動抽出においては、いびき（１）、呼吸音（２）、咳（３）のように多クラスに分類することができる。
（実施例４）
【０１７２】
次に実施例４として、被験者数を増やした状態で、すなわち被験者データベースを拡大した状態で、いびき／非いびきの識別、ＯＳＡＳ／非ＯＳＡＳの識別が可能か否かを検証した。ここでは、２時間の睡眠音の中から獲得されたAudio event（ＡＥ)を使用する。なお、睡眠音は、終夜睡眠ポリグラフ（Polysonmnography：ＰＳＧ）検査中に録音されている。性能評価を行うために、睡眠研究に従事する３名の視聴者により、注意深く、いびき音／非いびき音の２クラスのラベリングが行われている。ＰＳＧ検査時に得られた被験者情報とラベリングによって得られた、いびきの数の平均値を表１５の被験者データベースに示す。
【０１７３】
【表１５】
2017135127.tif 000037
（ステップワイズ法）
【０１７４】
ＡＥごとにStabilized auditory image（ＳＡＩ）を形成し、１０フレーム以降に得られたAuditory spectrum（ＡＳ)とSummary stabilized auditory image(ＳＳＡＩ)を解析対象とした。なお、各フレームは、ＡＳとＳＳＡＩは最大振幅が１になるように正規化を行った。なお標準偏差で正規化する場合は、１エピソードで正規化することも可能である。ＡＳからはKurtosis、Skewness、Spectral centroid、Spectral bandwidth、Spectral roll-off、Spectral entropy、Spectral contrast、Spectral flatnessの８つの特徴を利用した。ＳＳＡＩではSpectral flatness以外の７つの特徴量を用いた。これらの特徴量は、ＡＥの全フレームから抽出されるため、それぞれの特徴量の平均値をＡＥから得られる特徴量として使用した。これらの特徴量からの中から、更に識別に有効な特徴量を選択するために、男性、女性、男性女性データセット毎に、特徴選択アルゴリズムであるステップワイズ法を使用した。
【０１７５】
上述のように選択した特徴ベクトルを用いて、ＭＬＲモデルに基づく学習を行う。ここでは、図３で示したＡＩＭを用いた生体音響抽出方法を示すフローチャートのステップＳ３０５で行うＭＬＲを用いたいびき音／非いびき音の分類（ＯＳＡＳスクリーニングの場合：ＯＳＡＳ／ｎｏｎ−ＯＳＡＳの分類）を行った。さらにステップＳ３０７において閾値に基づく判別を行った。ここでは、分類部５０で音響特徴量を所定の種別に分類し、判別部６０でいびき音又は非いびき音の判別を行うために、ＡＥから抽出された特徴ベクトルを用いた多項分布ロジスティック回帰（Multi-nomial logistic regression：ＭＬＲ）分析を用いた。
（いびき音自動分類の性能評価）
【０１７６】
ＡＩＭを用いた、いびき音自動分類の性能評価を行うために、Leave-one-out交差検証を行った。ここでは、全テストデータセットにおける感度（Sensitivity）、特異度（Specificity）、AUC（area under the curve）、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を計算して、それらの平均値、標準偏差を求めることにより、システムの分類性能を評価した（自動分類、スクリーニング共に、厳しい基準で評価を行っている）。
（ＯＳＡＳスクリーニングの性能評価）
【０１７７】
ＡＩＭを用いた、ＯＳＡＳスクリーニングの性能評価には、被験者データベースから無作為に選んだ７０％を学習用データセット、残りの３０％をテスト用データセットして使用した。両データセット共に、ＯＳＡＳ被験者とＮｏｎ−ＯＳＡＳ被験者が均等になるように、独立に分割し、ランダムに５０パターン作成した学習・テスト用データセットを使用して、感度（Sensitivity）、特異度（Specificity）、ＡＵＣ（area under the curve、精度（Accuracy）、陽性適中度（Positive pre-dictive value：ＰＰＶ）、陰性適中度（Negative predictive value：ＮＰＶ）を計算した後、平均値と標準偏差の計算を行い、ＯＳＡＳスクリーニングの性能を評価した。
（いびき音自動分類の性能評価結果）
【０１７８】
ＡＩＭを用いた、いびき音自動分類の性能評価結果（Leave-one-out交差検証）を表１６に示す。
【０１７９】
【表１６】
2017135127.tif 000038
【０１８０】
以上の結果から、ＡＩＭから得られる特徴だけを使用して、男女ともに、高い精度で、いびきを自動分類できることが判明した。
（ＡＩＭを用いた、ＯＳＡＳスクリーニングの性能評価結果）
【０１８１】
上述した方法によりＡＩＭを用いて自動抽出した、いびき音に基づくＯＳＡＳスクリーニングの性能評価結果を表１７に示す。また参考のため、自動抽出を行わず、ラベリングにより手動で抽出した、いびき音のみを利用したＯＳＡＳスクリーニングの性能評価結果を表１８に示す。
【０１８２】
【表１７】
2017135127.tif 000039
【０１８３】
【表１８】
2017135127.tif 000040
【０１８４】
表１７より、ヒトの聴覚能力を模倣した、ＡＩＭだけを用いて自動抽出した、いびき音をもとに、どのデータセットにおいても高い精度でＯＳＡＳスクリーニングを行えることが示唆された。表１７と１８から、自動抽出された場合に比べて、ラベリングにより手動で抽出したいびき音に基づくＯＳＡＳスクリーニングの性能が全ての被験者セットにおいて高いことが判った。この結果より、ＡＩＭを用いた、いびき音の自動抽出の性能を更に向上させることによりＯＳＡＳスクリーニング性能の向上が示唆される。いびき自動抽出性能の向上のために、ＡＳとＳＳＡＩのフレームにおける正規化方法の変更、例えばフレームで正規化するのではなく、１エピソードで正規化することも可能である。また、特徴量の追加、例えば、非特許文献１で述べられるような、ピッチ情報、フォルマント周波数情報などの信号処理、音声認識、音声信号処理に使用される特徴ベクトルとの組み合わせ等も可能である。
【０１８５】
さらに本実施例では、エネルギの高い有音区間を対象にＡＩＭ処理を行った。その他、低ＳＮＲの音を含む有音区間を対象としてＡＩＭ処理を行って、咳、いびき、呼吸、発声、ベッドノイズ等のカテゴリに分類することも可能である。
【０１８６】
以上の実施例に係る方法を纏めると、まずＡＩＭ処理により、３５ｍｓのフレーム毎にＳＡＩを求める。次に、各ＳＡＩからＡＳとＳＳＡＩを求める。さらにＡＳ、ＳＳＡＩから、それぞれ特徴量（尖度、歪度、スペクトルバンド幅、スペクトル重心、スペクトルエントロピー、スペクトルロールオフ、スペクトルフラットネス等）を抽出する。フレームの数だけ特徴量が得られるので、有音区間の一の音から得られる各特徴量は、平均化することにより、平均値、標準偏差として利用できる。ここでは、いびき音自動抽出の場合は、ＡＳ、ＳＳＡＩから得られる特徴量の平均値、標準偏差を使用した。一方、ＯＳＡＳスクリーニングでは、ＡＳ、ＳＳＡＩから得られる特徴量の平均値のみを使用した。このように、ＯＳＡＳスクリーニングに比べ、いびき音自動抽出では、より多くの特徴量を使用、検討した。さらに多くの特徴量を用いることもできるし、また特徴量の基本統計量（標準偏差、尖度等）や、ピークの総数、出現位置、振幅、重心、傾斜、増加、減少等の特徴量等を使用して、生体音響自動抽出、ＯＳＡＳスクリーニングの性能を評価できる。また、常にＳＡＩを用いる必要はなく、例えばＳＡＩ手前の処理であるＮＡＰまでで特徴量を抽出することにより、計算速度を向上させることもできる。
【０１８７】
以上の例ではいびき音を例に挙げて説明したが、本発明の対象はいびき音に限らず、生体物の発する他の音響（生体音響）にも利用でき、さらに検出された生体音響から、種々の症例の発見や診断等に適用できる。例えば睡眠音の検出により、上述したＯＳＡＳスクリーニングや、睡眠障害の鑑別が可能となる。また肺音、呼吸音、咳等から、ぜんそく、肺炎等の診断が可能となる。あるいは、心音から各種の心疾患が可能となり、さらに腸音の解析により機能性消化管障害のような各種の腸疾患のスクリーニングが可能となる。その他、胎動音、筋音等の検出にも適用できる。このような生体音響を適切に抽出することで、これらの生体音響から診断可能な症例の解析に対して好適に利用できる。また、本発明はヒトに限らず、他の生物に対しても利用できる。例えば愛玩動物や動物園で飼育される動物の健康診断等においても、好適に利用できる。
【産業上の利用可能性】
【０１８８】
本発明の生体音響抽出装置、生体音響解析装置、生体音響抽出プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、患者の睡眠ポリグラフ検査と共に、あるいはこれに代えていびき音を測定し、ＳＡＳの診断を行う用途として好適に利用できる。
【符号の説明】
【０１８９】
１００…生体音響抽出装置
１１０…生体音響解析装置
１０…入力部
２０…有音区間推定部
２１…前処理器
２２…二乗器
２３…ダウンサンプリング器
２４…メディアンフィルタ
３０…聴覚像生成部
４０…音響特徴量抽出部
５０…分類部
６０…判別部
７０…スクリーニング部
【図１】
2017135127.tif 000041
【図２】
2017135127.tif 000042
【図３】
2017135127.tif 000043
【図４】
2017135127.tif 000044
【図５】
2017135127.tif 000045
【図６】
2017135127.tif 000046
【図７】
2017135127.tif 000047
【図８】
2017135127.tif 000048
【図９】
2017135127.tif 000049
【図１０】
2017135127.tif 000050
【国際調査報告】
2017135127.tif 000051
2017135127.tif 000052
2017135127.tif 000053
2017135127.tif 000054