(57)【特許請求の範囲】
【請求項１】
与えられた時系列信号に対して設定された所定の単位区間ごとに周波数および強度の組で構成される複数の音素データを生成する周波数解析手段と、
生成された前記複数の音素データのうち、所定の強度を満たすものを抽出し、抽出された複数の音素データの開始時刻・終了時刻・周波数の類似性を基に、開始時刻・終了時刻・周波数・強度のパラメータで構成されるブロック音素を作成するブロック音素作成手段と、
前記時系列信号に対して自己相関解析を行なうことにより、当該時系列信号の基本周期を算出する基本周期算出手段と、
前記複数のブロック音素の中で周波数が類似しており、かつ開始時刻の差が前記算出した基本周期の整数倍に近いものを、同一のグループになるように分類するブロック音素分類手段と、
前記グループ化された各ブロック音素に対して、所定のデータベースで定義された属性情報を付与する属性情報付与手段と、
前記属性情報が付与されたブロック音素を出力するための出力手段と、を有し、
前記属性情報付与手段が、前記データベースに合致するブロック音素に対して属性情報を付与するとともに、当該ブロック音素と同一グループに属する全てのブロック音素に対して、前記ブロック音素に付与された属性情報と同一の属性情報を付与するものであることを特徴とする時系列信号解析装置。
【請求項２】
与えられた時系列信号に対して設定された所定の単位区間ごとに周波数および強度の組で構成される複数の音素データを生成する周波数解析手段と、
生成された前記複数の音素データのうち、所定の強度を満たすものを抽出し、抽出された複数の音素データの開始時刻・終了時刻・周波数の類似性を基に、開始時刻・終了時刻・周波数・強度のパラメータで構成されるブロック音素を作成するブロック音素作成手段と、
前記時系列信号に対して自己相関解析を行なうことにより、当該時系列信号の基本周期を算出する基本周期算出手段と、
前記複数のブロック音素の中で周波数が類似しており、かつ開始時刻の差が前記算出した基本周期の整数倍に近いものを、同一のグループになるように分類するブロック音素分類手段と、
前記グループ化された各ブロック音素に対して、所定のデータベースで定義された属性情報を付与する属性情報付与手段と、
前記属性情報が付与されたブロック音素を階層構造のテキスト情報として出力するための構造化文書作成手段と、を有し、
前記属性情報付与手段が、前記データベースに合致するブロック音素に対して属性情報を付与するとともに、当該ブロック音素と同一グループに属する全てのブロック音素に対して、前記ブロック音素に付与された属性情報と同一の属性情報を付与するものであることを特徴とする時系列信号解析装置。
【請求項３】
前記構造化文書作成手段が出力するテキスト情報がＸＭＬ規格の書式に準拠して記述されており、内包するブロック音素が区間に対応するデルタタイム情報、周波数に対応するノートナンバー情報、強度に対応するベロシティー情報をもつＭＩＤＩ形式で記述されていることを特徴とする請求項２に記載の時系列信号解析装置。
【請求項４】
音素データの配列パターンと詳細属性情報との対応関係を記録した詳細属性データベースをさらに有し、
前記属性情報付与手段は、前記詳細属性データベースを参照し、前記ブロック音素の基になった音素データの配列パターンに対応する詳細属性情報を付与するものであることを特徴とする請求項１から請求項３のいずれかに記載の時系列信号解析装置。
【請求項５】
前記時系列信号が心音信号であり、前記基本周期が心拍周期であり、前記属性情報が心音のI音成分、II音成分およびその他であり、前記詳細属性データベースにおいては、I音構成成分であるＭ１、Ｔ１、Ａ１、第II音構成成分であるＡ２、Ｐ２、III音成分IV音成分等の異常心音成分や心雑音成分に対する音素データの配列パターンとの対応付けがなされていることを特徴とする請求項４に記載の時系列信号解析装置。
【請求項６】
前記基本周期算出手段は、周期を変化させながら、当該周期だけ移動させた時系列信号との相関値を求め、相関値が最大となるときの前記周期を当該時系列信号の基本周期として算出するものであることを特徴とする請求項１から請求項５のいずれかに記載の時系列信号解析装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、心音、心電図等の生体信号、その他音響信号を含む時系列信号の解析技術に関する。
【０００２】
【従来の技術】
音響信号に代表される時系列信号には、その構成要素として複数の周期信号が含まれている。このため、与えられた時系列信号にどのような周期信号が含まれているかを解析する手法は、古くから知られている。例えば、フーリエ解析は、与えられた時系列信号に含まれる周波数成分を解析するための方法として広く利用されている。
【０００３】
このような時系列信号の解析方法を利用すれば、音響信号を符号化することも可能である。コンピュータの普及により、原音となるアナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして取り込むことが容易にできるようになってきており、こうして取り込んだデジタルデータに対してフーリエ解析などの手法を適用し、原音信号に含まれていた周波数成分を抽出すれば、各周波数成分を示す符号によって原音信号の符号化が可能になる。
【０００４】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になるが、その符号化効率の高さが注目を集めており、ＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられている。
【０００５】
そこで、音響信号に代表される時系列信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化しようとする提案がなされている。例えば、特開平１０−２４７０９９号公報、特開平１１−７３１９９号公報、特開平１１−７３２００号公報、特開平１１−９５７５３号公報、特開２０００−９９００９号公報、特開２０００−９９０９２号公報、特開２０００−９９０９３号公報、特開２０００−２６１３２２号公報、特開２００１−５４５０号公報、特開２００１−１４８６３３号公報には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からＭＩＤＩデータを作成することができる種々の方法が提案されている。
【０００６】
【発明が解決しようとする課題】
特に、特願２０００−３５１７７５号明細書においては、心音をＭＩＤＩ符号に変換し、得られたＭＩＤＩ符号をブロック化して各ブロックに心音属性を割り当てる手法について提案した。この手法では、同時に発生する複数の周波数要素を基にその時刻の統一周波数要素を算出し、時系列に連続する統一周波数要素をブロック化して、このブロックデータに心音属性を割り当てるようにしている。そのため、心音の周期的な変動により誤った心音属性を割り当ててしまう場合が生じるという問題がある。
【０００７】
上記のような点に鑑み、本発明は、心音信号の周期的な変動を考慮して、より正確な解析を行なうことが可能な時系列信号解析装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、本発明では、時系列信号解析装置として、与えられた時系列信号に対して設定された所定の単位区間ごとに周波数および強度の組で構成される複数の音素データを生成する周波数解析手段と、生成された前記複数の音素データのうち、所定の強度を満たすものを抽出し、抽出された複数の音素データの開始時刻・終了時刻・周波数の類似性を基に、開始時刻・終了時刻・周波数・強度のパラメータで構成されるブロック音素を作成するブロック音素作成手段と、前記時系列信号に対して自己相関解析を行なうことにより、当該時系列信号の基本周期を算出する基本周期算出手段と、前記複数のブロック音素の中で周波数が類似しており、かつ開始時刻の差が前記算出した基本周期の整数倍に近いものを、同一のグループになるように分類するブロック音素分類手段と、前記グループ化された各ブロック音素に対して、所定のデータベースで定義された属性情報を付与する属性情報付与手段と、前記属性情報が付与されたブロック音素を出力するための出力手段を有する構成とし、前記属性情報付与手段が、前記データベースに合致するブロック音素に対して属性情報を付与するとともに、当該ブロック音素と同一グループに属する全てのブロック音素に対して、前記ブロック音素に付与された属性情報と同一の属性情報を付与するものとしたことを特徴とする。
【０００９】
本発明によれば、時系列信号の解析を行なって得た複数の音素データの類似性に基づいてブロックデータを作成する一方、時系列信号に対して自己相関解析を行なって時系列信号の周期を算出し、作成したブロックのうち、周期間隔で離れているものを同一のグループとして、全ブロックデータを複数のブロックに分類し、心音波形を各ブロックの特性と周期を含めて心音属性と対応付けて登録した知識データベースを利用することにより、心音属性の付与までを自動的に行うことが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（1.時系列信号の解析の基本原理）
はじめに、時系列信号の解析に一部利用される周波数解析の基本原理を述べておく。この基本原理は、前掲の各公報あるいは明細書に開示されているので、ここではその概要のみを簡単に述べることにする。図１の上段に示すように、時系列の強度信号としてアナログ音響信号が与えられたものとする。図示の例では、横軸に時間軸ｔ、縦軸に信号強度Ａをとってこの音響信号を示している。本発明では、まずこのアナログ音響信号を、デジタルの音響信号として取り込む処理を行う。これは、従来の一般的なＰＣＭの手法を用い、所定のサンプリング周波数でこのアナログ音響信号をサンプリングし、信号強度Ａを所定の量子化ビット数を用いてデジタルデータに変換する処理を行えばよい。ここでは、説明の便宜上、ＰＣＭの手法でデジタル化した音響信号の波形も、図１の上段のアナログ音響信号と同一の波形で示すことにする。
【００１１】
次に、このデジタル音響信号の時間軸ｔ上に複数の単位区間を設定する。図示の例では、６つの単位区間Ｕ１〜Ｕ６が設定されている。第ｉ番目の単位区間Ｕｉは、時間軸ｔ上の始端ｓｉおよび終端ｅｉの座標値によって、その時間軸ｔ上での位置と長さとが示される。たとえば、単位区間Ｕ１は、始端ｓ１〜終端ｅ１までの（ｅ１−ｓ１）なる長さをもつ区間である。
【００１２】
こうして、複数の単位区間が設定されたら、個々の単位区間内の音響信号に基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義する。ここでは、第ｉ番目の単位区間Ｕｉについて、代表周波数Ｆｉおよび代表強度Ａｉが定義された状態が示されている。たとえば、第１番目の単位区間Ｕ１については、代表周波数Ｆ１および代表強度Ａ１が定義されている。代表周波数Ｆ１は、始端ｓ１〜終端ｅ１までの区間に含まれている音響信号の周波数成分の代表値であり、代表強度Ａｉは、同じく始端ｓ１〜終端ｅ１までの区間に含まれている音響信号の信号強度の代表値である。単位区間Ｕ１内の音響信号に含まれる周波数成分は、通常、単一ではなく、信号強度も変動するのが一般的である。従来の手法とも共通する基本原理のポイントは、１つの単位区間について、１つもしくは複数の代表周波数と代表強度を定義し、これら代表値を用いて符号化を行う点にある。
【００１３】
すなわち、個々の単位区間について、それぞれ代表周波数および代表強度が定義されたら、時間軸ｔ上での個々の単位区間の始端位置および終端位置を示す情報と、定義された代表周波数および代表強度を示す情報と、により符号データを生成し、個々の単位区間の音響信号を個々の符号データによって表現するのである。単一の周波数をもち、単一の信号強度をもった音響信号が、所定の期間だけ持続する、という事象を符号化する手法として、ＭＩＤＩ規格に基づく符号化を利用することができる。ＭＩＤＩ規格による符号データ（ＭＩＤＩデータ）は、いわば音符によって音を表現したデータということができ、図１では、下段に示す音符によって、最終的に得られる符号データの概念を示している。
【００１４】
結局、各単位区間内の音響信号は、代表周波数Ｆ１に相当する音程情報（ＭＩＤＩ規格におけるノートナンバー）と、代表強度Ａ１に相当する強度情報（ＭＩＤＩ規格におけるベロシティー）と、単位区間の長さ（ｅ１−ｓ１）に相当する長さ情報（ＭＩＤＩ規格におけるデルタタイム）と、をもった符号データに変換されることになる。このようにして得られる符号データの情報量は、もとの音響信号のもつ情報量に比べて、著しく小さくなり、飛躍的な符号化効率が得られることになる。なお、代表周波数をノートナンバーｎの関数ｆ（ｎ）としたときに、代表周波数ｆ（ｎ）とノートナンバーｎ（０≦ｎ≦１２７）との関係は、以下に示す〔数式１〕で定義されることになる。
【００１５】
〔数式１〕
ｆ（ｎ）＝４４０×２γ(n)
γ（ｎ）＝（ｎ−６９）／１２
【００１６】
また、周波数と周期は互いに逆数の関係にあり、一方が定まれば他方も一義的に定まり、上記〔数式１〕により周波数が定まればノートナンバーも定まる。したがって、本発明においては、周波数・周期・ノートナンバーのいずれか１つの用語を用いている場合においても、他の２つについても同時に定まっているものとして説明していく。
【００１７】
上記のような各単位区間について、代表周波数および強度の組を算出する具体的な手法としては、短時間フーリエ解析、一般化調和解析手法、ゼロ交差点検出法等の周知の手法が利用できる。
【００１８】
（2.本発明に係る時系列信号の解析方法）
続いて、本発明に係る時系列信号解析の具体的な手法について説明する。図２は本発明による時系列信号の解析の概略を示すフローチャートである。図２に示すように、ＰＣＭの形式で取り込まれたデジタルの音響信号に対しては２通りの処理が行われる。まず、時系列信号の周波数解析を行なう（ステップＳ１）。ここで、時系列信号として取り込んだ心音波形の一例を図３に示す。ステップＳ１では、図３に示したような心音波形（信号）に対して、上記基本原理で図１を用いて説明したように単位区間を設定し、各単位区間について複数の周波数および強度の組を算出する。
【００１９】
周波数および強度の組の算出の具体的な手法としては、上述のように短時間フーリエ変換、一般化調和解析、ゼロ交差点検出法が利用できるが、本発明においては、ゼロ交差点検出法を適用するのが効果的である。特にステップＳ１における周波数解析においては、ゼロ交差点検出法を発展させた手法により周波数および強度の組の算出を行っている。このステップＳ１における周波数解析の詳細について図４のフローチャートを利用して説明する。
【００２０】
まず、入力された原音響信号に対して信号から主ゼロ交差点を検出する（ステップＳ１１）。主ゼロ交差点とは、音響信号が０レベルになる地点であるゼロ交差点のうち、補正処理が行われていない原音響信号に対して検出されるものを示す。ここで、図３に示した原音響信号の一部を時間軸方向に拡大したものを図５（ａ）に示す。ステップＳ１１においては、信号が０レベルとなるゼロ交差点を検出する。このゼロ交差点は、時刻で表現されることになる。図５（ａ）の原音響信号から検出された主ゼロ交差点を図５（ｂ）に示す。
【００２１】
次に、ステップＳ１１において検出された主ゼロ交差点にしたがって、単位区間を決定する（ステップＳ１２）。単位区間とは、周波数成分の抽出および符号データを作成するための基本となる区間であり、図１の単位区間Ｕに相当する。単位区間は、始点となる主ゼロ交差点ｔ１から終点となる主ゼロ交差点ｔ２までの区間として設定される。始点となる主ゼロ交差点ｔ１としては、単位区間として未だ設定されていない区間において、時間的に先頭の主ゼロ交差点が選出される。終点となる主ゼロ交差点ｔ２は、以下のようにして選出される。
【００２２】
図５（ａ）に示すように原音響信号の波形は、始点となるゼロ交差点から２つ移動した位置のゼロ交差点で１周期となっている。そのため、この整数倍のゼロ交差点を移動した位置を終点とするのが好ましい。また、安定した周波数値を得るため、終点をできるだけ始点から離れた位置にとり、その平均周期をこの単位区間の周期とすることが好ましい。そのために、まず始点となる主ゼロ交差点ｔ１から２つ移動した主ゼロ交差点までの距離を単位周期ＴBと設定する。終点となる主ゼロ交差点ｔ２としては、始点となる主ゼロ交差点ｔ１から２の整数倍だけ離れた主ゼロ交差点のうち以下の〔数式２〕を満たす範囲で、ｔ２−ｔ１が最大となるものを選出するようにする。
【００２３】
〔数式２〕
｜ＮA−ＮB｜ ≦ １
ただし、Ｎ＝４０×ｌｏｇ10（１／４４０Ｔ）＋６９
Ｔ＝（ｔ２−ｔ１）×２／ｋ
【００２４】
上記〔数式２〕において、ＮAはｔ２−ｔ１間の平均周期ＴAにより定まるノートナンバー、ＮBは単位周期ＴBにより定まるノートナンバーである。また、ｋは、始点となる主ゼロ交差点から終点となる主ゼロ交差点までに移動した主ゼロ交差点の数であり、２の整数倍となっている。なお、上記〔数式２〕において、第２式は、周期ＴからノートナンバーＮを求めるためのものであり、第３式は、平均周期ＴAを求めるためのものであり、ｋ＝２とした場合に単位周期ＴBが得られる。上記〔数式２〕においては、終点となる主ゼロ交差点ｔ２を、始点となる主ゼロ交差点ｔ１から、４個分、６個分、８個分…というように２の整数倍だけ離れた主ゼロ交差点に仮設定して判断していく。結局、ステップＳ１２における処理は、単位周期ＴBで定まる周波数と、平均周期ＴAで定まる周波数をそれぞれノートナンバーに変換した際に、半音の差（ノートナンバーとしては±１の差）以内に収まるような主ゼロ交差点ｔ２を終点として選出する処理を行うことになる。単位区間の設定は音響信号の全区間に渡って行われる。後続する単位区間においては、先行する単位区間の終点となる主ゼロ交差点の次の主ゼロ交差点を、始点となる主ゼロ交差点として、上記説明と同様に処理を行っていく。
【００２５】
全単位区間の設定が行われたら、各単位区間について、主周波数成分の算出を行う（ステップＳ１３）。周波数成分とは、周期（周波数）および振幅を意味するものである。周期としては、単位区間における平均周期ＴAが設定され、振幅としては、単位区間内において、信号の絶対値が最大となる値Ａが設定される。なお、主周波数成分とは、周波数成分のうち、補正が行われていない原音響信号から抽出されたものをいい、ステップＳ１６で算出される副周波数成分と区別している。
【００２６】
上記ステップＳ１２およびステップＳ１３による処理、すなわち、ゼロ交差点を用いて単位区間を決定し、単位区間に対応する周波数成分を算出する処理については、従来から行われているものと同様である。ただし、これでは、１つの単位区間について１つの周波数成分しか抽出できない。本発明では、１つの単位区間から複数の周波数成分を抽出するために後述するようなステップＳ１４以下の処理を行っている。
【００２７】
ステップＳ１３において主周波数成分が算出されたら、次にその単位区間における音響信号から直流成分の除去を行う（ステップＳ１４）。ここでの、直流成分の除去は単位区間全体に渡って一律に行うのではなく、音響信号が０以上になっている部分については、当該部分の平均強度を各時刻の信号強度から減じるようにし、音響信号が０以下になっている部分についても、当該部分の平均強度を正負の符号をそのままにして信号強度から減じる（実際には平均強度は増加していることになる）ようにする。これにより、振幅の大きな部分が抑えられた補正音響信号が得られることになる。図５（ｃ）に示した原音響信号を補正した補正音響信号を図５（ｄ）に示す。
【００２８】
続いて、補正音響信号に対して、信号が０レベルと交差する副ゼロ交差点を検出する（ステップＳ１５）。これは、上記ステップＳ１１において、原音響信号に対して主ゼロ交差点を検出したのと全く同様な処理で行われる。ただし、図５（ｄ）に示したように、補正音響信号では、原音響信号に比べて明らかにゼロ交差点が増えているので、多くの副ゼロ交差点が検出されることになる。図５（ｄ）に示した補正音響信号から検出された副ゼロ交差点を図５（ｅ）に示す。
【００２９】
続いて、補正音響信号および検出された副ゼロ交差点に従って、副周波数成分の算出を行う（ステップＳ１６）。副周波数成分のうち、周期としては、単位区間における始点となる副ゼロ交差点ｔ３と終点となる副ゼロ交差点ｔ４で定まる平均周期が与えられる。また、副周波数成分のうち、振幅としては、単位区間内において、補正音響信号の絶対値が最大となる値が設定される。
【００３０】
上記ステップＳ１４〜ステップＳ１６の処理は、所定の回数だけ繰り返され、繰り返された回数分の副周波数成分が抽出されることになる。上記のようにして、各単位区間ごとに複数の周波数に対応する強度を検出でき、原音響信号の全区間に渡って処理することにより、設定された全単位区間について、周波数および強度の組を算出できる。
【００３１】
各単位区間の先頭を開始時刻、終点を終了時刻とすると、各単位区間ごとに開始時刻・終了時刻・周波数・強度の組が得られることになる。この開始時刻・終了時刻・周波数・強度の組を本明細書では、音素データと呼ぶことにする。ステップＳ１においては、その強度が所定値に達しない音素データを削除する処理も行う。その結果、残った音素データの様子を図６に示す。
【００３２】
図６においては、周波数を音の高さ、強度を音の強さとして、音素データを下向きの三角形で示している。音の高さは三角形の上辺の上下方向における位置で表されており、音の強さは三角形の高さで表されている。また、単位区間の長さは三角形の上辺の長さで表されている。ステップＳ１の周波数解析において選出される音素データは各単位区間について１６個程度とすることが好ましいが、図面が繁雑になるのを避けるため図６の例では各単位区間について３個ずつで示している。
【００３３】
各単位区間について音素データが選出されたら、選出された音素データに基づいてブロック音素を作成する（ステップＳ２）。ブロック音素の作成処理は、時間軸上で近接する音素データで、ノートナンバーおよびベロシティが類似しているものを連結させることにより行なわれる。そして、ブロック音素のノートナンバーとして各構成音素データの平均値が、ベロシティとして各構成音素データの最大値が与えられる。各単位区間については周波数解析により１６個程度の複数の音素データが抽出されることが通常であるが、その場合は時間軸に重複した複数のブロック音素が作成される。ただし、後段の属性情報付けが煩雑になるため、時間的に重複するブロック音素はベロシティが最も大きいものだけで代表させて１つに統合させる方法もとられる。以下はその具体的手法として、特願２０００−３５１７７５号明細書にも記載されている手法を示す。各単位区間ごとに統一周波数Ｎｒ（ｔ）および統一強度Ｖｒ（ｔ）を以下の〔数式３〕により算出することにより行われる。
【００３４】
〔数式３〕
Ｎｒ（ｔ）＝［Σ｛ｎ×Ｖｎ（ｔ）｝］／ΣＶｎ（ｔ）
Ｖｒ（ｔ）＝［Σ｛ Ｖｎ（ｔ）｝2］1/2
【００３５】
上記〔数式３〕において、ｎはノートナンバーであり、 Ｖｎ（ｔ）はノートナンバーｎに対応するベロシティである。また、Σにより算出される総和は音素データ分行なわれる。すなわち、１６個の音素データが選出された場合は、１６個分の総和が算出されることになる。〔数式３〕により統一周波数Ｎｒ（ｔ）としては、各音素データを周波数軸と強度軸からなるグラフ上にプロットしたときの重心位置の周波数が算出されることになり、統一強度Ｖｒ（ｔ）としては、強度分布の二乗平均値が算出されることになる。このようにして各単位区間ごとに統一周波数および統一強度を有するブロック音素が得られる。さらに、隣接するブロック音素間において、統一周波数が類似する場合には、複数の単位区間にまたがって統合され、新たなブロック音素が得られる。統一周波数が類似するとは、あらかじめ設定された範囲内に周波数の差が含まれる場合である。統合後のブロック音素の周波数、強度としては、統合前のブロック音素の周波数、強度の平均値が与えられる。図６に示した音素データに対してステップＳ２の処理により得られたブロック音素の様子を図７に示す。図７の例では、音の高さ・音の強さは無視して表現している。
【００３６】
上記ステップＳ１・Ｓ２の処理とは別に、入力された音響信号に対しては、基本周期の算出を行う（ステップＳ３）。これは、自己相関解析を行うことにより行われる。具体的には、与えられた音響信号ｇ（ｔ）に対して、周期Ｔnを変化させて以下の〔数式４〕により相関値Ｒ（Ｔn）が最大となる周期Ｔnを求める。
【００３７】
〔数式４〕
Ｒ（Ｔn）＝Σtｇ（ｔ）×ｇ（ｔ＋Ｔn）
【００３８】
周期Ｔnとしては、各ノートナンバー（ｎ＝０〜１２７）に対応する１２８通りが与えられる。図８は、入力音響信号ｇ（ｔ）と周期Ｔn分ずらした音響信号ｇ（ｔ＋Ｔn）の関係を示す図である。図８（ａ）は入力音響信号ｇ（ｔ）を示し、図８（ｂ）は音響信号ｇ（ｔ＋Ｔ127）、図８（ｃ）は音響信号ｇ（ｔ＋Ｔ126）、図８（ｄ）は音響信号ｇ（ｔ＋Ｔn）を示している。このような音響信号ｇ（ｔ＋Ｔn）のうち、原音響信号ｇ（ｔ）との相関値Ｒ（Ｔn）が最大となるときのＴnを入力音響信号ｇ（ｔ）の周期とみなす。
【００３９】
続いて、上記ステップＳ２で求めたブロック音素を、ステップＳ３で求めた周期Ｔnに基づいて分類する（ステップＳ４）。具体的には、互いに周期Ｔnだけ離れたブロック音素のノートナンバーの比較を行う。このノートナンバーの差が設定された所定値の範囲に収まる場合に両ブロックを同一のチャンネルに分類する。分類するチャンネル数は、ブロック音素の数や、同一とみなすノートナンバーの差の範囲により異なるが、最終的な出力データのチャンネル数よりも多めのチャンネルに分けるようにする。例えば、図７に示したようなブロックデータについては、図９に示すように８つのチャンネルに分類される。
【００４０】
次に、分類された各チャンネルのブロック音素に心音属性を付与する（ステップＳ５）。具体的には、あらかじめ、心音に関するデータベースを用意しておき、このデータベースに記憶されているブロック音素パターンと、分類された各チャンネルのブロック音素パターンとを比較し、類似していると判断された場合に、データベースに登録されている心音属性を、そのチャンネルに対して付与する。ブロック音素パターンとは、各ブロック音素を作成する基になった音素データの配列パターンである。各ブロック音素に対しては、具体的には、I音、II音、その他の３種類の属性情報を与える。この判定は、次の４つのルールに基づいて行なわれる。
【００４１】
音の高さ：II音はI音に比べて音高が高い。（II音＞I音）
音の長さ：I音およびII音とも音の長さが短く固定しており、II音はI音より短い。（I音およびII音＜長さ閾値、かつI音＞II音）
音の強さ：I音およびII音とも他の成分に比べて強く、聴取するセンサの位置によりI音とII音のバランスが変化する。例外として、逆流性心雑音などはI音およびII音より強い場合がある。（I音およびII音＞強さ閾値）
音の間隔：I音とII音の間隔はII音とI音の間隔に比べて短い。心拍数が増えるとII音とI音の間隔は短くなるが、I音とII音の間隔は変化しない、すなわちI音とII音の間隔に近づく。（I-II間隔＜II-I間隔）
【００４２】
この結果、図９に示したブロック音素には、各チャンネルごとに、図１０に示すような属性情報が付与されることになる。続いて、さらに詳細な情報を記録したデータベースを参照して各チャンネルに対して対応する属性情報の付与を行なう。ブロック音素を作成する基になった音素データの配列パターンに基づき、まず、I音およびII音の属性情報が付与されたブロック音素については、その詳細分類を、その他の属性情報が付与されたブロック音素については、具体的な属性情報を、その音素データの配列パターンから、詳細属性情報が登録されたデータベースを参照してIII音、IV音（またはIIIとIVの重合音）、心雑音（収縮期か拡張期かまたは連続性か、逆流性か駆動性かといったサブ分類も定義されている）、クリック音、摩擦音などのいずれであるかが決定され、該当する詳細属性情報が付与される。特に第I音については、僧帽弁成分・三尖弁成分・大動脈弁成分のいずれであるか、第II音については、大動脈弁成分・肺動脈弁成分のいずれであるかを特定することができる。各チャンネルごとに詳細の属性情報を付与したブロック音素を図１１に示す。
【００４３】
上記ステップＳ５において、各チャンネルのデータが、どのような心音属性であるかを特定することができるが、自動で行わず、人が特定するようにすることもできる。この場合、図９に示すようなブロック音素が複数のチャンネルに分類された状態が画面等に表示される。図９の例では、ブロック化された状態を示しているが、実際には、図６に示したような音素データを重ねた状態が表示される。そのような表示を見ると、各ブロック音素を構成する音素データの状態と、周期の両方を同時に確認することができる。
【００４４】
医者等の心音波形による心音属性の判断が可能な者は、この周波数要素を見ながら、各チャンネルに対して心音属性の割り当てを行う。図９に示すように、従来の心音波形と異なり、所定の周期間隔で現れるブロック音素についても、同一チャンネルに現れるので、より正確な判断が可能となる。例えば、１つのブロック音素だけを見ると、心音成分であると判断されそうなものであっても、周期的に現れていないものはノイズであると判断して、除外することができる。
【００４５】
続いて、属性情報が付与されたブロック音素をさらに構造文書化する（ステップＳ６）。構造化文書としてＸＭＬ（eXtensible Markup Language）規格を採用した場合のソースコードの一例を図１２に示す。図１２に示す例は、図１１に示したブロック音素の先頭から心音の１周期分を構造文書化したものであり、３７行で記述されている。なお、図１２に記述されているブロック音素はＭＩＤＩに準拠して記述されている。ＸＭＬは基本的に１対のタグで実データが囲まれるような形式となっている。図１２において、先頭の１行目と最終の３７行目の一対のタグにより、文書の開始と終了が定義されている。２行目に記述された一対のタグでは、この文書の開始から終了までに記載されているＭＩＤＩ規格準拠のイベントデータ（<Event>タグで定義）に定義されている発音開始時刻（<StartTime>タグで定義）および発音終了時刻（<EndTime>タグで定義）の時間の単位（１秒あたりの分解能）が定義されている。３行目の<HeartCycle>タグと３６行目の終了タグ</HeartCycle>は心音の一周期分のデータが以下記載されていることを指示している。４行目から１４行目は心音第I音<FirstSound>を記述したものであり、４行目と１４行目は心音第I音であることを示す一対のタグである。この心音第I音は、さらに、３つの詳細属性に分類されている。５行目から７行目は僧帽弁成分Ｍ１を、８行目から１０行目は三尖弁成分Ｔ１を、１１行目から１３行目は大動脈弁成分を、それぞれ示している。各分類は、同様の構成となっており、例えば、僧帽弁成分Ｍ１の場合、６行目と７行目はそれぞれ統一符号データをＭＩＤＩ規格に準拠して記述したものである。例えば、６行目の<StartTime>、<EndTime>はＭＩＤＩ規格ではデルタタイムという相対時刻で表現されている時刻を絶対時刻で記述しており、時刻「１０」から時刻「２０」まで発音されることを示している。また、７行目の<Pitch>はＭＩＤＩ規格のノートナンバーに対応しており、ノートナンバー「３２」に対応する音高で発音されることを示している。７行目の<Level>はＭＩＤＩ規格のベロシティに対応しており、ベロシティ「６０」に対応する音の強さで発音されることを示している。
【００４６】
作成された構造化文書がＸＭＬ形式である場合は、インターネット・ブラウザで閲覧できると共に、専用プレイヤーソフトウェアとＭＩＤＩ音源を用いて心音を音響信号として再生することができる。具体的には、作成された構造化文書をＷＷＷサーバに登録しておき、ユーザは自分のパソコンでブラウザを起動してインターネットでＷＷＷサーバにアクセスし、ＸＭＬ文書を得る。次に、ブラウザにプラグインされているＭＩＤＩシーケンサソフトが、ＸＭＬ文書に記録されているＭＩＤＩデータに従ってＭＩＤＩ音源を制御しながら、音響信号の再生を行なう。このように心音を符号化してＸＭＬ形式で記録することは、インターネットを介して流通するのに便利であったり、ＭＩＤＩ音源を用いて再生するのに適しているだけでなく、近年ＸＭＬ形式を用いて電子カルテとして電子化が行なわれているカルテ情報との整合性の観点から見ても有効なものである。
【００４７】
心音の属性が付与されたＭＩＤＩデータを電子カルテとして保存すると、ＭＩＤＩ音源で心音を再生できるという前述の効果以外に、以下で述べるように文書から診断に必要な定量的病態を読み取ることができるという効果がある。例えば、I音とII音などには亢進、減弱、分裂という病態があるが、これらの病態は属性で囲まれたＭＩＤＩイベントデータの数値から判断できる。すなわち、<Level>タグで囲まれたベロシティ（強さ）または<Pitch>タグで囲まれたノートナンバー（高さ）が所定値より高ければ亢進であり、所定値より低ければ減弱である。そして、図１２のI音およびII音の例では時間軸上近接する２つのイベント（三角形で表現された音符）で構成されているが、これらが時間的に離れれば分裂と判断できる。すなわち前のイベントの<EndTime>タグの値と後のイベントの<StartTime>タグの値との差が所定値以上であれば分裂と判断できる。また心雑音の臨床診断でしばしばレビン（Levine）の分類（クラス１〜６まであり、１は聴診では聴取が困難で心音図でないと判別できない程度の弱い雑音で、６は聴診器をあてなくても側にいるだけで聞こえる強い雑音）が用いられるが、これも<Level>タグで囲まれたベロシティ（強さ）から判別できる。
【００４８】
次に上述した本発明に係る時系列信号の解析方法を実現するための装置について説明する。図１３は、時系列信号解析装置の一実施形態を示す機能ブロック図である。図１３において、１は時系列信号取得手段、２は周波数解析手段、３はブロック音素作成手段、４は基本周期算出手段、５はブロック音素分類手段、６は属性情報付与手段、７は属性データベース、８は詳細属性データベース、９は出力手段、１０は構造化文書作成手段である。図１３に示す時系列信号解析装置は現実にはコンピュータにオーディオ関係の周辺機器を接続し、専用のプログラムを搭載することにより実現される。
【００４９】
時系列信号取得手段１は、時系列信号を取得するためのものであり、心音信号を取得する場合には、聴診器にマイクを取り付け、取得した心音をＰＣＭ等のデジタル信号に変換するサンプリング機器により実現される。周波数解析手段２は取得された時系列信号の周波数解析を行なって音素データを作成する機能を有し、具体的には、図２のステップＳ１の処理をコンピュータプログラムにしたがって実行する。ブロック音素作成手段３は、周波数解析手段２により得られる音素データを基にブロック音素を作成する機能を有し、具体的には、図２のステップＳ２の処理をコンピュータプログラムにしたがって実行する。基本周期算出手段４は、時系列信号の自己相関解析を行って基本周期を算出する機能を有し、具体的には、図２のステップＳ３の処理をコンピュータプログラムにしたがって実行する。ブロック音素分類手段５は、ブロック音素作成手段３により作成されたブロック音素と、基本周期算出手段４により算出された基本周期を基にブロック音素を複数のグループに分類する機能を有し、具体的には、図２のステップＳ４の処理をコンピュータプログラムにしたがって実行する。属性情報付与手段６は、あらかじめ設定されたルールにしたがって、ブロック音素が分類された各チャンネルに対して心音の属性情報を付与すると共に、ブロック音素を作成する基になった音素データの配列パターンに基づいて、詳細属性データベース８から抽出した詳細属性情報をさらに付与する機能を有する。具体的には、図２のステップＳ５の処理をコンピュータプログラムにしたがって実行することになる。属性データベース７は、第I音、第II音、その他を分類するために、音素データの配列パターンと各心音属性の対応を記録したデータベースであり、詳細属性データベース８は、第I音、第II音をさらに詳細に特定するため、第I音については、僧帽弁成分・三尖弁成分・大動脈弁成分のそれぞれと対応する音素データの配列パターンを記録し、第II音については、大動脈弁成分・肺動脈弁成分のそれぞれと対応する音素データの配列パターンを記録しており、さらに「その他」と分類された心音を、第III音、第IV音（またはIIIとIVの重合音）、心雑音（収縮期か拡張期かまたは連続性か、逆流性か駆動性かといったサブ分類も定義されている）、クリック音、摩擦音に対応するものに特定するための音素データの各配列パターンを記録している。出力手段９は分類されたブロック音素を表示・印刷する機能を有する。ここで、出力されたブロック音素は、上記図２のステップＳ５において、心音属性を自動付与するのではなく、医療関係者が心音属性を付与するのに役立つ。チャンネルごとに分類されたブロック音素を見ることにより、基本周期を考慮した心音属性の付与が可能となる。具体的に出力手段９は、ＣＲＴ、液晶等のディスプレイ装置、モノクロまたはカラーの各種印刷方式のプリンタ装置で実現される。構造化文書作成手段１０は、心音の属性情報が付与されたブロック音素をＸＭＬ規格等のテキスト情報に変換する機能を有しており、具体的には、図２のステップＳ６の処理をコンピュータプログラムにしたがって実行する。
【００５０】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず種々の変形が可能である。上記実施形態では、時系列信号として心音を解析する場合について説明したが、呼吸音などその他生体音響信号、心電図など非音響の生体時系列信号の解析にも適用でき、その他の分野では、例えばエンジン音などの音響信号を時系列信号として解析し、自動車のエンジンの故障診断などに適用することも可能である。
【００５１】
【発明の効果】
以上、説明したように本発明によれば、与えられた時系列信号に対して設定された所定の単位区間ごとに時系列信号に対して周波数解析を行うことにより、各単位区間に対して周波数および強度の組で構成される複数の音素データを作成し、作成された前記複数の音素データのうち、所定の強度を満たすものを抽出し、抽出された複数の音素データの開始時刻・終了時刻・周波数の類似性を基に、開始時刻・終了時刻・周波数・強度のパラメータで構成されるブロック音素を作成し、時系列信号に対して自己相関解析を行なうことにより、この時系列信号の基本周期を算出し、複数のブロック音素の中で周波数が類似しており、かつ開始時刻の差が、算出した基本周期の整数倍に近いものを、同一のグループになるように分類し、分類されたグループ単位で、心音波形を各ブロックの特性と周期を含めて心音属性と対応付けて登録した知識データベースを利用することにより、心音属性の付与までを自動的に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の時系列信号解析装置における信号解析の基本原理を示す図である。
【図２】本発明による時系列信号の解析の概略を示すフローチャートである。
【図３】時系列信号として取り込んだ心音波形の一例を示す図である。
【図４】図２のステップＳ１の詳細を示すフローチャートである。
【図５】音響信号における単位区間の設定および周期・振幅の決定を説明するための図である。
【図６】図３に示した心音波形から周波数解析により生成された音素データを示す図である。
【図７】図６に示した音素データを基に算出されたブロック音素を示す図である。
【図８】入力音響信号ｇ（ｔ）と周期Ｔn分ずらした音響信号ｇ（ｔ＋Ｔn）の関係を示す図である。
【図９】図７に示したブロック音素を、基本周期に基づいて分類した状態を示す図である。
【図１０】図９に示した各ブロック音素に対して属性情報を付与した状態を示す図である。
【図１１】図１０に示した各ブロック音素に対してさらに詳細な属性情報を付与した状態を示す図である。
【図１２】構造化文書としてＸＭＬ規格を採用した場合のソースコードを示す図である。
【図１３】本発明による時系列信号解析装置の一実施形態を示す機能ブロック図である。
【符号の説明】
１・・・時系列信号取得手段
２・・・周波数解析手段
３・・・ブロック音素作成手段
４・・・基本周期算出手段
５・・・ブロック音素分類手段
６・・・属性情報付与手段
７・・・属性データベース
８・・・詳細属性データベース
９・・・出力手段
１０・・・構造化文書作成手段
【図１】
0004968421.tif 000002
【図２】
0004968421.tif 000003
【図３】
0004968421.tif 000004
【図４】
0004968421.tif 000005
【図５】
0004968421.tif 000006
【図６】
0004968421.tif 000007
【図７】
0004968421.tif 000008
【図８】
0004968421.tif 000009
【図９】
0004968421.tif 000010
【図１０】
0004968421.tif 000011
【図１１】
0004968421.tif 000012
【図１２】
0004968421.tif 000013
【図１３】
0004968421.tif 000014