(57)【要約】【課題】  乳幼児の泣き声から乳幼児の啼泣原因をより精度良く把握することを可能にする。【解決手段】  入力された音声信号を周波数解析して音声信号の周波数スペクトルを求め、求めた周波数スペクトルを複数の周波数帯に分割したときの隣接する周波数帯間での変化の度合いｑ１，ｑ２，ｑ３，ｑ４が予め定めたしきい値よりも大きい場合には、啼泣原因が「眠い」であると推定し、隣接する周波数単位での変化の度合いが予め定めたしきい値よりも小さい場合には、啼泣原因が「空腹」であると推定する。【選択図】  図８
2006084630.tif 000002
【特許請求の範囲】
【請求項１】
乳幼児の音声信号を入力する入力手段と、
前記入力された音声信号を周波数解析して前記音声信号の周波数スペクトルを求める音声解析手段と、
前記周波数スペクトルを複数の周波数帯に分割したときの隣接する周波数帯間での変化の度合いが予め定めたしきい値よりも大きい場合には、啼泣原因が「眠い」であると推定し、前記隣接する周波数単位での変化の度合いが予め定めたしきい値よりも小さい場合には、啼泣原因が「空腹」であると推定する啼泣原因推定手段と、
この啼泣原因推定手段で推定された啼泣原因を表示する表示手段と
を備えたことを特徴とする乳幼児の音声解析システム。
【請求項２】
前記啼泣原因推定手段は、解析の対象となる乳幼児の月齢毎の異なる複数の推定ルールを備え、推定ルール毎に、推定に使用される周波数帯としきい値が特定されている
ことを特徴とする請求項１記載の音声解析システム。
【請求項３】
前記啼泣原因推定手段は、解析の対象となる乳幼児の年齢が３〜４ヶ月の場合には、前記周波数スペクトルにおける９ｋＨｚ付近を中心としたその両側の周波数単位間での変化の度合いが前記所定のしきい値を超えるか超えないかで啼泣原因が「眠い」であるか「空腹」であるかを推定するものであることを特徴とする請求項１記載の乳幼児の音声解析システム。
【請求項４】
前記啼泣原因推定手段は、解析の対象となる乳幼児の年齢が５〜１２ヶ月の場合には、前記周波数スペクトルにおける３ｋＨｚ付近を中心としたその両側の周波数単位間での変化の度合いが前記所定のしきい値を超えるか超えないかで啼泣原因が「眠い」であるか「空腹」であるかを推定するものであることを特徴とする請求項１記載の乳幼児の音声解析システム。
【請求項５】
前記啼泣原因推定手段は、前記周波数帯の変化の度合いによる啼泣原因の推定処理に先立って、前記音声信号の周波数スペクトルの各帯域の周期性の有無を検出し、音声信号の周波数スペクトルが低周波帯から高周波帯まで連続的に周期性を有する場合、啼泣原因が「空腹」であると推定する
ことを特徴とする請求項１記載の乳幼児の音声解析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、乳幼児の泣き声を解析して乳幼児の心理状態を推定し、それを表示する乳幼児の音声解析システムに関し、特に「眠い」と「空腹」の推定精度を向上させた乳幼児の音声解析システムに関する。
【背景技術】
【０００２】
乳幼児の泣き声から乳幼児の啼泣原因を把握する音声解析システムとして、従来、特許文献１に開示されたものが知られている。このシステムは、乳幼児の一呼吸分の音声信号を周波数解析して、音声信号の周波数スペクトルに基づく特徴量を算出し、この算出された特徴量に基づいて乳幼児の啼泣原因を推定するもので、音声信号の周波数スペクトルの各帯域の周期性の有無及び周期性のある周波数帯域に基づいて前記啼泣原因を推定している。より具体的には、例えば啼泣原因推定手段は、音声信号の周波数スペクトルが低周波帯から高周波帯まで連続的に周期性を有する場合、啼泣原因が「空腹」であると推定し、音声信号の周波数スペクトルが低い周波数帯で連続的に周期性を有する場合、啼泣原因が「眠い」であると推定し、音声信号の周波数スペクトルが周期性を有さず、又はその周期が時間的に変化する場合、啼泣原因が「痛い」であると推定する。
【特許文献１】特開２００２−２７８５５８２    段落００１３〜００１８、図１、図４
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の啼泣原因の推定方法では、乳幼児の一呼吸分の泣き声の周波数スペクトルを時間軸方向に並べて二次元空間に表示したときに現れる横縞状のパターンがどの程度高い周波数帯まで検出できるかによって、「空腹」か「眠い」かを判別するようにしている。
【０００４】
しかしながら、泣き声データによっては、上述した縞成分が不明瞭な場合が多く、空腹時でも高い周波数帯で縞成分の検出が困難な場合があった。
【０００５】
この発明は、このような点に鑑みなされたもので、乳幼児の泣き声から乳幼児の啼泣原因をより精度良く把握することを可能にする乳幼児の音声解析システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る乳幼児の音声解析システムは、乳幼児の音声信号を入力する入力手段と、前記入力された音声信号を周波数解析して前記音声信号の周波数スペクトルを求める音声解析手段と、前記周波数スペクトルを複数の周波数帯に分割したときの隣接する周波数帯間での変化の度合いが予め定めたしきい値よりも大きい場合には、啼泣原因が「眠い」であると推定し、前記隣接する周波数単位での変化の度合いが予め定めたしきい値よりも小さい場合には、啼泣原因が「空腹」であると推定する啼泣原因推定手段と、この啼泣原因推定手段で推定された啼泣原因を表示する表示手段とを備えたことを特徴とする。
【０００７】
前記啼泣原因推定手段は、好ましくは、解析の対象となる乳幼児の月齢毎の異なる複数の推定ルールを備え、推定ルール毎に、推定に使用される周波数帯としきい値が特定されている。
【０００８】
例えば前記啼泣原因推定手段は、解析の対象となる乳幼児の年齢が３〜４ヶ月の場合には、前記周波数スペクトルにおける９ｋＨｚ付近を中心としたその両側の周波数単位間での変化の度合いに着目し、解析の対象となる乳幼児の年齢が５〜１２ヶ月の場合には、前記周波数スペクトルにおける３ｋＨｚ付近を中心としたその両側の周波数単位間での変化の度合いに着目する。そして、着目した変化の度合いが前記所定のしきい値を超えるか超えないかで啼泣原因が「眠い」であるか「空腹」であるかを推定する。
【０００９】
また、前記啼泣原因推定手段は、望ましくは前記周波数帯の変化の度合いによる啼泣原因の推定処理に先立って、前記音声信号の周波数スペクトルの各帯域の周期性の有無を検出し、音声信号の周波数スペクトルが低周波帯から高周波帯まで連続的に周期性を有する場合、啼泣原因が「空腹」であると推定するものである。
【発明の効果】
【００１０】
本発明によれば、乳幼児の音声信号の周波数スペクトルを複数の周波数帯に分割したときの隣接する周波数帯間での変化の度合いが、予め定めたしきい値よりも大きい場合には、啼泣原因が「眠い」であると推定し、隣接する周波数単位での変化の度合いが予め定めたしきい値よりも小さい場合には、啼泣原因が「空腹」であると推定しているので、周波数スペクトルの周期性に基づく縞成分を検出できない場合でも、「空腹」と「眠い」を識別することができ、乳幼児の啼泣原因をより精度良く推定することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。図１は、本発明の一実施例に係る乳幼児の音声解析システムの構成を示す機能ブロック図である。
【００１２】
このシステムは、乳幼児の泣き声を音声信号として取り込むマイク１と、このマイク１で取り込んだ音声信号を所定のサンプリング周波数でサンプリングしてアナログ／ディジタル変換するＡ／Ｄ変換器２と、このＡ／Ｄ変換器２でサンプリングされた音声信号を解析して周波数スペクトルに基づく特徴量を算出する音声解析部３と、この音声解析部３で求められた音声信号の特徴量に基づいて啼泣原因を推定する啼泣原因推定部４と、この啼泣原因推定部４での推定結果を表示する推定結果表示部５とを備えて構成されている。
【００１３】
なお、このシステムは、ソフトウェア、ハードウェア又はその両方により実現されるもので、システムの設置場所に応じて、種々の形態を取りうる。例えば、（１）マイク１を乳幼児の近傍に設置し、そこで音声を採取して、他の場所に置かれた音声解析部３、啼泣原因推定部４及び推定結果表示部５に有線又は無線で音声信号を送り、他の場所で解析、推定及び表示を行う形態、（２）全体が乳幼児の近傍に設置される形態、（３）音声信号の採取、解析及び推定を乳幼児の近傍で行い、推定結果を他の場所に設置された推定結果表示部５に推定結果を表示する形態等が考えられるが、特にこれらの形態には限られない。
【００１４】
次に、具体的解析・推定の手法として、周波数解析により、空腹、眠い、痛いという三種類の状態を分類する方式の例について説明する。
【００１５】
まず、乳幼児の泣き声をマイク１から取り込み、Ａ／Ｄ変換器２でディジタル化する。この際、サンプリング周波数は、１５ｋＨｚ以上の周波数成分を見るため、折り返し雑音が入らないように３０ｋＨｚ以上、好ましくは４０ｋＨｚ以上（例えば４４．１ｋＨｚ等）と高めに設定することが望ましい。
【００１６】
得られたディジタルデータを音声解析部３に供給する。音声解析部３は、啼泣原因推定部４と共に、パソコン、マイクロプロセッサ、ＤＳＰ等の信号処理装置によって実現することができ、その機能として一呼吸切出し部３１と周波数解析・特徴量算出部３２とを含む。まず、一呼吸分の音声信号が切り出される。即ち、図２に示すように、乳幼児の泣き声は乳幼児の呼吸と連動して断続的に発生し、一呼吸分の有音部と無音部とが繰り返される信号となるので、一呼吸分切り出し部３１は、ある程度の音圧レベルが連続する区間を一呼吸分の信号としてその区間毎に音声信号を切り出す。
【００１７】
次に、周波数解析・特徴量算出部３２は、図３に示すように、切り出された区間の音声信号からＮ箇所の小区間を所定の間隔で取り出して、これら小区間について、それぞれフーリエ変換を施して各小区間毎の周波数スペクトル（パワースペクトル）を求めると共に、その特徴量を算出する。なお、フーリエ変換方式としてはＦＦＴ（高速フーリエ変換）が一般的であるので、以下、これを使って説明するが、他の方式を用いても良いことはいうまでもない。
【００１８】
図４は、各時刻（Ｎ箇所）における周波数スペクトル（パワースペクトル）とこれを連続的に求めて、横軸に時間、縦軸に周波数をとって表示したサウンドスペクトグラムとを示す図である。乳幼児の啼泣原因としては、空腹、眠い、痛い、寂しい、怖い、不快等が挙げられるが、このうちここでは、空腹及び眠いに関して泣き声のサウンドスペクトグラムを求めると、次のようになる。
【００１９】
（１）空腹時：一呼吸分の泣き声を切り出して、この切り出し区間内のＮ箇所の小区間に対してそれぞれ周波数スペクトルを求めると、得られるＮ個の周波数スペクトル（パワースペクトル）は、図４（ａ）のように、低い周波数から高い周波数まで周期的にピークが現れるほぼ同一の周期波形となる。従って、一呼吸分の泣き声に対し、サウンドスペクトグラムを求めると、横縞が低い周波数から高い周波数まで連続的に現れる。本発明者等の実験によると、空腹時の泣き声のサウンドスペクトグラムには、（ａ）１５ｋＨｚ以上で横縞が検出される場合、（ｂ）１１ｋＨｚ以上で横縞が明瞭に検出される場合、（ｃ）１１ｋＨｚ以上で横縞が僅かに検出され、且つ６〜１０ｋＨｚまで連続して横縞が存在している場合がある。
【００２０】
（２）眠いとき：一呼吸分の泣き声を切り出して、この切り出し区間内のＮ箇所の小区間に対してそれぞれ周波数スペクトルを求めると、得られるＮ個の周波数スペクトル（パワースペクトル）は、図４（ｂ）のように、低い周波数帯（０〜６ｋＨｚくらい）でのみ周期的にピークが現れるほぼ同一の周期波形となる。従って、一呼吸分の泣き声のサウンドスペクトグラムでは、横縞が現れるが、これが低い周波数帯（０〜６ｋＨｚくらい）までしか現れない。
【００２１】
なお、以上は、泣き声のサウンドスペクトグラムに現れる横縞から「空腹」及び「眠いとき」を識別するようにしているが、泣き声のデータの中には、縞成分が不明瞭なデータも多い。そこで、このシステムでは、縞成分の検出ができない場合でも、もう一つの推定方法を併用することによって、「空腹」と「眠いとき」の識別精度を向上させる。具体的には、周波数スペクトルの大きさの変化の仕方（急激な減少があるかどうか）に着目する。
【００２２】
すなわち、図５に示すように、周波数スペクトルを周波数軸方向に複数の周波数帯に分割する。ここでは、３ｋＨｚ毎に分割し、０〜３ｋＨｚ、３〜６ｋＨｚ、６〜９ｋＨｚ、９〜１２ｋＨｚ、１２ｋＨｚ〜をそれぞれ周波数帯Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５としている。いま、周波数帯Ｆｉのスペクトル│Ｘ（ｆ）│の積分値をＳｉとすると、ｑｉを次のように定義する。
【００２３】
［数１］
ｑｉ＝Ｓｉ／Ｓｉ＋１
このｑｉは、隣接する周波数帯Ｆｉ、Ｆｉ＋１の変化の度合いを示した特徴量である。
【００２４】
図６は、月齢が３〜４ヶ月の乳幼児の空腹時及び眠いときの隣接周波数帯の変化の度合いｑ１，ｑ２，ｑ３，ｑ４を示し、図７は、月齢が５〜１２ヶ月の乳幼児の空腹時及び眠いときの隣接周波数帯の変化の度合いｑ１，ｑ２，ｑ３，ｑ４を示している。これらの図から明らかなように、３〜４ヶ月の乳幼児については、ｑ３が空腹時に５．９、眠いときに８．４と高い数値を示し、ｑ１，ｑ２，ｑ４については、２．１〜２．９と低い数値を示していた。これは、９ｋＨｚを中心に周波数スペクトルの値が急激に低下していることを示し、眠いときは空腹時よりもより低下の程度が大きいことを示している。この傾向は、月齢によって異なり、５〜１２ヶ月の乳幼児については、ｑ１が空腹時に６．５、眠いときに８．９と高い数値を示し、ｑ２，ｑ３，ｑ４については、２．４〜３．８と低い数値を示していた。これは、３ｋＨｚを中心に周波数スペクトルの値が急激に低下していることを示し、眠いときは空腹時よりもより低下の程度が大きいことを示している。
【００２５】
以上のことから、月齢３〜４ヶ月の乳幼児については、例えばｑ３，ｑ４について、また、月齢５〜１２ヶ月の乳幼児については、ｑ１，ｑ２について、それぞれの空腹時の数値と眠いときの数値の間の数値をしきい値Ｔ１，Ｔ２としてそれぞれ設定すれば、「空腹」状態と「眠い」状態とを識別することができる。
【００２６】
なお、図６及び図７の数値は、あくまで平均値であり、実際のサンプルでは、ある程度のバラツキが観測された。上述した横縞パターンの検出との併用を考慮すれば、実際には横縞パターンによる検出が不能であったサンプルについて隣接周波数帯の変化の度合いを考慮すればよく、本発明者等の行った実験では、５〜１２ヶ月の乳幼児については、Ｔ１＝６、Ｔ２＝３に設定した場合が最も検出精度が高かった。
【００２７】
また、「空腹」時の泣き声サウンドスペクトルと、「眠い」ときの泣き声サウンドスペクトルのもう一つ異なる点は、低周波領域の振幅である。すなわち、空腹時の音量は、眠いときの音量よりも大きいことが多い。従って、この点についても予備的な判断要素とする。
【００２８】
以上の点を踏まえ、周波数解析・特徴量算出部３２では、特徴量として、以下のようなものを算出する。
ａ）Ｎ箇所のＦＦＴで得られるＮ個のパワースペクトル値。
ｂ）Ｎ個のパワースペクトルの各周波数帯における分散値。
ｃ）各パワースペクトルについて各周波数帯域毎に求めたケプストラム。
ｄ）パワースペクトルで周期性が検出されたものに対する各ピークの箇所。
【００２９】
次に、啼泣原因推定部４では、音声解析部３で算出された特徴量から乳幼児の啼泣原因を推定する。即ち、空腹、眠いの二種類に対し、上述した特徴を考慮したルールを作り、それに基づいて啼泣原因の推定を行う。
【００３０】
図８は、５〜１２ヶ月の乳幼児の泣き声分析に使用される推定処理のフローチャートである。
【００３１】
まず、泣き声のサウンドスペクトグラムに現れる横縞パターンを検出する。すなわち、１５ｋＨｚ以上で横縞が検出される場合（Ｓ１）、１１ｋＨｚ以上で横縞が明瞭に検出される場合（Ｓ２）、１１ｋＨｚ以上で横縞が僅かに検出され、且つ６〜１０ｋＨｚまで連続して横縞が存在している場合（Ｓ３）には、推定結果を「空腹」とする。また、ステップＳ１〜Ｓ３がいずれもＮＯである場合には、隣接周波数帯の変化の度合いｑ１，ｑ２がそれぞれしきい値Ｔ１，Ｔ２より小さいかどうか、更に低周波数帯Ｆ１のレベルが、しきい値Ｔ３より大きいかどうかを調べ（Ｓ４）、これらを全て満足する場合には、推定結果を「空腹」とする。またステップＳ４のいずれか１つの条件を満足しない場合には、推定結果を「眠い」とする。
【００３２】
なお、以上は月齢５〜１２ヶ月の乳幼児の泣き声の推定ルールであり、月齢の異なる乳幼児に対する推定ルールは、月齢毎に別途用意しておく必要がある。
【００３３】
そして、これらの推定結果は、推定結果表示部５において文字、画像、光、音声等で表示される。これにより、特に乳幼児から離れた位置で表示部５をモニタしている育児担当者に対して、その啼泣の事実及びその原因の両方を報知することができるので、極めて効果的な育児支援を行うことができる。
【００３４】
なお、以上の実施形態では「空腹」と「眠い」について説明したが、「痛み」及び「甘え」についても、同様の基準により識別可能である。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係る乳幼児の音声解析システムのブロック図である。
【図２】同システムに入力される乳幼児の啼泣時の音声信号及びその切り出し方法を示す波形図である。
【図３】同システムにおける連続するＦＦＴを説明するための図である。
【図４】同システムで観測される啼泣原因別のパワースペクトルとサウンドスペクトグラムを示すグラフである。
【図５】泣き声音声信号の周波数スペクトラムを示すグラフである。
【図６】同周波数スペクトラムの隣接周波数帯の変化の度合いを周波数毎、啼泣原因毎に示した表である。
【図７】同周波数スペクトラムの隣接周波数帯の変化の度合いを周波数毎、啼泣原因毎に示した表である。
【図８】同システムにおける啼泣原因推定部の処理を示すフローチャートである。
【符号の説明】
【００３６】
１…マイク、２…Ａ／Ｄ変換器、３…音声解析部、４…啼泣原因推定部、５…推定結果表示部、３１…一呼吸分切出し部、３２…周波数解析・特徴量算出部。
【図１】
2006084630.tif 000003
【図２】
2006084630.tif 000004
【図３】
2006084630.tif 000005
【図４】
2006084630.tif 000006
【図５】
2006084630.tif 000007
【図６】
2006084630.tif 000008
【図７】
2006084630.tif 000009
【図８】
2006084630.tif 000010