(57)【要約】  手順１で対象乳児の泣き声を取得し、これを、音響特徴分析によって、音響特徴パラメータの時系列データへと変換し（手順２）、前記時系列データと、予めデータベース（Ｘ）に保持した情動音響モデルと、予めデータベース（Ｙ）に保持したセグメント生起情報とから、最も高い総合類似度を与える情動を求め、それを対象乳児の情動であると判定する（手順３）。データベース（Ｘ）の情動音響モデルは、所定の情動下にある乳児の泣き声を、音響特徴分析し音響特徴パラメータの時系列データとし、情動毎に音響特徴パラメータの出現分布学習処理を施して得る（手順Ｘ１〜Ｘ３）。データベース（Ｙ）のセグメント生起情報は、所定の情動下にある乳児の泣き声を、音響的特徴によって複数の音響特徴セグメントに分割しラベリングして音響特徴セグメント系列データとし、これを情動毎に生起順序の学習処理を施して形成する（手順Ｙ１、Ｙ２）。本発明によって、乳児が発する声に基いてその乳児の情動をより精度よく判定できる方法、および、それを実施するための装置とコンピュータプログラムが提供される。
2007102505.tif 000002
【特許請求の範囲】
【請求項１】
（Ａ）下記のデータベース（Ｘ）とデータベース（Ｙ）とを用意するステップと、
（Ｂ）情動を判定すべき対象乳児の泣き声を、音響特徴分析によって、音響特徴パラメータの時系列データへと変換するステップと、
（Ｃ）前記（Ｂ）のステップで得られた音響特徴パラメータの時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記音響特徴パラメータの時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせた総合類似度を求め、該総合類似度の中から最も高い総合類似度を与える情動を、対象乳児の情動であると判定するステップと、
を有することを特徴とする、乳児の情動を判定する方法。
データベース（Ｘ）：情動ごとのかつ音響特徴セグメントごとの情動音響モデルからなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを、音響特徴分析によって音響特徴パラメータの時系列データに変換し、これを、下記データベース（Ｙ）の生成プロセスにおいて付与される音響特徴セグメントのラベルを参照しながら、情動ごとにかつ音響特徴セグメントごとに音響特徴パラメータの出現分布学習処理を施し、情動音響モデルとすることによって形成された、データベース。
データベース（Ｙ）：情動ごとのセグメント生起情報からなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを音響的特徴によって複数の音響特徴セグメントに分割して各セグメントにラベルを付与し、音響特徴セグメント系列データとし、これを情動ごとに生起順序の学習処理を施し、セグメント生起情報とすることによって形成された、データベース。
【請求項２】
判定すべき情動が、「甘え」、「怒り」、「悲しみ」、「恐れ」、「驚き」、「空腹」、「眠い」、「排便／排尿」、「不快」、および「痛み」から選ばれる１種類以上の情動である、請求項１記載の方法。
【請求項３】
前記データベース（Ｘ）における音響特徴パラメータの出現分布学習処理を、最尤推定法、隠れマルコフモデルの学習法、ニューラルネットを用いた推定法、または、識別学習による推定法によって行なうものである、請求項１記載の方法。
【請求項４】
前記データベース（Ｙ）における、情動ごとの生起順序の学習処理を、ｎ−ｇｒａｍによって行なうものである、請求項１記載の方法。
【請求項５】
下記データベース（Ｘ）が格納された第一の記憶装置と、
下記データベース（Ｙ）が格納された第二の記憶装置と、
情動を判定すべき対象乳児の泣き声を入力データとして受け入れ、音響特徴分析によって、入力データを音響特徴パラメータの時系列データへと変換する音響特徴分析部と、
前記音響特徴分析部で形成された時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を対象乳児の情動であると判定する演算部と、
を有することを特徴とする、乳児の情動を判定する装置。
データベース（Ｘ）：情動ごとのかつ音響特徴セグメントごとの情動音響モデルからなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを、音響特徴分析によって音響特徴パラメータの時系列データに変換し、これを、下記データベース（Ｙ）の生成プロセスにおいて付与される音響特徴セグメントのラベルを参照しながら、情動ごとにかつ音響特徴セグメントごとに音響特徴パラメータの出現分布学習処理を施し、情動音響モデルとすることによって形成された、データベース。
データベース（Ｙ）：情動ごとのセグメント生起情報からなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを音響的特徴によって複数の音響特徴セグメントに分割して各セグメントにラベルを付与し、音響特徴セグメント系列データとし、これを情動ごとに生起順序の学習処理を施し、セグメント生起情報とすることによって形成された、データベース。
【請求項６】
少なくとも前記演算部がコンピュータであって、
第一の記憶装置と第二の記憶装置が、該コンピュータに接続された別個の記憶装置であるか、または、該コンピュータに接続された１つの記憶装置内に確保された２つの記憶領域である、請求項５記載の装置。
【請求項７】
さらに、データ変換部が前記コンピュータに含まれている、請求項６記載の装置。
【請求項８】
乳児の情動を判定するために、コンピュータを、
（ａ）情動を判定すべき対象乳児の泣き声を入力データとして受け入れ、音響特徴分析によって、該入力データを音響特徴パラメータの時系列データへと変換する音響特徴分析手段、
（ｂ）前記時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を、対象乳児の情動であると判定する情動判定手段、
として機能させるためのプログラム。
データベース（Ｘ）：情動ごとのかつ音響特徴セグメントごとの情動音響モデルからなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを、音響特徴分析によって音響特徴パラメータの時系列データに変換し、これを、下記データベース（Ｙ）の生成プロセスにおいて付与される音響特徴セグメントのラベルを参照しながら、情動ごとにかつ音響特徴セグメントごとに音響特徴パラメータの出現分布学習処理を施し、情動音響モデルとすることによって形成された、データベース。
データベース（Ｙ）：情動ごとのセグメント生起情報からなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを音響的特徴によって複数の音響特徴セグメントに分割して各セグメントにラベルを付与し、音響特徴セグメント系列データとし、これを情動ごとに生起順序の学習処理を施し、セグメント生起情報とすることによって形成された、データベース。
【請求項９】
判定すべき情動が、「甘え」、「怒り」、「悲しみ」、「恐れ」、「驚き」、「空腹」、「眠い」、「排便／排尿」、「不快」、および「痛み」から選ばれる１種類以上の情動である、請求項８記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乳児の発した声に基いて、その乳児の情動を判定する方法、該方法を実施するための装置、および該方法をコンピュータで実行させるためのプログラムに関する。
【背景技術】
【０００２】
乳児が発する泣き声から、その乳児が泣いている原因を判定し、痛い、空腹であるなどを表示する簡単な装置が知られている（例えば、特許文献１、２など）。そのような装置では、泣き声のパワー、スペクトル、基本周波数などの基本的な音響的特徴を、いくつかの情動に対応させるというような単純な判定手法が用いられている。
上記のような従来の判定手法は、泣き声のうちの一部（数秒以内の短い時間の声）のみを分析するという手法であり、あるいは、音響特徴パラメータのしきい値によって単純に識別するという手法であって、音声の局所的な音響特徴を判定に利用するものである。
このような判定手法の推定精度は低く、また識別できる情動の種類も少ない。即ち、乳児の泣き声からその情動を正確に判定（推定）する方法は未だ確立されていないのが現状である。
【特許文献１】特開２００２−２７８５８２号公報
【特許文献２】国際公開ＷＯ  ００／２１０４８  パンフレット
【非特許文献１】「音響・音声工学」（１９９２年、古井貞煕 著、近代科学社）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、乳児が発する声に基いてその乳児の情動をより精度よく判定できる方法、該方法を実施するための装置、および該方法をコンピュータに実施させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成すべく、本発明者等が乳児の泣き声をより詳細に検討したところ、乳児の情動の判定に有用な特徴は、例えば１０秒間〜３０秒間にわたるような泣き声全体に長く分散しており、乳児が泣いている原因が何であるかは、音声の局所的な特徴のみならず、泣き声全体に長く分散した特徴をも総合的に考慮すべきであることを知見し、本発明を完成させるに至った。【０００５】
即ち、本発明は、次の特徴を有するものである。
（１）（Ａ）下記のデータベース（Ｘ）とデータベース（Ｙ）とを用意するステップと、
（Ｂ）情動を判定すべき対象乳児の泣き声を、音響特徴分析によって、音響特徴パラメータの時系列データへと変換するステップと、
（Ｃ）前記（Ｂ）のステップで得られた音響特徴パラメータの時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記音響特徴パラメータの時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせた総合類似度を求め、該総合類似度の中から最も高い総合類似度を与える情動を、対象乳児の情動であると判定するステップと、
を有することを特徴とする、乳児の情動を判定する方法。
（２）判定すべき情動が、「甘え」、「怒り」、「悲しみ」、「恐れ」、「驚き」、「空腹」、「眠い」、「排便／排尿」、「不快」、および「痛み」から選ばれる１種類以上の情動である、上記（１）記載の方法。
（３）下記データベース（Ｘ）における音響特徴パラメータの出現分布学習処理を、最尤推定法、隠れマルコフモデルの学習法、ニューラルネットを用いた推定法、または、識別学習による推定法によって行なうものである、上記（１）記載の方法。
（４）下記データベース（Ｙ）における、情動ごとの生起順序の学習処理を、ｎ−ｇｒａｍによって行なうものである、上記（１）記載の方法。
（５）下記データベース（Ｘ）が格納された第一の記憶装置と、
下記データベース（Ｙ）が格納された第二の記憶装置と、
情動を判定すべき対象乳児の泣き声を入力データとして受け入れ、音響特徴分析によって、入力データを音響特徴パラメータの時系列データへと変換する音響特徴分析部と、
前記音響特徴分析部で形成された時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を対象乳児の情動であると判定する演算部と、
を有することを特徴とする、乳児の情動を判定する装置。
（６）少なくとも前記演算部がコンピュータであって、
第一の記憶装置と第二の記憶装置が、該コンピュータに接続された別個の記憶装置であるか、または、該コンピュータに接続された１つの記憶装置内に確保された２つの記憶領域である、上記（５）記載の装置。
（７）さらに、データ変換部が前記コンピュータに含まれている、上記（６）記載の装置。
（８）乳児の情動を判定するために、コンピュータを、
（ａ）情動を判定すべき対象乳児の泣き声を入力データとして受け入れ、音響特徴分析によって、該入力データを音響特徴パラメータの時系列データへと変換する音響特徴分析手段、
（ｂ）前記時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を、対象乳児の情動であると判定する情動判定手段、
として機能させるためのプログラム。
（９）判定すべき情動が、「甘え」、「怒り」、「悲しみ」、「恐れ」、「驚き」、「空腹」、「眠い」、「排便／排尿」、「不快」、および「痛み」から選ばれる１種類以上の情動である、上記（８）記載のプログラム。
データベース（Ｘ）：情動ごとのかつ音響特徴セグメントごとの情動音響モデルからなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを、音響特徴分析によって音響特徴パラメータの時系列データに変換し、これを、下記データベース（Ｙ）の生成プロセスにおいて付与される音響特徴セグメントのラベルを参照しながら、情動ごとにかつ音響特徴セグメントごとに音響特徴パラメータの出現分布学習処理を施し、情動音響モデルとすることによって形成された、データベース。
データベース（Ｙ）：情動ごとのセグメント生起情報からなるデータベースであって、所定の情動下にある乳児の泣き声を情動ごとに分類してなる泣き声データセットを用意し、該データセットの各泣き声データを音響的特徴によって複数の音響特徴セグメントに分割して各セグメントにラベルを付与し、音響特徴セグメント系列データとし、これを情動ごとに生起順序の学習処理を施し、セグメント生起情報とすることによって形成された、データベース。
【発明の効果】
【０００６】
従来の情動判定では、乳児の泣き声の局所的な音響的特徴だけに着目し判定根拠としていた。これに対して、本発明では、局所的な音響的特徴だけではなく、１０秒〜３０秒にもおよぶ長い時間にわたる泣き声全体（以下、単に「泣き声全体」という）にも着目し、音響特徴パラメータの時系列の類似度と、音響的特徴を持つ区間部分（音響特徴セグメント）の配列順序（生起順序）とを、判定根拠に加えている。
そのため本発明では、予め上記データベース（Ｘ）、（Ｙ）を構築しておく。そして、対象乳児の泣き声に対して、〔ある情動に関してどのような種類の音響特徴セグメントを用いて（データベース（Ｘ）に対応）、かつ、それらをどのような順番で並べれば（データベース（Ｙ）に対応）〕、その泣き声の音響的類似度と生起順序の類似度とを考慮した総合類似度が最も高くなるかを計算する。
その計算処理は、すべての情動に対して行なう。そして、〔どの情動が、総合類似度の最も高くなる音響セグメント系列を構成できるか〕という比較によって、情動を推定し、判定結果としている。
これによって、類似性を従来よりも正確に推定し得、精度良い情動の判定が可能となっている。
また、泣き声データを所望の識別したい情動に分離することにより、所望の任意の情動を検出できる。即ち、典型的な情動だけでなく、区別したい任意の情動をあらかじめ数種類定義しておき、データベース（Ｘ）、（Ｙ）として用意しておけば、それらの情動を識別することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明による方法の原理を説明するためのフロー図である。
【図２】本発明において、泣き声を音響特徴セグメントへと時分割した例を示す図であって、泣き声データと音響特徴セグメントとの関係を示している。
【図３】本発明による装置の構成例を模式的に示すブロック図である。
【図４】本発明によるプログラムの手順を示すプログラムフロー図である。
【発明を実施するための最良の形態】
【０００８】
先ず、本発明の方法を説明する。
当該方法は、上記（１）のとおり、少なくとも（Ａ）〜（Ｃ）のステップを有して構成される。
（Ａ）のステップでは、図１（ａ）に示すように、予め上記データベース（Ｘ）と、上記データベース（Ｙ）とを作成しておく。これらデータベース（Ｘ）、（Ｙ）は、本発明の装置でも、本発明のプログラムでも、同様に用いるものであって、情動判定時に参照し得るよう、アクセス可能に保持しておく。
次に（Ｂ）のステップとして、図１（ｂ）に示すように、対象乳児の泣き声を入力データとして得、これを音響特徴分析によって、音響特徴パラメータの時系列データに変換する。
さらに（Ｃ）のステップとして、前記の音響特徴パラメータの時系列データと、データベース（Ｘ）と（Ｙ）とを参照して、それぞれに類似度を計算し、かつ、総合類似度を計算し、最も高い総合類似度の音響特徴セグメント系列を与える情動を情動判定結果とする、というものである。【０００９】
〔データベース（Ｘ）の作成〕
データベース（Ｘ）は、「情動ごとのかつ音響特徴セグメントごとの情動音響モデル」が集められたデータ集であって、図１（ａ）に示すプロセスのうち、手順Ｘ１〜手順Ｘ３によって作成される。これら手順Ｘ１〜手順Ｘ３を次に説明する。
（手順Ｘ１）：所定の情動下にある乳児の泣き声（即ち、どのような情動下にあるのかがわかっている乳児の泣き声）が収録された泣き声データ（音声データ）からなるデータセットを用意する。この泣き声データセットに含まれる各泣き声データは、情動ごとに分類されている。
このデータセットは、データベース（Ｘ）、（Ｙ）を作成するための最も基礎となる情動別の音声データ集である。個々の泣き声データは、アナログのオーディオ信号として磁気テープに保存してもよいし、Ａ／Ｄ変換したデジタルデータとして保存してもよい。
各情動ごとの泣き声データの長さ（各情動ごとの音声収録時間）は、短い時間でもよいが、長い時間にわたる泣き声を取得した方がより情報が含まれるので判断は適切となる。
上記のとおり、データベースを作成するために取得すべき泣き声の長さは、特に限定はされないが、具体的な一例を挙げると、０．５秒〜１２０秒程度が挙げられ、特に、５秒〜６０秒程度が適当な範囲である。上限を過度に長時間とすると、情動が途中で変わる可能性がある。【００１０】
本発明でいう「泣き声」とは、乳児が発し得る全ての種類の声を意味する。
泣き声データを情動ごとに分類するに際しては、育児経験者（特に泣き声を発した乳児の母親）が、乳児の声だけでなく、どのような状況下で声を発したのかをも考慮して判断することが好ましい。
何種類の情動のデータベースを作成するかは、特に限定はされず、何種類の情動を判定するかに応じて決定すればよい。
情動としては、公知のものが挙げられるが、具体的には「甘え」、「怒り」、「悲しみ」、「恐れ」、「驚き」、「空腹」、「眠い」、「排便／排尿」、「不快」、および「痛み」などが例示され、本発明では、これらのなかから任意に選んだ１種類以上の情動を判定する。
例えば、本発明の方法は、専ら「痛み」かそうでないかだけを判定する方法であってもよく、また、育児上の有用性を考慮し、「空腹」、「排便／排尿」、「痛み」などの代表的な情動だけを選択してもよい。当該方法の判定能力の高さを鑑みれば、全ての情動を選択してもよく、さらにはより細分化した情動を加えることも可能である。【００１１】
（手順Ｘ２）：前記手順Ｘ１で用意された、情動ごとに分類された泣き声データセットの各泣き声データを、音響特徴分析によって、音響特徴パラメータの時系列データに変換する。
音響特徴分析とは、音響特徴パラメータを抽出するための分析である。該音響特徴パラメータとは、泣き声の音響的特徴を表すものであり、泣き声のパワー、スペクトル、基本周波数などの基本的な音響的特徴である。例えば、泣き声のスペクトルの包落に関するパラメータ、泣き声の音圧に関するパラメータ、その時間的変化を表すパラメータ、基本周波数などが挙げられる。
音響特徴分析の具体的な分析手法としては、音声スペクトルを分析する方法、ピッチ抽出法、線形予測分析などが挙げられる。これらの分析手法自体の詳細な技術や、その他の音声分析法については、公知技術を参照してもよい（例えば、上記非特許文献１）。
音響特徴パラメータの時系列データとは、音響特徴パラメータを、それが発生した時刻の古いものから新しいものへと、時間の経過順に配列したデータである。【００１２】
（手順Ｘ３）：上記手順Ｘ２で得た「音響特徴パラメータの時系列データ」を、後述の（Ｙ）のデータベースの生成プロセスにおける手順Ｙ１で付与される音響特徴セグメントのラベルを参照しながら、情動ごとにかつ音響特徴セグメントごとに、音響特徴パラメータの出現分布学習処理を施す。
この音響特徴パラメータの出現分布学習とは、各音響特徴パラメータの確率分布を求める処理である。具体的な出現分布の学習法の一例としては、最尤推定法、隠れマルコフモデルの学習法（ＨＭＭ法）、ニューラルネットを用いた推定、識別学習による推定法などが挙げられる。例えば、ＨＭＭ法であれば、出力確率と遷移確率などを最尤推定法で求める。また、識別学習では、各情動の境界を求める。これらの手法自体は公知の統計的手法を参照してよい（例えば上記非特許文献１の第１４章など）。
上記出現分布の学習の結果として、例えば、ＨＭＭ法であれば、特徴分布を表すガウス混合分布の平均分散などのデータが形成される。
このデータが、図１（ａ）に示す「情動ごとのかつ音響特徴セグメントごとの情動音響モデル」である。このデータ自体、またはこのデータを第一の記憶装置Ｍ１に格納した状態のものが、データベース（Ｘ）であり、当該方法、装置、プログラムにおける情動判定の際のデータベースとして活用される。【００１３】
〔データベース（Ｙ）の作成〕
データベース（Ｙ）は、「情動ごとのセグメント生起情報」が集められたデータ集であって、図１（ａ）に示すプロセスのうち、手順Ｙ１と手順Ｙ２とによって作成される。これら手順を次に説明する。
（手順Ｙ１）：
上記手順Ｘ１で用意された、情動ごとに分類された泣き声データセットの各泣き声データを、音響的特徴によって、複数の音響特徴セグメントに分割し、各セグメントにラベルを付与し、もとの１つの泣き声データを、音響特徴セグメント系列で記述し、音響特徴セグメント系列データとする。
ここで、音響的特徴とは、人間が音を弁別するときの特徴であって、この特徴により人間は言葉を使い分ける。この特徴は、例えば、パワー、音声スペクトルの形状、韻律情報などであって、空気の流れ、声道の形状、声帯の駆動、口の形（歯や舌、唇を含む）により決定されるものである。
音響特徴セグメントとは、前記音響的特徴が存在する時間的な区間であり、始端と終端がある。例えば、泣き声の場合、息を吸う時に出す音のセグメントや、吐くときに出す音のセグメントなどが挙げられる。これらのセグメントは、更に細かい音響的特徴を用いて、より細かいセグメントに分割することができる。
例えば、泣き声データ全体に、階層的なラベリングを行なってもよい。例えば、無音区間（ラベル名「sil」）と、有音区間（ラベル名「sou」）に区分し、さらに、前記有音区間の部分を、息継ぎ音（ラベル名「brs」）と、その他の泣き声部分（ラベル名「cry」）に分割し、さらに、前記泣き声部分を、クーイング音（ラベル名「cryk」）、．．．、喃語（ラベル名「cryn」）に分割するといった様にである。
ラベル付与において明確でない部分については、明確でないことを示すその他のラベルを付与すればよい。また、音響セグメントのラベルとは別に、雑音に関するラベルを付与してもよい。
当該データベースの形成プロセスでは、泣き声を、音響特徴セグメントに分割する作業（分割点を決定する作業）は、公知の分析装置を用いた機械的な分割であってもよいし、人が音の特徴を聞きながら判断して、または、音声波形やスペクトルの概形やその変化を見ながら、それに応じて、上記始端と終端をきめてもよい。
すべての泣き声データは、いずれかのセグメントに区分される。このセグメントへの分割は、従来公知の音声認識の技術分野でいう「ラベリング」の技術を参照してよい。
「音響特徴セグメント系列で記述する」とは、図２に示すように、泣き声の音声データ全体を、音声の音響的特徴に基づくセグメントを用いて被覆していくことである。音響モデルを作成するためには、セグメントのラベルとその位置（例えばラベルＡの始端と終端時間）を必要とする。図２に示す例では、セグメント系列の生起順序は、左から順に、Ａ、Ｂ、Ａ、Ｃ、Ｂのセグメントの順番を扱うこととなる。【００１４】
上記のとおり、音響特徴セグメントには、開始時刻と終了時刻とが記されている。
情動ｉ（０≦ｉ≦Ｉ、Ｉは情動の種類の数）の下で発声された泣き声の音響特徴セグメント系列を、データ列｛ｅi,1 ，ｅi,2 ，・・・・，ｅi,k ，・・・・ｅi,K ｝とすると、音響特徴セグメントｅi,k の終了時刻＋１が、音響特徴セグメントｅi,k+１の開始時刻となる。
前記データ列中のセグメントｅi,k の添え字ｋは、泣き声データ（音声データ）全体を、音響的特徴に基づくセグメントを用いて被覆した場合の、被覆に使用したセグメントの数である。また、Ｋは、そのセグメント数の最大値であって、１≦ｋ≦Ｋである。【００１５】
具体的な音響特徴セグメントの一例としては、息を吸う場合に出る呼気音、クーイング（「アーアー」、「ウーウー」といった声）に音響特徴が類似した声、喃語の混在する声、および、瞬時的に声帯の開閉を伴って発声される声などが挙げられる。
上記のように、音響特徴セグメントの種類は、多数存在する。図２の例では、音響特徴セグメントの種類は、Ａ、Ｂ、Ｃの３種類であって、それぞれ情動ごとに異なるセグメント記号で記述される。
前記「情動ごとに異なるセグメント記号」とは、例えば、怒りのクーイング、怒りの喉音、甘えのクーイング、甘えの喉音など、同じクーイングでも、セグメントのラベルに怒りや甘えなどのそのときの情動のラベルが付加することを意味する。例えば、セグメントを表す記号ｅi,k で言えば、（ｉ，ｋ）である。
泣き声データは、セグメントによって時間的重なりのないように被覆し記述しなければならない。このラベルは、音響特徴セグメントだけであって、情動情報は持たない。
音響特徴セグメントは、１つの泣き声時系列データの中に、同じものが複数回現れる場合もある。
泣き声のない無音区間も、無音セグメントとして記述すべきである。【００１６】
（手順Ｙ２）：上記手順Ｙ１において作成された「音響特徴セグメント系列データ」から、情動ごとに生起順序の学習を行う。
生起順序の学習とは、セグメントの生起順序を確率情報として学習することである。例えば、〔怒りの情動では、音響特徴セグメントＣの後には、音響特徴セグメントＢの起こる確率が高い。一方。甘えの情動では、音響特徴セグメントＤの起こる確率が高い〕などという、セグメントの発生順序の確率を、各情動について学習する。
この生起順序の学習の結果として、上記に例示するような、情動ごとのセグメント系列のつながり易さ、つながり難さが確率として得られる。
例えば、３組のセグメントであれば、怒りの情動で生起可能な３組は、（Ａ，Ｂ，Ｃ）、（Ａ，Ｂ，Ｄ）、・・・、（Ａ，Ｘ，Ｘ）であり、甘えの情動で生起可能な３組は、（Ｂ，Ｂ，Ｃ）、（Ａ，Ｂ，Ｄ）、・・・、（Ｃ，Ｘ，Ｘ）などの組み合わせのデータが列挙される。列挙されないセグメントの３組は、その情動には出現しないことになる。
このような、情動ごとに発生し得るセグメントの組み合わせを、その発生確率と共に記載した情報データが、「情動ごとのセグメント生起情報」である。
セグメント生起情報としては、例えば、セグメントの生起に関するｎ−ｇｒａｍ情報や、セグメントの生起のｎ組情報が挙げられ、これらの情報によってモデルとして表現できる。
前記情動ごとのセグメント生起情報自体、またはこの情報データを第二の記憶装置Ｍ２に格納した状態のものが、データベース（Ｙ）であり、当該方法、装置、プログラムにおける情動判定の際のデータベースとして活用される。【００１７】
〔対象乳児の情動の判定〕
図１（ｂ）の手順１〜３によって、対象乳児の泣き声からその情動を判定する。
（手順１）：対象乳児の泣き声を入力する。
対象乳児の泣き声の入力信号は、マイクロフォンから直接的に、または通信（ラジオ、電話、インターネットなど）を介して取り込んだオーディオ信号としてでもよいし（ライブ入力）、過去に録音されたオーディオ信号であってもよい。
入力信号は、後のデータ処理に応じて、アナログデータのまま次の手順に送ってもよいし、この入力段階でデジタルデータに変換してもよい。
入力すべき対象乳児の泣き声データの時間的長さについては、上記データベース（Ｘ）の形成手順Ｘ１〜Ｘ３での説明を参照し、それに応じて決定すればよい。【００１８】
（手順２）：入力された泣き声データの音響特徴分析を行ない、該データを「音響特徴パラメータの時系列データ」（図１（ｂ））に変換する。
ここでは、泣き声データをセグメントには分割せず、泣き声全体について音響特徴分析を行ない、音響特徴パラメータが連なったデータとして記載する。
音響特徴パラメータ自体は、泣き声の音響的特徴を表すものであり、上記データベース（Ｘ）の作成における手順Ｘ２で述べた音響特徴パラメータと同じ種類のパラメータである。【００１９】
（手順３）：前記手順２で得た「音響特徴パラメータの時系列データ」と、予め形成しておいた上記２種類のデータベース（Ｘ）、（Ｙ）とから、次の（ａ）、（ｂ）のそれぞれの類似度を計算し、さらにそれらを加え合わせた総合類似度の計算を行なう。
（ａ）対象乳児の「音響特徴パラメータの時系列データ」に含まれる音響特徴パラメータと、データベース（Ｘ）に含まれる「情動音響モデル」との、類似度。
（ｂ）対象乳児の「音響特徴パラメータの時系列データ」に含まれる音響特徴パラメータと、「情動ごとのセグメント生起情報」に含まれる「セグメント生起情報」との、類似度。
本発明でいう「類似度」とは、類似の程度を表す。例えば、怒りの情動に関して、「類似度」の数値が高いという事は、怒りによって発せられた泣き声に近いことを意味する。例えば、上記（ａ）では、類似度は、音響特徴パラメータと情動音響モデルとの照合において得られた確率値であり、その値が１に近いほど両者は近似していることになる。
上記（ａ）、（ｂ）のそれぞれの類似度を加え合わせた総合類似度の計算とは、〔上記（ａ）、（ｂ）の確率をかけ合わせた確率の計算〕と表現することもできる。よって、下記式（Ｉ）では、「Π」の項が２つの確率ＰとＬの積の形となっている。
上記（ａ）の類似度は、対象乳児から得た泣き声全体における音響特徴パラメータの分布が、例えば、怒りの情動によって発せられた泣き声にどの程度近いかを示す数値である。
上記（ｂ）の類似度は、対象乳児から得た泣き声全体における音響セグメントの系列（例えば、Ｂ、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｅ、Ｘ）のそのセグメントの生起順序が、例えば、怒りの情動下で発せられた泣き声に出現しやすいセグメント系列に、どの程度近い配列であるかを示す数値である。
総合類似度とは、上記２つの類似度（ａ）と（ｂ）との和：
ｗ×（ａ）＋（１−ｗ）×（ｂ）
である。ｗは、必要に応じて適宜加えられる重み（係数）であって、０≦ｗ≦１、特に、２つの類似度（ａ）と（ｂ）とを必ず存在させる点では０＜ｗ＜１である。
このステップでは、データベースに保持されたあらゆる情動のあらゆるセグメント系列に関して、対象乳児から得た泣き声データとの総合類似度の計算を行なう。
この総合類似度の計算結果のなかから、最も高い総合類似度の音響特徴セグメント系列を与える情動が、対象乳児の情動を示す、求める「情動識別結果」（図１（ｂ）の最終出力）である。【００２０】
最も高い総合類似度の音響特徴セグメント系列を与える情動を求めるための、具体的な計算手法の一例を次に挙げる。
情動ｉに関する情動音響モデルを用いた音響特徴セグメントｅi,k の音響的な類似度を、Ｐ（ｅi,k ）とする。
このＰ（ｅi,k ）は、ｅi,k のセグメント区間（そのセグメントの始端から終端まで）の音響特徴パラメータの系列が、照合しようとする音響モデルと、どの程度近いかを表した確率であって、０≦Ｐ（ｅi,k ）≦１である。換言すると、Ｐ（ｅi,k ）は、音響的な近さで規定される確率である。
また、情動ｉに関する音響特徴セグメントｅi,k の情動セグメント生起情報の類似度を、Ｌ（ｅi,k ）とする。
このＬ（ｅi,k ）は、ｅi,k のセグメントが、照合しようとする情動の音響セグメントの生起順序としてどの程度近いかを表した確率であって、０≦Ｌ（ｅi,k ）≦１である。例えば、（ｅi1 ，ｅi2 ，・・・，ｅik-1）の後にｅik が生起し易いかを示す確率である。換言すると、Ｌ（ｅi,k ）は、音響セグメントの起こり易さの近さで規定される確率である。
対象乳児から得た音響特徴パラメータの時系列データとの総合類似度が最も高くなるような音響特徴セグメント系列の長さＮと、情動ｉとを、データベース（Ｘ）、（Ｙ）の両方を用いて、最適な（類似度最大の）Ｎ，ｉを探し出す。ここでＮは、対象乳児から得た音響特徴パラメータの長さに応じて最適に決められる数値である。
具体的な情動セグメント生起情報の一例では、前記の類似度Ｌ（ｅi,k ）は、
（ａ１）セグメントトライグラム Ｌ（ｅi,k |ｅi,k-2 ，ｅi,k-1 ）に代表される系列の各情動ごとの生起頻度確率でもよく、または、
（ａ２）各情動に対して、起こりうるセグメント系列と、起こり得ない系列との区別、即ち類似度Ｌ（ｅi,k ）が「０または１」の２値であってもよい。
求めるＮとｉは、次式（Ｉ）により計算される。【００２１】
【数１】
2007102505.tif 000003
【００２２】
上式（Ｉ）において、式中の記号「Π」は、入力音響パラメータの音響特徴セグメントの数をＮであるとしたときに、そのセグメント系列のすべてのセグメントの類似度を掛け合わせる演算を意味する。ｋは、構成する各セグメントの番号に対応する。
従って、式中の項〔Π Ｌ（ｅi,k ）Ｐ（ｅi,k ）〕は、入力音響パラメータの音響特徴セグメントの数がＮであるとしたときに、そのセグメント系列の全てのセグメントの音響的な類似度と、セグメントの生起順序に関するセグメントの類似度とを、掛け合わせることを意味する。
また、記号「argmax」は、式中の項〔Π Ｌ（ｅi,k ）Ｐ（ｅi,k ）〕のＮ，ｉを、取りうる可能な全ての値に動かして、該項〔Π Ｌ（ｅi,k ）Ｐ（ｅi,k ）〕の値が最大になるときの、Ｎ、ｉの値（Ｎmax，ｉmaxとする）を求める演算を意味する。
上記式（Ｉ）で得られたｉmax（０≦ｉmax≦Ｉ）が、本発明によって求められた情動（即ち、識別結果）である。
また、上記式（Ｉ）で得られたＮmaxは、求められた情動に対する入力泣き声を構成する最適な音響特徴セグメントの数である。【００２３】
データベースの形成に使用した乳児の月齢・年齢と、情動を判定すべき対象乳児の月齢・年齢とが近いほど望ましい。
当該方法によって情動を判定すべき対象乳児の人種、性別、体系、月齢・年齢は、特に限定はされないが、例えば、月齢・年齢については、１ヶ月〜３６ヶ月程度が挙げられ、特に、泣き声が情動により顕著に分化されるのが一般に２ヶ月程度であり、言葉が発声できるようになると当然に情動による識別が不要になることから、２ヶ月〜１８ヶ月程度がより有効な対象範囲である。これらの範囲は、平均的な乳児を対象とした場合の一例であって、本発明の適用対象を上記の範囲に限定するものではない。【００２４】
次に、本発明の方法を実施するための装置の構成を具体的に示す。
図３は当該装置の構成の一例を模式的に示すブロック図である。同図に示すとおり、当該装置は、上記データベース（Ｘ）が格納された第一の記憶装置Ｍ１と、上記データベース（Ｙ）が格納された第二の記憶装置Ｍ２と、音響特徴分析部１１と、演算部１２とを、少なくとも有して構成される。
音響特徴分析部１１は、上述した本発明の方法の手順１を実行するように構成されており、対象乳児の泣き声を入力データとして受け入れ、音響特徴分析によって、入力データを音響特徴パラメータの時系列データへと変換する装置部分である。
音響特徴分析、音響特徴パラメータ、時系列データへの変換については、本発明の方法の説明で述べたとおりである。
また、演算部１２は、上述した本発明の方法の手順２を実行するように構成された判定装置部分である。該演算部１２では、前記音響特徴分析部１１で形成された時系列データと、データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を対象乳児の情動であると判定する。
データベース（Ｘ）、（Ｙ）の生成プロセス、演算部での情動判定のためのデータ処理内容については、本発明の方法の説明で述べたとおりである。【００２５】
音響特徴分析部１１の前段には、図３に示すように、泣き声データの入力部１０が設けられている。該入力部の態様は、マイクロフォン、マイクロフォンや外部録音機器を接続するための単なる接続端子、マイクロフォンとＡ／Ｄ変換装置とを一体化した音声データ取得装置、通信を介してデータを受け入れるための入力ポートなどであってもよい。
デジタルデータを取り扱う場合の入力信号のＡ／Ｄ変換は、入力部で行なっても良いし、次段の音響特徴分析部で行なってもよい。【００２６】
図３に示すように、前記演算部１１は、コンピュータ１００として構成するのが装置としての好ましい態様である。該コンピュータは、少なくとも中央処理装置（ＣＰＵ）とメモリとを有して構成されるプログラマブルな演算装置であればよい。
使用するコンピュータとして、ＣＰＵやメモリなどを１チップのＬＳＩに収めた超小型のコンピュータを用いれば、例えば、名刺サイズ（片手に収まるような大きさ）など、携帯に便利な小型の判定装置を構成することが可能となる。また、医療や研究の現場で用いるのであれば、使用するコンピュータとして、処理能力の高い大型コンピュータを用いれば、大容量のデータベースに基いて、より詳細な情動判定を高速で行なうことも可能である。
第一の記憶装置Ｍ１と第二の記憶装置Ｍ２は、該コンピュータ１００に接続された別個の記憶装置であってもよいし、１つの記憶装置内に確保された２つの記憶領域であってもよい。また、これらの記憶装置は、コンピュータがアクセス可能な外部記憶装置であってもよいし、該コンピュータ自体の内部に含まれるメモリーであってもよい。
また、図３に示すように、音響特徴分析部１１もコンピュータに含めるのが好ましい態様である。【００２７】
演算部には、図３に示すように、情動判定の結果を示すための出力部１３が設けられている。該出力部の態様は、画像表示装置などの種々の出力装置であってもよいし、単なる出力端子、出力ポートであってもよい。【００２８】
次に、本発明の方法を実施するためのプログラムの構成を具体的に示す。
当該プログラムは、上記した本発明の装置における音響特徴分析部・演算部をコンピュータで構成した場合に、該コンピュータで本発明の方法を実行させるように構成されたプログラムである。
当該プログラムは、図４にそのフローを示すとおり、上述した本発明の方法の流れと全く同様であって、音響特徴分析手段として機能するステップ２１と、情動判定手段２２として機能するステップ２２とを有して構成される。【００２９】
当該プログラムでは、情動を判定すべき対象乳児の泣き声を入力データ２０が、ステップ２１において、音響特徴分析によって音響特徴パラメータの時系列データへと変換される。該ステップ２１は、上述した本発明の方法の手順１を実行するように構成されており、該ステップ２１における音響特徴分析、音響特徴パラメータ、時系列データへの変換については、本発明の方法の説明で述べたとおりである。【００３０】
さらに、前記ステップ２１で形成された音響特徴パラメータの時系列データは、次のステップ２２に送られ、そこでデータベース（Ｘ）と、データベース（Ｙ）とを参照しながら、最も高い総合類似度を与える情動を求める演算が行なわれ、対象乳児の情動が選び出される出力データ２３とされる。
ステップ２２は、上述した本発明の方法の手順２を実行するように構成されており、前記時系列データと下記データベース（Ｘ）の情動音響モデルとの類似度を求め、かつ、前記時系列データと下記データベース（Ｙ）のセグメント生起情報との類似度を求め、前記２つの類似度を加え合わせて総合類似度とし、該総合類似度の中から最も高い総合類似度を与える情動を、対象乳児の情動であると判定する。
データベース（Ｘ）、（Ｙ）の生成プロセス、演算部での情動判定のためのデータ処理内容については、本発明の方法の説明で述べたとおりである。
【実施例】
【００３１】
本発明の判定方法に従い、実際に、対象乳児の泣き声から情動判定を行なった実験の様子を実施例として以下に示す。
尚、本実験（泣き声の収集、その解析、および情動判定）は、長崎大学医学部倫理委員会の承認（承認番号１７０１１７９３）を受け、被験者（録音をして頂いた母親）には、実験内容についての十分な説明を事前に行い、書面による同意を得た上で行なわれたものである。【００３２】
実施例１
本実施例では、対象乳児の泣き声から、「怒り」の情動と「甘え」の情動とを識別する実験を行った。実験に際しては、本発明の方法を実施し得るように本発明の装置を構成した。また、音響特徴分析部および演算部としてコンピューターを用い、かつ、該コンピューターにおいて手順１、２を実行するプログラムを作成することで判定を行った。【００３３】
（データベース（Ｘ）、（Ｙ）の作成）
生後１０ヶ月の乳幼児（１人）を対象とし、その乳幼児の母親に２２例の泣き声（即ち、２２個の泣き声データ）を収録してもらった。録音装置には、デジタルレコーダ（サンプリング周波数４４．１ｋＨｚ）を用いた。
録音と共に、「泣き声の評価表」による原因の評価（情動の分類）をも母親に依頼した。母親は、その乳幼児の世話を継続的に行っており、その乳幼児が泣いたときに、その声だけでなく、その乳幼児の様子、時間、前後の状況など、乳幼児に関するあらゆる要素を考慮して、その乳幼児がなぜ声を発したのかを判断し得る状況にある。
母親による泣き声の評価は、〔悲しみ、怒り、恐れ、驚き、空腹、眠い、甘え、排便／排尿、不快、その他〕の１０項目について、各々５段階で評価するものとした。【００３４】
収録した２２個の泣き声データから１個の泣き声データを選択して情動判定すべき泣き声とし、残る２１個の泣き声データをデータベース作成用に用いた。この手法を、２２個の泣き声データ全てにわたって、順次同様に行った。この手法は、例えば、Ａ、Ｂ、Ｃ、Ｄ、Ｅの泣き声データがあるとすると、Ａを情動判定するときには、残るＢ、Ｃ、Ｄ、Ｅをデータベース用に使い、Ｂを情動判定するときにはＡ、Ｃ、Ｄ、Ｅをデータベースとして使うというように、順次繰り返していく処理手法であって、ジャックナイフ法などとも呼ばれている手法である。【００３５】
泣き声の音響的特徴に対応させて複数のセグメントを定義し、泣き声データに対して次のとおり階層的にラベルを付与した。
先ず、泣き声データ全体を、無音区間と、有音区間に区分した。さらに、前記有音区間の部分を、息継ぎ音と、その他の泣き声部分に分割し、さらに、前記泣き声部分を、クーイング音、喉音、喃語とした。これらのラベルは聴取上、判別可能のものとしたがラベル付与において明確でない部分が存在しても構わない。【００３６】
音響特徴パラメータのフレーム周期は１０ｍsecとして、パワーと１２次のＦＦＴメルケプストラム係数をパラメータに用いた。
学習モデルは３状態でガウス分布８混合の対角型の隠れマルコフモデルを用い、各情動（怒りと甘え）の各音響特徴セグメントを確率モデルとして学習した。無音部分は共通のモデルとした。
また、２１個の泣き声データの情動セグメント系列から、音響特徴セグメントの局所的（２個から３個までのセグメントの系列）な生起の順序に関して学習を行い、学習データに含まれる場合に１とし、含まれない場合に０とする２値のモデルを用いた。【００３７】
情動を判定すべき泣き声は、上記のとおり、全２２個の泣き声データから選択した１個の泣き声データであって、それぞれ、どのような状況、情動下で泣いたのか、母親が判断した結果がわかっている。即ち、本実験は、母親が判断した結果と、本発明による判定結果とを比べることによって、本発明の有用性を知ろうとする実験である。
判定すべき泣き声を、１６ｋＨｚでダウンサンプリングを行った後に、音響特徴パラメータの分析を行い、パワーと音響スペクトルに対応する１２次のＦＦＴメルケプストラム係数に変換した（即ち１３次元の音響特徴パラメータに変換した）。
その音響特徴パラメータの時系列データに対して、のこるデータを用いて予め学習しておいたセグメントの音響特徴モデル（即ち、データベース（Ｘ））と、セグメント系列の出現に関して２値で記載したセグメント生起モデル（即ち、データベース（Ｙ））とを用いて、乳児の情動の推定を行なった。即ち、判定すべき泣き声が、「怒りの情動から発せられた泣き声のモデル」と「甘えの情動から発せられた泣き声のモデル」のどちらに近いかを、本発明による総合類似度で判定した。
全２２個の泣き声データのそれぞれのデータについて、順次、判定作業を行った結果、２２個中、１８個の泣き声データに対する判定が、母親の情動判断と一致し、本発明を用いることが有効であることが示された。【００３８】
実施例２
本実施例では、実施例１と同じ乳幼児から、実施例１と同様に全３０個の泣き声データを取得し、実施例１と同様に、３０個の泣き声データから順次１個のデータを選択して行き、それを情動判定すべき泣き声とし、残る２９個の泣き声データをデータベース作成用に用いるという手法を適用した。また、これらの泣き声データには、実施例１と同様に、その母親がその泣き声のみならずそのときの状況を考慮して総合的に判断した情動データが添付されている。【００３９】
実施例１と同様のステップにて、１つの泣き声データについて、「怒り」、「甘え」、「空腹」、「眠い」、「悲しみ」の５種のうちのいずれに近いかの判定を行なった。
その結果、１８個（６０％）の泣き声データに対する判定が母親の判断と同じとなり、複数の情動を分離する場合にも、本発明を用いることが有効であることが示された。
【産業上の利用可能性】
【００４０】
“思春期児童による衝動的な暴力行為”といった情動発達の歪みは、近年“母親の乳児虐待”も増加していることを考えると、思春期の問題というよりも、むしろ出生後早期の母子間コミュニケーションの不足が原因の一つではないかと考えられる。
乳児から母親への非言語的な働きかけである「泣き声」は、乳児の情動および身体的状態を聴覚的に伝えるための唯一の手段であると言える。しかし今日では、共働きや核家族化・地域社会の崩壊などの影響により、親子の接する時間の減少、育児について教えてくれる人が身近にいないといった問題が起きている。
育児に対する積極的な気持ちはあっても、時間が足りないあるいは経験不足でどう対処すべきかわからない母親が増加し、泣き声から乳児の情動および身体的状態を理解することが困難となってきている。
本発明によって、育児支援のための泣き声（音声）翻訳システムや母性教育プログラムも開発可能となる。
本出願は、日本で出願された特願２００６−６０３７０を基礎としており、それらの内容は本明細書に全て包含される。
【図１】
2007102505.tif 000004
【図２】
2007102505.tif 000005
【図３】
2007102505.tif 000006
【図４】
2007102505.tif 000007
【国際調査報告】
2007102505.tif 000008
2007102505.tif 000009
2007102505.tif 000010
2007102505.tif 000011