(57)【要約】【課題】時間情報を考慮してモデル化を行い、行動および／または状況の推定および／または分析の精度を向上させる。【解決手段】音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びとの同時事後確率、音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びと行動の候補に対応する状況の候補の組み合わせとの同時事後確率、または音響イベントの時系列の並びにおける、状況の候補に対応する音響イベントの組み合わせと状況の候補の時系列の並びとの同時事後確率の何れかを最大化するための処理を含む学習処理によって、生成モデルを得る。【選択図】図１
2015028579.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、前記音響イベントを生じさせた行動の候補を表す行動ラベル候補および前記音響イベントを生じさせた状況の候補の総数の少なくとも一方を用い、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びとの同時事後確率、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率、または
前記音響イベントの時系列の並びにおける、前記状況の候補に対応する前記音響イベントの組み合わせと前記状況の候補の時系列の並びとの同時事後確率
の何れかを最大化するための処理を含む学習処理によって、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）の少なくとも一方を得るモデル化部
を有するモデル処理装置。
【請求項２】
請求項１のモデル処理装置であって、
前記モデル化部は、
前記学習処理によって、行動の候補の時系列の遷移確率、および状況の候補の時系列の遷移確率の少なくとも一方を得る、モデル処理装置。
【請求項３】
請求項１または２のモデル処理装置であって、
前記モデル化部は、
少なくとも、前記音響イベントラベル列および前記行動ラベル候補を用い、前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びとの同時事後確率を最大化するための処理を含む学習処理によって、少なくとも、前記確率Ｐ（音響イベント｜行動の候補）を得る、モデル処理装置。
【請求項４】
請求項１または２のモデル処理装置であって、
前記モデル化部は、
少なくとも、前記音響イベントラベル列、前記行動ラベル候補、および前記状況の候補の総数を用い、前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率を最大化するための処理を含む学習処理によって、少なくとも、前記確率Ｐ（音響イベント｜状況の候補）、および行動の候補が状況の候補を生成する確率Ｐ（状況の候補｜行動の候補）を得る、モデル処理装置。
【請求項５】
請求項１または２のモデル処理装置であって、
前記モデル化部は、
少なくとも、前記音響イベントラベル列、前記行動ラベル候補、および前記状況の候補の総数を用い、前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びおよび/または状況の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率を最大化するための処理を含む学習処理によって、
前記確率Ｐ（音響イベント｜行動の候補）および前記確率Ｐ（音響イベント｜状況の候補）の少なくとも一方を得る、モデル処理装置。
【請求項６】
請求項１または２のモデル処理装置であって、
前記モデル化部は、
少なくとも、前記音響イベントラベル列、および前記状況の候補の総数を用い、前記音響イベントの時系列の並びにおける、前記状況の候補に対応する前記音響イベントの組み合わせと前記状況の候補の時系列の並びとの同時事後確率を最大化するための処理を含む学習処理によって、少なくとも、前記確率Ｐ（音響イベント｜状況の候補）を得る、モデル処理装置。
【請求項７】
請求項１から６の何れかのモデル処理装置であって、
前記音響信号に対応する音響特徴量を用いて前記音響イベントを決定し、前記音響イベントラベル列を得る音響イベント判定部を有する、モデル処理装置。
【請求項８】
請求項７のモデル処理装置であって、
前記音響信号から音響特徴量を得る特徴量算出部を有し、
前記音響イベント判定部は、前記特徴量算出部で得られた前記音響特徴量を用いて前記音響イベントを決定し、
前記音響特徴量は、音圧レベル、音響パワー、ＭＦＣＣ特徴量、ＬＰＣ特徴量、立ち上がり特性、調波性、時間周期性の何れかを含む、モデル処理装置。
【請求項９】
少なくとも、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）の少なくとも一方、ならびに、各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、行動の候補の何れかおよび状況の候補の何れかの少なくとも一方を選択する生成モデル比較部
を有するモデル処理装置。
【請求項１０】
少なくとも、請求項３の確率Ｐ（音響イベント｜行動の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、および
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、少なくとも、行動の候補の何れかを選択する生成モデル比較部を有するモデル処理装置。
【請求項１１】
少なくとも、請求項４の確率Ｐ（音響イベント｜行動の候補）、および前記確率Ｐ（音響イベント｜状況の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、少なくとも、行動の候補の何れかおよび状況の候補の何れかを選択する生成モデル比較部を有するモデル処理装置。
【請求項１２】
少なくとも、請求項５の確率Ｐ（音響イベント｜状況の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、少なくとも、状況の候補の何れかを選択する生成モデル比較部を有するモデル処理装置。
【請求項１３】
請求項１から３の何れかのモデル処理装置であって、
少なくとも、前記確率Ｐ（音響イベント｜行動の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、および
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、行動の候補の何れかを選択する生成モデル比較部と、
少なくとも、前記前記第２音響イベントラベル列を含む第３音響イベントラベル列、および前記生成モデル比較部で選択された行動の候補を表す第２行動ラベル候補を含む第３行動ラベル候補を用い、
前記第３音響イベントラベル列が表す第３音響イベントの時系列の並びにおける、前記第３行動ラベル候補が表す行動の候補に対応する音響イベントの組み合わせと前記第３行動ラベル候補が表す行動の候補の時系列の並びとの同時事後確率を最大化するための処理を含む学習処理によって、行動の候補が音響イベントを生成する確率Ｐ２（音響イベント｜行動の候補）を得る第２モデル化部と、
を有するモデル処理装置。
【請求項１４】
請求項１，２または４のモデル処理装置であって、
少なくとも、前記確率Ｐ（音響イベント｜行動の候補）、および前記確率Ｐ（音響イベント｜状況の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、行動の候補の何れかおよび状況の候補の何れかを選択する生成モデル比較部と、
少なくとも、前記第２音響イベントラベル列を含む第３音響イベントラベル列、前記生成モデル比較部で選択された行動の候補を表す第２行動ラベル候補を含む第３行動ラベル候補を用い、
前記第３音響イベントラベル列が表す第３音響イベントの時系列の並びにおける、前記第３行動ラベル候補が表す行動の候補に対応する前記第３音響イベントの組み合わせと、前記第３行動ラベル候補が表す行動の候補の時系列の並びと、前記第３行動ラベル候補が表す行動の候補に対応する状況の候補の組み合わせと、の同時事後確率を最大化するための処理を含む学習処理によって、行動の候補が音響イベントを生成する確率Ｐ２（音響イベント｜行動の候補）、および状況の候補が音響イベントを生成する確率Ｐ２（音響イベント｜状況の候補）を得る第２モデル化部と、
を有するモデル処理装置。
【請求項１５】
請求項１，２または５のモデル処理装置であって、
少なくとも、前記確率Ｐ（音響イベント｜状況の候補）、ならびに
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、状況の候補の何れかを選択する生成モデル比較部と、
少なくとも、前記第２音響イベントラベル列を含む第３音響イベントラベル列を用い、
前記第３音響イベントラベル列が表す第３音響イベントの時系列の並びにおける、状況の候補に対応する前記第３音響イベントラベル列が表す第３音響イベントの組み合わせと当該状況の候補の時系列の並びとの同時事後確率を最大化するための処理を含む学習処理によって、状況の候補が音響イベントを生成する確率Ｐ２（音響イベント｜状況の候補）を得る第２モデル化部と、
を有するモデル処理装置。
【請求項１６】
請求項１から３の何れかのモデル処理装置であって
前記音響イベントの時系列の並びは、前記行動ラベル候補によって行動の候補が表された第４音響イベントの時系列の並び、および前記行動ラベル候補によって行動の候補が表されていない第５音響イベントの時系列の並びを含み、
前記モデル化部は、前記第５音響イベントを生じさせた行動の候補として特別なシンボルを用いて前記学習処理を行い、前記確率Ｐ（音響イベント｜状況の候補）を得る、モデル処理装置。
【請求項１７】
請求項１，２，４の何れかのモデル処理装置であって、
前記音響イベントの時系列の並びは、前記行動ラベル候補によって行動の候補が表された第４音響イベントの時系列の並び、および前記行動ラベル候補によって行動の候補が表されていない第５音響イベントの時系列の並びを含み、
前記モデル化部は、前記第５音響イベントを生じさせた行動の候補として特別なシンボルを用いて前記学習処理を行い、前記確率Ｐ（音響イベント｜行動の候補）および前記確率Ｐ（音響イベント｜状況の候補）を得る、モデル処理装置。
【請求項１８】
請求項９から１７の何れかのモデル処理装置であって、
前記音響信号に対応する音響特徴量を用いて前記第２音響イベントを決定し、前記第２音響イベントラベル列を得る音響イベント判定部を有するモデル処理装置。
【請求項１９】
請求項１８のモデル処理装置であって、
前記音響信号から音響特徴量を得る特徴量算出部、を有し、
前記音響イベント判定部は、前記特徴量算出部で得られた前記音響特徴量を用いて前記音響イベントを決定し、
前記音響特徴量は、音圧レベル、音響パワー、ＭＦＣＣ特徴量、ＬＰＣ特徴量、立ち上がり特性、調波性、時間周期性の何れかを含む、モデル処理装置。
【請求項２０】
少なくとも、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、前記音響イベントを生じさせた行動の候補を表す行動ラベル候補および前記音響イベントを生じさせた状況の候補の総数の少なくとも一方を用い、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びとの同時事後確率、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率、または
前記音響イベントの時系列の並びにおける、前記状況の候補に対応する前記音響イベントの組み合わせと前記状況の候補の時系列の並びとの同時事後確率
の何れかを最大化するための処理を含む処理を行って、行動の候補の何れかおよび状況の候補の何れかの少なくとも一方を選択する分析装置。
【請求項２１】
少なくとも、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、前記音響イベントを生じさせた行動の候補を表す行動ラベル候補および前記音響イベントを生じさせた状況の候補の総数の少なくとも一方を用い、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びとの同時事後確率、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率、または
前記音響イベントの時系列の並びにおける、前記状況の候補に対応する前記音響イベントの組み合わせと前記状況の候補の時系列の並びとの同時事後確率
の何れかを最大化するための処理を含む学習処理によって、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）の少なくとも一方を得る、モデル処理方法。
【請求項２２】
少なくとも、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）の少なくとも一方、ならびに、
各時間区間の音響信号を生じさせた第２音響イベントの時系列の並びを表す第２音響イベントラベル列を用い、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜行動の候補）のもとでの、行動の候補の尤もらしさ、
前記第２音響イベントの分布と、行動の候補に対応する前記確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さ、
前記第２音響イベントの時系列の並びに対する、前記確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさ、および
前記第２音響イベントの分布と、状況の候補に対応する前記確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さ、
の少なくとも何れかに基づいて、行動の候補の何れかおよび状況の候補の何れかの少なくとも一方を選択する、モデル処理方法。
【請求項２３】
少なくとも、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、前記音響イベントを生じさせた行動の候補を表す行動ラベル候補および前記音響イベントを生じさせた状況の候補の総数の少なくとも一方を用い、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びとの同時事後確率、
前記音響イベントの時系列の並びにおける、前記行動の候補に対応する前記音響イベントの組み合わせと前記行動の候補の時系列の並びと前記行動の候補に対応する前記状況の候補の組み合わせとの同時事後確率、または
前記音響イベントの時系列の並びにおける、前記状況の候補に対応する前記音響イベントの組み合わせと前記状況の候補の時系列の並びとの同時事後確率
の何れかを最大化するための処理を含む処理を行って、行動の候補の何れかおよび状況の候補の何れかの少なくとも一方を選択する分析方法。
【請求項２４】
請求項１から１９の何れかのモデル処理装置、または請求項２０の分析装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、どのような行動および／または状況が音響イベントを生じさせたかを推定または分析するための技術に関する。
【背景技術】
【０００２】
非特許文献１に開示された従来技術では、行動（例えば、人が料理をしている行動等）によって生じた音響信号に対して、短時間（２０ｍｓｅｃ〜１００ｍｓｅｃ程度）ごとにその音響信号が何の音（足音，水が流れる音；以後、音響イベントとする）であるかを表すラベルを付与した音響イベントラベル付き音響信号列を入力とし、連続する有限個のフレーム分の音響イベントラベルから音響イベントラベルごとのヒストグラムを作成する。生成された音響イベントラベルごとのヒストグラムに対してＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）、ＳＶＭ（Support Vector Machine）等のモデル化手法を用い、行動を推定するためのモデル（行動モデル）を生成する。
【０００３】
さらに、上記行動モデルと新たに入力された音響イベントラベル付き音響信号列から算出された音響イベントのヒストグラムをそれぞれ比較し（例えば、ユークリッド距離やコサイン距離などを用いて比較する）、複数の行動モデルのうち、最も判断基準に適合しているものをその音響信号列に対応する行動を表すと判定する。このように、従来技術では音響信号列から行動を推定することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】井本他，「複数の生活音の出現頻度に基づくユーザ行動の識別手法とコミュニケーションへの応用」，画像電子学会第３２回ＶＭＡ研究会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術のモデルには時間情報が考慮されておらず、時間情報によって特徴付けられる行動や音響イベントをモデル化していなかった。これは、時間情報によって特徴付けられた行動の推定精度の劣化につながる。このことは、行動を推定する場合に限られたことではない。行動を分析する場合、または状況を分析もしくは推定する場合にも同様である。
【０００６】
本発明は、時間情報を考慮してモデル化を行い、行動および／または状況の推定および／または分析の精度を向上させることを課題とする。
【課題を解決するための手段】
【０００７】
本発明では、モデルの学習処理に、少なくとも、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、音響イベントを生じさせた行動の候補を表す行動ラベル候補および音響イベントを生じさせた状況の候補の総数の少なくとも一方を用いる。この学習処理は、音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びとの同時事後確率、音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びと行動の候補に対応する状況の候補の組み合わせとの同時事後確率、または音響イベントの時系列の並びにおける、状況の候補に対応する音響イベントの組み合わせと状況の候補の時系列の並びとの同時事後確率の何れかを最大化するための処理を含む。これにより、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）の少なくとも一方を得る。
【発明の効果】
【０００８】
本発明では、行動および／または状況の候補の時系列情報を考慮してモデル学習を行うため、行動および／または状況の推定および／または分析の精度を向上できる。
【図面の簡単な説明】
【０００９】
【図１】実施例（１）−１−１のモデル処理装置を説明するためのブロック図。
【図２】音響イベントラベルおよび行動ラベル候補付き音響信号列のデータ構成を例示した図。
【図３】実施例（１）−１−２のモデル処理装置を説明するためのブロック図。
【図４】実施例（１）−１−３のモデル処理装置を説明するためのブロック図。
【図５】実施例（１）−２−１のモデル処理装置を説明するためのブロック図。
【図６】実施例（１）−２−２のモデル処理装置を説明するためのブロック図。
【図７】実施例（１）−２−３のモデル処理装置を説明するためのブロック図。
【図８】実施例（１）−３−１のモデル処理装置を説明するためのブロック図。
【図９】実施例（１）−３−２，（１）−４−２のモデル処理装置を説明するためのブロック図。
【図１０】実施例（１）−３−３，（１）−４−３のモデル処理装置を説明するためのブロック図。
【図１１】実施例（１）−４−１のモデル処理装置を説明するためのブロック図。
【図１２】実施例（２）−１−１のモデル処理装置を説明するためのブロック図である。
【図１３】音響イベントラベルおよび行動ラベル候補付き音響信号列のデータ構成を例示した図。
【図１４】実施例（２）−１−２のモデル処理装置を説明するためのブロック図。
【図１５】実施例（２）−１−３のモデル処理装置を説明するためのブロック図。
【図１６】実施例（２）−２−１のモデル処理装置を説明するためのブロック図。
【図１７】実施例（２）−２−２のモデル処理装置を説明するためのブロック図。
【図１８】実施例（２）−２−３のモデル処理装置を説明するためのブロック図。
【図１９】実施例（２）−３−１のモデル処理装置を説明するためのブロック図。
【図２０】実施例（２）−３−２，（２）−４−２のモデル処理装置を説明するためのブロック図。
【図２１】実施例（２）−３−３，（２）−４−３のモデル処理装置を説明するためのブロック図。
【図２２】実施例（２）−４−１のモデル処理装置を説明するためのブロック図。
【図２３】実施例（３）−１−１のモデル処理装置を説明するためのブロック図。
【図２４】音響イベントラベル付き音響信号列のデータ構成を例示した図。
【図２５】実施例（３）−１−２のモデル処理装置を説明するためのブロック図。
【図２６】実施例（３）−１−３のモデル処理装置を説明するためのブロック図。
【図２７】実施例（３）−２−１のモデル処理装置を説明するためのブロック図。
【図２８】実施例（３）−２−２のモデル処理装置を説明するためのブロック図。
【図２９】実施例（３）−２−３のモデル処理装置を説明するためのブロック図。
【図３０】実施例（３）−３−１のモデル処理装置を説明するためのブロック図。
【図３１】実施例（３）−３−２のモデル処理装置を説明するためのブロック図。
【図３２】実施例（３）−３−３のモデル処理装置を説明するためのブロック図。
【００１０】
以下、図面を参照して本発明の実施形態を説明する。なお、同一構成要素ないし同一処理には同一符号を割り当てて重複説明を省略する。
＜用語の定義＞
各実施例で用いる用語を定義する。
「行動」とは、人間、動物、装置などの主体が行う何らかの行動を意味する。「行動」の具体例は「料理」「掃除」などである。また、音響信号が収録された場所や時間や場に人が何人いるか等の音響信号を発生させる状態を「行動」としてもよい。
「音響イベント」とは、行動に伴って発生する音の事象を意味する。「音響イベント」の具体例は、「包丁の音」「水が流れる音」「水音」「着火音」「火の音」「足音」「掃除機の排気音」などである。例えば、「包丁の音」「水が流れる音」等は、「料理」という行動に伴って発生する音響イベントである。
「状況」とは、音響イベントの組み合わせ、および状況そのものの遷移確率で特徴付けられた状況の種別（番号）である。言い換えると「状況」は、音響イベントおよび自身の遷移確率によって規定される潜在的な場の状況を表す。状況の生成確率は、その状況が起こる時間区間での行動または、その状況が起こる時間区間での音響信号そのものに規定され、状況は、その状況が起こる時間区間での音響イベントの生成確率を規定する。状況は、行動と、行動によって規定される生成確率、または、音響信号と、音響信号によって規定される生成確率とによって表現可能である。音響イベントは、行動と、行動によって規定される生成確率、または、状況と、状況によって規定される生成確率とによって表現可能である。なお、行動や状況の推定は長時間の音響イベントの組み合わせによって実現される。
「ＸがＹを生成する確率」とは、事象Ｘが起こるという条件のもとでの事象Ｙが起こる確率をいう。「ＸがＹを生成する確率」は、「ＸのもとでのＹの条件付き確率」や「ＸにおけるＹの条件付き確率」とも表現できる。「Ｘにおける、ＹとＺとの同時事後確率」とは、事象Ｘが起きたという条件のもとでの、事象Ｙと事象Ｚとの同時確率をいう。
【００１１】
＜実施例（１）−１−１：図１＞
［行動の時間変化を考慮に入れた、音響イベントラベルおよび行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出し、同時に、行動を分析］
本実施例では、行動の時間変化を考慮に入れ、音響イベントラベルおよび行動ラベル候補付き音響信号から、行動−音響イベント生成モデルを算出する。同時に、行動の時間遷移を表す行動遷移モデルも算出してもよく、行動の分析も行ってもよい。
【００１２】
すなわち本実施例では、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、ならびに、音響イベントを生じさせた行動の候補を表す行動ラベル候補を用い、「音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びとの同時事後確率」を最大化するための処理を行う学習処理を行う。例えば、この学習処理は、行動の時間遷移に基づく行動の出現確率と、行動に対する音響イベントの出現確率に基づいて、音響イベントの時系列の並びにおける、行動の候補に対する音響イベントの組み合わせと行動の候補の時系列の並びとの同時事後確率を最大化するための処理である。例えば、音響イベントの時系列の並びからなる音響イベントの組み合わせに対する尤度関数Ｐ（音響イベントの組み合わせ｜行動の候補の時系列の並び）を最大にする処理が行われる。それにより、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）を「行動−音響イベントの生成モデル」として得る。また、この学習処理によって、行動の候補の時系列の遷移確率を「行動遷移モデル」として得てもよい。さらに、この学習処理の過程で何れかの行動の候補を選択し、各音響イベントがどの行動によって生成されたのかを分析してもよい。この場合には選択した行動の候補を表す行動ラベルを出力してもよい。
【００１３】
図１に例示するように、本実施例のモデル処理装置１００は、音響信号列合成部１０１、モデル化部１０２、および記憶部１０３を有する。モデル処理装置１００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００１４】
まず音響信号列合成部１０１に、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ（ただし、Ｓは１以上の整数）が入力される。図２に例示するように、音響イベントラベルおよび行動ラベル候補付き音響信号列は、短時間（数１０ｍｓｅｃ〜数ｓｅｃ）の時間区間（以下単に「時間区間」という）ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号、当該時間区間ごとに決定されて付与された音響イベントラベル、および当該時間区間ごとに付与された行動ラベル候補を含む。当該時間区間ごとに複数個の行動ラベル候補が付与されてもよいし（例えば、図２の要素番号１の時間区間）、単一の行動ラベル候補が付与されてもよい（例えば、図２の要素番号ｉの時間区間）。音響信号列は音を表すデジタル信号列（例えば、５〜２０秒程度のデジタル信号列）である。音響信号列は、例えば単一又は複数の行動がなされる環境での録音によって得られ、単一又は複数の行動によって生じた音を表す。音響信号列の各時間区間の区分を音響信号とよぶ。音響信号列は、各時間区間の音響信号の時系列の並びと解釈できる。音響イベントラベルは、それぞれ、上記の時間区間の音響信号を生じさせた音響イベントを表す。各時間区間の音響イベントラベルの時系列の並びを音響イベントラベル列と呼ぶ。音響イベントラベル列は、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す。行動ラベル候補は、音響イベントを生じさせた行動の候補を表すラベルである。
【００１５】
複数個の音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ（以下、単に「ラベル付き音響信号列１１−１，・・・，１１−Ｓ」という）が音響信号列合成部１０１に入力された場合、音響信号列合成部１０１は、それらを時系列方向につなぎ合わせ、それによって１つの音響イベントラベルおよび行動ラベル候補付き音響信号列１１（以下、単に「ラベル付き音響信号列１１」という）を得て出力する（合成処理）。音響信号列合成部１０１に１つの音響信号列１１−１のみが入力された場合、音響信号列合成部１０１はそれをラベル付き音響信号列１１として出力する。音響信号列合成部１０１から出力された音響イベントラベルおよび行動ラベル候補付き音響信号列は、モデル化部１０２に入力される。なお、音響信号列合成部１０１を経由することなく、１つラベル付き音響信号列１１がそのままモデル化部１０２に入力されてもよい。
【００１６】
モデル化部１０２は、以下の手順に従って、入力されたラベル付き音響信号列１１から、行動−音響イベント生成モデル１４を生成し、それを記憶部１０３に格納する。モデル化部１０２は、行動遷移モデルを生成してもよいし、行動ラベル１８を生成してもよい。生成された行動遷移モデル１７や行動ラベル１８も記憶部１０３に格納される。
【００１７】
［行動から音響イベントが生成される過程の論理的説明］
モデル化部１０２は、ラベル付き音響信号列１１から、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）としたときの行動−音響イベント生成モデル１４を得る。このとき、行動が音響イベントの生成確率を規定するとともに、ある時刻の行動が次時刻に生じる行動を規定すると考え、この関係を生成モデルとして記述する。この際、行動-音響イベント生成モデル１４のみを得てもよいし、行動の候補の時系列の遷移確率である行動遷移モデル１７を同時に得てもよい。
【００１８】
ラベル付き音響信号列１１が有する各音響信号列が取りうる行動ラベル候補を音響信号列分並べて列とした、集合のベクトルΩ、行動ラベル候補が表す行動の候補における音響イベントの生成確率Φ、および行動ラベル候補が表す行動の候補の遷移確率Πが与えられた場合における、音響イベントの列ｅの生成確率Ｐ（ｅ｜Π，Φ，Ω）は以下の通りである。
【数１】
2015028579.tif 000003
ただし、Ａは行動の候補の総数（行動の候補の種類の個数）、Ｅは音響イベントの種類の個数、ｅはラベル付き音響信号列１１に与えられた音響イベントの列（ベクトル）、Πは各時間区間の行動の候補ａ（ただし、ａ∈｛１，・・・，Ａ｝）が次の時間区間で行動の候補ａ’（ただし、ａ’∈｛１，・・・，Ａ｝）に遷移する確率を（ａ，ａ’）要素とするＡ×Ａ行列、Φは行動の候補ａ（ただし、ａ∈｛１，・・・，Ａ｝）が音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ａ）を（ａ，ε）要素とするＡ×Ｅ行列、Ωは各音響信号列がとり得る行動ラベル候補を音響信号列分並べて列とした、集合のベクトル、ｅ’ｓは各ラベル付き音響信号列１１−ｓに与えられた音響イベントの列（Ｎｓ次元ベクトル：Ｎｓはラベル付き音響信号列１１−ｓに対応する音響イベントの個数）、ａｓはラベル付き音響信号列１１−ｓに付与された行動ラベル候補が表す行動の候補の集合、Ｓはラベル付き音響信号列１１を構成するラベル付き音響信号列１１−ｓの個数を表す。なお、Ωとａｓの関係は以下のように表される。
Ω＝[ａ１,ａ２,…,ａｓ,…,ａＳ］
【００１９】
行動の候補の集合ａｓ、行動の候補ａの遷移確率πａの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）γ、行動の候補ａにおける音響イベントεの生成確率φａの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）βが与えられたときの、音響イベントの列ｅ’ｓの生成確率Ｐ（ｅ’ｓ，Π，Φ｜γ，β，ａｓ）は、以下の通りである。
【数２】
2015028579.tif 000004
ただし、ｅｉはラベル付き音響信号列１１−ｓの要素番号ｉに対応する音響イベント、Ｎｓはラベル付き音響信号列１１−ｓに対応する要素数（要素番号ｉの最大値）、ｘｉはラベル付き音響信号列１１−ｓの要素番号ｉに対応する行動ラベル候補が表す行動の候補、πｘｉ−１ｘｉはラベル付き音響信号列１１−ｓの要素番号ｉ−１に対応する行動ラベル候補が表す行動の候補ｘｉ−１から要素番号ｉに対応する行動ラベル候補が表す行動の候補ｘｉへの遷移確率を表す。ただし、πｘｉ−１ｘｉの上付き「ｘｉ−１」はｘｉ−１を表し、下付き「ｘｉ」はｘｉを表す。また、πaは、ラベル付き音響信号列１１に付与されたすべての行動ラベル候補を対象とした遷移確率πｘｉ−１ｘｉを（ｘｉ−１，ｘｉ）要素とするＡ×Ａ行列、φａは行動の候補ａが音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ａ）をε番目の要素とするＥ次元ベクトルを表す。Ｗ−１次（Ｗは２以上の整数）のＤｉｒｉｃｈｌｅｔ分布の確率密度関数は以下の通りである。
【数３】
2015028579.tif 000005
ただし、τはτｉ（ｉ＝１，...，Ｗ）からなるパラメータ、μは確率変数、Γはガンマ関数を表す。
【００２０】
［生成モデルの算出過程の説明］
モデル化部１０２は、入力されたラベル付き音響信号列１１から行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）および行動の遷移確率を算出する。また、モデル化部１０２は、少なくとも行動−音響イベント生成モデル１４を出力し、記憶部１０３に格納する。また、モデル化部１０２は、算出された行動の候補の遷移確率を行動遷移モデル１７として記憶部１０３に格納してもよい。行動の候補の遷移確率は、第１時間区間での行動の候補が、第１時間区間よりも後の第２時間区間での行動の候補を生成する確率Ｐ（第２時間区間での行動の候補｜第１時間区間での行動の候補）である。例えば、第２時間区間は第１時間区間の直後の時間区間である。しかしながら、第１時間区間よりもξ個後（ξは２以上の整数）の時間区間が第２時間区間であってもよい。また、第1時間区間から第ξ時間区間の同時確率を考えてもよい。さらにモデル化部１０２は、入力されたラベル付き音響信号列１１が有する行動ラベル候補から尤もらしいラベルを選択し、選択した行動ラベル候補からなる行動ラベル列１８を外部に出力したり、記憶部１０３に格納したりしてもよい。尤もらしいラベルは、各時間区間に対して１個でもよいし、複数個でもよい。また、各時間区間において尤もらしさが閾値を超えたすべての行動ラベル候補を選択し、選択した時間区間ごとに単一または複数の行動ラベル候補からなる行動ラベル１８の列を外部に出力したり、記憶部１０３に格納したりしてもよい。
【００２１】
行動−音響イベント生成モデル１４および行動遷移モデル１７の算出は、入力されたラベル付き音響信号列１１の音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びとの同時事後確率を最大化する処理を用いて行われる。例えば、マルコフ連鎖モンテカルロ法（ＭＣＭＣ法：Markov Chain Monte Carlo methods）や変分ベイズ法（ＶＢ法：Variational Bayes methods）などの手法を用いることができる。ＭＣＭＣ法には、Ｍ−Ｈアルゴリズムやギブスサンプリングなどの手法がある。ここでは一例としてギブスサンプリングによる算出手法を説明する。
【００２２】
［生成モデル算出の流れの例示］
(i)モデル化部１０２は、ハイパパラメータとしてパラメータβおよびγを事前に決定する。
(ii)モデル化部１０２は、全てのラベル付き音響信号列１１−ｓ（ただしｓ＝１，...，Ｓ）の全ての要素番号ｉに対応する要素に行動の候補ｘｉをランダムに割り当てる（割り当てはラベル付き音響信号列１１−ｓに与えられた行動ラベル候補が表す行動の候補からランダムに行う）。あるいは、要素番号ｉに対応する要素への行動の候補ｘｉの割り当ては、事前にモデル化部１０２に設定しておいた割り当てであってもよい。
【００２３】
(iii)モデル化部１０２は、全てのラベル付き音響信号列１１−ｓ（ただしｓ＝１，...，Ｓ）の各要素番号ｉ（要素番号ｉ−１またはｉ＋１に対応する要素が存在しない要素番号ｉを除く）について、以下の(iii-1)および(iii-2)を規定の回数（正値であり、例えば１〜３０００回程度）、もしくは、所望の結果が得られるまで（例えば、割り当ての前後において、行動の割り当て先の変化が一定の閾値（例えば０．３％）以下になるまでなど）繰り返す。
(iii-1)モデル化部１０２は、以下の式により、更新対象のラベル付き音響信号列の要素番号ｉを除いた要素番号に対応する音響信号列に対して、要素番号ｉの要素に行動の候補ａ∈Ωに割り当てられる確率分布Ｐ（ｘｉ＝ａ｜ｅｉ＝ε，ｘ−ｉ，ｅ−ｉ，Ω，β，γ）を更新する。
【数４】
2015028579.tif 000006
ただし、ＣεａＥＡは、更新対象のラベル付き音響信号列（初期値はラベル付き音響信号列１１）の音響イベントεに行動の候補ａが割り当てられた回数を表す。
【００２４】
Ｒｘｉｘｉ＋１は、更新対象のラベル付き音響信号列に対応するすべて行動の候補の並びの中で、行動の候補ｘｉ＝ａ∈Ωと同一の候補から行動の候補ｘｉ＋１と同一の候補に遷移した回数を表す。ただし、ｘｉ＝ａ∈Ωであり、ｘｉ以外の行動の候補「・・・，ｘｉ−１，ｘｉ＋１，・・・」は、(ii)でランダムに割り当てられた行動の候補〔(iii-2)が実行されていない場合〕または直前の(iii-2)で得られた行動の候補〔(iii-2)が実行されている場合〕である。ｘｉ−１からｘｉへの遷移「ｘｉ−１→ｘｉ」およびｘｉからｘｉ＋１への遷移「ｘｉ→ｘｉ＋１」はＲｘｉｘｉ＋１を得るためのカウント対象とせず、遷移「ｘｉ−１→ｘｉ」が遷移「ａ→ｘｉ＋１」と同じになることはＩ（ｘｉ−１＝ｘｉ）×Ｉ（ｘｉ＝ｘｉ＋１）によってカウントされる。ただし、Ｉ（ｘｉ−１＝ｘｉ）およびＩ（ｘｉ＝ｘｉ＋１）は、ｘｉ−１＝ｘｉのときにＩ（ｘｉ−１＝ｘｉ）＝１、ｘｉ−１≠ｘｉのときにＩ（ｘｉ−１＝ｘｉ）＝０となり、ｘｉ＝ｘｉ＋１のときにＩ（ｘｉ＝ｘｉ＋１）＝１、ｘｉ≠ｘｉ＋１ｉのときにＩ（ｘｉ＝ｘｉ＋１）＝０となる関数である。遷移「ｘｉ−１→ｘｉ」が遷移「ａ→ｘｉ＋１」と同じになることがＩ（ｘｉ−１＝ｘｉ）×Ｉ（ｘｉ＝ｘｉ＋１）によってカウントできるのは、遷移「ｘｉ−１→ｘｉ」が遷移「ａ→ｘｉ＋１」と同じになるのは、ａ＝ｘｉ＝ｘｉ＋１かつａ＝ｘｉ−１＝ｘｉの場合に限られるからである。
【００２５】
例えば、Ω＝｛１，２，・・・，９｝であり、前回の繰り返し処理時に得られた各要素番号ｉに対応する行動の候補の並びが［ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８］＝［１，２，１，１，２，３，１，６］であったとする。この例でｉ＝２についてＲｘｉｘｉ＋１を求める場合には、ｘ２＝ａ∈｛１，２，・・・，９｝とした［１，ａ，１，１，２，１，１，６］の中で「ａ→１」と遷移する回数をカウントする。ただし、遷移「ｘ１→ｘ２」＝「１→ａ」および「ｘ２→ｘ３」＝「ａ→１」はＲｘｉｘｉ＋１を得るためのカウント対象としない。
ｘ１  →  ｘ２  →  ｘ３  →  ｘ４  →  ｘ５  →  ｘ６  →  ｘ７  →  ｘ８
１        ａ       １       １       ２       １       ２       ６
１
２
…
９
ｘ２＝ａ＝１の場合、「ａ→１」＝「１→１」であり、［１，１，１，１，２，１，２，６］の中で「１→１」と遷移するのは、「ｘ１→ｘ２」＝「１→１」，「ｘ２→ｘ３」＝「１→１」，「ｘ３→ｘ４」＝「１→１」の３回である。しかしながら、「ｘ１→ｘ２」＝「１→１」および「ｘ２→ｘ３」＝「１→１」はＲｘｉｘｉ＋１を得るためのカウント対象とせず、ａ＝１およびｉ＝２についてＲｘｉｘｉ＋１＝１とする。なお「ｘ１→ｘ２」＝「１→１」が「ｘ１→ｘ２」＝「１→１」と一致することは、Ｉ（ｘ１＝ｘ２＝１）×Ｉ（ｘ２＝ｘ３＝１）＝１によってカウントされる。ａ＝２の場合、「ａ→１」＝「２→１」であり、［１，２，１，１，２，１，２，６］の中で「２→１」と遷移するのは、「ｘ２→ｘ３」＝「２→１」，「ｘ５→ｘ６」＝「２→１」の２回である。しかしながら、「ｘ２→ｘ３」＝「２→１」はＲｘｉｘｉ＋１を得るためのカウント対象とせず、ａ＝２およびｉ＝２についてＲｘｉｘｉ＋１＝１とする。なお「ｘ１→ｘ２」＝「１→１」については、ｘ１≠ｘ２＝２かつ２＝ｘ２≠ｘ３であるため、Ｉ（ｘ１＝ｘ２）×Ｉ（ｘ２＝ｘ３）＝０となり、カウントされない。
【００２６】
Σｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１は、更新対象のラベル付き音響信号列に対応するすべて行動の候補の並びの中で、行動の候補ｘｉ＝ａ∈Ωと同一の候補から遷移した行動の候補の総数を表す。この場合も、ｘｉ−１を基点とする遷移およびｘｉ＝ａを基点とする遷移は、Σｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１を得るためのカウント対象とせず、ｘｉ−１を基点とする遷移がｘｉ＝ａを基点とする遷移となることは、Ｉ（ｘｉ−１＝ｘｉ）によってカウントされる。ｘｉ−１を基点とする遷移がｘｉ＝ａを基点とする遷移となることがＩ（ｘｉ−１＝ｘｉ）によってカウントできるのは、ｘｉ−１を基点とする遷移がｘｉ＝ａを基点とする遷移となるのはｘｉ−１＝ａの場合、すなわちｘｉ−１＝ｘｉ＝ａの場合だからである。
例えば、上述の行動の候補の並びの例［ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８］＝［１，２，１，１，２，３，１，６］において、ｉ＝２についてΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１を求める場合には、ｘ２＝ａ∈｛１，２，・・・，９｝とした［１，ａ，１，１，２，１，１，６］の中で「ａ」を基点とする遷移回数をカウントする。ただし、遷移「ｘ１→ｘ２」＝「１→ａ」および「ｘ２→ｘ３」＝「ａ→１」はΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１を得るためのカウント対象としない。ａ＝１の場合、［１，１，１，１，２，１，２，６］の中でｘ２＝１を基点として遷移するのは、「ｘ１→ｘ２」＝「１→１」，「ｘ２→ｘ３」＝「１→１」，「ｘ３→ｘ４」＝「１→１」，「ｘ６→ｘ７」＝「１→１」の４回である。しかしながら、「ｘ１→ｘ２」＝「１→１」および「ｘ２→ｘ３」＝「１→１」はΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１を得るためのカウント対象とぜず、ａ＝１およびｉ＝２についてΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１＝２とする。なお、ｘ１を基点とする遷移がｘ２＝１を基点とする遷移となることは、Ｉ（ｘ１＝ｘ２＝１）＝１によってカウントされる。
ａ＝２の場合、［１，２，１，１，２，１，２，６］の中でｘ２＝２を基点として遷移するのは、「ｘ２→ｘ３」＝「２→１」，「ｘ５→ｘ６」＝「２→１」，「ｘ７→ｘ８」＝「２→６」の３回である。しかしながら、「ｘ２→ｘ３」＝「２→１」はΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１を得るためのカウント対象とぜず、ａ＝２およびｉ＝２についてΣｘ’ｉ＋１∈ΩＲｘｉｘ’ｉ＋１＝２とする。なお「ｘ１→ｘ２」＝「１→１」については、ｘ１≠ｘ２＝２であるため、Ｉ（ｘ１＝ｘ２）＝０となり、カウントされない。
【００２７】
なお、表記制約上の都合から「ＣεａＥＡ」「Ｒｘｉｘｉ＋１」と表記するが、本来は式（３）に示すように「ＣεａＥＡ」の「ＥＡ」は「εａ」の上に表記され、「Ｒｘｉｘｉ＋１」の「ｘｉ」はｘｉを表し、「ｘｉ＋１」はｘｉ＋１を表し、ｘｉはｘｉ＋１の上に表記される。また、ｘ−ｉは要素番号ｉ以外の要素番号に対応する行動の候補からなる列、ｅ−ｉは要素番号ｉ以外の要素番号に対応する音響イベントからなる列を表す。
【００２８】
(iii-2)モデル化部１０２は、上記の更新式（３）で得られた確率分布Ｐ（ｘｉ＝ａ｜ｅｉ＝ε，ｘ−ｉ，ｅ−ｉ，Ω，β，γ）に従って、各要素番号ｉの要素に割り当てる行動の候補ｘｉをサンプリング（選択）する。モデル化部１０２は、このようにサンプリングした行動の候補ｘｉを要素番号ｉの要素に割り当て、要素番号ｉに対応する行動の候補を更新する。これにより更新対象のラベル付き音響信号列を更新する。
【００２９】
(iv)モデル化部１０２は、上記の(iii-1)(iii-2)の繰り返しによって最終的に得られたＣεａＥＡおよびＲｘｉｘｉ＋１を用い、以下を計算する。
【数５】
2015028579.tif 000007
【００３０】
これによってモデル化部１０２は、行動の候補が音響イベントを生成する確率φεａ（ただし、ａ∈｛１，・・・，Ａ｝，ε∈｛１，・・・，Ｅ｝）の集合を得、それを行動−音響イベント生成モデル１４とする。例えばモデル化部１０２は、確率φεａを（ａ，ε）要素とするＡ×Ｅ行列を行動−音響イベント生成モデル１４とする。また、モデル化部１０２は、これによって行動の候補の遷移確率πｘｉｘｉ＋１（ただし、ｘｉ，ｘｉ+１∈｛１，・・・，Ａ｝）の集合を得、それを行動遷移モデル１７とする。例えばモデル化部１０２は、ｘｉ，ｘｉ+１∈｛１，・・・，Ａ｝に対応する遷移確率πｘｉｘｉ＋１を（ｘｉ，ｘｉ＋１）要素とするＡ×Ａ行列を行動遷移モデル１７とする。
【００３１】
或いは、モデル化部１０２は、(iii-1)の繰り返し処理時に、式（３）の算出過程で確率φεａを１個以上サンプリング（計算）し、式（４）に代えて、サンプリングされた確率φεａの平均値を用い、行動−音響イベント生成モデル１４を得てもよい。同様に、モデル化部１０２は、(iii-1)の繰り返し処理時に、式（３）の算出過程で遷移確率πｘｉｘｉ＋１を１個以上サンプリングし、式（５）に代えて、サンプリングされた遷移確率πｘｉｘｉ＋１の平均値を用い、行動遷移モデル１７を得てもよい。
【００３２】
また、上記更新過程でサンプリング（選択）し、各要素番号ｉの要素に割り当てた行動の候補ｘｉを分析することで、各ラベル付き音響信号列１１−ｓの音響信号列がどの行動によって生成されたかを知ることができる。モデル化部１０２は、このように各要素番号ｉの要素に割り当てた行動の候補ｘｉを表すラベル、またはそれらの一部を行動ラベル１８として出力してもよい。
【００３３】
本実施例では、行動が音響イベントを生成する確率のみではなく、行動の時間遷移確率も考慮して学習処理を行うことで、遷移確率によって特徴付けられる行動も精度よくモデル化できる。また、遷移確率によって特徴付けられる行動を精度よく分析できる。
【００３４】
＜実施例（１）−１−２：図３＞
［行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出し、行動を分析］
本実施例では、行動ラベル候補付き音響信号１５−１，・・・，１５−Ｓを入力とし、行動の時間変化を考慮に入れ、行動−音響イベント生成モデル１４を算出する。すなわち本実施例では、音響信号から音響特徴量を得、得られた音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、行動−音響イベント生成モデル１４を生成する。なお、この際、行動の時間遷移を表す行動遷移モデル１７も算出してもよく、行動の分析を行ってもよい。
【００３５】
図３に例示するように、本実施例のモデル処理装置１１０は、特徴量算出部１１１、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部１０１、モデル化部１０２、および記憶部１０３を有する。モデル処理装置１１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００３６】
まず特徴量算出部１１１に行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓが入力される。各行動ラベル候補付き音響信号列１５−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）は、前述の時間区間ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号、および当該時間区間ごとに付与された行動ラベル候補を含む。要素番号および行動ラベル候補は、音響信号列の要素ごとに付与される。１つの時間区間に複数種類の行動ラベル候補が対応してもよいし、１つの時間区間に複数種類の行動ラベル候補が対応してもよい。
【００３７】
特徴量算出部１１１は、各行動ラベル候補付き音響信号列１５−ｓが含む音響信号列から、各行動ラベル候補付き音響信号列１５−ｓに対応する音響特徴量列（ベクトル）を算出して出力する。例えば特徴量算出部１１１は、入力された行動ラベル候補付き音響信号１５−ｓが含む音響信号列に対し、前述の各時間区間であるフレームごとに、音圧レベル、音響パワー、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient）特徴量、ＬＰＣ（Linear Predictive Coding）特徴量などを算出し、これらを音響特徴量列として出力する。さらに立ち上がり特性、調波性、時間周期性など（例えば、非特許文献１参照）の音響特徴量が音響特徴量列に加えられてもよい。
【００３８】
立ち上がり特性とは、数十から数百ミリ秒ごとにおける、音響信号の大きさを表す指標の増加の度合いを表す指標である。ここで、音響信号の大きさを表す指標とは、例えば、音響信号の振幅の絶対値、音響信号の振幅の絶対値の対数値、音響信号のパワー又は音響信号のパワーの対数値である。例えば、以下の式（１０）で得られる値が０以上であればその値が立ち上がり特性とされ、式（１０）で得られる値が０未満であれば０が立ち上がり特性とされる。
【数６】
2015028579.tif 000008
ただし、ｋはフレームをＫ個の微小な時間区間（例えば１ｍｓｅｃ程度）に区分した場合の各時間区間に対応し、ｐ￣ｋはｋ番目の時間区間でのサンプルの大きさを表す指標の代表値又は平均値を表す。なお、「サンプルの大きさを表す指標」の例は、サンプルの振幅、サンプルの振幅の絶対値、サンプルの振幅の対数値、サンプルのエネルギー、サンプルのパワー、又はサンプルのパワーの対数値などである。「サンプル」は音響信号列の各音響信号を表す。また、Δｐ￣ｋはｐ￣ｋの変化率を表す。例えば、Δｐ−ｋ＝ｐ−ｋ−ｐ−ｋ−１である。Δｐ−ｋ＝ｐ−ｋ＋１−ｐ−ｋとしてもよい。また、最小二乗法等の近似手法を用いてｋ番目の時間区間におけるｐ−ｋを近似した直線を求め、その時間区間におけるその直線の傾きをΔｐ−ｋとしてもよい。また、ｋ番目の時間区間を含む複数の時間区間におけるｐ￣ｋ-κ，・・・，ｐ￣ｋ-1，ｐ−ｋ，ｐ￣ｋ+1,...ｐ￣ｋ-κ’の近時曲線を求め、そのｋ番目の時間区間に対応する点での傾き（微分値）をΔｐ−ｋとしてもよい。またχを任意の文字として、χの右肩の「−」は、χの上付きバーを意味する。また式（１０）の分子における（ｐ￣ｎ）２を（ｐ￣ｎ）ｍとし、ｍを任意の値としても良い。
【００３９】
以下に調波性を例示する。
【数７】
2015028579.tif 000009
また、Ｎはフレームに含まれるサンプル数を表す１以上の整数、ｎはフレーム内の各サンプル点を表す１以上のＮ以下の整数、ｘ（ｎ）はサンプル点ｎでのサンプルの大きさを表す指標である。Ｒｆｆ（τ）はｆ（ｎ）のラグτでの自己相関係数、ｍａｘ｛・｝は「・」の最大値を表す。ラグτは１以上Ｎ以下の整数である。Ｒｆｆ（τ）は、例えば以下のように定義される。
【数８】
2015028579.tif 000010
【００４０】
以下に時間周期性を例示する。
【数９】
2015028579.tif 000011
ただし、Ｌは一周期とみなすサンプル数、Ｍは時間周期性の度合を計算するための周期数を表す１以上の整数、ｐ（・）はサンプルの大きさを表す指標を時間平滑化した値、ｐ￣はフレーム内でのサンプルの大きさを表す指標の平均値を表す。
【００４１】
音響イベントモデルＤＢ１１３には、事前に算出された音響イベントモデルが複数保存されている。各音響イベントモデルは、音響イベントラベルが付された学習用の音響信号列から音響特徴量列を算出し、各音響イベントに対応する音響特徴量列をＧＭＭ，ＨＭＭ，ＳＶＭ等の周知のモデル化手法を用いてモデル化することで得られる（例えば参考文献：奥村学、高村大也、「言語処理のための機械学習入門」コロナ社）。
【００４２】
例えば、ＧＭＭの場合、音響イベントごとに音響特徴量の各種別に対応する音響イベントモデルが得られる。例えば、音響特徴量列がＦ種類（Ｆが１以上の整数）の音響特徴量ｙι（ただし、ι∈｛１，・・・，Ｆ｝）からなる列ｙ１，・・・，ｙＦである場合、各音響イベントに対応する音響イベントモデルは、それぞれ、以下のような確率モデルｐ（ｙι）を要素とする列ｐ（ｙ１），・・・，ｐ（ｙＦ）となる。
【数１０】
2015028579.tif 000012
ただし、ｙιは音響特徴量列（ベクトル）の要素、Ｊは正規分布の混合数、πｊは混合係数、Ｎ（・）は正規分布の確率密度関数、μｊは分布の平均、Σｊは分布の分散である。
【００４３】
或いは、音響イベントごとに音響特徴量列が対応付けられたものが音響イベントモデルとされてもよい。
【００４４】
特徴量算出部１１１から出力された音響特徴量列は音響イベント判定部１１２に入力される。音響イベント判定部１１２は、入力された音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、各フレーム（各要素番号ｉに対応）の音響特徴量列に対応する音響イベントを決定する。例えばＧＭＭが音響イベントモデルとして用いられる場合、音響イベント判定部１１２は、フレーム（要素番号ｉ）ごとに、入力された音響特徴量列の各要素ρι（ただし、ι∈｛１，・・・，Ｆ｝）を各音響イベントに対応する式（１３）の各確率モデルに代入し、各音響イベントに対応する確率ｐ（ρ１）×・・・×ｐ（ρＦ）を最大にする音響イベントを決定する。或いは、例えば音響イベントごとに音響特徴量列が対応付けられた音響イベントモデルの場合、音響イベント判定部１１２は、フレーム（要素番号ｉ）ごとに、入力された音響特徴量列との距離（ユークリッド距離やコサイン距離）が最も近い音響イベントモデルに対応する音響イベントを選択する。
【００４５】
音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、行動ラベル候補付き音響信号列１５−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を入力された行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを出力する。
【００４６】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは、音響信号列合成部１０１に入力される。以降の処理は実施例（１）−１−１と同じである。
【００４７】
なお、音響信号列合成部１０１で音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓの合成処理を行うことに代えて、特徴量算出部１１１の前段で行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓの合成処理を行っても良いし、音響イベント判定部１１２の前段で音響特徴量列の合成処理を行っても良い。
【００４８】
＜実施例（１）−１−３：図４＞
［行動ラベル候補付き音響特徴量から行動−音響イベント生成モデルおよび行動遷移モデルを算出し、行動を分析］
本実施例では、行動の時間変化を考慮に入れ、行動ラベル候補付き音響特徴量から、行動−音響イベントの生成モデルを算出する。同時に、行動の時間遷移を表す行動遷移モデルも算出してもよく、行動の分析も行ってもよい。すなわち本実施例では、音響信号に対応する音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、行動−音響イベント生成モデルを生成する。なお、行動の時間遷移を表す行動遷移モデルも算出してもよく、行動の分析も行ってもよい。
【００４９】
図４に例示するように、本実施例のモデル処理装置１２０は、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部１０１、モデル化部１０２、および記憶部１０３を有する。モデル処理装置１２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００５０】
まず音響イベント判定部１１２に、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓが入力される。各行動ラベル候補付き音響特徴量列１６−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）は、時間区間ごとに区分された時系列の音響信号列、時間区間ごとに区分された音響信号列の各要素に対応する要素番号、長時間（数ｓｅｃ以上）ごとに決定されて時間区間ごとに付与された行動ラベル（「行動情報」に相当）、および音響信号列の時間区間ごとの音響特徴量列を含む。音響特徴量列の具体例は、実施例（１）−１−２で説明した通りである。
【００５１】
音響イベント判定部１１２は、入力された行動ラベル候補付き音響特徴量列１６−ｓの音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルを、実施例（１）−１−２で説明したようにそれぞれ比較し、各フレーム（各要素番号ｉに対応）の音響特徴量列に対応する音響イベントを決定する。音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、行動ラベル候補付き音響特徴量列１６−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを出力する。
【００５２】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは、音響信号列合成部１０１に入力される。以降の処理は実施例（１）−１−１，（１）−１−２と同じである。
【００５３】
なお、音響信号列合成部１０１で音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓの合成処理を行うことに代えて、音響イベント判定部１１２の前段で音響特徴量列の合成処理を行っても良い。
【００５４】
＜実施例（１）−２−１：図５＞
［音響イベントラベル付き音響信号列から行動を推定］
実施例（１）−２−１では、実施例（１）−１−１〜（１）−１−３で説明したように得られた行動−音響イベント生成モデル１４および/または行動遷移モデル１７を用い、新たに入力された音響イベントラベル付き音響信号列から行動を推定する。
【００５５】
図５に例示するように、本実施例のモデル処理装置２００は、記憶部１０３および生成モデル比較部２０１を有する。モデル処理装置２００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００５６】
まず生成モデル比較部２０１に音響イベントラベル付き音響信号列２１が入力される。音響イベントラベル付き音響信号列２１は、前述の時間区間ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号、および当該時間区間ごとに決定されて付与された音響イベントラベルを含む。要素番号および音響イベントラベルは、音響信号列の要素ごとに付与される。
【００５７】
生成モデル比較部２０１は、入力された音響イベントラベル付き音響信号列２１と、記憶部１０３に格納された行動−音響イベント生成モデル１４および/または行動遷移モデル１７とを比較し、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動、又は最も適切なものから順番に複数個の行動を決定し、それらを推定結果として出力する。以下に音響イベントラベル付き音響信号列２１と各生成モデルとの比較方法を例示する。
【００５８】
［比較方法の例（１）−１］
音響イベントラベル付き音響信号列２１が有する音響イベントの分布と、行動の候補に対応する確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さに基づいて、行動が推定されてもよい。また、前時刻からの行動の候補の遷移確率に基づいて、行動が推定されてもよい。なお、行動の探索範囲は予め定められたものであってもよいし、音響イベントラベル付き音響信号列２１がこの探索範囲を特定するための情報を含み、この情報によって探索範囲が定められてもよい。探索範囲を特定するための情報の例は、行動の候補を表す行動ラベル候補である。このような行動ラベル候補は、要素番号毎に設定されていてもよいし、複数の要素番号に対して共通であってもよい。この場合、探索範囲が適切に設定されていれば行動の推定精度が向上する。
【００５９】
音響イベントラベル付き音響信号列２１が有する音響イベントの分布と、行動の候補に対応する確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さに基づいて、行動が推定される例では、まず生成モデル比較部２０１が、入力された音響イベントラベル付き音響信号列２１から、以下のようにｐ（ε）（ただし、ε∈｛１，・・・，Ｅ｝）を算出する。
【数１１】
2015028579.tif 000013
ただし、γは事前に設定された緩和パラメータ（例えば０．０１などの非負値）を表し、Ｃεは、音響イベントラベル付き音響信号列２１で音響イベントεを表す音響イベントラベルが付された要素の個数を表し、Ｎｓ’は音響イベントラベル付き音響信号列２１が含む音響信号列の要素数を表す。Ｎｓ’＝Ｎｓであってもよいし、Ｎｓ’≠Ｎｓであってもよい。
【００６０】
次に生成モデル比較部２０１は、ｐ（ε）と行動−音響イベント生成モデル１４とを、下記に記すカルバックライブラー情報量（Kullback-Leibler divergence: KL divergence）やイェンセンシャノン情報量（Jensen-Shannon divergence: JS divergence）などの情報量基準に基づいて比較することで、入力された音響イベントラベル付き音響信号列２１に対応する行動を推定する。
【数１２】
2015028579.tif 000014
【００６１】
式（１５）又は（１６）の例の場合、生成モデル比較部２０１は、Ｐ（ε）にｐ（ε）（ただし、ε∈｛１，・・・，Ｅ｝）を代入し、Ｑ（ε）に式（４）のφεａ（ただし、ε∈｛１，・・・，Ｅ），ａ∈｛１，・・・，Ａ｝）を代入する。これにより、生成モデル比較部２０１は、各行動の候補ａ∈｛１，・・・，Ａ｝に対応する情報量（合計Ａ個の情報量）を得る。行動の探索範囲が予め定められたものである場合にはＡは定数である。一方、行動の探索範囲が音響イベントラベル付き音響信号列２１に含まれる情報（行動ラベル候補等）によって特定される場合には、その探索範囲に属する行動の候補の総数がＡとなる。
【００６２】
生成モデル比較部２０１は、各行動ａ∈｛１，・・・，Ａ｝について算出された情報量のうち、最も小さな情報量に対応する行動、又は、最も小さな情報量から順番に選択した複数個の情報量に対応する複数個の行動を、音響イベントラベル付き音響信号列２１に対応する行動として決定して出力する。
【００６３】
生成モデル比較部２０１は、以下のように、行動遷移モデル１７が表す遷移確率πｘｉ-1ｘｉと前時刻（要素番号ｉ−１の時間区間）の行動推定結果ｘｉ−１を利用して、現時刻（要素番号ｉの時間区間）の行動ｘｉ＝ａを推定しても良い。
【数１３】
2015028579.tif 000015
【００６４】
［比較方法の例（１）−２］
音響イベントラベル付き音響信号列２１が有する音響イベントの時系列の並びに対する、確率Ｐ（音響イベント｜行動の候補）のもとでの行動の候補の尤もらしさに基づいて、行動が推定されてもよい。また、音響イベントラベル付き音響信号列２１が有する音響イベントの時系列の並びに対する、確率Ｐ（音響イベント｜行動の候補）のもとでの行動の候補の尤もらしさおよび、前時刻からの行動の候補の遷移確率の両方に基づいて行動が推定されても良い。ここでも上述のように、行動の探索範囲は予め定められたものであってもよいし、音響イベントラベル付き音響信号列２１がこの探索範囲を特定するための情報（例えば、行動の候補を表す行動ラベル候補）を含み、この情報によって探索範囲が定められてもよい。
【００６５】
以下に具体例を示す。以下の例では、生成モデル比較部２０１が、入力されたラベル付き音響信号列２１に対し、行動−音響イベント生成モデル１４のもとでの行動の尤度の和や積を求める。
【００６６】
≪行動−音響イベント生成モデル１４のもとでの行動の尤度の和の例≫
【数１４】
2015028579.tif 000016
【００６７】
≪行動−音響イベント生成モデル１４のもとでの行動の尤度の積の例≫
【数１５】
2015028579.tif 000017
【００６８】
ただし、式（１７）および（１８）のｅｉは、入力された音響イベントラベル付き音響信号列２１の要素番号ｉに対応する音響イベントラベルが表す音響イベントを表す。式（１７）および（１８）は、式（４）のφεａと、入力された音響イベントラベル付き音響信号列２１のｅｉとから算出できる。
【００６９】
行動の探索範囲が予め定められたものである場合には、その探索範囲に属する各行動の候補ａについて上記の尤度が算出され、行動の探索範囲が音響イベントラベル付き音響信号列２１に含まれる情報（行動ラベル候補等）によって特定される場合には、その探索範囲に属する各行動の候補ａについて上記の尤度が算出される。生成モデル比較部２０１は、各行動の候補ａについて算出した尤度のうち、最も尤度の高い行動の候補、又は、最も尤度の高いものから順番に選択した複数個の行動の候補を、入力された音響イベントラベル付き音響信号列２１に対応する行動として決定して出力する。
【００７０】
生成モデル比較部２０１は、以下のように、行動−音響イベント生成モデル１４のもとでの行動の尤度の和や積および、行動遷移モデル１７が表す遷移確率πｘｉ-1ｘｉと前時刻（要素番号ｉ−１の時間区間）の行動推定結果ｘｉ−１を利用して、現時刻（要素番号ｉの時間区間）の行動ｘｉ＝ａを推定しても良い。
【００７１】
≪行動−音響イベント生成モデル１４のもとでの行動の尤度の和および、行動遷移モデル１７と前時刻の行動推定結果を利用する場合の例≫
【数１６】
2015028579.tif 000018
【００７２】
≪行動−音響イベント生成モデル１４のもとでの行動の尤度の積および、行動遷移モデル１７と前時刻の行動推定結果を利用する場合の例≫
【数１７】
2015028579.tif 000019
【００７３】
＜実施例（１）−２−２：図６＞
［音響信号列から行動を推定］
本実施例では、実施例（１）−１−１〜（１）−１−３で説明したように得られた行動−音響イベント生成モデル１４および/または行動遷移モデル１７を用い、新たに入力された音響信号列から行動を推定する。
【００７４】
図６に例示するように、本実施例のモデル処理装置２１０は、特徴量算出部２１１、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部１０３、生成モデル比較部２０１を有する。モデル処理装置２１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００７５】
まず特徴量算出部２１１に音響信号列２２が入力される。音響信号列２２は、時間区間ごとに区分された時系列の音響信号列、および時間区間ごとに区分された音響信号列の各要素に対応する要素番号を含む。
【００７６】
特徴量算出部２１１は、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。例えば特徴量算出部２１１は、前述した特徴量算出部１１１と同じ方法で音響特徴量列を算出する。
【００７７】
音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、特徴量算出部２１１から出力された音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響信号列２２の全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した音響イベントを表す音響イベントラベルを音響信号列２２の各要素に付することで、音響イベントラベル付き音響信号列２１を生成して出力する。
【００７８】
音響イベントラベル付き音響信号列２１は、生成モデル比較部２０１に入力される。以降の処理は実施例（１）−２−１と同じである。
【００７９】
＜実施例（１）−２−３：図７＞
[音響特徴量から行動を推定]
本実施例では、実施例（１）−１−１〜（１）−１−３で説明したように得られた行動−音響イベント生成モデル１４および/または行動遷移モデル１７を用い、新たに入力された音響特徴量列から行動を推定する。
【００８０】
図７に例示するように、本実施例のモデル処理装置２２０は、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部１０３、生成モデル比較部２０１を有する。モデル処理装置２２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００８１】
まず音響イベント判定部２１２に音響特徴量列２３が入力される。音響特徴量列２３は、時間区間ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号、および音響信号列の音響特徴量列を含む。音響特徴量列の具体例は、実施例（１）−１−２で説明した通りである。
【００８２】
音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、音響特徴量列２３の音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響特徴量列２３が含む音響信号列の全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した各要素の音響イベントを表す音響イベントラベルを、音響特徴量列２３が含む音響信号列に付することで、音響イベントラベル付き音響信号列２１を生成して出力する。
【００８３】
音響イベントラベル付き音響信号列２１は、生成モデル比較部２０１に入力される。以降の処理は実施例（１）−２−１と同じである。
【００８４】
＜実施例（１）−３−１：図８＞
［音響イベントラベル付き音響信号列から行動を推定すると共に、音響イベントラベルおよび行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出］
本実施例は、実施例（１）−１−１と実施例（１）−２−１との組み合わせである。本実施例では、音響イベントラベル付き音響信号列２１を入力として行動を推定することに加え、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを入力とし、行動−音響イベント生成モデル１４の生成も行う。さらに行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに、推定結果である行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１が含む音響信号列の各要素に付与することで、音響イベントラベルおよび行動ラベル候補付き音響信号列を得、それを生成モデルの更新に利用することもできる。
【００８５】
図８に例示するように、本実施例のモデル処理装置３００は、記憶部１０３，３０３、音響信号列合成部１０１、モデル化部１０２、および生成モデル比較部２０１を有する。モデル処理装置３００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【００８６】
記憶部３０３には、前述した音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、および前述した音響イベントラベル付き音響信号列２１が格納されている。
【００８７】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは音響信号列合成部１０１に入力される。音響信号列合成部１０１およびモデル化部１０２は、実施例（１）−１−１で説明したように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓから行動−音響イベント生成モデル１４を生成し、それを記憶部１０３に格納する。また、実施例（１）−１−１で説明したように、モデル化部１０２が行動遷移モデル１７を生成して記憶部１０３に格納してもよいし、行動ラベル１８を生成して記憶部１０３に格納してもよい。
【００８８】
音響イベントラベル付き音響信号列２１は生成モデル比較部２０１に入力される。音響イベントラベル付き音響信号列２１は、実施例（１）−２−１で説明したように、入力された音響イベントラベル付き音響信号列２１と、記憶部１０３に格納された行動−音響イベント生成モデル１４および/または行動遷移モデル１７とを比較し、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動、又は最も適切なものから順番に複数個の行動を選択し、それらを推定結果として出力する。
【００８９】
さらに生成モデル比較部２０１は、決定した行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１の対応する各要素に付与し、それによって新たな音響イベントラベルおよび行動ラベル候補付き音響信号列２１’を生成して出力してもよい。この場合、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓとともに音響信号列合成部１０１に入力されてもよい。この場合、音響信号列合成部１０１は、入力されたすべての音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ，２１’を時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列１１’（「第３音響イベントラベル列」および「第３行動ラベル候補」）を得て出力する。モデル化部１０２は、実施例（１）−１−１のラベル付き音響信号列１１（「音響イベントラベル列」および「行動ラベル候補」）に代えて、音響イベントラベルおよび行動ラベル候補付き音響信号列１１’（「第３音響イベントラベル列」および「第３行動ラベル候補」）を用い、再度、実施例（１）−１−１で説明したように、行動−音響イベント生成モデル１４を生成し、それを記憶部１０３に格納する。さらにモデル化部１０２が、ラベル付き音響信号列１１に代えて、入力された音響イベントラベルおよび行動ラベル候補付き音響信号列１１’を用い、再度、実施例（１）−１−１で説明したように、行動遷移モデル１７を生成して記憶部１０３に格納してもよいし、行動ラベル１８を生成して記憶部１０３に格納してもよい。
【００９０】
また、生成モデル比較部２０１の処理およびモデル化部１０２の処理のどちらを先に行っても良い。ただし、モデル化部１０２の処理を行う前に生成モデル比較部２０１の処理を行う場合、記憶部１０３に予め得られた行動−音響イベント生成モデル１４および/または行動遷移モデル１７が格納されている必要がある。
【００９１】
また、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、新たに入力された音響イベントラベルおよび行動ラベル候補付き音響信号列とともに音響信号列合成部１０１に入力されてもよい。音響信号列合成部１０１は、これらを時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列（「第３音響イベントラベル列」および「第３行動ラベル候補」）を得て、モデル化部１０２に送出し、モデル化部１０２が上述の処理を行ってもよい。
その他の処理は実施例（１）−１−１および実施例（１）−２−１と同じである。
【００９２】
＜実施例（１）−３−２：図９＞
［音響信号列から行動を推定すると共に、行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出］
本実施例は実施例（１）−１−２と実施例（１）−２−２の組み合わせである。
本実施例では、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓを入力として、学習によって、行動−音響イベント生成モデル１４を算出する。さらに行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに本実施例では、行動−音響イベント生成モデル１４および/または行動遷移モデル１７を用い、新たに入力された音響信号列２２から行動を推定する。
【００９３】
図９に例示するように、本実施例のモデル処理装置３１０は、特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および実施例（１）−３−１のモデル処理装置３００（図８参照）を有する。
【００９４】
行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓは、それぞれ特徴量算出部１１１−１，・・・，１１１−Ｓに入力される。特徴量算出部１１１−１，・・・，１１１−Ｓは、実施例（１）−１−２で説明したように、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓから、それぞれ音響特徴量列を得て出力する。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【００９５】
音響信号列２２は特徴量算出部２１１に入力される。特徴量算出部２１１は、実施例（１）−２−２で説明したように、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。音響イベント判定部２１２は、実施例（１）−２−２で説明したように、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【００９６】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部３０３（図８）に格納される。以降の処理は実施例（１）−３−１と同じである。
【００９７】
＜実施例（１）−３−３：図１０＞
［音響特徴量から行動を推定すると共に、行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出］
本実施例は実施例（１）−１−３と実施例（１）−２−３との組み合わせである。
本実施例では、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓを入力として、学習によって、行動−音響イベント生成モデル１４を算出する。行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに本実施例では、行動−音響イベント生成モデル１４を用い、新たに入力された音響特徴量列２３から行動を推定する。
【００９８】
図１０に例示するように、本実施例のモデル処理装置３２０は、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置３００（図８参照）を有する。
【００９９】
行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓは、それぞれ音響イベント判定部１１２−１，・・・，１１２−Ｓに入力される。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓの音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【０１００】
音響特徴量列２３は音響イベント判定部２１２に入力される。音響イベント判定部２１２は、実施例（１）−２−３と同様に、入力された音響特徴量列２３の音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１０１】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部３０３（図８）に格納される。以降の処理は実施例（１）−３−１と同じである。
【０１０２】
＜実施例（１）−４−１：図１１＞
［音響イベントラベル付き音響信号列から行動を推定すると共に、音響イベントラベルおよび行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出。特別なシンボルを用いる］
本実施例は実施例（１）−３−１の変形である。
本実施例では、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、および音響イベントラベル付き音響信号列２１を入力とし、行動−音響イベント生成モデル１４を算出する。行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに、音響イベントラベル付き音響信号列２１に対応する行動を推定する。さらに、推定された行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１が含む音響信号列の各要素に付与することで、音響イベントラベルおよび行動ラベル候補付き音響信号列を得、それを生成モデルの更新に利用することもできる。
【０１０３】
図１１に例示するように、本実施例のモデル処理装置４００は、記憶部１０３、３０３、音響信号列合成部４０１、モデル化部４０２、および生成モデル比較部４０３を有する。モデル処理装置４００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１０４】
音響信号列合成部４０１に、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓおよび音響イベントラベル付き音響信号列２１が入力される。音響信号列合成部４０１は、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１を時系列方向につなぎ合わせ、それによって１つの音響イベントラベルおよび行動ラベル候補付き音響信号列４１（以下、単に「ラベル付き音響信号列４１」という）を得て出力する。ここで前述のように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは、行動ラベル候補によって行動の候補が表された音響イベント（第４音響イベント）の時系列の並びを含む。一方、音響イベントラベル付き音響信号列２１は、行動ラベル候補によって行動の候補が表されていない音響イベント（第５音響イベント）の時系列の並びを含む。したがって、ラベル付き音響信号列４１が含む音響イベントの時系列の並びは、行動ラベル候補によって行動の候補が表された第４音響イベントの時系列の並び、および行動ラベル候補によって行動の候補が表されていない第５音響イベントの時系列の並びを含む。ラベル付き音響信号列４１は、モデル化部４０２に入力される。なお、予め、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１からラベル付き音響信号列４１が得られている場合には、音響信号列合成部４０１を経由することなく、ラベル付き音響信号列４１がそのままモデル化部４０２に入力されてもよい。
【０１０５】
モデル化部４０２は、実施例（１）−１−１のラベル付き音響信号列１１に代えて、入力されたラベル付き音響信号列４１を用い、実施例（１）−１−１のモデル化部１０２と同じ方法で、行動−音響イベント生成モデル１４を算出する。行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。ただし、モデル化部４０２は、上述の「第５音響イベント」を生じさせた行動の候補として特別なシンボルを用いて学習処理を行う。すなわちモデル化部４０２は、この特別なシンボルを一つの独立した特別な行動ラベル候補とみなす。この特別な行動ラベル候補は、一般的な何れの行動（料理、掃除など）を表すものでもない。例えば、この特別な行動ラベル候補が、「行動の候補が未知であること」を表してもよい。
【０１０６】
すなわちモデル化部４０２は、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）、およびこの特別なシンボルが音響イベントを生成する確率Ｐ（音響イベント｜特別なシンボル）を得、それらに対応する行動−音響イベント生成モデル１４を得る。行動−音響イベント生成モデル１４は、記憶部１０３に格納される。行動遷移モデル１７や行動ラベル１８の生成を行った場合には、それらも記憶部１０３に格納される。
【０１０７】
生成モデル比較部４０３には、行動−音響イベント生成モデル１４および/または行動遷移モデル１７が入力される。生成モデル比較部４０３は、入力された行動−音響イベント生成モデル１４に対応する、確率Ｐ（音響イベント｜行動の候補）と確率Ｐ（音響イベント｜特別なシンボル）とを比較し、特別なシンボルに対応する行動の内容を推定し、それらの推定結果を出力する。また、生成モデル比較部４０３は、入力された行動遷移モデル１７に対応する、遷移確率Ｐ（現時刻の行動の候補｜前時刻の行動の候補）と遷移確率Ｐ（特別なシンボル｜前時刻の行動の候補）とを比較し、特別なシンボルに対応する行動の内容を推定し、それらの推定結果を出力してもよい。例えば、生成モデル比較部４０３は、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動、又は最も適切なものから順番に複数個の行動を選択し、それらを推定結果として出力する。
【０１０８】
［比較方法の例示］
生成モデル比較部４０３による比較は、例えば、実施例（１）−２−１で説明した情報量基準に基づいて行うことができる。例えば、式（１５）又は（１６）の情報量基準を用い、確率Ｐ（音響イベント｜行動の候補）と確率Ｐ（音響イベント｜特別なシンボル）とを比較する場合、生成モデル比較部４０３は、Ｐ（ε）に式（４）のφεａのうち特別なシンボルａ’∈｛１，・・・，Ａ｝に対応するφεａ’（ただし、ε∈｛１，・・・，Ｅ）｝を代入し、Ｑ（ε）に他の行動の候補ａ’’≠ａ’（ただし、ａ’’∈｛１，・・・，Ａ｝）に対応するφεａ’’（ただし、ε∈｛１，・・・，Ｅ））を代入する。遷移確率Ｐ（現時刻の行動の候補｜前時刻の行動の候補）と遷移確率Ｐ（特別なシンボル｜前時刻の行動の候補）とを比較する場合、生成モデル比較部４０３は、Ｐ（ε）に特別なシンボルａ’に対応するＰ（ｘｉ＝ａ’｜ｘｉ−１，πｘｉ−１ｘｉ）を代入し、Ｑ（ε）に他の行動の候補ａ’’≠ａ’に対応するＰ（ｘｉ＝ａ’’｜ｘｉ−１，πｘｉ−１ｘｉ）を代入する。
【０１０９】
これにより、生成モデル比較部４０３は、他の行動ａ’’≠ａ’（ただし、ａ’’∈｛１，・・・，Ａ｝）に対応する情報量（合計Ａ−１個の情報量）を得る。生成モデル比較部４０３は、各行動ａ’’について算出された情報量のうち、最も小さな情報量に対応する行動の候補、又は、最も小さな情報量から順番に選択した複数個の情報量に対応する複数個の行動の候補を、音響イベントラベル付き音響信号列２１に対応する行動として決定して出力する。
【０１１０】
生成モデル比較部４０３は、以上のように決定した行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１の対応する各要素に付与し、それによって新たな音響イベントラベルおよび行動ラベル候補付き音響信号列４１’を生成して出力してもよい。この場合、音響イベントラベルおよび行動ラベル候補付き音響信号列４１’が、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓとともに音響信号列合成部４０１に入力されてもよい。この場合、音響信号列合成部４０１は、入力されたすべての音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ，４１’を時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を得て出力する。モデル化部４０２は、実施例（１）−１−１のラベル付き音響信号列１１に代えて、音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を用い、再度、実施例（１）−１−１で説明したように、行動−音響イベント生成モデル１４を生成し、それを記憶部１０３に格納する。さらにモデル化部４０２が、入力された音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を用い、再度、実施例（１）−１−１で説明したように、行動遷移モデル１７を生成して記憶部１０３に格納してもよいし、行動ラベル１８を生成して記憶部１０３に格納してもよい。
【０１１１】
また、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、新たに入力された音響イベントラベルおよび行動ラベル候補付き音響信号列とともに音響信号列合成部４０１に入力されてもよい。音響信号列合成部４０１は、これらを時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列を得て、モデル化部４０２に送出し、モデル化部１０２が上述の処理を行ってもよい。
その他の処理は実施例（１）−１−１、実施例（１）−２−１、および実施例（１）−３−１と同じである。
【０１１２】
＜実施例（１）−４−２：図９＞
［音響信号列から行動を推定すると共に、行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出。特別なシンボルを用いる］
本実施例は実施例（１）−３−２の変形である。
本実施例では、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓおよび音響信号列２２を入力として、学習によって、行動−音響イベント生成モデル１４を算出する。さらに行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに本実施例では、行動−音響イベント生成モデル１４を用い、音響信号列２２に対応する行動を推定する。
【０１１３】
図９に例示するように、本実施例のモデル処理装置４１０は、特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および実施例（１）−４−１のモデル処理装置４００（図１１参照）を有する。
【０１１４】
行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓは、それぞれ特徴量算出部１１１−１，・・・，１１１−Ｓに入力される。特徴量算出部１１１−１，・・・，１１１−Ｓは、実施例（１）−１−２で説明したように、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓから、それぞれ音響特徴量列を得て出力する。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【０１１５】
音響信号列２２は特徴量算出部２１１に入力される。特徴量算出部２１１および音響イベント判定部２１２は、実施例（１）−２−２で説明したように、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。音響イベント判定部２１２は、実施例（１）−２−２で説明したように、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１１６】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部３０３（図１１）に格納される。以降の処理は実施例（１）−３−１と同じである。
【０１１７】
＜実施例（１）−４−３：図１０＞
［音響特徴量から行動を推定すると共に、行動ラベル候補付き音響信号列から行動−音響イベント生成モデルおよび行動遷移モデルを算出。特別なシンボルを用いる］
本実施例は実施例（１）−３−３の変形である。
本実施例では、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓおよび音響特徴量列２３を入力として、学習によって、行動−音響イベント生成モデル１４を算出する。行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに本実施例では、行動−音響イベント生成モデル１４を用い、音響特徴量列２３に対応する行動を推定する。
【０１１８】
図１０に例示するように、本実施例のモデル処理装置４２０は、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置４００（図１１参照）を有する。
【０１１９】
行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓは、それぞれ音響イベント判定部１１２−１，・・・，１１２−Ｓに入力される。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【０１２０】
音響特徴量列２３は音響イベント判定部２１２に入力される。音響イベント判定部２１２は、実施例（１）−２−３と同様に、入力された音響特徴量列２３の音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１２１】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部３０３（図１１）に格納される。以降の処理は実施例（１）−４−１と同じである。
【０１２２】
＜実施例（２）−１−１：図１２＞
［行動の時間変化および/または状況の時間変化を考慮に入れ、音響イベントラベルおよび行動ラベル候補付き音響信号から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出し、同時に、行動や状況を分析］
本実施例では、行動の時間変化および/または状況の時間変化を考慮に入れ、音響イベントラベルおよび行動ラベル候補付き音響信号から、状況−音響イベント生成モデルを算出する。同時に、行動−状況生成モデルを算出してもよく、行動−音響イベント生成モデルを算出してもよく、行動の時間遷移を表す行動遷移モデルを算出してもよく、状況の時間遷移を表す状況遷移モデルを算出してもよく、行動や状況の分析も行ってもよい。
【０１２３】
すなわち、本実施例では、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、音響イベントを生じさせた行動の候補を表す行動ラベル候補、および音響イベントを生じさせた状況の候補の総数を用い、「音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと行動の候補の時系列の並びおよび/または状況の時系列の並びと行動の候補に対応する状況の候補の組み合わせとの同時事後確率」を最大化するための処理を行う学習処理を行う。例えば、この学習処理は、行動の時間遷移/または状況の時間遷移に基づく行動または状況の出現確率および、行動または状況による音響イベントの出現確率に基づいて、音響イベントの時系列の並びにおける、行動の候補に対する音響イベントの組み合わせと行動の候補の時系列の並びと行動に対する状況の候補の組み合わせとの同時事後確率を最大化するための処理である。例えば、音響イベントの時系列の並びからなる音響イベントの組み合わせに対する尤度関数Ｐ（音響イベントの組み合わせ｜行動の候補の時系列の並びおよび/または状況の時系列の並び，行動の候補に対応する状況の候補の組み合わせ）を最大にする処理が行われる。それにより、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）を「状況−音響イベント生成モデル」として得る。また、この学習処理によって、行動の候補が状況の候補を生成する確率Ｐ（状況の候補｜行動の候補）を「行動−状況生成モデル」として得てもよいし、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）を「行動−音響イベント生成モデル」として得てもよいし、行動の候補の時系列の遷移確率を「行動遷移モデル」として得てもよいし、状況の候補の時系列の遷移確率を「状況遷移モデル」として得てもよい。なお「状況遷移モデル」とは、状況の候補の時系列の遷移確率である。状況遷移モデルの例は、ラベル付き音響信号列１１に付与されたすべての行動ラベル候補を対象とした遷移確率π’zｉ−１zｉを（zｉ−１，zｉ）要素とするＴ×Ｔ行列である。ただし、遷移確率π’zｉ−１zｉは、前時刻での状況の候補ｚｉ−１（要素番号ｉ−１での状況の候補）から現時刻での状況の候補ｚｉ（要素番号ｉでの状況の候補）への遷移確率を表し、π’ｚｉ−１ｚｉの上付き「ｚｉ−１」はｚｉ−１を表し、下付き「ｚｉ」はｚｉを表し、Ｔは状況の候補の総数（状況の候補の種類の個数）を表す。さらに、この学習処理の過程で何れかの行動の候補を選択し、各音響イベントがどの行動によって生成されたのかを分析してもよい。この場合には選択した行動の候補を表す行動ラベルを出力してもよい。またさらに、この学習処理の過程で何れかの状況の候補を選択し、各音響イベントがどの状況によって生成されたのかを分析してもよい。この場合には選択した状況の候補を表す状況ラベルを出力してもよい。なお「状況の候補の総数」は、音響イベントラベル列とともに入力される値であってもよいし、予め定められた定数であってもよい。
【０１２４】
図１２に例示するように、本実施例のモデル処理装置１００は、音響信号列合成部１０１、モデル化部１１０２、および記憶部１１０３を有する。モデル処理装置１００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１２５】
まず音響信号列合成部１０１に、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ（ただし、Ｓは１以上の整数）が入力される。図１３に例示するように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−ｓ（ただし、ｓ＝１，・・・，Ｓ）は、前述の時間区間ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号ｉ（ただし、ｉ＝１，・・・，Ｎｓ、Ｎｓは正整数）、当該時間区間ごとに決定されて付与された音響イベントラベル、当該時間区間ごとに付与された行動ラベル候補、および響イベントラベルおよび行動ラベル候補付き音響信号列１１−ｓに対応する音響信号列番号ｓを含む。上記時間区間ごとに複数個の行動ラベル候補が付与されてもよいし（例えば、図１３の音響信号列番号１−要素番号１の時間区間）、単一の行動ラベル候補が付与されてもよい（例えば、図１３の音響信号列番号２−要素番号１の時間区間）。
【０１２６】
複数個の音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ（以下、単に「ラベル付き音響信号列１１−１，・・・，１１−Ｓ」という）が音響信号列合成部１０１に入力された場合、音響信号列合成部１０１は、それらを時系列方向につなぎ合わせ、それによって１つの音響イベントラベルおよび行動ラベル候補付き音響信号列１１（以下、単に「ラベル付き音響信号列１１」という）を得て出力する（合成処理）。音響信号列合成部１０１に１つの音響信号列１１−１のみが入力された場合、音響信号列合成部１０１はそれをラベル付き音響信号列１１として出力する。音響信号列合成部１０１から出力された音響イベントラベルおよび行動ラベル候補付き音響信号列は、モデル化部１１０２に入力される。なお、音響信号列合成部１０１を経由することなく、１つラベル付き音響信号列１１がそのままモデル化部１１０２に入力されてもよい。
【０１２７】
モデル化部１１０２は、以下の手順に従って、入力されたラベル付き音響信号列１１から、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４の少なくとも何れかを生成し、それらを記憶部１１０３に格納する。モデル化部１０２は、行動遷移モデル１７を生成してもよいし、状況遷移モデルを生成してもよいし、行動ラベル１８を生成してもよいし、状況ラベル１９を生成してもよい。生成された行動遷移モデル１７や状況遷移モデルや行動ラベル１８や状況ラベル１９も記憶部１１０３に格納される。
【０１２８】
［行動から音響イベントが生成される過程の論理的説明］
モデル化部１１０２は、ラベル付き音響信号列１１から、行動の候補が状況の候補を生成する確率Ｐ（状況の候補｜行動の候補）としたときの行動−状況生成モデル１２と、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）としたときの状況−音響イベント生成モデル１３と、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）としたときの行動−音響イベント生成モデル１４との少なくとも何れかを算出する。つまり本実施例では、行動の候補が状況の候補の生成確率を規定し、状況の候補が音響イベントの生成確率を規定すると考え（つまり、間接的に行動の候補が音響イベントの生成確率を規定するとも考えられる）、これらの関係を各生成モデルとして記述する。また、行動の候補の時系列の遷移確率を算出し、行動遷移モデル１７を得てもよい。
【０１２９】
状況の候補における音響イベントの生成確率Φ’、ラベル付き音響信号列１１が有する行動ラベル候補が表す行動の候補のすべてからなる集合Ω、行動ラベル候補が表す行動の候補における状況の候補の生成確率Θ、および行動ラベル候補が表す行動の候補の遷移確率Πおよび／または状況の候補の遷移確率Π’が与えられた場合における、音響イベントの列ｅの生成確率Ｐ（ｅ｜Π，Θ，Φ’，Ω），Ｐ（ｅ｜Π’，Θ，Φ’，Ω），Ｐ（ｅ｜Π，Π’，Θ，Φ’，Ω）は以下の通りである。
【数１８】
2015028579.tif 000020
ただし、Ａは行動の候補の総数、Ｔは状況の候補の総数（状況の候補の種類の個数）、Ｅは音響イベントの種類の個数、ｅはラベル付き音響信号列１１に与えられた音響イベントの列（ベクトル）、Πは各時間区間の行動の候補ａ（ただし、ａ∈｛１，・・・，Ａ｝）が次の時間区間で行動の候補ａ’（ただし、ａ’∈｛１，・・・，Ａ｝）に遷移する確率を（ａ，ａ’）要素とするＡ×Ａ行列、Π’は各時間区間の状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）が次の時間区間で行動の候補ｔ’（ただし、ｔ’∈｛１，・・・，Ｔ｝）に遷移する確率を（ｔ，ｔ’）要素とするＴ×Ｔ行列、Θは行動の候補ａ（ただし、ａ∈｛１，・・・，Ａ｝）が状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）を生成する確率Ｐ（ｔ｜ａ）を（ａ，ｔ）要素とするＡ×Ｔ行列、Φ’は状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）が音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ｔ）を（ｔ，ε）要素とするＴ×Ｅ行列、Ωは各音響信号列がとり得る行動ラベル候補を音響信号列分並べて列とした、集合のベクトル、ｅ’ｓは各ラベル付き音響信号列１１−ｓに与えられた音響イベントの列（Ｎｓ次元ベクトル：Ｎｓはラベル付き音響信号列１１−ｓに対応する音響イベントの個数）、ａｓはラベル付き音響信号列１１−ｓに付与され得る行動の集合、Ｓはラベル付き音響信号列１１を構成するラベル付き音響信号列１１−ｓの個数を表す。なお、Ωとａｓの関係は以下のように表される。
Ω＝[ａ１,ａ２,…,ａｓ,…,ａＳ］
【０１３０】
行動の候補の集合ａｓ、行動の候補ａの遷移確率πａの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）γ、行動の候補ａにおける状況の候補ｔの生成確率θａの事前分布のパラメータ(Ｄｉｒｉｃｈｌｅｔ分布に従うものとする)α、状況の候補ｔにおける音響イベントεの生成確率φｔの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）β’が与えられたときの、音響イベントの列ｅ’ｓの生成確率Ｐ（ｅ’ｓ，Π，Θ，Φ’｜γ，α，β’，Ω）、行動の候補の集合ａｓ、状況の候補ｔの遷移確率π’ｔの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）γ’、パラメータα，β’が与えられたときの、音響イベントの列ｅ’ｓの生成確率Ｐ（ｅ’ｓ，Π’，Θ，Φ’｜γ’，α，β’，Ω）、および行動の候補の集合ａｓ、パラメータγ，γ’，α，β’が与えられたときの、音響イベントの列ｅ’ｓの生成確率Ｐ（ｅ’ｓ，Π，Π’，Θ，Φ’｜γ，γ’，α，β’，Ω）は、以下の通りである。
【数１９】
2015028579.tif 000021
ただし、ｅｉはラベル付き音響信号列１１−ｓの要素番号ｉに対応する音響イベント、Ｎｓはラベル付き音響信号列１１−ｓに対応する要素数（要素番号ｉの最大値）、ｚｉはラベル付き音響信号列１１−ｓの要素番号ｉに対応する音響信号が表状況の候補、ｘｉはラベル付き音響信号列１１−ｓの要素番号ｉに対応する行動ラベル候補が表す行動の候補、πｘｉ−１ｘｉはラベル付き音響信号列１１−ｓの要素番号ｉ−１に対応する行動ラベル候補が表す行動の候補ｘｉ−１から要素番号ｉに対応する行動ラベル候補が表す行動の候補ｘｉへの遷移確率を表す。また、φｔは状況の候補ｔが音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ｔ）をε番目の要素とするＥ次元ベクトルを表す。θａは行動の候補ａが状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）を生成する確率Ｐ（ｔ｜ａ）をｔ番目の要素とするＴ次元ベクトルを表す。
【０１３１】
［生成モデルの算出過程の説明］
モデル化部１１０２は、入力されたラベル付き音響信号列１１から、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）を算出し、それを状況−音響イベント生成モデル１３として記憶部１１０３に格納する。モデル化部１１０２は、行動の候補が状況の候補を生成する確率Ｐ（状況の候補｜行動の候補）を算出し、それを行動−状況生成モデル１２として記憶部１１０３に格納してもよい。また、モデル化部１１０２は、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）を行動−音響イベント生成モデル１４として算出してもよいし、行動の候補の遷移確率を算出し、それを行動遷移モデル１７として記憶部１１０３に格納してもよい。
【０１３２】
さらにモデル化部１１０２は、入力されたラベル付き音響信号列１１が有する行動ラベル候補から尤もらしいラベルを選択し、選択した行動ラベル候補からなる行動ラベル列１８を外部に出力したり、記憶部１１０３に格納したりしてもよい。尤もらしいラベルは、各時間区間に対して１つでもよいし、複数個でもよい。また、各時間区間において尤もらしさが閾値を超えたすべての行動ラベル候補を選択し、選択した時間区間ごとに単一または複数の行動ラベル候補からなる行動ラベル１８の列を外部に出力したり、記憶部１１０３に格納したりしてもよい。
【０１３３】
またモデル化部１１０２は、入力されたラベル付き音響信号列１１に対して尤もらしい状況を表す状況ラベル１９を選択して外部に出力したり、記憶部１１０３に格納したりしてもよい。選択される状況ラベル１９は、各時間区間に対して１個でもよいし、複数個でもよい。また、各時間区間において尤もらしさが閾値を超えたすべての状況を表すラベルを状況ラベル１９の列を外部に出力したり、記憶部１１０３に格納したりしてもよい。
【０１３４】
行動−状況生成モデル１２および状況−音響イベント生成モデル１３の算出は、入力されたラベル付き音響信号列１１の音響イベントの時系列の並びにおける、行動の候補に対応する音響イベントの組み合わせと、行動の候補の時系列の並びと、行動の候補に対応する状況の候補の組み合わせと、の同時事後確率を最大化する処理を用いて行われる。例えば、マルコフ連鎖モンテカルロ法（ＭＣＭＣ法：Markov Chain Monte Carlo methods）や変分ベイズ法（ＶＢ法：Variational Bayes methods）などの手法を用いることができる。ＭＣＭＣ法には，Ｍ−Ｈアルゴリズムやギブスサンプリングなどの手法がある。ここでは一例としてギブスサンプリングによる生成モデルの算出手法を説明する。
【０１３５】
(i)モデル化部１１０２は、ハイパパラメータとしてパラメータα，β’ならびにγおよび／またはγ’を事前に決定する。
(ii)モデル化部１１０２は、全てのラベル付き音響信号列１１−ｓ（ただしｓ＝１，...，Ｓ）の全ての要素番号ｉに対応する要素に行動の候補ｘｉをランダムに割り当てる（割り当てはラベル付き音響信号列１１−ｓに与えられた行動ラベル候補が表す行動の候補からランダムに行う）。あるいは、要素番号ｉに対応する要素への行動の候補ｘｉの割り当ては、事前にモデル化部１１０２に設定しておいた割り当てであってもよい。
【０１３６】
(iii)モデル化部１１０２は、全てのラベル付き音響信号列１１−ｓ（ただしｓ＝１，...，Ｓ）の各要素番号ｉ（要素番号ｉ−１またはｉ＋１に対応する要素が存在しない要素番号ｉを除く）について、以下の(iii-a)および(iii-b)を交互に、規定の回数（正値であり、例えば１〜３０００回程度）、もしくは、所望の結果が得られるまで（例えば、割り当ての前後において、行動の割り当て先の変化が一定の閾値（例えば０．３％）以下になるまでなど）繰り返す。
【０１３７】
(iii-a)は以下の(iii-a-1)および(iii-a-2)からなる。
(iii-a-1)モデル化部１１０２は、以下の式（２３ａ−１）〜（２３ａ−３）の何れかにより、更新対象のラベル付き音響信号列の要素番号ｉを除いた要素番号に対応する音響信号列に対して、要素番号ｉの要素に行動の候補ａに割り当てられる確率分布Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｅ，Ω，α，γ），Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｚ−ｉ，ｅ，Ω，α，γ’），Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｚ−ｉ，ｅ，Ω，α，γ，γ’）の何れかを更新する。
【数２０】
2015028579.tif 000022
ただし、ＣｔａＴＡは更新対象のラベル付き音響信号列（初期値はラベル付き音響信号列１１）で状況の候補ｔに行動の候補ａが割り当てられた回数を表す。ｚ−ｉは要素番号ｉ以外の要素番号に対応する状況からなる列を表す。なお、表記制約上の都合から「ＣｔａＴＡ」と表記するが、本来は式（２３ａ−１）〜（２３ａ−３）に示すように「ＣｔａＴＡ」の「ＴＡ」は「ｔａ」の上に表記される。Ｒｚｉｚｉ＋１は、更新対象のラベル付き音響信号列に対応するすべて状況の候補の並びの中で、状況の候補ｚｉ＝ｔ∈Ω”＝｛１，・・・，Ｔ｝と同一の候補から行動の候補ｚｉ＋１と同一の候補に遷移した回数を表す。その他は、前述の式（３）に用いた記号の定義と同じである。
【０１３８】
(iii-a-2)モデル化部１１０２は、上記の更新式（２３ａ−１）〜（２３ａ−３）の何れかで得られた確率分布Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｅ，Ω，α，γ），Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｚ−ｉ，ｅ，Ω，α，γ’），Ｐ（ｘｉ＝ａ｜ｘ−ｉ，ｚ−ｉ，ｅ，Ω，α，γ，γ’）の何れかに従って、各要素番号ｉの要素に割り当てる行動の候補ｘｉをサンプリング（選択）する。モデル化部１１０２は、このようにサンプリングした行動の候補ｘｉを要素番号ｉの要素に割り当て、要素番号ｉに対応する行動の候補を更新する。これにより更新対象のラベル付き音響信号列を更新する。
【０１３９】
(iii-ｂ-1)モデル化部１１０２は、以下の式により、更新対象のラベル付き音響信号列の要素番号ｉを除いた要素番号に対応する音響信号列に対して、要素番号ｉに対応する音響イベントが状況の候補ｔに割り当てられる確率分布Ｐ（ｚｉ＝ｔ｜ｚ−ｉ，ｅ，Ω，α，β’）を更新する。
【数２１】
2015028579.tif 000023
ただし、ＣεｔＥＴは更新対象のラベル付き音響信号列で音響イベントεに状況の候補ｔが割り当てられた回数を表す。その他は、前述の式（２３ａ−１）〜（２３ａ−３）に用いた記号の定義と同じである。
【０１４０】
(iii-ｂ-2)モデル化部１１０２は、上記の更新式（２３ｂ）で得られた確率分布Ｐ（ｚｉ＝ｔ｜ｚ−ｉ，ｅ，Ω，α，β’）に従って、各要素番号ｉの要素に割り当てる状況の候補をサンプリング（選択）する。モデル化部１１０２は、このようにサンプリングした状況の候補を各要素番号ｉの要素に割り当て、更新対象のラベル付き音響信号列を更新する。
【０１４１】
(iv)モデル化部１１０２は、上記の（ｉｉｉ−ａ）（ｉｉｉ−ｂ）の繰り返しによって最終的に得られたＣεｔＥＴ，ＣｔａＴＡならびにＲｘｉｘｉ＋１および／またはＲｚｉｚｉ＋１を用い、以下を計算する。なお、式（２６−１）および（２６−２）の両方が計算されてもよいし、その何れか一方のみが計算されてもよい。
【数２２】
2015028579.tif 000024
【０１４２】
これによってモデル化部１１０２は、状況が音響イベントを生成する確率φεｔ（ただし、ｔ∈｛１，・・・，Ｔ｝，ε∈｛１，・・・，Ｅ｝）の集合を得、それを状況−音響イベント生成モデル１３とする。例えばモデル化部１１０２は、確率φεｔを（ｔ，ε）要素とするＴ×Ｅ行列を状況−音響イベント生成モデル１３とする。また、モデル化部１１０２は、行動が状況を生成する確率θｔａ（ただし、ａ∈｛１，・・・，Ａ｝，ｔ∈｛１，・・・，Ｔ｝）の集合を得、それを行動−状況生成モデル１２とする。例えばモデル化部１１０２は、確率θｔａを（ａ，ｔ）要素とするＡ×Ｔ行列を行動−状況生成モデル１２とする。また、モデル化部１１０２は、これによって行動の候補の遷移確率πｘｉｘｉ＋１（ただし、ｘｉ，ｘｉ+１∈｛１，・・・，Ａ｝）の集合を得、それを行動遷移モデル１７としてもよい。例えばモデル化部１０２は、ｘｉ，ｘｉ+１∈｛１，・・・，Ａ｝に対応する遷移確率πｘｉｘｉ＋１を（ｘｉ，ｘｉ＋１）要素とするＡ×Ａ行列を行動遷移モデル１７とする。また、モデル化部１１０２は、これによって行動の候補の遷移確率π’ｚｉｚｉ＋１（ただし、ｚｉ，ｚｉ+１∈｛１，・・・，Ｔ｝）の集合を得、それを状況遷移モデルとしてもよい。例えばモデル化部１０２は、ｚｉ，ｚｉ+１∈｛１，・・・，Ｔ｝に対応する遷移確率π’ｚｉｚｉ＋１を（ｚｉ，ｚｉ＋１）要素とするＴ×Ｔ行列を状況遷移モデルとする。
【０１４３】
或いは、モデル化部１１０２は、(iii-ｂ-1)の繰り返し処理時に、式（２３ｂ）の算出過程で確率φεｔおよび確率θｔａをそれぞれ１個以上サンプリング（計算）し、式（２４）（２５）に代えて、サンプリングされた確率φεｔの平均値および確率θｔａの平均値を用い、状況−音響イベント生成モデル１３および行動−状況生成モデル１２を得てもよい。同様に、モデル化部１１０２は、(iii-1)の繰り返し処理時に、式（２３ａ−１）〜（２３ａ−３）の算出過程で遷移確率πｘｉｘｉ＋１を１個以上サンプリング（計算）し、式（２６−１）に代えて、サンプリングされた遷移確率πｘｉｘｉ＋１の平均値を用い、行動遷移モデル１７を得てもよい。同様に、モデル化部１１０２は、(iii-1)の繰り返し処理時に、式（２３ａ−１）〜（２３ａ−３）の算出過程で遷移確率π’ｚｉｚｉ＋１を１個以上サンプリング（計算）し、式（２６−２）に代えて、サンプリングされた遷移確率π’ｚｉｚｉ＋１の平均値を用い、状況遷移を得てもよい。
【０１４４】
さらにモデル化部１１０２は、以下のように周辺化することで、行動の候補ａ（ただし、ａ∈｛１，・・・，Ａ｝）がラベル付き音響信号列１１−ｓに与えられた音響イベントの列ｅ’ｓを生成する確率Ｐ（ｅ’ｓ｜Θ，Φ，Ω）の集合を得、これらに対応する行動−音響イベント生成モデル１４を得てもよい。
【数２３】
2015028579.tif 000025
ただし、εは要素番号ｉに対応する音響イベント、ａｉは要素番号ｉに対応する行動の候補を表す。
【０１４５】
また、上記更新過程でサンプリング（選択）し、各要素番号ｉの要素に割り当てた行動の候補ｘｉを分析することで、各ラベル付き音響信号列１１−ｓの音響信号列がどの行動によって生成されたかを知ることができる。モデル化部１１０２は、このように各要素番号ｉの要素に割り当てた行動の候補ｘｉを表すラベル、またはそれらの一部を行動ラベル１８として出力してもよい。
【０１４６】
また、上記更新過程でサンプリング（選択）し、各要素番号ｉの要素に割り当てた状況の候補ｚｉを分析することで、各ラベル付き音響信号列１１−ｓの音響信号列がどの状況によって生成されたかを知ることができる。モデル化部１１０２は、このように各要素番号ｉの要素に割り当てた状況の候補ｚｉを表すラベル、またはそれらの一部を状況ラベル１９として出力してもよい。
【０１４７】
本実施例では、行動が音響イベントを生成する確率のみではなく、行動の時間遷移確率および／または状況の時間遷移確率も考慮して学習処理を行うことで、遷移確率によって特徴付けられる行動やそれに対応する状況を精度よくモデル化できる。また、遷移確率によって特徴付けられる行動やそれに対応する状況を精度よく分析できる。
【０１４８】
＜実施例（２）−１−２：図１４＞
[行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出し、行動や状況を分析]
本実施例では、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓを入力とし、行動の時間変化および/または状況の時間変化を考慮に入れ、状況−音響イベント生成モデル１３を算出する。すなわち、本実施例では、音響信号から音響特徴量を得、得られた音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、状況−音響イベント生成モデル１３を算出する。この際、行動−状況生成モデル１２を算出してもよいし、状況の時間遷移を表す状況遷移モデルを算出してもよいし、行動−音響イベント生成モデル１４を算出してもよいし、行動遷移モデル１７を算出してもよいし、行動や状況の分析を行ってもよい。
【０１４９】
図１４に例示するように、本実施例のモデル処理装置１１１０は、特徴量算出部１１１、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部１０１、モデル化部１１０２、および記憶部１１０３を有する。モデル処理装置１１１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１５０】
まず特徴量算出部１１１に行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓが入力される。特徴量算出部１１１は、各行動ラベル候補付き音響信号列１５−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）が含む音響信号列から、各行動ラベル候補付き音響信号列１５−ｓに対応する音響特徴量列（ベクトル）を算出して出力する。音響特徴量列の具体例は、実施例（１）−１−２と同じである。
【０１５１】
音響イベント判定部１１２は、実施例（１）−１−２で例示した方法等によって、特徴量算出部１１１で得られた音響特徴量を用いて各要素番号ｉに対して音響イベントを決定する。音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、行動ラベル候補付き音響信号列１５−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を入力された行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを出力する。
【０１５２】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは、音響信号列合成部１０１に入力される。以降の処理は実施例（２）−１−１と同じである。
【０１５３】
なお、音響信号列合成部１０１で音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓの合成処理を行うことに代えて、特徴量算出部１１１の前段で行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓの合成処理を行っても良いし、音響イベント判定部１１２の前段で音響特徴量列の合成処理を行っても良い。
【０１５４】
＜実施例（２）−１−３：図１５＞
[行動ラベル候補付き音響特徴量から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出し、行動や状況を分析]
本実施例では、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓを入力とし、行動の時間変化および/または状況の時間変化を考慮に入れ、状況−音響イベント生成モデル１３を算出する。すなわち、本実施例では、入力された音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、状況−音響イベント生成モデル１３を算出する。この際、行動−状況生成モデル１２を算出してもよいし、行動−音響イベント生成モデル１４を算出してもよいし、行動遷移モデル１７を算出してもよいし、状況の時間遷移を表す状況遷移モデルを算出してもよいし、行動や状況の分析を行ってもよい。
【０１５５】
図１５に例示するように、本実施例のモデル処理装置１１２０は、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部１０１、モデル化部１１０２、および記憶部１１０３を有する。モデル処理装置１１２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１５６】
まず音響イベント判定部１１２に、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓが入力される。音響イベント判定部１１２は、実施例（１）−１−２で例示した方法等によって、音響特徴量列１６−１，・・・，１６−Ｓを用いて各要素番号ｉに対して音響イベントを決定する。音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、行動ラベル候補付き音響信号列１６−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を入力された行動ラベル候補付き音響信号列１６−１，・・・，１６−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを出力する。
【０１５７】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは、音響信号列合成部１０１に入力される。以降の処理は実施例（２）−１−１と同じである。
【０１５８】
なお、音響信号列合成部１０１で音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓの合成処理を行うことに代えて、音響イベント判定部１１２の前段で音響特徴量列の合成処理を行っても良い。
【０１５９】
＜実施例（２）−２−１：図１６＞
[音響イベントラベル付き音響信号列から行動や状況を推定］
本実施例では、実施例（２）−１−１〜（２）−１−３で説明したように得られた行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４および/または行動遷移モデル１７および/または状況遷移モデルを用い、新たに入力された音響イベントラベル付き音響信号列から行動や状況を推定する。
【０１６０】
図１６に例示するように、本実施例のモデル処理装置１２００は、記憶部１１０３および生成モデル比較部１２０１を有する。モデル処理装置１２００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１６１】
まず生成モデル比較部１２０１に音響イベントラベル付き音響信号列２１が入力される。生成モデル比較部１２０１は、入力された音響イベントラベル付き音響信号列２１と、記憶部１１０３に格納された行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４および/または行動遷移モデル１７および/または状況遷移モデルとを比較し、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動や状況、又は最も適切なものから順番に複数個の行動や状況を決定し、それらを推定結果として出力する。以下に音響イベントラベル付き音響信号列２１と各生成モデルとの比較方法を例示する。
【０１６２】
［比較方法の例（２）−１］
音響イベントの分布と、行動の候補に対応する確率Ｐ（音響イベント｜行動の候補）で表される音響イベントの分布との近さに基づいて、行動が推定されてもよい。この具体例は、実施例（１）−２−１の［比較方法の例（１）−１］で説明した通りである。
【０１６３】
また、第２音響イベントの分布と、状況の候補に対応する確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さに基づいて、状況が推定されてもよい。この場合、生成モデル比較部１２０１は、式（１４）のｐ（ε）と状況−音響イベント生成モデル１３とを［比較方法の例（１）−１］と同様な方法を用いて比較することにより、入力された音響イベントラベル付き音響信号列２１の状況を推定することもできる。例えば、式（１５）又は（１６）を用いる場合、生成モデル比較部１２０１は、Ｐ（ε）にｐ（ε）（ただし、ε∈｛１，・・・，Ｅ｝）を代入し、Ｑ（ε）に式（２４）のφεｔ（ただし、ε∈｛１，・・・，Ｅ），ｔ∈｛１，・・・，Ｔ｝）を代入する。これにより、生成モデル比較部１２０１は、各状況ｔ∈｛１，・・・，Ｔ｝に対応する情報量（合計Ｔ個の情報量）を得る。生成モデル比較部１２０１は、各状況ｔ∈｛１，・・・，Ｔ｝について算出された情報量のうち、最も小さな情報量に対応する状況、又は、最も小さな情報量から順番に選択した複数個の情報量に対応する複数個の状況を、音響イベントラベル付き音響信号列２１に対応する状況として決定して出力する。なお、状況の探索範囲は予め定められたものであってもよいし、音響イベントラベル付き音響信号列２１がこの探索範囲を特定するための情報を含み、この情報によって探索範囲が定められてもよい。探索範囲を特定するための情報の例は、状況の候補の総数Ｔである。このような状況の候補の総数Ｔは、要素番号毎に特定されてもよいし、複数の要素番号に対して共通であってもよい。この場合、探索範囲が適切に設定されていれば状況の推定精度が向上する。
【０１６４】
生成モデル比較部１２０１は、以下のように、状況遷移モデルが表す遷移確率π’ｚｉ−１ｚｉと前時刻（要素番号ｉ−１の時間区間）の状況推定結果ｚｉ−１を利用して、現時刻（要素番号ｉの時間区間）の状況ｚｉ＝ｔを推定しても良い。
【数２４】
2015028579.tif 000026
【０１６５】
［比較方法の例（２）−２］
音響イベントラベル付き音響信号列２１が有する音響イベントの時系列の並びに対する、確率Ｐ（音響イベント｜行動の候補）のもとでの行動の候補の尤もらしさに基づいて、行動が推定されてもよい。この具体例は、実施例（１）−２−１の［比較方法の例（１）−２］で説明した通りである。
【０１６６】
音響イベントラベル付き音響信号列２１が有する音響イベントの時系列の並びに対する、確率Ｐ（音響イベント｜状況の候補）のもとでの状況の候補の尤もらしさに基づいて、状況が推定されてもよい。ここでも前述のように、状況の探索範囲は予め定められたものであってもよいし、音響イベントラベル付き音響信号列２１がこの探索範囲を特定するための情報（例えば、状況の候補の総数）を含み、この情報によって探索範囲が定められてもよい。
【０１６７】
以下に具体例を示す。以下の例では、入力されたラベル付き音響信号列２１に対し、状況−音響イベント生成モデル１３のもとでの状況の尤度の和や積を求める。
【０１６８】
≪状況−音響イベント生成モデル１３のもとでの状況の尤度の和の例≫
【数２５】
2015028579.tif 000027
【０１６９】
≪状況−音響イベント生成モデル１３のもとでの状況の尤度の積の例≫
【数２６】
2015028579.tif 000028
【０１７０】
ただし、式（２８）（２９）のｅｉは、入力された音響イベントラベル付き音響信号列２１の要素番号ｉに対応する音響イベントラベルが表す音響イベントを表す。式（２８）（２９）は、式（２４）（２５）（２７）の確率φεｔ，θｔａ，Ｐ（ｅ’ｓ｜Θ，Φ，Ω）と、入力された音響イベントラベル付き音響信号列２１のｅｉとから算出できる。
【０１７１】
状況の探索範囲が予め定められたものである場合には、その探索範囲に属する各状況の候補ｔについて上記の尤度が算出され、状況の探索範囲が音響イベントラベル付き音響信号列２１に含まれる情報（例えば、状況の候補の総数等）によって特定される場合には、その探索範囲に属する各状況の候補ｔについて上記の尤度が算出される。生成モデル比較部１２０１は、各状況の候補について算出した尤度のうち、最も尤度の高い状況の候補、又は、最も尤度の高いものから順番に選択した複数個の状況の候補を、入力された音響イベントラベル付き音響信号列２１に対応する状況として決定して出力する。
【０１７２】
生成モデル比較部１２０１は、以下のように、行動−音響イベント生成モデル１４のもとでの状況の尤度の和や積および、状況遷移モデルが表す遷移確率π’ｚｉ−１ｚｉと前時刻（要素番号ｉ−１の時間区間）の状況推定結果ｚｉ−１を利用して、現時刻（要素番号ｉの時間区間）の状況ｚｉ＝ｔを推定しても良い
【０１７３】
≪行動−音響イベント生成モデル１４のもとでの状況の尤度の和および、状況遷移モデルと前時刻の状況推定結果を利用する場合の例≫
【数２７】
2015028579.tif 000029
【０１７４】
≪行動−音響イベント生成モデル１４のもとでの状況の尤度の積および、状況遷移モデルと前時刻の状況推定結果を利用する場合の例≫
【数２８】
2015028579.tif 000030
【０１７５】
なお、上述の行動を決定する処理と状況を決定する処理とが、互いに異なる処理部で実行されてもよい。
【０１７６】
＜実施例（２）−２−２：図１７＞
[音響信号列から行動および状況を推定]
本実施例では、実施例（２）−１−１〜（２）−１−３で説明したように得られた行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４および/または行動遷移モデル１７および/または状況遷移モデルを用い、新たに入力された音響信号列から行動や状況を推定する。
【０１７７】
図１７に例示するように、本実施例のモデル処理装置１２１０は、特徴量算出部２１１、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部１１０３、生成モデル比較部１２０１を有する。モデル処理装置１２１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１７８】
まず特徴量算出部２１１に音響信号列２２が入力される。特徴量算出部２１１は、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。例えば特徴量算出部２１１は、前述した特徴量算出部１１１と同じ方法で音響特徴量列を算出する。
【０１７９】
音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、特徴量算出部２１１から出力された音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響信号列２２の全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した音響イベントを表す音響イベントラベルを音響信号列２２の各要素に付することで、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１８０】
音響イベントラベル付き音響信号列２１は、生成モデル比較部１２０１に入力される。以降の処理は実施例（２）−２−１と同じである。
【０１８１】
＜実施例（２）−２−３：図１８＞
[音響特徴量から行動や状況を推定]
本実施例では、実施例（２）−１−１〜（２）−１−３で説明したように得られた行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４、および/または行動遷移モデル１７および/または状況遷移モデルを用い、新たに入力された音響特徴量列から行動や状況を推定する。
【０１８２】
図１８に例示するように、本実施例のモデル処理装置１２２０は、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部１１０３、生成モデル比較部１２０１を有する。モデル処理装置１２２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１８３】
まず音響イベント判定部２１２に音響特徴量列２３が入力される。音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、音響特徴量列２３の音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響特徴量列２３が含む音響信号列の全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した各要素の音響イベントを表す音響イベントラベルを、音響特徴量列２３が含む音響信号列に付することで、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１８４】
音響イベントラベル付き音響信号列２１は、生成モデル比較部１２０１に入力される。以降の処理は実施例（２）−２−１と同じである。
【０１８５】
＜実施例（２）−３−１：図１９＞
[音響イベントラベル付き音響信号列から行動や状況を推定すると共に，音響イベントラベルおよび行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出]
本実施例は実施例（２）−１−１と実施例（２）−２−１の組み合わせである。本実施例では、音響イベントラベル付き音響信号列２１を入力として行動や状況を推定することに加え、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを入力とし、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかの算出も行う。さらに行動遷移モデル１７や行動ラベル１８や状況ラベル１９の生成を行ってもよい。さらに、推定された行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１が含む音響信号列の各要素に付与することで、音響イベントラベルおよび行動ラベル候補付き音響信号列を得、それを生成モデルの更新に利用することもできる。
【０１８６】
図１９に例示するように、本実施例のモデル処理装置１３００は、記憶部１１０３，１３０３、音響信号列合成部１０１、モデル化部１１０２、および生成モデル比較部１２０１を有する。モデル処理装置１３００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０１８７】
記憶部３０３には、前述した音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、および前述した音響イベントラベル付き音響信号列２１が格納されている。
【０１８８】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓは音響信号列合成部１０１に入力される。音響信号列合成部１０１およびモデル化部１１０２は、実施例（２）−１−１で説明したように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓから、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４の少なくとも何れかを生成し、それらを記憶部１１０３に格納する。また、実施例（２）−１−１で説明したように、モデル化部１１０２が行動遷移モデル１７を生成して記憶部１１０３に格納してもよいし、行動ラベル１８を生成して記憶部１０３に格納してもよいし、状況ラベル１９を生成して記憶部１１０３に格納してもよい。
【０１８９】
音響イベントラベル付き音響信号列２１は生成モデル比較部１２０１に入力される。音響イベントラベル付き音響信号列２１は、実施例（２）−２−１で説明したように、入力された音響イベントラベル付き音響信号列２１と、記憶部１１０３に格納された行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４、および/または行動遷移モデル１７および/または状況遷移モデルとを比較し、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動や状況、又は最も適切なものから順番に複数個の行動や状況を選択し、それらを推定結果として出力する。
【０１９０】
さらに生成モデル比較部１２０１は、決定した行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１の対応する各要素に付与し、それによって新たな音響イベントラベルおよび行動ラベル候補付き音響信号列２１’を生成して出力してもよい。この場合、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓとともに音響信号列合成部１０１に入力されてもよい。この場合、音響信号列合成部１０１は、入力されたすべての音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ，２１’を時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列１１’（「第３音響イベントラベル列」および「第３行動ラベル候補」）を得て出力する。モデル化部１１０２は、実施例（２）−１−１のラベル付き音響信号列１１（「音響イベントラベル列」および「行動ラベル候補」）に代えて、音響イベントラベルおよび行動ラベル候補付き音響信号列１１’（「第３音響イベントラベル列」および「第３行動ラベル候補」）を用い、再度、実施例（２）−１−１で説明したように、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４の少なくとも何れかを生成し、それを記憶部１１０３に格納する。さらにモデル化部１１０２が、ラベル付き音響信号列１１に代えて、入力された音響イベントラベルおよび行動ラベル候補付き音響信号列１１’を用い、再度、実施例（２）−１−１で説明したように、行動遷移モデル１７を生成して記憶部１１０３に格納してもよいし、行動ラベル１８や状況ラベル１９を生成して記憶部１１０３に格納してもよい。
【０１９１】
また、生成モデル比較部１２０１の処理およびモデル化部１１０２の処理のどちらを先に行っても良い。ただし、モデル化部１１０２の処理を行う前に生成モデル比較部１２０１の処理を行う場合、記憶部１１０３に予め得られた各生成モデルおよび/または行動遷移モデル１７および/または状況遷移モデルが格納されている必要がある。
【０１９２】
また、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、新たに入力された音響イベントラベルおよび行動ラベル候補付き音響信号列とともに音響信号列合成部１０１に入力されてもよい。音響信号列合成部１０１は、これらを時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列（「第３音響イベントラベル列」および「第３行動ラベル候補」）を得て、モデル化部１１０２に送出してもよい。
その他の処理は実施例（２）−１−１および実施例（２）−２−１と同様とする。
【０１９３】
＜実施例（２）−３−２：図２０＞
[音響信号列から行動，状況を推定すると共に，行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出]
本実施例は、実施例（２）−１−２と実施例（２）−２−２の組み合わせである。
本実施例では、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓを入力として、学習によって、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかを算出する。さらに行動遷移モデル１７や行動ラベル１８や状況ラベル１９の生成を行ってもよい。さらに本実施例では、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４、および/または行動遷移モデル１７および／または状況遷移モデルを用い、新たに入力された音響信号列２２から行動や状況を推定する。
【０１９４】
図２０に例示するように、本実施例のモデル処理装置１３１０は、特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置１３００（図１９参照）を有する。
【０１９５】
行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓは、それぞれ特徴量算出部１１１−１，・・・，１１１−Ｓに入力される。特徴量算出部１１１−１，・・・，１１１−Ｓは、実施例（１）−１−２で説明したように、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓから、それぞれ音響特徴量列を得て出力する。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【０１９６】
音響信号列２２は特徴量算出部２１１に入力される。特徴量算出部２１１は、実施例（１）−２−２で説明したように、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。音響イベント判定部２１２は、実施例（１）−２−２で説明したように、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【０１９７】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部１３０３（図１９）に格納される。以降の処理は実施例（２）−３−１と同じである。
【０１９８】
＜実施例（２）−３−３：図２１＞
[音響特徴量から行動や状況を推定すると共に，行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出]
本実施例は、実施例（２）−１−３と実施例（２）−２−３の組み合わせである。
本実施例では、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓを入力として、学習によって、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかを算出する。行動遷移モデル１７や行動ラベル１８や状況ラベル１９の生成を行ってもよい。さらに本実施例では、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４を用い、新たに入力された音響特徴量列２３から行動や状況を推定する。
【０１９９】
図２１に例示するように、本実施例のモデル処理装置１３２０は、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置１３００（図１９参照）を有する。
【０２００】
行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓは、それぞれ音響イベント判定部１１２−１，・・・，１１２−Ｓに入力される。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓを生成して出力する。
【０２０１】
音響特徴量列２３は音響イベント判定部２１２に入力される。音響イベント判定部２１２は、実施例（１）−２−３と同様に、入力された音響特徴量列２３の音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２１を生成して出力する。
【０２０２】
音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部３０３（図１９）に格納される。以降の処理は実施例（２）−３−１と同じである。
【０２０３】
＜実施例（２）−４−１：図２２＞
[音響イベントラベル付き音響信号列から行動，状況を推定すると共に，音響イベントラベルおよび行動ラベル候補付き音響信号列から行動−音響イベント生成モデル状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出。特別なシンボルを用いる]
本実施例は実施例（２）−３−１の変形である。
本実施例では、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、および音響イベントラベル付き音響信号列２１を入力とし、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかを算出する。また行動遷移モデル１７の生成や行動や状況の推定を行ってもよい。さらに、推定された行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１が含む音響信号列の各要素に付与することで、音響イベントラベルおよび行動ラベル候補付き音響信号列を得、それを生成モデルの更新に利用することもできる。
【０２０４】
図２２に例示するように、本実施例のモデル処理装置１４００は、記憶部１１０３、１３０３、音響信号列合成部４０１、モデル化部１４０２、および生成モデル比較部１４０３を有する。モデル処理装置１４００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２０５】
音響信号列合成部４０１に、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓおよび音響イベントラベル付き音響信号列２１が入力される。音響信号列合成部４０１は、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１を時系列方向につなぎ合わせ、それによって１つの音響イベントラベルおよび行動ラベル候補付き音響信号列４１（以下、単に「ラベル付き音響信号列４１」という）を得て出力する。実施例（１）−４−１で説明したように、ラベル付き音響信号列４１が含む音響イベントの時系列の並びは、行動ラベル候補によって行動の候補が表された第４音響イベントの時系列の並び、および行動ラベル候補によって行動の候補が表されていない第５音響イベントの時系列の並びを含む。ラベル付き音響信号列４１は、モデル化部１４０２に入力される。なお、予め、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１からラベル付き音響信号列４１が得られている場合には、音響信号列合成部４０１を経由することなく、ラベル付き音響信号列４１がそのままモデル化部１４０２に入力されてもよい。
【０２０６】
モデル化部１４０２は、実施例（２）−１−１のラベル付き音響信号列１１に代えて、ラベル付き音響信号列４１を用い、実施例（２）−１−１のモデル化部１１０２と同じ方法で、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４の少なくとも何れかを算出する。行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。ただし、モデル化部１４０２は、実施例（１）−４−１のモデル化部４０２と同様、上述の「第５音響イベント」を生じさせた行動の候補として特別なシンボルを用いて学習処理を行う。
【０２０７】
すなわちモデル化部１４０２は、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）、行動の候補が状況の候補を生成する確率Ｐ（状況の候補｜行動の候補）、およびこの特別なシンボルが状況の候補を生成する確率Ｐ（状況の候補｜特別なシンボル）を得る。またモデル化部１４０２は、確率Ｐ（音響イベント｜状況の候補）と確率Ｐ（状況の候補｜行動の候補）とから、行動の候補が音響イベントを生成する確率Ｐ（音響イベント｜行動の候補）を得、確率Ｐ（音響イベント｜状況の候補）と確率Ｐ（状況の候補｜特別なシンボル）とから、特別なシンボルが音響イベントを生成する確率Ｐ（音響イベント｜特別なシンボ）を得る。行動−状況生成モデル１２は、確率Ｐ（状況の候補｜行動の候補），Ｐ（状況の候補｜特別なシンボル）に対応し、状況−音響イベント生成モデル１３は、確率Ｐ（音響イベント｜状況の候補）に対応し、行動−音響イベント生成モデル１４は、確率Ｐ（音響イベント｜行動の候補），Ｐ（音響イベント｜特別なシンボル）に対応する。モデル化部１４０２で算出された、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４は、記憶部１１０３に格納される。行動遷移モデル１７や行動ラベル１８や状況ラベル１９の生成を行った場合には、それらも記憶部１０３に格納される。
【０２０８】
生成モデル比較部１４０３には、行動−音響イベント生成モデル１４および/または行動遷移モデル１７が入力される。生成モデル比較部１４０３は、入力された行動−音響イベント生成モデル１４に対応する、確率Ｐ（音響イベント｜行動）と確率Ｐ（音響イベント｜特別なシンボル）とを比較し、特別なシンボルに対応する行動の内容を推定し、それらの推定結果を出力する。また、生成モデル比較部１４０３は、入力された行動遷移モデル１７に対応する、遷移確率Ｐ（現時刻の行動の候補｜前時刻の行動の候補）と遷移確率Ｐ（特別なシンボル｜前時刻の行動の候補）とを比較し、特別なシンボルに対応する行動の内容を推定し、それらの推定結果を出力してもよい。例えば、生成モデル比較部１４０３は、音響イベントラベル付き音響信号列２１に対し、最も適切であると判断した行動、又は最も適切なものから順番に複数個の行動を選択し、それらを推定結果として出力する。
【０２０９】
［比較方法の例示］
生成モデル比較部１４０３による比較は、例えば、実施例（１）−２−１で説明した情報量基準に基づいて行うことができる。例えば、式（１５）又は（１６）の情報量基準を用い、確率Ｐ（音響イベント｜行動の候補）と確率Ｐ（音響イベント｜特別なシンボル）とを比較する場合、生成モデル比較部１４０３は、Ｐ（ε）に特別なシンボルａｉ＝ａ’∈｛１，・・・，Ａ｝に対応する式（２７）の確率（ただし、εｉ＝ε∈｛１，・・・，Ｅ）｝を代入し、Ｑ（ε）に他の行動ａｉ＝ａ’’≠ａ’（ただし、ａ’’∈｛１，・・・，Ａ｝）に対応する式（２７）の確率（ただし、εｉ＝ε∈｛１，・・・，Ｅ））を代入する。これにより、生成モデル比較部１４０３は、他の行動ａ’’≠ａ’（ただし、ａ’’∈｛１，・・・，Ａ｝）に対応する情報量（合計Ａ−１個の情報量）を得る。
【０２１０】
生成モデル比較部１４０３は、各行動ａ’’について算出された情報量のうち、最も小さな情報量に対応する行動の候補、又は、最も小さな情報量から順番に選択した複数個の情報量に対応する複数個の行動の候補を、音響イベントラベル付き音響信号列２１に対応する行動として決定して出力する。
【０２１１】
生成モデル比較部１４０３は、以上のように決定した行動を表す行動ラベル候補を、音響イベントラベル付き音響信号列２１の対応する各要素に付与し、それによって新たな音響イベントラベルおよび行動ラベル候補付き音響信号列４１’を生成して出力してもよい。この場合、音響イベントラベルおよび行動ラベル候補付き音響信号列４１’が、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓとともに音響信号列合成部４０１に入力されてもよい。この場合、音響信号列合成部４０１は、入力されたすべての音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ，４１’を時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を得て出力する。モデル化部１４０２は、実施例（２）−１−１のラベル付き音響信号列１１に代えて、音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を用い、再度、実施例（２）−１−１で説明したように、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、および行動−音響イベント生成モデル１４の少なくとも何れかを生成し、それを記憶部１１０３に格納する。さらにモデル化部１４０２が、入力された音響イベントラベルおよび行動ラベル候補付き音響信号列４１’’を用い、再度、実施例（２）−１−１で説明したように、行動遷移モデル１７を生成して記憶部１１０３に格納してもよいし、行動ラベル１８や状況ラベル１９を生成して記憶部１１０３に格納してもよい。
【０２１２】
また、音響イベントラベルおよび行動ラベル候補付き音響信号列２１’が、新たに入力された音響イベントラベルおよび行動ラベル候補付き音響信号列とともに音響信号列合成部４０１に入力されてもよい。音響信号列合成部４０１は、これらを時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベルおよび行動ラベル候補付き音響信号列を得て、モデル化部１４０２に送出し、モデル化部１０２が上述の処理を行ってもよい。
その他の処理は実施例（２）−１−１、実施例（２）−２−１、および実施例（２）−３−１と同じである。
【０２１３】
＜実施例（２）−４−２：図２０＞
[音響信号列から行動、状況を推定すると共に、行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出。特別なシンボルを用いる]
本実施例は実施例（２）−３−２の変形である。
本実施例では、行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓおよび音響信号列２２を入力として、学習によって、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかを算出する。さらに行動遷移モデル１７や行動ラベル１８の生成を行ってもよい。さらに本実施例では、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４を用い、音響信号列２２に対応する行動や状況を推定する。
【０２１４】
図２０に例示するように、本実施例のモデル処理装置１４１０は、特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置１４００（図２２参照）を有する。
【０２１５】
行動ラベル候補付き音響信号列１５−１，・・・，１５−Ｓは、それぞれ特徴量算出部１１１−１，・・・，１１１−Ｓに入力され、音響信号列２２は特徴量算出部２１１に入力される。特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２は、実施例（２）−３−２で説明したように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１を生成して出力する。音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部１３０３（図２２）に格納される。以降の処理は実施例（２）−４−１と同じである。
【０２１６】
＜実施例（２）−４−３：図２１＞
[音響特徴量から行動，状況を推定すると共に，行動ラベル候補付き音響信号列から行動−音響イベント生成モデル、状況−音響イベント生成モデル、行動−状況生成モデル、および行動遷移モデルを算出。特別なシンボルを用いる]
本実施例は実施例（２）−３−３の変形である。
本実施例では、行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓおよび音響特徴量列２３を入力として、学習によって、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４の少なくとも何れかを算出する。行動遷移モデル１７や行動ラベル１８や状況ラベル１９の生成を行ってもよい。さらに本実施例では、行動−状況生成モデル１２、状況−音響イベント生成モデル１３、行動−音響イベント生成モデル１４を用い、音響特徴量列２３に対応する行動や状況を推定する。
【０２１７】
図２１に例示するように、本実施例のモデル処理装置１４２０は、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置１４００（図２２参照）を有する。
【０２１８】
行動ラベル候補付き音響特徴量列１６−１，・・・，１６−Ｓは、それぞれ音響イベント判定部１１２−１，・・・，１１２−Ｓに入力され、音響特徴量列２３は、音響イベント判定部２１２に入力される。音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２は、実施例（２）−３−３で説明したように、音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１を生成して出力する。音響イベントラベルおよび行動ラベル候補付き音響信号列１１−１，・・・，１１−Ｓ、音響イベントラベル付き音響信号列２１は、記憶部１３０３（図２２）に格納される。以降の処理は実施例（２）−４−１と同じである。
【０２１９】
＜実施例（３）−１−１：図２３＞
［音響イベントラベル付き音響信号から音響信号-状況生成モデルおよび状況-音響イベントの生成モデルを、状況の時間変化を考慮に入れて算出し、同時に、状況を分析］
本実施例では、状況の時間変化を考慮に入れ、音響イベントラベル付き音響信号から、状況−音響イベント生成モデルを算出する。同時に、音響信号−状況生成モデルを算出してもよく、状況の時間遷移を表す状況遷移モデルを算出してもよく、状況の分析も行ってもよい。
【０２２０】
すなわち、本実施例では、各時間区間の音響信号を生じさせた音響イベントの時系列の並びを表す音響イベントラベル列、および音響イベントを生じさせた状況の候補の総数を用い、「音響イベントの時系列の並びにおける、状況の候補に対応する音響イベントの組み合わせと状況の候補の時系列の並びとの同時事後確率」を最大化するための処理を含む学習処理を行う。例えば、この学習処理は、状況の時間遷移に基づく状況の出現確率および、状況における音響イベントの出現確率に基づいて、音響イベントの時系列の並びにおける、状況の候補に対する音響イベントの組み合わせと状況の候補の時系列の並びとの同時事後確率を最大化するための処理である。例えば、音響イベントの時系列の並びからなる音響イベントの組み合わせに対する尤度関数Ｐ（音響イベントの組み合わせ｜状況の候補の時系列の並び）を最大にする処理が行われる。それにより、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）を「状況−音響イベント生成モデル」として得る。また、この学習処理によって、音響信号列が状況を生成する確率Ｐ（状況｜音響信号列）を「音響信号−状況生成モデル」として得てもよいし、状況の候補の時系列の遷移確率を「状況遷移モデル」として得てもよい。また、この学習処理の過程で何れかの状況の候補を選択し、各音響イベントがどの状況によって生成されたのかを分析してもよい。この場合には選択した状況の候補を表す状況ラベルを出力してもよい。
【０２２１】
図２３に例示するように、本実施例のモデル処理装置２１００は、音響信号列合成部２１０１、モデル化部２１０２、および記憶部２１０３を有する。モデル処理装置２１００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２２２】
まず音響信号列合成部２１０１に、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ（ただし、Ｓは１以上の整数）が入力される。各音響イベントラベル付き音響信号列２０１１−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）は、時系列の音響信号列２０１１ａ−ｓ、各音響信号列２０１１ａ−sに対応する音響信号列番号、前述の時間区間ごとに区分された音響信号列の各要素に対応する要素番号、および当該時間区間ごとに決定されて付与された音響イベントラベルを含む。各音響信号列２０１１ａ−ｓは音を表すデジタル信号列である。音響イベントラベルは、音響信号列の各要素に対応する音響イベントを表すラベルであり、音響信号列の要素ごとに付与される。１個の音響信号列番号には、１個以上の要素番号が対応する。
【０２２３】
複数個の音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ（以下、単に「ラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ」という）が音響信号列合成部２１０１に入力された場合、音響信号列合成部２１０１は、それらを時系列方向につなぎ合わせ、それによって１つの音響イベントラベル付き音響信号列２０１１（以下、単に「ラベル付き音響信号列２０１１」という）を得て出力する（合成処理）。音響信号列合成部２１０１に１つの音響信号列２０１１−１のみが入力された場合、音響信号列合成部２１０１はそれをラベル付き音響信号列２０１１として出力する。音響信号列合成部２１０１から出力された音響イベントラベル付き音響信号列は、モデル化部２１０２に入力される。なお、音響信号列合成部２１０１を経由することなく、１つラベル付き音響信号列２０１１がそのままモデル化部２１０２に入力されてもよい。また、ラベル付き音響信号列２０１１が含む合成された音響信号列２０１１ａ−１，・・・，２０１１ａ−Ｓの並びを音響信号列２０１１ａと表記する。
【０２２４】
モデル化部２１０２は、以下の手順に従って、入力されたラベル付き音響信号列２０１１から、音響信号−状況生成モデル１２、および状況−音響イベント生成モデル１３の少なくとも何れかを生成し、それらを記憶部２１０３に格納する。モデル化部１０２は、状況の候補の遷移を表す状況遷移モデル２０１７を生成してもよいし、状況ラベル１９を生成してもよい。生成された状況遷移モデル２０１７や状況ラベル１９も記憶部２１０３に格納される。
【０２２５】
［状況から音響イベントが生成される過程の論理的説明］
モデル化部２１０２は、ラベル付き音響信号列２０１１から、音響信号列が状況の候補を生成する確率Ｐ（状況の候補｜音響信号列）としたときの音響信号−状況生成モデル１２と、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）としたときの状況−音響イベント生成モデル１３の少なくとも何れかを算出する。つまり本実施例では、音響信号列が潜在的な場の状況の生成確率を規定し、状況が音響イベントの生成確率を規定すると考え、これらの関係を各生成モデルとして記述する。また、状況の候補の時系列の遷移確率を算出し、状況遷移モデル２０１７を得てもよい。
【０２２６】
合成された音響信号列における状況の候補の生成確率Θ’、状況の候補における音響イベントの生成確率Φ’、音響信号列の集合Ω’が与えられた場合における、音響イベントの列ｅの生成確率Ｐ（ｅ｜Π’,Θ’，Φ’，Ω’）は以下の通りである。
【数２９】
2015028579.tif 000031
ただし、Ｓは合成された音響信号列２０１１ａに含まれる音響信号列２０１１ａ−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）の個数、Ｔは状況の候補の総数、Ｅは音響イベントの総数（音響イベントの種類の個数）、ｅはラベル付き音響信号列２０１１に与えられた音響イベントの列（ベクトル）、Π’は各時間区間の状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）が次の時間区間で状況の候補ｔ’（ただし、ｔ’∈｛１，・・・，Ｔ｝）に遷移する確率を（ｔ，ｔ’）要素とするＴ×Ｔ行列、Θ’は音響信号列２０１１ａ−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）が状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）を生成する確率Ｐ（ｔ｜ｓ）を（ｓ，ｔ）要素とするＳ×Ｔ行列、Φ’は状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）が音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ｔ）を（ｔ，ε）要素とするＴ×Ｅ行列、ｅ’ｓは音響信号列２０１１ａ−ｓに与えられた音響イベントの列（Ｎｓ次元ベクトル：Ｎｓは音響信号列２０１１ａ−ｓに対応する音響イベントの個数）、Ω’は音響信号列２０１１ａと成り得る列の集合を表す。
【０２２７】
ラベル付き音響信号列２０１１に対応する状況の候補ｔの遷移確率πｔの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）γ’、各音響信号列２０１１ａ−ｓにおける状況の候補ｔの生成確率θｓの事前分布のパラメータ(Ｄｉｒｉｃｈｌｅｔ分布に従うものとする)α’、状況の候補ｔにおける音響イベントεの生成確率φｔの事前分布のパラメータ（Ｄｉｒｉｃｈｌｅｔ分布に従うものとする）β’が与えられたときの、音響イベントの列ｅ’ｓの生成確率Ｐ（ｅ’ｓ，Π’，Θ’，Φ’｜γ’，α’，β’）は、以下の通りである。
【数３０】
2015028579.tif 000032
ただし、ｅｉはラベル付き音響信号列２０１１−ｓの要素番号ｉに対応する音響イベントラベルが表す音響イベント、Ｎｓはラベル付き音響信号列２０１１−ｓの要素数（要素番号ｉの最大値）、ｚｉは音響信号列２０１１ａ−ｓの要素番号ｉに対応する音響信号が表す状況の候補、π’tｉ−１tｉは音響信号列２０１１ａ−ｓの要素番号ｉ−１に対応する音響信号が表す状況の候補ｔｉ−１から要素番号ｉに対応する音響信号が表す状況の候補ｔｉへの遷移確率を表す。また、φｔは状況の候補ｔが音響イベントε（ただし、ε∈｛１，・・・，Ｅ｝）を生成する確率Ｐ（ε｜ｔ）をε番目の要素とするＥ次元ベクトルを表す。θｓは音響信号列２０１１ａ−ｓが状況の候補ｔ（ただし、ｔ∈｛１，・・・，Ｔ｝）を生成する確率Ｐ（ｔ｜ｓ）をｔ番目の要素とするＴ次元ベクトルを表す。
【０２２８】
［生成モデルの算出過程の説明］
モデル化部２１０２は、入力されたラベル付き音響信号列２０１１から、音響信号列が状況の候補を生成する確率Ｐ（状況の候補｜音響信号列）を算出し、それを音響信号−状況生成モデル１２として記憶部２１０３に格納する。モデル化部２１０２は、状況の候補が音響イベントを生成する確率Ｐ（音響イベント｜状況の候補）を算出し、それを状況−音響イベント生成モデル１３として記憶部２１０３に格納してもよい。また、モデル化部２１０２は、状況の候補の遷移確率を算出し、それを状況遷移モデル２０１７として記憶部２１０３に格納してもよい。
【０２２９】
さらにモデル化部２１０２は、入力されたラベル付き音響信号列２０１１に対して尤もらしい状況を表す状況ラベル１９を選択して外部に出力したり、記憶部２１０３に格納したりしてもよい。選択される状況ラベル１９は、各時間区間に対して１個でもよいし、複数個でもよい。また、各時間区間において尤もらしさが閾値を超えたすべての状況を表すラベルを状況ラベル１９の列を外部に出力したり、記憶部２１０３に格納したりしてもよい。
【０２３０】
音響信号−状況生成モデル１２および状況−音響イベント生成モデル１３の算出は、入力されたラベル付き音響信号列２０１１の音響イベントの時系列の並びにおける、状況の候補に対応する音響イベントの組み合わせと状況の候補の時系列の並びとの同時事後確率を最大化する処理を用いて行われる。例えば、マルコフ連鎖モンテカルロ法（ＭＣＭＣ法：Markov Chain Monte Carlo methods）や変分ベイズ法（ＶＢ法：Variational Bayes methods）などの手法を用いることができる。ＭＣＭＣ法には，Ｍ−Ｈアルゴリズムやギブスサンプリングなどの手法がある。ここでは一例としてギブスサンプリングによる生成モデルの算出手法を説明する。
【０２３１】
［生成モデルの算出方法の例示］
(i)モデル化部２１０２は、ハイパパラメータとしてパラメータα’，β’およびγ’を事前に決定する。
(ii)モデル化部２１０２は、全ての音響信号列２０１１ａ−ｓ（ただしｓ＝１，...，Ｓ）の全ての要素番号ｉに対応する要素に状況の候補ｔｉをランダムに割り当てる。また、要素番号ｉに対応する要素への状況の候補ｔｉの割り当ては、事前にモデル化部２１０２に設定しておいた割り当てであってもよい。
【０２３２】
(iii)モデル化部２１０２は、全ての音響信号列２０１１ａ−ｓ（ただしｓ＝１，...，Ｓ）の各要素番号ｉ（要素番号ｉ−１またはｉ＋１に対応する要素が存在しない要素番号ｉを除く）について、以下の(iii-1)および(iii-2)を交互に、規定の回数（正値であり、例えば１〜３０００回程度）、もしくは、所望の結果が得られるまで（例えば、割り当ての前後において、状況の割り当て先の変化が一定の閾値（例えば０．３％）以下になるまでなど）繰り返す。
【０２３３】
(iii-1)モデル化部２１０２は、以下の式により、更新対象のラベル付き音響信号列の要素番号ｉを除いた要素番号に対応する音響信号列に対して、要素番号ｉの要素に状況の候補ｚｉに割り当てられる確率分布Ｐ（ｚｉ｜ｚ−ｉ，ｅ−ｉ，α’，β’，γ’）を更新する。
【数３１】
2015028579.tif 000033
ただし、ＣεｔＥＴは更新対象のラベル付き音響信号列（初期値はラベル付き音響信号列２０１１）で音響イベントεに状況ｔが割り当てられた回数を表し、ＣｔｓＴＳは更新対象のラベル付き音響信号列で状況ｔが更新対象の音響信号列（初期値は音響信号列２０１１ａ−ｓ）に割り当てられた回数を表す。なお、表記制約上の都合から「ＣεｔＥＴ」「ＣｔｓＴＳ」と表記するが、本来は式（３３）に示すように「ＣεｔＥＴ」の「ＥＴ」は「εｔ」の上に表記され、「ＣｔｓＴＳ」の「ＴＳ」は「ｔｓ」の上に表記される。ｚ−ｉは要素番号ｉ以外の要素番号に対応する状況からなる列、ｅ−ｉは要素番号ｉ以外の要素番号に対応する音響イベントからなる列を表す。また、ｔｉ−１＝ｔｉのときにＩ（ｔｉ−１＝ｔｉ）＝１、ｔｉ−１≠ｔｉのときにＩ（ｔｉ−１＝ｔｉ）＝０となり、ｔｉ＝ｔｉ＋１のときにＩ（ｔｉ＝ｔｉ＋１）＝１、ｔｉ≠ｔｉ＋１ｉのときにＩ（ｔｉ＝ｔｉ＋１）＝０となる。
【０２３４】
(iii-2)モデル化部２１０２は、上記の更新式（３３）で得られた確率分布Ｐ（ｚｉ｜ｚ−ｉ，ｅ−ｉ，α’，β’，γ’）に従って、各要素番号ｉの要素に割り当てる状況の候補ｚｉをサンプリング（選択）する。モデル化部２１０２は、このようにサンプリングした状況の候補ｚｉを要素番号ｉの要素に割り当て、要素番号ｉに対応する状況の候補を更新する。これにより更新対象のラベル付き音響信号列を更新する。
【０２３５】
(iv)モデル化部２１０２は、上記の(iii-1)(iii-2)の繰り返しによって最終的に得られたＣεｔＥＴ，ＣｔｓＴＳおよびＲｔｉｔｉ＋１を用い、以下を計算する。
【数３２】
2015028579.tif 000034
【０２３６】
これによってモデル化部２１０２は、状況が音響イベントを生成する確率φεｔ（ただし、ｔ∈｛１，・・・，Ｔ｝，ε∈｛１，・・・，Ｅ｝）の集合を得、それを状況−音響イベント生成モデル１３とする。例えばモデル化部２１０２は、確率φεｔを（ｔ，ε）要素とするＴ×Ｅ行列を状況−音響イベント生成モデル１３とする。また、モデル化部２１０２は、音響信号列が状況を生成する確率θｔｓ（ただし、ｓ∈｛１，・・・，Ｓ｝，ｔ∈｛１，・・・，Ｔ｝）の集合を得、それを音響信号−状況生成モデル１２とする。例えばモデル化部２１０２は、確率θｔｓを（ｓ，ｔ）要素とするＳ×Ｔ行列を音響信号−状況生成モデル１２とする。また、モデル化部２１０２は、これによって状況の候補の遷移確率π’ｔｉｔｉ＋１（ただし、ｔｉ，ｔｉ+１∈｛１，・・・，Ｔ｝）の集合を得、それを状況遷移モデル２０１７とする。例えばモデル化部２１０２は、ｔｉ，ｔｉ+１∈｛１，・・・，Ｔ｝に対応する遷移確率π’ｔｉｔｉ＋１を（ｔｉ，ｔｉ+１）要素とするＴ×Ｔ行列を状況遷移モデル２０１７とする。
【０２３７】
或いは、モデル化部２１０２は、(iii-1)の繰り返し処理時に、式（３３）の算出過程で確率φεｔ，θｔｓ，π’ｔｉｔｉ＋１をそれぞれ１個以上サンプリング（計算）し、式（３４）（３５）（３６）に代えて、サンプリングされた確率φεｔの平均値、確率θｔｓの平均値、およびπ’ｔｉｔｉ＋１の平均値を用い、それぞれ、状況−音響イベント生成モデル１３、音響信号−状況生成モデル２０１２、および状況遷移モデル２０１７を得てもよい。
【０２３８】
また、上記更新過程でサンプリング（選択）し、各要素番号ｉの要素に割り当てた状況の候補ｚｉを分析することで、各ラベル付き音響信号列２０１１−ｓの音響信号列がどの状況によって生成されたかを知ることができる。モデル化部１１０２は、このように各要素番号ｉの要素に割り当てた状況の候補ｚｉを表すラベル、またはそれらの一部を状況ラベル１９として出力してもよい。
【０２３９】
本実施例では、音響信号が状況を生成する確率や状況が音響イベントを生成する確率のみでなく、状況の時間遷移確率も考慮して学習処理を行うことで、遷移確率によって特徴付けられる状況を精度よくモデル化できる。また、遷移確率によって特徴付けられる状況を精度よく分析できる。
【０２４０】
＜実施例（３）−１−２：図２５＞
［音響信号列から音響信号-状況生成モデル、状況−音響イベント生成モデルおよび状況遷移モデルを算出し、状況を分析］
本実施例では、音響信号列２０１５−１，・・・，２０１５−Ｓを入力とし、状況の時間変化を考慮に入れ、音響信号−状況生成モデル２０１２、状況−音響イベント生成モデル１３、状況遷移モデル２０１７の少なくとも何れかを得る。すなわち、本実施例では、音響信号から音響特徴量を得、得られた音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、音響信号−状況生成モデル２０１２、状況−音響イベント生成モデル１３、状況遷移モデル２０１７の少なくとも何れかを得る。また状況の分析を行ってもよい。
【０２４１】
図２５に例示するように、本実施例のモデル処理装置２１１０は、特徴量算出部１１１、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部２１０１、モデル化部２１０２、および記憶部２１０３を有する。モデル処理装置２１１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２４２】
まず特徴量算出部１１１に音響信号列２０１５−１，・・・，２０１５−Ｓが入力される。各音響信号列２０１５−ｓ（ただし、ｓ∈｛１，・・・，Ｓ｝）は、前述の時間区間ごとに区分された要素からなり、各要素には要素番号が付されている。
【０２４３】
特徴量算出部１１１は、各音響信号列２０１５−ｓから、それぞれに対応する音響特徴量列（ベクトル）を算出して出力する。音響特徴量列の具体例は、実施例（１）−１−２と同じである。
【０２４４】
音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、音響信号列２０１５−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を入力された音響信号列２０１５−１，・・・，２０１５−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓを出力する。
【０２４５】
音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓは、音響信号列合成部２１０１に入力される。以降の処理は実施例（３）−１−１と同じである。
【０２４６】
なお、音響信号列合成部２１０１で音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓの合成処理を行うことに代えて、特徴量算出部１１１の前段で音響信号列２０１５−１，・・・，２０１５−Ｓの合成処理を行っても良いし、音響イベント判定部１１２の前段で音響特徴量列の合成処理を行っても良い。
【０２４７】
＜実施例（３）−１−３：図２６＞
［音響特徴量列から音響信号-状況生成モデル、状況−音響イベント生成モデルおよび状況遷移モデルを算出し、状況を分析］
本実施例では、音響特徴量列２０１６−１，・・・，２０１６−Ｓを入力とし、状況の時間変化を考慮に入れ、音響信号−状況生成モデル２０１２、状況−音響イベント生成モデル１３、状況遷移モデル２０１７の少なくとも何れかを得る。すなわち、本実施例では、音響信号から音響特徴量を得、得られた音響特徴量を用いて音響イベントを決定し、それによって音響イベントラベル列を得てから学習処理を行い、音響信号−状況生成モデル２０１２、状況−音響イベント生成モデル１３、状況遷移モデル２０１７の少なくとも何れかを得る。また状況の分析を行ってもよい。
【０２４８】
図２６に例示するように、本実施例のモデル処理装置２１２０は、音響イベント判定部１１２、音響イベントモデルデータベース（ＤＢ）１１３、音響信号列合成部２１０１、モデル化部２１０２、および記憶部２１０３を有する。モデル処理装置２１２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２４９】
まず音響イベント判定部１１２に、音響特徴量列２０１６−１，・・・，２０１６−Ｓが入力される。音響イベント判定部１１２は、実施例（１）−１−２で例示した方法等によって、音響特徴量列２０１６−１，・・・，２０１６−Ｓを用いて各要素番号ｉに対して音響イベントを決定する。音響イベント判定部１１２は、各要素番号ｉに対して決定した音響イベントを表す音響イベントラベルを、音響特徴量列２０１６−ｓの各要素番号ｉの要素に付与する。音響イベント判定部１１２は、この処理を音響特徴量列２０１６−１，・・・，２０１６−Ｓのすべての要素（すべての要素番号ｉ）について行い、その結果得られる音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓを出力する。
【０２５０】
音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓは、音響信号列合成部２１０１に入力される。以降の処理は実施例（３）−１−１と同じである。
【０２５１】
なお、音響信号列合成部２１０１で合成処理を行うことに代えて、音響イベント判定部１１２の前段で音響特徴量列２０１６−１，・・・，２０１６−Ｓの合成処理を行っても良い。
【０２５２】
＜実施例（３）−２−１：図２７＞
［音響イベントラベル付き音響信号列から状況を推定］
本実施例では、実施例（３）−１−１〜（３）−１−３で説明したように得られた状況−音響イベント生成モデル１３および/または状況遷移モデルを用い、新たに入力された音響イベントラベル付き音響信号列から状況を推定する。
【０２５３】
図２７に例示するように、本実施例のモデル処理装置２２００は、記憶部２１０３および生成モデル比較部２２０１を有する。モデル処理装置２２００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２５４】
まず生成モデル比較部２２０１に音響イベントラベル付き音響信号列２０２１が入力される。音響イベントラベル付き音響信号列２０２１は、前述の時間区間ごとに区分された時系列の音響信号列、当該時間区間ごとに区分された音響信号列の各要素に対応する要素番号、および当該時間区間ごとに決定されて付与された音響イベントラベルを含む。要素番号および音響イベントラベルは、音響信号列の要素ごとに付与される。
【０２５５】
生成モデル比較部２２０１は、入力された音響イベントラベル付き音響信号列２０２１と、記憶部２１０３に格納された状況−音響イベント生成モデル１３および/または状況遷移モデルとを比較し、音響イベントラベル付き音響信号列２０２１に対し、最も適切であると判断した状況、又は最も適切なものから順番に複数個の状況を決定し、それらを推定結果として出力する。具体的には、例えば、実施例（２）−２−１の生成モデル比較部１２０１と同じ方法で、音響イベントラベル付き音響信号列２０２１に対応する状況の推定を行うことができる。入力された音響イベントラベル付き音響信号列２０２１の音響イベントの分布と、状況の候補に対応する確率Ｐ（音響イベント｜状況の候補）で表される音響イベントの分布との近さに基づいて、状況が推定されてもよい。また、入力された音響イベントラベル付き音響信号列２０２１の音響イベントの時系列の並びに対する、確率Ｐ（音響イベント｜状況の候補）のもとでの、状況の候補の尤もらしさに基づいて、状況が推定されてもよい。
【０２５６】
＜実施例（３）−２−２：図２８＞
［音響信号列から状況を推定］
本実施例では、実施例（３）−１−１〜（３）−１−３で説明したように得られた状況−音響イベント生成モデル１３および/または状況遷移モデルを用い、新たに入力された音響信号列から状況を推定する。
【０２５７】
図２８に例示するように、本実施例のモデル処理装置２２１０は、特徴量算出部２１１、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部２１０３、生成モデル比較部２２０１を有する。モデル処理装置２２１０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２５８】
まず特徴量算出部２１１に音響信号列２２が入力される。特徴量算出部２１１は、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。例えば特徴量算出部２１１は、前述した特徴量算出部１１１と同じ方法で音響特徴量列を算出する。
【０２５９】
音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、特徴量算出部２１１から出力された音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響信号列２２の全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した音響イベントを表す音響イベントラベルを音響信号列２２の各要素に付することで、音響イベントラベル付き音響信号列２０２１を生成して出力する。
【０２６０】
音響イベントラベル付き音響信号列２０２１は、生成モデル比較部２２０１に入力される。以降の処理は実施例（３）−２−１と同じである。
【０２６１】
＜実施例（３）−２−３：図２９＞
[音響特徴量から状況を推定]
本実施例では、実施例（３）−１−１〜（３）−１−３で説明したように得られた状況−音響イベント生成モデル１３および/または状況遷移モデルを用い、新たに入力された音響特徴量列から状況を推定する。
【０２６２】
図２９に例示するように、本実施例のモデル処理装置２２２０は、音響イベント判定部２１２、音響イベントモデルＤＢ１１３、記憶部２１０３、生成モデル比較部２２０１を有する。モデル処理装置２２２０は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２６３】
まず音響イベント判定部２１２に音響特徴量列２３が入力される。音響イベント判定部２１２は、前述した音響イベント判定部１１２と同じ方法で、音響特徴量列２３の音響特徴量列と、音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとをそれぞれ比較し、音響特徴量列２３が含む全ての要素について音響イベントを決定する。音響イベント判定部２１２は、決定した各要素の音響イベントを表す音響イベントラベルを、音響特徴量列２３が含む音響信号列に付することで、音響イベントラベル付き音響信号列２０２１を生成して出力する。
【０２６４】
音響イベントラベル付き音響信号列２０２１は、生成モデル比較部２２０１に入力される。以降の処理は実施例（３）−２−１と同じである。
【０２６５】
＜実施例（３）−３−１：図３０＞
［音響イベントラベル付き音響信号列から状況を推定すると共に、状況−音響イベント生成モデル、音響信号−状況生成モデル、および状況遷移モデルを算出］
本実施例は実施例（３）−１−１と実施例（３）−２−１の組み合わせである。本実施例では、音響イベントラベル付き音響信号列２０２１を入力として状況を推定することに加え、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓを入力とし、音響信号−状況生成モデル１２、および状況−音響イベント生成モデル１３の少なくとも何れかの算出も行う。さらに状況遷移モデル２０１７や状況ラベル１９の生成を行ってもよい。
【０２６６】
図３０に例示するように、本実施例のモデル処理装置２３００は、記憶部２１０３，２３０３、音響信号列合成部３０１、モデル化部２１０２、および生成モデル比較部２２０１を有する。モデル処理装置２３００は、例えば、汎用又は専用の公知のコンピュータに所定のプログラムが読み込まれることで構成される。
【０２６７】
記憶部２３０３には、前述した音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ、および前述した音響イベントラベル付き音響信号列２０２１が格納されている。
【０２６８】
音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ，２０２１は音響信号列合成部３０１に入力される。音響信号列合成部３０１は、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ，２０２１を時系列方向につなぎ合わせて一つの音響イベントラベル付き音響信号列を生成し、モデル化部２１０２に送出する。モデル化部２１０２は、実施例（３）−１−１で説明したように、入力された音響イベントラベル付き音響信号列から、音響信号−状況生成モデル２０１２、および状況−音響イベント生成モデル１３を生成し、それらを記憶部２１０３に格納する。また、実施例（３）−１−１で説明したように、モデル化部２１０２が状況遷移モデル２０１７を生成して記憶部２１０３に格納してもよいし、状況ラベル１９を生成して記憶部２１０３に格納してもよい。
【０２６９】
音響イベントラベル付き音響信号列２０２１は生成モデル比較部２２０１に入力される。音響イベントラベル付き音響信号列２０２１は、実施例（３）−２−１で説明したように、入力された音響イベントラベル付き音響信号列２０２１と、記憶部２１０３に格納された状況−音響イベント生成モデル１３および/または状況遷移モデルとを比較し、音響イベントラベル付き音響信号列２０２１に対し、最も適切であると判断した状況、又は最も適切なものから順番に複数個の状況を選択し、それらを推定結果として出力する。
【０２７０】
さらに、音響イベントラベル付き音響信号列２０２１が、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓとともに音響信号列合成部３０１に入力されてもよい。この場合、音響信号列合成部３０１は、入力されたすべての音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ，２０２１を時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベル付き音響信号列２０１１’（「第３音響イベントラベル列」）を得て出力する。モデル化部１１０２は、実施例（３）−１−１のラベル付き音響信号列２０１１（「音響イベントラベル列」）に代えて、音響イベントラベル付き音響信号列２０１１’（「第３音響イベントラベル列」）を用い、再度、実施例（３）−１−１で説明したように、音響信号−状況生成モデル２０１２、および状況−音響イベント生成モデル１３の少なくとも何れかを生成し、それを記憶部２１０３に格納する。さらにモデル化部１１０２が、ラベル付き音響信号列２０１１に代えて、入力された音響イベントラベル付き音響信号列２０１１’を用い、再度、実施例（３）−１−１で説明したように、状況遷移モデル２０１７を生成して記憶部２１０３に格納してもよいし、状況ラベル１９を生成して記憶部２１０３に格納してもよい。
【０２７１】
また、生成モデル比較部２２０１の処理およびモデル化部２１０２の処理のどちらを先に行っても良い。ただし、モデル化部２１０２の処理を行う前に生成モデル比較部２２０１の処理を行う場合、記憶部２１０３に予め得られた各生成モデルおよび/または状況遷移モデルが格納されている必要がある。
【０２７２】
また、音響イベントラベル付き音響信号列２０２１が、新たに入力された音響イベントラベル付き音響信号列とともに音響信号列合成部３０１に入力されてもよい。この場合、音響信号列合成部３０１がこれらを時系列方向につなぎ合わせ（合成）、それによって一つの音響イベントラベル付き音響信号列（「第３音響イベントラベル列」）を得て、モデル化部２１０２に送出してもよい。
その他の処理は実施例（３）−１−１および実施例（３）−２−１と同様とする。
【０２７３】
＜実施例（３）−３−２：図３１＞
［音響信号列から状況を推定すると共に、状況−音響イベントの生成モデル、音響信号−状況生成モデル、および状況遷移モデルを算出］
本実施例は、実施例（３）−１−２と実施例（３）−２−２の組み合わせである。
本実施例では、音響信号列２０１５−１，・・・，２０１５−Ｓ，２２を入力として、学習によって、音響信号−状況生成モデル１２、および状況−音響イベント生成モデル１３の少なくとも何れかを算出する。さらに状況遷移モデル２０１７や状況ラベル１９の生成を行ってもよい。さらに本実施例では、状況−音響イベント生成モデル１３および/または状況遷移モデルを用い、音響信号列２２から状況を推定する。
【０２７４】
図３１に例示するように、本実施例のモデル処理装置３１０は、特徴量算出部１１１−１，・・・，１１１−Ｓ，２１１、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置２３００（図３０参照）を有する。
【０２７５】
音響信号列２０１５−１，・・・，２０１５−Ｓは、それぞれ特徴量算出部１１１−１，・・・，１１１−Ｓに入力される。特徴量算出部１１１−１，・・・，１１１−Ｓは、実施例（１）−１−２で説明したように、音響信号列２０１５−１，・・・，２０１５−Ｓから、それぞれ音響特徴量列を得て出力する。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓを生成して出力する。
【０２７６】
音響信号列２２は特徴量算出部２１１に入力される。特徴量算出部２１１は、実施例（１）−２−２で説明したように、音響信号列２２から音響特徴量列（ベクトル）を算出して出力する。音響イベント判定部２１２は、実施例（１）−２−２で説明したように、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２０２１を生成して出力する。
【０２７７】
音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ、２０２１は、記憶部２３０３（図３０）に格納される。以降の処理は実施例（３）−３−１と同じである。
【０２７８】
＜実施例（３）−３−３：図３２＞
［音響特徴量から状況を推定すると共に、状況−音響イベント生成モデル、音響信号−状況生成モデル、および状況遷移モデルを算出］
本実施例は、実施例（３）−１−３と実施例（３）−２−３の組み合わせである。
本実施例では、音響特徴量列２０１６−１，・・・，２０１６−Ｓ，２３を入力として、学習によって、音響信号−状況生成モデル１２、および状況−音響イベント生成モデル１３の少なくとも何れかを算出する。状況遷移モデル２０１７や状況ラベル１９の生成を行ってもよい。さらに本実施例では、音響信号−状況生成モデル１２、および状況−音響イベント生成モデル１３を用い、音響特徴量列２３から状況を推定する。
【０２７９】
図３２に例示するように、本実施例のモデル処理装置２３２０は、音響イベント判定部１１２−１，・・・，１１２−Ｓ，２１２、音響イベントモデルＤＢ１１３、および前述のモデル処理装置２３００（図３０参照）を有する。
【０２８０】
音響特徴量列２０１６−１，・・・，２０１６−Ｓは、それぞれ音響イベント判定部１１２−１，・・・，１１２−Ｓに入力される。音響イベント判定部１１２−１，・・・，１１２−Ｓは、それぞれ、前述の音響イベント判定部１１２と同様に、入力された音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓを生成して出力する。
【０２８１】
音響特徴量列２３は音響イベント判定部２１２に入力される。音響イベント判定部２１２は、実施例（１）−２−３と同様に、入力された音響特徴量列２３の音響特徴量列と音響イベントモデルＤＢ１１３に記憶されている複数の音響イベントモデルとから、音響イベントラベル付き音響信号列２０２１を生成して出力する。
【０２８２】
音響イベントラベル付き音響信号列２０１１−１，・・・，２０１１−Ｓ、音響イベントラベル付き音響信号列２０２１は、記憶部２３０３（図３０）に格納される。以降の処理は実施例（２）−３−１と同じである。
【０２８３】
＜変形例等＞
なお、本発明は上述の実施例に限定されるものではない。例えば、モデル処理装置の処理が複数の装置で分散処理されてもよいし、上記の各実施例で記憶部やＤＢに格納された各データが複数の記憶部やＤＢに分散して格納されてもよい。例えば、行動−状況生成モデル、状況−音響イベント生成モデル、行動−音響イベント生成モデル、音響信号−状況生成モデル等の生成モデルや、行動遷移モデルや状況遷移モデル等が互いに異なる記憶部に格納されてもよい。
【０２８４】
音響信号列を使用しない場合（例えば、実施例（１）−１−１等）には、音響イベントラベルおよび行動ラベル候補付き音響信号列に代えて、音響イベントラベルおよび行動ラベル候補列が用いられてもよい。同様に、音響信号列を使用しない場合（例えば、実施例（１）−３−１等）には、音響イベントラベル付き音響信号列に代えて、音響イベントラベル列が用いられてもよい。また、音響イベントラベル列と行動ラベル候補列とが別々に入力されてもよい。
【０２８５】
音響イベントラベルおよび行動ラベル候補列の例は、音響イベントラベルおよび行動ラベル候補付き音響信号列から音響信号列を除いた列である。また、音響イベントラベル列の例は、音響イベントラベル付き音響信号列から音響信号列を除いた列である。
【０２８６】
また、ラベル列が時系列の順に入力され順次処理されるのであれば、音響イベントラベル付き音響信号列、音響イベントラベルおよび行動ラベル候補付き音響信号列等が要素番号を含まなくてもよい。
【０２８７】
また、各実施例のモデル処理装置が行動や状況の分析を行う場合には分析装置として機能する。各実施例のモデル処理装置が、生成モデルを出力することなく、行動や状況の分析のみを行い、その推定結果を出力してもよい。
【０２８８】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０２８９】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【０２９０】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０２９１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【０２９２】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【図１】
2015028579.tif 000035
【図２】
2015028579.tif 000036
【図３】
2015028579.tif 000037
【図４】
2015028579.tif 000038
【図５】
2015028579.tif 000039
【図６】
2015028579.tif 000040
【図７】
2015028579.tif 000041
【図８】
2015028579.tif 000042
【図９】
2015028579.tif 000043
【図１０】
2015028579.tif 000044
【図１１】
2015028579.tif 000045
【図１２】
2015028579.tif 000046
【図１３】
2015028579.tif 000047
【図１４】
2015028579.tif 000048
【図１５】
2015028579.tif 000049
【図１６】
2015028579.tif 000050
【図１７】
2015028579.tif 000051
【図１８】
2015028579.tif 000052
【図１９】
2015028579.tif 000053
【図２０】
2015028579.tif 000054
【図２１】
2015028579.tif 000055
【図２２】
2015028579.tif 000056
【図２３】
2015028579.tif 000057
【図２４】
2015028579.tif 000058
【図２５】
2015028579.tif 000059
【図２６】
2015028579.tif 000060
【図２７】
2015028579.tif 000061
【図２８】
2015028579.tif 000062
【図２９】
2015028579.tif 000063
【図３０】
2015028579.tif 000064
【図３１】
2015028579.tif 000065
【図３２】
2015028579.tif 000066