(57)【要約】識別率の低下がおこりにくい音識別装置は、入力音信号のフレームごとに音特徴量を抽出するフレーム音特徴量抽出部（１０１）と、各フレームの音特徴量の、各音モデルに対するフレーム尤度を算出するフレーム尤度算出部（１０２）と、フレーム尤度に基づいて、信頼度を判定する信頼度判定部（１０７）と、信頼度に基づいて、累積尤度出力単位時間を決定する累積尤度出力単位時間決定部（１０８）と、各音モデルについて、累積尤度出力単位時間に含まれるフレームのフレーム尤度の累積尤度を算出する累積尤度算出部（１０３）と、累積尤度が最尤となる音モデルに対応する音種別を累積尤度出力単位時間ごとに決定する音種別候補判定部（１０４）と、音種別候補の頻度を算出する音種別頻度算出部（１０６）と、音種別候補の頻度より入力音信号の音種別および区間を決定する音種別区間決定部（１０５）とを備える。
2007023660.tif 000002
【特許請求の範囲】
【請求項１】
入力音信号の種別を識別する音識別装置であって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するフレーム音特徴量抽出部と、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するフレーム尤度算出部と、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定する信頼度判定部と、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定する累積尤度出力単位時間決定部と、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出する累積尤度算出部と、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定する音種別候補判定部と、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出する音種別頻度算出部と、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する音種別区間決定部とを備える
ことを特徴とする音識別装置。
【請求項２】
前記信頼度判定部は、前記フレーム尤度算出部で算出された各フレームの音特徴量の各音モデルに対するフレーム尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項３】
前記信頼度判定部は、前記フレーム尤度のフレーム間での変動値に基づいて、前記信頼度を判定する
ことを特徴とする請求項２に記載の音識別装置。
【請求項４】
前記信頼度判定部は、前記複数の音モデルに対するフレーム尤度のうちの最大値と最小値との差に基づいて、前記信頼度を判定する
ことを特徴とする請求項２に記載の音識別装置。
【請求項５】
前記累積尤度算出手段は、前記信頼度が所定の閾値よりも小さいフレームに対しては前記フレーム尤度を累積しない
ことを特徴とする請求項２に記載の音識別装置。
【請求項６】
前記信頼度判定部は、前記累積尤度算出部で算出された前記累積尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項７】
前記信頼度判定部は、前記複数の音モデルに対する前記累積尤度のうちの最大値または最小値から所定差内に含まれる前記累積尤度の音モデルの個数と、前記累積尤度の変動値に基づいて、前記信頼度を判定する
ことを特徴とする請求項６に記載の音識別装置。
【請求項８】
前記信頼度判定部は、前記累積尤度算出部で算出された前記音モデルごとの累積尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項９】
前記信頼度判定部は、前記フレーム音特徴量抽出部で抽出される音特徴量に基づいて、
前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項１０】
さらに、前記信頼度に基づいて、識別単位時間を決定する識別単位時間決定部を備え、
前記音種別頻度算出部では、前記識別単位時間に含まれる音種別の頻度を算出する
ことを特徴とする請求項１に記載の音識別装置。
【請求項１１】
入力音信号の種別を識別する音識別方法であって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出し、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出し、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定し、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定し、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出し、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定し、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出し、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する
ことを特徴とする音識別方法。
【請求項１２】
入力音信号の種別を識別する音識別方法のプログラムであって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するステップと、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するステップと、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定するステップと、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定するステップと、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出するステップと、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定するステップと、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出するステップと、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定するステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は入力音を識別し、入力音の種別と各種別の区間とを出力する音識別装置に関する。
【背景技術】
【０００２】  従来、音識別装置は、特定の音の音響的な特徴を抽出することにより、発生音源や機器に関する情報の抽出法として広く利用されている。たとえば、車外の救急車やサイレンの音を検出し車内に通知させるためや、工場で生産される製品のテスト時に製品動作音を分析し異常音を検出することによって、不良機器を発見するためなどに用いられている。一方、識別対象音を特定の音に限定せずに、様々な音が混在したり、入れ替わり発生したりする混合環境音から、発生した音の種類やカテゴリを識別する技術も近年求められるようになっている。【０００３】  発生した音の種類やカテゴリを識別する技術として特許文献１がある。特許文献１に記載の情報検出装置は、入力された音データを所定の時間単位毎にブロックに分け、ブロック毎に音声「Ｓ」と音楽「Ｍ」とに分類する。図１は、音データを時間軸上で分類された結果を模式的に示した図である。続いて、情報検出装置は、所定の時間単位Ｌｅｎにおける分類された結果を時刻ｔ毎に平均化し、音種別が「Ｓ」または「Ｍ」である確率を表す識別頻度Ｐｓ（ｔ）またはＰｍ（ｔ）を算出する。図１では、時刻ｔ０における所定単位時間Ｌｅｎを模式的に示している。例えば、Ｐｓ（ｔ０）を算出する場合は、所定時間単位Ｌｅｎに存在する音種別「Ｓ」の数の和を所定時間単位Ｌｅｎで割って識別頻度Ｐｓ（ｔ０）を算出する。続いて、予め決めた閾値Ｐ０とＰｓ（ｔ）または閾値Ｐ０とＰｍ（ｔ）とを比較し、閾値Ｐ０を越えるか否かで音声「Ｓ」または音楽「Ｍ」の区間を検出する。
【特許文献１】特開２００４−２７１７３６号公報（段落番号００２５−００３５）
【発明の開示】
【発明が解決しようとする課題】
【０００４】  しかしながら、特許文献１では、それぞれの時刻ｔにおける識別頻度Ｐｓ（ｔ）等を算出する場合に、同一の所定時間単位Ｌｅｎ、すなわち固定値の所定時間単位Ｌｅｎを使用しているため、次のような課題を有している。【０００５】  一つ目は、突発音が頻繁に発生した場合に区間検出が不正確になるという課題である。突発音が頻繁に発生した場合、各ブロックの音種別の判断が不正確になり、実際の音種別と各ブロックで判断される音種別とが間違うことが頻繁に起こる。このような間違いが頻繁に発生すると、所定時間単位Ｌｅｎにおける識別頻度Ｐｓ等が不正確になるため、最終的な音声または音楽区間の検出が不正確になる。【０００６】  二つ目は、識別したい音（ターゲット音）と背景音との関係によってターゲット音の認識率が所定時間単位Ｌｅｎの長さに依存するという課題である。すなわち、固定値である所定時間単位Ｌｅｎを用いてターゲット音の識別を行った場合には、背景音によってターゲット音の認識率が低下するという課題がある。なお、この課題については後述する。【０００７】  本発明は、上述の課題を解決するためになされたものであり、突発音が発生しても、さらには背景音とターゲット音との組み合わせが変動しても識別率の低下がおこりにくい音識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】  本発明に係る音識別装置は、入力音信号の種別を識別する音識別装置であって、入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するフレーム音特徴量抽出部と、各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するフレーム尤度算出部と、前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定する信頼度判定部と、前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定する累積尤度出力単位時間決定部と、前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出する累積尤度算出部と、前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定する音種別候補判定部と、前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出する音種別頻度算出部と、前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する音種別区間決定部とを備えることを特徴とする。【０００９】  例えば、前記信頼度判定部は、前記フレーム尤度算出部で算出された各フレームの音特徴量の各音モデルに対するフレーム尤度に基づいて、前記所定の信頼度を判定する。【００１０】  この構成によると、所定の信頼度、例えばフレーム尤度に基づいたフレームの信頼度に基づいて累積出力単位時間を決定している。このため、信頼度が高い場合には、累積尤度出力単位時間を短くし、信頼度が低い場合には累積尤度出力単位時間を長くすることにより、音種別を判別するためのフレーム数を可変にすることができる。このため、信頼度が低い突発的な異常音などの短時間の影響を低減することができる。このように、信頼度に基づいて、累積尤度出力単位時間を変化させているため、背景音と識別対象音との組み合わせが変動しても識別率の低下がおこりにくい、音識別装置を提供することができる。【００１１】  好ましくは、前記信頼度が所定の閾値よりも小さいフレームに対しては前記フレーム尤度を累積しない。【００１２】  この構成によると、信頼度が低いフレームを無視する。このため、音の種別を精度良く識別することができる。【００１３】  なお、前記信頼度判定部は、前記累積尤度算出部で算出された前記累積尤度に基づいて、前記信頼度を判定してもよい。【００１４】  また、前記信頼度判定部は、前記累積尤度算出部で算出された前記音モデルごとの累積尤度に基づいて、前記信頼度を判定してもよい。【００１５】  さらに、前記信頼度判定部は、前記フレーム音特徴量抽出部で抽出される音特徴量に基づいて、前記信頼度を判定してもよい。【００１６】  なお、本発明は、このような特徴的な手段を備える音識別装置として実現することができるだけでなく、音識別装置に含まれる特徴的な手段をステップとする音識別方法として実現したり、音識別方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１７】  本発明の音識別装置によれば、フレーム等の信頼度に基づいて、累積尤度出力単位時間を可変としている。このため、突発音が発生しても、さらには背景音とターゲット音の組み合わせが変動しても識別率の低下がおこりにくい音識別装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、特許文献１における識別頻度情報の概念図である。
【図２】図２は、本発明における頻度による音識別性能結果表である。
【図３】図３は、本発明の実施の形態１における音識別装置の構成図である。
【図４】図４は、本発明の実施の形態１における２つの単位時間と頻度とによる音種別判定法フローチャートである。
【図５】図５は、本発明の実施の形態１のフレーム信頼度判定部の実行する処理のフローチャートである。
【図６】図６は、本発明の実施の形態１の累積尤度出力単位時間決定部の実行する処理のフローチャートである。
【図７】図７は、本発明の実施の形態１のフレーム信頼度を用いた累積尤度計算部の実行する処理のフローチャートである。
【図８】図８は、本発明の実施の形態１のフレーム信頼度を用いた識別頻度の算出手法を示す概念図である。
【図９】図９は、本発明の実施の形態１における音識別装置の第二の構成図である。
【図１０】図１０は、本発明の実施の形態１のフレーム信頼度判定部の実行する処理の第二のフローチャートである。
【図１１】図１１は、本発明の実施の形態１のフレーム信頼度を用いた累積尤度計算部の実行する処理の第二のフローチャートである。
【図１２】図１２は、音種別候補判定部が実行する処理のフローチャートである。
【図１３】図１３は、本発明の実施の形態１のフレーム信頼度を用いた識別頻度の算出手法を示す第二の概念図である。
【図１４】図１４は、本発明の実施の形態２における音識別装置の構成図である。
【図１５】図１５は、本発明の実施の形態２のフレーム信頼度判定部の実行する処理のフローチャートである。
【図１６】図１６は、本発明の実施の形態２のフレーム信頼度判定部の実行する処理の第二のフローチャートである。
【図１７】図１７は、本発明の実施の形態２における音識別装置の第二の構成図である。
【図１８】図１８は、本発明の実施の形態２の音種別候補の信頼度を用いた累積尤度計算処理を示すフローチャートである。
【図１９】図１９は、音種別区間決定部において、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して複数の識別単位区間にわたり再計算をした場合（図１９（ｂ））と出現頻度を利用しなかった場合（図１９（ａ））との音種別および区間情報出力例を示す図である。
【図２０】図２０は、本発明の実施の形態３における音識別装置の構成図である。
【図２１】図２１は、本発明の実施の形態３のフレーム信頼度判定部の実行する処理のフローチャートである。
【符号の説明】
【００１９】  １０１  フレーム音特徴量抽出部
１０２  フレーム尤度算出部
１０３  累積尤度算出部
１０４  音種別候補判定部
１０５  音種別区間決定部
１０６  音種別頻度算出部
１０７  フレーム信頼度判定部
１０８  累積尤度出力単位時間決定部
１０９  フレーム信頼度判定部
１１０  フレーム信頼度判定部
１１１  音種別候補信頼度判定部
【発明を実施するための最良の形態】
【００２０】  以下本発明の実施の形態について、図面を参照しながら説明する。【００２１】  まず、本発明の実施の形態について説明する前に、本願発明者らが行なった実験より得られた知見について説明する。特許文献１に記載された手法のように、最尤モデルの頻度情報を用いて、ターゲット音と背景音との組み合わせを変えた混合音に対して音識別実験を行なった。統計的学習モデル（以下、適宜「モデル」という。）の学習には、背景音に対してターゲット音を１５ｄＢとして合成した音を用いた。また、音識別実験には、背景音に対してターゲット音を５ｄＢとした合成音を用いた。【００２２】  図２は、この音識別実験の結果を示す図である。図２は、識別頻度算出のための識別単位時間Ｔを１００フレームに固定し、累積尤度算出のための累積尤度出力単位時間Ｔｋを１、１０、１００フレームと変化させた場合における識別率を百分率で表している。すなわち、累積尤度出力単位時間Ｔｋ＝１００および識別単位時間Ｔ＝１００の場合には、ひとつの単位時間でひとつの累積尤度に基づいてひとつの頻度情報を出力していることになる。このため、累積尤度のみを用いた手法と同等な処理になる。【００２３】  ここで、結果を詳細に見ていく。環境音Ｎ１からＮ１７を背景音とする時、識別対象音が音声Ｍ００１や音楽Ｍ４の場合には、Ｔｋ＝１とするときが最良の識別結果となっていることがわかる。つまり、Ｔｋ＝１００とした累積尤度による手法に対しては効果が見られないことが分かる。一方で、同じ環境音（Ｎ１３を除く）が背景音で、識別対象音が環境音Ｎ１３の場合には、Ｔｋ＝１００の場合が最良という結果になっている。このように、背景音の種類によって最適なＴｋの値が異なるという傾向は、背景音が音楽または音声の場合にも見て取れる。【００２４】  すなわち、背景音とターゲット音との組み合わせにより、識別率が最良となるときの累積尤度出力単位時間Ｔｋの値が変動することがわかる。逆に、累積尤度出力単位時間Ｔｋの値を特許文献１のように固定値にすると、識別率が低下する場合も見受けられる。【００２５】  本発明は、この知見に基づいてなされたものである。【００２６】  本発明では、複数フレームの累積尤度結果に基づいた頻度情報を用いて音識別を行うにあたり、予め学習しておいた識別対象音のモデルを用いる。識別対象音としては、音声、音楽を想定し、環境音として駅、自動車走行音、踏切等の生活騒音を想定する。それぞれの音を、あらかじめ特徴量に基づいてモデル化しておくものとする。【００２７】  （実施の形態１）
図３は、本発明の実施の形態１における音識別装置の構成図である。【００２８】  音識別装置は、フレーム音特徴量抽出部１０１と、フレーム尤度算出部１０２と、累積尤度算出部１０３と、音種別候補判定部１０４と、音種別区間決定部１０５と、音種別頻度算出部１０６と、フレーム信頼度判定部１０７と、累積尤度出力単位時間決定部１０８とを備えている。【００２９】  フレーム音特徴量抽出部１０１は、入力音をたとえば１０ｍｓｅｃ長のフレームごとに、Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ（ＭＦＣＣ）等の音特徴量に変換する処理部である。ここで、音特徴量の算出単位となるフレーム時間長は１０ｍｓｅｃとして説明を行ったが、識別対象となるターゲット音の特徴に応じて、フレーム時間長を５ｍｓｅｃ〜２５０ｍｓｅｃとして算出するようにしても良い。フレーム時間長を５ｍｓｅｃとすると、極短時間の音の周波数特徴やその変化をも捕らえることができるので、例えばビート音や突発音などの音の早い変化を捉えて識別するために用いると良い。一方、フレーム時間長を２５０ｍｓｅｃとすると、準定常的な連続音などの周波数特徴を良く捕らえることができるので、例えばモータ音などの変動が遅いあるいはあまり変動が少ない音の周波数特徴を捉えることができるので、このような音を識別するために用いると良い。【００３０】  フレーム尤度算出部１０２は、モデルとフレーム音特徴量抽出部１０１で抽出された音特徴量との間のフレームごとの尤度であるフレーム尤度を算出する処理部である。【００３１】  累積尤度算出部１０３は、所定数のフレーム尤度を累積した累積尤度を算出する処理部である。【００３２】  音種別候補判定部１０４は、累積尤度にもとづいて音種別の候補を判定する処理部である。音種別頻度算出部１０６は、音種別候補毎に識別単位時間Ｔにおける頻度を算出する処理部である。音種別区間決定部１０５は、音種別候補ごとの頻度情報に基づいて、識別単位時間Ｔにおける音識別とその区間とを決定する処理部である。【００３３】  フレーム信頼度判定部１０７は、フレーム尤度算出部１０２で算出されたフレーム尤度を検証することにより、フレーム尤度にもとづくフレーム信頼度を出力する。累積尤度出力単位時間決定部１０８では、フレーム信頼度判定部１０７より出力されるフレーム尤度に基づくフレーム信頼度に基づいて、累積尤度を頻度情報に変換する単位時間である累積尤度出力単位時間Ｔｋを決定し、出力する。したがって、累積尤度算出部１０３は、累積尤度出力単位時間決定部１０８の出力にもとづいて、信頼度が十分に高いと判断される場合にフレーム尤度を累積した累積尤度を算出するように構成されている。【００３４】  より具体的には、フレーム尤度算出部１０２は、式（１）に基づいて、たとえば「Ｓ．Ｙｏｕｎｇ，Ｄ．Ｋｅｒｓｈａｗ，Ｊ．Ｏｄｅｌｌ，Ｄ．Ｏｌｌａｓｏｎ，Ｖ．Ｖａｌｔｃｈｅｖ，Ｐ．Ｗｏｏｄｌａｎｄ，″Ｔｈｅ  ＨＴＫ  Ｂｏｏｋ（ｆｏｒ  ＨＴＫ  Ｖｅｒｓｉｏｎ  ２．２），７．１  Ｔｈｅ  ＨＭＭ  Ｐａｒａｍｅｔｅｒ″．（１９９９−１）」に示される、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ（以降「ＧＭＭ」と記す）であらかじめ学習しておい���識別対象音特徴モデルＭｉと、入力音特徴量Ｘとの間でフレーム尤度Ｐを算出する。【００３５】
【数１】
2007023660.tif 000003
【００３６】  また、累積尤度算出部１０３は、式（２）に示されるように、各学習モデルＭｉに対する尤度Ｐ（Ｘ（ｔ）｜Ｍｉ）の累積値として、所定の単位時間における累積尤度Ｌｉを算出し、最大の累積尤度を示すモデルＩを選択して、この単位区間における尤もらしい識別音種類として出力する。【００３７】
【数２】
2007023660.tif 000004
【００３８】  さらに、音種別候補判定部１０４は、式（３）の第二式に示されるように、累積尤度出力単位時間Ｔｋごとに、累積尤度算出部１０３から出力される各学習モデルｉに対する累積尤度が最大となるモデルを、音種別候補とする。音種別頻度算出部１０６および音種別区間決定部１０５は、式（３）の第一式に示されるように、頻度情報をもとに識別単位時間Ｔにおける最大頻度をもつモデルを出力することにより、音識別結果を出力する。【００３９】
【数３】
2007023660.tif 000005
【００４０】  次に、本発明の実施の形態１を構成する各ブロックの具体的な手続きについてフローチャートを用いて説明する。【００４１】  図４は、累積尤度出力単位時間Ｔｋごとに累積尤度を頻度情報に変換し、識別単位時間Ｔごとに音識別結果を決定する手法の手順を示すフローチャートである。【００４２】  フレーム尤度算出部１０２は、フレームｔにおける入力音特徴量Ｘ（ｔ）に対して、識別対象音の音特徴モデルＭｉのフレーム尤度Ｐｉ（ｔ）をそれぞれ求める（ステップＳ１００１）。累積尤度算出部１０３は、ステップＳ１００１から得られた入力特徴量Ｘ（ｔ）に対する各モデルのフレーム尤度を累積尤度出力単位時間Ｔｋに渡って累積することによって各モデルの累積尤度を算出し（ステップＳ１００７）、音種別候補判定部１０４は、尤度最大となるモデルをその時刻における音種別候補として出力する（ステップＳ１００８）。音種別頻度算出部１０６は、識別単位時間Ｔの区間にわたり、ステップＳ１００８で算出した音種別候補の頻度情報を算出する（ステップＳ１００９）。最後に、音種別区間決定部１０５は、得られた頻度情報より、頻度が最大となる音種別候補を選択して、この識別単位時間Ｔでの識別結果として出力する（ステップＳ１００６）。【００４３】  この手法は、ステップＳ１００７における累積尤度出力単位時間Ｔｋを、識別単位時間Ｔと同じ値に設定すると、識別単位時間あたり最大頻度をひとつ出力する累積尤度の手法として捉えることもできる。また、累積尤度出力単位時間Ｔｋを１フレームと考えると、フレーム尤度を基準に最尤モデルを選択する手法と捉えることもできる。【００４４】  図５は、フレーム信頼度判定部１０７の動作例を示すフローチャートである。フレーム信頼度判定部１０７は、フレーム尤度に基づいて、フレーム信頼度を算出する処理を行う。【００４５】  フレーム信頼度判定部１０７は、予め、フレーム尤度にもとづくフレーム信頼度を最大値（図中では１）に初期化する（ステップＳ１０１１）。フレーム信頼度判定部１０７は、ステップＳ１０１２，ステップＳ１０１４およびステップＳ１０１５の３つの条件式のいずれかを満足する場合には、異常値つまり信頼度を最低値（図中では０）にセットすることにより信頼度判定を行う（ステップＳ１０１３）。【００４６】  フレーム信頼度判定部１０７は、ステップＳ１００１で算出した入力音特徴量Ｘ（ｔ）の各モデルＭｉに対するフレーム尤度Ｐｉ（ｔ）が異常値閾値ＴＨ＿ｏｖｅｒ＿Ｐを超えるかどうかまたは異常値閾値ＴＨ＿ｕｎｄｅｒ＿Ｐ未満かどうかを判断する（ステップＳ１０１２）。各モデルＭｉに対するフレーム尤度Ｐｉ（ｔ）が異常値閾値ＴＨ＿ｏｖｅｒ＿Ｐを超える場合または異常値閾値ＴＨ＿ｕｎｄｅｒ＿Ｐ未満の場合には、信頼度がまったく無いものと考えられる。この場合には、入力音特徴量が想定外の範囲であるか学習に失敗したモデルを用いている場合が考えられる。【００４７】  また、フレーム信頼度判定部１０７は、フレーム尤度Ｐｉ（ｔ）と前フレーム尤度Ｐｉ（ｔ−１）との間の変動が小さいかどうかを判定する（ステップＳ１０１４）。実環境の音は常に変動しているものであり、音入力が正常に行われていれば、尤度にも音の変動��呼応した変動が認められるものである。したがって、フレームが変わっても尤度の変動が認められないほど小さい場合には、入力音そのものまたは音特徴量の入力が途絶えているものと考えられる。【００４８】  さらに、フレーム信頼度判定部１０７は、算出されたフレーム尤度Ｐｉ（ｔ）の中で、その最大となるモデルに対するフレーム尤度値と最小となるモデル尤度値の差が閾値より小さいかどうかを判定する（ステップＳ１０１５）。これは、モデルに対するフレーム尤度の最大値と最小値との差が閾値以上ある場合には、入力音特徴量と近い優位なモデルが存在し、この差が極端に小さい場合には、いずれのモデルも優位ではないということを示すと考えられる。そこで、これを信頼度として利用するものである。そこで、フレーム尤度最大値と最小値との差が閾値以下である場合には（ステップＳ１０１５でＹ）、フレーム信頼度判定部１０７は、異常値に該当するフレームとして、該当フレーム信頼度を０にセットする（ステップＳ１０１３）。一方、比較結果が閾値以上である場合には（ステップＳ１０１５でＮ）、優位のモデルが存在するものとして、フレーム信頼度に１を与えることができる。【００４９】  このようにフレーム尤度に基づきフレーム信頼度を算出し、フレーム信頼度が高いフレームに関する情報を用いて、累積尤度出力単位時間Ｔｋを決定し、頻度情報を算出することができる。【００５０】  図６は、累積尤度出力単位時間決定部１０８の動作例を示す累積尤度出力単位時間決定手法のフローチャートである。累積尤度出力単位時間決定部１０８は、現在の累積尤度出力単位時間Ｔｋで決定される区間において、フレーム尤度によるフレーム信頼度Ｒ（ｔ）の出現傾向を調べるためにフレーム信頼度の頻度情報を算出する（ステップＳ１０２１）。分析した出現傾向から、入力音特徴量等が異常であることを示すように、フレーム信頼度が０である、もしくはフレーム信頼度Ｒ（ｔ）が０に近い値が頻発している場合には（ステップＳ１０２２でＹ）、累積尤度出力単位時間決定部１０８は、累積尤度出力単位時間Ｔｋを増加させる（ステップＳ１０２３）。【００５１】  フレーム信頼度Ｒ（ｔ）が１に近い値が頻発している場合には（ステップＳ１０２４でＹ）、累積尤度出力単位時間決定部１０８は、累積尤度出力単位時間Ｔｋを減少させる（ステップＳ１０２５）。このようにすることによって、フレーム信頼度Ｒ（ｔ）が低い場合には、フレーム数を長くして累積尤度を求め、フレーム信頼度Ｒ（ｔ）が高い時には、フレーム数を短くして累積尤度を求めて、その結果に応じた頻度情報を得ることができるため、従来の方法に比較して、相対的に短い識別単位時間で同じ精度の識別結果が自動的に得られるようになる。【００５２】  図７は、累積尤度算出部１０３の動作例を示す累積尤度算出手法のフローチャートである。図７において、図４と同じ構成要素については同じ符号を用い、説明を省略する。累積尤度算出部１０３は、モデルごとの累積尤度Ｌｉ（ｔ）を初期化する（ステップＳ１０３１）。小規模素片接続部１０３は、ステップＳ１０３２からステップＳ１０３４で示されるループにおいて、累積尤度を算出する。このとき、小規模素片接続部１０３は、フレーム���度に基づくフレーム信頼度Ｒ（ｔ）が異常を示す０かどうか判定を行い（ステップＳ１０３３）、０で無い場合にのみ（ステップＳ１０３３でＮ）、ステップＳ１００７で示されるように、モデルごとの累積尤度を算出する。このように、累積尤度算出部１０３は、フレーム信頼度を考慮して累積尤度を算出することにより、信頼度がない音情報を含まずに累積尤度を算出することができる。このため、識別率を上げることができることが期待できる。【００５３】  音種別頻度算出部１０６においては、図７のように出力された頻度情報を、所定の識別単位時間Ｔの間累積し、音種区間決定部１０５においては、式３に従って、識別単位区間における頻度が最大となるモデルを選択し識別単位区間を、決定する。【００５４】  図８は、図３に示した音識別装置を用いて出力される頻度情報の算出法を示す概念図である。この図においては、音種として音楽が入力されている場合の具体的な識別結果例を挙げて、本発明の効果について説明する。識別単位時間Ｔの中で、入力音特徴量１フレームごとにモデルに対する尤度をそれぞれ求め、各モデルに対する尤度群より、フレーム信頼度をフレームごとに算出する。図中の横軸は、時間軸を示しており、ひとつの区切りを１フレームとしている。このとき、算出された尤度信頼度は、最大値１または最小値０のいずれかの値が与えられるものとし、最大値１のとき、尤度の信頼度があり、最小値０のとき、尤度の信頼度がない異常値とみなすことができる指標とする。【００５５】  従来法つまり累積尤度出力単位時間Ｔｋが固定の条件では、１フレームごとに得られた尤度のうち最大尤度となるモデルの頻度情報を算出する。従来法は、信頼度を用いない手法であるため、出力される最尤モデルの頻度情報がそのまま反映されることになる。音識別結果として出力される情報は、区間単位の頻度情報で決定される。この図の例では、識別単位時間Ｔの中で、音種Ｍ（音楽）が２フレーム、音種Ｓ（音声）が４フレームという頻度結果であることから、この識別単位時間Ｔにおける最大頻度のモデルは音種Ｓ（音声）となり誤識別の結果が得られることとなる。【００５６】  一方、本発明による尤度信頼度を用いた頻度情報の算出条件では、図中段のように、１フレームごとに信頼度が、１か０かの値で示されており、この信頼度を用いて累積尤度を算出するための単位時間が変化することにより、頻度情報が出力される。たとえば、信頼度なしと判断されたフレームの尤度は、直接頻度情報に変換されず、信頼度ありと判断されたフレームに達するまで、累積尤度として算出される。この例では、信頼度が０となっている区間が存在する結果、識別単位時間Ｔにおける最多頻度情報は、音種Ｍ（音楽）が頻度情報として出力される。識別単位時間Ｔにおける最大頻度のモデルは音種Ｍ（音楽）となることから、正しい種別として識別ができていることがわかる。したがって、本発明の効果として、信頼度がないと判断されるフレーム尤度を直接用いないことで、不安定な頻度情報を吸収することにより識別結果を高めることが期待できる。【００５７】  かかる構成によれば、累積尤度情報を頻度情報に変換する際に、尤度信頼度に基づいた頻度情報に変換することにより、突発的な異常音などが頻繁に発生して音の種別の入れ替わりが頻繁する場合であっても、累積尤度算出単位時間の長さを適切に設定できる（信頼度が所定値よりも高い場合は累積尤度算出単位時間を短く、信頼度が所定値よりも低い場合は累積尤度算出単位時間を長く設定できる）。このため、音の識別率の低下を抑制することができる。さらに、背景音やターゲット音が変化した場合でも、より適切な累積尤度算出単位時間に基づいて音の識別ができるため、音の識別率の低下を抑制することができる。【００５８】  つぎに、本発明の実施の形態１における音識別装置の第二の構成図である図９について説明する。図９において、図３と同じ構成要素については同じ符号を用い、説明を省略する。【００５９】  図９において、図３との違いとしては、音種別頻度算出部１０６が、音種別候補判定部１０４から出力される音種別候補情報から音種別頻度情報を算出する際に、フレーム信頼度判定部１０７から出力されるフレーム信頼度を用いて算出するように構成されている点が異なる。【００６０】  かかる構成によれば、累積尤度情報から算出された音種別候補を頻度情報に変換する際に、尤度信頼度に基づいた頻度情報に変換することにより、突発的な異常音などの短時間の影響を低減することができるため、背景音やターゲット音が変化してもより適切な累積尤度算出単位時間に基づいて識別率の低下を抑制することができる。【００６１】  図１０は、フレーム尤度によるフレーム信頼度判定手法として、フレーム信頼度判定部１０７が実行する第二の手法例を示すフローチャートである。図１０において、図５と同じ処理については同じ符号を用い、説明を省略する。図５の手法では、ステップＳ１０１５において、フレーム信頼度判定部１０７が、入力特徴量に対する各モデルのフレーム尤度を算出し、その最大となるモデルのフレーム尤度値と最小となるモデルのフレーム尤度値の差が閾値より小さいかどうかを用いて、信頼度の値を０か１かに設定していた。【００６２】  ここでは、フレーム信頼度判定部１０７が信頼度を０か１かのいずれかに設定するのではなく、フレーム信頼度判定部１０７が０から１の中間値をとるように信頼度を与える。具体的には、ステップＳ１０１６のように、フレーム信頼度判定部１０７は、信頼度のさらなる基準として、最大値をとるモデルのフレーム尤度がどの程度優位性のあるのかを判断する尺度とみなす基準を加えることもできる。そこで、フレーム信頼度判定部１０７は、フレーム尤度の最大値と最小値の比を信頼度として与えるようにしてもよい。【００６３】  図１１は、累積尤度算出部１０３の、図７とは別の動作例を示す累積尤度算出方法のフローチャートである。図１１において、図７と同じ処理については同じ符号を用い、説明を省略する。この動作例では、累積尤度算出部１０３は、出力する頻度情報の個数を初期化しておき（ステップＳ１０３５）、累積尤度算出の際に、フレーム信頼度が１に近いかどうかを判定する（ステップＳ１０３６）。フレーム信頼度が十分に高いと認められる場合には（ステップＳ１０３６でＹ）、累積尤度算出部１０３は、該当フレームの頻度情報を直接出力するために、最尤モデル識別子の保存を行っておく（ステップＳ１０３７）。そして、図１２のステップＳ１０３８で表される音種別候補判定部１０４が実行する処理において、単位識別区間Ｔｋにおける累積尤度が最大のモデルを加えて、ステップＳ１０３７において保存しておいた複数の最大モデルによる音種別候補を出力する。図４のステップＳ１００８では一つの音種別候補を用いるのに対して、音種別候補判定部１０４は、このように信頼度が高いフレームがｋ個存在する場合にはｋ＋１個の音種別候補を出力することになる。このため、結果として、信頼度の高いフレームの情報に重み付けがなされた、頻度情報つきの音種別候補が算出されることとなる。【００６４】  音種別頻度算出部１０６は、図１１および図１２の処理に従い出力された音種別候補を、識別単位時間Ｔの間累積することによって頻度情報を求める。また、音種区間決定部１０５は、式３に従って、識別単位区間における頻度が最大となるモデルを選択し、識別単位区間を決定する。【００６５】  なお、音種別区間決定部１０５は、フレーム信頼度が高く頻度情報が集中している区間に限定して最大の頻度情報を有するモデルを選択して、音の種別とその区間を決定するようにしてもよい。このようにフレーム信頼度の低い区間での情報を用いないことによって、識別の精度向上が期待できる。【００６６】  図１３は、図３または図９に示した音識別装置により出力される頻度情報の算出法を示す概念図である。識別単位時間Ｔの中で、入力音特徴量１フレームごとにモデルに対する尤度をそれぞれ求め、各モデルに対する尤度群より、フレーム信頼度をフレームごとに算出する。図中の横軸は、時間軸を示しており、ひとつの区切りが１フレームとしている。このとき、算出された尤度信頼度は、最大値１および最小値０となるように正規化されているものとし、最大値１に近いほど尤度の信頼度があり（図中では一フレームでも識別十分な状態Ａ）、最小値０に近いほど（図中では、該フレームの信頼度がまったくない状態Ｃ）、（その中間が状態Ｂ）尤度の信頼度が低いとみなすことができる指標とする。この例では、図１１に示したように、算出された尤度信頼度を２つの閾値を用いて検証することにより、フレーム累積度を算出している。一つ目の閾値は、出力された尤度の１フレームが十分に大きく、信頼に足るものかどうか判断するものである。図の例では、信頼度が０．５０以上の場合に、１フレームで頻度情報に変換可能とみなしている。２つ目の閾値は、出力された尤度信頼度が低すぎるために頻度情報には変換しないかどうかを判断するものである。図の例では、信頼度が０．０４未満の場合に、該当する。この２つの閾値の間に尤度信頼度がある場合には、複数フレームでの累積尤度をもとに、頻度情報に変換するようにしている。【００６７】  ここで具体的な識別結果例を挙げて、本発明の効果について説明する。従来法つまり累積尤度出力単位時間Ｔｋが固定の条件では、１フレームごとに得られた尤度から最大累積尤度となるモデルの頻度情報を算出する。そのため、図８に示した結果と同様に、識別単位時間Ｔの中で、音種Ｍ（音楽）が２フレーム、音種Ｓ（音声）が４フレームという結果となり、この識別単位時間Ｔにおける最大頻度のモデルは音種Ｓ（音声）となってし���うため誤識別となる。【００６８】  一方、本発明による尤度信頼度を用いた頻度情報の算出条件では、１フレームでの頻度情報への変換に足る尤度のフレームからは、３段階の信頼度をもとに、累積尤度を可変長にしながら頻度情報を求めてゆくことができる。そのため、不安定な区間の頻度情報を直接用いることなく識別結果を得ることができるようになる。また、図中の例の識別対象区間Ｔの中の最後のフレームのように、信頼度が低く、頻度情報が結果的に用いられていないようなフレームに関しては、累積尤度の計算上無視することもできる。このようにすることで、信頼度の多段階化により、さらに精度よく識別を行うことができるものと期待できる。【００６９】  なお、上記の例では識別単位時間Ｔにつき、識別判定結果をひとつ出力する例として説明したが、信頼度の高い区間あるいは低い区間を基点とした識別判定結果を複数出力するようにしてもよい。このような構成により、識別単位時間Ｔ当たりの識別結果が固定タイミングで出力されるのではなく、信頼度の高い区間の情報が可変化タイミングで適宜出力することができるため、たとえ識別単位時間Ｔを長めに設定しておいても信頼度により識別結果が確からしい区間では、すばやく結果を得られるようになる。識別単位時間Ｔを短めに設定しておいた場合にも、信頼度の高い区間の結果を早く得られることが可能である。【００７０】  なおフレーム音特徴量抽出部１０１で使用する音特徴量学習モデルについては、ＭＦＣＣを、モデルについては、ＧＭＭを用いるものと想定した説明を行ったが、本発明ではこれらに限定されるものではなく、特徴量として周波数特徴量を現すＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）やＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）やＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などを用いてもかまわない。また、モデル学習法としては、状態遷移を考慮してＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を用いてもよい。【００７１】  また、ＰＣＡ（主成分分析）などの統計的手法を用いて音特徴量の独立性などの成分分解あるいは成分抽出したうえで、モデル学習する手法を用いてもよい。【００７２】  （実施の形態２）
図１４は、本発明の実施の形態２の音識別装置の構成図である。図１４において、図３と同じ構成要素については同じ符号を用い、説明を省略する。実施の形態１では、フレーム尤度に基づきフレーム単位の音情報信頼度を利用した方法であったが、本実施の形態では、累積尤度を用いて、フレーム信頼度を算出し、これを利用して、頻度情報を算出する。【００７３】  図１４において、フレーム信頼度判定部１１０は、累積尤度算出部１０３で算出された現時点のモデルごとの累積尤度を算出し、累積尤度出力単位時間決定部１０８において累積尤度出力単位時間を決定するように構成している。【００７４】  図１５は、フレーム信頼度判定部１１０により、累積尤度によりフレーム信頼度を判定する手法を示すフローチャートである。図１５において、図５と同じ構成要素については同じ符号を用い、説明を省略する。フレーム信頼度判定部１１０は、ステップＳ１０５１からステップＳ１０５４において、単位時間における最尤累積尤度と僅差であるモデルの個数をカウントする。フレーム信頼度判定部１１０は、累積尤度算出部１０３において算出した各モデルの累積尤度に対して、最尤累積尤度との差が所定値以内になるかどうか、各モデルについて判定を行う（ステップＳ１０５２）。当該差が所定値内である場合には（ステップＳ１０５２でＹ）、フレーム信頼度判定部１１０は、候補としてその候補数をカウントし、そのモデル識別子を保存する（ステップＳ１０５３）。フレーム信頼度判定部１１０は、ステップＳ１０５５において、フレームごとに上記候補数を出力し、累積尤度モデルの候補数の変動が所定値以上であるか否かを判断する（ステップＳ１０５５）。所定地以上の場合には（ステップＳ１０５５でＹ）、フレーム信頼度判定部１１０は、フレーム信頼度に異常値０をセットし（ステップＳ１０１３）、所定値以下である場合には（ステップＳ１０５５でＮ）、フレーム信頼度判定部１１０は、フレーム信頼度に正常値１をセットする（ステップＳ１０１１）。【００７５】  このような構成にすることによって、上記候補数の変化から、入力音の変動を見出すことが可能であり、識別対象音や背景音から構成される混合音の構成状況が変化していることが推測される。識別対象としている音が発生し続けて、背景音が変動している場合には、背景音の中で識別対象音と近い音が発生消滅を繰り返している場合に有用であると考えられる。【００７６】  なお、上記のように算出した音種別候補、つまり最尤の累積尤度から所定値以内の識別子の組み合わせが変化したことを検知して、変化点であることあるいは候補数の増減値をフレーム信頼度として用いて頻度情報に変換してもよい。【００７７】  図１６は、フレーム信頼度判定部１１０における、累積尤度によりフレーム信頼度を判定する手法を示すフローチャートである。図１６において、図５および図１５と同じ構成要素については同じ符号を用い、説明を省略する。本手法では、図１５とは反対に、最小の累積尤度を基準として、累積尤度が僅差となるモデルの候補数を用いて、信頼度を獲得する。フレーム信頼度判定部１１０は、ステップＳ１０５６からステップＳ１０５９までのループにおいて、単位時間における最小累積尤度��僅差であるモデルの数をカウントする。フレーム信頼度判定部１１０は、累積尤度算出部１０３において算出された各モデルの累積尤度に対して、最小累積尤度との差が所定値以下になるかどうか、各モデルについて判定を行う（ステップＳ１０５７）。所定値以下である場合には（ステップＳ１０５７でＹ）、フレーム信頼度判定部１１０は、候補数をカウントし、そのモデル識別子を保存する（ステップＳ１０５８）。フレーム信頼度判定部１１０は、上記ステップにおいて算出した、最小累積モデルの候補数の変動が所定値以上であるか否かを判断し（ステップＳ１０６０）、当該変動が所定値以上である場合には（ステップＳ１０６０でＹ）、フレーム信頼度判定部１１０は、フレーム信頼度を０にセットし信頼度なしと判断し（ステップＳ１０１３）、当該変動が所定値以下である場合には（ステップＳ１０６０でＮ）、フレーム信頼度を１にセットして信頼度ありと判断する（ステップＳ１０１１）。【００７８】  なお、上記のように算出した音種別候補、つまり最低の累積尤度からの識別子の組み合わせが変化したことを検知して、変化点であることあるいは候補数の増減値をフレーム信頼度として用いて頻度情報に変換してもよい。【００７９】  また、上記図１５および図１６では、それぞれ最大尤度および最小尤度となるモデルから、尤度が所定値の範囲内にあるモデルの個数を用いてフレーム信頼度の算出を説明したが、最大尤度から尤度が所定値の範囲内にあるモデルの個数と最小尤度から尤度が所定値の範囲内にあるモデルの個数との双方の情報を用いて、フレーム信頼度を算出し、頻度情報に変換するようにしてもよい。【００８０】  なお、この最尤の累積尤度から尤度が所定値の範囲内にあるモデルとは、累積尤度を算出した区間の音種別としての確からしさが非常に高くなるモデルである。そこで、ステップＳ１０５３においてモデルごとに尤度が所定値内にあると判定されたモデルのみを信頼度があるものとして、モデルごとに信頼度を作成して、頻度情報への変換に利用してもよい。また、この最低の累積尤度から所定値内にあるモデルとは、累積尤度を算出した区間の音種別としての確からしさが非常に低くなるモデルである。そこで、ステップＳ１０５８においてモデルごとに所定値内にあると判定されたモデルのみを信頼度がないものとして、モデルごとに信頼度を作成して頻度情報への変換に利用してもよい。【００８１】  なお、上記の構成では、累積尤度にもとづくフレーム信頼度を用いて頻度情報に変換する方法を説明したが、フレーム尤度にもとづくフレーム信頼度と、累積尤度にもとづくフレーム信頼度とを比較して、双方の一致区間を選択し、累積尤度にもとづくフレーム信頼度を重み付けするようにしてもよい。【００８２】  このような構成により、累積尤度によるフレーム信頼度を用いながら、フレーム単位の短い応答を保つことができる。このため、累積尤度によるフレーム信頼度が連続して同じ音種別候補が出力されていても、フレーム尤度によるフレーム信頼度の遷移が行われているような区間を検出することができる。したがって、突発音などによる短時間の尤度劣化の検出も可能となる。【００８３】  また、実施の形態１または実施の形態２では、尤��または累積尤度をもとに算出するフレーム信頼度を用いて頻度情報に変換する方法を説明したが、さらに音モデルごとに信頼度を設ける音種別候補信頼度を用いて頻度情報あるいは識別結果を出力するようにしてもよい。【００８４】  図１７は、本発明の実施の形態２の音識別装置の第二の構成図である。図１７において、図３および図１４と同じ構成要素については同じ符号を用い、説明を省略する。図１４に示す実施の形態では、累積尤度によるフレーム信頼度を算出し頻度情報を出力したが、本構成では、累積尤度による音種別候補信頼度を算出しこれを利用して、頻度情報を算出する。【００８５】  図１７において、音種別候補信頼度判定部１１１は、累積尤度算出部１０３で算出された現時点のモデルごとの累積尤度を算出し、累積尤度出力単位時間決定部１０８において累積尤度出力単位時間を決定するように構成している。【００８６】  図１８は、最尤の音種別から所定値以内の累積尤度を持つ音種別候補を信頼度があるという基準にもとづいて算出される、音種別候補信頼度を用いた累積尤度計算処理のフローチャートである。図１１と同じ構成要素については同じ符号を用い、説明を省略する。累積尤度算出部１０３は、識別単位時間内、最尤の累積尤度と累積尤度が所定値以内のモデルＭｉがある場合には（ステップＳ１０６２でＹ）、そのモデルを音種別候補として保存しておき（ステップＳ１０６３）、図１２に示した流れで、音種別候補判定部１０４が音種別候補を出力する。【００８７】  このような構成にすることによって、音種別候補信頼度を用いて、モデルごとに信頼度を設けることができるため、モデルに対して重み付けをした頻度情報を出力することが可能となる。また、所定数連続してあるいは一定の時間に対しての出力頻度が所定閾値よりも高い場合には、識別単位時間Ｔに達しなくても、音種別をして決定し区間情報とともに出力することで、より音識別区間の遅れなく出力することができる。【００８８】  続いて、識別単位時間Ｔの区間から得られた頻度情報において、音種別の頻度差がほとんどない、つまり優位となる音種別が存在しないために陥る誤識別を抑制する音種別結果の出力方法について説明する。【００８９】  上述したように、入力音として音楽（Ｍ）と音声（Ｓ）とが交互に入れ替わり、かつ、フレーム信頼度が高い場合には、識別単位時間Ｔに至らなくとも音種別候補が出力される。しかし、音楽（Ｍ）に近い音、背景音または雑音（Ｎ）が存在したり、交互に入れ替わる音声（Ｓ）または音楽（Ｍ）に近いモデルが多数存在し、１つのモデルを特定できない場合には、上記の場合と異なりフレーム信頼度が低下する。さらに、各累積尤度区間Ｔｋが識別単位時間Ｔの区間に対して無視できない時間長で続くと、識別単位時間Ｔにおいて得られる頻度数が減少することになる。その結果として、識別単位時間Ｔにおいて音楽（Ｍ）や音声（Ｓ）の頻度差が少なくなる場合がある。このような場合には、識別単位時間Ｔにおける頻度最大モデルとして優位なモデルが存在せず、実際の音種別とは異なった音種別候補を出力するという課題が生じる。【００９０】  そこで、変形例では、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して、１つの識別単位時間Ｔから出力される音種別結果を信頼して良いかを判断する機能を図１７の音識別頻度算出部１０６に持たせている。【００９１】  図１９は、音種別区間決定部１０５において、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して複数の識別単位区間にわたり再計算をした場合（図１９（ｂ））と出現頻度を利用しなかった場合（図１９（ａ））との音種別および区間情報出力例を示す。【００９２】  この図１９では、音種別区間決定部１０５による識別単位区間Ｔ０からＴ５において、各識別単位時間、モデル毎の出現頻度、総有効頻度数、総頻度数、識別単位時間ごとの頻度最大のモデル、最終的に音種別区間決定部１０６から出力される音種別結果および実際に発生した音の音種別について、列挙している。【００９３】  まず、識別単位時間は、原則的には所定値Ｔ（この例では１００フレーム）であるが、音種別頻度算出部１０６の累積尤度出力時にフレーム信頼度が所定フレーム連続して所定閾値より高い場合には識別単位時間が所定値Ｔにまで達しなくとも出力されるため、図中識別単位区間Ｔ３およびＴ４では、所定値よりも識別単位時間が短くなっていることを示している。【００９４】  つぎに、モデル毎の出現頻度を示している。ここで「Ｍ」は音楽を示し、「Ｓ」は音声、「Ｎ」は雑音を示し、「Ｘ」は無音を示している。最初の識別時間単位Ｔ０における出現頻度を見ると、Ｍが３６、Ｓが３５、Ｎが５、Ｘが２である。したがって、この場合、最大の頻度であるモデルは、Ｍとなる。図１９では識別単位区間ごとに出現頻度最大のモデルを下線で示している。ここで、図１９中の「総頻度数」とは、各識別単位区間における頻度の合計であり、また「総有効頻度数」とは総頻度数から無音Ｘの出現頻度を除いた頻度の合計である。図中の識別単位区間Ｔ０やＴ１のように、識別単位区間のフレーム数（それぞれ１００と１００）よりも総頻度数が小さい区間（それぞれ７８と８５）では、図８や図１３で示したように、累積尤度出力単位時間Ｔｋが長くなったため、不安定な頻度情報が吸収されて頻度数が減少したことを示している。したがって、Ｔ０からＴ５の区間を通じた、識別単位時間ごとの頻度最大のモデルは、横方向を時間方向としてそれぞれ「ＭＳＳＭＳＭ」と出力されている。【００９５】  図１９の例に対して、音種別区間決定部１０６において、出現頻度を利用しない場合の音種別と区間情報出力について説明する。この場合には、音種別頻度算出部１０５からの音種別頻度に対する評価を行わずに、頻度最大のモデルをそのまま音種別として用い、またその連続している部分がある場合には区間を統合することで最終的に音種別と区間情報として出力される（識別単位時間Ｔ１とＴ２の区間が連結されて一つのＳの区間となる。）。図１９の例において、実際の音種別と比較すると、出現頻度を利用しない場合には、識別時間単位Ｔ０において、実際にはＳであるにもかかわらず、音種別はＭと出力されていることから、識別結果が誤ったまま何も改善されていないことが分かる。【００９６】  そこで、出現頻度を利用する場合について説明する。図１７の音識別頻度算出部１０６が出力する識別単位時間毎のモデル毎の頻度を利用して、識別単位時間における頻度最大のモデルが信頼できるかを示す頻度信頼度を用いて識別単位時間における頻度最大モデルが何であるか判断する。ここで、頻度信頼度は、識別単位区間内において、異なるモデルの出現頻度差を総有効頻度数（識別単位区間の総頻度数から無音区間Ｘなどの無効頻度を除いた数）で割った値とする。このとき頻度信頼度の値は、０から１の間の値をとる。例えば、音楽（Ｍ）か音声（Ｓ）かを判断する場合は、頻度信頼度の値は、ＭとＳとの出現頻度の差を総有効頻度数で割った値となる。この場合には頻度信頼度は、識別単位区間におけてＭとＳとの差が小さければ０に近い小さい値となり、ＭとＳとのどちらかが多ければ１に近い大きい値となる。ＭとＳとの差が小さい、つまりこの頻度信頼度が０に近い値ということは、識別単位区間においてＭとＳとのどちらを信用して良いかわからない状態であることを示している。図１９（ｂ）では識別単位区間毎に頻度信頼度Ｒ（ｔ）を計算した結果を示している。識別単位区間Ｔ０およびＴ１のように、頻度信頼度Ｒ（ｔ）が所定値（０．５）を下回ったとき（０．０１および０．３９）、信頼できないものと判断するものとする。【００９７】  このような判断基準を用いた具体的な手順について説明する。頻度信頼度Ｒ（ｔ）が０．５以上の場合は識別単位区間の頻度最大のモデルをそのまま使用し、頻度信頼度Ｒ（ｔ）が０．５よりも小さい場合は複数の識別単位区間においてモデル毎の頻度を再度計算して頻度最大のモデルを決定する。図１９では頻度信頼度が低い最初の２つの識別単位区間Ｔ０とＴ１において、それぞれのモデル毎の頻度を足し、２つの区間にわたって再計算された頻度情報に基づいて、新たにその２つの識別単位区間の頻度最大モデルＳと決定している。この結果、識別単位区間Ｔ０の識別結果は、音種別頻度算出部１０５から得られた最大頻度の音種別はＭからＳへと変わり、実際の音結果と一致することが分かる。【００９８】  このように頻度信頼度が低い部分は、複数の識別単位区間におけるモデル毎の頻度を使用することで、雑音等の影響で識別単位区間の頻度最大モデルの頻度信頼度が低くなったとしても、正確に音種別を出力できる。【００９９】  （実施の形態３）
図２０は、本発明の実施の形態３の音識別装置の構成図である。図２０において、図３および図１４と同じ構成要素については同じ符号を用い、説明を省略する。本実施の形態では、音特徴量自身の信頼度を用いて、音特徴量自身のモデルごとの信頼度を算出しこれを利用して、頻度情報を算出する。さらに、出力情報として信頼度情報も出力を行う。【０１００】  図２０において、音特徴量によるフレーム信頼度判定部１０９は、フレーム音特徴量抽出部１０１で算出された音特徴量より、判定に適しているかどうか音特徴量を検証することにより音特徴量信頼度を出力する。累積尤度出力単位時間決定部１０８はこのフレーム信頼度判定部１０９の出力に基づいて累積尤度出力単位時間を決定するように構成している。また、最終的に結果を出力する音種別区間決定部１０５においても、この信頼度を音種別と区間とともに出力する。【０１０１】  このような構成にすることによって、フレーム信頼度が低い区間情報も一緒に出力するようにしてもよい。このような構成にすることで、たとえば同一音種が連続している中でも、信頼度の遷移過程などを調べることによって突発的な音の発生を検知することが可能となる。【０１０２】  図２１は、音特徴量にもとづき音特徴量の信頼度を算出するフローチャートである。図２１において、図５と同じ構成要素については同じ符号を用い、説明を省略する。【０１０３】  フレーム信頼度判定部１０７は、音特徴量のパワーが所定の信号パワー以下かどうか判定する（ステップＳ１０４１）。音特徴量のパワーが所定の信号パワー以下である場合には（ステップＳ１０４１でＹ）、音特徴量によるフレーム信頼度を、信頼度なしとして０にセットする（ステップＳ１０４１でＹ）。それ以外の場合には（ステップＳ１０４１でＮ）、フレーム信頼度判定部１０７は、フレーム信頼度を１にセットする（ステップＳ１０１１）。【０１０４】  このような構成にすることによって、音種別の判定以前に音入力の段階での信頼度をもって、音の種別の判定が行うことができるようになる。【０１０５】  なお、図２０では、出力する信頼度情報を音特徴量に基づく値として説明を行ったが、実施の形態１や実施の形態２で述べたように、フレーム尤度に基づく信頼度、累積尤度に基づく信頼度、モデルごとの累積尤度に基づく信頼度のいずれを用いてもよい。
【産業上の利用可能性】
【０１０６】  本発明にかかる音識別装置は、信頼度に基づき尤度から変換された頻度情報を用いて音の種別を判定する機能を有する。そこで、識別対象音として、特定のカテゴリのシーンを特徴付ける音を用いて学習しておくことにより、実環境下で収録した、オーディオやビデオなどの中から、特定のカテゴリの音の区間を抽出したり、歓声などを抽出識別対象とすることによって、コンテンツシーン中の観客の興奮シーンのみを連続して抽出したりすることが可能である。また、これら検出した音種別や区間情報をタグとして用い、連動する他の情報を記録し、ＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）コンテンツのタグ検索装置等に利用することができる。【０１０７】  さらに非同期に様々な音が発生している録音ソースから、音声区間を検出し、その区間のみを再生する音編集装置等として有用である。【０１０８】  また、信頼度が変化した区間を出力することによって、同一音種が検出されていたとしても音の変化区間たとえば短時間の突発音区間などをも抽出できる。【０１０９】  また、音識別結果として、音種別結果とその区間だけでなくフレーム尤度等の信頼度を出力して利用するようにしても良い。たとえば、音声の編集の際に信頼度が低い箇所検出した場合にビープ音等を嗚らして検索編集の手がかりとするようにしてもよい。このようにすれば、ドアの音やピストルの音など短時間音であるためにモデル化が困難である音を探索する場合に検索操作の効率化が期待される。【０１１０】  また、出力された信頼度や累積尤度や頻度情報の入れ替わりが発生している区間を図示化してユーザ等に提示しても良い。これにより信頼度が小さい区間を容易にユーザが見出すことができ、編集操作などの効率化も期待できる。【０１１１】  本発明における音識別装置を録音機器などに装備することによって、必要な音を選択して録音することにより、録音容量を圧縮することができる録音装置等にも適用可能である。
【図１】
2007023660.tif 000006
【図２】
2007023660.tif 000007
【図３】
2007023660.tif 000008
【図４】
2007023660.tif 000009
【図５】
2007023660.tif 000010
【図６】
2007023660.tif 000011
【図７】
2007023660.tif 000012
【図８】
2007023660.tif 000013
【図９】
2007023660.tif 000014
【図１０】
2007023660.tif 000015
【図１１】
2007023660.tif 000016
【図１２】
2007023660.tif 000017
【図１３】
2007023660.tif 000018
【図１４】
2007023660.tif 000019
【図１５】
2007023660.tif 000020
【図１６】
2007023660.tif 000021
【図１７】
2007023660.tif 000022
【図１８】
2007023660.tif 000023
【図１９】
2007023660.tif 000024
【図２０】
2007023660.tif 000025
【図２１】
2007023660.tif 000026
【手続補正書】
【提出日】平成18年10月2日(2006.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力音信号の種別を識別する音識別装置であって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するフレーム音特徴量抽出部と、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するフレーム尤度算出部と、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定する信頼度判定部と、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定する累積尤度出力単位時間決定部と、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出する累積尤度算出部と、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定する音種別候補判定部と、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出する音種別頻度算出部と、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する音種別区間決定部とを備える
ことを特徴とする音識別装置。
【請求項２】
前記信頼度判定部は、前記フレーム尤度算出部で算出された各フレームの音特徴量の各音モデルに対するフレーム尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項３】
前記信頼度判定部は、前記フレーム尤度のフレーム間での変動値に基づいて、前記信頼度を判定する
ことを特徴とする請求項２に記載の音識別装置。
【請求項４】
前記信頼度判定部は、前記複数の音モデルに対するフレーム尤度のうちの最大値と最小値との差に基づいて、前記信頼度を判定する
ことを特徴とする請求項２に記載の音識別装置。
【請求項５】
前記累積尤度算出手段は、前記信頼度が所定の閾値よりも小さいフレームに対しては前記フレーム尤度を累積しない
ことを特徴とする請求項２に記載の音識別装置。
【請求項６】
前記信頼度判定部は、前記累積尤度算出部で算出された前記累積尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項７】
前記信頼度判定部は、前記複数の音モデルに対する前記累積尤度のうちの最大値または最小値から所定差内に含まれる前記累積尤度の音モデルの個数と、前記累積尤度の変動値に基づいて、前記信頼度を判定する
ことを特徴とする請求項６に記載の音識別装置。
【請求項８】
前記信頼度判定部は、前記累積尤度算出部で算出された前記音モデルごとの累積尤度に基づいて、前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項９】
前記信頼度判定部は、前記フレーム音特徴量抽出部で抽出される音特徴量に基づいて、
前記信頼度を判定する
ことを特徴とする請求項１に記載の音識別装置。
【請求項１０】
さらに、前記信頼度に基づいて、識別単位時間を決定する識別単位時間決定部を備え、
前記音種別頻度算出部では、前記識別単位時間に含まれる音種別の頻度を算出する
ことを特徴とする請求項１に記載の音識別装置。
【請求項１１】
入力音信号の種別を識別する音識別方法であって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出し、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出し、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定し、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定し、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出し、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定し、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出し、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する
ことを特徴とする音識別方法。
【請求項１２】
入力音信号の種別を識別する音識別方法のプログラムであって、
入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するステップと、
各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するステップと、
前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定するステップと、
前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定するステップと、
前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出するステップと、
前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定するステップと、
前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出するステップと、
前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定するステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は入力音を識別し、入力音の種別と各種別の区間とを出力する音識別装置に関する。
【背景技術】
【０００２】
従来、音識別装置は、特定の音の音響的な特徴を抽出することにより、発生音源や機器に関する情報の抽出法として広く利用されている。たとえば、車外の救急車やサイレンの音を検出し車内に通知させるためや、工場で生産される製品のテスト時に製品動作音を分析し異常音を検出することによって、不良機器を発見するためなどに用いられている。一方、識別対象音を特定の音に限定せずに、様々な音が混在したり、入れ替わり発生したりする混合環境音から、発生した音の種類やカテゴリを識別する技術も近年求められるようになっている。
【０００３】
発生した音の種類やカテゴリを識別する技術として特許文献１がある。特許文献１に記載の情報検出装置は、入力された音データを所定の時間単位毎にブロックに分け、ブロック毎に音声「Ｓ」と音楽「Ｍ」とに分類する。図１は、音データを時間軸上で分類された結果を模式的に示した図である。続いて、情報検出装置は、所定の時間単位Ｌｅｎにおける分類された結果を時刻ｔ毎に平均化し、音種別が「Ｓ」または「Ｍ」である確率を表す識別頻度Ｐｓ（ｔ）またはＰｍ（ｔ）を算出する。図１では、時刻ｔ０における所定単位時間Ｌｅｎを模式的に示している。例えば、Ｐｓ（ｔ０）を算出する場合は、所定時間単位Ｌｅｎに存在する音種別「Ｓ」の数の和を所定時間単位Ｌｅｎで割って識別頻度Ｐｓ（ｔ０）を算出する。続いて、予め決めた閾値Ｐ０とＰｓ（ｔ）または閾値Ｐ０とＰｍ（ｔ）とを比較し、閾値Ｐ０を越えるか否かで音声「Ｓ」または音楽「Ｍ」の区間を検出する。
【特許文献１】特開２００４−２７１７３６号公報（段落番号００２５−００３５）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、それぞれの時刻ｔにおける識別頻度Ｐｓ（ｔ）等を算出する場合に、同一の所定時間単位Ｌｅｎ、すなわち固定値の所定時間単位Ｌｅｎを使用しているため、次のような課題を有している。
【０００５】
一つ目は、突発音が頻繁に発生した場合に区間検出が不正確になるという課題である。突発音が頻繁に発生した場合、各ブロックの音種別の判断が不正確になり、実際の音種別と各ブロックで判断される音種別とが間違うことが頻繁に起こる。このような間違いが頻繁に発生すると、所定時間単位Ｌｅｎにおける識別頻度Ｐｓ等が不正確になるため、最終的な音声または音楽区間の検出が不正確になる。
【０００６】
二つ目は、識別したい音（ターゲット音）と背景音との関係によってターゲット音の認識率が所定時間単位Ｌｅｎの長さに依存するという課題である。すなわち、固定値である所定時間単位Ｌｅｎを用いてターゲット音の識別を行った場合には、背景音によってターゲット音の認識率が低下するという課題がある。なお、この課題については後述する。
【０００７】
本発明は、上述の課題を解決するためになされたものであり、突発音が発生しても、さらには背景音とターゲット音との組み合わせが変動しても識別率の低下がおこりにくい音識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る音識別装置は、入力音信号の種別を識別する音識別装置であって、入力音信号を複数のフレームに分割し、フレームごとに音特徴量を抽出するフレーム音特徴量抽出部と、各音モデルに対する各フレームの音特徴量のフレーム尤度を算出するフレーム尤度算出部と、前記音特徴量または前記音特徴量より導出される値に基づいて、前記フレーム尤度を累積するか否かを示す指標である信頼度を判定する信頼度判定部と、前記信頼度が所定値よりも高い場合は短く、前記信頼度が所定値よりも低い場合は長くなるように、累積尤度出力単位時間を決定する累積尤度出力単位時間決定部と、前記複数の音モデルの各々について、前記累積尤度出力単位時間に含まれるフレームの前記フレーム尤度を累積した累積尤度を算出する累積尤度算出部と、前記累積尤度が最尤となる音モデルに対応する音種別を前記累積尤度出力単位時間ごとに決定する音種別候補判定部と、前記音種別候補判定部で決定された音種別の頻度を所定の識別時間単位で累積して算出する音種別頻度算出部と、前記音種別頻度算出部で算出された音種別の頻度に基づいて、前記入力音信号の音種別および当該音種別の時間的区間を決定する音種別区間決定部とを備えることを特徴とする。
【０００９】
例えば、前記信頼度判定部は、前記フレーム尤度算出部で算出された各フレームの音特徴量の各音モデルに対するフレーム尤度に基づいて、前記所定の信頼度を判定する。
【００１０】
この構成によると、所定の信頼度、例えばフレーム尤度に基づいたフレームの信頼度に基づいて累積出力単位時間を決定している。このため、信頼度が高い場合には、累積尤度出力単位時間を短くし、信頼度が低い場合には累積尤度出力単位時間を長くすることにより、音種別を判別するためのフレーム数を可変にすることができる。このため、信頼度が低い突発的な異常音などの短時間の影響を低減することができる。このように、信頼度に基づいて、累積尤度出力単位時間を変化させているため、背景音と識別対象音との組み合わせが変動しても識別率の低下がおこりにくい、音識別装置を提供することができる。
【００１１】
好ましくは、前記信頼度が所定の閾値よりも小さいフレームに対しては前記フレーム尤度を累積しない。
【００１２】
この構成によると、信頼度が低いフレームを無視する。このため、音の種別を精度良く識別することができる。
【００１３】
なお、前記信頼度判定部は、前記累積尤度算出部で算出された前記累積尤度に基づいて、前記信頼度を判定してもよい。
【００１４】
また、前記信頼度判定部は、前記累積尤度算出部で算出された前記音モデルごとの累積尤度に基づいて、前記信頼度を判定してもよい。
【００１５】
さらに、前記信頼度判定部は、前記フレーム音特徴量抽出部で抽出される音特徴量に基づいて、前記信頼度を判定してもよい。
【００１６】
なお、本発明は、このような特徴的な手段を備える音識別装置として実現することができるだけでなく、音識別装置に含まれる特徴的な手段をステップとする音識別方法として実現したり、音識別方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１７】
本発明の音識別装置によれば、フレーム等の信頼度に基づいて、累積尤度出力単位時間を可変としている。このため、突発音が発生しても、さらには背景音とターゲット音の組み合わせが変動しても識別率の低下がおこりにくい音識別装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１９】
まず、本発明の実施の形態について説明する前に、本願発明者らが行なった実験より得られた知見について説明する。特許文献１に記載された手法のように、最尤モデルの頻度情報を用いて、ターゲット音と背景音との組み合わせを変えた混合音に対して音識別実験を行なった。統計的学習モデル（以下、適宜「モデル」という。）の学習には、背景音に対してターゲット音を１５ｄＢとして合成した音を用いた。また、音識別実験には、背景音に対してターゲット音を５ｄＢとした合成音を用いた。
【００２０】
図２は、この音識別実験の結果を示す図である。図２は、識別頻度算出のための識別単位時間Ｔを１００フレームに固定し、累積尤度算出のための累積尤度出力単位時間Ｔｋを１、１０、１００フレームと変化させた場合における識別率を百分率で表している。すなわち、累積尤度出力単位時間Ｔｋ＝１００および識別単位時間Ｔ＝１００の場合には、ひとつの単位時間でひとつの累積尤度に基づいてひとつの頻度情報を出力していることになる。このため、累積尤度のみを用いた手法と同等な処理になる。
【００２１】
ここで、結果を詳細に見ていく。環境音Ｎ１からＮ１７を背景音とする時、識別対象音が音声Ｍ００１や音楽Ｍ４の場合には、Ｔｋ＝１とするときが最良の識別結果となっていることがわかる。つまり、Ｔｋ＝１００とした累積尤度による手法に対しては効果が見られないことが分かる。一方で、同じ環境音（Ｎ１３を除く）が背景音で、識別対象音が環境音Ｎ１３の場合には、Ｔｋ＝１００の場合が最良という結果になっている。このように、背景音の種類によって最適なＴｋの値が異なるという傾向は、背景音が音楽または音声の場合にも見て取れる。
【００２２】
すなわち、背景音とターゲット音との組み合わせにより、識別率が最良となるときの累積尤度出力単位時間Ｔｋの値が変動することがわかる。逆に、累積尤度出力単位時間Ｔｋの値を特許文献１のように固定値にすると、識別率が低下する場合も見受けられる。
【００２３】
本発明は、この知見に基づいてなされたものである。
【００２４】
本発明では、複数フレームの累積尤度結果に基づいた頻度情報を用いて音識別を行うにあたり、予め学習しておいた識別対象音のモデルを用いる。識別対象音としては、音声、音楽を想定し、環境音として駅、自動車走行音、踏切等の生活騒音を想定する。それぞれの音を、あらかじめ特徴量に基づいてモデル化しておくものとする。
【００２５】
（実施の形態１）
図３は、本発明の実施の形態１における音識別装置の構成図である。
【００２６】
音識別装置は、フレーム音特徴量抽出部１０１と、フレーム尤度算出部１０２と、累積尤度算出部１０３と、音種別候補判定部１０４と、音種別区間決定部１０５と、音種別頻度算出部１０６と、フレーム信頼度判定部１０７と、累積尤度出力単位時間決定部１０８とを備えている。
【００２７】
フレーム音特徴量抽出部１０１は、入力音をたとえば１０ｍｓｅｃ長のフレームごとに、Mel-Frequency Cepstrum Coefficients（ＭＦＣＣ）等の音特徴量に変換する処理部である。ここで、音特徴量の算出単位となるフレーム時間長は１０ｍｓｅｃとして説明を行ったが、識別対象となるターゲット音の特徴に応じて、フレーム時間長を５ｍｓｅｃ〜２５０ｍｓｅｃとして算出するようにしても良い。フレーム時間長を５ｍｓｅｃとすると、極短時間の音の周波数特徴やその変化をも捕らえることができるので、例えばビート音や突発音などの音の早い変化を捉えて識別するために用いると良い。一方、フレーム時間長を２５０ｍｓｅｃとすると、準定常的な連続音などの周波数特徴を良く捕らえることができるので、例えばモータ音などの変動が遅いあるいはあまり変動が少ない音の周波数特徴を捉えることができるので、このような音を識別するために用いると良い。
【００２８】
フレーム尤度算出部１０２は、モデルとフレーム音特徴量抽出部１０１で抽出された音特徴量との間のフレームごとの尤度であるフレーム尤度を算出する処理部である。
【００２９】
累積尤度算出部１０３は、所定数のフレーム尤度を累積した累積尤度を算出する処理部である。
【００３０】
音種別候補判定部１０４は、累積尤度にもとづいて音種別の候補を判定する処理部である。音種別頻度算出部１０６は、音種別候補毎に識別単位時間Ｔにおける頻度を算出する処理部である。音種別区間決定部１０５は、音種別候補ごとの頻度情報に基づいて、識別単位時間Ｔにおける音識別とその区間とを決定する処理部である。
【００３１】
フレーム信頼度判定部１０７は、フレーム尤度算出部１０２で算出されたフレーム尤度を検証することにより、フレーム尤度にもとづくフレーム信頼度を出力する。累積尤度出力単位時間決定部１０８では、フレーム信頼度判定部１０７より出力されるフレーム尤度に基づくフレーム信頼度に基づいて、累積尤度を頻度情報に変換する単位時間である累積尤度出力単位時間Ｔｋを決定し、出力する。したがって、累積尤度算出部１０３は、累積尤度出力単位時間決定部１０８の出力にもとづいて、信頼度が十分に高いと判断される場合にフレーム尤度を累積した累積尤度を算出するように構成されている。
【００３２】
より具体的には、フレーム尤度算出部１０２は、（式１）に基づいて、たとえば「S.Young, D.Kershaw, J.Odell, D.Ollason, V.Valtchev, P.Woodland,"The HTK Book (for HTK Version 2.2), 7.1 The HMM Parameter".(1999-1)」に示される、Gaussian Mixture Model（以降「ＧＭＭ」と記す）であらかじめ学習しておいた識別対象音特徴モデルＭｉと、入力音特徴量Ｘとの間でフレーム尤度Ｐを算出する。
【００３３】
【数１】
2007023660.tif 000027
【００３４】
また、累積尤度算出部１０３は、（式２）に示されるように、各学習モデルＭｉに対する尤度Ｐ（Ｘ（ｔ）｜Ｍｉ）の累積値として、所定の単位時間における累積尤度Ｌｉを算出し、最大の累積尤度を示すモデルＩを選択して、この単位区間における尤もらしい識別音種類として出力する。
【００３５】
【数２】
2007023660.tif 000028
【００３６】
さらに、音種別候補判定部１０４は、（式３）の第二式に示されるように、累積尤度出力単位時間Ｔｋごとに、累積尤度算出部１０３から出力される各学習モデルｉに対する累積尤度が最大となるモデルを、音種別候補とする。音種別頻度算出部１０６および音種別区間決定部１０５は、（式３）の第一式に示されるように、頻度情報をもとに識別単位時間Ｔにおける最大頻度をもつモデルを出力することにより、音識別結果を出力する。
【００３７】
【数３】
2007023660.tif 000029
【００３８】
次に、本発明の実施の形態１を構成する各ブロックの具体的な手続きについてフローチャートを用いて説明する。
【００３９】
図４は、累積尤度出力単位時間Ｔｋごとに累積尤度を頻度情報に変換し、識別単位時間Ｔごとに音識別結果を決定する手法の手順を示すフローチャートである。
【００４０】
フレーム尤度算出部１０２は、フレームｔにおける入力音特徴量Ｘ（ｔ）に対して、識別対象音の音特徴モデルＭｉのフレーム尤度Ｐｉ（ｔ）をそれぞれ求める（ステップＳ１００１）。累積尤度算出部１０３は、ステップＳ１００１から得られた入力特徴量Ｘ（ｔ）に対する各モデルのフレーム尤度を累積尤度出力単位時間Ｔｋに渡って累積することによって各モデルの累積尤度を算出し（ステップＳ１００７）、音種別候補判定部１０４は、尤度最大となるモデルをその時刻における音種別候補として出力する（ステップＳ１００８）。音種別頻度算出部１０６は、識別単位時間Ｔの区間にわたり、ステップＳ１００８で算出した音種別候補の頻度情報を算出する（ステップＳ１００９）。最後に、音種別区間決定部１０５は、得られた頻度情報より、頻度が最大となる音種別候補を選択して、この識別単位時間Ｔでの識別結果として出力する（ステップＳ１００６）。
【００４１】
この手法は、ステップＳ１００７における累積尤度出力単位時間Ｔｋを、識別単位時間Ｔと同じ値に設定すると、識別単位時間あたり最大頻度をひとつ出力する累積尤度の手法として捉えることもできる。また、累積尤度出力単位時間Ｔｋを１フレームと考えると、フレーム尤度を基準に最尤モデルを選択する手法と捉えることもできる。
【００４２】
図５は、フレーム信頼度判定部１０７の動作例を示すフローチャートである。フレーム信頼度判定部１０７は、フレーム尤度に基づいて、フレーム信頼度を算出する処理を行う。
【００４３】
フレーム信頼度判定部１０７は、予め、フレーム尤度にもとづくフレーム信頼度を最大値（図中では１）に初期化する（ステップＳ１０１１）。フレーム信頼度判定部１０７は、ステップＳ１０１２，ステップＳ１０１４およびステップＳ１０１５の３つの条件式のいずれかを満足する場合には、異常値つまり信頼度を最低値（図中では０）にセットすることにより信頼度判定を行う（ステップＳ１０１３）。
【００４４】
フレーム信頼度判定部１０７は、ステップＳ１００１で算出した入力音特徴量Ｘ（ｔ）の各モデルＭｉに対するフレーム尤度Ｐｉ（ｔ）が異常値閾値ＴＨ＿ｏｖｅｒ＿Ｐを超えるかどうかまたは異常値閾値ＴＨ＿ｕｎｄｅｒ＿Ｐ未満かどうかを判断する（ステップＳ１０１２）。各モデルＭｉに対するフレーム尤度Ｐｉ（ｔ）が異常値閾値ＴＨ＿ｏｖｅｒ＿Ｐを超える場合または異常値閾値ＴＨ＿ｕｎｄｅｒ＿Ｐ未満の場合には、信頼度がまったく無いものと考えられる。この場合には、入力音特徴量が想定外の範囲であるか学習に失敗したモデルを用いている場合が考えられる。
【００４５】
また、フレーム信頼度判定部１０７は、フレーム尤度Ｐｉ（ｔ）と前フレーム尤度Ｐｉ（ｔ−１）との間の変動が小さいかどうかを判定する（ステップＳ１０１４）。実環境の音は常に変動しているものであり、音入力が正常に行われていれば、尤度にも音の変動に呼応した変動が認められるものである。したがって、フレームが変わっても尤度の変動が認められないほど小さい場合には、入力音そのものまたは音特徴量の入力が途絶えているものと考えられる。
【００４６】
さらに、フレーム信頼度判定部１０７は、算出されたフレーム尤度Ｐｉ（ｔ）の中で、その最大となるモデルに対するフレーム尤度値と最小となるモデル尤度値の差が閾値より小さいかどうかを判定する（ステップＳ１０１５）。これは、モデルに対するフレーム尤度の最大値と最小値との差が閾値以上ある場合には、入力音特徴量と近い優位なモデルが存在し、この差が極端に小さい場合には、いずれのモデルも優位ではないということを示すと考えられる。そこで、これを信頼度として利用するものである。そこで、フレーム尤度最大値と最小値との差が閾値以下である場合には（ステップＳ１０１５でＹ）、フレーム信頼度判定部１０７は、異常値に該当するフレームとして、該当フレーム信頼度を０にセットする（ステップＳ１０１３）。一方、比較結果が閾値以上である場合には（ステップＳ１０１５でＮ）、優位のモデルが存在するものとして、フレーム信頼度に１を与えることができる。
【００４７】
このようにフレーム尤度に基づきフレーム信頼度を算出し、フレーム信頼度が高いフレームに関する情報を用いて、累積尤度出力単位時間Ｔｋを決定し、頻度情報を算出することができる。
【００４８】
図６は、累積尤度出力単位時間決定部１０８の動作例を示す累積尤度出力単位時間決定手法のフローチャートである。累積尤度出力単位時間決定部１０８は、現在の累積尤度出力単位時間Ｔｋで決定される区間において、フレーム尤度によるフレーム信頼度Ｒ（ｔ）の出現傾向を調べるためにフレーム信頼度の頻度情報を算出する（ステップＳ１０２１）。分析した出現傾向から、入力音特徴量等が異常であることを示すように、フレーム信頼度が０である、もしくはフレーム信頼度Ｒ（ｔ）が０に近い値が頻発している場合には（ステップＳ１０２２でＹ）、累積尤度出力単位時間決定部１０８は、累積尤度出力単位時間Ｔｋを増加させる（ステップＳ１０２３）。
【００４９】
フレーム信頼度Ｒ（ｔ）が１に近い値が頻発している場合には（ステップＳ１０２４でＹ）、累積尤度出力単位時間決定部１０８は、累積尤度出力単位時間Ｔｋを減少させる（ステップＳ１０２５）。このようにすることによって、フレーム信頼度Ｒ（ｔ）が低い場合には、フレーム数を長くして累積尤度を求め、フレーム信頼度Ｒ（ｔ）が高い時には、フレーム数を短くして累積尤度を求めて、その結果に応じた頻度情報を得ることができるため、従来の方法に比較して、相対的に短い識別単位時間で同じ精度の識別結果が自動的に得られるようになる。
【００５０】
図７は、累積尤度算出部１０３の動作例を示す累積尤度算出手法のフローチャートである。図７において、図４と同じ構成要素については同じ符号を用い、説明を省略する。累積尤度算出部１０３は、モデルごとの累積尤度Ｌｉ（ｔ）を初期化する（ステップＳ１０３１）。小規模素片接続部１０３は、ステップＳ１０３２からステップＳ１０３４で示されるループにおいて、累積尤度を算出する。このとき、小規模素片接続部１０３は、フレーム尤度に基づくフレーム信頼度Ｒ（ｔ）が異常を示す０かどうか判定を行い（ステップＳ１０３３）、０で無い場合にのみ（ステップＳ１０３３でＮ）、ステップＳ１００７で示されるように、モデルごとの累積尤度を算出する。このように、累積尤度算出部１０３は、フレーム信頼度を考慮して累積尤度を算出することにより、信頼度がない音情報を含まずに累積尤度を算出することができる。このため、識別率を上げることができることが期待できる。
【００５１】
音種別頻度算出部１０６においては、図７のように出力された頻度情報を、所定の識別単位時間Ｔの間累積し、音種区間決定部１０５においては、（式３）に従って、識別単位区間における頻度が最大となるモデルを選択し識別単位区間を、決定する。
【００５２】
図８は、図３に示した音識別装置を用いて出力される頻度情報の算出法を示す概念図である。この図においては、音種として音楽が入力されている場合の具体的な識別結果例を挙げて、本発明の効果について説明する。識別単位時間Ｔの中で、入力音特徴量１フレームごとにモデルに対する尤度をそれぞれ求め、各モデルに対する尤度群より、フレーム信頼度をフレームごとに算出する。図中の横軸は、時間軸を示しており、ひとつの区切りを１フレームとしている。このとき、算出された尤度信頼度は、最大値１または最小値０のいずれかの値が与えられるものとし、最大値１のとき、尤度の信頼度があり、最小値０のとき、尤度の信頼度がない異常値とみなすことができる指標とする。
【００５３】
従来法つまり累積尤度出力単位時間Ｔｋが固定の条件では、１フレームごとに得られた尤度のうち最大尤度となるモデルの頻度情報を算出する。従来法は、信頼度を用いない手法であるため、出力される最尤モデルの頻度情報がそのまま反映されることになる。音識別結果として出力される情報は、区間単位の頻度情報で決定される。この図の例では、識別単位時間Ｔの中で、音種Ｍ（音楽）が２フレーム、音種Ｓ（音声）が４フレームという頻度結果であることから、この識別単位時間Ｔにおける最大頻度のモデルは音種Ｓ（音声）となり誤識別の結果が得られることとなる。
【００５４】
一方、本発明による尤度信頼度を用いた頻度情報の算出条件では、図中段のように、１フレームごとに信頼度が、１か０かの値で示されており、この信頼度を用いて累積尤度を算出するための単位時間が変化することにより、頻度情報が出力される。たとえば、信頼度なしと判断されたフレームの尤度は、直接頻度情報に変換されず、信頼度ありと判断されたフレームに達するまで、累積尤度として算出される。この例では、信頼度が０となっている区間が存在する結果、識別単位時間Ｔにおける最多頻度情報は、音種Ｍ（音楽）が頻度情報として出力される。識別単位時間Ｔにおける最大頻度のモデルは音種Ｍ（音楽）となることから、正しい種別として識別ができていることがわかる。したがって、本発明の効果として、信頼度がないと判断されるフレーム尤度を直接用いないことで、不安定な頻度情報を吸収することにより識別結果を高めることが期待できる。
【００５５】
かかる構成によれば、累積尤度情報を頻度情報に変換する際に、尤度信頼度に基づいた頻度情報に変換することにより、突発的な異常音などが頻繁に発生して音の種別の入れ替わりが頻繁する場合であっても、累積尤度算出単位時間の長さを適切に設定できる（信頼度が所定値よりも高い場合は累積尤度算出単位時間を短く、信頼度が所定値よりも低い場合は累積尤度算出単位時間を長く設定できる）。このため、音の識別率の低下を抑制することができる。さらに、背景音やターゲット音が変化した場合でも、より適切な累積尤度算出単位時間に基づいて音の識別ができるため、音の識別率の低下を抑制することができる。
【００５６】
つぎに、本発明の実施の形態１における音識別装置の第二の構成図である図９について説明する。図９において、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【００５７】
図９において、図３との違いとしては、音種別頻度算出部１０６が、音種別候補判定部１０４から出力される音種別候補情報から音種別頻度情報を算出する際に、フレーム信頼度判定部１０７から出力されるフレーム信頼度を用いて算出するように構成されている点が異なる。
【００５８】
かかる構成によれば、累積尤度情報から算出された音種別候補を頻度情報に変換する際に、尤度信頼度に基づいた頻度情報に変換することにより、突発的な異常音などの短時間の影響を低減することができるため、背景音やターゲット音が変化してもより適切な累積尤度算出単位時間に基づいて識別率の低下を抑制することができる。
【００５９】
図１０は、フレーム尤度によるフレーム信頼度判定手法として、フレーム信頼度判定部１０７が実行する第二の手法例を示すフローチャートである。図１０において、図５と同じ処理については同じ符号を用い、説明を省略する。図５の手法では、ステップＳ１０１５において、フレーム信頼度判定部１０７が、入力特徴量に対する各モデルのフレーム尤度を算出し、その最大となるモデルのフレーム尤度値と最小となるモデルのフレーム尤度値の差が閾値より小さいかどうかを用いて、信頼度の値を０か１かに設定していた。
【００６０】
ここでは、フレーム信頼度判定部１０７が信頼度を０か１かのいずれかに設定するのではなく、フレーム信頼度判定部１０７が０から１の中間値をとるように信頼度を与える。具体的には、ステップＳ１０１６のように、フレーム信頼度判定部１０７は、信頼度のさらなる基準として、最大値をとるモデルのフレーム尤度がどの程度優位性のあるのかを判断する尺度とみなす基準を加えることもできる。そこで、フレーム信頼度判定部１０７は、フレーム尤度の最大値と最小値の比を信頼度として与えるようにしてもよい。
【００６１】
図１１は、累積尤度算出部１０３の、図７とは別の動作例を示す累積尤度算出方法のフローチャートである。図１１において、図７と同じ処理については同じ符号を用い、説明を省略する。この動作例では、累積尤度算出部１０３は、出力する頻度情報の個数を初期化しておき（ステップＳ１０３５）、累積尤度算出の際に、フレーム信頼度が１に近いかどうかを判定する（ステップＳ１０３６）。フレーム信頼度が十分に高いと認められる場合には（ステップＳ１０３６でＹ）、累積尤度算出部１０３は、該当フレームの頻度情報を直接出力するために、最尤モデル識別子の保存を行っておく（ステップＳ１０３７）。そして、図１２のステップＳ１０３８で表される音種別候補判定部１０４が実行する処理において、単位識別区間Ｔｋにおける累積尤度が最大のモデルを加えて、ステップＳ１０３７において保存しておいた複数の最大モデルによる音種別候補を出力する。図４のステップＳ１００８では一つの音種別候補を用いるのに対して、音種別候補判定部１０４は、このように信頼度が高いフレームがｋ個存在する場合にはｋ＋１個の音種別候補を出力することになる。このため、結果として、信頼度の高いフレームの情報に重み付けがなされた、頻度情報つきの音種別候補が算出されることとなる。
【００６２】
音種別頻度算出部１０６は、図１１および図１２の処理に従い出力された音種別候補を、識別単位時間Ｔの間累積することによって頻度情報を求める。また、音種区間決定部１０５は、（式３）に従って、識別単位区間における頻度が最大となるモデルを選択し、識別単位区間を決定する。
【００６３】
なお、音種別区間決定部１０５は、フレーム信頼度が高く頻度情報が集中している区間に限定して最大の頻度情報を有するモデルを選択して、音の種別とその区間を決定するようにしてもよい。このようにフレーム信頼度の低い区間での情報を用いないことによって、識別の精度向上が期待できる。
【００６４】
図１３は、図３または図９に示した音識別装置により出力される頻度情報の算出法を示す概念図である。識別単位時間Ｔの中で、入力音特徴量１フレームごとにモデルに対する尤度をそれぞれ求め、各モデルに対する尤度群より、フレーム信頼度をフレームごとに算出する。図中の横軸は、時間軸を示しており、ひとつの区切りが１フレームとしている。このとき、算出された尤度信頼度は、最大値１および最小値０となるように正規化されているものとし、最大値１に近いほど尤度の信頼度があり（図中では一フレームでも識別十分な状態Ａ）、最小値０に近いほど（図中では、該フレームの信頼度がまったくない状態Ｃ）、（その中間が状態Ｂ）尤度の信頼度が低いとみなすことができる指標とする。この例では、図１１に示したように、算出された尤度信頼度を２つの閾値を用いて検証することにより、フレーム累積度を算出している。一つ目の閾値は、出力された尤度の１フレームが十分に大きく、信頼に足るものかどうか判断するものである。図の例では、信頼度が０．５０以上の場合に、１フレームで頻度情報に変換可能とみなしている。２つ目の閾値は、出力された尤度信頼度が低すぎるために頻度情報には変換しないかどうかを判断するものである。図の例では、信頼度が０．０４未満の場合に、該当する。この２つの閾値の間に尤度信頼度がある場合には、複数フレームでの累積尤度をもとに、頻度情報に変換するようにしている。
【００６５】
ここで具体的な識別結果例を挙げて、本発明の効果について説明する。従来法つまり累積尤度出力単位時間Ｔｋが固定の条件では、１フレームごとに得られた尤度から最大累積尤度となるモデルの頻度情報を算出する。そのため、図８に示した結果と同様に、識別単位時間Ｔの中で、音種Ｍ（音楽）が２フレーム、音種Ｓ（音声）が４フレームという結果となり、この識別単位時間Ｔにおける最大頻度のモデルは音種Ｓ（音声）となってしまうため誤識別となる。
【００６６】
一方、本発明による尤度信頼度を用いた頻度情報の算出条件では、１フレームでの頻度情報への変換に足る尤度のフレームからは、３段階の信頼度をもとに、累積尤度を可変長にしながら頻度情報を求めていくことができる。そのため、不安定な区間の頻度情報を直接用いることなく識別結果を得ることができるようになる。また、図中の例の識別対象区間Ｔの中の最後のフレームのように、信頼度が低く、頻度情報が結果的に用いられていないようなフレームに関しては、累積尤度の計算上無視することもできる。このようにすることで、信頼度の多段階化により、さらに精度よく識別を行うことができるものと期待できる。
【００６７】
なお、上記の例では識別単位時間Ｔにつき、識別判定結果をひとつ出力する例として説明したが、信頼度の高い区間あるいは低い区間を基点とした識別判定結果を複数出力するようにしてもよい。このような構成により、識別単位時間Ｔ当たりの識別結果が固定タイミングで出力されるのではなく、信頼度の高い区間の情報が可変化タイミングで適宜出力することができるため、たとえ識別単位時間Ｔを長めに設定しておいても信頼度により識別結果が確からしい区間では、すばやく結果を得られるようになる。識別単位時間Ｔを短めに設定しておいた場合にも、信頼度の高い区間の結果を早く得られることが可能である。
【００６８】
なおフレーム音特徴量抽出部１０１で使用する音特徴量学習モデルについては、ＭＦＣＣを、モデルについては、ＧＭＭを用いるものと想定した説明を行ったが、本発明ではこれらに限定されるものではなく、特徴量として周波数特徴量を現すＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）やＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）やＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などを用いてもかまわない。また、モデル学習法としては、状態遷移を考慮してＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を用いてもよい。
【００６９】
また、ＰＣＡ（主成分分析）などの統計的手法を用いて音特徴量の独立性などの成分分解あるいは成分抽出したうえで、モデル学習する手法を用いてもよい。
【００７０】
（実施の形態２）
図１４は、本発明の実施の形態２の音識別装置の構成図である。図１４において、図３と同じ構成要素については同じ符号を用い、説明を省略する。実施の形態１では、フレーム尤度に基づきフレーム単位の音情報信頼度を利用した方法であったが、本実施の形態では、累積尤度を用いて、フレーム信頼度を算出し、これを利用して、頻度情報を算出する。
【００７１】
図１４において、フレーム信頼度判定部１１０は、累積尤度算出部１０３で算出された現時点のモデルごとの累積尤度を算出し、累積尤度出力単位時間決定部１０８において累積尤度出力単位時間を決定するように構成している。
【００７２】
図１５は、フレーム信頼度判定部１１０により、累積尤度によりフレーム信頼度を判定する手法を示すフローチャートである。図１５において、図５と同じ構成要素については同じ符号を用い、説明を省略する。フレーム信頼度判定部１１０は、ステップＳ１０５１からステップＳ１０５４において、単位時間における最尤累積尤度と僅差であるモデルの個数をカウントする。フレーム信頼度判定部１１０は、累積尤度算出部１０３において算出した各モデルの累積尤度に対して、最尤累積尤度との差が所定値以内になるかどうか、各モデルについて判定を行う（ステップＳ１０５２）。当該差が所定値内である場合には（ステップＳ１０５２でＹ）、フレーム信頼度判定部１１０は、候補としてその候補数をカウントし、そのモデル識別子を保存する（ステップＳ１０５３）。フレーム信頼度判定部１１０は、ステップＳ１０５５において、フレームごとに上記候補数を出力し、累積尤度モデルの候補数の変動が所定値以上であるか否かを判断する（ステップＳ１０５５）。所定値以上の場合には（ステップＳ１０５５でＹ）、フレーム信頼度判定部１１０は、フレーム信頼度に異常値０をセットし（ステップＳ１０１３）、所定値以下である場合には（ステップＳ１０５５でＮ）、フレーム信頼度判定部１１０は、フレーム信頼度に正常値１をセットする（ステップＳ１０１１）。
【００７３】
このような構成にすることによって、上記候補数の変化から、入力音の変動を見出すことが可能であり、識別対象音や背景音から構成される混合音の構成状況が変化していることが推測される。識別対象としている音が発生し続けて、背景音が変動している場合には、背景音の中で識別対象音と近い音が発生消滅を繰り返している場合に有用であると考えられる。
【００７４】
なお、上記のように算出した音種別候補、つまり最尤の累積尤度から所定値以内の識別子の組み合わせが変化したことを検知して、変化点であることあるいは候補数の増減値をフレーム信頼度として用いて頻度情報に変換してもよい。
【００７５】
図１６は、フレーム信頼度判定部１１０における、累積尤度によりフレーム信頼度を判定する手法を示すフローチャートである。図１６において、図５および図１５と同じ構成要素については同じ符号を用い、説明を省略する。本手法では、図１５とは反対に、最小の累積尤度を基準として、累積尤度が僅差となるモデルの候補数を用いて、信頼度を獲得する。フレーム信頼度判定部１１０は、ステップＳ１０５６からステップＳ１０５９までのループにおいて、単位時間における最小累積尤度と僅差であるモデルの数をカウントする。フレーム信頼度判定部１１０は、累積尤度算出部１０３において算出された各モデルの累積尤度に対して、最小累積尤度との差が所定値以下になるかどうか、各モデルについて判定を行う（ステップＳ１０５７）。所定値以下である場合には（ステップＳ１０５７でＹ）、フレーム信頼度判定部１１０は、候補数をカウントし、そのモデル識別子を保存する（ステップＳ１０５８）。フレーム信頼度判定部１１０は、上記ステップにおいて算出した、最小累積モデルの候補数の変動が所定値以上であるか否かを判断し（ステップＳ１０６０）、当該変動が所定値以上である場合には（ステップＳ１０６０でＹ）、フレーム信頼度判定部１１０は、フレーム信頼度を０にセットし信頼度なしと判断し（ステップＳ１０１３）、当該変動が所定値以下である場合には（ステップＳ１０６０でＮ）、フレーム信頼度を１にセットして信頼度ありと判断する（ステップＳ１０１１）。
【００７６】
なお、上記のように算出した音種別候補、つまり最低の累積尤度からの識別子の組み合わせが変化したことを検知して、変化点であることあるいは候補数の増減値をフレーム信頼度として用いて頻度情報に変換してもよい。
【００７７】
また、上記図１５および図１６では、それぞれ最大尤度および最小尤度となるモデルから、尤度が所定値の範囲内にあるモデルの個数を用いてフレーム信頼度の算出を説明したが、最大尤度から尤度が所定値の範囲内にあるモデルの個数と最小尤度から尤度が所定値の範囲内にあるモデルの個数との双方の情報を用いて、フレーム信頼度を算出し、頻度情報に変換するようにしてもよい。
【００７８】
なお、この最尤の累積尤度から尤度が所定値の範囲内にあるモデルとは、累積尤度を算出した区間の音種別としての確からしさが非常に高くなるモデルである。そこで、ステップＳ１０５３においてモデルごとに尤度が所定値内にあると判定されたモデルのみを信頼度があるものとして、モデルごとに信頼度を作成して、頻度情報への変換に利用してもよい。また、この最低の累積尤度から所定値内にあるモデルとは、累積尤度を算出した区間の音種別としての確からしさが非常に低くなるモデルである。そこで、ステップＳ１０５８においてモデルごとに所定値内にあると判定されたモデルのみを信頼度がないものとして、モデルごとに信頼度を作成して頻度情報への変換に利用してもよい。
【００７９】
なお、上記の構成では、累積尤度にもとづくフレーム信頼度を用いて頻度情報に変換する方法を説明したが、フレーム尤度にもとづくフレーム信頼度と、累積尤度にもとづくフレーム信頼度とを比較して、双方の一致区間を選択し、累積尤度にもとづくフレーム信頼度を重み付けするようにしてもよい。
【００８０】
このような構成により、累積尤度によるフレーム信頼度を用いながら、フレーム単位の短い応答を保つことができる。このため、累積尤度によるフレーム信頼度が連続して同じ音種別候補が出力されていても、フレーム尤度によるフレーム信頼度の遷移が行われているような区間を検出することができる。したがって、突発音などによる短時間の尤度劣化の検出も可能となる。
【００８１】
また、実施の形態１または実施の形態２では、尤度または累積尤度をもとに算出するフレーム信頼度を用いて頻度情報に変換する方法を説明したが、さらに音モデルごとに信頼度を設ける音種別候補信頼度を用いて頻度情報あるいは識別結果を出力するようにしてもよい。
【００８２】
図１７は、本発明の実施の形態２の音識別装置の第二の構成図である。図１７において、図３および図１４と同じ構成要素については同じ符号を用い、説明を省略する。図１４に示す実施の形態では、累積尤度によるフレーム信頼度を算出し頻度情報を出力したが、本構成では、累積尤度による音種別候補信頼度を算出しこれを利用して、頻度情報を算出する。
【００８３】
図１７において、音種別候補信頼度判定部１１１は、累積尤度算出部１０３で算出された現時点のモデルごとの累積尤度を算出し、累積尤度出力単位時間決定部１０８において累積尤度出力単位時間を決定するように構成している。
【００８４】
図１８は、最尤の音種別から所定値以内の累積尤度を持つ音種別候補を信頼度があるという基準にもとづいて算出される、音種別候補信頼度を用いた累積尤度計算処理のフローチャートである。図１１と同じ構成要素については同じ符号を用い、説明を省略する。累積尤度算出部１０３は、識別単位時間内、最尤の累積尤度と累積尤度が所定値以内のモデルＭｉがある場合には（ステップＳ１０６２でＹ）、そのモデルを音種別候補として保存しておき（ステップＳ１０６３）、図１２に示した流れで、音種別候補判定部１０４が音種別候補を出力する。
【００８５】
このような構成にすることによって、音種別候補信頼度を用いて、モデルごとに信頼度を設けることができるため、モデルに対して重み付けをした頻度情報を出力することが可能となる。また、所定数連続してあるいは一定の時間に対しての出力頻度が所定閾値よりも高い場合には、識別単位時間Ｔに達しなくても、音種別をして決定し区間情報とともに出力することで、より音識別区間の遅れなく出力することができる。
【００８６】
続いて、識別単位時間Ｔの区間から得られた頻度情報において、音種別の頻度差がほとんどない、つまり優位となる音種別が存在しないために陥る誤識別を抑制する音種別結果の出力方法について説明する。
【００８７】
上述したように、入力音として音楽（Ｍ）と音声（Ｓ）とが交互に入れ替わり、かつ、フレーム信頼度が高い場合には、識別単位時間Ｔに至らなくとも音種別候補が出力される。しかし、音楽（Ｍ）に近い音、背景音または雑音（Ｎ）が存在したり、交互に入れ替わる音声（Ｓ）または音楽（Ｍ）に近いモデルが多数存在し、１つのモデルを特定できない場合には、上記の場合と異なりフレーム信頼度が低下する。さらに、各累積尤度区間Ｔｋが識別単位時間Ｔの区間に対して無視できない時間長で続くと、識別単位時間Ｔにおいて得られる頻度数が減少することになる。その結果として、識別単位時間Ｔにおいて音楽（Ｍ）や音声（Ｓ）の頻度差が少なくなる場合がある。このような場合には、識別単位時間Ｔにおける頻度最大モデルとして優位なモデルが存在せず、実際の音種別とは異なった音種別候補を出力するという課題が生じる。
【００８８】
そこで、変形例では、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して、１つの識別単位時間Ｔから出力される音種別結果を信頼して良いかを判断する機能を図１７の音識別頻度算出部１０６に持たせている。
【００８９】
図１９は、音種別区間決定部１０５において、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して複数の識別単位区間にわたり再計算をした場合（図１９（ｂ））と出現頻度を利用しなかった場合（図１９（ａ））との音種別および区間情報出力例を示す。
【００９０】
この図１９では、音種別区間決定部１０５による識別単位区間Ｔ０からＴ５において、各識別単位時間、モデル毎の出現頻度、総有効頻度数、総頻度数、識別単位時間ごとの頻度最大のモデル、最終的に音種別区間決定部１０６から出力される音種別結果および実際に発生した音の音種別について、列挙している。
【００９１】
まず、識別単位時間は、原則的には所定値Ｔ（この例では１００フレーム）であるが、音種別頻度算出部１０６の累積尤度出力時にフレーム信頼度が所定フレーム連続して所定閾値より高い場合には識別単位時間が所定値Ｔにまで達しなくとも出力されるため、図中識別単位区間Ｔ３およびＴ４では、所定値よりも識別単位時間が短くなっていることを示している。
【００９２】
つぎに、モデル毎の出現頻度を示している。ここで「Ｍ」は音楽を示し、「Ｓ」は音声、「Ｎ」は雑音を示し、「Ｘ」は無音を示している。最初の識別時間単位Ｔ０における出現頻度を見ると、Ｍが３６、Ｓが３５、Ｎが５、Ｘが２である。したがって、この場合、最大の頻度であるモデルは、Ｍとなる。図１９では識別単位区間ごとに出現頻度最大のモデルを下線で示している。ここで、図１９中の「総頻度数」とは、各識別単位区間における頻度の合計であり、また「総有効頻度数」とは総頻度数から無音Ｘの出現頻度を除いた頻度の合計である。図中の識別単位区間Ｔ０やＴ１のように、識別単位区間のフレーム数（それぞれ１００と１００）よりも総頻度数が小さい区間（それぞれ７８と８５）では、図８や図１３で示したように、累積尤度出力単位時間Ｔｋが長くなったため、不安定な頻度情報が吸収されて頻度数が減少したことを示している。したがって、Ｔ０からＴ５の区間を通じた、識別単位時間ごとの頻度最大のモデルは、横方向を時間方向としてそれぞれ「ＭＳＳＭＳＭ」と出力されている。
【００９３】
図１９の例に対して、音種別区間決定部１０６において、出現頻度を利用しない場合の音種別と区間情報出力について説明する。この場合には、音種別頻度算出部１０５からの音種別頻度に対する評価を行わずに、頻度最大のモデルをそのまま音種別として用い、またその連続している部分がある場合には区間を統合することで最終的に音種別と区間情報として出力される（識別単位時間Ｔ１とＴ２の区間が連結されて一つのＳの区間となる。）。図１９の例において、実際の音種別と比較すると、出現頻度を利用しない場合には、識別時間単位Ｔ０において、実際にはＳであるにもかかわらず、音種別はＭと出力されていることから、識別結果が誤ったまま何も改善されていないことが分かる。
【００９４】
そこで、出現頻度を利用する場合について説明する。図１７の音識別頻度算出部１０６が出力する識別単位時間毎のモデル毎の頻度を利用して、識別単位時間における頻度最大のモデルが信頼できるかを示す頻度信頼度を用いて識別単位時間における頻度最大モデルが何であるか判断する。ここで、頻度信頼度は、識別単位区間内において、異なるモデルの出現頻度差を総有効頻度数（識別単位区間の総頻度数から無音区間Ｘなどの無効頻度を除いた数）で割った値とする。このとき頻度信頼度の値は、０から１の間の値をとる。例えば、音楽（Ｍ）か音声（Ｓ）かを判断する場合は、頻度信頼度の値は、ＭとＳとの出現頻度の差を総有効頻度数で割った値となる。この場合には頻度信頼度は、識別単位区間におけてＭとＳとの差が小さければ０に近い小さい値となり、ＭとＳとのどちらかが多ければ１に近い大きい値となる。ＭとＳとの差が小さい、つまりこの頻度信頼度が０に近い値ということは、識別単位区間においてＭとＳとのどちらを信用して良いかわからない状態であることを示している。図１９（ｂ）では識別単位区間毎に頻度信頼度Ｒ（ｔ）を計算した結果を示している。識別単位区間Ｔ０およびＴ１のように、頻度信頼度Ｒ（ｔ）が所定値（０．５）を下回ったとき（０．０１および０．３９）、信頼できないものと判断するものとする。
【００９５】
このような判断基準を用いた具体的な手順について説明する。頻度信頼度Ｒ（ｔ）が０．５以上の場合は識別単位区間の頻度最大のモデルをそのまま使用し、頻度信頼度Ｒ（ｔ）が０．５よりも小さい場合は複数の識別単位区間においてモデル毎の頻度を再度計算して頻度最大のモデルを決定する。図１９では頻度信頼度が低い最初の２つの識別単位区間Ｔ０とＴ１において、それぞれのモデル毎の頻度を足し、２つの区間にわたって再計算された頻度情報に基づいて、新たにその２つの識別単位区間の頻度最大モデルＳと決定している。この結果、識別単位区間Ｔ０の識別結果は、音種別頻度算出部１０５から得られた最大頻度の音種別はＭからＳへと変わり、実際の音結果と一致することが分かる。
【００９６】
このように頻度信頼度が低い部分は、複数の識別単位区間におけるモデル毎の頻度を使用することで、雑音等の影響で識別単位区間の頻度最大モデルの頻度信頼度が低くなったとしても、正確に音種別を出力できる。
【００９７】
（実施の形態３）
図２０は、本発明の実施の形態３の音識別装置の構成図である。図２０において、図３および図１４と同じ構成要素については同じ符号を用い、説明を省略する。本実施の形態では、音特徴量自身の信頼度を用いて、音特徴量自身のモデルごとの信頼度を算出しこれを利用して、頻度情報を算出する。さらに、出力情報として信頼度情報も出力を行う。
【００９８】
図２０において、音特徴量によるフレーム信頼度判定部１０９は、フレーム音特徴量抽出部１０１で算出された音特徴量より、判定に適しているかどうか音特徴量を検証することにより音特徴量信頼度を出力する。累積尤度出力単位時間決定部１０８はこのフレーム信頼度判定部１０９の出力に基づいて累積尤度出力単位時間を決定するように構成している。また、最終的に結果を出力する音種別区間決定部１０５においても、この信頼度を音種別と区間とともに出力する。
【００９９】
このような構成にすることによって、フレーム信頼度が低い区間情報も一緒に出力するようにしてもよい。このような構成にすることで、たとえば同一音種が連続している中でも、信頼度の遷移過程などを調べることによって突発的な音の発生を検知することが可能となる。
【０１００】
図２１は、音特徴量にもとづき音特徴量の信頼度を算出するフローチャートである。図２１において、図５と同じ構成要素については同じ符号を用い、説明を省略する。
【０１０１】
フレーム信頼度判定部１０７は、音特徴量のパワーが所定の信号パワー以下かどうか判定する（ステップＳ１０４１）。音特徴量のパワーが所定の信号パワー以下である場合には（ステップＳ１０４１でＹ）、音特徴量によるフレーム信頼度を、信頼度なしとして０にセットする（ステップＳ１０４１でＹ）。それ以外の場合には（ステップＳ１０４１でＮ）、フレーム信頼度判定部１０７は、フレーム信頼度を１にセットする（ステップＳ１０１１）。
【０１０２】
このような構成にすることによって、音種別の判定以前に音入力の段階での信頼度をもって、音の種別の判定が行うことができるようになる。
【０１０３】
なお、図２０では、出力する信頼度情報を音特徴量に基づく値として説明を行ったが、実施の形態１や実施の形態２で述べたように、フレーム尤度に基づく信頼度、累積尤度に基づく信頼度、モデルごとの累積尤度に基づく信頼度のいずれを用いてもよい。
【産業上の利用可能性】
【０１０４】
本発明にかかる音識別装置は、信頼度に基づき尤度から変換された頻度情報を用いて音の種別を判定する機能を有する。そこで、識別対象音として、特定のカテゴリのシーンを特徴付ける音を用いて学習しておくことにより、実環境下で収録した、オーディオやビデオなどの中から、特定のカテゴリの音の区間を抽出したり、歓声などを抽出識別対象とすることによって、コンテンツシーン中の観客の興奮シーンのみを連続して抽出したりすることが可能である。また、これら検出した音種別や区間情報をタグとして用い、連動する他の情報を記録し、ＡＶ（Audio Visual）コンテンツのタグ検索装置等に利用することができる。
【０１０５】
さらに非同期に様々な音が発生している録音ソースから、音声区間を検出し、その区間のみを再生する音編集装置等として有用である。
【０１０６】
また、信頼度が変化した区間を出力することによって、同一音種が検出されていたとしても音の変化区間たとえば短時間の突発音区間などをも抽出できる。
【０１０７】
また、音識別結果として、音種別結果とその区間だけでなくフレーム尤度等の信頼度を出力して利用するようにしても良い。たとえば、音声の編集の際に信頼度が低い箇所検出した場合にビープ音等を鳴らして検索編集の手がかりとするようにしてもよい。このようにすれば、ドアの音やピストルの音など短時間音であるためにモデル化が困難である音を探索する場合に検索操作の効率化が期待される。
【０１０８】
また、出力された信頼度や累積尤度や頻度情報の入れ替わりが発生している区間を図示化してユーザ等に提示しても良い。これにより信頼度が小さい区間を容易にユーザが見出すことができ、編集操作などの効率化も期待できる。
【０１０９】
本発明における音識別装置を録音機器などに装備することによって、必要な音を選択して録音することにより、録音容量を圧縮することができる録音装置等にも適用可能である。
【図面の簡単な説明】
【０１１０】
【図１】図１は、特許文献１における識別頻度情報の概念図である。
【図２】図２は、本発明における頻度による音識別性能結果表である。
【図３】図３は、本発明の実施の形態１における音識別装置の構成図である。
【図４】図４は、本発明の実施の形態１における２つの単位時間と頻度とによる音種別判定法フローチャートである。
【図５】図５は、本発明の実施の形態１のフレーム信頼度判定部の実行する処理のフローチャートである。
【図６】図６は、本発明の実施の形態１の累積尤度出力単位時間決定部の実行する処理のフローチャートである。
【図７】図７は、本発明の実施の形態１のフレーム信頼度を用いた累積尤度計算部の実行する処理のフローチャートである。
【図８】図８は、本発明の実施の形態１のフレーム信頼度を用いた識別頻度の算出手法を示す概念図である。
【図９】図９は、本発明の実施の形態１における音識別装置の第二の構成図である。
【図１０】図１０は、本発明の実施の形態１のフレーム信頼度判定部の実行する処理の第二のフローチャートである。
【図１１】図１１は、本発明の実施の形態１のフレーム信頼度を用いた累積尤度計算部の実行する処理の第二のフローチャートである。
【図１２】図１２は、音種別候補判定部が実行する処理のフローチャートである。
【図１３】図１３は、本発明の実施の形態１のフレーム信頼度を用いた識別頻度の算出手法を示す第二の概念図である。
【図１４】図１４は、本発明の実施の形態２における音識別装置の構成図である。
【図１５】図１５は、本発明の実施の形態２のフレーム信頼度判定部の実行する処理のフローチャートである。
【図１６】図１６は、本発明の実施の形態２のフレーム信頼度判定部の実行する処理の第二のフローチャートである。
【図１７】図１７は、本発明の実施の形態２における音識別装置の第二の構成図である。
【図１８】図１８は、本発明の実施の形態２の音種別候補の信頼度を用いた累積尤度計算処理を示すフローチャートである。
【図１９】図１９は、音種別区間決定部において、識別単位時間Ｔ内の累積尤度出力単位時間Ｔｋにおける音種別毎の出現頻度を利用して複数の識別単位区間にわたり再計算をした場合（図１９（ｂ））と出現頻度を利用しなかった場合（図１９（ａ））との音種別および区間情報出力例を示す図である。
【図２０】図２０は、本発明の実施の形態３における音識別装置の構成図である。
【図２１】図２１は、本発明の実施の形態３のフレーム信頼度判定部の実行する処理のフローチャートである。
【符号の説明】
【０１１１】
１０１  フレーム音特徴量抽出部
１０２  フレーム尤度算出部
１０３  累積尤度算出部
１０４  音種別候補判定部
１０５  音種別区間決定部
１０６  音種別頻度算出部
１０７  フレーム信頼度判定部
１０８  累積尤度出力単位時間決定部
１０９  フレーム信頼度判定部
１１０  フレーム信頼度判定部
１１１  音種別候補信頼度判定部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007023660.tif 000030
【図２】
2007023660.tif 000031
【図３】
2007023660.tif 000032
【図４】
2007023660.tif 000033
【図５】
2007023660.tif 000034
【図６】
2007023660.tif 000035
【図７】
2007023660.tif 000036
【図８】
2007023660.tif 000037
【図９】
2007023660.tif 000038
【図１０】
2007023660.tif 000039
【図１１】
2007023660.tif 000040
【図１２】
2007023660.tif 000041
【図１３】
2007023660.tif 000042
【図１４】
2007023660.tif 000043
【図１５】
2007023660.tif 000044
【図１６】
2007023660.tif 000045
【図１７】
2007023660.tif 000046
【図１８】
2007023660.tif 000047
【図１９】
2007023660.tif 000048
【図２０】
2007023660.tif 000049
【図２１】
2007023660.tif 000050
【国際調査報告】
2007023660.tif 000051
2007023660.tif 000052
2007023660.tif 000053