(57)【要約】音声タイプを追加・修正する音声分類システムが開示されている。追加・修正コマンド処理器が音声タイプを追加、または修正するコマンドを受信した場合、第１のデータベースにおけるデータが第２のデータベースに記録され、タイプ追加・修正手段は、音声の特徴を第１のデータベースに追加して統計値を再演算する。これに加え、分類器が音声サンプルの再分類を実施し、適合率演算器は、適切な分類の率を演算する。この率が高い場合、タイプ追加・修正手段は、特徴データベースにそのタイプが追加、または修正されるべき音声の特徴を記録する。この率が低い場合、第２のデータベースがデータを第１のデータベースに戻して復元する。
2008547037.tif 000002
【特許請求の範囲】
【請求項１】
音声タイプを追加・修正することが可能な音声分類システムであって、
認識される音声信号を受信する音声受信器と、
前記音声信号の特徴を見つける特徴抽出器と、
複数の音声の特徴の統計値を記録する第１のデータベースと、
前記音声信号を分類する分類器と、
前記分類器の分類結果と前記音声信号の特徴とを記録する分類記録器と、
前記第１のデータベースに記録されたデータのバックアップコピーを作成する第２のデータベースと、
複数の音声サンプルの特徴を記録する特徴データベースと、
分類結果を修正する、または新しいタイプを追加するコマンドを受信した際に、前記分類記録器に対して修正が必要な、または追加されるべき音声の特徴を出力するように指示する追加・修正コマンド処理器と、
前記追加・修正コマンド処理器から出力される修正が必要な、または追加されるべき音声の特徴を受信し、前記第１のデータベースの特徴の対応する統計値を更新するタイプ追加・修正手段と、
前記分類器によって前記特徴データベースにおける音声サンプルの特徴の適切な分類の率を演算する適合率演算器と
を備えることを特徴とする音声分類システム。
【請求項２】
さらに、画像取得手段を備え、前記画像取得手段は、認識される音声信号が生成される環境の画像を取得することが可能であるものを備えることを特徴とする、請求項１に記載の音声分類システム。
【請求項３】
前記分類器は、前記第１のデータベースにおける音声の統計値にしたがって前記音声信号を分類し、分類結果を出力することを特徴とする、請求項１に記載の音声分類システム。
【請求項４】
前記特徴抽出器は、前記音声信号の特徴としてメルスケール周波数ケプストラム係数によって得られた特徴ベクトルを用いることを特徴とする、請求項１に記載の音声分類システム。
【請求項５】
前記特徴抽出器は、前記音声信号の特徴として前記音声信号スペクトラムの周波数ビンを解析することを特徴とする、請求項１に記載の音声分類システム。
【請求項６】
前記特徴抽出器は、前記音声信号の特徴としてタイムドメインにおける前記音声信号のエネルギーを演算することを特徴とする、請求項１に記載の音声分類システム。
【請求項７】
前記特徴抽出器は、前記音声信号の特徴としてタイムドメインにおける前記音声信号のゼロ交差率を演算することを特徴とする、請求項１に記載の音声分類システム。
【請求項８】
前記分類記録器によって記録された前記分類結果は、音声タイプ、前記音声信号の受信時間、前記音声信号の波形、前記音声信号が生成された際に取得された画像および前記音声信号の持続時間を含むことを特徴とする、請求項１に記載の音声分類システム。
【請求項９】
前記第２のデータベースは、前記第１のデータベースに記録されたデータに変更が生じた後に前記第１のデータベースに戻してデータのバックアップコピーをタイムリーに復元することを特徴とする、請求項１に記載の音声分類システム。
【請求項１０】
前記特徴データベースは、前記分類器に対して音声サンプルの特徴を出力することが可能であることを特徴とする、請求項１に記載の音声分類システム。
【請求項１１】
前記追加・修正コマンド処理器は、音声タイプを修正・追加するコマンドを受信するために追加・修正音声タイプ操作インターフェイスを表示することが可能であり、前記追加・修正音声タイプ操作インターフェイスは、修正、または追加される音声タイプのユーザによる選択を可能にする選択領域、これに対応して選択された音声タイプの関連する分類結果を表示するブラウジング領域、選択された音声タイプの再生を制御する再生ボタン、音声タイプを追加するコマンドを受信するタイプ追加ボタンおよび音声タイプを修正するコマンドを受信するタイプ修正ボタンを備えることを特徴とする、請求項１に記載の音声分類システム。
【請求項１２】
前記選択領域は、記録ウィンドウとスクロール・選択キーを含み、前記記録ウィンドウは、音声のタイプを修正、または音声のために新しいタイプを追加するためにユーザが選択できるように複数の音声分類結果の種類を表示することが可能であり、前記記録ウィンドウは、さらに選択された音声のタイプを表すアイコンを表示し、前記スクロール・選択キーは、修正、または追加されるべき音声のタイプの分類結果を表示するように前記記録ウィンドウを制御可能であることを特徴とする、請求項１１に記載の音声分類システム。
【請求項１３】
前記ブラウジング領域は、音声波形ウィンドウ、音声スペクトラムウィンドウおよび音声画像ウィンドウを備え、ユーザが記録ウィンドウにおいて音声分類結果を選択した場合に前記ブラウジング領域における全てのウィンドウが対応して音声分類結果における選択された種類に関連するデータを表示するものであって、中でも音声波形ウィンドウは音声の波形を表示し、音声スペクトラムウィンドウは音声のスペクトラムを表示し、音声画像ウィンドウは、その音声が生成された際に前記画像取得手段によって取得された画像を表示するものであることを特徴とする、請求項１１に記載の音声分類システム。
【請求項１４】
前記追加・修正コマンド処理器は、音声タイプを追加するコマンドを受信した場合、音声タイプ追加操作インターフェイスを表示することが可能であって、前記音声タイプ追加操作インターフェイスは、タイプ名入力ウィンドウとタイプ追加プロンプトウィンドウを含み、前記タイプ名入力ウィンドウは、タイプ名入力領域、タイプ追加確認キーおよびタイプ追加キャンセルキーとを含み、前記タイプ名入力領域は、追加されるべき音声タイプの名称を受信することが可能であり、前記追加・修正コマンド処理器は、前記タイプ追加プロンプトウィンドウを介して重要なメッセージを表示することが可能であり、前記追加・修正コマンド処理器は、前記タイプ名入力領域に入力された音声タイプの名称が既に存在するか否かを調べ、既に存在する場合にはその音声タイプの名称が既に存在することを前記タイプ追加プロンプトウィンドウを介して表示し、前記タイプ追加確認キーは、音声タイプを追加するコマンドを確認するコマンドを受信することが可能であり、前記タイプ追加キャンセルボタンは、音声タイプを追加するコマンドをキャンセルすることが可能であることを特徴とする、請求項１２または請求項１３に記載の音声分類システム。
【請求項１５】
前記追加・修正コマンド処理器は、音声タイプを修正するコマンドを受信した場合に音声タイプ修正操作インターフェイスを表示することが可能であり、前記音声タイプ修正操作インターフェイスは、既存音声タイプウィンドウとタイプ修正プロンプトウィンドウを含み、前記既存音声タイプウィンドウは、既存音声タイプ表示領域、タイプ修正確認キーおよびタイプ修正キャンセルキーを含み、前記既存音声タイプ表示領域は、ユーザが選択することができる全ての既存音声タイプを表示することによって前記追加・修正音声タイプ操作インターフェイスの選択領域において選択された音声分類結果の音声タイプを代替することが可能であり、前記追加・修正コマンド処理器は、前記タイプ修正プロンプトウィンドウを介して重要なメッセージを表示し、前記タイプ修正確認キーは、音声タイプを修正するコマンドを確認するコマンドを受信することが可能であり、前記タイプ修正キャンセルボタンは、音声タイプを修正するコマンドをキャンセルするコマンドを受信することが可能であることを特徴とする、請求項１２または請求項１３に記載の音声分類システム。
【請求項１６】
前記タイプ追加・修正手段は、前記第２のデータベースに対して第１のデータベースにおけるデータのバックアップコピーが記録された後に前記第１のデータベースの特徴の対応する統計値を更新することを特徴とする、請求項１に記載の音声分類システム。
【請求項１７】
前記前記タイプ追加・修正手段は、前記第１のデータベースにおける統計値を更新した後に前記分類器に対して前記特徴データベースにおいて記録されている全ての音声サンプルの特徴を検索し、前記第１のデータベースにおける音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するように指示することを特徴とする、請求項１に記載の音声分類システム。
【請求項１８】
前記適合率演算器は、音声の特徴を記録のために前記特徴データベースに対して送信し、前記率が閾値よりも大きい場合には、前記第１のデータベースに更新された統計値を保持し、それ以外の場合には、前記第２のデータベースに対して前記第１のデータベースに対してバックアップコピーを復元することを指示することを特徴とする、請求項１に記載の音声分類システム。
【請求項１９】
前記適合率演算器は、さらに前記率が一旦決定された後に、前記分類器による前記特徴データベースの音声サンプルの特徴の適切な分類の前記率を表示することが可能であることを特徴とする、請求項１に記載の音声分類システム。
【請求項２０】
音声タイプを修正する方法であって、前記方法は音声分類システムにおける使用に適用可能であり、前記音声分類システムは、複数の音声の特徴の統計値を記録する第１のデータベースと、分類器と、第２のデータベースと、適切に分類された複数の音声サンプルの特徴を記録する特徴データベースと、追加・修正コマンド処理器と、タイプ追加・修正手段と、適合率演算器とを備えるものであって、前記方法は、
（Ａ）追加・修正コマンド処理器に対して音声タイプを修正するコマンドの受信を指示するステップ、
（Ｂ）第１のデータベースにおけるデータのバックアップコピーを作成するために、第１のデータベースにおける音声タイプの特徴の統計値を第２のデータベースに記録させるステップ、
（Ｃ）タイプ追加・修正手段に対してユーザによって選択された第１のデータベースにおけるタイプのタイプ修正を必要とする音の特徴を追加し、第１のデータベースにおける選択されたタイプの音声の特徴の統計値を再演算するように指示するステップ、
（Ｄ）分類器に対して特徴データベースにおける全ての音声サンプルの特徴を検索し、第１のデータベースにおける各音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するよう指示し、適合率演算器に対して分類器による音声サンプルの特徴の適切な分類の率を演算するように指示するステップ、および
（Ｅ）分類器による音声サンプルの特徴の適切な分類の率が閾値よりも大きい場合には、タイプ追加・修正手段に対して特徴データベースにおいて修正されるべきタイプの音声の特徴を記録するよう指示し、それ以外の場合には、第２のデータベースに対して第１のデータベースにデータのバックアップコピーを戻して記録するように指示するステップ
を備えることを特徴とする方法。
【請求項２１】
各音声タイプの統計値は、各タイプにおける音声信号の全ての特徴の平均および分散を含むことを特徴とする、請求項２０に記載の音声タイプを修正する方法。
【請求項２２】
音声タイプを追加する方法であって、前記方法は音声分類システムにおける使用に適用可能であり、前記音声分類システムは、複数の音声の特徴の統計値を記録する第１のデータベースと、分類器と、第２のデータベースと、適切に分類された複数の音声サンプルの特徴を記録する特徴データベースと、追加・修正コマンド処理器と、タイプ追加・修正手段と、適合率演算器とを備える方法であって、前記方法は、
（Ａ）追加・修正コマンド処理器に対して音声タイプを追加するコマンドの受信を指示するステップ、
（Ｂ）第１のデータベースにおけるデータのバックアップコピーを作成するために、第１のデータベースにおける音声タイプの特徴の統計値を第２のデータベースに記録させるステップ、
（Ｃ）タイプ追加・修正手段に対して第１のデータベースに音声タイプの追加を必要とする音声の特徴を追加し、追加された音声タイプの特徴の統計値を再演算するよう指示するステップ、
（Ｄ）分類器に対して特徴データベースにおける全ての音声サンプルの特徴を検索し、第１のデータベースにおける各音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するよう指示し、適合率演算器に対して分類器による音声サンプルの特徴の適切な分類の率を演算するように指示するステップ、および
（Ｅ）分類器による音声サンプルの特徴の適切な分類の率が閾値よりも大きい場合には、タイプ追加・修正手段に対して特徴データベースにおいて追加されたタイプの音声の特徴を記録するよう指示し、それ以外の場合には、第２のデータベースに対して第１のデータベースにデータのバックアップコピーを戻して記録するように指示するステップ
を備えることを特徴とする方法。
【請求項２３】
各音声タイプの統計値は、各タイプにおける音声信号の全ての特徴の平均および分散を含むことを特徴とする、請求項２２に記載の音声タイプを追加する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を分類するシステムと方法に関するものであり、より詳しくは音声タイプの追加および修正を可能にする、音声を分類するシステムと方法に関するものである。
【背景技術】
【０００２】
図１を参照するに、従来の音声分類システム８を用いて未分類の音声を受信し、その音声を認識することによってその音声がユーザにとって特に重要である音声タイプに属するかどうかを決定する。
【０００３】
このような従来の音声分類システムは、特に重要である複数の音声タイプを予め分類してこれらを音声分類システム８において記録することが可能である。例えば、サイレンの音、電話が鳴る音、またはガラスが割れる音などが３つのメインである予め分類された音声タイプを構成し得る。周囲に前述のタイプの音が存在する場合、音声分類システム８はこの音声を受信して分類し、ユーザに対して特定の音声タイプが発生したことを知らせることが可能である。例えば、音声分類システム８によって電話が鳴る音が発生していると判断された場合、ユーザに対して電話に出るように知らせることが可能である。また、音声分類システム８によってガラスが割れる音が発生していると判断された場合、ユーザに対して泥棒が窓からガラスを割って侵入している可能性があることを知らせる。
【０００４】
このような従来の音声分類システム８は、音声受信器８１、特徴抽出器８２、分類器８３、データベース８４および分類記録器８５を備える。データベース８４は、複数の音声信号の特徴を記録している。音声受信器８１は、例えばマイクなどの音声を受信することができる任意の機器である。特徴抽出器８２は、音声受信器８１からの音声信号を受信して音声信号の特徴を見つけることが可能である。
【０００５】
この特徴抽出器８２は、メルスケール周波数ケプストラム係数（ＭＦＣＣ）を用いて音声信号の特徴ベクトルを分析し、この特徴ベクトルを音声信号の特徴として用いる。ＭＦＣＣスキームに関しては、Ｌ．ラビナーおよびＢ．−Ｈ．ジャンによる「音声認識の基礎」（プレンティスホール社、１９９３年）を参照することが可能である。ＭＦＣＣスキームによると音声信号は、フーリエ変換を用いてタイムドメイン信号から周波数ドメイン信号へと変換され、この周波数ドメイン信号は、各周波数における音声のエネルギーを表すものである。対応する周波数範囲のエネルギー値は、異なる周波数範囲をカバーし、それぞれが異なる重量を表す複数の三角バンドパスフィルタに対応する各周波数のエネルギー値を乗算することによって得られ、これら三角バンドパスフィルタのうち１つは、人間の聴覚器官によって感知できる対応する音声周波数範囲をカバーするものである。したがって、三角バンドパスフィルタの数と同等の複数の特徴値を得ることが可能である。この特徴値は、音声を表す特徴ベクトルとして用いられ得る。
【０００６】
データベース８４は、例えばサイレンの音、電話が鳴る音、ガラスが割れる音、またはドアが開く音などのたくさんの音声タイプの特徴を予め記録するものであって、一般的に各音声タイプは複数の音を含むものである。例えば、ドアが開く音声タイプは、複数の予め記録されたドアが開く音を含んでいる。
【０００７】
分類器８３は、特徴抽出器８２によって分析された特徴をデータベース８４に予め記録された特徴と比較する。特徴抽出器８２によって分析された特徴がデータベース８４における音声タイプのうち１つの特徴と一致、または類似する場合、音声受信器８１によって受信された音声は、これら音声タイプのうち１つの例として見なされる。分類記録器８５は、分類器８３によって分類された、入力された各音の分類結果をその特徴とともに記録する。
【０００８】
分類器８３が適用する分類スキームは、Ｓ．−Ｔ．バウの著作であり、１９８４年にジャン  ユワンが出版した「パターン認識」において記述されるマハラノビス距離のスキームであり得る。このスキームは、主に音声受信器８１によって受信された音声信号の特徴ベクトルとデータベース８４に記録されている全ての音声タイプの特徴ベクトルとの間の距離を演算するために用いられる。最小距離が存在する場合、音声受信器８１が受信した音声信号がデータベース８４における対応する音声タイプと一致したことを示すものである。
【０００９】
しかしながら、実生活においては数多くの音声タイプが存在する。従来の予め構成されたデータベース８４が実際に起こりうる全ての音声を含有することは不可能である。それに加え、従来の音声分類システム８は、データベース８４に記録されていない音声タイプを処理することができない。したがって、ユーザがデータベース８４に対して音声タイプを追加することが可能であれば、音声分類システム８の実用性を効果的に高めることが可能となる。
【００１０】
さらに、異なる環境による違いによって、音声は異なる環境において異なる特徴を示すことがある。例えば同じドアを開ける音であっても、比較的広々とした環境においては比較的大きなエコーを生じさせるのに対して、その音声エネルギーをよりよく吸収できる環境においては全く違う特徴を有することがある。異なる音声タイプがデータベース８４に記録される場合、音声が記録される環境は多くの場合、実際にユーザを取り巻く環境とは異なるものである。ユーザが使用環境に対応してデータベース８４において予め構成された音声タイプのサンプルを追加、または修正することができなければ、音声分類システム８が新しい環境において誤った分類を実施するか、または全く分類をすることができないといったような問題が生じる場合がある。
【発明の開示】
【００１１】
したがって、本発明の目的は、音声タイプの追加および修正を可能にする音声分類システムを提供することにある。この音声分類システムによって、ユーザは使用環境において生じた、ユーザにとって特に重要である音声タイプを追加し、受信された音声のタイプを修正することが可能となる。
【００１２】
本発明の別の目的は、音声タイプの追加、または修正を可能にする音声分類の方法を提供することにある。この音声分類方法を用いて分類結果の適合率によって既存の音声タイプを修正するのか、または新しい音声タイプを追加するのかを決定することが可能である。
【００１３】
したがって、本発明の音声分類システムは、音声タイプを追加および修正することが可能であり、音声受信器、特徴抽出器、第１のデータベース、特徴データベース、分類器、分類記録器、第２のデータベース、追加・修正コマンド処理器、適合率演算器およびタイプ追加・修正手段を備える。
【００１４】
音声受信器は、認識すべき音声信号を受信する。特徴抽出器は、音声受信器から認識すべき音声信号を受信して音声信号の特徴を見つける。第１のデータベースは、複数の音声の特徴の統計値を記録している。分類器は、特徴抽出器と第１のデータベースとに対して電気的に連結されており、特徴抽出器によって分析された特徴を受信して認識すべき音声信号を第１のデータベースにおける音の統計値によって分類し、その分類結果を出力する。
【００１５】
分類記録器は、分類器に対して電気的に連結されており、分類器からの分類結果と認識すべき音声信号の特徴とを記録する。第２のデータベースは、第１のデータベースに対して電気的に連結されており、第１のデータベースに記録されているデータのバックアップコピーを作成し、第１のデータベースに記録されているデータに変更が生じた場合、第１のデータベースに対してデータのバックアップコピーをタイムリーに復元させるものである。
【００１６】
特徴データベースは、複数の音声サンプルの特徴を記録し、音声サンプルの特徴を分類器に対して出力することが可能である。
【００１７】
追加・修正コマンド処理器は、分類記録器に対して電気的に連結されており、分類結果を修正すべき、または新しいタイプを追加すべきというコマンドを受信した際に、分類記録器に対してそのタイプの修正、または新しいタイプの追加を必要とする音声の特徴を出力するように指示を出すものである。
【００１８】
タイプ追加・修正手段は、追加・修正コマンド処理器、第１のデータベースおよび特徴データベースに対して電気的に連結されており、そのタイプの修正、または新しいタイプの追加を必要とする、追加・修正コマンド処理器から出力された音声の特徴を受信し、第１のデータベースのデータのバックアップコピーが第２のデータベースに記録された後、音声の特徴を用いて第１のデータベースにおける特徴の統計値を更新する。分類器は、第１のデータベースにおいて統計値を更新した後、特徴データベースに記録された全ての音声サンプルの特徴を検索して、第１のデータベースにおける音声タイプの特徴の統計値によって音声サンプルの特徴の分類を再決定する。
【００１９】
適合率演算器は、分類器に対して電気的に連結されており、分類器による特徴データベースにおける音声サンプルの特徴が適切に分類された率を演算して表示するものであり、この率が閾値よりも高い場合には、適合率演算器は音声の特徴を特徴データベースに対して記録のために送信して更新された統計値を第１のデータベースに保持し、それ以外の場合には、第２のデータベースがデータのバックアップコピーを第１のデータベースに戻して記録させる。
【００２０】
したがって、本発明による音声タイプを修正する方法は、音声分類システムにおいてユーザが音声タイプを修正するために用いられ、この音声分類システムは、複数の音声の特徴の統計値を記録する第１のデータベース、分類器、第２のデータベース、適切に分類された複数の音声サンプルの特徴を記録する特徴データベース、追加・修正コマンド処理器、タイプ追加・修正手段および適合率演算器を備える。この方法は、
（Ａ）追加・修正コマンド処理器に対して音声タイプを修正するコマンドの受信を指示するステップ、
（Ｂ）第１のデータベースにおけるデータのバックアップコピーを作成するために、第１のデータベースにおける音声タイプの特徴の統計値を第２のデータベースに記録させるステップ、
（Ｃ）タイプ追加・修正手段に対してユーザによって選択された第１のデータベースにおけるタイプのタイプ修正を必要とする音声の特徴を追加し、第１のデータベースにおける選択されたタイプの音声の特徴の統計値を再演算するように指示するステップ、
（Ｄ）分類器に対して特徴データベースにおける全ての音声サンプルの特徴を検索し、第１のデータベースにおける各音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するよう指示し、適合率演算器に対して分類器による音声サンプルの特徴の適切な分類の率を演算するように指示するステップ、および
（Ｅ）分類器による音声サンプルの特徴の適切な分類の率が閾値よりも大きい場合には、タイプ追加・修正手段に対して特徴データベースにおいて修正されるべきタイプの音声の特徴を記録するよう指示し、それ以外の場合には、第２のデータベースに対して第１のデータベースにデータのバックアップコピーを戻して記録するように指示するステップ
を備えることを特徴とする。
【００２１】
したがって、本発明による音声タイプを追加する方法は、音声分類システムにおいてユーザが音声タイプを追加することが可能となるように用いられる。この方法は、
（Ａ）追加・修正コマンド処理器に対して音声タイプを追加するコマンドの受信を指示するステップ、
（Ｂ）第１のデータベースにおけるデータのバックアップコピーを作成するために、第１のデータベースにおける音声タイプの特徴の統計値を第２のデータベースに記録させるステップ、
（Ｃ）タイプ追加・修正手段に対して第１のデータベースに対して音声タイプの追加を必要とする音声の特徴を追加し、追加された音声タイプの特徴の統計値を演算するよう指示するステップ、
（Ｄ）分類器に対して特徴データベースにおける全ての音声サンプルの特徴を検索し、第１のデータベースにおける各音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するよう指示し、適合率演算器に対して分類器による音声サンプルの特徴の適切な分類の率を演算するように指示するステップ、および
（Ｅ）分類器による音声サンプルの特徴の適切な分類の率が閾値よりも大きい場合には、タイプ追加・修正手段に対して特徴データベースにおいて追加されたタイプの音声の特徴を記録するよう指示し、それ以外の場合には、第２のデータベースに対して第１のデータベースにデータのバックアップコピーを戻して記録するように指示するステップ
を備えることを特徴とする。
【００２２】
本発明のその他の特徴と利点とは、添付図面を参照する好ましい実施形態の詳細な説明によって明らかになる。図面には以下のものが含まれる。
【発明を実施するための最良の形態】
【００２３】
図２を参照するに、本発明による、音声タイプの追加・修正を行うことが可能な音声分類システムの好ましい実施形態が示されており、音声受信器１０１、特徴抽出器１０２、分類器１０３、第１のデータベース１０４、第２のデータベース１０５、分類記録器１０６、適合率演算器１０７、タイプ追加・修正手段１０８、追加・修正コマンド処理器１０９、特徴データベース１１０および画像取得手段１１１を備える。
【００２４】
音声受信器１０１は、外部音声を受信することが可能である。特徴抽出器１０２は、音声受信器１０１からの音声信号を受信して音声信号の特徴を見つけることが可能である。
【００２５】
音声信号の特徴は、従来のメルスケール周波数ケプストラム係数（ＭＦＣＣ）を用いて分析された特徴ベクトルによって表される。前述のスキームは既に関連技術の説明において詳述されたため、簡潔にするためにここでの詳細な説明は割愛する。
【００２６】
さらに、特徴抽出器１０２が音声の特徴を演算するために用いるスキームは、例えば特徴ベクトルの要素として周波数ビンを用いるスキームや、例えば音声信号の特徴として音声信号のエネルギー、またはゼロ交差率を用いるスキームなどの音声信号のタイムドメイン特徴を採用するスキームなどのその他の周波数ドメイン解析スキームであってもよいが、これらに限定されるものではない。
【００２７】
第１のデータベース１０４は、複数の音声タイプの特徴の統計値を記録するものであって、各音声タイプは少なくとも１つの音声信号を含むものである。この実施形態において統計値は、音声信号のタイプの全ての特徴の平均および分散であり得るが、これに限定されるものではない。例えば、ガラスが割れる音のタイプには、１００種類のガラスが割れる音が含まれており、ガラスが割れる音の各種類はそれぞれ特徴を有する。したがって、ガラスが割れる音のタイプの統計値には、１００種類のガラスが割れる音の特徴の平均と分散とが含まれる。
【００２８】
分類器１０３は、特徴抽出器１０２によって分析された特徴と第１のデータベース１０４に記録されている全ての音声タイプの特徴とを比較して音声受信器１０１によって受信された音声信号を適切な音声タイプに分類し、分類結果を分類記録器１０６に対して送信する。
【００２９】
本実施形態において、分類器１０３によって採用される比較スキームは、関連技術の説明において述べたマハラノビス距離のスキームであり得るが、これに限定されるものではない。さらに分類器１０３は、比較のために従来のユークリッド距離のスキームを用いることも可能であり、この比較スキームにおいては音声受信器１０１が受信した音声信号の特徴と第１のデータベース１０４における統計値との間におけるユークリッド距離を演算するものである。最小のユークリッド距離が存在するということは、音声受信器１０１が受信した音声信号が第１のデータベース１０４における対応する音声タイプと一致することを意味するものである。
【００３０】
分類器１０３は、音声受信器１０１によって受信された音声の分類を決定するために、例えばＬ．ラビナーおよびＢ．−Ｈ．ジャンの著作であり、プレンティスホール社によって１９９３年に出版された「音声認識の基礎」に記載されている隠れマルコフモデルなどのさらに別のスキームを採用することも可能である。この場合、隠れマルコフモデルにおける伝達マトリックスが第１のデータベース１０４における音声タイプの特徴の統計値として用いられる。
【００３１】
さらに分類器１０３は、音声受信器１０１によって受信された音声を分類するためにニューラルネットワークを採用することも可能である。この件についてはマーティンＴ．ハガン、ハワードＢ．ディムースおよびマークＨ．ビールの著作であり、ＰＷＳケント社によって１９９６年に出版された「ニューラルネットワークデザイン」を参照することが可能である。この場合、ニューラルネットワークにおける各ニューロンの重量が第１のデータベース１０４の音声タイプの特徴の統計値として用いられる。
【００３２】
画像取得手段１１１は、分類記録器１０６に対して電気的に連結されており、音声が生成される際の周囲の画像を取得し、音声が生成された環境において発生するできごとの決定をサポートするために分類記録器１０６に記録することが可能である。例えば、分類器１０３が受信した音声をガラスが割れる音であるとして分類した場合、画像取得手段１１１によって取得された画像からその音声が窓ガラス、または車の窓ガラスを割ることによって得られた音であることを知ることが可能である。さらに、取得された画像に基づいてユーザは分類器１０３が誤った分類をしたことを確認することも可能である。
【００３３】
分類記録器１０６は、分類器１０３によって出力された、各音声の分類結果を記録する。この分類結果には、タイプ、特徴ベクトル、音声の受信時間、音声波形、音声が生成された際に取得された画像および音声の持続時間が含まれる。受信された音声が第１のデータベース１０４における音声タイプのいずれかに分類不可能である場合、分類記録器１０６は、その結果も自身の中に記録する。
【００３４】
音声分類システムが一定期間作動した後、分類記録器１０６は、音声受信器１０１によって受信された音声の分類結果の複数の種類を記録していることになる。音声分類結果の種類が誤っており、ユーザが期待するものと合致しない場合、ユーザは対応する音声のタイプを修正することが可能である。あるいは、ある音声が第１のデータベース１０４におけるタイプのうちいずれかに分類され得ない場合、ユーザはその音声を表す音声タイプを追加することが可能である。
【００３５】
追加・修正コマンド処理器１０９は、音声タイプを修正し、音声タイプを追加するためのコマンドを受信することが可能であり、分類記録器１０６からの音声の分類結果を検索してユーザがその音声タイプの修正、または追加を必要とする音声を選択することができるようにすることが可能であり、またユーザによって選択された、タイプの修正、または追加を必要とする音声をタイプ追加・修正手段１０８に対して送信することが可能である。
【００３６】
特徴データベース１１０は、複数の音声サンプルの種類の特徴を記録している。音声サンプルは、その特徴が適切に分類されている音声であり、ユーザ、またはシステム製造者によって予め記録されたものであり得、さらにユーザの要求によって追加され得るものである。
【００３７】
追加・修正コマンド処理器１０９は、図３において示されるような追加・修正音声タイプ操作インターフェイス３を表示し、ユーザが音声タイプを修正するか音声タイプを追加するためのコマンドを入力できるようにすることが可能である。この追加・修正音声タイプ操作インターフェイス３は、選択領域３１、ブラウジング領域３２、再生ボタン３３、タイプ追加ボタン３４およびタイプ修正ボタン３５を備える。
【００３８】
選択領域３１は、記録ウィンドウ３１１とスクロール・選択キー３１２を備える。記録ウィンドウ３１１は、ユーザがそのタイプを修正、または追加すべき音声を選択するために音声の複数の種類に対する分類結果を表示することが可能である。同時にこの記録ウィンドウ３１１は、選択された音声のタイプを表すアイコンを表示する。例えば、ニャーという音が選択された場合、猫のイメージが記録ウィンドウ３１１に表示される。スクロール・選択キー３１２の動きは、記録ウィンドウ３１１をスクロールするマウス、またはジョイスティックによって制御され得る。
【００３９】
ブラウジング領域３２は、音声波形ウィンドウ３２１、音声スペクトラムウィンドウ３２２および音声画像ウィンドウ３２３を備える。ユーザが記録ウィンドウ３１１において音声タイプの分類結果を選択すると、ブラウジング領域３２における全てのウィンドウ３２１、３２２、３２３は、これに対応して音声分類結果の種類に関連するデータを表示する、すなわち音声波形ウィンドウ３２１は音声の波形を表示し、音声スペクトラムウィンドウ３２２は音声のスペクトラムを表示し、音声画像ウィンドウ３２３はその音声が生成された際に画像取得手段１１１によって取得された画像を表示する。
【００４０】
ユーザは、再生ボタン３３をクリックして選択された音声分類結果の音声を再生し、分類器１０３によって音声が適切に分類されたか否かを確認することが可能である。
【００４１】
ユーザがタイプ追加ボタン３４をクリックすると、追加・修正コマンド処理器１０９は、図４において示される音声タイプ追加操作インターフェイス４を表示する。この音声タイプ追加操作インターフェイス４は、タイプ名入力ウィンドウ４１とタイプ追加プロンプトウィンドウ４２とを備える。
【００４２】
この音声タイプ入力ウィンドウ４１は、タイプ名入力領域４１１、タイプ追加確認キー４１２およびタイプ追加キャンセルキー４１３を備える。ユーザは、追加すべき音声タイプの名称をタイプ名入力領域４１１において入力することが可能である。追加・修正コマンド処理器１０９は、入力された音声タイプ名が既に存在するか否かを調べる。存在する場合には、追加・修正コマンド処理器１０９は、タイプ追加プロンプトウィンドウ４２を介してユーザに対して別のタイプ名を入力するように知らせる。タイプ追加確認キー４１２とタイプ追加キャンセルキー４１３によって、それぞれユーザが音声タイプを追加するコマンドを確認し、また音声タイプを追加するコマンドをキャンセルすることが可能になる。
【００４３】
ユーザがタイプ修正ボタン３５をクリックすると、追加・修正コマンド処理器１０９は、図５において示される音声タイプ修正操作インターフェイス５を表示する。この音声タイプ修正操作インターフェイス５は、既存音声タイプウィンドウ５１とタイプ修正プロンプトウィンドウ５２を備える。既存音声タイプウィンドウ５１は、既存音声タイプ表示領域５１１、タイプ修正確認キー５１２およびタイプ修正キャンセルキー５１３を備える。既存音声タイプ表示領域５１１は、全ての既存の音声タイプを表示することが可能である。追加・修正音声タイプ操作インターフェイス３の選択領域３１において選択された音声分類結果の音声タイプを置き換えるために、これら音声タイプはユーザによって選択可能である。例えば、選択領域３１において選択された音声分類結果の音声タイプが元はミャーという音声タイプに分類されていた場合であって、ユーザが既存音声タイプ表示領域５１１において叫び声音声タイプを選択した場合、ミャーという音声タイプは叫び声音声タイプによって代替される。
【００４４】
追加・修正コマンド処理器１０９は、タイプ修正プロンプトウィンドウ５２を介してユーザにとって重要なメッセージを表示する。タイプ修正確認キー５１２とタイプ修正キャンセルキー５１３とによって、ユーザはそれぞれ音声タイプを修正するコマンドを確認し、また音声タイプを修正するコマンドをキャンセルすることが可能となる。
【００４５】
図６を参照するに、本発明による音声タイプを修正する方法が示されており、以下のステップを有している。
【００４６】
ステップ２１において、追加・修正コマンド処理器１０９は、ユーザから音声タイプを修正するコマンドを受信する。
【００４７】
ステップ２２において、タイプ追加・修正手段１０８は、第１のデータベース１０４における統計値を第２のデータベース１０５に記録して第１のデータベース１０４におけるデータのバックアップコピーを作成する。
【００４８】
ステップ２３において、タイプ追加・修正手段１０８は、音声の特徴ベクトルを第１のデータベース１０４においてユーザが選択したタイプに追加し、第１のデータベース１０４において選択されたタイプの音声の特徴ベクトルの統計値を再演算する。
【００４９】
ステップ２４において、分類器１０３は、特徴データベース１１０における全ての音声サンプルの特徴ベクトルを検索し、第１のデータベース１０４における各音声タイプの特徴ベクトルの統計値にしたがって音声サンプルの特徴の分類を再決定する。さらに適合率演算器１０７は、分類器１０３による音声サンプルの特徴の適切な分類の率を演算する。
【００５０】
ステップ２５において、分類器１０３による音声サンプルの特徴ベクトルの適切な分類の率、すなわち適合率がユーザにとって容認できるか否かを決定する。容認できる場合、フローはステップ２７へと進む。それ以外の場合は、フローはステップ２６へと進む。
【００５１】
ステップ２６において、適合率が容認され得ないものであれば、第２のデータベース１０５が第１のデータベース１０４にデータのバックアップコピーを復元し、第１のデータベース１０４がタイプ修正以前の状態と同じになるようにする。
【００５２】
ステップ２７において、ユーザが第１のデータベース１０４の修正がなされた後の適合率を容認する場合、タイプ追加・修正手段１０８は、特徴データベース１１０においてそのタイプが修正された音声の特徴ベクトルを記録することによって、特徴データベース１１０には１つ音声サンプル特徴が追加されたことになる。
【００５３】
なお、適合率演算器１０７には、予め適合率の閾値を設定することが可能である。分類器１０３による特徴データベース１１０における音声サンプル特徴の再分類の適合率が閾値よりも小さい場合、適合率演算器１０７は、音声タイプを修正するコマンドを自動的に停止させ、第２のデータベース１０５に記録されたデータのバックアップコピーを第１のデータベース１０４において復元することが可能である。
【００５４】
ユーザが音声タイプを追加したい場合、音声タイプを追加する処理フローは、前述の音声タイプを修正するものと同様である。これに加え、追加・修正コマンド処理器１０９、タイプ追加・修正手段１０８、第１および第２のデータベース１０４，１０５および特徴データベース１１０の操作は、前述の音声タイプを修正するものと実質的に同様である。唯一の違いは、ユーザが音声タイプ追加操作インターフェイス４において追加すべきタイプのタイプ名を入力し、追加・修正コマンド処理器１０９がそのタイプ名が既に存在するか否かを判定しなければならないという点にある。そのタイプ名が既に存在する場合、ユーザに対して存在しない別のタイプ名を入力するように知らせる必要がある。さらに、タイプ追加・修正手段１０８は、新しい音声タイプの音声の特徴ベクトルを用いて新しい音声タイプの特徴ベクトルの平均および分散を演算する。
【００５５】
要するに、本発明による音声タイプの追加および修正が可能な音声分類システム１において、ユーザは、追加・修正コマンド処理器１０９とタイプ追加・修正手段１０８とを介してユーザによってそのタイプが修正される音声を選択することが可能である。また、本発明において、ユーザは、新しい音声タイプを追加して新しいタイプの音声を含むようにし、新しいタイプの音声の特徴を用いて第１のデータベース１０４を修正することが可能である。修正後の第１のデータベース１０４が分類器１０３に対して特徴データベース１１０において音声サンプルの特徴を分類するための十分な適合率を提供することが不可能である場合、音声タイプを修正するコマンド、または新しいタイプを追加するコマンドを中止することが可能である。したがって、柔軟性をもってユーザに対して音声を分類し、新しい音声タイプを追加することを可能にするという目的を達成することが可能である。これに加え、このシステムの音声分類精度を維持することができるため、本発明の効果を確実に達成される。
【００５６】
本発明の好ましい構成において、音声タイプを追加・修正することができる音声分類システムは、
認識される音声信号を受信する音声受信器と、
前記音声受信器から認識される音声信号を受信し、音声信号の特徴を見つける
特徴抽出器と、
複数の音声の特徴の統計値を記録する第１のデータベースと、
前記特徴抽出器と前記第１のデータベースとに対して電気的に連結され、前記特徴抽出器によって分析された特徴を受信し、前記第１のデータベースにおける音声の統計値にしたがって認識される音声信号を分類し、分類結果を出力する分類器と、
前記分類器に対して電気的に連結され、前記分類器からの分類結果と認識される音声信号の特徴を記録する分類記録器と、
前記第１のデータベースに対して電気的に連結され、前記第１のデータベースに記録されているデータのバックアップコピーを作成して前記第１のデータベースにおいて記録されているデータに変更が生じた後にデータのバックアップコピーを前記第１のデータベースに戻してタイムリーに復元することが可能な第２のデータベースと、
複数の音声サンプルの特徴を記録し、前記分類器に対して音声サンプルの特徴を出力可能な特徴データベースと、
前記分類記録器に対して電気的に連結されており、分類結果を修正するか新しいタイプを追加するというコマンドを受信した場合に前記分類記録器に対してそのタイプの修正が必要であるか、または新しいタイプを追加する必要がある音声の特徴を出力することを指示する追加・修正コマンド処理器と、
前記追加・修正コマンド処理器、前記第１のデータベースおよび前記特徴データベースに対して電気的に連結されており、前記追加・修正コマンド処理器によって出力された、そのタイプの修正、または新しいタイプの追加が必要である音声の特徴を受信し、前記第１のデータベースにおけるデータのバックアップコピーが前記第２のデータベースに記録された後に音声の特徴を用いて前記第１のデータベースにおける特徴の統計値を更新し、前記分類器は前記第１のデータベースにおける統計値を更新した後に前記特徴データベースに記録されている全ての音声サンプルの特徴を検索して前記第１のデータベースにおける音声タイプの特徴の統計値にしたがって音声サンプルの特徴の分類を再決定するタイプ追加・修正手段と、
前記分類器に対して電気的に連結されており、前記分類器による前記特徴データベースにおける音声サンプルの特徴を適切に分類した率を演算して表示する適合率演算器であって、この率が閾値よりも大きい場合には前記適合率演算器が音声の特徴を前記特徴データベースに記録のために送信して更新された統計値を前記第１のデータベースに保持し、それ以外の場合には、前記第２のデータベースがデータのバックアップコピーを前記第１のデータベースに戻して記録するものと
を備える。
【００５７】
本発明は、前述の構成に限られるものではなく、特許請求項に基づいて理解されるべきである。
【００５８】
本発明は、最も実用的で好ましいと思われる実施形態との関連において説明されたものの、本発明は開示された実施形態に限定されるものではなく、全ての変形例と同等の構成を包含するように最も広い解釈の精神と範囲とに含まれる様々な構成をカバーするものであると見なされる。
【産業上の利用可能性】
【００５９】
本発明は、音声タイプを追加・修正することが可能な音声分類システムと方法に対して適用され得る。
【図面の簡単な説明】
【００６０】
【図１】従来の音声分類システムのシステム構造を示すブロック図。
【図２】本発明による、音声タイプを追加・修正することが可能な音声分類システムのシステム構造を示すブロック図。
【図３】音声タイプを追加・修正する操作インターフェイスを示す図。
【図４】音声タイプを追加する操作インターフェイスを示す図。
【図５】音声タイプを修正する操作インターフェイスを示す図。
【図６】音声タイプを修正するステップを示すフローチャート。
【図１】
2008547037.tif 000003
【図２】
2008547037.tif 000004
【図３】
2008547037.tif 000005
【図４】
2008547037.tif 000006
【図５】
2008547037.tif 000007
【図６】
2008547037.tif 000008
【国際調査報告】
2008547037.tif 000009
2008547037.tif 000010