(57)【特許請求の範囲】
【請求項１】
所定の情報源から所定の情報を検出するための情報検出装置において、
上記情報源に含まれる音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替手段と、
上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出手段と、
検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別手段と、
上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算手段とを備え、
上記認識モード切替手段は、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルに応じて上記有声音モードと上記有声音・無声音モードとを切り替え、
上記話者識別手段は、上記有声音・無声音モードの場合、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別し、
上記頻度区間における上記話者の出現頻度情報を検出する
情報検出装置。
【請求項２】
上記認識モード切替手段は、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルが所定値以上の部分で、上記音声信号中の無声音部分を認識に用いない有声音モードに切り替え、上記背景雑音レベルが所定値以下の部分で、上記無声音部分も認識に用いる有声音・無声音モードに切り替える
請求項１記載の情報検出装置。
【請求項３】
上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムを用い、
識別の手法として、複数のコードブックによる特徴量のベクトル量子化を用い、
識別の尺度として、そのベクトル量子化歪みを用いる
請求項１又は２記載の情報検出装置。
【請求項４】
所定の情報源から所定の情報を検出するための情報検出方法において、
上記情報源に含まれる音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替工程と、
上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出工程と、
検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別工程と、
上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算工程とを有し、
上記認識モード切替工程では、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルに応じて上記有声音モードと上記有声音・無声音モードとを切り替え、
上記話者識別工程では、上記有声音・無声音モードの場合、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別し、
上記頻度区間における上記話者の出現頻度情報を検出する
情報検出方法。
【請求項５】
上記認識モード切替工程では、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルが所定値以上の部分で、上記音声信号中の無声音部分を認識に用いない有声音モードに切り替え、上記背景雑音レベルが所定値以下の部分で、上記無声音部分も認識に用いる有声音・無声音モードに切り替える
請求項４記載の情報検出方法。
【請求項６】
上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムを用い、
識別の手法として、複数のコードブックによる特徴量のベクトル量子化を用い、
識別の尺度として、そのベクトル量子化歪みを用いる
請求項４又は５記載の情報検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報検出装置及びその方法に関するものであり、特に、音声データ又は音声画像データの特徴を検出し、検索を可能とするための情報検出装置及びその方法に関するものである。
【０００２】
【従来の技術】
近年のマルチメディアの普及とともに、大量のＡＶ（Audio Visual）データを効率的に管理し、分類、検索、抽出などを行う必要性が増してきた。例えば、ある登場人物のシーンやその人物の会話シーンを大量のＡＶデータから検索したり、また、ある人物の会話シーンだけをＡＶデータから抽出して再生したりということが必要となっている。
【０００３】
従来は、このようなＡＶデータにおいて特定の話者が会話している時間軸上の位置の検索等を行う場合は、人間が直接ＡＶデータを視聴しながら、その時間軸上の位置や区間を探す必要があった。
【０００４】
一方、音声の話者を識別する技術としては、自動話者識別・照合技術が研究されている。この技術についての従来の技術の概要を説明する。
【０００５】
先ず、話者認識には、話者識別と話者照合がある。話者識別とは、入力された音声が予め登録された話者うちのどの話者であるかを判定するものであり、話者照合とは、入力された音声を予め登録された話者のデータと比較して本人であるか否かを判定するものである。また、話者認識には、認識時に発声する言葉（キーワード）が予め決められた発声内容依存型と、任意の言葉を発声して認識をする発声内容独立型がある。
【０００６】
一般的な音声認識技術としては、例えば次のような技術がよく用いられる。先ず、ある話者の音声信号の個人性を表す特徴量を抽出して、予め学習データとして記録しておく。識別・照合の際には、入力された話者音声を分析して、その個人性を表す特徴量を抽出して、学習データとの類似度を評価することで、話者の識別・照合を行う。ここで、音声の個人性を表す特徴量としては、ケプストラム（Cepstrum）等がよく用いられる。ケプストラムは、対数スペクトルをフーリエ逆変換したもので、その低次の項の係数によって音声スペクトルの包絡を表現できる。或いは、音声信号にＬＰＣ（Linear Predictive Coding）分析を施してＬＰＣ係数を求め、そのＬＰＣ係数を変換することで得られるＬＰＣケプストラム係数を用いることが多い。これらのケプストラム若しくはＬＰＣケプストラム係数の時系列の多項式展開係数をデルタケプストラムと呼び、これも音声スペクトルの時間的変化を表現する特徴量としてよく用いられる。この他、ピッチやデルタピッチ（ピッチの多項式展開係数）等も用いられることがある。
【０００７】
このようにして抽出されたＬＰＣケプストラム等の特徴量を標準パターンとして学習データを作成するが、その方法としては、ベクトル量子化歪みによる方法と隠れマルコフモデル（HMM:Hidden Markov Model）による方法が代表的である。
【０００８】
ベクトル量子化歪みによる方法では、予め話者ごとの特徴量をグループ化してその重心を符号帳（コードブック）の要素（コードベクトル）として蓄えておく。そして、入力された音声の特徴量を各話者のコードブックでベクトル量子化して、その入力音声全体に対する各コードブックの平均量子化歪みを求める。
【０００９】
そして話者識別の場合は、その平均量子化歪みの最も小さいコードブックの話者を選択し、話者照合の場合は、該当する話者のコードブックによる平均量子化歪みを閾値と比較して本人かどうかを判定する。
【００１０】
一方、ＨＭＭによる方法では、上記と同様にして求めた話者の特徴量は、隠れマルコフモデル（ＨＭＭ）の状態間の遷移確率と、各状態での特徴量の出現確率によって表現され、入力音声区間全体でモデルとの平均尤度によって判定をする。
【００１１】
また、予め登録されていない不特定話者が含まれる話者識別の場合は、上述した話者識別と話者照合とを組合せた方法によって判定する。すなわち、登録された話者セットから最も類似した話者を候補として選び、その候補の量子化歪み又は尤度を閾値と比較して本人かどうかを判定する。
【００１２】
話者照合又は不特定話者を含む話者識別において、本人の判定をするために、話者の尤度若しくは量子化歪みを閾値と比較して判定するが、その際、これらの値は特徴量の時期変動、発声文章の違い、雑音等の影響により、同一の話者であっても入力データと学習データ（モデル）とのばらつきが大きく、一般的にその絶対値に閾値を設定しても安定して十分な認識率が得られない。
【００１３】
そこで、ＨＭＭにおける話者認識においては、尤度を正規化することが一般的に行われる。例えば、以下の式（１）に示すような対数尤度比ＬＲを判定に用いる方法がある。
【００１４】
【数１】
0004696418.tif 000002
【００１５】
式（１）において、Ｌ（Ｘ／Ｓｃ）は、照合対象話者Ｓｃ（本人）の入力音声Ｘに対する尤度であり、Ｌ（Ｘ／Ｓｒ）は、話者Ｓｃ以外の話者Ｓｒの入力音声Ｘに対する尤度である。すなわち、入力音声Ｘに対する尤度に合わせて動的に閾値を設定することになり、発声内容の違いや時期変動に対して頑健となる。
【００１６】
或いはまた、事後確率の概念を用いて、以下の式（２）に示すような事後確立によって判定を行う方法も研究されている。ここで、Ｐ（Ｓｃ）、Ｐ（Ｓｒ）はそれぞれ話者Ｓｃ、Ｓｒの出現確率である。また、Σは、全話者についての総和を表す。
【００１７】
【数２】
0004696418.tif 000003
【００１８】
これらのＨＭＭを用いた尤度の正規化の方法は、後述する文献[4]等に詳しく記されている。
【００１９】
上述した他にも、従来の話者認識の技術において、音声信号の全てのブロックを認識に用いるのではなく、例えば、入力された音声信号の有声音部分と無声音部分とを検出し、有声音部分のみを用いて認識を行う方法や、有声音と無声音とを区別して、別々の学習モデル若しくはコードブックを用いて認識を行う方法等も研究されている。なお、雑音のない理想的な環境においては、無声音と有声音の両方を用いて認識を行った方が一般的には効果的であることが多い。
【００２０】
以上説明した話者認識に関する従来技術について詳しくは、例えば、以下の文献等に記述されている。
[1] 古井：”ケプストラムの統計的特徴による話者認識”, 信学論 volJ65-A, No.2 183-190(1982)
[2] F.K.Soong and A.E.Rosenberg: “On the Use of Instantaneous and Transitional Spectral Information in Speaker Recognition.”, IEEE Trans. ASSP, Vol.36, No.6, pp.871-879 (1988)
[3] 古井：”声の個人性の話”,日本音響学会誌, 51,11, pp.876-881, (1995)
[4] 松井：”HMMによる話者認識”, 信学技報, Vol.95, No.467, (SP95 109-116) pp.17-24 (1996)
[5] THE DIGITAL SIGNAL PROCESSING HANDBOOK, IEEE PRESS (CRC Press),1998
[6] F.K.Soong , A.E.Rosenberg , L.R.Rabiner and B.H.Juang: “A vector Quantization approach to speaker recognition.”,Proc.IEEE, Int.Conf.on Acoust. Speech & Signal Processing, pp.387-390(1985)
【００２１】
【発明が解決しようとする課題】
ところで、従来の話者認識技術は、セキュリティシステム等における識別・照合を主な応用として研究、開発されてきており、背景雑音の少ない環境で単独の話者による認識が前提とされていた。従って、一般的なＡＶデータの音声等のように、１つの音声データにおいて他の話者が同時に発声したり、複数話者が短時間で交互に発声したり、背景に音楽や雑音があったりといった場合には、認識誤りが著しく増加して、正確に話者を識別することが困難であった。特に、無声音は、雑音と区別が難しく、子音部分での認識において認識誤りが著しく増加してしまう。このため、従来の話者認識の技術を適用してＡＶデータにおける話者の会話区間の検出を行おうとすると、その検出性能が著しく低下してしまうという問題があった。
【００２２】
特に、実際のＡＶデータでは、単独の話者が雑音の少ない環境で発声している理想的な部分はそれほど多くなく、むしろ背景雑音や複数話者の同時発声等による認識誤りは頻繁に起こる。従って、このような雑音部分や複数話者の混合音声部分を認識に含めてしまうことで、特に雑音と区別の難しい無声音部分において認識誤りが著しく増加し、統計的な会話頻度を正しく求めることができないという問題があった。なお、上述したように、無声音と有声音とを区別して話者認識を行う手法はあるが、環境の雑音レベル等に応じてその認識手法を切り換えるようなことは行われていなかった。
【００２３】
本発明は、このような従来の実情に鑑みて提案されたものであり、背景雑音や複数話者による混合音声が多く含まれる部分において認識誤りを低減させ、効果的且つ効率的にＡＶデータにおける話者の統計的な会話頻度を検出し、また、その検出した情報を用いて所望の話者の会話区間を検出する情報検出装置及びその方法を提供することを目的とする。
【００２４】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る情報検出装置は、所定の情報源から所定の情報を検出するための情報検出装置において、上記情報源に含まれる音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替手段と、上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出手段と、検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別手段と、上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算手段とを備え、上記認識モード切替手段は、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルに応じて上記有声音モードと上記有声音・無声音モードとを切り替え、上記話者識別手段は、上記有声音・無声音モードの場合、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別し、上記頻度区間における上記話者の出現頻度情報を検出する。
【００２５】
ここで、情報検出装置は、上記音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替手段を備えるようにしてもよく、上記有声音・無声音モードの場合、上記話者識別手段は、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する。
【００２６】
また、情報検出装置では、上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムが用いられ、識別の手法として、複数のコードブックによる特徴量のベクトル量子化が用いられ、識別の尺度として、そのベクトル量子化歪みが用いられる。
【００２７】
このような情報検出装置は、音声信号中の話者の音声の特徴量に基づいて、ある評価区間毎に話者を識別すると共に、評価区間毎に判別された話者の判別頻度をある頻度区間毎に検出し、話者の出現頻度情報を生成する。この際、話者の有声音部分を検出し、検出された有声音ブロックを用いて話者を識別する。なお、音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替えることができる場合には、有声音・無声音モードの場合に、有声音ブロックと無声音ブロックとを用いて話者を識別するようにしてもよい。
【００２８】
また、上述した目的を達成するために、本発明に係る情報検出方法は、所定の情報源から所定の情報を検出するための情報検出方法において、上記情報源に含まれる音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替工程と、上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出工程と、検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別工程と、上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算工程とを有し、上記認識モード切替工程では、上記情報源に含まれる音声信号の背景雑音レベルを検出して、検出された背景雑音レベルに応じて上記有声音モードと上記有声音・無声音モードとを切り替え、上記話者識別工程では、上記有声音・無声音モードの場合、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別し、上記頻度区間における上記話者の出現頻度情報を検出する。
【００２９】
ここで、情報検出方法は、上記音声信号中の無声音部分を認識に用いない有声音モードと無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替工程を有するようにしてもよく、上記有声音・無声音モードの場合、上記話者識別工程では、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者が識別される。
【００３０】
また、情報検出方法では、上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムが用いられ、識別の手法として、複数のコードブックによる特徴量のベクトル量子化が用いられ、識別の尺度として、そのベクトル量子化歪みが用いられる。
【００３１】
このような情報検出方法では、音声信号中の話者の音声の特徴量に基づいて、ある評価区間毎に話者が識別されると共に、評価区間毎に判別された話者の判別頻度をある頻度区間毎に検出され、話者の出現頻度情報が生成される。この際、話者の有声音部分が検出され、検出された有声音ブロックを用いて話者が識別される。なお、音声信号中の無声音部分を認識に用いない有声音モードと無声音部分を認識に用いる有声音・無声音モードとを切り替えることができる場合には、有声音・無声音モードの場合に、有声音ブロックと無声音ブロックとを用いて話者を識別するようにしてもよい。
【００３２】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。先ず、本実施の形態の説明に先立ち、本件発明者らが先に提案した技術について説明する。
【００３３】
本件発明者らが先に提案した特願２０００−３６３５４７の明細書及び図面には、話者認識の技術を応用して、ＡＶデータにおいて、同一話者の連続会話区間と話者切り換わり位置とを検出する技術が提案されている。この特願２０００−３６３５４７の明細書及び図面では、ＡＶデータの音声信号を小区間（１〜２秒程度）毎に話者グループに分類識別し、いくつかの連続した認識区間（数秒〜１０秒程度）内において話者グループの判別頻度の変位を求め、その頻度が閾値を上回る位置又は閾値を下回る位置を検出することで、話者の切り換わり位置を検出し、話者が切り換わる間の区間をその話者の同一話者連続会話区間として検出している。
【００３４】
また、同様に本件発明者らが先に提案した特願２００１−１７７５６９の明細書及び図面には、上述した特願２０００−３６３５４７の明細書及び図面に記載された技術を改良し、話者の切り替わり位置を正確に求める代わりに、比較的長時間（数分程度）の区間における各話者の会話頻度を求め、求めた会話頻度の情報に基づいて、所望の話者が比較的多く発声している区間を検出する技術が提案されている。この特願２００１−１７７５６９の明細書及び図面に記載された技術ではまた、正規化した量子化歪みに閾値を設定することで本人照合を行い、識別誤りを低減させている。
【００３５】
この特願２００１−１７７５６９の明細書及び図面に記載されている技術では、正規化量子化歪みを閾値と比較して照合を行うことで、不特定話者データの識別誤りを低減させるとともに、比較的長時間の区間における各登録話者の統計的な頻度を求め、統計的な発生頻度を検出しているので、背景雑音や複数話者の同時発声等による認識誤りにもある程度対応できるようになっていた。
【００３６】
しかし、実際のＡＶデータでは、単独の話者が雑音の少ない環境で発声している理想的な部分はそれほど多くなく、むしろ背景雑音や複数話者の同時発声等による認識誤りは頻繁に起こる。
【００３７】
このため、背景雑音や複数話者による混合音声が多く含まれる部分において認識誤りを低減させ、効果的且つ効率的にＡＶデータにおける話者の統計的な会話頻度を検出し、また、その検出した情報を用いて所望の話者の会話区間を検出する技術が望まれていた。
【００３８】
以下、本実施の形態における情報検出装置について詳細に説明する。先ず、本実施の形態における情報検出装置の概念構成図を図１に示す。図１に示すように、情報検出装置においては、情報源に含まれる音声信号が有声音ブロック検出手段１に入力され、ブロック毎に有声音ブロックであるか無声音ブロックであるかが判定される。
【００３９】
認識モード切替手段２は、音声信号の背景雑音レベルを検出して、その背景雑音レベルに応じて認識モードを切り替える。すなわち、背景雑音レベルが所定値以上の部分では有声音モードに切り替え、背景雑音レベルが所定値以下の部分では有声音・無声音モードに切り替える。
【００４０】
話者識別手段３は、音声信号の特徴量のベクトル量子化歪みを評価して話者を識別する。この際、認識モード切替手段２において有声音モードとされている場合には、有声音ブロック検出手段１において有声音ブロックと判定されたブロックについて話者識別を行う。また、認識モード切替手段２において有声音・無声音モードとされている場合には、全てのブロックについて話者識別を行う。
【００４１】
話者識別手段３によって識別された話者は、話者判別頻度計算手段４に入力され、所定の評価区間毎に区間内の各話者の認識された話者判別頻度が計算される。求められた話者判別頻度は、話者の出現頻度情報として出力される。
【００４２】
この図１に示した情報検出装置の具体的な構成例を図２に示す。図２に示すように、情報検出装置１０は、ＡＶ（Audio Visual）データの音声信号を入力する入力部１１と、音声信号をブロック毎にＬＰＣ（Linear Predictive Coding）分析してＬＰＣ係数を求めるＬＰＣ分析部１２と、求めたＬＰＣ係数を用いて入力された音声信号のＬＰＣ残差をブロック毎に求めるＬＰＣ逆フィルタ１３と、ブロック毎に音声信号が有声音のブロックであるか否かを判定する有声音判定部１４と、音声信号の背景雑音レベルを検出して、その背景雑音レベルに応じて認識モードを切り替える認識モード切替部１５と、後段の処理を切り替えるための切替部１６と、ＬＰＣ係数を変換してＬＰＣケプストラム係数を求めるケプストラム変換部１７と、ＬＰＣケプストラム係数をベクトル量子化するベクトル量子化部１８と、ベクトル量子化歪みを評価して話者を識別する話者識別部１９と、認識された話者の判別頻度を用いて話者の出現頻度を求める話者判別頻度計算部２０とを備える。
【００４３】
入力部１１は、ＡＶデータの音声信号Ｄ１１を入力し、一定のブロック単位にＬＰＣ分析部１２、ＬＰＣ逆フィルタ１３及び有声音判定部１４に供給する。また、入力部１１は、音声信号Ｄ１１を認識モード切替部１５にも供給する。
【００４４】
ＬＰＣ分析部１２は、供給されたブロック単位の音声信号Ｄ１１に対してＬＰＣ分析を施し、得られたＬＰＣ係数Ｄ１２をＬＰＣ逆フィルタ１３及び切替部１６に供給する。
【００４５】
ＬＰＣ逆フィルタ１３は、音声信号Ｄ１１に対してＬＰＣ逆フィルタ処理を施し、ＬＰＣ残差信号Ｄ１３を求める。ＬＰＣ逆フィルタ１３は、求められたＬＰＣ残差信号Ｄ１３を有声音判定部１４に供給する。
【００４６】
有声音判定部１４は、音声信号Ｄ１１とＬＰＣ残差信号Ｄ１３とに基づいて、音声信号Ｄ１１のブロックが有声音ブロックであるか否かを判定し、判定結果Ｄ１４を切替部１６に供給する。この有声音ブロックの判定については、後で詳述する。
【００４７】
認識モード切替部１５は、音声信号Ｄ１１の背景雑音レベルを検出して、その背景雑音レベルに応じて認識モードを切り替える。すなわち、背景雑音レベルが所定値以上の部分では有声音モードに切り替え、背景雑音レベルが所定値以下の部分では有声音・無声音モードに切り替える。また、認識モード切替部１５は、この認識モード情報Ｄ１５を切替部１６に供給する。
【００４８】
なお、認識モードは、後述する話者認識ブロックＲＢ単位又は頻度区間ＦＩ単位で切り替えることが望ましいが、本実施の形態では、切り替えのタイミングを限定しない。また、切り替えは自動で行うものに限定されず、音声信号Ｄ１１の状況に応じて手動で切り替えるようにしても構わない。また、背景雑音の有無やそのレベルの検出手法としては、例えば、特開平５−２９７８９６号公報に記載されているように、信号を幾つかの周波数帯域毎に有声音・無声音判別を行い、その無声音と判別された帯域数と平均パワーから背景雑音レベルを推定する手法や、特開平１１−１１９７９６号公報に記載されているように、リファレンスレベルと最小レベルのトラッキングにより背景雑音レベルを推定する手法等を用いることができる。
【００４９】
切替部１６は、有声音判定部１４から供給された判定結果Ｄ１４及び認識モード切替部１５から供給された認識モード情報Ｄ１５に基づいて、後段の処理を切り替える。すなわち、認識モード情報Ｄ１５が有声音モードの場合には、判定結果Ｄ１４が有声音であるブロックのＬＰＣ係数Ｄ１２をケプストラム変換部１７に供給するように切り替え、認識モード情報Ｄ１５が有声音・無声音モードの場合には、全ブロックのＬＰＣ係数Ｄ１２をケプストラム変換部１７に供給するように切り替える。
【００５０】
ケプストラム変換部１７は、供給されたＬＰＣ係数Ｄ１２を変換してＬＰＣケプストラム係数Ｄ１６を求め、このＬＰＣケプストラム係数Ｄ１６をベクトル量子化部１８に供給する。
【００５１】
ベクトル量子化部１８は、ＬＰＣケプストラム係数Ｄ１６に対して、コードブック群ＣＢからの各話者のコードブックデータＤ１７を用いてそれぞれベクトル量子化を施す。また、ベクトル量子化部１８は、それぞれのコードブックでベクトル量子化された結果（量子化歪み）Ｄ１８を話者識別部１９に供給する。
【００５２】
話者識別部１９は、ベクトル量子化歪みＤ１８を評価し、さらに閾値表ファイルＴＦから読みこんだ閾値データＤ１９を用いて、所定の認識ブロック毎に話者の識別及び照合判定を行う。この話者の識別及び照合判定については、後で詳述する。話者識別部１９は、識別された話者Ｄ２０を話者判別頻度計算部２０に供給する。
【００５３】
話者判別頻度計算部２０は、識別された話者Ｄ２０に基づいて、所定の評価区間毎に、評価区間内の各話者の認識された話者判別頻度を計算する。求められた話者判別頻度は、話者の出現頻度情報Ｄ２１として、例えば図３に示すような記録形式で各ＡＶデータ毎、各話者毎、各評価区間毎に話者頻度ファイルＳＦに記録される。なお、話者頻度ファイルＳＦは、図示しない送受信部により通信回線を介して通信されるものであってもよく、また、磁気ディスク、光磁気ディスク等の記録媒体や半導体メモリ等の記憶媒体等の蓄積媒体に蓄積されるものであってもよい。
【００５４】
図３の記録形式は、入力部１１から入力された音声信号のＡＶデータ名と、登録された各話者を識別する識別名と、頻度区間の開始時刻と、同区間の終了時刻と、上記ＡＶデータの上記頻度区間における上記話者の判別頻度とを情報として有する。この記録形式は、一例であり、図３に示した情報に限定されるものではない。
【００５５】
以下、図４を参照しながら、上述した構成において、ＬＰＣ分析を行う処理の単位と、話者識別を行う処理の単位と、話者判別頻度を求める際の処理の単位とについて説明する。
【００５６】
入力されたＡＶデータの音声信号は、図２に示すＬＰＣ分析部１２において、図４に示すようなＬＰＣ分析ブロックＡＢ単位にＬＰＣ分析が施されて、得られたＬＰＣ係数が変換されてＬＰＣケプストラム係数が抽出される。ＬＰＣ分析ブロックＡＢのブロック長ａは、音声信号の場合、通常２０ミリ秒〜３０ミリ秒程度がよく用いられる。また、分析性能を向上させるために隣接ブロックと若干オーバーラップさせることが多い。なお、有声音ブロックか否かの判定も、このＬＰＣ分析ブロックＡＢ単位で行われる。
【００５７】
話者認識ブロックＲＢは、話者を識別する最小単位であり、このブロック単位で話者の識別を行う。話者認識ブロックＲＢのブロック長ｂは、数秒程度が望ましい。従って、１つの話者認識ブロックＲＢは、５０〜数百程度のＬＰＣ分析ブロックＡＢを含むのが適当である。話者認識ブロックＲＢも、隣接区間と若干オーバーラップしていてもよい。オーバーラップ長は、通常、区間長の１０％〜５０％程度である。
【００５８】
頻度区間ＦＩは、話者の出現頻度を求める評価単位であり、同区間内において、各話者認識ブロックＲＢで識別された話者の判別頻度に基づいて各話者の出現頻度を求める。頻度区間ＦＩＩの区間開始時刻はＳＩ、区間終了時刻はＥＩであり、区間長（ＥＩ‐ＳＩ）は、数分〜数十分程度が適当である。従って、１つの頻度区間ＦＩは、３０〜３００程度の話者認識ブロックＲＢを含むのが適当である。この頻度区間ＦＩも隣接区間と若干オーバーラップしていてもよい。
【００５９】
次に、情報検出装置１０の動作を表すフローチャートを図５に示す。先ずステップＳ１０において、初期化処理として、区間番号Ｉを０とする。区間番号Ｉとは、話者の頻度を求める頻度区間ＦＩにつけた連続番号である。
【００６０】
次にステップＳ１１において、現在指定されている認識モードを判別する。すなわち、認識モードが有声音モードであるか有声音・無声音モードであるかを判別する。
【００６１】
次にステップＳ１２において、上述した話者認識ブロックＲＢ単位で話者候補を識別して話者候補を選定する。この際、認識モードが有声音モードである場合には、有声音ブロックと判定されたＬＰＣ分析ブロックＡＢのみを話者認識に用いる。なお、話者候補の選定方法については、後で詳述する。
【００６２】
ステップＳ１３では、選定された話者候補が正しい話者か否かを照合判定する。すなわち、未知の不特定話者の音声データが入力された場合や、有声音ブロックの判定誤りによって音声以外のデータが入力された場合、ステップＳ１２で選定された候補話者は、入力音声に一番類似している話者が候補として選出されたものであるが、それが本当にその話者本人とは限らない。そこで、ステップＳ１３では、ベクトル量子化歪みを評価し、図２に示した閾値表ファイルＴＦに記録された閾値データと比較することで、選定された話者候補本人のデータであるか否かの判定を行う。判定方法については、後で詳述する。ステップＳ１３において、本人であると判定されれば、その話者候補をこの話者認識ブロックＲＢにおける話者として確定し、本人ではないと判定されれば、この話者認識ブロックＲＢにおける話者を未知話者として確定する。なお、この照合判定は、必ずしも行わなくてもよい。
【００６３】
続いてステップＳ１４では、頻度区間ＦＩＩの最後の話者認識ブロックＲＢまで処理したか否かが判定される。ステップＳ１４において、最後の話者認識ブロックＲＢでなければ、ステップＳ１５において、次の話者認識ブロックＲＢに進み、ステップＳ１１に戻る。ステップＳ１４において、最後の話者認識ブロックＲＢであると判定されれば、ステップＳ１６に進む。
【００６４】
ステップＳ１６では、現在の頻度区間ＦＩＩにおける、それぞれの登録話者の判別頻度を出現頻度情報として求める。なお、未知話者と判定された話者認識ブロックＲＢは頻度の計算に含めない。求めた話者出現頻度は、図２に示した話者頻度ファイルＳＦに、図３のような記録形式で記録する。
【００６５】
ステップＳ１７では、データの末尾に到達したか否かが判定される。データの末尾に到達している場合は、処理を終了し、データの末尾に到達していない場合は、ステップＳ１８に進む。
【００６６】
ステップＳ１８では、区間番号Ｉを１つ増やし、次の頻度区間に進み、ステップＳ１１に戻る。以下、同様にしてデータ末尾に到達するまで、ステップＳ１１からステップＳ１８の処理を繰り返す。
【００６７】
続いて、図５のステップＳ１２における話者候補の識別方法の詳細を図６に示す。先ず、ステップＳ２０において、上述したＬＰＣ分析ブロックＡＢごとに音声データを入力データから読みこむ。
【００６８】
次にステップＳ２１において、話者認識ブロックＲＢの最後のＬＰＣ分析ブロックＡＢまで処理を終えたか否かを判定し、最後のＬＰＣ分析ブロックＡＢの処理を終えている場合は、ステップＳ３０に進む。ステップＳ２１において最後のＬＰＣ分析ブロックＡＢでない場合は、ステップＳ２２に進む。
【００６９】
ステップＳ２２では、ＬＰＣ分析ブロックＡＢのデータに対してＬＰＣ分析を施し、ＬＰＣ係数を得る。
続いてステップＳ２３では、認識モードが有声音モードであるか否かが判定される。ステップＳ２３において有声音モードである場合は、ステップＳ２４に進み、有声音モードでない場合、すなわち、有声音・無声音モードである場合には、ステップＳ２７に進む。
【００７０】
次にステップＳ２４では、ステップＳ２２で得られたＬＰＣ係数に基づいて音声信号に対してＬＰＣ逆フィルタ処理を施してＬＰＣ残差信号を得る。
【００７１】
続いてステップＳ２５では、入力された音声信号とステップＳ２４で得られたＬＰＣ残差信号とに基づいて、後述するようにしてこのブロックが有声音ブロックであるか否かを判定し、ステップＳ２６に進む。
【００７２】
ステップＳ２６では、ステップＳ２５における判定の結果が有声音ブロックであるか否かが判定される。ステップＳ２６において有声音ブロックである場合には、ステップＳ２７に進み、そうでない場合には、ステップＳ２９に進む。
【００７３】
次にステップＳ２７では、ステップＳ２２で得られたＬＰＣ係数を変換してＬＰＣケプストラム係数を求める。ここでは、１次〜１６次程度の低次のケプストラム係数を求める。
【００７４】
次にステップＳ２８において、予め作成された複数のコードブックを用いて、ステップＳ２７で得られたＬＰＣケプストラム係数にそれぞれベクトル量子化を施す。それぞれのコードブックは登録された話者に一対一に対応する。ここで、コードブックＣＢｋによるこのブロックのＬＰＣケプストラム係数のベクトル量子化歪みをｄｋとする。
【００７５】
ステップＳ２９では、次のＬＰＣ分析ブロックＡＢに進み、ステップＳ２０に戻り、同様にしてステップＳ２０からステップＳ２９の処理を繰り返す。
【００７６】
ステップＳ３０では、話者認識ブロックＲＢ全体にわたる各コードブックＣＢの量子化歪みｄｋの平均である平均量子化歪みＤｋを求める。
【００７７】
続いてステップＳ３１では、平均量子化歪みＤｋを最小にする話者Ｓｋ’に対応するコードブックＣＢｋ’を選出し、ステップＳ３２では、この話者Ｓｋ’を話者候補Ｓｃとして出力する。
【００７８】
このようにして、コードブックが登録されている話者のうち、最も入力データの音声が類似している話者が、その話者認識ブロックＲＢにおける話者候補Ｓｃとして選出される。
【００７９】
ここで、上述したステップＳ２５における有声音ブロックの判定手法について、図７のフローチャートを用いて説明する。これは、図２における有声音判定部１４の動作に対応するものである。なお、以下に示す手法は一例であり、有声音ブロックの判定手法がこれに限定されるものではない。
【００８０】
先ずステップＳ４０において、音声信号のＬＰＣ残差信号の自己相関関数ｒ（ｔ）を求める。この際、ＬＰＣ残差信号から直接自己相関関数ｒ（ｔ）を求めてもよく、また、ＬＰＣ残差信号を低域通過フィルタに通してから高速フーリエ変換を施し、残差信号のパワースペクトルを逆フーリエ変換して自己相関関数ｒ（ｔ）を求めてもよい。
【００８１】
次にステップＳ４１において、自己相関関数ｒ（ｔ）のピーク値を求め、各ピーク点をゼロ次の自己相関関数ｒ（０）で正規化して、正規化ピーク点を求める。ここで、正規化したｎ個のピーク点を大きい方から順に、ｒ０，ｒ１，ｒ２，・・・ｒｎ（１＝ｒ０≧ｒ１≧ｒ２≧・・・≧ｒｎ）とする。
【００８２】
続いてステップＳ４２において、入力された音声信号のブロック内零交差数Ｚとブロック内平均エネルギＥとを求める。
【００８３】
ステップＳ４３では、正規化ピーク値、零交差数Ｚ及び平均エネルギＥを総合的に評価して、総合的有声音らしさＲを求める。具体的には、先ず自己相関ピークと零交差数Ｚと平均エネルギＥとを、適当な有声音らしさを表す関数に当てはめる。一般的には、自己相関ピークが大きいほど、また零交差数Ｚが小さいほど、また平均エネルギが大きいほど、有声音らしいと判断することができる。
【００８４】
一例として、例えば、それぞれの特徴量の有声音らしさProbを、以下の式（３）、式（４）、式（５）のようにして求める。ここで、ｋ１〜ｋ６は、実験的に決める所定の係数である。
【００８５】
【数３】
0004696418.tif 000004
【００８６】
さらに、それぞれの有声音らしさに適当な重み付けをして総合的な有声音らしさＲ（０≦Ｒ≦１）を求める。例えば、α、β、γを適当な係数として、以下の式（６）のようにして求めることができる。
【００８７】
【数４】
0004696418.tif 000005
【００８８】
ステップＳ４４では、ステップＳ４２で求められた総合的有声音らしさＲが所定の閾値以上であるか否かが判定される。総合的有声音らしさＲが所定の閾値以上である場合には、ステップＳ４５において、このブロックを有声音ブロックであると判定して判定処理を終了する。総合的有声音らしさＲが所定の閾値以上でない場合には、ステップＳ４６において、このブロックを有声音ブロックではないと判定して判定処理を終了する。
【００８９】
続いて、図５のステップＳ１３における話者候補Ｓｃの照合判定方法の詳細を図８に示す。先ずステップＳ５０において、話者候補Ｓｃの平均量子化歪みをＤ０とする。次にステップＳ５１において、話者候補Ｓｃ以外の各コードブックによる平均量子化歪みを小さい順に並び替え、そのうち、小さいものから順にｎ個を、Ｄ１，Ｄ２，・・・Ｄｎ（Ｄ０＜Ｄ１＜Ｄ２＜・・・＜Ｄｎ）とする。ｎの値は、任意に選択可能である。
【００９０】
続いてステップＳ５２において、評価の尺度として、話者候補Ｓｃの量子化歪みＤ０とそれ以外のｎ個の量子化歪みについて、以下の式（７）又は式（８）を用いて歪差分量ΔＤを求める。
【００９１】
【数５】
0004696418.tif 000006
【００９２】
式（７）、式（８）において、例えばｎが１の場合は、話者候補Ｓｃに次いで量子化歪みが小さいＤ１とＤ０との量子化歪みの差を求めることになる。
【００９３】
続いてステップＳ５３において、図２に示した閾値表ファイルＴＦから話者候補Ｓｃに対応する閾値データを読みこむ。
【００９４】
閾値表ファイルＴＦには、各登録話者ごとに、例えば図９のような形式で記録されている。すなわち、図９に示すように、各登録話者の話者識別名と、閾値データである量子化歪みの最大歪み絶対値Ｄｍａｘ及び最小歪み差分ΔＤｍｉｎが予め記録されている。
【００９５】
図８に戻り、ステップＳ５４では、読みこんだ閾値データＤｍａｘ，ΔＤｍｉｎを、求めたＤ０及びΔＤと比較して判別する。すなわち、ステップＳ５４において、量子化歪みの絶対値Ｄ０が閾値データＤｍａｘよりも小さく、且つ、歪み差分ΔＤが閾値データΔＤｍｉｎより大きければ、ステップＳ５５に進み、本人であると判定し、候補を確定する。そうでなければ、ステップＳ５６に進み、未知話者と判定し、候補を棄却する。このように、話者候補Ｓｃの平均量子化歪みＤ０と歪差分量ΔＤとをそれぞれ閾値と比較することで、登録話者の音声データの識別誤りが減少し、また、登録話者以外の音声データを未知話者として判定することが可能となる。
【００９６】
以上説明したように、本実施の形態における情報検出装置１０は、ＡＶデータに含まれる音声信号中の話者の音声の特徴量に基づいて、話者認識ブロック毎に話者を識別すると共に、所定の区間における話者の出現頻度を検出し、話者の出現頻度情報を生成する。この際、背景雑音レベルに応じて無声音ブロックを認識に用いるか否かを切り替えることにより、雑音のない部分においては有声音部分及び無声音部分を用いることで効果的に話者を識別するとともに、背景雑音が混合している部分では無声音部分を認識対象から除外することによって認識誤りを低減することができる。
【００９７】
また、このように作成された話者の出現頻度情報を用いることで、音声信号において背景雑音のない部分においても、或いは複数話者や背景雑音が含まれる部分においても、環境に応じて、所望の話者が会話をしている区間をより低い誤り率で効果的に検出することができる。
【００９８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００９９】
例えば、上述の説明では、認識モードの切り替えを行うものとして説明したが、これに限定されるものではなく、有声音部分のみを用いて話者認識を行うようにしてもよい。これにより、情報検出装置の構成を簡素化することができる。
【０１００】
【発明の効果】
以上詳細に説明したように本発明に係る情報検出装置は、所定の情報源から所定の情報を検出するための情報検出装置において、上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出手段と、
検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別手段と、上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算手段とを備え、上記頻度区間における上記話者の出現頻度情報を検出することを特徴としている。
【０１０１】
ここで、情報検出装置は、上記音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替手段を備えるようにしてもよく、上記有声音・無声音モードの場合、上記話者識別手段は、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する。
【０１０２】
また、情報検出装置では、上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムが用いられ、識別の手法として、複数のコードブックによる特徴量のベクトル量子化が用いられ、識別の尺度として、そのベクトル量子化歪みが用いられる。
【０１０３】
このような情報検出装置によっては、音声信号中の話者の音声の特徴量に基づいて、ある評価区間毎に話者を識別すると共に、評価区間毎に判別された話者の判別頻度をある頻度区間毎に検出し、話者の出現頻度情報を生成する際に、話者の有声音部分を検出し、検出された有声音ブロックを用いて話者を識別することにより、無声音に背景雑音が混合している部分や、他話者の無声音が混合している部分を認識対象から除外することができ、従って、認識誤りを低減させることができる。
【０１０４】
これにより、複数話者や背景雑音部分が含まれる音声信号においても、所望の話者の会話区間をより低い誤り率で効果的に検出することができる。
【０１０５】
また、音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替えることができる場合には、背景雑音がない部分においては、有声音・無声音モードとし、有声音ブロックと無声音ブロックとを用いて話者を識別するようにしてもよい。
【０１０６】
このように、背景雑音がない部分においては、有声音ブロックと無声音ブロックとを用いることで効果的に話者を識別することができる。
【０１０７】
また、上述した目的を達成するために、本発明に係る情報検出方法は、所定の情報源から所定の情報を検出するための情報検出方法において、上記情報源に含まれる音声信号を分析して話者の有声音部分を検出する有声音ブロック検出工程と、検出された有声音ブロックを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者を識別する話者識別工程と、上記評価区間毎に識別された上記話者の判別頻度情報を、所定の頻度区間毎に求める話者判別頻度計算工程とを有し、上記頻度区間における上記話者の出現頻度情報を検出することを特徴としている。
【０１０８】
ここで、情報検出方法は、上記音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替える認識モード切替工程を有するようにしてもよく、上記有声音・無声音モードの場合、上記話者識別工程では、有声音ブロックと無声音ブロックとを用いて上記音声信号の特徴量の類似性によって所定の評価区間ごとに話者が識別される。
【０１０９】
また、情報検出方法では、上記情報源の音声信号中の音声の類似性を評価する特徴量として、ＬＰＣ分析によって得られるＬＰＣケプストラムが用いられ、識別の手法として、複数のコードブックによる特徴量のベクトル量子化が用いられ、識別の尺度として、そのベクトル量子化歪みが用いられる。
【０１１０】
このような情報検出方法によっては、音声信号中の話者の音声の特徴量に基づいて、ある評価区間毎に話者を識別すると共に、評価区間毎に判別された話者の判別頻度をある頻度区間毎に検出し、話者の出現頻度情報を生成する際に、話者の有声音部分を検出し、検出された有声音ブロックを用いて話者を識別することにより、無声音に背景雑音が混合している部分や、他話者の無声音が混合している部分を認識対象から除外することができ、従って、認識誤りを低減させることができる。
【０１１１】
これにより、複数話者や背景雑音部分が含まれる音声信号においても、所望の話者の会話区間をより低い誤り率で効果的に検出することができる。
【０１１２】
また、音声信号中の無声音部分を認識に用いない有声音モードと当該無声音部分を認識に用いる有声音・無声音モードとを切り替えることができる場合には、背景雑音がない部分においては、有声音・無声音モードとし、有声音ブロックと無声音ブロックとを用いて話者を識別するようにしてもよい。
【０１１３】
このように、背景雑音がない部分においては、有声音ブロックと無声音ブロックとを用いることで効果的に話者を識別することができる。
【図面の簡単な説明】
【図１】本実施の形態における情報検出装置の概念構成を説明する図である。
【図２】同情報検出装置の構成例を説明する図である。
【図３】同情報検出装置における話者出現頻度情報の記録形式の一例を説明する図である。
【図４】同情報検出装置における頻度区間、話者認識ブロック及びＬＰＣ分析ブロックの関係を説明する図である。
【図５】同情報検出装置の動作を説明するフローチャートである。
【図６】同情報検出装置における話者認識ブロック単位での話者識別処理を説明するフローチャートである。
【図７】同情報検出装置における有声音ブロック判定処理を説明するフローチャートである。
【図８】同情報検出装置における話者照合判定処理を説明するフローチャートである。
【図９】同情報抽出装置における話者照合判定用の閾値データの記録形式の一例を説明する図である。
【符号の説明】
１  有声音ブロック検出手段、２  認識モード切替手段、３  話者識別手段、４  話者判別頻度計算手段、１０  情報検出装置、１１  入力部、１２  ＬＰＣ分析部、１３  ＬＰＣ逆フィルタ、１４  有声音判定部、１５  認識モード切替部、１６  切替部、１７  ケプストラム抽出部、１８  ベクトル量子化部、１９話者識別部、２０  話者判別頻度計算部
【図１】
0004696418.tif 000007
【図２】
0004696418.tif 000008
【図３】
0004696418.tif 000009
【図４】
0004696418.tif 000010
【図５】
0004696418.tif 000011
【図６】
0004696418.tif 000012
【図７】
0004696418.tif 000013
【図８】
0004696418.tif 000014
【図９】
0004696418.tif 000015