(57)【要約】【課題】  音声データを解析し話者弁別を実際に行う場合、特に該音声データが短い等の情報量の不足で話者弁別が困難な話者弁別不可能な音声データに対する考慮が不十分であり、又、１人の話者を複数話者に間違える事があった。【解決手段】  情報量の不足する発声区間の判定を留保し、一度解析が終わり、話者特徴情報が充実してから再処理する事により話者弁別の精度を上げる。更に、検出した話者同志の特徴を比較し、１人の話者を複数話者に間違えるミスを減らす。【選択図】  図１
2005173007.tif 000002
【特許請求の範囲】
【請求項１】
人の発声およびその区間を検出する手段を有し、
発声の個人特徴を抽出する手段を有し、
各個人毎にその発声区間情報を記憶する処理に於いて、
人の発声を検出する度に発声の個人特徴を抽出しその情報量が予め定められた条件を満たさない場合には発声者不明の発声区間として単独の発声者の扱いで解析結果情報へ記憶し、個人特徴を抽出しその情報量が予め定められた条件を満たす場合にはこれを既に検出した人物の発声の個人特徴と比較を行う事により既に検出した人物とは別の人物であると推定した場合には新規の人物としてその発声の個人特徴とその発声区間を合わせて解析結果情報に記憶し、
或いは既に検出した人物と同一人物であると推定した場合には解析結果情報に発声区間を追記する事により全ての登場人物単位で参照可能な解析結果情報を記憶することを特徴とする音声処理装置。
【請求項２】
請求項１において、発声の個人特徴とは少なくとも発声区間中に存在する全母音に対する音響的特長情報の対を含み、比較処理とは既に検出した全人物の母音の夫々に対し検出した発声区間中に存在する母音に対して音響的特長情報の対どうしの距離演算を行いその値を定められた閾値と比較する事により検出した発声区間が既に検出されたどの人物のものであるか或いは新規の人物であるかを判断する事を特徴とする音声処理装置。
【請求項３】
請求項２において、個人特徴としての母音に対する音響的特長情報の対とは、発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対、或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報の対、更に或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対である事を特徴とする音声処理装置。
【請求項４】
請求項１において、発声者不明の発声区間として単独の発声者の扱いを行う際の個人特徴の情報量の予め定められた条件とは、検出した発声区間中に存在する母音の種類がある閾値以下或いは最低限必要な母音種類の組み合わせに不足である事を特徴とする音声処理装置。
【請求項５】
請求項１および請求項２および請求項３および請求項４において、検出した発声区間が既に検出した人物であると判断した場合で、個人特徴において欠落している母音が存在する場合に検出した発声区間にその母音が存在する場合にはその母音の音響的特長情報の対を個人特徴へ記憶する事により、個人特徴を充実させる事を特徴とする音声処理装置。
【請求項６】
請求項１および請求項２および請求項３および請求項４および請求項５および請求項７において、全音声の解析処理を行った後、更に、既に検出した人物の個人特徴と発声者不明の発声区間としての単独の発声者との個人特徴を比較する事により発声者不明の発声区間として単独の発声者を既に検出した人物へ再マッピングする処理を単独或いは再帰的に行う事を特徴とする音声処理装置。
【請求項７】
請求項１および請求項２および請求項３および請求項４および請求項５および請求項６において、全音声の解析処理を行った後、検出した人物どうしの個人特徴の比較を行い、１人の人物を複数の人物に分けたエラーを補正する処理を行う事を特徴とする音声処理装置。
【請求項８】
人の発声およびその区間を検出する手段を有し、
発声の個人特徴を抽出する手段を有し、
各個人毎にその発声区間情報を記憶する処理に於いて、
人の発声を検出する度に発声の個人特徴を抽出しその情報量が予め定められた条件を満たさない場合には発声者不明の発声区間として単独の発声者の扱いで解析結果情報へ記憶し、個人特徴を抽出しその情報量が予め定められた条件を満たす場合にはこれを既に検出した人物の発声の個人特徴と比較を行う事により既に検出した人物とは別の人物であると推定した場合には新規の人物としてその発声の個人特徴とその発声区間を合わせて解析結果情報に記憶し、
或いは既に検出した人物と同一人物であると推定した場合には解析結果情報に発声区間を追記する事により全ての登場人物単位で参照可能な解析結果情報を記憶することを特徴とする音声信号解析処理方法。
【請求項９】
請求項８において、発声の個人特徴とは少なくとも発声区間中に存在する全母音に対する音響的特長情報の対を含み、比較処理とは既に検出した全人物の母音の夫々に対し検出した発声区間中に存在する母音に対して音響的特長情報の対どうしの距離演算を行いその値を定められた閾値と比較する事により検出した発声区間が既に検出されたどの人物のものであるか或いは新規の人物であるかを判断する事を特徴とする音声信号解析処理方法。
【請求項１０】
請求項９において、個人特徴としての母音に対する音響的特長情報の対とは、発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対、或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報の対、更に或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対である事を特徴とする音声信号解析処理方法。
【請求項１１】
請求項８において、発声者不明の発声区間として単独の発声者の扱いを行う際の個人特徴の情報量の予め定められた条件とは、検出した発声区間中に存在する母音の種類がある閾値以下或いは最低限必要な母音種類の組み合わせに不足である事を特徴とする音声信号解析処理方法。
【請求項１２】
請求項８および請求項９および請求項１０および請求項１１において、検出した発声区間が既に検出した人物であると判断した場合で、個人特徴において欠落している母音が存在する場合に検出した発声区間にその母音が存在する場合にはその母音の音響的特長情報の対を個人特徴へ記憶する事により、個人特徴を充実させる事を特徴とする音声信号解析処理方法。
【請求項１３】
請求項８および請求項９および請求項１０および請求項１１および請求項１２および請求項１４において、全音声の解析処理を行った後、更に、既に検出した人物の個人特徴と発声者不明の発声区間としての単独の発声者との個人特徴を比較する事により発声者不明の発声区間として単独の発声者を既に検出した人物へ再マッピングする処理を単独或いは再帰的に行う事を特徴とする音声信号解析処理方法。
【請求項１４】
請求項８および請求項９および請求項１０および請求項１１および請求項１２および請求項１３において、検出した人物どうしの個人特徴の比較を行い、１人の人物を複数の人物に分けたエラーを補正する処理を行う事を特徴とする音声信号解析処理方法。
【請求項１５】
請求項１乃至請求項７の何れかに記載の音声処理装置としてコンピュータを動作させる動作指示をなすことを特徴とするコンピュータプログラム。
【請求項１６】
請求項８乃至請求項１４の何れかに記載の音声信号解析処理方法をコンピュータによって実現可能な動作指示をなすことを特徴とするコンピュータプログラム。
【請求項１７】
請求項１乃至請求項７の何れかに記載の音声処理装置としてコンピュータを動作させるプログラムコードが格納されていることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１８】
請求項８乃至請求項１４の何れかに記載の音声信号解析処理方法をコンピュータによって実現可能なプログラムコードが格納されていることを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声解析処理およびそれを用いた音声処理装置に関するものである。
【背景技術】
【０００２】
従来、特開平８−２８６６９３号では、音声を解析しこの結果を用い音声データを話者別に振り分けることにより所望する話者の音声データの検索・再生を行う発明を開示している。また、特開２０００−１４８１８９では、音声解析を行う際、実用上どうしても発声する話者弁別不可能な音声データに対しては、当該音声データの話者が特定できない状態を記録する発明を開示している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この様に、音声データを解析し話者弁別を実際に行う場合、特に該音声データが短い等の情報量の不足で話者弁別が困難な話者弁別不可能な音声データに対する考慮が不十分であった。本発明では、この様な話者弁別が困難な話者弁別不可能な音声データに対し、話者弁別が困難な音声データを一時的に話者不明の音声データとして扱っておくだけでなく、できるだけ話者不明の音声データを減少する事を課題とする。
【０００４】
また、更に、弁別がうまく行かず、一人の話者を複数に誤弁別するミスが発声する問題もあるが、このミスを極力減らす事も重要な課題である。
【課題を解決するための手段】
【０００５】
上記課題を解決する為に、本発明の音声解析処理では、登場する発声者の弁別を行う際に、人の発声を検出する度に発声の個人特徴を抽出しその情報量が予め定められた条件を満たさない場合には発声者不明の発声区間として単独の発声者の扱いで解析結果情報へ記憶する。この発声者不明の発声区間に対しては、解析対象の音声信号を最後まで処理したのちに、再度或いは再帰的に処理を行う。
【０００６】
もし、個人特徴を抽出しその情報量が予め定められた条件を満たす場合、新規発声者が無ければ例外処理として一人目の発声者としてとしてその発声の個人特徴とその発声区間を合わせて解析結果情報に記憶するが、もし、既に検出した発声者が存在する場合にはこの発声区間の発声の個人特徴を既に検出した人物の発声の個人特徴と比較を行う事により既に検出した人物とは別の人物であると推定した場合には新規の人物としてその発声の個人特徴とその発声区間を合わせて解析結果情報に記憶する。
【０００７】
他方、この発声区間の発声の個人特徴が既に検出した人物と同一人物であると推定した場合には解析結果情報に発声区間を追記する。
【０００８】
上記で述べた発声の個人特徴とは少なくとも発声区間中に存在する全母音に対する音響的特長情報の対を含む。というのも、発声の個人特徴は母音に現れる事が良く知られているからであり、比較処理は既に検出した全人物の母音の夫々に対し検出した発声区間中に存在する母音に対して音響的特長情報の対どうしの距離演算を行いその値を定められた閾値と比較する事により検出した発声区間が既に検出されたどの人物のものであるか或いは新規の人物であるかを判断可能である。
【０００９】
更に、個人特徴としての母音に対する音響的特長情報の対とは、具体的には、発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対、或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報の対、更に或いは音声ピッチと発声区間中に存在する全母音に対するフォルマント情報或いはケプストラム情報の対で表現する事が可能である。
【００１０】
というのも、母音のフォルマント呼ばれる声道の共鳴周波数が存在することが知られており個人認証にも用いられている。そこで、母音を認識し各母音に関してその安定点におけるフォルマント情報を求めこれを個人弁別に役立つからである。
【００１１】
また、ケプストラムに関してもフォルマントと同様、声道の発声の共鳴周波数を反映した解析結果が得られ、個人弁別に役立つ。
【００１２】
安定点とは母音判定を行いその中央近傍で且つエネルギーが最大となる近傍である。
【００１３】
これらの音声ピッチやフォルマントやケプストラムは公知の音声認識処理に用いられているものである。
【００１４】
比較処理は、公知のフォルマント距離やケプストラム距離を求め、これを予め定めた閾値と比較する事により行う。
【００１５】
また、音声ピッチは、男性と女性・子供などのような音の高低を反映し、同じ声道の共鳴周波数でも声帯振動が異なる人の弁別に役立つので、フォルマント距離やケプストラム距離とピッチ周波数の差の絶対値との重み付け和による距離を求め、これを予め定めた閾値と比較する事に行っても良い。
【００１６】
ところで、発声者不明の発声区間として単独の発声者の扱いを行う際の個人特徴の情報量の予め定められた条件とは、検出した発声区間中に存在する母音の種類がある閾値以下、或いは最低限必要な母音種類の組み合わせに不足である事とする。
【００１７】
例えば、発声区間が短くそれに含まれる母音の数が少ない、或いは存在する母音の性質が似ていて比較に有効な母音の組み合わせにならない場合には、有意なフォルマント距離やケプストラム距離が計算不能である。
【００１８】
そこで、その発声区間に含まれる母音の種類、或いは母音種類の組み合わせにより有意なフォルマント距離やケプストラム距離が計算可能な条件をクリア出来ないものは発声者不明の発声区間として発声者決定処理を先延ばしする。
先延ばしする理由は処理が進むにつれ、検出した発声者の個人特徴が充実するからである。
【００１９】
それは、検出した発声区間が既に検出した人物であると判断した場合で、個人特徴において欠落している母音が存在する場合に検出した発声区間にその母音が存在する場合にはその母音の音響的特長情報の対を個人特徴へ記憶する事により実現する。
【００２０】
そして、全音声の解析処理を行った後、更に、既に検出した人物の個人特徴と発声者不明の発声区間としての単独の発声者との個人特徴を比較する事により発声者不明の発声区間として単独の発声者を既に検出した人物へ再マッピングする処理を行うが、これは単独或いは再帰的に行っても良い。
【００２１】
また、一人の発声者が複数の発声者にミス弁別される問題に関しては、検出した人物どうしの個人特徴の比較を行い、その距離が有る閾値以下の場合に一人の発声者として解析情報を統合する。具体的には、一人の発声者の発声区間情報へ他の発声者と成っていた発声区間情報をマージする。
【００２２】
上記発声者不明の発声区間の再処理と、上記一人の発声者の発声区間情報へ他の発声者と成っていた発声区間情報をマージ処理の順番に関してはどちらを先にする場合も考えられる。
【発明の効果】
【００２３】
本発明によれば、話者弁別が困難な話者弁別不可能な音声データに対し、話者弁別が困難な音声データを一時的に話者不明の音声データとして扱い、話者弁別が可能な音声データの解析結果を用いて話者弁別のための特徴情報を学習してゆき、ひとまとまりの音声信号の解析終了後に、この学習により充実した特徴情報を用いて、一時的に話者不明の音声データとされていた音声データを再処理する事により話者不明の音声データを減少する事が可能となった。また、更に、話者弁別後に再度話者特徴を比較する事により、一人の話者を複数に誤弁別するミスを減らす事が可能となった。
【００２４】
これらの処理結果を用いる事で、指定話者だけの発声区間を聞くなどの有効な機能を実現する為の貴重な情報を得ることが可能となった。
【発明を実施するための最良の形態】
【００２５】
以下本発明の実施例について、詳細に説明する。
【００２６】
実施例では、音声解析処理では事前の個人識別情報を登録行わず、登場する発声者の弁別を行う事により発声者別の発声区間情報生成を行う実施について説明を行う。
【００２７】
本発明の実施例の概念であるが、図１の概念図に示す様に、発声区間検出処理と、発声特徴抽出処理と、発声特徴比較処理と、その結果に基づき発声者を決定しに発声者情報ＤＢ及び発声者別の発声区間情報ＤＢへ追記を行う処理からなる。
【００２８】
又、図２に本実施例における発声区間検出処理から発声者別の発声区間情報を生成し属性情報及び解析結果情報記憶手段へ記憶するまでのフローを示し、これに従って説明を行う。
【００２９】
まず、S201において、音声信号を読み込む。
【００３０】
図２のフローでは音声信号を一度にメモリへ読み込んでいるが、当然、必要に応じて逐次メモリバッファ読み込む実施例も容易に考えられる。
【００３１】
S202の発声区間検出処理に関しては公知の技術を用いる。そして、音声信号は複数の発声区間に分割される。
【００３２】
そしてS203において、音声区間先頭を検出し音声区間終点を検出する毎に、S204の発声特徴抽出処理において発声区間に相当する音声信号から発声の個人弁別を行う為に有用な特徴を抽出する。
【００３３】
発声に関しては、母音のフォルマント呼ばれる声道の共鳴周波数が存在することが知られており個人認証にも用いられている。そこで、母音を認識し各母音に関してその安定点におけるフォルマント情報を求めこれを個人弁別のために記憶する。
【００３４】
フォルマントの推定に関しては、全極型の音声生成モデルを前提とした線形予測分析（ＬＰＣ）を行い、声道の伝達係数の極を求め、これにより共振周波数を求める等の公知の技術を用いると良い。
【００３５】
即ち、発声特徴の一例として図５に示すデータスキーマを例に挙げる。
【００３６】
発声区間とその発声区間中に存在する「あいうえお」の５母音の夫々に対してフォルマント情報の対を記憶し、更に音声ピッチ周波数を記憶する。もちろんその発声中に５母音が揃わない場合には存在する母音のみ記述を行う。
【００３７】
図５における発声区間フィールドは、図６の様に開始位置と終了位置の対からなり、位置の表現方法としては時間表現が可能である。
【００３８】
また、フォルマント情報の対に関しては、一般に第３次フォルマントまでを用いると母音の性質を表しきれるので、図７に示す様に第一次、第二次および第三次フォルマント周波数の３つの周波数からなるフィールドを図５の各母音に対して記憶する。
【００３９】
尚、解析する音声信号としては母音の安定点としては平滑化したエネルギーのピークに近く且つピッチ周波数の安定した区間を用いると良い。
【００４０】
但し、発声区間中に全ての種類の母音が存在するとは限らず、母音の種類が少ない場合や性質が似ていて比較に有効な母音の組み合わせにならない場合には正確な比較処理が行えない。
【００４１】
そこで、S205において、検出した発声区間中に存在する母音の種類がある閾値未満或いは最低限必要な母音種類の組み合わせに不足と判断した場合には、S206において発声者不明の発声区間として単独の発声者の扱いで解析結果情報へ記憶する。
【００４２】
S205において検出した発声区間中に存在する母音の種類がある閾値以上或いは最低限必要な母音種類の組み合わせを満足したと判断した場合には、S207において上記発声特徴抽出を用いてこれを既に検出した人物の図８に示す発声の個人特徴、具体的にはフォルマントの対情報同士の距離の総和を比較する事により既に検出した人物とは別の人物であるかを判断する。
【００４３】
S207の発声特徴比較処理に関しては、既に検出した全人物の母音の夫々に対し、検出した発声区間中に存在する母音のみに対してフォルマント情報の対どうしの距離演算を行いそれらの最小値を求め、S208においてこの最小値が定められた閾値以下であるならばその最小距離に該当する人物の発声であると判断する。もし、この最小値が閾値より大きい場合には新規の人物であると判断する。
【００４４】
そして、S208において既に検出した人物と同一人物であると推定した場合にはS209においてその人物の発声者ＩＤに対応する図９の発声区間情報レコードに発声区間を追記記憶する。
【００４５】
また、既に検出した人物の個人特徴においてフォルマント情報が欠落している母音が存在する場合で、新たに検出した発声区間に該欠落した母音が含まれている場合にはその母音のフォルマント情報を個人特徴へ記憶する事により、個人特徴を充実させる。
【００４６】
他方、S208において既に検出した人物では無いと推定した場合には、S211において、新規の人物として新規の発声者ＩＤを発行して図６に示す発声者情報ＤＢに新たなレコードを生成しその発声の個人特徴を記憶し更にその発声者ＩＤで図９の発声区間情報ＤＢに新たなレコードを生成してその発声区間を記憶する。
【００４７】
もちろん、初期時には人物の検出は行われていないので、母音の種類がある閾値以上或いは最低限必要な母音種類の組み合わせを満たす場合には単に新規の人物としてその発声の個人特徴とその発声区間を合わせて解析結果情報に記憶する。
【００４８】
ところで、図８と図９の様に、発声の個人特徴情報と発声区間情報を分けたが、当然、これらを１つのレコードにマージして一つの発声者ＩＤに対するレコードとする方法も存在する。
【００４９】
この様にして全音声信号の解析処理を行った後、S212において再度、発声者不明の発声区間として単独の発声者の扱いとなった発声区間に対して、既に検出した人物の個人特徴と比較を行う事により既に検出した人物へ再マッピングする処理を行う。
【００５０】
その理由は、最初にその発声区間が既に検出したどの発声者のものかを比較処理した時点よりも個人特徴が充実し、より正確な判定が行える状況になっているからである。
【００５１】
この処理を単独、或いは再帰的に行う事により、発声者不明の発声区間として単独の発声者扱いの音声区間が減少する。
【００５２】
このS212の処理フローの詳細を、図３を用いて説明する。
【００５３】
全音声信号の解析処理を行った後、S301で未処理の発声者不明の発声区間があるかどうかを判断し、無ければ終了、有ればS302で図２のS206で一時的に記憶したその発声区間の発声特徴を読み込み、S303にて全ての既検出発声者の発声特徴と比較する。
【００５４】
S304にてS303の比較処理で得た距離の最小値とそれに該当する既検出発声者を決定し、その距離が予め定められた閾値と比較を行い、距離が閾値以下の場合にＹ判定を行い、S305にて既検出発声者の発声区間情報へ今回の発声者不明の発声区間を追記し、S306において既検出発声者の発声特徴で不足している情報を補い、再びS301で未処理の発声者不明の発声区間があるかどうかを判断し、未処理の発声者不明の発声区間が無くなるまで処理を繰り返す。他方、S304で距離が閾値より大きい場合にＮ判定を行い、S307にて発声者不明の発声区間として一時記憶したままとしておく。
【００５５】
もちろん、図３の処理を再帰的に行えば、S306のおかげで前回の処理で発声者不明の発声区間が既検出発声者の発声と判断される場合があり、新たに既検出発声者の発声が出なくなるまで再帰処理を行なう方法も当然考えられる。
【００５６】
更に、S212の処理後、図２のS213において、最後に検出した人物間の個人特徴どうしの比較を行い、１人の人物を複数の人物に謝って分けたミスを無くす事も可能である。
【００５７】
このS213の処理フローの詳細を、図４を用いて説明する。
【００５８】
S401にて既検出発声者の発声特徴を発声者情報ＤＢから読み出し、これら全ての発声特徴を相互比較する。
【００５９】
S403において、S402で得た相互比較距離のうち最小のものを探し、該当する２人の既検出発声者を求める。
【００６０】
そして、S404において相互比較距離が予め定められた閾値以下の場合には、S405においてこの２人の既検出発声者の情報をマージして１人の既検出発声者とする。
【００６１】
具体的には、片方の既検出発声者の発声者情報ＤＢレコードの発声特徴へ他方の発声特徴をマージし、更に、片方の既検出発声者の発声区間情報者ＤＢレコードの発声区間情報へ他方の発声区間情報をマージしたのち、他方の発声者情報ＤＢレコードおよび発声区間情報者ＤＢレコードを削除する。
【００６２】
こうして既検出発声者の構成および発声特徴が更新された後に、再度上記処理を繰り返し、S404で最小の相互比較距離が予め定められた閾値を越えるまで繰り返す。
【００６３】
これにより、１人の人物を複数の人物に謝って分けたミスを訂正する。
【００６４】
さてところで、S207の発声特徴比較処理の例として、フォルマント情報の対どうしおよびピッチ情報を用いた距離演算例を説明する。
【００６５】
尚、フォルマント情報およびピッチ周波数を解析する対象となる母音としては平滑化したエネルギーのピークに近く且つピッチ周波数の安定した区間を用いる。
【００６６】
一般に第３次フォルマントまでを用いると母音の性質を表しきれると言われているので、本実施例では第３次フォルマントまでを考慮した評価関数を導入する。
【００６７】
着目する発声区間の各母音の第一次、第二次および第三次フォルマントと、図６に示す発声者情報ＤＢに格納された既検出発声者の各母音の第一次、第二次および第三次フォルマント情報を読み出し、これらの特徴比較を行う事により、どの発声者の発声か或いは新規或いは不明であるかを判断する。
【００６８】
この評価関数によれば、発声個人特徴が類似すればする程零に近い値となり完全に一致する場合には零となる。
【００６９】
【数１】
2005173007.tif 000003
但し、Vow[i][j]は検出した発声区間における母音iのｊ次フォルマント周波数の値でありfは発声区間におけるピッチ周波数であり、
fref Vowref[i][j]は既に検出された人物の母音iのｊ次フォルマント周波数の値でありfrefはその人物のピッチ周波数である。
【００７０】
Wi:各母音の個人特徴表現度合に応じた重み、個人特徴を反映する程大きな値を取る。
【００７１】
Wf0:ピッチ周波数に対する重み
i:0-4 母音の区別を表す添字
j:0-2 ｊ次フォルマントを表す添字
ＷTotal:フォルマント情報が共通に存在する母音の重みWiの総和
また、|Vow[i][j]−Vowref[i][j]|の計算は母音iのフォルマント情報がVowとVowrefの共通に存在する場合のみ計算を行い、このフォルマント情報が共通に存在する母音の重みWiの総和であるＷTotalでフォルマント比較の項を正規化する。
【００７２】
これまで検出した全ての人物の発声個人特徴と新たに検出した発生区間の発声個人特徴を上記評価関数（1.1）を用いて評価値群を求めその最小値Eminを求め発声候補者を決定する。更に、Eminと閾値ε0と比較し、Emin＜ε0を満たす場合に発声候補者を発声人物と判断し、解析結果情報に発声区間を追記する。
【００７３】
また、決定された発声候補者の発声個人特徴に不足している母音があり、今回の発声でその不足している母音が含まれている場合には該母音の情報を発声個人特徴に追加記憶する事により発声個人特徴を充実させる。
【００７４】
他方、Emin＜ε0を満たさない場合には新規の発声人物と判断し、解析結果情報に新規の発声人物情報を生成し、その発声個人特徴と発声区間を記憶する。
【００７５】
上記処理を人の発声を検出する度に行う事により、全ての登場人物単位で発声区間を参照可能であり且つ、その発声の個人特徴を解析結果情報へ記憶することが可能となる。
【００７６】
（他の実施例）
本実施例においては、日本語を例にあげて説明を行ったが、外国語においては夫々の言語の母音、或いは母音が多い場合には人の弁別を行うのに有用な母音のみを選択して採用する事により本発明による処理を行う事も当然考えられる。
【００７７】
また、発声区間情報ＤＢに発声区間の特徴を記憶する実施例を述べたが、もちろん発声特徴の比較で発声者が判別出来た時点でこの情報を破棄してＤＢに格納しない方法もある。
【００７８】
但し、発声者不明の発声区間に関しては一時的に発声区間情報ＤＢのスキーマに類する形で一時記憶する必要がある。
【００７９】
また、本実施例ではフォルマント情報の対どうしおよびピッチ情報を用いた距離演算例を挙げたが、当然、ＤＢスキーマも含め、フォルマント情報を全てケプストラム情報に置き換えた実施例も当然可能である。
【００８０】
更に、発声者不明の発声区間として単独の発声者の扱いとなった発声区間に対して既に検出した人物の個人特徴と比較を行う事により既に検出した人物へ再マッピングする処理を行った後、検出した人物間の個人特徴どうしの比較を行い１人の人物を複数の人物に謝って分けたミスを無くす処理を行う例を説明したが、この順番が逆である例も考えられる。
【００８１】
更に、検出した人物間の個人特徴どうしの比較を行い１人の人物を複数の人物に謝って分けたミスを無くす処理を行った後、発声者不明の発声区間として単独の発声者の扱いとなった発声区間に対して既に検出した人物の個人特徴と比較を行う事により既に検出した人物へ再マッピングする処理を行った後、再度、検出した人物間の個人特徴どうしの比較を行い１人の人物を複数の人物に謝って分けたミスを無くす処理を行う様な、相互に行う例も当然考える。
【図面の簡単な説明】
【００８２】
【図１】本発明の音声解析処理の概念図を表す図である。
【図２】本発明における発声検出処理処理フローを表す図である。
【図３】本発明における発声者不明の発声区間の再処理フローを表す図である。
【図４】本発明における一人の話者を複数に誤弁別するミスを訂正する処理フローを表す図である。
【図５】本発明における発声区間情報スキーマの例を表す図である。
【図６】本発明における発声区間フィールドのスキーマの例を表す図である。
【図７】本発明における各母音のフォルマントフィールドのスキーマ例を表す図である。
【図８】本発明における発声者情報ＤＢのスキーマ一例を表す図である。
【図９】本発明における発声者別の発声区間情報ＤＢのスキーマ一例を表す図である。
【図１】
2005173007.tif 000004
【図２】
2005173007.tif 000005
【図３】
2005173007.tif 000006
【図４】
2005173007.tif 000007
【図５】
2005173007.tif 000008
【図６】
2005173007.tif 000009
【図７】
2005173007.tif 000010
【図８】
2005173007.tif 000011
【図９】
2005173007.tif 000012