(57)【要約】【課題】会議において複数の発話者が同時に発話した場合でも、会議出席者それぞれの権限に応じて、精度良く音声認識処理を行う。【解決手段】双方向通話装置２はそれぞれの発話者に対向する複数の指向性マイクを通して音声コマンドを入力し、その音声データから主の話者を特定する。音声認識処理装置４は、その音声コマンドデータを音声認識するとともに、声紋認識により話者を特定する。さらに、話者の役割に応じた権限により、音声認識された文字列データを処理する。音声認識処理装置４は音声合成処理部も備え、会議出席者との双方向のやり取りの中で、役割を設定していくこともできる。【選択図】図１１
2005055666.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロフォンから音声信号を入力して処理する音声処理装置であって、
前記音声信号に基づいて、一のマイクロフォンを選択するマイクロフォン選択手段と、  前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号を、命令コ−ドに変換する音声変換手段と、
前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号に基づいて、声紋データを生成する声紋生成手段と、
前記声紋データに基づいて、前記命令コ−ドを処理する命令コ−ド処理手段と
を有する
音声処理装置。
【請求項２】
前記マイクロフォンは単一指向特性を有する
請求項１記載の音声処理装置。
【請求項３】
前記声紋データと、前記命令コ−ドが有効であるか否かについての命令権限データとが関連付けて格納される権限データメモリをさらに有し、
前記命令コ−ド処理手段は、前記声紋生成手段により生成された声紋データと前記権限データメモリとを参照し、前記音声変換手段により変換された命令コ−ドが、前記声紋データに対して有効である場合に、前記命令コ−ドを処理する
請求項１記載の音声処理装置。
【請求項４】
前記命令権限データと関連付けられた音声を出力する音声出力手段をさらに有し、
前記音声出力手段が出力する音声に応じて、前記マイクロフォン選択手段が一のマイクロフォンを選択したとき、
前記命令コ−ド処理手段は、選択された前記マイクロフォンから出力された音声信号に基づいて前記声紋生成手段が生成した声紋データを、前記命令権限データと関連付けて、前記権限データメモリに格納する
請求項３記載の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば複数の会議出席者が発する音声によるコマンドを認識して処理する音声処理装置に関する。
【背景技術】
【０００２】
従来、人間の発話を認識して文字列データ等に変換して処理する機能（音声認識）を備えた音声処理装置は、音声の入力手段として、電話やパーソナルコンピュータ（以下、ＰＣ）等の制御機器に接続されたマイクロフォン（以下、マイク）などを前提としており、そのようなマイクを備えた音声処理装置が、例えば電話による銀行残高照会やＰＣに対するコマンド又は文書の入力を行うアプリケーション、車両におけるカーナビゲーションシステムの音声コマンドによる操作等に適用されている。
【０００３】
しかしながら、これらの従来の音声処理装置は、使用環境としては、１個人に対する音声認識が対象となっている。従って、これらの音声処理装置を複数人によるグループワーク、例えば複数人の会議の場面で使用した場合には、複数の音声を誤検知・誤認識してしまうため利用することができなかった。
すなわち、２人以上の参加者が同時に発話している状態では、両者の発話がミックスされた状態で、マイクを通して音声処理装置に入力されるため、複数の発話者の中から主として話をしている会議参加者を特定して、精度の良い音声認識結果を得ることは不可能であった。
【０００４】
また、このように複数人の同時使用という環境を鑑みると、音声認識機能を備えた音声処理装置においては、各人の操作権限を考慮する必要もある。
すなわち、グループワークの場で、複数人の音声から主として話をしている会議参加者を特定できたとしても、会議における特定のコマンドに対しては、所定の権限を付与された会議参加者だけのコマンドが許可されるといった手続きをとった方が、会議の円滑な進行上望ましい場合が多い。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
解決しようとする問題点は、例えば複数の会議出席者が発する音声を認識して処理する場合に、複数の発話者の中から主として話をする会議出席者を特定し精度良く音声認識処理できない点である。また、複数の発話者の中から主として話をする会議出席者を特定し音声認識をする際に、会議出席者それぞれの権限に応じた音声認識処理ができない点である。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る第１の観点は、複数のマイクロフォンから音声信号を入力して処理する音声処理装置であって、前記音声信号に基づいて、一のマイクロフォンを選択するマイクロフォン選択手段と、前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号を、文字列データに変換する音声変換手段とを有する。
【０００７】
好適には、前記マイクロフォンは、単一指向特性を有する。
【０００８】
また、好適には、前記音声変換手段は、前記音声信号を保持するバッファと、前記音声信号に対応する文字列データを格納する文字列データメモリとを有し、前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号を、前記バッファに取り込み、前記選択されたマイクロフォンが変化するタイミングで、前記バッファに取り込んだ音声信号を前記文字列データメモリと照合して、合致する文字列データに変換する。
【０００９】
本発明に係る第２の観点は、複数のマイクロフォンから音声信号を入力して処理する音声処理装置であって、前記音声信号に基づいて、一のマイクロフォンを選択するマイクロフォン選択手段と、前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号を、命令コードに変換する音声変換手段と、前記マイクロフォン選択手段によって選択されたマイクロフォンから出力された音声信号に基づいて、声紋データを生成する声紋生成手段と、前記声紋データに基づいて、前記命令コードを処理する命令コード処理手段とを有する。
【００１０】
好適には、前記マイクロフォンは単一指向特性を有する。
【００１１】
また、好適には、前記声紋データと、前記命令コードが有効であるか否かについての命令権限データとが関連付けて格納される権限データメモリをさらに有し、前記命令コード処理手段は、前記声紋生成手段により生成された声紋データと前記権限データメモリとを参照し、前記音声変換手段により変換された命令コードが、前記声紋データに対して有効でない場合には、前記命令コードを処理しない。
【００１２】
本発明の第１の観点によれば、マイクロフォン選択手段は、複数のマイクロフォンを通して、該マイクロフォンからそれぞれ音声信号を入力し、入力した音声信号に基づいて一のマイクロフォンを選択し、そのマイクロフォンからの音声信号を出力する。音声変換手段は、マイクロフォン選択手段から入力した音声信号を文字列データに変換する。
【００１３】
音声変換手段が、音声信号を保持するバッファと、音声信号に対応する文字列データを格納する文字列データメモリとを有している場合は、マイクロフォン選択手段により選択されたマイクロフォンから出力された音声信号を前記バッファに取り込み、マイクロフォン選択手段により選択されるマイクロフォンが変化するタイミングで、前記バッファに取り込んだ音声信号を文字列データメモリと照合し、合致する文字列データに変換する。
【００１４】
本発明の第２の観点によれば、マイクロフォン選択手段は、複数のマイクロフォンを通して、該マイクロフォンからそれぞれ音声信号を入力し、入力した音声信号に基づいて一のマイクロフォンを選択し、そのマイクロフォンからの音声信号を出力する。音声変換手段は、マイクロフォン選択手段から入力した音声信号を、対応する命令コードに変換する。声紋生成手段は、マイクロフォン選択手段から出力された音声信号に基づいて、声紋データを生成する。命令コード処理手段は、声紋生成手段により生成された声紋データに基づいて、音声変換手段により変換された命令コードを処理する。
【００１５】
声紋データと、命令コードが有効であるか否かについての命令権限データとが関連付けて格納される権限データメモリをさらに有している場合は、命令コード処理手段は、声紋生成手段により生成された声紋データと前記権限データメモリとを参照し、音声変換手段により変換された命令コードが、前記声紋データに対して有効である場合に前記命令コードを処理する。
【発明の効果】
【００１６】
本発明は、音声によるコマンドを音声処理装置が認識して処理する場合に、複数のコマンドが重なって音声処理装置に入力されたときでも、主発話者を特定して処理するため、例えば複数人による会議において精度良く音声認識ができるという利点がある。
【発明を実施するための最良の形態】
【００１７】
後述する第１〜４の実施の形態においては、いずれについても以下説明する双方向通話部２が使用されているため、説明の便宜のため、まず、双方向通話部２の構成、動作について図１〜４を参照しながら詳説した後、各実施の形態について説明する。
【００１８】
双方向通話部２
図１は、双方向通話部２の回路ブロック図である。
図１のとおり、双方向通話部２の回路ブロック図は、Ａ／Ｄ変換器ブロック２１と、ＤＳＰ(Digtal Signal Proccessor)２２と、ＤＳＰ２３と、ＣＰＵ(Central Processing Unit) ２４と、コーデック２５と、Ｄ／Ａ変換器ブロック２６（Ｄ／Ａ変換器２６１，２６２）と、Ａ／Ｄ変換器２６３と、増幅器ブロック２７とを備えて構成されている。
【００１９】
双方向通話部２は、複数本のマイク、図１の例では６本の単一指向特性のマイクＭＣ１〜ＭＣ６から音声を入力する。単一指向特性のマイクは、マイクが置かれた位置の正面に強い指向性を示す。
【００２０】
ＣＰＵ２４は、双方向通話部２の全体の制御処理を行う。
コーデック２５は、音声を符号化する。
ＤＳＰ２２が詳細を後述する各種の信号処理、例えば、フィルタ処理、マイク選択処理などを行う。
ＤＳＰ２３は、エコーキャンセラーとして機能する。
図１においては、Ａ／Ｄ変換器ブロック２１の１例として、Ａ／Ｄ変換器２１１〜２１３を例示し、Ａ／Ｄ変換器の１例としてＡ／Ｄ変換器２６３を例示し、Ｄ／Ａ変換器ブロック２６の１例として、Ｄ／Ａ変換器２６１〜２６２を例示し、増幅器ブロック２７の１例として、増幅器２７１〜２７２を例示している。
【００２１】
それぞれ１対のマイクＭＣ１−ＭＣ４：ＭＣ２−ＭＣ５：ＭＣ３−ＭＣ６が、それぞれ２チャンネルのアナログ信号をディジタル信号に変換するＡ／Ｄ変換器２１１〜２１３に入力されている。
Ａ／Ｄ変換器２１１〜２１３で変換したマイクＭＣ１〜ＭＣ６の集音信号はＤＳＰ２２に入力されて、後述する各種の信号処理が行われる。
ＤＳＰ２２の処理結果の１つとして、マイクＭＣ１〜ＭＣ６のうちの１つが選択される。ＤＳＰ２２では、上述したマイクの単一指向特性を利用して、マイクの選択を行う。
【００２２】
ＤＳＰ２２の処理結果が、ＤＳＰ２３に出力されてエコーキャンセル処理が行われる。  ＤＳＰ２３の処理結果は、Ｄ／Ａ変換器２６１〜２６２でアナログ信号に変換される。Ｄ／Ａ変換器２６１からの出力が、必要に応じて、コーデック２５で符号化されて、増幅器２７１を介して出力される。
また、Ｄ／Ａ変換器２６２からの出力は、増幅器２７２を介してこの双方向通話部２のスピーカ２８から音として出力される。すなわち、双方向通話部２を使用する会議参加者等は、その会議室にいる発言者が発した音声を、スピーカ２８を介して聞くことができる。
双方向通話部２は、相手方の音声をＡ／Ｄ変換器２６３を介してＤＳＰ２３に入力し、エコーキャンセル処理を行う。また、相手方の音声は、図示しない径路でスピーカ２８に印加されて音として出力される。
【００２３】
なお、指向性のないマイクを用いた場合、マイク周辺の全ての音を集音するので、発言者の音声と周辺ノイズとのＳ／Ｎ(Signal to Noise) が良くない。これを避けるため、本実施の形態では、指向性マイクで集音することによって、周辺のノイズとのＳ／Ｎを改善している。
【００２４】
次に、ＤＳＰ２２で行う処理内容について述べる。
ＤＳＰ２２で行われる主な処理は、マイクの選択・切替え処理である。すなわち、双方向通話部２を使用する複数の会議参加者が同時に話をすると、音声が入り交じり相手方にとって聞きにくくなるため、選択されたマイクからの音声信号のみが、図１における信号Ｓ２７１として出力される。
本処理を正確に行うため、下記に例示する各種の信号処理を行う。
（ａ）マイク信号の帯域分離とレベル変換処理
（ｂ）発言の開始、終了の判定処理
（ｃ）発言者方向マイクの検出処理
各マイクの集音信号を分析し、発言者に対向しているマイクを判定する。
（ｄ）発言者方向マイクの切替えタイミング判定処理、及び、
検出された発言者に対向したマイク信号の選択切替え処理
【００２５】
以下、上述した各信号処理について説明する。
（ａ）マイク信号の帯域分離とレベル変換処理
マイク選択処理の開始のトリガの１つに発言の開始、終了の判定を行う。そのために、各マイク信号に対して、バンドパス・フィルタ（以下、ＢＰＦ）処理及びレベル変換処理を施す。
図２は、ＢＰＦ処理及びレベル変換処理について６つのマイクＭＣ１〜６のうち、１チャンネル（ＣＨ）についてのみ示した図である。
ＢＰＦ処理及びレベル変換処理回路は、マイクの集音信号を、ぞれぞれ１００〜６００Ｈｚ，１００〜２５０Ｈｚ，２５０〜６００Ｈｚ，６００〜１５００Ｈｚ，１５００〜４０００Ｈｚ，４０００〜７５００Ｈｚの帯域通過特性を持つＢＰＦ２２１ａ〜２２１ｆ（総称してＢＰＦブロック２２１）と、元のマイク集音信号及び上記帯域通過集音信号をレベル変換するレベル変換器２２２ａ〜２２２ｇ（総称してレベル変換ブロック２２２）とを有する。
各レベル変換器は、信号絶対値処理部２２３とピークホールド処理部２２４とを有する。従って、波形図を例示したように、信号絶対値処理部２２３は、破線で示した負の信号が入力されたとき符号を反転して正の信号に変換する。そして、ピークホールド処理部２２４は、信号絶対値処理部２２３の出力信号の絶対値を保持する。
【００２６】
（ｂ）発言の開始、終了の判定処理
ＤＳＰ２２は、図２に図解したマイク信号レベル変換処理部２２２ｂで音圧レベル変換された１００〜６００ＨｚのＢＰＦを通過した音圧レベルデータが所定値以上になった場合に発言開始と判定し、一定時間（例えば、０．５秒間）所定値以下になった場合に発言終了と判定する。
【００２７】
（ｃ）発言者方向マイクの検出処理
発言者方向の検出には、図３に例示した単一指向性マイクの特性を利用する。
単一指向性マイクは、発言者からマイクへの音声の到達角度により図３に例示したように、周波数特性やレベル特性が変化する。図３では、双方向通話部２の１．５メートルの距離にスピーカを置いて、各マイクが集音した音声を一定時間間隔でＦＦＴした結果を示す。Ｘ軸が周波数を、Ｙ軸が時間を、Ｚ軸が信号レベルを表している。ＸＹ平面上に特定の周波数毎に引かれた線は、図２を用いて説明したＢＰＦ処理のカットオフ周波数を表し、各線に挟まれた周波数帯域のレベルが、図２におけるＢＰＦ２２１ｂ〜２２１ｆを通してデータとなる。
【００２８】
このような各帯域のＢＰＦの出力レベルに対し、それぞれ適切な重み付け処理（例えば、1dBFs ステップであれば、0dBFs で０，-3dBFsで３とする）を行う。この重み付けのステップで処理の分解能が決まることになる。
１サンプルクロック毎に、上記の重み付け処理を実行し、各マイクの重み付けされた得点を加算し、一定サンプル数で平均して合計点の小さい（または大きい）マイク信号を発言者に対向したマイクと判定する。この結果をイメージ化したものが表１である。
表１の例では、一番合計点が小さいのはＭＩＣ１なので、マイク１方向に音源があると判定する。その結果を音源方向マイク番号という形で保持する。
【００２９】
【表１】
2005055666.tif 000003
【００３０】
（ｄ）発言者方向マイクの切替えタイミング判定処理、及び、
検出された発言者に対向したマイク信号の選択切替え処理
ある発言者（例えば、マイクＭＣ１）からの発言が終了し、新たに別の方向から発言（例えば、マイクＭＣ２）があった場合には、（ｂ）発言の開始、終了の判定処理において説明したように、前の発言者のマイク（ＭＣ１）信号レベルが所定値以下になってから一定時間（例えば、０．５秒間）経過後に、その発言者の発言は終了したと判断する。
そして、後の発言者の発言が開始されてマイク（ＭＣ２）信号レベルが所定値以上になった時には、後の発言者に対向したマイクを集音マイクと決定し、マイク信号選択切替え処理を開始する。
【００３１】
また、前の発言者（マイクＭＣ１）が発言継続中に新たに別の方向から、より大きい声の発言（後の発言者（マイクＭＣ２））があった場合、後の発言者の発言開始（マイクＭＣ２の信号レベルが所定値以上になった時）から一定時間（例えば、０．５秒間）以上経過してから、マイクの切替え判定処理を開始する。
マイクの切替え判定処理は、以下のように行う。
すなわち、前の発言者（マイクＭＣ１）の発言終了前に、現在選択されている発言者よりも大声で発言している発言者（マイクＭＣ２）がいた場合は、マイクＭＣ２からの音圧レベルが高くなるため、（ｃ）発言者方向マイクの検出処理において、ＭＣ１とＭＣ２の上記表１における得点が逆転し、音源方向マイク番号がマイクＭＣ１→２のとおり変更になると同時に、マイク信号選択切替え処理が行われる。
【００３２】
マイク信号の選択切替え処理では、図４に図解したように、６回路の乗算器と６入力の加算器で構成される。マイク信号を選択するためには、選択したいマイク信号が接続されている乗算器のチャンネルゲイン（CH Gain)を１に、その他の乗算器のチャンネルゲインを０とすることで、加算器には〔選択されたマイク信号×１〕と〔他のマイク信号×０〕の処理結果が加算されて所望のマイク選択信号が出力される。
なお、マイクが切り替わるときの前後のチャンネルゲイン（例えば、CH1 GainとCH2 Gain）の変化は、例えば１０ｍｓの間に徐々に行われる。
【００３３】
以上詳述したように、双方向通話部２によれば、指向性マイクの特性を利用し、発言者からの音声をＳ／Ｎ良く集音して、複数のマイク信号の中から適切に１のマイク信号を選択することが可能であり、選択したマイク信号と選択したマイク情報（１〜６のマイク番号）を、後段の装置に供給する。
【００３４】
第１の実施の形態
以下、第１の実施の形態における音声処理装置について説明する。
図５は、第１の実施の形態における音声処理装置１のブロック図である。
図５のとおり、音声処理装置１は、上述した双方向通話部２と音声認識処理装置３から構成される。
なお、本発明におけるマイクロフォン選択手段は、第１の実施の形態における双方向通話部２に対応する。
本発明における音声変換手段は、第１の実施の形態における音声認識処理装置３に対応する。
本発明における文字列データメモリは、第１の実施の形態における音声認識メモリ３２４に対応する。
【００３５】
第１の実施の形態において、音声処理装置１は、例えば会議室の円形テーブルの真ん中にセットされて使用される。
双方向通話部２は、上述したように、会議出席者に対向する複数本、例えば６本のマイクを備え、各会議出席者の音声を入力し、１本のマイク信号を選択して音声認識処理装置３に対して出力するとともに、選択したマイク番号を通知する。ここで、各会議出席者の音声は、例えば『Ｏｐｅｎ  Ｆｉｌｅ』，『Ｎｅｘｔ』等の２〜３秒程度の音声によるコマンドを想定している。
音声認識処理装置３は、双方向通話部２で選択されたマイク信号に対して、後述する所定の手順に従って音声認識処理を施し、文字列データに変換する。
【００３６】
なお、図５に示す音声処理装置１の双方向通話部２では、Ａ／Ｄ変換器ブロック２１が図１を用いて説明したような２ＣＨのＡ／Ｄ変換器ではなく、各マイク毎にそれぞれ１ＣＨのＡ／Ｄ変換器２１１〜２１６から構成されている。また、図５に示す音声処理装置１の双方向通話部２はスピーカ２８を使用しないため、その周辺部分及びエコーキャンセル処理を行うＤＳＰ２３を必要とせず、これらは図５においては記載されていない。
【００３７】
また、図５に示す音声処理装置１において、双方向通話部２と音声認識処理装置３を一体とした場合などでは、双方向通話部２で選択されたマイク信号Ｓ２６１は、アナログ信号として音声認識処理装置３に供給する必要がないため、点線で示したディジタル信号Ｓ２２として音声認識処理装置３に供給されるが、以下の説明ではアナログ信号（信号Ｓ２６１）として供給されるものとする。
また、上述したように、選択されたマイク情報（１〜６のマイク番号）は、ＭＣ＿ＳＥＬとして音声認識処理装置３に供給される。
【００３８】
音声認識処理装置３は、Ａ／Ｄ変換器３１と、音声認識処理部３２とから構成され、音声認識処理部３２は、ＣＰＵ３２１と、バッファ３２２と、音声認識部３２３と、音声認識メモリ３２４とを有する。
Ａ／Ｄ変換器３１は、双方向通話部２で選択されたアナログ信号であるマイク信号（Ｓ２６１）を入力し、ディジタル信号に変換する。
音声認識処理部３２は、Ａ／Ｄ変換器３１からディジタル化されたマイク信号を入力するとともに、双方向通話部２により選択されたマイク信号を入力する。従って、音声認識処理部３２には、双方向通話部２でマイクが切り替わった場合、それに応じて順次更新したマイク信号及びそのマイク情報（１〜６のマイク番号）ＭＣ＿ＳＥＬが供給される。
【００３９】
ＣＰＵ３２１は、音声認識処理部３２の全体の制御を行うとともに、特に後述する入力信号レベルの監視やマイク情報による切替え制御等を行う。
バッファ３２２は、マイク番号毎に複数のバッファを備えており、Ａ／Ｄ変換器３１により取り込んだ双方向通話部２のマイク信号を、マイク切替え信号ＭＣ＿ＳＥＬに基づいたマイク番号の各バッファに逐次保持する。
音声認識部３２３は、バッファ３２２で保持するマイク信号をマイク切替え信号ＭＣ＿ＳＥＬが切り替わるタイミングで取り込んで、音声認識処理を行う。
音声認識メモリ３２４には、あらかじめ入力する音声コマンドに対応する文字列データが格納されている。音声認識部３２３は、入力したマイク信号を音声認識処理し、音声認識メモリ３２４に格納されている音声コマンドに対応する文字列データを照合し、合致するものを選択する。
【００４０】
図６（Ａ）〜（Ｄ）は、音声認識処理部３２で行われる制御の動作について図解したタイミングチャートである。
図６（Ａ）は、双方向通話部２から供給されるマイク切替え信号ＭＣ＿ＳＥＬのタイミングチャートであり、例えば＃４と記載されている場合は、マイク番号４が現在選択されていることを示している。
図６（Ｂ）は、双方向通話部２から供給されるマイク信号Ｓ２６１のタイミングチャートである。マイク信号Ｓ２６１は、図６（Ａ）のマイク切替え信号ＭＣ＿ＳＥＬで示すマイク番号に対応した音声信号であり、Ａ／Ｄ変換器３１でディジタルに変換されて音声認識処理部３２に入力される。マイク信号Ｓ２６１は、図６（Ｂ）に記載されているとおり、”ＯｐｅｎＦｉｌｅ”，”Ｎｅｘｔ”といったコマンドの音声信号である。
図６（Ｃ）は、図６（Ａ）〜（Ｂ）で得られた情報をもとに音声認識処理部３２で行われる処理プロセスを示すタイミングチャートである。各音声データのバッファリングとバッファリング後の音声認識処理から構成される。
図６（Ｄ）は、図６（Ｃ）で示した音声認識処理の結果として順次出力される文字列データＳ３２のタイミングチャートである。
【００４１】
詳細はフローチャートを用いて後述するが、ここで音声認識処理部３２の動作の概略を図６を用いて説明する。
まず、図６（Ａ）のとおり、双方向通話部２で最初に選択されたマイク番号は＃４であり、マイク番号４の”Ｏｐｅｎ  Ｆｉｌｅ”という音声データＳ２６１が音声認識処理装置３に入力されている（図６（Ｂ））。音声認識処理部３２は、Ａ／Ｄ変換器３１を介して、信号Ｓ２６１の音声ディジタル信号を入力し、図６（Ｃ）のとおり、バッファリングを開始し、その音声データはバッファ３２２のマイク番号＃４に応じたバッファで保持される。
【００４２】
その後、双方向通話部２において選択マイクが変更になり、マイク番号が＃４から＃１になると、マイク切替え信号ＭＣ＿ＳＥＬ＝１となる。
図６（Ｂ）に示すとおり、マイク番号＃１の音声データは”Ｎｅｘｔ”に相当する音声データであり、音声認識処理部３２では、マイク番号＃４のバッファリングを終了し、新たにマイク番号＃１のバッファリングを開始するとともに、バッファに保持されたマイク番号＃４の音声データに基づいて、音声認識部３２３で音声認識処理を並行して行う。
音声認識処理では、マイク番号＃４の音声データが音声認識処理され、音声認識メモリ３２４に格納されている文字列データのコマンド群と照合され、合致するものが選択され、文字列データとしての”Ｏｐｅｎ  Ｆｉｌｅ”を、図６（Ｄ）のとおり信号Ｓ３２として出力される。
【００４３】
その後さらに、マイク番号が＃１から＃２へ変化しても同様である。
以上、概略説明した制御動作をフローチャートを参照してさらに説明する。
【００４４】
以下図７〜１０を用いて、ＣＰＵ３２１で行われる制御のフローチャートを説明する。  図７は、ＣＰＵ３２１で行われる制御のメインフローを示す図である。
図７において、まず、例えば２ｋＨｚのＴ１タイマがスタートし、５０μｓ毎に図８に示すＴ１タイマ割込みに移行する。そして、一定レベル以上の音声入力があれば（ステップＳＴ１１）、ステップＳＴ１２に移行する。この一定レベルの閾値は、アプリケーションに応じて適宜設定することができることは言うまでもない。
音声認識処理装置３はマイク切替え信号ＭＣ＿ＳＥＬが供給されているので、ステップＳＴ１１において一定レベル以上の音声入力があれば、その音声のマイク番号（１〜６）を把握している。従って、ステップＳＴ１２では、その入力音声データのサンプリングを開始し、その音声のマイク番号（１〜６）に応じたバッファに音声データを保持する。
一定レベル以上の音声入力がなければ、ステップＳＴ１２では何もしない。
【００４５】
図１０は、図７に示したメインフローを制御においてマイク選択情報が変化した場合の割込みフローを示した図である。すなわち、通常制御動作であるメインフローにおいて、双方向通話部２で選択されるマイク番号が変化して、その情報がマイク切替え信号ＭＣ＿ＳＥＬを通して通知された場合に発生する割込みフローであり、図６の例で言えば、本割込み以前にマイク番号４（マイク切替え信号ＭＣ＿ＳＥＬ＝４）の音声データをマイク番号４のバッファにサンプリングをして格納していたとき、マイク切替え信号ＭＣ＿ＳＥＬが４から１へ変化した場合である。
図１０のステップＳＴ４０において、音声サンプリングを行っていた場合は、それ以上バッファには音声データを格納しない。
この場合は、現在行っているマイク番号４からの発話入力は終了したものとみなし、サンプリングを終了する（ステップＳＴ４１）。
さらに、サンプリングが終了したマイク番号４の音声データは、音声認識部３２３に引き渡され、音声認識処理が行われる（ステップＳＴ４２）。図６の例では、音声認識部３２３において、マイク番号４の音声データは”Ｏｐｅｎ  Ｆｉｌｅ”と認識され、その文字列データが信号Ｓ３２として音声処理装置１の外部に出力される。
【００４６】
上述したように、図７におけるメインフローのステップＳＴ１０において、Ｔ１タイマが開始され、例えば５０μｓ（２０ｋＨｚ）毎に図８に示すＴ１タイマ割込みフローが開始される。Ｔ１タイマ割込みでは、５μｓ毎に音声入力があるか、および、一定レベル以上の音声入力があるか監視を行い、適切な処置を施す。まず、ステップＳＴ２０で音声サンプリングを行っていたか否かチェックされる。
音声サンプリングを行っていた場合は、さらに一定レベルの音声入力があるか否かチェックされ（ステップＳＴ２１）、一定レベルの音声入力がある場合には後述するＴ２タイマは停止する。Ｔ２タイマは発話がない状態を監視し、一定時間発話がない場合には自動的に次のフェーズである音声認識に移行するためのものである。
発話すなわち音声入力が一定レベル以上ある場合は、発話が継続していると考えられ、ステップＳＴ２２において、Ｔ２タイマはリセットされる。
また、ステップＳＴ２０で音声サンプリングを行っているが、一定レベル以上の音声入力がない場合には、現在の発話が終了した可能性があるため、発話がない状態の継続時間を監視するため、Ｔ２タイマをスタートさせる（ステップＳＴ２３）。
ステップＳＴ２１で一定レベル以上の音声入力がない場合でも、発話を再開する可能性があるため、音声サンプリングは継続する（ステップＳＴ２４）。
【００４７】
ステップＳＴ２０で音声サンプリングを行っていない場合は、ステップＳＴ２５で一定レベル以上の音声入力があるか否かがチェックされる。これにより、発話が開始された否かがチェックされ、一定レベル以上の音声入力がある場合は、発話が開始されたものとし、新しく選択されたマイクに対応したバッファに音声サンプリングが開始される（ステップＳＴ２６）。
ステップＳＴ２５で一定レベル以上の音声入力がない場合には、何もせず次の有効な発話を待つことになる。
【００４８】
図８のステップＳＴ２３で、例えば２ＨｚのＴ２タイマが開始され、一定時間経過した場合、すなわち、音声サンプリングは実施しているが（ステップＳＴ２０）、一定レベル以上の音声入力がない場合が一定時間継続した場合は、音声サンプリングを継続することは無駄であるため、図９に示すＴ２タイマ割込みフローに移行する。
すなわち、その時行っていた音声のサンプリングを終了し（ステップＳＴ３０）、音声認識処理に移行する（ステップＳＴ３１）。
音声認識処理に移行した後、ステップＳＴ３２において、次の発話の処理のため、Ｔ２タイマはリセットされる。
【００４９】
以上、本発明に係る音声処理装置の第１の実施の形態について説明した。
第１の実施の形態における音声処理装置１によれば、複数の会議出席者のそれぞれに対向したマイクを通して、複数人が重なって音声処理装置１に対して音声によりコマンドを発している場合でも、音声処理装置１が有する双方向通話部２の特徴により、各音声の帯域毎の音圧レベルを分析して、主の話者を特定して音声認識処理装置３にその音声信号を引き渡す。従って、音声認識処理装置３において、複数の音声コマンドが同時に入力された場合でも誤認識処理を起こす可能性を極力回避することができ、主に発話している音声コマンドを適切に判断・処理を行うことが可能である。
音声認識処理装置３は、引き渡された音声コマンド信号をバッファリングし、バッファリングした音声信号を音声認識処理し、音声認識メモリに格納されるコマンド文字列データと照合し、合致する文字列データを選択して処理される。
また、音声認識処理装置３は、双方向通話部２より選択されたマイク番号を逐次通知されている。従って、その選択されたマイク番号が切り替わった場合には、バッファリングを中止し、それまでバッファリングしていた音声信号を音声認識処理し、更新されたマイク番号からの音声コマンド信号のバッファリングを開始するので、音声認識の精度が向上する。
【００５０】
第２の実施の形態
次に、第２の実施の形態について図１１を参照しながら説明する。
図１１は、第２の実施の形態における音声処理装置１０のブロック図である。
図１１において、音声処理装置１０は、双方向通話部２と音声認識処理装置４から構成される。
第２の実施の形態において、音声処理装置１０は、例えば会議室の円形テーブルの真ん中にセットされて使用される。
第１の実施の形態同様、双方向通話部２が使用され、双方向通話部２は、会議出席者に対向する複数本、例えば６本のマイクを備え、各会議出席者の音声を入力し、既に説明したような手法により主発話者を特定し、１本のマイク信号を選択し、その音声信号とともに後段の音声認識処理装置４に供給する。
音声認識処理装置４では、双方向通話部２により選択されたマイク信号を音声認識及び声紋認識することにより、発言者を認識及び判断し、各会議出席者の役割設定に基づいて、発言者の指示コマンドに対して認証処理等を行う。
また、音声認識処理装置４では、各会議出席者の役割設定をインタラクティブに設定することができる。
【００５１】
双方向通話部２は、第１の実施の形態において詳述した双方向通話部２と同一である。第１の実施の形態における音声処理装置１では、双方向通話部２がスピーカ２８を使用しなかったため、エコーキャンセル機能を有するＤＳＰ２３を載せなかったが、本実施の形態においては、スピーカ２８を使用するため、図１を用いて説明した双方向通話部２と同一の構成を有する双方向通話部２が図１１に記載されている。
【００５２】
従って、本実施の形態における音声処理装置１０と第１の実施の形態における音声処理装置１の相違点は音声認識処理装置４にあるため、以下の説明においては音声認識処理装置４について主として行う。
以下、音声認識処理装置４の構成について説明する。
音声認識処理装置４は、Ａ／Ｄ変換器４１と、音声・声紋認識部４２と、制御処理部４３と、音声プロンプト格納部４４と、声紋・役割データ格納部４５と、音声合成処理部４６と、Ｄ／Ａ変換器４７とを有する。
また、音声・声紋認識部４２は、音声認識部４２１と声紋認識部４２２から構成される。
【００５３】
なお、本発明におけるマイクロフォン選択手段は、本実施の形態の双方向通話部２に対応する。
本発明における音声変換手段は、本実施の形態の音声認識部４２１に対応する。
本発明における声紋生成手段は、本実施の形態の声紋認識部４２２に対応する。
本発明における命令コード処理手段は、本実施の形態の制御処理部４３に対応する。
本発明における権限データメモリは、本実施の形態の声紋・役割データ格納部４５に対応する。
本発明における音声出力手段は、本実施の形態の音声合成処理部４６に対応する。
【００５４】
Ａ／Ｄ変換器４１は、双方向通話部２で選択されたマイク番号のマイク信号をアナログ信号として入力し、ディジタル変換を施す。
音声・声紋認識部４２は、Ａ／Ｄ変換器４１で生成された音声データを取り込み、音声認識及び声紋認識を行い、音声認識処理により文字列データを制御処理部４３に対して出力するとともに、声紋認識処理により得られた声紋データを声紋・役割データ格納部４５に格納する。音声認識及び声紋認識は、それぞれ音声認識部４２１及び声紋認識部４２２が担当する。
制御処理部４３は、ＣＰＵを内蔵し、音声認識処理装置４全体の制御を司る。また、特に後述する音声コマンドの実行権限認証処理を行う。
音声コマンドの実行権限認証処理とは、例えば各会議における役割とそれに応じた権限が予め定義されていた場合に、声紋データの割り付け処理によって各会議参加者に割り付けられた役割とそれに応じた権限に基づいて、会議参加者が発言するコマンドに対して認証処理を行い、許可された場合に限り、そのコマンドを処理する。
【００５５】
音声プロンプト格納部４４は、音声処理装置１０が会議参加者に対しスピーカ２８を通して発する音声を生成するための、音素や音節などの単位の音声プロンプトデータが格納されている。
声紋・役割データ格納部４５は、後述する役割テーブルデータと声紋テーブルデータが格納されている。これにより、制御処理部４３は、入力された音声コマンドを発した会議出席者を特定し、かつ各会議参加者の役割とそれに応じたコマンド権限を参照できる。
音声合成処理部４６では、音声プロンプト格納部４４に格納されている音素や音節などの単位の音声プロンプトデータが制御処理部４３経由で供給され、それらが合成処理された自然なアクセントやイントネーションが付された音声信号が生成される。
Ｄ／Ａ変換器４７は、音声合成処理部４６で生成されたアナログ音声信号をディジタルに変換して双方向通話部２に対して、信号Ｓ４７として出力される。
音声合成処理部４６で生成された音声信号は、双方向通話部２のＤＳＰ２３でエコーキャンセル処理が施された後、スピーカ２８を通して会議参加者に伝えられる。
【００５６】
なお、双方向通話部２と音声認識処理装置４が一体構成されている場合には、音声データをアナログ信号に変換する必要がないため、双方向通話部２におけるＤ／Ａ変換器２６１及びＡ／Ｄ変換器２６３、並びに音声認識処理装置４におけるＡ／Ｄ変換器４１及びＤ／Ａ変換器４７は必要ない。
【００５７】
以下、音声処理装置１０の動作について、実際の会議における進め方を例示しながら説明する。
本実施の形態においては、会議の参加者が発する音声処理装置１０に対するコマンドとして、例えば下記表１の中のコマンド欄に記載されているコマンド群が、あらかじめ音声認識処理装置４の声紋・役割データ格納部４５において定義されているものとする。
【００５８】
【表２】
2005055666.tif 000004
【００５９】
表２において、役割欄に記載されている共通、議長役等は、各会議出席者に割り付けられる役割である。そして、それぞれの役割にのみ許可されるコマンド群が設定されている。すなわち、各コマンドは、それぞれの役割が割り付けられた会議出席者のみが有効となる。
従って、例えば表２において、補佐役に割り付けられた会議出席者は、”Ｌｉｇｈｔ
Ｏｎ”及び”Ｌｉｇｈｔ  Ｏｆｆ”のコマンドを指示した場合に限り有効であり、議長役に割り付けられた会議出席者は、”Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ”，”Ｓｔａｒｔ
Ｒｅｃｏｒｄ”，”Ｓｔｏｐ  Ｒｅｃｏｒｄ”のコマンドを指示した場合に限り有効である。役割の欄で共通とは、会議出席者全員に対して権限が付与されていることを意味し、会議の任意の出席者がコマンド『Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ』を発話しても有効なものとして扱われる。
表２の内容欄は、各コマンドの意味する内容を示している。また、外部へ出力するか？の欄に対して、Ｙｅｓと記載されているコマンドは、そのコマンドに対するコマンドスクリプトを外部へ出力することを意味し、Ｎｏであるコマンドは、外部へ出力しないことを意味する。例えば、”Ｌｉｇｈｔ  Ｏｎ”のコマンドが指示されると、このコマンドは外部へ出力するコマンドであるため、そのコマンドスクリプトが音声処理装置１０の外部に出力され、図示しない室内照明を制御する外部の機器に対して、室内照明を点灯させる制御コマンドとなる。
【００６０】
次に、本実施の形態における表示制御部１０の動作について説明する。
本実施の形態においては、『Ｌｉｇｈｔ  Ｏｎ』，『Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ』といったコマンドが、例えば会議出席者により音声で発せられ、図１１において、双方向通話部２が有する６本のマイクＭＩＣ１〜６に入力される。
双方向通話部２では、入力された音声コマンドを処理し、Ｄ／Ａ変換器２６１を介してアナログ信号Ｓ２６１を音声認識処理装置４へ供給する。また、既に説明したように、双方向通話部２では６本のマイクＭＩＣ１〜６に複数の音声コマンドが入力された場合にも、帯域毎の音圧レベルを評価して相対的に音声レベルの高いマイクを１つ選択し、そのマイクからの入力音声コマンドを音声認識処理装置４へ供給する。
【００６１】
音声認識処理装置４に入力された音声コマンドのアナログ信号Ｓ２６１は、音声認識処理装置４のＡ／Ｄ変換器４１でディジタル信号に変換されて、音声・声紋認識部４２に取り込まれる。
音声・声紋認識部４２では、ディジタル化された音声コマンド信号の音声認識を行い、コマンドデータに変換し、制御処理部４３に対して出力する。さらに、音声・声紋認識部４２では、入力した音声コマンド信号の声紋認識処理を行い、その声紋データを制御処理部４３に対して出力する。
【００６２】
制御処理部４３では、まず音声・声紋認識部４２から入力した声紋データを声紋・役割データ格納部４５に格納されているデータと照合する。
ここで、本実施の形態においては、会議出席者の声紋データは、役割に対応した形であらかじめ声紋・役割データ格納部４５に声紋テーブルデータとして格納されている。従って、制御処理部４３は、入力した声紋データを声紋・役割データ格納部４５に格納されている声紋データと照合することで、そのコマンドを発した会議出席者を特定することができる。
【００６３】
声紋・役割データ格納部４５には、さらに、会議出席者の声紋データと各会議出席者の役割、及び各役割に対応する権限のあるコマンド群が、表２のような情報の役割テーブルデータが格納されている。
従って、制御処理部４３は、声紋・役割データ格納部４５を参照することで、コマンドを発した会議出席者だけでなく、その会議出席者に対してあらかじめ許可されたコマンド群を知ることができるので、そのコマンドが有効であるか否かを判断することができる。  コマンドが特定された会議出席者に対して有効である場合には、音声・声紋認識部４２で音声認識して変換されたコマンドデータを処理し、コマンドが有効でない場合には音声・声紋認識部４２で音声認識して変換されたコマンドデータは無視される。
さらに、声紋・役割データ格納部４５に格納された役割テーブルデータには、表２の外部へ出力するか否か（”Ｙｅｓ”，”Ｎｏ”）を示すフラグが含まれ、コマンド毎に定義されている。制御処理部４３はこのフラグを参照し、コマンドが有効であって、かつ外部出力が”Ｙｅｓ”を意味するフラグである場合には、コマンドデータを外部へ出力し、コマンドは有効であるが外部出力が”Ｎｏ”である場合には外部へ出力せず、内部でコマンドデータを処理する。
【００６４】
以上の処理を具体的な例を用いてさらに説明する。
例えば、Ａ氏〜Ｆ氏の６名で会議を行っているものとし、Ａ氏は補佐役である場合を想定する。Ａ氏の声紋データは事前に取得され、声紋・役割データ格納部４５に格納されている。
ここで、Ａ氏が『Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ』（音声）というコマンドを発すると、このコマンドはＡ氏に対向するマイクを介して音声処理装置１０に入力され、音声・声紋認識部４２に取り込まれて、”Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ”（コマンドデータ）に変換されたデータと声紋認識されて声紋データが、制御処理部４３に供給される。
制御処理部４３は、供給された声紋データと声紋・役割データ格納部４５に格納された声紋テーブルデータを照合した結果、入力した音声コマンドがＡ氏によるものであり、かつＡ氏は補佐役であることがわかる。そして、役割テーブルデータを参照すると、補佐役の権限に”Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ”というコマンドは含まれていないので、権限外コマンドであると判断して、音声・声紋認識部４２で音声認識して生成した”Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ”（コマンドデータ）を処理しない。
【００６５】
また、Ａ氏〜Ｆ氏のうち、複数人が重なってコマンドを発している場合には、双方向通話部２の特徴により、各音声の帯域毎の音圧レベルを分析して、１の話者を特定して音声認識処理装置４に音声信号を引き渡す。従って、音声認識処理装置４において、複数の音声コマンドが同時に入力されても誤作動を起こす可能性を極力回避することができ、適切に判断・処理を行うことが可能である。
【００６６】
以上、音声処理装置１０の構成及び動作について具体例を用いて説明した。
なお、本実施の形態は上記内容に拘泥せず、様々な変形が可能である。
例えば、役割テーブルデータ及び声紋テーブルデータが声紋・役割データ格納部４５にあらかじめ格納されているとしたが、制御処理部４３を通して適宜追加／変更／削除が可能である。また、音声プロンプト格納部４４も同様に、音声プロンプトデータの追加／削除が可能である。
【００６７】
以上説明したように、音声処理装置１０によれば、音声コマンドを入力し、その音声コマンドに対して音声認識及び声紋認識を施し、さらにあらかじめ設定された声紋テーブルデータにより、その音声コマンドの話者とその話者の役割を特定し、かつ役割テーブルデータにより、役割とそれに対応する許可されたコマンド群がわかるので、例えば話者の発した音声コマンドの権限に応じた処理が可能となる。
さらに、音声処理装置１０は双方向通話部２を有しているため、上述のとおり、複数の音声コマンドを入力した場合においても、誤検出・誤作動を極力回避することができ、適切に判断・処理を行うことができる。
【００６８】
第３の実施の形態
次に、第３の実施の形態について説明する。
第３の実施の形態における音声処理装置１０は、第２の実施の形態における音声処理装置１０をそのまま適用することができる。
第３の実施の形態においては、第２の実施の形態において説明した音声認識処理装置４における声紋・役割データ格納部４５の声紋テーブルデータを、例えば会議出席者と音声処理装置１０との双方向的（インタラクティブ）なやり取りの中で生成する。
従って、第２の実施の形態においては使用されない音声プロンプト格納部４４、音声合成処理部４６及びＤ／Ａ変換器４７等が、本実施の形態においては使用される。
【００６９】
既に述べたように、音声プロンプト格納部４４は、音声処理装置１０が会議参加者に対しスピーカ２８を通して発する音声を生成するための、音素や音節などの単位の音声プロンプトデータが格納され、音声合成処理部４６には、音声プロンプト格納部４４に格納されている音素や音節などの単位の音声プロンプトデータが制御処理部４３経由で供給される。音声合成処理部４６では、音声プロンプトデータを合成処理し、自然なアクセントやイントネーションが付された音声信号を生成する。
【００７０】
また、本実施の形態においては、第２の実施の形態における制御処理部４３に対し、制御処理部４３は声紋データの割り付け処理を行うことに特徴がある。
声紋データの割り付け処理とは、例えば、会議参加者の発言した音声のデータに基づく声紋データとその会議における会議参加者の役割データの割り付け処理であり、音声認識処理装置４では、信号Ｓ２６１を通して供給される双方向通話部２からの音声信号から、その音声信号元の会議参加者の役割が自動的に設定される。
以下、上記インタラクティブなやり取りの中での音声処理装置１０の動作を、実際の会議出席者と音声処理装置１０とのやり取りの例を用いて説明する。
【００７１】
まず、インタラクティブなやり取りを開始するときのトリガとなるコマンドをあらかじめ設定し、声紋・役割データ格納部４５の役割テーブルデータに格納しておく。例えば、上記表２では、”Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ”というコマンドが相当する。このコマンドの権限を持つ役割を共通とし、声紋テーブルデータにおいて、例えば会議出席者全員に対して役割を共通として設定しておけば、任意の会議出席者が、『Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ』（音声）と発しても、インタラクティブな処理の開始が許可されるようにすることができる。
このようなインタラクティブなやり取りのトリガとなるコマンドが、会議出席者から発せられると、音声認識処理装置４は、双方向通話部２を通してその音声コマンドをコマンド信号として取り込む。音声・声紋認識部４２は、そのコマンド信号に対して音声認識及び声紋認識を施し、コマンドデータと声紋データを制御処理部４３に供給する。
制御処理部４３では、入力した声紋データに基づいて、声紋・役割データ格納部４５を参照してその役割と権限を確認する。”Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ”のようなトリガとなるコマンドは上述のとおり全員に許可されているので、”Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ”（コマンド）が実行される。
【００７２】
”Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ”コマンドが実行されると、制御処理部４３は、例えば”議長はどなたでしょうか？”という音声データを生成するため、音声プロンプト格納部４４より、この音声データに相当する音素データや音節データなどの音声プロンプトデータを取り出し、それらを合成して音声データを作成するように、音声合成処理部４６を制御する。
音声合成処理部４６では、制御処理部４３経由で供給された音声プロンプトデータに基づいて音声合成を施し、”議長はどなたでしょうか？”に相当するディジタル信号を生成する。その場合、自然なアクセントやイントネーションが付されるように処理される。
”議長はどなたでしょうか？”に相当するディジタル信号は、直接ディジタル信号として、または、Ｄ／Ａ変換器４７及びＤ／Ａ変換器２６３により一度アナログ信号に変換されて、双方向通話部２のＤＳＰ２３でエコーキャンセル処理される。そして、図示しない増幅回路により増幅されて、スピーカ２８より会議出席者に、『議長はどなたでしょうか？』という音声が伝えられる。
【００７３】
この音声に対し、会議出席者の一人、例えばＢ氏が『それでは今日は私が進行役をやりましょう』と応答したとする。この音声も『Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ』と同様に処理されるが、この場合、音声・声紋認識部４２の声紋認識処理に基づいて、『それでは今日は私が進行役をやりましょう』の発言から、対応する声紋データが得られる。
制御処理部４３は、ここで議長役の役割にこのＢ氏の声紋データを関連付ける。すなわち、声紋・役割データ格納部４５の声紋テーブルデータに書き込みを行い、後述する表３のような設定を行い、Ｂ氏の声紋データと議長役という役割を関連付ける。
従って、以降は、Ｂ氏の発言するコマンドのうち、あらかじめ議長役に権限が付与されたコマンドについては処理が有効となる。
【００７４】
議長役がセットされると、議長役以外の役割を設定するため、音声認識処理装置４は、例えば『今日の会議を補佐するのはどなたですか？』といった質問をするための音声信号を、前述の『議長はどなたでしょうか？』と同様に、音声プロンプト格納部４４の音声プロンプトデータを音声合成処理部４６で合成処理して作成する。
【００７５】
以上説明した処理を行うことにより、例えば次に示すような音声処理装置１０と会議出席者とのインラクティブなやり取りを通じて、順に声紋テーブルデータに各人の役割と声紋データとを関連付けていく。
【００７６】
〈Ａ氏〉  『Ｓｔａｒｔ  Ｍｅｅｔｉｎｇ』
〈装置〉  『議長はどなたでしょうか？』
〈Ｂ氏〉  『それでは今日は私が進行役をやりましょう』
→Ｂ氏の声紋データに議長役が自動的に割り付けられる。
〈装置〉  『今日の会議を補佐するのはどなたですか？』
〈Ｃ氏〉  『私が担当します』
→Ｃ氏の声紋データに補佐役が自動的に割り付けられる。
〈Ｂ氏〉  『Ｎｅｘｔ  Ｐｒｅｓｅｎｔｅｒ』
〈装置〉  『これから説明をされる方はどなたですか？』
〈Ｄ氏〉  『私が説明します』
→Ｄ氏の声紋データに説明役が自動的に割り付けられる。
【００７７】
上述の音声処理装置１０と会議出席者とのインタラクティブなやり取りを通して、声紋・役割データ格納部４５には、下記表３のような声紋テーブルデータが生成される。
【００７８】
【表３】
2005055666.tif 000005
【００７９】
一旦声紋テーブルデータが作成されると、第２の実施の形態と同様な動作により、制御処理部４３において、下記に示す例のとおり、各役割に応じたコマンドの権限認証を行う。なお、下記の例におけるコマンドの内容は、表２に示した内容と同一である。
〈Ｄ氏〉  『Ｏｐｅｎ  Ｆｉｌｅ  Ｕｒｉａｇｅ』
→Ｕｒｉａｇｅファイルが説明用資料としてＰＣ上で開かれる。
〈Ｃ氏〉  『Ｌｉｇｈｔ  Ｏｆｆ』
→室内の照明がＯＦＦとなる。
〈Ｂ氏〉  『Ｓｔａｒｔ  Ｒｅｃｏｒｄ』
→議事録の記録が開始される。
〈Ｂ氏〉  『Ｌｉｇｈｔ  Ｏｎ』
→Ｂ氏にはこのコマンドを実行する権限はないので無視される。
【００８０】
上記の例において、音声処理装置１０は会議に設置されたＰＣに接続され、外部出力が有効な”Ｏｐｅｎ  Ｆｉｌｅ  Ｕｒｉａｇｅ”コマンドにより、ＰＣが制御された結果、Ｕｒｉａｇｅファイルが開かれる。
また、例えば会議出席者のＡ氏〜Ｆ氏のうち、複数人が重なってコマンドを発している場合には、双方向通話部２の特徴により、各音声の帯域毎の音圧レベルを分析して、１の話者を特定して音声認識処理装置４に音声信号を引き渡す。従って、音声認識処理装置４において、複数の音声コマンドが同時に入力されても誤作動を起こす可能性を極力回避することができ、適切に判断・処理を行うことが可能である。
【００８１】
以上、本実施の形態における音声処理装置１０の構成及び動作について具体例を用いて説明した。
以上説明したように、音声処理装置１０によれば、話者とのインタラクティブなやり取りの中で、話者の役割を設定することができる。
また、音声処理装置１０によれば、音声コマンドを入力し、その音声コマンドに対して音声認識及び声紋認識を施し、さらにインタラクティブなやり取りの中で設定された声紋テーブルデータにより、その音声コマンドの話者とその話者の役割を特定し、かつ役割テーブルデータにより、役割とそれに対応する許可されたコマンド群がわかるので、例えば話者の発した音声コマンドの権限に応じた処理が可能となる。
さらに、音声処理装置１０は双方向通話部２を有しているため、上述のとおり、複数の音声コマンドを入力した場合においても、誤検出・誤作動を極力回避することができ、適切に判断・処理を行うことができる。
【００８２】
第４の実施の形態
以下、第４の実施の形態における音声処理装置について説明する。
第４の実施の形態における音声処理装置は、第２及び３の実施の形態における音声処理装置１０と同様の構成である。
第４の実施の形態では、音声処理装置１０の音声・声紋認識部４２における音声認識処理をより高度に組むことにより、話者と音声処理装置１０との間のインタラクティブな役割設定プロセスを経ることなく、自然な会話の中から役割の付与と終了を行うことが可能となる。
【００８３】
【表４】
2005055666.tif 000006
【００８４】
例えば、表４の例では、『それでは会議を開始したいと思います』の”会議を開始”といった内容や、『では、説明させていただきます』の”説明”といった内容のキーワードを音声・声紋認識部４２が認識することで、それらのキーワードに対応する役割である議長役と説明役をそれぞれの発言者に割り付ける。すなわち、発言者から取得した声紋データを会議上の役割と関連付けて、声紋・役割データ格納部４５の声紋テーブルデータに格納する。
また、『ではこれで会議を終了します』の”会議を終了”のキーワードを音声認識して、例えば議長役の権限の付与を終了する。
このように、本実施の形態では、第３の実施の形態における音声処理装置１０を発展させて、自然な会話の中から役割の付与と終了を行うことが可能となる。
【図面の簡単な説明】
【００８５】
【図１】双方向通話部２のブロック図である。
【図２】双方向通話部２のＤＳＰ２２のブロック図である。
【図３】双方向通話部２の指向性マイクのＦＦＴ結果を示す図である。
【図４】双方向通話部２の選択マイク信号の出力を示す図である。
【図５】音声処理装置１のブロック図である。
【図６】音声処理装置１の動作を説明するためのタイミングチャートである。
【図７】音声処理装置１の動作を説明するためのフローチャートである。
【図８】音声処理装置１の動作を説明するためのフローチャートである。
【図９】音声処理装置１の動作を説明するためのフローチャートである。
【図１０】音声処理装置１の動作を説明するためのフローチャートである。
【図１１】音声処理装置１０のブロック図である。
【符号の説明】
【００８６】
１，１０…音声処理装置、２…双方向通話部、２１…Ａ／Ｄ変換器ブロック、２２…第１のディジタルシグナルプロセッサ（ＤＳＰ）、２３…第２のディジタルシグナルプロセッサ（ＤＳＰ）、２４…ＣＰＵ、２５…コーデック、２６…Ｄ／Ａ変換器ブロック、２７…増幅器ブロック、２８…スピーカ、３…音声認識処理装置３、３１…Ａ／Ｄ変換器、３２…音声認識処理部、３２１…ＣＰＵ、３２２…バッファ、３２３…音声認識部、３２４…音声認識メモリ、４…音声認識処理装置、４１…Ａ／Ｄ変換器、４２…音声・声紋認識部、４２１…音声認識部、４２２…声紋認識部４２２、４３…制御処理部、４４…音声プロンプト格納部、４５…声紋・役割データ格納部、４６…音声合成処理部、４７…Ｄ／Ａ変換器
【図１】
2005055666.tif 000007
【図２】
2005055666.tif 000008
【図３】
2005055666.tif 000009
【図４】
2005055666.tif 000010
【図５】
2005055666.tif 000011
【図６】
2005055666.tif 000012
【図７】
2005055666.tif 000013
【図８】
2005055666.tif 000014
【図９】
2005055666.tif 000015
【図１０】
2005055666.tif 000016
【図１１】
2005055666.tif 000017