(57)【要約】【課題】終話の検出精度を向上させることを目的とする。【解決手段】発話検出プログラムは、第１マイクロホンから取得した第１音声データに基づく第１音圧と第２マイクロホンから取得した第２音声データに基づく第２音圧とに基づいて発話開始を検出し、第１音圧と第２音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、第１音圧と第２音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、発話開始方向音圧を抑圧し、抑圧された発話開始方向音圧に基づいて、終話を検出する処理をコンピュータに実行させる。【選択図】図１０
2020091353.tif 000002
【特許請求の範囲】
【請求項１】
第１マイクロホンから取得した第１音声データに基づく第１音圧と第２マイクロホンから取得した第２音声データに基づく第２音圧とに基づいて発話開始を検出し、
前記第１音圧と前記第２音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、前記第１音圧と前記第２音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、前記発話開始方向音圧を抑圧し、
抑圧された前記発話開始方向音圧に基づいて、終話を検出する
処理をコンピュータに実行させるための発話検出プログラム。
【請求項２】
前記発話開始方向音圧に対する抑圧量は、前記第１マイクロホンおよび前記第２マイクロホンのうち発話開始の検出時点における音源方向に指向性を有するマイクロホンに、発話開始の検出時点における音源方向とは異なる方向から入力する音声に基づく音圧の推定値である
ことを特徴とする請求項１に記載の発話検出プログラム。
【請求項３】
前記発話開始方向音圧に対する抑圧量は、前記第１音声データと前記第２音声データとの類似度が大きい程、大きい値が設定される
ことを特徴とする請求項１に記載の発話検出プログラム。
【請求項４】
前記類似度として、前記第１音圧音声データと前記第２音圧音声データの周波数特性間の相関係数、内積、または共分散のいずれかを用いる
ことを特徴とする請求項３に記載の発話検出プログラム。
【請求項５】
前記第１音圧と前記第２音圧との音圧差に基づいて、前記第１音声データおよび前記第２音声データの音源方向を判定し、前記音源方向に基づいて言語を判定し、判定した言語により翻訳を実行させる指示を出力する
処理を前記コンピュータに実行させることを特徴とする請求項１乃至４のうち何れか１項に記載の発話検出プログラム。
【請求項６】
コンピュータが、
第１マイクロホンから取得した第１音声データに基づく第１音圧と第２マイクロホンから取得した第２音声データに基づく第２音圧とに基づいて発話開始を検出し、
前記第１音圧と前記第２音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、前記第１音圧と前記第２音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、前記発話開始方向音圧を抑圧し、
抑圧された前記発話開始方向音圧に基づいて、終話を検出する
処理を実行することを特徴とする発話検出方法。
【請求項７】
第１マイクロホンから取得した第１音声データに基づく第１音圧と第２マイクロホンから取得した第２音声データに基づく第２音圧とに基づいて発話開始を検出する発話検出部と、
前記第１音圧と前記第２音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、前記第１音圧と前記第２音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、前記発話開始方向音圧を抑圧する抑圧部と、を備え、
前記発話検出部は、抑圧された前記発話開始方向音圧に基づいて、終話を検出する
ことを特徴とする発話検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話検出プログラム、発話検出方法、および発話検出装置に関する。
【背景技術】
【０００２】
医療現場等で音声翻訳システムを利用する場合、作業者の両手が塞がるケースがあり、ボタン操作が難しいため、音声で操作可能であることが好ましい。そこで、マイクロホンにより各作業者の音声を取得し、自動で発話区間を検出し、発話区間の音声データに対して音声認識および翻訳を行う技術が用いられている。
【０００３】
関連する技術として、音源の方向以外の音声を抑圧し、音源の方向の音質を高める技術が提案されている（例えば、特許文献１を参照）。
【０００４】
関連する技術として、発話区間の終端から次の発話区間の先端までの期間より短い期間であって、発話区間の終端を基準とした位置から所定期間の間、雑音の抑制量が他の区間より大きくなるように補正する技術が提案されている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２２７１９９号公報
【特許文献２】特開２０１７−６７８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
発話区間を検出する場合、発話方向とは別の方向から雑音が発生した場合、雑音により音圧が増加するため、終話（発話の終了）の検出タイミングが実際の終話のタイミングより遅れる可能性がある。例えば、ある話者の発話が終わる前に他の話者が話し始めた場合、他の話者の音声（雑音）により音圧が増加するため、先に発話した話者の終話検出タイミングが遅れる可能性がある。終話検出タイミングが遅れると、音声認識および翻訳結果の出力が遅くなるため、ユーザを待たせることとなる。
【０００７】
１つの側面として、本発明は、終話の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
１つの態様では、発話検出プログラムは、第１マイクロホンから取得した第１音声データに基づく第１音圧と第２マイクロホンから取得した第２音声データに基づく第２音圧とに基づいて発話開始を検出し、前記第１音圧と前記第２音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、前記第１音圧と前記第２音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、前記発話開始方向音圧を抑圧し、抑圧された前記発話開始方向音圧に基づいて、終話を検出する処理をコンピュータに実行させる。
【発明の効果】
【０００９】
１つの側面によれば、終話の検出精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】発話検出システムの構成の一例を示す図である。
【図２】発話検出から翻訳結果出力までの動作の一例を示す図である。
【図３】終話検出を誤る第１の例を示す図である。
【図４】終話検出を誤る第２の例を示す図である。
【図５】実施形態のシステムの一例を示す機能ブロック図である。
【図６】発話検出部の構成の一例を示す図である。
【図７】抑圧処理結果の一例を示す図である。
【図８】予備実験における音源方向と音圧差の関係の一例を示す図である。
【図９】処理中のフレームにおける抑圧量βと、Ｌｃｈの周波数特性とＲｃｈの周波数特性間の類似度としての相関係数との関係の一例を示す図である。
【図１０】実施形態における発話検出装置の処理の一例を示すフローチャートである。
【図１１】実施形態におけるサーバの処理の一例を示すフローチャートである。
【図１２】発話検出装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態について説明する。図１は、発話検出システムの構成の一例を示す図である。図１は、指向性を有する第１マイクロホン１（Ｌｃｈ）および指向性を有する第２マイクロホン２（Ｒｃｈ）が接続された端末３が設置されている。また、端末３は、ネットワーク５を介してサーバ４と通信を行うことが可能である。第１マイクロホン１の指向性に応じた方向に英語話者が存在し、第２マイクロホン２の指向性に応じた方向に日本語話者が存在する。
【００１２】
以下、第１マイクロホン１（Ｌｃｈ）から取得した音声データに基づく音圧をＬｃｈ音圧と称し、第２マイクロホン２（Ｒｃｈ）から取得した音声データに基づく音圧をＲｃｈ音圧と称する。図１に示す例では、端末３は、Ｌｃｈ音圧とＲｃｈ音圧に基づいて発話開始を検出する。そして、端末３は、Ｌｃｈ音圧とＲｃｈ音圧との音圧差に基づいて、音源が日本語話者であるか英語話者であるかを推定する。端末３は、例えば、Ｌｃｈ音圧がＲｃｈ音圧より大きい場合に英語話者が発声していると判定し、Ｒｃｈ音圧がＬｃｈ音圧より大きい場合に日本語話者が発声していると判定する。
【００１３】
そして、端末３、または端末３と通信可能なサーバ４が、判定された話者の言語に基づいて、音声認識および翻訳を実行する。
【００１４】
図２は、発話検出から翻訳結果出力までの動作の一例を示す図である。図２に示す動作は、図１に示す構成において、Ｌｃｈ側に存在する英語話者が発話した場合の動作例を示している。
【００１５】
図２には、Ｌｃｈから取得した音声データに基づくＬｃｈ音圧とＲｃｈ側から取得した音声データに基づくＲｃｈ音圧とが示されている。図１に示す例において英語話者が発話した場合、Ｌｃｈだけでなく、Ｒｃｈにも音声が回り込んで入力するため、端末３は、ＬｃｈとＲｃｈの両側から発話を検出する可能性がある。
【００１６】
端末３は、Ｌｃｈ音圧とＲｃｈ音圧との音圧差を算出し、例えばＬｃｈ音圧がＲｃｈ音圧より大きい場合、Ｌｃｈ側に存在する英語話者からの発話であると判定する。この場合、端末３は、音源（英語話者）の方向に指向性を有するＬｃｈからの音声データの発話検出を継続し、音源の方向に指向性を有していないＲｃｈからの音声データの発話検出を終了する。そして、端末３は、言語が英語であることを示す判定結果とともにＬｃｈから取得した音声データをサーバ４に送信する。
【００１７】
サーバ４は、音声データを受信し、判定結果に基づき英語による音声認識を実行する。図２に示すように、サーバ４は、音声データの受信と音声認識とを並列で実行してもよい。サーバ４は、音声認識の実行後、翻訳および音声合成を行い、翻訳結果を音声として端末３に出力する。
【００１８】
図２に示す例において、発話区間の終了（終話）から翻訳結果の出力までの応答時間は、ユーザが翻訳結果を待つ時間に相当するため、応答時間を短くすることが好ましい。
【００１９】
図３は、終話検出を誤る第１の例を示す図である。図３は、英語話者が発話を開始し、英語話者の発話が終わる前に日本語話者が話し始めた場合の、Ｌｃｈ側から取得した音声データに基づくＬｃｈ音圧を示している。日本語話者の発声は、雑音の一例である。
【００２０】
図３に示す例において、英語話者が話し始めた直後のタイミングで、端末３が発話を検出したとする。その後、英語話者の発話が終わる前に日本語話者が話し始めたことにより、英語話者の発話が終わったタイミングでは音圧が発話検出閾値未満にならず、端末３が実際の終話位置で終話を検出しなかったとする。そして、英語話者の発話が終わってから遅れて、Ｌｃｈ音圧が発話検出閾値未満となった場合、端末３は、終話を検出する。すなわち、図３に示すケースでは、端末３は誤ったタイミングで終話を検出し、終話検出のタイミングが実際の終話タイミングより遅れている。
【００２１】
図４は、終話検出を誤る第２の例を示す図である。図４は、図３に示す例と同様に英語話者が発話を開始し、英語話者の発話が終わる前に日本語話者が話し始めた場合のＬｃｈ音圧とＲｃｈ音圧を示している。
【００２２】
図４に示す例では、Ｒｃｈ音圧がＬｃｈ音圧を上回った場合、Ｌｃｈ音圧を棄却する（０に設定する）。そのため、Ｒｃｈ音圧がＬｃｈ音圧を上回った時点でＬｃｈ音圧が発話検出閾値未満となり、端末３は、終話を検出する。この場合、端末３は、実際の終話タイミングより早いタイミングで終話を検出してしまう。
【００２３】
図５は、実施形態のシステムの一例を示す機能ブロック図である。実施形態のシステムは、第１マイクロホン１と、第２マイクロホン２と、サーバ４と、発話検出装置６とを含む。
【００２４】
発話検出装置６は、音声格納部１１と音圧算出部１２と音圧差算出部１３と判定部１４と抑圧部１５と発話検出部１６と出力部１７とを含む。発話検出装置６は、例えば、スマートフォン、またはタブレット端末等である。発話検出装置６は、コンピュータの一例である。
【００２５】
サーバ４は、音声認識部１８と翻訳部１９とを含む。なお、音声認識部１８および翻訳部１９は、発話検出装置６に含まれていてもよい。
【００２６】
第１マイクロホン１および第２マイクロホン２は、指向性を有する。第１マイクロホン１および第２マイクロホン２は、それぞれ異なる方向の音を検出するように設置されている。発話検出装置６は、図１における端末３に相当し、例えば、第１マイクロホン１の指向性に応じた方向に英語話者が存在し、第２マイクロホン２の指向性に応じた方向に日本語話者が存在する。
【００２７】
音声格納部１１は、第１マイクロホン１から取得した第１音声データと、第２マイクホン２から取得した第２音声データとを格納する。音声格納部１１は、第１音声データと第２音声データとを出力部１７に送る。
【００２８】
音圧算出部１２は、第１音声データに基づく音圧（Ｌｃｈ音圧）と、第２音声データに基づく音圧（Ｒｃｈ音圧）を算出し、音圧差算出部１３と抑圧部１５に出力する。音圧算出部は、例えば、Ｌｃｈ音圧を第１抑圧部１５−１に出力し、Ｒｃｈ音圧を第２抑圧部１５−２に出力する。
【００２９】
音圧差算出部１３は、音圧算出部１２から取得したＬｃｈ音圧とＲｃｈ音圧との音圧差を算出する。なお、Ｌｃｈ音圧は、第１音圧の一例であり、Ｒｃｈ音圧は、第２音圧の一例である。Ｌｃｈ音圧をＰＬとし、Ｒｃｈ音圧をＰＲとした場合、音圧差Ｄは、例えば、以下の式のように表される。なお、ＰＬ＝ＰＲである場合、音圧差は０となる。
Ｄ＝ＰＬ−ＰＲ  （１）（発話方向の判定前）
Ｄ＝ＰＬ−ＰＲ  （２）（発話方向がＬｃｈ側であると判定された場合）
Ｄ＝ＰＲ−ＰＬ  （３）（発話方向がＲｃｈ側であると判定された場合）
【００３０】
判定部１４は、発話開始の検出時点におけるＬｃｈ音圧とＲｃｈ音圧との音圧差に基づいて、第１音声データおよび第２音声データの音源方向を判定する。また、判定部１４は、音源方向に基づいて言語を判定し、判定した言語により音声認識および翻訳を実行させる指示を、出力部１７を介してサーバ４に出力する。
【００３１】
判定部１４は、例えば、上記式（１）を用いた場合、Ｄ＞０（ＰＲ＜ＰＬ）であれば、第１マイクロホン１の指向性に応じた方向（図１における英語話者が存在する方向）が音源方向であり、言語が英語である判定する。また、Ｄ＜０（ＰＬ＜ＰＲ）であれば、第２マイクロホン２の指向性に応じた方向（図１における日本語話者が存在する方向）が音源方向であり、言語が日本語である判定する。なお、音源方向と言語との対応関係は予め記憶されており、判定部１４は、音源方向と、その対応関係に基づいて言語を判定してもよい。判定部１４は、言語判定した言語により音声認識、翻訳を実行させる指示を、出力部１７を介してサーバ４に出力する。例えば、判定結果が日本語である場合、音声認識は日本語で実行するように指示し、”日本語から英語へ“という言語対（何語から何語への翻訳を行うかを示す２言語の対）で翻訳を行うように指示する。ここで翻訳結果が英語であるのは、本実施形態では音源方向と逆のマイクロホンに対応する言語が英語であるからであり、各マイクロホン方向にいる話者間での会話を前提としているためである。この話者間での会話を前提とせず、特定の言語に翻訳する場合、判定部１４が翻訳先の言語を保持しておく構成でも良い。
【００３２】
なお、Ｌｃｈ音圧とＲｃｈ音圧のうち発話開始の検出時点で大きい音圧を発話開始方向音圧と称する。上記式（１）を用いた場合、Ｄ＞０（ＰＲ＜ＰＬ）であれば、Ｌｃｈ音圧ＰＬが発話開始方向音圧であり、Ｒｃｈ音圧ＰＲが非発話開始方向音圧である。
【００３３】
例えば、図１に示す例において、第１マイクロホン１の指向性に応じた方向が音源方向であると判定した場合、判定部１４は、音声認識および翻訳に用いる言語の判定結果として英語を出力する。例えば、図１に示す例において、第２マイクロホン２の指向性に応じた方向が音源方向であれば、判定部１４は、音声認識に用いる言語の判定結果として日本語を出力する。
【００３４】
抑圧部１５は、音圧算出部１２からＬｃｈ音圧とＲｃｈ音圧とを取得する。抑圧部１５−１は、Ｌｃｈ音圧に対する抑圧処理を行う。抑圧部１５−２は、Ｒｃｈ音圧に対する抑圧処理を行う。
【００３５】
抑圧部１５は、Ｌｃｈ音圧とＲｃｈ音圧のうち発話開始の検出時点で大きい音圧である発話開始方向音圧が、Ｌｃｈ音圧とＲｃｈ音圧のうち発話開始の検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、発話開始方向音圧を抑圧する。抑圧部１５は、例えば、発話開始方向音圧から所定の抑圧量βを減算することにより発話開始方向音圧を抑圧し、減算後の値を発話検出部１６に出力する。また、抑圧部１５は、抑圧を行わない場合、音圧算出部１２から取得した音圧をそのまま発話検出部１６に出力する。
【００３６】
発話検出部１６は、音圧算出部１２が出力した、第１マイクロホン１から取得した第１音声データに基づくＬｃｈ音圧と第２マイクロホン２から取得した第２音声データに基づくＲｃｈ音圧とに基づいて発話開始を検出する。発話検出部１６は、発話開始の検出後に、抑圧部１５が抑圧処理を行った場合、抑圧された音圧に基づいて発話検出を行い、発話区間を示す情報を出力部１７に送る。第１発話検出部１６−１は、Ｌｃｈ音圧に対して発話検出を行う。第２発話検出部１６−２は、Ｒｃｈ音圧に対して発話検出を行う。
【００３７】
発話検出部１６は、判定部１４からの方向判定結果を受信した場合、指向性の方向が音源方向であるマイクロホンからの音声データの発話検出を継続し、指向性の方向が音源方向ではないマイクロホンからの音声データの発話検出を停止する。図１に示す例では、音源が英語話者であると判定された場合、Ｌｃｈ音圧に対する発話検出を継続し、Ｒｃｈ音圧の発話検出を停止する。なお、発話検出部１６の処理について、詳細は後述する。
【００３８】
出力部１７は、判定部１４の判定結果を受信後、判定結果に対応するチャンネルの音声データのうち、発話検出部１６から受信した発話区間の部分に相当するデータを音声格納部１１より読み出し、音声認識部１８に、判定部１４から受信した言語判定結果と共に出力する。また、出力部１７は、判定部１４から送られた言語対（何語から何語に翻訳するかを示す２つの言語の対）と翻訳指示をサーバ４に出力する。
【００３９】
音声認識部１８は、出力部１７から受信した発話区間の音声データを、同じく出力部１７から受信した言語判定結果が示す言語により、音声認識を実行する。
【００４０】
翻訳部１９は、音声認識部１８の音声処理結果に対して、翻訳処理を行う。翻訳部１９は、言語判定結果に応じて出力部１７から送信されてきた言語対に応じて、翻訳処理を行う。
【００４１】
図６は、発話検出部１６の構成の一例を示す図である。なお、図６では、第１発話検出部１６−１の詳細な構成を示しているが、第２発話検出部１６−２の構成も同様であるとする。第１発話検出部１６−１は、雑音音圧推定部２２と、信号対雑音比推定部２３と、有音判定部２４と、ピッチゲイン算出部２５と、発話区間検出部２６とを含む。以下、信号対雑音比をＳＮＲ(Signal-Noise Ratio)と記載することがある。
【００４２】
発話検出部１６は、抑圧部１５から受信した音圧に対して発話検出を実行する。フレーム長は、例えば、10msec〜20msecに設定される。発話検出部１６は、音声データを設定したフレーム長毎に分割して、処理を行う。
【００４３】
雑音音圧推定部２２は、取得した音圧に基づいて、推定雑音成分をフレームごとに算出する。信号対雑音比推定部２３は、抑圧部１５から取得した音圧と、雑音音圧推定部２２から入力した雑音音圧に基づいて、ＳＮＲを算出する。有音判定部２４は、信号対雑音比推定部２３から入力したＳＮＲと予め設定されたＳＮＲ閾値とを比較して、ＳＮＲがＳＮＲ閾値以上である場合、有音であると判定する。そして、有音判定部２４は、音声データが有音か無音かを示す判定結果をピッチゲイン算出部２５に出力する。
【００４４】
ピッチゲイン算出部２５は、有音区間に含まれる各フレームについて、音の周期性の強さを表すピッチゲインを算出し、ピッチゲインを発話検出部２６に出力する。
【００４５】
発話区間検出部２６は、有音区間内の各フレームについて、ピッチゲインを発話間検出用の閾値と比較して、発話区間を検出する。例えば、発話区間検出部２６は、話者が発話していない非発話区間が継続している状態でピッチゲインが第１のピッチゲイン閾値以上となったタイミングを、話者が発話している区間を示す発話区間の開始タイミングとして検出する。また、発話区間検出部２６は、発話区間が継続している状態で、ピッチゲインが第１のピッチゲイン閾値よりも小さい第２のピッチゲイン閾値未満となったタイミングを、発話区間の終了タイミングとして検出する。発話区間検出部２６は、検出精度向上のため、開始タイミングについて第１のピッチゲイン閾値を越えた状態が所定フレーム数継続することを検出の条件とし、終了タイミングについて第２のピッチゲイン閾値未満の状態が所定フレーム数継続することを、検出の条件としてもよい。この場合、開始タイミングは第１のピッチゲイン閾値を越え始めたフレームとなる。
【００４６】
発話区間検出部２６は、検出した発話区間情報を出力する。例えば、発話区間検出部２６は、フレームが発話区間開始タイミングを検出した場合、発話開始を検出済みであることとして開始タイミングを出力する。また、発話区間検出部２６は、発話区間終了タイミングを検出した場合、発話区間終了タイミングを発話区間情報として出力する。
【００４７】
図７は、抑圧処理結果の一例を示す図である。図７は、図３、図４に示す例と同様に、英語話者が発話を開始し、英語話者の発話が終わる前に日本語話者が話し始めた場合におけるＬｃｈ音圧およびＲｃｈ音圧を示している。雑音音圧は、日本語話者の発話による音圧に相当する。上述のように、抑圧部１５は、Ｌｃｈ音圧とＲｃｈ音圧のうち発話開始検出時点で大きい音圧である発話開始方向音圧が、Ｌｃｈ音圧とＲｃｈ音圧のうち発話開始検出時点で小さい音圧である非発話開始方向音圧より小さくなった場合、発話開始方向音圧を抑圧する。
【００４８】
発話開始の検出時点では、英語話者が発話し、日本語話者が発話していない。よって、Ｌｃｈ音圧がＲｃｈ音圧より大きいため、Ｌｃｈ音圧が発話開始方向音圧となり、Ｒｃｈ音圧が非発話開始方向音圧となる。その後、日本語話者が発話を開始し、英語話者の発話検出から所定時間後のＴ１の時点で発話開始方向音圧が非発話開始方向音圧より小さくなったため、抑圧部１５は、抑圧処理を開始する。抑圧部１５は、例えば、フレーム毎のＬｃｈ音圧から所定値βを減算することにより抑圧し、抑圧後の音圧を発話検出部１６に出力する。発話検出部１６は、抑圧された発話開始方向音圧に基づいて、終話を検出する。
【００４９】
図７に示す例では、英語話者の発話が終わるタイミングで抑圧後のＬｃｈ音圧が発話検出閾値未満となり、発話検出部１６は、正しいタイミングで終話を検出することができる。
【００５０】
次に、抑圧量βの算出方法の第１の例を説明する。運用時における音圧差Ｄは、上述のようにＰＬ−ＰＲであるとする。Ｌｃｈ音圧ＰＬのうち、音声による音圧をＳＬとし、雑音による音圧をＮＬとする。また、Ｒｃｈ音圧ＰＲのうち、音声による音圧をＳＲとし、雑音による音圧をＮＲとする。Ｌｃｈ音圧ＰＬ、Ｒｃｈ音圧ＰＲは、以下の式（４）、（５）のように表される。
ＰＬ＝ＳＬ＋ＮＬ  （４）
ＰＲ＝ＳＲ＋ＮＲ  （５）
【００５１】
ＮＬ、ＮRは夫々第１発話検出部１６−１、第２発話検出部１６−２の雑音音圧推定部２２で推定された雑音音圧値である。
【００５２】
また、運用時における音声による音圧の音圧差ＤＳは、以下の式（６）のように表される。
ＤＳ＝ＳＬ−ＳＲ＝（ＰＬ−ＮＬ）−（ＰＲ−ＮＲ）  （６）
【００５３】
図８は、予備実験における音源方向と音圧差の関係の一例を示す図である。図８は、具体的には、事前の予備実験において、暗騒音が無視できる静かな環境で、端末に対する音源の方向を少しずつずらしながら音源から試験音声を再生した場合における、音源方向毎の音圧差を示している。なお、音源の音圧は、暗騒音より十分大きい音圧（例えば、暗騒音より２０ｄＢ大きい音圧、または暗騒音の１００倍の音圧）であるとする。またマイクロホンから音源までの距離は、使用時に想定される距離（例えば、８０ｃｍ）であるとする。また、予備実験での音源は一つであるとする。
【００５４】
音源方向をθとした場合、予備実験におけるＬｃｈ音圧をＰＬ（θ）と表し、予備実験におけるＲｃｈ音圧をＰＲ（θ）と表す。また、予備実験におけるＬｃｈ側の雑音音圧の所定時間内での平均値をＮＬＡとし、Ｒｃｈ側の雑音音圧の所定時間内での平均値をＮＲＡとする。予備実験における音声による音圧の音圧差ＤＳ（θ）は、以下の式のように表される。図８に示すグラフの音圧差は、以下の式（７）により算出された音圧差ＤＳ（θ）を示している。
ＤＳ（θ）＝ＳＬ（θ）−ＳＲ（θ）＝（ＰＬ（θ）−ＮＬＡ）−（ＰＲ（θ）−ＮＲＡ）  （７）
【００５５】
音源が一つであり、Ｒｃｈ方向に音源が存在すると仮定した場合、Ｌｃｈ音圧ＰＬは、音声がＬｃｈ側に回り込んだ音声の音圧と雑音音圧ＮＬの和であるとみなせる。発話開始の検出時点で大きい音圧である発話開始方向音圧がＬｃｈ音圧である場合、抑圧量βは、予備実験における音圧差ＤＳ（θ）を用いると、以下の式（８）のように表される。
β＝ＳＲ＋ＤＳ（θ）＝ＰＲ−ＮＲ＋ＤＳ（θ）  （８）
【００５６】
式（８）に示すβは、発話開始の検出時点における音源方向に指向性を有するＬｃｈに、発話開始の検出時点において音源方向とは異なる方向であるＲｃｈ方向から入力する音声に基づく音圧の推定量を示す。すなわち、式（８）に示すβは、Ｒｃｈが指向性を有する方向から、Ｌｃｈが指向性を有する方向に回りこむ音声による音圧の推定量である。抑圧部１５は、ＰＬから、上記（８）で計算したβを減算することにより、抑圧処理を行う。
【００５７】
なお、上述のように、運用時における雑音による音圧をＮＲ、ＮＬとし、事前実験における雑音音圧の平均値をＮＬＡ、ＮＲＡとしたが、十分に静かな環境（ＳＮＲが十分に高い環境）では、ＮＲ、ＮＬ、ＮＬＡ、ＮＲＡを無視してもよい。例えば、ＳＮＲ≧２０ｄＢの場合、発話による音圧に対する雑音の影響は、高々１％程度になると考えられ、影響が小さいため、無視してもよい。その場合、抑圧部１５は、上記の各式において、ＮＲ、ＮＬ、ＮＬＡ、ＮＲＡを０として計算を行う。
【００５８】
次に、抑圧量βの算出方法の第２の例を説明する。図９は、処理中のフレームにおける抑圧量βと、Ｌｃｈの周波数特性とＲｃｈの周波数特性間の類似度としての相関係数との関係の一例を示す図である。図９に示すように抑圧量βは、ＬｃｈとＲｃｈの周波数特性間の相関係数が大きい程大きい値が設定される。
【００５９】
相関係数Ｃは以下の式（９）のように表される。式（９）において、Ｆｌ(f)は、Ｌｃｈの周波数帯域ｆのパワースペクトルであり、Ｆｒ(ｆ)は、Ｒｃｈの周波数帯域fのパワースペクトルである。また、ｆ＝０〜Ｆ−１であり、Ｆ＝フレーム分析窓幅／２であるとする。
【００６０】
【数１】
2020091353.tif 000003
【００６１】
相関係数が小さい場合、ＬｃｈとＲｃｈの両方向の話者が発話していると考えられる。すなわち、先に発話した話者の話が終わっていないことが考えられるため、抑圧しすぎないように抑圧量は低く設定される。一方、相関係数が大きい場合、一人の話者が発話していると考えられる。この場合、先に発話した話者の話が終わっていることが考えられるため、発話検出装置６は、抑圧量を増加させて、終話を検出しやすくすることができる。
【００６２】
なお、両チャンネルの類似度の指標として、周波数特性の相関係数の代わりに、式（１０）に示す内積Iや、式（１１）に示す共分散Ｓを用いてもよい。
【００６３】
【数２】
2020091353.tif 000004
【００６４】
【数３】
2020091353.tif 000005
【００６５】
図１０は、実施形態における発話検出装置６の処理の一例を示すフローチャートである。発話検出装置６は、第１マイクロホン１から取得した第１音声データおよび第２マイクロホン２から取得したから取得した第２音声データに対してフレーム毎の繰り返し処理を開始する（ステップＳ１０１）。処理対象のフレームをフレームｉとし、ｉが１からＮ（Ｎは最大入力時間長に相当するフレーム数。ファイル入力の場合は入力データ長に相当するフレーム数でも良い）となるまで繰り返し処理が行われる。
【００６６】
音圧算出部１２は、第１音声データに基づく音圧（Ｌｃｈ音圧）と、第２音声データに基づく音圧（Ｒｃｈ音圧）を算出し、音圧差算出部１３と抑圧部１５に出力する（ステップＳ１０２）。発話検出部１６は、フレームｉ−１以前で発話開始を検出済みでない場合（ステップＳ１０３のＮＯ）、音圧算出部１２が出力した両チャネルの音圧（Ｌｃｈ音圧およびＲｃｈ音圧）を用いて夫々のチャンネルに対して発話検出（発話開始の検出）を行う（ステップＳ１０４）。
【００６７】
ステップＳ１０４で発話検出部１６が発話開始を検出しなかった場合（ステップＳ１０５でＮＯ）、処理は、ステップＳ１０２に移行し、次のフレームに対する処理が行われる。
【００６８】
ステップＳ１０４で発話検出部１６が発話開始を検出した場合（ステップＳ１０５でＹＥＳ）、音圧差算出部１３は、音圧差を算出し、判定部１４に出力する（ステップＳ１０６）。音圧差算出部１３は、例えば、ＰＬ−ＰＲを音圧差Ｄとして算出する。また、発話検出部１６は発話区間の開始タイミングの情報を出力部１７に出力する。
【００６９】
そして、判定部１４は、音圧差に基づいて第１音声データおよび第２音声データの音源方向を判定する（ステップＳ１０７）。判定部１４は、例えば、音圧差Ｄ＝ＰＬ−ＰＲである場合、Ｄ＞０であれば、第１マイクロホン１の指向性に応じた方向（図１における英語話者が存在する方向）が音源方向であると判定する。また、Ｄ＜０であれば、第２マイクロホン２の指向性に応じた方向（図１における日本語話者が存在する方向）が音源方向であると判定する。
【００７０】
判定部１４は、音源方向に基づいて言語を判定し、言語の判定結果と、判定した言語に対応した音声認識および翻訳を実行させる指示を、出力部１７を介してサーバ４に出力する（ステップＳ１０８）。その後、処理は、ステップＳ１０２に移行し、次のフレームに対する処理が行われる。
【００７１】
ステップＳ１０３でＹＥＳの場合、出力部１７は、音声格納部に格納されている音声データのうち、発話区間検出部１６から受信済みの発話区間開始タイミング以降、かつ、サーバに未送信のデータをサーバ４に音声認識対象のデータとして送信する（ステップＳ１１５）。
【００７２】
音圧差算出部１３は、音圧差を算出する（ステップＳ１０９）。ステップＳ１０７で判定された音源方向が第１マイクロホン１（Ｌｃｈ）の指向性の方向であった場合、ＰＬ−ＰＲを音圧差Ｄとして算出し、抑圧部１５に出力する。音圧差算出部１３は、ステップＳ１０７で判定された音源方向が第２マイクロホン２（Ｒｃｈ）の指向性の方向であった場合、ＰＲ−ＰＬを音圧差Ｄとして算出し、抑圧部１５に出力する。
【００７３】
抑圧部１５は、ステップＳ１０９で算出された音圧差Ｄを用いて、Ｄ＜０であるか判定することにより、抑圧を行うか判定する（ステップＳ１１０）。Ｄ＜０である場合（ステップＳ１１０でＹＥＳ）、抑圧部１５は、抑圧処理を行う（ステップＳ１１１）。抑圧部１５は、例えば、発話開始方向音圧から所定の抑圧量βを減算した値を発話検出部１６に出力する。例えば、抑圧部１５は、音源方向が第１マイクロホン１（Ｌｃｈ）の指向性の方向であった場合、ＰＬ＝ＰＬ−βとする。抑圧部１５は、音源方向が第２マイクロホン２（Ｒｃｈ）の指向性の方向であった場合、ＰＲ＝ＰＲ−βとする。
【００７４】
ステップＳ１０９で算出された音圧を用いると、発話開始直後では、Ｄ＞０となるが、先に発話をしていた話者とは別の話者が発話を始めた場合、Ｄ＜０となる可能性があり、その場合に、抑圧部１５は、抑圧処理を行う（ステップＳ１１０、Ｓ１１１）。すなわち、抑圧部１５は、Ｌｃｈ音圧とＲｃｈ音圧のうち発話の開始時点で大きい音圧である発話開始方向音圧が、Ｌｃｈ音圧とＲｃｈ音圧のうち発話の開始時点で小さい音圧である非発話開始方向音圧より小さくなった場合、発話開始方向音圧を抑圧する。
【００７５】
ステップＳ１１０でＮＯの場合、またはステップＳ１１１の処理後、発話検出部１６は、抑圧された発話開始方向音圧または抑圧していない発話開始方向音圧に基づいて、発話検出（発話終了の検出）を行う（ステップＳ１１２）。例えば、ステップＳ１１０でＮＯの場合、発話検出部１６は、音圧算出部１２が出力した発話開始方向音圧（抑圧していない音圧）に基づいて、発話検出を行う。ステップＳ１１１の処理後である場合、発話検出部１６は、抑圧部１５により抑圧された発話開始方向音圧に基づいて、発話検出を行う。
【００７６】
発話検出装置６は、発話検出部１６が終話を検出していない場合（ステップＳ１１３でＮＯ）、フレームｉに対する処理を終了し、次のフレームに対する処理を行う。発話検出装置６は、入力した音声の全フレームに関する処理を終了した場合、繰り返し処理を終了し（ステップＳ１１４）、処理を終了する。また、発話検出部１６が終話を検出した場合（ステップＳ１１３でＹＥＳ）、発話検出装置６は、出力部１７は、サーバ４に音声認識終了を通知し（ステップＳ１１６）、処理を終了する。
【００７７】
以上のように、発話検出装置６は、発話開始方向音圧を抑圧することにより、話者が発話を開始した後に他の話者が発話を開始した場合に、最初に発話を開始した話者の終話の検出が遅れること防ぎ、終話の検出精度を向上させることができる。
【００７８】
図１１は、実施形態におけるサーバ４の処理の一例を示すフローチャートである。サーバ４は、音源方向に基づく言語の判定結果として音声認識を行う言語および翻訳を行う言語対と、音声認識および翻訳を実行する指示を出力部１７から受信する（ステップＳ２０１）。
【００７９】
音声認識部１８は、発話検出装置６から発話区間の音声データを順次受信し、ステップＳ２０１で受信した言語により、発話区間の音声データに対して音声認識処理を開始する（ステップＳ２０２）。音声認識部１８は、音声認識の開始後、音声データの受信と音声認識処理を並列で行う。
【００８０】
翻訳部１９は、音声認識が終了していない場合（ステップＳ２０３でＮＯ）、音声認識の終了まで待機する。音声認識が終了した場合（ステップＳ２０３でＹＥＳ）、翻訳部１９は、ステップＳ２０１で受信した言語対により、音声認識処理結果に対して指定言語に翻訳する（ステップＳ２０４）。
【００８１】
以上のように、サーバ４は、音源方向に基づいて判定された言語で音声認識および翻訳を実行するので、適切な言語で音声認識および翻訳を実行することができる。
【００８２】
次に、発話検出装置６のハードウェア構成の一例を説明する。図１２は、発話検出装置６のハードウェア構成の一例を示す図である。図１２の例に示すように、発話検出装置６において、バス１００に、プロセッサ１１１とメモリ１１２と補助記憶装置１１３と通信インタフェース１１４と媒体接続部１１５と入力装置１１６と出力装置１１７とが接続される。
【００８３】
プロセッサ１１１は、メモリ１１２に展開されたプログラムを実行する。実行されるプログラムには、実施形態における処理を行う発話検出プログラムが適用されてもよい。
【００８４】
メモリ１１２は、例えば、Random Access Memory(ＲＡＭ)である。補助記憶装置１１３は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。補助記憶装置１１３に実施形態の処理を行う発話検出プログラムが記憶されていてもよい。
【００８５】
通信インタフェース１１４は、Local Area Network（ＬＡＮ）、Wide Area Network（ＷＡＮ）等の通信ネットワークに接続され、通信に伴うデータ変換等を行う。
【００８６】
媒体接続部１１５は、可搬型記録媒体１１８が接続可能なインタフェースである。可搬型記録媒体１１８には、光学式ディスク（例えば、Compact Disc(ＣＤ)またはDigital Versatile Disc(ＤＶＤ))、半導体メモリ等が適用されてもよい。可搬型記録媒体１１８に実施形態の処理を行う発話検出プログラムが記録されていてもよい。
【００８７】
入力装置１１６は、例えば、キーボード、ポインティングデバイス等であり、ユーザからの指示及び情報等の入力を受け付ける。
【００８８】
出力装置１１７は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせ又は指示、及び処理結果等を出力する。
【００８９】
図５に示す音声格納部１１は、メモリ１１２、補助記憶装置１１３または可搬型記録媒体１１８等により実現されてもよい。
【００９０】
図５に示す音圧算出部１２、音圧差算出部１３、判定部１４、抑圧部１５、発話検出部１６は、メモリ１１２に展開された発話検出プログラムをプロセッサ１１１が実行することにより実現されてもよい。
【００９１】
メモリ１１２、補助記憶装置１１３および可搬型記録媒体１１８は、コンピュータが読み取り可能であって非一時的な有形の記憶媒体であり、信号搬送波のような一時的な媒体ではない。
【００９２】
＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で様々な変更、追加、省略が適用可能である。
【符号の説明】
【００９３】
１    第１マイクロホン
２    第２マイクロホン
３    端末
４    サーバ
５    ネットワーク
６    発話検出装置
１１    音声格納部
１２    音圧算出部
１３    音圧差算出部
１４    判定部
１５    抑圧部
１６    発話検出部
１７    出力部
１８    音声認識部
１９    翻訳部
１００    バス
１１１    プロセッサ
１１２    メモリ
１１３    補助記憶装置
１１４    通信インタフェース
１１５    媒体接続部
１１６    入力装置
１１７    出力装置
１１８    可搬型記録媒体
【図１】
2020091353.tif 000006
【図２】
2020091353.tif 000007
【図３】
2020091353.tif 000008
【図４】
2020091353.tif 000009
【図５】
2020091353.tif 000010
【図６】
2020091353.tif 000011
【図７】
2020091353.tif 000012
【図８】
2020091353.tif 000013
【図９】
2020091353.tif 000014
【図１０】
2020091353.tif 000015
【図１１】
2020091353.tif 000016
【図１２】
2020091353.tif 000017