(57)【要約】【課題】音源方向の推定精度を向上することを目的とする。【解決手段】音源推定プログラムは、第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、音圧差に基づいて、第１音声データおよび第２音声データの音源方向を推定し、推定された音源方向に対応する言語で第１音声データまたは第２音声データに対して音声認識を実行する指示を出力し、指示に基づく音声認識に用いた音声データの時間長と音声認識時間長とに基づいて、音圧差に基づく音源方向を推定する基準を制御する処理をコンピュータに実行させる。【選択図】図４
2020024338.tif 000002
【特許請求の範囲】
【請求項１】
第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、前記音圧差に基づいて、前記第１音声データおよび前記第２音声データの音源方向を推定し、
推定された前記音源方向に対応する言語で前記第１音声データまたは前記第２音声データに対して音声認識を実行する指示を出力し、
前記指示に基づく前記音声認識に用いた音声データの時間長と音声認識時間長とに基づいて、前記音圧差に基づく音源方向を推定する基準を制御する
処理をコンピュータに実行させるための音源方向推定プログラム。
【請求項２】
第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、前記第１音声データと前記第２音声データの音源方向を判別する第１閾値と、前記音圧差との比較結果に基づいて、前記第１音声データおよび前記第２音声データの音源方向を推定し、
推定された前記音源方向に対応する言語で前記第１音声データまたは前記第２音声データに対して音声認識を実行する指示を出力し、
前記指示に基づく前記音声認識に用いた音声データの時間長に対する音声認識時間長が、前記音声認識への入力となる前記第１音声データまたは前記第２音声データの言語が前記音源方向に対応する言語と異なるかを判別する第２閾値より大きい場合、前記第１閾値を更新する
処理を前記コンピュータに実行させることを特徴とする請求項１記載の音源方向推定プログラム。
【請求項３】
第１音声データの音圧から前記第２音声データの音圧を減算して得られた前記音圧差が前記第１閾値以上である場合、前記第１マイクロホンの指向性または第１マイクロホンと前記第１マイクロホンが設置される音道構造に基づく指向性に応じた方向に存在する第１音源から音声が発せられたと推定し、前記第１音源に対応する言語による音声認識を前記第１音声データに対して実行する指示を出力し、
前記音圧差が前記第１閾値未満である場合、前記第２マイクロホンの指向性または第２マイクロホンと前記第２マイクロホンが設置される音道構造に基づく指向性に応じた方向に存在する第２音源から音声が発せられたと推定し、前記第２音源に対応する言語による音声認識を前記第２音声データに対して実行する指示を出力する
処理を前記コンピュータに実行させることを特徴とする請求項２記載の音源方向推定プログラム。
【請求項４】
第１音声データの音圧から前記第２音声データの音圧を減算して得られた前記音圧差が前記第１閾値以上であり、前記音声認識に用いた音声データの時間長に対する音声認識時間長が第２閾値より大きい場合、前記第１閾値を増加させ、
前記音圧差が前記第１閾値未満であり、前記音声認識に用いた音声データの時間長に対する音声認識時間長が第２閾値より大きい場合、前記第１閾値を減少させる、
処理を前記コンピュータに実行させることを特徴とする請求項２または請求項３記載の音源方向推定プログラム。
【請求項５】
前記音圧差を複数のフレーム毎に算出し、算出された前記複数のフレーム毎の前記音圧差の平均値に基づいて前記第１閾値を更新する
処理を前記コンピュータに実行させることを特徴とする請求項２乃至４のうち何れか１項に記載の音源方向推定プログラム。
【請求項６】
前記音声認識に用いた音声データの時間長に対する音声認識時間長が第２閾値以下であり、前記音圧差と前記第１閾値との差が所定値以下である場合、前記音圧差と前記第１閾値との差が大きくなるように前記第１閾値を更新する
処理を前記コンピュータに実行させることを特徴とする請求項２乃至５のうち何れか１項に記載の音源方向推定プログラム。
【請求項７】
音声認識に用いた音声データの時間長に対する音声認識時間長が、前記第２閾値以上の第３閾値より大きい場合、推定された前記音源とは異なる音源に対応した言語で音声認識を実行する指示を出力する
処理を前記コンピュータに実行させることを特徴とする請求項２乃至６のうち何れか１項に記載の音源方向推定プログラム。
【請求項８】
複数の雑音条件下における前記音圧差の差異に基づいて、前記第１閾値を設定する
処理を前記コンピュータに実行させることを特徴とする請求項２乃至７のうち何れか１項に記載の音源方向推定プログラム。
【請求項９】
コンピュータが、
第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、前記音圧差に基づいて、前記第１音声データおよび前記第２音声データの音源方向を推定し、
推定された前記音源方向に対応する言語で前記第１音声データまたは前記第２音声データに対して音声認識を実行する指示を出力し、
前記指示に基づく前記音声認識に用いた音声データの時間長と音声認識時間長とに基づいて、前記音圧差に基づく音源方向を推定する基準を制御する
処理を実行することを特徴とする音源方向推定方法。
【請求項１０】
第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、前記音圧差に基づいて、前記第１音声データおよび前記第２音声データの音源方向を推定する音源方向推定部と、
推定された前記音源方向に対応する言語で前記第１音声データまたは前記第２音声データに対して音声認識を実行する指示を出力する出力部と、
前記指示に基づく前記音声認識に用いた音声データの時間長と音声認識時間長とに基づいて、前記音圧差に基づく音源方向を推定する基準を制御する更新部と、
を備えることを特徴とする音源方向推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源方向推定プログラム、音源方向推定方法、および音源方向推定装置に関する。
【背景技術】
【０００２】
複数の話者の音声を入力し音声認識を行う音声認識装置において、複数の話者の言語が異なる場合、音源（話者）を推定し、話者に応じた言語で音声認識が行われる。音源を推定するために、例えば、複数の指向性マイクロホンを用いて、音源方向を推定することにより音源を推定する技術が用いられている。
【０００３】
関連する技術として、第１の言語による音声を収音する第１マイクロホンと、第２の言語による音声を収音する第２マイクロホンとを具備する音声翻訳装置が提案されている（例えば、特許文献１を参照）。
【０００４】
また、関連する技術として、話者識別情報と話者の方向情報から、ビームフォーミングの適応過程を制御する技術が提案されている（例えば、特許文献２を参照）。
【０００５】
また、関連する技術として、それぞれ前方指向性を有し、左右に間隔をおいて配設されるとともに、一方は前方に向けて他方は後方に向けて配置された２つのマイクロホンを備える音源定位装置が提案されている（例えば、特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０２６２２０号公報
【特許文献２】特開２００４−３１８０２６号公報
【特許文献３】特開２００９−１０９８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、マイクロホンに対する音源の方向は一定とは限らない。例えば、話者の身長や姿勢等により話者の顔の位置が変化することから音源の方向が変化する可能性がある。また、マイクロホンを保持した人の衣服の厚み等によりマイクロホンの位置が変化することにより、マイクロホンに対する音源の方向が変化する可能性がある。
【０００８】
１つの側面として、本発明は、音源方向の推定精度を向上することを目的とする。
【課題を解決するための手段】
【０００９】
１つの態様では、音源推定プログラムは、第１マイクロホンから取得した第１音声データと、第２マイクロホンから取得した第２音声データとの音圧差を算出し、前記音圧差に基づいて、前記第１音声データおよび前記第２音声データの音源方向を推定し、推定された前記音源方向に対応する言語で前記第１音声データまたは前記第２音声データに対して音声認識を実行する指示を出力し、前記指示に基づく前記音声認識に用いた音声データの時間長と音声認識時間長とに基づいて，前記音圧差に基づく音源方向を推定する基準を制御する処理をコンピュータに実行させる。
【発明の効果】
【００１０】
１つの側面によれば、音源方向の推定精度を向上することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態のシステムの構成の一例を示す図である。
【図２】音源方向の推定を誤る第１の例を示す図である。
【図３】音源方向の推定を誤る第２の例を示す図である。
【図４】実施形態のシステムを示す機能ブロック図である。
【図５】発話検出部の構成の一例を示す図である。
【図６】ＲＴＦの測定結果の例を示す図である。
【図７】閾値ＴｈＲの設定方法の第１の例を示す図である。
【図８】閾値ＴｈＲの設定方法の第２の例を示す図である。
【図９】閾値Ｔｈの更新方法の第１の例を示す図である。
【図１０】閾値Ｔｈの更新方法の第２の例を示す図である。
【図１１】複数の雑音条件下における、音源方向毎の音圧差の例を示す図である。
【図１２】第１の実施形態の処理の一例を示すフローチャート（その１）である。
【図１３】第１の実施形態の処理の一例を示すフローチャート（その２）である。
【図１４】第２の実施形態の処理の一例を示すフローチャート（その１）である。
【図１５】第２の実施形態の処理の一例を示すフローチャート（その２）である。
【図１６】閾値Ｔｈの更新方法の第３の例を示す図である。
【図１７】閾値Ｔｈの更新方法の第４の例を示す図である。
【図１８】第３の実施形態の処理の一例を示すフローチャート（その１）である。
【図１９】第３の実施形態の処理の一例を示すフローチャート（その２）である。
【図２０】第４の実施形態の処理の一例を示すフローチャート（その１）である。
【図２１】第４の実施形態の処理の一例を示すフローチャート（その２）である。
【図２２】音源方向推定装置のハードウェア構成の一例を示す図である。
【図２３】マイクロホンの他の例を示す図である。
【発明を実施するための形態】
【００１２】
＜実施形態のシステムの全体構成の一例＞
以下、図面を参照して、実施形態について説明する。図１は、実施形態のシステムの構成の一例を示す。図１では、指向性を有する第１マイクロホン１および第２マイクロホン２と、音源方向推定装置３が設置されている。
【００１３】
第１マイクロホン１は、ｙ方向から伝播する音を検出するように設置されている。第２マイクロホン１は、ｘ方向から伝播する音を検出するように設置されている。第１マイクロホン１および第２マイクロホンは、入力した音を電気信号に変換し、音源方向推定装置３に出力する。
【００１４】
複数の音源が存在する場合、音源方向推定装置３は、第１マイクロホン１から取得した第１音声データと第２マイクロホン２から取得した第２音声データとの音圧差を算出し、音圧差に基づいて音源方向を特定する。
【００１５】
図２は、音源方向の推定を誤る第１の例を示す図である。図２における例では、日本語話者と英語話者が対面して会話しており、日本語話者が端末４を所持している。端末４は、図１に示す第１マイクロホン１、第２マイクロホン２、および音源方向推定装置３を含むとする。図２は、実際の音源が英語話者であるが、音源が日本語話者であると誤って推定される例を示している。
【００１６】
図２に示す例において、音源方向推定装置３は、第１マイクロホンから取得した音声データの音圧Ｐ１と第２マイクロホンから取得した音声データの音圧Ｐ２の音圧差を算出する。音源方向推定装置３は、例えば、以下の式のように音圧差Ｄを算出する。
Ｄ＝Ｐ１−Ｐ２
【００１７】
音源方向推定装置３は、予め設定した閾値Ｔｈを用いて、Ｄ≧Ｔｈである場合、日本語話者が音源であると推定し、Ｄ＜Ｔｈである場合、英語話者が音源であると推定する。閾値Ｔｈは、第１音声データと前記第２音声データの音源方向を判別する閾値であり、音源間の相対位置に応じて適切な値が予め設定される。
【００１８】
図２は、音圧差Ｄに対応する方向を音源方向ＡＤとして表し、閾値Ｔｈに対応する方向を閾値方向ＡＴｈとして表している。また、Ｄ≧Ｔｈである場合、音源方向ＡＤが閾値方向ＡＴｈとｙ方向の間にあると想定される。この場合、音源方向推定装置３は、日本語話者が音源であると推定する。また、音源方向推定装置３は、Ｄ＜Ｔｈである場合、音源方向ＡＤが閾値方向ＡＴｈとｘ方向の間にあると想定される。この場合、音源方向推定装置３は、英語話者が音源であると推定する。すなわち、閾値Ｔｈを適切に設定することにより、音源のが英語話者であるか日本語話者であるかを推定することが可能となる。
【００１９】
端末４は、音源が英語話者である場合、英語で音声認識および翻訳を行う。また、端末４は、音源が日本語話者である場合、日本語で音声認識および翻訳を行う。端末４は、音声認識および翻訳を行う指示を他の情報処理装置（例えば、サーバ）に出力してもよい。
【００２０】
図２に示す例では、実際の音源が英語話者であるが、音源方向推定装置３が音圧差Ｄを算出した結果、Ｄ≧Ｔｈとなり、音源が日本語話者であると推定される。例えば、英語話者の身長が想定していた高さより高い場合、または、日本語話者と英語話者との距離が想定していた距離より近い場合、このように誤った推定が行われる可能性がある。
【００２１】
図３は、音源の推定を誤る第２の例を示す図である。図２と同様に、音圧差Ｄに対応する方向を音源方向ＡＤとして表し、閾値Ｔｈに対応する方向を閾値方向ＡＴｈとして表している。図２は、実際の音源が日本語話者であるが、音源が英語話者と推定される例を示している。図３に示す例では、図２と同様に、音源方向推定装置３は、音圧差Ｄを算出し、予め設定した閾値Ｔｈを用いて、Ｄ≧Ｔｈである場合に日本語話者が音源であると推定し、Ｄ＜Ｔｈである場合に英語話者が音源であると推定する。
【００２２】
図３に示す例では、実際の音源が日本語話者であるが、音源方向推定装置３が、音圧差Ｄを算出した結果、Ｄ＜Ｔｈとなり、音源が英語話者であると推定する。例えば、日本語話者が前かがみの体勢で話していた場合、このような誤った推定が行われる可能性がある。
【００２３】
図２および図３の例に示すように、音源の位置が想定していた位置と異なる場合、音源方向推定装置３は、音源の方向の推定を誤る可能性がある。音源の方向は音源の言語に対応し、誤った言語で音声認識および翻訳が行われる可能性がある。図２および図３に示した例の他に、音源方向推定装置３は、端末４の装着位置、衣服の素材による音の反射の影響等によって、音源の推定を誤る可能性もある。
【００２４】
＜第１の実施形態＞
図４は、実施形態のシステムを示す機能ブロック図である。実施形態のシステムは、第１マイクロホン１と、第２マイクロホン２と、音源方向推定装置３とを含む。音源方向推定装置３は、発話検出部１１と音源方向推定部１２と音声格納部１３と出力部１４と音声認識部１５と判定部１６と更新部１７と翻訳部１８と記憶部１９とを含む。
【００２５】
第１マイクロホン１および第２マイクロホン２は、指向性を有する。第１マイクロホン１および第２マイクロホン２は、例えば、図１に示すように、直交する方向の音を検出するように設置されている。
【００２６】
発話検出部１１は、第１マイクロホン１から取得した第１音声データと、第２マイクロホンから取得した第２音声データにおいて発話を検出する。発話検出部１１は、音声データの発話区間を示す発話区間情報と各処理フレームの音圧を出力する。発話検出部１１の処理について、詳細は後述する。
【００２７】
音源方向推定部１２は、発話検出部１１から、第１音声データと第２音声データの発話区間情報とともに、第１音声データの音圧と第２音声データの音圧を取得する。音源方向推定部１２は、取得した音圧に基づいて、第１マイクロホンから取得した第１音声データと、第２マイクフォンから取得した第２音声データとの音圧差を算出する。そして、音源方向推定部１２は、音圧差と閾値Ｔｈ（第１閾値）との比較結果に基づいて、第１音声データおよび第２音声データの音源方向を推定する。音源方向を推定することは、音源となる話者を推定し、音源から発せられた音声の言語を推定することに相当する。
【００２８】
音源方向推定部１２は、例えば、第１音声データの音圧から第２音声データの音圧を減算して得られた音圧差が閾値Ｔｈ以上である場合、第１マイクロホンの指向性に応じた方向に存在する第１音源から音声が発せられたと推定する。第１音源は、図２および図３に示す例における日本語話者に相当する。
【００２９】
音源方向推定部１２は、第１音声データの音圧から第２音声データの音圧を減算して得られた音圧差が閾値Ｔｈ未満である場合、第２マイクロホンの指向性に対応する方向に存在する第２音源から音声が発せられたと推定する。第２音源は、図２および図３に示す例における英語話者に相当する。
【００３０】
音声格納部１３は、第１マイクロホンから取得した第１音声データと、第２マイクフォンから取得した第２音声データとを格納する。
【００３１】
出力部１４は、第１音声データおよび第２音声データを取得し、推定された音源方向に対応する言語で第１音声データまたは第２音声データに対して音声認識を実行する指示を音声認識部１５に出力する。具体的には、出力部１４は、第１音声データおよび第２音声データのうち、音源方向推定部１２の推定結果に対応する音声データを選択し、選択された音声データのうち発話検出部１１が検出した発話区間に応じた部分に対し音源方向推定部１２の推定結果に応じた言語での音声認識を実行する指示を音声認識部１５に出力する。
【００３２】
例えば、出力部１４は、第１マイクロホンの指向性に応じた方向に存在する第１音源から音声が発せられたと推定された場合、第１音源に対応する言語による音声認識を第１音声データに対して実行する指示を音声認識部１５に出力する。出力部１４は、第２マイクロホンの指向性に応じた方向に存在する第２音源から音声が発せられたと推定された場合、第２音源に対応する言語による音声認識を第２音声データに対して実行する指示を音声認識部１５に出力する。
【００３３】
図２および図３に示す例では、出力部１４は、音源が日本語話者であることを示す推定結果を受信した場合、第１音声データと日本語で音声認識する指示とを日本語音声認識部１５−１に出力する。また、出力部１４は、音源が英語話者であることを示す推定結果を受信した場合、第２音声データと英語で音声認識する指示とを英語語音声認識部１５−２に出力する。
【００３４】
音声認識部１５は、音源方向推定部１２から音源推定結果を取得し、出力部１４から第１音声データおよび第２音声データのいずれかを取得し、取得した音声データの音声認識を実行する。図２および図３に示す例では、音源が日本語話者であると推定され、第１音声データを取得した場合、日本語に対応している日本語音声認識部１５−１が音声認識を実行する。例えば、音源が英語話者であると推定され、第２音声データを取得した場合、英語に対応している英語音声認識部１５−２が音声認識を実行する。
【００３５】
音声認識部１５は、入力音声データの時間長（以下、音声入力時間長と称する）に対する音声認識の処理時間（以下、音声認識時間長と称する）の比を示すReal Time Factor（ＲＴＦ）を算出する。音声入力時間長は、入力音のうち発話として検出され、音声認識部に入力された音声データの時間長である。具体的には、音声認識部１５は、ＲＴＦを以下の式のように算出する。
ＲＴＦ＝音声認識時間長／音声入力時間長
【００３６】
判定部１６は、音声認識部１５からＲＴＦを受け付け、ＲＴＦと予め設定された閾値ＴｈＲ（第２閾値）とを比較し、比較結果を更新部１７に出力する。閾値ＴｈＲは、音声認識への入力となる第１音声データまたは第２音声データの言語が音源方向に対応する言語と異なるかを判別する閾値である。
【００３７】
更新部１７は、音声認識に用いた音声データのＲＴＦに基づいて、音圧差に基づく音源方向を推定する基準を制御する。更新部１７は、例えば、判定部１６の判定結果において、ＲＴＦが閾値ＴｈＲより大きい場合、閾値Ｔｈを更新する。ＲＴＦが閾値ＴｈＲより大きい場合、音源の推定が誤っていると考えられるためである。更新部１７は、更新後の閾値Ｔｈ’を音源方向推定部１２に出力する。そして、音源方向推定部１２は、次回の音源方向の推定において、更新後の閾値Ｔｈ’を用いる。
【００３８】
翻訳部１８は、音声認識部１５の処理結果を用いて、翻訳処理を行う。翻訳部１８は、音源方向推定部１２の推定結果に応じて、異なる言語の翻訳処理を行う。例えば、音源が日本語であると推定された場合、日本語翻訳部１８−１は、日本語から指定言語へ翻訳を行う。音源が英語であると推定された場合、英語翻訳部１８−２は、英語から指定言語へ翻訳を行う。推定された音源の言語と、指定言語が同じである場合、翻訳部１８は、翻訳を実行しなくてもよい。
【００３９】
翻訳部１８は、翻訳処理結果を出力する。翻訳部１８は、例えば、表示装置に翻訳処理結果を表示させてもよいし、ユーザが使用する情報処理端末等に翻訳処理結果を送信してもよい。
【００４０】
記憶部１９は、音源方向推定装置３の処理に用いられる各種データを記憶する。記憶部１９は、例えば、予め設定された閾値Ｔｈおよび閾値ＴｈＲ、音源方向の推定結果に対応する言語やマイクロホンの関係を記憶する。
【００４１】
なお、音声認識部１５および翻訳部１８のうちのいずれか一方または両方は、音源方向推定装置３とは異なる装置（例えば、サーバ）に含まれていてもよい。例えば、第１マイクロホン１、第２マイクロホン２、および音源方向推定装置３を含む端末と、音声認識部１５および翻訳部１８を含むサーバとが各種情報を送受信することにより、実施形態の処理を実現してもよい。
【００４２】
図５は、発話検出部１１の構成の一例を示す図である。なお、図５では、発話検出部１１−１の詳細な構成を示しているが、発話検出部１１−２の構成も同様であるとする。発話検出部１１−１は、音圧算出部２１と、雑音音圧推定部２２と、信号対雑音比推定部２３と、有音判定部２４と、ピッチゲイン算出部２５と、発話区間検出部２６とを含む。以下、信号対雑音比をＳＮＲ(Signal-Noise Ratio)と記載することがある。
【００４３】
発話検出部１１は、音声データを入力し、フレーム単位で発話検出処理を実行する。フレーム長は、例えば、10msec〜20msecに設定される。発話検出部１１は、音声データを設定したフレーム長毎に分割して、処理を行う。
【００４４】
音圧算出部２１は、フレーム単位で音声データの音圧を算出する。そして、音圧算出部２１は、算出した音圧を、雑音音圧推定部２２と信号対雑音比推定部２３に出力する。雑音音圧推定部２２は、音声データ中の推定雑音成分をフレームごとに算出する。
【００４５】
信号対雑音比推定部２３は、音圧算出部２１から入力した音声データの音圧と、雑音音圧推定部２２から入力した雑音音圧に基づいて、ＳＮＲを算出する。
【００４６】
有音判定部２４は、信号対雑音比推定部２３から入力したＳＮＲと予め設定されたＳＮＲ閾値とを比較して、ＳＮＲがＳＮＲ閾値以上である場合、有音であると判定する。そして、有音判定部２４は、音声データが有音か無音かを示す判定結果をピッチゲイン算出部２５に出力する。
【００４７】
ピッチゲイン算出部２５は、有音区間に含まれる各フレームについて、音の周期性の強さを表すピッチゲインを算出し、ピッチゲインを発話区間検出部２６に出力する。
【００４８】
発話区間検出部２６は、有音区間内の各フレームについて、ピッチゲインを発話区間検出用の閾値と比較して、発話区間を検出する。例えば、発話区間検出部２６は、話者が発話していない非発話区間が継続している状態でピッチゲインが第１のピッチゲイン閾値以上となったタイミングを、話者が発話している区間を示す発話区間の開始タイミングとして検出する。また、発話区間検出部２６は、発話区間が継続している状態で、ピッチゲインが第１のピッチゲイン閾値よりも小さい第２のピッチゲイン閾値未満となったタイミングを、発話区間の終了タイミングとして検出する。
【００４９】
発話区間検出部２６は、発話区間情報を出力する。例えば、発話区間検出部２６は、フレームが発話区間開始タイミングである場合、そのフレームが発話区間開始タイミングであることを示す判定結果を発話区間情報として出力する。また、発話区間検出部２６は、フレームが発話区間終了タイミングである場合、そのフレームが発話区間終了タイミングであることを示す判定結果を発話区間情報として出力する。
【００５０】
図６は、ＲＴＦの測定結果の例を示す図である。図６は、５６回の発話に対して予備実験を行った際のＲＴＦの測定結果を示す。ＲＴＦは、上述のように音声入力時間（発話時間）の長さに対する音声認識の処理時間である。入力音声の言語と音声認識の対応言語が異なっていた場合、入力音声の言語と音声認識の対応言語が一致していた場合よりも音声認識の処理時間は長いためＲＴＦは大きくなる。
【００５１】
図６における破線は、入力音声が日本語であり、音声認識の対応言語が日本語である場合（音源の推定が正しい場合）におけるＲＴＦを示す。図６における実線は、入力音声が英語であり、音声認識の対応言語が日本語である場合（音源の推定が誤っている場合）におけるＲＴＦを示す。例えば、実際は英語話者の音声を入力したが音源方向推定部１２が音源方向の推定を誤り、日本語話者の音声を入力したと判定した場合、日本語に対応する日本語音声認識部１５−１が、音声認識を実行する。
【００５２】
図６の例に示すように、音源の推定が誤っている場合、音源の推定が正しい場合よりもＲＴＦが高い値となる。そのため、判定部１６は、ＲＴＦが所定の閾値ＴｈＲ以上である場合、音源の推定が誤っていると判定し、ＲＴＦが所定の閾値ＴｈＲ未満である場合、音源の推定が正しいと判定する。
【００５３】
図７は、閾値ＴｈＲの設定方法の第１の例を示す図である。図７に示すヒストグラムは、予備実験において入力した音声データについて算出されたＲＴＦ値の分布を示している。図７に示す例では、音源を正しく推定した場合のＲＴＦ値は、２４％以下の領域に存在し、音源を誤って推定した場合のＲＴＦ値の分布は、３２％以上の領域に分布している。この場合、閾値ＴｈＲは、２４％と３２％の中間値である２８％に設定される。
【００５４】
すなわち、音源を正しく推定した場合のＲＴＦ値の分布と音源を誤って推定した場合のＲＴＦ値の分布が重複していない場合、閾値ＴｈＲは、音源を正しく推定した場合のＲＴＦ値の最大値と音源を誤って推定した場合のＲＴＦ値の最小値との中間値に設定される。
【００５５】
図８は、閾値ＴｈＲの設定方法の第２の例を示す図である。図８に示すヒストグラムは、予備実験において入力した音声データについて算出されたＲＴＦ値の分布を示している。図８に示す例では、音源を正しく推定した場合のＲＴＦ値は、２８％以下の領域に存在し、音源を誤って推定した場合のＲＴＦ値の分布は、２６％以上の領域に分布している。図８に示す例では、閾値ＴｈＲは、音源を正しく推定した場合のＲＴＦ値の最大値である２８％に設定される。
【００５６】
すなわち、音源を正しく推定した場合のＲＴＦ値の分布と音源を誤って推定した場合のＲＴＦ値の分布が重複している場合、音源を正しく推定した場合のＲＴＦ値の最大値が、閾値ＴｈＲに設定される。図８に示す例において２８％より大きいＲＴＦ値は、音源が誤って推定された場合のＲＴＦ値である。よって、第２の例のように閾値ＴｈＲを設定することにより、音源方向推定部１２が音源方向を正しく推定しているにもかかわらず、判定部１６が音源方向の推定が誤っていると判定してしまう可能性を抑制することができる。
【００５７】
図６〜図８に示したＴｈＲは、音源方向推定部１２が、音源が日本語話者であると推定した場合に用いるＴｈＲ（ＴｈＲ１とする）である。音源方向推定部１２が、音源が英語話者であると推定した場合に用いるＴｈＲ（ＴｈＲ２とする）も、同様に設定される。ＴｈＲ２は、入力音声が日本語であり音声認識の対応言語が英語である場合におけるＲＴＦの分布と、入力音声が英語であり音声認識の対応言語が英語である場合におけるＲＴＦの分布を用いて、図６〜図８と同様に予め設定される。
【００５８】
図９は、閾値Ｔｈの更新方法の第１の例を示す図である。図９は、図２に示す例のように、実際の音源が英語話者であるが、音源が日本語話者であると誤って推定された場合における、閾値Ｔｈの更新方法の例を示す。図９は、図２および図３と同様に、音圧差Ｄに対応する方向を音源方向ＡＤとして表し、閾値Ｔｈに対応する方向を閾値方向ＡＴｈとして表している。
【００５９】
判定部１６が音源の推定が誤っていると判定した場合、更新部１７は、閾値Ｔｈを更新する。図２に示す例では、Ｄ≧Ｔｈであったが、実際の音源が英語話者であるため、Ｄ＜Ｔｈ’（Ｔｈ’は更新後閾値）となるように閾値Ｔｈを更新すれば、音源方向が英語話者がいると設定している方向であると正しく推定することができる。例えば、端末４を装着している話者が日本語話者、端末４を装着していない話者が英語話者であると推定してもよい。
【００６０】
よって、更新部１７は、閾値Ｔｈに所定の更新量ｍを加算して、更新後の閾値Ｔｈ’とする。図９に示すように、更新部１７が閾値Ｔｈを閾値Ｔｈ’に更新すると、閾値方向ＡＴｈは、閾値方向ＡＴｈ’に変化する。更新後の閾値Ｔｈ’を用いて、音源方向推定部１２が再度推定を行うと、Ｄ＜Ｔｈ’となるため、音源が英語話者であると正しく推定することができる。
【００６１】
図１０は、閾値Ｔｈの更新方法の第２の例を示す図である。図１０は、図３に示す例のように、実際の音源が日本語話者であるが、音源が英語話者であると誤って推定された場合における、閾値Ｔｈの更新方法の例を示す。
【００６２】
判定部１６が音源の推定が誤っていると判定した場合、更新部１７は、閾値Ｔｈを更新する。図３に示す例では、Ｄ＜Ｔｈであったが、実際の音源が日本語話者であるため、Ｄ≧Ｔｈ’（Ｔｈ’は更新後閾値）となるように閾値Ｔｈを更新すれば、音源が日本語話者であると正しく推定することができる。
【００６３】
よって、更新部１７は、閾値Ｔｈから所定の更新量ｍを減算して、更新後の閾値Ｔｈ’とする。図１０に示すように、更新部１７が閾値Ｔｈを閾値Ｔｈ’に更新すると、閾値方向ＡＴｈは、閾値方向ＡＴｈ’に変化する。この閾値Ｔｈ’を用いて、音源方向推定部１２が再度推定を行うと、Ｄ≧Ｔｈ’となるため、音源が日本語話者であると正しく推定することができる。
【００６４】
図１１は、複数の雑音条件下における、音源方向毎の音圧差の例を示す図である。図１１の例において、雑音条件は、０ｄＢＡ、５０ｄＢＡ、５５ｄＢＡ、６０ｄＢＡおよび６５ｄＢＡの５種類である。図１１は、これらの雑音条件下における、音源方向毎の音圧差の例を示している。音圧差は、音源方向に対応するが、図１１に示すように、雑音の大きさに応じて若干変化する。
【００６５】
音源方向推定部１２は、閾値Ｔｈの更新量ｍを、複数の雑音条件下における音圧差の差異に基づいて設定する。図１１に示す例では、全ての音源方向において、音圧差の最大値と最小値との差は、０．２ｄＢである。よって、更新部１７は、閾値Ｔｈを更新する際の更新量ｍに０．２ｄＢを用いる。
【００６６】
音源方向推定装置３は、雑音条件による音圧差の差異を、閾値Ｔｈを更新する際の更新量ｍに用いることにより、雑音による影響により音源の推定を誤る可能性を低減することができる。
【００６７】
図１２および図１３は、第１の実施形態の処理の一例を示すフローチャートである。音源方向推定装置３は、入力した音声データに関して、フレーム毎の繰り返し処理を開始する（ステップＳ１０１）。なお、繰り返し処理に用いるフレーム番号をｉとする。音源方向推定装置３は、第１マイクロホン１から取得した第１音声データと、第２マイクロホンから取得した第２音声データのそれぞれについて繰り返し処理を実行する。音源方向推定装置３は、ステップＳ１０５で音源方向を推定した場合、推定された音源の方向に指向性が向けられたマイクロホンからの音声データのみ繰り返し処理を実行する。
【００６８】
発話検出部１１は、入力した音声データについて、発話検知処理を実行する（ステップＳ１０２）。発話検出部１１は、フレームｉにおいて発話終了を検出したか判定する（ステップＳ１０３）。フレームｉにおいて発話終了を検出していない場合（ステップＳ１０３でＮＯ）、発話検出部１１は、フレームｉで発話開始を検出したか判定する（ステップＳ１０４）。
【００６９】
フレームｉで発話開始を検出した場合（ステップＳ１０４でＹＥＳ）、音源方向推定部１２は、発話検出部１１から出力された音圧に基づいて、第１音声データと第２音声データとの音圧差Ｄを算出し、音圧差と第１閾値との比較結果に基づいて、音源方向を推定する（ステップＳ１０５）。音源方向推定部１２は、ステップＳ１０４で算出した音圧差Ｄを記憶部１９に記憶させる（ステップＳ１０６）。
【００７０】
フレームｉで発話開始を検出しない場合（ステップＳ１０４でＮＯ）、発話検出部１１は、フレームｉ−１までに発話開始を検出済みであるか判定する（ステップＳ１０７）。
【００７１】
ステップＳ１０６の処理後、またはステップＳ１０７でＹＥＳの場合、出力部１４は、音源の推定結果に基づいて、第１音声データまたは第２音声データと、音声認識を実行する指示とを音声認識部１５に出力する（ステップＳ１０８）。
【００７２】
音声認識部１５は、ステップＳ１０１〜Ｓ１１０の処理と並列で、ステップＳ１０８で入力した音声データに対して音声認識処理を実行する。音声認識部１５は、入力した音声データを、推定された音源に対応した言語で音声認識する。例えば、音源が日本語であると推定された場合、日本語音声認識部１５−１が音声認識を実行し、音源が英語であると推定された場合、英語音声認識部１５−２が音声認識を実行する。音声認識部１５は、終話を検出した場合、終話通知を行ってもよい。音声認識部１５から終話通知を受け取った場合、処理は、図１３のステップＳ１１１に移行する。
【００７３】
音声認識部１５は、入力した音声データの時間幅に応じて、ＲＴＦの算出に用いる音声入力時間長を更新する（ステップＳ１０９）。例えば、音声認識部１５は、ＲＴＦの算出に用いる音声入力時間長に１フレームあたりの時間を加算する。ステップＳ１０９の処理後、またはステップＳ１０７でＮＯの場合、フレームｉに関する処理は終了する。
【００７４】
発話検出部１１が発話終了を検知した場合（ステップＳ１０３でＹＥＳ）、処理は、図１３のステップＳ１１１に移行する。
【００７５】
判定部１６は、音声認識部１５の音声認識が終了するまで待機し、音声認識部１５の音声認識が終了した場合（ステップＳ１１１でＹＥＳ）、判定部１６は、音声認識部１５から、ＲＴＦを取得する（ステップＳ１１２）。
【００７６】
判定部１６は、ＲＴＦが予め設定されたＴｈＲより大きいか判定する（ステップＳ１１３）。ＲＴＦが予め設定されたＴｈＲより大きい場合（ステップＳ１１３でＹＥＳ）、更新部１７は、閾値Ｔｈを更新する（ステップＳ１１４）。ＲＴＦが予め設定されたＴｈＲより大きい場合、音源の推定が誤っていると考えられるためである。更新部１７は、音源の推定処理においてＤ≧Ｔｈであった場合、更新後の閾値Ｔｈ’にＤ＋ｍを設定する。すなわち、更新部１７は、閾値Ｔｈを増加させる。更新部１７は、音源の推定処理においてＤ＜Ｔｈであった場合、更新後の閾値Ｔｈ’にＤ−ｍを設定する。すなわち、更新部１７は、閾値Ｔｈを減少させる。
【００７７】
ステップＳ１１３でＮＯの場合、またはステップＳ１１４の処理後、翻訳部１８は、音声認識部１５の処理結果を用いて、翻訳処理を行う（ステップＳ１１５）。また、翻訳部１８は、翻訳処理結果を出力する（ステップＳ１１６）。翻訳部１８は、音声合成処理を行ってもよい。
【００７８】
以上のように、音源方向推定装置３は、ＲＴＦが閾値ＴｈＲより大きい場合に音源の推定が誤っていると判定し、音源の推定に用いる閾値Ｔｈを更新するため、その後の音源の推定において推定精度を向上させることができる。
【００７９】
＜第２の実施形態＞
第２の実施形態では、全フレームでの音圧差の平均を算出し、算出した平均値を閾値の更新の際に用いる例について、説明する。第２の実施形態における音源方向推定装置３の構成は、図４に示した第１の実施形態の構成と同様であるとする。
【００８０】
図１４および図１５は、第２の実施形態の処理の一例を示すフローチャートである。第２の実施形態の処理に関して、図１２および図１３に示した第１の実施形態の処理と異なる部分を説明する。
【００８１】
図１４において、発話開始を検出済みであるか判定された場合（ステップＳ２０５でＹＥＳ）、音源方向推定部１２は、フレームｉにおける音圧差を記憶部１９に記憶させる（ステップＳ２０７）。すなわち、音源方向推定装置３は、第１の実施形態では、発話開始を検出したフレームの音圧差のみ記憶するが、第２の実施形態では、複数のフレーム毎に音圧差を算出し、記憶する。複数のフレームは、例えば、発話区間のうちの先頭からの所定区間のフレーム、または発話区間内の全フレームである。
【００８２】
また、音源方向推定部１２は、記憶された複数のフレームにおける音圧差Ｄの平均値ＤＡを算出する（ステップＳ２１１）。
【００８３】
ＲＴＦが予め設定されたＴｈＲより大きい場合（ステップＳ２１４でＹＥＳ）、更新部１７は、音圧差Ｄの平均値ＤＡに基づいて、閾値Ｔｈを更新する（ステップＳ２１４）。例えば、更新部１７は、音源方向の推定においてＤＡ≧Ｔｈであった場合、更新後の閾値Ｔｈ’にＤＡ＋ｍを設定する。更新部１７は、音源方向の推定においてＤＡ＜Ｔｈであった場合、更新後の閾値Ｔｈ’にＤＡ−ｍを設定する。
【００８４】
音圧差は、雑音の影響等により時間経過に応じて変化する可能性がある。そのため、第２の実施形態における音源方向推定装置３は、閾値Ｔｈの更新に全フレームの音圧差の平均値を用いることにより、その後の音源推定処理の精度をさらに向上することができる。
【００８５】
＜第３の実施形態＞
第３の実施形態では、音圧差と閾値との差が所定値以内である場合、閾値を更新する例について、説明する。第３の実施形態における音源方向推定装置３の構成は、図４に示した第１の実施形態の構成と同様であるとする。
【００８６】
図１６は、閾値Ｔｈの更新方法の第３の例を示す図である。図１６は、Ｄ＜Ｔｈとなり、音源方向推定部１２が音源を英語話者であると推定し、その推定が正しかった例を示している。その場合、判定部１６は、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下であるか判定する。そして、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄと閾値Ｔｈとの差が大きくなるように閾値Ｔｈを更新する。なお、所定値ｎ＝更新量ｍであってもよい。
【００８７】
図１６に示す例のようにＤ＜Ｔｈとなり、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄおよび更新量ｍを用いて、以下の式のように更新後の閾値Ｔｈ’を算出する。
Ｔｈ’＝Ｄ＋ｍ
【００８８】
図１７は、閾値Ｔｈの更新方法の第４の例を示す図である。図１７は、Ｄ≧Ｔｈとなり、音源方向推定部１２が音源を日本語話者であると推定し、その推定が正しかった例を示している。その場合、判定部１６は、さらに音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下であるか判定する。そして、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄと閾値Ｔｈとの差が大きくなるように閾値Ｔｈを更新する。
【００８９】
図１７に示す例のようにＤ≧Ｔｈとなり、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄおよび更新量ｍを用いて、以下の式のように更新後の閾値Ｔｈ’を算出する。
Ｔｈ’＝Ｄ−ｍ
【００９０】
図１８および図１９は、第３の実施形態の処理の一例を示すフローチャートである。３２の実施形態の処理に関して、図１２および図１３に示した第１の実施形態の処理と異なる部分を説明する。
【００９１】
図１９において、判定部１６は、ＲＴＦが予め設定されたＴｈＲより大きいか判定する（ステップＳ３１３）。ステップＳ３１３でＮＯの場合、すなわち音源方向の推定結果が正しいと判定された場合、判定部１６は、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下であるか判定する（ステップＳ３１４）。
【００９２】
ステップＳ３１４でＹＥＳの場合、更新部１７は、音圧差Ｄと閾値Ｔｈとの差が大きくなるように閾値Ｔｈを更新する（ステップＳ３１５）。例えば、図１６に示す例のようにＤ＜Ｔｈとなり、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄに更新量ｍを加算して、更新後の閾値Ｔｈ’とする。図１７に示す例のようにＤ≧Ｔｈとなり、音圧差Ｄと閾値Ｔｈとの差が所定値ｎ以下である場合、更新部１７は、音圧差Ｄから更新量ｍを減算して、更新後の閾値Ｔｈ’とする。
【００９３】
音源の推定が正しかったとしても、音圧差と閾値とが近い場合、その後の雑音の変化等により、音源方向の推定を誤る可能性があると考えられる。そのため、第３の実施形態において、音源方向推定装置３は、音圧差と閾値との差が所定値以内である場合、音圧差と閾値との差大きくなるように閾値Ｔｈを更新することによって、音源方向の推定精度をさらに向上させることができる。
【００９４】
＜第４の実施形態＞
第４の実施形態では、ＲＴＦがＴｈＲ以上の値ＴｈＲ３より大きい場合、推定された前記音源とは異なる音源に対応した言語で音声認識を実行する例について、説明する。第４の実施形態における音源方向推定装置３の構成は、図４に示した第１の実施形態の構成と同様であるとする。
【００９５】
図２０および図２１は、第４の実施形態の処理の一例を示すフローチャートである。第４の実施形態の処理に関して、図１２および図１３に示した第１の実施形態の処理と異なる部分を説明する。
【００９６】
ステップＳ４１４の処理後、判定部１６は、ＲＴＦが予め設定されたＴｈＲ３より大きいか判定する（ステップＳ４１５）。ＴｈＲ３は、第３閾値の一例である。ＴｈＲ３は、ＴｈＲより大きい値であるとする。
【００９７】
ＲＴＦがＴｈＲ３より大きい場合、音源の推定が誤っている可能性が高いと考えられる。よって、ステップＳ４１５でＹＥＳの場合、判定部１６は、音声認識部１５に、推定された音源とは異なる音源に対応した言語と音声データで再度の音声認識を実行する指示を出力する（ステップＳ４１６）。例えば、日本語音声認識部１５−１が第１音声データを取得して１回目の音声認識を実行していた場合、英語音声認識部１５−２が第２音声データを用いて再度の音声認識を実行する。英語音声認識部１５−２が第２音声データを取得して１回目の音声認識を実行していた場合、日本語音声認識部１５−１が第１音声データを用いて再度の音声認識を実行する。
【００９８】
音源方向推定装置３は、音声認識が終了するまで待機する。そして、ステップＳ４１５でＮＯの場合、またはステップＳ４１７でＹＥＳの場合に、翻訳部１８は、音声認識部１５の再度の処理結果を用いて、翻訳処理を行う（ステップＳ４１８）。
【００９９】
ＲＴＦが予め設定されたＴｈＲ３より大きい場合、音源が誤っており、入力音声に対応しない言語で音声認識が行われた可能性が高いことが考えられる。この場合、翻訳部１８の翻訳処理が正しく翻訳を行われず、ユーザが言い直しを行うこととなるおそれがある。従って、第４の実施形態における音源方向推定装置３は、ＲＴＦが予め設定されたＴｈＲ３より大きい場合に音声認識をやり直すことにより、音声認識および翻訳の精度を向上することができると共に、言い直しの手間と時間を削減できる。
【０１００】
次に、音源方向推定装置３のハードウェア構成の一例を説明する。図２２は、音源方向推定装置３のハードウェア構成の一例を示す図である。図２２の例に示すように、音源方向推定装置３において、バス１００に、第１マイクロホン１と第２マイクロホン２とプロセッサ１１１とメモリ１１２と補助記憶装置１１３と通信インタフェース１１４と媒体接続部１１５と入力装置１１６と出力装置１１７とが接続される。
【０１０１】
プロセッサ１１１は、メモリ１１２に展開されたプログラムを実行する。実行されるプログラムには、実施形態における処理を行う音源推定プログラムが適用されてもよい。
【０１０２】
メモリ１１２は、例えば、Random Access Memory(RAM)である。補助記憶装置１１３は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。補助記憶装置１１３に実施形態の処理を行う音源推定プログラムが記憶されていてもよい。
【０１０３】
通信インタフェース１１４は、Local Area Network（LAN）、Wide Area Network（WAN）等の通信ネットワークに接続され、通信に伴うデータ変換等を行う。
【０１０４】
媒体接続部１１５は、可搬型記録媒体１１８が接続可能なインタフェースである。可搬型記録媒体１１８には、光学式ディスク（例えば、Compact Disc(CD)またはDigital Versatile Disc(DVD))、半導体メモリ等が適用されてもよい。可搬型記録媒体１１８に実施形態の処理を行う音源推定プログラムが記録されていてもよい。
【０１０５】
入力装置１１６は、例えば、キーボード、ポインティングデバイス等であり、ユーザからの指示及び情報等の入力を受け付ける。
【０１０６】
出力装置１１７は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせ又は指示、及び処理結果等を出力する。
【０１０７】
図４に示す音声格納部１３および記憶部１９は、メモリ１１２、補助記憶装置１１３または可搬型記録媒体１１８等により実現されてもよい。図１に示す発話検出部１１、音源方向推定部１２、出力部１４、音声認識部１５、判定部１６、更新部１７、および翻訳部１８は、メモリ１１２に展開された音源推定プログラムをプロセッサ１１１が実行することにより実現されてもよい。
【０１０８】
メモリ１１２、補助記憶装置１１３および可搬型記録媒体１１８は、コンピュータが読み取り可能であって非一時的な有形の記憶媒体であり、信号搬送波のような一時的な媒体ではない。
【０１０９】
図２３は、マイクロホンの他の例を示す図である。図２３（ａ）および（ｂ）において、Ｌ字型形状の音道２２の底に無指向性のマイクロホン２１が設置されている。また、音道２２の入口（開口部）の方向が目的方向となるように音道２２が設置されている。
【０１１０】
図２３（ａ）に示すように目的方向から音声が発せられた場合、音声は、音道２２内で１回回折して、マイクロホン２１に入力する。一方、図２３（ｂ）に示すように目的方向以外の方向から音声が発せられた場合、音声は、２回回折して、マイクロホン２１に入力する。このような構造により、目的方向以外からの音声を回折により減衰させて目的方向に対する指向性を強調することができる。
【０１１１】
上述した第１マイクロホン１および第２マイクロホン２に替えて、図２３に示すマイクロホン２１および音道２２を含む構造を音源方向推定３に適用してもよい。その場合、本実施形態の説明における「第１マイクロホン１の指向性」は、「マイクロホン２１とマイクロホン２１が設置される音道構造に基づく指向性」に置き換えられる。同様に、「第２マイクロホン２の指向性」は、「マイクロホン２１とマイクロホン２１が設置される音道構造に基づく指向性」に置き換えられる。マイクロホン２１とママイクロホン２１が設置される音道構造に基づく指向性の方向は、図２３における目的方向に相当する。
【０１１２】
＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で様々な変更、追加、省略が適用可能である。
【符号の説明】
【０１１３】
１    第１マイクロホン
２    第２マイクロホン
３    音源方向推定装置
４    端末
１１    発話検出部
１２    音源方向推定部
１３    音声格納部
１４    出力部
１５    音声認識部
１６    判定部
１７    更新部
１８    翻訳部
１９    記憶部
２１    マイクロホン
２２    音道
１００    バス
１１１    プロセッサ
１１２    メモリ
１１３    補助記憶装置
１１４    通信インタフェース
１１５    媒体接続部
１１６    入力装置
１１７    出力装置
１１８    可搬型記録媒体
【図１】
2020024338.tif 000003
【図２】
2020024338.tif 000004
【図３】
2020024338.tif 000005
【図４】
2020024338.tif 000006
【図５】
2020024338.tif 000007
【図６】
2020024338.tif 000008
【図７】
2020024338.tif 000009
【図８】
2020024338.tif 000010
【図９】
2020024338.tif 000011
【図１０】
2020024338.tif 000012
【図１１】
2020024338.tif 000013
【図１２】
2020024338.tif 000014
【図１３】
2020024338.tif 000015
【図１４】
2020024338.tif 000016
【図１５】
2020024338.tif 000017
【図１６】
2020024338.tif 000018
【図１７】
2020024338.tif 000019
【図１８】
2020024338.tif 000020
【図１９】
2020024338.tif 000021
【図２０】
2020024338.tif 000022
【図２１】
2020024338.tif 000023
【図２２】
2020024338.tif 000024
【図２３】
2020024338.tif 000025