(57)【要約】【課題】ユーザとマイクとの位置関係が変化する場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定する。【解決手段】１フレーム毎に、第１周波数信号と第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、所定周波数毎の位相差が発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する。第１周波数信号は、第１音声入力部に入力された第１音声信号に対応し、第２周波数信号は、第２音声入力部に入力された第２音声信号に対応する。複数フレーム分の第１位相差外れ度合から複数フレームの統計値である第２位相差外れ度合を算出し、第２位相差外れ度合が第１閾値以下である場合、ユーザが第１音声入力部及び第２音声入力部に向かって発声していると判定する。【選択図】図９
2019197179.tif 000002
【特許請求の範囲】
【請求項１】
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定処理をコンピュータに実行させるためのプログラム。
【請求項２】
前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
請求項１に記載のプログラム。
【請求項３】
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
請求項１または請求項２に記載のプログラム。
【請求項４】
第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
請求項１〜請求項３の何れか１項に記載のプログラム。
【請求項５】
前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
請求項１〜請求項４の何れか１項に記載のプログラム。
【請求項６】
コンピュータが、
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定方法。
【請求項７】
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する第１位相差外れ算出部と、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出する第２位相差外れ算出部と、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する発声方向判定部と、
を含む、発声方向判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発声方向判定プログラム、発声方向判定方法及び発声方向判定装置に関する。
【背景技術】
【０００２】
スマートスピーカ等の音声操作装置の普及によって、発声する前に、特別な操作を行うことなく、例えば、ボタンなどを押下することなく、アプリの起動、及び情報検索等を音声で行う機会が増加している。スマートスピーカ等に対しては、音声入力の開始を示すためにボタンなどを押下することなく、発声を行うことが一般的であるため、意図しない発声によって、音声操作装置がユーザの意図しない動作を行う場合がある。
【０００３】
音声操作装置がユーザの意図しない動作を行わないように、例えば、ユーザがマイクロフォン（以下、マイクという。）に向かって発声しているか否か判定する技術が存在する。当該技術では、例えば、ユーザを撮影した画像データが使用されるが、この場合、画像データを撮影するためにカメラを設置する必要があるため、コストが増大し、システムが複雑化する。また、画像データの撮影には抵抗を感じるユーザも多い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２４３４９４号公報
【特許文献２】特開２０１６−１８１７８９号公報
【特許文献３】特許５３８７４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像データを使用せず、音声データに基づいて、ユーザがマイクに向かって発声しているか否かを判断する技術が存在する。当該技術では、一対のマイクの出力の周波数スペクトルを分析し、１０〜２０［ｋＨｚ］帯の音声信号のパワー比に基づいて、ユーザがマイクに向かって発声しているか否か判定する。
【０００６】
当該技術では、ユーザが２つのマイクの中間位置に存在することを前提としている。したがって、ユーザが移動すると、ユーザの向きを適切に判定することができない。音声の遅延量に基づいてユーザの位置を推定することはできるが、ユーザの移動に伴う補正係数の算出は、ある程度の範囲の位置及び角度を網羅しなければならず、負荷が大きい。
【０００７】
本発明は、１つの側面として、ユーザとマイクとの位置関係が変化する場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することを可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
１つの実施形態では、１フレーム毎に、第１周波数信号と第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、所定周波数毎の位相差が発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する。第１周波数信号は、第１音声入力部に入力された第１音声信号に対応し、第２周波数信号は、第２音声入力部に入力された第２音声信号に対応する。複数フレーム分の第１位相差外れ度合から複数フレームの統計値である第２位相差外れ度合を算出し、第２位相差外れ度合が第１閾値以下である場合、ユーザが第１音声入力部及び第２音声入力部に向かって発声していると判定する。
【発明の効果】
【０００９】
本発明は、１つの側面として、ユーザとマイクとの位置関係が変化する場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することを可能とする。
【図面の簡単な説明】
【００１０】
【図１】第１〜第４実施形態に係る発声方向判定装置の要部機能の一例を示すブロック図である。
【図２】発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。
【図３Ａ】発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。
【図３Ｂ】発声方向領域の決定を説明するための位相差と周波数との関係を例示する概念図である。
【図４Ａ】位相差外れ度合の算出を説明するための位相差と周波数との関係を例示する概念図である。
【図４Ｂ】位相差外れ度合及び位相差外れ度合時間平均値と時間との関係を例示する概念図である。
【図５Ａ】マイクに対するユーザの顔の向きを例示する概念図である。
【図５Ｂ】マイクに対するユーザの顔の向きを例示する概念図である。
【図５Ｃ】マイクに対するユーザの顔の向きを例示する概念図である。
【図６Ａ】位相差と周波数との関係を例示する概念図である。
【図６Ｂ】位相差と周波数との関係を例示する概念図である。
【図６Ｃ】位相差と周波数との関係を例示する概念図である。
【図７】位相差外れ度合時間平均値と閾値との関係を例示する概念図である。
【図８Ａ】第１〜第４実施形態に係る発声方向判定装置のハードウェアの構成の一例を示すブロック図である。
【図８Ｂ】発声方向判定装置を含む環境を示す概念図である。
【図９】第１実施形態に係る発声方向判定処理の流れの一例を示すフローチャートである。
【図１０】第１及び第２実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。
【図１１Ａ】マイクに対するユーザの位置及び顔の向きを例示する概念図である。
【図１１Ｂ】マイクに対するユーザの位置及び顔の向きを例示する概念図である。
【図１２Ａ】閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。
【図１２Ｂ】閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。
【図１３】位相差外れ度合時間平均値と閾値との関係を例示する概念図である。
【図１４】閾値と発声方向との関係を例示する概念図である。
【図１５Ａ】閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。
【図１５Ｂ】閾値の設定を説明するための位相差と周波数との関係を例示する概念図である。
【図１６Ａ】閾値の設定を説明するための位相差外れ度合時間平均値と時間との関係を例示する概念図である。
【図１６Ｂ】閾値の設定を説明するための位相差外れ度合時間平均値と時間との関係を例示する概念図である。
【図１７】第２実施形態に係る発声方向判定処理の流れの一例を示すフローチャートである。
【図１８】第３実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。
【図１９】第４実施形態に係る位相差外れ度合算出処理の流れの一例を示すフローチャートである。
【図２０】本実施形態の検証結果を例示する表である。
【図２１Ａ】本実施形態の検証を説明するための概念図である。
【図２１Ｂ】本実施形態の検証を説明するための概念図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。
【００１２】
図１に示す発声方向判定装置１０は、音声入力部２１Ａ及び２１Ｂ、時間周波数変換部２２、発声方向領域決定部２４、位相差外れ算出部２５、位相差外れ時間平均値算出部２６、及び発声方向判定部２７を含む。音声入力部２１Ａ及び２１Ｂは、音声を検出し、検出した音声を音声信号に変換する。以下、音声入力部が２個である場合について説明するが、本実施形態はこれに限定されず、音声入力部が３個以上含まれていてもよい。
【００１３】
時間周波数変換部２２は、音声信号に対して時間周波数変換を行う。時間周波数変換部２２は、例えば、ＦＦＴ（Fast Fourier Transformation）を使用して、時間に応じて振幅が変化する音声信号ＩＮＴＡ及びＩＮＴＢを周波数に応じて振幅が変化する周波数信号ＩＮＦＡ及びＩＮＦＢに変換する。発声方向領域決定部２４は、ユーザが発声している方向であると推定される方向を含む領域である発声方向領域を決定する。
【００１４】
発声方向領域決定部２４は、まず、発声方向を推定する。図２は、周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。図２の縦軸は、位相差[ｒａｄ]を表わし、横軸は周波数ビン番号を表す。周波数ビン番号の最大値はＦＦＴサイズ／２である。ＦＦＴサイズは、時間周波数変換にＦＦＴが使用されている場合の１フレームあたりのポイント数である。
【００１５】
発声方向は、例えば、図２に例示するように、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ[ｒａｄ]の点(ＦＦＴサイズ／２，ｐ)までの直線で表される。位相差ｐ［ｒａｄ］は、周波数ビン番号ＦＦＴサイズ／２における発声方向位相差の値である。
【００１６】
発声方向位相差ｐ［ｒａｄ］は、例えば、周波数ビン毎に、位相差×サンプリング周波数／（２×周波数ビン）を算出して加算し、ＦＦＴサイズ／２で除算することで算出される。図２の例では、サンプリング周波数＝２２，０５０［Ｈｚ］であり、発声方向位相差ｐ＝１．８６［ｒａｄ］である。
【００１７】
発声方向領域決定部２４は、図３Ａに例示するように、直線７１Ａ及び７１Ｂで囲まれた領域を発声方向領域として決定する。直線７１Ａは、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ＋αの点（ＦＦＴサイズ／２,ｐ＋α）までの直線である。直線７１Ｂは、周波数ビン番号０及び位相差０［ｒａｄ］の点（０，０）から周波数ビン番号ＦＦＴサイズ／２及び位相差ｐ−αの点（ＦＦＴサイズ／２,ｐ−α）までの直線である。αは、例えば、１．０［ｒａｄ］であってよい。
【００１８】
図３Ａは、発声方向位相差ｐが０［ｒａｄ］である例であり、図３Ｂは、発声方向位相差ｐが１．８６［ｒａｄ］である例である。なお、例えば、予め分割された位相差の領域を複数用意し、位相差を用いて各領域に音源が存在する率を算出し、領域を選別することで、発声方向及び発声方向領域を同時に決定するようにしてもよい。
【００１９】
位相差外れ算出部２５は、第１位相差外れ算出部の一例であり、フレーム毎の位相差外れ度合を算出する。位相差外れ度合は第１位相差外れ度合の一例である。１フレームの長さは、例えば、約１０［ｍｓ］であってよい。フレーム毎の位相差外れ度合Ｄｆｎは、例えば、以下の（１）式で算出される。なお、以下で、フレーム番号を限定しない場合、位相差外れ度合をＤで表す。
【数１】
2019197179.tif 000003
【００２０】
ＦＲは、最大周波数ビン番号であり、時間周波数変換がＦＦＴで行われる場合、ＦＦＴサイズ／２である。個別位相差外れ度合Δｄｆｒは、図４Ａに例示するように、周波数ビン番号ｆｒで、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域８１Ｒから外れている度合、即ち、発声方向領域８１Ｒの端部と位相差との縦軸方向の距離である。なお、図４Ａはｐ＝０、α＝１の例であり、発声方向領域８１Ｒは点（０，０）、点（ＦＦＴサイズ／２,１）、点（ＦＦＴサイズ／２,−１）で囲まれた領域である。
【００２１】
なお、以下で、周波数ビン番号を限定しない場合、個別位相差外れ度合をΔｄで表す。周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域８１Ｒ内に存在する場合、Δｄを０とする。
【００２２】
位相差外れ算出部２５は、個別位相差外れ度合Δｄｆｒを周波数ビンｆｒ毎に算出し、１フレーム内の個別位相差外れ度合Δｄの平均値である位相差外れ度合Ｄｆｎをフレーム毎に算出する。ｆｎはフレーム番号を表す。なお、位相差外れ度合Ｄｆｎは、単に、１フレーム内の個別位相差外れ度合Δｄを合計した値でもよい。
【００２３】
位相差外れ時間平均値算出部２６は、第２位相差外れ算出部の一例であり、位相差外れ度合Ｄの所定数フレーム毎の平均値である位相差外れ度合時間平均値ＡＤｆｎを算出する。位相差外れ度合時間平均値ＡＤｆｎは、第２位相差外れ度合の一例であり、以下の（２）式で算出される。ｆｃは、所定数フレームの個数であり、例えば、１０であってよい。ＡＤｆｎは、フレーム番号ｆｎから過去ｆｃフレーム分の位相差外れ度合Ｄの平均値である。なお、以下で、フレーム番号を限定しない場合、位相差外れ度合時間平均値をＡＤで表す。
【数２】
2019197179.tif 000004
【００２４】
図４Ｂは、位相差外れ度合Ｄと時間との関係及び位相差外れ度合時間平均値ＡＤと時間との関係を例示する。図４Ｂの縦軸は、位相差外れ度合Ｄまたは位相差外れ度合時間平均値ＡＤを表し、横軸は時間、即ち、フレーム番号ｆｎを表す。図４Ｂにおいて、位相差外れ度合Ｄは棒８２Ｄで表され、位相差外れ度合時間平均値ＡＤは線８２ＡＤで表される。
【００２５】
発声方向判定部２７は、ユーザが音声入力部２１Ａ及び２１Ｂに向かって発声しているか否か、を判定する。即ち、発声方向判定部２７は、発声しているユーザの顔、詳細には、ユーザの口がマイクロフォン（以下、マイクという。）５５Ａ及び５５Ｂに向けられているか、発声しているユーザの顔がマイク５５Ａ及び５５Ｂに向けられていないか、を判定する。マイク５５Ａ及び５５Ｂは、音声入力部２１Ａ及び２１Ｂの一例である。以下、マイク５５Ａ及び５５Ｂを区別しない場合、マイク５５という。図５Ａは、ユーザの顔がマイク５５に向けられている例であり、図５Ｂ及び図５Ｃは、ユーザの顔がマイク５５に向けられていない例である。
【００２６】
図５Ａに例示するように、マイク５５Ａ及びマイク５５Ｂは、発声方向判定装置１０に所定の間隔を空けて配置される。ユーザの顔がマイク５５に向かっている、とは、詳細には、ユーザの顔がマイク５５Ａ及び５５Ｂの中間位置を中心とする所定範囲の領域に向けられている、ことを示す。
【００２７】
発声方向判定部２７は、位相差外れ度合時間平均値ＡＤが所定閾値以下である場合、ユーザがマイク５５に向かって発声していると判定する。所定閾値は、第１閾値の一例であり、例えば、０．６［ｒａｄ］であってよいが、本実施形態はこれに限定されない。
【００２８】
図６Ａは、図５Ａに例示するように、ユーザがマイク５５に向かって発声している場合の周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。但し、図６Ａでは、特徴を顕著に表すために、複数フレームの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を重畳している。また、図６Ａ、図６Ｂ、及び図６Ｃの発声方向領域８３は、図４Ａの発声方向領域８１Ｒと同様の例である。
【００２９】
図６Ｂは、図５Ｂに例示するように、ユーザがマイク５５に向かわず、マイク５５の左側に向かって発声している場合の位相差と周波数との関係を例示する。図６Ｃは、図５Ｃに例示するように、ユーザがマイク５５に向かわず、ユーザの右手方向に向かって発声している場合の周波数信号ＩＮＦＡ及びＩＮＦＢの周波数ビン毎の位相差と周波数との関係を例示する。
【００３０】
図６Ａと比較して、図６Ｂ及び図６Ｃでは、発声方向領域８３から外れている、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が多い。即ち、図５Ｂ及び図５Ｃに例示するように、ユーザがマイク５５に向かわずに発声している場合、図５Ａに例示するように、ユーザがマイク５５に向かって発声している場合よりも、位相差外れ度合時間平均値ＡＤは大きい。
【００３１】
図７に、図６Ａ、図６Ｂ及び図６Ｃに各々対応する位相差外れ度合時間平均値８４Ｃ、８４Ｌ及び８４Ｒ、を例示する。図７に例示されるように、図６Ａに対応する位相差外れ度合時間平均値８４Ｃと、図６Ｂ及び図６Ｃに対応する位相差外れ度合時間平均値８４Ｌ及び８４Ｒと、は全体的に大きさが異なる。即ち、位相差外れ度合時間平均値が所定閾値８４Ｔ以下であるか否か判定することで、ユーザの顔の向きを判定することができる。
【００３２】
マイクに対するユーザの位置が変化しない場合、ユーザがマイクに向かって発声すると反射音が直接音より少なく、ユーザがマイクに向かわず発声すると反射音が直接音より多い。即ち、ユーザがマイクに向かわず発声すると、マイクに検出される反射音が多くなるため、比較的大きい個別位相差外れ度合が多く出現し、位相差外れ度合時間平均値が大きくなる。したがって、位相差外れ度合時間平均値が所定閾値以下である場合、ユーザがマイクに向かって発声していると判定することができる。
【００３３】
発声方向判定装置１０は、一例として、図８Ａに示すように、ＣＰＵ（Central Processing Unit）５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４を含む。ＣＰＵ５１は、ハードウェアであるプロセッサの一例である。ＣＰＵ５１、一次記憶部５２、二次記憶部５３、及び、外部インターフェイス５４は、バス５９を介して相互に接続されている。
【００３４】
一次記憶部５２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部５３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
【００３５】
二次記憶部５３は、プログラム格納領域５３Ａ及びデータ格納領域５３Ｂを含む。プログラム格納領域５３Ａは、一例として、発声方向判定プログラムなどのプログラムを記憶している。データ格納領域５３Ｂは、一例として、音声信号及び発声方向判定プログラムを実行している間に生成される中間データなどを記憶する。
【００３６】
ＣＰＵ５１は、プログラム格納領域５３Ａから発声方向判定プログラムを読み出して一次記憶部５２に展開する。ＣＰＵ５１は、発声方向判定プログラムを実行することで、図１の時間周波数変換部２２、発声方向領域決定部２４、位相差外れ算出部２５、位相差外れ時間平均値算出部２６、及び発声方向判定部２７として動作する。
【００３７】
なお、発声方向判定プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部５２に展開されてもよい。また、発声方向判定プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部５２に展開されてもよい。
【００３８】
外部インターフェイス５４には外部装置が接続され、外部インターフェイス５４は、外部装置とＣＰＵ５１との間の各種情報の送受信を司る。外部インターフェイス５４には、マイク５５Ａ及び５５Ｂ、及びスピーカ５６が接続されている。マイク５５Ａ及び５５Ｂ、及びスピーカ５６は、外部装置であることに限定されず、発声方向判定装置１０に内蔵されていてもよい。
【００３９】
マイク５５Ａ及び５５Ｂは、音声入力部２１Ａ及び２１Ｂの一例であり、ユーザが発話した音声を検出し、音声信号に変換する。スピーカ５６は、例えば、発声方向判定装置１０が出力する発声方向判定結果を音声で報知する。
【００４０】
発声方向判定装置１０は、例えば、スマートスピーカなどの音声操作装置に内蔵されていてもよいし、図８Ｂに例示するように、音声操作装置６１に近接して配置されていてもよい。図８Ｂは、音声操作装置６１の上面に発声方向判定装置１０を配置した例であるが、例えば、音声操作装置６１の前面に発声方向判定装置１０を配置してもよい。音声操作装置６１に近接して配置されている場合、発声方向判定装置１０と音声操作装置６１とは有線または無線で接続される。
【００４１】
次に、発声方向判定処理の作用の概要について説明する。図９は、発声方向判定処理の流れを例示する。ＣＰＵ５１は、ステップ１０１で、マイク５５Ａ及びマイク５５Ｂで検出された音声に対応する音声信号ＩＮＴＡ及びＩＮＴＢを各々１フレーム分読み込む。
【００４２】
ＣＰＵ５１は、ステップ１０２で、読み込まれた音声信号ＩＮＴＡ及びＩＮＴＢを、周波数信号ＩＮＦＡ及びＩＮＦＢに各々時間周波数変換する。ここでは、時間周波数変換が、ＦＦＴで行われる例について説明する。ＣＰＵ５１は、ステップ１０３で、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を算出する。
【００４３】
ＣＰＵ５１は、ステップ１０４で、発声方向領域を決定する。ＣＰＵ５１は、ステップ１０５で、後述するように、位相差外れ度合平均値を算出する。ＣＰＵ５１は、ステップ１０６で、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えたか否か判定する。ステップ１０６の判定が否定された場合、即ち、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えていない場合、ＣＰＵ５１は、ステップ１０１に戻る。
【００４４】
ステップ１０６の判定が肯定された場合、即ち、ステップ１０１で読み込んだフレームの数が所定フレーム数Ｍを超えている場合、ＣＰＵ５１は、ステップ１０７で、位相差外れ度合時間平均値を算出する。ＣＰＵ５１は、ステップ１０８で、位相差外れ度合時間平均値が所定閾値以下であるか否か判定する。
【００４５】
ステップ１０８の判定が肯定された場合、即ち、位相差外れ度合時間平均値が所定閾値以下である場合、ＣＰＵ５１は、ステップ１０９で、ユーザの顔がマイクに向けられていると判定し、例えば、発声方向判定フラグに「１」をセットする。ステップ１０８の判定が否定された場合、即ち、位相差外れ度合時間平均値が所定閾値を超えている場合、ＣＰＵ５１は、ステップ１１０で、ユーザの顔がマイクに向けられていないと判定し、例えば、発声方向判定フラグに「０」をセットする。発声方向判定フラグは、図８Ａの二次記憶部５３のデータ格納領域５３Ｂに含まれていてもよい
【００４６】
ＣＰＵ５１は、ステップ１１１で、例えば、所定のボタンが押下されるなど、ユーザによって発声方向判定処理の終了指示が行われたか否か判定する。ステップ１１１の判定が否定された場合、ＣＰＵ５１はステップ１０１に戻る。
【００４７】
ステップ１１１の判定が肯定された場合、ＣＰＵ５１は、発声方向判定フラグの値に基づいて、判定結果を示す信号を出力して発声方向判定処理を終了する。判定結果を示す信号は、例えば、スマートスピーカなどの音声操作装置６１に入力される。音声操作装置６１は、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発声にしたがって作動し、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
【００４８】
即ち、ユーザがマイクに顔を向けて発声していると判定された場合に音声を受け付け、ユーザがマイクに顔を向けていないと判定された場合に音声を受け付けないことが可能となるため、ユーザが意図しない誤認識、誤動作を低減することが可能となる。
【００４９】
判定結果を示す信号は、例えば、テレビ会議システムに入力されてもよい。テレビ会議システムは、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発言を他の出席者に送信し、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
【００５０】
判定結果を示す信号は、例えば、音声認識装置に入力されてもよい。音声認識装置は、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザの発声の音声認識を行い、判定結果が、ユーザの顔がマイクに向けられていないことを示す場合、ユーザの発声を無視する。
【００５１】
判定結果を示す信号は、例えば、安全確認システムに入力されてもよい。安全確認システムは、例えば、判定結果が、ユーザの顔がマイクに向けられていることを示す場合、ユーザが安全であると判定する。安全確認システムは、例えば、判定結果が、所定時間の間、ユーザの顔がマイクに向けられていないことを示す場合、ユーザに対して、マイクに向かって発声するように、スピーカ５６、または、文字または画像を出力する画像出力装置を介して報知してもよい。
【００５２】
図１０は、図９のステップ１０５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２０１で、個別位相差外れ度合合計値を記憶するΔｄ合計及び周波数ビン数をカウントする変数ｉに０をセットする。ＣＰＵ５１は、ステップ２０２で、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域から外れている度合である個別位相差外れ度合Δｄを周波数ビン番号ｉ毎に算出する。周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域内に存在する場合、Δｄ＝０とする。
【００５３】
ＣＰＵ５１は、ステップ２０３で、Δｄ合計の値にΔｄの値を加算し、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２０４で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２０４の判定が肯定された場合、即ち、変数ｉの値がＦＦＴサイズ／２未満である場合、ＣＰＵ５１は、ステップ２０２に戻る。ステップ２０４の判定が否定された場合、即ち、変数ｉの値がＦＦＴサイズ／２以上である場合、ＣＰＵ５１は、ステップ２０５で、Δｄ合計の値を変数ｉの値で除算し、位相差外れ度合平均値を算出する。
【００５４】
なお、ステップ１０８では、Ｍフレーム分の位相差外れ度合から算出される位相差外れ度合時間平均値に基づいて、ユーザがマイクに向かって発声しているか否か判定している。しかしながら、ステップ１０８の判定を複数回繰り返し、位相差外れ度合時間平均値が所定閾値以下であると判定された回数が所定数を超える場合に、ユーザがマイクに向かって発声していると判定してもよい。また、ステップ１０８の判定を複数回繰り返し、位相差外れ度合時間平均値が所定閾値以下であると判定された回数が所定の割合を超える場合に、ユーザがマイクに向かって発声していると判定してもよい。また、Ｍフレーム分の位相差外れ度合から算出される位相差外れ度合時間平均値に代えて、例えば、Ｍフレーム分の位相差外れ度合から算出される個別位相差外れ度合中央値などの個別位相差外れ度合の統計値を使用してもよい。
【００５５】
本実施形態では、１フレーム毎に、第１周波数信号と第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、所定周波数毎の位相差が発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する。第１周波数信号は、第１音声入力部に入力された第１音声信号に対応し、第２周波数信号は、第２音声入力部に入力された第２音声信号に対応する。複数フレーム分の第１位相差外れ度合から複数フレームの統計値である第２位相差外れ度合を算出し、第２位相差外れ度合が第１閾値以下である場合、ユーザが第１音声入力部及び第２音声入力部に向かって発声していると判定する。
【００５６】
これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで検出される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを判定することができる。
【００５７】
［第２実施形態］
次に、第２実施形態の一例を説明する。第１実施形態と同様の構成及び作用については、説明を省略する。第２実施形態では、推定される発声方向に基づいて、閾値を設定する点で、第１実施形態と異なる。
【００５８】
図１１Ａに例示するように、ユーザがマイク５５の正面からユーザの右手方向にずれて位置し、マイク５５に顔を向けて発声する場合の位相差と周波数との関係を、図１２Ａに例示する。図１１Ｂに例示するように、ユーザがマイク５５の正面からユーザの右手方向にずれて位置し、さらに、顔を右側に向けて、即ち、マイク５５に向かわないで発声する場合の位相差と周波数との関係を、図１２Ｂに例示する。
【００５９】
ユーザがマイク５５の正面に位置する場合の図６Ａ及び図６Ｃと比較して、図１２Ａ及び図１２Ｂでは、発声方向領域から外れている周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が多く、個別位相差外れ度合も大きい。
【００６０】
図１３に、位相差外れ度合時間平均値と時間との関係を表すグラフを例示する。線８５Ｒは、図１１Ｂに例示するように、ユーザの顔がマイク５５に向けられていない場合の位相差外れ度合時間平均値を表す。また、線８５Ｃは、図１１Ａに例示するように、ユーザの顔がマイク５５に向けられている場合の位相差外れ度合時間平均値を表す。
【００６１】
線８５Ｒは、図７の線８４Ｒよりも全体的に大きい値を表し、線８５Ｃは、図７の線８４Ｃよりも全体的に大きい値を表す。したがって、図７の閾値８４Ｔより大きい閾値を使用することで、線８５Ｒと線８５Ｃとを適切に区別する、即ち、ユーザの顔の向きを判定する、ことが可能となる。
【００６２】
図１４に、閾値とユーザの位置との関係を表すグラフを例示する。図１４の縦軸は閾値［ｒａｄ］を表し、横軸はユーザの位置である発声方向を表す。ユーザがマイク５５の正面に位置する場合、発声方向は０で表される。発声方向は、ユーザがマイク５５の正面からユーザの右手方向または左手方向に向かって遠ざかる程大きい値で表される。即ち、閾値は、ユーザの位置がマイクの正面から右手方向または左手方向に向かって遠ざかる程、大きい値に設定される。
【００６３】
例えば、閾値は（３）式で算出される。
閾値＝調整値×ｐ＋基本閾値    …（３）
基本閾値は、図１４において、ユーザがマイク５５の正面に位置する場合、即ち、発声方向が０の場合の閾値であり、調整値は、図１４の閾値を表す線の傾きである。
【００６４】
例えば、調整値が０．２５、基本閾値が０．６［ｒａｄ］であり、図１５Ａに例示するように、発声方向位相差ｐ＝０．０である場合、即ち、ユーザがマイク５５の正面に位置する場合、閾値は０．６（＝０．２５×０．０＋０．６）［ｒａｄ］である。即ち、図１６Ａに例示するように、閾値８６Ｔは０．６に設定され、線８６Ｒ及び線８６Ｌと、線８６Ｃで例示するユーザが顔をマイクに向けている場合の位相差外れ度合時間平均値と、を区別する。線８６Ｒは、ユーザが顔を右に向けている場合の位相差外れ度合時間平均値を例示し、線８６Ｌは、ユーザが顔を左に向けている場合の位相差外れ度合時間平均値を例示する。
【００６５】
例えば、調整値が０．２５、基本閾値が０．６［ｒａｄ］であり、図１５Ｂに例示するように、発声方向位相差ｐ＝１．６である場合、即ち、ユーザがマイク５５の正面からユーザの右手方向にずれて位置する場合、閾値は１．０（＝０．２５×１．６＋０．６）である。図１６Ｂに例示するように、閾値６４Ｔは、閾値１．０に設定され、線６４Ｒで例示するユーザが顔を右に向けている場合の位相差外れ度合時間平均値と、線６４Ｃで例示するユーザが顔をマイクに向けている場合の位相差外れ度合時間平均値と、を区別する。
【００６６】
図１７は、第２実施形態の発声方向判定処理の流れを例示する。ステップ１２１〜ステップ１２７は、図９のステップ１０１〜１０７と同様であるため、説明を省略する。ＣＰＵ５１は、ステップ１２８で、例えば、（３）式を使用して、閾値を設定する。ステップ１２９は、ステップ１２８で設定した閾値を使用して、位相差外れ度合時間平均値が閾値を超えるか否か判定する。ステップ１３０〜ステップ１３３は、図９のステップ１０９〜ステップ１１２と同様であるため、説明を省略する。
【００６７】
第２実施形態では、周波数ビン毎の位相差に基づいて、ユーザがマイクの正面に位置する場合の発声方向位相差と、ユーザがマイクの正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、閾値を設定する。
【００６８】
これにより、ユーザがマイクの正面からずれて位置することによる、位相差外れ度合時間平均値の増大を吸収することができる。したがって、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得された音声信号に基づいて、ユーザがマイクに向かって発声しているか否かを適切に判定することができる。
【００６９】
［第３実施形態］
次に、第３実施形態の一例を説明する。第１実施形態及び第２実施形態と同様の構成及び作用については、説明を省略する。第３実施形態では、所定周波数以上の周波数信号の位相差を使用して位相差外れ度合を算出する点で、第１実施形態及び第２実施形態と異なる。
【００７０】
第３実施形態では、低域周波数帯と高域周波数帯とを区別する閾値Ｆｔｈを設定する。閾値Ｆｔｈは、第２閾値の一例であり、一定の値、例えば、１００［ｋＨｚ］であってよい。しかしながら、例えば、ユーザが発声している間、仮閾値ＰＦｔｈを自動的に変動させ、位相差外れ度合時間平均値を算出し、位相差外れ度合時間平均値が所定時間の間０．５［ｒａｄ］以下になる仮閾値ＰＦｔｈを閾値Ｆｔｈとして設定してもよい。
【００７１】
図１８は、図９のステップ１０５または図１７のステップ１２５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２１１で、個別位相差外れ度合Δｄの合計を算出するためのΔｄ合計、周波数ビン数をカウントする変数ｉ、及び高域周波数の周波数ビン数をカウントする変数ｊに０をセットする。ＣＰＵ５１は、ステップ２１２で、変数ｉの値に対応する周波数ビンに対応する周波数が所定周波数Ｆｔｈ以上であるか否か判定する。
【００７２】
ステップ２１２の判定が否定された場合、即ち、変数ｉの値に対応する周波数ビンに対応する周波数が所定周波数Ｆｔｈ未満である場合、ＣＰＵ５１は、ステップ２１５に進む。ステップ２１２の判定が肯定された場合、即ち、変数ｉの値に対応する周波数ビンの周波数が所定周波数Ｆｔｈ以上である場合、ＣＰＵ５１は、個別位相差外れ度合Δｄを算出する。個別位相差外れ度合Δｄは、周波数ビン番号ｉの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が発声方向領域から外れている度合である。
【００７３】
ＣＰＵ５１は、ステップ２１４で、Δｄ合計の値にΔｄを加算し、変数ｊの値に１を加算する。ＣＰＵ５１は、ステップ２１５で、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２１６で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２１６の判定が肯定された場合、ＣＰＵ５１は、ステップ２１２に戻る。ステップ２１６の判定が否定された場合、ＣＰＵ５１は、ステップ２１７で、Δｄ合計の値を変数ｊの値で除算した値を位相差外れ度合として算出する。
【００７４】
第３実施形態は、第１実施形態または第２実施形態と組み合わされてもよい。
【００７５】
ユーザとマイクとの位置関係が変化しない場合、ユーザがマイクに向かって発声すると反射音が直接音より少なく、ユーザがマイクに向かわず発声すると反射音が直接音より多い。この特徴は、中高域の周波数帯において顕著である。また、低域周波数帯の周波数信号は、理論値と実測値との差が大きい場合がある。
【００７６】
したがって、第３実施形態では、低域周波数帯の周波数信号を使用せず、所定周波数以上の高域周波数帯の周波数信号の位相差を使用して、位相差外れ度合を算出することで、より精度の高い位相差外れ度合時間平均値を算出することができる。これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得される音声信号に基づいて、ユーザがマイクに向かって発声しているか否かをより適切に判定することができる。
【００７７】
［第４実施形態］
次に、第４実施形態の一例を説明する。第１〜第３実施形態と同様の構成及び作用については、説明を省略する。第４実施形態では、周波数信号の振幅が所定の振幅閾値を超える周波数信号の位相差を使用して位相差外れ度合を算出する点で、第１〜第３実施形態と異なる。
【００７８】
第４実施形態では、例えば、マイク５５Ａで検出された音声信号ＩＮＴＡに対応する周波数信号ＩＮＦＡの振幅が振幅閾値Ｖｔｈを超える場合、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出する。しかしながら、マイク５５Ｂで検出された音声信号ＩＮＴＢに対応する周波数信号ＩＮＦＢの振幅が振幅閾値Ｖｔｈを超える場合に、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出するようにしてもよい。また、周波数信号ＩＮＦＡ及びＩＮＦＢの振幅が両方とも振幅閾値Ｖｔｈを超える場合に、周波数信号ＩＮＦＡ及びＩＮＦＢの位相差を使用して、位相差外れ度合を算出するようにしてもよい。振幅閾値Ｖｔｈは、第３閾値の一例であり、例えば、定常雑音レベルであってよい。定常雑音レベルは、既存の方法で算出することができる。
【００７９】
図１９は、図９のステップ１０５または図１７のステップ１２５の位相差外れ度合算出処理の流れを例示する。ＣＰＵ５１は、ステップ２１１で、個別位相差外れ度合Δｄの合計を算出するためのΔｄ合計、周波数ビン数をカウントする変数ｉ及び振幅閾値Ｖｔｈを超える周波数信号の周波数ビン数をカウントする変数ｋに０をセットする。
【００８０】
ＣＰＵ５１は、ステップ２２２で、例えば、マイク５５Ａで検出された音声信号に対応する周波数信号の振幅が振幅閾値Ｖｔｈを超えているか否か判定する。ステップ２２２の判定が否定された場合、ＣＰＵ５１は、ステップ２２５に進む。ステップ２２２の判定が肯定された場合、ＣＰＵ５１は、発声方向領域から周波数ビン番号ｉの周波数信号ＩＮＦＡ及びＩＮＦＢの位相差が外れている度合である個別位相差外れ度合Δｄを算出する。
【００８１】
ＣＰＵ５１は、ステップ２２４で、Δｄ合計の値にΔｄを加算し、変数ｋの値に１を加算する。ＣＰＵ５１は、ステップ２２５で、変数ｉの値に１を加算する。ＣＰＵ５１は、ステップ２２６で、変数ｉの値が最大周波数ビン番号、即ち、ＦＦＴサイズ／２未満であるか否か判定する。ステップ２２６の判定が肯定された場合、即ち、変数ｉの値が最大周波数ビン番号未満である場合、ＣＰＵ５１は、ステップ２２２に戻る。ステップ２２６の判定が否定された場合、変数ｉの値が最大周波数ビン番号以上である場合、ＣＰＵ５１は、ステップ２２７で、Δｄ合計の値をｋの値で除算した値を位相差外れ度合として算出する。
【００８２】
なお、本実施形態では、周波数信号の振幅が振幅閾値を超える周波数信号の位相差を使用して、位相差外れ度合を算出する例について説明したが、本実施形態はこれに限定されない。例えば、音声信号の振幅が所定閾値を超える場合に、音声信号に対応する周波数信号の位相差を使用して、位相差外れ度合を算出するようにしてもよい。また、周波数信号または音声信号の振幅に代えて、パワーが所定閾値を超える周波数信号の位相差を使用して、位相差外れ度合を算出してもよい。
【００８３】
第４実施形態は、第１実施形態、第２実施形態、第１実施形態と第３実施形態との組み合わせ、または、第２実施形態と第３実施形態との組み合わせに適用されてもよい。
【００８４】
第４実施形態では、周波数信号の振幅が所定の振幅閾値を超える場合、位相差外れ度合を算出することで、雑音ではない可能性が高い周波数信号に基づいて、より精度の高い位相差外れ度合時間平均値を算出することができる。これにより、ユーザとマイクとの位置関係が変化した場合でも、マイクで取得された音声信号に基づいて、ユーザがマイクに向かって発声しているか否かをより適切に判定することができる。
【００８５】
図９、１０、１７〜１９のフローチャートは一例であり、処理の順序は適宜変更可能である。
【００８６】
［検証例］
本実施形態による発声方向判定の判定結果を図２０に例示する。この検証では、ユーザがマイクから５０ｃｍ離れた位置から４０秒間発声し、サンプリング周波数は２２［ｋＨｚ］である。
【００８７】
図２１Ａに例示するユーザ９１Ａ及び図２１Ｂに例示するユーザ９１Ｃは、マイク５５の正面、即ち、マイク５５Ａ及び５５Ｂの中間位置から発声方向判定装置１０の正面に向かって延びる直線上に存在する。ユーザ９１Ｂ及び９１Ｄは、マイク５５の正面からずれた位置、即ち、マイク５５Ａ及び５５Ｂの中間位置から発声方向判定装置１０の正面に向かって延びる直線と、マイク５５Ａ及び５５Ｂの中心を交点として、６０°の角度で交差する直線上に存在する。
【００８８】
ユーザ９１Ａのように、ユーザがマイク５５の正面に位置し、マイク５５に顔を向けている場合、ユーザの顔の向きが適切に判定される割合は９５％である。ユーザ９１Ｂのように、マイク５５の正面からユーザの右手方向にずれて位置し、ユーザがマイク５５に顔を向けている場合、ユーザの顔の向きが適切に判定される割合は９３％である。
【００８９】
ユーザ９１Ｃのように、マイク５５の正面に位置し、ユーザの左手方向に顔を向けている場合、即ち、ユーザがマイク５５に顔を向けていない場合、ユーザの顔の向きが適切に判定される割合は９２％である。ユーザ９１Ｄのように、マイク５５の正面からユーザの右手方向にずれて位置し、ユーザの右手方向に顔を向けている場合、即ち、ユーザがマイク５５に顔を向けていない場合、ユーザの顔の向きが適切に判定される割合は、９１％である。
【００９０】
即ち、本実施形態によれば、何れの場合でも、９０％以上の割合で、ユーザの位置及び顔の向きが適切に判定される。
【００９１】
以上の各実施形態に関し、更に以下の付記を開示する。
【００９２】
（付記１）
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定処理をコンピュータに実行させるためのプログラム。
（付記２）
前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
付記１のプログラム。
（付記３）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記１または付記２のプログラム。
（付記４）
第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１〜付記３の何れかのプログラム。
（付記５）
前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１〜付記４の何れかのプログラム。
（付記６）
コンピュータが、
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行し、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出し、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する、
発声方向判定方法。
（付記７）
前記第１周波数信号は、前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで取得され、
前記第２周波数信号は、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで取得される、
付記６の発声方向判定方法。
（付記８）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記６または付記７の発声方向判定方法。
（付記９）
第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記６〜付記８の何れかの発声方向判定方法。
（付記１０）
前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記６〜付記９の何れかの発声方向判定方法。
（付記１１）
１フレーム毎に、第１音声入力部に入力された第１音声信号に対応する第１周波数信号と第２音声入力部に入力された第２音声信号に対応する第２周波数信号との所定周波数毎の位相差に基づいて発声方向領域を決定し、前記所定周波数毎の位相差が前記発声方向領域から外れている第１位相差外れ度合を算出する処理を複数フレーム分実行する第１位相差外れ算出部と、
前記複数フレーム分の前記第１位相差外れ度合から前記複数フレームの統計値である第２位相差外れ度合を算出する第２位相差外れ算出部と、
前記第２位相差外れ度合が第１閾値以下である場合、ユーザが前記第１音声入力部及び前記第２音声入力部に向かって発声していると判定する発声方向判定部と、
を含む、発声方向判定装置。
（付記１２）
前記第１音声入力部に入力された１フレーム分の前記第１音声信号を時間周波数変換することで前記第１周波数信号を取得し、前記第２音声入力部に入力され、前記１フレーム分の第１音声信号に対応する、１フレーム分の第２音声信号を時間周波数変換することで前記第２周波数信号を取得する、時間周波数変換部、
をさらに含む、付記１１の発声方向判定装置。
（付記１３）
前記所定周波数毎の位相差に基づいて、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面に位置する場合の発声方向位相差と、前記ユーザが前記第１音声入力部及び前記第２音声入力部の正面からずれた位置に存在する場合の発声方向位相差と、の差分に基づいて、前記第１閾値の値を定める、
付記１１または付記１２の発声方向判定装置。
（付記１４）
前記第１位相差外れ算出部は、第２閾値を超える周波数に対応する前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１１〜付記１３の何れかの発声方向判定装置。
（付記１５）
前記第１位相差外れ算出部は、前記第１周波数信号及び前記第２周波数信号の少なくとも一方の振幅が第３閾値を超える場合に、前記第１周波数信号及び第２周波数信号の位相差を使用して前記第１位相差外れ度合を算出する、
付記１１〜付記１４の何れかの発声方向判定装置。
【符号の説明】
【００９３】
１０  発声方向判定装置
２１Ａ、２１Ｂ  音声入力部
２２  時間周波数変換部
２４  発声方向領域決定部
２５  位相差外れ算出部
２６  位相差外れ時間平均値算出部
２７  発声方向判定部
５１  ＣＰＵ
５２  一次記憶部
５３  二次記憶部
５５Ａ、５５Ｂ  マイク
【図１】
2019197179.tif 000005
【図２】
2019197179.tif 000006
【図３Ａ】
2019197179.tif 000007
【図３Ｂ】
2019197179.tif 000008
【図４Ａ】
2019197179.tif 000009
【図４Ｂ】
2019197179.tif 000010
【図５Ａ】
2019197179.tif 000011
【図５Ｂ】
2019197179.tif 000012
【図５Ｃ】
2019197179.tif 000013
【図６Ａ】
2019197179.tif 000014
【図６Ｂ】
2019197179.tif 000015
【図６Ｃ】
2019197179.tif 000016
【図７】
2019197179.tif 000017
【図８Ａ】
2019197179.tif 000018
【図８Ｂ】
2019197179.tif 000019
【図９】
2019197179.tif 000020
【図１０】
2019197179.tif 000021
【図１１Ａ】
2019197179.tif 000022
【図１１Ｂ】
2019197179.tif 000023
【図１２Ａ】
2019197179.tif 000024
【図１２Ｂ】
2019197179.tif 000025
【図１３】
2019197179.tif 000026
【図１４】
2019197179.tif 000027
【図１５Ａ】
2019197179.tif 000028
【図１５Ｂ】
2019197179.tif 000029
【図１６Ａ】
2019197179.tif 000030
【図１６Ｂ】
2019197179.tif 000031
【図１７】
2019197179.tif 000032
【図１８】
2019197179.tif 000033
【図１９】
2019197179.tif 000034
【図２０】
2019197179.tif 000035
【図２１Ａ】
2019197179.tif 000036
【図２１Ｂ】
2019197179.tif 000037