(57)【要約】【課題】  通話者間のスムーズな会話が妨げられるという課題に鑑み、送受話間に介在する遅延が通話に及ぼす影響を軽減することを目的とする。【解決手段】  マイクロフォン（３２）に入力される音声（送話音声２）の側音（６）を生成する音声通信装置（携帯端末装置１４）であって、この音声通信装置には、前記音声中に生じる話尾（８−１）を判定し、この話尾の側音（６）の話速を遅延させるように制御する制御部（プロセッサ２２）が備えられる。【選択図】        図１
2015156550.tif 000002
【特許請求の範囲】
【請求項１】
マイクロフォンに入力される音声の側音を生成する音声通信装置であって、
前記音声中に生じる話尾を判定し、該話尾の側音の話速を遅延させるように制御する制御部を備えることを特徴とする音声通信装置。
【請求項２】
前記制御部は、前記マイクロフォンの入力信号から前記音声の基本周波数を求め、この基本周波数に対して前記話尾を表す基準値を設定し、この基準値と前記基本周波数との比較により前記話尾を判定することを特徴とする請求項１に記載の音声通信装置。
【請求項３】
前記制御部は、前記音声の基本周波数の変化を監視し、前記基本周波数が前記基本周波数のピーク値の通過後、前記基準値に下降したことにより前記話尾と判定することを特徴とする請求項２に記載の音声通信装置。
【請求項４】
前記制御部は、送話音声と受話音声との時間間隔を用いて遅延量を決定し、該遅延量により前記話尾の側音の話速を制御することを特徴とする請求項１ないし３のいずれか１項に記載の音声通信装置。
【請求項５】
マイクロフォンに入力される音声の側音を生成する音声通信装置のコンピュータに実行させる音声処理プログラムであって、
前記音声中に生じる話尾を判定し、
該話尾の側音の話速を遅延させる
処理を前記コンピュータに実行させるための音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の技術は音声通信技術に関する。
【背景技術】
【０００２】
携帯電話やＩＰ（Internet Protocol ）電話による通話では、送話者から発せられた送話信号が通話先に一定時間だけ遅延して到達する。この遅延は受話側でジッタバッファにデータを蓄積する処理によって発生し、この処理はパケット到着間隔の揺らぎを抑えるために実行されている。このような遅延は通話に影響を与えることになる。
【０００３】
斯かる通話遅延に関し、パケットを間欠的に廃棄して送出すれば、通話遅延が抑えられることが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１８５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
音声通話において、遅延が短い場合には、その遅延を意識することなく会話することが可能である。これに対し、遅延が長い場合には、会話間に遅延を意識した間を取ることが必要となる。間を取ることなく、送話側が受話音声が到来するまでに発話すれば、受話に発話が重なり、会話にかち合いを生じる。かち合いが生じた場合には、言い直しなどの重複を生じ、スムーズな会話が妨げられることになる。
【０００６】
パケット到着時間の揺らぎに対応するための蓄積量を必要最小限に制御する技術（特許文献１）ではパケットの蓄積が必要であるうえ、通話の遅延は解消されない。
【０００７】
図２３は、遅延を伴う場合の通話者Ａと通話者Ｂの会話を示している。図２３のａは通話者Ａ側の送話、図２３のｂは受話を示している。図２３のｃは通話者Ｂ側の受話、図２３のｄは送話を示している。
【０００８】
この場合、通話者Ａが図２３のａに示すように、送話音声「もしもしＡです」を発したとすれば、通話者Ｂには図２３のｄに示すように、送話音声「もしもしＡです」から遅延時間Ｔａの後に受話音声「もしもしＡです」が到達する。
【０００９】
通話者Ｂは図２３のｃに示すように、受話音声「もしもしＡです」の終了タイミングから僅かに遅れて送話音声「あ、こんにちはＢです」を発したとする。この通話者Ｂの送話音声「あ、こんにちはＢです」は図２３のｂに示すように、通話者Ａに遅延時間Ｔｂの後、受話音声「あ、こんにちはＢです」が到達する。
【００１０】
このような遅延時間Ｔａ、Ｔｂを伴う場合、図２３のａに示すように、通話者Ｂからの受話音声「あ、こんにちはＢです」の到達前に、送話音声「お忙しいところすみません」が送話されると、この送話音声「お忙しいところすみません」が通話者Ｂからの受話音声「あ、こんにちはＢです」とかち合いを生じることになる。このようなかち合いは会話を妨げるので、かち合いを回避するには通話者Ａ、Ｂ間の会話に間（ま）を取ることが必要である。しかしながら、通話者Ａ側では遅延時間Ｔａを想定し、通話者Ｂ側の「もしもしＡです」の終了タイミングを予想することが困難である。このため、送受話間に介在する遅延の影響を受け、通話者Ａ、Ｂ間のスムーズな会話が妨げられるという課題がある。
【００１１】
そこで、本開示の技術の目的は上記課題に鑑み、送受話間に介在する遅延が通話に及ぼす影響を軽減することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本開示の技術の一側面によれば、マイクロフォンに入力される音声の側音を生成する音声通信装置に関し、前記音声中に生じる話尾を判定し、該話尾の側音の話速を遅延させるように制御する。
【発明の効果】
【００１３】
本開示の技術によれば、受話側に到達する音声の終了タイミングに送話側の側音の終了タイミングが近づけられ、送話音声の通話先に対する遅延が会話に及ぼす影響を軽減できる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態に係る音声処理の一例を示す図である。
【図２】音声処理の処理手順の一例を示すフローチャートである。
【図３】第２の実施の形態に係る携帯端末装置のハードウェアの一例を示す図である。
【図４】携帯端末装置の一例を示す図である。
【図５】プロセッサの音声処理機能の一例を示す図である。
【図６】入力信号の音声検出を説明するための図である。
【図７】送話音声から話尾の判定を説明するための図である。
【図８】音声処理の概要を示すフローチャートである。
【図９】音声検出の処理手順の一例を示すフローチャートである。
【図１０】話尾判定の処理手順の一例を示すフローチャートである。
【図１１】話尾判定の処理手順の変形例を示すフローチャートである。
【図１２】音声処理の処理手順の一例を示すフローチャートである。
【図１３】側音生成の処理手順の一例を示すフローチャートである。
【図１４】音声処理を含む通話の一例を示す図である。
【図１５】第３の実施の形態に係るプロセッサの音声処理機能の一例を示す図である。
【図１６】遅延量のヒストグラムの一例を示す図である。
【図１７】伸張率演算テーブルの一例を示す図である。
【図１８】音声処理の処理手順の一例を示すフローチャートである。
【図１９】遅延推定の処理手順の一例を示すフローチャートである。
【図２０】間隔測定の処理手順の一例を示すフローチャートである。
【図２１】遅延推定の処理手順の変形例を示すフローチャートである。
【図２２】第４の実施の形態に係る話尾判定の処理手順の一例を示すフローチャートである。
【図２３】通話に遅延が及ぼす影響を説明するための図である。
【発明を実施するための形態】
【００１５】
〔第１の実施の形態〕
【００１６】
図１は、第１の実施の形態に係る音声処理の一例を示している。図１のａは通話者Ａ側の送話、図１のｂは送話音声の側音、図１のｃは受話を示している。図１のｄは通話者Ｂ側の受話、図１のｅは送話を示している。
【００１７】
マイクロフォンに入力される通話者Ａの送話音声２をたとえば、図１のａに示す「もしもしＡです」とすれば、この送話音声２は図１のｄに示すように、受話音声４として「もしもしＡです」が通話者Ｂに到達する。送話音声２と受話音声４との間には遅延時間Ｔａが存在する。
【００１８】
通話者Ａ側では図１のｂに示すように、送話音声２の側音６が生成される。この側音６は通話者Ａが発した送話音声２に対応して生成される。
【００１９】
そして、この送話音声２から話尾８−１の発生を判定する。この話尾８−１は話しの終わり区間でありたとえば、送話音声２の「もしもしＡです」であれば、「です」の区間である。
【００２０】
この話尾８−１が送話音声２に発生すれば、この話尾８−１の送話音声２に対する側音６側の話尾８−２の話速を遅らせる。これにより、送話音声２の話尾８−１の話尾時間をＴ１、側音６の話尾８−２の話尾時間をＴ２とすれば、話尾時間Ｔ１は話尾時間Ｔ２に伸張される。送話音声２の終了タイミングｔｅ１で送話音声２を終了しても、側音６の終了タイミングｔｅ２まで側音６が伸張されるので、通話者Ａは側音６を時間ΔＴ（＝Ｔ２−Ｔ１）の間聞くことになる。つまり、通話者Ｂが聴取する受話音声４の終了タイミングｔｅ３に側音６の終了タイミングｔｅ２を近づけることができる。
【００２１】
通話者Ｂは、受話音声４を聴取した後、図１のｅに示すように、送話音声１０の「あ、こんにちはＢです」を発話すると、図１のｃに示すように、遅延時間Ｔｂを経て通話者Ａは受話音声１２である「あ、こんにちはＢです」を聴取する。
【００２２】
この音声処理では、側音６の終了タイミングｔｅ２と、受話音声４の終了タイミングｔｅ３が一致しているが、これらは一致していてもよく、不一致であってもよい。
【００２３】
図２は、音声処理の処理手順の一例を示している。この処理手順は本開示のコンピュータによって実行される音声処理プログラムの一例である。
【００２４】
マイクロフォンの入力信号から送話音声２が検出される。この送話音声２の入力（Ｓ１１）に応じて、送話音声２の側音６が生成される。
【００２５】
送話音声２に話尾８−１が発生したかを判定する（Ｓ１２）。話尾８−１が発生していなければ（Ｓ１２のＮＯ）、たとえば、側音６の話速＝送話音声２の話速に制御する（Ｓ１３）。
【００２６】
話尾８−１が発生すれば（Ｓ１２のＹＥＳ）、側音６の話尾８−２の話速を遅延させる制御を行う（Ｓ１４）。
【００２７】
このような話速の制御により、話尾区間で話速を遅延させ、それ以外の音声区間で送話音声２の話速と同一の話速の側音６が出力される（Ｓ１５）。
【００２８】
これにより、送話音声２が終了しても、話速の遅延により側音６が伸張されるので、通話者は側音６を聴取する。
【００２９】
このような音声処理により、側音６の話尾８−２の終了タイミングｔｅ２が側音６の話速の遅延によって送話音声２の終了タイミングｔｅ１より後にずれ、通話者Ａは自分の送話音声２が側音６で聞こえている間、送話を抑制される。つまり、遅延させた側音６を聴取している通話者Ａは通話者Ｂが送話音声２を受話音声４として聴取しているものと感じることとなり、通話者Ａは話しはじめのタイミング、つまり遅延による間を意識することなく、送話音声２の発声タイミングが取りやすくなる。
【００３０】
＜第１の実施の形態の効果＞
【００３１】
(1) 送話音声２の側音６の話尾８−２の話速を遅延させることにより、側音６の終了タイミングｔｅ２を通話者Ｂ側の受話音声４の終了タイミングｔｅ３に近付けることができる。これにより、側音６を聴取する通話者Ａは、通話上の遅延を感じることがなく、送受話間に介在する遅延が通話に及ぼす影響を軽減でき、受話音声と送話音声のかち合いを生じることがなく、スムーズな会話が行える。
【００３２】
(2) 送受話間に遅延が介在していても、通話者はその遅延を感じることがないので、遅延を意識した間を取る必要がなく、自然な会話が行える。
【００３３】
〔第２の実施の形態〕
【００３４】
図３は、第２の実施の形態に係る携帯端末装置のハードウェアの一例を示している。この携帯端末装置１４は本開示の音声通信装置の一例であり、音声通信機能を備えるたとえば、スマートフォンまたは携帯電話機である。
【００３５】
無線部１６は、アンテナ１８を備え、図示しない基地局とのＲＦ（Radio Frequency ：無線）信号の送受を行う。ベースバンド部２０は、ＲＦ信号のベースバンド処理を行い、このベースバンド処理には音声信号による搬送波信号の変調、受信したＲＦ信号からベースバンド処理により音声信号の復調などの処理が含まれる。図示しないが、ＲＦ信号のアナログ・デジタル化処理、デジタル信号である音声信号のアナログ化処理が含まれる。
【００３６】
プロセッサ２２は制御部の一例であり、メモリ２４にあるＯＳ（Operating System）やプログラムを実行し、音声処理を含む情報処理を行う。この情報処理には本開示の送話音声２の側音生成や、送話音声中の話尾８−１の側音６の伸張処理などの音声処理が含まれる。
【００３７】
メモリ２４にはプログラム記憶部２６、データ記憶部２８、ＲＡＭ（Random-Access Memory）３０が含まれる。プログラム記憶部２６はハードディスク装置や不揮発性メモリなどの不揮発性の記録媒体を使用し、ＯＳやプログラムを格納する。データ記憶部２８は同様の記録媒体を使用し、情報処理に用いられるデータを格納する。ＲＡＭ３０は情報処理のワークエリアやデータの一時記憶に用いられる。このＲＡＭ３０にはたとえば、ＳＤＲＡＭ（Synchronous Dynamic Random-Access Memory）、フラッシュメモリなどの記憶素子が用いられる。
【００３８】
マイクロフォン３２は送話音声２を電気信号である音声信号に変換する。この音声信号は増幅器３４で増幅された後、アナログ・デジタル変換器（Ａ／Ｄ）３６でデジタル信号に変換され、プロセッサ２２に取り込まれる。
【００３９】
ベースバンド部２０で得られた受話信号はデジタル・アナログ変換器（Ｄ／Ａ）３８でアナログ信号に変換される。この受話信号は増幅器４０で増幅された後、レシーバ４２から再生される。また、プロセッサ２２はマイクロフォン３２に入力される送話音声２の側音６を生成し、送話音声中に話尾８−１が発生すると、側音６の話尾８−２の話速を遅延させて生成する。この側音６がレシーバ４２から出力されるので、通話者は送話音声２の入力を終了しても、伸張された側音６を聴取することができる。
【００４０】
表示部４４にはたとえば、ＬＣＤ（Liquid Crystal Display）が用いられ、その表示画面に文字や図形を含む画像情報などの視認情報を表示する。タッチパネル４６はタッチによる情報入力に用いられる。
【００４１】
図４は、この携帯端末装置１４の一例を示している。この携帯端末装置１４では装置筐体４８の前面部に表示画面５０が備えられ、この表示画面５０を挟んで下側にマイクロフォン３２、上側にレシーバ４２が設置されている。表示画面５０にはタッチパネル４６が備えられる。通話時、マイクロフォン３２から送話音声２を入力すると、レシーバ４２から送話音声２の側音６が再生される。
【００４２】
図５は、プロセッサ２２で実現される音声処理機能５２の一例を示している。この音声処理機能５２では、音声検出機能５３、話尾判定機能５４、話速変換機能５６および側音生成機能５８が含まれる。
【００４３】
音声検出機能５３は、マイクロフォン３２からの入力信号Ｓｉｎから送話音声２を検出する。この検出にはたとえば、音声のパワーＰを用いればよい。
【００４４】
話尾判定機能５４は、音声検出機能５３で検出された送話音声２から話尾８−１の判定を行う。話尾８−１は、送話音声２に発生する話し終わりの時間幅を持つ音声区間である。この音声区間は後述するように、送話音声２の基本周波数の変化により検出することができる。この話尾判定機能５４には話尾区間を検出するためのカウンタ機能が含まれる。その計数は後述するＮｕｍ１である。この話尾判定機能５４には話尾区間を計数するカウンタ機能が含まれる。その計数は後述するＷｎｕｍである。
【００４５】
話速変換機能５６は、送話音声２の話尾８−１の話速を変換し、側音６の話尾８−２の話速を遅延させて引き延ばす。この話速変換機能５６から側音６の話速変換出力が得られる。この実施の形態では、側音６の話尾８−２の到達前には送話音声２の話速とし、側音６の話尾８−２では送話音声２の話尾８−１より遅延させた話速を表す話速変換出力が得られ、側音生成機能５８に提供される。
【００４６】
側音生成機能５８は、話速変換機能５６の話速変換出力を受けて側音６を生成する。この場合、送話音声２に話尾８−１が発生すれば、その話尾８−１の区間では送話音声２の話速より遅延させた話速の側音６が得られる。この実施の形態では、引き延ばされた話尾８−２の音量を調整した側音出力を生成する。これにより、話尾８−１が発生しなければ、側音６の話速を遅らせることなくたとえば、送話音声２の話速の側音６が得られる。
【００４７】
このような機能を備えることにより、送話音声２の終了タイミングｔｅ１より側音６の終了タイミングｔｅ２が話尾８−２の遅延によって引き延ばされ、送話音声２が終了しても送話側では話尾８−２の側音６を聴取することができる。
【００４８】
＜送話音声２の話尾の判定＞
【００４９】
図６は、マイクロフォン３２の入力信号Ｓｉｎのレベル変化の一例を示している。図６において、縦軸は入力信号パワーＰ〔ｄＢ〕を示し、横軸は音声の処理単位であるフレームを示している。この場合、１フレームはたとえば、２０〔ミリ秒〕である。
【００５０】
送話音声２の話尾８−１の判定には、マイクロフォン３２の入力信号Ｓｉｎのうち、送話音声２つまり、音声Ｖｉを抽出することが必要である。入力信号Ｓｉｎから音声Ｖｉを判定するため、入力信号Ｓｉｎに対し基準レベルＴＨｓを設定する。この基準レベルＴＨｓは入力信号Ｓｉｎの上下方向のレベル変化に対し、送話音声２が存在しない区間と区別するためにたとえば、入力信号Ｓｉｎの中間レベルを設定すればよい。このような基準レベルＴＨｓの設定により、基準レベルＴＨｓを超える入力信号Ｓｉｎのレベル区間を音声Ｖｉと判定する。これにより、入力信号Ｓｉｎから話尾８−１を判定するための送話音声２が抽出される。
【００５１】
図７は、送話音声２の基本周波数Ｈの変化例を示している。図７において、縦軸は基本周波数Ｈ〔Ｈｚ〕を示し、横軸は既述のフレームを示している。
【００５２】
送話音声２における基本周波数Ｈはヒトの声帯の生成音の周波数である。この送話音声２のサンプルでは、話頭から緩やかに上昇してピークに達した後、ピークから下降に転じて緩やかに下降しつつ話尾端に至る非直線的な増減関係を持っている。
【００５３】
送話音声２の話尾８−１の判定には、話尾８−１の音声区間が他の音声区間に比較して基本周波数Ｈが低くなることを利用する。しかし、周波数が低くなる区間を話尾８−１と判定することはできない。つまり、話尾８−１の前には送話音声２の周波数の高い区間である既述のピーク区間が生起していることを判定条件とする。
【００５４】
基本周波数Ｈに対し、ピークＨｐｋより低いレベルの第１の閾値ＴＨ１と第２の閾値ＴＨ２を設定する。この例では、閾値ＴＨ１および閾値ＴＨ２は、ＴＨ１＜ＴＨ２とする。話頭のフレームｆ１から基本周波数Ｈがフレームｆ２で閾値ＴＨ１に到達し、この閾値ＴＨ１を超えてフレームｆ３で閾値ＴＨ２に到達する。さらに、基本周波数Ｈは上昇を続け、ピークＨｐｋに到達する。
【００５５】
基本周波数Ｈはフレームｆ４でピークＨｐｋに到達後、既述したように、下降に転じてフレームｆ５で閾値ＴＨ２に下降し、この閾値ＴＨ２からフレームｆ６で閾値ＴＨ１以下に下降する。
【００５６】
このように送話音声２では、フレームｆ２−ｆ３の区間が増加区間、フレームｆ５−ｆ６の区間が減少区間となる。このような増加区間から減少区間に転じることを条件に、基本周波数Ｈが低くなる話尾８−１がフレームｆ５またはフレームｆ６の時点から後の区間であると判定すればよい。
【００５７】
＜音声の処理手順＞
【００５８】
図８は、音声処理の処理手順の概要を示している。この処理手順は本開示の音声処理プログラムの一例である。
【００５９】
この処理手順には、マイクロフォン３２の入力信号Ｓｉｎの音声検出（Ｓ２１）、送話音声２の話尾判定（Ｓ２２）および送話音声２の側音生成処理（Ｓ２３）が含まれる。側音生成処理には側音６の話尾８−２の遅延処理が含まれる。これらの処理は入力信号Ｓｉｎが存在する限り、継続して実行される。
【００６０】
図９は、音声検出の処理手順の一例を示している。この処理手順ではマイクロフォン３２の入力信号Ｓｉｎが入力され（Ｓ２０１）、入力信号Ｓｉｎから既述のパワーＰ（図６）を検出する（Ｓ２０２）。このパワーＰを音声検出の基準レベルである閾値ＴＨｓと比較する（Ｓ２０３）。Ｐ＞ＴＨｓであれば（Ｓ２０３のＹＥＳ）、音声Ｖｉと判定する（Ｓ２０４）。この音声Ｖｉの区間が音声区間である。Ｐ≦ＴＨｓであれば（Ｓ２０３のＮＯ）、音声Ｖｉなしと判定する（Ｓ２０５）。
【００６１】
このような処理手順により、マイクロフォン３２の入力信号Ｓｉｎから話尾検出の前提である音声Ｖｉおよびその音声区間を検出することができる。
【００６２】
図１０は、話尾判定の処理手順の一例を示している。この話尾判定は既述した音声Ｖｉおよびその音声区間を用いた基本周波数Ｈの算出処理を含んでいる。
【００６３】
この処理手順ではマイクロフォン３２の入力信号Ｓｉｎが入力され（Ｓ３０１）、音声検出処理を行う（Ｓ３０２）。Ｓ３０１およびＳ３０２は既述の音声検出処理であり、その説明を割愛する。
【００６４】
この音声検出の処理の後、入力信号Ｓｉｎが音声区間か否かを判定する（Ｓ３０３）。音声区間でなければ（Ｓ３０３のＮＯ）、この処理を終了する。
【００６５】
音声区間であれば（Ｓ３０３のＹＥＳ）、検出されている音声Ｖｉの基本周波数Ｈを算出する（Ｓ３０４）。この基本周波数Ｈの変化から話尾８−１を判定する（Ｓ３０５、Ｓ３０６、Ｓ３０７、Ｓ３０８）。この話尾判定では、図７に示す閾値ＴＨ１、ＴＨ２が用いられる。この話尾判定において、Ｓ３０５では、基本周波数Ｈを話尾８−１の周波数を表す基準値として第１の閾値ＴＨ１と比較し、Ｈ＞ＴＨ１であるかを判定する。Ｈ＞ＴＨ１であれば（Ｓ３０５のＹＥＳ）、カウンタの計数Ｎｕｍ１をインクリメントする（Ｓ３０６）。Ｈ≦ＴＨ１であれば（Ｓ３０５のＮＯ）、Ｓ３０６をスキップしてＳ３０７に遷移する。
【００６６】
Ｓ３０７では、基本周波数Ｈを話尾８−１の周波数を表す基準値として第２の閾値ＴＨ２と比較し、Ｈ＜ＴＨ２であるかを判定する。Ｈ＜ＴＨ２であれば（Ｓ３０７のＹＥＳ）、計数Ｎｕｍ１を閾値ＴＨ３と比較し、Ｎｕｍ１＞ＴＨ３であるかを判定する（Ｓ３０８）。図７に示すように、基本周波数ＨにはピークＨｐｋを挟んで前側にＴＨ１−ＴＨ２の区間、後側にＴＨ２−ＴＨ１の区間が存在しており、閾値ＴＨ３はＴＨ１−ＴＨ２の区間で話尾８−１と誤判定させないための基準値である。
【００６７】
Ｎｕｍ１＞ＴＨ３であれば（Ｓ３０８のＹＥＳ）、話尾８−１と判定する（Ｓ３０９）。これに対し、Ｎｕｍ１≦ＴＨ３であれば（Ｓ３０８のＮＯ）、話尾８−１でないと判定する（Ｓ３１０）。Ｓ３０７において、Ｈ＜ＴＨ２でなければ、同様に話尾８−１でないと判定される（Ｓ３１０）。
【００６８】
この話尾判定では、図７の基本周波数Ｈの変化に対し、値の異なる第１および第２の閾値ＴＨ１、ＴＨ２を設定し、基本周波数ＨがピークＨｐｋを通過したか否かをカウンタのＮｕｍ１に閾値ＴＨ３を用いて判断している。これにより、話尾８−１の誤判定を防止でき、判定精度が高められる。
【００６９】
図１１は、話尾判定の処理手順の変形例を示している。この変形例では話尾８−１の判定結果のみを出力している。
【００７０】
この変形例においても、マイクロフォン３２の入力信号Ｓｉｎが入力され（Ｓ３０１）、音声検出処理（Ｓ３０２）、および音声区間の判定（Ｓ３０３）を行う。これらのステップは既述の処理手順と同一であるので、その説明を割愛する。
【００７１】
音声区間であれば（Ｓ３０３のＹＥＳ）カウンタの計数Ｎｕｍ２をインクリメントし（Ｓ３１１）、音声区間の基本周波数Ｈを算出する（Ｓ３１２）。計数Ｎｕｍ２は既述の計数Ｎｕｍ１と同様に話尾区間を検出するためのカウンタの計数である。算出した基本周波数Ｈの変化から話尾８−１を判定する（Ｓ３１３、Ｓ３１４、Ｓ３１５、Ｓ３１６）。Ｓ３１３では、基本周波数Ｈを話尾８−１の周波数を表す基準値として第１の閾値ＴＨ１と比較する。Ｈ＞ＴＨ１であれば（Ｓ３１３のＹＥＳ）、フラグＦ＝１に設定し（Ｓ３１４）、Ｈ≦ＴＨ１であれば（Ｓ３１３のＮＯ）、Ｓ３１４をスキップしてＳ３１５に遷移する。
【００７２】
Ｓ３１５では、基本周波数Ｈを話尾８−１の周波数を表す基準値として第２の閾値ＴＨ２と比較する。Ｈ＜ＴＨ２であれば（Ｓ３１５のＹＥＳ）、計数Ｎｕｍ２が閾値ＴＨ４より大きくかつＦ＝１であるかを判定する（Ｓ３１６）。閾値ＴＨ４は既述の閾値ＴＨ３と同様にＴＨ１−ＴＨ２の区間で話尾８−１を誤判定することを回避するための値である。
【００７３】
Ｎｕｍ２＞ＴＨ４およびＦ＝１であれば（Ｓ３１６のＹＥＳ）、話尾８−１と判定する（Ｓ３１７）。これに対し、Ｎｕｍ２＞ＴＨ４およびＦ＝１でなければ、つまり、Ｎｕｍ２≦ＴＨ４またはＦ≠１であれば（Ｓ３１６のＮＯ）、話尾８−１と判定されるまでＳ３０１からＳ３０３およびＳ３１１からＳ３１６までの処理を継続する。また、Ｓ３１５でＨ≧ＴＨ２であれば（Ｓ３１５のＮＯ）、話尾８−１と判定されるまでＳ３０１からＳ３０３およびＳ３１１からＳ３１６までの処理を継続する。
【００７４】
図１０の話尾判定では話尾８−１でないことの判定結果を出力しているが、この話尾判定の変形例では話尾８−１の判定結果のみを出力している。つまり、話尾８−１の判定結果が得られていなければ、その音声区間で話尾８−１でない音声が出力されていることが判る。
【００７５】
この変形例においても、図７に示す基本周波数Ｈの変化に対し、値の異なる第１および第２の閾値ＴＨ１、ＴＨ２の設定により、基本周波数ＨのピークＨｐｋの通過を条件として判断するので、話尾８−１の誤判定を防止でき、話尾８−１の判定精度を高めることができる。
【００７６】
図１２は、音声処理の処理手順の一例を示している。この処理手順は、図８の処理手順を具体化したものである。
【００７７】
この処理手順では、マイクロフォン３２の入力信号Ｓｉｎが入力Ｓされ（Ｓ４０１）、話尾判定の制御（Ｓ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５）が実行される。Ｓ４０２では、話尾区間の終点タイミングを判断し、話尾区間を計数するカウンタの計数Ｗｎｕｍに対し、終了タイミングを表す閾値ＴＨ５が設定されている。Ｗｎｕｍ＞ＴＨ５でなければ（Ｓ４０２のＮＯ）、Ｗｎｕｍ＞１であるかを判断する（Ｓ４０３）。このＳ４０３では、話尾区間中であるかを判断する。
【００７８】
Ｗｎｕｍ＞１でなければ（Ｓ４０３のＮＯ）、話尾区間が判定されていないので、送話音声２から話尾判定を行う（Ｓ４０４）。この話尾判定は図１０または図１１の処理手順によって実行される。この話尾判定の結果を受け、話尾８−１か否かを判断する（Ｓ４０５）。
【００７９】
話尾８−１であれば（Ｓ４０５のＹＥＳ）、カウンタの計数Ｗｎｕｍをインクリメントし（Ｓ４０６）、側音６の話尾８−２を伸張させるための話速を設定する（Ｓ４０７）。この場合、Ｓ４０３でＷｎｕｍ＞１であれば（Ｓ４０３のＹＥＳ）、既に話尾８−１が判定されているので、Ｓ４０４、Ｓ４０５をスキップしてＳ４０６に遷移し、カウンタの計数Ｗｎｕｍをインクリメントする。
【００８０】
Ｓ４０５において、話尾８−１でなければ（Ｓ４０５のＮＯ）、カウンタの計数Ｗｎｕｍ＝０にし（Ｓ４０８）、話尾８−１でないので話速を１．０倍に設定する（Ｓ４０９）。この場合、側音６は送話音声２の話速と同一となる。
【００８１】
このような話速設定により、話速を設定された話速に変換する（Ｓ４１０）。この変換された話速により側音６を生成し、出力する（Ｓ４１１）。この側音６の出力中において、入力信号Ｓｉｎが終了したかを判定する（Ｓ４１２）。入力信号Ｓｉｎが終了していなければ（Ｓ４１２のＮＯ）、Ｓ４０１に戻り、入力信号Ｓｉｎが終了するまでＳ４０１〜Ｓ４１２の処理を継続する。そして、入力信号Ｓｉｎが終了すれば（Ｓ４１２のＹＥＳ）、この音声処理を終了する。
【００８２】
図１３は、側音生成の処理手順の一例を示している。この処理手順では、話速変換された信号を生成し（Ｓ５０１）、話速変換された信号の音量を調節する（Ｓ５０２）。話速変換され、音量が調節された信号で、音量が調節された側音信号を出力する（Ｓ５０３）。
【００８３】
これにより、側音６の音量が調節され、送話音声２の側音６を通話者が聴取することができ、間を意識することなく、側音６の出力中の発話が抑制される。
【００８４】
この実施の形態では、話速の遅延制御による話尾区間の伸張率を実際の話尾区間のたとえば、１．２倍としているが、送話音声が到達する遅延時間が長い場合には、さらに大きい伸張率としてもよく、また、１．２未満の伸張率としてもよい。
【００８５】
図１４は、音声処理を含む通話の一例を示している。図１４のａは入力信号Ｓｉｎの音声検出、図１４のｂは通話者Ａの送話音声、図１４のｃは送話音声２の側音６を示している。これに対し、図１４のｄは通話者Ｂの受話音声、図１４のｅは通話者Ｂの送話音声を示している。
【００８６】
通話者Ｂに発話する通話者Ａ側では、図１４のａに示すように、マイクロフォン３２に入力される通話者Ａの送話音声２を含む入力信号Ｓｉｎから音声Ｖｉおよび音声区間が検出される。この音声区間が話尾区間を判定するための送話音声２である。この送話音声２から話尾８−１が判定され、この話尾８−１に対応する側音６の話尾８−２が、話速を遅らせる制御により伸張される。送話音声２側の話尾８−１の時間Ｔ１に対し、側音６の話尾８−２は時間Ｔ２に伸張される。つまり、送話音声２の話尾８−１の終了タイミングｔｅ１は側音６の終了タイミングｔｅ２まで拡張され、この拡張された時間ΔＴの間、通話者Ａは側音６を継続して聴取する。
【００８７】
これにより、側音６の終了タイミングｔｅ２は、通話者Ｂ側の受話音声４の終了タイミングｔｅ３まで近づけられる。通話者Ａは話尾８−１に対応する側音６の話尾８−２を聴取している間、通話に介在する遅延を感じることなく、そのための間を意識することなく、通話者Ｂからの受話音声１２の到達を待つことができる。
【００８８】
そして、通話者Ｂの送話音声１０が発せられ、伸張された側音６の話尾８−２の終了タイミングｔｅ２から適当な間を経て通話者Ｂからの受話音声１２を聴取することになる。
【００８９】
＜第２の実施の形態の効果＞
【００９０】
(1) 以上説明したように、この第２の実施の形態においても、第１の実施の形態と同様の効果が得られる。
【００９１】
(2) 送話音声２の基本周波数Ｈを用いて送話音声２の話尾８−１を判定するので、話速を遅らせるための話尾区間を特定できる。
【００９２】
(3) 一旦、話尾８−１を判定すれば、継続した話尾判定の繰返しを防止でき、処理負荷が軽減される。
【００９３】
(4) 既述の閾値ＴＨ５の調節によって、側音６の話尾８−２の伸張時間を加減することができ、通話に生じている遅延の影響を軽減できる。
【００９４】
〔第３の実施の形態〕
【００９５】
図１５は、第３の実施の形態に係るプロセッサの音声処理機能の一例を示している。図１５において、図５と同一部分には同一符号を付してある。
【００９６】
この音声処理機能６０では、既述の音声検出機能５３、話尾判定機能５４、話速変換機能５６および側音生成機能５８に加え、遅延推定機能６２を備えている。音声検出機能５３、話尾判定機能５４、話速変換機能５６および側音生成機能５８は既述の通りであるので、その説明を割愛する。
【００９７】
遅延推定機能６２は通話に生じる遅延を推定する。推定された遅延量によって送話音声２の側音６の話尾８−２の話速が制御される。この遅延の推定は、通話者の送話音声２から検出された話尾８−１と、相手先からの受話音声１２との間の遅延時間を推定する。第１の実施の形態では話速の伸張率を固定値としたが、この実施の形態では、この伸張率を遅延推定機能６２により推定される遅延量によって制御する。
【００９８】
図１６は、遅延量の推定に用いるヒストグラムの一例を示している。このヒストグラムでは、縦軸に頻度、横軸に階級Ｃ１、Ｃ２・・・Ｃｎを示している。階級Ｃは、遅延量の時間の区間であり、一定の時間幅を有する。各階級Ｃ１、Ｃ２・・・Ｃｎの順に時間が増加している。
【００９９】
遅延量の頻度は階級Ｃ１、Ｃ２・・・Ｃｎに異なる値で分布する。遅延量の発生頻度はばらつく傾向にあるが、中央区間で高く、端区間で低下する。そこで、最も発生頻度の高い遅延量を選択し、この遅延量を側音６の話尾８−２の引延しに用いればよい。
【０１００】
図１７は、伸張率演算テーブルの一例を示している。この伸張率演算テーブル６４はたとえば、データ記憶部２８（図３）に格納すればよい。
【０１０１】
この伸張率演算テーブル６４には、階級６６に対応する伸張率６８が格納されている。階級６６はヒストグラム（図１６）の横軸の階級を表す。伸張率６８は、遅延量に応じた伸張率の値Ａ１、Ａ２・・・Ａｎが格納されている。つまり、遅延量が大きければ、伸張率６８の値Ａが大きく、遅延量が小さければ、伸張率６８の値Ａが小さくなる。両者はたとえば、比例関係にあればよい。
【０１０２】
この例では、階級Ｃ２の遅延量が算定されると、伸張率演算テーブル６４を参酌し、伸張率６８の値Ａ＝Ａ２が決定される。
【０１０３】
図１８は、遅延推定処理を含む音声処理の処理手順を示している。この処理手順において、図１２と同一のステップには同一符号を付してある。
【０１０４】
この処理手順では、マイクロフォン３２の入力信号Ｓｉｎの入力（Ｓ４０１）の後、遅延推定処理を実行する（Ｓ６００）。この遅延推定処理を行い、遅延量に応じた伸張率を求めた後、Ｓ４０２に移行する。その他の処理は図１２の処理手順と同一であるので、その説明を割愛する。
【０１０５】
図１９は、図１８のフローチャートにおける遅延推定処理（Ｓ６００）の処理手順を示している。
【０１０６】
この処理手順では、遅延推定処理に移行すると、間隔測定処理を行う（Ｓ６０１）。間隔測定処理は、図２０に記載している。この間隔測定処理の後、間隔測定ありかを判定する（Ｓ６０２）。間隔測定ありであれば（Ｓ６０２のＹＥＳ）、測定された時間間隔を用いて遅延量のヒストグラムを更新する（Ｓ６０３）。間隔測定がなければ（Ｓ６０２のＮＯ）、Ｓ６０３をスキップする。つまり、ヒストグラムの更新はない。
【０１０７】
これにより、遅延量のヒストグラムの最頻値が遅延量として出力される（Ｓ６０４）。これにより、遅延推定処理を終了し、処理手順（図１８）のＳ６００に戻る。
【０１０８】
この遅延推定処理において、間隔推定量〔ｍｓ〕および間〔ｍｓ〕から遅延量〔ｍｓ〕はたとえば、
遅延量〔ｍｓ〕＝間隔推定量〔ｍｓ〕−間〔ｍｓ〕      ・・・(1) 
から求めればよい。この場合、間隔推定量〔ｍｓ〕には測定された時間間隔を用いればよく、間〔ｍｓ〕は、予め会話間の平均値を求めて保持しておけばよい。また、遅延量として出力する値は、ヒストグラム中の中央値でもよく、遅延量の平均値であってもよい。
【０１０９】
図２０は、図１９のフローチャートにおける間隔測定処理（Ｓ６０１）の処理手順を示している。
【０１１０】
この間隔測定処理では、送話音声２の話尾８−１を判定する（Ｓ７０１）。この送話音声２の話尾判定には既述の話尾判定処理（図１０、図１１）の判定結果を用いればよい。話尾８−１であれば（Ｓ７０１のＹＥＳ）、間隔測定を開始する（Ｓ７０２）。
【０１１１】
この間隔測定ではたとえば、通話者Ａと通話している通話者Ｂの送話による受話音声１２の話頭判定処理を行う（Ｓ７０３）。受話音声１２の話頭判定には、受話信号のパワーＰが音声区間を判断するための閾値を超えれば、受話音声１２の話頭と判定する。
【０１１２】
話頭でなければ（Ｓ７０４のＮＯ）、話頭判定処理（Ｓ７０３）を行い、話頭を判定するまで話頭判定処理を継続する。そして、話頭であれば（Ｓ７０４のＹＥＳ）、測定した時間間隔を出力する（Ｓ７０５）。この間隔測定処理を終了し、Ｓ６０１（図１９）にリターンする。
【０１１３】
Ｓ７０１において、話尾８−１でなければ（Ｓ７０１のＮＯ）、間隔測定なしを出力し（Ｓ７０６）、この間隔測定処理を終了し、Ｓ６０１（図１９）にリターンする。
【０１１４】
図２１は、遅延推定処理の処理手順の変形例を示している。図１９の遅延推定処理では、遅延量の制御にヒストグラムを用いているが、この変形例ではヒストグラムを用いることなく間隔を測定し、その測定値を遅延量の形に用いている。
【０１１５】
この処理手順では、遅延推定処理に移行すると、間隔測定処理を行う（Ｓ８０１）。間隔測定処理は、図２０に記載している通りである。この間隔測定処理の後、間隔測定ありかを判定する（Ｓ８０２）。間隔測定ありであれば（Ｓ８０２のＹＥＳ）、間隔の測定結果をデータ記憶部２８に書き込み保存する（Ｓ８０３）。この測定した時間間隔から遅延量を算出し、出力する（Ｓ８０４）。
【０１１６】
Ｓ８０２において、間隔測定がなければ（Ｓ８０２のＮＯ）、Ｓ８０３をスキップし、データ記憶部２８に保存されている時間間隔から遅延量を算出し、出力する（Ｓ８０５）。
【０１１７】
これにより、時間間隔に応じて遅延量が求められ、この遅延量により話尾８−２の話速を制御することができ、側音６の話尾８−２の話速を遅らせ、側音６の話尾区間を伸張させることができる。
【０１１８】
＜第３の実施の形態の効果＞
【０１１９】
(1) この第３の実施の形態においても、既述の第１の実施の形態および第２の実施の形態と同様の効果が得られる。
【０１２０】
(2) 遅延推定機能６２で推定された遅延量に応じて話尾８−１の側音６の話速を遅らせることができ、話尾区間が遅延量に応じて制御され、側音６の話尾８−２の終了タイミングを通話先である通話者Ｂの受話音声４の終了タイミングに近づけることができる。これにより、通話の遅延の影響を受けることなく、通話間の遅延を意識することなく、スムーズな会話を行うことができる。
【０１２１】
(3) 遅延量の設定にヒストグラムを用いれば、遅延量を実際の遅延に適合させることができ、通話間の遅延に応じて側音６の話尾区間を制御できる。
【０１２２】
〔第４の実施の形態〕
【０１２３】
図２２は、第４の実施の形態に係る話尾判定の処理手順の一例を示している。この処理手順では、側音６の話尾８−２の引き延ばし時間を抑制する処理や、図７に示すピークＨｐｋの後の閾値ＴＨ１の時点から話尾８−１と判定する処理を含んでいる。
【０１２４】
この処理手順には、話尾８−１の連続フレーム数を計数するカウンタの計数Ｎｕｍ３が用いられる。このカウンタでは、話尾検出後、その計数Ｎｕｍ３に一定の閾値ＴＨ６が設定され、この閾値ＴＨ６を超えた時点で、話尾区間が終了する。また、基本周波数Ｈが閾値ＴＨ２を超えたことを表すフラグflagを用いている。
【０１２５】
この計数Ｎｕｍ３は、話尾８−１ありの判定回数を表し初期状態では０に設定される。この計数Ｎｕｍ３は、音声を引き延ばす時間の制限に用いられる。フラグは基本周波数Ｈが閾値ＴＨ２を超えたか否かの判別に用いられる。このフラグは初期状態ではflag＝０に設定され、基本周波数Ｈが閾値ＴＨ２を超えた場合、flag＝１に変更される。
【０１２６】
この処理手順では、マイクロフォン３２の入力信号Ｓｉｎが入力され（Ｓ９０１）、計数Ｎｕｍ３＞０かが判定される（Ｓ９０２）。
【０１２７】
Ｎｕｍ３＝０であれば（Ｓ９０２のＮＯ）、音声検出処理を行う（Ｓ９０３）。この音声検出処理はたとえば、図９に示す処理手順で行えばよい。
【０１２８】
音声検出処理の結果を受け、入力信号Ｓｉｎが音声区間であるかを判定する（Ｓ９０４）。そして、音声区間であれば（Ｓ９０４のＹＥＳ）、送話音声２の基本周波数Ｈを算出する（Ｓ９０５）。この基本周波数Ｈと閾値ＴＨ２とが比較される（Ｓ９０６）。
【０１２９】
Ｈ＞ＴＨ２であれば（Ｓ９０６のＹＥＳ）、flag＝１を設定する（Ｓ９０７）。Ｈ≦ＴＨ２であれば（Ｓ９０６のＮＯ）、Ｓ９０７をスキップし、Ｓ９０８に移行する。Ｓ９０８ではflag＝１かを判定する（Ｓ９０８）。flag＝１であれば（Ｓ９０８のＹＥＳ）、Ｈ＜ＴＨ１かを判定する（Ｓ９０９）。
【０１３０】
Ｈ＜ＴＨ１であれば（Ｓ９０９のＹＥＳ）、送話音声２の基本周波数Ｈの変化が図７に示すフレームｆ６以降であるから、計数Ｎｕｍ３をインクリメントする（Ｓ９１０）。
【０１３１】
この計数Ｎｕｍ３と閾値ＴＨ６とを比較し、Ｎｕｍ３＞ＴＨ６であるかを判定する（Ｓ９１１）。Ｎｕｍ３≦ＴＨ６であれば（Ｓ９１１のＮＯ）、話尾８−１と判定する（Ｓ９１２）。
【０１３２】
この処理において、Ｓ９０４で音声区間でなければ（Ｓ９０４のＮＯ）、Ｎｕｍ３＝０、flag＝０を設定し（Ｓ９１３）、話尾８−１でないと判定する（Ｓ９１４）。また、Ｓ９０８でflag＝１でなければ（Ｓ９０８のＮＯ）、またＳ９０９でＨ≧ＴＨ１であれば（Ｓ９０９のＮＯ）、話尾８−１でないと判定する（Ｓ９１４）。また、Ｓ９１１でＮｕｍ３＞ＴＨ６であれば（Ｓ９１１のＹＥＳ）、Ｎｕｍ３＝０、flag＝０を設定し（Ｓ９１５）、話尾８−１でないと判定する（Ｓ９１４）。
【０１３３】
このような処理を用いても、図７に示す送話音声２の基本周波数Ｈの変化からｆ１からｆ３の段階を経てフレームｆ４でピークＨｐｋに達し、このピークＨｐｋ、閾値ＴＨ２、ＴＨ１に至る周波数変化から話尾８−１を判定することができる。また、閾値ＴＨ６の調節によって、側音６の話尾８−２の伸張時間を加減することができ、通話に生じている遅延の影響を軽減できる。
【０１３４】
〔他の実施の形態〕
【０１３５】
(1) 送話音声が継続する任意の音声区間中から話尾の開始タイミングを決定し、送話音声の終了タイミングを契機に、側音の話尾の終了タイミングを受話側の受話音声の終了タイミングに近づける側音の遅延制御を行ってもよい。
【０１３６】
(2) 送話音声から話尾区間と話尾区間以外の音声区間を表す二つの出力により異なる話速に制御しているが、側音に話尾区間前では送話音声を出力し、話尾区間の判定出力のみで話尾区間の話速を遅延させてもよい。
【０１３７】
(3) 上記実施の形態では、携帯電話やＩＰ電話による通話を例示したが、本開示の技術は無線電話に限定されず、有線電話であっても通話に遅延が発生する場合に同様に適用できる。
【０１３８】
(4) 上記実施の形態ではプロセッサ２２で既述の音声処理を行っているが、ベースバンド部２０に搭載されるプロセッサを用いて既述の音声処理を行ってもよい。
【０１３９】
(5) 上記実施の形態では、携帯端末装置を例示したが、音声通信機能を備えるパーソナルコンピュータや、スマートフォンなどの多機能型通信装置であってもよい。
【０１４０】
以上説明したように、本開示の技術の実施の形態等について説明したが、本開示の技術は上記記載に限定されるものではない。特許請求の範囲に記載され、または明細書に開示された要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本開示の技術の範囲に含まれることは言うまでもない。また、本開示の技術に係る他の目的、特徴および利点は、上記記載に限定されない。
【符号の説明】
【０１４１】
２、１０  送話音声
６  側音
８−１、８−２  話尾
４、１２  受話音声
１４  携帯端末装置
１６  無線部
１８  アンテナ
２０  ベースバンド部
２２  プロセッサ
２４  メモリ
２６  プログラム記憶部
２８  データ記憶部
３０  ＲＡＭ
３２  マイクロフォン
４２  レシーバ
５２、６０  音声処理機能
５３  音声検出機能
５４  話尾判定機能
５６  話速変換機能
５８  側音生成機能
６２  遅延推定機能
６４  伸張率演算テーブル
【図１】
2015156550.tif 000003
【図２】
2015156550.tif 000004
【図３】
2015156550.tif 000005
【図４】
2015156550.tif 000006
【図５】
2015156550.tif 000007
【図６】
2015156550.tif 000008
【図７】
2015156550.tif 000009
【図８】
2015156550.tif 000010
【図９】
2015156550.tif 000011
【図１０】
2015156550.tif 000012
【図１１】
2015156550.tif 000013
【図１２】
2015156550.tif 000014
【図１３】
2015156550.tif 000015
【図１４】
2015156550.tif 000016
【図１５】
2015156550.tif 000017
【図１６】
2015156550.tif 000018
【図１７】
2015156550.tif 000019
【図１８】
2015156550.tif 000020
【図１９】
2015156550.tif 000021
【図２０】
2015156550.tif 000022
【図２１】
2015156550.tif 000023
【図２２】
2015156550.tif 000024
【図２３】
2015156550.tif 000025