(57)【要約】音声通話装置は、前記音声通話装置のユーザから通話相手に送信される送話信号又は前記音声通話装置で受信される通話相手からの受話信号を分析する分析部と、再生すべき音声メッセージを記憶した記憶部と、前記受話信号に音声メッセージをミキシングするミキシング部と、前記分析部の分析結果に基づいて、前記ユーザの発話間で前記音声メッセージと受話信号とのミキシングが開始されるようにミキシングの開始タイミングを制御する制御部とを含む。
2011039884.tif 000002
【特許請求の範囲】
【請求項１】
音声通話装置のユーザから通話相手に送信される送話信号又は音声通話装置で受信される通話相手からの受話信号を分析する分析部と、
再生すべき音声メッセージを記憶した記憶部と、
前記受話信号に音声メッセージをミキシングするミキシング部と、
前記分析部の分析結果に基づいて、前記ユーザの発話間で前記音声メッセージと受話信号とのミキシングが開始されるようにミキシングの開始タイミングを制御する制御部と
を含む音声通話装置。
【請求項２】
前記分析部は、送話信号の単位時間毎の音声区間か無音区間かの判定結果を出力し、
前記制御部は、無音区間長が所定の閾値以上となった場合に前記ミキシングを開始する
請求項１に記載の音声通話装置。
【請求項３】
前記分析部は、受話信号の単位時間毎の音圧を出力し、
前記制御部は、受話信号の音圧が閾値以上の区間が所定時間継続した場合に前記ミキシングを開始する
請求項１に記載の音声通話装置。
【請求項４】
前記記憶部は、同内容で音声特徴量の異なる複数の音声メッセージを記憶しており、
前記受話信号の音声特徴量を求める特徴量分析部と、
前記受話信号の音声特徴量と前記複数の音声メッセージの音声特徴量とを比較して、前記受話信号の音声特徴量と最も異なる音声特徴量を有する音声メッセージをミキシング対象として選択する選択部とをさらに含む
請求項１から３のいずれか一項に記載の音声通話装置。
【請求項５】
前記受話信号の音声特徴量を求める特徴量分析部と
前記記憶部に記憶された音声メッセージの前記音声特徴量が前記受話信号の音声特徴量との差分が大きくなるように、前記音声メッセージの音声特徴量を変更する変更部をさらに含む
請求項１から３のいずれか一項に記載の音声通話装置。
【請求項６】
前記音声メッセージの音圧を前記受話信号の音圧よりも小さくする調整部をさらに備える
請求項１から５のいずれか一項に記載の音声通話装置。
【請求項７】
音声通話装置のユーザから通話相手に送信される送話信号又は音声通話装置で受信される通話相手からの受話信号を分析し、
前記受話信号に音声メッセージをミキシングするミキシング部と、
前記分析の結果に基づいて、前記ユーザの発話間で前記音声メッセージと受話信号とのミキシングが開始されるようにミキシングの開始タイミングを決定し、
前記開始タイミングで前記受話信号に音声メッセージをミキシングする
ことを含む音声メッセージのミキシング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通話装置に関する。
【背景技術】
【０００２】
近年における、携帯電話、ＰＤＡ（Personal Digital Assistants），パーソナルコンピュータ（ＰＣ）のような音声通話機能を有する電子機器の高機能・高性能化に伴って、これらの電子機器の利用形態が多様化してきている。 
このような状況下で、電子機器を用いた通話中に、通話相手に関連するメッセージを電子機器が再生する機能があれば、電子機器の利便性向上を見込むことができる。【０００３】
例えば、通話者Ａが通話相手Ｂとの通話中に、通話者Ｂに関連するメッセージとして、例えば、“Ｂさんは明日が誕生日です”とのアナウンスが再生されれば、通話者Ａと通話相手Ｂとの会話の話題を広げることができる。
従来、電話装置に、通話中に送出する音声を記憶する記憶手段と、記憶手段に記憶した音声を読み出す音声読み出し手段と、音声送出指示入力手段とを設け、記憶手段から読み出した音声を、通話中にマイクロフォンに入力される音声と同時に、またはマイクロフォンに入力される音声と差し替えて送出する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３２０５９６号公報
【特許文献２】特開２００６−１７４１９８号公報
【特許文献３】特開２００６−８１０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の技術では、電話装置のユーザの発声状況によらずにメッセージ音声をミキシング・再生する。従って、ユーザが発声している際に、メッセージ音声が再生されてしまい、ユーザが発話しにくくなるおそれがあった。また、ユーザが発声している際に、メッセージ音声が再生されると、メッセージの内容をユーザが適正に聞き取ることができない可能性があった。【０００６】
本発明の態様の一つの目的は、通話中に音声メッセージを適正なタイミングで再生可能な音声通話装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の態様の一つは、音声通話装置である。この音声通話装置は、前記音声通話装置のユーザから通話相手に送信される送話信号又は前記音声通話装置で受信される通話相手からの受話信号を分析する分析部と、再生すべき音声メッセージを記憶した記憶部と、前記受話信号に音声メッセージをミキシングするミキシング部と、前記分析部の分析結果に基づいて、前記ユーザの発話間で前記音声メッセージと受話信号とのミキシングが開始されるようにミキシングの開始タイミングを制御する制御部とを含む。
【発明の効果】
【０００８】
本発明の態様の一つによれば、通話中に音声メッセージを適正なタイミングで再生することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１における音声通話装置の目標の説明図である。
【図２】実施形態１における音声通話装置の構成例を示す図である。
【図３】実施形態１におけるタイミング制御部の処理例を示すフローチャートである。
【図４】実施形態２における音声通話装置の構成例を示す図である。
【図５】実施形態２における音声通話装置の動作例を示すフローチャートである。
【図６】実施形態３における音声通話装置の構成例を示す図である。
【図７】実施形態３における音声通話装置の動作例を示すフローチャートである。
【図８】実施形態４における音声通話装置の構成例を示す図である。
【図９】実施形態４における音声通話装置の動作例を示すフローチャートである。
【図１０】実施形態４における音声通話装置の構成例を示す図である。
【図１１】実施形態４における音声通話装置の動作例を示すフローチャートである。
【図１２】ピッチ変換処理の説明図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態について説明する。実施形態の構成は例示であり、本発明の態様は実施形態の構成に限定されない。
＜実施形態１＞
図１は、実施形態１における音声通話装置が目標とする作用の説明図であり、図２は、実施形態１における音声通話装置１の構成例を居示す図である。
【００１１】
図１には、音声通話装置１のユーザと通話相手との発話状況が例示されている。通常の通話では、ユーザと通話相手とは、交互に発声を行う。従って、ユーザの発話状況には、ユーザが発声していない区間Ａが存在する。
【００１２】
音声通話装置１は、再生すべき音声メッセージを予め記憶しており、ユーザが発話していない区間Ａでミキシングを開始することを目標とする。例えば、音声通話装置１のユーザによる操作によって音声メッセージのミキシングの指示があった場合には、音声通話装置１は送話音声、すなわちユーザの発話状況を監視する。その後、音声通話装置１は、無音区間、すなわちユーザが発話していない区間が一定時間以上継続した場合にミキシング処理を開始する。
【００１３】
図２に示す音声通話装置１は、分析部としての音声区間検出部２と、記憶部としてのメッセージ記憶部３と、制御部としてのタイミング制御部４と、ミキシング部５とを備える。音声区間検出部２には、通話相手に送信される送話信号が入力される。送話信号は、音声通話装置１のユーザが発声した音声信号を含むことができる。音声区間検出部２は、送話信号が音声区間か無音区間（非音声区間を含む）かを判定し、判定結果をタイミング制御部４に与える。音声区間か無音区間かの判定は、例えばフレーム（単位時間）毎に行われる。
【００１４】
メッセージ記憶部３には、通話相手との通話中に再生すべき音声メッセージのデータが記憶されている。音声メッセージは、通話相手に関連するあらゆる情報を含むことができる。
【００１５】
タイミング制御部４は、ミキシング部５で実行される音声メッセージのミキシングの開始タイミングを制御する。タイミング制御部４には、音声区間検出部４の判定結果の監視を指示するミキシング制御信号が入力される。ミキシング制御信号の入力を契機に、タイミング制御部４は、音声区間検出部２の判定結果を用いて無音区間を監視する。無音区間の監視において、無音区間が一定時間以上継続した場合、すなわち、無音区間のフレームが所定数連続した場合には、タイミング制御部４は、音声メッセージをメッセージ記憶部３から読み出し、音声メッセージを含むミキシング信号をミキシング部５に与える。
【００１６】
ミキシング部５には、受話信号、すなわち通話相手側から受信された信号が入力される。ミキシング部５は、タイミング制御部４からのミキシング信号の入力をトリガとして、受話信号に対する音声メッセージのミキシング処理を開始する。ミキシング処理結果は、再生信号としてミキシング部５から出力される。このように、ミキシングの開始タイミングは、タイミング制御部４によるミキシング信号の入力タイミングに依存する。
【００１７】
再生信号は、図示しない再生装置及びスピーカを通じて再生音として出力され、ユーザに聴取される。これによって、ユーザは、通話中の、自身が発話していない区間で、再生された音声メッセージを聴取することができる。
【００１８】
なお、図２に示した音声区間検出部２，タイミング制御部３，ミキシング部５は、専用又は汎用のハードウェアを用いて実現することができる。或いは、これらは、中央演算処理装置（ＣＰＵ），ディジタル・シグナル・プロセッサ（ＤＳＰ）のようなプロセッサが、メモリ（半導体メモリ，ハードディスクＨＤＤ，フラッシュメモリなど）に格納されたプログラムを実行することによって得られる機能として実現するこことができる。また、メッセージ記憶部３は、記憶媒体の記憶領域に作成される。
【００１９】
図３は、実施形態１における音声通話装置１におけるタイミング制御部４の処理例を示すフローチャートである。図３に示す処理は、タイミング制御部４へのミキシング制御信号の制御を契機として開始される。なお、ミキシング制御信号は、ユーザによる音声通話装置１の図示しない入力装置の操作を通じてタイミング制御部４に与えることができる。
【００２０】
処理が開始されると、タイミング制御部４は、音声区間検出部２から入力される音声区間／無音区間の判定結果の入力受付を開始し（ステップＳ１）、無音区間の監視を開始する（ステップＳ２）。
【００２１】
無音区間長がタイミング制御部４が予め保持する閾値ＴＨ１以上となった場合に（ステップＳ３のＹＥＳ）、タイミング制御部４は、ミキシングを開始する（ステップＳ４）。タイミング制御部４は、音声メッセージをメッセージ記憶部３から読み出し、音声メッセージを含むミキシング信号をミキシング部５に与える。なお、無音区間長が閾値ＴＨ１以下の場合（Ｓ３のＮＯ）には、処理がステップＳ１に戻され、無音区間の監視が継続される。
【００２２】
ステップＳ４の処理が終了すると、タイミング制御部４は、処理を終了する。このように、ミキシング制御信号の入力毎に、無音区間の監視、及びミキシングタイミング制御が実行される。
【００２３】
なお、音声区間検出部２による音声区間検出処理は、ミキシング制御信号の入力を契機に開始されるようにしても良い。すなわち、音声区間検出部２の動作がタイミング制御部４の動作と連動するようにしても良い。
【００２４】
実施形態１によれば、無音区間が一定時間以上継続した場合、すなわち、ユーザが発話していない状態が一定時間継続している場合に、音声メッセージのミキシングが開始される。これによって、ユーザの非発話区間（区間Ａ、図１）において音声メッセージを再生することができる。
【００２５】
従って、ユーザの発話中に音声メッセージの再生が開始されることがない。これによって、ユーザが音声メッセージの再生開始タイミングを気にして話しにくさを感じることを防止することができる。また、ユーザの発話中に音声メッセージが再生されることによって、音声メッセージが聞き取りにくくなることを防止することができる。
【００２６】
＜実施形態２＞
次に、実施形態２として、音声通話装置がインターネット・プロトコル（ＩＰ）電話機に適用された例を示す。図４は、実施形態２における音声通話装置１Ａを示す図である。
【００２７】
図４において、音声通話装置１Ａは、実施形態１と同様に、音声区間検出部２，メッセージ記憶部３，タイミング制御部４，及びミキシング部５を備えている。
【００２８】
さらに、音声通話装置１Ａは、送話ユニットとして、マイクロフォンＭと、増幅器（ＡＭＰ）１１と、エンコード部１２と、パケット送信部１３とを備えている。
【００２９】
マイクロフォンＭは、音声通話装置１Ａのユーザの発話を収音する。マイクロフォンＭに入力された音声信号は、増幅器１１で増幅され、送話信号としてエンコード部１２に入力される。増幅器１１から出力される送話信号は、音声区間検出部２にも入力される。
【００３０】
エンコード部１２は、送話信号に対するアナログ・ディジタル変換（Ａ／Ｄ変換）処理、及び符号化圧縮処理を行い、音声符号化信号をパケット送信部１３に与える。パケット送信部１３は、音声符号化信号を含むパケットを生成し、送信パケットとして出力する。
【００３１】
送信パケットは、図示しないネットワークへ送出され、ネットワークを通じて通話相手の端末装置（図示せず）で受信される。通話相手は、端末装置で受信された送信パケットに基づくユーザの音声を聴取することができる。
【００３２】
また、音声通話装置１Ａは、受話ユニットとして、パケット受信部１４と、デコード部１５と、ミキシング部５と、増幅器（ＡＭＰ）１６とスピーカＳとを備えている。
【００３３】
通信相手の端末装置から送信される、通信相手の音声信号を含むパケットは、ネットワークを介して音声通話装置１Ａに到達し、パケット受信部１４で受信パケットとして受信される。
【００３４】
パケット受信部１４は、受信パケットに含まれた音声符号化信号を抽出し、デコード部１５に与える。デコード部は、音声符号化信号に対する復号処理及びディジタル-アナログ変換（Ｄ／Ａ変換）を行い、得られた音声信号を受話信号として出力する。
【００３５】
受話信号は、ミキシング部５に入力され、必要に応じて音声メッセージとミキシングされて出力され、増幅器１６で増幅されてスピーカ１６に接続される。スピーカＳは、増幅器からの受話信号に基づく音声を出力する。
【００３６】
これによって、音声通話装置１Ａのユーザは、通信相手の音声を聴取することができる。また、必要に応じてミキシングされた音声メッセージの再生音を聴取することもできる。
【００３７】
さらに、音声通話装置１Ａは、ユーザがタイミング制御部４にミキシング制御信号を入力するためのスイッチＳＷを備えている。スイッチＳＷは、音声通話装置１Ａ（ＩＰ電話機）の入力装置の一つである。ユーザは、スイッチＳＷをオンにすることで、タイミング制御部４を起動させることができる。
【００３８】
なお、図４に示した増幅器１１及び１６，エンコード部１２，パケット送信部１３，パケット受信部１４，及びデコード部１５は、専用又は汎用のハードウェアを用いて実現することができる。また、エンコード部１２，パケット送信部１３，パケット受信部１４，及びデコード部１５は、ＣＰＵやＤＳＰのようなプロセッサが、メモリに格納されたプログラムを実行することによって得られる機能として実現することができる。
【００３９】
図５は、実施形態２における音声通話装置１Ａの動作例を示す図である。図５に示すフローチャートは、タイミング制御部４がスイッチＳＷからの制御信号を受信することによって開始する（ステップＳ００１）。
【００４０】
タイミング制御部４は、制御信号を受け取ると、音声区間検出部２に対し、送話信号の音声区間／無音区間の判定開始指示を与える。これにより、音声区間検出部２は、例えば、ＶＡＤ（VAD：Voice  Activity Detection）技術を用いて、フレーム毎に音声区間か無音区間かを判定し、フレーム毎の判定結果をタイミング制御部４へ出力する（ステップＳ００２）。
【００４１】
タイミング制御部４は、音声区間検出部２からの判定結果を受け取り、無音区間の継続時間を計測する（ステップＳ００３）。
【００４２】
タイミング制御部４は、無音区間の継続時間、すなわち無音区間長が、所定の閾値ＴＨ１以上か否かを判定する（ステップＳ００４）。このとき、継続時間が閾値ＴＨ１未満である場合（Ｓ００４のＮＯ）には、処理がステップＳ００７に進む。
【００４３】
これに対し、継続時間が閾値ＴＨ１以上である場合（Ｓ００４のＹＥＳ）には、タイミング制御部４は、メッセージ記憶部３から再生すべき音声メッセージ、すなわちメッセージ信号ｘ’ [n]を読み出し、メッセージ信号ｘ[ｎ]をミキシング信号ｘ’ [n]としてミキシング部５へ与える（ｘ’ [n]＝ｘ[ｎ]、ステップＳ００５）。なお、“ｎ”はフレームのサンプル番号である。
【００４４】
ミキシング部５は、デコード部１５からの受話信号ｒ＿ｉｎ[n]にミキシング信号ｘ’ [n]、すなわちメッセージ信号ｘ[ｎ]をミキシングした出力信号ｒ＿ｏｕｔ[n]を出力する（ｒ＿ｏｕｔ[n]＝ｒ＿ｉｎ[n]＋ｘ’ [n]、ステップＳ００６）。音声メッセージの読み出しが終了すると、図５のフローチャートによる動作が終了する。
【００４５】
これによって、スピーカＳからは、受話信号に基づく通信相手の音声と音声メッセージとが出力され、ユーザは音声メッセージを聴取することができる。音声メッセージは、ユーザに対し、通信相手との会話の話題を提供することができる。よって、ユーザは、通信相手と好適な会話を行うことができる。
【００４６】
一方、処理がステップＳ００７に進んだ場合には、タイミング制御部４は、ミキシング信号として“０”を出力する（ｘ’ [n]＝０）。これによって、ミキシング部５の出力信号ｒ＿ｏｕｔ[n]はｒ＿ｉｎ[n]と同じとなる。すなわち、音声メッセージの出力は行われない。
【００４７】
実施形態２の作用効果は、実施形態１とほぼ同様である。無音時間の継続時間、すなわち無音区間長が閾値ＴＨ１以上の場合に音声メッセージのミキシングが開始される。これによって、ユーザが発話していない区間Ａ（図１）で、音声メッセージの再生を開始することができ、ユーザの話しやすさと聞きやすさとを担保することができる。
【００４８】
なお、実施形態２では、音声区間検出部２は、タイミング制御部４からの指示に従って音声区間／無音区間の判定動作を開始する。この構成の代わりに、スイッチＳＷからのミキシング制御信号の入力によって動作を開始するようにしても良い。
【００４９】
＜実施形態３＞
次に、実施形態３における音声通話装置について説明する。実施形態３は、実施形態１，２と共通点を有するので、主として相違点について説明し、共通点の説明は省略する。
【００５０】
図６は、実施形態３における音声通話装置１Ｂの構成例を示す図である。音声通話装置１Ｂは、実施形態１、２と同様に、メッセージ記憶部３，タイミング制御部４，及びミキシング部５を備えている。ミキシング部５には、実施形態２と同様に、増幅器１６及びスピーカＳが接続されている。
【００５１】
これに対し、タイミング制御部４には、通話時間算出部２１と、分析部としての音圧分析部２２とが接続されている。通話時間算出部２１には、通話開始信号が入力される。通話開始信号は、例えば、音声通話装置１Ｂが通信相手の端末装置との通話回線が確立した場合に入力される。
【００５２】
通話時間算出部２１は、通話時間を計測するタイマを有し、通話時間が所定時間を経過する毎に、ミキシング制御信号をタイミング制御部４に入力する。これによって、実施形態３では、タイミング制御部４は、所定時間毎に、周期的に起動する。
【００５３】
一方、音圧分析部２２には、受話信号が入力される。音圧分析部２２は、受話信号の音圧を分析し、分析結果である音圧情報をタイミング制御部４に入力する。音圧情報は、受話信号のフレーム毎のパワーを含む。
【００５４】
なお、音声通話装置１Ｂは、実施形態２と同様に、マイクロフォンＭ及び増幅器１１を備えており、送話信号を出力することができる。但し、音声通話装置１Ｂでは、音声区間検出部２が省略されており、音声メッセージのミキシング制御に送話信号は使用されない。
【００５５】
なお、図６に示した通話時間算出部２１及び音圧分析部２２は、専用又は汎用のハードウェアを用いて実現することができる。或いは、通話時間算出部２１及び音圧分析部２２は、ＣＰＵやＤＳＰのようなプロセッサが、メモリに格納されたプログラムを実行することによって得られる機能として実現することができる。
【００５６】
図７は、実施形態３における音声通話装置１Ｂの動作例を示すフローチャートである。図７におけるフローチャートは、通話が開始されてから所定時間の経過を通話時間算出部２１が検知し、ミキシング制御信号をタイミング制御部４に入力することによって開始される（ステップＳ１０１）。
【００５７】
制御信号を受け取ったタイミング制御部４は、音圧分析部２２に起動指示を与える。これによって、音圧分析部２２は、受話信号の分析を行い、現フレームの音圧、すなわちパワーＰをタイミング制御部４に出力する（ステップＳ１０２）。
【００５８】
パワーＰは、以下の式（１）によって算出することができる。
【００５９】
【数１】
2011039884.tif 000003
但し、Ｎは１フレーム内の総サンプル数である。
【００６０】
タイミング制御部４は、フレーム毎のパワーＰを音圧分析部２２から受け取り、フレームパワーＰが予めタイミング制御部４によって保持されている閾値ＴＨ３以上のフレームの継続時間を計測する（ステップＳ１０２）。
【００６１】
タイミング制御部４は、現フレームのパワーＰが閾値ＴＨ３未満となった時点で、継続時間がタイミング制御部４が予め保持している閾値ＴＨ４以上か否かを判定する（ステップＳ１０４）。このとき、継続時間が閾値ＴＨ４未満である場合（Ｓ１０４のＮＯ）には、処理がステップＳ００７に進む。
【００６２】
これに対し、継続時間が閾値ＴＨ４以上である場合（Ｓ１０４のＹＥＳ）には、処理をステップＳ００５へ進める。図７に示すステップＳ００５〜Ｓ００７の処理は実施形態２と同様である。
【００６３】
すなわち、継続時間が閾値ＴＨ４以上であれば、音声メッセージのミキシングが開始される。これによって、実施形態２と同様に、スピーカＳからは、受話信号に基づく通信相手の音声と音声メッセージとが出力され、ユーザは音声メッセージを聴取することができる。継続時間が閾値ＴＨ４未満であれば、音声メッセージのミキシングは行われない。
【００６４】
実施形態３では、スイッチＳＷの代わりに通話時間算出部２１が設けられ、通話が開始されてから所定時間が経過する毎に制御信号がタイミング制御部４に入力される。これによって、音声メッセージのミキシング制御のタイミングを周期的に発生させることができる。
【００６５】
また、周期毎に、タイミング制御部４が異なる音声メッセージをメッセージ記憶部３から読み出すことができる。これによって、会話が続くにつれて、新たな話題を音声メッセージとして提供することができる。
【００６６】
上述した受話信号の音圧、すなわちパワーＰが閾値ＴＨ３以上の状態とは、受話信号が通話相手の発話を含むことを意味する。通常、通話相手からの音声が聞こえている間は、ユーザは発話しない。よって、ユーザが発話していない区間Ａ（図１）に音声メッセージのミキシング、すなわち再生を開始することができる。
【００６７】
なお、実施形態３では、音圧分析部２２は、タイミング制御部４からの指示に従って音声区間／無音区間の判定動作を開始する。この構成の代わりに、ミキシング制御信号がタイミング制御部４及び音圧分析部２２の双方に入力され、両者が動作を開始するようにしても良い。
【００６８】
＜実施形態４＞
次に、実施形態４における音声通話装置について説明する。実施形態４は、実施形態１，２，３と共通点を有するので、主として相違点について説明し、共通点の説明は省略する。
【００６９】
図８は、実施形態４における音声通話装置１Ｃの構成例を示す図である。音声通話装置１Ｃは、実施形態１，２と同様に、音声区間検出部２，メッセージ記憶部３，タイミング制御部４，及びミキシング部５を備えている。ミキシング部５には、実施形態２、３と同様に、増幅器１６及びスピーカＳが接続されている。
【００７０】
また、音声通話装置１Ｃは、実施形態２と同様に、マイクロフォンＭ及び増幅器１１を備えており、増幅器１１から出力される送話信号が音声区間検出部２に入力される。
【００７１】
また、音声通話装置１Ｃは、実施形態３と同様に、音圧分析部２２を備えている。但し、音声通話装置１Ｃは、実施形態１〜３と異なる構成要素として、調整部としての音圧調整部３１，選択部としてのメッセージ選択部３２，及び声質分析部としてのスペクトル分析部３３を備えている。
【００７２】
スペクトル分析部３３には、受話信号が入力される。スペクトル分析部３３は、受話信号のスペクトル分析を行い、分析結果として、受話信号のスペクトル分析結果、すなわち周波数特性をメッセージ選択部３２に入力する。
【００７３】
メッセージ選択部３２は、スペクトル分析部の分析結果に応じた目音声メッセージ、すなわちメッセージ信号を読み出して音圧調整部３１に与える。メッセージ記憶部３には、内容が同じであるが周波数スペクトル（周波数特性）の異なる複数の音声メッセージ（メッセージ信号）が予め格納されている。
【００７４】
音圧調整部３１は、音圧分析部２２から出力される受話信号の平均音圧を受け取り、平均音圧に応じてメッセージ信号（音声メッセージ）の音圧を補正し、補正メッセージ信号をタイミング制御部４に入力する。
【００７５】
タイミング制御部４は、実施形態２と同様に、音声区間検出部の音声区間か無音区間かの判定結果に基づき、無音区間長が閾値ＴＨ１以上となった場合に、ミキシング部５にミキシング信号として補正メッセージ信号を与える。
【００７６】
なお、図８に示した音圧調整部３１，メッセージ選択部３２，及びスペクトル分析部３３は、専用又は汎用のハードウェアを用いて実現することができる。また、音圧調整部３１，メッセージ選択部３２，及びスペクトル分析部３３は、ＣＰＵやＤＳＰのようなプロセッサが、メモリに格納されたプログラムを実行することによって得られる機能として実現することができる。
【００７７】
図９は、実施形態４における音声通話装置１Ｃの動作例を示すフローチャートである。
【００７８】
音声通話装置１Ｃの前処理として、予めメッセージ記憶部３に記憶された複数のメッセージ信号の平均パワーＰｘ及び周波数スペクトルＳｘ[i][f]とを求めておく（ステップＳ２０１）。上記“i”はメッセージ信号の識別子であり、“f”は周波数を示す。なお、平均パワーＰｘの値は、予め音圧調整部３１が保持していても良い。また、周波数スペクトルＳｘ[i][f]の値は、予めメッセージ選択部３２が保持していても良い。或いは、平均パワーＰｘ及び周波数スペクトルＳｘ[i][f]の値をタイミング制御部４が予め保持し、必要に応じて音圧調整部３１，メッセージ選択部３２に与えるようにされていても良い。この場合、ステップＳ２０１は省略可能である。
【００７９】
また、前処理として、音圧分析部２２は、制御信号の有無に関係なく、受話信号の平均パワーＰｒを求めて音圧調整部３１に入力する。一方、スペクトル分析部３３は、受話信号に対する高速フーリエ変換（ＦＦＴ）を行い、受話信号の周波数スペクトルの分析を行い、受話信号の周波数スペクトルＳｒ[f]を求め、メッセージ選択部３２に与える（ステップＳ２０２）。
【００８０】
ステップＳ２０１及びＳ２０２を前提として、図９におけるステップＳ００１〜Ｓ００４の処理又は動作が行われる。ステップＳ００１〜Ｓ００４の処理は、実施形態２（図５）と同様であるので説明を省略する。また、図９に示すステップＳ００７の動作も実施形態２と同様である。
【００８１】
ステップＳ００４において、継続時間が閾値ＴＨ１以上の場合には、ステップＳ２０６において、タイミング制御部４がメッセージ信号の読み出しを開始し、メッセージ選択部３２に、メッセージ選択指示を与える。メッセージ選択部３２は、メッセージ記憶部３から選択候補である複数のメッセージ信号を読み出し、受話信号の周波数スペクトルＳｒ[f]とメッセージ信号の周波数スペクトルＳｘ[i][f]との自乗誤差d[i]をメッセージ毎に求め、自乗誤差d[i]が最小となるメッセージ信号を選択する。
【００８２】
自乗誤差d[i]は、以下の式（２）で算出することができる。
【００８３】
【数２】
2011039884.tif 000004
但し、“i” はメッセージ番号であり、“f” は周波数であり、“L”は周波数上限である。
【００８４】
メッセージ選択部３２によって選択されたメッセージ信号x’[i][n]は、音圧調整部３１に与えられる。
【００８５】
音圧調整部３１は、メッセージ信号の音圧が受話信号の平均パワーＰｘより所定値小さくなるようにメッセージ信号の音量を制御する。所定値は、例えば５〜１５ｄＢであり、好ましくは１０ｄＢである。
補正メッセージ信号x’’は、以下の式（３）、式（４）で求めることができる。
x’’[n] = gain × x’[i][n]  ・・・ （３）
【００８６】
【数３】
2011039884.tif 000005
【００８７】
その後、タイミング制御部４は、補正メッセージ信号を、実施形態２と同様にミキシング制御部５に与え、ミキシング制御部５によるミキシング処理が行われる（Ｓ００８）。
【００８８】
実施形態４は、実施形態２と同様の作用効果を得ることができる。さらに、実施形態４によれば、同内容であるが、声質を示すパラメータとしての周波数スペクトルが異なる複数の音声メッセージ（メッセージ信号）をメッセージ記憶部３に予め格納しておき、受話信号の周波数と最も異なる複数のメッセージ信号の一つを選択する。さらに、選択されたメッセージ信号の音量が、受話信号よりも小さくなるように音圧を調整する。
【００８９】
これによって、受話信号の音声と声質が最も異なる音声メッセージが、受話信号の音声、すなわち通話相手の音声よりも小さい音声で再生される。例えば、通話相手が女性であれば男性の音声メッセージが再生され、通話相手が男性であれば女性の音声メッセージが再生されるようにすることができる。これによって、音声メッセージが聞き取り易くなる。
【００９０】
＜実施形態５＞
次に、実施形態５における音声通話装置について説明する。実施形態５は、実施形態３と共通点を有するので、主として相違点について説明し、共通点の説明は省略する。
【００９１】
図１０は、実施形態５における音声通話装置１Ｄの構成例を示す図である。音声通話装置１Ｃは、実施形態３と同様に、メッセージ記憶部３，タイミング制御部４，ミキシング部５，通話時間算出部２１，及び音圧分析部２２を備えている。さらに、音声通話装置１Ｃは、マイクロフォンＭ，増幅器１１及び１６，並びにスピーカＳを備えている。
【００９２】
これに対し、音声通話装置１Ｃは、変更部としてのメッセージ加工部４１と、基本周波数分析部４２とを備えている。基本周波数分析部４２には、受話信号が入力される。基本周波数分析部４２は、受話信号の分析を行い、受話信号の基本周波数（ピッチ周波数）を求めてメッセージ加工部４１に与える。メッセージ加工部４１は、受話信号の基本周波数に基づき、メッセージ記憶部３から読み出されるメッセージ信号（音声メッセージ）の基本周波数が受話信号の基本周波数と遠くなるようにメッセージ信号の基本周波数を調整し、タイミング制御部４に与える。
【００９３】
なお、図１０に示したメッセージ加工部４１及び基本周波数分析部４２は、専用又は汎用のハードウェアを用いて実現することができる。また、メッセージ加工部４１及び基本周波数分析部４２は、ＣＰＵやＤＳＰのようなプロセッサが、メモリに格納されたプログラムを実行することによって得られる機能として実現することができる。
【００９４】
図１１は、実施形態５における音声通話装置１Ｄの動作例を示すフローチャートである。
【００９５】
図１１の処理の前提として、メッセージ記憶部３に格納されたメッセージ毎の平均基本周波数ｆｘが予め求められる（ステップＳ３０１）。但し、平均基本周波数ｆｘの値は予めメッセージ加工部４１が保持していても良い。或いは、平均記憶周波数ｆｘの値を予めタイミング制御部４が保持し、必要に応じてメッセージ加工部４１に与えるようにしても良い。この場合、ステップＳ３０１は省略できる。
【００９６】
また、処理の前提として、基本周波数分析部４２は、ミキシング制御信号の有無に関係なく、受話信号の平均基本周波数ｆｒを求め、メッセージ加工部４１に入力する（ステップＳ３０２）。
【００９７】
図１１におけるステップＳ１０１〜Ｓ１０４、Ｓ００７の処理は、実施形態２と同じであるので説明を省略する。ステップＳ１０４において、閾値ＴＨ３以上のフレームパワーＰが閾値ＴＨ４以上継続した場合に、処理がステップＳ３０３に進む。
【００９８】
ステップＳ３０３では、タイミング制御部４がメッセージ信号の読み出しを開始し、メッセージ加工部４１に読み出し指示を与える。メッセージ加工部４１は、メッセージ記憶部３からメッセージ信号を読み出し、メッセージ信号の基本周波数が所定の出力周波数ｆout[Ｈｚ]となるように、ピッチ変換処理を行う。
【００９９】
図１２は、ピッチ変換処理の説明図である。出力周波数ｆoutは、ｆlowとｆhighとの二つの所定値を持つ。メッセージ記憶部３から読み出されたメッセージ信号の基本周波数fｘが受話信号の平均基本周波数ｆｒを上回る場合には、ｆoutとしてｆlowが選択される。これに対し、基本周波数fｘが受話信号の平均基本周波数ｆｒ以下であれば、ｆoutとしてｆhighが選択される。このような処理は、フレーム毎に実行される。
【０１００】
ピッチ変換処理が施されたメッセージ信号は、タイミング制御部４に与えられる。タイミング制御部４は、ピッチ変換処理が施されたメッセージ信号をミキシング信号としてミキシング部５に与える。ミキシング部５は、実施形態３と同様に、受話信号とメッセージ信号とのミキシングを行う。
【０１０１】
その後、ミキシング処理は、メッセージ記憶部３からのメッセージ信号の読み出しが終了し、ミキシング部５に与えられるまで継続して行われる（ステップＳ３０５）。
【０１０２】
実施形態５によれば、実施形態３と同様の作用効果が得られる。さらに、受話信号の基本周波数がメッセージ信号の基本周波数より大きい場合には、メッセージ信号の基本周波数が受話信号より大きくされ、受話信号の基本周波数がメッセージ信号の基本周波数以下である場合には、メッセージ信号の基本周波数が受話信号より小さくされる。これによって、基本周波数（声の高さ）が通話相手の声の高さと大きく異なる音声メッセージを再生することができる。よって、音声メッセージが聞き取り易くなる。以上説明した実施形態の構成は適宜組み合わせることができる。
【符号の説明】
【０１０３】
Ｍ・・・マイクロフォン
Ｓ・・・スピーカ
ＳＷ・・・スイッチ
１，１Ａ，１Ｂ，１Ｃ，１Ｄ・・・音声通話装置
２・・・音声区間検出部
３・・・メッセージ記憶部
４・・・タイミング制御部
５・・・ミキシング部
１１，１６・・・増幅器
１２・・・エンコード部
１３・・・パケット送信部
１４・・・パケット受信部
１５・・・デコード部
２１・・・通話時間算出部
２２・・・音圧分析部（特徴量分析部）
３１・・・音圧調整部
３２・・・メッセージ選択部
３３・・・スペクトル分析部（特徴量分析部）
４１・・・メッセージ加工部
４２・・・基本周波数分析部（特徴量分析部）
【図１】
2011039884.tif 000006
【図２】
2011039884.tif 000007
【図３】
2011039884.tif 000008
【図４】
2011039884.tif 000009
【図５】
2011039884.tif 000010
【図６】
2011039884.tif 000011
【図７】
2011039884.tif 000012
【図８】
2011039884.tif 000013
【図９】
2011039884.tif 000014
【図１０】
2011039884.tif 000015
【図１１】
2011039884.tif 000016
【図１２】
2011039884.tif 000017
【手続補正書】
【提出日】平成24年5月8日(2012.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声通話装置のユーザから通話相手に送信される送話信号又は音声通話装置で受信される通話相手からの受話信号を分析し、前記受話信号の単位時間毎の音圧を出力する分析部と、
再生すべき音声メッセージを記憶した記憶部と、
前記受話信号に前記音声メッセージをミキシングするミキシング部と、
前記受話信号の音圧が閾値以上の区間が所定時間継続した場合に、前記ミキシング部に前記受話信号に対する前記音声メッセージのミキシングを開始させる制御部と
を含む音声通話装置。
【請求項２】
前記分析部は、送話信号の単位時間毎の音声区間か無音区間かの判定結果を出力し、
前記制御部は、無音区間長が所定の閾値以上となった場合に前記ミキシング部に前記受話信号に対する前記音声メッセージのミキシングを開始させる
請求項１に記載の音声通話装置。
【請求項３】
前記記憶部は、同内容で音声特徴量の異なる複数の音声メッセージを記憶しており、
前記受話信号の音声特徴量を求める特徴量分析部と、
前記受話信号の音声特徴量と前記複数の音声メッセージの音声特徴量とを比較して、前記受話信号の音声特徴量と最も異なる音声特徴量を有する音声メッセージをミキシング対象として選択する選択部とをさらに含む
請求項１又は２に記載の音声通話装置。
【請求項４】
前記受話信号の音声特徴量を求める特徴量分析部と
前記記憶部に記憶された音声メッセージの前記音声特徴量が前記受話信号の音声特徴量との差分が大きくなるように、前記音声メッセージの音声特徴量を変更する変更部をさらに含む
請求項１又は２に記載の音声通話装置。
【請求項５】
前記音声メッセージの音圧を前記受話信号の音圧よりも小さくする調整部をさらに備える
請求項１から４のいずれか一項に記載の音声通話装置。
【請求項６】
音声通話装置のユーザから通話相手に送信される送話信号又は音声通話装置で受信される通話相手からの受話信号を分析し、前記受話信号の単位時間毎の音圧を出力し、
前記受話信号の音圧が閾値以上の区間が所定時間継続した場合に、前記受話信号に対する音声メッセージのミキシングを開始する
ことを含む音声メッセージのミキシング方法。
【国際調査報告】
2011039884.tif 000018
2011039884.tif 000019
2011039884.tif 000020
2011039884.tif 000021