(57)【要約】【課題】音声認識のような高度な処理を行う必要なく、話者の個性（話速）に依存せずに適正な話速に話速変換することができる音声通信装置、および音声通信システムを提供する。【解決手段】各音声会議装置１１１は、発話者の音声を収音し、収音した音声信号から話速を検出する。各音声会議装置１１１は、検出した話速の情報をネットワークサーバ１０１に送信する。ネットワークサーバ１０１は、各装置から受信した話速情報の平均値を算出し、これを各装置に返信する。各音声会議装置は、自装置で検出した話速情報と、ネットワークサーバ１０１から受信した話速情報平均値と、に基づいて、収音した音声信号が平均的な話速になるように話速変換する。この平均的な話速に変換された音声信号を他装置に送信する。【選択図】図１
2008032933.tif 000002
【特許請求の範囲】
【請求項１】
発話者の音声を収音して音声信号を出力するマイクと、
前記マイクが出力した音声信号を話速変換する話速変換部と、
前記話速変換部が話速変換した音声信号を他の装置に出力する音声信号出力部と、
前記マイクが出力した音声信号から発話者の話速を検出する話速検出部と、
サーバ装置から、目標となる話速を示す情報である目標話速情報を受信する話速情報通信部と、
前記話速検出部が検出した発話者の話速と、前記話速情報通信部がサーバ装置から受信した目標話速情報が示す話速と、に基づいて、前記話速変換部の話速変換量を決定する話速変換量決定部と、
を備えた音声通信装置。
【請求項２】
前記話速情報通信部は、前記話速検出部が検出した発話者の話速を示す情報を自装置の話速情報として前記サーバ装置に送信する請求項１に記載の音声通信装置。
【請求項３】
前記話速検出部は、前記マイクが出力した音声信号から子音音声区間、および母音音声区間を切り出し、前記子音音声区間と前記母音音声区間との時間長の比に基づいて、発話者の話速を検出する請求項１、または請求項２に記載の音声通信装置。
【請求項４】
サーバ装置、および複数の音声通信装置を相互に接続した音声通信システムであって、
各音声通信装置は、発話者の音声を収音して音声信号を出力するマイクと、
前記マイクが出力した音声信号を話速変換する話速変換部と、
前記話速変換部が話速変換した音声信号を他の装置に出力する音声信号出力部と、
前記マイクが出力した音声信号から発話者の話速を検出する話速検出部と、
前記話速検出部が検出した発話者の話速を示す情報を話速情報として前記サーバ装置に送信する話速情報通信部と、
を備え、
前記サーバ装置は、各音声通信装置から送られてきた話速情報に基づき、目標話速量を決定して各音声通信装置に配信する目標話速量決定手段を備え、
前記音声通信装置の話速情報通信部は、さらにサーバ装置から前記目標話速量を受信し、
前記音声通信装置は、前記話速検出部が検出した発話者の話速と、および前記目標話速量に含まれる話速と、に基づいて、前記話速変換部の話速変換量を決定する話速変換量決定部をさらに備えた音声通信システム。
【請求項５】
前記話速検出部は、前記マイクが出力した音声信号から子音音声区間、および母音音声区間を切り出し、前記子音音声区間と前記母音音声区間との時間長の比に基づいて、発話者の話速を検出する請求項３に記載の音声通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワークを介して相互に音声信号を通信することで遠隔地会議などを行う音声通信システム、およびこの音声通信システムで用いる音声通信装置に関するものである。
【背景技術】
【０００２】
複数の地点をネットワークで接続して音声会議を行う場合、各話者によって会話速度が異なるため、特定の話者の発言が聴き取り難い場合がある。そこで、発話音声を話速変換し、発言内容を把握し易くすることが考えられるが、この場合、どの程度の話速に変換すればよいかが問題となる。
【０００３】
この問題に対し、入力音声信号について音声認識処理を行い、標準パターンの音声データとの時間長の比較から話速を算出する話速変換装置が提案されている（例えば特許文献１参照）。
【０００４】
また、電話機におけるナンバーディスプレイサービスを利用して、発信電話番号毎に予め設定されている話速で話速変換を行うようにした、話速変換機能を有する電話機が提案されている（例えば特許文献２参照）。
【特許文献１】特開２００１−１３４２９９号公報
【特許文献２】特開２００１−２６８１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の装置では、音声認識処理を行う必要があり、標準パターンに合致する音声が入力されないと話速を算出することができない。
【０００６】
また、特許文献２の装置では、発信電話番号毎に話速を設定するために、発信先の発話者が変更された場合に対応できないという問題点が有った。
【０００７】
本発明は、音声認識のような高度な処理を行う必要なく、話者の個性（話速）に依存せずに適正な話速に話速変換することができる音声通信装置、および音声通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の音声通信装置は、発話者の音声を収音して音声信号を出力するマイクと、前記マイクが出力した音声信号を話速変換する話速変換部と、前記話速変換部が話速変換した音声信号を他の装置に出力する音声信号出力部と、前記マイクが出力した音声信号から発話者の話速を検出する話速検出部と、サーバ装置から、目標となる話速を示す情報である目標話速情報を受信する話速情報通信部と、前記話速検出部が検出した発話者の話速と、前記話速情報通信部がサーバ装置から受信した目標話速情報が示す話速と、に基づいて、前記話速変換部の話速変換量を決定する話速変換量決定部と、を備えたことを特徴とする。
【０００９】
この発明では、収音した音声信号から話速を検出する。自装置で検出した話速と、他装置から受信した話速と、に基づいて話速変換量を決定し、収音音声信号を話速変換して出力する。つまり、他装置から受信した話速に比べ、自装置で検出した話速がゆっくりであれば音声信号を圧縮してから送信し、自装置で検出した話速が速ければ音声信号を伸長してから送信する。
【００１０】
また、この発明の音声通信装置は、前記話速情報通信部は、前記話速検出部が検出した発話者の話速を示す情報を自装置の話速情報として前記サーバ装置に送信することを特徴とする。
【００１１】
この発明では、この検出した話速を示す情報をサーバ装置に送受信する。これにより、サーバ装置において、受信した話速情報を目標話速情報の算出に用いることができる。
【００１２】
また、この発明の音声通信装置は、前記話速検出部は、前記マイクが出力した音声信号から子音音声区間、および母音音声区間を切り出し、前記子音音声区間と前記母音音声区間との時間長の比に基づいて、発話者の話速を検出することを特徴とする。
【００１３】
この発明では、音声信号から子音区間と母音区間を切り出す。例えば、音声信号の周期性を検出し、所定レベル以上の音声信号のうち、周期性の高い音声区間を母音区間、これ以外の区間を子音区間とすればよい。この子音区間と母音区間の時間長の比から話速を検出する。子音区間に対する母音区間の時間長が長い場合に話速が遅い（ゆっくり）と判断し、子音区間に対する母音区間の時間長が短い場合に話速が速い（早口）と判断すればよい。
【００１４】
この発明の音声通信システムは、サーバ装置、および複数の音声通信装置を相互に接続した音声通信システムであって、各音声通信装置は、発話者の音声を収音して音声信号を出力するマイクと、前記マイクが出力した音声信号を話速変換する話速変換部と、前記話速変換部が話速変換した音声信号を他の装置に出力する音声信号出力部と、前記マイクが出力した音声信号から発話者の話速を検出する話速検出部と、前記話速検出部が検出した発話者の話速を示す情報を話速情報として前記サーバ装置に送信する話速情報通信部と、を備え、前記サーバ装置は、各音声通信装置から送られてきた話速情報に基づき、目標話速量を決定して各音声通信装置に配信する目標話速量決定手段を備え、前記音声通信装置の話速情報通信部は、さらにサーバ装置から前記目標話速量を受信し、前記音声通信装置は、前記話速検出部が検出した発話者の話速と、および前記目標話速量に含まれる話速と、に基づいて、前記話速変換部の話速変換量を決定する話速変換量決定部をさらに備えたことを特徴とする。
【００１５】
この発明では、収音した音声信号から話速を検出する。この検出した話速を示す情報をサーバ装置に送受信する。サーバ装置は、各音声通信装置から受信した話速情報から目標話速量（例えば平均値）を算出し、これを各音声通信装置に配信する。各音声通信装置においては、自装置で検出した話速と、サーバ装置から受信した目標話速量と、に基づいて話速変換量を決定し、収音音声信号を話速変換して出力する。つまり、目標話速量（平均値）に比べ、自装置で検出した話速がゆっくりであれば音声信号を圧縮してから送信し、自装置で検出した話速が速ければ音声信号を伸長してから送信する。
【００１６】
また、この発明の音声通信システムは、前記話速検出部は、前記マイクが出力した音声信号から子音音声区間、および母音音声区間を切り出し、前記子音音声区間と前記母音音声区間との時間長の比に基づいて、発話者の話速を検出することを特徴とする。
【発明の効果】
【００１７】
この発明によれば、収音した音声信号から話速を検出し、サーバ装置から目標話速を受信することで、音声認識等の高度な処理をする必要なく、話者の個性（話速）に依存することなく、適正な話速に話速変換することができる。
【発明を実施するための最良の形態】
【００１８】
以下の実施形態では、具体的な音声通信システムの例として、音声会議システムについて、図面を参照して説明する。図１は、本実施形態の音声会議システムの構成図である。
本実施形態の音声会議システムは、ネットワーク１００に接続された音声会議装置１１１Ａ〜１１１Ｃと、ネットワークサーバ１０１とを備えている。
【００１９】
音声会議装置１１１Ａ〜１１１Ｃは、それぞれ離れた地点ａ〜ｃにそれぞれ配置されている。地点ａには音声会議装置１１１Ａが配置され、地点ｂには音声会議装置１１１Ｂが配置され、地点ｃには音声会議装置１１１Ｃが配置されている。
【００２０】
図２は、音声会議装置１１１Ａの構成を示すブロック図である。なお、音声会議装置１Ｂ、および音声会議装置１Ｃは、音声会議装置１１１Ａと同じ構成、機能を有するため、同図では音声会議装置１１１Ａを代表として説明する。音声会議装置１１１Ａは、マイク１１、収音アンプ（ＡＭＰ）１２、Ａ／Ｄコンバータ１３、音声分析部１４、話速変換部１５、通信Ｉ／Ｆ１６、Ｄ／Ａコンバータ１７、放音アンプ（ＡＭＰ）１８、およびスピーカ１９を備えている。
【００２１】
マイク１１は、自装置の周囲に存在する話者からの発声音を含む周囲の音を収音して、収音信号を収音アンプ１２に与える。収音アンプ１２は収音信号を増幅してＡ／Ｄコンバータ１３に与える。Ａ／Ｄコンバータ１３は、アナログ形式の収音信号をディジタル変換して、音声分析部１４、および話速変換部１５に出力する。
【００２２】
話速変換部１５は、Ａ／Ｄコンバータ１３から入力された収音信号について、必要に応じて話速変換処理を行う。話速変換処理の要否、話速変換量は、音声分析部１４の話速変換レート算出部１４４により指示される。話速変換部１５は、話速変換後の音声信号を通信Ｉ／Ｆ１６に出力する。
【００２３】
通信Ｉ／Ｆ１６は、話速変換部１５からの音声信号をネットワーク通信形式に変換し、ネットワーク１００を介して他の装置に送信する。また、通信Ｉ／Ｆ１６は、ネットワーク１００を介して他の装置から音声データを受信する。通信Ｉ／Ｆ１６は、受信した音声データを、ネットワーク形式のデータから一般的な音声信号に変換して、Ｄ／Ａコンバータ１７に出力する。Ｄ／Ａコンバータ１７は、入力された音声信号をアナログ変換して、放音アンプ１８に与え、放音アンプ１８はアナログ化された音声信号を増幅して、スピーカ１９に与える。スピーカ１９は、入力された音声信号を放音する。
【００２４】
また、通信Ｉ／Ｆ１６は、音声分析部１４の時間比較部１４３から話者の話速情報（詳細は後述する）を取得し、これをネットワークサーバ１０１に送信する。また、通信Ｉ／Ｆ１６は、ネットワークサーバ１０１から各装置の話者の話速情報平均値を受信し、これを時間比較部１４３に与える。
【００２５】
音声分析部１４は、音声区間切り出し部１４１、子音・母音区間検出部１４２、時間比較部１４３、および話速変換レート算出部１４４からなり、Ａ／Ｄコンバータ１３から入力された音声信号の話速を検出する。
【００２６】
音声区間切り出し部１４１は、Ａ／Ｄコンバータ１３から入力された音声信号から音声区間を切り出す。音声区間、雑音区間の区別は、例えば音声信号のレベル、音声信号の周期性から判断すればよい。所定レベル以上の音声信号を所定長に分割し、対応するサンプルデータを乗算または減算するなどして相関値を算出する。この相関値が所定閾値よりも低い場合に雑音区間、高い場合に音声区間と判断する。音声等の周期性の多い音声信号の場合相関値は高くなり、雑音等の周期性の少ない音声信号の場合相関値は低くなる。
【００２７】
子音・母音区間検出部１４２は、音声区間切り出し部１４１が切り出した音声区間のうち、さらに子音区間と母音区間を検出する。すなわち、音声区間切り出し部１４１が切り出した音声区間をさらに所定長に分割し、対応するサンプルデータを乗算または減算するなどして相関値（子音・母音区間判定用相関値）を算出する。この相関値が所定閾値（子音・母音区間判定用閾値）よりも低い場合に子音区間、高い場合に母音区間と判断する。また、音声区間切り出し部１４１が切り出した音声区間のスペクトルから子音・母音区間を判断してもよい。スペクトルが標準的な母音のスペクトルとの一致度が高い場合に母音区間と判断すればよい。
【００２８】
時間比較部１４３は、子音・母音区間検出部１４２が検出した子音区間、母音区間の時間長の比を算出する。時間比較部１４３は、この子音区間、母音区間の時間長の比を話速情報として通信Ｉ／Ｆ１６、および話速変換レート算出部１４４に出力する。図３は、子音区間、母音区間の時間長と話速の関係を示す図である。同図（Ａ）の場合、子音区間の時間長が１０ｍｓ、母音区間の時間長が１５０ｍｓであるため、子音区間：母音区間＝１：１５となる。同図（Ｂ）においては、子音区間の時間長が１０ｍｓ、母音区間の時間長が１００ｍｓであるため、子音区間：母音区間＝１：１０となる。同図（Ｃ）においては、子音区間の時間長が１０ｍｓ、母音区間の時間長が５０ｍｓであるため、子音区間：母音区間＝１：５となる。時間比較部１４３は、この子音区間：母音区間の情報を話速情報として出力する。同図（Ａ）のように子音区間の時間長に対する母音区間の時間長が長い場合、話速が遅い（ゆっくり）とし、同図（Ｃ）のように子音区間の時間長に対する母音区間の時間長が長い場合、話速が速い（早口）とする。
【００２９】
通信Ｉ／Ｆ１６に出力された話速情報は、ネットワーク１００を介してネットワークサーバ１０１に送信される。ネットワークサーバ１０１は、各装置から送信された話速情報を集計し、ネットワーク内の話速情報平均値を算出し、これを各装置に返信する。
【００３０】
図４は本実施形態のネットワークサーバ１０１の主要構成を示すブロック図である。図４に示すように、ネットワークサーバ１０１は、ネットワーク制御部１０２と会議情報記憶部１０３とを備えている。
【００３１】
ネットワーク制御部１０２はネットワーク１００全体の制御を行う。また、各装置から送信された上記話速情報を話速情報履歴として会議情報記憶部１０３に記録する。会議情報記憶部１０３は、現在会議に参加している会議者数を記憶し、話速情報の平均値を話速情報平均値ＤＢに記録する。また、音声会議装置間で送受信された音声を、議事録として音声ＤＢに記憶する。ネットワーク制御部１０２は、会議情報記憶部１０３に記憶された話速情報の平均値を各音声会議装置に送信する。なお、話速情報平均値は、移動平均により算出される。
【００３２】
各音声通信装置の時間比較部１４３は、ネットワークサーバ１０１から与えられた話速情報平均値を受信し、これを話速変換レート算出部１４４に与える。
話速変換レート算出部１４４は、上記話速情報平均値、および自装置の話速情報を時間比較部１４３から受信し、これらの値に基づいて話速変換レートを算出する。例えば、話速情報平均値として、図３（Ｂ）に示すように子音区間：母音区間＝１：１０を示す情報を受信し、自装置の話速情報として図３（Ａ）に示すように子音区間：母音区間＝１：１５を示す情報を受信した場合、自装置の話者の話速が平均よりもゆっくりであると判断し、話速変換部１５に音声信号を圧縮するように設定する。一方で、自装置の話速情報として図３（Ｃ）に示すように子音区間：母音区間＝１：５を示す情報を受信した場合、自装置の話者の話速が平均よりも早口であると判断し、話速変換部１５に音声信号を伸長するように設定する。
【００３３】
話速変換部１５は、上記のように話速変換レート算出部１４４から設定された話速変換量（圧縮率、伸長率）に基づいて、話速変換処理を行う。話速変換処理は、単に音声信号を高速、低速で出力するのではなく、以下のようにして行う。すなわち、音声信号を伸長する場合、音声信号を１周期の波形に切りわけ、各周期波形の前後１区間を合成した新たな周期波形を生成し、各周期波形の間に新たに合成した周期波形を挿入することで信号の周期波形数を増やして、音程を保ちつつ信号を時間伸長する。音声信号を圧縮する場合は、上記新たな周期波形を各周期波形に代えて信号の周期波形数を減らして出力する。
【００３４】
図５（Ａ）は伸長処理の手順を示すフローチャートである。また、同図（Ｂ）は伸長方法を説明する図である。同図（Ａ）において、まず入力音声信号の先頭部分の１周期のサンプル数（サンプリング周波数×１／信号周波数）を検出する（Ｓ９１）。この１周期分のサンプルデータである周期波形を２つ取り出して、同図（Ｂ）に示すように、１つめの周期波形Ａに対して減衰利得係数を乗算することによって減衰波を作成し、２つめの周期波形Ｂに対して増加利得係数を乗算することによって増加波を作成する（Ｓ９２）。そして、これらを加算合成することによってＡとＢの中間の形状の周期波形を合成する（Ｓ９３）。この合成波形を図６（Ａ）に示すように周期波形Ａと周期波形Ｂとの間に挿入して出力する（Ｓ９４）することによって音響的に自然な時間軸伸長を行う。
【００３５】
なお、音声データを圧縮する場合には、図６（Ｂ）に示すように、上記Ｓ９３で合成したＡとＢの中間の形状の合成波形を周期波形Ａ，Ｂに代えて出力することにより、音声データを時間軸方向に１／２倍に圧縮することができる。
【００３６】
この話速変換処理を行う周期を規定することで、変換速度を可変とすることができる。例えば、図６（Ｃ）に示すように、周期毎に周期波形を２つ合成し、各周期波形の間に挿入することで、音声データを時間軸方向に２倍に伸長することができ、同図（Ｄ）に示すように、２周期毎に周期波形を２つ合成することで、３／２倍に伸長することができる。
【００３７】
以上のようにして話速変換部１５で話速変換された音声信号は、通信Ｉ／Ｆ１６に入力され、ネットワーク１００を介して他の装置に出力される。これにより、各音声会議装置においては、収音側で平均的な話速に変換された音声信号を受信することとなり、全ての会議者の発話音声を平均的な話速で聴くことができる。
【００３８】
なお、上記例においては、収音側で話速変換後の音声信号を送信し、放音側においてはこの音声信号をそのまま放音する例について説明したが、以下のような応用例も考えられる。
【００３９】
図７は、応用例に係る音声会議装置の構成を示すブロック図である。この音声会議装置において、図２に示した音声会議装置と共通する構成部については同様の符号を付し、その説明を省略する。この音声会議装置は、通信Ｉ／Ｆ１６の出力側に接続される話速変換部５０を備えている。ネットワーク１００、および通信Ｉ／Ｆ１６を介して他の装置から入力された音声信号は、話速変換部５０に入力され、話速変換後にＤ／Ａコンバータ１７に入力される。話速変換部５０の話速変換の要否、話速変換量は、話速変換レート算出部１４４により設定される。
【００４０】
この例において、話速変換レート算出部１４４は、自装置の話速情報、およびネットワークサーバ１０１から受信した話速情報平均値に基づいて話速変換部５０の話速変換レートを算出する。すなわち、話速変換レート算出部１４４は、他装置から受信した音声信号の話速が、自装置の発話者の話速に近く（略同一と）なるように話速変換部５０の話速変換レートを算出する。例えば、話速情報平均値として、図３（Ｂ）に示すように子音区間：母音区間＝１：１０を示す情報を受信し、自装置の話速情報として図３（Ａ）に示すように子音区間：母音区間＝１：１５を示す情報を受信した場合、話速変換部５０に他装置からの音声信号を伸長するように設定する。一方で、自装置の話速情報として図３（Ｃ）に示すように子音区間：母音区間＝１：５を示す情報を受信した場合、話速変換部５０に音声信号を圧縮するように設定する。
【００４１】
つまり、早口で発話する者が存在する音声会議装置においては、速い話速で他装置からの音声が放音され、ゆっくりと発話する者が存在する音声会議装置においては、遅い話速で他装置からの音声が放音される。これにより、各音声会議参加者は、自分の話速に近い（略同一）話速で他の発話音声を聴くことができるので、ストレス無く音声会議を行うことができる。
【００４２】
なお、本実施形態においては、ネットワークサーバ１０１が各音声会議装置から話速情報を受信し、平均話速情報を決定する例について説明したが、例えば２つの音声会議装置を用いて１対１の通信会議を行う場合、いずれかの音声会議装置がサーバ装置として機能すればよい。例えば、いずれかの音声会議装置の時間比較部１４３が互いの音声会議装置における話速情報を送受信し、平均話速情報を算出する。話速変換レート算出部１４４は、自装置の話速情報と、他装置（または自装置の時間比較部１４３）から受信した平均話速と、に基づいて話速変換量を決定する構成とすればよい。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態の音声通信システムの構成を示すブロック図
【図２】音声通信装置の主要部の構成を示すブロック図
【図３】子音区間、母音区間の時間長と話速の関係を示す図
【図４】ネットワークサーバの構成を示すブロック図
【図５】話速変換処理を示す図
【図６】伸長率を変更する場合の話速変換処理を示す図
【図７】応用例に係る音声通信装置の主要部の構成を示すブロック図
【符号の説明】
【００４４】
１００−ネットワーク
１１１−音声会議装置
１０１−ネットワークサーバ
【図１】
2008032933.tif 000003
【図２】
2008032933.tif 000004
【図３】
2008032933.tif 000005
【図４】
2008032933.tif 000006
【図５】
2008032933.tif 000007
【図６】
2008032933.tif 000008
【図７】
2008032933.tif 000009