(57)【要約】【課題】音声の瞬断を補間した場合の聴感上の違和感を軽減することのできる音声信号処理装置、その方法及びプログラムを提供する。【解決手段】音声信号処理装置は、受信した音声データの周波数成分を解析する解析部４１と、解析部４１の解析結果から、受信した音声データを特徴付ける周波数成分を抽出する抽出部４２ａと、抽出された周波数成分に基づいて、補間音声データを生成する補間音声生成部４２と、受信部１１の通信断を検出する通信断検出部１３とを備える。補間音声生成部４２は、通信断検出部１３が通信断を検出した場合に、その通信断直前に受信した音声信号に基づいて生成された補間音声信号を出力する。【選択図】図１
2015055666.tif 000002
【特許請求の範囲】
【請求項１】
受信部が通信により受信した音声信号に対し所定の処理を施す音声信号処理装置であって、
前記受信した音声信号の周波数成分を解析する解析部と、
前記解析部の解析結果から、前記受信した音声信号を特徴付ける周波数成分を抽出する抽出部と、
前記抽出部により抽出された周波数成分に基づいて、補間音声信号を生成する補間音声生成部と、
前記受信部の通信断を検出する通信断検出部と、を備え、
前記補間音声生成部は、前記通信断検出部が通信断を検出した場合に、前記通信断直前に受信した音声信号に基づいて生成された補間音声信号を出力すること特徴とする音声信号処理装置。
【請求項２】
前記抽出部は、前記補間音声生成部に設けられたことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記解析部は、前記解析結果を記憶する記憶部を備え、
前記抽出部は、前記解析部に設けられ、
前記記憶部には、前記抽出部により抽出された周波数成分を記憶することを特徴とする請求項１に記載の音声信号処理装置。
【請求項４】
前記解析部は、高速フーリエ変換により解析することを特徴とする請求項１〜３の何れかに記載の音声信号処理装置。
【請求項５】
通信により受信した音声信号に対し所定の処理を施す音声信号処理方法であって、
前記受信した音声信号の周波数成分を解析する解析ステップと、
前記解析ステップの解析結果から、前記受信した音声信号を特徴付ける周波数成分を抽出する抽出ステップと、
前記抽出ステップにより抽出された周波数成分に基づいて、補間音声信号を生成する補間音声生成ステップと、を備え、
前記補間音声生成ステップは、通信断を検出した場合に、前記通信断直前に受信した音声信号に基づいて生成された補間音声信号を出力することを特徴とする音声信号処理方法。
【請求項６】
受信部が通信により受信した音声信号に対し所定の処理を施す音声信号処理装置に用いられる音声信号処理プログラムであって、
コンピュータに、
前記受信した音声信号の周波数成分を解析する解析機能と、
前記解析機能の解析結果から、前記受信した音声信号を特徴付ける周波数成分を抽出する抽出機能と、
前記抽出機能により抽出された周波数成分に基づいて、補間音声信号を生成する補間音声生成機能と、を実現させ、
前記補間音声生成機能は、通信断を検出した場合に、前記通信断直前に受信した音声信号に基づいて生成された補間音声信号を出力する機能を有することを特徴とする音声信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声の瞬断を補間する音声信号処理装置、その方法及びプログラムに関する。
【背景技術】
【０００２】
複数の無線装置を用いて、無線通信により音声データを伝送し音声を再生するシステムにおいて、無線通信が正常である場合、音声データは正常に伝送されて音声が再生される。しかし、装置間に遮蔽物が横切る等、電波状況が著しく変化した場合、音声データの伝送が一瞬途切れる瞬断という現象が発生する場合がある。
【０００３】
このような通信の瞬断（以下、単に通信断ともいう。）が発生した場合、その間は音声データが送れなくなるため、無音部が発生する。無音部とは、再生音声が無音になる部分若しくは音声データが断絶した部分を言う。このような通信断が発生した場合、聴者は聴感上の異常を感知する。
【０００４】
従来では、上記の異常に対処する方法として、次のような方法が採られていた。すなわち、通信断が発生した場合、無音部を白色雑音（ホワイトノイズ）や残響音に入れ替えることにより、無音部を補間して再生していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−  ２７８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、無音部を白色雑音で補間する場合、ノイズとして音声が出力されるため聴者に違和感を与えてしまう。また、無音部を残響音で補間する場合も同様に聴者に違和感を与えてしまう。特に、正弦波で補間した場合の違和感は顕著であった。
【０００７】
本発明は、上記のような課題を解決するためになされたものであり、音声の瞬断を補間した場合の聴感上の違和感を軽減することのできる音声信号処理装置、その方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の音声信号処理装置は、受信部が通信により受信した音声信号に対し所定の処理を施す音声信号処理装置であって、次の構成を備えることを特徴とする。
（１）前記受信した音声信号の周波数成分を解析する解析部。
（２）前記解析部の解析結果から、前記受信した音声信号を特徴付ける周波数成分を抽出する抽出部。
（３）前記抽出部により抽出された周波数成分に基づいて、補間音声信号を生成する補間音声生成部。
（４）前記受信部の通信断を検出する通信断検出部。
（５）前記補間音声生成部は、前記通信断検出部が通信断を検出した場合に、前記通信断直前に受信した音声信号に基づいて生成された補間音声信号を出力すること。
【０００９】
また、本発明は、上記各部の機能をコンピュータにより実現するための方法及びプログラムとして捉えることもできる。
【発明の効果】
【００１０】
本発明によれば、音声の瞬断があっても、聴者にとって違和感がない音声信号を出力できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る音声信号処理装置の全体構成を示す図である。
【図２】第１の実施形態に係る補間音声生成部を説明するための図である。
【図３】第１の実施形態に係る音声信号処理装置の動作例を示すフローチャートである。
【図４】第１の実施形態に係る音声信号処理装置の動作例を示すフローチャートである。
【図５】第２の実施形態に係る音声信号処理装置の全体構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態の音声信号処理装置について説明する。
【００１３】
［１．第１の実施形態］
［１−１．構成］
図１は、本実施形態に係る音声信号処理装置の全体構成を示す図である。本音声信号処理装置は、受信部１１と、音声出力部１２と、通信断検出部１３と、補間部１４と、スイッチ１５とを備える。本音声信号処理装置は、受信部１１が正常に通信している間は受信した音声データを音声出力部１２に送信する。一方、通信断検出部１３により通信断を検出した場合には、スイッチ１５により音声出力部１２への送信経路を切り替える。すなわち、補間部１４で生成した補間音声データを音声出力部１２に送信し、無音部を補間する。以下、各部構成について詳細に説明する。
【００１４】
（受信部１１、通信断検出部１３）
受信部１１は、無線通信により音声信号処理装置外部から入力されるデジタル音声データを受信する。例えば、ワイヤレスマイクから送信された音声データを受信する。受信部１１には、通信断検出部１３が設けられており、通信断検出部１３によって受信が正常に行われたか否か、すなわち通信断が検出されたか否かが判定される。通信断検出部１３による受信が正常に行われたか否かの判定は、例えば、誤り訂正が上手くいったか否かで判定する。通信断検出部１３は、スイッチ１５と接続されており、通信断の有無に応じたスイッチ１５の切り替えを行う制御信号を出力する。
【００１５】
受信部１１は、補間部１４と、スイッチ１５を介して音声出力部１２とに接続されており、正常に受信された場合には、その受信した音声データを音声出力部１２及び補間部１４に出力する。一方、受信部１１は、正常に受信されなかった場合には、受信した音声データを破棄する。すなわち、音声出力部１２及び補間部１４には出力しない。
【００１６】
（音声出力部１２）
音声出力部１２は、入力された音声データをＤ／Ａ変換し、アナログ信号として出力する。音声出力部１２には、受信部１１からの音声データ、若しくは補間部１４からの音声データが入力される。
【００１７】
（スイッチ１５）
スイッチ１５は、通信断検出部１３の制御信号を受けて回路の切り替えを行う。スイッチ１５は、通信断検出部１３から受信が正常である制御信号を受けると、受信部１１と音声出力部１２とを直接接続する回路に切り替える。一方、スイッチ１５は、通信断検出部１３から通信断有りの制御信号を受けると、受信部１１が補間部１４を介して音声出力部１２と接続する回路に切り替える。
【００１８】
（補間部１４）
補間部１４は、受信部１１からの音声データの周波数特性を解析し、解析した周波数特性に基づいて補間音声データを生成し、音声出力部１２に出力する。具体的には、補間部１４は、解析部４１と、補間音声生成部４２とを備える。
【００１９】
解析部４１は、受信部１１から入力された音声データの周波数成分を解析する。受信部１１での受信が正常である場合、常時解析を行う。受信部１１での受信が正常でない場合は受信部１１からの音声データの入力がなく、解析は行われない。解析結果は、例えば図２（ａ）に示すような周波数毎の音声レベル分布である。解析部４１は、記憶部４１ａを備える。記憶部４１ａは、入力された音声データに対する解析結果を入力された順に順次記憶する。記憶部４１ａは、記憶した解析結果の次の解析結果が入力されない限り、既存の解析結果を保持する。
【００２０】
解析部４１の解析方法は、音声データの周波数成分の解析を行う方法であれば特に限定されないが、ここでは高速フーリエ変換（ＦＦＴ）を用いる。
【００２１】
補間音声生成部４２は、解析部４１の記憶部４１ａから解析結果を取得する。解析部４１の解析結果から受信した音声データを特徴付ける周波数成分を抽出し、抽出した周波数成分に基づいて補間用の音声データを生成する。
【００２２】
すなわち、図１及び図２（ｂ）に示すように、補間音声生成部４２は、抽出部４２ａと、合成回路４２ｂを備えている。抽出部４２ａは、解析部４１の解析結果から受信した音声データを特徴付ける周波数成分を抽出する。受信した音声データを特徴付ける周波数成分とは、例えば、音声レベル分布のピーク部分の周波数成分である。抽出部４２ａは、ピークを有する周波数成分を全て抽出しても良いし、その一部、例えば一つの周波数成分のみを抽出しても良い。要求される近似度合いに応じて適宜変更可能であり、ピークとなる周波数を含む所定周波数幅から抽出しても良い。合成回路４２ｂは、抽出された周波数成分を合成することで補間音声データを生成し、出力する。すなわち、合成回路４２ｂには、複数の増幅器が設けられており、各増幅器が音声レベルの強度に応じて、抽出された周波数成分の強度をそれぞれ決定する。合成回路４２ｂは、各増幅器により決定された各周波数成分を加算して補間音声データを生成し、出力する。
【００２３】
補間音声生成部４２は、この補間音声データを音声出力部１２に出力する。この出力は、通信断が検出されなくなるまで、すなわち通信が正常になるまで同じ補間音声データが出力される。所定時間（例えば、３０ｍｓ）通信断が発生したままの場合は、電波が存在しなくなったと判定し（例えばワイヤレスマイクの電源が切られた場合）、補間音声データの出力を停止することができる。なお、補間音声生成部４２による補間音声データの生成は、通信断検出前に常に行うようにし、通信断が検出された場合にすぐに補間音声データを出力するようにしても良いし、通信断が検出されてから補間音声データを生成し出力するようにしても良い。
【００２４】
［１−２．動作］
次に、図３及び図４を参照しながら、本実施形態の音声信号処理装置の動作を説明する。例として、２つの音声データを連続して受信する場合であって、第１の音声データの受信が正常である場合を示す。図３は、第１の音声データに対する動作を示すフローチャートである。図４は、第２の音声データに対する動作を示すフローチャートである。なお、図３及び図４のフローチャートの動作の順序は例示であり、本発明は必ずしもこれらの順序に限定されるものではない。
【００２５】
（第１の音声データ）
まず、図３に示すように、受信部１１が外部から第１の音声データを受信する（ステップＳ１１）。通信断検出部１３がこの受信が正常であると判定し（ステップＳ１２）、受信した音声データを音声出力部１２及び解析部４１に出力する（ステップＳ１３）。音声出力部１２は、受信部１１から受信した第１の音声データをＤ／Ａ変換し（ステップＳ１４）、得られたアナログ信号を出力する（ステップＳ１５）。
【００２６】
一方、ステップＳ１４及びＳ１５と並行して、解析部４１は、受信部１１から受信した第１の音声データの周波数成分を解析し（ステップＳ１６）、その解析結果を記憶部４１ａに記憶する（ステップＳ１７）。なお、ステップＳ１７より以前に記憶部４１ａに記憶されていた既存の解析結果は消去される。
【００２７】
補間音声生成部４２は記憶部４１ａからステップＳ１７で記憶した解析結果を取得し、ピークを有する周波数成分を抽出し（ステップＳ１８）、抽出した周波数成分を合成して補間音声データを生成する（ステップＳ１９）。なお、補間音声生成部４２は生成した補間音声データを出力できる状態にあるが、スイッチ１５により補間音声生成部４２は音声出力部１２と接続されていないので、補間音声データは音声出力部１２に到達しない。
【００２８】
（第２の音声データ）
ステップＳ１３〜Ｓ１９の終了後若しくはこれらと並行して、受信部１１は第２の音声データを受信する（ステップＳ２１）。通信断検出部１３がこの受信が正常か否かを判定する（ステップＳ２２）。正常である場合（ステップＳ２２のＹｅｓ）、受信した第２の音声データを音声出力部１２及び解析部４１に出力する（ステップＳ２３）。音声出力部１２は、受信した第２の音声データをＤ／Ａ変換し（ステップＳ２４）、得られたアナログ信号を出力する（ステップＳ２５）。
【００２９】
一方、ステップＳ２４及びＳ２５と並行して、解析部４１は、受信部１１から受信した第２の音声データの周波数特性を解析し（ステップＳ２６）、その解析結果を記憶部４１ａに記憶する（ステップＳ２７）。なお、ステップＳ２７より以前に記憶部４１ａに記憶されていた既存の解析結果は消去される。
【００３０】
補間音声生成部４２は記憶部４１ａからステップＳ２７で記憶した解析結果を取得し、ピークを有する周波数成分を抽出し（ステップＳ２８）、抽出した周波数成分を合成して補間音声データを生成する（ステップＳ２９）。なお、補間音声生成部４２は生成した補間音声データを出力できる状態にあるが、スイッチ１５により補間音声生成部４２は音声出力部１２と接続されていないので、補間音声データは音声出力部１２に到達しない。
【００３１】
また、通信断検出部１３が受信を正常でない、すなわち通信断を検出した場合（ステップＳ２２のＮｏ）、通信断検出部１３がスイッチ１５に制御信号を出力し、スイッチ１５が補間部１４側の回路に切り替える（ステップＳ３２）。
【００３２】
ここで、通信断が検出された場合、通信に失敗した第２の音声データは破棄されるため、解析部４１には第２の音声データは出力されない。従って、解析部４１では第２の音声データの解析は行われない。補間音声データの生成には、通信断直前の第１の音声データの解析結果が用いられている。すなわち、ステップＳ１９で生成された補間音声データが補間音声生成部４２からスイッチ１５を介して音声出力部１２に出力される（ステップＳ３３）。音声出力部１２は、補間音声データをＤ／Ａ変換し（ステップＳ３４）、得られたアナログ信号を出力する（ステップＳ３５）。
【００３３】
以上のような本実施形態では、通信が正常に行われている場合に正常に受信された音声データを予め解析し、補間音声データを生成しておく。通信断が検出された場合に、通信断検出直前に受信した音声データから生成された補間音声データを出力することで無音部を補間する。補間音声データは、通信断検出直前に受信した音声データの特徴ある周波数成分を抽出して生成されているので、当該直前に受信した音声データと一致はしないが近似する。そのため、補間音声データを再生することにより、聴感上の違和感を軽減することができる。
【００３４】
［１−３．効果］
（１）本実施形態の音声信号処理装置は、音声データの周波数成分を解析する解析部４１と、解析部４１の解析結果から、通信断直前の音声データを特徴付ける周波数成分を抽出する抽出部４２ａと、抽出された周波数成分に基づいて、補間音声データを生成する補間音声生成部４２と、を備えるようにした。これにより、通信断により発生する無音部を、通信断直前の音声データと近似する補間音声データで補間できるので、聴感上の違和感を軽減することができる。
【００３５】
（２）解析部４１は、高速フーリエ変換により解析するようにした。これにより、補間音声データを通信断直前の音声データに精度良く近似させることができるとともに、解析速度を高速化することができる。
【００３６】
［２．第２の実施形態］
［２−１．構成］
第２の実施形態について、図５を用いて説明する。第２の実施形態は、第１の実施形態と基本構成は同じである。よって、第１の実施形態と異なる点のみを説明し、第１の実施形態と同じ部分については同じ符号を付して詳細な説明は省略する。
【００３７】
図５は、第２の実施形態に係る音声信号処理装置のブロック図である。第１の実施形態と異なる点は、図５に示すように、抽出部４３ａが、補間音声生成部４４ではなく解析部４３に設けられている点である。
【００３８】
すなわち、解析部４３は、抽出部４３ａと記憶部４３ｂとを備える。抽出部４３ａは、解析部４３により得られた音声データの解析結果から、受信した音声データを特徴付ける周波数成分を抽出する。記憶部４３ｂには、その抽出された周波数成分のみが記憶される。
【００３９】
補間音声生成部４４は、合成回路４４ａを備え、記憶部４３ｂから取得した周波数成分を合成し、補間音声データを生成する。
【００４０】
［２−２．作用効果］
本実施形態では、第１の実施形態の作用効果に加えて、次の作用効果を奏する。すなわち、本実施形態では、解析部４３に抽出部４３ａを設け、記憶部４３ｂには、抽出部４３ａにより抽出された周波数成分を記憶するようにした。これにより、解析結果から予め補間音声データを生成するのに必要な周波数成分のみを抽出するので、他の周波数成分は間引かれ記憶部４３ｂに記憶されない。従って、解析部４３により得られた解析結果を全て記憶する場合と比べ、記憶する量を低減することができる。そのため、記憶部４３ｂの記憶容量が少なくて済み、特に解析部４３の演算量が多い場合に有効である。
【００４１】
［３．他の実施形態］
（１）第１及び第２の実施形態では、解析部４１、４３の解析方法にＦＦＴを用いたが、これに限定されない。例えば、フーリエ変換、ウェーブレット変換、ピッチ推定法等を用いることもできる。ピッチ推定法には、例えば、ゼロクロス法、自己相関法、ケプストラム法、ピークピッキング法、自己相関法等が含まれる。無音部の補間を精度良く直前の音声データに近似させる場合は、演算量の多い解析方法、例えばＦＦＴの他、ケプストラム法等を用いることができる。無音部がより短時間であり近似の精度よりも解析速度を要求される場合は、演算量の少ない解析方法を用いることができる。
【００４２】
（２）第１及び第２の実施形態では、通信断が検出された後通信が正常であると判定されるまでの間、同じ補間音声データが出力され続けるが、徐々に音量が減衰するように補間音声データを生成し出力するように構成しても良い。
【００４３】
（３）第１及び第２の実施形態では、通信断が検出された後通信が正常であると判定されるまでの間、同じ補間音声データが出力され続けるが、複数の抽出した周波数成分の中から任意に選択して合成し、補間音声データを生成するようにしても良い。
【符号の説明】
【００４４】
１１    受信部
１２    音声出力部
１３    通信断検出部
１４    補間部
１５    スイッチ
４１    解析部
４１ａ  記憶部
４２    補間音声生成部
４２ａ  抽出部
４２ｂ  合成回路
４３    解析部
４３ａ  抽出部
４３ｂ  記憶部
４４    補間音声生成部
４４ａ  合成回路
【図１】
2015055666.tif 000003
【図３】
2015055666.tif 000004
【図４】
2015055666.tif 000005
【図５】
2015055666.tif 000006
【図２】
2015055666.tif 000007