(57)【要約】【課題】  途切れた音声を補間して聴取者に音声を聞き取りやすくするのに好適な音声補間装置等を提供する。【解決手段】  音声補間装置１０１において、入力受付部１０２は、音声情報の入力を受け付け、検出部１０３は、入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出し、切替部１０４と出力部１０５は、検出された区間では所定の補充音声情報を出力し、検出された区間以外では入力を受け付けられた音声情報を出力する。【選択図】  図１
2007033993.tif 000002
【特許請求の範囲】
【請求項１】
音声情報の入力を受け付ける入力受付部、
前記入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出する検出部、
前記検出された区間以外では、前記入力を受け付けられた音声情報を出力し、前記検出された区間では、所定の補充音声情報を出力する出力部
を備えることを特徴とする音声補間装置。
【請求項２】
請求項１に記載の音声補間装置であって、
前記出力部は、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成する
ことを特徴とする装置。
【請求項３】
請求項２に記載の音声補間装置であって、
前記入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、
当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下である
ことを特徴とする装置。
【請求項４】
請求項１から３のいずれか１項に記載の音声補間装置であって、
当該所定の閾時間は、１００ｍｓ以上２００ｍｓ以下のいずれかの時間である
ことを特徴とする装置。
【請求項５】
請求項１から４のいずれか１項に記載の音声補間装置であって、
前記出力部は、当該所定の補充音声情報の音量を、当該検出された区間の直前所定時間の音量と当該検出された区間の直後所定時間の音量との平均とする
ことを特徴とする装置。
【請求項６】
請求項１から４のいずれか１項に記載の音声補間装置であって、
前記出力部は、当該所定の補充音声情報の音量を、当該検出された区間の直前の音量から当該検出された区間の直後の音量へ滑らかに変化させる
ことを特徴とする装置。
【請求項７】
請求項１から４のいずれか１項に記載の音声補間装置であって、
前記出力部は、当該所定の補充音声情報の音量を、前記入力を受け付けられた音声情報の直前所定時間の平均音量とする
ことを特徴とする装置。
【請求項８】
音声情報の入力を受け付ける入力受付工程、
前記入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出する検出工程、
前記検出された区間以外では、前記入力を受け付けられた音声情報を出力し、前記検出された区間では、所定の補充音声情報を出力する出力工程
を備えることを特徴とする音声補間方法。
【請求項９】
請求項８に記載の音声補間方法であって、
前記出力工程では、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成する
ことを特徴とする方法。
【請求項１０】
請求項９に記載の音声補間方法であって、
前記入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、
当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下である
ことを特徴とする方法。
【請求項１１】
請求項８から１０のいずれか１項に記載の音声補間方法であって、
当該所定の閾時間は、１００ｍｓ以上２００ｍｓ以下のいずれかの時間である
ことを特徴とする方法。
【請求項１２】
請求項８から１１のいずれか１項に記載の音声補間方法であって、
前記出力工程では、当該所定の補充音声情報の音量を、当該検出された区間の直前所定時間の音量と当該検出された区間の直後所定時間の音量との平均とする
ことを特徴とする方法。
【請求項１３】
請求項８から１１のいずれか１項に記載の音声補間方法であって、
前記出力工程では、当該所定の補充音声情報の音量を、当該検出された区間の直前の音量から当該検出された区間の直後の音量へ滑らかに変化させる
ことを特徴とする方法。
【請求項１４】
請求項８から１１のいずれか１項に記載の音声補間方法であって、
前記出力工程では、当該所定の補充音声情報の音量を、前記入力を受け付けられた音声情報の直前所定時間の平均音量とする
ことを特徴とする方法。
【請求項１５】
複数のブロックの列からなる音声情報であって、当該ブロックごとに誤り訂正符号が付加された音声情報の入力を受け付ける入力受付部、
前記入力を受け付けられた音声情報のうち、当該ブロックの列において、誤り訂正に成功し音量が０より大きいブロックの直後に誤り訂正に失敗したブロックが所定の閾時間以下の時間連続している区間にあるか否かを検出する検出部、
前記検出部により、当該区間に入ったことが検出されてから、当該区間を出たことが検出されるまで、所定の補充音声情報を出力し、そうでない間、前記入力を受け付けられた音声情報を出力する出力部
を備えることを特徴とする音声補間装置。
【請求項１６】
請求項１５に記載の音声補間装置であって、
前記出力部は、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成する
ことを特徴とする装置。
【請求項１７】
請求項１６に記載の音声補間装置であって、
前記入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、
当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下である
ことを特徴とする装置。
【請求項１８】
複数のブロックの列からなる音声情報であって、当該ブロックごとに誤り訂正符号が付加された音声情報の入力を受け付ける入力受付工程、
前記入力を受け付けられた音声情報のうち、当該ブロックの列において、誤り訂正に成功し音量が０より大きいブロックの直後に誤り訂正に失敗したブロックが所定の閾時間以下の時間連続している区間にあるか否かを検出する検出工程、
前記検出工程により、当該区間に入ったことが検出されてから当該区間を出たことが検出されるまで、所定の補充音声情報を出力し、そうでない間、前記入力を受け付けられた音声情報を出力する出力工程
を備えることを特徴とする音声補間方法。
【請求項１９】
請求項１８に記載の音声補間方法であって、
前記出力工程では、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成する
ことを特徴とする方法。
【請求項２０】
請求項１９に記載の音声補間方法であって、
前記入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、
当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下である
ことを特徴とする方法。
【請求項２１】
コンピュータもしくはディジタル信号プロセッサを、
請求項１から７のいずれか１項に記載の音声補間装置の各部として機能させる
ことを特徴とするプログラム。
【請求項２２】
コンピュータもしくはディジタル信号プロセッサを、
請求項１５から１７のいずれか１項に記載の音声補間装置の各部として機能させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、途切れた音声を補間して聴取者に音声を聞き取りやすくするのに好適な音声補間装置、音声補間方法、ならびに、コンピュータもしくはディジタル信号プロセッサ上にて実現するプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話やＩＰ電話など、ディジタル音声処理を技術の基礎とする音声通話技術が広く利用されるようになっている。このような携帯電話やＩＰ電話などの分野では、回線の状態が悪いために再生すべき音声情報を適切なタイミングで取得できなかった場合には、再生音を無音とするように設計されていることが多い。このため、電波の状況やネットワークの状況によっては、無音状態と有音状態が頻繁に交替することとなり、聴取者にとって聞き取りにくくなる、という問題が生じている。
【０００３】
一方で、人間の聴覚に関する生物学的な調査として、以下の論文がある。
【非特許文献１】R.M.Warren，"Perceptual Resotoration of Missing Speech Sounds", Science，167，pp.392-393,１９７０年
【０００４】
[非特許文献１]では、英文の短文を読み上げた音声をテープに録音し、ある１音だけを消去したものと、消去した部分にあとから人間の咳の音を混合して録音したものと、を、多数の被験者に聴かせる実験を行った結果が報告されている。
【０００５】
この実験により、ある１音を消去したテープを聞いた場合は、音が消去され、その部分が空白（無音）である旨が被験者に認識される。一方、消去した部分に咳の音を混合したテープを聞いた場合は、咳の音とともに消去されたはずの１音まで被験者が認識するという「幻聴」が生じることがわかっている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、途切れた音声をできるだけ簡易に補間して、聴取者に聞き取りやすくするための音声情報の処理技術が強く求められている。発明者は、上記の生物学的な実験をさらに発展させて応用する手法を発明した。
【０００７】
本発明は、上記の課題を解決するためのもので、途切れた音声を補間して聴取者に音声を聞き取りやすくするのに好適な音声補間装置、音声補間方法、ならびに、これらをコンピュータもしくはディジタル信号プロセッサ上にて実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点に係る音声補間装置は、入力受付部、検出部、出力部を備え、以下のように構成する。
【０００９】
まず、入力受付部は、音声情報の入力を受け付ける。
【００１０】
一方、検出部は、入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出する。
【００１１】
さらに、出力部は、検出された区間以外では、入力を受け付けられた音声情報を出力し、検出された区間では、の補充音声情報を出力する。
【００１２】
また、本発明の音声補間装置において、出力部は、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成するように構成することができる。
【００１３】
また、本発明の音声補間装置において、入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下であるように構成することができる。
【００１４】
また、本発明の音声補間装置において、当該所定の閾時間は、１００ｍｓ以上２００ｍｓ以下のいずれかの時間であるように構成することができる。
【００１５】
また、本発明の音声補間装置において、出力部は、当該所定の補充音声情報の音量を、当該検出された区間の直前所定時間の音量と当該検出された区間の直後所定時間の音量との平均とするように構成することができる。
【００１６】
また、本発明の音声補間装置において、出力部は、当該所定の補充音声情報の音量を、当該検出された区間の直前の音量から当該検出された区間の直後の音量へ滑らかに変化させるように構成することができる。
【００１７】
また、本発明の音声補間装置において、出力部は、当該所定の補充音声情報の音量を、入力を受け付けられた音声情報の直前所定時間の平均音量とするように構成することができる。
【００１８】
本発明のその他の観点に係る音声補間方法は、入力受付工程、検出工程、出力工程を備え、以下のように構成する。
【００１９】
すなわち、入力受付工程では、音声情報の入力を受け付ける。
【００２０】
一方、検出工程では、入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出する。
【００２１】
さらに、
【００２２】
出力工程では、検出された区間以外では、入力を受け付けられた音声情報を出力し、検出された区間では、所定の補充音声情報を出力する。
【００２３】
また、本発明の音声補間方法において、出力工程では、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成するように構成することができる。
【００２４】
また、本発明の音声補間方法において、入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下であるように構成することができる。
【００２５】
また、本発明の音声補間方法において、当該所定の閾時間は、１００ｍｓ以上２００ｍｓ以下のいずれかの時間であるように構成することができる。
【００２６】
また、本発明の音声補間方法において、出力工程では、当該所定の補充音声情報の音量を、当該検出された区間の直前所定時間の音量と当該検出された区間の直後所定時間の音量との平均とするように構成することができる。
【００２７】
また、本発明の音声補間方法において、出力工程では、当該所定の補充音声情報の音量を、当該検出された区間の直前の音量から当該検出された区間の直後の音量へ滑らかに変化させるように構成することができる。
【００２８】
また、本発明の音声補間方法において、出力工程では、当該所定の補充音声情報の音量を、入力を受け付けられた音声情報の直前所定時間の平均音量とするように構成することができる。
【００２９】
本発明のその他の観点に係る音声補間装置は、入力受付部、検出部、出力部を備え、以下のように構成する。
【００３０】
まず、入力受付部は、複数のブロックの列からなる音声情報であって、当該ブロックごとに誤り訂正符号が付加された音声情報の入力を受け付ける。
【００３１】
さらに、検出部は、入力を受け付けられた音声情報のうち、当該ブロックの列において、誤り訂正に成功し音量が０より大きいブロックの直後に誤り訂正に失敗したブロックが所定の閾時間以下の時間連続している区間にあるか否かを検出する。
【００３２】
そして、出力部は、検出部により、当該区間に入ったことが検出されてから、当該区間を出たことが検出されるまで、所定の補充音声情報を出力し、そうでない間、入力を受け付けられた音声情報を出力する。
【００３３】
また、本発明の音声補間装置において、出力部は、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成するように構成することができる。
【００３４】
また、本発明の音声補間装置において、入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下であるように構成することができる。
【００３５】
本発明のその他の観点に係る音声補間方法は、入力受付工程、検出工程、出力工程を備え、以下のように構成する。
【００３６】
まず、入力受付工程では、複数のブロックの列からなる音声情報であって、当該ブロックごとに誤り訂正符号が付加された音声情報の入力を受け付ける。
【００３７】
一方、検出工程では、入力を受け付けられた音声情報のうち、当該ブロックの列において、誤り訂正に成功し音量が０より大きいブロックの直後に誤り訂正に失敗したブロックが所定の閾時間以下の時間連続している区間にあるか否かを検出する。
【００３８】
さらに、出力工程では、検出工程にて、当該区間に入ったことが検出されてから、当該区間を出たことが検出されるまで、所定の補充音声情報を出力し、そうでない間、入力を受け付けられた音声情報を出力する。
【００３９】
また、本発明の音声補間方法において、出力工程では、白色雑音を生成し、当該白色雑音を所定の帯域に制限することにより、当該所定の補充音声情報を生成するように構成することができる。
【００４０】
また、本発明の音声補間方法において、入力を受け付けられる音声情報のサンプリングレートは８０００Ｈｚであり、当該所定の帯域は、２００Ｈｚ以上２０００Ｈｚ以下であるように構成することができる。
【００４１】
本発明のその他の観点に係るプログラムは、コンピュータもしくはディジタル信号プロセッサを上記の音声補間装置の各部として機能させ、もしくは、上記の音声補間方法を実行させるように構成する。
【００４２】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
【００４３】
上記プログラムは、プログラムが実行されるコンピュータやディジタル信号プロセッサとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータやディジタル信号プロセッサとは独立して配布・販売することができる。
【発明の効果】
【００４４】
本発明によれば、途切れた音声を補間して聴取者に音声を聞き取りやすくするのに好適な音声補間装置、音声補間方法、ならびに、これらをコンピュータもしくはディジタル信号プロセッサ上にて実現するプログラムを提供することができる。
【発明を実施するための最良の形態】
【００４５】
以下に本発明の実施形態を説明する。なお、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限する物ではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本願発明の範囲に含まれる。
【実施例１】
【００４６】
図１は、本発明の実施形態の一つに係る音声補間装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４７】
本実施形態の音声補間装置１０１は、入力受付部１０２、検出部１０３、切替部１０４、出力部１０５を備える。
【００４８】
まず、入力受付部１０２は、音声情報の入力を受け付ける。当該音声情報は、典型的にはＰＣＭ（Pulse Coded Modulation）形式で入力されるが、他の音声情報フォーマットを採用しても良い。たとえば、ＶＳＥＬＰ仕様に基づく音声信号の符号・復号技術など、符号化された音声信号が無音か否かを容易に判別できる音声情報フォーマットを採用することも可能である。
【００４９】
一方、検出部１０３は、入力を受け付けられた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出する。典型的には、所定の閾時間として５０ｍｓ〜３００ｍｓのいずれかの値（典型的には１００ｍｓ〜２００ｍｓのいずれかの値）を採用し、所定の閾音量として「０」を採用する。たとえば、完全な無音状態が１００ｍｓ以下連続して続く区間を、音声情報から選択するのである。
【００５０】
図２は、音声情報から検出される区間の様子を示す説明図である。以下、本図を参照して説明する。
【００５１】
本図（ａ）は、入力を受け付けた音声情報の音量を示す説明図である。いわゆる「音量」は、音声情報を波動として考えたときの、振幅の一定時間の自乗平均に相当すると考えられる。本図に示す例では、無音（所定の閾音量以下）の区間が複数存在する。
【００５２】
なお、所定の閾音量として０以外の値を採用することもできるが、その場合であっても、以下の説明では、理解を容易にするため、所定の閾音量以下の区間を「無音区間」と称するものとする。本図（ｂ）は、無音区間を示すものである。
【００５３】
なお、音声信号がブロック単位に構成され、各ブロックに誤り訂正符号が付加されている場合は、誤り訂正ができなかった場合に無音区間となる。
【００５４】
本図（ｃ）は、入力を受け付けた音声情報のうち、所定の閾時間以下の時間連続して所定の閾音量以下の音量である区間を検出した結果を示すグラフである。
【００５５】
本図に示すように、所定の閾時間よりも長い時間無音状態が連続する場合は、その無音区間は検出部１０３によっては検出されないのである。
【００５６】
さらに、切替部１０４は、入力を受け付けられた音声情報の検出された区間については、所定の補充音声情報を選択し、そうでなれば、入力を受け付けた音声情報を選択するように、切り替えを行う。
【００５７】
入力を受け付けた音声情報の無音区間を補充音声情報に切り替えるのであるから、この切り替えによって、両者が「加算」もしくは「混合」されたと見ることもできる。以下では、適宜、「切り替え」を「加算」「混合」とも呼ぶこととする。
【００５８】
なお、後述するように、補充音声情報としては、種々の音源を採用することができるが、本実施形態では、補充音声情報として白色雑音を採用する。
【００５９】
このため、白色雑音発生部１１１は、本図（ｃ）において検出された区間だけ所定の補充音声情報を発生させる。
【００６０】
本実施形態では、発生させた補充音声情報を本図（ａ）に示す音声情報と混合する。本図（ｄ）は、混合した後の音量の様子を示す説明図である。本図に示すように、音声情報（図中白抜き部）が補充音声情報（図中斜線部）で補間されている。
【００６１】
なお、所定の閾時間より長く無音区間が続く場合は、当該区間は、補間を行わない。これは、人間の生物学的・認知心理学的効果による「幻聴」が起きにくくなるとともに、このような場合には、補間するまでもなく無音であったとも考えられるからである。
【００６２】
さて、携帯電話などで用いられるディジタル音声情報では、音声のサンプリングレートを８０００Ｈｚとしていることが多い。そこで、本実施形態では、白色雑音発生部１１１が、Ｍ系列や線形合同法などの疑似乱数発生技術により一様乱数を発生させることによって、擬似白色雑音を得たのちに、周波数制限部１１２が、バタワースフィルタで、２０００Ｈｚ（音声のサンプリングレートの４分の１）以下の周波数帯に周波数制限をしたものを用いる。また、制限周波数帯の下限としては、任意のものが利用できるが、２００Ｈｚ程度を採用している。
【００６３】
そして、生成された雑音情報は、入力を受け付けられた音声情報と加算部１１３が加算して、混合を行う。
【００６４】
なお、本実施形態では、加算部１１３を用いているが、上述の通り、切替部１０４は、無音区間にあるか否かを検出した結果を参照して、雑音情報と、入力を受け付けた音声情報とを単純に切り替えるのであるから、スイッチング回路等を採用しても良い。
【００６５】
また、補充音声情報の音量は、あらかじめ定めた一定値を用いている。この一定値としては、たとえば、用いている音声情報フォーマットの最大振幅の半分、２分の１、４分の１、８分の１など、歪が生じにくく、入力される音声情報の最も典型的な音量や、その音量より小さい音量を用いることができる。このほか、元の音声よりも大きい音を補充した場合でも「幻聴」が生じることもありうるので、音量については、用途に応じて適宜変更が可能である。
【００６６】
結局、切替部１０４によって混合される補充音声情報は、本図（ｃ）に示される区間だけ周波数制限された雑音が聞こえるような、途切れ途切れの音声情報となる。
【００６７】
そして、出力部１０５は、このようにして混合された音声情報を出力する。
【００６８】
このように、無音区間の検出を行うため、本実施形態による音声補間技術を採用すると、音声処理において、どんなに少なくとも「所定の閾時間」だけは、時間遅延が生じる。
【００６９】
本実施形態では、所定の閾時間以下の無音区間を周波数制限された雑音で補充することにより、人間の生物学的・認知心理学的な補間機構によって、聞き苦しさを減少させることができ、当該雑音が補充された区間に「生じていたはずの音」が無意識のうちに補充されるのである。この効果は、[非特許文献１]に開示の「咳の音で一音を置換して人に聞かせる」技術をさらに推し進め、種々な実験を行うことによって本願の発明者が得た知見によるものである。
【００７０】
なお、ＶＳＥＬＰ仕様の音声情報など、符号化されたままの音声情報を入力として利用する場合には、白色雑音を周波数制限し、さらに、ＶＳＥＬＰフォーマットにより符号化した結果を、検出された無音部に混合する、という手法を採用することも可能である。
【００７１】
図３は、このような実施形態の場合の音声補間装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００７２】
上記実施形態と相違する点は、入力受付部１０２が入力を受け付ける音声信号が、符号化済みの音声信号である、という点である。
【００７３】
したがって、上記実施形態では、切替部１０４内では、白色雑音発生部１１１と周波数制限部１１２と加算部１１３のほか、符号化部１１４が存在し、周波数制限済みの白色雑音を符号化してから加算部１１３が加算を行う。
【００７４】
これにより、出力部１０５が出力する音声信号は、ＶＳＥＬＰ符号化された音声信号となるので、これ以降の処理（図示せず）によって復号され、人間の耳で聞こえる音声となるのである。
【００７５】
上記実施形態は、音声データそのものに、雑音データをのものを混合する形態であるが、本実施形態は、音声データを符号化・復号化したものに、雑音データを符号化・復号化したものを混合する形態である。応用分野によってこれらの形態から好適な形態を採用することができる。
【実施例２】
【００７６】
上記実施形態では、混合される雑音情報の音量は、あらかじめ定められた一定値としていた。以下で述べる実施形態は、この音量を適宜変化させることによって、より自然な印象を聴取者に与え、聞き苦しさを低減するものである。
【００７７】
図４は、音声情報の音量と、雑音情報の音量との関係を示す説明図である。以下、本図を参照して説明する。
【００７８】
本図（ａ）は、入力を受け付けた音声情報とその無音区間の様子を示すものである。
【００７９】
第１の手法は、無音区間の直前所定時間の平均音量を、当該無音区間に混合される雑音の平均音量とするものである。「直前所定時間」としては、適当な短時間を採用すれば良いが、たとえば、無音区間の閾時間と同様の値や、これより短い一定時間とすることができる。
【００８０】
すなわち、検出部１０３において音声情報の音量を適宜検知して、これを切替部１０４に伝え、加算部１１３の直前等で、雑音信号の増幅を行い、その増幅率を適切に設定するのである。
【００８１】
本手法による音声情報の音量と雑音情報の音量との関係を本図（ｂ）に示す。本図に示すように、雑音情報（図中斜線部）の音量は、無音区間の直前所定時間（図中ハッチ部）の音声情報の平均音量となっている。
【００８２】
第２の手法は、「直前所定時間」として、それまでに入力された音声情報の無音区間以外の平均音量を用いるものである。本図（ｃ）には、本手法による音声情報の音量と雑音情報の音量との関係を示す。すなわち、「直前所定時間」は可変であり、処理を開始してから現在処理を行おうとしている無音区間の開始まで（図中ハッチ部）の（無音区間以外の）平均音量を採用する、というものである。本図（ｃ）では、本図（ｂ）とは異なる平均音量が採用されていることがわかる。
【００８３】
第３の手法は、音声情報の無音区間の直前所定時間の平均音量と、音声情報の無音区間の直後所定時間の平均音量と、の平均を採用する、というものである。本図（ｄ）には、本手法による音声情報の音量と雑音情報の音量との関係を示す。「直後所定時間」の長さ（図中ハッチ部）は、典型的には「直前所定時間」と同じ長さとするが、直後所定時間分だけさらに処理の遅延が生じるため、この長さをより短かくする（図中ハッチ部）手法を採用しても良い。
【００８４】
第４の手法は、無音区間の直前の音量から、無音区間の直後の音量までを、滑らかに接続するように雑音情報の音量を変化させるというものである。本図（ｅ）には、本手法による音声情報の音量と雑音情報の音量との関係を示す。本図（ｅ）に示す例では、滑らかに変化させるための最も単純な手法として、時間経過とともに直線的に音量を変化させて滑らかな変化を生じさせている。
【００８５】
第５の手法は、上記のそれぞれの手法において、もとの音声と補充音との接続部分で、短時間のクロスフェードを行い、当該短時間の間、連続的に両者の音量を変化させて混合を行うものである。これによって、接続部分で「ブチッ」という音声が聞こえてしまう可能性を減少させることができる。
【００８６】
このように、生じさせた雑音情報を適宜増幅してから加算することによって、雑音情報の音量を調整して、聴取者にとってより聞きやすく、心理的な「補間」のしやすい音声を提供することができるようになる。
【実施例３】
【００８７】
上記の実施形態における「時間遅延」をできるだけ避ける手法として、誤り訂正符号ブロックを利用するものが考えられる。
【００８８】
一般的に「誤り訂正符号ブロック」は、
（１）入力のパケットに誤りがない場合は、そのまま出力し、
（２）入力のパケットに修正可能な数の誤りがある場合は、修正して出力し、
（３）入力のパケットに修正不可能な数の誤りがある場合は、あきらめてゼロを出力する
のような動作をする。
【００８９】
したがって、誤り訂正符号アルゴリズムが動作するような環境下では、上記（３）のモードに入ったことが容易に判断できる。
【００９０】
そこで、上記（３）のモードに入った場合、
（ａ）直前のフレームの音量が０の場合は、無音を出力し、
（ｂ）直前のフレームの音量が０でない場合は、補充音の出力を開始し、
（ｃ）（ｂ）の状況が連続する場合、補充音が連続して出力される時間は、最大でも上記の閾時間とし、
（ｄ）上記の閾時間未満で（ａ）もしくは他のモードに移行した場合は、補充音の出力を停止する
ことによって、「時間遅延」を避けることができる。
【００９１】
この実施形態では、上記の切替部１０４と出力部１０５に相当する部分が、補充音を出力するか、誤り訂正された音声情報を出力するか、の切り替えを行うことによって実現されることになる。
【００９２】
また、検出部１０３は、上記のモード（３）の（ｂ）（ｃ）にいるか否かを判定することによって、補充音を出力すべき区間か否かを判定するのである。
【００９３】
なお、上記のそれぞれの実施形態では、補充音声情報として白色雑音やこれを周波数帯域制限したものを使用しているが、そのほかの補充音声情報として、ものが倒れる音、人ごみの音、咳の音などの自然音を採用することも可能である。このような自然音も、たとえばＰＣＭ形式で用意しておけば、上記補充音として十分に機能する。
【００９４】
（実験の結果）
以下の諸元で、本実施形態に係る音声補間装置１０１の性能を確認する実験を行った。
【００９５】
まず、音声情報としては、外国人向けの日本語会話教材から「わたしはにほんじんではありません」という標準的な日本語音声を採取して、サンプリングレートを８０００Ｈｚとして変換し、さらに、「ほ」の音を完全に含む２００ｍｓの区間を消去し、ＰＤＣ方式の携帯電話で使用されているＶＳＥＬＰ符号化に基づいて符号・復号を行うこととして処理を行う。これによって、実際の携帯電話から聞こえる音声をシミュレートするのである。
【００９６】
補間音としては、一様乱数を用いて発生させた白色雑音をバタワースフィルタで２００Ｈｚから２０００Ｈｚの範囲に周波数制限したものを用いる。また、補間音の音量は、元の日本語音声の平均音量で、一定とした。
【００９７】
このような環境下で、９人の被験者に対して、
（１）「ほ」の２００ｍｓの区間を消去した後に符号化と復号を行って得られる音声
（２）「ほ」の２００ｍｓの区間を消去した後に雑音情報を混合してから符号化と復号を行って得られる音声
（３）「ほ」の２００ｍｓの区間を消去した後に符号化してから、雑音情報を符号化したものと混合し、さらに復号を行って得られる音声
を与え、欠落している音声があるか否かについて解答させた。
【００９８】
すると、（１）では全員が「ほ」の音が欠落している、と解答したが、（２）では８名が欠落音はない、と解答し、（３）では６名が欠落音はない、と解答した。
【００９９】
このように、本発明を採用するとかなりの割合で、人間の生物学的・認知心理学的な効果により、「幻聴」が生じ、無音が生じる場合であっても音声を聞き取りやすくできることが示された。
【産業上の利用可能性】
【０１００】
本発明によれば、途切れた音声を補間して聴取者に音声を聞き取りやすくするのに好適な音声補間装置、音声補間方法、ならびに、これらをコンピュータもしくはディジタル信号プロセッサ上にて実現するプログラムを提供することができる。これらの発明は、携帯電話で電波状況が悪い場合や、ＩＰ電話で通信ネットワークが混雑している場合など、種々の局面で活用することができる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施形態の一つに係る音声補間装置の概要構成を示す模式図である。
【図２】音声情報から検出される区間の様子を示す説明図である。
【図３】他の実施形態の音声補間装置の概要構成を示す模式図である。
【図４】音声情報の音量と、雑音情報の音量との関係を示す説明図である。
【符号の説明】
【０１０２】
１０１  音声補間装置
１０２  入力受付部
１０３  検出部
１０４  切替部
１０５  出力部
１１１  白色雑音発生部
１１２  周波数制限部
１１３  加算部
１１４  符号化部
【図１】
2007033993.tif 000003
【図２】
2007033993.tif 000004
【図３】
2007033993.tif 000005
【図４】
2007033993.tif 000006