(57)【要約】【課題】音声信号から有音部分を検出する検出手段と、音声信号の時間軸を伸縮する時間軸加工手段と、音声信号の基本周波数を変更する基本周波数加工手段と、前記時間軸加工手段が前記検出手段で検出された有音部分を伸縮しているとき、前記基本周波数加工手段で基本周波数が変更された音声信号を出力する出力手段とを設けることにより、時間軸加工処理において生ずる聴感上の印象の変化を軽減するという効果を有するディジタル音声処理装置および音声処理方法を提供する。【解決手段】時間軸加工処理手段２、基本周波数変換処理手段３、時間軸加工量制御手段４、基本周波数変換量制御手段５、制御手段６、データ蓄積部７、および有音検出手段８とを備え、時間軸加工処理が行われた信号に対し、基本周波数変化量制御部によって音声信号から得られる基本周波数変化量に応じて基本周波数変換処理を行うことにより、時間軸加工処理において生ずる聴感上の印象の変化を軽減する。【選択図】図１
2010014955.tif 000002
【特許請求の範囲】
【請求項１】
音声信号から有音部分を検出する検出手段と、
音声信号の時間軸を伸縮する時間軸加工手段と、
音声信号の基本周波数を変更する基本周波数加工手段と、
前記時間軸加工手段が前記検出手段で検出された有音部分を伸縮しているとき、前記基本周波数加工手段で基本周波数が変更された音声信号を出力する出力手段と、
を有するディジタル音声処理装置。
【請求項２】
請求項１記載のディジタル音声処理装置において、
前記出力手段は、前記基本周波数加工手段が、前記時間軸加工手段において時間軸を伸縮する加工量に応じた基本周波数加工量によって基本周波数を変更した音声信号を出力することを特徴とするディジタル音声処理装置。
【請求項３】
請求項１記載のディジタル音声処理装置において、
前記出力手段は、前記時間軸加工手段が、前記基本周波数加工手段において変更される基本周波数加工量に応じた時間軸加工量によって時間軸を伸縮した音声信号を出力することを特徴とするディジタル音声処理装置。
【請求項４】
請求項１記載のディジタル音声処理装置において、
前記出力手段は、前記基本周波数加工手段が、前記時間軸加工手段において時間軸を伸縮する加工量に応じた遅延を伴った基本周波数加工量によって基本周波数を変更した音声信号を出力することを特徴とするディジタル音声処理装置。
【請求項５】
音声信号から有音部分を検出する検出ステップと、
音声信号の時間軸を伸縮する時間軸加工ステップと、
音声信号の基本周波数を変更する基本周波数加工ステップと、
前記時間軸加工ステップにおいて前記検出ステップで検出された有音部分が伸縮されているとき、前記基本周波数加工ステップで基本周波数が変更された音声信号を出力する出力ステップと、
を有する音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は老齢化等により衰えた聴覚機能を補助する装置に係り、特に音声の明瞭度向上のためのディジタル音声処理装置および音声処理方法に関する。
【背景技術】
【０００２】
一般に、加齢を主な原因とする聴覚の衰えは、聴覚における音響処理能力の衰えとともに、脳内での言語処理時間が長くなっている場合が多い。したがって、音声を加工してその明瞭度を向上させるためには、単に音声の周波数特性を加工しただけでは効果が少なく、時間特性も同時に加工して「ゆっくり、はっきり」とした音声にする必要がある。対象としている時間軸伸長処理は、この遅くなった処理時間を補うための時間的余裕を与えることに対して有効となる。
【０００３】
従来のディジタル音声処理装置は、ディジタル化された音声に対して、その時間軸を変えることなく周波数特性を変更する周波数加工処理、及びその基本周波数（ピッチ）を変えることなく音声の時間軸を伸縮する時間軸加工処理を行う処理手段と、上記処理手段の上記周波数加工処理または上記時間軸加工処理の開始及び終了を指示する制御手段とで構成されており、周期性のある波形をもつ音声部分を時間領域調波構造伸縮処理することにより、もしくは音声の無音区間を伸縮することにより、上記時間軸加工処理を行っている（例えば特許文献１参照）。
【０００４】
また、音声信号に対してディジタル信号処理を行う処理手段であって、上記受信した音声情報の周波数特性と時間的長さを互いに他に影響を与えずに変化させる処理を施す処理手段とで構成されており、老齢化等により衰えた聴覚機能を補助するための音声加工方法を、音声出力を伴う機器に使用するとしている（例えば特許文献２参照）。
【０００５】
時間軸加工処理の例として、図９に示すような音声の加工方法がある。
【特許文献１】特開平５−５６４９９号公報
【特許文献２】特開平５−２５２５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
老齢化等により衰えた聴覚機能を補助するための音声加工方法として、その明瞭度を向上させるために、時間特性を加工して「ゆっくり」とした音声にする方法がある。従来のディジタル音声処理装置では加工した音声を低速度で呈示する手段を実現している。
【０００７】
しかしながら、低速にすることにより聴覚の衰えの内、脳内での言語処理時間が長くなっている場合に対して理解しやすくすることは可能となっているものの、聴感上、「まったり」、「まどろっこしい」というような間延びしている印象を伴ってしまう問題があった。
【０００８】
一般的に、聞き取りやすい自然な音声では基本周波数の抑揚が大きく、豊かな表現を有している。低速にすることにより基本周波数の抑揚が小さくなり、間延びしている印象になると考えられる。
【０００９】
本発明は、従来の問題を解決するためになされたもので、聴感上の印象の変化を軽減することのできるディジタル音声処理装置および音声処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のディジタル音声処理装置は、音声信号から有音部分を検出する検出手段と、音声信号の時間軸を伸縮する時間軸加工手段と、音声信号の基本周波数を変更する基本周波数加工手段と、前記時間軸加工手段が前記検出手段で検出された有音部分を伸縮しているとき、前記基本周波数加工手段で基本周波数が変更された音声信号を出力する出力手段と、を備えた構成を有している。
この構成により、時間軸が伸縮による聴感上の印象の変化が生じている音源に対し、時間軸が伸縮している間、基本周波数を加工し、自然な音声に近づけることにより、聴感上の印象の変化を軽減することができる。
【００１１】
また、本発明のディジタル音声処理装置は、前記出力手段が、前記基本周波数加工手段が前記時間軸加工手段において時間軸を伸縮する加工量に応じた基本周波数加工量によって基本周波数を変更した音声信号を出力する構成を有している。
この構成により、時間軸伸縮の加工量による印象の変化の度合いに応じて最適な基本周波数加工量を用いることにより、聴感上の印象の変化を軽減することができる。
【００１２】
また、本発明のディジタル音声処理装置は、前記出力手段が、前記時間軸加工手段が前記基本周波数加工手段において変更される基本周波数加工量に応じた時間軸加工量によって時間軸を伸縮した音声信号を出力する構成を有している。
この構成により、基本周波数の変化量で聴感上の印象の変化を軽減できる範囲で時間軸を伸縮することができる。
【００１３】
また、本発明のディジタル音声処理装置は、前記出力手段が、前記基本周波数加工手段が前記時間軸加工手段において時間軸を伸縮する加工量に応じた遅延を伴った基本周波数加工量によって基本周波数を変更した音声信号を出力する構成を有している。
この構成により、時間軸伸縮の加工量による印象の変化の認知されやすい加工量の変化が時間と伴に小さくなる場合にも、基本周波数加工量の変化により、聴感上の印象の変化を軽減することができる。
【００１４】
また、本発明の音声処理方法は、音声信号から有音部分を検出する検出ステップと、音声信号の時間軸を伸縮する時間軸加工ステップと、音声信号の基本周波数を変更する基本周波数加工ステップと、前記時間軸加工ステップにおいて前記検出ステップで検出された有音部分が伸縮されているとき、前記基本周波数加工ステップで基本周波数が変更された音声信号を出力する出力ステップと、を有する。
この方法により、時間軸が伸縮による聴感上の印象の変化が生じている音源に対し、時間軸が伸縮している間、基本周波数を加工し、自然な音声に近づけることにより、聴感上の印象の変化を軽減することができる。
【発明の効果】
【００１５】
本発明によれば、音声信号から有音部分を検出する検出手段と、音声信号の時間軸を伸縮する時間軸加工手段と、音声信号の基本周波数を変更する基本周波数加工手段と、前記時間軸加工手段が前記検出手段で検出された有音部分を伸縮しているとき、前記基本周波数加工手段で基本周波数が変更された音声信号を出力する出力手段とを設けることにより、時間軸加工処理において生ずる聴感上の印象の変化を軽減するという効果を有するディジタル音声処理装置および音声処理方法を提供することができるものである。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態のディジタル音声処理装置について、図面を用いて説明する。
【００１７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態におけるディジタル音声処理装置の概略構成を示すブロックである。
【００１８】
図１において、ディジタル音声処理装置１は、時間軸加工処理手段２、基本周波数変換処理手段３、時間軸加工量制御手段４、基本周波数変換量制御手段５、制御手段６、データ蓄積部７、および有音検出手段８とから構成されている。
【００１９】
時間軸加工処理手段２は、時間軸加工量にしたがって入力された音声の時間軸を伸縮し、出力する。
【００２０】
基本周波数変換処理手段３は、基本周波数変化量にしたがって入力された音声の基本周波数を変更する。
【００２１】
時間軸加工量制御手段４は、制御手段による動作制御、有音検出部８による検出結果から時間軸加工量を制御し、時間軸加工処理手段２に通知する。
【００２２】
基本周波数変化量制御手段５は、制御手段による動作制御、有音検出部８による検出結果から基本周波数変化量を制御し、基本周波数変換処理手段３に通知する。
【００２３】
制御手段６は、マイクロコンピュータ及びこのマイクロコンピュータを制御するためのプログラムを記憶した不揮発性メモリを有し、制御信号の入出力を行って、装置各部を制御する。
【００２４】
データ蓄積部７は、入力された音声信号、および、音声の時間軸を伸張した際の音声信号を蓄積する。
【００２５】
有音検出部８は、入力された音声信号が有音であるかを検出し、通知する。
【００２６】
次に、上記のように構成されたディジタル音声処理装置１の動作を説明する。
【００２７】
図２は、本発明の第１の実施の形態におけるディジタル音声処理装置１の動作を示すフローチャートである。
【００２８】
まず、ディジタル音声処理装置１は、メモリや通信手段等から音声信号を入力し、データ蓄積部７へデータを蓄積する（ステップＳ１）。
【００２９】
次に、制御手段６は、外部から入力された制御信号に基づいて、時間軸加工量制御手段４および基本周波数変化量制御手段５に対して制御の動作有無を指示する（ステップＳ２）。例えば、制御信号が動作状態を示す場合、制御手段６は、時間軸加工量制御手段４に速度変更を、また基本周波数変化量制御手段５に基本周波数変更を指示する。
【００３０】
次に、有音検出手段８は、データ蓄積部７の音声信号が有音かどうかを検出し、その結果を時間軸加工量制御手段４および基本周波数変化量制御手段５に対して通知する（ステップＳ３）。例えば、有音検出手段８は、入力信号のエネルギーを計測し、エネルギーが大きい場合には有音、小さい場合には無音と通知する。
【００３１】
また、有音検出方法として入力信号のエネルギーの値だけでなく、変化量、入力信号の基本周波数情報などを組み合わせる方法もある。
【００３２】
次に、時間軸加工量制御手段４は、サブルーチンに示すように、データ蓄積部７において低速で呈示していることにより音声信号の蓄積量（データ量）が増加し、これ以上蓄積できないデータＦＵＬＬ状態となっているかを判定し（ステップＳ１１）、また、および有音検出手段８による有音かどうかの検出結果を用いて判断し（ステップＳ１２）、データ量がＦＵＬＬではなく、有音の場合には所望速度に（ステップＳ１３）、それ以外の場合には等速（ステップＳ１４）に時間軸加工量を決定する（ステップＳ４）。
【００３３】
次に、基本周波数変化量制御手段５は、サブルーチンに示すように、データ蓄積部７において低速で呈示していることにより音声信号の蓄積量（データ量）が増加し、これ以上蓄積できないデータＦＵＬＬ状態となっているかを判定し（ステップＳ２１）、また、および有音検出手段８による有音かどうかの検出結果を用いて判断し（ステップＳ２２）、データ量がＦＵＬＬではなく、有音の場合には所望加工量に（ステップＳ２３）、それ以外の場合には等倍（ステップＳ２４）に基本周波数変化量を決定する（ステップＳ５）。
【００３４】
ここで、時間軸加工量制御手段４と基本周波数変化量制御手段５は同じ判定基準を用いることにより、時間軸加工量が低速を提示する場合に基本周波数変化量を変化させることを可能にしている。
【００３５】
また、時間軸加工量制御手段４と基本周波数変化量制御手段５は順序が逆となる場合もある。
【００３６】
また、所望速度、所望加工量は制御手段６により外部よりパラメータとして設定することも可能であり、固定の値だけでなく変化量などでも設定することが可能である。
【００３７】
次に、時間軸加工処理手段２は、入力された音声信号と、時間軸加工量制御手段４で決定された時間軸加工量とに応じて、時間軸加工処理によって聞き易い速度へ音声信号を加工する（ステップＳ６）。
【００３８】
例えば、時間軸加工処理手段２は、老齢者向けに音声を低速で呈示するために、図９に示すように、入力音声信号中の音声部分の時間軸を伸張し、無音と判断した部分の時間軸を収縮／削除させることで、語頭のタイミングを実時間とあわせるように時間軸加工量を制御している。
【００３９】
また、時間軸加工方法として、たとえば、音声の無音区間を伸縮させることで出力時の時間軸を伸縮する方法や、ＴＤＨＳと呼ばれる方法（時間軸上で音声の一部を切り出し、隣接する音声信号と切り出した音声とを、傾斜を持つ窓関数を重畳しながら加算することで、時間軸構造を変化させる方法）がある。
【００４０】
次に、基本周波数変換処理手段３は、時間軸加工処理が行われた音声信号と、基本周波数変化量制御手段５で決定された基本周波数変化量に応じて基本周波数変換処理を行う（ステップＳ７）。
【００４１】
老齢者向けに音声を低速で呈示した場合の音声部分の時間軸が延びることによる間延び感を軽減するためには、低速となっている部分に対し、基本周波数を高くし基本周波数に抑揚をつけることにより、間延び感の軽減を図っている。
【００４２】
基本周波数変換処理方法として、たとえば、図３に示すように、信号の出力間隔を広くする方法がある。また、サンプル間の出力点の内挿方法にはオーバーサンプリングによる方法がある。
【００４３】
次に、基本周波数変換処理手段３は、基本周波数変換処理が行われた音声信号を出力する（ステップＳ８）。
【００４４】
図４に示すように時間軸加工処理による時間軸加工量と基本周波数処理手段による基本周波数変換量は変化する区間を連動させることとしている。
【００４５】
本発明の第１の実施の形態のディジタル音声処理装置によれば、音声の時間軸を伸縮する時間軸加工処理を行う処理手段と、上記処理手段に付随する基本周波数を変更する基本周波数変換処理を行う処理手段を設けることにより、時間軸加工処理によって生じる聴感上の印象の変化を軽減することができる。
【００４６】
（第２の実施の形態）
図５は、本発明の第２の実施の形態におけるディジタル音声処理装置の概略構成を示すブロック図である。
【００４７】
図５において、ディジタル音声処理装置１は、時間軸加工処理手段２、基本周波数変換処理手段３、時間軸加工量／基本周波数変化量制御手段４１、制御手段６、データ蓄積部７、および有音検出手段８とから構成されている。
【００４８】
時間軸加工量／基本周波数変化量制御手段４１は、制御手段による動作制御、有音検出部８による検出結果から時間軸加工量、および基本周波数変化量を制御し、時間軸加工処理手段２に通知する。
【００４９】
第２の実施の形態におけるディジタル音声処理装置１は、第１の実施の形態におけるディジタル音声処理装置１と時間軸加工量と基本周波数変化量の制御を同時に行う点が異なる。
【００５０】
次に、上記のように構成されたディジタル音声処理装置１の動作を説明する。
【００５１】
図６は、本発明の第２の実施の形態におけるディジタル音声処理装置１の動作を示すフローチャートである。時間軸加工量と基本周波数変化量を制御する以外の手順については上記第１の実施の形態と同様である。よって、重複した説明は省略する。本第２の実施の形態では、上記第１の実施の形態と異なり、以下のように動作を行う。
【００５２】
時間軸加工量／基本周波数変化量制御手段４１は、サブルーチンに示すように、データ蓄積部７の音声信号の状態から低速で呈示していることによる音声信号（データ量）がＦＵＬＬとなっているかを判定し（ステップＳ５１）、また、および有音検出手段８による有音かどうかの検出結果を用いて判断し（ステップＳ５２）、データ量がＦＵＬＬではなく、有音の場合には時間軸加工量を所望速度にし（ステップＳ５３）、基本周波数加工量を所望加工量に決定する（ステップＳ５４）。
【００５３】
このとき、同一の処理により時間軸加工量と基本周波数加工量とを制御することにより、時間軸加工量に応じて、基本周波数加工量を変更することが可能となっている。
【００５４】
それ以外の場合には時間軸加工量を等速（ステップＳ５５）に、基本周波数変化量を等倍（ステップＳ５６）に決定する（ステップＳ４１）。
【００５５】
例えば、図７に示すように時間軸加工処理部において時間軸を伸張する加工量と、基本周波数変換部においてピッチを高くする基本周波数変換量とを連動させ、時間軸を伸張する量が大きい場合にはピッチを高くする量を大きくすることとする。
【００５６】
また、基本周波数加工量と基本周波数加工量とを逆にすることによって、基本周波数加工量に応じて、時間軸加工量を変更することも可能である。
【００５７】
以上のように本発明の第２の実施の形態のディジタル音声処理装置によれば、時間軸加工処理と上記基本周波数変換処理は連動し処理され、時間軸の伸縮による話速変化の度合いに応じて基本周波数変換処理を行うことにより、聴感上の間延びが発生している部分にのみ、かつ、間延びの度合いに応じて基本周波数変換処理を用いて聴感上の間延びを軽減することができる。
【００５８】
また、図８に示すように時間軸加工処理部において時間軸を伸張する加工量と、基本周波数変換部において基本周波数を高くする基本周波数変換量とを遅延を持って連動させ、時間軸を伸張し始めてから遅延を持って、基本周波数を変換することも可能である。
【００５９】
上記のように、時間軸加工処理と上記基本周波数変換処理は遅延を持って連動し処理されることにより、聴感上の間延びが発生しやすい継続して時間軸が伸張している部分に対し、聴感上の間延びを軽減することができる。
【００６０】
なお、時間軸加工量／基本周波数変換量は制御方法６による外部からのパラメータによる制御も可能であり、パラメータをユーザの聴覚特性に合わせて調整することも可能である。
【産業上の利用可能性】
【００６１】
本発明は、音源の基本周波数を時間軸加工量と共に変化させることで聴感上の印象の変化を軽減するという効果を有し、ディジタル信号処理を用いて音声を低速で呈示する携帯電話、テレビ、ラジオなどの電子機器等に有用である。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の実施の形態におけるディジタル音声処理装置のブロック図
【図２】本発明の第１の実施の形態におけるディジタル音声処理装置の動作を示すフローチャート
【図３】本発明の第１の実施の形態における基本周波数変換量制御の一例を示す図
【図４】本発明の第１の実施の形態における基本周波数変換方法の一例を示す図
【図５】本発明の第２の実施の形態におけるディジタル音声処理装置のブロック図
【図６】本発明の第２の実施の形態におけるディジタル音声処理装置の動作を示すフローチャート
【図７】本発明の第２の実施の形態における連動した時間軸加工方法と基本周波数変換方法の一例を示す図
【図８】本発明の第２の実施の形態における連動し、遅延を伴う時間軸加工方法と基本周波数変換方法の一例を示す図
【図９】従来技術における時間軸加工方法の一例を示す図
【符号の説明】
【００６３】
１  ディジタル音声処理装置
２  時間軸加工処理手段
３  基本周波数変換処理手段
４  時間軸加工量制御手段
５  基本周波数変化量制御手段
６  制御手段
７  データ蓄積部
８  有音検出部
４１  時間軸加工量／基本周波数変化量制御手段
【図１】
2010014955.tif 000003
【図２】
2010014955.tif 000004
【図３】
2010014955.tif 000005
【図４】
2010014955.tif 000006
【図５】
2010014955.tif 000007
【図６】
2010014955.tif 000008
【図７】
2010014955.tif 000009
【図８】
2010014955.tif 000010
【図９】
2010014955.tif 000011