(57)【要約】【課題】従来の話速変換装置は、有音の音声信号を伸長処理し、再生音の時間的遅れを無音信号廃棄で吸収するため、例えば、ＴＶ放送で無音信号のない場合、音声が映像に対し大きく遅れ、ＴＶ視聴者が違和感を覚える。【解決手段】入力音声信号の有音／無音を有音／無音判別部で判別し、無音信号を廃棄するか否かを現時点での入力音声信号総時間数と出力音声信号総時間数とから信号廃棄判断部で判断し、廃棄とされた無音信号は無音信号廃棄部で廃棄し、それ以外の信号は速度変換部で前回処理により定まる話速変換倍率で音声ピッチを変えずに伸長処理が施され、出力音声制御部で蓄積されて出力信号端子に順次渡され、変換速度制御部は、現処理時の音声蓄積量と、前回処理時の音声蓄積量との差分値から話速変換倍率を算出し速度変換部に出力する【選択図】図１
2008107381.tif 000002
【特許請求の範囲】
【請求項１】
音声入力端子、有音／無音判別部、信号廃棄判断部、無音信号廃棄部、速度変換部、出力音声制御部、音声出力端子及び変換速度制御部を備え、
有音／無音判別部は、音声入力端子からの入力音声信号を有音か無音かを判別し、
信号廃棄判断部は、有音／無音判別部からの判別信号で有音信号は破棄せず、無音信号は音声入力端子からの入力音声信号の総時間を算出し、出力音声制御部からの出力音声信号の総時間を算出し、音声出力総時間数から、音声入力総時間数を減算し、その結果により無音信号を廃棄するか否かを判断し、
無音信号廃棄部は同じく音声信号を入力し、信号破棄判断部からの破棄信号で無音信号を廃棄し、それ以外の信号は速度変換部に渡し、
速度変換部は無音信号廃棄部から渡された音声信号に対し、音声ピッチを変えずに音声信号の伸長処理を変換速度制御部からの話速変換倍率で施し、
出力音声制御部は、速度変換部から時間圧縮伸長処理された音声信号を音声蓄積メモリに蓄積するとともに、音声信号が入力される毎に、その時間長を出力音声信号の時間長として、信号廃棄判別部に渡し、さらに音声蓄積メモリに蓄積された出力待機中の音声信号を、時間的に古いものから順に音声出力端子に出力しかつ出力された音声サンプル数をカウントし、一定周期毎に現在の音声蓄積量として、変換速度制御部に渡し、
変換速度制御部は、出力音声制御部から受け取った現在の音声蓄積量と、前回処理時の音声蓄積量との差分値を算出し、この差分値を単位時間で除算して、音声遅延増加度を算出し、音声遅延増加度に応じた話速変換倍率を速度変換部に出力する構成にされたことを特徴とする話速変換装置。
【請求項２】
変換速度制御部は、音声遅延増加度による話速変換倍率が時間圧縮伸長処理を行わないで、かつ入力音声信号の振幅レベルが所定値より小さい場合は、音声信号の再生を早める話速変換倍率にして速度変換部に出力する構成にされたことを特徴とする請求項１記載の話速変換装置。
【請求項３】
変換速度制御部は、音声遅延増加度が特定の範囲内にあるときは前回処理の話速変換倍率を速度変換部に出力する構成にされたことを特徴とする請求項１又は２に記載の話速変換装置。
【請求項４】
音声入力端子からの入力音声信号を有音か無音かを判別し、判別信号を出力する有音／無音判別ステップと、
有音／無音判別ステップからの判別信号で有音信号は破棄せず、無音信号は現時点における音声出力総時間数から、音声入力総時間数を減算し、その結果により無音信号を廃棄するか否かを判断する信号廃棄判断ステップと、
音声信号を入力し、信号破棄判断ステップからの破棄信号で無音信号を廃棄し、それ以外の信号は次処理の速度変換ステップに渡す無音信号廃棄ステップと
無音信号廃棄ステップから渡された音声信号に対し、音声ピッチを変えずに音声信号の伸長処理を前回処理で定まる話速変換倍率で施す速度変換ステップと、
速度変換ステップから時間圧縮伸長処理された音声信号を音声蓄積メモリに蓄積するとともに、音声信号が入力される毎に、その時間長を出力音声信号の時間長として、信号廃棄判別ステップで使用する音声出力総時間数の元データとして出力し、さらに音声蓄積メモリに蓄積された出力待機中の音声信号を、時間的に古いものから順に音声出力端子に出力し、かつ出力された音声サンプル数をカウントし、一定周期毎に現在の音声蓄積量として出力する出力音声制御ステップと、
出力音声制御ステップから出力された現在の音声蓄積量と、前回処理時の音声蓄積量との差分値を算出し、この差分値を単位時間で除算して、音声遅延増加度を算出し、音声遅延増加度に応じた話速変換倍率を速度変換ステップで用いる話速変換倍率として出力する変換速度制御ステップを有することを特徴とする話速変換制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テレビジョン装置や電話機及び携帯電話機等の音声をその音声ピッチを変えずにゆっくり再生することで、受聴者に対して聴き取り易くする話速変換技術に関するものである。
【背景技術】
【０００２】
音声信号を再生する時に、話者の音声ピッチを変えないでゆっくり音声を再生し、受聴者に対して聴き取り易くする技術として音声信号の話速変換技術がある。この技術を適用した従来の話速変換装置の動作原理は、音声信号が有音であるか、無音であるかを判別し、有音と判別された音声信号に対してのみ音声ピッチを変えずに時間伸長処理を施すことであり、この時間伸長処理に起因して発生する再生音声の時間的な遅れは、無音と判別された音声信号を廃棄することで、吸収する仕組みとなっている（例えば、特許文献１、２参照）。
【０００３】
【特許文献１】特開２００２−２９７２００号公報
【特許文献２】特開２００１−１０９４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、話速変換装置に入力される音声信号が、例えば、テレビ放送のニュース番組における現場中継音声や街頭インタビュー収録音声など、話者音声に加え、背景音が含まれる場合や、ＣＭ(Commercial Message)など背景音が常に鳴っている場合においては、音声信号を無音と判別することは難しく、無音信号の廃棄処理の実行は実質的に困難となる。このようなケースでは、音声信号に対する時間伸長処理の影響で、映像に対して音声の遅れが一方的に増えていくこととなり、テレビ視聴者が違和感を覚えてしまう。
また、上記時間遅れに相当する音声信号は、別途メモリに保持しつつ、再生を行う必要があり、装置の規模、コストが大きくなるデメリットが生じてしまう。
【０００５】
この問題点を解決する方法の一つとして、特許文献２には、圧縮伸長処理の施された音声信号を蓄積するメモリの蓄積量が、０％以上２０％未満の時は音声信号の話速変換倍率（入力音声信号の時間長を出力音声信号の時間長で除算した値）を０．６倍、２０％以上４０％未満の時は０．７倍、４０％以上６０％未満の時は０．８倍、６０％以上８０％未満の時は０．９倍、８０％以上１００％以下の時は１．０倍（圧縮伸長処理無し）、といったように、メモリの蓄積量に応じて音声信号の話速変換倍率を変える方法が記載されている。
【０００６】
しかしながら、上記手法は、あくまでメモリの破綻防止対策を主眼としたものであり、メモリの蓄積量が多くなるに従って、話者音声をゆっくり再生することが困難となる問題がある。
【０００７】
また、スポーツニュース番組等では、アナウンサーの話者音声に加え、背景にＢＧＭ(Back Ground Music)を流しているものもあり、この場合は、無音部分の全く無い音声信号が連続して話速変換装置に入力されることとなる。このような番組に対して、上記手法を適用した場合、メモリの蓄積量が多くなるに従って、音声の遅れ時間の増加スピードは緩和されるものの、無音部分が全く無いため、いずれはメモリの蓄積量が８０％以上に達することとなる。これは、例えば音声信号を蓄積するメモリが２秒分の音声信号を蓄積できるとした場合、音声が映像に対して１．６秒（＝２秒×８０％）遅れたままとなることを意味し、音声をゆっくりに変換することで、受聴者に対して聴き取り易い音声を提供するという、話速変換装置本来の目的から逸脱してしまう問題がある。
【０００８】
この発明は、かかる問題点を解決するためになされたもので、単位時間毎に音声遅れ時間の増加量を計算し、この計算結果に応じて、予め用意しておいた複数の話速変換倍率を、単位時間毎に随時切り換えて圧縮伸長処理を実行することによって、映像に対する音声の遅れを抑圧し、テレビ視聴者が映像と音声のずれによって感じる違和感を軽減する話速変換装置を提供することを目的としている。
【０００９】
また、後者の課題については、聴感上聴こえ難い音声部分のみを対象に、音声信号の話速変換倍率を１．０倍よりも大きくする、即ち、音声を早く再生する処理を施すことで、映像に対する音声の遅れ時間が生じ難い話速変換装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
この発明に係る話速変換装置は、音声入力端子、有音／無音判別部、信号廃棄判断部、無音信号廃棄部、速度変換部、出力音声制御部、音声出力端子及び変換速度制御部を備え、
有音／無音判別部は、音声入力端子からの入力音声信号を有音か無音かを判別し、
信号廃棄判断部は、有音／無音判別部からの判別信号で有音信号は破棄せず、無音信号は音声入力端子からの入力音声信号の総時間を算出し、出力音声制御部からの出力音声信号の総時間を算出し、音声出力総時間数から、音声入力総時間数を減算し、その結果により無音信号を廃棄するか否かを判断し、
無音信号廃棄部は同じく音声信号を入力し、信号破棄判断部からの破棄信号で無音信号を廃棄し、それ以外の信号は速度変換部に渡し、
速度変換部は無音信号廃棄部から渡された音声信号に対し、音声ピッチを変えずに音声信号の伸長処理を変換速度制御部からの話速変換倍率で施し、
出力音声制御部は、速度変換部から時間圧縮伸長処理された音声信号を音声蓄積メモリに蓄積するとともに、音声信号が入力される毎に、その時間長を出力音声信号の時間長として、信号廃棄判別部に渡し、さらに音声蓄積メモリに蓄積された出力待機中の音声信号を、時間的に古いものから順に音声出力端子に出力しかつ出力された音声サンプル数をカウントし、一定周期毎に現在の音声蓄積量として、変換速度制御部に渡し、
変換速度制御部は、出力音声制御部から受け取った現在の音声蓄積量と、前回処理時の音声蓄積量との差分値を算出し、この差分値を単位時間で除算して、音声遅延増加度を算出し、音声遅延増加度に応じた話速変換倍率を速度変換部に出力する構成にされたものである。
【００１１】
また、この発明に係る話速変換制御方法は、
音声入力端子からの入力音声信号を有音か無音かを判別し、判別信号を出力する有音／無音判別ステップと、
有音／無音判別ステップからの判別信号で有音信号は破棄せず、無音信号は現時点における音声出力総時間数から、音声入力総時間数を減算し、その結果により無音信号を廃棄するか否かを判断する信号廃棄判断ステップと、
音声信号を入力し、信号破棄判断ステップからの破棄信号で無音信号を廃棄し、それ以外の信号は次処理の速度変換ステップに渡す無音信号廃棄ステップと
無音信号廃棄ステップから渡された音声信号に対し、音声ピッチを変えずに音声信号の伸長処理を前回処理で定まる話速変換倍率で施す速度変換ステップと、
速度変換ステップから時間圧縮伸長処理された音声信号を音声蓄積メモリに蓄積するとともに、音声信号が入力される毎に、その時間長を出力音声信号の時間長として、信号廃棄判別ステップで使用する音声出力総時間数の元データとして出力し、さらに音声蓄積メモリに蓄積された出力待機中の音声信号を、時間的に古いものから順に音声出力端子に出力し、かつ出力された音声サンプル数をカウントし、一定周期毎に現在の音声蓄積量として出力する出力音声制御ステップと、
出力音声制御ステップから出力された現在の音声蓄積量と、前回処理時の音声蓄積量との差分値を算出し、この差分値を単位時間で除算して、音声遅延増加度を算出し、音声遅延増加度に応じた話速変換倍率を速度変換ステップで用いる話速変換倍率として出力する変換速度制御ステップを有する物である。
【発明の効果】
【００１２】
この発明による話速変換装置によれば、時間圧縮伸長処理における話速変換倍率を、単位時間毎に随時切り換えて動作させることが可能となり、例えば、テレビ受像機に適用された場合は、映像に対する音声の遅れを抑圧できる効果がある。
【発明を実施するための最良の形態】
【００１３】
以下、この発明を実施するための最良の一形態を説明する。
実施の形態１．
この発明の実施の形態１に係る話速変換装置について図面を参照しながら説明する。図１は、この発明の実施の形態１に係る話速変換装置の構成を示す機能ブロック図である。図において、１は音声入力端子、２は有音／無音判別部、３は信号廃棄判断部、４は無音信号廃棄部、５は速度変換部、６は出力音声制御部、７は音声出力端子、８は変換速度制御部である。
【００１４】
次に、その動作について、図１を用いて説明する。
音声信号は音声入力端子１から話速変換装置に入力され、有音／無音判別部２、信号廃棄判断部３、無音信号廃棄部４に渡される。有音／無音判別部２は、入力音声信号に対して有音か無音かの判別を行い、判別結果を信号廃棄判断部３に渡す。
【００１５】
信号廃棄判断部３は、有音／無音判別部２から渡された判別結果が有音であった場合は、信号廃棄を行わない指示信号を無音信号廃棄部４に渡す。
一方、有音／無音判別部２から受け取った判別結果が無音であった場合は、無音信号の廃棄が可能か不可能かを判断した上で、可能と判断された場合は信号廃棄を行う指示信号を、不可能と判断された場合は信号廃棄を行わない指示信号を、無音信号廃棄部４に渡す。
ここで、信号廃棄判断部３の動作について図２のフローチャートを用いて説明を加える。
【００１６】
図２は、信号廃棄判断部３の処理フローチャートを示したものであり、３ａ、３ｂ、３ｃ、３ｅ、３ｆは処理ブロック、３ｄは判断ブロックである。
また、後述する処理ブロック３ｂにおいて使用する音声入力時間数と、処理ブロック３ｃにおいて使用する音声出力時間数については、話速変換装置の動作が開始された時点での値、即ち初期値はともに０である。次に、その動作について説明する。
【００１７】
処理ブロック３ａでは、音声入力端子１から受け取った入力音声信号の時間長を、音声入力時間数に加算して、入力音声信号の総時間を算出する。
処理ブロック３ｂでは、後述する出力音声制御部６から受け取った出力音声信号の時間長を、音声出力時間数に加算して、出力音声信号の総時間を算出する。
【００１８】
処理ブロック３ｃでは、音声出力時間数から、音声入力時間数を減算する。
判断ブロック３ｄでは、減算結果が正の値であった場合は、処理ブロック３ｅにおいて、信号廃棄可能の指示信号を無音信号廃棄部４に送出し、処理を終了する。
一方、減算結果が負の値または０であった場合は、処理ブロック３ｆにおいて、信号廃棄不可能の指示信号を無音信号廃棄部４に送出し、処理を終了する。
【００１９】
この信号廃棄判断部３における一連の動作は、例えば、話速変換装置に入力される音声信号が無音信号、或いは無音部分を多く含む音声信号であった場合において、無音部分の廃棄を繰り返すことで、話速変換装置から出力する音声信号が無くなってしまうことを避けるために実行される。
以上が信号廃棄判断部３の動作説明である。引き続き、図１の話速変換装置の一連の動作説明に戻る。
【００２０】
無音信号廃棄部４は、信号廃棄判断部３から受け取った指示信号の内容が、信号廃棄を行わない指示内容であった場合は、音声入力端子１から入力された音声信号をそのまま速度変換部５に渡し、一方、信号廃棄を行う指示内容であった場合は、音声入力端子１から入力された音声信号を廃棄し、速度変換部５に渡さない。
【００２１】
速度変換部５は、無音信号廃棄部４から受け取った音声信号に対し、音声ピッチを変えずに時間圧縮伸長処理を施し、処理の結果生成された音声信号を、出力音声制御部６へ渡す。また、速度変換部５における時間圧縮伸長処理の話速変換倍率は、１．０倍、０．９倍、０．８倍等、１．０倍以下の複数のパターンを予め用意しておき、話速変換装置の動作開始時の時間圧縮伸長処理の話速変換倍率は、最も低い変換倍率、この例では０．８倍とし、以降の処理において、いずれの話速変換倍率を選択するかは変換速度制御部８が決める。この話速変換倍率の決め方については、後述する変換速度制御部８の動作説明にて、詳しく説明する。
【００２２】
出力音声制御部６は、速度変換部５から受け取った音声信号を、音声出力信号端子７に渡し、話速変換装置から音声信号が出力される。
ここで、出力音声制御部６の動作について図３を用いて説明を加える。図３は、出力音声制御部６の構成を示す機能ブロック図であり、６ａは出力音声数計算部、６ｂは変換音声蓄積部、６ｃは遅延時間計算部である。
次に、その動作について説明する。
【００２３】
出力音声数計算部６ａは、速度変換部５から時間圧縮伸長処理の施された音声信号が入力される毎に、その時間長を出力音声信号の時間長として、信号廃棄判別部３に渡す。変換音声蓄積部６ｂは、速度変換部５から受け取った時間圧縮伸長処理の施された音声信号を、予め用意しておいた音声蓄積メモリに蓄積する。そして、音声蓄積メモリに蓄積され、出力待機中の音声信号を、時間的に古いものから順に音声出力信号端子７に出力し、最終的に話速変換装置から音声信号が出力される。
【００２４】
遅延時間計算部６ｃは、変換音声蓄積部６ｂから音声出力信号端子７に出力された音声サンプル数をカウントし、一定周期毎に現在の音声蓄積量として、変換速度制御部８に渡す。ここでの一定周期とは、例えば１秒とし、サンプリング周波数が４８ｋＨｚの音声信号の場合は、４８０００サンプル分の音声サンプルが、変換音声蓄積部６ｂから音声出力信号端子７に出力される毎、となる。
以上が出力音声制御部６の動作説明である。
【００２５】
次に、速度変換部５における音声信号の話速変換倍率を決定する変換速度制御部８の動作について、図４のフローチャートを用いて説明を加える。
【００２６】
図４は、変換速度制御部８の処理フローチャートを示したものであり、８ａ、８ｂ、８ｅ、８ｆ、８ｇ、８ｈは処理ブロック、８ｃ、８ｄは判断ブロックである。次に、その動作について説明する。
【００２７】
処理ブロック８ａでは、出力音声制御部６から受け取った現在の音声蓄積量と、前回の処理の際に記録しておいた音声蓄積量との差分値を計算する。
【００２８】
処理ブロック８ｂでは、差分値を単位時間で除算する（以降の説明においては、この除算結果を音声遅延増加度と呼ぶことにする）。ここでの単位時間とは、出力音声制御部６から現在の音声蓄積量を受け取る周期と同じであり、出力音声制御部６の動作説明で示した例では、１．０秒毎となる。
音声遅延増加度の算出例としては、
例えば、前回の音声蓄積量が０．１秒、現在の音声蓄積量が０．３秒、単位時間を１．０秒とした場合、
音声遅延増加度＝（０．３秒−０．１秒）／１．０秒＝０．２
前回の音声蓄積量が０．３秒、現在の音声蓄積量が０．１秒、単位時間を１．０秒とした場合、
音声遅延増加度＝（０．１秒−０．３秒）／１．０秒＝−０．２
となる。
【００２９】
判断ブロック８ｃでは、音声遅延増加度が０．１以上であった場合は、処理ブロック８ｆにおいて、時間圧縮伸長処理の話速変換倍率を１．０倍とする指示信号を速度変換部５に送出し、処理ブロック８ｈに進む。
一方、判断ブロック８ｃにおいて、音声遅延増加度が０．１未満であった場合は、判断ブロック８ｄへ進む。
【００３０】
判断ブロック８ｄでは、音声遅延増加度が０．０５以上であった場合は、処理ブロック８ｇにおいて、時間圧縮伸長処理の話速変換倍率を０．９倍とする指示信号を速度変換部５に送出し、処理ブロック８ｈに進む。
一方、判断ブロック８ｄにおいて、音声遅延増加度が０．０５未満であった場合は、処理ブロック８ｅにおいて、時間圧縮伸長処理の話速変換倍率を０．８倍とする指示信号を速度変換部５に送出し、処理ブロック８ｈに進む。
【００３１】
最後に処理ブロック８ｈでは、出力音声制御部６から受け取った現在の音声蓄積量を記録し、処理を終了する。
【００３２】
以上が、この発明の実施の形態１の話速変換装置の一連の動作説明である。
なお、動作説明中、有音／無音判別部２における有音か無音かの判別方法については、背景技術の説明に挙げた通り、特開２００２−２９７２００号公報等に一例が詳しく開示されている。また、速度変換部５における音声ピッチを変えずに音声信号の伸長を行う方法については、特開２００１−１０９４９９号公報等に一例が詳しく開示されている。
【００３３】
以上詳しく説明したように、この発明の実施の形態１によれば、話速変換装置の時間圧縮伸長処理における話速変換倍率を、単位時間毎に随時切り換えて動作させることが可能となり、映像に対する音声の遅れを抑圧できる効果がある。
【００３４】
他の実施例１．
以上、この発明を実施の形態１の詳細な説明では、音声信号の話速変換倍率の決定方法として、音声遅延増加度に応じて話速変換倍率を切り換える変換速度制御部８を用いたが、音声遅延増加度がある一定条件を満たした場合に、話速変換倍率を前回の倍率から変更しない変換速度制御部Ａ８１を用いても良い。
次に、速度変換部５における音声信号の話速変換倍率を決定する変換速度制御部Ａ８１の動作について、図５のフローチャートを用いて説明を加える。
【００３５】
図５は、変換速度制御部Ａ８１の処理フローチャートを示したものであり、８１ａ、８１ｂ、８１ｆ、８１ｇ、８１ｈ、８１ｉ、８１ｊは処理ブロック、８１ｃ、８１ｄ、８１ｅは判断ブロックである。次に、その動作について説明する。
【００３６】
処理ブロック８１ａでは、出力音声制御部６から受け取った現在の音声蓄積量と、前回の処理の際に記録しておいた音声蓄積量との差分値を計算する。
処理ブロック８１ｂでは、差分値を単位時間で除算して、音声遅延増加度を算出する。
【００３７】
判断ブロック８１ｃでは、音声遅延増加度が０．１以上であった場合は、処理ブロック８１ｉにおいて、時間圧縮伸長処理の話速変換倍率を１．０倍とする指示信号を速度変換部５に送出し、処理ブロック８１ｊに進む。
一方、判断ブロック８１ｃにおいて、音声遅延増加度が０．１未満であった場合は、判断ブロック８１ｄへ進む。
【００３８】
判断ブロック８１ｄでは、音声遅延増加度が０．０５以上であった場合は、処理ブロック８１ｈにおいて、時間圧縮伸長処理の話速変換倍率を０．９倍とする指示信号を速度変換部５に送出し、処理ブロック８１ｊに進む。
一方、判断ブロック８１ｄにおいて、音声遅延増加度が０．０５未満であった場合は、判断ブロック８１ｅへ進む。
【００３９】
判断ブロック８１ｅでは、音声遅延増加度が−０．１以上であった場合は、処理ブロック８１ｇにおいて、時間圧縮伸長処理の話速変換倍率を、前回の倍率から変更しない指示信号を速度変換部５に送出し、処理ブロック８１ｊに進む。
一方、判断ブロック８１ｅにおいて、音声遅延増加度が−０．１未満であった場合は、処理ブロック８１ｆにおいて、時間圧縮伸長処理の話速変換倍率を０．８倍とする指示信号を速度変換部５に送出し、処理ブロック８１ｊに進む。
【００４０】
最後に処理ブロック８１ｊでは、出力音声制御部６から受け取った現在の音声蓄積量を記録し、処理を終了する。
【００４１】
変換速度制御部Ａ８１の特徴としては、図４に示した実施の形態１の変換速度制御部８では音声遅延増加度が０．０５未満の場合において話速変換倍率を０．８倍にしていたものを、その閾値を下げ、−０．１０未満の場合とし、音声遅延増加度が−０．１０以上０．０５未満の値を取る場合は不感帯ゾーンとし、話速変換倍率を変更しないようにした点である。その理由は、例えば、複数の話者が討論を交わしている場合においては、会話の中で一瞬だけ音声蓄積量が減少し、再び増加に転じることがあるが、このようなケースにおいて、話速変換倍率をもっとも速度の遅い０．８倍に戻してしまうと、映像に対する音声の遅れが再び増加に転じてしまうことを避けるためである。
以上が、変換速度制御部Ａ８１の動作説明である。
【００４２】
以上詳しく説明したように、変換速度制御部８の代わりに変換速度制御部Ａ８１を用いた他の実施例１によれば、時間圧縮伸長処理の話速変換倍率を単位時間毎に随時切り換えて動作させることが可能となり、映像に対する音声の遅れを抑圧できる効果に加え、音声蓄積量の微小な増減変化に対しては、現在の速度を維持することが可能となり、映像に対する音声の遅れを更に抑圧できる効果がある。
【００４３】
実施の形態２．
この発明を実施するための最良の形態２に係る話速変換装置について図面を参照しながら説明する。図６は、この発明の実施の形態２に係る話速変換装置の構成を示す機能ブロック図であり、１は音声入力端子、２１は有音／無音判別部Ａ、３は信号廃棄判断部、４は無音信号廃棄部、５１は速度変換部Ａ、６は出力音声制御部、７は音声出力端子、８２は変換速度制御部Ｂである。
【００４４】
次に、その動作について、図６を用いて説明する。
音声信号は音声入力端子１から話速変換装置に入力され、有音／無音判別部Ａ２１、信号廃棄判断部３、無音信号廃棄部４に渡される。有音／無音判別部Ａ２１は、入力音声信号に対して有音か無音かの判別を行い、判別結果を信号廃棄判断部３に渡す。また、有音と判断された入力音声信号のレベル計算を行い、その結果を変換速度制御部Ｂ８２に渡す。
【００４５】
信号廃棄判断部３は、有音／無音判別部Ａ２１から渡された判別結果が有音であった場合は、信号廃棄を行わない指示信号を無音信号廃棄部４に渡す。一方、有音／無音判別部Ａ２１から受け取った判別結果が無音であった場合は、無音信号の廃棄が可能か不可能かを判断した上で、可能と判断された場合は信号廃棄を行う指示信号を、不可能と判断された場合は信号廃棄を行わない指示信号を、無音信号廃棄部４に渡す。
この信号廃棄判断部３は、この発明の実施の形態１の説明の中で、図２を用いて詳しく説明を行ったものと同じであり、よって、説明は省略する。
【００４６】
無音信号廃棄部４は、信号廃棄判断部３から受け取った指示信号の内容が、信号廃棄を行わない指示内容であった場合は、入力音声信号をそのまま速度変換部Ａ５１に渡し、一方、信号の廃棄を行う指示内容であった場合は、音声入力端子１から入力された音声信号を廃棄し、速度変換部Ａ５１に渡さない。
【００４７】
速度変換部Ａ５１は、無音信号廃棄部４から受け取った音声信号に対し、音声ピッチを変えずに時間圧縮伸長処理を施し、処理の結果生成された音声信号を、出力音声制御部６へ渡す。また、速度変換部Ａ５１における時間圧縮伸長処理の話速変換倍率は、１．１倍、１．０倍、０．９倍、０．８倍等、複数のパターンを予め用意しておき、話速変換装置の動作開始時の時間圧縮伸長処理の話速変換倍率は、最も低い変換倍率、この例では０．８倍とし、以降の処理において、いずれの話速変換倍率を選択するかは変換速度制御部Ｂ８２が決める。この話速変換倍率の決め方については、後述する変換速度制御部Ｂ８２の動作説明にて、詳しく説明する。
【００４８】
出力音声制御部６は、速度変換部Ａ５１から受け取った音声信号を、音声出力信号端子７に渡し、話速変換装置から音声信号が出力される。
出力音声制御部６は、この発明の実施の形態１の説明の中で図３を用いて詳しく説明を行ったものと同等であり、その構成、動作説明は省略する。
【００４９】
次に、速度変換部Ａ５１における音声信号の話速変換倍率を決定する変換速度制御部Ｂ８２の動作について、図７のフローチャートを用いて説明を加える。
【００５０】
図７は、変換速度制御部Ｂ８２の処理フローチャートを示したものであり、８２ａ、８２ｂ、８２ｅ、８２ｇ、８２ｈ、８２ｉ、８２ｊ、８２ｋは処理ブロック、８２ｃ、８２ｄ、８２ｆは判断ブロックである。次に、その動作について説明する。
【００５１】
処理ブロック８２ａでは、出力音声制御部６から受け取った現在の音声蓄積量と、前回の処理の際に記録しておいた音声蓄積量との差分値を計算する。
処理ブロック８２ｂでは、差分値を単位時間で除算して、音声遅延増加度を算出する。
【００５２】
判断ブロック８２ｃでは、音声遅延増加度が０．１以上であった場合は、処理ブロック８２ｅに進む。一方、判断ブロック８２ｃにおいて、音声遅延増加度が０．１未満であった場合は、判断ブロック８２ｄへ進む。
【００５３】
判断ブロック８２ｄでは、音声遅延増加度が０．０５以上であった場合は、処理ブロック８２ｈにおいて、時間圧縮伸長処理の話速変換倍率を０．９倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８２ｋに進む。
一方、判断ブロック８２ｄにおいて、音声遅延増加度が０．０５未満であった場合は、処理ブロック８２ｇにおいて、時間圧縮伸長処理の話速変換倍率を０．８倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８２ｋに進む。
【００５４】
処理ブロック８２ｅでは、有音／無音判別部Ａ２１から受け取った、有音と判断された入力音声信号のレベルと、予め定めておいた無音閾値レベルの差分値の計算を行う。
ここでの無音閾値レベルとは、音声信号を無音と判定するレベルの値であり、例えば、信号レベルの最大値をデシベル表記で０ｄＢとした場合、無音と判定するレベル値は、−４５ｄＢとする。なお、有音／無音判別部Ａ２１にて、有音／無音の判別手段に信号レベルを用いた場合は、無音と判定するレベルの値を有音／無音判別部Ａ２１から受け取るように変更し、受け取った値を無音閾値レベルに代用しても良い。
【００５５】
判断ブロック８２ｆでは、処理ブロック８２ｅにおいて算出したレベル差分値が５ｄＢ以下であった場合は、処理ブロック８２ｊにおいて、時間圧縮伸長処理の話速変換倍率を１．１倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８２ｋに進む。
一方、判断ブロック８２ｆにおいて、レベル差分値が５ｄＢより大きかった場合は、処理ブロック８２ｉにおいて、時間圧縮伸長処理の話速変換倍率を１．０倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８２ｋに進む。
【００５６】
最後に処理ブロック８２ｋでは、出力音声制御部６から受け取った現在の音声蓄積量を記録し、処理を終了する。
【００５７】
変換速度制御部Ｂ８２の特徴としては、図１に示した実施の形態１の変換速度制御部８では、音声遅延増加度０．１以上の場合において話速変換倍率を１．０倍にしていたものを、音声遅延増加度０．１以上で入力音声信号のレベルと無音閾値レベルの差分値が５ｄＢ以下の場合のみ話速変換倍率を１．１倍に変更した点である。その理由は、映像に対する音声の遅れを小さくするために、聴感上聴こえ難い、無音閾値レベルより少し大きい音声信号のみを早く再生することである。
以上が、変換速度制御部Ｂ８２の動作説明である。
【００５８】
以上が、この発明の実施の形態２の話速変換装置の一連の動作説明である。なお、動作説明中、有音／無音判別部２における有音か無音かの判別方法については、背景技術の説明に挙げた通り、特開２００２−２９７２００号公報等に一例が詳しく開示されている。また、速度変換部Ａ５１における音声ピッチを変えずに音声信号の伸長を行う方法については、特開２００１−１０９４９９号公報等に一例が詳しく開示されている。
【００５９】
以上詳しく説明したように、この発明の実施の形態２によれば、時間圧縮伸長処理の話速変換倍率を単位時間毎に随時切り換えて動作させることが可能となり、映像に対する音声の遅れを抑圧できる効果がある。
【００６０】
また、この発明の実施の形態２によれば、聴感上聴こえ難い音声信号の時間圧縮伸長処理の話速変換倍率を、従来の１．０倍から１．１倍にすることが可能となり、映像に対する音声の遅れを更に抑圧できる効果がある。
【００６１】
他の実施例２．
以上、この発明の実施の形態２の詳細な説明では、音声信号の話速変換倍率の決定方法として、音声遅延増加度に応じて話速変換倍率を切り換える変換速度制御部Ｂ８２を用いたが、音声遅延増加度がある一定条件を満たした場合のみ話速変換倍率を前回の倍率から変更しない変換速度制御部Ｃ８３を用いても良い。
次に、速度変換部Ａ５１における音声信号の話速変換倍率を決定する変換速度制御部Ｃ８３の動作について、図８のフローチャートを用いて説明を加える。
【００６２】
図８は、変換速度制御部Ｃ８３の処理フローチャートを示したものであり、８３ａ、８３ｂ、８３ｆ、８３ｈ、８３ｉ、８３ｊ、８３ｋ、８３ｌ、８３ｍは処理ブロック、８３ｃ、８３ｄ、８３ｅ、８３ｇは判断ブロックである。
次に、その動作について説明する。
【００６３】
処理ブロック８３ａでは、出力音声制御部６から受け取った現在の音声蓄積量と、前回の処理の際に記録しておいた音声蓄積量との差分値を計算する。
処理ブロック８３ｂでは、差分値を単位時間で除算して、音声遅延増加度を算出する。
【００６４】
判断ブロック８３ｃでは、音声遅延増加度が０．１以上であった場合は、処理ブロック８３ｆに進む。一方、判断ブロック８３ｃにおいて、音声遅延増加度が０．１未満であった場合は、判断ブロック８３ｄへ進む。
【００６５】
判断ブロック８３ｄでは、音声遅延増加度が０．０５以上であった場合は、処理ブロック８３ｊにおいて、時間圧縮伸長処理の話速変換倍率を０．９倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８３ｍに進む。一方、判断ブロック８３ｄにおいて、音声遅延増加度が０．０５未満であった場合は、判断ブロック８３ｅへ進む。
【００６６】
判断ブロック８３ｅでは、音声遅延増加度が−０．１以上であった場合は、処理ブロック８３ｉにおいて、時間圧縮伸長処理の話速変換倍率を、前回の倍率から変更しない指示信号を速度変換部Ａ５１に送出し、処理ブロック８３ｍに進む。一方、判断ブロック８３ｅにおいて、音声遅延増加度が−０．１未満であった場合は、処理ブロック８３ｈにおいて、時間圧縮伸長処理の話速変換倍率を０．８倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８３ｍに進む。
【００６７】
処理ブロック８３ｆでは、有音／無音判別部Ａ２１から受け取った、有音と判断された入力音声信号のレベルと、予め定めておいた無音閾値レベルの差分値の計算を行う。
ここでの無音閾値レベルとは、音声信号を無音と判定するレベルの値であり、例えば、信号レベルの最大値をデシベル表記で０ｄＢとした場合、無音と判定するレベル値は−４５ｄＢとする。なお、有音／無音判別部Ａ２１にて、有音／無音の判別手段に信号レベルを用いた場合は、無音と判定するレベルの値を有音／無音判別部Ａ２１から受け取るように変更し、受け取った値を無音閾値レベルに代用しても良い。
【００６８】
判断ブロック８３ｇでは、処理ブロック８３ｆにおいて算出したレベル差分値が５ｄＢ以下であった場合は、処理ブロック８３ｌにおいて、時間圧縮伸長処理の話速変換倍率を１．１倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８３ｍに進む。一方、判断ブロック８３ｇにおいて、レベル差分値が５ｄＢより大きかった場合は、処理ブロック８３ｋにおいて、時間圧縮伸長処理の話速変換倍率を１．０倍とする指示信号を速度変換部Ａ５１に送出し、処理ブロック８３ｍに進む。
【００６９】
最後に処理ブロック８３ｍでは、出力音声制御部６から受け取った現在の音声蓄積量を記録し、処理を終了する。
【００７０】
変換速度制御部Ｃ８３の特徴としては、図６に示した実施の形態２の変換速度制御部Ｂ８２では音声遅延増加度が０．０５未満の場合において話速変換倍率を０．８倍にしていたものを、その閾値を下げ、−０．１０未満の場合とし、音声遅延増加度が−０．１０以上０．０５未満の値を取る場合は不感帯ゾーンとし、話速変換倍率を変更しないようにした点である。その理由は、例えば、複数の話者が討論を交わしている場合においては、会話の中で一瞬だけ音声蓄積量が減少し、再び増加に転じることがあるが、このようなケースにおいて、話速変換倍率をもっとも速度の遅い０．８倍に戻してしまうと、映像に対する音声の遅れが再び増加に転じてしまうことを避けるためである。
以上が、変換速度制御部Ｃ８３の動作説明である。
【００７１】
以上詳しく説明したように、変換速度制御部Ｂ８２の代わりに変換速度制御部Ｃ８３を用いた他の実施例２によれば、時間圧縮伸長処理の話速変換倍率を単位時間毎に随時切り換えて動作させることが可能となり、映像に対する音声の遅れを抑圧できる効果に加え、音声蓄積量の微小な増減変化に対しては、現在の速度を維持することが可能となり、映像に対する音声の遅れを更に抑圧できる効果がある。
【００７２】
なお、以上の各実施の形態はテレビ放送の映像と音声の関係についてを例に説明したが、この発明は電話機等にも適用されることで相手との会話において返答が時間的に遅れる等の間のあいたことが防げる。
【産業上の利用可能性】
【００７３】
この発明は、テレビジョン装置や電話機及び携帯電話機等に適用されることで、これら装置の音声をその音声ピッチを変えずにゆっくり再生することができ、受聴者に対して聴き取り易い話音声が提供できるものである。
【図面の簡単な説明】
【００７４】
【図１】この発明の実施の形態１に係る話速変換装置の構成を示す機能ブロック図である。
【図２】実施の形態１における信号廃棄判断部の処理フローチャートである。
【図３】実施の形態１における出力音声制御部の構成を示す機能ブロック図である。
【図４】実施の形態１における変換速度制御部の動作のフローチャートである。
【図５】実施の形態１に係る他の実施例の変換速度制御部Ａの処理フローチャートである。
【図６】この発明を実施の形態２に係る話速変換装置の構成を示す機能ブロック図である。
【図７】この発明を実施の形態２に係る変換速度制御部Ｂの処理フローチャートである。
【図８】実施の形態２に係る他の実施例の変換速度制御部Ｃの処理フローチャートである。
【符号の説明】
【００７５】
１；音声入力端子、２；有音／無音判別部、３；信号廃棄判断部、４；無音信号廃棄部、５；速度変換部、６；出力音声制御部、６ａ；出力音声数計算部、６ｂ；変換音声蓄積部、６ｃ；遅延時間計算部、７；音声出力端子、８；変換速度制御部、２１；有音／無音判別部Ａ、５１；速度変換部Ａ、８１；変換速度制御部Ａ、８２；変換速度制御部Ｂ、８３；変換速度制御部Ｃ。
【図１】
2008107381.tif 000003
【図２】
2008107381.tif 000004
【図３】
2008107381.tif 000005
【図４】
2008107381.tif 000006
【図５】
2008107381.tif 000007
【図６】
2008107381.tif 000008
【図７】
2008107381.tif 000009
【図８】
2008107381.tif 000010