(57)【要約】 【課題】  音声信号に時間軸圧伸を施して話速変換する際に、話速変換を実行する装置に過大な処理負荷をかけることなく、処理後の音声信号に波形の不連続が生じることを回避する。【解決手段】  処理対象である音声信号の表す音声の音量の対数値の時間変化率を示す値をフレーム毎に算出する算出手段と、前記音声信号を構成する複数のフレームのうち、前記算出手段により算出された値の大きさが所定の閾値を超えているフレームおよびそのフレームに後続する所定数のフレームについて、話速変換を禁止されていると判別する判別手段と、話速変換を禁止されていると前記判別手段により判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する話速変換手段と、を有することを特徴とする話速変換装置を提供する。【選択図】図１
2008107706.tif 000002
【特許請求の範囲】
【請求項１】
処理対象である音声信号の表す音の立ち上がり部分および該音の立下り部分に該当するフレームを前記音の音量の時間変化から特定し、そのフレームとそのフレームの前後の所定数のフレームについて、話速変換を禁止されている話速変換禁止フレームであると判別する判別手段と、
話速変換禁止フレームであると前記判別手段により判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する話速変換手段と、
を具備することを特徴とする話速変換装置。
【請求項２】
前記音声信号の表す音声の音量の対数値の時間変化率を示す値をフレーム毎に算出する算出手段を備え、
前記判別手段は、
前記音声信号を構成する複数のフレームのうち、前記算出手段により算出された値の大きさが所定の閾値を超えているフレームとそのフレームの前後の所定数のフレームについて、前記話速変換禁止フレームであると判別する
ことを特徴とする請求項１に記載の話速変換装置。
【請求項３】
前記音声信号の表す音声の音量の時間変化をその音量で除して得られる値をフレーム毎に算出する算出手段を備え、
前記判別手段は、
前記音声信号を構成する複数のフレームのうち、前記算出手段により算出された値の大きさが所定の閾値を超えているフレームとそのフレームの前後の所定数のフレームについて、前記話速変換禁止フレームであると判別する
ことを特徴とする請求項１に記載の話速変換装置。
【請求項４】
コンピュータ装置に、
処理対象である音声信号の表す音の立ち上がり部分および該音の立下り部分に該当するフレームを前記音の音量の時間変化から特定し、そのフレームとそのフレームの前後の所定数のフレームについて、話速変換を禁止されている話速変換禁止フレームであると判別する第１のステップと、
話速変換禁止フレームであると前記第１のステップにて判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する第２のステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号に時間軸圧伸処理を施す技術に関する。
【背景技術】
【０００２】
音声信号に時間軸圧伸処理を施し、その音声信号の表す音声の話速を適宜調整する技術が種々提案されている。例えば、非特許文献１には、フレーム長を変えつつ音声の自己相関を算出し、最も相関が高くなるフレーム長をその音声の周期とみなし、その周期単位で波形の挿入または削除を行うことにより話速変換を行うＰＩＣＯＬＡと呼ばれるアルゴリズムが開示されている。
【非特許文献１】森田直孝，板倉文忠、“ポインター移動制御による重複加算法（ＰＩＣＯＬＡ）を用いた音声の時間軸での伸長圧縮とその評価”、日本音響学会講演論文集、p.149-150、昭和６１年１０月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１に開示された技術を単純に適用してしまうと、音量変化の大きい部分や破裂音の子音部分で聴感上の問題を生じさせてしまう場合がある。具体的には、音量変化の大きい部分で波形の挿入や削除を行ってしまうと、その部分で音量の変化が不連続になり、「ぼこっ」という異音が聞こえてしまう場合がある。また、破裂音の子音部分で波形の挿入や削除が行われてしまうと、子音が複数回聴こえてしまう場合がある。
【０００４】
上記の如き波形の不連続の発生を回避する方策としては、処理対象である音声信号に音声認識処理を施し、破裂音の子音など波形の不連続が生じ易い箇所を予め特定し、該当箇所を時間軸圧伸処理の対象から除外しておくことが考えられる。しかしながら、音声認識処理の実行には一般に多大なハードウェアリソースを要し（換言すれば、処理負荷が高い）、例えば携帯電話機など処理能力が低い端末装置には適用が難しいといった問題点がある。
【０００５】
本発明は、上記課題に鑑みて為されたものであり、音声信号に時間軸圧伸を施して話速変換する際に、話速変換を実行する装置に過大な処理負荷をかけることなく、処理後の音声信号に波形の不連続が生じることを回避する技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、処理対象である音声信号の表す音の立ち上がり部分および該音の立下り部分に該当するフレームを前記音の音量の時間変化から特定し、そのフレームとそのフレームの前後の所定数のフレームについて、話速変換を禁止されている話速変換禁止フレームであると判別する判別手段と、話速変換禁止フレームであると前記判別手段により判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する話速変換手段と、を具備することを特徴とする話速変換装置を提供する。
【０００７】
また、上記課題を解決するために、本発明は、コンピュータ装置に、処理対象である音声信号の表す音の立ち上がり部分および該音の立下り部分に該当するフレームを前記音の音量の時間変化から特定し、そのフレームとそのフレームの前後の所定数のフレームについて、話速変換を禁止されている話速変換禁止フレームであると判別する第１のステップと、話速変換禁止フレームであると前記第１のステップにて判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する第２のステップと、を実行させることを特徴とするプログラムを提供する。
【発明の効果】
【０００８】
本発明によれば、音声信号に時間軸圧伸を施して話速変換する際に、話速変換を実行する装置に過大な処理負荷をかけることなく、処理後の音声信号に波形の不連続が生じることを回避することが可能になる、といった効果を奏する。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しつつ、本発明を実施する際の最良の形態について説明する。
（Ａ：構成）
図１は、本発明の一実施形態に係る話速変換装置１０のハードウェア構成の一例を示す図である。
図１の入力端子ＣＨ−ｉｎには、アナログの音声信号Ｓ−ｉｎ（ｔ）を出力する音源（図示省略）が接続されており、この音源から出力される音声信号が入力される。
図１においては詳細な図示は省略したが、入力端子ＣＨ−ｉｎへ入力された音声信号Ｓ−ｉｎ（ｔ）は、Ａ／Ｄ変換回路（図示省略）によってデジタル信号に変換された後に所定時間長（本実施形態では、８ミリ秒）のフレーム単位で切り出され、遅延処理回路１１０と音量変化率算出部１２０とへ引き渡される。以下では、デジタルデータに変換されフレーム単位で切り出された音声信号についても“Ｓ−ｉｎ(ｔ)”と表記する。
なお、以下では、図２（ａ）に示す信号波形を有する音声信号Ｓ−ｉｎ（ｔ）が入力端子ＣＨ−ｉｎへ入力されるものとする。また、本実施形態では、入力端子ＣＨ−ｉｎへ入力される音声信号がアナログ信号である場合について説明するが、デジタル信号であっても良いことは勿論であり、この場合、Ａ／Ｄ変換回路を設ける必要がないことは言うまでもない。
【００１０】
図１の遅延処理回路１１０は、入力された音声信号Ｓ−ｉｎ（ｔ）を数十ミリ秒程度の遅延時間Δｔだけ遅延させて話速変換部１４０へ出力する。なお、音声信号Ｓ−ｉｎ（ｔ）に上記遅延処理を施す理由は、話速変換処理が略リアルタイムで為されているようにユーザに体感させるため、遅延時間Δｔだけ過去に遡って話速変換を実行するためである。ここで上記遅延時間Δｔは、数十ミリ秒程度であるから、聴感上の影響は殆どない。
【００１１】
図１の音量変化率算出部１２０は、上記のようにデジタル変換された音声信号Ｓ−ｉｎ（ｔ）をフレーム単位で順次受け取り、その音声信号の表す音声の音量の時間変化の度合いを表す値ΔＰ（ｔ）をフレーム毎に算出し判別部１３０へ引き渡すものである。
より詳細に説明すると、音量変化率算出部１２０は、フレーム単位で順次受け取った音声信号Ｓ−ｉｎ（ｔ）のエンベロープを求めることによって、その音声信号の音量をフレーム毎に特定し（図２（ｂ）参照）、さらに、上記ΔＰ（ｔ）として、音量の常用対数値（図２（ｃ））の一次微分（図２（ｄ））をフレーム毎に算出して判別部１３０へ引き渡す。
なお、上記音声信号Ｓ−ｉｎ（ｔ）の表す音声にて音量が急激に上昇する立ち上がり部分や音量が急激に下降する立下り部分を正確に特定するために、上記ΔＰ（ｔ）として音量の常用対数値（図２（ｃ））の一次微分を用いている。しかしながら、例えば音量の一次微分を用いても上記立ち上がり部分や立下り部分を特定することができる場合には、音量の一次微分を上記ΔＰ（ｔ）として用いても良いことは勿論である。
【００１２】
さて、本実施形態に係る音量変化率算出部１２０は、ｔ番目のフレームについてのΔＰ（ｔ）を以下の式（１）にしたがって算出する。
ΔＰ（ｔ）＝｛ｌｎ（１０）×（Ｐ（ｔ）−Ｐ（ｔ−１））｝／ｌｎ（Ｐ（ｔ）…（１）
ただし、式（１）において、ｌｎ（）は自然対数を意味し、Ｐ（ｔ）はｔ番目のフレームの音量を所定の基準音量で規格化して得られる値であり、Ｐ（ｔ−１）はその１つ手前のフレームの音量を所定の基準音量で規格化して得られる値である。
なお、本実施形態では、各フレームの音量の時間変化の度合いを示す値ΔＰ（ｔ）として音量の常用対数値の一次微分を用い、その値を式（１）にしたがって算出する場合について説明したが、他の手法（例えば、互いに異なる複数の真数値に対応付けてその真数値に対する常用対数の一次微分の値を格納したテーブルを参照して上記ΔＰ（ｔ）を求める手法）であっても勿論良い。
【００１３】
判別部１３０は、図１においては、詳細な図示は省略したが、遅延時間Δｔに応じた数のフレームを格納し得る記憶容量を有するバッファとコンパレータとを含んでいる。
この判別部１３０は、音量変化率算出部１２０から引き渡されるΔＰ（ｔ）を受け取って、その受け取り順に上記バッファへ格納する一方、そのΔＰ（ｔ）よりもΔｔだけ過去の時刻における音量の変化度合いを示す値（すなわち、ΔＰ（ｔ−Δｔ））を上記バッファから読み出し、そのΔＰ（ｔ−Δｔ）の大きさが所定の閾値ｔｈを超えているか否かを判別し、その判別結果に応じた制御信号ＣＳを出力する。
より詳細に説明すると、判別部１３０は、ΔＰ（ｔ）の大きさが上記閾値ｔｈを上回っているフレーム（図２（ｄ）にて破線で区画された部分）とその前後の所定数のフレーム（図２（ｄ）にてハッチングで示す部分）について、話速変換を禁止するフレーム（以下、「話速変換禁止フレーム」）であると判別し、その旨を示す制御信号ＣＳとして信号値が“１”である制御信号（以下、話速変換禁止信号）を話速変換部１４０へ出力する。また、判別部１３０は、他のフレームについては、信号値が“０”である制御信号ＣＳ（以下、話速変換許可信号）を話速変換部１４０へ出力する。これにより、音声信号Ｓ−ｉｎ（ｔ）を構成する複数のフレームうちの何れが話速変換禁止フレームであるのかが話速変換部１４０へ伝達されることになる。
【００１４】
話速変換部１４０は、例えばＤＳＰであり、非特許文献１に開示された話速変換アルゴリズム（すなわち、ＰＩＣＯＬＡ）にしたがって、図示せぬ操作部を介してユーザによって指定された話速に応じた周期数分の波形を挿入または削除する処理をＳ−ｉｎ（ｔ−Δｔ）に施し、その処理結果である音声信号Ｓ−ｏｕｔ（ｔ−Δｔ）をＤ／Ａ変換回路（図示省略）によってアナログ信号へ変換し出力端子ＣＨ−ｏｕｔを介して外部へ出力する。この出力端子ＣＨ−ｏｕｔには、例えばスピーカなどの放音装置（図示省略）が接続されており、この放音装置からは、話速変換装置１０により話速変換処理が施された音声信号に応じた音声が放音される。
【００１５】
ただし、本実施形態にかかる話速変換部１４０は、処理対象であるフレームについて判別部１３０から引き渡された制御信号ＣＳが話速変換禁止信号である場合（すなわち、処理対象フレームが話速変換禁止フレームである場合）には、Ｓ−ｉｎ（ｔ−Δｔ）をそのままＳ−ｏｕｔ（ｔ−Δｔ´）として出力する点が非特許文献１に開示された技術と異なっている。なお、出力信号Ｓ−ｏｕｔの遅延量が「Δｔ´」となっているのは、それまでの話速変換によって遅延量がΔｔとは異なりうることを意味している。
このため、本実施形態に係る話速変換装置１０においては、音量が大きく変化している部分（例えば、音の立ち上がり部分や立下り部分）に波形挿入や波形削除が行われることはなく、非特許文献１について指摘した問題が生じることはない。なお、破裂音の子音部分については、音量変化の度合いが大きいことが一般的であり、そのような部分については判別部１３０によって話速変換禁止信号が出力されるので、破裂音の子音部分で複数回表れるといった不具合が生じることは極めて少なくなる。また、破裂音の子音部分について常に音量変化が大きいとは限らないが、音量変化小さい部分については、波形の不連続が生じたとしても聴感上はほとんど影響を与えない。
【００１６】
以上に説明したように、本実施形態に係る話速変換装置１０によれば、音声信号に時間軸圧伸を施して話速変換する際に、音量変化の大きい部分で音声信号に波形の不連続が生じることが回避される。加えて、本実施形態に係る話速変換装置１０においては、波形挿入や波形削除の対象から除外する部分を音量の変化率に基づいて特定し、音声認識などの複雑な処理を行ってはいないため、話速変換装置１０に過大な負荷がかかることはない。
このように、本実施形態によれば、音声信号に時間軸圧伸を施して話速変換する際に、話速変換を実行する装置に過大な処理負荷をかけることなく、処理後の音声信号に波形の不連続が生じることを回避することが可能になる、といった効果を奏する。
【００１７】
（Ｂ：変形）
以上、本発明の１実施形態について説明したが、係る実施形態に以下に述べるような変形を加えても良いことは勿論である。
（１）上述した実施形態では、ΔＰ（ｔ）の大きさが所定の閾値を超えているフレームとそのフレームの前後の所定数のフレームについて話速変換を禁止する場合について説明した。しかしながら、音の立ち上がり部分（ΔＰ（ｔ）が正の部分）と音の立下り部分とで、話速変換を禁止する区間の長さを変える（例えば、音の立下り部分について話速変換を禁止する区間を長くする）ようにしても良い。
【００１８】
（２）上述した実施形態では、処理対象である音声信号の表す音声の音量の対数値の時間変化率を示す値をフレーム毎に算出する算出手段（音量変化率算出部１２０）、音声信号を構成する複数のフレームのうち、算出手段により算出された値の大きさが所定の閾値を超えているフレームおよびそのフレームに後続する所定数のフレームについて、話速変換を禁止されていると判別する判別手段（判別部１３０）、話速変換を禁止されていると判別されたフレームについてはそのまま出力する一方、その他のフレームについては、指定された話速になるように波形挿入または波形削除を行って出力する話速変換手段（話速変換部１４０）の各々をハードウェアモジュールで実現し、これらハードウェアモジュールを組み合わせて本発明に係る話速変換装置を構成する場合について説明したが、これら各手段をソフトウェアモジュールで実現するとしても良いことは勿論である。
【００１９】
具体的には、ＣＰＵ（Central Processing Unit）を上記音量変化率算出手段、判別手段および話速変換手段として機能させるプログラム（例えば、上記ＣＰＵに図３に示す話速変換処理を実行させるプログラム）を、パーソナルコンピュータなど一般的なコンピュータ装置にインストールし、そのコンピュータ装置を本発明に係る話速変換装置として機能させるようにすれば良い。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る話速変換装置１０の構成例を示すブロック図である。
【図２】本実施形態に係る話速変換処理の処理過程を示す図である。
【図３】変形例（１）に係る話速変換処理の流れを示すフローチャートである。
【符号の説明】
【００２１】
１０…話速変換装置、ＣＨ−ｉｎ…入力端子、１１０…遅延回路、１２０…音量変化率算出部、１３０…判別部、１４０…話速変換部、ＣＨ−ｏｕｔ…出力端子。
【図１】
2008107706.tif 000003
【図２】
2008107706.tif 000004
【図３】
2008107706.tif 000005