(57)【要約】音声符号化装置（１０）は、音声分析部（１１０）と、声道パラメータ不連続点検出部（１２０）と、フレーム間引き（１３０）と、コード生成部（１４０）とを備える。フレーム間引き部（１３０）は、各フレームが子音区間内である場合には、音素境界を含むまたは音素境界に隣接するフレーム以外のフレームを１つおきに間引き、母音・撥音・長音の区間内である場合には、音素境界を含むまたは音素境界に隣接する１フレームと、当該フレームに隣接する母音・撥音・長音の区間内の１フレームと、音素区間の時間長の１／２の時点を含む１フレームと、声道パラメータの不連続点を含む１フレームと、当該フレームの直後あるいは直前の１フレームと以外のフレームを間引く。
2003042648.tif 000002
【特許請求の範囲】
【請求項１】
所定の音声生成モデルに基づいて音声信号から声道パラメータと音源パラメータとをフレームごとに推定する音声分析部と、
前記音声分析部によって推定された声道パラメータの不連続点を検出する検出部と、
前記検出部によって検出された不連続点を含むフレーム以外のフレームを間引く間引き部と、
前記間引き部による間引き処理後のフレームの声道パラメータおよび音源パラメータと前記間引き部によって間引かれたフレームの数を示す間引き情報とを符号化するコード生成部とを備える
ことを特徴とする音声符号化装置。
【請求項２】
請求項１において、
前記音声信号の有声／無声を判定する判定部をさらに備え、
前記間引き部は、
前記判定部による判定結果に基づいて前記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと前記検出部によって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項３】
請求項２において、
前記間引き部は、前記有声／無声境界を含むフレームと前記有声／無声境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記有声／無声境界を含むフレームに連続する１または複数のフレームは、前記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化装置。
【請求項４】
請求項１において、
前記間引き部は、
前記音声信号についての音素ラベル情報に基づいて前記音声信号の音素境界を含むフレームを検出し、当該フレームと前記検出部によって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項５】
請求項４において、
前記間引き部は、前記音素境界を含むフレームと前記音素境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記音素境界を含むフレームに連続する１または複数のフレームは、前記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化装置。
【請求項６】
請求項４において、
前記間引き部は、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の時間長の１／２の時点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項７】
請求項４において、
前記間引き部は、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項８】
請求項１において、
前記声道パラメータは複数のパラメータセットを含み、
前記複数のパラメータセットの各々は前記音声生成モデルの声道フィルタを表現するためのものであり、
前記検出部は、
隣接するフレーム間でのパラメータセットの対応づけをＤＰマッチングにより行い、その結果に基づいて前記不連続点を検出する
ことを特徴とする音声符号化装置。
【請求項９】
請求項１において、
前記間引き部は、
前記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項１０】
請求項１に記載の音声符号化装置によって符号化されたデータを用いて前記音声生成モデルに基づいて音声信号を合成する音声復号化装置であって、
前記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を前記符号化データ内の間引き情報に基づいて検出する検出部と、
前記検出部によって検出されたフレーム数と前記あるフレームの音源パラメータおよび声道パラメータと前記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間する補間部と、
前記補間部による補間処理後の符号化データの音源パラメータを前記音声生成モデルの音源モデルに与えて音源信号を生成し、前記補間処理後の符号化データの声道パラメータに基づいて前記音声生成モデルの声道フィルタを構成し、前記生成した音源信号を前記構成した声道フィルタを通過させて音声信号を生成する音声合成部とを備える
ことを特徴とする音声復号化装置。
【請求項１１】
所定の音声生成モデルに基づいて音声信号から声道パラメータと音源パラメータとをフレームごとに推定するステップと、
前記推定ステップによって推定された声道パラメータの不連続点を検出するステップと、
前記検出ステップによって検出された不連続点を含むフレーム以外のフレームを間引くステップと、
前記間引きステップによる間引き処理後のフレームの声道パラメータおよび音源パラメータと前記間引きステップによって間引かれたフレームの数を示す間引き情報とを符号化するステップとを備える
ことを特徴とする音声符号化方法。
【請求項１２】
請求項１１において、
前記音声信号の有声／無声を判定するステップをさらに備え、
前記間引きステップでは、
前記判定ステップによる判定結果に基づいて前記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと前記検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１３】
請求項１２において、
前記間引きステップでは、
前記有声／無声境界を含むフレームと前記有声／無声境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記有声／無声境界を含むフレームに連続する１または複数のフレームは、前記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化方法。
【請求項１４】
請求項１１において、
前記間引きステップでは、
前記音声信号についての音素ラベル情報に基づいて前記音声信号の音素境界を含むフレームを検出し、当該フレームと前記検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１５】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記音素境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記音素境界を含むフレームに連続する１または複数のフレームは、前記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化方法。
【請求項１６】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の時間長の１／２の時点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１７】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１８】
請求項１１において、
前記声道パラメータは複数のパラメータセットを含み、
前記複数のパラメータセットの各々は前記音声生成モデルの声道フィルタを表現するためのものであり、
前記検出ステップでは、
隣接するフレーム間でのパラメータセットの対応づけをＤＰマッチングにより行い、その結果に基づいて前記不連続点を検出する
ことを特徴とする音声符号化方法。
【請求項１９】
請求項１１において、
前記間引きステップでは、
前記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項２０】
請求項１１に記載の音声符号化方法によって生成された符号化データを用いて前記音声生成モデルに基づいて音声信号を合成する音声復号化方法であって、
前記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を前記符号化データ内の間引き情報に基づいて検出し、
検出したフレーム数と前記あるフレームの音源パラメータおよび声道パラメータと前記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間し、
補間処理後の符号化データの各フレームの音源パラメータを前記音声生成モデルの音源モデルに与えて音源信号を生成し、
前記各フレームの声道パラメータに基づいて前記音声生成モデルの声道フィルタを構成し、
前記生成した音源信号を前記構成した声道フィルタを通過させて音声信号を生成する
ことを特徴とする音声復号化方法。
【発明の詳細な説明】
技術分野
この発明は音声符号化装置、音声復号化装置、音声符号化方法および音声復号化方法に関する。さらに詳しくは、所定の音声生成モデルに基づいて音声信号から声道パラメータと音源パラメータとを推定しこれらのパラメータを符号化する音声符号化装置および方法ならびに音源パラメータと声道パラメータとを音声生成モデルに与えて音声信号を合成する音声復号化装置および方法に関する。
背景技術
入力音声を分析して音源パラメータおよび声道パラメータを抽出しこれらのパラメータをコード化する音声符号化方式において、音源パラメータおよび声道パラメータのデータ量を削減する技術がある。たとえば時間長一定のフレームごとに分析を行う方式では、フレームの単位時間を延ばしたり規則的にフレームを間引いたりすることによってデータ量を削減する。通常、音声波形あるいは各パラメータの変化は音声の部分によって異なる。それにもかかわらず上述の技術では均一にデータを削減しようとするため復号化時の音質が低下する。
発明の開示
この発明の目的は、復号化時の音質劣化を低減することができる音声符号化方法および装置を提供することである。
この発明の１つの局面に従うと、音声符号化装置は、音声分析部と、検出部と、間引き部と、コード生成部とを備える。音声分析部は、所定の音声生成モデルに基づいて音声信号から声道パラメータと音源パラメータとをフレームごとに推定する。検出部は、音声分析部によって推定された声道パラメータの不連続点を検出する。間引き部は、検出部によって検出された不連続点を含むフレーム以外のフレームを間引く。コード生成部は、間引き部による間引き処理後のフレームの声道パラメータおよび音源パラメータと間引き部によって間引かれたフレームの数を示す間引き情報とを符号化する。
上記音声符号化装置では、声道パラメータの不連続点を含むフレーム以外のフレームが間引き部によって間引かれる。ここで「間引く」とは、間引き対象となるフレーム（ここでは、声道パラメータの不連続点を含むフレーム以外のフレーム）の一部または全部をコード生成部による符号化処理の対象から除外することを意味する。そしてコード生成部では、検出部によって検出された不連続点を含むフレームおよび間引き対象となるフレームのうち間引き部によって除外されなかったフレーム（ここでは、これらのフレームを「間引き部による間引き処理後のフレーム」という。）の声道パラメータおよび音源パラメータと符号化処理の対象から除外されたフレーム（間引き部によって間引かれたフレーム）の数を示す間引き情報とが符号化される。このようにして符号化データのデータ量を削減している。ここで「声道パラメータの不連続点」とは、声道パラメータと音声のホルマントとの対応関係が変化する点のことをいう。声道パラメータの不連続点は、符号化しようとする音声を発生した際に発声器官が短時間に大きく動作した点に対応し、この不連続点では音源パラメータおよび声道パラメータのいずれもが大きく変化する。したがって、パラメータ変化の大きい声道パラメータの不連続点を含むフレームを間引き対象にした場合（符号化処理の対象から除外した場合）には、復号化時に音質劣化を抑えつつこのフレームを補間することが困難となる。上記音声符号化装置では、声道パラメータの不連続点を含むフレームを残す（符号化処理の対象から除外しない）ため、復号化時の音質劣化を低減することができる。
好ましくは、上記音声符号化装置はさらに判定部を備える。判定部は、上記音声信号の有声／無声を判定する。上記間引き部は、判定部による判定結果に基づいて上記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと検出部によって検出された不連続点を含むフレームと以外のフレームを間引く。
有声は声帯振動を伴った発声であり、無声は声帯振動を伴わない発声である。有声／無声境界は、声帯振動を表現するモデルと声道内で作られる雑音音源を表現するモデルの重みが短時間に大きく変化する点であり、この境界では音源パラメータは急峻に変化する。また、有声／無声境界は音韻の境界であり、発声時の声道も急峻に変化している。このように有声／無声境界では音源パラメータおよび声道パラメータが大きく変化する。したがって有声／無声境界を含むフレームを間引き対象にした場合（符号化処理の対象から除外した場合）には、復号化時の補間では急峻なパラメータの変化を再現することはできず、復号化時の音質が劣化する。しかし上記音声符号化装置では、有声／無声境界を含むフレームを残す（符号化処理の対象から除外しない）ため、復号化時の音質劣化を低減することができる。
好ましくは、上記間引き部は、上記有声／無声境界を含むフレームと当該フレームに連続する１または複数のフレームと上記不連続点を含むフレームと以外のフレームを間引く。上記有声／無声境界を含むフレームに連続する１または複数のフレームは、上記有声／無声境界から３０ｍｓｅｃ（ミリ秒）以内の時点の音声波形に対応するフレームである。
上記音声符号化装置では、有声／無声境界を含むフレームに加えて当該フレームに連続する１または複数のフレームも残す（符号化処理の対象から除外しない）ため、有声／無声境界を含むフレームだけを残す場合よりも復号化時の音質劣化を低減することができる。
また、時間長の長い音素は時間長の中央付近での発声器官の動作は緩慢である。すなわち、時間長の中央付近では音源パラメータおよび声道パラメータともに変化が少ない。したがってこの部分のフレームを間引いても補間によって容易に再現することができ、間引きによる復号化時の音質への影響は少ない。有声／無声境界からこのパラメータの変化が少ない「定常」な音声の状態に達するまでの時間が３０ｍｓｅｃ以内であり、これ以上有声／無声境界から離れたフレームを残すのは圧縮効率を下げることになる。上記音声符号化装置では、上記有声／無声境界を含むフレームに連続する１または複数のフレームは、上記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームであるため、圧縮効率の低下を防ぐことができる。
好ましくは、上記間引き部は、上記音声信号についての音素ラベル情報に基づいて上記音声信号の音素境界を含むフレームを検出し、当該フレームと検出部によって検出された不連続点を含むフレームと以外のフレームを間引く。
音声の発声時には、それぞれの音素を生成するために、音素境界付近で発声器官は短時間に大きく動作している。発声器官が動作している間にも音声は発声され続けているため、音韻境界（音素境界）付近の音声は急峻に変化する。ゆえに、有声／無声境界だけでなく、子音／母音，子音／子音，母音／母音などの音韻の境界（音素境界）でも音源パラメータおよび声道パラメータが大きく変化する。したがって音素境界を含むフレームを間引き対象にした場合（符号化処理の対象から除外した場合）には、復号化時の補間では急峻なパラメータの変化を再現することができず、復号化時の音質が劣化する。しかし上記音声符号化装置では、音素境界を含むフレームを残す（符号化処理の対象から除外しない）ため、復号化時の音質劣化を低減することができる。
好ましくは、上記間引き部は、上記音素境界を含むフレームと当該フレームに連続する１または複数のフレームと上記不連続点を含むフレームと以外のフレームを間引く。上記音素境界を含むフレームに連続する１または複数のフレームは、上記音素境界から３０ｍｓｅｃ（ミリ秒）以内の時点の音声波形に対応するフレームである。
上記音声符号化装置では、音素境界を含むフレームに加えて当該フレームに連続する１または複数のフレームも残す（符号化処理の対象から除外しない）ため、音素境界を含むフレームだけを残す場合よりも復号化時の音質劣化を低減することができる。
音素時間長は、平均的な話速の場合、長いもので１３０ｍｓｅｃ程度であり、多くの場合は１００ｍｓｅｃに満たない。１音素に対して音素の開始点および終端の両音素境界から３０ｍｓｅｃ以上の時点までの音声波形に対応するフレームをすべて残す（符号化処理の対象から除外しない）場合、間引くことのできるフレームが少なくなり圧縮の効果が小さくなる。また、時間長の長い音素においては時間長の中央付近での発声器官の動作は緩慢である。すなわち、時間長の中央付近では音源パラメータおよび声道パラメータともに変化が少ない。したがってこの部分のフレームを間引いても補間によって容易に再現することができ、間引きによる復号化時の音質への影響は少ない。音素境界からこのパラメータの変化が少ない「定常」な音声の状態に達するまでの時間が３０ｍｓｅｃ以内であり、これ以上音素境界から離れたフレームを残すのは圧縮効率を下げることになる。上記音声符号化装置では、上記音素境界を含むフレームに連続する１または複数のフレームは、上記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームであるため、圧縮効率の低下を防ぐことができる。
好ましくは、上記間引き部は、上記音素境界を含むフレームと上記不連続点を含むフレームと各音素の時間長の中央付近の時点を含むフレームと以外のフレームを間引く。上記各音素の時間長の中央付近の時点は、各音素の時間長の１／２の時点であることが好ましい。
発声時、発声器官は、前の音素との音素境界で短時間に大きく動作し、その後ゆるやかに動作して現在の音素の特徴を最もよく表す状態になり、その後  次の音素に向けて徐々に動作を開始し、次の音素との音素境界で急峻に動作する。発声はこれを連続的に行っており、音声の変化はこれに伴って音素境界付近では速く、音素時間長の中央付近ではゆっくり起こっている。そして音素時間長の中央付近は音素の特徴を最もよく表している。音素境界周辺のフレーム同士による補間では音素の特徴を最もよく表した部分すなわち音素時間長の中央付近を再現することができず、復号化時の音質が劣化する。上記音声符号化装置では、各音素の時間長の１／２の時点を含むフレームを残す（符号化処理の対象から除外しない）ため、各音素の特徴を最もよく表しているであろうパラメータが間引かれずに符号化され、復号化時の音質劣化の低下を防ぐことができる。
好ましくは、上記間引き部は、上記音素境界を含むフレームと上記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く。
音素の多くは音素の開始点および終端では振幅が小さく、音素の特徴を最もよく表す音素時間長の中央付近で振幅が最大となる。上記音声符号化装置では、各音素の振幅最大点を含むフレームを残す（符号化処理の対象から除外しない）ため、各音素の特徴を最もよく表しているであろうパラメータが間引かれずに符号化され、復号化時の音質劣化の低下を防ぐことができる。
好ましくは、上記声道パラメータは複数のパラメータセットを含む。複数のパラメータセットの各々は上記音声生成モデルの声道フィルタを表現するためのものである。上記検出部は、隣接するフレーム間でのパラメータセットの対応づけをＤＰマッチングにより行い、その結果に基づいて上記不連続点を検出する。
上記音声符号化装置では、ＤＰマッチングによって、隣接するフレーム間で声道フィルタの同一性が保たれない点が不連続点として検出される。
好ましくは、上記間引き部は、上記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く。
声道パラメータの不連続点以外においても音声は常に変化しており、音源パラメータおよび声道パラメータはこの音声の変化に追随して変化する必要がある。声道パラメータの不連続点を含むフレーム以外のフレームすべてを間引いてしまった場合、不連続点以外における音声の変化の軌跡を復号化時の補間によって生成するのは困難になる。上記音声符号化装置では、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームを残す（符号化処理の対象から除外しない）ため、不連続点以外における音声の変化の軌跡を復号化時の補間によって生成することが容易になる。
この発明のもう１つの局面に従うと、音声復号化装置は、上記音声符号化装置によって符号化されたデータを用いて上記音声生成モデルに基づいて音声信号を合成する音声復号化装置であって、検出部と、補間部と、音声合成部とを備える。検出部は、上記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を上記符号化データ内の間引き情報に基づいて検出する。補間部は、検出部によって検出されたフレーム数と上記あるフレームの音源パラメータおよび声道パラメータと上記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間する。音声合成部は、補間部による補間処理後の符号化データの音源パラメータを上記音声生成モデルの音源モデルに与えて音源信号を生成し、上記補間処理後の符号化データの声道パラメータに基づいて上記音声生成モデルの声道フィルタを構成し、上記生成した音源信号を上記構成した声道フィルタを通過させて音声信号を生成する。
この発明のさらにもう１つの局面に従うと、音声符号化方法は、推定ステップと、検出ステップと、間引きステップと、符号化ステップとを備える。推定ステップでは、所定の音声生成モデルに基づいて音声信号から声道パラメータと音源パラメータとをフレームごとに推定する。検出ステップでは、推定ステップによって推定された声道パラメータの不連続点を検出する。間引きステップでは、検出ステップによって検出された不連続点を含むフレーム以外のフレームを間引く。符号化ステップでは、間引きステップによる間引き処理後のフレームの声道パラメータおよび音源パラメータと間引きステップによって間引かれたフレームの数を示す間引き情報とを符号化する。
好ましくは、上記音声符号化方法はさらに判定ステップを備える。判定ステップでは、上記音声信号の有声／無声を判定する。そして上記間引きステップでは、判定ステップによる判定結果に基づいて上記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く。
好ましくは、上記間引きステップでは、有声／無声境界を含むフレームと当該フレームに連続する１または複数のフレームと上記不連続点を含むフレームと以外のフレームを間引く。上記有声／無声境界を含むフレームに連続する１または複数のフレームは、上記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである。
好ましくは、上記間引きステップでは、上記音声信号についての音素ラベル情報に基づいて上記音声信号の音素境界を含むフレームを検出し、当該フレームと検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く。
好ましくは、上記間引きステップでは、音素境界を含むフレームと当該フレームに連続する１または複数のフレームと上記不連続点を含むフレームと以外のフレームを間引く。上記音素境界を含むフレームに連続する１または複数のフレームは、上記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである。
好ましくは、上記間引きステップでは、上記音素境界を含むフレームと上記不連続点を含むフレームと各音素の時間長の中央付近の時点を含むフレームと以外のフレームを間引く。上記各音素の中央付近の時点は、各音素の時間長の１／２の時点であることが好ましい。
好ましくは、上記間引きステップでは、上記音素境界を含むフレームと上記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く。
好ましくは、上記声道パラメータは複数のパラメータセットを含む。複数のパラメータセットの各々は上記音声生成モデルの声道フィルタを表現するためのものである。上記検出ステップでは、隣接するフレーム間でのパラメータセットの対応づけをＤＰマッチングにより行い、その結果に基づいて上記不連続点を検出する。
好ましくは、上記間引きステップでは、上記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く。
この発明のもう１つの局面に従うと、音声復号化方法は、上記音声符号化方法によって生成された符号化データを用いて上記音声生成モデルに基づいて音声信号を合成する音声復号化方法である。上記音声復号化方法では、上記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を上記符号化データ内の間引き情報に基づいて検出する。次に、検出したフレーム数と上記あるフレームの音源パラメータおよび声道パラメータと上記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間する。次に、補間処理後の符号化データの各フレームの音源パラメータを上記音声生成モデルの音源モデルに与えて音源信号を生成し、上記各フレームの声道パラメータに基づいて上記音声生成モデルの声道フィルタを構成する。次に、上記生成した音源信号を上記構成した声道フィルタを通過させて音声信号を生成する。
発明を実施するための最良の形態
以下、この発明の実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
（第１の実施形態）
図１は、この発明の第１の実施形態による音声符号化装置および音声復号化装置の構成を示すブロック図である。
＜音声符号化装置１０の構成＞
図１に示す音声符号化装置１０は、音声分析部１１０と、声道パラメータ不連続点検出部１２０と、フレーム間引き１３０と、コード生成部１４０とを備える。音声分析部１１０は、入力された音声波形（音声信号）を一定の時間幅を持つフレームに分割し、所定の音声生成モデルに基づいてフレームごとに音源パラメータと声道パラメータとを推定する。声道パラメータ不連続点検出部１２０は、音声分析部１１０によって抽出された声道パラメータのパラメータセット（ホルマント中心周波数，ホルマントバンド幅）の隣接フレーム間での対応づけをＤＰマッチングの手法を用いて行い、その結果に基づいて声道パラメータの不連続点を検出する。フレーム間引き部１３０は、分析フレームを音素ラベルに応じて適応的に間引く。コード生成部１４０は、フレーム間引き部１３０による間引き処理後のフレームの声道パラメータおよび音源パラメータとフレーム間引き部１３０によって間引かれたフレームの数（間引き情報）とを多重化してコード（符号化データ）を生成する。
＜音声復号化装置２０の構成＞
図１に示す音声復号化装置２０は、間引きフレーム検出部２１０と、フレーム補間部２２０と、音声合成部２３０とを備える。間引きフレーム検出部２１０は、音声符号化装置１０によって符号化されたコードから間引き情報を分離し、間引かれたフレームの範囲を特定する。フレーム補間部２２０は、フレーム検出部２１０によって特定された範囲のフレームの各パラメータを、当該特定された範囲の直前と直後のフレームのパラメータを用いて補間する。音声合成部２３０は、補間処理後の各フレームの音源パラメータと声道パラメータとを所定の音声生成モデルに与えて音声波形（音声信号）を合成する。
＜音声符号化装置１０の動作＞
次に、以上のように構成された音声符号化装置１０の動作について図２を参照しつつ説明する。
［ステップＳ１０１］
まず、音声波形（音声信号）と当該音声波形についての音素ラベルとが音声符号化装置１０に入力される。
［ステップＳ１０２］
次に、音声分析部１１０は、入力された音声波形を一定の時間幅を持つフレームに分割し、各分析フレームが有声音の区間内であるか無声音の区間内であるかを音素ラベルに基づいて判定する。そして音声分析部１１０は所定の音声生成モデルに基づいて音声信号から声道パラメータおよび音源パラメータをフレームごとに推定する。ここでは有声区間のフレームについては、日本音響学会２０００年春季講演論文集ｐ３２９−ｐ３３０「スペクトル補正を加えたＡＲＸ音声分析合成法とその評価」に示されるように、ＡＲＸ（ａｕｔｏ−ｒｅｇｒｅｓｓｉｖｅ  ｗｉｔｈ  ｅｘ−ｏｇｅｎｏｕｓ  ｉｎｐｕｔ）音声生成モデルによる音源モデルの駆動タイミングの誤差を収束条件にして音源パラメータと声道パラメータとを同時に推定し、無声区間のフレームについてはランダムノイズを音源として声道パラメータを推定する。このようにして各分析フレームの音源パラメータと声道パラメータとを抽出する。音源パラメータには、振幅，声門開放率，基本周波数などが含まれている。声道パラメータには、ホルマント中心周波数，ホルマントバンド幅が含まれている。あるホルマントに対するホルマント中心周波数とホルマントバンド幅とで１つのパラメータセットが構成される。通常、１つのフレーム内には複数のホルマントが存在する。したがって各フレームの声道パラメータには複数のパラメータセットが含まれている。各パラメータセットは、音声生成モデルの声道フィルタを表現するためのものである。
［ステップＳ１０３］
次に、声道パラメータ不連続点検出部１２０は、音素ラベルを参照し、母音・撥音・長音の区間内のフレームに存在する声道パラメータの不連続点を検出する。声道パラメータの不連続点とは、声道パラメータと音声のホルマントとの対応関係が変化する点のことをいう。声道パラメータ不連続点検出部１２０は、音声分析部１１０によって抽出された声道パラメータのパラメータセット（ホルマント中心周波数，ホルマントバンド幅）の隣接フレーム間での対応づけをＤＰマッチングの手法を用いて行い、その結果に基づいて声道パラメータの不連続点を検出する。ここでは日本音響学会２０００年秋季講演論文集ｐ２３１−ｐ２３２「ソース・フォルマント型音声合成方法の改良」に示されるように、ホルマント中心周波数とホルマントバンド幅とに基づいて求められるホルマント強度を用いて隣り合うフレームのパラメータセットに対してＤＰマッチングにより接続コストを求め、対応づけされるべき相手が存在しないパラメータセットを検出する。このようにして検出されたパラメータセットを声道パラメータの不連続点とする。以下、具体的に説明する。
［ＤＰマッチングを用いた声道パラメータの不連続点の検出］
ここでは、数１に示す接続コストおよび数２に示す非接続コストからなる距離尺度を用いる。
2003042648.tif 000003
2003042648.tif 000004
ここでＦｆはホルマント中心周波数であり、Ｆｉはホルマント強度である。ホルマント強度Ｆｉは、ホルマントスペクトルの最大レベルと最小レベルの差として数３に示すように定義される。
2003042648.tif 000005
図３は、ある二つの隣り合ったフレームのホルマントＦ１−Ｆ６を表すパラメータセット（ホルマント中心周波数，ホルマントバンド幅）を示す。図３において横軸はフレーム番号であり縦軸は周波数である。各パラメータセットは（ホルマント中心周波数，ホルマントバンド幅）のように値を表示している。２つのフレーム（フレームＡおよびフレームＢ）にはともに６個のホルマントＦ１−Ｆ６が存在する。これらのホルマントはホルマント中心周波数の低いものからＦ１，Ｆ２，・・・というように呼ばれる。通常、これら６つホルマントのパラメータセットはフレームＡとフレームＢとの間で同じ番号のもの同士が接続（対応づけ）される。しかし、フレームＢのＦ２とＦ３のホルマント中心周波数は接近しており、どちらもフレームＡのＦ２のホルマント中心周波数に近い。また、フレームＢのＦ２はホルマントバンド幅が非常に大きい値となっている。ホルマントバンド幅が大きいホルマントは強度が弱く、消えつつあるか出現しつつあるものと考えられる。したがって、フレームＢのＦ２は出現しつつあるホルマントとみなされ、フレームＡのＦ２とは接続（対応づけ）しないことが望ましい。フレームＡのＦ２はフレームＢのＦ３と接続される（対応づけられる）べきである。このようなことを自動的に判断するためにＤＰマッチングを用いる。
図４は、横軸にフレームＡ、縦軸にフレームＢのホルマントをとり、格子状の点に（１，１），（１，２）というように番号を振ったものである。図４では、ホルマントのそれぞれについて（ホルマント中心周波数，ホルマント強度）というように値を表示している。ホルマント強度は数３によりホルマントバンド幅から変換した値である。
二つのフレームがそれぞれ６つのホルマントを持つため、格子点は（１，１）から（６，６）まで３６個になるが、さらにもう１つ（７，７）という点を設けてある。点（１，１）から点（７，７）に向かって格子点をたどりながら進むものとする。たとえば図５に示すように（１，１），（２，２），（３，３），（４，４），（５，５），（６，６），（７，７）と進むパスが考えられる。このとき、（１，１）はフレームＡのＦ１およびフレームＢのＦ１に対応する。（２，２）以降も同様である。したがって、このようなパスをたどった場合、Ｆ１からＦ６の６つのホルマントはすべて同じ番号のもの同士が接続（対応づけ）されたことになる。しかし、たとえば図６に示すように（１，１），（２，３），（３，４），（５，５），（６，６），（７，７）というパスを通ることも考えられる。この場合はフレームＡのＦ２とフレームＢのＦ３とが接続（対応づけ）され、フレームＡのＦ３とフレームＢのＦ４とが接続（対応づけ）されることを意味する。フレームＡのＦ４およびフレームＢのＦ２は接続（対応づけ）されるべき相手が存在しない。フレームＡのＦ４は消えていくホルマント、フレームＢのＦ２は出現しつつあるホルマントとみなされる。このようにパスの選ばれ方に応じてホルマントの接続（対応づけ）が決定する。
パスの選び方はホルマント中心周波数およびホルマントバンド幅の値の距離によるコストならびに格子点から格子点への移動によるコストを小さくする方法を用いる。
まず、図７に示すような制約を移動に対して設ける。すなわち、点（ｉ，ｊ）に移動することができるのは（ｉ−１，ｊ−１），（ｉ−２，ｊ−１），（ｉ−１，ｊ−２），（ｉ−２，ｊ−２）の４点のみとする。（ｉ−１，ｊ−１）からの移動をＡ、（ｉ−２，ｊ−１）からの移動をＢ、（ｉ−１，ｊ−２）からの移動をＣ、（ｉ−２，ｊ−２）からの移動をＤと呼ぶことにする。この制約により、すべての格子点のうち（１，１）から移動を開始して（７，７）にたどり着けるために通り得る格子点は明らかに図８に示すものに限られる。
以下、パス探索の手順を図９を参照しながら説明する。
《ステップＳ１》
まず、フレームＡ，フレームＢのホルマントの数をそれぞれＮＡ，ＮＢと置く。サイズＮＡ×ＮＢの配列Ｃと、サイズ（ＮＡ＋１）×（ＮＢ＋１）の配列ｎｉおよびｎｊを用意し、それらの要素をすべて０で初期化する。Ｃの要素Ｃ（ｉ，ｊ）は、点（ｉ，ｊ）における累積コストを記憶するために用いられる。また、ｎｉの要素ｎｉ（ｉ，ｊ）およびｎｊの要素ｎｊ（ｉ，ｊ）は点（ｉ，ｊ）に最小累積コストで移動してきたパスすなわち点（ｉ，ｊ）への最適パスを記憶するために用いられる。すなわち、点（ｉ，ｊ）への最適パスにおける点（ｉ，ｊ）の直前の点を点（ｍ，ｎ）としたとき、ｎｉ（ｉ，ｊ）＝ｍ、ｎｊ（ｉ，ｊ）＝ｎである。
《ステップＳ２》
すべての可能な点（図８参照）について累積コストおよび最適パスを計算する。カウンタｉおよびｊをともに１で初期化する。ｉ、ｊはそれぞれフレームＡ軸とフレームＢ軸のインデックスとして用いられる。
《ステップＳ３》
点（ｉ，ｊ）に移動可能な４つの点（ｍ，ｎ）についてコスト計算を行う（図７参照）。カウンタｍおよびｎを用意し、ｍ＝ｉ−２，ｎ＝ｊ−２と初期化する。また、最小累積コストを求めるためのＣｍｉｎを用意し、可能な限り大きな値を代入しておく。
《ステップＳ４》
点（ｍ，ｎ）が図８に示した通り得る点の集合に含まれていなければ（Ｎｏ）ステップＳ８へ、含まれていれば（Ｙｅｓ）ステップＳ５へすすむ。
《ステップＳ５》
累積コストを一時的に記憶するＣｔｅｍｐを用意し、点（ｍ，ｎ）から点（ｉ，ｊ）へのパスコストと点（ｍ，ｎ）の累積コストとの和を記憶する。
《ステップＳ６》
ＣｔｅｍｐがＣｍｉｎより小さければ（Ｙｅｓ）ステップＳ７へ、小さくなければ（Ｎｏ）ステップＳ８へすすむ。
《ステップＳ７》
ＣｍｉｎにＣｔｅｍｐを代入し、ｎｉ（ｉ，ｊ）にｍを、ｎｊ（ｉ，ｊ）にｎを格納する。ｎｉ（ｉ，ｊ）は点（ｉ，ｊ）に最小累積コストで移動した点のフレームＡ軸座標、ｎｊ（ｉ，ｊ）はフレームＢ軸座標を記憶する。
《ステップＳ８》
ｎ＝ｊ−１であれば（Ｙｅｓ）ステップＳ１０へ、ｎ＝ｊ−１でなければ（Ｎｏ）ステップＳ９へすすむ。
《ステップＳ９》
ｎを一つ増加させてステップＳ４へもどる。
《ステップＳ１０》
ｍ＝ｉ−１であれば（Ｙｅｓ）ステップＳ１２へ、ｍ＝ｉ−１でなければ（Ｎｏ）ステップＳ１１へすすむ。
《ステップＳ１１》
ｎをｊ−２に戻し、ｍを一つ増加させてステップＳ４へもどる。
《ステップＳ１２》
ｉがＮＡ＋１に達していれば（Ｙｅｓ）終了し、達していなければ（Ｎｏ）ステップＳ１３へすすむ。
《ステップＳ１３》
Ｃ（ｉ，ｊ）に累積コストを記憶する。すなわち、点（ｉ，ｊ）におけるホルマント距離（数１で計算した値）とＣｍｉｎとの和を記憶する。ただし、点（１，１）はパスの始点であるため、パスコストは存在せず、フォルマント距離のみを記憶する。
《ステップＳ１４》
ｊがＮＢに達していれば（Ｙｅｓ）ステップＳ１６へ、達していなければ（Ｎｏ）ステップＳ１５へすすむ。
《ステップＳ１５》
ｊを１つ増加させてステップＳ３へもどる。
《ステップＳ１６》
ｉがＮＡに達していれば（Ｙｅｓ）ステップＳ１８へ、達していなければ（Ｎｏ）ステップＳ１７へすすむ。
《ステップＳ１７》
ｊを１に戻し、ｉを１つ増加させてステップＳ３へもどる。
《ステップＳ１８》
最後に終点（ＮＡ＋１，ＮＢ＋１）に最小累積コストで移動する点を求める。ｉ＝ＮＡ＋１，ｊ＝ＮＢ＋１としてステップＳ３へもどる。
パスコストの計算は次のように行う。許されるパスは図７に示すＡ，Ｂ，Ｃ，Ｄの４つである。フレームＡの第１ホルマントをＦＡ（ｉ）、フレームＢの第ｊホルマントをＦＢ（ｊ）で表す。パスＡの場合、ＦＡ（ｉ−１），ＦＡ（ｉ）はそれぞれＦＢ（ｊ−１），ＦＢ（ｊ）に接続（対応づけ）され、接続（対応づけ）されるべき相手が存在しないホルマントは存在しない。このためパスコスト（言い換えればｄｉｓｃｏｎｎｅｃｔｉｏｎ  ｃｏｓｔ）は０となる。パスＢの場合、ＦＡ（ｉ−１）は接続（対応づけ）されるべき相手が存在しない。このような場合、パスコストは数２にＦＡ（ｉ−１）のホルマント強度を代入することにより計算される。パスＣの場合は、ＦＢ（ｊ−１）は接続（対応づけ）されるべき相手が存在しない。したがって、パスコストは数２にＦＢ（ｊ−１）の強度を代入することにより計算される。パスＤの場合は、ＦＡ（ｉ−１）とＦＢ（ｊ−１）の２つについて接続（対応づけ）されるべき相手が存在しない。そこで、パスコストは数２にＦＡ（ｉ−１）のホルマント強度を代入したものとＦＢ（ｊ−１）のホルマント強度を代入したものとの和となる。このような計算により、実際のコストがどのようになるかを示す。
図１０は点（ｉ，ｊ）とそれに対して移動可能な４つの点（ｉ−１，ｊ−１），（ｉ−２，ｊ−１），（ｉ−１，ｊ−２），（ｉ−２，ｊ−２）を示している。矢印は４つの点から（ｉ，ｊ）に対する移動を表しており、矢印の先端には図７に示したパスの名前Ａ，Ｂ，Ｃ，Ｄが表されている。また、４つの点を表す丸の中には各点における累積コストが記入されている。パスを表す矢印の中ほどに表した四角で囲んだ数字はパスコストである。例えば、パスＢのパスコストはこの移動により接続（対応づけ）されるべき相手がなくなったフレームＡのＦ３の強度を用いて数２により計算され１１となる。
４つのパスを通って点（ｉ，ｊ）に達する時の累積コスト（ステップＳ５で計算されるＣｔｅｍｐ）は各パスの矢印の終端付近に記入されている。すなわち、移動元の点における累積コストに移動によるパスコストを足した値である。その結果、パスＡは４０３５、パスＢは４８３、パスＣは５３５１、パスＤは１１７９の累積コストを与え、最も小さい累積コストとなるパスＢが選択される（ステップＳ７）。パスＢが選択された様子を図１１に示す。パスＢが選択されたことにより、ｎｉ（ｉ，ｊ）にはパスＢの始点のｉ軸座標値、ｎｊ（ｉ，ｊ）にはｊ軸座標値が記憶される。また、点（ｉ，ｊ）には、パスＢによる累積コストと点（ｉ，ｊ）におけるフォルマント距離を数１により計算した値１８２を加えた累積コスト６６５が記入された（ステップＳ１３）。
このようにしてコストを計算しながら最適パスを逐次求め、点（１，１）から点（ＮＡ＋１，ＮＢ＋１）まで繰り返す。この後、ｎｉとｎｉを終点から逆にたどっていけば点（１，１）から点（ＮＡ＋１，ＮＢ＋１）への最適パスを求めることができる。求められた最適パスを図１２に示す。また、その結果、図３に示したホルマント（パラメータセット）が接続（対応づけ）された様子は図１３に示すようになる。フレームＡのＦ１とフレームＢのＦ１とが接続（対応づけ）され、フレームＡのＦ４とフレームＢのＦ４とが接続（対応づけ）され、フレームＡのＦ６とフレームＢのＦ６とが接続（対応づけ）される。一方、フレームＡのＦ２，Ｆ３，Ｆ５およびフレームＢのＦ２，Ｆ３，Ｆ５は接続（対応づけ）されるべき相手が存在しない。これらが声道パラメータの不連続点として検出される。よって、フレームＡおよびフレームＢは声道パラメータの不連続点を含むフレームとなる。
［ステップＳ１０４］
次に、フレーム間引き部１３０は、音素ラベルを参照して各フレームが子音区間内である場合には、図１４の子音区間／ｂ／に示すように、音素境界を含むまたは音素境界に隣接するフレーム以外のフレームを１つおきに間引き（コード生成部１０４による符号化処理の対象から除外し）、間引いたフレームの数すなわち１を間引いたフレームの直前のフレーム（コード生成部１０４による符号化処理の対象となっているフレーム）に対応づけて記憶する。図１４では、コード生成部１０４による符号化処理の対象から除外されたフレーム（間引きフレーム）を「×」印で示し、コード生成部１０４による符号化処理の対象となっているフレーム（保持フレーム）を「○」印で示している。
［ステップＳ１０５］
さらにフレーム間引き部１３０は、音素ラベルを参照して各フレームが母音・撥音・長音の区間内である場合には、図１４の母音区間／ｏ／および／ａ／に示すように、音素境界を含むまたは音素境界に隣接する１フレームと、当該フレームに隣接する母音・撥音・長音の区間内の１フレームと、音素区間の時間長の１／２の時点を含む１フレームと、ステップＳ１０３において抽出された声道パラメータの不連続点を含む１フレームと、当該フレームの直後あるいは直前の１フレームと以外のフレームを間引き、間引いたフレームの数を間引き範囲（間引きフレームが連続して存在する区間）の直前の保持フレームに対応づけて記憶する。
［ステップＳ１０６］
次に、コード生成部１４０は、間引き範囲の直前の保持フレームと当該間引き範囲の間引きフレームの数（間引き情報）とを対応づける。
［ステップＳ１０７］
そしてコード生成部１０４は、間引き情報と保持フレームの音源パラメータおよび声道パラメータとを符号化してコードを生成する。
以上のように図１に示した音声符号化装置１０は、各フレームの音声の状態に応じて適応的にフレーム間引きを行うことでデータ量を圧縮して記録あるいは伝送する。
＜音声復号化装置２０の動作＞
次に、図１に示した音声復号化装置２０の動作について図１５を参照しつつ説明する。
［ステップＳ２０１］
まず、音声符号化装置１０によって符号化されたコードが間引きフレーム検出部２１０に入力される。
［ステップＳ２０２］
次に、間引きフレーム検出部２１０は、入力されたコードから間引き情報が付加されたフレームを抽出する。
［ステップＳ２０３］
次に、フレーム補間部２２０は、ステップＳ２０２において抽出された間引き情報が付加されたフレームと当該フレームの次のフレームとの間において間引かれたフレーム数に対応するフレームを設定する。
［ステップＳ２０４］
そしてフレーム補間部２２０は、間引き範囲の直前の保持フレーム（間引き情報が付加されたフレーム）の声道パラメータおよび音源パラメータと、間引き範囲の直後のフレーム（コード内で間引き情報が付加されたフレームの直後に記録されていたフレーム）の声道パラメータおよび音源パラメータとを用いて線形補間を行い、間引き範囲のフレーム（ステップＳ２０３で設定されたフレーム）の声道パラメータおよび音源パラメータを求める。
［ステップＳ２０５］
次に、音声合成部２３０は、ステップＳ２０４で補間された声道パラメータおよび音源パラメータならびに保持フレームの声道パラメータおよび音源パラメータを所定の音声生成モデルに与えて音声を合成する。たとえば日本音響学会２０００年春季講演論文集ｐ３２９−ｐ３３０「スペクトル補正を加えたＡＲＸ音声分析合成法とその評価」に示されるように、音源パラメータに基づいてＲｏｓｅｎｂｅｒｇ−Ｋｌａｔｔ（ＲＫ）モデルによる音源波形を駆動し、ホルマント中心周波数およびホルマントバンド幅に基づいて声道フィルタを構成し、駆動した音源波形を声道フィルタを通して音声を合成する。
［ステップＳ２０６］
そして音声合成部２３０は、ステップＳ２０５において合成した音声波形を出力する。
以上のように図１に示した音声復号化装置２０は、音声符号化装置１０によって間引かれたフレームを補間して音源パラメータおよび声道パラメータから音声を合成する。
＜効果＞
この発明の第１の実施形態による音声符号化装置１０では、各フレームが子音区間内である場合には、音素境界を含むまたは音素境界に隣接するフレームを保持フレームとし、各フレームが母音・撥音・長音の区間内である場合には、音素境界を含むまたは音素境界に隣接する１フレームと、当該フレームに隣接する母音・撥音・長音の区間内の１フレームと、音素区間の時間長の１／２の時点を含む１フレームと、声道パラメータの不連続点を含む１フレームと、当該フレームの直後あるいは直前の１フレームとを保持フレームとするため、音声復号化時の合成音声の品質劣化を低減することができる。
＜変形例＞
なお、ここでは声道パラメータ不連続点検出部１２０はＤＰマッチングを用いて声道パラメータの不連続点を抽出したが、第２の実施形態において説明するようにホルマント中心周波数の変化量に基づいて抽出してもよい。
また、母音・撥音・長音区間のフレームについては音素境界に隣接する２フレーム（音素境界を含むまたは音素境界に隣接する１フレームおよび当該フレームに隣接する母音・撥音・長音の区間内の１フレーム）を保持フレームとしたが、音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームであればこれ以外の数でもよい。
また、ここでは母音・撥音・長音の音素区間の時間長の１／２の時点を含む１フレームを保持フレームとしたが、これに代えて母音・撥音・長音の音素区間の時間長の１／３の時点を含む１フレームを保持フレームとしてもよい。
また、ここでは母音・撥音・長音区間の時間長の１／２の時点を含む１フレームを保持フレームとしたが、これに加えて当該フレームに連続する複数のフレーム（たとえば２フレームまたは３フレーム）を保持フレームとしてもよい。
また、ここでは母音・撥音・長音の音素区間の時間長の１／２の時点を含む１フレームを保持フレームとしたが、これに代えて母音・撥音・長音の音素区間の振幅最大点を含む１フレームを保持フレームとしてもよい。
また、子音区間内では１つおきにフレームを間引いたが、保持フレームの間隔が２０ｍｓｅｃ以内であればこれ以外のフレーム数としてもよい。
また、ここでは音声波形に対応する音素ラベル情報を入力するようにしたが、音声分析を行う前に自動ラベリングによってラベル情報を生成してもよい。
（第２の実施形態）
＜音声符号化装置の構成＞
図１６は、この発明の第２の実施形態による音声符号化装置の構成を示すブロック図である。図１６に示す音声符号化装置３０は、有声／無声判定部３１０と、音声分析部３２０と、声道パラメータ不連続点検出部３３０と、フレーム間引き部３４０と、コード生成部１４０とを備える。
有声／無声判定部３１０は、入力された音声波形（音声信号）を一定の時間幅を持つフレームに分割し、フレームごとに音声の有声／無声を判定する。音声分析部３２０は、有声／無声判定部３１０による有声／無声の判定に基づいてフレームごとに音声波形から音源パラメータおよび声道パラメータを抽出する。声道パラメータ不連続点検出部３３０は、音声分析部３２０によって抽出された声道パラメータのうちのホルマント中心周波数の変化量に基づいて声道パラメータの不連続点を検出する。フレーム間引き部３４０は、有声／無声判定部３１０による有声／無声判定に応じて適応的にフレームを間引く。コード生成部１４０は、フレーム間引き部３４０による間引き処理後のフレーム（保持フレーム）の声道パラメータおよび音源パラメータとフレーム間引き部３４０によって間引かれたフレームの数（間引き情報）とを多重化してコード（符号化データ）を生成する。
＜音声符号化装置の動作＞
次に、以上のように構成された音声符号化装置３０の動作について図１７を参照しつつ説明する。
［ステップＳ３０１］
まず、有声／無声判定部３１０に音声波形が入力される。
［ステップＳ３０２］
次に有声／無声判定部３１０は、入力された音声の有声部と無声部の判定を自己相関を用いて行い、各分析フレームの音声が有声であるか無声であるかを判断する。
［ステップＳ３０３］
次に音声分析部３２０は、ステップＳ３０２で有声と判断されたフレームについては、たとえば日本音響学会２０００年春季講演論文集ｐ３２９−ｐ３３０「スペクトル補正を加えたＡＲＸ音声分析合成法とその評価」に示されるように、ＡＲＸ音声生成モデルによる音源モデルの駆動タイミングの誤差を収束条件にして音源パラメータと声道パラメータとを同時に推定し、ステップＳ３０２で無声と判断されたフレームについてはランダムノイズを音源として声道パラメータを推定する。このようにして各分析フレームの音源パラメータと声道パラメータとを抽出する。
［ステップＳ３０４］
次に声道パラメータ不連続点検出部３３０は、ステップＳ３０２で有声と判断された一連のフレームについて、各フレームの声道パラメータに含まれる複数のホルマント中心周波数と当該フレームの直前のフレームの声道パラメータに含まれる複数のホルマント中心周波数とを比較する。両フレーム間で対応するホルマント中心周波数同士を比較する。そして、いずれかのホルマント中心周波数で差が一定の値以上になる点を声道パラメータの不連続点として抽出する。
［ステップＳ３０５］
次にフレーム間引き部３４０は、ステップＳ３０２で無声と判断された一連のフレームについて、図１８の無声区間に示すように、有声／無声境界を含むまたは有声／無声境界に隣接するフレーム以外のフレームを１つおきに間引き（コード生成部１０４による符号化処理の対象から除外し）、間引いたフレームの数すなわち１を間引いたフレームの直前のフレーム（コード生成部１０４による符号化処理の対象となっているフレーム）に対応づけて記憶する。図１８では、コード生成部１０４による符号化処理の対象から除外されたフレーム（間引きフレーム）を「×」印で示し、コード生成部１０４による符号化処理の対象となっているフレーム（保持フレーム）を「○」印で示している。
［ステップＳ３０６］
さらにフレーム間引き部３４０は、ステップＳ３０２で有声と判断された一連のフレームについて、図１８の有声区間に示すように、有声／無声境界を含むまたは有声／無声境界に隣接する１フレームと、当該フレームに隣接する有声区間内の１フレームと、ステップＳ３０４で抽出された声道パラメータの不連続点を含む１フレームと、当該フレームの直前または直後の１フレームとを保持フレームし、それ以外のフレームについては３フレームごとに２つのフレームを間引く（連続する２つのフレームを間引きフレームとし、次の１フレームを保持フレームとする。）。これにより、声道パラメータの不連続点を含むフレームと当該不連続点の次の不連続点を含むフレームとの間にあるフレームのうち少なくとも１つのフレームが保持フレームとされる。そしてフレーム間引き部３４０は、間引いたフレームの数を間引き範囲（間引きフレームが連続して存在する区間）の直前のフレームに対応づけて記憶する。
［ステップＳ１０６］
次にコード生成部１０４は、間引き範囲の直前の保持フレームと当該間引き範囲の間引きフレームの数（間引き情報）とを対応づける。
［ステップＳ１０７］
そしてコード生成部１４０は、間引き情報と保持フレームの音源パラメータおよび声道パラメータとを符号化してコードを生成する。
以上のように図１６に示した音声符号化装置３０は、各フレームの音声の状態に応じて適応的にフレーム間引きを行うことでデータ量を圧縮して記録あるいは伝送する。音声符号化装置３０によって生成されたコードは、図１に示した音声復号化装置２０によって復号化される。
＜効果＞
この発明の第２の実施形態による音声符号化装置３０では、各フレームが無声区間内である場合には、有声／無声境界を含むまたは有声／無声境界に隣接するフレームを保持フレームとし、各フレームが有声区間内である場合には、有声／無声境界を含むまたは有声／無声境界に隣接する１フレームと、当該フレームに隣接する有声区間内の１フレームと、声道パラメータの不連続点を含む１フレームと、当該フレームの直後あるいは直前の１フレームとを保持フレームとするため、音声復号化時の合成音声の品質劣化を低減することができる。
＜変形例＞
なお、ここでは声道パラメータ不連続点検出部３３０はホルマント中心周波数の変化量に基づいて声道パラメータの不連続点を抽出したが、第１の実施形態において説明したようにＤＰマッチングを用いて抽出してもよい。
また、有声区間内のフレームについては有声／無声境界に隣接する２フレーム（有声／無声境界を含むまたは有声／無声境界に隣接する１フレームおよび当該フレームに隣接する有声区間内の１フレーム）を保持フレームとしたが、有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームであればこれ以外の数でもよい。
また、有声区間内では３フレームごとに２つのフレームを間引いたが、保持フレームの間隔が３０ｍｓｅｃ以内であればこれ以外の間引き方にしてもよい。
また、無声区間内では１つおきにフレームを間引いたが、保持フレームの間隔が２０ｍｓｅｃ以内であればこれ以外のフレーム数としてもよい。
【図面の簡単な説明】
図１は、この発明の第１の実施形態による音声符号化装置および音声復号化装置の構成を示すブロック図である。
図２は、図１に示した音声符号化装置による処理の手順を示すフローチャートである。
図３は、隣接する２つのフレームの声道パラメータのパラメータセットを示す。
図４は、横軸にフレームＡ、縦軸にフレームＢのパラメータセットをとった格子の様子を示す。
図５は、すべてのホルマントが同じ番号同士接続された場合の格子の様子を示す。
図６は、接続されないホルマントがある場合の格子の様子を示す。
図７は、移動の制約を示す。
図８は、図７に示した制約のもとで通りうる格子点を示す。
図９は、パス検索の流れを示すフローチャートである。
図１０は、パス検索によって計算されたコストの例を説明するための図である。
図１１は、パスＢが選択された様子を示す。
図１２は、求められた最適パスを示す。
図１３は、最適パスに従って接続されたホルマントの様子を示す。
図１４は、フレーム間引きの様子を示す。
図１５は、図１に示した音声復号化装置による処理の手順を示すフローチャートである。
図１６は、この発明の第２の実施形態による音声符号化装置の構成を示すブロック図である。
図１７は、図１６に示した音声符号化装置による処理の手順を示すフローチャートである。
図１８は、フレーム間引きの様子を示す。
【図１】
2003042648.tif 000006
【図２】
2003042648.tif 000007
【図３】
2003042648.tif 000008
【図４】
2003042648.tif 000009
【図５】
2003042648.tif 000010
【図６】
2003042648.tif 000011
【図７】
2003042648.tif 000012
【図８】
2003042648.tif 000013
【図９】
2003042648.tif 000014
【図１０】
2003042648.tif 000015
【図１１】
2003042648.tif 000016
【図１２】
2003042648.tif 000017
【図１３】
2003042648.tif 000018
【図１４】
2003042648.tif 000019
【図１５】
2003042648.tif 000020
【図１６】
2003042648.tif 000021
【図１７】
2003042648.tif 000022
【図１８】
2003042648.tif 000023
【手続補正書】
【提出日】平成15年6月23日(2003.6.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の音声生成モデルに基づいて音声信号から複数の声道パラメータからなる声道パラメータセットと音源パラメータとをフレームごとに推定する音声分析部と、
前記音声分析部によって推定された声道パラメータセットに含まれる各々の声道パラメータの不連続点を検出する検出部と、
前記検出部によって検出された声道パラメータの不連続点を含むフレーム以外のフレームを間引く間引き部と、
前記間引き部による間引き処理後のフレームの声道パラメータおよび音源パラメータと前記間引き部によって間引かれたフレームの数を示す間引き情報とを符号化するコード生成部とを備える
ことを特徴とする音声符号化装置。
【請求項２】
請求項１において、
前記音声信号の有声／無声を判定する判定部をさらに備え、
前記間引き部は、
前記判定部による判定結果に基づいて前記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと前記検出部によって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項３】
請求項２において、
前記間引き部は、前記有声／無声境界を含むフレームと前記有声／無声境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記有声／無声境界を含むフレームに連続する１または複数のフレームは、前記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化装置。
【請求項４】
請求項１において、
前記間引き部は、
前記音声信号についての音素ラベル情報に基づいて前記音声信号の音素境界を含むフレームを検出し、当該フレームと前記検出部によって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項５】
請求項４において、
前記間引き部は、前記音素境界を含むフレームと前記音素境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記音素境界を含むフレームに連続する１または複数のフレームは、前記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化装置。
【請求項６】
請求項４において、
前記間引き部は、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の時間長の１／２の時点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項７】
請求項４において、
前記間引き部は、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項８】
請求項１において、
前記声道パラメータセットは複数の声道パラメータを含み、
前記複数の声道パラメータの各々は前記音声生成モデルの声道フィルタを表現するためのものであり、
前記検出部は、
隣接する２つのフレーム間での前記声道パラメータセットの対応関係をＤＰマッチングにより生成するものとし、２つの隣接するフレームをフレームＡとフレームＢとし、前記声道パラメータセットに含まれる声道パラメータを前記声道フィルタの中心周波数の低いものからＦ１，Ｆ２，・・・とするとき、フレームＡの声道パラメータセットとフレームＢの声道パラメータセットのパラメータ数が同一で、かつフレームＡとフレームＢとの間で同じ番号の声道パラメータ同士が対応づけられる場合に前記２つの隣接するフレームは連続であるとし、それ以外の場合に前記２つの隣接するフレームのフレーム境界を不連続点として検出することを特徴とする音声符号化装置。
【請求項９】
請求項１において、
前記間引き部は、
前記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く
ことを特徴とする音声符号化装置。
【請求項１０】
請求項１に記載の音声符号化装置によって符号化されたデータを用いて前記音声生成モデルに基づいて音声信号を合成する音声復号化装置であって、
前記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を前記符号化データ内の間引き情報に基づいて検出する検出部と、
前記検出部によって検出されたフレーム数と前記あるフレームの音源パラメータおよび声道パラメータと前記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間する補間部と、
前記補間部による補間処理後の符号化データの音源パラメータを前記音声生成モデルの音源モデルに与えて音源信号を生成し、前記補間処理後の符号化データの声道パラメータに基づいて前記音声生成モデルの声道フィルタを構成し、前記生成した音源信号を前記構成した声道フィルタを通過させて音声信号を生成する音声合成部とを備える
ことを特徴とする音声復号化装置。
【請求項１１】
所定の音声生成モデルに基づいて音声信号から複数の声道パラメータからなる声道パラメータセットと音源パラメータとをフレームごとに推定するステップと、
前記推定ステップによって推定された声道パラメータセットに含まれる各々の声道パラメータの不連続点を検出するステップと、
前記検出ステップによって検出された声道パラメータの不連続点を含むフレーム以外のフレームを間引くステップと、
前記間引きステップによる間引き処理後のフレームの声道パラメータおよび音源パラメータと前記間引きステップによって間引かれたフレームの数を示す間引き情報とを符号化するステップとを備える
ことを特徴とする音声符号化方法。
【請求項１２】
請求項１１において、
前記音声信号の有声／無声を判定するステップをさらに備え、
前記間引きステップでは、
前記判定ステップによる判定結果に基づいて前記音声信号の有声／無声境界を含むフレームを検出し、当該フレームと前記検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１３】
請求項１２において、
前記間引きステップでは、
前記有声／無声境界を含むフレームと前記有声／無声境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記有声／無声境界を含むフレームに連続する１または複数のフレームは、前記有声／無声境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化方法。
【請求項１４】
請求項１１において、
前記間引きステップでは、
前記音声信号についての音素ラベル情報に基づいて前記音声信号の音素境界を含むフレームを検出し、当該フレームと前記検出ステップによって検出された不連続点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１５】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記音素境界を含むフレームに連続する１または複数のフレームと前記不連続点を含むフレームと以外のフレームを間引き、
前記音素境界を含むフレームに連続する１または複数のフレームは、前記音素境界から３０ｍｓｅｃ以内の時点の音声波形に対応するフレームである
ことを特徴とする音声符号化方法。
【請求項１６】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の時間長の１／２の時点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１７】
請求項１４において、
前記間引きステップでは、
前記音素境界を含むフレームと前記不連続点を含むフレームと各音素の振幅最大点を含むフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項１８】
請求項１１において、
前記声道パラメータセットは複数の声道パラメータを含み、
前記複数の声道パラメータの各々は前記音声生成モデルの声道フィルタを表現するためのものであり、
前記検出ステップでは、
隣接する２つのフレーム間での前記声道パラメータセットの対応関係をＤＰマッチングにより生成するものとし、２つの隣接するフレームをフレームＡとフレームＢとし、前記声道パラメータセットに含まれる声道パラメータを前記声道フィルタの中心周波数の低いものからＦ１，Ｆ２，・・・とするとき、フレームＡの声道パラメータセットとフレームＢの声道パラメータセットのパラメータ数が同一で、かつフレームＡとフレームＢとの間で同じ番号の声道パラメータ同士が対応づけられる場合に前記２つの隣接するフレームは連続であるとし、それ以外の場合に前記２つの隣接するフレームのフレーム境界を不連続点として検出することを特徴とする音声符号化方法。
【請求項１９】
請求項１１において、
前記間引きステップでは、
前記不連続点を含むフレームと、ある不連続点を含む一のフレームと当該不連続点の次の不連続点を含む他の一のフレームとの間にあるフレームのうち少なくとも１つのフレームと以外のフレームを間引く
ことを特徴とする音声符号化方法。
【請求項２０】
請求項１１に記載の音声符号化方法によって生成された符号化データを用いて前記音声生成モデルに基づいて音声信号を合成する音声復号化方法であって、
前記符号化データのあるフレームと当該フレームの次のフレームとの間で間引かれたフレームの数を前記符号化データ内の間引き情報に基づいて検出し、
検出したフレーム数と前記あるフレームの音源パラメータおよび声道パラメータと前記次のフレームの音源パラメータおよび声道パラメータとに基づいて、これらのフレーム間で間引かれたフレームの音源パラメータおよび声道パラメータを補間し、
補間処理後の符号化データの各フレームの音源パラメータを前記音声生成モデルの音源モデルに与えて音源信号を生成し、
前記各フレームの声道パラメータに基づいて前記音声生成モデルの声道フィルタを構成し、
前記生成した音源信号を前記構成した声道フィルタを通過させて音声信号を生成する
ことを特徴とする音声復号化方法。
【国際調査報告】
2003042648.tif 000024
2003042648.tif 000025
2003042648.tif 000026
2003042648.tif 000027