(57)【特許請求の範囲】
【請求項１】
時系列の強度信号として与えられる音響信号を符号化するための符号化方法であって、
符号化対象となる音響信号を、デジタルの音響データとして取り込む入力段階と、
取り込んだ音響データの波形について変極点を求める変極点定義段階と、
前記音響データの時間軸上に、少なくとも一部分が重複する複数の単位区間を設定する区間設定段階と、
個々の単位区間内の音響データに基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義し、時間軸上での個々の単位区間の始端位置および終端位置を示す情報と前記代表周波数および前記代表強度を示す情報とを含む符号データを生成し、個々の単位区間の音響データを個々の符号データによって表現する符号化段階と、
を有し、
前記区間設定段階では、ある着目する変極点について、その近傍において所定の条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、当該着目する変極点についての固有周波数を定義する固有周波数定義方法を、前記所定の条件を変えることにより複数通り設定し、これら複数通りの固有周波数定義方法を用いて各変極点に複数通りの固有周波数を定義し、同一の固有周波数定義方法で定義された固有周波数が所定の近似範囲内となるような一群の変極点を含む区間を、当該固有周波数定義方法が関与する１つの単位区間として設定し、
前記符号化段階では、単位区間内に含まれる変極点について定義された複数通りの固有周波数のうち、当該単位区間の設定に関与した固有周波数定義方法で定義された固有周波数に基づいて当該単位区間の代表周波数を定義し、当該単位区間内に含まれる変極点のもつ信号強度に基づいて当該単位区間の代表強度を定義することを特徴とする音響信号の符号化方法。
【請求項２】
請求項１に記載の符号化方法において、
入力段階で、正および負の両極性デジタル値を信号強度としてもった音響データを用意し、
区間設定段階で、第１の固有周波数定義方法として、「着目する変極点と同極性の変極点」という条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、着目する変極点についての固有周波数を定義する方法を設定し、第２の固有周波数定義方法として、「着目する変極点に近似した信号強度をもつ変極点」という条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、着目する変極点についての固有周波数を定義する方法を設定することを特徴とする音響信号の符号化方法。
【請求項３】
請求項２に記載の符号化方法において、
区間設定段階で、第１の固有周波数定義方法で定義される固有周波数ｆｈを上限とし、第２の固有周波数定義方法で定義される固有周波数ｈｌを下限とする範囲内で、複数の固有周波数が定義できる複数通りの固有周波数定義方法を設定することを特徴とする音響信号の符号化方法。
【請求項４】
請求項１〜３のいずれかに記載の符号化方法において、
符号化段階で、代表周波数に基づいてノートナンバーを定め、代表強度に基づいてベロシティーを定め、単位区間の長さに基づいてデルタタイムを定め、１つの単位区間の音響データを、ノートナンバー、ベロシティー、デルタタイムで表現されるＭＩＤＩ形式の符号データに変換し、時間軸上で重複する単位区間に対しては異なるチャンネルを割り当てることを特徴とする音響信号の符号化方法。
【請求項５】
請求項１〜４のいずれかに記載の符号化方法を実行する音響信号の符号化のためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音響信号の符号化方法に関し、時系列の強度信号として与えられる音響信号を符号化し、これを復号化して再生する技術に関する。特に、本発明はヴォーカル音響信号（人の話声，歌声の信号）を、ＭＩＤＩ形式の符号データに効率良く変換する処理に適しており、音声を記録する種々の産業分野への応用が期待される。
【０００２】
【従来の技術】
音響信号を符号化する技術として、ＰＣＭ（Pulse Code Modulation ）の手法は最も普及している手法であり、現在、オーディオＣＤやＤＡＴなどの記録方式として広く利用されている。このＰＣＭの手法の基本原理は、アナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして表現する点にあり、サンプリング周波数や量子化ビット数を高くすればするほど、原音を忠実に再生することが可能になる。ただ、サンプリング周波数や量子化ビット数を高くすればするほど、必要な情報量も増えることになる。そこで、できるだけ情報量を低減するための手法として、信号の変化差分のみを符号化するＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation ）の手法も用いられている。
【０００３】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になる。しかしながら、上述したＰＣＭの手法で音を記録する場合に比べて、情報量が極めて少なくてすむという特徴を有し、その符号化効率の高さが注目を集めている。このＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウエアに広く採り入れられており、カラオケ、ゲームの効果音といった分野でも広く利用されている。
【０００４】
【発明が解決しようとする課題】
上述したように、ＰＣＭの手法により音響信号を符号化する場合、十分な音質を確保しようとすれば情報量が膨大になり、データ処理の負担が重くならざるを得ない。したがって、通常は、ある程度の情報量に抑えるため、ある程度の音質に妥協せざるを得ない。もちろん、ＭＩＤＩ規格による符号化の手法を採れば、非常に少ない情報量で十分な音質をもった音の再生が可能であるが、上述したように、ＭＩＤＩ規格そのものが、もともと楽器演奏の操作を符号化するためのものであるため、広く一般音響への適用を行うことはできない。別言すれば、ＭＩＤＩデータを作成するためには、実際に楽器を演奏するか、あるいは、楽譜の情報を用意する必要がある。
【０００５】
このように、従来用いられているＰＣＭの手法にしても、ＭＩＤＩの手法にしても、それぞれ音響信号の符号化方法としては一長一短があり、一般の音響について、少ない情報量で十分な音質を確保することはできない。ところが、一般の音響についても効率的な符号化を行いたいという要望は、益々強くなってきている。いわゆるヴォーカル音響と呼ばれる人間の話声や歌声を取り扱う分野では、かねてからこのような要望が強く出されている。たとえば、語学教育、声楽教育、犯罪捜査などの分野では、ヴォーカル音響信号を効率的に符号化する技術が切望されている。ところが、ヴォーカル音響には、基本周波数のほか、その倍音以外の高調波成分が混在するというホルマント特性が現われることが知られており、これまでの技術では効率的な符号化を行うことができなかった。
【０００６】
そこで本発明は、人の声音や歌声を含む音響信号に対しても効率的な符号化を行うことができる音響信号の符号化方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
(1)   本発明の第１の態様は、時系列の強度信号として与えられる音響信号を符号化するための音響信号の符号化方法において、
符号化対象となる音響信号を、デジタルの音響データとして取り込む入力段階と、
取り込んだ音響データの波形について変極点を求める変極点定義段階と、
この音響データの時間軸上に、少なくとも一部分が重複する複数の単位区間を設定する区間設定段階と、
個々の単位区間内の音響データに基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義し、時間軸上での個々の単位区間の始端位置および終端位置を示す情報と代表周波数および代表強度を示す情報とを含む符号データを生成し、個々の単位区間の音響データを個々の符号データによって表現する符号化段階と、
を行い、
区間設定段階では、ある着目する変極点について、その近傍において所定の条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、当該着目する変極点についての固有周波数を定義する固有周波数定義方法を、前記所定の条件を変えることにより複数通り設定し、これら複数通りの固有周波数定義方法を用いて各変極点に複数通りの固有周波数を定義し、同一の固有周波数定義方法で定義された固有周波数が所定の近似範囲内となるような一群の変極点を含む区間を、当該固有周波数定義方法が関与する１つの単位区間として設定し、
符号化段階では、単位区間内に含まれる変極点について定義された複数通りの固有周波数のうち、当該単位区間の設定に関与した固有周波数定義方法で定義された固有周波数に基づいて当該単位区間の代表周波数を定義し、当該単位区間内に含まれる変極点のもつ信号強度に基づいて当該単位区間の代表強度を定義するようにしたものである。
【００１１】
(2)   本発明の第２の態様は、上述の第１の態様に係る音響信号の符号化方法において、
入力段階で、正および負の両極性デジタル値を信号強度としてもった音響データを用意し、
区間設定段階で、第１の固有周波数定義方法として、「着目する変極点と同極性の変極点」という条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、着目する変極点についての固有周波数を定義する方法を設定し、第２の固有周波数定義方法として、「着目する変極点に近似した信号強度をもつ変極点」という条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基づいて、着目する変極点についての固有周波数を定義する方法を設定するようにしたものである。
【００１２】
(3)   本発明の第３の態様は、上述の第２の態様に係る音響信号の符号化方法において、
区間設定段階で、第１の固有周波数定義方法で定義される固有周波数ｆｈを上限とし、第２の固有周波数定義方法で定義される固有周波数ｈｌを下限とする範囲内で、複数の固有周波数が定義できる複数通りの固有周波数定義方法を設定するようにしたものである。
【００１３】
(4)   本発明の第４の態様は、上述の第１〜第３の態様に係る音響信号の符号化方法において、
符号化段階で、代表周波数に基づいてノートナンバーを定め、代表強度に基づいてベロシティーを定め、単位区間の長さに基づいてデルタタイムを定め、１つの単位区間の音響データを、ノートナンバー、ベロシティー、デルタタイムで表現されるＭＩＤＩ形式の符号データに変換し、時間軸上で重複する単位区間に対しては異なるチャンネルを割り当てるようにしたものである。
【００１４】
(5)   本発明の第５の態様は、上述の第１〜第４の態様に係る音響信号の符号化方法を実行する音響信号の符号化のためのプログラムを、コンピュータ読み取り可能な記録媒体に記録するようにしたものである。
【００１６】
【発明の実施の形態】
以下、本発明を図示する実施形態に基づいて説明する。本願発明は、特開平１０−２４７０９９号公報に開示された発明（以下、先願発明という）を基本発明とした改良発明に相当するものである。したがって、以下の説明では、まず、§１〜§３において先願発明に係る符号化方法を説明することにする。
【００１７】
§１．  先願発明に係る音響信号の符号化方法の基本原理
はじめに、先願発明に係る音響信号の符号化方法の基本原理を図１を参照しながら説明する。いま、図１の上段に示すように、時系列の強度信号としてアナログ音響信号が与えられたものとしよう。図示の例では、横軸に時間軸ｔ、縦軸に信号強度Ａをとってこの音響信号を示している。先願発明では、まずこのアナログ音響信号を、デジタルの音響データとして取り込む処理を行う。これは、従来の一般的なＰＣＭの手法を用い、所定のサンプリング周波数でこのアナログ音響信号をサンプリングし、信号強度Ａを所定の量子化ビット数を用いてデジタルデータに変換する処理を行えばよい。ここでは、説明の便宜上、ＰＣＭの手法でデジタル化した音響データの波形も、図１の上段のアナログ音響信号と同一の波形で示すことにする。
【００１８】
次に、このデジタル音響データの時間軸ｔ上に複数の単位区間を設定する。図示の例では、６つの単位区間Ｕ１〜Ｕ６が設定されている。第ｉ番目の単位区間Ｕｉは、時間軸ｔ上の始端ｓｉおよび終端ｅｉの座標値によって、その時間軸ｔ上での位置と長さとが示される。たとえば、単位区間Ｕ１は、始端ｓ１〜終端ｅ１までの（ｅ１−ｓ１）なる長さをもつ区間である。
【００１９】
こうして、複数の単位区間が設定されたら、個々の単位区間内の音響データに基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義する。ここでは、第ｉ番目の単位区間Ｕｉについて、代表周波数Ｆｉおよび代表強度Ａｉが定義された状態が示されている。たとえば、第１番目の単位区間Ｕ１については、代表周波数Ｆ１および代表強度Ａ１が定義されている。代表周波数Ｆ１は、始端ｓ１〜終端ｅ１までの区間に含まれている音響データの周波数成分の代表値であり、代表強度Ａｉは、同じく始端ｓ１〜終端ｅ１までの区間に含まれている音響データの信号強度の代表値である。単位区間Ｕ１内の音響データに含まれる周波数成分は、通常、単一ではなく、信号強度も変動するのが一般的である。先願発明のポイントは、１つの単位区間について、単一の代表周波数と単一の代表強度を定義し、これら代表値を用いて符号化を行う点にある。
【００２０】
すなわち、個々の単位区間について、それぞれ代表周波数および代表強度が定義されたら、時間軸ｔ上での個々の単位区間の始端位置および終端位置を示す情報と、定義された代表周波数および代表強度を示す情報と、により符号データを生成し、個々の単位区間の音響データを個々の符号データによって表現するのである。単一の周波数をもち、単一の信号強度をもった音響信号が、所定の期間だけ持続する、という事象を符号化する手法として、ＭＩＤＩ規格に基づく符号化を利用することができる。ＭＩＤＩ規格による符号データ（ＭＩＤＩデータ）は、いわば音符によって音を表現したデータということができ、図１では、下段に示す音符によって、最終的に得られる符号データの概念を示している。
【００２１】
結局、各単位区間内の音響データは、代表周波数Ｆ１に相当する音程情報（ＭＩＤＩ規格におけるノートナンバー）と、代表強度Ａ１に相当する強度情報（ＭＩＤＩ規格におけるベロシティー）と、単位区間の長さ（ｅ１−ｓ１）に相当する長さ情報（ＭＩＤＩ規格におけるデルタタイム）と、をもった符号データに変換されることになる。このようにして得られる符号データの情報量は、もとの音響信号のもつ情報量に比べて、著しく小さくなり、飛躍的な符号化効率が得られることになる。これまで、ＭＩＤＩデータを生成する手法としては、演奏者が実際に楽器を演奏するときの操作をそのまま取り込んで符号化するか、あるいは、楽譜上の音符をデータとして入力するしかなかったが、上述した手法を用いれば、実際のアナログ音響信号からＭＩＤＩデータを直接生成することが可能になる。
【００２２】
もっとも、上述した手法による符号化方法を実用化するためには、いくつか留意すべき点がある。第１の留意点は、再生時に音源を用意する必要があるという点である。上述の手法によって最終的に得られる符号データには、もとの音響信号の波形データそのものは含まれていないため、何らかの音響波形のデータをもった音源が必要になる。たとえば、ＭＩＤＩデータを再生する場合には、ＭＩＤＩ音源が必要になる。もっとも、ＭＩＤＩ規格が普及した現在では、種々のＭＩＤＩ音源が入手可能であり、実用上は大きな問題は生じない。ただ、もとの音響信号に忠実な再生音を得るためには、もとの音響信号に含まれていた音響波形に近似した波形データをもったＭＩＤＩ音源を用意する必要がある。適当なＭＩＤＩ音源を用いた再生を行うことができれば、むしろもとの音響信号よりも高い音質で、臨場感あふれる再生音を得ることも可能になる。
【００２３】
第２の留意点は、１つの単位区間に含まれる音響データの周波数を、単一の代表周波数に置き換えてしまうという基本原理に基づく符号化手法であるため、非常に幅の広い周波数成分を同時に含んでいるような音響信号の符号化には不向きであるという点である。もちろん、この符号化手法は、どのような音響信号に対しても適用可能であるが、人間の声音のように、ホルマントと呼ばれる複数の特徴周波数成分をもつ音響信号に対して符号化を行っても、再生時に十分な再現性は得られなくなる。したがって、先願発明の符号化手法は、主として、生体の発生するリズム音や、波や風などの自然が発生するリズム音のように、個々の単位区間内には、ある程度限定された周波数成分のみを含む音響信号に対して利用するのが好ましい。本願発明は、先願発明のこの点を改良し、人間の声音のように、ホルマントと呼ばれる複数の特徴周波数成分をもつ音響信号に対して符号化を行っても、十分な再現性を確保できるようにしたものである。その具体的な方法については、§４以降で述べることにする。
【００２４】
第３の留意点は、効率的で再現性の高い符号化を行うためには、単位区間の設定方法に工夫を凝らす必要があるという点である。先願発明の基本原理は、上述したように、もとの音響データを複数の単位区間に分割し、各単位区間ごとに、単一周波数および単一強度を示す符号データに変換するという点にある。したがって、最終的に得られる符号データは、単位区間の設定方法に大きく依存することになる。最も単純な単位区間の設定方法は、時間軸上で、たとえば１０ｍｓごとというように、等間隔に単位区間を一義的に定義する方法である。しかしながら、この方法では、符号化対象となるもとの音響データにかかわらず、常に一定の方法で単位区間の定義が行われることになり、必ずしも効率的で再現性の高い符号化は期待できない。したがって、実用上は、もとの音響データの波形を解析し、個々の音響データに適した単位区間の設定を行うようにするのが好ましい。
【００２５】
効率的な単位区間の設定を行う１つのアプローチは、音響データの中で周波数帯域が近似した区間を１つのまとまった単位区間として抽出するという方法である。単位区間内の周波数成分は１つの代表周波数によって置き換えられてしまうので、この代表周波数とあまりにかけ離れた周波数成分が含まれていると、再生時の再現性が低減する。したがって、ある程度近似した周波数が持続する区間を１つの単位区間として抽出することは、再現性のよい効率的な符号化を行う上で重要である。このアプローチを採る場合、具体的には、もとの音響データの周波数の変化点を認識し、この変化点を境界とする単位区間の設定を行うようにすればよい。
【００２６】
効率的な単位区間の設定を行うもう１つのアプローチは、音響データの中で信号強度が近似した区間を１つのまとまった単位区間として抽出するという方法である。単位区間内の信号強度は１つの代表強度によって置き換えられてしまうので、この代表強度とあまりにかけ離れた信号強度が含まれていると、再生時の再現性が低減する。したがって、ある程度近似した信号強度が持続する区間を１つの単位区間として抽出することは、再現性のよい効率的な符号化を行う上で重要である。このアプローチを採る場合、具体的には、もとの音響データの信号強度の変化点を認識し、この変化点を境界とする単位区間の設定を行うようにすればよい。
【００２７】
§２．  先願発明に係る音響信号の符号化方法の実用的な手順
図２は、先願発明のより実用的な手順を示す流れ図である。この手順は、入力段階Ｓ１０、変極点定義段階Ｓ２０、区間設定段階Ｓ３０、符号化段階Ｓ４０の４つの大きな段階から構成されている。入力段階Ｓ１０は、符号化対象となる音響信号を、デジタルの音響データとして取り込む段階である。変極点定義段階Ｓ２０は、後の区間設定段階Ｓ３０の準備段階ともいうべき段階であり、取り込んだ音響データの波形について変極点（ローカルピーク）を求める段階である。また、区間設定段階Ｓ３０は、この変極点に基づいて、音響データの時間軸上に複数の単位区間を設定する段階であり、符号化段階Ｓ４０は、個々の単位区間の音響データを個々の符号データに変換する段階である。符号データへの変換原理は、既に§１で述べたとおりである。すなわち、個々の単位区間内の音響データに基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義し、時間軸上での個々の単位区間の始端位置および終端位置を示す情報と、代表周波数および代表強度を示す情報と、によって符号データが生成されることになる。以下、これらの各段階において行われる処理を順に説明する。
【００２８】
＜＜＜  ２．１  入力段階  ＞＞＞
入力段階Ｓ１０では、サンプリング処理Ｓ１１と直流成分除去処理Ｓ１２とが実行される。サンプリング処理Ｓ１１は、符号化の対象となるアナログ音響信号を、デジタルの音響データとして取り込む処理であり、従来の一般的なＰＣＭの手法を用いてサンプリングを行う処理である。この実施形態では、サンプリング周波数：４４．１ｋＨｚ、量子化ビット数：１６ビットという条件でサンプリングを行い、デジタルの音響データを用意している。
【００２９】
続く、直流成分除去処理Ｓ１２は、入力した音響データに含まれている直流成分を除去するデジタル処理である。たとえば、図３に示す音響データは、振幅の中心レベルが、信号強度を示すデータレンジの中心レベル（具体的なデジタル値としては、たとえば、１６ビットでサンプリングを行い、０〜６５５３５のデータレンジが設定されている場合には３２７６８なる値。以下、説明の便宜上、図３のグラフに示すように、データレンジの中心レベルに０をとり、サンプリングされた個々の信号強度の値を正または負で表現する）よりもＤだけ高い位置にきている。別言すれば、この音響データには、値Ｄに相当する直流成分が含まれていることになる。サンプリング処理の対象になったアナログ音響信号に直流成分が含まれていると、デジタル音響データにもこの直流成分が残ることになる。そこで、直流成分除去処理Ｓ１２によって、この直流成分Ｄを除去する処理を行い、振幅の中心レベルとデータレンジの中心レベルとを一致させる。具体的には、サンプリングされた個々の信号強度の平均が０になるように、直流成分Ｄを差し引く演算を行えばよい。これにより、正および負の両極性デジタル値を信号強度としてもった音響データが用意できる。
【００３０】
＜＜＜  ２．２  変極点定義段階  ＞＞＞
変極点定義段階Ｓ２０では、変極点探索処理Ｓ２１と同極性変極点の間引処理Ｓ２２とが実行される。変極点探索処理Ｓ２１は、取り込んだ音響データの波形について変極点を求める処理である。図４は、図３に示す音響データの一部を時間軸に関して拡大して示したグラフである。このグラフでは、矢印Ｐ１〜Ｐ６の先端位置の点が変極点（極大もしくは極小の点）に相当し、各変極点はいわゆるローカルピークに相当する点となる。このような変極点を探索する方法としては、たとえば、サンプリングされたデジタル値を時間軸に沿って順に注目してゆき、増加から減少に転じた位置、あるいは減少から増加に転じた位置を認識すればよい。ここでは、この変極点を図示のような矢印で示すことにする。
【００３１】
各変極点は、サンプリングされた１つのデジタルデータに対応する点であり、所定の信号強度の情報（矢印の長さに相当）をもつとともに、時間軸ｔ上での位置の情報をもつことになる。図５は、図４に矢印で示す変極点Ｐ１〜Ｐ６のみを抜き出して示した図である。以下の説明では、この図５に示すように、第ｉ番目の変極点Ｐｉのもつ信号強度（絶対値）を矢印の長さａｉとして示し、時間軸ｔ上での変極点Ｐｉの位置をｔｉとして示すことにする。結局、変極点探索処理Ｓ２１は、図３に示すような音響データに基づいて、図５に示すような各変極点に関する情報を求める処理ということになる。
【００３２】
ところで、図５に示す各変極点Ｐ１〜Ｐ６は、交互に極性が反転する性質を有する。すなわち、図５の例では、奇数番目の変極点Ｐ１，Ｐ３，Ｐ５は上向きの矢印で示され、偶数番目の変極点Ｐ２，Ｐ４，Ｐ６は下向きの矢印で示されている。これは、もとの音響データ波形の振幅が正負交互に現れる振動波形としての本来の姿をしているためである。しかしながら、実際には、このような本来の振動波形が必ずしも得られるとは限らず、たとえば、図６に示すように、多少乱れた波形が得られる場合もある。この図６に示すような音響データに対して変極点探索処理Ｓ２１を実行すると、個々の変極点Ｐ１〜Ｐ７のすべてが検出されてしまうため、図７に示すように、変極点を示す矢印の向きは交互に反転するものにはならない。しかしながら、単一の代表周波数を定義する上では、向きが交互に反転した矢印列が得られるのが好ましい。
【００３３】
同極性変極点の間引処理Ｓ２２は、図７に示すように、同極性のデジタル値をもった変極点（同じ向きの矢印）が複数連続した場合に、絶対値が最大のデジタル値をもった変極点（最も長い矢印）のみを残し、残りを間引きしてしまう処理である。図７に示す例の場合、上向きの３本の矢印Ｐ１〜Ｐ３のうち、最も長いＰ２のみが残され、下向きの３本の矢印Ｐ４〜Ｐ６のうち、最も長いＰ４のみが残され、結局、間引処理Ｓ２２により、図８に示すように、３つの変極点Ｐ２，Ｐ４，Ｐ７のみが残されることになる。この図８に示す変極点は、図６に示す音響データの波形の本来の姿に対応したものになる。
【００３４】
＜＜＜  ２．３  区間設定段階  ＞＞＞
既に述べたように、先願発明に係る符号化方法において、効率的で再現性の高い符号化を行うためには、単位区間の設定方法に工夫を凝らす必要がある。その意味で、図２に示す各段階のうち、区間設定段階Ｓ３０は、実用上非常に重要な段階である。上述した変極点定義段階Ｓ２０は、この区間設定段階Ｓ３０の準備段階になっており、単位区間の設定は、個々の変極点の情報を利用して行われる。すなわち、この区間設定段階Ｓ３０では、変極点に基づいて音響データの周波数もしくは信号強度の変化点を認識し、この変化点を境界とする単位区間を設定する、という基本的な考え方に沿って処理が進められる。
【００３５】
図５に示すように、矢印で示されている個々の変極点Ｐ１〜Ｐ６には、それぞれ信号強度ａ１〜ａ６が定義されている。しかしながら、個々の変極点Ｐ１〜Ｐ６それ自身には、周波数に関する情報は定義されていない。区間設定段階Ｓ３０において最初に行われる固有周波数定義処理Ｓ３１は、個々の変極点それぞれに、所定の固有周波数を定義する処理である。本来、周波数というものは、時間軸上の所定の区間内の波について定義される物理量であり、時間軸上のある１点について定義されるべきものではない。ただ、ここでは便宜上、個々の変極点について、疑似的に固有周波数なるものを定義することにする（一般に、物理学における「固有周波数」という文言は、物体が音波などに共鳴して振動する物体固有の周波数を意味するが、本願における「固有周波数」とは、このような物体固有の周波数を意味するものではなく、個々の変極点それぞれに定義された疑似的な周波数、別言すれば、信号のある瞬間における基本周波数を意味するものである。）。
【００３６】
いま、図９に示すように、多数の変極点のうち、第ｎ番目〜第（ｎ＋２）番目の変極点Ｐ（ｎ），Ｐ（ｎ＋１），Ｐ（ｎ＋２）に着目する。これら各変極点には、それぞれ信号値ａ（ｎ），ａ（ｎ＋１），ａ（ｎ＋２）が定義されており、また、時間軸上での位置ｔ（ｎ），ｔ（ｎ＋１），ｔ（ｎ＋２）が定義されている。ここで、これら各変極点が、音声データ波形のローカルピーク位置に相当する点であることを考慮すれば、図示のように、変極点Ｐ（ｎ）とＰ（ｎ＋２）との間の時間軸上での距離φは、もとの波形の１周期に対応することがわかる。そこで、たとえば、第ｎ番目の変極点Ｐ（ｎ）の固有周波数ｆ（ｎ）なるものを、ｆ（ｎ）＝１／φと定義すれば、個々の変極点について、それぞれ固有周波数を定義することができる。時間軸上での位置ｔ（ｎ），ｔ（ｎ＋１），ｔ（ｎ＋２）が、「秒」の単位で表現されていれば、
φ＝（ｔ（ｎ＋２）−ｔ（ｎ））
であるから、
ｆ（ｎ）＝１／（ｔ（ｎ＋２）−ｔ（ｎ））
として定義できる。
【００３７】
なお、実際のデジタルデータ処理の手順を考慮すると、個々の変極点の位置は、「秒」の単位ではなく、サンプル番号ｘ（サンプリング処理Ｓ１１における何番目のサンプリング時に得られたデータであるかを示す番号）によって表されることになるが、このサンプル番号ｘと実時間「秒」とは、サンプリング周波数ｆｓによって一義的に対応づけられる。たとえば、第ｍ番目のサンプルｘ（ｍ）と第（ｍ＋１）番目のサンプルｘ（ｍ＋１）との間の実時間軸上での間隔は、１／ｆｓになる。
【００３８】
さて、このようにして個々の変極点に定義された固有周波数は、物理的には、その変極点付近のローカルな周波数を示す量ということになる。隣接する別な変極点との距離が短ければ、その付近のローカルな周波数は高く、隣接する別な変極点との距離が長ければ、その付近のローカルな周波数は低いということになる。もっとも、上述の例では、後続する２つ目の変極点との間の距離に基づいて固有周波数を定義しているが、固有周波数の定義方法としては、この他どのような方法を採ってもかまわない。たとえば、第ｎ番目の変極点の固有周波数ｆ（ｎ）を、先行する第（ｎ−２）番目の変極点との間の距離を用いて、
ｆ（ｎ）＝１／（ｔ（ｎ）−ｔ（ｎ−２））
と定義することもできる。また、前述したように、後続する２つ目の変極点との間の距離に基づいて、固有周波数ｆ（ｎ）を、
ｆ（ｎ）＝１／（ｔ（ｎ＋２）−ｔ（ｎ））
なる式で定義した場合であっても、最後の２つの変極点については、後続する２つ目の変極点が存在しないので、先行する変極点を利用して、
ｆ（ｎ）＝１／（ｔ（ｎ）−ｔ（ｎ−２））
なる式で定義すればよい。
【００３９】
あるいは、後続する次の変極点との間の距離に基づいて、第ｎ番目の変極点の固有周波数ｆ（ｎ）を、
ｆ（ｎ）＝（１／２）・１／（ｔ（ｎ＋１）−ｔ（ｎ））
なる式で定義することもできるし、後続する３つ目の変極点との間の距離に基づいて、
ｆ（ｎ）＝（３／２）・１／（ｔ（ｎ＋３）−ｔ（ｎ））
なる式で定義することもできる。結局、一般式を用いて示せば、第ｎ番目の変極点についての固有周波数ｆ（ｎ）は、ｋ個離れた変極点（ｋが正の場合は後続する変極点、負の場合は先行する変極点）との間の時間軸上での距離に基づいて、
ｆ（ｎ）＝（ｋ／２）・１／（ｔ（ｎ＋ｋ）−ｔ（ｎ））
なる式で定義することができる。ｋの値は、予め適当な値に設定しておけばよい。変極点の時間軸上での間隔が比較的小さい場合には、ｋの値をある程度大きく設定した方が、誤差の少ない固有周波数を定義することができる。ただし、ｋの値をあまり大きく設定しすぎると、ローカルな周波数としての意味が失われてしまうことになり好ましくない。
【００４０】
こうして、固有周波数定義処理Ｓ３１が完了すると、個々の変極点Ｐ（ｎ）には、信号強度ａ（ｎ）と、固有周波数ｆ（ｎ）と、時間軸上での位置ｔ（ｎ）とが定義されることになる。
【００４１】
さて、§１では、効率的で再現性の高い符号化を行うためには、１つの単位区間に含まれる変極点の周波数が所定の近似範囲内になるように単位区間を設定するという第１のアプローチと、１つの単位区間に含まれる変極点の信号強度が所定の近似範囲内になるように単位区間を設定するという第２のアプローチとがあることを述べた。ここでは、この２つのアプローチを用いた単位区間の設定手法を、具体例に即して説明しよう。
【００４２】
いま、図１０に示すように、９つの変極点Ｐ１〜Ｐ９のそれぞれについて、信号強度ａ１〜ａ９と固有周波数ｆ１〜ｆ９とが定義されている場合を考える。この場合、第１のアプローチに従えば、個々の固有周波数ｆ１〜ｆ９に着目し、互いに近似した固有周波数をもつ空間的に連続した変極点の一群を１つの単位区間とする処理を行えばよい。たとえば、固有周波数ｆ１〜ｆ５がほぼ同じ値（第１の基準値）をとり、固有周波数ｆ６〜ｆ９がほぼ同じ値（第２の基準値）をとっており、第１の基準値と第２の基準値との差が所定の許容範囲を越えていた場合、図１０に示すように、第１の基準値の近似範囲に含まれる固有周波数ｆ１〜ｆ５をもつ変極点Ｐ１〜Ｐ５を含む区間を単位区間Ｕ１とし、第２の基準値の近似範囲に含まれる固有周波数ｆ６〜ｆ９をもつ変極点Ｐ６〜Ｐ９を含む区間を単位区間Ｕ２として設定すればよい。先願発明による手法では、１つの単位区間については、単一の代表周波数が与えられることになるが、このように、固有周波数が互いに近似範囲内にある複数の変極点が存在する区間を１つの単位区間として設定すれば、代表周波数と個々の固有周波数との差が所定の許容範囲内に抑えられることになり、大きな問題は生じない。
【００４３】
続いて、固有周波数が近似する変極点を１グループにまとめて、１つの単位区間を定義するための具体的な手法の一例を以下に示す。たとえば、図１０に示すように、９つの変極点Ｐ１〜Ｐ９が与えられた場合、まず変極点Ｐ１とＰ２について、固有周波数を比較し、両者の差が所定の許容範囲ｆｆ内にあるか否かを調べる。もし、
｜ｆ１−ｆ２｜＜ｆｆ
であれば、変極点Ｐ１，Ｐ２を第１の単位区間Ｕ１に含ませる。そして、今度は、変極点Ｐ３を、この第１の単位区間Ｕ１に含ませてよいか否かを調べる。これは、この第１の単位区間Ｕ１についての平均固有周波数（ｆ１＋ｆ２）／２と、ｆ３との比較を行い、
｜（ｆ１＋ｆ２）／２−ｆ３｜＜ｆｆ
であれば、変極点Ｐ３を第１の単位区間Ｕ１に含ませればよい。更に、変極点Ｐ４に関しては、
｜（ｆ１＋ｆ２＋ｆ３）／３−ｆ４｜＜ｆｆ
であれば、これを第１の単位区間Ｕ１に含ませることができ、変極点Ｐ５に関しては、
｜（ｆ１＋ｆ２＋ｆ３＋ｆ４）／４−ｆ５｜＜ｆｆ
であれば、これを第１の単位区間Ｕ１に含ませることができる。ここで、もし、変極点Ｐ６について、
｜（ｆ１＋ｆ２＋ｆ３＋ｆ４＋ｆ５）／５−ｆ６｜＞ｆｆ
なる結果が得られたしまった場合、すなわち、固有周波数ｆ６と、第１の単位区間Ｕ１の平均固有周波数との差が、所定の許容範囲ｆｆを越えてしまった場合、変極点Ｐ５とＰ６との間に不連続位置が検出されたことになり、変極点Ｐ６を第１の単位区間Ｕ１に含ませることはできない。そこで、変極点Ｐ５をもって第１の単位区間Ｕ１の終端とし、変極点Ｐ６は別な第２の単位区間Ｕ２の始端とする。そして、変極点Ｐ６とＰ７について、固有周波数を比較し、両者の差が所定の許容範囲ｆｆ内にあるか否かを調べ、もし、
｜ｆ６−ｆ７｜＜ｆｆ
であれば、変極点Ｐ６，Ｐ７を第２の単位区間Ｕ２に含ませる。そして、今度は、変極点Ｐ８に関して、
｜（ｆ６＋ｆ７）／２−ｆ８｜＜ｆｆ
であれば、これを第２の単位区間Ｕ２に含ませ、変極点Ｐ９に関して、
｜（ｆ６＋ｆ７＋ｆ８）／３−ｆ９｜＜ｆｆ
であれば、これを第２の単位区間Ｕ２に含ませる。
【００４４】
このような手法で、不連続位置の検出を順次行ってゆき、各単位区間を順次設定してゆけば、上述した第１のアプローチに沿った区間設定が可能になる。もちろん、上述した具体的な手法は、一例として示したものであり、この他にも種々の手法を採ることができる。たとえば、平均値と比較する代わりに、常に隣接する変極点の固有周波数を比較し、差が許容範囲ｆｆを越えた場合に不連続位置と認識する簡略化した手法を採ってもかまわない。すなわち、ｆ１とｆ２との差、ｆ２とｆ３との差、ｆ３とｆ４との差、…というように、個々の差を検討してゆき、差が許容範囲ｆｆを越えた場合には、そこを不連続位置として認識すればよい。
【００４５】
以上、第１のアプローチについて述べたが、第２のアプローチに基づく単位区間の設定も同様に行うことができる。この場合は、個々の変極点の信号強度ａ１〜ａ９に着目し、所定の許容範囲ａａとの比較を行うようにすればよい。もちろん、第１のアプローチと第２のアプローチとの双方を組み合わせて、単位区間の設定を行ってもよい。この場合は、個々の変極点の固有周波数ｆ１〜ｆ９と信号強度ａ１〜ａ９との双方に着目し、両者がともに所定の許容範囲ｆｆおよびａａ内に入っていれば、同一の単位区間に含ませるというような厳しい条件を課してもよいし、いずれか一方が許容範囲内に入っていれば、同一の単位区間に含ませるというような緩い条件を課してもよい。
【００４６】
なお、この区間設定段階Ｓ３０においては、上述した各アプローチに基づいて単位区間の設定を行う前に、絶対値が所定の許容レベル未満となる信号強度をもつ変極点を除外する処理を行っておくのが好ましい。たとえば、図１１に示す例のように所定の許容レベルＬＬを設定すると、変極点Ｐ４の信号強度ａ４と変極点Ｐ９の信号強度ａ９は、その絶対値がこの許容レベルＬＬ未満になる。このような場合、変極点Ｐ４，Ｐ９を除外する処理を行うのである。このような除外処理を行う第１の意義は、もとの音響信号に含まれていたノイズ成分を除去することにある。通常、音響信号を電気的に取り込む過程では、種々のノイズ成分が混入することが多く、このようなノイズ成分までも含めて符号化が行われると好ましくない。
【００４７】
もっとも、許容レベルＬＬをある程度以上に設定すると、ノイズ成分以外のものも除外されることになるが、このようにノイズ成分以外の信号を除外することも、場合によっては、十分に意味のある処理になる。すなわち、この除外処理を行う第２の意義は、もとの音響信号に含まれていた情報のうち、興味の対象外となる情報を除外することにある。たとえば、図１の上段に示す音響信号は、人間の心音を示す信号であるが、この音響信号のうち、疾患の診断などに有効な情報は、振幅の大きな部分（各単位区間Ｕ１〜Ｕ６の部分）に含まれており、それ以外の部分の情報はあまり役にたたない。そこで、所定の許容レベルＬＬを設定し、無用な情報部分を除外する処理を行うと、より効率的な符号化が可能になる。
【００４８】
また、心音や肺音のように、生体が発生する生理的リズム音における比較的振幅の小さな成分は、生体内で発生する反響音であることが多く、このような反響音は、符号化の時点で一旦除外してしまっても、再生時にエコーなどの音響効果を加えることにより容易に付加することが可能である。このような点においても、許容レベル未満の変極点を除外する処理は意味をもつ。
【００４９】
なお、許容レベル未満の変極点を除外する処理を行った場合は、除外された変極点の位置で分割されるように単位区間定義を行うようにするのが好ましい。たとえば、図１１に示す例の場合、除外された変極点Ｐ４，Ｐ９の位置（一点鎖線で示す）で分割された単位区間Ｕ１，Ｕ２が定義されている。このような単位区間定義を行えば、図１の上段に示す音響信号のように、信号強度が許容レベル以上の区間（単位区間Ｕ１〜Ｕ６の各区間）と、許容レベル未満の区間（単位区間Ｕ１〜Ｕ６以外の区間）とが交互に出現するような音響信号の場合、非常に的確な単位区間の定義が可能になる。
【００５０】
これまで、区間設定段階Ｓ３０で行われる効果的な区間設定手法の要点を述べてきたが、ここでは、より具体的な手順を述べることにする。図２の流れ図に示されているように、この区間設定段階Ｓ３０は、４つの処理Ｓ３１〜Ｓ３４によって構成されている。固有周波数定義処理Ｓ３１は、既に述べたように、各変極点について、それぞれ近傍の変極点との間の時間軸上での距離に基づいて所定の固有周波数を定義する処理である。ここでは、図１２に示すように、変極点Ｐ１〜Ｐ１７のそれぞれについて、固有周波数ｆ１〜ｆ１７が定義された例を考える。
【００５１】
続く、レベルによるスライス処理Ｓ３２は、絶対値が所定の許容レベル未満となる信号強度をもつ変極点を除外し、除外された変極点の位置で分割されるような区間を定義する処理である。ここでは、図１２に示すような変極点Ｐ１〜Ｐ１７に対して、図１３に示すような許容レベルＬＬを設定した場合を考える。この場合、変極点Ｐ１，Ｐ２，Ｐ１１，Ｐ１６，Ｐ１７が、許容レベル未満の変極点として除外されることになる。図１４では、このようにして除外された変極点を破線の矢印で示す。この「レベルによるスライス処理Ｓ３２」では、更に、除外された変極点の位置で分割されるような区間Ｋ１，Ｋ２が定義される。ここでは、１つでも除外された変極点が存在する場合には、その位置の左右に異なる区間を設定するようにしており、結果的に、変極点Ｐ３〜Ｐ１０までの区間Ｋ１と、変極点Ｐ１２〜Ｐ１５までの区間Ｋ２とが設定されることになる。なお、ここで定義された区間Ｋ１，Ｋ２は、暫定的な区間であり、必ずしも最終的な単位区間になるとは限らない。
【００５２】
次の不連続部分割処理Ｓ３３は、時間軸上において、変極点の固有周波数もしくは信号強度の値が不連続となる不連続位置を探し、処理Ｓ３２で定義された個々の区間を、更にこの不連続位置で分割することにより、新たな区間を定義する処理である。たとえば、上述の例の場合、図１５に示すような暫定区間Ｋ１，Ｋ２が定義されているが、ここで、もし暫定区間Ｋ１内の変極点Ｐ６とＰ７との間に不連続が生じていた場合は、この不連続位置で暫定区間Ｋ１を分割し、図１６に示すように、新たに暫定区間Ｋ１−１とＫ１−２とが定義され、結局、３つの暫定区間Ｋ１−１，Ｋ１−２，Ｋ２が形成されることになる。不連続位置の具体的な探索手法は既に述べたとおりである。たとえば、図１５の例の場合、
｜（ｆ３＋ｆ４＋ｆ５＋ｆ６）／４−ｆ７｜＞ｆｆ
の場合に、変極点Ｐ６とＰ７との間に固有周波数の不連続が生じていると認識されることになる。同様に、変極点Ｐ６とＰ７との間の信号強度の不連続は、
｜（ａ３＋ａ４＋ａ５＋ａ６）／４−ａ７｜＞ａａ
の場合に認識される。
【００５３】
不連続部分割処理Ｓ３３で、実際に区間分割を行うための条件としては、
▲１▼固有周波数の不連続が生じた場合にのみ区間の分割を行う、
▲２▼信号強度の不連続が生じた場合にのみ区間の分割を行う、
▲３▼固有周波数の不連続か信号強度の不連続かの少なくとも一方が生じた場合に区間の分割を行う、
▲４▼固有周波数の不連続と信号強度の不連続との両方が生じた場合にのみ区間の分割を行う、
など、種々の条件を設定することが可能である。あるいは、不連続の度合いを考慮して、上述の▲１▼〜▲４▼を組み合わせるような複合条件を設定することもできる。
【００５４】
こうして、不連続部分割処理Ｓ３３によって得られた区間（上述の例の場合、３つの暫定区間Ｋ１−１，Ｋ１−２，Ｋ２）を、最終的な単位区間として設定することもできるが、ここでは更に、区間統合処理Ｓ３４を行っている。この区間統合処理Ｓ３４は、不連続部分割処理Ｓ３３によって得られた区間のうち、一方の区間内の変極点の固有周波数もしくは信号強度の平均と、他方の区間内の変極点の固有周波数もしくは信号強度の平均との差が、所定の許容範囲内であるような２つの隣接区間が存在する場合に、この隣接区間を１つの区間に統合する処理である。たとえば、上述の例の場合、図１７に示すように、区間Ｋ１−２と区間Ｋ２とを平均固有周波数で比較した結果、
｜（ｆ７＋ｆ８＋ｆ９＋ｆ１０）／４
−（ｆ１２＋ｆ１３＋ｆ１４＋ｆ１５）／４｜＜ｆｆ
のように、平均の差が所定の許容範囲ｆｆ以内であった場合には、区間Ｋ１−２と区間Ｋ２とは統合されることになる。もちろん、平均信号強度の差が許容範囲ａａ以内であった場合に統合を行うようにしてもよいし、平均固有周波数の差が許容範囲ｆｆ内という条件と平均信号強度の差が許容範囲ａａ以内という条件とのいずれか一方が満足された場合に統合を行うようにしてもよいし、両条件がともに満足された場合に統合を行うようにしてもよい。また、このような種々の条件が満足されていても、両区間の間の間隔が時間軸上で所定の距離以上離れていた場合（たとえば、多数の変極点が除外されたために、かなりの空白区間が生じているような場合）は、統合処理を行わないような加重条件を課すことも可能である。
【００５５】
かくして、この区間統合処理Ｓ３４を行った後に得られた区間が、最終的な単位区間として設定されることになる。上述の例では、最終的に、図１８に示すように、単位区間Ｕ１（図１７の暫定区間Ｋ１−１）と、単位区間Ｕ２（図１７で統合された暫定区間Ｋ１−２およびＫ２）とが設定される。
【００５６】
なお、ここに示す実施態様では、こうして得られた単位区間の始端と終端を、その区間に含まれる最初の変極点の時間軸上の位置を始端とし、その区間に含まれる最後の変極点の時間軸上の位置を終端とする、という定義で定めることにする。したがって、図１８に示す例では、単位区間Ｕ１は時間軸上の位置ｔ３〜ｔ６までの区間であり、単位区間Ｕ２は時間軸上の位置ｔ７〜ｔ１５までの区間となる。
【００５７】
＜＜＜  ２．４  符号化段階  ＞＞＞
次に、図２の流れ図に示されている符号化段階Ｓ４０について説明する。ここに示す実施形態では、この符号化段階Ｓ４０は、符号データ生成処理Ｓ４１と、符号データ修正処理Ｓ４２とによって構成されている。符号データ生成処理Ｓ４１は、区間設定段階Ｓ３０において設定された個々の単位区間内の音声データに基づいて、個々の単位区間を代表する所定の代表周波数および代表強度を定義し、時間軸上での個々の単位区間の始端位置および終端位置を示す情報と、代表周波数および代表強度を示す情報とを含む符号データを生成する処理であり、この処理により、個々の単位区間の音声データは個々の符号データによって表現されることになる。一方、符号データ修正処理Ｓ４２は、後述するように、生成された符号データを、復号化に用いる再生音源装置の特性に適合させるために修正する処理である。
【００５８】
符号データ生成処理Ｓ４１における符号データ生成の具体的手法は、非常に単純である。すなわち、個々の単位区間内に含まれる変極点の固有周波数に基づいて代表周波数を定義し、個々の単位区間内に含まれる変極点のもつ信号強度に基づいて代表強度を定義ればよい。これを図１８の例で具体的に示そう。この図１８に示す例では、変極点Ｐ３〜Ｐ６を含む単位区間Ｕ１と、変極点Ｐ７〜Ｐ１５（ただし、Ｐ１１は除外されている）を含む単位区間Ｕ２とが設定されている。ここに示す実施形態では、単位区間Ｕ１（始端ｔ３，終端ｔ６）については、図１９上段に示すように、代表周波数Ｆ１および代表強度Ａ１が、
Ｆ１＝（ｆ３＋ｆ４＋ｆ５＋ｆ６）／４
Ａ１＝（ａ３＋ａ４＋ａ５＋ａ６）／４
なる式で演算され、単位区間Ｕ２（始端ｔ７，終端ｔ１５）については、図１９下段に示すように、代表周波数Ｆ２および代表強度Ａ２が、
0003958841.tif 000002
なる式で演算される。別言すれば、代表周波数および代表強度は、単位区間内に含まれる変極点の固有周波数および信号強度の単純平均値となっている。もっとも、代表値としては、このような単純平均値だけでなく、重みを考慮した加重平均値をとってもかまわない。たとえば、信号強度に基づいて個々の変極点に重みづけをし、この重みづけを考慮した固有周波数の加重平均値を代表周波数としてもよい。あるいは、単位区間内に含まれる変極点のもつ信号強度のうちの最大値を代表強度とすることもできる。
【００５９】
こうして個々の単位区間に、それぞれ代表周波数および代表強度が定義されれば、時間軸上での個々の単位区間の始端位置と終端位置は既に得られているので、個々の単位区間に対応する符号データの生成が可能になる。たとえば、図１８に示す例の場合、図２０に示すように、５つの区間Ｅ０，Ｕ１，Ｅ１，Ｕ２，Ｅ２を定義するための符号データを生成することができる。ここで、区間Ｕ１，Ｕ２は、前段階で設定された単位区間であり、区間Ｅ０，Ｅ１，Ｅ２は、各単位区間の間に相当する空白区間である。各単位区間Ｕ１，Ｕ２には、それぞれ代表周波数Ｆ１，Ｆ２と代表強度Ａ１，Ａ２が定義されているが、空白区間Ｅ０，Ｅ１，Ｅ２は、単に始端および終端のみが定義されている区間である。
【００６０】
図２１は、図２０に示す個々の区間に対応する符号データの構成例を示す図表である。この例では、１行に示された符号データは、区間名（実際には、不要）と、区間の始端位置および終端位置と、代表周波数および代表強度と、によって構成されている。一方、図２２は、図２０に示す個々の区間に対応する符号データの別な構成例を示す図表である。図２１に示す例では、各単位区間の始端位置および終端位置を直接符号データとして表現していたが、図２２に示す例では、各単位区間の始端位置および終端位置を示す情報として、区間長Ｌ１〜Ｌ４（図２０参照）を用いている。なお、図２１に示す構成例のように、単位区間の始端位置および終端位置を直接符号データとして用いる場合には、実際には、空白区間Ｅ０，Ｅ１，…についての符号データは不要である（図２１に示す単位区間Ｕ１，Ｕ２の符号データのみから、図２０の構成が再現できる）。
【００６１】
先願発明に係る音響信号の符号化方法によって、最終的に得られる符号データは、この図２１あるいは図２２に示すような符号データである。もっとも、符号データとしては、各単位区間の時間軸上での始端位置および終端位置を示す情報と、代表周波数および代表強度を示す情報とが含まれていれば、どのような構成のデータを用いてもかまわない。最終的に得られる符号データに、上述の情報さえ含まれていれば、所定の音源を用いて音声の再生（復号化）が可能になる。たとえば、図２０に示す例の場合、時刻０〜ｔ３の期間は沈黙を守り、時刻ｔ３〜ｔ６の期間に周波数Ｆ１に相当する音を強度Ａ１で鳴らし、時刻ｔ６〜ｔ７の期間は沈黙を守り、時刻ｔ７〜ｔ１５の期間に周波数Ｆ２に相当する音を強度Ａ２で鳴らせば、もとの音響信号の再生が行われることになる。
【００６２】
§３．  ＭＩＤＩ形式の符号データを用いる実施形態
＜＜＜  ３．１  ＭＩＤＩデータへの変換原理  ＞＞＞
上述したように、先願発明に係る音響信号の符号化方法では、最終的に、個々の単位区間についての始端位置および終端位置を示す情報と、代表周波数および代表強度を示す情報とが含まれた符号データであれば、どのような形式の符号データを用いてもかまわない。しかしながら、実用上は、そのような符号データとして、ＭＩＤＩ形式の符号データを採用するのが最も好ましい。ここでは、ＭＩＤＩ形式の符号データを採用した具体的な実施形態を示す。
【００６３】
図２３は、一般的なＭＩＤＩ形式の符号データの構成を示す図である。図示のとおり、このＭＩＤＩ形式では、「ノートオン」データもしくは「ノートオフ」データが、「デルタタイム」データを介在させながら存在する。「デルタタイム」データは、１〜４バイトのデータで構成され、所定の時間間隔を示すデータである。一方、「ノートオン」データは、全部で３バイトから構成されるデータであり、１バイト目は常にノートオン符号「９０ H」に固定されており（ Hは１６進数を示す）、２バイト目にノートナンバーＮを示すコードが、３バイト目にベロシティーＶを示すコードが、それぞれ配置される。ノートナンバーＮは、音階（一般の音楽でいう全音７音階の音階ではなく、ここでは半音１２音階の音階をさす）の番号を示す数値であり、このノートナンバーＮが定まると、たとえば、ピアノの特定の鍵盤キーが指定されることになる（Ｃ−２の音階がノートナンバーＮ＝０に対応づけられ、以下、Ｎ＝１２７までの１２８通りの音階が対応づけられる。ピアノの鍵盤中央のラの音（Ａ３音）は、ノートナンバーＮ＝６９になる）。ベロシティーＶは、音の強さを示すパラメータであり（もともとは、ピアノの鍵盤などを弾く速度を意味する）、Ｖ＝０〜１２７までの１２８段階の強さが定義される。
【００６４】
同様に、「ノートオフ」データも、全部で３バイトから構成されるデータであり、１バイト目は常にノートオフ符号「８０ H」に固定されており、２バイト目にノートナンバーＮを示すコードが、３バイト目にベロシティーＶを示すコードが、それぞれ配置される。「ノートオン」データと「ノートオフ」データとは対になって用いられる。たとえば、「９０ H，６９，８０」なる３バイトの「ノートオン」データは、ノートナンバーＮ＝６９に対応する鍵盤中央のラのキーを押し下げる操作を意味し、以後、同じノートナンバーＮ＝６９を指定した「ノートオフ」データが与えられるまで、そのキーを押し下げた状態が維持される（実際には、ピアノなどのＭＩＤＩ音源の波形を用いた場合、有限の時間内に、ラの音の波形は減衰してしまう）。ノートナンバーＮ＝６９を指定した「ノートオフ」データは、たとえば、「８０ H，６９，５０」のような３バイトのデータとして与えられる。「ノートオフ」データにおけるベロシティーＶの値は、たとえばピアノの場合、鍵盤キーから指を離す速度を示すパラメータになる。
【００６５】
なお、上述の説明では、ノートオン符号「９０ H」およびノートオフ符号「８０ H」は固定であると述べたが、これらの符号の下位４ビットは必ずしも０に固定されているわけではなく、チャネル番号０〜１５のいずれかを特定するコードとして利用することができ、チャネルごとにそれぞれ別々の楽器の音色についてのオン・オフを指定することができる。
【００６６】
このように、ＭＩＤＩデータは、もともと楽器演奏の操作に関する情報（別言すれば、楽譜の情報）を記述する目的で利用されている符号データであるが、先願発明に係る音響信号の符号化方法への利用にも適している。すなわち、各単位区間についての代表周波数Ｆに基づいてノートナンバーＮを定め、代表強度Ａに基づいてベロシティーＶを定め、単位区間の長さＬに基づいてデルタタイムＴを定めるようにすれば、１つの単位区間の音声データを、ノートナンバー、ベロシティー、デルタタイムで表現されるＭＩＤＩ形式の符号データに変換することが可能になる。このようなＭＩＤＩデータへの具体的な変換方法を図２４に示す。
【００６７】
まず、ＭＩＤＩデータのデルタタイムＴは、単位区間の区間長Ｌ（単位：秒）を用いて、
Ｔ＝Ｌ・７６８
なる簡単な式で定義できる。ここで、数値「７６８」は、四分音符を基準にして、その長さ分解能（たとえば、長さ分解能を１／２に設定すれば八分音符まで、１／８に設定すれば三十二分音符まで表現可能：一般の音楽では１／１６程度の設定が使われる）を、ＭＩＤＩ規格での最小値である１／３８４に設定し、メトロノーム指定を四分音符＝１２０（毎分１２０音符）にした場合のＭＩＤＩデータによる表現形式における時間分解能を示す固有の数値である。
【００６８】
また、ＭＩＤＩデータのノートナンバーＮは、１オクターブ上がると、周波数が２倍になる対数尺度の音階では、単位区間の代表周波数Ｆ（単位：Ｈｚ）を用いて、
Ｎ＝（１２／ｌｏｇ１０２）・（ｌｏｇ１０（Ｆ／４４０）＋６９
なる式で定義できる。ここで、右辺第２項の数値「６９」は、ピアノ鍵盤中央のラの音（Ａ３音）のノートナンバー（基準となるノートナンバー）を示しており、右辺第１項の数値「４４０」は、このラの音の周波数（４４０Ｈｚ）を示しており、右辺第１項の数値「１２」は、半音を１音階として数えた場合の１オクターブの音階数を示している。
【００６９】
更に、ＭＩＤＩデータのベロシティーＶは、単位区間の代表強度Ａと、その最大値Ａmax とを用いて、
Ｖ＝（Ａ／Ａmax ）・１２７
なる式で、Ｖ＝０〜１２７の範囲の値を定義することができる。なお、通常の楽器の場合、「ノートオン」データにおけるベロシティーＶと、「ノートオフ」データにおけるベロシティーＶとは、上述したように、それぞれ異なる意味をもつが、この実施形態では、「ノートオフ」データにおけるベロシティーＶとして、「ノートオン」データにおけるベロシティーＶと同一の値をそのまま用いるようにしている。
【００７０】
前章の§２では、図２０に示すような２つの単位区間Ｕ１，Ｕ２内の音声データに対して、図２１あるいは図２２に示すような符号データが生成される例を示したが、ＭＩＤＩデータを用いた場合、単位区間Ｕ１，Ｕ２内の音声データは、図２５の図表に示すような各データ列で表現されることになる。ここで、ノートナンバーＮ１，Ｎ２は、代表周波数Ｆ１，Ｆ２を用いて上述の式により得られた値であり、ベロシティーＶ１，Ｖ２は、代表強度Ａ１，Ａ２を用いて上述の式により得られた値である。
【００７１】
＜＜＜  ３．２  ＭＩＤＩデータの修正処理  ＞＞＞
図２に示す流れ図における符号化段階Ｓ４０では、符号データ生成処理Ｓ４１の後に、符号データ修正処理Ｓ４２が行われる。符号データ生成処理Ｓ４１は、上述した具体的な手法により、たとえば、図２５に示すようなＭＩＤＩデータ列を生成する処理であり、符号データ修正処理Ｓ４２は、このようなＭＩＤＩデータ列に対して、更に修正を加える処理である。後述するように、図２５に示すようなＭＩＤＩデータ列に基づいて、音声を再生（復号化）するには、実際の音声の波形データをもった再生音源装置（ＭＩＤＩ音源）が必要になるが、このＭＩＤＩ音源の特性は個々の音源ごとに様々であり、必要に応じて、用いるＭＩＤＩ音源の特性に適合させるために、ＭＩＤＩデータに修正処理を加えた方が好ましい場合がある。以下に、このような修正処理が必要な具体的な事例を述べる。
【００７２】
いま、図２６の上段に示すように、区間長Ｌｉをもった単位区間Ｕｉ内の音声データが所定のＭＩＤＩデータ（修正前のＭＩＤＩデータ）によって表現されていた場合を考える。すなわち、この単位区間Ｕｉには、代表周波数Ｆｉおよび代表強度Ａｉが定義されており、代表周波数Ｆｉ，代表強度Ａｉ，区間長Ｌｉに基づいて、ノートナンバーＮｉ，ベロシティーＶｉ，デルタタイムＴｉが設定されていることになる。このとき、このＭＩＤＩデータを再生するために用いる予定のＭＩＤＩ音源のノートナンバーＮｉに対応する再生音の波形が、図２６の中段に示すようなものであったとしよう。この場合、単位区間Ｕｉの単位長Ｌｉよりも、ＭＩＤＩ音源の再生音の持続時間ＬＬｉの方が短いことになる。したがって、修正前のＭＩＤＩデータを、このＭＩＤＩ音源を用いてそのまま再生すると、本来の音が鳴り続けなければならない時間Ｌｉよりも短い持続時間ＬＬｉで、再生音は減衰してしまうことになる。このような事態が生じると、もとの音響信号の再現性が低下してしまう。
【００７３】
そこで、このような場合、単位区間を複数の小区間に分割し、各小区間ごとにそれぞれ別個の符号データを生成する修正処理を行うとよい。この図２６に示す例の場合、図の下段に示すように、もとの単位区間Ｕｉを、２つの小区間Ｕｉ１，Ｕｉ２に分割し、それぞれについて別個のＭＩＤＩデータを生成するようにしている。個々の小区間Ｕｉ１，Ｕｉ２に定義される代表周波数および代表強度は、いずれも分割前の単位区間Ｕｉの代表周波数Ｆｉおよび代表強度Ａｉと同じであり、区間長だけがＬｉ／２になったわけであるから、修正後のＭＩＤＩデータとしては、結局、ノートナンバーＮｉ，ベロシティーＶｉ，デルタタイムＴｉ／２を示すＭＩＤＩデータが２組得られることになる。
【００７４】
一般のＭＩＤＩ音源では、通常、再生音の持続時間はその再生音の周波数に応じて決まる。特に、心音などの音色についての音源では、再生音の周波数をｆ（Ｈｚ）とした場合、その持続時間は５／ｆ（秒）程度である。したがって、このような音源を用いたときには、特定の単位区間Ｕｉについて、代表周波数Ｆｉと区間長Ｌｉとの関係が、Ｌｉ＞５／Ｆｉとなるような場合には、Ｌｉ／ｍ＜５／Ｆｉとなるような適当な分割数ｍを求め、上述した修正処理により、単位区間Ｕｉをｍ個の小区間に分割するような処理を行うのが好ましい。
【００７５】
続いて、修正処理が必要な別な事例を示そう。いま、再生に用いる予定のＭＩＤＩ音源の再生音が、図２７の左側に示すような周波数レンジを有しているのに対し、生成された一連のＭＩＤＩデータに基づく再生音の周波数レンジが、図２７の右側に示すように、低音側にオフセット量ｄだけ偏りを生じていたとしよう。このような場合、再生音はＭＩＤＩ音源の一部の周波数帯域のみを使って提示されるようになるため、一般的には好ましくない。そこで、ＭＩＤＩデータの周波数の平均が、ＭＩＤＩ音源の周波数レンジの中心（この例では、４４０Ｈｚの基準ラ音（ノートナンバーＮ＝６９））に近付くように、ＭＩＤＩデータ側の周波数（ノートナンバー）を全体的に引き上げる修正処理を行い、図２８に示すように、オフセット量ｄが０になるようにするとよい。
【００７６】
もっとも、音響信号の性質によっては、むしろ低音側にシフトした状態のままで再生した方が好ましいものもあり、上述のような修正処理によって必ずしも良好な結果が得られるとは限らない。したがって、個々の音響信号の性質を考慮した上で、このような修正処理を行うか否かを適宜判断するのが好ましい。
【００７７】
この他にも、用いるＭＩＤＩ音源によっては、特性に適合させるために種々の修正処理が必要な場合がある。たとえば、１オクターブの音階差が２倍の周波数に対応していないような特殊な規格のＭＩＤＩ音源を用いた場合には、この規格に適合させるように、ノートナンバーの修正処理などが必要になる。
【００７８】
§４．  本発明における改良点
これまで述べてきた先願発明による符号化方法は、生体の発生するリズム音、波や風などの自然が発生するリズム音というように、個々の単位区間内にある程度限定された周波数成分のみを含む音響信号の符号化には、実用上十分な再現性を確保することができる。しかしながら、いわゆるヴォーカル音響と呼ばれている人間の声音のように、非常に幅の広い周波数成分を同時に含んでいるような音響信号を符号化した場合、必ずしも十分な再現性を確保することはできない。特に、人間の声音には、ホルマントと呼ばれる特性（倍音以外の高調波成分が混在する特性）があることが知られており、上述した先願発明による方法では十分な再現性をもった符号化ができないことは、理論的にも裏付けられる。一般的な楽器では、ある特定の音程を演奏すると、演奏した音程に対応する周波数成分とともに、その整数倍の周波数成分（倍音高調波成分）が得られる。したがって、このような楽器の演奏波形をＭＩＤＩ音源として利用すれば、先願発明による符号化方法でも倍音高調波成分を含んだ音を再現することができる。ところが、ホルマントを有する人間の声音には、倍音以外の高調波成分が含まれているため、十分な再現性を確保することができなくなる。
【００７９】
以下に述べる本発明の手法は、ホルマントを有する人間の声音の符号化にも十分に対応できるように、先願発明に対する改良を施したものである。まず、図２９を参照しながら、本発明の基本概念を説明する。ここでは、図２９の上段に示すように、時系列の強度信号としてアナログ音響信号が与えられ、これをデジタル音響データとして取り込んだものとする。続いて、このデジタル音響データの時間軸ｔ上に複数の単位区間Ｕ１〜Ｕ６を設定する。ここまでは、図１に示す先願発明の手法と同様である。こうして、複数の単位区間が設定されたら、個々の単位区間内の音響データに基づいて、個々の単位区間を代表する複数の代表周波数（この例では、高域周波数Ｆｈと低域周波数Ｆｌの２通りの代表周波数）および代表強度を定義する。ここでは、第ｉ番目の単位区間Ｕｉについて、高域周波数Ｆｈ（ｉ）および低域周波数Ｆｌ（ｉ）と、代表強度Ａｉとが定義された状態が示されている。たとえば、第１番目の単位区間Ｕ１については、代表周波数として高域周波数Ｆｈ（１）および低域周波数Ｆｌ（１）と、代表強度Ａ１とが定義されている。
【００８０】
こうして、個々の単位区間について、それぞれ複数の代表周波数および代表強度が定義されたら、時間軸ｔ上での個々の単位区間の始端位置および終端位置を示す情報と、定義された複数の代表周波数および代表強度を示す情報と、により符号データを生成し、個々の単位区間の音響データを個々の符号データによって表現すればよい。たとえば、ＭＩＤＩ規格に基づく符号化を利用すれば、図２９下段に示す音符で示すような符号データが得られる。この図２９下段に示す符号データでは、図１下段に示す符号データと比べればわかるように、個々の音符が和音として提示されている。すなわち、各単位区間ごとに、高域周波数Ｆｈに対応する音符と低域周波数Ｆｌに対応する音符とが作成されていることになり、再生時には、これら２つの音符が同時に和音として演奏されることになる。このような手法を採れば、ホルマントを有する人間の声音の符号化にも十分に対応できるようになる。
【００８１】
もっとも、図２９に示す手法では、同一の単位区間にそれぞれ２通りの代表周波数を定義しているが、実用上は、１つの単位区間には１つの代表周波数のみを定義するようにし、その代わりに、同一時間軸上で重複してそれぞれ異なる単位区間を設定できるようにするのが好ましい。図３０に、より実用的な手法の基本概念を示す。この図３０の中段には、時系列の強度信号としてのデジタル音響データの波形が示されており、この波形より下側には、高域周波数に着目した処理が示され、この波形より上側には、低域周波数に着目した処理が示されている。すなわち、図の下半分に示された高域周波数に着目した処理では、高域単位区間Ｕｈ（１）〜Ｕｈ（６）が設定され、これら各単位区間について、それぞれ代表周波数Ｆｈ（１）〜Ｆｈ（６）と代表強度Ａｈ（１）〜Ａｈ（６）が定義されており、最終的に図の最下段に示されているような高域符号データが生成されることになる。一方、図の上半分に示された低域周波数に着目した処理では、低域単位区間Ｕｌ（１）〜Ｕｌ（４）が設定され、これら各単位区間について、それぞれ代表周波数Ｆｌ（１）〜Ｆｌ（４）と代表強度Ａｌ（１）〜Ａｌ（４）が定義されており、最終的に図の最上段に示されているような低域符号データが生成されることになる。
【００８２】
ここで重要な点は、高域単位区間Ｕｈ（１）〜Ｕｈ（６）と低域単位区間Ｕｌ（１）〜Ｕｌ（４）とが、時間軸ｔ上において、少なくともその一部分が重複しているという点である。もちろん、時間軸ｔを図の左から右へと辿っていった場合、高域単位区間のみしか設定されていない部分や、低域単位区間のみしか設定されていない部分が存在し、また、いずれの単位区間も設定されていない部分も存在し得るが、少なくとも時間軸ｔ上の一部分には、高域単位区間と低域単位区間とが重複して設定された区間が存在することになる。こうして重複設定された単位区間について、それぞれ独立して代表周波数および代表強度を定めて符号化すれば、時間軸上で重複した符号データが得られることになる。たとえば、図３０に示す例の場合、最下段に示された高域符号データと、最上段に示された低域符号データとは、時間軸ｔ上において少なくとも部分的には重なっており、再生時には、和音として演奏されることになる。なお、図示されている音符は概念を示すためのものであり、図の中段に示された波形や各単位区間とは直接関連していない。
【００８３】
このように、時間軸上で少なくとも部分的に重複する単位区間を設定し、各単位区間ごとにそれぞれ別個に符号化を行うようにすれば、再生時には、種々の周波数成分を含んだ和音としての形式で音の再現が可能になる。なお、図２９に示した例は、個々の高域単位区間と個々の低域単位区間とが完全に一致した特別なケースと考えることができる。
【００８４】
§５．  本発明に係る音響信号の符号化方法の実用的な手順
本発明に係る符号化手順は、先願発明に係る符号化手順とほぼ同様に行うことができる。すなわち、図２の流れ図に示すように、入力段階Ｓ１０において、符号化対象となる音響信号を、デジタルの音響データとして取り込む処理が行われ、続いて、変極点定義段階Ｓ２０において、取り込んだ音響データの波形について変極点を求める処理が行われる。ここまでの処理は、既に述べた先願発明に係る手順と全く同じである。次に、区間設定段階Ｓ３０において、単位区間の設定が行われるが、本発明では、前述したように、時間軸上で少なくとも部分的に重複するような区間設定が行われることになる。また、符号化段階Ｓ４０では、各単位区間ごとに符号化する処理が行われるが、この処理も重複設定された各単位区間ごとに行われることになる。
【００８５】
区間設定段階Ｓ３０において最初に行われる処理は、既に述べたように、固有周波数定義処理Ｓ３１である。この時点では、既に、変極点探索処理Ｓ２１によって、音響データ波形についての個々の変極点が探索され、同極性変極点の間引処理Ｓ２２によって、同極性のデジタル値をもった変極点が複数連続する場合に、絶対値が最大のデジタル値をもった変極点のみを残す間引きが行われており、正の信号値をもつ変極点と負の信号値をもつ変極点とが交互に現れる状態になっている。固有周波数定義処理Ｓ３１は、このような各変極点のそれぞれに対して、近傍の情報に基いて固有周波数を定義する処理であるが、本発明では、１つの変極点に対して固有周波数を定義する方法を複数通り設定するようにし、これら複数通りの方法を用いて、各変極点に複数通りの固有周波数を定義するようにしている。
【００８６】
ここでは、ヴォーカル音響信号に対して用いるのに適した２通りの具体的な固有周波数定義方法を説明する。いま、変極点定義段階Ｓ２０を経ることにより、図３１にその一部が示されているような変極点群が得られた場合を考える。図３１には、この変極点群のうちの第ｎ番目の変極点Ｐ（ｎ）〜第（ｎ＋１２）番目の変極点Ｐ（ｎ＋１２）が示されている。このような変極点群には、２つの周波数成分が含まれていることがわかる。すなわち、変極点Ｐ（ｎ）とＰ（ｎ＋２）との距離φｈを一周期とする高域周波数成分と、変極点Ｐ（ｎ）とＰ（ｎ＋６）との距離φｌを一周期とする低域周波数成分とである。ヴォーカル音響信号に対して変極点の定義を行うと、図３１に示すような特徴が顕著に現れる。これは、前述したように、人間の音声はホルマントという特徴を有するためである。図３１に示す例において、正の信号強度をもつ変極点Ｐ（ｎ），Ｐ（ｎ＋２），Ｐ（ｎ＋４），Ｐ（ｎ＋６），Ｐ（ｎ＋８）…に注目すれば、信号強度が大中小大中小…と変化していることがわかる。この大中小という変化の周期が周期φｌに相当し、低域周波数成分を示すことになる。これに対し、同極性の変極点の出現周期が周期φｈに相当し、高域周波数成分を示すことになる。
【００８７】
結局、個々の変極点に対して固有周波数を定義する第１の方法として、同極性の変極点が現れる周期φｈを探索し、この周期φｈに基いて固有周波数を定義する方法を採れば、高域固有周波数ｆｈを定義することができる。また、個々の変極点に対して固有周波数を定義する第２の方法として、近似した信号強度をもつ変極点が現れる周期φｌを探索し、この周期φｌに基いて固有周波数を定義する方法を採れば、低域固有周波数ｆｌを定義することができる。より具体的には、各変極点について、それぞれ所定の条件を満たす特定の変極点を探索し、探索された変極点との間の時間軸上での距離に基いて固有周波数を定義すればよい。たとえば、図３１において、変極点Ｐ（ｎ）についての高域固有周波数ｆｈを定義するには、「後続して最初に出現する同極性の変極点」という条件を設定して探索を行えばよい。その結果、この条件を満たす変極点Ｐ（ｎ＋２）が探索されることになるので、両変極点の時間軸上での距離φｈを周期とする周波数が定義される。同様に、変極点Ｐ（ｎ）についての低域固有周波数ｆｌを定義するには、「変極点Ｐ（ｎ）のもつ信号強度にほぼ等しい信号強度をもち、後続して最初に出現する変極点（信号強度に符号をもたせておけば、当然同極性の変極点になる）」という条件を設定して探索を行えばよい。その結果、この条件を満たす変極点Ｐ（ｎ＋６）が探索されることになるので、両変極点の時間軸上での距離φｌを周期とする周波数が定義される。このように、探索条件を変えることにより、同一の変極点に対して複数通りの固有周波数を定義することが可能になる。
【００８８】
上述の手法によれば、第ｎ番目の変極点Ｐ（ｎ）についての高域固有周波数ｆｈ（ｎ）は、§２．３で述べたように、任意の整数ｋを用いて、
ｆｈ（ｎ）＝（ｋ／２）・１／（ｔ（ｎ＋ｋ）−ｔ（ｎ））
なる式で得られることになる。すなわち、第ｎ番目の変極点Ｐ（ｎ）に対してｋ個離れた変極点Ｐ（ｎ＋ｋ）を探索し（ｋが正の場合は後続する変極点、負の場合は先行する変極点）、変極点Ｐ（ｎ）の時間軸上での位置ｔ（ｎ）と探索された変極点Ｐ（ｎ＋ｋ）の時間軸上での位置ｔ（ｎ＋ｋ）との差の逆数に基いて、高域固有周波数ｆｈ（ｎ）が得られることになる。既に述べたように、ｋの値は、ある程度大きく設定した方が、誤差の少ない固有周波数を定義することができるが、あまり大きく設定しすぎると、ローカルな周波数としての意味が失われてしまう。
【００８９】
図３１に示す例の場合、変極点Ｐ（ｎ）についての高域固有周波数ｆｈ（ｎ）は、図示の周期φｈの逆数として定義することができ、
0003958841.tif 000003
なる式で与えられるが、これは上述の式における係数ｋ＝２に設定した場合に他ならない。もちろん、係数ｋ＝４に設定すれば、変極点Ｐ（ｎ＋４）を探索対象として、
ｆｈ（ｎ）＝２・（１／（ｔ（ｎ＋４）−ｔ（ｎ）））
なる式により、高域固有周波数ｆｈ（ｎ）の値を定義することもできる。
【００９０】
一方、第ｎ番目の変極点Ｐ（ｎ）についての低域固有周波数ｆｌ（ｎ）は、
ｆｌ（ｎ）＝１／（ｔ（ｎ＋ｋ）−ｔ（ｎ））
なる式で得られることになる。ただし、右辺の分母に示されている係数ｋは任意の整数ではなく、所定の条件を満たす整数でなければならない。すなわち、整数ｋで特定される変極点Ｐ（ｎ＋ｋ）が、変極点Ｐ（ｎ）のもつ信号強度に対して所定の誤差範囲内にある信号強度をもつ変極点のうち、変極点（ｎ）に最も近い後続する変極点となるようにしなければならない。あるいは、整数ｋを負にとって、先行する変極点を探索対象とする場合には、整数ｋで特定される変極点Ｐ（ｎ＋ｋ）が、変極点Ｐ（ｎ）のもつ信号強度に対して所定の誤差範囲内にある信号強度をもつ変極点のうち、変極点（ｎ）に最も近い先行する変極点となるようにしてもかまわない。この式の意味するところは、要するに、変極点Ｐ（ｎ）のもつ信号強度とほぼ同じ信号強度をもった最も近い変極点Ｐ（ｎ＋ｋ）を探索し、変極点Ｐ（ｎ）の時間軸上での位置ｔ（ｎ）と探索された変極点Ｐ（ｎ＋ｋ）の時間軸上での位置ｔ（ｎ＋ｋ）との差の逆数に基いて、低域固有周波数ｆｌ（ｎ）を決定するということである。
【００９１】
図３１に示す例の場合、変極点Ｐ（ｎ）についての低域固有周波数ｆｌ（ｎ）は、図示の周期φｌの逆数として定義することができ、
0003958841.tif 000004
なる式で与えられるが、これは上述の式における係数ｋ＝６に設定した場合に他ならない。すなわち、図３１の例では、変極点Ｐ（ｎ＋６）が、変極点Ｐ（ｎ）のもつ信号強度に対して所定の誤差範囲内にある信号強度を有し、変極点Ｐ（ｎ）に最も近い後続する変極点として探索されたことになる。なお、理論的には、必ずしも最も近い後続する変極点（もしくは最も近い先行する変極点）を探索対象とする必要はない。たとえば、２番目に近い後続する変極点Ｐ（ｎ＋１２）を探索対象とした場合であっても、
ｆｌ（ｎ）＝２・（１／（ｔ（ｎ＋１２）−ｔ（ｎ）））
なる式で低域固有周波数ｆｌ（ｎ）を定義することができ、一般に、ｚ番目に近い後続もしくは先行する変極点Ｐ（ｎ＋ｋ）を探索対象とした場合、
ｆｌ（ｎ）＝ｚ・（１／（ｔ（ｎ＋ｋ）−ｔ（ｎ）））
なる式で低域固有周波数ｆｌ（ｎ）を定義することができる。
【００９２】
かくして、本発明の場合、図２の流れ図におけるステップＳ３１の固有周波数定義処理は、個々の変極点に対してそれぞれ複数通りの固有周波数が定義されることになる。そして、ステップＳ３２〜Ｓ３４の個々の処理は、複数通りの固有周波数についてそれぞれ別個に行われ、ステップＳ４１〜Ｓ４２の個々の処理も、複数通りの固有周波数についてそれぞれ別個に行われることになる。結局、時間軸上で重複するような複数の符号データが生成されることになり、これらの符号データを時間軸上で重複して再生することにより、ホルマント特性を有する人間の声音についても実用的なレベルでの再現性が確保できることになる。
【００９３】
たとえば、図３１に示す具体例において、ｎ＝１として、各変極点をＰ１〜Ｐ１３で表わした場合、各変極点にそれぞれ高域固有周波数を定義すれば、図３２に示すような固有周波数ｆｈｘおよび信号強度ａｘをもった変極点群が定義されることになり、各変極点にそれぞれ低域固有周波数を定義すれば、図３３に示すような固有周波数ｆｌｘおよび信号強度ａｘをもった変極点群が定義されることになる（ただし、ｘ＝１〜１３）。このような２通りの変極点群に対して、それぞれ別個独立して、ステップＳ３２におけるレベルによるスライス処理、ステップＳ３３における不連続部分割処理、ステップＳ３４における区間統合処理を実行すれば、２通りの単位区間が設定されることになる。ここで、図３２に示すような高域固有周波数をもつ変極点群に基いて設定された単位区間は、各変極点に与えられた高域固有周波数が所定の近似範囲となるような一群の変極点を含む区間として設定されることになり、図３３に示すような低域固有周波数をもつ変極点群に基いて設定された単位区間は、各変極点に与えられた低域固有周波数が所定の近似範囲となるような一群の変極点を含む区間として設定されることになる。要するに、ステップＳ３０の区間設定段階では、同一の方法で定義された固有周波数が所定の近似範囲内となるような一群の変極点を含む区間を１つの単位区間と設定する処理が行われる。固有周波数の定義は、複数通りの方法で行われるため、時間軸上で重複する複数の単位区間が定義されることになる。
【００９４】
ステップＳ４０の符号化段階では、各単位区間について、それぞれ別個独立して代表周波数および代表強度が定義される。すなわち、単位区間内に含まれる変極点について定義された複数通りの固有周波数のうち、当該単位区間の設定に関与した固有周波数に基いて、当該単位区間の代表周波数が定義され、当該単位区間に含まれる変極点のもつ信号強度に基いて当該単位区間の代表強度が定義される。たとえば、図３０に示す例の場合、高域単位区間Ｕｈ（１）については、この区間Ｕｈ（１）内に含まれる変極点について定義された複数通りの固有周波数のうち、当該単位区間の設定に関与した高域固有周波数に基いて代表周波数Ｆｈ（１）が定義されることになり、この区間Ｕｈ（１）内に含まれる変極点のもつ信号強度に基いて代表強度Ａｈ（１）が定義されることになる。
【００９５】
もっとも、本発明では必ずしも高域固有周波数ｆｈと低域固有周波数ｆｌとの２通りの固有周波数を用いる必要はなく、これらの間の任意の固有周波数を用いてもかまわない。要するに、高域固有周波数ｆｈを上限とし、低域固有周波数ｆｌを下限とする範囲内で、複数の固有周波数を定義すればよい。たとえば、図３１に示す例において、変極点Ｐ（ｎ）についての固有周波数として、ｆｈ（ｎ）およびｆｌ（ｎ）の他に、変極点Ｐ（ｎ）とＰ（ｎ＋４）との間の時間軸上の距離を周期とした中間固有周波数ｆｍ（ｎ）を定義することもできる。
【００９６】
なお、§３．１で説明したＭＩＤＩデータへの変換原理によると、個々の単位区間に相当するＭＩＤＩデータのベロシティーＶを、単位区間の代表強度Ａを最大値Ａmax で規格化して、１２７を乗じることにより、
Ｖ＝（Ａ／Ａmax ）・１２７
なる式で定義し、Ｖ＝０〜１２７の値をとるベロシティーＶを求めていたが、いわゆるヴォーカル音声信号を符号化する場合には、規格化した値の平方根をとって、
Ｖ＝（Ａ／Ａmax ）１／２・１２７
なる式でベロシティーＶを定義するか、あるいは対数をとって、
Ｖ＝ｌｏｇ（Ａ／Ａmax ）・１２７＋１２７
（ただし、Ｖ＜０の場合は、Ｖ＝０とする）
なる式でベロシティーＶを定義した方が、より自然な再生音が得られるようになり好ましい。
【００９７】
§６．  本発明に係る音響信号の符号化方法の応用例
以上述べた本発明に係る音響信号の符号化方法を用いれば、先願発明に係る符号化方法では十分な再現性を得ることができなかったヴォーカル音響信号についても、実用的なレベルでの適用が可能になる。この符号化方法により、人間の話声や歌声をＭＩＤＩ対応の電子楽器で再生することが可能になり、また、楽譜の形式で表現することも可能になる。
【００９８】
上述した符号化のための種々の処理は、実際には、コンピュータを用いた演算によって行われることになるが、その演算負担はＦＦＴなどの演算に比べると軽く、市販の汎用パーソナルコンピュータを用いても十分にリアルタイムでの処理が可能である。したがって、上述した処理を汎用パーソナルコンピュータに実行させるためのプログラムを記述し、このプログラムをフロッピーディスクやＣＤ−ＲＯＭなどの媒体に記録して配布するようにすれば、汎用パーソナルコンピュータを本発明に係る音響信号の符号化方法を実行するための装置として利用することができる。また、本発明に係る符号化方法で符号化したデータは、この汎用パーソナルコンピュータによって、フロッピーディスクやＣＤ−ＲＯＭなどの媒体に記録して配布したり、通信回線を介して伝送したりすることもできる。
【００９９】
電子楽器による声の再生技術を、カラオケの分野に適用すれば、バックコーラスの再現、模範歌唱の提供、ナレーションの挿入などに利用することができ、これまでにない新たな付加価値をサービスとして提供することができる。特に、通信カラオケの分野に適用すれば、模範歌唱のデータなどを音符の形式で伝送することができるため、効率良いデータ伝送が可能になる。また、コンピュータを利用したエデュテイメントの分野に適用すれば、歌や声を効果音として挿入することができる。あるいは、人の声をモチーフとした音楽作品として取り込むことも可能になる。また、本発明に係る方法で符号化されたＭＩＤＩデータは、通常の楽器音からなるＭＩＤＩ音源を用いて再生することも可能であるため、楽器によって人の話し声を模倣するような芸を行うことも可能である。
【０１００】
また、本発明による符号化方法によれば、人の話声や歌声を客観的な符号データの形で認識することができるため、声を客観的に分析したり評価したりする技術分野へ応用することができる。たとえば、語学教育や声楽教育の分野では、発音、発声、抑揚などを客観的に評価することができ、カラオケの分野では、音程やリズムなどを客観的に評価することにより、歌唱力に対する厳密な点数評価を行うことができる。また、医療分野では、声音聴診音の分析により、呼吸器系の診断に利用でき、患者の話声の分析により、たとえば、咽頭癌の進行度などを診断するためのデータを提供することができる。更に、犯罪捜査やセキュリティの分野においては、本人の声の認証技術に利用することができる。特に、人間の声には、市販の各種ボイスチェンジャーを通した場合にも不変のホルマント特徴が含まれているため、本発明を利用すれば、かなり高い精度で本人認証を行うことができるようになる。
【０１０１】
本発明により符号化された符号データは、バーコード状の紙媒体に記録することもでき、印刷や複写機による複製が可能になる。このように、バーコード状の符号データをファクシミリで伝送すれば、一般の電話より広帯域で機密性の高いボイスメールを実現することができる。あるいは、バーコード状の符号データをロール紙に印刷しておけば、このロール紙上の符号データを読み取りながら再生するオルゴール式の再生機を利用した自動演奏機も実現できる。また、一般の書籍の頁にバーコード状の符号データを印刷しておくようにし、このバーコードを読み取って再生する小形のハンドスキャナを用意すれば、音声の出る本を実現することができ、音声再生機能付きの楽譜集を出版することも可能である。
【０１０２】
【発明の効果】
以上のとおり本発明によれば、人の声音や歌声を含む音響信号に対しても効率的な符号化が可能になる。
【図面の簡単な説明】
【図１】先願発明に係る音響信号の符号化方法の基本原理を示す図である。
【図２】先願発明に係る音響信号の符号化方法の実用的な手順を示す流れ図である。
【図３】入力した音響データに含まれている直流成分を除去するデジタル処理を示すグラフである。
【図４】図３に示す音響データの一部を時間軸に関して拡大して示したグラフである。
【図５】図４に矢印で示す変極点Ｐ１〜Ｐ６のみを抜き出した示した図である。
【図６】多少乱れた音響データの波形を示すグラフである。
【図７】図６に矢印で示す変極点Ｐ１〜Ｐ７のみを抜き出した示した図である。
【図８】図７に示す変極点Ｐ１〜Ｐ７の一部を間引処理した状態を示す図である。
【図９】個々の変極点について、固有周波数を定義する方法を示す図である。
【図１０】個々の変極点に関する情報に基づいて、単位区間を設定する具体的手法を示す図である。
【図１１】所定の許容レベルＬＬに基づくスライス処理を示す図である。
【図１２】単位区間設定の対象となる多数の変極点を矢印で示した図である。
【図１３】図１２に示す変極点に対して、所定の許容レベルＬＬに基づくスライス処理を行う状態を示す図である。
【図１４】図１３に示すスライス処理によって変極点を除外し、暫定区間Ｋ１，Ｋ２を設定した状態を示す図である。
【図１５】図１４に示す暫定区間Ｋ１についての不連続位置を探索する処理を示す図である。
【図１６】図１５で探索された不連続位置に基づいて、暫定区間Ｋ１を分割し、新たな暫定区間Ｋ１−１とＫ１−２とを定義した状態を示す図である。
【図１７】図１６に示す暫定区間Ｋ１−２，Ｋ２についての統合処理を示す図である。
【図１８】図１７に示す統合処理によって、最終的に設定された単位区間Ｕ１，Ｕ２を示す図である。
【図１９】各単位区間についての代表周波数および代表強度を求める手法を示す図である。
【図２０】５つの区間Ｅ０，Ｕ１，Ｅ１，Ｕ２，Ｅ２を定義するための符号データを示す図である。
【図２１】図２０に示す単位区間Ｕ１，Ｕ２内の音響データを符号化して得られる符号データの一例を示す図表である。
【図２２】図２０に示す単位区間Ｕ１，Ｕ２内の音響データを符号化して得られる符号データの別な一例を示す図表である。
【図２３】一般的なＭＩＤＩ形式の符号データの構成を示す図である。
【図２４】各単位区間内の音響データについてのＭＩＤＩデータへの具体的な変換方法を示す図である。
【図２５】図２０に示す単位区間Ｕ１，Ｕ２内の音響データを、ＭＩＤＩデータを用いて符号化した状態を示す図表である。
【図２６】生成したＭＩＤＩデータに対して修正処理が必要な第１の事例を示す図である。
【図２７】生成したＭＩＤＩデータに対して修正処理が必要な第２の事例を示す図である。
【図２８】図２７に示す事例における修正後の状態を示す図である。
【図２９】同一の単位区間に異なる複数の周波数を定義する符号化方法の基本原理を示す図である。
【図３０】時間軸上に少なくとも一部が重複するように、高域単位区間および低域単位区間をそれぞれ定義し、各単位区間にそれぞれ異なる周波数を定義する符号化方法の基本原理を示す図である。
【図３１】個々の変極点について、それぞれ高域固有周波数と低域固有周波数との２通りの固有周波数を定義する方法を示す図である。
【図３２】図３１に示す個々の変極点について、高域固有周波数と信号強度とを定義した状態を示す図である。
【図３３】図３１に示す個々の変極点について、低域固有周波数と信号強度とを定義した状態を示す図である。
【符号の説明】
Ａ，Ａ１〜Ａ６，Ａｉ…代表強度
Ａｈ（１）〜Ａｈ（６）…高域代表強度
Ａｌ（１）〜Ａｌ（４）…低域代表強度
Ａmax …代表強度の最大値
ａ１〜ａ１３…変極点の信号強度
ａａ…許容範囲
Ｄ…直流成分
ｄ…オフセット量
Ｅ０，Ｅ１，Ｅ２…空白区間
ｅ１〜ｅ６…終端位置
Ｆ，Ｆ１〜Ｆ６，Ｆｉ…代表周波数
Ｆｈ（１）〜Ｆｈ（６）…高域代表周波数
Ｆｌ（１）〜Ｆｌ（４）…低域代表周波数
ｆ１〜ｆ１７…変極点の固有周波数
ｆｈ１〜ｆｈ１３…変極点の高域固有周波数
ｆｌ１〜ｆｌ１３…変極点の低域固有周波数
ｆａ，ｆｂ，ｆｃ…周波数特性
ｆｆ…許容範囲
ｆｓ…サンプリング周波数
Ｋ１，Ｋ１−１，Ｋ１−２，Ｋ２…暫定区間
Ｌ，Ｌ１〜Ｌ４，Ｌｉ…区間長
ＬＬ…許容レベル
ＬＬｉ…再生音の持続時間
Ｎ，Ｎｉ…ノートナンバー
Ｐ１〜Ｐ１７…変極点
ｓ１〜ｓ６…始端位置
Ｔ，Ｔｉ…デルタタイム
ｔ１〜ｔ１７…時間軸上の位置
Ｕ１〜Ｕ６，Ｕｉ，Ｕｉ１，Ｕｉ２…単位区間
Ｕｈ（１）〜Ｕｈ（６）…高域単位区間
Ｕｌ（１）〜Ｕｌ（４）…低域単位区間
ｆＶ，Ｖｉ…ベロシティー
ｘ…サンプル番号
φ，φｈ，φｌ…周期
【図１】
0003958841.tif 000005
【図２】
0003958841.tif 000006
【図３】
0003958841.tif 000007
【図４】
0003958841.tif 000008
【図５】
0003958841.tif 000009
【図６】
0003958841.tif 000010
【図７】
0003958841.tif 000011
【図８】
0003958841.tif 000012
【図９】
0003958841.tif 000013
【図１０】
0003958841.tif 000014
【図１１】
0003958841.tif 000015
【図１２】
0003958841.tif 000016
【図１３】
0003958841.tif 000017
【図１４】
0003958841.tif 000018
【図１５】
0003958841.tif 000019
【図１６】
0003958841.tif 000020
【図１７】
0003958841.tif 000021
【図１８】
0003958841.tif 000022
【図１９】
0003958841.tif 000023
【図２０】
0003958841.tif 000024
【図２１】
0003958841.tif 000025
【図２２】
0003958841.tif 000026
【図２３】
0003958841.tif 000027
【図２４】
0003958841.tif 000028
【図２５】
0003958841.tif 000029
【図２６】
0003958841.tif 000030
【図２７】
0003958841.tif 000031
【図２８】
0003958841.tif 000032
【図２９】
0003958841.tif 000033
【図３０】
0003958841.tif 000034
【図３１】
0003958841.tif 000035
【図３２】
0003958841.tif 000036
【図３３】
0003958841.tif 000037