(57)【特許請求の範囲】
【請求項１】
所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するための符号化方法であって、
前記サンプル列に対して時間軸方向に所定の倍率Ｑ（Ｑは整数）だけ拡大し、Ｊ×Ｑ個の時系列の拡大サンプル列に変換する時系列拡大段階と、
前記拡大サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間を時間軸方向に重複させながら設定する区間設定段階と、
個々の単位区間ごとに、解析対象とする少なくともＰ種類の各周波数ｆ（ｎ）について、各周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いサンプル数をＴ（ｎ）とし、Ｔ（ｎ）がＴより大きい場合、単位区間のＴ個のサンプルにＴ（ｎ）−Ｔ個のサンプルを追加し、Ｔ（ｎ）がＴより小さい場合、単位区間のＴ個のサンプルから先頭のＴ（ｎ）個のサンプルを抽出することにより、Ｔ（ｎ）個のサンプルからなる解析フレームを設定し、当該解析フレームに対して周波数変換を行うことにより、前記Ｐ種類の周波数に対応したスペクトル強度を算出するスペクトル算出段階と、
個々の単位区間ごとに、前記スペクトル算出段階において求めたＰ種類の周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該単位区間の開始と終了を特定可能な時間情報で構成される音成分を作成する音成分作成段階と、
前記Ｐ個の音成分の周波数がＱ倍になるように前記周波数情報を補正し、時間軸が１／Ｑ倍になるように、前記時間情報を補正するようにしている音成分補正段階と、
前記補正後の音成分を所定の形式の符号コードに変換する符号化段階と、
を有することを特徴とする音響信号の符号化方法。
【請求項２】
請求項１において、
前記スペクトル算出段階は、
Ｔ（ｎ）がＴより大きい場合、Ｔ（ｎ）区間を先頭から順に区間Ｋ１−Ｋ４に４等分割し、
単位区間Ｔの最終サンプルが区間Ｋ４に属するとき、単位区間Ｔの区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、
単位区間Ｔの最終サンプルが区間Ｋ３に属するとき、単位区間Ｔの区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、
単位区間Ｔの最終サンプルが区間Ｋ２に属するとき、単位区間Ｔの区間Ｋ１の各サンプルの値を区間Ｋ１と区間Ｋ２の境界を軸に時間軸反転させて区間Ｋ２の各サンプルの値として与え、さらに与えられた区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与える、
ことを特徴とする音響信号の符号化方法。
【請求項３】
請求項１または請求項２において、
前記時系列拡大段階は、前記サンプリング周波数を変化させずに、前記サンプル列に対して線形補間を用いて時間軸方向にＱ倍だけ拡大するようにし、前記音響信号の周波数を全体的に１／Ｑに下げ、時間軸をＱ倍に拡大させるようにしていることを特徴とする音響信号の符号化方法。
【請求項４】
請求項１から請求項３のいずれかにおいて、
前記符号化段階は、前記符号コードとしてＭＩＤＩ形式を用いて符号化を行い、前記符号コードの前記周波数情報としてノートナンバーを用い、前記スペクトル強度としてベロシティを用い、前記時間情報として直前のＭＩＤＩイベントからの相対時刻であるデルタタイム１とデルタタイム２を用い、これらの変換されたノートナンバー、ベロシティ、デルタタイム１を基にＭＩＤＩのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム２を基にＭＩＤＩのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化方法。
【請求項５】
請求項１から請求項４のいずれかにおいて、
前記音成分補正段階は、前記周波数情報に１２・ｌｏｇ2Ｑ（前記Ｑに対して２を底とする対数値に１２倍を乗算した値）を加算し、前記時間情報に対して１／Ｑを乗算するような補正を行っていることを特徴とする音響信号の符号化方法。
【請求項６】
請求項１から請求項５のいずれかにおいて、
前記スペクトル算出段階は、
前記単位区間の区間信号の構成要素となるべきＰｏ（Ｐｏ≧Ｐ）種類の要素信号を、各々当該周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備する要素信号準備段階と、
前記Ｐｏ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記解析フレーム中のＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出する調和信号選出段階と、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記解析フレーム中のＴ（ｎｍａｘ）個のサンプルで構成される区間信号から減じることにより、Ｔ個のサンプルで構成される差分信号を求める差分信号演算段階と、を有し、
前記Ｔ（ｎｍａｘ）個のサンプルを反映させた新たなＴ個のサンプルからなる解析フレームを設定し、当該解析フレーム中のＴ個のサンプルを新たな区間信号として、前記調和信号選出段階および差分信号演算段階を実行して新たな含有信号および差分信号を得る処理を、繰り返し行うことによりＰ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｐ種類の周波数に対応したスペクトル強度を算出することを特徴とする音響信号の符号化方法。
【請求項７】
所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するための符号化装置であって、
前記サンプル列に対して時間軸方向に所定の倍率Ｑ（Ｑは整数）だけ拡大し、Ｊ×Ｑ個の時系列の拡大サンプル列に変換する時系列拡大手段と、
前記拡大サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間を時間軸方向に重複させながら設定する区間設定手段と、
個々の単位区間ごとに、解析対象とする少なくともＰ種類の各周波数ｆ（ｎ）について、各周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いサンプル数をＴ（ｎ）とし、Ｔ（ｎ）がＴより大きい場合、単位区間のＴ個のサンプルにＴ（ｎ）−Ｔ個のサンプルを追加し、Ｔ（ｎ）がＴより小さい場合、単位区間のＴ個のサンプルから先頭のＴ（ｎ）個のサンプルを抽出することにより、Ｔ（ｎ）個のサンプルからなる解析フレームを設定し、当該解析フレームに対して周波数変換を行うことにより、前記Ｐ種類の周波数に対応したスペクトル強度を算出するスペクトル算出手段と、
個々の単位区間ごとに、前記スペクトル算出手段において求めたＰ種類の周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該単位区間の開始と終了を特定可能な時間情報で構成される音成分を作成する音成分作成手段と、
前記Ｐ個の音成分の周波数がＱ倍になるように前記周波数情報を補正し、時間軸が１／Ｑ倍になるように、前記時間情報を補正するようにしている音成分補正手段と、
前記補正後の音成分を所定の形式の符号コードに変換する符号化手段と、
を有することを特徴とする音響信号の符号化装置。
【請求項８】
請求項７において、
前記スペクトル算出手段は、
Ｔ（ｎ）がＴより大きい場合、Ｔ（ｎ）区間を先頭から順に区間Ｋ１−Ｋ４に４等分割し、
単位区間Ｔの最終サンプルが区間Ｋ４に属するとき、単位区間Ｔの区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、
単位区間Ｔの最終サンプルが区間Ｋ３に属するとき、単位区間Ｔの区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、
単位区間Ｔの最終サンプルが区間Ｋ２に属するとき、単位区間Ｔの区間Ｋ１の各サンプルの値を区間Ｋ１と区間Ｋ２の境界を軸に時間軸反転させて区間Ｋ２の各サンプルの値として与え、さらに与えられた区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与える、
ことを特徴とする音響信号の符号化装置。
【請求項９】
請求項７または請求項８において、
前記時系列拡大手段は、前記サンプリング周波数を変化させずに、前記サンプル列に対して線形補間を用いて時間軸方向にＱ倍だけ拡大するようにし、前記音響信号の周波数を全体的に１／Ｑに下げ、時間軸をＱ倍に拡大させるようにしていることを特徴とする音響信号の符号化装置。
【請求項１０】
請求項７から請求項９のいずれかにおいて、
前記符号化手段は、前記符号コードとしてＭＩＤＩ形式を用いて符号化を行い、前記符号コードの前記周波数情報としてノートナンバーを用い、前記スペクトル強度としてベロシティを用い、前記時間情報として直前のＭＩＤＩイベントからの相対時刻であるデルタタイム１とデルタタイム２を用い、これらの変換されたノートナンバー、ベロシティ、デルタタイム１を基にＭＩＤＩのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム２を基にＭＩＤＩのノートオフイベントを作成するようにしていることを特徴とする音響信号の符号化装置。
【請求項１１】
請求項７から請求項１０のいずれかにおいて、
前記音成分補正手段は、前記周波数情報に１２・ｌｏｇ2Ｑ（前記Ｑに対して２を底とする対数値に１２倍を乗算した値）を加算し、前記時間情報に対して１／Ｑを乗算するような補正を行っていることを特徴とする音響信号の符号化装置。
【請求項１２】
請求項７から請求項１１のいずれかにおいて、
前記スペクトル算出手段は、
前記単位区間の区間信号の構成要素となるべきＰｏ（Ｐｏ≧Ｐ）種類の要素信号を、各々当該周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備する要素信号準備手段と、
前記Ｐｏ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記解析フレーム中のＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出する調和信号選出手段と、
前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記解析フレーム中のＴ（ｎｍａｘ）個のサンプルで構成される区間信号から減じることにより、Ｔ個のサンプルで構成される差分信号を求める差分信号演算手段と、を有し、
前記Ｔ（ｎｍａｘ）個のサンプルを反映させた新たなＴ個のサンプルからなる解析フレームを設定し、当該解析フレーム中のＴ個のサンプルを新たな区間信号として、前記調和信号選出手段および差分信号演算手段が、新たな含有信号および差分信号を得る処理を、繰り返し実行することによりＰ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｐ種類の周波数に対応したスペクトル強度を算出することを特徴とする音響信号の符号化装置。
【請求項１３】
請求項１から請求項６のいずれかに記載の音響信号の符号化方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項７から請求項１２のいずれかに記載の音響信号の符号化装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号の符号化技術に関し、特に、ＭＩＤＩ形式等の符号データに符号化するのに好適な符号化技術に関する。
【背景技術】
【０００２】
音響信号をMIDI符号等の符号データに変換する方法として、出願人は、音響信号に対してフーリエ変換などの周波数解析を施す技術を提案している（特許文献１参照）。しかし、与えられる音響信号はデジタルサンプリングされたものであるため、周波数が高い領域では調和信号との相関計算において周期あたりのサンプル数が少なくなり解析精度が顕著に悪化するという問題があった。これに対し、出願人は、MIDI符号で使用される平均律音階と同様な対数尺度の周波数で周波数解析を行うことにより、周波数が高い領域では参照する調和信号の周波数間隔を増大させ、隣接する周波数（MIDIノートナンバー）を判定する技術を提案している（特許文献２参照）。これに伴い、解析対象の主周波数間（半音間）を微細な周波数に分割して解析する方法を提案し、主として隣接する周波数間隔が広い周波数が高い領域における解析精度を改善している（特許文献３参照）。更に、出願人は、一般化調和解析を用いる技術を提案し、フーリエ変換では擬似的な周波数成分を過剰に抽出してしまう問題を改善している（特許文献４参照）。
【０００３】
上記提案手法により定常的な信号における周波数解析を高精度に行うことは可能になったが、音響信号は時系列に周波数が変動するため、理想的には、ある時刻における瞬間周波数を計測することが望まれるが、それは実現不可能である。そのため上記いずれの提案においても、ある時刻の近傍に単位区間という微小区間を設定して、その単位区間で短時間の周波数解析を行う方法をとっている。この時、周波数解析精度（特に低音周波数）を向上させるためには単位区間（サンプル数）は長いほど良いが、一方時間分解能を向上させるためには単位区間は短いほど良い。即ち、周波数分解能と時間分解能はトレードオフの関係になる（不確定性の原理）。そこで、出願人は、単位区間長はMIDI符号の最低音を解析可能な程度に固定値(44.1kHzサンプリングで4096サンプル)に設定し、単位区間を可変のステップで送りながら、時間分解能を改善する方法を提案した（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３７９５２０１号公報
【特許文献２】特許第４０３７５４２号公報
【特許文献３】特許第４１５６２６８号公報
【特許文献４】特許第４１３２３６２号公報
【特許文献５】特許第４０６１０７０号公報
【特許文献６】特願２００９−２４４３０７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来の技術では限界があり、音声信号などでは周波数の変動が急峻な場合、解析が周波数変動に追従できなかった。特に外国語音声、比較的早口な日本語音声では周波数変動を適切に抽出できず、明瞭なMIDI再生音が得られないという問題が発生している。音声信号の場合、一般に楽器音に比べ録音時のサンプリング周波数が低いということも起因しているが、楽器演奏音に比べ周波数変化の速度が著しいというのが主要因である。といって、単位区間長をこれ以上短く設定すると、周波数解析精度が低下してしまうというジレンマに陥っていた。これに対して、出願人は、線形補間により原音響信号を時間軸方向にＱ倍拡大（サンプル数がＱ倍）した音響信号に対して、従来と同じ単位区間長（サンプル数）で周波数解析を行い、処理後の符号化データの時間軸を１／Ｑに縮小するとともに、周波数をＱ倍拡大して原音と等価にする手法を提案した（特許文献６参照）。しかし、特許文献６の手法では、音のテンポと周波数が１／Ｑに低下した状態で周波数解析が行われることにより、低周波数成分の一部が非可聴の超低音帯域に入るため、解析不能な部分が生じるという問題がある。
【０００６】
そこで、本発明は、低周波数成分においても解析不能な部分を生じることなく、周波数解析精度を維持しながら、解析における時間分解能を向上させ、主として音声信号における周波数変動を高精度に抽出することが可能な音響信号の符号化方法および装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明第１の態様では、所定のサンプリング周波数でデジタル化されたＪ個の時系列のサンプル列として与えられる音響信号を符号化するにあたり、前記サンプル列に対して時間軸方向に所定の倍率Ｑ（Ｑは整数）だけ拡大し、Ｊ×Ｑ個の時系列の拡大サンプル列に変換し、 前記拡大サンプル列に対して、所定数Ｔ（Ｔ＜Ｊ）個のサンプルで構成される単位区間を、隣接する単位区間を時間軸方向に重複させながら設定し、個々の単位区間ごとに、解析対象とする少なくともＰ種類の各周波数ｆ（ｎ）について、各周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いサンプル数をＴ（ｎ）とし、Ｔ（ｎ）がＴより大きい場合、単位区間のＴ個のサンプルにＴ（ｎ）−Ｔ個のサンプルを追加し、Ｔ（ｎ）がＴより小さい場合、単位区間のＴ個のサンプルから先頭のＴ（ｎ）個のサンプルを抽出することにより、Ｔ（ｎ）個のサンプルからなる解析フレームを設定し、当該解析フレームに対して周波数変換を行うことにより、前記Ｐ種類の周波数に対応したスペクトル強度を算出し、個々の単位区間ごとに、前記スペクトル算出段階において求めたＰ種類の周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該単位区間の開始と終了を特定可能な時間情報で構成される音成分を作成し、前記Ｐ個の音成分の周波数がＱ倍になるように前記周波数情報を補正し、時間軸が１／Ｑ倍になるように、前記時間情報を補正することにより音成分を補正し、前記補正後の音成分を所定の形式の符号コードに変換するようにしたことを特徴とする。
【０００８】
本発明第１の態様によれば、デジタル化された音響信号のサンプル列を時間軸方向に所定の倍率だけ拡大した後、所定数Ｔ個のサンプルで構成される単位区間ごとに、Ｐ種類の各周波数ｆ（ｎ）について、各周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、単位区間のサンプル数Ｔに最も近いサンプル数Ｔ（ｎ）＞Ｔの場合、単位区間のＴ個のサンプルにＴ（ｎ）−Ｔ個のサンプルを追加し、Ｔ（ｎ）＜Ｔの場合、単位区間のＴ個のサンプルから先頭のＴ（ｎ）個のサンプルを抽出することにより、Ｔ（ｎ）個のサンプルからなる解析フレームを設定し、当該解析フレームに対して周波数変換を行うことにより所定数Ｐ種類の周波数に対応したスペクトル強度を算出し、周波数、時刻を含む音成分を得て、音成分の周波数をＱ倍、時刻を１／Ｑ倍に補正するようにしたので、低周波数成分においても解析不能な部分を生じることなく、従来と同等な周波数解析精度を維持しながら、解析における時間分解能を向上させ、主として音声信号における周波数変動を高精度に抽出することが可能となる。
【０００９】
また、本発明第２の態様では、本発明第１の態様において、スペクトル算出の際、Ｔ（ｎ）がＴより大きい場合、Ｔ（ｎ）区間を先頭から順に区間Ｋ１−Ｋ４に４等分割し、単位区間Ｔの最終サンプルが区間Ｋ４に属するとき、単位区間Ｔの区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、単位区間Ｔの最終サンプルが区間Ｋ３に属するとき、単位区間Ｔの区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与え、単位区間Ｔの最終サンプルが区間Ｋ２に属するとき、単位区間Ｔの区間Ｋ１の各サンプルの値を区間Ｋ１と区間Ｋ２の境界を軸に時間軸反転させて区間Ｋ２の各サンプルの値として与え、さらに与えられた区間Ｋ２の各サンプルの値を区間Ｋ２と区間Ｋ３の境界を軸に時間軸反転させるとともに、正負の符号を反転させて区間Ｋ３の各サンプルの値として与え、さらに与えられた区間Ｋ３の各サンプルの値を区間Ｋ３と区間Ｋ４の境界を軸に時間軸反転させて区間Ｋ４の各サンプルの値として与えるようにしたことを特徴とする。
【００１０】
本発明第２の態様によれば、各周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、Ｔに最も近いサンプル数Ｔ（ｎ）がＴより大きい場合、Ｔ（ｎ）区間を先頭から順に分割区間Ｋ１−Ｋ４に４等分割し、単位区間Ｔの最終サンプルが属する分割区間に応じて、その直前の分割区間のサンプルを複製し、さらに後続の分割区間が存在する場合には、複製した分割区間のサンプルを複製することにより解析フレームのサンプル数をＴ（ｎ）に設定するようにしたので、低音部解析用の調和信号により解析フレームを正しく解析することが可能になる。
【００１１】
また、本発明第３の態様では、本発明第１または第２の態様において、拡大サンプル列に変換する際、前記サンプリング周波数を変化させずに、前記サンプル列に対して線形補間を用いて時間軸方向にＱ倍だけ拡大するようにし、前記音響信号の周波数を全体的に１／Ｑに下げ、時間軸をＱ倍に拡大させるようにしていることを特徴とする。
【００１２】
また、本発明第４の態様では、本発明第１から第３いずれかの態様において、前記符号化は、前記符号コードとしてＭＩＤＩ形式を用いて符号化を行い、前記符号コードの前記周波数情報としてノートナンバーを用い、前記スペクトル強度としてベロシティを用い、前記時間情報として直前のＭＩＤＩイベントからの相対時刻であるデルタタイム１とデルタタイム２を用い、これらの変換されたノートナンバー、ベロシティ、デルタタイム１を基にＭＩＤＩのノートオンイベントを作成するとともに、ノートナンバー、デルタタイム２を基にＭＩＤＩのノートオフイベントを作成するようにしていることを特徴とする。
【００１３】
また、本発明第５の態様では、本発明第４の態様において、前記音成分の補正は、前記周波数情報に１２・ｌｏｇ2Ｑ（前記Ｑに対して２を底とする対数値に１２倍を乗算した値）を加算し、前記時間情報に対して１／Ｑを乗算するような補正を行っていることを特徴とする。
【００１４】
また、本発明第６の態様では、本発明第１から第５のいずれかの態様において、前記スペクトルの算出は、前記単位区間の区間信号の構成要素となるべきＰｏ（Ｐｏ≧Ｐ）種類の要素信号を、各々当該周波数ｆ（ｎ）の１／Ｑ倍に対応する周期の整数倍に対応し、前記Ｔに最も近いＴ（ｎ）個のサンプルとして準備し、前記Ｐｏ個の各周波数ｆ（ｎ）に対応する要素信号と、それぞれ対応する前記解析フレーム中のＴ（ｎ）個のサンプルで構成される区間信号との相関演算を行い、相関値が最も高い周波数ｆ（ｎｍａｘ）に対応する要素信号を調和信号として選出し、前記選出された調和信号と当該調和信号について得られた相関値との積で与えられるＴ（ｎｍａｘ）個のサンプルを含有信号とし、当該含有信号を前記区間信号から減じることにより、Ｔ個のサンプルで構成される差分信号を求め、前記Ｔ個のサンプルの中からＴ（ｎｍａｘ）個のサンプルに対応するサンプル（Ｔ（ｎｍａｘ）＞Ｔの場合は、前記分割区間のサンプルを複製する処理が適用されるため、前記含有信号を減算する操作により、同一サンプルが複数回減算される場合がある。）を反映させた新たなＴ個のサンプルからなる解析フレームを設定し、当該解析フレーム中のＴ個のサンプルを新たな区間信号として、前記調和信号の選出および差分信号の演算を実行して新たな含有信号および差分信号を得る処理を、繰り返し行うことによりＰ個の含有信号を求め、求められた含有信号の相関値に基づいて、前記Ｐ種類の周波数に対応したスペクトル強度を算出することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、低周波数成分においても解析不能な部分を生じることなく、従来と同等な周波数解析精度を維持しながら、解析における時間分解能を向上させ、主として音声信号における周波数変動を高精度に抽出することが可能となるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る音響信号の符号化方法の概要を示すフローチャートである。
【図２】時間軸方向の拡大、周波数の増加・時間情報の縮小の概念を示す図である。
【図３】本実施形態における解析周波数の論理的／物理的範囲の関係を示す図である。
【図４】時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列と、調和信号の対応関係を示す図である。
【図５】単位区間長Ｔが調和信号の１／２周期以上で３／４周期未満の場合の解析フレームの時間軸延長を説明する図である。
【図６】単位区間長Ｔが調和信号の１／４周期以上で１／２周期未満の場合の解析フレームの時間軸延長を説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。図１は、本実施形態に係る音響信号の符号化方法の概要を示すフローチャートである。本実施形態に係る音響信号の符号化方法は、図１に示した各ステップ（各段階）の詳細な手順を記録したプログラムを、コンピュータが実行することにより、行われる。コンピュータとしては、演算処理を行うためのＣＰＵやメモリ、プログラムやデータを記憶するハードディスク等の記憶装置、音響信号等のデータ入力を行うためのデータ入力機器、指示入力を行うキーボード、マウス等の入力機器、必要な情報を画面に表示する液晶ディスプレイ等の表示機器を備えた汎用のコンピュータを用いることができる。また、図１に示した各ステップ（各段階）の詳細な手順を記録したプログラムが組み込まれた汎用のコンピュータにより本実施形態に係る音響信号の符号化装置が実現される。
【００１８】
まず、コンピュータ（符号化装置）は、処理対象であるデジタル音響信号を、データ入力機器から読み込む。デジタル音響信号は、アナログ音響信号を所定のサンプリング周波数、量子化ビット数でサンプリングしたものであり、本実施形態では、サンプリング周波数４４．１ｋＨｚ、量子化ビット数１６ビットでサンプリングした場合を例にとって以下説明していく。サンプリング周波数４４．１ｋＨｚでサンプリングした場合、デジタル音響信号は、１秒間に４４１００個のサンプル（強度値）を有するサンプル列（サンプルの配列：強度配列）として構成されることになる。
【００１９】
デジタル音響信号を読み込んだら、コンピュータ（符号化装置）は、デジタル音響信号を時間軸方向に所定の倍率Ｑ（Ｑは整数）だけ拡大する（Ｓ１）。具体的には、デジタル音響信号を構成するサンプルの数をＱ倍にする。そして、Ｑ個ごとに、元のサンプルと同じ値のものを配置し、その間の（Ｑ−１）個のサンプルの値としては、両側に位置する元のサンプルの値を用いて線形補間したものを与える。原音響信号の各サンプルｊ（ｊ＝０・・・Ｊ−１）についてのサンプル値をｘ（ｊ）とすると、コンピュータは、以下の〔数式１〕に従った処理を実行することにより、拡大後の音響信号の各サンプルｊ・Ｑ＋ｋ（０≦ｋ≦Ｑ−１）についてのサンプル値ｘ´（ｊ・Ｑ＋ｋ）を算出する。以下の〔数式１〕において、ｗはｋ／（Ｑ−１）で与えられる０≦ｗ≦１の値をとる実数値とする。
【００２０】
〔数式１〕
ｘ´（ｊ・Ｑ＋ｋ）＝（１−ｗ）・ｘ（ｊ）＋ｗ・ｘ（ｊ＋１）
【００２１】
Ｓ１における処理の結果、デジタル音響信号を構成するＪ個のサンプルは、Ｊ×Ｑ個に拡大される。図２（ａ）にＳ１における拡大処理による波形の変化を示す。図２（ａ）における波形は、サンプルの値をプロットしたものを線分で結んだものであるが、サンプル数が多いため、曲線状に表現されるものである。上記〔数式１〕に従った処理を実行することにより、左側に示したような波形が右側に示したような波形に変化することになる。なお、図２の例では、説明の便宜上Ｑ＝２の場合を示している。
【００２２】
次に、コンピュータ（符号化装置）は、時間軸方向に拡大されたサンプル上に単位区間を設定する（Ｓ２）。単位区間の長さ（サンプル数Ｔ）は、サンプリング周波数との関係で設定されるが、サンプリング周波数が４４．１ｋＨｚの場合、低域部まで忠実に解析するためには、４０９６サンプル以上必要である。そこで、本実施形態では、１単位区間のサンプル数Ｔ＝４０９６として単位区間を設定している。
【００２３】
単位区間の設定は、特許文献１〜５に開示されているように、デジタル音響信号の先頭から順次サンプルを抽出することにより行われる。単位区間は、全てのサンプルを漏らさず設定し、好ましくは、連続する単位区間においてサンプルが重複するように設定する。この場合、各単位区間の先頭の間隔（シフト幅という）は、様々な規則で設定することができる。最も単純なのは、シフト幅を固定、すなわち重複させるサンプル数を一定として設定する手法である。例えば、Ｔ＝４０９６の場合、先頭の単位区間をｊ＝０〜４０９５、２番目の単位区間をｊ＝２０４８〜６１４３、２番目の単位区間をｊ＝４０９６〜８１９１というように、２０４８（＝Ｔ／２）個のサンプルを重複させながら、設定することになる。しかし、時間分解能を向上させるためには、シフト幅を小さくしたいという要望があり、一方、シフト幅を小さくするほど、計算時間が増大するという問題がある。また、シフト幅を必要以上に小さくすると、後述するＳ６の単音成分の連結処理において連結条件が満足されなくなり連結処理が適切に機能しなくなる。そこで、音響信号の状態に合わせて最適なシフト幅を設定するため、本実施形態では、特許文献５に開示したような、ゼロ交差点間隔の粗密または自己相関解析により周波数変化が顕著なゼロ交差点を選別し、このゼロ交差点に位置するサンプルを先頭とする。
【００２４】
ゼロ交差点とは、正負両極性の音響信号と、信号の０レベルとの交差点のことであり、ここでは、音響信号の信号強度値（振幅）が０となる時刻を示す。ただし、デジタル化した音響信号は、アナログ信号におけるゼロ交差点をサンプルするとは限らない。そのため、実際には、強度値が丁度０になる場合に加え、サンプリング点の強度値が正から負、または負から正に変化した場合に、その前後のサンプリング点のどちらかをゼロ交差点とみなす処理を行う。なお、ゼロ交差点検出のためには、解析対象となる音響信号が正負両極性となっている必要がある。そのため、直流成分を含む音響信号については、直流成分を除去しておく必要がある。直流成分の除去については、周知の種々の手法を適用することができるので、ここでは詳細な説明は省略する。基本的には、ゼロ交差点に位置するサンプルを先頭として単位区間を設定するが、連続する単位区間のシフト幅が一定の範囲に収まるように、ゼロ交差点以外の位置を先頭として単位区間を設定する場合もある。具体的には、最大シフト幅（例えばＴ／２）を上回る場合は、ゼロ交差点以外の位置でも最大シフト幅となる位置を先頭にして単位区間を設定する。逆に、最小シフト幅（例えばＴ／８）を下回る場合は、最小シフト幅を上回るように幾つかのゼロ交差点を飛ばした位置を先頭にして単位区間を設定し、最小シフト幅を上回りかつ最大シフト幅の範囲で該当するゼロ交差点が存在しない場合は、上記と同様に最大シフト幅となる位置を先頭にして単位区間を設定するような補正を行う。
【００２５】
次に、設定された各単位区間を対象として周波数解析を実行し、各単位区間のスペクトルを算出する（Ｓ３）。各単位区間のスペクトルの算出は、特許文献１〜５に開示されているように、ＭＩＤＩのノートナンバーｎに対応する１２８種の解析周波数ｆ（ｎ）＝４４０・２(n-69)/12の要素信号（要素関数）を基本にした一般化調和解析により、１２８個の成分を抽出することにより行う。“１２８種”“１２８個”というのは一例であり、一般にＰｏ種類の解析周波数を用いてＰｏ個の成分を抽出することになる。実際には、Ｐｏ種類の解析周波数に対応した全てを必要とするものではなく、そのうち必要なＰ（Ｐ≦Ｐｏ）個の成分を抽出する。例えば、ＭＩＤＩ規格の場合、ノートナンバーｎ＝０〜１２７の範囲に対応するが、グランドピアノを再現するための規格音域は、ノートナンバーｎ＝２１〜１０８の範囲である。したがって、この場合、１２８種類の解析周波数を用いて８８個の成分を抽出することになる。
【００２６】
本実施形態では、音響信号を時間軸方向にＱ倍に拡大したことに伴い、ｎの上限、下限をそれぞれαだけ下方に移動させる。αは、α＝１２・ｌｏｇ2Ｑ（例えばＱ＝４の場合α＝２４）で定義される整数である。したがって、特許文献１〜５では、０≦ｎ≦１２７であるが、本実施形態では、−α≦ｎ≦１２７−αである。これにより各調和信号の周波数は、１／Ｑ倍に設定されることになる。ここで、本実施形態における解析周波数の論理的／物理的範囲の関係を図３に示す。図３に示すように、グランドピアノの規格音域は、ｎ＝２１〜１０８の範囲であるため、通常の解析を行う場合は、ｎ＝２１〜１０８の範囲で行うことになる。ところが、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行う。また、ノートナンバーｎ＝２１以下については、対応する調和信号の１周期が単位区間より長くなるため、時間軸延長（後述）による長周期解析を行う。この結果、ｎ＝−３〜８４について周波数成分が得られるが、最終的に補正処理を行うことにより、ｎ＝２１〜１０８の範囲周波数成分が得られる。
【００２７】
ノートナンバーｎに対応して解析周波数を設定した場合、周波数が高くなるにつれ、ノートナンバー間の周波数間隔が広くなるため、特に、ｎが６０を超えると解析精度が低下してしまう。そこで、本実施形態では、特許文献３に開示したように、ノートナンバー間をＭ個の微分音に分割した１２８Ｍ個の要素信号ｆ（ｎ，ｍ）＝４４０・２(n-69+m/M)/12を用いて解析を行い、１２８Ｍ個の成分を抽出する。後述するＳ８の符号コード作成処理においてピッチベンド符号の付加など特殊な符号化を行わない限り、各ノートナンバーにおけるＭ個の微分音の情報は不要であるため、Ｍ個の微分音の成分の合算値を当該ノートナンバーにおける成分として代表させ、結果的に１２８個の成分を抽出する。
【００２８】
コンピュータ（符号化装置）による具体的な処理手順としては、まず、ノートナンバー分の強度値の配列Ｅ（ｎ）（−α≦ｎ≦１２７−α）と副周波数配列Ｓ（ｎ）を設定し、初期値を全て０とする。続いて、−α≦ｎ≦１２７−αおよび０≦ｍ≦Ｍ−１に対して以下の〔数式２〕に従った処理を実行し、Ｅ（ｎ，ｍ）を最大にする（ｎｍａｘ，ｍｍａｘ）を求める。
【００２９】
〔数式２〕
Ａ(ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｉ) sin(２πｆ（ｎ，ｍ）ｉ／ｆｓ)
Ｂ(ｎ，ｍ)＝(１／Ｔ（ｎ）)・Σi=0,T(n)-1ｘ(ｉ) cos (２πｆ（ｎ，ｍ）ｉ／ｆｓ)
｛Ｅ(ｎ，ｍ)｝2＝｛Ａ(ｎ，ｍ)｝2＋｛Ｂ(ｎ，ｍ)｝2
【００３０】
上記〔数式２〕においてＴ（ｎ）は解析フレーム長であり、調和信号（調和関数）の１周期が単位区間長Ｔ以下の場合、単位区間長Ｔを超えない範囲で調和信号の周期の最大の整数倍になるように設定する。ただし、本発明では、時間軸拡大することにより周波数を低音側にシフトして解析処理を行うため、調和信号（調和関数）の１周期が単位区間長Ｔを超える場合が発生する。具体的には、調和信号の１周期が単位区間長Ｔより大きい場合、Ｔ（ｎ）／ｆｓ＝１／ｆ（ｎ，ｍ）で与え、Ｔ＜Ｔ（ｎ）におけるｘ(ｉ)の値については、後述する時間軸延長処理に基づき設定する。そして、Ｅ（ｎ，ｍ）を最大にする（ｎｍａｘ，ｍｍａｘ）を用いたｆ（ｎｍａｘ，ｍｍａｘ）が調和信号として選出されることになる。なお、ｆｓはサンプリング周波数（例えば、４４．１ｋＨｚ）である。（ｎｍａｘ，ｍｍａｘ）が求められたら、コンピュータは、Ａ（ｎｍａｘ，ｍｍａｘ）およびＢ（ｎｍａｘ，ｍｍａｘ）を用いて、以下の〔数式３〕に従った処理を実行し、サンプル配列ｘ（ｉ）のＴ（ｎ）サンプル個の要素（０≦ｉ≦Ｔ（ｎｍａｘ）−１）を更新する。この際、Ｔ＜Ｔ（ｎ）の場合、Ｔ≦ｉ≦Ｔ（ｎｍａｘ）−１に対応するｘ（ｉ）の要素に対しては、後述する時間軸延長処理に基づき、一部の同一サンプルｘ（ｉ）が以下の〔数式３〕に基づいて複数回更新される場合がある。
【００３１】
〔数式３〕
ｘ（ｉ）←ｘ（ｉ）−Ａ（ｎｍａｘ，ｍｍａｘ）・sin(２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ)−Ｂ（ｎｍａｘ，ｍｍａｘ）・cos (２πｆ（ｎｍａｘ，ｍｍａｘ）ｉ／ｆｓ) 
【００３２】
上記〔数式３〕においては、ｘ（ｉ）から含有信号を減じる処理を行っている。さらに、以下の〔数式４〕に従った処理を実行し、強度値の配列Ｅ（ｎ）、副周波数配列Ｓ（ｎ）を更新する。
【００３３】
〔数式４〕
Ｅ（ｎｍａｘ）←Ｅ（ｎｍａｘ）＋Ｅ（ｎｍａｘ，ｍｍａｘ）
Ｓ（ｎｍａｘ）←ｍｍａｘ
【００３４】
コンピュータ（符号化装置）は、上記〔数式２〕〜〔数式４〕の処理を全てのｎ（−α≦ｎ≦１２７−α）に対して実行し、全てのＥ（ｎ）およびＳ（ｎ）の値を決定する。
【００３５】
本実施形態では、処理負荷を軽減するため、Ｍの値については、ノートナンバーに基づいて可変に設定し、例えば解析する周波数間隔が１００Ｈｚ程度になるようにしている。そして、ノートナンバー６０以下は分割せずＭ＝１にする。また、精度は若干落ちるが、初回の〔数式２〕の処理でＳ（ｎ）を決定し、２回目以降の〔数式２〕の処理は、ｍ＝Ｓ（ｎ）に固定して行い、微分音解析を省略するようにしても良い。また、〔数式２〕の処理で、既に同一ノートナンバーに対して副周波数が異なる信号成分が複数回に渡って解析される可能性があるが、Ｅ（ｎ）とＳ（ｎ）に既に値がセットされている場合は、Ｅ（ｎ，ｍ）の最大値の選定候補から除外するようにしても良い。
【００３６】
ここで、単位区間における解析フレームの設定について説明する。図４は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列と、調和信号の対応関係を示す図である。このうち、図４（ａ）は、時間軸拡大処理後の音響信号から抽出した単位区間におけるサンプル列である。各サンプルにおけるサンプル値（４０９６個）を結ぶことにより、図４（ａ）に示すような波形状で示される。１２８個の調和信号のうち、図４（ｂ）に示すような１周期が単位区間長Ｔ以下の高音部の解析調和信号と相関演算を行う際、および単位区間Ｔより選出された調和信号である含有信号を減算する際には、調和信号の１周期が単位区間長Ｔを超えない範囲まで周期を整数倍した長さを解析フレーム長Ｔ（ｎ）とし、単位区間Ｔの先頭からサンプルＴ（ｎ）個を抽出して、解析フレームとする。
【００３７】
調和信号の１周期が単位区間長Ｔより大きい場合、相関計算区間である解析フレーム長Ｔ（ｎ）を調和信号の１周期分とするため、単位区間長ＴにＴ（ｎ）−Ｔ個のサンプル数を追加することにより時間軸延長処理を行う。この場合、調和信号の１周期を４つの分割区間Ｋ１−Ｋ４として設定する。そして、図４（ｄ）に示すように、単位区間長Ｔが、調和信号の３／４周期に相当する場合は、調和信号の分割区間Ｋ３（１／２周期から３／４周期の区間）に対応する単位区間のサンプルを、調和信号の３／４周期（２７０度：分割区間Ｋ３と分割区間Ｋ４の境界）の時点において時間軸方向に反転させたサンプルを追加する。２７０度の時点において時間軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ３と分割区間Ｋ４（３／４周期から１周期の区間）は２７０度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図４（ｃ）に示すような波形の解析フレーム（５４６１サンプル）が得られる。図４（ｃ）（ｄ）の例では、単位区間長Ｔが、調和信号の３／４周期に相当する場合を示したが、単位区間長Ｔが、調和信号の３／４周期以上である場合は、同様に処理が行われ、解析フレーム長Ｔ（ｎ）は最大５４６１サンプルとなる。この場合、調和信号の３／４周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。
【００３８】
また、図５（ｂ）に示すように、単位区間長Ｔが、調和信号の１／２周期以上で３／４周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ３に属する場合）は、分割区間Ｋ４全体と分割区間Ｋ３の一部が欠損しているため、分割区間Ｋ２（１／４周期から１／２周期の区間）に対応する単位区間のサンプルを、調和信号の１／２周期（１８０度：分割区間Ｋ２と分割区間Ｋ３の境界）の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Ｋ３に追加し、さらに追加された分割区間Ｋ３のサンプルを、調和信号の３／４周期（２７０度）の時点において反転させたサンプルを追加する。１８０度の時点において時間軸および振幅軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ２と分割区間Ｋ３は１８０度を軸に時間軸および振幅軸方向に１８０度回転させた対称形である特徴を利用したものである。このようにして時間軸延長が行われ、図５（ａ）に示すような波形の解析フレーム（最大８１９２サンプル）が得られる。この場合、調和信号の１／２周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。
【００３９】
また、図６（ｂ）に示すように、単位区間長Ｔが、調和信号の１／４周期以上で１／２周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ２に属する場合）は、分割区間Ｋ３・Ｋ４全体と分割区間Ｋ２の一部が欠損しているため、Ｋ１区間（先頭から１／４周期の区間）に対応する単位区間のサンプルを、調和信号の１／４周期（９０度：分割区間Ｋ１と分割区間Ｋ２の境界）の時点において時間軸方向に反転させたサンプルを分割区間Ｋ２に追加し、さらに追加された分割区間Ｋ２のサンプルを、調和信号の１／２周期（１８０度）の時点において時間軸および振幅軸方向に反転させたサンプルを分割区間Ｋ３に追加し、さらに追加された分割区間Ｋ３のサンプルを、調和信号の３／４周期（２７０度）の時点において時間軸方向に反転させたサンプルを追加する。９０度の時点において時間軸方向に反転させるのは、調和信号の１周期が正弦波であると仮定すると、分割区間Ｋ１と分割区間Ｋ２は９０度を軸に時間軸方向に左右対称である特徴を利用したものである。このようにして時間軸延長が行われ、図６（ａ）に示すような波形の解析フレーム（最大１６３８４サンプル）が得られる。この場合、調和信号の１／４周期を超えた部分の単位区間のサンプルは、単位区間内のいずれかのサンプルが重複して使用されることになる。
尚、単位区間長Ｔが、調和信号の１／４周期未満に相当する場合（単位区間の最終サンプルが分割区間Ｋ１に属する場合）も起こり得るが、これをもとに時間軸延長を行って相関計算を行っても、ソースとなる情報量が少なすぎて、有意な相関値が得られないため、単位区間長Ｔが、調和信号の１／４周期未満に相当する周波数に対しては解析対象としないものとする。
【００４０】
各単位区間について解析フレームを変化させながら周波数解析を行い、スペクトル（１２８個の周波数成分）が算出されたら、個々の単位区間ごとに、Ｓ３において算出されたスペクトルに基づいて、Ｐ種類の各周波数に対応して、各周波数を特定可能な周波数情報と、各々に対応するスペクトル強度、および当該単位区間の開始と終了を特定可能な時間情報で構成される単音成分を作成する（Ｓ４）。具体的には、算出したスペクトルに、各ノートナンバーｎの時刻、時間長の情報を追加し、[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（ｎ），強度Ｅ（ｎ）]で構成される単音成分を作成する。「開始時刻」としては単位区間の先頭の時刻を、デジタル音響信号全体において特定できる情報であれば良く、本実施形態では、単位区間の先頭サンプル（ｉ＝０）に付されたデジタル音響信号全体におけるサンプル番号（絶対サンプルアドレス：ｊに対応）を記録している。この絶対サンプルアドレスをサンプリング周波数（４４１００）で除算することにより、音響信号先頭からの時刻が得られる。時間長は、本実施形態では単位区間ごとに可変で与えられることを特徴とし、直後に後続する単位区間の開始時刻までの差分（後続する単位区間の開始時刻−当該単位区間の開始時刻）で与えられる。
【００４１】
続いて、時間軸方向に拡大して処理されたことによる変動を是正するため、各単音成分を補正する処理を行う（Ｓ５）。単音成分が作成されたら、全ての周波数情報（ノートナンバー値に対応）に１２・ｌｏｇ2Ｑだけ加算する処理を行う。例えば、Ｑ＝４の場合、２４半音（２オクターブ）だけ全体的に音高を上げる。この処理は、Ｓ１においてサンプル数をＱ倍したことにより周波数が１／Ｑになっているため、周波数をＱ倍にして元の状態に戻すために行う。この補正によりノートナンバーが規格値上限の１２７を超えるノートナンバーをもつ符号コードは削除する。具体的には補正前のノートナンバーが１２８−１２・ｌｏｇ2Ｑ以上の符号コードが削除される。
【００４２】
続いて、全ての開始時刻，時間長に１／Ｑを乗算する。これにより、後述する符号化処理によりＭＩＤＩ符号に変換した場合、ＭＩＤＩ符号全体の演奏時間、および各ノートイベントの発音時間が１／Ｑに縮小される。この処理は、Ｓ１においてサンプル数をＱ倍したことにより全体の演奏時間がＱ倍になっているため、時刻を１／Ｑにして元の状態に戻すために行う。
【００４３】
Ｓ５における処理の結果、周波数（音高）はＱ倍になるとともに、時間情報は１／Ｑになる。Ｓ５の補正処理による音成分の変化の様子を図２（ｂ）に示す。図２（ｂ）においては、Ｑ＝２の場合の音成分の変化を、音符により示している。Ｓ５の補正処理により左側の“ミ”の音符は、右側では１オクターブ高い（周波数が２倍）“ミ”の音符に変化している。一方、左側の四分音符が、右側では時間的に１／２の八分音符に変化している。
【００４４】
各単音成分の周波数をＱ倍、時間軸を１／Ｑ倍にする処理を行ったら、次に、連続する単位区間において単音成分を連結する処理を行う（Ｓ６）。具体的には、連続する単位区間における同一ノートナンバーの単音成分が、所定の連結条件を満たす場合、２つの単音成分を連結する。連結条件としては、同一の音として連続性を有する状態を適宜設定することができるが、本実施形態では、副周波数を考慮した周波数（主周波数＋副周波数）の差が所定の閾値Ｎｄｉｆ未満で、双方の強度が所定の閾値Ｌｍｉｎ以上で、かつ双方の強度の差が所定の閾値Ｌｄｉｆ未満である場合に、連続性を有するとして、後続の単音成分を前方の単音成分に連結する。ただし、連結後の主周波数、副周波数、強度は大きい方の単音成分の各値を採用し、時間長は双方の和で与える。連結条件としての具体的な閾値は、本実施形態では、Ｎｄｉｆ＝８／２５[単位：ノートナンバー換算]、Ｌｍｉｎ＝１[単位：１２８段階ベロシティ換算]、Ｌｄｉｆ＝１０[単位：１２８段階ベロシティ換算]としている。連結処理は、符号コードへの変換前に行うものであるため、各閾値は、ノートナンバー、ベロシティに換算したものである。Ｓ６における連結処理の結果、連結処理されなかった単音成分はそのまま残ることになる。また、連結により連結音成分が得られることになるが、連結音成分は、単音成分と同様、[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（ｎ），強度Ｅ（ｎ）]で構成され、このうち時間長が単音成分より大きい値を有することになる。連結処理により、単音成分と連結音成分が混在することになるが、以降これらをまとめて音成分と呼ぶことにする。なお、Ｓ６における連結処理については、実行した方が、長音の音符で表現することになり、符号量が少なくなりＭＩＤＩ音源で円滑で自然な演奏が行われるようになるため、一般に望ましいが、ピッチベンド符号の付加などが行われないと、逆にビブラートなど音の微妙な時間的変化が消失するためＭＩＤＩ音源で不自然に聞こえる場合もあるため、必ずしも必須ではない。Ｓ６における連結処理を行わない場合、全てが短い音符として表現されることになる。
【００４５】
（同時発音数調整）
音成分は、最終的には音響信号として再生可能な符号コードに変換されることになるため、その符号コードの制約に従った形態となることが必要である。そのため、Ｓ６の連結処理を終えたら、次に、音成分に対して必要な調整を行う（Ｓ７）。例えば、符号コードとしてＭＩＤＩ符号に変換する際、ＭＩＤＩ音源で処理可能な同時発音数についても考慮するため、同時発音数の調整を行う必要がある。ＭＩＤＩ音源で処理可能な同時発音数が３２である場合、時間軸方向に発音期間中音成分の個数を連続的にカウントし、同時に３２個を超える音成分が存在する箇所が見つかった場合は、各音成分の時間長と強度Ｅ（ｎ）の積（エネルギー値）で優先度を評価し、指定和音数（この場合“３２”）以下になるように優先度の低い（エネルギー値の小さい）音成分を局所的に削除する処理を行う。“局所的に”とは、３２を超える音成分が存在する部分に限りという意味である。この際、時間長または強度Ｅ（ｎ）のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。
【００４６】
（ビットレートの調整）
さらに、符号コードで処理可能なビットレートについても考慮するため、ビットレートの調整を行う。ＭＩＤＩ符号に変換する場合、時間軸方向に、１秒間隔に音成分の個数をカウントし、各々の符号データ量を平均５バイト（４０ビット）とし、ＭＩＤＩ音源で処理可能な最大ビットレートを９０００［ｂｐｓ（ビット／秒）］とすると、１秒間あたり音成分が９０００／４０＝２２５個を超えている区間が見つかった場合は、その区間に存在する音成分の時間長と強度Ｅ（ｎ）の積（エネルギー値）で優先度を評価し、指定イベント個数（この場合“２２５”）以下になるように優先度の低い（エネルギー値の小さい）音成分を局所的に削除する処理を行う。この際、時間長または強度Ｅ（ｎ）のいずれかが所定の下限値より低い場合、優先度に関係なく削除する処理も行う。
【００４７】
同時発音数調整、ビットレートの調整を終えたら、最終的に得られた[開始時刻，時間長，主周波数ｎ，副周波数Ｓ（ｎ），強度Ｅ（ｎ）]の音成分を、符号コードに変換する（Ｓ８）。符号コードの形式としては、周波数情報と、各周波数に対応するスペクトル強度、および単位区間の開始と終了を特定可能な時間情報を有するものであれば、どのような形式のものであっても良いが、本実施形態では、ＭＩＤＩ形式に変換する。ＭＩＤＩでは、発音開始と、発音終了を別のイベントとして発生するため、したがって、本実施形態では、１つの音成分を２つのＭＩＤＩノートイベントに変換する。具体的には、「開始時刻」で、ノートナンバーｎのノートオンイベントを発行し、ベロシティ値は強度Ｅ（ｎ）の最大値をＥｍａｘとして、１２８・｛Ｅ（ｎ）／Ｅｍａｘ｝1/4で与える。時刻については、Standard MIDI Fileでは、直前イベントとの相対時刻（デルタタイム）で与える必要があり、その時刻単位は任意の整数値で定義でき、例えば、１／１５３６[秒]の単位に変換して与える。そして、絶対時刻が「開始時刻」＋「時間長」で特定される終了時刻で（デルタタイムでは「時間長」で与えられる終了時刻で）、ノートナンバーｎのノートオフイベントを発行する。この際、時間長には、０以上１以下の実数を乗じる。これは、使用するＭＩＤＩ音源の音色にも依存するが、ＭＩＤＩ音源の余韻を考慮して早めにノートオフ指示をするためである。時間長をそのまま用いてもＭＩＤＩ音源の処理上問題はないが、発音の際、後続音と部分的に重なる場合がある。
【００４８】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、Ｓ２〜Ｓ４の処理について好ましい処理例について具体的に説明したが、これらの処理については、本発明の趣旨を逸脱しない範囲で、公知の特許文献１〜５に開示した技術を用いることができる。
【産業上の利用可能性】
【００４９】
本発明は、ＰＣＭ等により得られた音響信号を、ＭＩＤＩ符号等の符号コードに変換する技術を用い、放送メディア（地上・ＢＳなどによるデジタルラジオ・テレビ放送など）、通信メディア（ＣＳ放送、インターネット・ストリーミング放送、携帯電話サービス、携帯音楽配信サービスなど）、パッケージメディア（ＣＤ、ＤＶＤ、ＢｌｕｅＲａｙ、メモリＩＣカードなど）向けのオーディオコンテンツ制作産業に利用することができる。
【図１】
0005533021.tif 000002
【図２】
0005533021.tif 000003
【図３】
0005533021.tif 000004
【図４】
0005533021.tif 000005
【図５】
0005533021.tif 000006
【図６】
0005533021.tif 000007