(57)【特許請求の範囲】
【請求項１】
オーディオ信号の処理を行う信号処理装置において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段と、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記オーディオ信号を再サンプリングする再サンプリング手段をさらに備え、
前記再サンプリング手段は、前記オーディオ信号を、前記オクターブの境界の周波数の２のべき乗倍のサンプリング周波数で再サンプリングする
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記フィルタ手段は、１２の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のバンドパスフィルタを有する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項４】
オーディオ信号の処理を行う信号処理装置の信号処理方法において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
を含むことを特徴とする信号処理方法。
【請求項５】
オーディオ信号の処理を実行させるコンピュータに、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６】
オーディオ信号の処理を実行させるコンピュータに、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、少ない演算量で、オーディオ信号の各音程の信号成分を得ることができるようにする信号処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
所定のサンプリング周波数でサンプリングされたディジタルのオーディオ（音楽）信号を、例えば、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂ（それぞれが、いわゆるド、ド＃、レ、レ＃、ミ、ファ、ファ＃、ソ、ソ＃、ラ、ラ＃、シに相当するもの）などの各音程（音階）の信号に分離する、音程の推定方法は、従来から、いくつか提案されている。このオーディオ信号の音程の推定は、例えば、自動採譜や音楽解析（メロディ解析）に利用されている。
【０００３】
ここで、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程は、１オクターブを構成するものであり、１オクターブの音程は、それより１オクターブ低い音程より、周波数が倍となる関係がある。換言すれば、音程は、周波数に対して、対数（指数）で分布する。例えば、あるオクターブのＡ（ラ）の音程の周波数（中心周波数）が４４０Ｈｚであるとすれば、その１オクターブ高いＡ（ラ）の音程の周波数は、４４０Ｈｚの２倍の８８０Ｈｚとなる。また、例えば、隣り合うＣ４（ド）とＣ＃４（ド＃）の周波数（中心周波数）の差は、低域側であるオクターブ２では、約６Hzとなり、高域側であるオクターブ６では、約１２３Hzとなっている。
【０００４】
さらに、あるオクターブの各音程の周波数帯域（帯域幅）も、その１オクターブ低い各音程の周波数帯域の２倍となる。
【０００５】
ところで、オーディオ信号の音程（オーディオ信号に含まれる各音程の信号成分）の推定方法としては、例えば、短時間フーリエ変換を用いる方法やウェーブレット変換を用いる方法などがある。
【０００６】
短時間フーリエ変換を用いる音程の推定方法では、音程が上述したように周波数に対して対数で分布するのに対して、短時間フーリエ変換は、等間隔の周波数における周波数成分を解析するものであるため、周波数解像度が、低域（低周波数帯域）側で不足し、高域（高周波数帯域）側で過多になる傾向がある。
【０００７】
即ち、短時間フーリエ変換では、高い音程、つまり、周波数帯域の広い音程についても、低い音程、つまり周波数帯域の狭い音程についても、等間隔の周波数で解析が行われるため、高い音程の周波数解像度は、相対的に高くなり、低い音程の周波数解像度は、相対的に低くなる。
【０００８】
一方、低域側の周波数解像度を十分にしようとすれば、時間解像度が低域側で過多となる。また、高域側の周波数解像度を必要十分にしようとすれば、時間解像度が高域側で不足する。
【０００９】
さらに、短時間フーリエ変換を用いて音程を推定する場合には、音程が、周波数に対して対数で分布することを考慮して、フーリエ変換による、等間隔の周波数成分の解析結果に非線形な処理を施す必要がある。この非線形な処理のために、短時間フーリエ変換を用いた音程の推定方法は、処理が複雑になってしまうという問題がある。
【００１０】
そこで、ウェーブレット変換を用いる音程の推定方法によれば、１／１２オクターブ（１つの音程）を抽出することができる基底関数を用いることにより、理想的な時間軸解像度と周波数解像度で音程を推定することができると考えられる。
【００１１】
その他、オーディオ信号の音程の推定方法としては、例えば、特許文献１に記載されているように、単純に、各オクターブの各音程に対して１つのBPF（Band Pass Filter）を設けたBPFバンクを用いて、各オクターブの各音程の信号成分を得る方法がある。但し、単純に、BPFバンクを用いる場合には、例えば、オクターブごとに適切な時間解像度と周波数解像度が得られるように、BPFを設計する必要がある。
【００１２】
【特許文献１】特公昭６１−２６０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、ウェーブレット変換やBPFバンクを用いる方法では、例えば、可聴周波数全体の音程の解析を行う場合には、膨大な演算量を必要とするため、実用的ではない。
【００１４】
本発明は、このような状況に鑑みてなされたものであり、少ない演算量で、オーディオ信号における各音程の信号成分を得ることができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の信号処理装置は、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段と、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段とを備えることを特徴とする。
【００１６】
この信号処理装置には、オーディオ信号を再サンプリングする再サンプリング手段をさらに設け、再サンプリング手段には、オーディオ信号を、オクターブの境界の周波数の２のべき乗倍のサンプリング周波数で再サンプリングさせることができる。
【００１８】
フィルタ手段には、１２の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のバンドパスフィルタを有するようにさせることができる。
【００１９】
本発明の信号処理方法は、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを含むことを特徴とする。
【００２０】
本発明の記録媒体は、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能なものである。
【００２１】
本発明のプログラムは、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップと、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップとを実行させるためのものである。
【００２２】
本発明においては、入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の低周波数成分をさらに、高周波数成分と低周波数成分とに分割し、ダウンサンプリングを行い、ダウンサンプリング後の高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、オーディオ信号が複数のオクターブの信号に分割される。また、複数のオクターブの信号それぞれについて、ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号が抽出される。
【発明の効果】
【００２３】
本発明によれば、少ない演算量で、オーディオ信号の各音程の信号成分を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２５】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２６】
請求項１に記載の信号処理装置は、
オーディオ信号の処理を行う信号処理装置（例えば、図２の信号処理装置１１）において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割手段（例えば、図２のオクターブ分割ブロック２２）と、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタ手段（例えば、図２のBPFB２３1乃至BPFB２３8）と
を備えることを特徴とする。
【００２７】
請求項２に記載の信号処理装置は、
前記オーディオ信号を再サンプリングする再サンプリング手段（例えば、図２の再標本化部２１）をさらに備え、前記再サンプリング手段は、前記オーディオ信号を、前記オクターブの境界の周波数の２のべき乗倍のサンプリング周波数で再サンプリングする
ことを特徴とする。
【００２８】
請求項３に記載の信号処理装置は、
前記フィルタ手段は、１２の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のバンドパスフィルタ（例えば、図７のBPF１０１1乃至１０１12）を有する
ことを特徴とする。
【００２９】
請求項４に記載の信号処理方法は、
オーディオ信号の処理を行う信号処理装置の信号処理方法において、
入力信号を、その周波数帯域を等分する高周波数成分と低周波数成分とに分割し、前記高周波数成分と低周波数成分のそれぞれについて、サンプル数を半分にするダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力し、ダウンサンプリング後の前記低周波数成分をさらに、前記高周波数成分と低周波数成分とに分割し、前記ダウンサンプリングを行い、ダウンサンプリング後の前記高周波数成分をオクターブの信号として出力する処理を繰り返すことにより、前記オーディオ信号を複数のオクターブの信号に分割するオクターブ分割ステップ（例えば、図１０のステップＳ２の処理）と、
前記複数のオクターブの信号それぞれについて、前記ダウンサンプリングの結果、音程の高低の並び方が逆になった高周波数成分に対して複数の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする複数のバンドパスフィルタを用いてフィルタリングすることにより、複数の音程信号を抽出するフィルタステップ（例えば、図１０のステップＳ３の処理）とを含むことを特徴とする。
【００３０】
請求項５に記載の記録媒体のプログラム、請求項６に記載のプログラムの各ステップの具体例も、請求項４に記載の信号処理方法の各ステップの発明の実施の形態における具体例と同様である。
【００３１】
以下、図を参照して、本発明の実施の形態について説明する。
【００３２】
初めに、図１を参照して、音程と周波数との関係について説明する。
【００３３】
図１では、６３．５５Hz乃至１６２６７．４Hzの範囲の周波数が、オクターブ１乃至８（以下、Ｏ１乃至Ｏ８とも称する）の８オクターブに分割されている。また、１オクターブには、周波数の低い方から、Ｃ（ド）,Ｃ＃,Ｄ（レ）,Ｄ＃,Ｅ（ミ）,Ｆ（ファ）,Ｆ＃,Ｇ（ソ）,Ｇ＃,Ａ（ラ）,Ａ＃,Ｂ（シ）の１２の音程（音）が含まれるものとする。ここで、例えば、オクターブ１（Ｏ１）のＣ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程を、それぞれ、Ｃ１,Ｃ＃１,Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１と称し、オクターブ２（Ｏ２）のＣ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程を、それぞれ、Ｃ２,Ｃ＃２,Ｄ２,Ｄ＃２,Ｅ２,Ｆ２,Ｆ＃２,Ｇ２,Ｇ＃２,Ａ２,Ａ＃２,Ｂ２と称する。オクターブ３（Ｏ３）乃至８（Ｏ８）についても同様である。
【００３４】
図１において、オクターブ１乃至８それぞれの１２の音程の周波数は、例えば、オクターブ3のA3（ラ）を基準音とし、その周波数（中心周波数）を４４０Hzとして次のように決定されている。
【００３５】
音程は、上述したように周波数に対して対数で分布するので、１オクターブを１２の音に分類する場合、隣り合う音程どうしの周波数の比（中心周波数の比）は、１：12√２（２の１２乗根）となる。また、各音程の周波数範囲も、隣り合う音程どうしの比は、１：12√２（２の１２乗根）となる。
【００３６】
例えば、図１に示すように、オクターブ３のA3の音程の１つ高い音程A＃3の周波数（中心周波数）は、A3の周波数４４０．０の12√２倍の４６６．２Hzとなり、A＃3の音程の１つ高い音程B3の周波数は、A＃3の12√２倍の４９３．９Hzとなる。同様にして、例えば、図１に示されている、オクターブ３のA3乃至オクターブ５のC5の各音程について周波数が決定される。
【００３７】
そして、C（ド）の音程からB（シ）まで１２の音程ごとの区切りを１オクターブとするので、オクターブ４の周波数範囲は、C4の周波数範囲の最低周波数からB4の周波数範囲の最高周波数（オクターブ５の周波数範囲の最低周波数）までの、５０８．６Hz乃至１０１６．７Hzである。なお、本実施の形態において、周波数に関するｆａ[Hz]乃至ｆｂ[Hz]の記載は、ｆａ[Hz]以上ｆｂ[Hz]未満を表すものとする。
【００３８】
また、オクターブ４のC4の１オクターブ上となる、オクターブ５のC5の中心周波数と周波数範囲は、それぞれ、C4の２倍の、１０４６．５Hzと１０１６．７Hz乃至１０７７．２Hzとなる。同様にして、オクターブ１乃至８のその他のオクターブについても、オクターブの周波数範囲と、オクターブ内の１２の音程それぞれの中心周波数および周波数範囲が決定されている。ここで、図１の５０８．４Hzや１０１６．７Hzなどの各オクターブの境となる周波数の値をオクターブの境界の周波数（境界周波数）ということにする。
【００３９】
なお、図１において、オクターブ４と、オクターブ３および５の一部の音程を除いて、オクターブ１乃至８それぞれの１２の音程の中心周波数と周波数範囲の図示が省略されている。
【００４０】
図２は、本発明を適用した信号処理装置１１の一実施の形態の構成例を示している。
【００４１】
信号処理装置１１は、再標本化部２１、オクターブ分割ブロック２２、およびBPFB(Band Pass Filter Bank)２３1乃至２３8で構成されている。
【００４２】
信号処理装置１１に入力されるオーディオ信号（入力信号）は、所定のサンプリングレートでサンプリングされたオーディオ信号である。ここでは、例えば、入力信号がCD(Compact Disk)により再生された信号であるとして、入力信号のサンプリング周波数は、４４．１ｋHzである。
【００４３】
再標本化部２１は、入力されるオーディオ信号のサンプリング周波数４４．１kHzと異なる所望のサンプリング周波数で再サンプリング（再標本化）する。そして、再標本化部２１は、所望のサンプリング周波数で再サンプリングされたオーディオ信号を、オクターブ分割ブロック２２に出力する。
【００４４】
ここで、再標本化部２１で行われる再サンプリングのサンプリング周波数は、次のようにして決定される。
【００４５】
再標本化部２１の後段のオクターブ分割ブロック２２では、後述するように、そこに入力される入力信号を高周波数成分と低周波数成分とに２分割し、それぞれを、入力信号のサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングすることにより、高周波成分のダウンサンプリング結果が、１オクターブの信号として抽出される。
【００４６】
一方、低周波数成分のダウンサンプリング結果は、さらに、高周波数成分と低周波数成分とに２分割され、１／２にダウンサンプリングされる。そして、やはり、高周波数成分のダウンサンプリング結果が、前回よりも１オクターブ低いオクターブの信号として抽出される。オクターブ分割ブロック２２では、以下、同様にして、複数のオクターブの信号が抽出される。
【００４７】
オクターブ分割ブロック２２では、このように、高周波数成分と低周波数成分とへの周波数帯域分割と、１／２のダウンサンプリングが繰り返されることにより、オクターブの信号の抽出が行われるので、オクターブ分割ブロック２２に入力されるオーディオ信号のサンプリング周波数を２n（ｎ＝１，２，・・）で割った値が、オクターブの境界周波数となる。仮に、再標本化部２１において、入力されたオーディオ信号が、所望のサンプリング周波数で再サンプリングされずに、４４．１ｋHzのサンプリング周波数そのままで、オクターブ分割ブロック２２に供給された場合、オクターブ分割ブロック２２では、そのオーディオ信号が周波数帯域分割されることにより、高周波数成分として、４４．１ｋHz／２乃至（４４．１ｋHz／２）／２の周波数範囲の信号が得られる。そして、この場合、高周波数成分の最低周波数と最高周波数は、図１で示したオクターブ１乃至８のいずれの境界周波数とも一致しない。その結果、その高周波数成分の低域側や高域側は、所望のオクターブの音程の信号の一部の周波数成分が欠けたもの、あるいは、所望のオクターブに隣接する他のオクターブの音程の信号の一部の周波数成分が含まれたものとなり、その後の、音程ごとの信号を抽出する処理が複雑になる。
【００４８】
そこで、再標本化部２１では、その後段のオクターブ分割ブロック２２において、信号の周波数帯域分割とダウンサンプリングとの繰り返しごとに得られる高周波数成分の最低周波数と最高周波数が、あるオクターブの最高周波数と最低周波数にそれぞれ一致するようにするため、元のオーディオ信号を、オクターブの境界周波数の２のべき乗倍のサンプリング周波数で再サンプリングする。
【００４９】
本実施の形態では、再標本化部２１は、例えば、オクターブ４と５との間の境界周波数である１０１６．７Hzの２5倍、即ち、３２５３４．７Hzのサンプリング周波数でオーディオ信号を再サンプリングするものとする。なお、オクターブの境界周波数の２のべき乗倍のサンプリング周波数として、どのような値を採用するかは、例えば、どの高さの音程を含むオクターブを抽出するか等によって決定する。
【００５０】
オクターブ分割ブロック２２は、再標本化部２１から出力されるオーディオ信号を、オクターブ１乃至８の信号成分（オーディオ信号）それぞれに分割する。そして、オクターブ分割ブロック２２は、オクターブｉ（ｉ＝１乃至８の整数）のオーディオ信号をBPFB２３iに出力する。即ち、オクターブ分割ブロック２２は、オクターブ１のオーディオ信号をBPFB２３1に、オクターブ２のオーディオ信号をBPFB２３2に、同様にして、オクターブ３乃至８のオーディオ信号をBPFB２３3乃至２３8に、それぞれ出力する。
【００５１】
BPFB２３iは、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のBPF(Band Pass Filter)を有し、オクターブ分割ブロック２２から入力されるオクターブｉのオーディオ信号を、フィルタリングすることにより、１２の音程のオーディオ信号を抽出する。
【００５２】
換言すれば、BPFB２３iでは、１２のBPFによって、オクターブｉの１２の音程のオーディオ信号それぞれが抽出される。例えば、BPF２３1では、図２に示すように、Ｃ１,Ｃ＃１,Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１の音程の信号成分が抽出される。また、例えば、BPF２３8では、Ｃ８,Ｃ＃８,Ｄ８,Ｄ＃８,Ｅ８,Ｆ８,Ｆ＃８,Ｇ８,Ｇ＃８,Ａ８,Ａ＃８,Ｂ８の音程の信号成分が抽出される。
【００５３】
以上のように構成される図２の信号処理装置１１では、再標本化部２１において、オーディオ信号が再サンプリングされ、オクターブ分割ブロック２２において、オクターブ１乃至８それぞれの信号に分割される。さらに、BPFB２３1乃至BPFB２３8において、オクターブ１乃至８の信号それぞれから、１２の音程の信号が抽出されて出力される。
【００５４】
図３は、図２のオクターブ分割ブロック２２の詳細な構成例を示すブロック図である。
【００５５】
オクターブ分割ブロック２２は、７つのオクターブ分割部５１1乃至５１7により構成されている。この７つのオクターブ分割部５１1乃至５１7それぞれは、基本的に同様の処理を行う。
【００５６】
オクターブ分割部５１j（ｊ＝１，２，・・・，６，７）は、入力されたオーディオ信号を、高域側の高周波数成分と低域側の低周波数成分とに分割する。また、オクターブ分割部５１jは、高周波数成分のオーディオ信号（以下、高域のオーディオ信号と称する）と低周波数成分のオーディオ信号（以下、低域のオーディオ信号と称する）のそれぞれを、サンプル数を１／２にするダウンサンプリングを行う。
【００５７】
さらに、オクターブ分割部５１jは、ダウンサンプリング後の高域のオーディオ信号をオクターブ[９−ｊ]のオーディオ信号として、BPFB２３9-j（図２）に出力する。また、オクターブ分割部５１jは、ダウンサンプリング後の低域のオーディオ信号をオクターブ分割部５１j+1に出力する。但し、ｊ＝７の場合、即ち、オクターブ分割部５１7は、ダウンサンプリング後の低域のオーディオ信号をオクターブ１のオーディオ信号として、BPFB２３1（図２）に出力する。
【００５８】
次に、オクターブ分割部５１jの処理を説明する。
【００５９】
再標本化部２１から入力された、３２５３４．７Hzのサンプリング周波数で再サンプリングされたオーディオ信号は、オクターブ分割部５１1に入力される。オクターブ分割部５１1は、入力されたオーディオ信号を、その周波数帯域を２等分するように周波数帯域分割する。即ち、オクターブ分割部５１1は、そこに入力されるオーディオ信号のサンプリング周波数をｆsと表すことにすると、そのオーディオ信号をｆs／２乃至（ｆs／２）／２の高域側の高周波数成分と、０乃至（ｆs／２）／２の低域側の低周波数成分とに分割する。さらに、オクターブ分割部５１1は、周波数分割によって得られた高周波数成分のオーディオ信号と、低周波数成分のオーディオ信号のそれぞれを、例えば、そのサンプルを間引くことにより、１／２にダウンサンプリングする。
【００６０】
そして、オクターブ分割部５１1は、ダウンサンプリング後の高域周波数成分のオーディオ信号を、１オクターブのオーディオ信号として、BPFB２３8(=9-1)（図２）に出力する。さらに、オクターブ分割部５１1は、ダウンサンプリング後の低周波数成分のオーディオ信号を、オクターブ分割部５１2(=1+1)に出力する。
【００６１】
オクターブ分割部５１2乃至５１7も、それぞれ、前段のオクターブ分割部５１1乃至５１6から供給されるオーディオ信号を対象に、オクターブ分割部５１1における場合と同様の処理を行う。但し、オクターブ分割部５１7は、ダウンサンプリング後の低周波数成分のオーディオ信号を、さらに周波数帯域分割し、その結果得られる高周波数成分のオーディオ信号を１／２にダウンサンプリングする。そして、オクターブ分割部５１7は、ダウンサンプリング後の高周波数成分のオーディオ信号を、BPFB２３1（図２）に出力する。
【００６２】
オクターブ分割ブロック２２において、以上のような処理が行われることにより、元のオーディオ信号のうちのオクターブ８（Ｏ８）の周波数範囲、即ち、８１３３．７Ｈｚ乃至１６２６７．４Hzのオーディオ信号が、オクターブ分割部５１1からBPFB２３8（図２）に出力される。
【００６３】
同様に、４０６６．８Hz乃至８１３３．７Hzの周波数範囲の、オクターブ７（Ｏ７）のオーディオ信号がBPFB２３7に、２０３３．４Hz乃至４０６６．８Hzの周波数範囲の、オクターブ６（Ｏ６）のオーディオ信号がBPFB２３6に、１０１６．７Hz乃至２０３３．４Hzの周波数範囲の、オクターブ５（Ｏ５）のオーディオ信号がBPFB２３5に、５０８．４Hz乃至１０１６．７Hzの周波数範囲の、オクターブ４（Ｏ４）のオーディオ信号がBPFB２３4に、２５４．２Hz乃至５０８．４Hzの周波数範囲の、オクターブ３（Ｏ３）のオーディオ信号がBPFB２３3に、１２７．１Hz乃至２５４．２Hzの周波数範囲の、オクターブ２（Ｏ２）のオーディオ信号がBPFB２３2に、６３．５５Hz乃至１２７．１Hzの周波数範囲の、オクターブ１（Ｏ１）のオーディオ信号が、BPFB２３1に、それぞれ出力される。
【００６４】
即ち、オクターブ分割ブロック２２は、入力信号を、高域側の高周波数成分と、低域側の低周波数成分とに分割し、高周波数成分と低周波成分のそれぞれをダウンサンプリングすることを繰り返すことにより、オーディオ信号を、８のオクターブの信号に分割する。
【００６５】
従って、オクターブ分割ブロック２２では、音程の周波数の対数分布に対応させて、オクターブ１乃至８の８オクターブを抽出することができる。換言すれば、オクターブ分割ブロック２２では、各オクターブのオーディオ信号を、各オクターブが持つ情報量に比例した時間軸解像度および周波数解像度で抽出することができる。
【００６６】
図４は、図３のオクターブ分割部５１1乃至５１7の詳細な構成例を示している。
【００６７】
オクターブ分割部５１j（ｊ＝１，２，・・・，６，７）それぞれは、HPF(High Pass Filter)７１j，DS（ダウンサンプリング）部７２j，LPF(Low Pass Filter)７３j、およびDS部７４jにより構成されている。ただし、オクターブ分割部５１7は、さらに、HPF７５とDS部７６を有している。
【００６８】
オクターブ分割部５１jのHPF７１jおよびLPF７３jには、その前段からオーディオ信号が入力される。HPF７１jおよびLPF７３jにおいて、入力されたオーディオ信号が周波数帯域分割される。
【００６９】
即ち、HPF７１jは、入力されたオーディオ信号のうちの、その周波数帯域の１／２以上の高域のオーディオ信号を抽出し、DS部７２jに出力する。また、ＬPF７３jは、入力されたオーディオ信号のうちの、その周波数帯域の１／２以下の低域のオーディオ信号を抽出し、DS部７４jに出力する。
【００７０】
DS部７２jまたはDS部７４jそれぞれは、HPF７１jまたはＬＰＦ７３jから入力されたオーディオ信号を、そのサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングする。
【００７１】
DS部７２jは、ダウンサンプリング後のオーディオ信号をオクターブ[９−ｊ]のオーディオ信号として、BPFB２３9-j（図２）に出力する。DS部７４jは、ダウンサンプリング後のオーディオ信号を、後段のオクターブ分割部５１j+1のHPF７１j+1およびLPF７３j+1に出力する。但し、オクターブ分割部５１7では、DS部７４7は、ダウンサンプリング後のオーディオ信号を、HPF７５に出力する。そして、HPF７５は、DS部７４7からのダウンサンプリング後のオーディオ信号のうちの、その周波数帯域の１／２以上の高域のオーディオ信号を抽出し、DS部７６に出力する。DS部７６は、HPF７５からのオーディオ信号を、そのサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングし、オクターブ１のオーディオ信号として、BPFB２３1(図２)に出力する。
【００７２】
図５と図６は、図４のHPF７１jおよびDS部７２j（ｊ＝１，２，・・・，６，７）によるオーディオ信号の処理結果を概念的に示したものである。
【００７３】
HPF７１jでは、図５に示すように、入力されるオーディオ信号の、高域側の周波数成分と低域側の周波数成分のうちの、高域側の高周波数成分のオーディオ信号が、１オクターブのオーディオ信号として抽出される（通過する）。この１オクターブのオーディオ信号は、オクターブ[９−ｊ]のオーディオ信号であり、図５に示すように、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程を含むものである。
【００７４】
そして、HPF７１jを通過した、図５の高周波数成分のオーディオ信号は、DS部７２jによって、１／２のサンプリング周波数でダウンサンプリングされる。
【００７５】
図６は、DS部７２jによるダウンサンプリング後の１オクターブ分のオーディオ信号を示している。図５の高周波成分のオーディオ信号は、DS部７２jによるダウンサンプリングによって、低域側に折り返して現れる。従って、ダウンサンプリング後の高周波数成分のオーディオ信号においては、周波数軸上の音程の信号成分の並びが、図６に示すように、ダウンサンプリング前の並びＣ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの逆になっている。即ち、音程の高低の並びが逆になっている。
【００７６】
次に、BPFB２３1乃至２３8の詳細な構成例について説明する。BPFB２３1乃至２３8それぞれは、同様の構成を有しており、図７は、そのうちのBPFB２３1の詳細な構成例を示している。
【００７７】
BPFB２３1は、１２の音程Ｃ１,Ｃ＃１,Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１それぞれの周波数範囲に応じた通過帯域を有する１２のBPF１０１1乃至１０１12により構成されている。
【００７８】
即ち、BPF１０１1は、オクターブ分割ブロック２２（図３）から入力されるオクターブ１のオーディオ信号から、C１の音程のオーディオ信号を抽出し、外部に出力する。
【００７９】
また、BPF１０１2は、オクターブ１のオーディオ信号から、C＃１の音程のオーディオ信号を抽出し、外部に出力する。同様に、BPF１０１3乃至１０１12それぞれは、Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１の音程のオーディオ信号を抽出し、外部に出力する。
【００８０】
図８と図９を参照して、図７のBPFB２３1の処理について説明する。図８と図９は、BPFB２３1の処理を概念的に示したものである。
【００８１】
図８の上側の図は、オクターブ分割ブロック２２からBPFB２３1に供給されるオクターブ１のオーディオ信号の周波数成分を示している。図６で説明したように、オクターブ分割ブロック２２が出力するオクターブ１のオーディオ信号においては、周波数軸上の音程の並びが、高低逆になっている。
【００８２】
このため、図７のBPF１０１1乃至１０１12それぞれは、図８下側に示すような、フィルタ特性を有する。即ち、図７のBPF１０１1乃至１０１12それぞれは、高低の並びが逆になっているＣ１,Ｃ＃１,Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１の周波数範囲の周波数成分を通過させるフィルタとなっている。
【００８３】
即ち、BPF１０１1は、オクターブ分割ブロック２２が出力するオクターブ１のオーディオ信号から、最も高い周波数帯域の信号を抽出することで、最も低い音程のC1の周波数成分を得る。BPF１０１1は、オクターブ分割ブロック２２が出力するオクターブ１のオーディオ信号から、次に高い周波数帯域の信号を抽出することで、次に低い音程C＃1の周波数成分を得る。以下、同様にして、BPF１０１1は、オクターブ分割ブロック２２が出力するオクターブ１のオーディオ信号から、最も低い周波数帯域の信号を抽出することで、最も高い音程B1の周波数成分を得る。
【００８４】
図８下側に示したフィルタ特性を有するBPF１０１3乃至１０１12を、図７のブロック図に対応させて図示すると、図９に示すようになる。
【００８５】
なお、BPFB２３1乃至２３8それぞれにおいて、対応するBPFB２３k（ｋ＝１，２，・・・，１２）の通過帯域は異なる。即ち、オクターブｉのオーディオ信号を処理するBPFB２３iのBPF１０１kと、オクターブ[ｉ＋１]のオーディオ信号を処理するBPFB２３i+1のBPF１０１kとでは、通過帯域は、２倍だけ異なる。つまり、BPFB２３i+1のBPF１０１kの通過帯域は、BPFB２３iのBPF１０１kの通過帯域の２倍である。
【００８６】
次に、図１０のフローチャートを参照して、図２の信号処理装置１１の音程解析処理について説明する。図１０の音程解析処理は、例えば、図２の信号処理装置１１にオーディオ信号が入力された場合に開始される。
【００８７】
初めに、ステップＳ１において、再標本化部２１は、そこに入力されるオーディオ信号を、所望のサンプリング周波数（本実施の形態では、３２５３４．７Hz）で再サンプリング（再標本化）する。そして、再標本化部２１は、所望のサンプリング周波数で再サンプリングされたオーディオ信号を、オクターブ分割ブロック２２に出力して、ステップＳ２に進む。
【００８８】
ステップＳ２において、オクターブ分割ブロック２２は、再標本化部２１から出力されるオーディオ信号を、オクターブ１乃至８のそれぞれに分割する。そして、オクターブ分割ブロック２２は、オクターブｉ（ｉ＝１乃至８の整数）のオーディオ信号をBPFB２３iに出力して、ステップＳ３に進む。
【００８９】
ステップＳ３において、BPFB２３iは、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程それぞれの周波数範囲のオーディオ信号を通過帯域とする１２のBPF(Band Pass Filter)によって、オクターブ分割ブロック２２から入力されるオクターブｉのオーディオ信号から、１２の音程それぞれのオーディオ信号を抽出して、処理を終了する。
【００９０】
次に、図１１のフローチャートを参照して、図３のオクターブ分割ブロック２２のオクターブ分割の処理について説明する。なお、このオクターブ分割の処理は、図１０のステップＳ２の処理に対応するものである。
【００９１】
初めに、ステップＳ２１において、オクターブ分割部５１1は、再標本化部２１から入力されたオーディオ信号を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部５１1は、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を１／２にするダウンサンプリングを行う。さらに、ステップＳ２１では、オクターブ分割部５１1は、ダウンサンプリング後の高域のオーディオ信号をオクターブ８（Ｏ８）のオーディオ信号として、BPFB２３1（図２）に出力し、ダウンサンプリング後の低域のオーディオ信号を、オクターブ分割部５１2に出力して、ステップＳ２２に進む。
【００９２】
ステップＳ２２乃至Ｓ２６それぞれにおいて、オクターブ分割部５１j（ｊ＝２，・・・，６）は、そこに入力されたオーディオ信号（前段のオクターブ分割部５１j-1において、周波数分割によって得られた低周波成分のオーディオ信号）を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部５１jは、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を１／２にするダウンサンプリングを行う。さらに、オクターブ分割部５１jは、ダウンサンプリング後の高域のオーディオ信号を、オクターブ[９−ｊ]のオーディオ信号として、BPFB２３9-j（図２）に出力し、ダウンサンプリング後の低域のオーディオ信号を、オクターブ分割部５１j+1に出力する。
【００９３】
ステップＳ２６の後、ステップＳ２７に進み、オクターブ分割部５１7は、オクターブ分割部５１6から入力されたオーディオ信号を、高域のオーディオ信号と低域のオーディオ信号に分割する。また、オクターブ分割部５１7は、高域のオーディオ信号と低域のオーディオ信号のそれぞれを、サンプル数を１／２にするダウンサンプリングを行う。さらに、オクターブ分割部５１7は、ダウンサンプリング後の高域のオーディオ信号を、オクターブ２のオーディオ信号として、BPFB２３2（図２）に出力して、ステップＳ２８に進む。
【００９４】
ステップＳ２８において、オクターブ分割部５１7は、ダウンサンプリング後の低周波成分のオーディオ信号を、さらに周波数帯域分割し、その結果得られる高周波数成分のオーディオ信号を１／２にダウンサンプリングする。そして、オクターブ分割部５１7は、ダウンサンプリング後の高周波数成分のオーディオ信号を、オクターブ１のオーディオ信号として、BPFB２３1（図２）に出力して、処理を終了する。
【００９５】
次に、図１２のフローチャートを参照して、図４のオクターブ分割部５１1におけるオクターブ８の抽出処理について説明する。なお、このオクターブ８の抽出処理は、図１１のステップＳ２１の処理に対応するものである。
【００９６】
初めに、ステップＳ４１において、HPF７１1は、再標本化部２１から入力されたオーディオ信号のうちの、その周波数帯域の１／２以上の高域のオーディオ信号を抽出し、DS部７２1に出力して、ステップＳ４２に進む。
【００９７】
ステップＳ４２において、DS部７２1は、HPF７１1から入力されたオーディオ信号を、そのサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングし、ダウンサンプリング後のオーディオ信号をオクターブ８のオーディオ信号としてBPFB２３8に出力して、ステップＳ４３に進む。
【００９８】
ステップＳ４３において、ＬPF７３1は、再標本化部２１から入力されたオーディオ信号のうちの、その周波数帯域の１／２以下の低域のオーディオ信号を抽出し、DS部７４1に出力して、ステップＳ４４に進む。
【００９９】
ステップＳ４４において、DS部７４1は、ダウンサンプリング後のオーディオ信号を、オクターブ分割部５１2のHPF７１2およびLPF７３2に出力して、処理を終了する。
【０１００】
ステップＳ４１乃至Ｓ４４の処理と同様の処理が、オクターブ分割部５１2乃至５１7においても行われる。但し、オクターブ分割部５１7では、上述したように、DS部７４7は、ダウンサンプリング後のオーディオ信号を、HPF７５に出力する。そして、HPF７５は、DS部７４7からのダウンサンプリング後のオーディオ信号のうちの、その周波数帯域の１／２以上の高域のオーディオ信号を抽出し、DS部７６に出力する。DS部７６は、HPF７５からのオーディオ信号を、そのサンプリング周波数の１／２のサンプリング周波数でダウンサンプリングし、オクターブ１のオーディオ信号として、BPFB２３1(図２)に出力する。
【０１０１】
次に、図１３のフローチャートを参照して、図７のBPFB２３1の音程抽出処理について説明する。この処理は、図１０のステップＳ３の音程抽出処理のなかの、BPFB２３1が行う音程抽出処理に相当するものであるが、その他のBPFB２３2乃至２３8も、オクターブ２乃至８のそれぞれについて、図１３の音程抽出処理と同様の処理を行う。
【０１０２】
初めに、ステップＳ６１において、BPF１０１1は、Ｃ１の音程のオーディオ信号を抽出する。即ち、BPF１０１1は、オクターブ分割ブロック２２（図２）から入力されるオクターブ１のオーディオ信号から、C１の音程のオーディオ信号を抽出して、ステップＳ６２に進む。
【０１０３】
ステップＳ６２乃至Ｓ７２それぞれにおいて、ステップＳ６１のＣ１の音程のオーディオ信号の抽出と同様に、BPF１０１2乃至１０１12それぞれが、Ｃ＃１,Ｄ１,Ｄ＃１,Ｅ１,Ｆ１,Ｆ＃１,Ｇ１,Ｇ＃１,Ａ１,Ａ＃１,Ｂ１の音程のオーディオ信号を抽出して、処理を終了する。
【０１０４】
なお、ステップＳ６１乃至Ｓ７２の処理それぞれは、図１３で説明した順序以外の任意の順序で処理をすることもできるし、ステップＳ６１乃至Ｓ７２の処理を並列（同時に）に行うこともできる。
【０１０５】
以上のようにして、信号処理装置１１は、そこに入力されたオーディオ信号をオクターブ１乃至８の８オクターブに分割し、さらにオクターブ１乃至８のそれぞれについて、Ｃ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程のオーディオ信号に抽出することができる。即ち、信号処理装置１１は、そこに入力されたオーディオ信号の各音程の信号成分を、時系列に得ることができる。
【０１０６】
信号処理装置１１から出力される信号は、オクターブ１乃至８の各オクターブのＣ,Ｃ＃,Ｄ,Ｄ＃,Ｅ,Ｆ,Ｆ＃,Ｇ,Ｇ＃,Ａ,Ａ＃,Ｂの１２の音程の信号であるので、信号処理装置１１からの出力を受ける装置では、その音程の信号（音程情報）をそのまま、自動採譜やメロディ解析などのアプリケーションで使用することができる。
【０１０７】
次に、図１４乃至図１６を参照して、オクターブ１乃至８の各オクターブの１２の音程について、１つの音程ごとに１つのBPFを用いて、各音程のオーディオ信号を抽出する、単純なBPFバンクによる手法（以下、従来手法と称する）と、図１の信号処理装置１１により、各音程のオーディオ信号を抽出する手法（以下、本手法と称する）とにおいて、オクターブ１乃至８の全８オクターブそれぞれの１２の音程のオーディオ信号を抽出するために、元のオーディオ信号の１サンプルあたりに行われる演算回数を比較する。なお、演算回数は、１回の加算と１回の乗算とのセットを１回とカウントするものとする。
【０１０８】
図１４は、従来手法による演算回数を示している。
【０１０９】
従来手法では、ダウンサンプリングが行われないため、ダウンサンプリング数DSは、オクターブ１乃至８の各オクターブにおいて、１である。ここで、ダウンサンプリング数DSは、元のオーディオ信号のサンプル数に対して、処理対象のオーディオ信号のサンプル数が何分の１倍になっているかを表している。即ち、従来手法では、元のオーディオ信号が、そのまま、各オクターブの各音程の信号を抽出するBPFの処理対象となるため、ダウンサンプリング数DSは、常に１である。
【０１１０】
また、従来手法では、オクターブ８の各音程のオーディオ信号を抽出するBPFとして、例えば、１２８タップ（Tap）のFIR(Finite Impulse Response)フィルタを使用するものとする。いま、オクターブ１乃至７のそれぞれについて、オクターブ８と同程度の周波数解像度が得られるようにするものとすると、オクターブ８から１オクターブ低くなるごとに、BPFのタップ数は、オクターブ８の各音程を抽出するBPFのタップ数の倍にする必要がある。従って、オクターブ８の各音程を抽出するBPFのタップ数を、上述のように１２８タップとすると、オクターブ１乃至７のタップ数Tapは、それぞれ、１６３８４，８１９２，４０９６，２０４８，１０２４，５１２，２５６となる。
【０１１１】
このような条件の下、各オクターブの１２の各音程を求めるために、元のオーディオ信号の１サンプルあたりに行われる乗算および加算の演算回数は、Tap÷DS×１２により算出することができる。従って、オクターブ１乃至８の各オクターブについての演算回数（オクターブの１２の音程それぞれを求めるために必要となる、元のオーディオ信号の１サンプルあたりの演算回数）は、図１４に示すように、それぞれ、１９６６０８，９８３０４，４９１５２，２４５７６，１２２８８，６１４４，３０７２，１５３６となる。よって、従来手法によれば、オクターブ１乃至８の８オクターブそれぞれの１２の音程それぞれを求めるために必要となる、元のオーディオ信号の１サンプルあたりの演算回数は、それらの和の３９１６８０回となる。
【０１１２】
図１５は、本手法のオクターブ分割部５１j（ｊ＝１，２，・・・，６，７）のHPF７１jおよびLPF７３jにおける演算回数を示している。なお、ここでは、LPF７３7の演算回数には、HPF７５の演算回数も含むものとする。
【０１１３】
本手法において、図１４の従来手法と同等の音程の抽出精度（性能）とするためには、HPF７１jおよびLPF７３jは、２５６程度のタップ数を必要とする。そこで、図１５では、HPF７１jとLPF７３jのタップ数Tapを、いずれも２５６としている。
【０１１４】
また、図４で説明したように、各オクターブ分割部５１jそれぞれにおいて、１／２のダウンサンプリングが行われるため、最も周波数帯域の高いオクターブ８のダウンサンプリング数DSは、２であり、以下、低い周波数帯域のオクターブに下がるごとに倍になる。従って、オクターブ１乃至８のダウンサンプリング数DSは、それぞれ、２５６，１２８，６４，３２，１６，８，４，２となる。
【０１１５】
HPF７１jとLPF７３jの両方の、元のオーディオ信号の１サンプルあたりに行われる乗算および加算の演算回数は、Tap÷DS×２で求められる。従って、オクターブ１乃至８について、HPF７１jとLPF７３jの両方で、元のオーディオ信号の１サンプルあたりに行われる乗算および加算の演算回数は、図１５に示すように、それぞれ、２，４，８，１６，３２，６４，１２８，２５６となる。従って、オクターブ分割ブロック２２において、周波数帯域分割のために元のオーディオ信号の１サンプルあたりに行われる乗算および加算の演算回数は、各オクターブの演算回数の和の５１０回となる。
【０１１６】
図１６は、本手法のBPFB２３1乃至２３8における演算回数を示している。
【０１１７】
オクターブ１乃至８のダウンサンプリング数DSは、それぞれ、図１５と同様の、２５６，１２８，６４，３２，１６，８，４，２となる。また、オクターブ１乃至８の各音程を抽出するBPFB２３1乃至２３8のタップ数Tapは、いずれも６４となる。
【０１１８】
従って、本手法のオクターブ１乃至８のBPFB２３1乃至２３8についての演算回数（オクターブの１２の音程それぞれを求めるために必要となる、元のオーディオ信号の１サンプルあたりの演算回数）は、図１６に示すように、Tap÷DS×１２により算出され、それぞれ、３，６，１２，２４，４８，９６，１９２，３８４となる。従って、本手法によれば、オクターブ１乃至８の８オクターブそれぞれの１２の音程それぞれを求めるために必要となる、元のオーディオ信号の１サンプルあたりの演算回数は、それらの和の７６５回となる。
【０１１９】
以上から、本手法による演算回数は、図１５に示すオクターブ分割ブロック２２のHPF７１jとLPF７３jにおける演算回数の５１０回と、図１６に示すBPFB２３1乃至２３8における演算回数の７６５回との合計の１２７５回である。
【０１２０】
本手法の演算回数（元のオーディオ信号の１サンプルの入力に対して行われる演算回数）は、１２７５回であり、図１４の従来の手法の演算回数の３９１６８０回に比べて、極めて少ない演算回数とすることができる。即ち、ダウンサンプリングすることにより、従来手法より少ない演算量で、元のオーディオ信号から各音程の信号を抽出することができる。換言すれば、本手法によれば、従来手法よりも各音程の信号の抽出に要する演算（能力）を大幅に低減することができる。
【０１２１】
図１０乃至図１３に示した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアによって行う場合、例えば、その一連の処理は、図１７に示されるような（パーソナル）コンピュータにプログラムを実行させることにより実現することができる。
【０１２２】
図１７において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２に記憶されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１２４】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットなどのネットワークを介しての通信処理を行う。
【０１２５】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、或いは半導体メモリ３２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１２６】
上述した実施の形態では、C（ド）の音程からB（シ）まで１２の音程ごとの区切りを１オクターブとしたが、１オクターブは、その他の音程の区切りでもよい。例えば、Ｆ（ファ）の音程からＥ（ミ）の音程までを区切りとした場合も、周波数は対数の分布となるので、１オクターブということができる。
【０１２７】
また、再標本化部２１における再サンプリングのサンプリング周波数も、オクターブの境界周波数の２のべき乗倍でなくてもよい。即ち、再標本化部２１における再サンプリングのサンプリング周波数は、例えば、隣接する音程どうしの境界の周波数の２のべき乗倍であってもよい。
【０１２８】
さらに、元のオーディオ信号のサンプリング周波数が、オクターブの境界周波数または隣接する音程どうしの境界の周波数の２のべき乗倍の周波数であれば、再標本化部２１を設けずに、信号処理装置１１を構成することができる。
【０１２９】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１３０】
【図１】オーディオ信号の各音程と周波数を説明する図である。
【図２】本発明を適用した信号処理装置１１の一実施の形態の構成例を示すブロック図である。
【図３】オクターブ分割ブロック２２の詳細な構成例を示すブロック図である。
【図４】オクターブ分割部５１1乃至５１7の詳細な構成例を示すブロック図である。
【図５】オーディオ信号の処理結果を概念的に示す図である。
【図６】オーディオ信号の処理結果を概念的に示す図である。
【図７】BPFB２３1の詳細な構成例を示すブロック図である。
【図８】BPFB２３1の処理を概念的に示す図である。
【図９】BPFB２３1の処理を概念的に示す図である。
【図１０】信号処理装置１１の音程解析処理を説明するフローチャートである。
【図１１】オクターブ分割の処理を説明するフローチャートである。
【図１２】オクターブ８の抽出処理を説明するフローチャートである。
【図１３】音程抽出処理を説明するフローチャートである。
【図１４】従来手法による演算回数を説明する図である。
【図１５】本手法による演算回数を説明する図である。
【図１６】本手法による演算回数を説明する図である。
【図１７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１３１】
１１  信号処理回路，  ２１  再標本化部，  ２２  オクターブ分割ブロック，  ２３1乃至２３8  BPFB（Band Pass Filter Bank），  ５１1乃至５１7  オクターブ分割部，  ７１1乃至７１7  HPF，  ７２1乃至７２7  DS部，  ７３1乃至７３7  LPF，  ７４1乃至７４7  DS部，  ７５  HPF，  ７６  DS部
【図１】
0004649859.tif 000002
【図２】
0004649859.tif 000003
【図３】
0004649859.tif 000004
【図４】
0004649859.tif 000005
【図５】
0004649859.tif 000006
【図６】
0004649859.tif 000007
【図７】
0004649859.tif 000008
【図８】
0004649859.tif 000009
【図９】
0004649859.tif 000010
【図１０】
0004649859.tif 000011
【図１１】
0004649859.tif 000012
【図１２】
0004649859.tif 000013
【図１３】
0004649859.tif 000014
【図１４】
0004649859.tif 000015
【図１５】
0004649859.tif 000016
【図１６】
0004649859.tif 000017
【図１７】
0004649859.tif 000018