(57)【要約】本開示の基本周波数推定法では、不可分な基本周波数成分からなる合成信号を対象とし、従来、誤差として取り扱われてきたくし形フィルタの微小な出力から信号周期を測定できることに着目し、調波成分の各基本周波数を推定することができる。まず、合成信号の最低基本周波数に対応するくし形フィルタを利用して対象合成信号を処理し、その出力の自己相関関数から信号の周期を測定することで合成信号の各基本周波数を求める。さらに、時間分解能を確保するために、くし形フィルタと自己相関関数を利用することで短時間サンプルに対しても適用でき、サンプル数の不足がない、高精度の周波数分解能で処理が可能である。
2008001779.tif 000002
【特許請求の範囲】
【請求項１】
基本周波数成分とその整数倍の周波数成分から成るような信号において、ある信号の基本周波数成分が他の信号の周波数成分と重なることにより、基本周波数の推定が困難であるような合成信号を対象とし、重なる周波数成分の間に存在する信号源や発生時刻の違いから生じる僅かな周波数差に着目して、対象とする合成信号の基本周波数を推定することを特徴とする基本周波数推定法。
【請求項２】
重なる周波数成分の僅かな周波数差をくし形フィルタによって検出し、自己相関関数により出力信号の周期を求め、自己相関関数の周期が明確でない場合でも、くし形フィルタの遅延数を変化させて、基本周波数を推定することを特徴とする請求項１に記載の基本周波数推定法。
【請求項３】
自己相関関数で検出された周期に対応するくし形フィルタに入力信号を通し、自己相関関数で検出された周期が最初の最低基本周波数の周期と一致し出力信号が得られない場合でも、くし形フィルタの遅延数を変化させて出力信号の自己相関関数を求め、出力信号の自己相関関数の波形の変化から、対象とする信号が単独信号であるか、または同一の基本周波数からなる合成信号か、または基本周波数が異なる合成信号かを判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項４】
対象とする信号が単独信号か合成信号かの区別をするために、入力信号の離散フーリエ変換を、測定時間をシフトさせながら計算し、基本周波数成分の位相とその倍音周波数成分の位相との位相差を求め、その位相差の時間変化から位相差がほぼ一定なら単独信号と、位相差が変化するなら合成信号と判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項５】
打弦楽器からの信号に対して、周波数成分に見られる位相差の時間変化の割合において規則性が保持されているかどうかで、単独信号か合成信号かを判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項６】
請求項１乃至５の何れかに記載の基本周波数推定法を用いる、基本周波数が推定困難な合成信号の１周期間の差分を計算するくし形フィルタを、存在し得る基本周波数に対応させて並列接続し、合成信号の最低基本周波数を、出力の最小値と自己相関関数から求めることができる音響信号推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基本周波数とその倍数周波数から構成されている信号において、ある信号の基本周波数成分が他の信号の周波数成分と重なる場合の、各信号の基本周波数を推定する方法と、最小出力値と自己相関関数から最低基本周波数を求めることができる基本周波数推定法、およびそれに基づいた音響信号推定システムに関するものである。
【背景技術】
【０００２】
図１に、ある楽音の振幅スペクトルを示す。一般に、楽音は基本周波数成分（ｆｐ）とその倍音成分（ｋｆｐ，ｋ＝２，３，・・・）からなっている。この基本周波数を推定することで、音の高さ（以下、音高）を推定することができ、おもに楽音から楽譜を作成する採譜システムの基本技術として利用できる。【０００３】
しかし、楽音の和音を対象とした場合、音高推定が困難な和音が存在する。それは、図２に示すように和音のある信号成分の基本周波数が、他の信号成分の周波数に一致するような場合である。【０００４】
従来の採譜システムに関する特許関係の技術では、上記のような音高推定が困難な和音には対応できていない（例えば、特許文献１乃至特許文献３を参照）。一方、本発明で対象にしている音高推定が困難な和音に関しては、次に示すような研究報告がなされている。遺伝的アルゴリズム（以下、ＧＡ）による方法（例えば、非特許文献１を参照）、振幅スペクトルの和が成立することを仮定した方法（例えば、非特許文献２を参照）、音楽規則等に従った推定法（例えば、非特許文献３を参照）等が提案されている。しかし、ＧＡによる方法では前もって各楽器の時間波形を記憶しておく必要があり、技術の使用範囲が限定される。また、振幅スペクトルの和を仮定した方法は、各楽音の位相の関係から必ずしも成立しない場合がある。最後に、音楽規則等に従った推定法では、従来の音楽規則に従わない現代音楽など任意の楽音の処理には対応できないという問題点や課題がある。【０００５】
以上から、本発明で対象としている合成信号の具体例である、音高推定が困難な和音に対する有効な音高推定法は従来存在していなかった。特に、この問題を含む従来の採譜システムは、和音を扱うことに関して必ずしも実用的であるとはいえなかった。さらに、従来技術では採譜システムでの利用に留まっており、楽音を含めた本発明の対象となる合成信号への利用、具体的には音声認識への利用を可能とする技術は存在していない。
【特許文献１】特開２００２−２７８５４４号公報
【特許文献２】特開平５−１００６６０号公報
【特許文献３】特開平５−１７３５５７号公報
【非特許文献１】小野、斎藤、小沢、「自動採譜のためのＧＡを用いた混合音推定法」、計測自動制御学会論文集、Ｖｏｌ．３３、Ｎｏ．５、ｐｐ．４１７−４２３、１９９７
【非特許文献２】植田、橋本、「音源分離のためのブラインドデコンポジションアルゴリズム」、情報処理学会論文集、Ｖｏｌ．３８、Ｎｏ．１、ｐｐ．１４６−１５７、１９９７
【非特許文献３】柏野、木下、中臺、田中、「音楽情景分析の処理モデルＯＰＴＩＭＡにおける和音の分析」、信学論、Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１７６２−１７７０、１９９６
【発明の開示】
【０００６】
本開示は、基本周波数が推定困難な合成信号、例えば、基本周波数の等しい複数信号によって形成される合成信号や、基本周波数が一定の比率の関係にある複数信号によって形成される合成信号（以下、協和音）を対象として、各信号成分の基本周波数を推定し、分離される信号の品質を損なうことがないように、周波数成分の重複を精度良く分離する方法やシステムを提供することを目的とする。
【０００７】
なお、本開示の対象とする合成信号の具体例は、楽器が発生する音（以下、楽音）が同時に響くことによって生成される音（以下、和音）である。以下、本発明に関して楽音の和音について記述するが、楽音に限らず、基本周波数とその倍数周波数から構成されている音響信号に対する本発明の効果は変わらない。
【０００８】
本開示によれば、たとえ同じ楽器の種類でも製造が異なれば、楽音に関しては異なる信号源として楽器をみなせることから、発生された楽音の基本周波数を完全に一致させることは不可能であるということに着目している。つまり、音高推定が困難な和音の重なった周波数成分から、僅かな周波数差を出力として検出することで信号源や発生時刻の違いを判定して、協和音の音高推定を可能にしている。
【０００９】
さらに、本開示によれば、くし形フィルタと自己相関関数を利用することにより、瞬時的な音響信号の変化に対しても十分な時間分解能を実現できる。したがって、推定に用いるサンプル数が不足することがなく、周波数分解能の高い高精度の処理が可能となっている。
【００１０】
また、本開示によれば、周波数成分が重複しているかいないかの判断は、入力信号の離散フーリエ変換（以下、ＤＦＴと記す）より求まる各周波数成分の位相に着目し、その位相の時間変化から明確に両者を区別することも可能である。すなわち、一般の単音の楽音では基本周波数の位相とその倍音周波数の位相との位相差はほぼ一定になる。しかし、和音においては、周波数成分が重なっている成分では、その位相差が時間と共に変化する。これは重なった周波数成分間にわずかな周波数差があるために生ずる。これにより重なっている周波数成分を区別できる。この特性は、特に楽音が単音か和音かを区別するときに有効である。
【図面の簡単な説明】
【００１１】
【図１】楽音の振幅スペクトルを表す図である。
【図２】推定が困難な和音の周波数成分の重なりを示す模式図である。
【図３】くし形フィルタ  Ｈｐ（ｚ）＝１−ｚ−Ｎｐの振幅特性を表す図である。
【図４】音高推定のための並列構成くし形フィルタシステムの概念図である。（Ｈｑ，ｐ（ｚ）は、音名ｐ、オクターブｑのくし形フィルタを表す。）
【図５】音響信号推定システムのブロック図である。
【図６】音響信号推定システムの基本動作を示すフローチャートである。
【図７】対象楽音（ｃｌａｒｉｎｅｔ  Ｃ４）の時間波形図である。
【図８】対象楽音（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｃ４）の時間波形図である。
【図９】対象楽音（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｃ５）の時間波形図である。
【図１０】対象楽音（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｇ５）の時間波形図である。
【図１１】図６の楽音のくし形フィルタシステム（Ｈｐ（ｚ）＝１−ｚ−Ｎｐ、Ｎｐ＝１６９）の出力波形図である。
【図１２】図７の楽音のくし形フィルタシステム（Ｈｐ（ｚ）＝１−ｚ−Ｎｐ、Ｎｐ＝１６９）の出力波形図である。
【図１３】図８の楽音のくし形フィルタシステム（Ｈｐ（ｚ）＝１−ｚ−Ｎｐ、Ｎｐ＝１６９）の出力波形図である。
【図１４】図９の楽音のくし形フィルタシステム（Ｈｐ（ｚ）＝１−ｚ−Ｎｐ、Ｎｐ＝１６９）の出力波形図である。
【図１５】図１０のくし形フィルタシステム出力の自己相関関数値を示した図である。
【図１６】図１１のくし形フィルタシステム出力の自己相関関数値を示した図である。
【図１７】図１２のくし形フィルタシステム出力の自己相関関数値を示した図である。
【図１８】図１３のくし形フィルタシステム出力の自己相関関数値を示した図である。
【図１９】（ｃｌａｒｉｎｅｔ  Ｃ４）の楽音を入力した場合のくし形フィルタシステム出力（Ｎｐ＝１６８）の自己相関関数値を示した図である。
【図２０】（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｃ４）の楽音を入力した場合のくし形フィルタシステム出力（Ｎｐ＝１６８）の自己相関関数値を示した図である。
【図２１】ＤＦＴの位相情報を利用した音響信号推定システムのブロック図である。
【図２２】ＤＦＴの位相情報を利用した音響信号推定システムの基本動作を示すフローチャートである。
【図２３】対象楽音（Ｈｏｒｎ  Ａ３）の位相の時間変化を表す波形図である。
【図２４】対象楽音（Ｈｏｒｎ  Ａ３＋Ｈｏｒｎ  Ａ３）の位相の時間変化を表す波形図である。
【図２５】対象楽音（Ｈｏｒｎ  Ａ３＋Ｈｏｒｎ  Ａ４）の位相の時間変化を表す波形図である。
【図２６】対象楽音（Ｈｏｒｎ  Ａ３＋Ｈｏｒｎ  Ｅ５）の位相の時間変化を表す波形図である。
【発明を実施するための最良の形態】
【００１２】
以下、本開示の実施の形態である音響信号推定システムについて、図面を参照して説明する。図５に示すように、音響信号推定システムは、音響信号を入力する入力部１、図３の振幅特性を持つくし形フィルタを有するくし形フィルタシステム部２、自己相関関数を計算する自己相関関数処理部３、自己相関関数から和音の種類等の判別を行う音響信号判別部４、音響信号の推定結果を出力する出力部５からなる。【００１３】
次に、くし形フィルタを利用した基本周波数推定法について説明する。基本周波数推定法は、図４に示す基本周波数推定システムによってなされる。この基本周波数推定システムは、図３に示す振幅特性を持つくし形フィルタを、１２個並列に接続したものである（非特許文献４を参照）。そして、１２個のくし形フィルタの遅延数Ｎｐ（ｐ＝１，２，・・・，１２）は、対象とする音域の最低オクターブの１２音の基本周波数ｆｐとサンプリング周波数ｆｓにより、Ｎｐ＝［ｆｓ／ｆｐ］で決定される。ここで、記号“［  ］”は、小数点以下の四捨五入により整数化することを表している（以下、同様に表記する）。そして、このシステムに和音を入力し、その最小出力値を検出することで和音の基本周波数（音高）、音名を推定することができる。この検出されたくし形フィルタの遅延数を、１／２ｎ（ｎ＝１，２，・・・）と変化させ、その出力変化からその音名のオクターブが決定でき、和音の音高が推定されることを確認している。【００１４】
さらに、この基本周波数推定法では、上記の手段から音高推定困難和音の最低音高、つまり基本周波数が推定されると、それに対応したくし形フィルタに対象和音を入力する。その出力は原理的に零となるはずだが、和音の重なった周波数成分に僅かな周波数差があることや、楽音が完全な定常信号でないため僅かな出力信号が生ずる。この出力信号の周期を測定するために、その出力信号の自己相関関数を求める。そして、その自己相関関数の周期より、和音がユニゾンであるか、オクターブの和音であるか、またはｋ倍音の和音であるかを判断できる。ここで、ユニゾンとは、和音に含まれる信号の基本周波数が等しいことを意味する。さらに、オクターブの和音とは、和音に含まれる信号の基本周波数比が１：（２ｎ）、（ｎは正の整数）の関係を有する和音を意味する。また、ｋ倍音とは、和音に含まれる信号の基本周波数比が１：ｋ、（ｋは２ｎを除く正の整数）の関係を有する和音を意味する。【００１５】
ここで、ユニゾンと判断された場合は、さらに、その楽音が単音か、和音か、を区別する必要がある。そのため、くし形フィルタの遅延数を変化させ、その出力の自己相関関数を求める。もし、自己相関波形があまり変化しなければ単音、変化が見られれば和音と判断する。なお、くし形フィルタの出力波形の自己相関関数を求めて周期を測定するとき、周期が明確でない場合は、同様にくし形フィルタの遅延数を変化させて、その出力の自己相関関数を求める。【００１６】
次に、音響信号推定システムの基本動作について、図６のフローチャートを参照して説明する。まず、基本周波数の推定が困難な音響信号が、入力部１に入力される（Ｓ１）。そして、入力された音響信号が、くし形フィルタシステム部２に受け渡され、くし形フィルタによるフィルタリングが実行される（Ｓ２）。くし形フィルタ回路は、信号周波数成分に対して適切に設計される。例えば、楽音に対しては、対象とする音高の最低基本周波数に対応させる。そして、このくし形フィルタは、対象とする周波数成分を消去するとともに、周波数成分の基本周波数の僅かな差から生じる信号成分を出力する。次いで、自己相関関数処理部３では、くし形フィルタシステム部２の出力の自己相関関数（Ｒ１）が計算され、出力信号の周期が求められる（Ｓ３）。【００１７】
そして、音響信号判別部４では、自己相関関数処理部３で求められた自己相関関数の周期から、音響信号の和音の種類が判別される（Ｓ４）。さらに、その自己相関関数の周期と、くし形フィルタの対象とする周期とが一致しているか否かが判断される（Ｓ５）。一致していると判断された場合（Ｓ５：ＹＥＳ）、その楽音が単音か和音かをさらに区別する必要がある。そこで、くし形フィルタの遅延数を変化させながら、フィルタリングが実行され（Ｓ６）、そのフィルタリングの出力の自己相関関数（Ｒ２）が求められる（Ｓ７）。そして、自己相関関数Ｒ１の波形と、自己相関関数Ｒ２の波形とがあまり変化しなければ単音と判別され、変化が見られれば和音と判別される（Ｓ８）。そして、その判別結果が、出力部５によりシステム出力として処理される（Ｓ９）。【００１８】
一方、自己相関関数の周期と、くし形フィルタの対象とする周期とが一致していないと判断された場合（Ｓ５：ＮＯ）、その和音は、オクターブの和音であるか、またはｋ倍音の和音であるので、その判別結果を、出力部５によりシステム出力として処理する（Ｓ９）。なお、くし形フィルタの出力波形の自己相関関数を求めて周期を測定する際に、周期が明確でない場合は、同様にくし形フィルタの遅延数を変化させて、その出力の自己相関関数を求めればよい。
【実施例】
【００１９】
次に、本発明の実施例として、２和音からなる音高推定困難和音のユニゾン（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｃ４）、オクターブ（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｃ５）、３倍音（ｃｌａｒｉｎｅｔ  Ｃ４＋ａｌｔ−ｓａｘ  Ｇ５）を取り上げて説明する。これらに使用した楽音データは、実音をサンプリング周波数ｆｓ＝４４．１ｋＨｚでサンプリングして得られたＲＷＣ（Ｒｅａｌ  Ｗｏｒｌｄ  Ｃｏｍｐｕｔｉｎｇ  ｐａｒｔｎｅｒｓｈｉｐ  ｉｎ  Ｊａｐａｎ）ミュージックデータベース（「Ｍ．  Ｇｏｔｏ，“Ｄｅｖｅｌｏｐｍｅｎｔ  ｏｆ  ｔｈｅ  ＲＷＣ  ｍｕｓｉｃ  ｄａｔａｂａｓｅ，”Ｐｒｏｃ．  ｏｆ  ＩＣＡ２００４，ｐｐ．Ｉ−５５３−５５６，２００４」を参照）から得たものである。【００２０】
図７から図１０は、対象とした４つの楽音の時間波形をそれぞれ示す。４つの図ではともに、横軸は時間を、縦軸は振幅を示している。なお、Ｃ４（オクターブ４のＣ音）の基本周波数は、ｆｐ＝２６１．６２Ｈｚである。使用したデータは楽音の開始点から４５ｍｓ付近（サンプル数ｎ＝２０００）のデータである。また、テンポ２４０での１６分音符の継続時間は６２ｍｓである。【００２１】
これらの楽音の最低音高（つまりＣ４）は、図４に示した並列構成くし形フィルタの最小出力として検出される。そのくし形フィルタの遅延数Ｎｐは、Ｎｐ＝［ｆｓ／ｆｐ］＝［４４１００／２６１．６２］＝［１６８．５６・・・］＝１６９としている。一般に近似値は、推定処理に関してその精度に影響を与えるが、本発明では、ここでの近似値は、推定精度に影響しない。【００２２】
図１１から図１４は、図７から図１０の楽音をくし形フィルタ（Ｎｐ＝１６９）に通したときの出力の時間波形をそれぞれ示している。４つの図では、横軸と縦軸はそれぞれ、時間と振幅である。【００２３】
図１５から図２０には、図１１から図１４のサンプル数２０００（約４５ｍｓ）からのデータを使用して、下記の数式（数１）の自己相関関数を求めた結果をそれぞれ示す。５つの図ともに、遅延数（横軸）に対する自己相関関数値（縦軸）として表している。ｘ（ｎ）は楽音のサンプルデータを表す。Ｎｐは、ほぼ音高Ｃ４の基本周期に対応するサンプル数であるが、ｋの最大値をＮｐ＋αとすることで、より正確な周期を求めることができる。【００２４】
【数１】
2008001779.tif 000003
【００２５】
図１５と図１６からは、サンプル数でそれぞれ周期１６８、１６９が測定される。そのため、図７と図８は単音（Ｃ４）かユニゾン（Ｃ４＋Ｃ４）であることがわかる。一方、図１７と図１８からは、それぞれ周期８５（１６９／２を小数点以下四捨五入した値）、５６（１６９／３を小数点以下四捨五入した値）が検出され、図９の入力はオクターブ（Ｃ４＋Ｃ５）、図１０の入力は３倍音（Ｃ４＋Ｇ５）であることがわかる。【００２６】
次に、図７と図８が単音かユニゾンかを区別するため、図１５と図１６で測定された周期に対応するくし形フィルタに各楽音を通して、再度そのくし形フィルタの出力の自己相関関数を求める。その結果が図１９と図２０である。図１９は、ほぼ図１５の自己相関関数と同じであり、図７は単音と判断される。一方、図２０の自己相関関数は、図１６のものとは異なり、図８はユニゾンであると判断される。もし、図１５と図１６での周期が最初に設定したくし形フィルタの遅延数（Ｎｐ＝１６９）と同じ場合は、そこから−１サンプルまたは＋１サンプルずらした遅延数Ｎｐ＝１６８、１７０のくし形フィルタを通す。【００２７】
以上、本開示の手段は、基本周波数成分が分離できない合成信号を対象として、くし形フィルタでは除去されない調波成分と自己相関関数を利用することに、「並列構成くし形フィルタの出力値に注目した採譜のための音高推定法」（森田健夫、山口満、田所嘉昭  信学論、Ｖｏｌ．Ｊ８７−Ｄ−ＩＩ、Ｎｏ．１２、ｐｐ．２２７１−２２７９、２００４）に記載された手段に対する進歩性がある。【００２８】
そして、本発明により、従来、困難とされてきた協和音の各音高を推定できるようになる。とくに、基本周波数がほぼ等しい複数の楽音からなる和音や、一定の比率の関係にある基本周波数成分を有する楽音から形成される和音を処理できるようになる。また、少ないサンプル数でも周波数分解能を高くできるので、高品質の音響信号処理を行うことができる。さらに、本発明は、楽音だけでなく、声音などを含めた音響信号への適用も可能である。【００２９】
したがって、複数楽器や歌唱による和音の実用的な採譜システムが初めて構築できるようになる。また、楽音について実時間での認識ができるため、自動演奏楽器などの演奏応答システムが相手の演奏の理解に基づいて同時演奏を行うことや、音響信号コンテンツを複数の利用者間でお互いに適宜、利用できるようになる。【００３０】
さらに、個人認証システムのために、音響信号を自由に組み合わせて利用することができるようになる。【００３１】
次に、単音か和音かを区別する有効な方法として、楽音の位相情報に基づく方法について説明する。この方法は、［００１７］、［００１８］に記述された単音か和音かを区別する方法の結果の正しさを裏付けることが出来る。つまり、音響信号判別部４における処理の正しさを再確認することができる。この方法では、入力楽音のＤＦＴを計算し、各周波数成分の位相を求める。このＤＦＴは、最低基本周波数の１周期を基本にして計算される。そして、このＤＦＴの計算を時間をシフトさせながら行い、各周波数成分の位相と基本周波数の位相との位相差を時間に対してプロットする。その位相差が時間に対してほぼ一定なら単音と判断でき、変化するなら和音と判断できる。この位相差の時間変化は、重なる周波数成分間にわずかな周波数差があるために生ずる。【００３２】
なお、打弦楽器（ピアノ、ギターなど）では、単音でもその位相差が変化する。しかし、その位相変化は高い周波数成分ほど大きくなるという規則性がある。このため、これらの楽器では位相変化の規則性が保持されているか否かを判断することで、単音か和音かを区別できる。【００３３】
次に、ＤＦＴの位相情報を利用した音響信号推定システムについて、図面を参照して説明する。図２１に示すように、この音響信号判別システムは、音響信号を入力する入力部１１、音響信号のＤＦＴを計算するＤＦＴ計算部１２、ＤＦＴの計算結果から位相を計算する位相計算部１３、基本周波数とその倍音周波数成分の位相差を計算し、時間に対してプロットする時間・位相計算部１４、位相差の時間変化から重畳周波数成分を判断し、音響信号の種類を判別する音響信号判別部１５、音響信号の判別結果を出力する出力部１６からなる。【００３４】
次に、ＤＦＴの位相情報を利用した音響信号推定システムの基本動作について、図２２のフローチャートを参照して説明する。まず、基本周波数の推定が困難な音響信号が、入力部１１に入力される（Ｓ１１）。そして、入力された音響信号が、ＤＦＴ計算部１２に受け渡される。このＤＦＴ計算部１２では、入力された音響信号の最低基本周波数を基本成分としたＤＦＴが計算される（Ｓ１２）。【００３５】
次いで、位相計算部１３では、ＤＦＴ係数の実数部と虚数部との比から各周波数成分の位相が計算される（Ｓ１３）。そして、時間・位相計算部１４では、ＤＦＴの基本周波数の位相と、その倍音周波数成分の位相との位相差が求められる（Ｓ１４）。さらに、時間に対する位相変化がプロットされる（Ｓ１５）。次いで、音響信号判別部１５では、時間に対する位相差の変化から重畳している周波数成分の判別が可能か否かが判断される（Ｓ１６）。ここで、判別ができない場合（Ｓ１６：ＮＯ）、ＤＦＴ計算の範囲がシフトされ（Ｓ１７）、Ｓ１２に戻って、音響信号のＤＦＴが再度計算される。【００３６】
一方、重畳している周波数成分の判別が可能である場合（Ｓ１６：ＹＥＳ）、音響信号の種類が判別される（Ｓ１８）。この判別結果は、出力部１６によりシステム出力として処理される（Ｓ１９）。【００３７】
図２３から図２６は、対象とした４つの楽音の基本周波数成分とその倍音周波数成分の位相間の位相差を時間に対してプロットしたものである。図２３では、各周波数成分の位相はほぼ一定であり、この楽音は単音であると判別される。一方、図２４から図２６では、いずれかの周波数成分の位相が時間に対して変化しており、これらの楽音は和音であると判別される。これらの位相変化は、重畳している周波数成分間に周波数差があるために生じる。図２４では、すべての周波数成分が変化しており、この和音はユニゾンであることがわかる。図２５では、偶数番目の周波数成分の位相が変化しており、この楽音はオクターブ音であることがわかる。さらに、図２６では、３倍音の周波数成分の位相が変化しており、この楽音は３倍音であることがわかる。【００３８】
以上より、従来未解決であった音高推定が困難な和音の音高を推定することができる。なお、前述した実施例は、楽音に対するものであるが、分離できない基本周波数から合成される音響信号について同様に基本周波数を推定し、それを分離することが可能であることは自明である。【００３９】
なお、本発明は上記実施形態に限定されず、種々の変更が可能である。例えば、上記実施形態では、音響信号推定システムを各処理部からなる装置として説明したが、くし形フィルタシステム部２、自己相関関数処理部３、音響信号判別部４で実行される処理を、コンピュータのＣＰＵを利用してソフト的に実行するようにしてもよい。なお、ＤＦＴの位相情報を利用した音響信号推定システムについても同様に、ＤＦＴ計算部１２、位相計算部１３、時間・位相計算部１４、音響信号判別部１５で実行される処理を、コンピュータのＣＰＵを利用してソフト的に実行するようにしてもよい。
【産業上の利用可能性】
【００４０】
音楽配信ビジネス、例えば通信カラオケ、携帯電話やＰＨＳの着信メロディ等では、楽曲を検索するために新曲を少しでも早く楽譜にすることが必要である。よって、これを人手ではなく、計算機による自動採譜システムで行うことが熱望されている。本発明により自動採譜システムとしてこれまで推定困難とされてきた和音の音高推定が可能になり、本格的な採譜システムを実現できる。【００４１】
したがって、本発明は、民族音楽や即興演奏の記録、作曲作業および音楽教育などの広範囲な用途で、効率性や能率性を高めるために利用できる。【００４２】
また、特開２００１−３１８８９４号公報に示されているような携帯電話の音源を利用した個人認証システムでは、音高推定の精度により秘話性に関する性能が決定されるが、本発明による本格的な音響信号推定システムは、技術的仕様の制約が大きい機器に対しても、高精度な推定技術として適用可能である。
【図１】
2008001779.tif 000004
【図２】
2008001779.tif 000005
【図３】
2008001779.tif 000006
【図４】
2008001779.tif 000007
【図５】
2008001779.tif 000008
【図６】
2008001779.tif 000009
【図７】
2008001779.tif 000010
【図８】
2008001779.tif 000011
【図９】
2008001779.tif 000012
【図１０】
2008001779.tif 000013
【図１１】
2008001779.tif 000014
【図１２】
2008001779.tif 000015
【図１３】
2008001779.tif 000016
【図１４】
2008001779.tif 000017
【図１５】
2008001779.tif 000018
【図１６】
2008001779.tif 000019
【図１７】
2008001779.tif 000020
【図１８】
2008001779.tif 000021
【図１９】
2008001779.tif 000022
【図２０】
2008001779.tif 000023
【図２１】
2008001779.tif 000024
【図２２】
2008001779.tif 000025
【図２３】
2008001779.tif 000026
【図２４】
2008001779.tif 000027
【図２５】
2008001779.tif 000028
【図２６】
2008001779.tif 000029
【手続補正書】
【提出日】平成19年11月19日(2007.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
基本周波数成分とその整数倍の周波数成分から成るような信号において、ある信号の基本周波数成分が他の信号の周波数成分と重なることにより、基本周波数の推定が困難であるような合成信号である協和音を対象とし、重なる周波数成分の間に存在する信号源や発生時刻の違いから生じる僅かな周波数差に着目して、対象とする合成信号の基本周波数を推定することを特徴とする基本周波数推定法。
【請求項２】
重なる周波数成分の僅かな周波数差をくし形フィルタによって検出し、自己相関関数により出力信号の周期を求め、自己相関関数の周期が明確でない場合でも、くし形フィルタの遅延数を変化させて、基本周波数を推定することを特徴とする請求項１に記載の基本周波数推定法。
【請求項３】
自己相関関数で検出された周期に対応するくし形フィルタに入力信号を通し、自己相関関数で検出された周期が最初の最低基本周波数の周期と一致し出力信号が得られない場合でも、くし形フィルタの遅延数を変化させて出力信号の自己相関関数を求め、出力信号の自己相関関数の波形の変化から、対象とする信号が単独信号であるか、または同一の基本周波数からなる合成信号か、または基本周波数が異なる合成信号かを判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項４】
対象とする信号が単独信号か合成信号かの区別をするために、入力信号の離散フーリエ変換を、測定時間をシフトさせながら計算し、基本周波数成分の位相とその倍音周波数成分の位相との位相差を求め、その位相差の時間変化から位相差がほぼ一定なら単独信号と、位相差が変化するなら合成信号と判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項５】
打弦楽器からの信号に対して、周波数成分に見られる位相差の時間変化の割合において規則性が保持されているかどうかで、単独信号か合成信号かを判別することを特徴とする請求項１に記載の基本周波数推定法。
【請求項６】
請求項１乃至５の何れかに記載の基本周波数推定法を用いる、基本周波数が推定困難な合成信号の１周期間の差分を計算するくし形フィルタを、存在し得る基本周波数に対応させて並列接続し、合成信号の最低基本周波数を、出力の最小値と自己相関関数から求めることができる音響信号推定システム。
【国際調査報告】
2008001779.tif 000030
2008001779.tif 000031
2008001779.tif 000032
2008001779.tif 000033