(57)【要約】【課題】  オクターブ違いや半音違い等、パワースペクトルが似ているピアノの演奏音も良好に判別できるようにする。【解決手段】  スペクトル作成部１２は、演奏指示に従って演奏されたピアノ演奏音のデジタルデータをＦＦＴ窓毎にＦＦＴ処理してパワースペクトルを計算する。スペクトル比較部１４は、前記アタックがあったと判定された以降に算出されたパワースペクトルが予め記憶されている音高毎のパワースペクトルのうち演奏指示に含まれる音高のものとの距離が近い否かを判断する。ＦＦＴ処理されたそのままの値がｌｏｇをとることなくパワースペクトルを示す値として使用される。さらに、スペクトル比較部１４では、和音数、残響、音域などを考慮したしきい値を使って判断が行われる。【選択図】        図１
2005234304.tif 000002
【特許請求の範囲】
【請求項１】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記ＦＦＴ手段による算出値をそのまま前記パワースペクトルとして使用することを特徴とする演奏音判定装置。
【請求項２】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記ＦＦＴ手段による算出値の高域側をカットして前記パワースペクトルとして使用することを特徴とする演奏音判定装置。
【請求項３】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記入力音がローパスフィルタを通じて入力されたものであることを特徴とする演奏音判定装置。
【請求項４】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、
前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段とを備え、
前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルとの一致を判定するように構成されていることを特徴とする演奏音判定装置。
【請求項５】
前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて広くさせる手段を備えたことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項６】
前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせる手段を具備したことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項７】
前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響が多いほど広くさせる手段を具備したことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項８】
前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記仮の判定を本判定とすることを特徴とする請求項１〜７のいずれかに記載の演奏音判定装置。
【請求項９】
前記ＦＦＴ手段の周波数分解能を、低音域で細かくすることを特徴とする請求項１〜８のいずれかに記載の演奏音判定装置。
【請求項１０】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記ＦＦＴ手段による算出値をそのまま前記パワースペクトルとして使用するプログラムを含む演奏音判定プログラム。
【請求項１１】
入力された音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記ＦＦＴ手段による算出値の高域側をカットして前記パワースペクトルとして使用するプログラムを含む演奏音判定プログラム。
【請求項１２】
入力された音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、
前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルとの一致を判定するプログラムを含む演奏音判定プログラム。
【請求項１３】
前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて広くさせる手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定プログラム。
【請求項１４】
前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせる手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定プログラム。
【請求項１５】
前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響が多いほど広くさせる手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定装置。
【請求項１６】
前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記仮の判定を本判定とするプログラムを含む請求項１０〜１５のいずれかに記載の演奏音判定プログラム。
【請求項１７】
前記ＦＦＴ手段の周波数分解能を、低音域で細かくするプログラムを含む請求項１０〜１６のいずれかに記載の演奏音判定装置。
【請求項１８】
請求項１０〜１７のいずれかに記載の演奏音判定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自然楽器の演奏音判定システムに関し、特に、演奏音判定のためのパワースペクトルの照合の精度を上げるのに好適な演奏音判定装置、演奏音判定プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
例えば、特公平２−７０５号公報に開示されているように、鍵盤楽器の演奏を独習するための押鍵指示手段を有する電子楽器が知られている。この電子楽器では、記憶された演奏情報が表示回路に順次読み出され、鍵盤の各鍵に対応して設けられた表示ランプがこの演奏情報に従って点灯される。演奏者による操作鍵はキースキャン回路で検出され、この操作鍵の音高が表示ランプで指示された演奏情報の音高と一致した場合に次の演奏情報が表示回路に読み出される。
【０００３】
しかし、このような押鍵指示手段は、キースキャン回路を備えた電子楽器では容易に実現できるが、キーススキャン回路を持たないアコースティックピアノのような自然楽器では実現が困難である。自然楽器にキースキャン回路を設けることが考えられるが、キースキャン回路に必要なキースイッチや表示ランプを鍵毎に後付けする作業が繁雑であり、手軽には行えない。
【０００４】
キースキャン回路を用いる代わりに、演奏による楽音の周波数分析により操作鍵を検出することが考えられる。例えば、特公平１−５１２００公報に記載された表示装置では、音声信号の周波数分析結果に基づいて判定された音声信号の音高を、ディスプレイ上の五線譜に音符として表示する。
【０００５】
しかし、ピアノ音のような倍音成分を多く含む楽音の音高検出では、押鍵の倍音成分つまり高調波成分によって音高を誤判断してしまったり、オクターブ間隔の二つの和音と該和音の下の単音との判別（例えば、Ｃ３とＣ４の和音とＣ３単音との判別）ができなかったりすることがある。これらは互いに倍音構成が似ているからである。
【０００６】
また、同時に複数の基音とその倍音を発生する楽器の演奏に対応したＭＩＤＩコードを生成する装置が提案されている（特許第２８９０８３１号公報）。この装置では、演奏楽音の波形データから基音に対応した周波数成分の波形データを抽出し、かつそのエンベロープデータを検出する手段を備える一方、楽器が発生する各基音毎にそのエンベロープ波形に対応して基音エンベロープデータを記憶している記憶手段を備え、検出されたエンベロープデータと記憶されている基音エンベロープデータとを相互相関によって比較し、楽器音を判定する。この装置では、構成が非常に複雑であって、特に、ソフトウェアでエンベロープデータの比較や楽器音の判定をリアルタイムで処理するのが困難である。
【０００７】
特許第２８０６０４７号公報には、シンセサイザで種々の音程で順次組合わせて作成した信号と入力信号とを比較して楽音から採譜する装置が提案されている。しかし、この装置では、和音も含めたすべての組み合わせの音と比較する必要があるので、計算時間が膨大になるという問題がある。
【特許文献１】特公平２−７０５号公報
【特許文献２】特公平１−５１２００公報
【特許文献３】特許第２８９０８３１号公報
【特許文献４】特許第２８０６０４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述のように、キースキャン手段を有していないアコースティックピアノでは、指示通りに押鍵できたかどうかの判定ができないし、マイクロフォンから入力された楽音から押鍵の正確さをリアルタイムで判定するのは容易ではないという問題点があった。
【０００９】
そこで、本出願人は、各音高のパワースペクトルを単音モデルとして記憶しておき、押鍵指示に従って演奏された音のパワースペクトルとこの単音モデルとを比較し、両者のパワースペクトルの距離が予定の範囲内の場合に押鍵指示を次に進める方法を提案した（特願２００３−１３４３７２号）。この方法は、演奏音からピッチ等のパラメータを検出するのと比較して計算が単純で、しかも、演奏しようとする楽器を実際に弾いて、その音に基づいてモデルを作成できるので、調律のずれ具合にかかわらず演奏音が正しいかどうかを判定することができる。
【００１０】
この方法では、演奏音のパワースペクトルと単音モデルとの比較において、単音モデル作成時および演奏時のそれぞれの音量に応じて演奏音のパワースペクトルと単音モデルを音量で正規化したあと、両パワースペクトルの距離を周波数成分毎に算出し、その合計値がしきい値以下であるか否かによって、両パワースペクトルが一致しているかどうかを判定する。
【００１１】
和音の場合は、比較時に各構成音の単音モデルを合成して和音モデルを作成し、この和音モデルと演奏音のパワースペクトルとに関して、単音の場合と同様に両パワースペクトルが一致しているかどうかの判定を行う。
【００１２】
しかし、和音に関して各構成音の単音モデル毎に音量で正規化し、その後に合成を行うようにすると、強く弾いても大きい音量が出ない高音側でパワースペクトルが強調されすぎた和音モデルになってしまう。その結果、高音側の音は極端に強く弾かないとパワースペクトルが和音モデルと一致しない。
【００１３】
また、アコースティックピアノでは、強く弾いた場合と、弱く弾いた場合とで倍音の出方が違ってくる。したがって、モデル作成時と演奏時との音量の違いだけでなく、打鍵の強さの違いによっても、パワースペクトルが一致しにくくなることが考えられる。
【００１４】
また、和音の演奏では、和音数が多くなるほど、各構成音の特徴が埋もれ、一部の構成音が違っていてもパワースペクトルが一致していると判定されてしまうことが考えられる。
【００１５】
また、音高によってパワースペクトルの量が異なり、高音の方が低音に比べてパワースペクトルの総量が少ない。したがって、低音に比べてパワースペクトルが一致しやすい。つまり正しく弾かれたかどうかの判定精度が低下するおそれがある。
【００１６】
さらに、パワースペクトルの一致を、モデルに対する演奏音のパワースペクトルの不足分の総和をしきい値と比較して判断する場合、オクターブの違いや、和音の構成音の一部の違いなどによってパワースペクトルが似通っている場合に、誤ってパワースペクトルが一致していると判断されることが考えられる。
【００１７】
またさらに、低音部は周波数分解能が低いので、半音差で隣り合っている音同士の違いを判定しにくく、誤ってパワースペクトルが一致していると判断されることが考えられる。
【００１８】
本発明は、上記課題に鑑み、ピアノ等、自然楽器が指示通りに弾けたかどうかを判定する際のパワースペクトルの照合精度をより向上させることができる自然楽器の演奏音判定システムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記の課題を解決し、目的を達成するための本発明は、入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、前記ＦＦＴ手段による算出値をそのまま前記パワースペクトルとして使用する点に第１の特徴がある。
【００２０】
また、本発明は、前記ＦＦＴ手段と、前記判定する判定手段とを備え、前記ＦＦＴ手段による算出値の高域側をカットして前記パワースペクトルとして使用する点に第２の特徴がある。
【００２１】
また、本発明は、前記ＦＦＴ手段と、前記判定手段とを備え、前記入力音がローパスフィルタを通じて入力される点に第３の特徴がある。
【００２２】
また、本発明は、前記ＦＦＴ手段と、前記判定手段と、前記パワースペクトルを所定の音量で正規化する正規化手段と、和音の各構成音に対応する単音モデルを合成する合成手段とを備え、前記押鍵指示が和音であった場合に、前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、前記第２合成手段で合成され、その後に前記正規化手段で正規化された単音モデルとの一致を判定するように構成されている点に第４の
特徴がある。
【００２３】
また、本発明は、前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて広くさせる手段を備えた点に第５の特徴がある。
【００２４】
また、本発明は、前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせる手段を具備した点に第６の特徴がある。
【００２５】
また、本発明は、前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響が多いほど広くさせる手段を具備した点に第７の特徴がある。
【００２６】
さらに、本発明は、前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、前記判定手段での一致判定結果を仮の判定とし、演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記仮の判定を本判定とする点に第８の特徴がある。
【００２７】
また、さらに、前記ＦＦＴ手段の周波数分解能を、低音域で細かくする点に第９の特徴がある。
【発明の効果】
【００２８】
第１の特徴によれば、ＦＦＴ手段の出力であるパワースペクトルがそのまま演奏音一致判定に使用される。例えば、アコースティックピアノは強く弾いたときと、弱く弾いたときとで倍音の出方が変わるが、ＦＦＴの出力値をそのまま使用すると、この倍音の出方の変化が少ない。したがって、弾き方の強弱によって判定が異なるのを防止できる。
【００２９】
同様に第２の特徴および第３の特徴によっても、高周波数側のパワースペクトルが除去されるので、弾き方の強弱による判定のばらつきを回避できる。
【００３０】
第４の特徴によれば、合成されたパワースペクトルに関して正規化がなされるので、強く弾いても大きい音量が得られない高音側のパワースペクトルが正規化によって極端に修正されるのを防止することができる。
【００３１】
第５の特徴によれば、押鍵指示通りに演奏することが容易ではない和音の演奏において、構成音数が多い場合に一致判定のためのしきい値が緩和される。
【００３２】
高音側で低音側よりパワースペクトルの総量が少ないために異なる音高でも同音高と判断されるおそれがあるが、第６の特徴によれば、パワースペクトルの総量によって一致判断のためのしきい値が設定されるので、音高による影響を改善することができる。
【００３３】
残響がある場合に入力音の音量と残響音の音量とが加算され、その値が正規化されるので、演奏音とモデルとが一致しにくいが、第７の特徴によれば、残響に応じてしきい値を設定できるので、残響の影響を排除することができる。
【００３４】
第８の特徴によれば、オクターブ違いなど、似た音であると判断されるおそれがある音であっても、予め設定してあるパワースペクトル特徴がない場合に、誤って同一音高であると判断されるのを回避することができる。
【００３５】
第９の特徴によれば、低音部で周波数分解能を細かくすることができるので、半音の違いのパワースペクトルの違いをより確実に判別することができる。
【発明を実施するための最良の形態】
【００３６】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明の演奏音判定装置の一実施形態に係るアコースティックピアノ（以下、特に電子ピアノと区別しない場合は、単に「ピアノ」と呼ぶ）のレッスンシステムのブロック構成図である。このレッスンシステムでは、予め準備された演奏情報に基づいてピアノの鍵もしくは音高の指示、および押鍵タイミングの指示を含む押鍵指示を表示し、演奏者はこの押鍵指示に従って順次演奏を進めていく。具体的処理は、モデル作成フェーズとレッスンフェーズとからなる。モデル作成フェーズでは、レッスンに先立ち、レッスンに使用するピアノの各鍵の発生音のパワースペクトルを単音モデルとして記憶する。そして、レッスンモードでは、押鍵指示のための表示を行うとともに（押鍵指示は、図１２に関して後述する）、押鍵指示に従って行われる演奏音のパワースペクトルと前記単音モデルとを比較し、両者のパワースペクトルが予定の距離内にあれば押鍵指示を先に進める。
【００３７】
図１に示すレッスンシステムは、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、音源装置４、スピーカ５、Ａ／Ｄ変換器６、入力装置（キーボードやマウス）７、および表示装置８を含むパーソナルコンピュータで要部を構成することができる。表示装置８としては液晶ディスプレイやブラウン管等、パーソナルコンピュータの処理結果を表示するための周知の表示手段を使用することができる。パーソナルコンピュータには外部記憶装置９が接続され、かつＡ／Ｄ変換器６を介してマイクロフォン１０が接続される。マイクロフォン１０はピアノＰの発生音を採取するために設けられるものであり、ピアノＰ内に配置されるのが望ましい。
【００３８】
ＣＰＵ１は、音量測定部１１、スペクトル作成部１２，アタック検出部１３、スペクトル比較部１４、および押鍵指示部１５を要部機能として備える。音量測定部１１は、マイクロフォン１０から入力された音のレベル（音量）を検出する。スペクトル作成部１２は、マイクロフォン９およびＡ／Ｄ変換器６を通じて入力されたデジタル楽音信号からパワースペクトルを得るＦＦＴ機能を有する。ＦＦＴによって得られたパワースペクトルはＲＡＭ３に記憶される。アタック検出部１３は、検出されたパワースペクトルに基づいてアタックを検出する。スペクトル比較部１４はモデル作成フェーズおよびレッスンフェーズにおいてスペクトル作成部１２でそれぞれ作成されたパワースペクトルの距離を比較して演奏が押鍵指示通り行われたかどうかを判断する。押鍵指示部１５は、演奏情報に従って表示装置８への押鍵指示表示のための表示データを作成する。表示データは入力装置７から入力される演奏開始指示に応答して作成され表示装置８に入力される。
【００３９】
図２は、レッスンで表示装置８に押鍵指示を表示したり伴奏をしたりするのに使用される演奏情報のフォーマット例である。演奏情報には、少なくともイベントデータ、およびイベントデータの読み出しタイミングを指示するタイミングデータとが記憶されている。イベントデータはノートナンバを含むノートオンデータおよびノートオフデータからなる。タイミングデータは、例えば、一つのイベント終了から次のイベント発生までの時間情報として設定される。イベントデータとタイミングデータは、図示のように、アドレス進行に従って記憶される。この演奏情報は、ＲＡＭ３もしくは外部記憶装置９に記憶しておくことができる。
【００４０】
図３は、モデル作成フェーズに関するＣＰＵ１の処理を示すフローチャートである。ステップＳ１では、曲の選択を促す画面を表示装置８に表示する。選曲されたならば（ステップＳ２肯定）、ステップＳ３に進んで、選ばれた曲の演奏情報を走査してその曲の音域を検出する。この音域で単音モデルを作成するためである。単音モデル作成する音域は、選曲に従って行うのでなくてもよい。例えば、演奏者が直接音域を入力してもよいし、選曲に代えて技量のレベルを選択できるように画面表示してもよい（図９に関して後述）。また、演奏者が直接音域を入力する際の参考となるように選曲された曲の音域を表示してもよい（図１０に関して後述）。
【００４１】
ステップＳ４では、収録する単音モデルの音高を決定する。最初は上記音域中の最低音を収録音高として決定する。ステップＳ５では、単音モデル収録用の押鍵指示（レッスンフェーズでの押鍵指示と区別して、「モデル押鍵指示」という）として表示装置８に収録音高を表示する（図１１に関して後述する）。モデル押鍵指示は、表示装置８によらず音源装置４を使って音高に対応した楽音データを作成し、スピーカ５で発音させるようにしてもよい。また、発音による指示は表示装置８による表示と併せて行ってもよい。
【００４２】
ステップＳ６では、音量測定部１１での音量測定を開始する。音量測定は離鍵指示まで継続される。ステップＳ７で音量がアタック検出のためのしきい値を超えているか否かが判断され、この判断が肯定ならばアタックを検出したとしてステップＳ８に進む。ステップＳ８では、ＦＦＴによりパワースペクトルを計算し、このパワースペクトルおよびパワースペクトル計算時の音量をＲＡＭ３に一時的に保存する。
【００４３】
ステップＳ９では、表示装置８に離鍵を促す指示をする。離鍵指示は表示装置１１での表示またはスピーカ５による音もしくは音声の指示であってもよい。ステップＳ１０では、音量が無音検出のためのしきい値以下になったかどうかをを判断する。音量がこのしきい値以下になれば実質的に無音と判断され、ステップＳ１１に進む。
【００４４】
ステップＳ１１では、モデル押鍵指示から離鍵指示までの音量の最大値が許容範囲に入っているかどうかが判断される。最大音量が許容範囲にない場合は、極端に強くまたは極端に弱く弾かれたためと判断され、単音モデルとして適当でないので、再度押鍵を要求するためにステップＳ５に進む。アタックを検出したとみなしたときの音量から判断するのではなく、測定した音量の最大値によって押鍵強さが適当であるかどうかを判断するのは、アタック時点で音量が最大になるとは限らず、通常はアタック検出後に音量は最大値となるからである。なお、押鍵強さは、音量によって判断するのに代えて振幅の最大値によって判断してもよい。
【００４５】
正しく押鍵されたと判断されたならば、ステップＳ１２に進み、ステップＳ８で一時的に保存したパワースペクトルおよび音量をこの音高の単音モデルとして対応づけてＲＡＭ３もしくは外部記憶装置９に記憶する。
【００４６】
ステップＳ１１が否定の場合は、押鍵強さを変えて弾くようにメッセージを表示してからステップＳ５に進むようにしてもよい。例えば、許容範囲に対して音量が大きいときは「もっと弱く弾いてください」と表示し、許容範囲に対して音量が小さいときは「もっと強く弾いてください」と表示する。
【００４７】
ステップＳ１３では、ステップＳ３で決定された音域の最終音（最高音）の単音モデルを作成したかどうかを判断し、最終音の単音モデルを作成したのでなければ、ステップＳ１４で、音高を１段階高くした後、ステップＳ５に進む。ステップＳ１４では、音高を音階に従って直上の音高に上げるのではなく、白鍵および黒鍵について、それぞれ個別に連続して押鍵できるように音高を上げていくのがよい。音階に従って順に音高を上げていくと白鍵と黒鍵を交互に弾く場合が生じ、モデル押鍵指示と対応しない鍵を弾く誤りが起こりやすいからである。
【００４８】
最終音まで単音モデルを作成したならば、ステップＳ１３は肯定となって、このモデル作成フェーズの処理を終了する。
【００４９】
図４は、レッスンフェーズに関するＣＰＵ１の処理を示すフローチャートである。ステップＳ２１では、ステップＳ１２で記憶した単音モデルを読み込む。ここでは最新に記憶された単音モデル、もしくは前回のレッスンで使用した単音モデルを自動的に読み込んでもよいし、記憶されている単音モデルを表示装置８に表示して演奏者が選択したものを読み込んでもよい。ステップＳ２２では、レッスンする曲の選択を促す画面を表示装置８に表示する。この画面は、ＲＡＭ３もしくは外部記憶装置９に予め記憶されているレッスン曲データに基づいて曲の一覧表として作成される。記憶されているレッスン曲のうち演奏者の技量レベルに応じた曲のみを表示するようにしてもよい。
【００５０】
ステップＳ２３では、レッスン曲が選ばれたかどうかが判断され、レッスンする曲が選曲されたならば（ステップＳ２３肯定）、ステップＳ２４に進んで、選ばれた曲の演奏情報をＲＡＭ３もしくは外部記憶装置９から読み出す。
【００５１】
ステップＳ２５では、選ばれた曲の演奏情報中のすべての音の高さが、選択された単音モデルの音域内に含まれているかどうかを判断する。この判断が肯定ならば、ステップＳ２６に進むが、否定であれば、改めて選曲を促すためにステップＳ２２に戻る。なお、選曲に戻ってもよいし、単音モデルの選択をやり直すようにしてもよい。
【００５２】
ステップＳ２６では、選ばれたレッスン曲の最初の楽音の音高を、変数としてＲＡＭ３にセットする。そして、ステップＳ２７ではこの音高に対応する鍵を弾くことができるように指示（押鍵指示）を行う。押鍵指示は、詳細を後述するように表示装置８に鍵盤もしくは楽譜を表示することによって行う。ステップＳ２８では、単音モデルのうちから押鍵指示の音高に対応するものを読み出す。
【００５３】
ステップＳ２９では、スペクトル作成部１２の機能により、マイクロフォン１０からの入力音のパワースペクトルを算出する。ステップＳ３０では、アタックが既に検出されているか否かを判断する。通常アタックが検出されるのは、音が立ち上がる瞬間のみであり、必ずしも再びアタック検出時のパワースペクトルと単音モデルとが一致するとは限らない。したがって、アタックが一度検出された後、同じ楽音が発生されている間は、このステップＳ３０の判断によって２度目以降のアタック検出を回避する。最初はこのステップＳ３０の判断は否定であり、２度目以降に判断が肯定となり、ステップＳ３１に進んでアタック検出を行う。アタック検出はパワースペクトルのパワー増加分が予定量を超えたか否かによって判断する。アタックが検出されたならばステップＳ３２が肯定となり、ステップＳ３３でアタック検出フラグをセットしてステップＳ３４に進む。
【００５４】
ステップＳ３４では、スペクトル比較部１４の機能により、ステップＳ２９で計算されたパワースペクトルと単音モデルとが一致しているかどうかを判断する。この判断は、単音モデルのパワースペクトルとステップＳ２９で計算されたパワースペクトルとの距離の合計によって行う。つまり各周波数成分毎に互いの距離を算出し、その合計がしきい値を超えているか否かによって両スペクトルが一致しているか否かを判断する。両パワースペクトルの単純比較でもよいし、互いの音量の違いに応じて正規化つまり重み付けしたパワースペクトル同士の比較であってもよい。また、ユークリッド距離を使用するのがよい。ユークリッド距離によれば、二つの値の差が２乗されて、その結果、該差が強調され、二つの値の一致の判別が容易だからである。
【００５５】
演奏音が和音の場合は、後述する方法によって和音モデルを作成し、ステップＳ３４では、この和音モデルと演奏音のパワースペクトルとの比較を行う。
【００５６】
なお、パワースペクトルの比較に際して、スペクトル作成部１２から入力されるパワースペクトルのレベルが、単音モデルのパワースペクトルのレベルに対してどれだけ不足しているかを各周波数成分毎に算出し、その不足分の合計を算出するようにしてもよい。ピアノ等、残響が多く残る楽器には、この方が好都合である。
【００５７】
両パワースペクトルが一致していない場合は、ステップＳ２９に戻る。両パワースペクトルが一致していた場合はステップＳ３５に進んでアタック検出フラグをリセットする。
【００５８】
ステップＳ３６では、演奏情報の最後の楽音について単音モデルとの一致が終了したか否かが判断される。最後の楽音についての単音モデルとの比較処理が終了していない場合は、ステップＳ３７において、演奏情報の次の楽音データの音高を、変数としてＲＡＭ３にセットし、ステップＳ２７に進む。
【００５９】
最後の楽音についての前記比較処理が終了した場合は、ステップＳ３８に進んでもう一度同じ曲についてレッスンを行うかどうかを演奏者に選択させる表示をしたり、ステップＳ３９に進んで別の曲のレッスンを行うかどうかを演奏者に選択させる表示をしたりする。
【００６０】
ステップＳ３８が肯定の場合はステップＳ２６に進むし、ステップＳ３９が肯定ならばステップＳ２２に進む。ステップＳ３６およびステップＳ３９が否定ならば、レッスンフェーズを終了する。
【００６１】
図５は、前記スペクトル比較部１４の処理（ステップＳ３４）の詳細なフローチャートである。図５において、ステップＳ４１では、演奏情報に基づいて演奏音が和音か否かを判断する。和音の場合は和音モデルを作成する。まず、ステップＳ４２で単音モデルを合成して和音モデルを作成する。ステップＳ４３では、モデルを音量で正規化する。和音の場合は和音モデルを正規化する。正規化は、モデルと演奏音との音量の違いによる影響を排除するためモデル作成時の音量と演奏音の音量とを同じにするものである。例えば、演奏情報のベロシティ値から弾くべき音量を決定し、この音量にモデルおよび演奏音の音量が揃うようにパワースペクトルを重み付けする。和音の場合は各構成音の音量の総和によって正規化する。演奏音が和音でない場合は、ステップＳ４１からステップＳ４２をスキップしてステップＳ４３に進む。
【００６２】
ステップＳ４４では、演奏音のパワースペクトルを正規化する。ステップＳ４５では、モデルと演奏音のパワースペクトルとの距離を算出する。ステップＳ４６では、パワースペクトルの一致を判断するためのしきい値を決定する。しきい値の決定方法は後述する。
【００６３】
ステップＳ４７では、ステップＳ４５で決定したしきい値とステップＳ４５で算出された距離とを比較する。距離がしきい値以下であれば、演奏音のパワースペクトルとモデルとが一致したと判断される。また、距離がしきい値以上の場合は演奏音のパワースペクトルとモデルとが不一致と判断される。
【００６４】
ステップＳ４７で、距離がしきい値以下であると判断された場合に、さらに演奏音のパワースペクトルにその演奏音にあるべき特徴の有無によって演奏音と押鍵指示とが一致しているか否かを最終的に決定してもよい（ステップＳ４８）。演奏音にあるべき特徴に関してはさらに後述する。
【００６５】
和音の比較において、単音モデルを合成して作成された和音モデルを正規化することによって、次の効果が期待できる。各構成音の単音モデルをそれぞれ音量で正規化してから合成すると、高音側の、強く弾いても大きい音量が得られない音域では、パワースペクトルが強調されすぎた和音モデルになるおそれがある。しかし、合成されたパワースペクトルに対して正規化するとこの不具合が解消される。
【００６６】
図６は、レッスンフェーズで入力音が和音であるときのパワースペクトル比較のためのＣＰＵ１の機能を示すブロック図である。和音の比較は、単音モデルを合成してその後作成された和音モデルと演奏和音のパワースペクトルとで行う。押鍵指示部１５からの押鍵指示に従ってモデル記憶部（例えばＲＡＭ３内に設けられる）１６の単音モデルが合成部１７に読み出されて合成される。合成された単音モデルつまり和音モデルは、正規化部１８で音量によって正規化され、スペクトル比較部１４に入力される。
【００６７】
一方、マイクロフォン１０から入力されＡ／Ｄ変換器６でデジタルデータに変換された演奏音はスペクトル作成部１２に入力されてパワースペクトルが算出される。算出されたパワースペクトルは、スペクトル比較部１４に入力されて前記和音モデルと比較される。比較により、パワースペクトルが一致した場合は、押鍵指示部１５にその結果が通知され、押鍵指示が進められる。なお、単音モデルの合成後に正規化を行うようにしている場合、単音モデルは、ほぼ同一の強さで打鍵されて作成されているのが望ましい。
【００６８】
次に、ピアノＰを強く弾いた場合と弱く弾いた場合のパワースペクトルの違いの影響を排除する手法を説明する。ピアノＰを強く弾いた場合と弱く弾いた場合の倍音の違いの影響を低減してパワースペクトルの一致の判断を確実にする手法を説明する。図７Ａはノートナンバ「６０」の鍵を強めに弾いたときのアタック時のパワースペクトルの例を示し、図７Ｂはノートナンバ「６０」の鍵を弱めに弾いたときのアタック時のパワースペクトルの例である。この図７Ａ，図７Ｂの例は音量で正規化した値であり、ＦＦＴ処理後のｌｏｇ値である。このように、同じ鍵を弾いても打鍵の強さによって倍音の出方に違いがあるのがわかる。この両者を比較した場合、互いの距離が大きいので両者は不一致と判断されるおそれがある。
【００６９】
このパワースペクトルは、上述のようにｌｏｇ値である。一方、ＦＦＴ処理後の値をそのまま（ｌｏｇをとらない値で）パワースペクトルとして示すと、図８Ａ，図８Ｂのようになる。図８Ａ，図８Ｂに示すように、音域毎のパワーの違いが強調され、高音側つまり倍音側のパワースペクトルがカットされているのが分かる。
【００７０】
したがって、モデル作成フェーズおよびレッスンフェーズにおいて、パワースペクトルを作成する際にＦＦＴ処理で算出された値を、ｌｏｇをとらずにそのままパワースペクトルのモデルとして採用する。
【００７１】
図９は、ｌｏｇをとらない値をモデルとした場合の演奏音判定のためのＣＰＵ１の要部機能を示す図である。モデル作成フェーズでは、フェーズ切替部１９がモデル記憶部１６側に切り替えられる。スペクトル作成部１２は、マイクロフォン１０から入力されてＡ／Ｄ変換器６でＡ／Ｄ変換された楽音のデジタルデータのパワースペクトルを算出する。その計算結果は音高とともに、ｌｏｇをとらない値のままモデル記憶部１６に直接入力されて入力データのパワースペクトルとして保存される。レッスンフェーズでは、フェーズ切替部１９がスペクトル比較部１４側に切り替えられ、スペクトル作成部１２は入力データをＦＦＴ処理する。そして、その計算結果は音高とともに、ｌｏｇをとらない値のままパワースペクトルとしてスペクトル比較部１４に直接入力される。そして、スペクトル比較部１４には、同様に、ｌｏｇをとらない値としてモデル記憶部１６に保存されているパワースペクトルが読み出されて両パワースペクトルが比較される。
【００７２】
なお、ＦＦＴ処理後の値をｌｏｇをとらずに直接使用するのに代えて、ＦＦＴ処理後の値のｌｏｇをとったものを使用して、このｌｏｇをとった値であるパワースペクトルの高域側をカットして使用するようにしてもよい。また、演奏音波形を、ローパスフィルタを通して取り込むようにしてもよい。
【００７３】
次に、スペクトル比較部１４で使用される距離のしきい値の決定方法を説明する。和音の場合、和音数が多いほど各構成音の特徴が埋もれてしまい、一部の構成音が押鍵指示と違っていても和音全体としては距離が一致することがある。そこで、しきい値を固定するのではなく、和音数に応じてしきい値を変化させる。つまり、和音数が多いほど小さいしきい値を使用してパワースペクトルの一致判断基準を厳しくする。しきい値は演奏情報から和音数を判断して自動的にしきい値を選択してもよいが、演奏者が予め曲に応じて選択してもよい。
【００７４】
また、音高によってさらにしきい値を変化させることができる。高音側では低音側に比べてパワースペクトルのパワーの総量が少ないので、比較されるパワースペクトル同士の距離が小さくなり、一致と判断されやすくなるためである。上記和音数に対応するしきい値が、例えば、ノートナンバ６０に対して使用されるのを前提にすると、音高毎のしきい値は次式で求められる。
【００７５】
Ｔ＝Ｔｓ&times;ΣＰｉ（ｉ＝１〜Ｎ）／Σ（Ｐｓ）ｉ（ｉ＝１〜Ｎ）…式１。この式１において、符号Ｔは和音モデルの音高に対応するしきい値、Ｔｓは和音数に対応するしきい値、Ｐは和音モデルのパワースペクトル、Ｐｓはノートナンバ６０の単音モデルのパワースペクトル、ＮはＦＦＴのポイントの数である。
【００７６】
この式１を使用して、ノートナンバ６０のパワースペクトル量の総和に対するしきい値がＴｓのときの、和音モデルのパワースペクトル量の総和に対するしきい値Ｔが求められる。
【００７７】
残響を考慮して前記しきい値Ｔを甘くしてもよい。残響は前回のアタックと今回のアタックとの時間差によって推測することができる。アタックの時間差Ｆａがしきい値を修正するかどうかの判断の基準時間ＦＡ以下のときには、しきい値Ｔは次式２によって修正されたしきい値Ｔａとすることができる。
【００７８】
Ｔａ＝（１＋（ＦＡ−Ｆａ）&times;ｅ／ＦＡ）&times;Ｔ…式２。この式２において、ｅは係数である。本発明者等の実験によれば、時間ＦＡを２００ｍ秒、ｅを３にすると、良好な比較結果が得られた。前記時間Ｆａが時間ＦＡを超えたときは、残響による影響はないので、しきい値Ｔはそのまま修正しないで使用する。
【００７９】
この式２から理解できるように、アタックの時間差が小さいほどしきい値Ｔａは大きくなる。つまりパワースペクトルが一致したかどうかの判断基準が甘くなる。
【００８０】
なお、アタックは一度しか検出しないということを先に説明しているが、アタックの時間差でしきい値を修正する手法をとる場合には、発生したアタックをそのつど検出するようにする。
【００８１】
残響の程度は、アタックの時間差によって推測するのに限らない。例えば、演奏情報に基づいて各楽音の発生タイミングから各楽音の時間差を検出し、この時間差をアタックの時間差に代えて式２にあてはめればよい。また、アタック直前の音量から残響の大きさを判断するようにしてもよい。さらに、演奏情報からダンパーペダルが踏まれていると判断されたときは残響は大きいと判断できるので、しきい値は大きくしてもよい。
【００８２】
上述のような各手法によって、残響が小さいと判断された場合に距離のしきい値を小さくしてパワースペクトルが一致したかどうかの判断基準を厳しくし、残響が大きいと判断された場合は距離のしきい値を大きくしてパワースペクトルが一致したかどうかの判断基準を甘くすることができる。
【００８３】
パワースペクトルの総量によるしきい値の修正と、残響によるしきい値の修正の双方で、和音数に対応して決定されたしきい値を修正してもよいし、いずれか一方で修正してもよい。
【００８４】
次に、演奏音にあるべき特徴に関して説明する。オクターブの違いや和音の一部の構成音の違いだけでは、互いに異なる楽音のパワースペクトルから楽音を判断できないことがある。そこで、パワースペクトルの比較に加えて演奏音にあるべき特徴の有無を判断するようにした（図５ステップＳ４８）。演奏音にあるべき特徴の例としては、例えば、パワースペクトルの位置（周波数）である。単音ならば、最も大きいパワースペクトルの位置が特徴となる。和音では、構成音同士の単音モデルを互いに比較して、その単音にしかないピークの中で最大のピークの位置が特徴である。特徴はピークに限らない。また、各単音の特徴は複数であってもよい。この場合、すべての特徴が見つからなくても、いくつか見つかれば、演奏音が押鍵指示と一致していると判断してもよい。
【００８５】
次に、低音部での半音違いを判断する方法を説明する。低音部は周波数分解能が粗いので、半音違いの音は判別しにくいし、パワースペクトルも似ているため、誤って一致と判断するおそれがある。この誤判断を回避するために、音域によって低音部ではＦＦＴポイント数を増やすか、ポイントの数は維持してサンプリング周波数を下げる。これによって低音部の周波数分解能を細かくする。この方法はＦＦＴポイント数やサンプリング周波数の異なるパワースペクトル同士を比較することはできないので、モデル作成時にＦＦＴポイント数またはサンプリング周波数を変えて複数のモデルを作成しておく。
【００８６】
図１０は、技量レベルに応じた音域を表示画面上で設定するための表示装置８上の表示例を示す図である。図１０には、鍵盤図形Ｋを表示し、この鍵盤図形Ｋ上に、技量レベルを示す「入門」、「初級」、「中級」および「上級」の文字と、各技量レベルのそれぞれに対応した音域を矢印で表示する。この各技量レベルのいずれかを選択すれば、各レベルに対応した図示の範囲の音域が設定される。例えば、この画面の技量レベルを示す各文字上にカーソルを合わせて指示を入力すれば、各レベルに対応した図示の範囲がレッスン音域として設定されるようにする。
【００８７】
図１１は、音域設定の際の入力の参考になるように表示される画面の例を示す図である。図１１において、表示された鍵盤図形Ｋの鍵のうち、白鍵および黒鍵とは異なる色で示した鍵１６が、選曲されたレッスン曲に含まれる音高に対応する鍵である。図では着色できないので、鍵１６には、他の黒鍵および白鍵と区別するため粗いドット模様を付した。演奏者はこの音高の表示を参考に、これらの鍵１６のすべてを含むように音域を設定することができる。例えば、任意の二つの鍵を表示画面上で指示し、これらの鍵をそれぞれ最低音および最高音とする音高の範囲をレッスン音域として設定するとよい。
【００８８】
図１２は、モデル押鍵指示の表示例を示す図である。図１２において、表示装置８に表示された鍵盤図形Ｋには、他の鍵と区別できるように色もしくは模様を付けた鍵１７によって、単音モデル作成のための押鍵すべき鍵盤位置を示している。演奏者はこの表示された鍵盤図形Ｋ上の鍵１７に従って実際のピアノの鍵を押すことができる。なお、図中の白鍵上に示したマーク１８は押鍵位置を認識しやすくするためのものである。このマーク１８で示された鍵と同じ音高に対応する実際のピアノの鍵に、単音モデル作成に先だってシール等を付しておくことにより、表示された鍵盤図形Ｋと実際のピアノの鍵盤との対応がつきやすくなる。
【００８９】
図１３は、レッスンフェーズにおける押鍵指示の一例を示す図である。同図ではピアノロールつまりスクロール表示方式で押鍵指示をしている。表示装置８の表示画面８１には鍵盤図形Ｋが表示されていて、鍵盤図形Ｋの上方には押鍵指示マークＭが表示される。表示画面８１は上下が時間軸であり、押鍵指示マークＭと鍵盤図形Ｋとの距離は、押鍵指示マークＭの下方の鍵を押す時までの時間に対応する。つまり、鍵盤図形Ｋにより近い押鍵指示マークＭの下方にある鍵は、より早い時期に弾くべき鍵である。押鍵指示マークＭは、押鍵すべき鍵に対応する位置に、音符長さに対応した長さで表示され、演奏音および単音モデルのパワースペクトルが互いに一致すると、下方にスクロールされる。現在押鍵されているべき鍵はマークｍで示される。小節線ＢＬで示すように、この例では２小節分の押鍵指示が同時に一画面上に表示されているが、同時に表示する画面の大きさつまり表示される演奏情報の範囲は任意である。このように演奏情報に基づく押鍵指示マークと鍵盤図形とを同時に表示し、押鍵指示マークをスクロール表示する演奏指示装置は、例えば、特開平９−３０５１７１号公報に開示されている。
【００９０】
なお、押鍵指示の表示形式は、鍵盤図形に対してマークをスクロールする方式に限らず、楽譜形式、つまり五線譜上に表示された音符をスクロールする方式であってもよい。また、ピアノＰの鍵盤に沿って各鍵毎に対応する位置にＬＥＤ（発光ダイオード）を配した表示器を設置し、押鍵すべき鍵に対応するＬＥＤを点灯させて押鍵指示を表示するものであってもよい。
【００９１】
図３および図４に示したフローチャートや変形例に係る処理はＣＰＵ１で実行可能なようにプログラムされ、ＣＤやＲＯＭ等、周知の記録媒体に記録して提供されることができる。
【００９２】
上記実施形態では、単音モデルを現にレッスンに使用するピアノＰの演奏音に基づいて作成し、この単音モデルとピアノＰの演奏音との比較を行った。これによって、ピアノＰが仮に調律が正しく行われていない場合であっても、同じピアノＰの演奏音同士の比較で判断するので、押鍵指示通りに弾けたかどうか判断が確実である。
【００９３】
しかし、本発明は、これに限らず、他のピアノの演奏音から別途作成した単音モデルを外部記憶装置９から読み込んでピアノＰの演奏音のパワースペクトルと比較する場合にも適用できる。
【００９４】
また、本発明は、ピアノの押鍵判定に限らず、オルガン、アコーディオン、ハーモニカ、リコーダ、ギター等、各種自然楽器の演奏音判定に適用することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態に係るピアノのレッスンシステムの構成を示すブロック図である。
【図２】演奏情報のフォーマット例を示す図である。
【図３】モデル作成フェーズに関するＣＰＵの処理を示すフローチャートである。
【図４】レッスンフェーズに関するＣＰＵ１の処理を示すフローチャートである。
【図５】スペクトル比較部の要部処理を示すフローチャートである。
【図６】レッスンフェーズで入力音が和音であるときのパワースペクトル比較のためのＣＰＵの機能を示すブロック図である。
【図７Ａ】鍵を強めに弾いたときのアタック時のパワースペクトルの例を示す図である。
【図７Ｂ】鍵を弱めに弾いたときのアタック時のパワースペクトルの例である。
【図８Ａ】強めに弾いた音のｌｏｇをとらないＦＦＴ値でパワースペクトルを示した図である。
【図８Ｂ】弱めに弾いた音のｌｏｇをとらないＦＦＴ値でパワースペクトルを示した図である。
【図９】ｌｏｇをとらないＦＦＴ値をモデルとした場合の演奏音判定のためのＣＰＵの要部機能を示す図である。
【図１０】技量レベルに応じた音域を表示画面上で設定するための表示装置上の表示例を示す図である。
【図１１】音域設定の際の入力の参考になるように表示される画面の例を示す図である。
【図１２】モデル押鍵指示の表示例を示す図である。
【図１３】レッスンフェーズにおける押鍵指示の一例を示す図である。
【符号の説明】
【００９６】
１…ＣＰＵ、  ２…ＲＯＭ、  ４…音源装置、  ５…スピーカ、  ６…Ａ／Ｄ変換器、  ７…入力装置、  ８…表示装置、  ９…外部記憶装置、  １０…マイクロフォン、  １１…音量測定部、  １２…スペクトル作成部、  １３…アタック検出部、  １４…スペクトル比較部、  １５…押鍵指示部
【図１】
2005234304.tif 000003
【図２】
2005234304.tif 000004
【図３】
2005234304.tif 000005
【図４】
2005234304.tif 000006
【図５】
2005234304.tif 000007
【図６】
2005234304.tif 000008
【図７Ａ】
2005234304.tif 000009
【図７Ｂ】
2005234304.tif 000010
【図８Ａ】
2005234304.tif 000011
【図８Ｂ】
2005234304.tif 000012
【図９】
2005234304.tif 000013
【図１０】
2005234304.tif 000014
【図１１】
2005234304.tif 000015
【図１２】
2005234304.tif 000016
【図１３】
2005234304.tif 000017
【手続補正書】
【提出日】平成16年2月23日(2004.2.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記ＦＦＴ手段による算出値をそのまま前記パワースペクトルとして使用することを特徴とする演奏音判定装置。
【請求項２】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記ＦＦＴ手段による算出値の高域側をカットして前記パワースペクトルとして使用することを特徴とする演奏音判定装置。
【請求項３】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段とを備え、
前記入力音がローパスフィルタを通じて入力されたものであることを特徴とする演奏音判定装置。
【請求項４】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、
前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段とを備え、
前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルとの一致を判定するように構成されていることを特徴とする演奏音判定装置。
【請求項５】
前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて狭くする手段を備えたことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項６】
前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせる手段を具備したことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項７】
前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響が多いほど広くさせる手段を具備したことを特徴とする請求項１〜４のいずれかに記載の演奏音判定装置。
【請求項８】
前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記仮の判定を本判定とすることを特徴とする請求項１〜７のいずれかに記載の演奏音判定装置。
【請求項９】
前記ＦＦＴ手段の周波数分解能を、低音域で細かくすることを特徴とする請求項１〜８のいずれかに記載の演奏音判定装置。
【請求項１０】
入力音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記ＦＦＴ手段による算出値をそのまま前記パワースペクトルとして使用するプログラムを含む演奏音判定プログラム。
【請求項１１】
入力された音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記ＦＦＴ手段による算出値の高域側をカットして前記パワースペクトルとして使用するプログラムを含む演奏音判定プログラム。
【請求項１２】
入力された音のデジタル信号をフーリエ変換するＦＦＴ手段と、
押鍵指示に従って演奏された自然楽器音のパワースペクトルと、予め作成された自然楽器音のパワースペクトルの単音モデルのうち前記押鍵指示の音階に対応する単音モデルとが予定の許容範囲内で一致しているかどうかを判定する判定手段と、
前記パワースペクトルを所定の音量で正規化する正規化手段と、
和音の各構成音に対応する単音モデルを合成する合成手段としてコンピュータを機能させる演奏音判定プログラムであって、
前記押鍵指示が和音であった場合に、
前記判定手段が、前記正規化手段で正規化された演奏音のパワースペクトルと、前記合成手段で合成され、その後に前記正規化手段で正規化された単音モデルとの一致を判定するプログラムを含む演奏音判定プログラム。
【請求項１３】
前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて狭くする手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定プログラム。
【請求項１４】
前記判定手段での一致判断のための許容範囲をパワースペクトルの総量が多いほど広くさせる手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定プログラム。
【請求項１５】
前記判定手段での一致判断のための許容範囲を、予想される残響に応じて該残響が多いほど広くさせる手段としてのプログラムを含む請求項１０〜１２のいずれかに記載の演奏音判定装置。
【請求項１６】
前記自然楽器の音高毎の演奏音のパワースペクトル特徴を予め設定し、
前記判定手段での一致判定結果を仮の判定とし、
演奏音のパワースペクトルに前記パワースペクトル特徴が含まれている場合に前記仮の判定を本判定とするプログラムを含む請求項１０〜１５のいずれかに記載の演奏音判定プログラム。
【請求項１７】
前記ＦＦＴ手段の周波数分解能を、低音域で細かくするプログラムを含む請求項１０〜１６のいずれかに記載の演奏音判定装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、自然楽器の演奏音判定システムに関し、特に、演奏音判定のためのパワースペクトルの照合の精度を上げるのに好適な演奏音判定装置および演奏音判定プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明は、前記押鍵指示が和音であった場合、前記判定手段での一致判断のための許容範囲を和音の構成音数に応じて狭くする手段を備えた点に第５の特徴がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第５の特徴によれば、押鍵指示通りに演奏することが容易ではない和音の演奏において、構成音数が多い場合に一致判定のためのしきい値が厳しく設定される。