(57)【特許請求の範囲】
【請求項１】
演奏者の演奏練習を支援する演奏練習支援装置であって、
楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した、少なくともテンポに基づいて演算した演算値とこれに対応する得点情報との組を複数組記憶する参考特徴量記憶部と、
入力された楽音信号である入力楽音信号のテンポを算出するテンポ算出部と、
前記入力楽音信号の前記テンポに関する評価指標を算出するノート間評価部と、
前記ノート間評価部が算出した評価指標を出力する評価結果出力部と、を備え、
前記ノート間評価部は、
前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号の前記算出したテンポに対応する演算値として参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求めることを特徴とする演奏練習支援装置。
【請求項２】
請求項１に記載の演奏練習支援装置において、
前記参考特徴量記憶部は、
テンポの分散値Ｖとこれに対応する得点情報とを対応付けて記憶するテーブルを格納することを特徴とする演奏練習支援装置。
【請求項３】
請求項２に記載の演奏練習支援装置において、
前記ノート間評価部は、
テンポの一貫性を示す指標を算出するテンポ一貫性算出部であり、
このテンポ一貫性算出部は、
評価対象となるスケールの構成音毎に前記テンポ算出部によって算出したテンポの分散値を演算する演算部と、演算された分散値に対応する得点を前記テーブルを参照して求める得点決定部と、を含んで成ることを特徴とする演奏練習支援装置。
【請求項４】
請求項１、２および３の内のいずれか一項に記載の演奏練習支援装置において、
前記ノート間評価部は更に、
音高の正確性を示す指標を、前記スケールを構成する各音高の理想音高との差の平均Ｄとして求める音高正確性算出部を含み、
前記参考特徴量記憶部は更に、
演算値Ｄとこれに対応する得点情報とを対応付けて記憶する第２のテーブルを格納しており、
前記音高正確性算出部は、
前記入力楽音信号の音高情報を用いた演算値Ｄに基づいて前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号に対応する演算値Ｄとして参照し、この参照した演算値Ｄに対応する得点情報を前記第２のテーブルを参照して求めることを特徴とする演奏練習支援装置。
【請求項５】
請求項１に記載の演奏練習支援装置において、
前記ノート間評価部は、
前記入力楽音信号の単音単位での評価指標であるシングルノート評価結果を入力して所定の演算処理を行い、この演算処理の結果に応じて前記参考特徴量記憶部に記憶されている複数の演算値の内の一つの演算値を参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求めることを特徴とする演奏練習支援装置。
【請求項６】
楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した、少なくともテンポに基づいて演算した演算値とこれに対応する得点情報との組を複数組記憶するか、または、前記演算値と前記得点情報を関係づける関係情報を記憶する参考特徴量記憶部を備えた装置に、
入力された楽音信号である入力楽音信号のテンポを算出するテンポ算出機能と、
前記入力楽音信号の前記テンポに関する評価指標を算出するノート間評価機能と、
前記ノート間評価機能が算出した評価指標を出力する評価結果出力機能と、を実現させるためのプログラムであって、
前記ノート間評価機能は、
前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号の前記算出したテンポに対応する演算値として参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求める機能、または、前記参考特徴量記憶部に記憶されている前記関係情報を参照して前記演算値に関係づけられる得点情報を求め、この求めた得点情報を前記入力楽音信号のスケール単位での評価指標とする機能であることを特徴とするプログラムである。
【請求項７】
請求項６に記載のプログラムにおいて、
前記ノート間評価機能は、
前記入力楽音信号のテンポの一貫性を示す指標を求めるテンポ一貫性算出機能と、前記入力楽音信号の音高の正確性を示す指標を求める音高正確性算出機能とを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏者（ユーザー）の楽器演奏を評価することによって、ユーザーの楽器演奏練習を支援する装置に関する。
【背景技術】
【０００２】
従来の調律器において、「基本周期抽出手段」によって抽出した楽音信号の基本周期により、入力された楽音の音名を特定し、特定された音名に従って各音名に割当てた色を多色発光素子で発光さると共に、楽音信号の基準周波数からのピッチ誤差値に従って上記の多色発光素子の発光量を制御する構成とした調律器が提案されていた。この調律器によれば演奏者（ユーザー）が楽器演奏することによって発生した楽音が基準周波数とどれだけずれているかをＬＥＤ等で構成された多色発光素子によって視覚的に把握することが可能であった（例えば特許文献１参照。）。
【０００３】
また、調律器の機能に加えてメトロノームの機能を付加して両機能を一体化した音階練習器が開示されている。この音階練習器は、楽音を調律している最中にメトロノームのテンポ音が発生すると調律対象音入力用のマイクにそのテンポ音も入力されると、楽音信号にノイズ重畳して調律結果に悪影響を与える問題を解決したものである。つまり、練習器に楽器を固定しこの固定した楽器からの楽音を機械的な振動として収音して調律結果を算出し、音階練習器内の発光素子群に含まれる複数の発光素子の発光態様を制御して、テンポと調律結果とを同時に通知するものである。よって、この音階練習器は、クリップ等の楽音装着部を用いて直接楽器に装着でき、楽器が楽音を発音した際の固有振動を正確に検出することができ、練習器本体に内蔵されたスピーカ等からテンポ音発生（メトロノーム機能）に殆ど影響されることなく、正確で反応性の良い調律が可能になる（例えば特許文献２参照。）。
【０００４】
また、ユーザーが演奏した曲の「発音タイミングの変化の印象」、「発音強度の変化の印象」等の発音操作形態を表現する時系列データをアトラクタの特徴として抽出しこの抽出したアトラクタの特徴に基づいて演奏診断を行う演奏評価装置が提案されており、この演奏評価装置によれば、ユーザーの演奏状況を熟練した評価者のように評価することができ、しかも演奏練習上のアドバイスを与えることが可能になる（特許文献３参照。）。
【０００５】
そして、本願出願時には未公開ではあるが、評価結果出力部が、リッチネス算出部が入力楽音信号の特徴量と参考特徴量とを比較して算出したリッチネス、同じく、アタック明瞭度算出部が入力楽音信号の特徴量と参考特徴量とを比較して算出したアタック明瞭度、音高安定度算出部が入力楽音信号からピッチを検出して求めた音高安定度、音量安定度算出部が入力楽音信号から音量を算出して求めた音量安定度、および、音色安定度算出部が入力楽音信号から周波数スペクトルを算出して求めた音色安定度、を評価指標として出力し、評価結果出力部が、これらの評価指標に基づいた評価結果を出力する楽音評価装置が提案されている（特許文献４参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４４７３４７８号公報（第１−５頁、第１図）
【特許文献２】特開２００７−１２７７３３号公報（第７−１１頁、第４図）
【特許文献３】特許第５０５１５３０号公報（第３−１２頁、第１２図）
【特許文献４】特願２０１４−２１６９９０号（第２−６頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように演奏練習器に関しては多数の提案がされている。しかしながら、これら従来のユーザー演奏の評価装置にあっては、ユーザーが演奏練習して楽器から発音される楽音が、データベース等に既に固定のタイミングで記憶されている「模範演奏（参考楽音信号）」と同じタイミング、音高であるかを評価するものであった。つまり、模範演奏と演奏者（ユーザー）の実演奏とがぴったり一致しているか否かが判定される。
【０００８】
したがって、従来においては、ユーザーの練習演奏の良し悪しを任意のテンポ、音階で判定することはできなかった。つまり、固定的なタイミングでの評価に留まるものであった。例えば特許公報４に記載の楽音評価装置は、音高の他に音量、音色、リッチネス、アタック明瞭度を評価可能であり、ユーザーの楽器練習に際して最も有益な情報を得ることができる装置であると言えるが、この装置であっても、ユーザーが演奏タイミングを任意なものとしながらその練習に対する評価を行うことはできなかった。
【０００９】
本発明は、このような事情を鑑みて創作されたもので、任意のテンポでのスケール演奏の良し悪しを評価してユーザーの演奏支援を行う装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
つまり、本発明は、演奏者の演奏練習を支援する演奏練習支援装置であって、
楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した、少なくともテンポに基づいて演算した演算値とこれに対応する得点情報との組を複数組記憶する参考特徴量記憶部と、
入力された楽音信号である入力楽音信号のテンポを算出するテンポ算出部と、
前記入力楽音信号の前記テンポに関する評価指標を算出するノート間評価部と、
前記ノート間評価部が算出した評価指標を出力する評価結果出力部と、を備え、
前記ノート間評価部は、
前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号の前記算出したテンポに対応する演算値として参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求めることを特徴とするようにした。
【００１１】
この発明によれば、「テンポ算出部」が入力された楽音信号である入力楽音信号のテンポを算出し、「ノート間評価部」はこの入力楽音信号のテンポに関する評価指標を算出し、評価結果出力部はノート間評価部が算出した評価指標を出力する。そして、ノート間評価部（「スケール評価部」とも記す）は、楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した、少なくともテンポに基づいて演算した演算値とこれに対応する得点情報との組を複数組記憶する「参考特徴量記憶部」に記憶されている複数の演算値の内の一つを入力楽音信号の「テンポ算出部」で算出したテンポに対応する演算値として参照し、入力楽音信号のスケール単位での評価指標である得点情報を求める。
【００１２】
この結果、固定的なタイミングでの演奏評価に留まらず、任意のテンポでの演奏の良し悪しを評価して、スケール演奏等のユーザーの楽器演奏の支援を行うことが可能となる。この際、参考特徴量記憶部に記憶される情報は、例えば機械学習等を積み重ねて蓄積された大量の情報を吟味して決定される。また、参考特徴量記憶部に記憶されている関係情報を参照して演算値に関係づけられる得点情報を求め、この求めた得点情報を前記入力楽音信号のスケール単位での評価指標とする構成とすることも可能である。この構成では、例えば関係情報として関係式を利用して、少なくともテンポに基づいて演算した演算値から得点情報を求める。この構成によっても簡易にスケール単位での評価指標を求めることが可能である。
【００１３】
また、前記参考特徴量記憶部が、テンポの分散値Ｖとこれに対応する得点情報とを対応付けて記憶するテーブルを格納する構成でも良く、この構成によればテンポの分散値を評価演算として求める場合に適する。
【００１４】
更に、前記ノート間評価部は、
テンポの一貫性を示す指標を算出するテンポ一貫性算出部であり、
このテンポ一貫性算出部は、
評価対象となるスケール音の構成音毎に前記テンポ算出部によって算出したテンポの分散値を演算する演算部と、演算された分散値に対応する得点を前記テーブルを参照して求める得点決定部と、を含む構成とすれば、分散値演算により得点を求めることができる。そして、この演算値、即ち、分散値が大きければ安定度は減少することを利用して簡易な構成でテンポ一貫性指標等を求めることが可能となる。
【００１５】
また、前記ノート間評価部は更に、音高の正確性を示す指標を、前記スケールを構成する各音高の理想音高との差の平均Ｄとして求める音高正確性算出部を含み、
前記参考特徴量記憶部は、演算値Ｄとこれに対応する得点情報とを対応付けて記憶する第２のテーブルを格納しており、
前記音高正確性算出部は、
前記入力楽音信号の音高情報を用いた演算値Ｄに基づいて前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号に対応する演算値Ｄとして参照し、この参照した演算値Ｄに対応する得点情報を前記第２のテーブルを参照して求める構成も提案される。
この構成によれば、スケールを構成する各音高の理想音高との差の平均Ｄとして求める演算を行うことによって、この演算に対応する得点情報を得ることができる。平均Ｄを求める演算を行って音高正確性算出等に適用することができる。
【００１６】
更に、前記ノート間評価部は、
前記入力楽音信号の単音単位での評価指標であるシングルノート評価結果を入力して所定の演算処理を行い、この演算処理の結果に応じて前記参考特徴量記憶部に記憶されている複数の演算値の内の一つの演算値を参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求める構成とすることもできる。この構成によれば単音単位での評価結果を利用してスケール間評価の所定の演算を行うことによって、評価結果の安定化や評価項目等の多様化を実現できる。
【００１７】
本発明の他の態様は、楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した、少なくともテンポに基づいて演算した演算値とこれに対応する得点情報との組を複数組記憶するか、または、前記演算値と前記得点情報を関係づける関係情報を記憶する参考特徴量記憶部を備えた装置に、
入力された楽音信号である入力楽音信号のテンポを算出するテンポ算出機能と、
前記入力楽音信号の前記テンポに関する評価指標を算出するノート間評価機能と、
前記ノート間評価機能が算出した評価指標を出力する評価結果出力機能と、を実現させるためのプログラムであって、
前記ノート間評価機能は、
前記参考特徴量記憶部に記憶されている複数の演算値の内の一つを前記入力楽音信号の前記算出したテンポに対応する演算値として参照し、この参照した演算値に対応する得点情報を前記入力楽音信号のスケール単位での評価指標として求める機能、または、前記参考特徴量記憶部に記憶されている前記関係情報を参照して前記演算値に関係づけられる得点情報を求め、この求めた得点情報を前記入力楽音信号のスケール単位での評価指標とする機能であることを特徴とするプログラムである。
【００１８】
ＣＰＵ等のプロセッサがこのプログラムを読み込み実行することによって、入力楽音信号のテンポ値を算出するテンポ算出機能と、スケール音の入力楽音信号の前記テンポに関する評価指標を算出するノート間評価機能と、ノート間評価部が算出した評価指標を出力する評価結果出力機能とが実現される。そして、ノート間評価機能は、入力楽音信号に基づき、参考特徴量記憶部に記憶されている複数の演算値の内の一つを入力楽音信号の前記算出したテンポに対応する演算値として参照し、入力楽音信号のスケール単位での評価指標を求める。また、参考特徴量記憶部に記憶されている関係情報を参照して演算値に関係づけられる得点情報を求め、この求めた得点情報を前記入力楽音信号のスケール単位での評価指標とする構成では、例えば関係情報として関係式を利用して、少なくともテンポに基づいて演算した演算から得点情報を求める。この構成によっても簡易にスケール単位での評価指標を求めることが可能である。
【００１９】
したがって、これによっても、任意のテンポでの演奏の良し悪しを評価して、スケール演奏等のユーザーの楽器演奏の支援を行うことが可能となる。この際も、参考特徴量記憶部に記憶される情報は、例えばニューラルネットワーク等による学習を積み重ねて蓄積された多量の情報の内から決定される。
【００２０】
更に、このプログラムを実行することによって、ノート間評価機能を、入力楽音信号のテンポの一貫性を示す指標を求めるテンポ一貫性算出機能と、入力楽音信号の音高の正確性を示す指標を求める音高正確性算出機能と  を含む構成とすることも可能である。この構成によれば最低限のスケール演奏評価を行うことが可能である。
【００２１】
このようなプログラムをＲＯＭ等の記録媒体に記録しておき、この記録したプログラムをＣＰＵやＤＳＰ等のプロセッサ等が読み取って実行していくことによって、テンポ算出機能、ノート間評価機能、評価結果出力機能等の各機能を実現することが可能である。
【発明の効果】
【００２２】
本発明によれば、任意のテンポでのスケール演奏の良し悪しを評価することによって、ユーザーの楽器演奏の練習支援を行う装置等を実現できるという効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】演奏練習支援装置１の構成図である。
【図２】音高正確性算出部４２の構成図である。
【図３】テンポ一貫性算出部４８の構成図である。
【図４】全体動作を説明するためのフローチャートである。
【図５】演奏練習支援装置１のハードウエア構成図である。
【図６】参考特徴量記憶部２０の記憶内容の説明図である。
【図７】第２実施形態の構成図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について図面を参照しつつ説明する。
【００２５】
（第１実施形態）
（装置構成）  
まず、本発明の第１実施形態の演奏練習支援装置１の構成について説明する。図１は演奏練習支援装置１の構成図である。第１実施形態の演奏練習支援装置１は、入力部１０と、Ａ／Ｄ変換部１２と、音節検出部１４と、単一演奏音に対して評価を行うシングルノート評価部３００と、スケール演奏音に対して評価を行うノート間評価部（スケール評価部）４００と、総合得点算出部５０と、評価結果出力部６０とを有して構成される。入力部１０は、ユーザーが練習した楽器演奏によって発生された楽音信号（楽器からの演奏音信号）を受け付けてＡ／Ｄ変換部１２に渡し、楽音信号が渡されたＡ／Ｄ変換部１２は渡された楽音信号をアナログデジタル変換する。
【００２６】
一例として、入力部１０はマイクロフォンを用いて構成される。この一例では楽音信号はマイクロフォンによって電気信号に変換される。なお、ユーザーによって楽音信号がデジタル記録され、このデジタル記録された楽音信号が入力部１０に入力される場合、入力部１０は、Ａ／Ｄ変換部１０にこれを渡さないで直接、音節検出部１４に送る構成とすることもできる。なお、入力される楽音信号は楽器種類には限定されず、例えばギター、バイオリン、チェロ等の弦楽器、トランペット、クラリネット、フルート、ホルン等の管楽器でも良い。
【００２７】
（参考特徴量記憶部２０）
参考特徴量記憶部２０は、楽器の理想的な演奏信号である参考楽音信号から抽出した参考特徴量を参照して決定した情報等が記憶されている。図６は特に本発明の特徴的なスケール演奏評価を行うノート間評価部４００の内の音高正確性算出部４２、テンポ一貫性算出部４６が参照するテーブル４５０、４５２に記憶された情報例を記載している。音量一貫性算出部４０、音色良好性算出部４４およびアーティキュレーション一貫性算出部４８が参照する情報も同様にテーブル等で構築することが可能である。なお、参照テーブル４５０、４５２の代用として大量のデータから得られる回帰曲線を用いることもでき、この場合は回帰曲線の係数列により入力情報と得点情報を関係づけることができることは言うまでもない。
【００２８】
テーブル４５０は、音高正確性参考テーブルである。この音高正確性参考テーブル４５０は、演算値とその得点情報とを組としたものを複数組記憶している。よって、音高正確性算出部４２は、平均値Ｍを算出するとこれに対応する評価得点を求めて出力する。かくして、音高情報および音高安定度情報に基づいて演算された平均値に応じた得点が音高正確性の評価指標として出力される。また、テーブル４５２は、テンポ一貫性参考テーブルである。このテンポ一貫性参考テーブル４５２は、演算値とその得点情報とを組としたものを複数組記憶している。よって、テンポ一貫性算出部４８は、分散Ｖを算出するとこれに対応する評価得点を求めて出力する。かくして、テンポ情報に基づいて演算された分散値に応じた得点がテンポ一貫性の評価指標として出力される。
【００２９】
この他に、ノート間評価部を構成する各算出部がその算出を可能にするために、参考特徴量記憶部２０は、例えば複数のスケールのそれぞれに対応する理想の音高データ、音色データ等の「参考特徴量」等を記憶している。ここに「理想」とは基本的には、その時々で最も評価値の高い演奏であり、これは時代により変遷する可能性がある。
【００３０】
また、参考特徴量記憶部２０は、シングルノート評価を行うために例えば以下のような情報も記憶している。演奏される単一ノート単位での理想的な楽器演奏による「音量情報」、「音高情報」、「音色情報」、「リッチネス情報」、「アーティキュレーション情報」等の「参考特徴量」である。「音色情報」は例えば、参考入力楽音信号の周波数スペクトル解析結果の情報、「リッチネス情報」は参考入力楽音信号の周波数スペクトル分布の情報である。「アーティキュレーション情報」はレガート、スッタカート等の奏法情報でなる参考特徴量である。シングルノート評価部３００は、参考特徴量記憶部２０に記憶されているこれらの参考特徴量を参照しながら、入力楽音信号に対する単一ノートでの評価を行う。
【００３１】
また、参考特徴量記憶部２０には、楽器の種類別、機種別、演奏の種類別等の任意の基準で分類して複数種類の情報が記憶されていても良い。参考特徴量記憶部２０が記憶する情報は、ニューラルネットワーク等の学習による機械学習によって蓄積された膨大な情報を吟味したものでも良いし、機械学習の結果が直接記憶されるような構成としても良い。機械学習としては例えば、入力を複数の音響特徴量とし、出力を各指標の点数とした３層のＮＮシステム等で実現可能である。
【００３２】
音節検出部１４は、入力部１０に入力された楽音信号（以下適宜「入力楽音信号」と記す）から拍毎（あるいはフレーム毎）に「アタック部」、「サステイン部」、「リリース部」、「オフセット部」を検出する機能を有する。一般に楽音信号は、発音開示時にその振幅が大きく、その後振幅が低下して一定の振幅に安定する。発音直後を「アタック部」、アタック部から振幅が徐々に低下して振幅が安定した部分を「サステイン部」、更に振幅が０になっていく部分を「リリース部」、その他を「オフセット部」と定義している。アタックの検出方法は周知の検出方法を利用可能である。利用可能なアタック検出方法等としては例えば「特許第４０８４４７０号公報」に記載のものが挙げられる。また、音節検出部１４は、アタック部等を検出する際には、参考特徴量記憶部２０内の不図示の音節検出アルゴリズムのパラメータ、例えば振幅閾値、振幅変化量基準値情報等を参照している。これによりアタック部等の検出を正確に行うことができる。
【００３３】
（シングルノート評価部３００）
シングルノート評価部３００は、音量安定度算出部３０と、音高・音高安定度算出部３１と、音色安定度算出部３２と、リッチネス算出部３４と、アーティキュレーション判定部３６と、テンポ算出部３８と、を含んで成っている。シングルノート評価部３００は、単一音を評価対象にして評価し、音節検出部１４からの情報と、Ａ／Ｄ変換部１２によってアナログデジタル変換された入力楽音信号とを、テンポ検出部３８以外の構成要素の夫々に入力している。音量安定度算出部３０、音高・音高安定度算出部３１、音色安定度算出部３２およびリッチネス算出部３４の算出動作は、（Ａ）入力楽音信号のフレーム毎（他の単位でも良い）に特徴量を抽出し、（Ｂ）抽出した特徴量に対して他の特徴量を抽出する。例えば演算を施す等が挙げられる。（Ｃ）その結果に対応する得点を参考特徴量記憶部２０に記憶されている得点テーブルを参照して求める、という３段階の動作を行う。
【００３４】
音量安定度算出部３０は、まず入力楽音信号からフレーム毎に音量を検出する。次いで音量安定度算出部３０は、音節検出部１４が検出した音節情報に基づいて決定した時間Ｔ１における、入力楽音信号の「音量安定度」を算出する。「音量安定度」とは、評価対象の楽音における音量の変化の度合いを示す評価指標である。一般に楽器の演奏は音量が安定している方が良い音であるとされるので、音量の変化の度合いが小さい方が高い音量安定度を与えるように音量安定度算出を行って、音量一貫性算出部４０に出力する。ここで具体的に音量安定度算出は例えば、時間Ｔ１内でフレーム分割した楽音信号に対して、それぞれのフレームで音量を計算し、その音量の分散値を参考特徴量記憶部２０に記憶されている参考特徴量と比較して採点し、出力する。ここで時間Ｔ１は、音節情報のサステイン部の間隔に設定すれば良い。
【００３５】
音高・音高安定度算出部３１は、先ず入力楽音信号からフレーム毎に音高（ピッチ）を検出する。次いで音高・音高安定度算出部３１は、音節検出部１４が検出した音節情報に基づいて決定した時間Ｔ２における、入力楽音信号の「音高安定度」を算出する。「音高安定度」とは、評価対象の楽音信号におけるピッチの変化の度合いを示す評価指標である。一般に、楽器の演奏はピッチのふらつきの少ない方が良い音であるとされるので、ピッチの変化の度合いが小さい方が高い音高安定度を与えられるように、音高安定度算出を行って、音高正確性算出部４２に出力する。ここで具体的に音高安定度算出は例えば、時間Ｔ２内でフレーム分割した楽音信号に対して、それぞれのフレームで音高を計算し、その音高の分散値を参考特徴量記憶部２０に記憶されている参考特徴量と比較して採点し、出力する。ここで時間Ｔ２は、音節情報のサステイン部の間隔に設定すれば良い。
【００３６】
音色安定度算出部３２は、先ず入力楽音信号をフレーム毎に周波数変換して周波数スペクトルを算出する。次いで音色安定度算出部３２は、音節検出部１４が検出した音節情報に基づいて決定した時間Ｔ３における、入力楽音信号の「音色安定度」を算出する。「音色安定度」は、周波数スペクトルの変化の度合いを示す評価指標であり、一般に楽器演奏は音色のふらつきが少ない方が良い音であるとされるので、周波数スペクトルの変化の度合いが小さい方が高い「音色安定度」が与えられるように、音色安定度算出を行って、音色良好性算出部４４に出力する。ここで具体的に音色安定度算出は例えば、時間Ｔ３内でフレーム分割した楽音信号に対して、それぞれのフレームでスペクトルの重心を計算し、そのスペクトルの重心の分散値を参考特徴量記憶部２０に記憶されている参考特徴量と比較して採点し、出力する。ここで時間Ｔ３は、音節情報のサステイン部の間隔に設定すれば良い。
【００３７】
リッチネス算出部３４は、音節検出部１４が検出した音節情報に基づいて決定した時間Ｔ４における入力楽音信号を、周波数変換して算出した周波数スペクトル分布状態と、参考特徴量記憶部２０に記憶されている参考特徴量から算出した周波数スペクトルの分布状態とを比較することで入力楽音信号の「リッチネス（richness）」を算出する機能を有する。「リッチネス」とは、楽音の音色の豊かさを示す評価指標であり、「リッチネス」は、評価対象の楽音から算出した周波数スペクトルの分布状態が、理想的な楽音から算出した周波数スペクトルの分布状態に近い程度を評価して算出する。具体的にリッチネス算出は例えば、時間Ｔ４内でフレーム分割した楽音信号に対して、それぞれのフレームでスペクトルの重心を計算し、そのスペクトルの重心の平均値を参考特徴量記憶部２０に記憶されている参考特徴量と比較して採点し、出力する。ここで時間Ｔ４は、音節情報のサステイン部の間隔に設定すれば良い。
【００３８】
アーティキュレーション判定部３６は、入力楽音信号と音節検出部１４によって検出された音節情報の情報とに基づいて、レガート、スタッカート等の奏法が正確に表現できているか否かを判定する。例えば、レガートは音の切れ目なくなめらかな演奏を行う奏法であり、スタッカートは音を区切るように演奏する奏法等である、具体的にアーティキュレーション判定は例えば、入力楽音信号のアタック部とリリース部における音量・音高の変化率の線形結合を参考特徴量記憶部２０に記憶されている参考特徴量と比較して採点し、出力とする。
【００３９】
テンポ算出部３８は、入力楽音信号のテンポを算出する。まず、音節検出部１４が拍毎のアタック部を検出してこれがテンポ算出部３８に渡される。すると、テンポ算出部３８は、例えば自身が備えているカウンタ等によってこの拍間のアタック部の時間間隔を計測し、これを分単位に換算して「テンポ」を「Ｂｅａｔ  Ｐｅｒ  Ｍｉｎｕｔｅ（B.P.M）」の形式で算出・出力する。
【００４０】
以上が単一演奏音の評価を行うシングルノート評価部３００の構成・機能である。なお、図１ではシングルノート評価部３００での単一演奏音の評価が行われた後にノート間評価部４００による評価が行われるように構成されているが、入力楽音信号がデジタル化された信号に対して直接テンポを算出してその一貫性を示す指標を算出することや音高正確性を示す指標を算出することも可能である。
【００４１】
（ノート間評価部４００）
ノート間評価部４００は、音量一貫性算出部４０と、音高正確性算出部４２と、音色良好性算出部４４と、アーティキュレーション一貫性算出部４６と、テンポ一貫性算出部４８と、を含んで成っている。ノート間評価部４００は、スケール演奏を評価対象にして評価する機能を有している。スケールとは例えばＣメジャー、Ｃマイナー等の一音階分のことを指す。
【００４２】
音量一貫性算出部４０は、音量安定度算出部３０から受け取った音量安定度を入力し、参考特徴量記憶部２０に記憶されている情報にしたがって、音量一貫性を算出する機能を有する。この例では、音量一貫性算出部４０は、音量安定度算出部３０が算出した音量安定度情報の現在値と過去値とから分散を算出して、この分散値に対応する評価得点を参考特徴量記憶部２０から求める。分散値が大きくなるほど音量の一貫性がなくなることを利用している。    
【００４３】
音高正確性算出部４２は、図２に示すように、音高情報バッファ部４２０と、音高安定度情報バッファ部４２２と、音高正確性評価部４２４と、音高誤差評価部４２６と、スケール音高安定度評価部４２７とを有して構成されている。音高情報バッファ部４２０は、音高・音高安定度算出部３１によって音高（ピッチ）が算出されると、この算出された音高を示す音高情報が渡されて順次記憶されるように構成されている。また、音高安定度情報バッファ部４２２は、音高・音高安定度算出部３１によって音高安定度が算出されると、この算出された音高安定度を示す音高安定度情報が渡されて順次記憶されるように構成されている。
【００４４】
そして、音高誤差評価部４２６は、音高・音高安定度算出部３１から現在の音高情報を直接受け取ると共に、音高情報バッファ４２０から過去の音高情報を受け取るように構成されている。また、スケール音高安定度評価部４２７は、音高・音高安定度算出部３１から現在の音高安定度情報を直接受け取ると共に、音高安定度情報バッファ４２２から過去の音高安定度情報を受け取るように構成されている。つまり、音高誤差評価部４２６は、音高情報の現在値と過去値から音高情報の誤差を評価し、また、スケール音高安定度評価部４２７は、音高安定度情報の現在値と過去値からスケール音高安定度を評価する。
【００４５】
まず、音高誤差評価部４２６の動作例を説明する。今、スケールの調（ハ長調「ドレミフアソラシド」を例にとる）を決定し、音高情報ｐ１〜ｐ８に対応する理想の音高ｑ１〜ｑ８を求める。なお、調の決定方法は外部入力する他に音高列ｐ１〜ｐ８をテーブル化することも可能である。次に、音高ｐ１〜ｐ８と理想音高ｑ１〜ｑ８の差分をそれぞれ求め、これをｄ１〜ｄ８とする。これを次の（式１）で表現する。
【００４６】
【数１】
0006584230.tif 000002
【００４７】
そして、音高誤差評価部４２６は、差分ｄ１〜ｄ８の平均値Ｄを音高誤差として出力する。これを次の（式２）で表す。
【００４８】
【数２】
0006584230.tif 000003
【００４９】
以上が音高誤差評価部４２６の動作例である。次に、スケール音高安定度評価部４２７の動作例について説明する。現在の音高安定度情報ｓ８と、音高安定度情報バッファ部４２２に格納されている過去の音高安定度情報ｓ１〜ｓ７の平均値をスケール音高安定度として出力する。つまり次の（式３）で示すＳを出力する。なお、スケール音安定度は必ずしも平均値とは限らない。
【００５０】
【数３】
0006584230.tif 000004
【００５１】
すると、音高正確性評価部４２４は、音高誤差Ｄとスケール音高安定度Ｓの平均を求める。なお平均は一例である。次いで、音高正確性評価部４２４は、参考特徴量記憶部２０のテーブル４５０（図６）を参照し、平均Ｍに対応する音高正確性の得点を求める。この音高正確性は０点から１００点の間で求まるようになっている。
【００５２】
音色良好性算出部４４は、音色安定度算出部３２から受け取った音色安定度情報およびリッチネス算出部３４から受け取ったリッチネス情報を入力し、参考特徴量記憶部２０に記憶されている情報にしたがって、音色良好性を算出する機能を有する。この例では、音色良好性算出部４４は、音色安定度算出部３２が算出した音色安定度情報と、リッチネス算出部３４が算出したリッチネス情報のそれぞれの現在値と過去値との分散を算出しこの二つの分散値の重み付け加算値を求め、この求めた値に対応する得点を参考特徴量記憶部２０に記憶されている情報にしたがって求める。
【００５３】
アーティキュレーション一貫性算出部４６は、アーティキュレーション判定部３６からアーティキュレーション判定結果を渡されて、この渡されたアーティキュレーション判定結果に基づいて、参考特徴量記憶部２０に記憶されている得点情報を参照して得点を求める。この例では現在と過去のアーティキュレーション判定結果に対して分散を求め、求めた分散値に応じた、参考特徴量記憶部２０に記憶された得点を求める。
【００５４】
テンポ一貫性算出部４８は、図３に示すように、テンポ情報バッファ部４８０と、テンポ一貫性評価部４８２とを有して構成される。テンポ情報バッファ部４８０には、テンポ算出部３８によってテンポが算出されると、この算出されたテンポを示すテンポ情報が渡されて順次記憶されるように構成されている。そして、テンポ一貫性評価部４８２は、テンポ算出部３８からテンポ情報を直接受け取ると共に、テンポ情報バッファ４８０からテンポ情報を受け取り、参考特徴量記憶部２０に格納されているテーブル４５２に記憶されている演算値に対応する得点をテンポ一貫性として算出する。
【００５５】
テンポ算出部３８からテンポ情報を直接受けとる場合、受け取ったテンポ情報は現在値である。一方、テンポ情報バッファ４８０からテンポ情報を受け取る場合、この受け取ったテンポ情報は過去の値である。つまり、テンポ一貫性評価部４８２は、テンポ情報の現在値と過去値に基づいて「テンポ一貫性」を算出する。
【００５６】
次に、テンポ一貫性評価部４８２の動作例を説明する。今、一例としてスケール音である「ドレミファソラシド」が入力されたケースを想定する。ｉ番目のノートの「テンポ」をｔｉとする。テンポｔｉは、テンポ算出部３８によって、各ノートに対するアタック開始時刻の間隔から算出される。図３に示すように、現在のテンポｔ８と、テンポ情報バッファ部４８０に格納されている過去のテンポｔ１〜ｔ７の合計８個のテンポデータｔ１〜ｔ８の分散値を求める。この分散値を次の（式４）に示す。なお、分散値演算は一例である。
【００５７】
【数４】
0006584230.tif 000005
【００５８】
そして、テンポ一貫性評価部４８２は、参考特徴量記憶部２０に記憶されているテーブル４５２の内容を参照して、分散値Ｖに対応する点数を求めて出力する。これにより、テンポ一貫性は０点から１００点までの間の点数で評価される。
【００５９】
そして、他のノート間評価部４００の算出部においても、同様にして、参考特徴量記憶部２０に記憶されている対応するテーブル（演算値―得点記憶テーブル）の内容を参照して、演算値に対応する点数を求めて０点から１００点までの間の点数を評価指標として出力する。
【００６０】
以上のようにしてノート間評価部４００は構成され各構成要素によって、ユーザーが楽器のスケール演奏を行うことによって入力楽音信号に対する各種の評価指標を得ることが可能になる。この結果、熟練した評価者が行うような評価を得ることができ、この評価を得て楽器練習を行うユーザーの楽器演奏能力が高まることになる。
【００６１】
（総合得点・結果出力）
総合得点算出部５０は、音量一貫性算出部４０、音高正確性算出部４２、音色良好性算出部４４、アーティキュレーション一貫性算出部４６およびテンポ一貫性算出部４８のそれぞれによって算出され出力される得点値の総和を求める。また、評価結果出力部６０は、この総合得点算出部５０によって合算された得点総和を受け取ってこれを出力したり、音量一貫性算出部４０、音高正確性算出部４２、音色良好性算出部４４、アーティキュレーション一貫性算出部４６およびテンポ一貫性算出部４８のそれぞれから算出して出力された得点値を出力したりする。
【００６２】
出力の態様としては、例えば液晶表示装置による表示出力、例えばインクジェット型プリンタ装置による印刷出力、通信媒体等によって接続したＰＣ（パーソナルコンピュータ）等の他の端末装置に対する送信出力等が挙げられる。表示出力を行う場合、例えば、中心点から放射状に延びる複数の軸に対して各算出値を割り当てその算出値を目盛ってレーダーチャート状に表示すること、時間軸を表示しこの表示した時間軸に対して算出値を割り当て目盛っていくこと、算出値の優劣に応じて表示色を変化させていくこと、等の様々な表示態様を採用することができる。
【００６３】
（ハードウエア構成）
図５は装置１のハードウエア構成図である。このハードウエア構成は、ＣＰＵ１００と、ＲＯＭ１１０と、ＲＡＭ１２０と、ＨＤＤ１３０と、ディスプレイ１４０と、入力部１０を備えたＡ／Ｄ変換部１２とを有して構成される。各構成要素は所要の情報を授受可能にバス１５０で接続されている。ＣＰＵ１００は全体制御を司る。ＲＯＭ１１０には所要のプログラム、データ等が不揮発的に記録されている。ＲＡＭ１２０はワークエリア等として機能する。ＨＤＤ１３０は所要のデータ等を蓄積し、ＣＰＵ１００等がこの蓄積されたデータ等にアクセス可能になっている。ディスプレイ１４０は所要の情報を表示出力する。
【００６４】
そして、ＣＰＵ１００は、ＲＯＭ１１０に記録されているプログラムをＲＡＭ１２０のワークエリア等を使用しながら実行することによって、図１に示す音節検出部１４、シングルノート評価部３００、ノート間評価部４００、総合得点算出部５０等が実現される。また、参考特徴量記憶部２０がＨＤＤ１３０に対応し、評価結果出力部６０がディスプレイ１４０に対応するので、演奏練習支援装置１は、Ａ／Ｄ変換ボード等を内蔵させた１台のコンピュータシステムで実現可能である。このコンピュータシステムは１台のＰＣ（パーソナルコンピュータ）でも良いし大型のサーバー装置等でも良い。かくして、本発明の実施形態の演奏練習支援装置１は一般に普及しているコンピュータシステムで実現できる。
【００６５】
（装置動作）
次に、図４を参照しながら演奏練習支援装置１の全体的な動作について説明する。ユーザーが楽器演奏を行い、その楽音信号が入力部１０によって入力されて、Ａ／Ｄ変換部１２によってアナログデジタル変換されると、まず、ステップＳ４００において、入力楽音信号がデジタル信号に変換されたものに対して、音節検出部１４がアタック部等を検出する。なお、デジタル信号に変換された楽音信号（「入力楽音信号」）は、テンポ算出部３８を除くシングルノート評価部３００の各算出部（音量安定度算出部３０、音高・音高安定度算出部３１、音色安定度算出部３２、リッチネス算出部３４およびアーティキュレーション判定部３６の各部）に供給されると共に、音節検出部１４が検出したアタック部等を示す情報は、シングルノート評価部３００の各算出部（音量安定度算出部３０、音高・音高安定度算出部３１、音色安定度算出部３２、リッチネス算出部３４、アーティキュレーション判定部３６およびテンポ算出部３８の各部）に供給される。
【００６６】
次に、ステップＳ４０２、ステップＳ４０４、ステップＳ４０６、ステップＳ４０８、ステップＳ４１０およびステップＳ４１２の各ステップにおいて、シングルノート評価を行う。具体的には、まずステップＳ４０２において、音量安定度算出部３０は「音量安定度」を算出し、算出した「音量安定度」を示す情報を音量一貫性算出部４０に出力する。次に、ステップＳ４０４において、音高・音高安定度算出部３１が、「音高（ピッチ）」および「音高安定度」の算出を行って、算出した「音高」および「音高安定度」を示す情報を音高正確性算出部４２に出力する。次いで、ステップＳ４０６において、音色安定度算出部３２は「音色安定度」を算出して、算出した「音色安定度」を示す情報を音色良好性算出部４４に出力する。
【００６７】
更に、ステップＳ４０８において、リッチネス算出部３４は「リッチネス」を算出し、算出した「リッチネス」を示す情報を音色良好性算出部４４に出力する。次に、ステップＳ４１０において、アーティキュレーション判定部３６は「アーティキュレーション」の良し悪しを判定し、アーティキュレーション判定結果を示す情報をアーティキュレーション一貫算出部４６に出力する。そして、ステップＳ４１２において、テンポ検出部３８は、音節検出部１４の出力から「テンポ」を算出し、算出した「テンポ」を示す情報をテンポ一貫性算出部４８に出力する。各指標（音量安定度、音高・音高安定度、音色安定度、リッチネス、アーティキュレーション、テンポ）等の算出処理は、参考特徴量記憶部２０に記憶された参考特徴量を参照して行う。かくして、シングルノート評価部３００による評価処理が完了する。
【００６８】
次に、ノート間評価部４００による評価処理について説明する。ノート間評価部４００による処理は、ステップＳ４５０、ステップＳ４５２、ステップＳ４５４、ステップＳ４５６、ステップＳ４５８からなる。まず、ステップＳ４５０において、音量一貫性算出部４０は、音量安定度算出部３０によって算出された「音量安定度」を示す情報を入力して「音量一貫性」を算出し、算出した「音量一貫性」を示す情報を出力する。次に、ステップＳ４５２において、音高正確性算出部４２は、音高・音高安定度算出部３１によって算出された「音高および音高安定度」を示す情報を入力して「音高正確性」を算出し、算出した「音高正確性」を示す情報を出力する。
【００６９】
次に、ステップＳ４５４において、音色良好性算出部４４は、音色安定度算出部３２によって算出された「音色安定度」と、リッチネス算出部３４によって算出された「リッチネス」とを入力し、「音色良好性」を算出し、算出した「音色良好性」を示す情報を出力する。更に、ステップＳ４５６において、アーティキュレーション一貫性算出部４６は、アーティキュレーション判定部３６によって「アーティキュレーション」に関する判定処理をし、その「アーティキュレーション」に関する判定結果を示す情報を出力する。
【００７０】
そして、ステップＳ４５８において、テンポ一貫性算出部４８は、テンポ算出部３８によって算出された「テンポ」を示す情報を入力して「テンポ一貫性」を算出し、算出した「テンポ一貫性」を示す情報を出力する。音量一貫性、アーティキュレーション一貫性、テンポ一貫性、音高正確性、音色良好性等の指標算出処理は、参考特徴量記憶部２０に記憶された参考特徴量を参照して行うことは既に説明した通りである。かくして、ノート間評価部４００による評価処理が完了する。なお、この実施形態では、各算出部４０〜４８が算出する算出結果は「０」点〜「１００」点の得点情報である。
【００７１】
そして、ステップ４８０において、総合得点算出部５０は、音量一貫性算出部４０、音高正確性算出部４２、音色良好性算出部４４、アーティキュレーション一貫性算出部４６およびテンポ一貫性算出部４８のそれぞれによって算出された得点値の総和を求める。また、評価結果出力部６０は、総合得点算出部５０が求めた値を出力したり、各算出部４０〜４８が出力した得点値を自身が出力したりする。以上のようにして、演奏練習支援装置１が動作する。
【００７２】
以上のように、本発明の実施形態の演奏練習支援装置１によれば、様々な種類の演奏等の機械学習等によって蓄積された情報（特徴量等）を参照して、任意のテンポでのスケール演奏の「テンポ一貫性」等の良し悪しを評価して改善すべき点を確認することができる。つまり、本装置１によれば、熟練評価者のように評価することができるので、ユーザーがより良い楽音を発する演奏を習得することを支援することができる。なお、この実施形態では、ノート間評価部４００において、上述の５項目を評価してユーザーに知らせる構成としたが、これ以外の項目を評価する構成としても良く、最低限「音高」、「テンポ」を評価する装置であれば良い。
【００７３】
（第２実施形態）
（装置構成）
図７には第２の実施形態の演奏練習支援装置２等の構成例を示す。この実施形態においては、演奏練習支援装置２が、通信網６を介して端末装置５００との通信を行うための通信制御部４５０を備えている点に特徴がある。つまり、演奏練習支援装置２は、図１に示す演奏練習支援装置１に通信制御部４５０を追加して構成することができる。この通信制御部４５０は、ソフトウエアおよび／またはハードウエアによって実現可能である。また、端末装置５００は、練習者であるユーザー側（クライアント側）の端末である。一方、ユーザーの練習に対して評価を行う演奏練習支援装置２は、サーバー側の装置となる。
【００７４】
図７においては、通信網６を有線のように図示しているが、携帯電話の無線通信網も利用することが可能である。つまり、通信網６は、３Ｇ、４Ｇ（ＬＴＥ）回線等の無線通信網でも良いし、同軸ケーブル・電話線・光ファイバ等の有線通信網でも良い。端末装置５００は、所要の情報を入力するための入力部３と、所要の情報を出力する出力部４と、装置内の動作制御や装置外デバイス等との通信制御等を行う制御部５とを有して構成される。この端末装置５００はノート型やデスクトップ型のＰＣでも良いし、これより小型で可搬性に富むタブレット型コンピュータでも良いし、更には携帯電話（「ガラ携」等とも称する）・スマートフォンのような小型の情報デバイスであっても良い。
【００７５】
そして、以下に示す動作を行うためには、特別なアプリケーション（スマートフォンではアプリ）をインストールしても良いし、ブラウザ等の既存のソフトウエアを利用する構成としても良い。また、通信網６内に存在する不図示のプロバイダサーバ、あるいは、本装置２自身が、ＷＷＷウエブサイトを提供する構成とすることも可能である。
【００７６】
（動作）
まず、ステップＡにおいて、入力部３を介して、ユーザーが楽器をスケール演奏したデジタル録音情報が入力されると、制御部５によってこれが送信される。この工程は、サーバー側の演奏練習支援装置２に対し評価を要求する「リクエスト」である。これを通信網６を介して通信制御部４５０が受け取り、演奏練習支援装置２は評価処理を先に説明したようにして行う。
【００７７】
次に、ステップＢにおいて、サーバー側である演奏練習支援装置２の通信制御部４５０は、評価結果を通信網６を介して端末装置５００に送信する。この工程は、評価結果出力を行う「リスポンス」である。このようにしてたとえ端末装置５００が遠隔地に存在していてもサーバーとなる演奏練習支援装置２を設置すれば演奏に対する評価を得ることができる。また、先に説明したように、この端末装置５００は一般的なＰＣ、タブレット型端末、スマートフォンを用いても良いし、専用の端末装置を用いるようにしても良い。
【００７８】
以上の実施形態において様々な変形例が挙げられる。例えば、算出部の種類を増やしたり減らしたりすること、評価結果出力を他のＧＵＩを利用して行うこと等が挙げられるが、本発明の範囲はここに記載したもののみではないことは言うまでもない。また、機械学習の進化によってテンポが所定値でも各算出部によって相当程度良好な指標が求まるようになることもあり得る。
【産業上の利用可能性】
【００７９】
以上説明してきたように、本発明は、楽器の練習支援を含む音楽分野に広く利用することができる。
【符号の説明】
【００８０】
１  演奏練習支援装置
２  演奏練習支援装置
１０  入力部
１２  Ａ／Ｄ変換部
１４  音節検出部
３０  音量安定度算出部
３１  音高・音高安定度算出部
３２  音色安定度算出部
３４  リッチネス算出部
３６  アーティキュレーション判定部
３８  テンポ算出部
４０  音量一貫性算出部
４２  音高正確性算出部
４４  音色良好性算出部
４６  アーティキュレーション一貫性算出部
４８  テンポ一貫性算出部  
５０  総合得点算出部
６０  評価結果出力部
２０  参考特徴量記憶部  
３００  シングルノート評価部
４００  ノート間評価部
４５０  通信制御部
５００  端末装置
【図１】
0006584230.tif 000006
【図２】
0006584230.tif 000007
【図３】
0006584230.tif 000008
【図４】
0006584230.tif 000009
【図５】
0006584230.tif 000010
【図６】
0006584230.tif 000011
【図７】
0006584230.tif 000012