(57)【特許請求の範囲】
【請求項１】
手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力する基準演奏入力手段、および、
ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力するユーザ演奏入力手段、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成手段、
を有することを特徴とする演奏表示装置。
【請求項２】
前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項１に記載の演奏表示装置。
【請求項３】
前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項１に記載の演奏表示装置。
【請求項４】
前記ユーザ演奏入力手段は、前記ユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを、前記ユーザの演奏操作に応じて実時間で入力し、
前記画像データ作成手段は、前記ユーザ演奏表示図形を、前記ユーザ演奏の発音イベントの前記発生タイミングに対応した位置を中心位置としてタイミング軸方向に、前記ユーザ演奏操作に応じて実時間で表示するための画像データを作成する、
ことを特徴とする請求項１ないし３のいずれか１項に記載の演奏表示装置。
【請求項５】
手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップ、
を有することを特徴とする演奏表示方法。
【請求項６】
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項５に記載の演奏表示方法。
【請求項７】
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項５に記載の演奏表示方法。
【請求項８】
手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、
前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップ、
をコンピュータに実行させるための演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成することを特徴とする請求項８に記載の演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１０】
前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示することを特徴とする請求項８に記載の演奏表示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザが演奏しているときなどにおいて、ユーザ演奏と、手本となる演奏との相違を、ユーザに可視表示する演奏表示装置および演奏表示方法に関するものである。
【０００２】
【従来の技術】
従来、演奏表示装置として、手本となる演奏を演奏の進行に伴って画面上に表示させるものが知られている。ユーザは、表示された手本に沿って演奏することができる。従来の演奏表示装置では、ユーザが演奏する発音のタイミングとその楽器種類あるいは音高などが、手本のものと異なったときに、この誤演奏に対応するお手本部分を、通常とは異なる色に変更することにより、ユーザに誤演奏を知らせていた。したがって、従来の演奏表示装置によれば、ユーザにとって、誤演奏を行った部分は理解できる。しかし、どのような間違い演奏をしたのかをユーザは確認できなかった。
【０００３】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、ユーザの演奏と手本の演奏との差をわかりやすく伝えることができる演奏表示装置および演奏表示方法を提供することを目的とするものである。かつ、ユーザが演奏中でも、演奏の差を迅速に伝えることができる演奏表示装置および演奏表示方法を提供することを目的とするものである。
【０００４】
【課題を解決するための手段】
請求項１に記載の発明においては、演奏表示装置において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力する基準演奏入力手段、および、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力するユーザ演奏入力手段、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成手段を有するものである。
したがって、円形図形として表示される基準演奏表示図形およびユーザ演奏表示図形の中心位置の差により、ユーザの演奏操作による発音イベントの発生タイミングが、手本の演奏からどのようにずれているか、あるいは、間違っているかを、わかりやすく伝えることができる。
さらに、円形図形の大きさにより、ユーザ演奏と手本演奏とにおけるベロシティ、例えば、打撃の強さの違いを簡単に識別できるようになる。
打楽器演奏の場合、例えば、発音指示イベントのタイミング位置に演奏表示図形が表示される。
【０００５】
請求項２に記載の発明においては、請求項１に記載の演奏表示装置において、前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、基準演奏表示図形およびユーザ演奏表示図形を異なる表示態様で表示されることにより、ユーザ演奏と手本演奏との違いを簡単に見分けることができる。
複数の打楽器演奏の場合、共通のタイミング軸は、例えば、各打楽器毎に設けられる。
【０００６】
請求項３に記載の発明においては、請求項１に記載の演奏表示装置において、前記画像データ作成手段は、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、基準演奏表示図形およびユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色を有する表示図形で表示することにより、基準演奏表示図形およびユーザ演奏表示図形が重なっても、ユーザ演奏と手本の演奏を簡単に識別することができるようになる。
【０００８】
請求項４に記載の発明においては、請求項１ないし３のいずれか１項に記載の演奏表示装置において、前記ユーザ演奏入力手段は、前記ユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを、前記ユーザの演奏操作に応じて実時間で入力し、前記画像データ作成手段は、前記ユーザ演奏表示図形を、前記ユーザ演奏の発音イベントの前記発生タイミングに対応した位置を中心位置としてタイミング軸方向に、前記ユーザ演奏操作に応じて実時間で表示するための画像データを作成するものである。
したがって、ユーザは、演奏の進行に合わせて演奏の遅れや誤演奏の内容を確認できるから、以後は、演奏しながら間違いを正していくことができるようになる。簡単に確認できる表示であるため実時間での確認も苦にならず演奏進行の妨げにならない。
【０００９】
請求項５に記載の発明においては、演奏表示方法において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップを有するものである。
したがって、演奏表示方法として、請求項１に記載の演奏表示装置と同様の作用を奏する。
【００１０】
請求項６に記載の発明においては、請求項５に記載の演奏表示方法において、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、演奏表示方法として、請求項２に記載の演奏表示装置と同様の作用を奏する。
【００１１】
請求項７に記載の発明においては、請求項５に記載の演奏表示方法において、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、演奏表示方法として、請求項３に記載の演奏表示装置と同様の作用を奏する。
【００１３】
請求項８に記載の発明においては、コンピュータ読み取り可能な記録媒体において、手本となる基準演奏の発音イベントおよび該発音イベントの発生タイミングを出力するとともに、ユーザの演奏操作に応じてユーザ演奏の発音イベントおよび該発音イベントの発生タイミングを出力する演奏入力ステップと、前記基準演奏の発音イベントを表す基準演奏表示図形と、前記ユーザ演奏の発音イベントを表すユーザ演奏表示図形との両者を、前記基準演奏表示図形を前記基準演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、および、前記ユーザ演奏表示図形を前記ユーザ演奏の発音イベントのベロシティの大きさに応じた大きさの円形図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成する画像データ作成ステップをコンピュータに実行させるための演奏表示プログラムを記録したものである。
したがって、請求項５に記載の演奏表示方法を実現するプログラムを提供する。
【００１４】
請求項９に記載の発明においては、請求項８に記載のコンピュータ読み取り可能な記録媒体であって、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形とを互いに異なる表示態様として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するための画像データを作成するものである。
したがって、請求項６に記載の演奏表示方法を実現するプログラムを提供する。
【００１５】
請求項１０に記載の発明においては、請求項８に記載のコンピュータ読み取り可能な記録媒体であって、前記画像データ作成ステップは、前記基準演奏表示図形および前記ユーザ演奏表示図形の少なくとも一方を、透明あるいは半透明色の部分を有する表示図形として、前記各発生タイミングに対応した位置を中心位置として共通のタイミング軸上に表示するものである。
したがって、請求項７に記載の演奏表示方法を実現するプログラムを提供する。
【００１７】
【発明の実施の形態】
図１は、本発明の実施の一形態のブロック構成図である。
１はユーザ演奏入力部であって、ユーザ演奏操作子の操作入力に基づいてユーザ演奏を入力する。ユーザは、１または複数種類の演奏操作子を操作する。２は表示制御情報抽出部であって、ユーザ演奏入力部１から、例えば、発音イベントのベロシティ、ノートナンバ、および、発生タイミングを表示制御情報として抽出する。
３は手本演奏入力部であって、楽曲データ記憶部などから手本となる基準演奏（手本演奏）を含む楽曲データを読み出す。４は表示制御情報抽出部であって、手本演奏入力部３から、この楽曲データのユーザ演奏パートにおける、例えば、発音イベントのベロシティ、ノートナンバ、および、発生タイミングを表示制御情報として抽出する。
【００１８】
５は画像データ作成部であり、ユーザ演奏と手本の演奏の発音イベントを、それぞれのノートナンバおよびベロシティに応じた表示図形として、それぞれのノートナンバおよび発生タイミングに応じた位置に表示するための画像データを作成する。また、ユーザ演奏操作に対してユーザ演奏を実時間で表示する。その結果、ユーザに対し、ユーザ演奏と手本演奏との相違をわかりやすくかつ迅速に伝えることができる。その内部構成として次に説明する複数のブロックを有する。
【００１９】
６は表示図形選択部であって、表示制御情報抽出部２で抽出されたユーザ演奏の発音イベントに対し、例えば、そのノートナンバおよびベロシティに応じて表示図形を選択する。
７は表示位置計算部であって、同じく、ユーザ演奏の発音イベントに対し、例えば、ノートナンバおよび発生タイミングに応じて表示図形の表示位置を計算する。
８は背景画像作成および表示位置計算部であって、打楽器種類名の文字表示図形（フォント）や座標目盛線の図形などの背景画像、手本演奏の進行を示す白棒やタイミング数値のフォント図形などの作成および各図形の表示位置の計算を行う。
９は表示図形選択部であって、表示制御情報抽出部４で抽出された手本演奏の発音イベントに対し、例えば、そのノートナンバおよびベロシティに応じて表示図形を選択する。
１０は表示位置計算部であって、同じく、手本演奏の発音イベントに対し、例えば、ノートナンバおよび発生タイミングに応じて表示図形の表示位置を計算する。
【００２０】
１１は画像データ合成部であって、表示図形選択部６，９、背景画像作成および表示位置計算部８、および、表示位置計算部７，１０の出力する表示データを合成して演奏表示に関する画像データを作成する。
１２は演奏表示画像メモリであって、画像データを合成処理するのに用いる。例えば、演奏表示画面に対応する画像メモリ領域を少なくとも３カ所用意しておく。
表示図形選択部６および表示位置計算部７により作成されるユーザ演奏の発音イベントの表示図形のみを含む１枚の表示画像、表示図形選択部９および表示位置計算部１０により作成される手本演奏の発音イベントの表示図形のみを含む１枚の表示画像、および、背景画像作成および表示位置計算部８の出力する背景画像のみを含む１枚の表示画像を、それぞれの画像メモリ領域に一旦蓄積する。
【００２１】
画像表示制御部１３に表示画像データを出力するときに所望の画像となるように、各表示画像を合成して読み出すようにすれば、合成形態を自由に設定することができる。
なお、図２を参照して後述する白棒２７の表示画像については、演奏の進行とともに移動するので、背景画像作成および表示位置計算部８で作成する代わりに、独立した表示画像を作成してもよい。
以上の、表示図形選択部６から演奏表示画像メモリ１２までが画像データ作成部５の内部構成である。
【００２２】
１３は画像表示制御部であって、画像データ合成部１１により合成された画像データに基づいて、ディスプレイの演奏表示画面を制御する。
ユーザ演奏の発音イベントを表す表示図形は、演奏の進行とともに順次表示される。
一方、手本演奏の発音イベントを表す表示図形は、演奏表示画面のページ切り換えのタイミングで、１ページ分に対応する演奏期間中に発生する発音イベントの表示位置の計算値を出力する。
１４は楽音合成部であって、ユーザ演奏入力部１の出力、および、手本演奏入力部３から出力されるユーザ演奏パート以外の演奏パートの出力を入力して、楽音を合成する。１５はサウンドシステムであって、楽音合成部１４で合成された楽音に効果を付与し、増幅してスピーカに出力する。
【００２３】
この実施の形態において、ユーザがリズム演奏パートを演奏する場合（リズム演奏パートをユーザ演奏パートに選択した場合）について説明する。
手本とする楽曲データ中のリズム演奏パート内には、複数種類の打楽器の演奏イベントが混在して記憶されている。楽曲データの記憶形式が、ＳＭＦ（Standard MIDI File）であるときには、ノートナンバで打楽器種類が表される。したがって、表示位置計算部１０は、ノートナンバを参照して、複数種類の打楽器の演奏表示図形がその種類に応じた行に分割して表示されるように、画像の縦軸方向の位置を計算する。
一方、ユーザが演奏に利用する複数の演奏操作子には、予め打楽器種類を表すノートナンバが割り当てられている。したがって、表示位置計算部７は、いずれの演奏操作子が操作されたかを検出し、そのノートナンバに応じた行に、ユーザ演奏の発音イベントを表す図形を表示ずる。表示は、ユーザ演奏と同時の実時間（リアルタイム）で行われる。
【００２４】
手本演奏の発音イベントに応じた表示図形、および、ユーザ演奏の発音イベントに応じた表示図形を、ノートナンバ毎、この例では打楽器種類毎に、互いに識別可能な表示態様とする。表示位置計算部７，１０は、両者を、共通のタイミング軸上において、各発音イベントの発生タイミング、すなわち、打撃タイミングに対応した位置に、重なりを許して表示する。
共通のタイミング軸上に表示する場合には特に、ユーザ演奏の発音イベントに応じた表示図形および手本演奏の発音イベントに応じた表示図形とを互いに識別可能とする必要がある。
表示図形選択部６，９は、表示図形の形状あるいは色、模様などを異ならせたり、特に、一方が透明色の部分を有するものにしたりして、表示図形の表示態様が異なるものを選択する。
また、手本演奏を表示する表示図形、ユーザ演奏を表示する表示図形の大きさは、それぞれの演奏のベロシティの大きさ（打撃力の強さ）に応じたものを選択する。その結果、ベロシティの大きさの差も一見しただけで知ることができる。
【００２５】
図２は、図１に示した実施の形態におけるディスプレイの演奏表示画面の一例を示す図である。
図２（ａ）は演奏表示画面の切り換わり直後の状態を示す図である。図２（ｂ）は演奏表示画面の切り換わり後の中途状態を示す図である。図２（ｃ）は、演奏表示画面の他の例を示す図である。
図２（ａ）において、２１は打楽器名の表示領域、２２は曲データの小節番号による座標目盛値、２３は座標目盛である。縦軸方向は打楽器の種類を表し、打楽器別の領域を複数行に並べている。横軸方向は演奏の時間経過をとっている。２小節およびその前後の部分を単位として手本が表示される。
【００２６】
手本の発音イベントは、楽器種類毎の行において、手本の発音イベントの発生タイミングに対応する時間軸位置に、円形図形で表示される。なお、図面では、破線のハッチングによって色表示に代えている。
２４は有色（有彩色に限らず無彩色を含む）の円形図形であって、楽器「シンバル」に関し、手本となる発音イベントの発生タイミングを表す。２５も有色の円形図形であって、楽器「スネアドラム」に関し、手本となる発音イベントの発生タイミングを表す。２６は有色の円形図形であって、楽器「ハイハット」に関し、手本となる発音イベントの発生タイミングを表す。
【００２７】
円形図形２４，２５，２６は同色でもよいが、楽器種類毎に異なるものとすれば見やすくなる。これら円形図形２４，２５，２６の大きさは、手本となる発音イベントのベロシティ（打撃力）の大きさに応じて決められる。予め複数の大きさの円形図形をメモリに記憶させておき、ベロシティの大きさに応じたものを選択的に読み出す。
図中、２７は白棒であって、演奏の現在位置を表し、演奏進行とともに右方向に移動する。
２小節分の演奏時間が経過する毎に、演奏表示画面がページ切り換えされる。このとき、手本の演奏の円形図形２４，２５，２６および座標目盛値２２の表示が、２小節後の期間に応じたものに切り換わる。白棒２７は、再左端に移動して再び右方向に移動を始める。
【００２８】
図２（ｂ）において、２８は、ユーザ演奏の発音イベントを表示する円形図形であって、打楽器毎の行において、発音イベントの発生タイミングに対応する位置に、上述した手本演奏の発音イベントを表示する円形図形２４，２５，２６と識別が可能なような表示図形で表示される。円形図形２８は、図形内の模様としてハッチングが施されている。輪郭線およびハッチング線は、円形図形２４，２５，２６の色とは異なる色である。したがって、円形図形２８と、円形図形２４，２５，２６との両表示図形は、色および模様の相違で識別可能である。また、外形状を異ならせて、一方を円形、他方を三角形としてもよい。
その結果、ユーザ演奏の発音タイミングが、手本演奏の発音タイミングに比べて、全体的にずれているか、間違っているか、あるいは、演奏する打楽器を間違えているかなどを、一見しただけで知ることができる。
【００２９】
図示の円形図形２８は、さらに、図形内の模様の地部分を透明色としている。したがって、ユーザ演奏の発音イベントの発生タイミングと手本演奏の発音イベントの発生タイミングとが接近あるいは一致した場合でも、円形図形２８の地部分を通して手本演奏の発音イベントの発生タイミングおよびベロシティを視認できる。
この透明色は、画像メモリ上において、重なり合う図形があるときに、重なり合う相手の図形を表示することにより実現される。
【００３０】
図示の例では、ユーザの演奏した発音イベントには、その色、模様も含めて、楽器種類に係わらず同一の表示図形を使用している。しかし、輪郭線およびハッチング線を打楽器種類に応じて異なる色にしてもよい。ただし、円形図形２４，２５，２６の色と同じでは識別できないときがあるので、楽器種類に応じた、それぞれの円形図形２４，２５，２６の色と色相が同じで明度（強度）のみが異なるようにするとよい。
なお、ユーザ演奏を表示する円形図形２８の方ではなく、手本演奏を表示する円形図形２４，２５，２６の方の図形を透過型にしてもよい。要は、双方の表示図形が重なった場合にでも、双方の表示図形が視認できるものであればよい。
【００３１】
より一般的には、ユーザ演奏を表示する表示図形および手本演奏を表示する表示図形は、いずれか一方を前面図形、他方を後面図形とする。
かつ、前面図形の色の明度（強度）に不透明度（０≦不透明度≦１）を設定し、前面図形の色は不透明度を乗算した明度で表示され、後面図形の色は、透明度（透明度＋不透明度＝１）を乗算した明度で表示されるようにする。その結果、前面図形は半透明色（Translucent Colour）となる。
図１を参照して説明したように、画像データ合成部１１が、複数の表示画像を合成して１枚の表示画像を出力する場合には、上述した前面，後面，不透明度を自由に設定することができる。
【００３２】
図示のリズムパート（リズム演奏パート）の演奏例では、ユーザ演奏や手本の表示として円形図形を用いることにより、発音イベントの発生タイミングである打撃時点をわかりやすくした。打楽器は複数のものが同時使用されるので、楽器種類別に表示行を縦軸方向に並べ、横軸方向に発音イベントの発生タイミングを割り当てた。
これに対し、メロディあるいはコードパートであれば、キーオンイベント（ノートオンに対応する発音指示イベント）の発生タイミングに加えて、音高（ノートナンバに対応する）、および、キーオフイベント（ノートオフに対応する発音停止指示イベント）の発生タイミングを表示する必要があるので、例えば、ピアノロール表示とする。
【００３３】
すなわち、音高位置を縦方向に配列し、１つの発音のキーオンイベントからキーオフイベントまでの発音期間を１つの発音に関するイベントとして取り扱い、横の時間方向に、演奏表示図形として１本の棒状図形で表示する。
この場合、図１に示した表示図形選択部６，９は、表示図形の色や模様、基本形状（例えば、矩形の棒状、丸みを帯びた棒状）、および、ベロシティに応じた棒の幅を規定するデータのみを出力し、棒状表示の具体的な形状は、表示位置計算部７，１０で作成する。
【００３４】
鍵盤演奏ではなく、管楽器演奏の場合、音高の表示に代えて、指で押さえる穴の位置を表示するようにしてもよい。時間軸方向は、ピアノロール表示と同様でよい。
また、コード演奏に特化した表示形式としては、表示図形として、フォントで表示されるコードネームの表示を用いて、コード演奏位置に表示してもよい。
ギター演奏の場合、タブ表示やフレット表示でもよい。特に、フレット表示の場合、現在のコードのフレット位置を示すページと次のコードのフレット位置を示すページを左右に配置して表示してもよい。演奏の進行とともに、順にページが切り替わる。
より高度な演奏表示形式としては、音符を表示する楽譜形式であってもよい。要は、演奏すべき手本のイベントとユーザが演奏したイベントとが、視覚的に容易に認知できるものであればよい。
【００３５】
なお、上述した説明では、フレット表示の場合以外は、手本となる演奏の表示を数小節のページ単位で更新し、ユーザ演奏の表示は、演奏の時間進行とともに逐次表示するものを説明した。これに代えて、手本となる演奏の表示も演奏の時間進行とともに、表示を逐次更新するようにしてもよい。
【００３６】
図２（ａ），図２（ｂ）において、ユーザ演奏表示図形および手本演奏表示図形とは、発音イベントの発生タイミングが同じであれば、タイミング軸方向の同じ位置に重なるように表示した。
しかし、図２（ｃ）の円形表示図形２４，２５，２６と円形表示図形２８のように、ユーザ演奏表示図形と手本演奏表示図形とが重ならないように、表示位置を、隣接した異なる行に表示させてもよい。あるいは、行の区別をしない場合でも、タイミング軸に直交する方向に両図形の表示位置をずらせて表示させるか、擬似３次元表示をするために、タイミング軸と斜めに交叉する方向に両図形の表示位置をずらせて表示してもよい。
【００３７】
ユーザ演奏や手本演奏の表示をどのような態様にするかは、演奏パートや操作子の種類、楽器の種類などに応じて自動的に選択したり、ユーザが自由に設定したりできるようにしてもよい。例えば、表示態様を円形図形から楽譜あるいはタブ譜に切り換えたり、表示図形の色や模様、形状を変更したりする。
図示の例では、ベロシティに応じて表示図形の大きさを異ならせたが、ベロシティの大きさに係わらず、同じ大きさの表示図形を選択して表示させてもよい。また、手本となる演奏を複数の打楽器について表示したが、練習しようとする１または複数の打楽器の種類に合わせて、表示する打楽器の数および種類を任意に設定してもよい。
【００３８】
図３は、本発明の実施の一形態を実現するハードウエア構成図である。
本発明の演奏表示装置は、サウンドカードを増設するなどして、音源やＤ／Ａ変換器が内蔵されたパーソナルコンピュータにおいて、オペレーティングシステムの上で演奏表示プログラムを実行することにより実現される。演奏表示プログラムは、単独のソフトウエアとしてインストールされるほか、楽器演奏教習ソフトウエアプログラム、あるいは、シーケンサソフトウエア等に含まれた形でインストールされる。
【００３９】
図中、３１はバス、３２はＲＯＭ（Read Only Memory）であって基本入出力システム（ＢＩＯＳ）プログラムなどが記憶されている。３３はＲＡＭ（Random Access Memory）であって、ＣＰＵ３４が処理を遂行するのに必要なワーキングエリアが設けられている。３４はＣＰＵ（Central Processing Unit)、３５はプログラムの割込タイミング等を制御するタイマである。
３６は外部記憶装置であって、ＦＤＤ（Flexible Disk Drive），ＨＤＤ（Hard Disk Drive），ＭＯ（Magneto Optical disk）ドライブ，ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）ドライブ，ＤＶＤ（Digital Versatile Disk）ドライブ等である。ＨＤＤには、オペレーティングシステムプログラムおよび演奏表示プログラムを含むアプリケーションプログラムがインストールされ、実行時にＲＡＭ３３に読み出される。手本となる楽曲データあるいは自動演奏用の楽曲データも記憶される。ＣＤ−ＲＯＭドライブは、ＣＤ−ＲＯＭに記憶されているソフトウエアプログラムや上述した楽曲データを読み出しＨＤＤに記憶する。
【００４０】
３７は電子楽器であって、鍵盤楽器タイプでは、演奏操作を入力する鍵盤を有し、打楽器演奏用のパッドを備える場合もある。電子楽器としては、電子打楽器、電子吹奏楽器、電子弦楽器などがあり、それぞれ固有の操作子を有する。
３８はＭＩＤＩインタフェースであって、電子楽器３７あるいはＭＩＤＩ鍵盤などのＭＩＤＩ機器をバス３１に接続する。
３９は操作子であって、パーソナルコンピュータに付属し、各種の設定を行うために用いるマウスやキーボードなどである。演奏表示形態を制御したり、手本となる楽曲データの記録再生、停止等の指示、楽音パラメータ等の設定入力をする。簡便にはこの操作子を、打楽器などの演奏入力操作子とすることも可能である。
【００４１】
４０は操作子３９の操作状態を検出する検出回路、４１はディスプレイであって、演奏表示を行うほか、設定メニュー等を可視表示する。４２はディスプレイ４１のための表示回路である。４３は音源回路４４で生成された楽音信号が入力され、増幅してスピーカ等に出力するサウンドシステム、４４は音源回路であって、電子楽器３７からバス３１を介して入力された演奏データに応じて楽音信号を合成し、ディジタルアナログ変換器（ＤＡＣ）によってアナログ波形信号に変換する。
ＤＳＰ（Digital Signal Processor）を含んで、生成された楽音信号に残響効果を付す場合もある。ＰＣＭ波形データを記憶するＲＯＭをサウンドカード上に備える場合もある。
４５は通信ネットワークであって、ＬＡＮ（Local Area Network）や有線の電話網あるいは無線の携帯電話網、インターネット等の通信ネットワークである。４６は通信インタフェースであって、通信ネットワークとバスとの間のインタフェースであって、通信ネットワークを介して、サーバと接続する。
【００４２】
ＣＰＵ３４は、電子楽器３７から入力された演奏データ、操作子３９からの制御データ等に対し、ＲＡＭ３３を用いて処理を行い、演奏表示プログラムを実行することにより演奏表示画像を作成するとともに、各種設定メニュー画面をディスプレイ４１に表示するなどの、画像表示制御を行う。また、演奏データに応じて音源回路４４を制御する。
外部記憶装置３６が、記録再生可能な装置である場合には、ユーザの演奏データを楽曲データとして記録再生することができる。
また、音源回路４４の機能は、Ａ／Ｄ変換器を内蔵し、コーデック（ＣＯＤＥＣ）ドライバソフトウエアがインストールされていれば、ＣＰＵ３４とオペレーティングシステム（ＯＳ）の下で実現させることができる。
【００４３】
演奏表示プログラムなどのアプリケーションプログラム、手本用あるいは自動演奏用の楽曲データは、通信インタフェース４６を介して、通信ネットワーク４５上の図示しないサーバから外部記憶装置３６のＨＤＤにダウンロードしてもよい。
クライアントとなるこのパーソナルコンピュータは、サーバにアプリケーションプログラムや楽曲データのダウンロード要求コマンドを送信する。サーバは、このコマンドを受信し、要求されたアプリケーションプログラムや各種楽曲データを、パーソナルコンピュータに配信し、外部記憶装置３６のＨＤＤに記憶させる。
図示を省略したが、ＩＥＥＥ１３９４（ｍＬＡＮ）端子、あるいはＲＳ２３２Ｃ端子を備えて、外部の操作入力手段、手本用の楽曲データ入力手段、あるいは、外部の音源装置に接続してもよい。
上述した説明では、演奏表示装置をパーソナルコンピュータ上で実現する場合について説明したが、表示部を備えた専用の電子楽器で実現することもできる。あるいは、表示部および操作入力手段を備えた携帯電話機などにおいて実現することもできる。
【００４４】
図４は、本発明の実施の一形態において、楽曲データファイルの一構成例の説明図である。
楽曲データは、例えば、設定情報部、および、メロディパート，コードパート，リズムパートなどの複数の演奏パートを有している。設定情報部は、楽曲データ全般の設定に関する各種の情報、例えば、再生テンポ、各演奏パートの音色（リズムパートは除く）、音量などの情報が記憶されている。メロディパートにはメロディに相当する演奏内容、コードパートには和音の演奏内容、リズムパートには複数の打楽器の演奏内容が記憶されている。
【００４５】
各演奏データは、イベントの発生タイミングとそのイベント内容を１単位として、それぞれ演奏の時間順に記憶されている。
図２に示した、リズムパート演奏の例では、発音に関するイベントデータとして、発音させる打楽器種類を表すノートナンバとベロシティが含まれる。
メロディパートとコードパートには、発音に関するイベントとして、発音指示に対応するノートオンイベント、発音終了指示に対応するノートオフイベントがある。ノートオンイベントは、発音させる音高とベロシティのデータを持つ。ノートオフイベントには、消音させる音高が含まれる。ノートオフイベントを用いないで、ノートオンイベントに、発音長を表すゲートタイムのデータを持たせてもよい。
各演奏パートには、例えば、リズムパートについて図示するように、各イベントの発生タイミングがわかるタイミングデータとイベントデータの組が記憶されている。このタイミングデータは、直前のイベントからの時間間隔を表すデュレーションデータ、あるいは、イベントの発生時刻を表すタイミングデータが用いられる。
メロディパートの左手鍵盤領域のノートオンイベントは、その音高の発音そのものを指示しない場合がある。コード演奏モードによっては、押鍵の組み合わせによって特定の和音の発音を指定する。
なお、楽曲データの各演奏パートには、発音に関するイベント以外のイベントデータも含まれているので、図２に示す演奏表示画面の表示を行うときには、演奏表示に必要なイベントデータのみを抽出する。
【００４６】
図５は、本発明の実施の一形態の動作を説明するための第１のフローチャートであり、メイン動作の処理を示すものである。
Ｓ６１においては、演奏の練習を始めるか否かを判定し、練習開始を指示する操作がなされたときにはＳ６２に処理を進め、練習開始を指示する操作がなされないときにはＳ６４に処理を進める。
Ｓ６２において、楽曲とその中の練習を行う演奏パートを、例えば、図４に示したメロディパート，コードパート，リズムパートの中から選択する。
【００４７】
Ｓ６３において、楽曲データの最初の読出位置を設定し、選択された練習パート（ユーザ演奏パート）のデータを用いて、演奏練習の最初の画面の表示がなされる。図６を参照して後述するタイマ割込処理は、このステップから開始される。最初の画面とは、例えば、演奏データの最初の２小節分、あるいは、その前後の部分を含む期間の表示画面である。
リズム演奏パートが選択された場合は、例えば、図２（ａ）に示したような演奏表示画面となる。ただし、小節番号は、図示のものとは異なり、一番最初の小節番号が表示される。楽曲データの練習パートから最初の２小節、あるいは、その前後の部分を含む期間において発生する発音に関するイベントが抽出される。発音に関するイベントの打楽器種類およびベロシティに応じた手本演奏表示図形が選択され、選択された手本演奏表示図形の中心が、操作子の打楽器種類（ノートコード）に対応する行における、イベントの発生タイミングに応じた位置に表示される。
【００４８】
なお、練習パートとしてメロディパート（通常は鍵盤楽器の場合である）が選択されている場合には、右手演奏（メロディ演奏）と左手演奏（コードを指定する演奏）の両演奏の発音に関するイベントを別行で表示する。
一方、コードパートが選択されている場合には、コードパートに含まれている複数の楽器（例えば弦楽器や管楽器など）毎に、行を分けて演奏の発音に関するイベントのタイミングを表示する。
【００４９】
Ｓ６４においては、その他の処理として、演奏練習の停止、記録されたユーザ演奏データの再表示、楽曲データを用いての通常の自動演奏、楽曲データの編集、表示画面の各種の設定変更などの処理を行う。なお、後述するタイマ割込処理は、その他の処理が実行されると処理を終了する。
Ｓ６５において、本メイン処理を終了するか否かを判定し、終了しないときにはＳ６１に処理を戻し、終了するときには動作を停止する。
【００５０】
図６は、本発明の実施の一形態の動作を説明するための第２のフローチャートであって、図５に示したＳ６３において起動し、所定数のクロックタイミング毎に割込んで処理が行われるタイマ割込処理を示すものである。
本タイマ割込処理では、手本としての楽曲データを再生するとともに、手本の表示およびユーザの行う演奏の表示を、実時間処理として行う。
Ｓ７１においては、図２に示した白棒２７のような演奏位置表示図形を割込みタイミング毎に時間軸方向に移動させることにより、現在のタイミング位置を表示する。
Ｓ７２において、現在のタイミングにおける各パートのイベントを処理する。具体的には、楽曲データ中、練習パートとして設定されていないパート（例えば、リズムパート以外のパート）において処理すべきイベントの処理を行う。例えば、メロディパートやコードパートの発音処理を行う。また、読み出されたイベントが楽曲データの最終位置を表すイベントであれば、演奏練習を停止させるために、発音中の全楽音を消音し、タイマ割込処理を禁止する処理を行う。
【００５１】
Ｓ７３においては、ユーザ演奏入力があるか否かを判定し、演奏入力があるときにはＳ７４に処理を進め、ないときにはＳ８２に処理を進める。ユーザによって電子楽器の鍵盤、ドラムパッドもしくはペダル、その他の専用の演奏操作子のいずれの操作子が操作されたか否かを検出する。それぞれの演奏操作子には予めノートコードがアサインされている。
Ｓ７４において、ユーザ演奏入力の操作の強さを示すベロシティの大きさを抽出する。
Ｓ７５において、ユーザによって操作された演奏操作子が、いずれの音高の鍵であるか、あるいは、いずれのドラムパッド、ペダルであるかを特定する（操作された操作子にアサインされているノートコード（コードナンバ）を検出する）。
Ｓ７６において、現在のタイミングを、小節あるいはクロック数として抽出する。
【００５２】
Ｓ７７においては、ユーザ演奏表示図形を、ベロシティの値および演奏操作子の種類に応じて選択する。例えば、図１，図２に示した例では、予め、ベロシティに対応した大きさの異なる複数の円形図形が記憶されており、ユーザ演奏のベロシティに応じた大きさの円形図形を選択する。
Ｓ７８においては、演奏操作子と現在タイミングに応じて表示位置を決定する。例えば、リズムパートの場合、操作された操作子の打楽器種類（ノートコード）に対応する行の、現在タイミングに対応する時間軸位置を、ユーザ演奏表示図形の表示位置として決定する。
Ｓ７９においては、Ｓ７７において選択されたユーザ演奏表示図形を、Ｓ７８において決定された表示位置を中心位置として表示することにより、ユーザ演奏表示図形を、演奏操作子の現在タイミングに対応する手本上の位置に表示する。リズム演奏パートが選択されている場合は、例えば、図２（ｂ），図２（ｃ）に示したような演奏表示画面となる。
【００５３】
Ｓ８０においては、ユーザ演奏入力をユーザ演奏データとして記憶する。したがって、ユーザが行った演奏入力は楽曲データとして記録されるから、演奏終了後にも、ユーザ演奏を単独に、あるいは、再び手本と突き合わせて表示することができる。
その際、ユーザの演奏入力に応じたユーザ演奏表示図形と手本演奏表示図形の表示形態としては、ユーザ演奏時のリアルタイム演奏表示の場合と同じ表示形態をとるほか、ユーザ演奏表示図形も、手本演奏表示図形の表示に合わせて、２小節単位、または、その前後の部分を含む期間のページ単位で表示してもよい。
再生したユーザの演奏と手本となる演奏の演奏表示図形を、演奏の進行を途中で一時停止させた状態で表示してもよい。シーケンサソフトで実現されているように、ユーザの演奏表示図形や手本の演奏表示図形をマウスなどで移動させたり、変形させたりすることにより、ユーザの発音イベントの発生タイミングや楽器種類、音高、ベロシティ、発音指示期間などを、表示画面上で編集することができる。
【００５４】
Ｓ８１においては、ユーザ演奏を発音処理する。
Ｓ８２においては、現在のタイミングが手本表示の切り換えタイミングになっているか否かを判定し、切り換えタイミングであるときには、Ｓ８３に処理を進め、まだ切り換えタイミングでないときには、タイマ割込処理の１回の処理を終了する。
【００５５】
図２に示した演奏表示画面の例では、２小節分の時間が経過するときを切り換えタイミングとしていた。Ｓ８３においては、楽曲データに基づいて次の手本を表示する。すなわち、新たな２小節期間、または、その前後の部分を含む期間において発生する発音に関するイベントが抽出される。リズムパートの場合は、この発音に関するイベントの操作子に応じ、かつ、ベロシティに応じた大きさの手本演奏表示図形が選択され、選択された手本演奏表示図形の中心がイベントの発生タイミングに応じた位置になるように表示される。
【００５６】
上述した説明では、ユーザが演奏入力するために利用する操作子として、電子楽器の鍵盤たドラムパッドを用いるものを主に説明したが、専用の操作子を用意して、専用の操作子の各スイッチにノートナンバをそれぞれアサインして利用することもできる。専用の操作子として、打楽器型、管楽器型、弦楽器型など、練習する演奏パートや楽器種類に対応させて種々のものを用いることができる。
パーソナルコンピュータのキーボードの各キーや、ゲーム機の操作スイッチに、それぞれノートナンバをアサインして利用したり、ディスプレイの表示画面上に表示されたスイッチ（ソフト操作子）にノートナンバをアサインして、マウスでソフトスイッチを操作するなど、演奏入力を指示できるものであればどのような操作子あるいは入力装置であってもよい。
【００５７】
通信ネットワークを利用する態様として、サーバとパーソナルコンピュータとを接続してネットワーク教習を行うことができる。
サーバ側で、手本の楽曲データの転送と、手本演奏表示図形の画像表示制御を行う。既に説明したように、手本となる楽曲データをサーバからダウンロードして外部記憶装置に記憶する。このようなダウンロード形式に代えて、サーバは、少量ずつ部分的に、例えば、ページ切り換え表示用の２小節単位、または、その前後の部分を含む期間分ずつ、クライアント側パーソナルコンピュータに順次転送するとともに、ディスプレイ上に手本演奏表示図形を所定位置に表示させるようにしてもよい。
パーソナルコンピュータ側のユーザは、サーバから転送された手本演奏の表示を見ながら演奏を行う。パーソナルコンピュータは、このユーザ演奏に対応してユーザ演奏表示図形を所定位置に表示させる。
その結果、サーバとパーソナルコンピュータの両者が処理分担を行うことにより、ユーザ演奏表示図形と手本演奏表示図形とを同時に表示される。
【００５８】
【発明の効果】
本発明は、上述した説明から明らかなように、ユーザ演奏と手本との相違をわかりやすく伝えることができるという効果がある。また、演奏中において迅速に伝えることができるという効果がある。
【図面の簡単な説明】
【図１】  本発明の実施の一形態のブロック構成図である。
【図２】  図１に示した実施の形態におけるディスプレイの演奏表示画面の一例を示す図である。
【図３】  本発明の実施の一形態を実現するハードウエア構成図である。
【図４】  本発明の実施の一形態において、楽曲データファイルの一構成例の説明図である。
【図５】  本発明の実施の一形態の動作を説明するための第１のフローチャートであり、メイン動作の処理を示すものである。
【図６】  本発明の実施の一形態の動作を説明するための第２のフローチャートであって、タイマ割込処理を示すものである。
【符号の説明】
１…ユーザ演奏入力部、２，４…表示制御情報抽出部、３…手本演奏入力部、５…画像データ作成部、６，９…表示図形選択部、８…背景画像作成および表示位置計算部、７，１０…表示位置計算部、１１…画像データ合成部、１２…演奏表示画像メモリ、１３…画像表示制御部、２１…打楽器名の表示領域、２２…座標目盛値、２３…座標目盛、２４，２５，２６…手本となる演奏の発音イベントを示す円形図形、２７…白棒、２８…ユーザの演奏の発音イベントを示す円形図形。
【図１】
0003826697.tif 000002
【図２】
0003826697.tif 000003
【図３】
0003826697.tif 000004
【図４】
0003826697.tif 000005
【図５】
0003826697.tif 000006
【図６】
0003826697.tif 000007