(57)【要約】      （修正有）【課題】楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする。【解決手段】ＣＰＵは、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する。ＣＰＵは、楽音データに基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成する。ＣＰＵは、第１の軸と第３の軸とを一致させて時間軸として、時間軸、第２の軸、及び第４の軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する。【選択図】図８
2013068657.tif 000002
【特許請求の範囲】
【請求項１】
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記楽譜画像が設けられている２次元平面について、前記第１の軸と前記第２の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている２次元平面について、前記第３の軸と前記第４の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第２の軸及び前記第４の軸から構築される３次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記３次元演奏画像のデータとして生成する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記３次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記３次元演奏画像を生成する
ことを特徴とする請求項１又は２に記載の画像生成装置。
【請求項４】
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項５】
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
【請求項６】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
【請求項７】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
【請求項８】
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、画像生成方法及びそのプログラム、並びに演奏支援装置、演奏支援方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、ピアノ等の鍵盤楽器においては、音高に合わせて鍵盤が配列されている。楽器の演奏に使用される楽譜は、縦方向に音高があり、横方向が時間を示すように構成されており、鍵盤の配列とは一致していないために、楽譜に不慣れな初学者には、楽譜から直接演奏することは困難であった。
【０００３】
近年、コンピュータ音楽では、シーケンスソフト上での演奏情報を視覚化するものとして、楽譜の表示に並んでピアノロールを表示に転用した表示が用いられることがある。ピアノロールとは、元々、オルガン式オルゴールや自動ピアノに取り付けて使用する紙製のロールのことで、演奏情報が紙に穿孔されており、このピアノロールに空気圧をかけ、穿孔部を通してハンマー等を動作させることでピアノ等を自動演奏することができる。
【０００４】
このようなピアノロールを転用した表示（以下、ピアノロールの表示）を用いることで、鍵盤と楽音との配列関係が一致するために、初学者においても直感的に楽音の変化を認識しやすく、楽譜よりも理解が容易になる。
上述したようなピアノロールの表示を行う技術としては、特許文献１に記載のものが知られている。この特許文献１に記載の技術では、演奏するタイミングに合わせて、ピアノロール表示がスクロールするように構成されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１５１７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ピアノロールの表示を用いて、鍵盤の練習を行っていても、押鍵操作の練習にはなるが、最終的に、楽譜を用いて演奏をする場合には、結局のところ鍵盤の配列と不一致な楽譜での練習を行うために、楽譜への理解は、また別途行う必要がある。
そこで、鍵盤楽器の演奏支援を行うものとして、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的に習得できるような表示が求められている。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成する画像生成装置、演奏支援装置、画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様の画像生成装置は、所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明における表示装置の一実施形態に係る電子ピアノの外観を示す図である。
【図２】図１の電子ピアノのハードウェアの構成を示すブロック図である。
【図３】ガイド表示画面に表示されるガイド表示画像の一例を示す模式図である。
【図４】楽譜側画像の生成を説明するための図である。
【図５】ピアノロール側画像の生成を説明するための図である。
【図６】ガイド表示画像の表示のタイミングの一例を示す模式図である。
【図７】図２の電子ピアノが実行するメイン処理の流れを説明するフローチャートである。
【図８】図２の電子ピアノが実行するステップＳ３のガイド表示画像生成処理の流れを説明するフローチャートである。
【図９】図２の電子ピアノが実行するステップＳ４のガイド表示画像表示処理の流れを説明するフローチャートである。
【図１０】図２の電子ピアノが実行するステップＳ５の鍵盤処理の流れを説明するフローチャートである。
【図１１】ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を用いて説明する。
【００１２】
図１は、本発明における演奏支援装置の一実施形態に係る電子ピアノ１の外観を示す図である。
電子ピアノ１は、図１に示すように、鍵盤１１と、スイッチ１２と、表示部１３と、音響１４と、を備える。
鍵盤１１は、ピアノ式鍵盤であり、複数の鍵が並行に配列されている。鍵盤１１は、押鍵操作されることにより、対応する音を音響１４から発するように構成された入力手段である。
スイッチ１２は、例えば、電源のオン・オフ、自動演奏等のモード変更、各種機能の付加・変更等を行う。
表示部１３は、例えば、各種機能の設定画面を表示したり、後述するガイド表示画像を画面表示したり、各種の表示を行う。
音響１４は、例えば、押鍵操作やスイッチ１２の操作等の各種操作、楽曲の再生音等を出力する。
【００１３】
図２は、このような電子ピアノ１のハードウェアの構成を示すブロック図である。
電子ピアノ１は、図２に示すように、上述した鍵盤１１と、スイッチ１２と、表示部１３と、音響１４に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１６と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１７と、音源１８と、ドライブ１９とを備える。
【００１４】
ＣＰＵ１５は、ＲＯＭ１６に記録されているプログラム、後述するリムーバブルメディア２１又は、図示しない記憶部からＲＡＭ１７にロードされたプログラムに従って各種の処理を実行する。
【００１５】
ＲＡＭ１７には、ＣＰＵ１５が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
ＣＰＵ１５、ＲＯＭ１６及びＲＡＭ１７は、図示しないバスを介して相互に接続されている。このバスにはまた、図示しない入出力インターフェースも接続されている。入出力インターフェースには、スイッチ１２、表示部１３、音響１４及びドライブ１９が接続されている。
【００１７】
音源１８は、種々の音源１８を保存しており、データをアナログ信号に変換する音声処理して、音響１４に供給する。
ドライブ１９には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ１９によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて図示しない記憶部にインストールされる。
【００１８】
リムーバブルメディア２１は、図示しない記憶部に記憶されている画像のデータ等の各種データも、図示しない記憶部と同様に記憶することができる。
【００１９】
このように構成される電子ピアノ１においては、図１に示すように、楽譜の読み取りと押鍵の習得に供する、所定の楽曲のガイド表示画像を生成及び表示を行う機能を有する。詳細には、電子ピアノ１では、習得を行う楽曲の楽譜画像とピアノロール画像を同一画像内に配置し、かつ、楽譜とピアノロールを３次元的な構図となる画像を生成し、表示部１３での表示を行う機能を有する。
【００２０】
ここで、「楽譜画像」とは、楽曲を記譜法に則って演奏記号や符号を使って記号化し、時間軸と音階を表す五線譜上に当該演奏記号や符号を配置した画像である。
また、「ピアノロール画像」とは、楽曲をピアノロールの表示方法に則って、対応する鍵盤１１上に演奏する音を配置した画像である。なお、楽曲とは、複数の楽音により構成される音楽をいう。
【００２１】
図３は、ガイド表示画像が表示された画面の一例を示す模式図である。詳細には、図３（ａ）は、表示部１３に表示されるガイド表示画像の一例を示す図である。
上述した機能を有する電子ピアノ１の表示部１３では、図３（ａ）に示すようなガイド表示画像が表示される。なお、図３（ａ）の例では、ピアノロール画像におけるハッチングは、鍵盤１１のうち、左方の楽譜画像において音符等で表わされる楽音に対応する鍵を示している。
ここで、図３（ａ）のガイド表示画像は、押鍵の練習を行うときに、押鍵する楽音を表示して押鍵をガイドする画像である。また、ガイド表示画像は、楽譜と鍵盤との対応関係を段階的に習得するために用いる画像である。
このようなガイド表示画像は、演奏する楽曲の楽譜と、ピアノロールとが対応するように１つの画像内に配置し、かつ、楽譜画像とピアノロール画像とが単に２次元平面上に並べて配置されている画像ではなく、楽譜画像とピアノロール画像との各々が仮想的な３次元空間内で直交する２つの平面上のそれぞれに配置された構図の画像である。これにより、ガイド表示画像では、ユーザが、図３（ａ）のガイド表示画像を視認することで、あたかも、楽譜が壁面に描かれたようにイメージさせ、ピアノロールが床面に描かれたようにイメージさせることが容易にできる。
また、本実施形態では、図３（ａ）のガイド表示画像のような静止画像が時間的に連続して複数枚配置された動画像が、表示部１３の表示対象となる。この動画像が表示部１３に表示されると、現時点で演奏対象となる音が常に一番手前となるように、各音が奥から手前にスクロール表示され、演奏が終了した音は手前側に流れて消去されるように、演奏者に視認される。即ち、ガイド表示画像は、手前から奥に行く従って時刻が進むイメージを与えるように構成される。
なお、以下、静止画像と動画像とを個々に区別する必要が無い場合には、静止画像も動画像もまとめてガイド表示画像と呼ぶことにする。
【００２２】
また、ガイド表示画像は、演奏すべき音を一番手前から順次表示し、演奏に合わせてスクロールして、演奏が終わった楽音が表示画面から流れて消えるように表示される。
図３（ａ）の例を用いて説明すると、演奏時点の音が一番手前の「ファ」であり、「ファ」の奥にある「レ」が次に演奏を予定する音であり、「レ」のさらに奥にある「ソ」が「レ」が次に演奏を予定する音である。このようにガイド表示画像は、演奏対象の音のみならず、演奏を予定する音を表示させておく。したがって、ユーザは、このようなガイド表示画像を視認することで、時間的に後に演奏する音まで視野に入れることができ、音の時間的変化をイメージしながら押鍵操作をしていくことができる。
【００２３】
図３（ｂ）は、図３（ａ）に示すガイド表示画像の構成の詳細を説明するための図である。なお、図３（ｂ）において、Ｘ軸及びＹ軸は音高の高低である音高方向を示し、Ｔ軸は楽曲の進行方向を示す。
ガイド表示画像の構成は、図３（ｂ）に示すように、ユーザからみて、左下の端点が原点「０」とされ、原点「０」から右方向がＸ軸の正方向（音高が高くなる方向）とされ、原点「０」から上方向がＹ軸の正方向（音高が高くなる方向）とされ、原点「０」から左斜め上方向が、楽譜とピアノロールで共有する時間軸となるＴ軸の正方向（時間の進む方向、楽曲の進行方向）とされている。即ち、ガイド表示画像は、Ｔ軸を挟むようにして配置される楽譜画像とピアノロール画像とで構成される。
楽譜を表示する部分では、Ｙ軸を楽譜の音高方向とし、Ｔ軸を楽譜の進行方向、即ち、時間軸方向としている。一方、ピアノロール表示では、Ｘ軸を鍵盤１１の音高方向とし、Ｔ軸をピアノロールの進行方向、即ち、時間軸方向としている。
なお、電子ピアノ１においては、図１に示すように、鍵盤１１の中央部の奥付近に表示部１３が配置されている。このため、ピアノロールの音高方向を示すＸ軸方向と、鍵盤１１の配列方向（鍵盤１１の音高方向）とが一致することになる。
【００２４】
次に、図２のハードウェア構成を有する電子ピアノ１の機能的構成のうち、ガイド表示画像生成処理及びガイド表示画像表示処理に係る処理を実行するための機能的構成について説明する。
「ガイド表示画像生成処理」とは、ＭＩＤＩデータ等の楽音データから表示部１３に表示するガイド表示画像を生成する一連の処理である。
「ガイド表示画像表示処理」とは、ガイド表示画像生成処理で生成されたガイド表示画像を表示部１３に表示する一連の処理である。
【００２５】
ガイド表示画像生成処理及びガイド表示画像表示処理を実行する場合には、ＣＰＵ１５は以下の機能を発揮するように構成される。この際、リムーバブルメディア２１には、楽音データが格納される。楽音データには、楽曲のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）データと楽曲のＭＩＤＩデータと組み合わせることにより楽曲の楽譜を再現することができる音符等の楽譜用データが格納される。
【００２６】
ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータから読み出されたＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  Ｆｉｌｅ）データと、楽譜用データとから楽譜データを生成する。
【００２７】
ここで、楽譜データの詳細について図４（ａ）及び図４（ｂ）を用いて説明する。
図４は、楽譜側画像の生成を説明するための図である。詳細には、図４（ａ）は楽譜側画像の生成に用いる楽譜データの一例を示す模式図である。
楽譜データは、図４（ａ）に示すように、「音高」、「音符」、「棒・旗」、「小節」、「タイミング」により構成される。
最初の楽音は、「ファ」であり、「音高」が「Ｆ４」であり、「音符」が「４分音符」であり、「棒」が「上」向きであり、「小節」が「００１」であり、「タイミング」が「００００」である。
次の楽音は、「レ」であり、「音高」が「Ｄ４」であり、「音符」が「８分音符」であり、「棒」が「上」向きであり、「旗」が「スタート（ＳＴ）」であり、「小節」が「００１」小節であり、「タイミング」が「００２４」である。
次の楽音は、「ソ」であり、「音高」が「Ｇ４」であり、「音符」が「８分音符」であり、「棒」が「上」向きであり、「旗」が「エンド（ＥＤ）」であり、「小節」が「００１」小節であり、「タイミング」が「００３６」である。
【００２８】
また、ＣＰＵ１５は、楽譜データに基づいて、楽譜画像を生成する。即ち、ＣＰＵ１５は、所定の楽曲の楽音を再現可能な楽音データ（ＭＩＤＩデータ及び楽譜用データ）に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する。
【００２９】
図４（ｂ）は、楽譜画像の一例を示す模式図である。なお、図４（ｂ）において、Ｙ軸は音高を示し、Ｔ軸は楽曲の進行方向を示す。
ＣＰＵ１５は、図４（ａ）に示すような楽譜データに基づいて、図４（ｂ）に示すような楽譜画像を生成する。図４（ａ）に示すような楽譜データに基づいて作成される楽譜画像は、詳細には、図４（ｂ）に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【００３０】
また、ＣＰＵ１５は、楽譜画像を変換して楽譜側画像を生成する。即ち、ＣＰＵ１５は、楽譜画像が設けられている２次元平面について、音高方向（Ｙ軸）の軸と楽譜の進行方向の軸（Ｔ軸）とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ここで、楽譜側画像の詳細について図４（ｃ）を用いて説明する。図４（ｃ）は、楽譜画像から楽譜側画像の生成を示す模式図である。なお、図４（ｃ）において、Ｙ軸は音高を示し、Ｔ軸は楽曲の進行方向を示し、Ｙ’軸は座標変換後の音高を示し、Ｔ’は楽曲の進行方向を示す。
ＣＰＵ１５は、楽譜画像の角度を変更すること、即ち、座標値を変換することにより、楽譜側画像を生成する。
詳細には、ＣＰＵ１５は、図４（ｃ）に示すように、時間軸方向Ｔ側の角度を、角度θ分傾斜させるように変更する。即ち、楽譜画像の直行する座標（ｔ，ｙ）の点から角度θを持った楽譜側画像の座標点（ｔ’，ｙ’）への変換を行う。つまり、（ｔ，ｙ）から（ｔ’，ｙ’）の変換式は（ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）となる。
ＣＰＵ１５は、画像の全座標の値を変換式（ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）に基づいて変換することで、図２（ａ）の左側に示すような楽譜側画像を生成する。
【００３１】
また、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータから読み出されたＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  Ｆｉｌｅ）データからピアノロールデータを生成する。
ここで、ピアノロールデータの詳細について図５（ａ）及び図５（ｂ）を用いて説明する。
図５は、ピアノロール側画像の生成を説明するための図である。詳細には、図５（ａ）はピアノロール側画像の生成に用いるピアノロールデータの一例を示す模式図である。
ピアノロールデータは、図５（ａ）に示すように、「音高」、「強さ」、「ノートオン（小節）」、「ノートオン（タイミング）」、「ノートオフ（小節）」、「ノートオフ（タイミング）」により構成される。
最初の楽音は、「ファ」であり、「音高」が「Ｆ４」であり、「強さ」が「１２７」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００００」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００２０」である。
次の楽音は、「レ」であり、「音高」が「Ｄ４」であり、「強さ」が「６４」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００２４」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００３０」である。
次の楽音は、「ソ」であり、「音高」が「Ｇ４」であり、「強さ」が「３０」であり、「ノートオン（小節）」が「００１」であり、「ノートオン（タイミング）」が「００３６」であり、「ノートオフ（小節）」が「００１」であり、「ノートオフ（タイミング）」が「００３８」である。
【００３２】
また、ＣＰＵ１５は、ピアノロールデータに基づいて、ピアノロール画像を生成する。即ち、ＣＰＵ１５は、楽音データ（ＭＩＤＩデータ）に基づいて、所定の時点のピアノロールを表す画像であって、楽曲の進む方向の時間方向のＴ軸と音高の方向のＸ軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
【００３３】
図５（ｂ）は、ピアノロール画像の一例を示す模式図である。なお、図５（ｂ）において、Ｘ軸は音高を示し、Ｔ軸は楽曲の進行方向を示す。
ＣＰＵ１５は、図５（ａ）に示すようなピアノロールデータに基づいて、図５（ｂ）に示すようなピアノロール画像を生成する。
図５（ａ）に示すようなピアノロールデータに基づいて生成されるピアノロール画像は、図５（ｂ）に示すように、五線譜上に「ファ」、「レ」、「ソ」の楽音が配置された画像となる。
【００３４】
また、ＣＰＵ１５は、ピアノロール画像を変換してピアノロール側画像を生成する。即ち、ＣＰＵ１５は、ピアノロール画像が設けられている２次元平面について、音高方向の軸（Ｘ軸）と楽曲の進行方向の軸（Ｔ軸）とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ここで、ピアノロール側画像の詳細について図５（ｃ）を用いて説明する。図５（ｃ）は、ピアノロール画像からピアノロール側画像の生成を示す模式図である。なお、図５（ｃ）において、Ｘ軸は音高を示し、Ｔ軸は楽曲の進行方向を示し、Ｘ’軸は座標変換後の音高を示し、Ｔ’は楽曲の進行方向を示す。
ＣＰＵ１５は、図５（ｃ）に示すようにピアノロール画像の角度を変更すること、即ち、座標値を変換することにより、ピアノロール側画像を生成する。
詳細には、ＣＰＵ１５は、図５（ｂ）に示すように、時間軸方向Ｔ側の角度を、角度θ分傾斜させるように変更する。即ち、ピアノロール画像の直行する座標（ｔ，ｙ）の点から角度θを持ったピアノロール側画像の座標点（ｔ’，ｙ’）への変換を行う。つまり、（ｔ，ｙ）から（ｔ’，ｙ’）の変換式は（ｘ＋ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）となる。
ＣＰＵ１５は、画像の全座標の位置を変換式（ｘ＋ｔｃｏｓθ，ｙ＋ｔｓｉｎθ）に基づいて変更することで、図２（ａ）の右側に示すようなピアノロール側画像を生成する。
【００３５】
また、ＣＰＵ１５は、楽譜側画像とピアノロール側画像に基づいて、ガイド表示画像を生成する。即ち、ＣＰＵ１５は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、時間軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
【００３６】
具体的には、ＣＰＵ１５は、図４（ｃ）に示す角度が変更された楽譜側画像と、図５（ｃ）に示す角度が変更されたピアノロール側画像とを貼り合わせて、図２（ａ）に示すような１枚のガイド表示画像を生成する。この際、ＣＰＵ１５は、生成されたガイド表示画像のデータを表示に供してもよいし、リムーバブルメディア２１に格納してもよい。また、ガイド表示画像は、演奏に際して楽曲全てを一度に生成してもよいし、表示に合わせて逐次生成してもよいし、予め生成したガイド表示画像をリムーバブルメディア２１に格納しておいてもよい。
【００３７】
また、ＣＰＵ１５は、ガイド表示画像のデータを表示に供する場合には、ガイド表示画像を表示するように表示部１３を制御する。その結果、電子ピアノ１においては、図１に示すように、表示部１３にガイド表示画像が表示される。このガイド表示画像は、ピアノロール画像の音高方向と、鍵盤の配列方向が一致するように表示される。
ここで、ガイド表示画像の表示のタイミングの例について図６を用いて説明する。図６は、ガイド表示画像の表示のタイミングの一例を示す模式図である。
ガイド表示画像は、演奏時点の楽音を順次一番手前になるように表示する。
また、ガイド表示画像は、図６に示すように、２小節分を同時に表示し、１小節分の表示が終了したら次の小節を表示させる。即ち、ガイド表示画像は、表示開始時には前面に１小節目と１小節目の後ろに２小節目とを最初に表示しており、１小節目の表示が完了した場合には、２小節目を前面に表示し、２小節目の後ろに３小節目を表示させる。その後、２小節目の表示が完了した場合には、３小節目を前面に表示し、３小節目の後ろに４小節目を表示させる。
【００３８】
図７は、図２のＣＰＵ１５が実行するメイン処理の流れを説明するフローチャートである。メイン処理とは、ＣＰＵ１５の起動から演奏や各種の機能の実行を行う一連の処理である。
【００３９】
ステップＳ１において、ＣＰＵ１５は、イニシャライズ処理を行う。詳細には、ＣＰＵ１５は、電子ピアノ１についての各種初期設定を行う。
【００４０】
ステップＳ２において、ＣＰＵ１５は、ＳＷ（Ｓｗｉｔｃｈ）処理を行う。
ＳＷ処理とは、複数の選択肢が存在するモードについて所定の選択肢を選択したり、複数の状態が存在するフラグについて初期状態を選択したりして、設定する処理をいう。
例えば、本実施形態のＳＷ処理では、動作モードとして、「通常モード」、「練習モード」、「自動演奏モード」等とのうちユーザにより選択されたモードが設定される。
「通常モード」とは、ユーザが自由に演奏するためのモードで、鍵盤１１の押鍵操作により音が出力されるモードである。
「練習モード」とは、ユーザが画面表示を見ながら演奏を練習するためのモードで、選択した楽曲のガイド表示画像が表示されると共に、表示に合わせて鍵盤１１の押鍵操作を行うモードである。
「自動演奏モード」とは、ユーザが演奏を行わずに、選択した楽曲を自動で演奏するモードである。
【００４１】
ステップＳ３において、ＣＰＵ１５は、ガイド表示画像生成処理を行う。ガイド表示画像生成処理の詳細については、図９を用いて、後述する。
【００４２】
ステップＳ４において、ＣＰＵ１５は、ガイド表示画像表示処理を行う。ガイド表示画像表示処理の詳細については、図１０を用いて、後述する。
【００４３】
ステップＳ５において、ＣＰＵ１５は、鍵盤処理を行う。鍵盤処理の詳細については、図１１を用いて、後述する。
【００４４】
ステップＳ６において、ＣＰＵ１５は、その他の処理を行う。詳細には、ＣＰＵ１５は、例えば、「自動演奏モード」下においては、自動演奏処理を行う。その後処理は、ステップＳ２に戻る。
【００４５】
図８は、図２のＣＰＵ１５が実行するステップＳ３のガイド表示画像生成処理の流れを説明するフローチャートである。
ガイド表示画像生成処理は、ユーザによるスイッチ１２へのガイド表示画像の表示操作を契機に開始する。
ステップＳ２１において、ＣＰＵ１５は、楽譜データを生成する。具体的には、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータからＳＭＦデータを読み出し、リムーバブルメディア２１に格納される楽譜用データを読み出して、ＳＭＦデータと楽譜用データから図４（ａ）に示すようなデータ構造を有する楽譜データを生成する。その際、ＣＰＵ１５は、楽譜データをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００４６】
ステップＳ２２において、ＣＰＵ１５は、楽譜画像を生成する。具体的には、ＣＰＵ１５は、図４（ａ）に示すようなデータ構造を有する楽譜データに基づいて、図４（ｂ）に示すような楽譜画像を生成する。その際、ＣＰＵ１５は、楽譜画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００４７】
ステップＳ２３において、ＣＰＵ１５は、楽譜側画像を生成する。具体的には、ＣＰＵ１５は、図４（ｃ）に示すように楽譜画像の座標値を変換して、図３（ａ）の左側に示すような楽譜側画像を生成する。その際、ＣＰＵ１５は、楽譜側画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００４８】
ステップＳ２４において、ＣＰＵ１５は、ピアノロールデータを生成する。具体的には、ＣＰＵ１５は、リムーバブルメディア２１に格納されるＭＩＤＩデータからＳＭＦデータを読み出し図５（ａ）に示すようなデータ構造を有するピアノロールデータを生成する。その際、ＣＰＵ１５は、ピアノロールデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００４９】
ステップＳ２５において、ＣＰＵ１５は、ピアノロール画像を生成する。具体的には、ＣＰＵ１５は、図５（ａ）に示すようなデータ構造を有するピアノロールデータに基づいて、図５（ｂ）に示すような楽譜画像を生成する。その際、ＣＰＵ１５は、ピアノロール画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００５０】
ステップＳ２６において、ＣＰＵ１５は、ピアノロール側画像を生成する。具体的には、ＣＰＵ１５は、図５（ｃ）に示すようにピアノロール画像の座標値を変換して、図３（ａ）の右側に示すようなピアノロール側画像を生成する。その際、ＣＰＵ１５は、ピアノロール側画像のデータをリムーバブルメディア２１に格納してもよく、その後の処理に供してもよい。
【００５１】
ステップＳ２７において、ＣＰＵ１５は、ガイド表示画像を生成する。具体的には、ＣＰＵ１５は、楽譜側画像とピアノロール側画像とを貼り合わせて、図３（ａ）に示すような１つのガイド表示画像を生成する。その際、ＣＰＵ１５は、ガイド表示画像のデータをリムーバブルメディア２１に格納してもよく、その後のガイド表示画像表示処理に供してもよい。その後、ガイド表示画像生成処理は終了する。続いて、ガイド表示画像表示処理が開始される。
【００５２】
図９は、図２のＣＰＵ１５が実行するステップＳ４のガイド表示画像表示処理の流れを説明するフローチャートである。
ガイド表示画像表示処理は、ガイド表示画像生成処理を受けて、開始する。
なお、本例では、選択した楽曲の演奏時間は、４分音符４拍とした。即ち、小節内の最小時間「ｔ」の総数である「Ｂｍａｘ」は、９６（２４×４＝９６）となる。また、選択した楽曲は２４小節（Ｎｍａｘ＝２４）のものとして以下の説明を行う。
【００５３】
ステップＳ４１において、ＣＰＵ１５は、「Ｂｍａｘ＝９６、Ｎ＝１、Ｎｍａｘ＝２４、ｔ＝０」として初期設定を行う。詳細には、ＣＰＵ１５は、最大小節数（Ｎｍａｘ）は２４であり、小節内の最大時間ｔ（Ｂｍａｘ）は、９６であり、現在１小節目（Ｎ＝１）で、演奏時間は０秒（ｔ＝０）という演奏開始前の初期状態の設定をする。
【００５４】
ステップＳ４２において、ＣＰＵ１５は、Ｎ小節目のガイド表示画像を表示する。詳細には、ＣＰＵ１５は、Ｎ小節目のガイド表示画像を表示するように表示部１３を制御する。
【００５５】
ステップＳ４３において、Ｎ＋１小節目のガイド表示画像を表示する。詳細には、ＣＰＵ１５は、ステップＳ４２においてＮ小節のガイド表示画像を表示が完了しているため、次の小節（Ｎ＋１小節目）のガイド表示画像を表示するように表示部１３を制御する。
【００５６】
ステップＳ４４において、ＣＰＵ１５は、「ｔ＝ｔ＋１」とする値の変更を行う。詳細には、ＣＰＵ１５は、１小節終了したため、ｔに１をインクリメントする。
【００５７】
ステップＳ４５において、ＣＰＵ１５は、「ｔ＜Ｂｍａｘ」か否かを判断する。詳細には、ＣＰＵ１５は、ｔが最大小節数（Ｂｍａｘ）を超えているか否かを判断する。
「ｔ＜Ｂｍａｘ」の場合には、ステップＳ４４において処理はＹＥＳであり、ステップＳ４４に戻る。
「ｔ＜Ｂｍａｘ」でない場合、即ち、「ｔ≧Ｂｍａｘ」の場合には、ステップＳ４４において処理はＹＥＳであり、ステップＳ４６に進む。
【００５８】
ステップＳ４６において、ＣＰＵ１５は、「Ｎ＝Ｎ＋１、ｔ＝０」とする値の変更を行う。詳細には、ＣＰＵ１５は、１小節終了したため、「Ｎ＝Ｎ＋１」と小節数をインクリメントし、「ｔ＝０」と時間のカウントをリセットする。
【００５９】
ステップＳ４７において、ＣＰＵ１５は、「Ｎ＞Ｎｍａｘ」か否かを判断する。詳細には、ＣＰＵ１５は、現在の小節数が、最大小節数を超えているか否かを判断する。
「Ｎ＞Ｎｍａｘ」の場合には、ステップＳ４７において処理はＮＯであり、ステップＳ４２に戻る。
「Ｎ≦Ｎｍａｘ」の場合には、ステップＳ４７において処理はＹＥＳであり、その後処理は終了する。
【００６０】
図１０は、図２の電子ピアノ１が実行するステップＳ５の鍵盤処理の流れを説明するフローチャートである。
【００６１】
ステップＳ６１において、ＣＰＵ１５は、鍵走査を行う。詳細には、ＣＰＵ１５は、鍵盤１１に走査を行う。そして、ＣＰＵ１５は、走査結果から、状態の変化の内容や押鍵によるものであれば押鍵の速さを特定するために、状態が変化した鍵を解析する。
【００６２】
ステップＳ６２において、ＣＰＵ１５は、解析結果から、鍵の状態が変化を判定する。
鍵の状態が変化しない場合には、ステップＳ６２において処理は「変化無し」であり、一連の処理が終了する。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が離鍵状態（ＯＦＦ）から押鍵状態（ＯＮ）に変化したと判定された場合には、ステップＳ６２において処理は「ＯＦＦ→ＯＮ」であり、ステップＳ６３に進む。
鍵の状態が変化したと判定された場合、詳細には、鍵の状態が押鍵状態（ＯＮ）から離鍵状態（ＯＦＦ）に変化したと判定された場合には、ステップＳ６２において処理は「ＯＮ→ＯＦＦ」であり、ステップＳ６７に進む。
【００６３】
ステップＳ６３において、ＣＰＵ１５は、「ＫＥＹ←押鍵番号」を設定する。詳細には、ＣＰＵ１５は、変数ＫＥＹに、押鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【００６４】
ステップＳ６４において、ＣＰＵ１５は、「ＶＥＬ←検出ベロシティ値」を設定する。詳細には、ＣＰＵ１５は、変数ＴＯＵＣＨに、ステップＳ６３で代入した押鍵番号の押鍵時の速さを示す値（「検出ベロシティ値」）を代入する。なお、「ＶＥＬ（ＶＥＬＯＣＩＴＹ：ベロシティ）」とは、電子楽器の演奏情報のやり取りをするための規格であるＭＩＤＩ規格において、音の強弱を表す数値のことである。ベロシティは０〜１２７の１２８段階あり、０は無音、１２７が最大の音の大きさとなっている。
【００６５】
ステップＳ６５において、ＣＰＵ１５は、ＫＥＹ及びＶＥＬに基づいて、ノートオンイベントを作成する。詳細には、ＣＰＵ１５は、変数ＫＥＹ及び変数ＴＯＵＣＨの値で指定される楽音の発音を指示するノートオンコマンドを生成する。
【００６６】
ステップＳ６６において、ＣＰＵ１５は、音源１８に供給する。詳細には、ＣＰＵ１５は、ステップＳ６５において生成されたノートオンコマンドを音源１８に送出する。その後、一連の処理は終了する。
【００６７】
一方、鍵の状態が押鍵状態（ＯＮ）から離鍵状態（ＯＦＦ）に変化したと判定された場合のステップＳ６７において、ＣＰＵ１５は、「ＫＥＹ←押鍵番号」を設定する。詳細には、ＣＰＵ１５は、変数ＫＥＹに、離鍵による変化が生じた鍵のノート番号である押鍵番号を代入する。
【００６８】
ステップＳ６８において、ＣＰＵ１５は、「ＶＥＬ←０」に設定する。詳細には、ＣＰＵ１５は、変数ＴＯＵＣＨに、消音を指示する値である０を代入する。
【００６９】
ステップＳ６９において、ＣＰＵ１５は、ＫＥＹ及びＶＥＬに基づいて、ノートオフイベントを作成する。詳細には、ＣＰＵ１５は、変数ＫＥＹ及び変数ＴＯＵＣＨの値で指定される楽音の消音を指示するノートオフコマンドを生成する。その後処理は、ステップＳ６６に進み、ＣＰＵ１５が生成されたノートオンコマンドを音源１８に送出して、一連の処理は終了する。
【００７０】
次に、本実施形態の電子ピアノ１に表示されるガイド表示画像の変形例について図１２を用いて説明する。図１１は、ガイド表示画面に表示されるガイド表示画像の他の例を示す模式図である。
本変形例におけるガイド表示画像は、図１１に示すように、上述した実施形態のガイド表示画像にさらに、楽譜部分で表示される楽音とピアノロール部分で表示される楽音が対応付けられて表示される。楽譜部分の楽音とピアノロール部分の楽音の対応付けは、楽音同士を連結することにより行う。即ち、本変形例におけるガイド表示画像においては、楽譜表示の側から、楽譜表示よりも奥側から光が当たっており、当該光の影として、ピアノロール表示が行われるような視覚的な演出効果を得るような画像が生成される。
なお、このように生成される本変形例のガイド表示画像は、具体的には、図８のステップＳ２７において、ＣＰＵ１５により生成される。
このように構成することにより、電子ピアノ１においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【００７１】
従って、電子ピアノ１においては、楽譜と鍵盤との対応関係が直感的に認識できると共に、最終的な楽譜からの押鍵操作を、段階的な習得を容易にする画像を生成することができる。
【００７２】
以上のように構成される電子ピアノ１において、鍵盤１１と、画像を表示する表示部１３とを備える。
ＣＰＵ１５は、所定の楽曲の楽音を再現可能な楽音データ（ＭＩＤＩデータ及び楽譜用データ）に基づいて、所定の時点の楽音を表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する。
また、ＣＰＵ１５は、楽音データ（ＭＩＤＩデータ）に基づいて、所定の時点のピアノロールを表す画像であって、楽曲が進む方向のＴ軸と音高の方向のＹ軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成する。
また、ＣＰＵ１５は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
また、ＣＰＵ１５は、ピアノロール画像のＸ軸と、鍵盤の配列方向が一致するようにガイド表示画像を表示するように表示部１３を制御する。
【００７３】
従って、電子ピアノ１においては、ＣＰＵ１５により、楽曲の楽音データに基づいて生成されたガイド表示画像を表示部１３に表示することで、ユーザは、鍵盤１１の配列と同一の配列となるピアノロールを経て、鍵盤１１との配置が一致しない楽譜まで段階的に楽音の読み取りと押鍵操作の習得をすることができる。
また、電子ピアノ１においては、ピアノロール画像の表示が鍵盤１１と並列しており、鍵盤１１と楽譜との対応関係がピアノロールを介して行われるため、直感的に鍵盤１１と楽譜との関係を意識させることができる。
また、ガイド表示画像は、楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、Ｙ軸、及びＸ軸から構築される３次元空間に、楽譜画像とピアノロール画像とを配置させた様子を示す画像であるために、ユーザに対して、より違和感なく、一体的に楽譜とピアノロールとを意識させることができる。
【００７４】
また、電子ピアノ１において、ＣＰＵ１５では、楽譜画像が設けられている２次元平面について、Ｙ軸とＴ軸とのなす角度を変化させるように座標変換し、座標変換後の楽譜画像のデータを、楽譜側画像のデータとして生成する。
ＣＰＵ１５は、ピアノロール画像が設けられている２次元平面について、Ｘ軸とＴ軸とのなす角度を変化させるように座標変換し、座標変換後のピアノロール画像のデータを、ピアノロール側画像のデータとして生成する。
ＣＰＵ１５は、座標変換後の各々の楽譜画像のＴ軸とピアノロール画像のＴ軸とを一致させて時間軸として、Ｔ軸、並びに座標変換後の各々のＹ軸及びＸ軸から構築される３次元空間に、楽譜側画像とピアノロール側画像とを配置させた様子を示す画像のデータを、ガイド表示画像のデータとして生成する。
従って、電子ピアノ１においては、２次元平面の画像を用いて簡単に３次元空間に楽譜側画像とピアノロール側画像とを配置させた様子を示す画像を生成することができる。
【００７５】
また、電子ピアノ１において、ＣＰＵ１５では、楽譜画像に表示される楽音と、ピアノロール画像に表示される楽音とを対応付けて強調表示するガイド表示画像を生成する。
従って、電子ピアノ１においては、楽譜とピアノロールとの一体感がさらに醸し出されるために、ピアノロールの表示と楽譜の表示との対応がさらに直感的に認識できるようになる画像を生成することができる。
【００７６】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７７】
また、上述の実施形態では、ガイド表示画像の楽譜画像を楽音の背景となる五線譜等も含め生成し、ピアノロール画像を楽音の背景となる模式的に表示した鍵盤等も含めて表示するように生成したがこれに限られない。予め生成された背景部分の画像に楽音を合成したり重畳的に表示したりするように構成してもよい。
【００７８】
また、上述の実施形態では、ガイド表示画像は、生成の容易性を考慮して、画像の座標を変更するようにして３次元的な構図になるようにしたが、さらに、３次元的な構図を強調するために、遠近感が醸し出されるようにしてもよい。ガイド表示画像は、遠近感を醸し出すために、例えば、手前側の構図は大きく表示し、奥に行くに従って小さく表示するように構成してもよい。
【００７９】
また、上述した実施形態においては、演奏機能と、ガイド表示画像生成機能と、ガイド表示画像表示機能とを有する演奏支援装置として電子ピアノ１を例として説明したが、これとは別に、例えば、パーソナルコンピュータ等のガイド表示画像生成機能のみを有する画像生成装置として構成してもよい。
【００８０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子ピアノ１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００８１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ１６（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１６や、図示しない記憶部に含まれるハードディスク等で構成される。
【００８３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【００８４】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８５】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記楽譜画像が設けられている２次元平面について、前記第１の軸と前記第２の軸とのなす角度を変化させるように座標変換し、座標変換後の前記楽譜画像のデータを、楽譜側画像のデータとして生成する楽譜側画像生成手段と、
前記ピアノロール画像が設けられている２次元平面について、前記第３の軸と前記第４の軸とのなす角度を変化させるように座標変換し、座標変換後の前記ピアノロール画像のデータを、ピアノロール側画像のデータとして生成するピアノロール側画像生成手段と、
座標変換後の各々の前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、並びに座標変換後の各々の前記第２の軸及び前記第４の軸から構築される３次元空間に、前記楽譜側画像と前記ピアノロール側画像とを配置させた様子を示す画像のデータを、前記３次元演奏画像のデータとして生成する
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記３次元演奏画像生成手段は、前記楽譜画像に表示される楽音と、前記ピアノロール画像に表示される楽音とを対応付けて強調表示する前記３次元演奏画像を生成する
ことを特徴とする付記１又は２に記載の画像生成装置。
［付記４］
画像生成装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
を含むことを特徴とする画像生成方法。
［付記５］
画像生成装置を制御するコンピュータを、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
として機能させることを特徴とするプログラム。
［付記６］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置であって、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段と、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段と、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段と、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段と、
を備えることを特徴とする演奏支援装置。
［付記７］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成ステップと、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成ステップと、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成ステップと、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御ステップと、
を含むことを特徴とする演奏支援方法。
［付記８］
鍵盤と、画像を表示する表示手段とを備える演奏支援装置が実行する画像生成方法において、
所定の楽曲の楽音を再現可能な楽音データに基づいて、所定の時点の前記楽音を表す画像であって、楽曲の進行方向の第１の軸と音高の高低を表す第２の軸とから構築される２次元平面の画像のデータを、楽譜画像のデータとして生成する楽譜画像生成手段、
前記楽音データに基づいて、前記所定の時点のピアノロールを表す画像であって、楽曲が進行方向の第３の軸と音高の高低を表す第４の軸とから構築される２次元平面の画像のデータを、ピアノロール画像のデータとして生成するピアノロール画像生成手段、
前記第１の軸と前記第３の軸とを一致させて時間軸として、前記時間軸、前記第２の軸、及び前記第４の軸から構築される３次元空間に、前記楽譜画像と前記ピアノロール画像とを配置させた様子を示す画像のデータを、３次元演奏画像のデータとして生成する３次元演奏画像生成手段、
前記ピアノロール画像の前記第３の軸と、前記鍵盤の配列方向が一致するように３次元演奏画像を表示するように前記表示手段を制御する表示制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８６】
１・・・電子ピアノ，１１・・・鍵盤，１２・・・スイッチ，１３・・・表示部，１４・・・音響，１５・・・ＣＰＵ，１６・・・ＲＯＭ，１７・・・ＲＡＭ，１８・・・音源，１９・・・ドライブ，２１・・・リムーバブルメディア
【図１】
2013068657.tif 000003
【図２】
2013068657.tif 000004
【図３】
2013068657.tif 000005
【図４】
2013068657.tif 000006
【図５】
2013068657.tif 000007
【図６】
2013068657.tif 000008
【図７】
2013068657.tif 000009
【図８】
2013068657.tif 000010
【図９】
2013068657.tif 000011
【図１０】
2013068657.tif 000012
【図１１】
2013068657.tif 000013