(57)【要約】      （修正有）【課題】ＢＧＭとして再生される曲と表示される画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を備えた電子楽器を実現する。【解決手段】ＣＰＵは、曲を構成する各音を再生している過程で、再生音のオクターブ域が変化した時に、画面表示する画像を新たな画像に切り替え、曲再生が一定時間経過する毎に、その一定時間ｔの間に再生された各音の曲データから変換パラメータとなるベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔを抽出する。抽出した変換パラメータ（ベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔ）に基づいて指定される筆触パターン（タッチ）およびその筆触パターンの重なり具合に従って、新たに切り替えられた画像を油彩画風の絵画調画像に変換して表示部１６に表示する。【選択図】図１
2012042506.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を記憶する画像記憶手段と、
タッチの形状を示す複数種の筆触パターンを記憶する筆触パターン記憶手段と、
曲を構成する各音を表す曲データを再生する曲再生手段と、
前記曲再生手段により再生される音の音域が変化した場合に、その変化した音域に対応付けられた画像を前記画像記憶手段から選択して画面表示する画像表示手段と、
前記曲再生手段による曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データから変換パラメータを抽出する抽出手段と、
前記抽出手段により抽出された変換パラメータに基づいて前記筆触パターン記憶手段から選択される筆触パターンと当該変換パラメータで指定される筆触パターンの重なり具合とに応じて、前記画像表示手段により画面表示された画像を絵画調に変換する画像変換手段と
を具備することを特徴とする電子楽器。
【請求項２】
前記画像表示手段は、前再音のオクターブ値に対応付けられた第１画像と現再生音のオクターブ値に対応付けられた第２の画像とが異なる場合に、第１の画像から第２の画像への表示切替を指示する切替指示手段を備えることを特徴とする請求項１記載の電子楽器。
【請求項３】
前記抽出手段は、前記曲再生手段による曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データに基づき単位時間当たりのベロシティ増分を表すベロシティ変化率を第１の変換パラメータとして抽出すると共に、単位時間当たりのノートナンバ増分を表すノートナンバ変化率を第２の変換パラメータとして抽出することを特徴とする請求項１記載の電子楽器。
【請求項４】
前記抽出手段は、前記曲再生手段により再生された音の数が所定数に達する毎に、再生された各音から得たベロシティ累算値を再生された音の数で除して得た一音当たりの平均ベロシティを第１の変換パラメータとして抽出すると共に、再生された各音から得たノートナンバ累算値を再生された音の数で除して得た一音当たりの平均ノートナンバを第２の変換パラメータとして抽出することを特徴とする請求項１記載の電子楽器。
【請求項５】
コンピュータに、
曲を構成する各音を表す曲データを再生する曲再生ステップと、
前記曲再生ステップにて再生される音の音域が変化した場合に、その変化した音域に対応付けられた画像を、予め記憶された複数の画像の中から選択して画面表示する画像表示ステップと、
前記曲再生ステップによる曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データから変換パラメータを抽出する抽出ステップと、
予め記憶され、タッチの形状を示す複数種の筆触パターンの中から前記抽出手段により抽出された変換パラメータに基づき選択される筆触パターンと当該変換パラメータで指定される筆触パターンの重なり具合とに応じて、前記画像表示ステップにて画面表示された画像を絵画調に変換する画像変換ステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＢＧＭとして再生（自動演奏）される曲に合わせて画像を次々に画面表示するデジタルフォトフレーム機能を有し、特に再生される曲の内容に応じて、表示画像を絵画調に変換する変換態様を変化させる電子楽器およびプログラムに関する。
【背景技術】
【０００２】
昨今の手狭な住宅事情では、サイズ的・価格的に大型のグランドピアノを設置することが困難である為、それと同等の機能を有しながらも比較的安価で狭い部屋にも設置可能な電子楽器が普及している。しかしながら、小型になったとはいえ室内用品から比べれば大型の部類に属するものであり、かつ通常の人であれば楽器を演奏している時間より演奏していない時間の方がはるかに長い。つまり、アコースティック楽器と比べてれば住環境の悪化は改善しているが十分とは言えない、というのが現実である。
【０００３】
このようなことから、電子楽器自体、演奏する以外の用途として、例えば楽譜や操作説明を表示する為に大型のカラー表示パネルを採用し、このカラー表示パネルを周知のデジタルフォトフレームとして用いることが提案されている。なお、そうした電子楽器については特許文献１又は特許文献２などに開示されている。
【０００４】
しかも、電子楽器には通常予め用意されている曲データを自動演奏する自動演奏機能を具備しており、この機能を利用すれば、自動演奏される曲と何らかの形で同期させて画像を表示させることも可能である。具体的には、電子楽器を楽器演奏に使用していない場合に、ＢＧＭとして自動演奏される曲に合わせて画像を次々に画面表示する、いわゆるデジタルフォトフレームとして活用することが出来る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３４４４６号公報
【特許文献２】特開２０００−３０５５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、電子楽器をデジタルフォトフレームとして活用する場合に、単に自動演奏される曲のテンポに合わせたタイミングで、用意された画像を切替表示するだけでは、画面に表示される画像と曲（ＢＧＭ）との間の連動性が無く単調で面白味に欠け、表示される画像の数にも限りがあることから繰り返し動作させると直ぐに飽きられてしまう。つまり、言い換えれば、ＢＧＭとして再生する曲と表示画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を具現することが出来ないという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、ＢＧＭとして再生される曲と表示される画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を具現することができる電子楽器およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明では、複数の画像を記憶する画像記憶手段と、タッチの形状を示す複数種の筆触パターンを記憶する筆触パターン記憶手段と、曲を構成する各音を表す曲データを再生する曲再生手段と、前記曲再生手段により再生される音の音域が変化した場合に、その変化した音域に対応付けられた画像を前記画像記憶手段から選択して画面表示する画像表示手段と、前記曲再生手段による曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データから変換パラメータを抽出する抽出手段と、前記抽出手段により抽出された変換パラメータに基づいて前記筆触パターン記憶手段から選択される筆触パターンと当該変換パラメータで指定される筆触パターンの重なり具合とに応じて、前記画像表示手段により画面表示された画像を絵画調に変換する画像変換手段とを具備することを特徴とする。
【０００９】
上記請求項１に従属する請求項２に記載の発明では、前記画像表示手段は、前再音のオクターブ値に対応付けられた第１画像と現再生音のオクターブ値に対応付けられた第２の画像とが異なる場合に、第１の画像から第２の画像への表示切替を指示する切替指示手段を備えることを特徴とする。
【００１０】
上記請求項１に従属する請求項３に記載の発明では、前記抽出手段は、前記曲再生手段による曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データに基づき単位時間当たりのベロシティ増分を表すベロシティ変化率を第１の変換パラメータとして抽出すると共に、単位時間当たりのノートナンバ増分を表すノートナンバ変化率を第２の変換パラメータとして抽出することを特徴とする。
【００１１】
上記請求項１に従属する請求項４に記載の発明では、前記抽出手段は、前記曲再生手段により再生された音の数が所定数に達する毎に、再生された各音から得たベロシティ累算値を再生された音の数で除して得た一音当たりの平均ベロシティを第１の変換パラメータとして抽出すると共に、再生された各音から得たノートナンバ累算値を再生された音の数で除して得た一音当たりの平均ノートナンバを第２の変換パラメータとして抽出することを特徴とする。
【００１２】
請求項５に記載の発明では、コンピュータに、曲を構成する各音を表す曲データを再生する曲再生ステップと、前記曲再生ステップにて再生される音の音域が変化した場合に、その変化した音域に対応付けられた画像を、予め記憶された複数の画像の中から選択して画面表示する画像表示ステップと、前記曲再生ステップによる曲再生が一定時間経過する毎に、その一定時間の間に再生された各音の曲データから変換パラメータを抽出する抽出ステップと、予め記憶され、タッチの形状を示す複数種の筆触パターンの中から前記抽出手段により抽出された変換パラメータに基づき選択される筆触パターンと当該変換パラメータで指定される筆触パターンの重なり具合とに応じて、前記画像表示ステップにて画面表示された画像を絵画調に変換する画像変換ステップとを実行させることを特徴とする。
【発明の効果】
【００１３】
本発明では、ＢＧＭとして再生される曲と表示される画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を具現することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の一形態による電子楽器１００の外観を示す外観図である。
【図２】電子楽器１００の構成を示すブロック図である。
【図３】ＲＡＭ１２のメモリ構成を示すメモリマップである。
【図４】データメモリ１３のメモリ構成を示すメモリマップである。
【図５】画像データのデータ形式を説明するための図である。
【図６】筆触パターンの一例を示す図である。
【図７】メインルーチンの動作を示すフローチャートである。
【図８】スイッチ処理の動作を示すフローチャートである。
【図９】モードスイッチ処理の動作を示すフローチャートである。
【図１０】曲選択スイッチ処理の動作を示すフローチャートである。
【図１１】スタート／ストップスイッチ処理の動作を示すフローチャートである。
【図１２】鍵盤処理の動作を示すフローチャートである。
【図１３】ＢＧＭ処理の動作を示すフローチャートである。
【図１４】ＢＧＭ処理の動作を示すフローチャートである。
【図１５】ＢＧＭ処理の動作を示すフローチャートである。
【図１６】表示処理の動作を示すフローチャートである。
【図１７】表示処理の動作を示すフローチャートである。
【図１８】変換処理の動作を示すフローチャートである。
【図１９】変換処理の動作を示すフローチャートである。
【図２０】変換処理の動作の一例を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．構成
図１は実施の一形態による電子楽器１００の外観を示す外観図、図２は電子楽器１００の電気的構成を示すブロック図である。本実施形態による電子楽器１００は、図１に図示する通り、楽譜や操作説明を表示する為に大型のカラー液晶パネルから構成される表示部１６を備え、この表示部１６を利用したデジタルフォトフレーム機能を具備する。
【００１６】
こうした電子楽器１００は、図２に図示するように、構成要素１０〜１８を備える。図２において、ＣＰＵ１０は、鍵盤１４が発生する演奏情報に応じて楽音発生を音源１７に指示する一方、操作部１５が発生する各種スイッチイベントに応じて装置各部を制御する。本発明の要旨に係わるＣＰＵ１０の処理動作については追って詳述する。ＲＯＭ１１には、ＣＰＵ１０にロードされる各種の制御プログラムが記憶される。各種の制御プログラムとは、後述するメインルーチン、スイッチ処理、鍵盤処理、ＢＧＭ処理および表示処理を含む。なお、スイッチ処理は、モードスイッチ処理、曲選択スイッチ処理およびスタート／ストップスイッチ処理から構成される。また、表示処理は、変換処理を含む。
【００１７】
ＲＡＭ１２は、図３に図示するように、表示エリアＤＥ、変換元画像エリアＩＥおよびワークエリアＷＥから構成される。表示エリアＤＥには、表示部１６に画面表示される画像データが一時記憶される。変換元画像エリアＩＥには、絵画調変換の対象としてデータメモリ１３の画像データエリアＩＥ（後述する）から読み出される画像データがストアされる。ワークエリアＷＥには、ＣＰＵ１０の処理に用いられる各種レジスタ・フラグデータが一時記憶される。図３に図示される各種レジスタ・フラグデータが意図するところについては、後述する動作説明（ＣＰＵ１０の処理動作説明）において言及する。
【００１８】
データメモリ１３は、図４に図示するように、画像データエリアＩＥ、曲データエリアＫＥ、Ｔａｂｌｅ（）エリアおよび筆触パターンエリアＨＥを備える。画像データエリアＩＥには、複数の画像データ（１）〜（ｇ）が格納される。画像データは、図５に図示するｎ行ｍ列の画素Ｐ（１）〜Ｐ（ｎ×ｍ）からなる公知のビットマップ形式で表現される。
【００１９】
曲データエリアＫＥには、ＢＧＭとして再生（自動演奏）される曲の各音を表す曲データが複数曲分格納される。曲データは、タイムＴおよびイベントＥＶＴが対となって曲進行に対応した時系列のアドレス順に記憶される、いわゆる相対時間方式と呼ばれるデータ形式で表現される。タイムＴは、前イベントからの経過時間で現イベントのタイミングを表す。イベントＥＶＴは、発音音高（又は消音音高）を表すノートナンバを含み、発音（又は消音）を指示するノートオン／ノートオフイベントからなる。
【００２０】
Ｔａｂｌｅ（）エリアには、変換テーブルＴａｂｌｅ（ＯＣＴＡＶＥ）が記憶される。変換テーブルＴａｂｌｅ（ＯＣＴＡＶＥ）は、ＢＧＭとして再生される曲の各音の音高（ノートナンバ）から抽出するオクターブ値ＯＣＴＡＶＥに応じた画像番号Ｇを発生する。画像番号Ｇは、上述した画像データエリアＩＥ中の画像データ（Ｇ）を指定する。
【００２１】
筆触パターンエリアＨＥには、筆触図形（タッチ形状）を示す複数種の筆触パターンＨＰ（１）〜ＨＰ（Ｎ）が格納される。これら筆触パターンＨＰ（１）〜ＨＰ（Ｎ）は、上述の画像データエリアＩＥ中の画像を、絵画調画像に変換する際に用いられる。例えば油彩画における筆触図形であれば、図６に図示する一例の筆触パターンＨＰ（１）〜ＨＰ（４）が筆触パターンエリアＨＥに登録される。
【００２２】
筆触パターンＨＰ（１）は、筆触図形１を形成する１０個の画素から構成される。筆触パターンＨＰ（２）は、筆触図形２を形成する１３個の画素から構成される。筆触パターンＨＰ（３）は、筆触図形３を形成する１３個の画素から構成される。筆触パターンＨＰ（４）は、筆触図形４を形成する９個の画素から構成される。なお、本実施形態では、これら筆触パターンＨＰ（１）〜ＨＰ（４）と、再生中の曲データから抽出される変換パラメータ（後述のベロシティ変化率ＳＶＥＬ／ｔ）とが予め対応付けられているものとする。
【００２３】
鍵盤１４は、ユーザの押離鍵操作に応じたキーオン／キーオフ信号、鍵番号（又はノートナンバ）およびベロシティを含む演奏情報を発生する。この演奏情報はＣＰＵ１０に取り込まれる。操作部１５は、装置パネルに配設される各種操作スイッチを有し、ユーザ操作されるスイッチ種に対応したスイッチイベントを発生する。スイッチイベントはＣＰＵ１０に取り込まれる。この操作部１５には、電源をパワーオンオフする電源スイッチの他、動作モードを指定するモードスイッチ、ＢＧＭとして再生される曲を選択する曲選択スイッチおよび曲再生の開始／停止を指示するスタート／ストップスイッチ等が設けられる。
【００２４】
表示部１６は、カラー液晶パネル等から構成され、ＣＰＵ１０から供給される表示制御信号に応じて、元画像を絵画風に変換した絵画調画像を表示したり楽譜表示したりする他、楽器の設定状態や動作状態などを画面表示する。音源１７は、周知の波形メモリ読み出し方式により構成され、ＣＰＵ１０から供給されるイベントに応じた楽音データを発生する。サウンドシステム１８は、音源１７から出力される楽音データをアナログ形式の楽音信号に変換した後に信号増幅してスピーカから放音する。
【００２５】
Ｂ．動作  
次に、図７〜図２０を参照して上記構成による実施形態の動作について説明する。以下では、電子楽器１００におけるＣＰＵ１０が実行するメインルーチン、当該メインルーチンからコールされるスイッチ処理、鍵盤処理、ＢＧＭ処理および表示処理の各動作について述べる。
【００２６】
（１）メインルーチンの動作
ユーザの電源スイッチ操作に応じてパワーオンされると、ＣＰＵ１０は図７に図示するメインルーチンのステップＳＡ１に処理を進め、ＲＡＭ１２のワークエリアＷＥ（図３参照）に設けられる各種レジスタ・フラグデータをゼロリセットもしくは初期値セットする他、音源１７に対して初期化を指示するイニシャライズを実行する。イニシャライズが完了すると、ステップＳＡ２を介してスイッチ処理を実行する。
【００２７】
後述するように、スイッチ処理では、モードスイッチのオン操作に応じて電子楽器１００の動作モードを「楽器モード」又は「デジタルフォトフレームモード」の何れかに設定したり、曲選択スイッチ操作によりＢＧＭとして再生される曲（曲番号Ｍの曲データ）を選択したりする他、スタート／ストップスイッチの操作に応じて曲再生の開始／停止を指示する。
【００２８】
続いて、ステップＳＡ３では、鍵盤１４におけるユーザの演奏操作（押離鍵操作）に応じたノートオンイベント又はノートオフイベントを作成し、作成したノートオン／ノートオフイベントを音源１７に供給して、押離鍵された鍵の音高の楽音を発音／消音させる鍵盤処理を実行する。
【００２９】
次いで、ステップＳＡ４では、ＢＧＭ処理を実行する。後述するように、ＢＧＭ処理では、スタートフラグＳＴＦが「１」（曲再生の開始）ならば、最小単位時間（ティック）が経過する度にレジスタＴの値（タイムＴ）をデクリメントし、デクリメントされたレジスタＴの値が「０」以下のイベントタイミングに達する毎に、歩進された読み出しアドレスＡＤに応じて曲番号Ｍの曲データ（Ｍ）を順次読み出して曲を構成する各音を再生する。各音を再生する過程では、前回再生した音のオクターブ値（オクターブ域）に対応付けられた画像番号ＦＧと今回再生する音のオクターブ値（オクターブ域）に対応付けられた画像番号Ｇとが異なると、表示フラグＤＦを「１」にセットする。つまり、再生音の音域変化に対応して表示する画像を新たな画像（画像番号Ｇの画像）に切り替えるよう指示する。
【００３０】
また、各音を再生する過程において、曲を一定時間再生するまでの間は、ノートオンイベントに含まれるベロシティおよびノートナンバをそれぞれ累算してベロシティ累算値ＳＶＥＬおよびノートナンバ累算値ＳＮＯＴＥを取得する。そして、経過時間ｔが所定値に達して曲を一定時間再生し終えると、取得したベロシティ累算値ＳＶＥＬを経過時間ｔで除して得られるベロシティ変化率（単位時間当たりのベロシティ増分）ＳＶＥＬ／ｔをレジスタＳＶＬにストアすると共に、取得したノートナンバ累算値ＳＮＯＴＥを経過時間ｔで除して得られるノートナンバ変化率（単位時間当たりのノートナンバ増分）ＳＮＯＴＥ／ｔをレジスタＳＮＴにストアする。こうして、画像番号Ｇの画像を絵画調画像に変換する際の変換パラメータとして扱われるレジスタＳＶＬのベロシティ変化率ＳＶＥＬ／ｔと、レジスタＳＮＴのノートナンバ変化率ＳＮＯＴＥ／ｔとが得られると、変換フラグＴＦを「１」にセットする。
【００３１】
続いて、ステップＳＡ５では、表示処理を実行する。表示処理では、後述するように、モードスイッチ操作に応じて楽器モード（モードフラグＭＦが「１」）に遷移した場合には、曲選択スイッチにて選択された曲番号Ｍの曲データ（Ｍ）を表示部１６に楽譜表示し、その際、スタート／ストップスイッチ操作に応じて当該曲データ（Ｍ）の再生（ＢＧＭ処理）が進行していれば、読み出しアドレスＡＤに応じて曲データ（Ｍ）から読み出されるイベントＥＶＴに対応する音符を強調表示する。
【００３２】
一方、デジタルフォトフレームモード（モードフラグＭＦが「１」）に遷移した場合には、ＢＧＭ処理により再生される音のオクターブ値に対応して指定される画像番号Ｇの画像を表示部１６に表示した後、曲再生の進行が一定時間経過（経過時間ｔが所定値に達した時点）した時に、ＢＧＭ処理で取得された変換パラメータ（ベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔ）に基づいて指定される筆触パターン（タッチ）およびその筆触パターンの重なり具合に従って、画像番号Ｇの画像を油彩画風の絵画調画像に変換して表示部１６に表示する。
【００３３】
そして、ステップＳＡ７に進み、例えばユーザ操作に従い、楽器モード下での動作状態や設定状態あるいはデジタルフォトフレームモード下での動作状態や設定状態などを表示部１６に表示する等の、その他の処理を実行した後、上述のステップＳＡ２に処理を戻す。以後、パワーオフされるまで上述したステップＳＡ２〜ＳＡ６の各処理を繰り返し実行する。
【００３４】
（２）スイッチ処理の動作
次に、図８〜図１１を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップＳＡ２（図７参照）を介してスイッチ処理が実行されると、ＣＰＵ１０は図８に図示するステップＳＢ１に進み、モードスイッチ処理を実行する。モードスイッチ処理が実行されると、図９に図示するステップＳＣ１に進み、モードスイッチのオン操作の有無を判断する。モードスイッチがオン操作されなければ、ステップＳＣ１の判断結果は「ＮＯ」になり、モードスイッチ処理を完了させる。
【００３５】
一方、モードスイッチがオン操作されると、上記ステップＳＣ１の判断結果は「ＹＥＳ」になり、ステップＳＣ２に進み、モードフラグＭＦを反転させる。モードフラグＭＦは電子楽器１００の動作モードを表すフラグであり、「１」の場合に楽器モードを表し、「０」の場合にデジタルフォトフレームモードを表す。次いで、ステップＳＣ３では、表示フラグＤＦに「１」をセットしてモードスイッチ処理を終える。このように、モードスイッチ処理では、モードスイッチのオン操作に応じてモードフラグＭＦを反転させ、電子楽器１００の動作モードを「楽器モード」又は「デジタルフォトフレームモード」の何れかに設定すると共に、表示フラグＤＦに「１」をセットする。
【００３６】
さて、こうしたモードスイッチ処理が完了すると、ＣＰＵ１０はステップＳＢ２（図８参照）を介して曲選択スイッチ処理を実行し、図１０に図示するステップＳＤ１に処理を進め、曲選択スイッチの操作の有無を判断する。曲選択スイッチが操作されなければ、このステップＳＤ１の判断結果は「ＮＯ」になり、曲選択スイッチ処理を終える。
【００３７】
一方、曲選択スイッチが操作されると、上記ステップＳＤ１の判断結果は「ＹＥＳ」になり、ステップＳＤ２に進み、曲選択スイッチの操作により選択された曲番号をレジスタＭにストアする。以下、レジスタＭの内容を曲番号Ｍと称す。そして、ステップＳＤ３では、表示フラグＤＦを「１」にセットして本処理を終える。このように、曲選択スイッチ処理では、曲選択スイッチの操作により選択された曲番号をレジスタＭにストアすると共に、表示フラグＤＦに「１」をセットする。
【００３８】
そして、曲選択スイッチ処理が完了すると、ＣＰＵ１０はステップＳＢ３（図８参照）を介してスタート／ストップスイッチ処理を実行し、図１１に図示するステップＳＥ１に処理を進め、スタート／ストップスイッチのオン操作の有無を判断する。スタート／ストップスイッチがオン操作されなければ、このステップＳＥ１の判断結果は「ＮＯ」になり、スタート／ストップスイッチ処理を終える。これに対し、スタート／ストップスイッチがオン操作されると、上記ステップＳＥ１の判断結果は「ＹＥＳ」となり、ステップＳＥ２に進む。
【００３９】
ステップＳＥ２では、スタートフラグＳＴＦを反転する。スタートフラグＳＴＦとは、フラグ値「１」の場合に曲再生の開始を表し、フラグ値「０」の場合に曲再生の停止を表すフラグである。また、スタート／ストップスイッチは所謂トグル動作するスイッチであり、オン操作される毎に曲再生の開始／停止を交互に指示するようになっている。なお、ここで言う曲再生とは後述のＢＧＭ処理を指す。
【００４０】
次いで、ステップＳＦ３では、スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「１」、つまり曲再生の開始であるか否かを判断する。以下、スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「１」（曲再生の開始）の場合と、当該スタートフラグＳＴＦが「０」（曲再生の停止）の場合とに分けて動作説明を進める。
【００４１】
＜スタートフラグＳＴＦが「１」（曲再生の開始）の場合＞
スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「１」となり、曲再生の開始を表す場合には、上記ステップＳＥ３の判断結果が「ＹＥＳ」になり、ステップＳＥ４に進む。ステップＳＥ４では、曲選択スイッチ操作により選択された曲番号Ｍの曲データ（Ｍ）のスタートアドレス（先頭アドレス）をレジスタＡＤにストアする。以下、レジスタＡＤの内容を読み出しアドレスＡＤと称す。
【００４２】
続いて、ステップＳＥ５では、読み出しアドレスＡＤに応じて、曲番号Ｍの曲データ（Ｍ）を読み出す。次いで、ステップＳＥ６では、読み出しアドレスＡＤ（スタートアドレス）に応じて読み出される曲データ、すなわちタイムＴをレジスタＴにストアし、続くステップＳＥ７では、タイマインタラプト禁止を解除して本処理を終える。なお、ＣＰＵ１０では、タイマインタラプト禁止が解除されると、曲進行時間を計時するタイマインタラプト（不図示）をスタートさせるようになっている。
【００４３】
＜スタートフラグＳＴＦが「０」（曲再生の停止）の場合＞
スタート／ストップスイッチのオン操作に応じて反転されたスタートフラグＳＴＦが「０」となり、曲再生の停止を表す場合には、上述したステップＳＥ３の判断結果が「ＹＥＳ」になり、ステップＳＥ８に進み、音源１７に対して発音中の全ての楽音を消音するよう指示するオールノートオフ処理を実行する。この後、ステップＳＥ９に進み、曲進行時間を計時するタイマインタラプトを禁止してスタート／ストップスイッチ処理を終える。
【００４４】
このように、スタート／ストップスイッチ処理では、スタート／ストップスイッチのオン操作に応じて曲再生の開始が指示されると、曲選択スイッチ操作により選択された曲番号Ｍの曲データ（Ｍ）から先頭データであるタイムＴを読み出してレジスタＴにストアすると共に、タイマインタラプト禁止を解除して曲再生をスタートさせ、一方、スタート／ストップスイッチのオン操作に応じて曲再生の停止が指示されると、音源１７に対して発音中の全ての楽音を消音するよう指示した後、タイマインタラプトを禁止する。
【００４５】
そして、スタート／ストップスイッチ処理が完了すると、ＣＰＵ１０はステップＳＢ４（図８参照）に進み、例えば音色スイッチ操作により発生楽音の音色の種類を指定したり、エフェクト選択スイッチ操作により発生楽音に付与するエフェク種類を選択する等の、その他のスイッチ処理を実行した後、スイッチ処理を完了させる。
【００４６】
（３）鍵盤処理の動作
次に、図１２を参照して鍵盤処理の動作を説明する。前述したメインルーチンのステップＳＡ３（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１２に図示するステップＳＦ１に進み、鍵盤１４の各鍵についてキーオン／キーオフイベントの有無を検出する鍵走査を行い、続くステップＳＦ２では、上記ステップＳＦ１の鍵走査結果に基づき鍵変化を判別する。押離鍵操作が行われず、鍵変化が生じない場合には、鍵変化無しと判別して鍵盤処理を終える。
【００４７】
押鍵操作によるキーオンイベントを検出した場合には、上記ステップＳＦ２を介してステップＳＦ３に進み、押鍵された鍵のノートナンバ（鍵番号）とベロシティとに基づきノートオンイベントを作成し、続くステップＳＦ４では、その作成したノートオンイベントを音源１７に供給して本処理を終える。これにより、音源１７では供給されたノートオンイベントに基づき押鍵された鍵の音高の楽音を、ベロシティで指定される音量にて発音する。
【００４８】
これに対し、離鍵操作によるキーオフイベントを検出した場合には、上記ステップＳＦ２を介してステップＳＦ５に進み、離鍵された鍵のノートナンバ（鍵番号）に基づきノートオフイベントを作成し、続くステップＳＦ４では、その作成したノートオフイベントを音源１７に供給して本処理を終える。これにより、音源１７では供給されたノートオフイベントに基づき、発音中の楽音の内、離鍵された鍵の音高の楽音を消音する。このように、鍵盤処理では、押離鍵操作に応じたノートオン／ノートオフイベントを作成し、作成したノートオン／ノートオフイベントを音源１７に供給して、押離鍵された鍵の音高の楽音を発音／消音させる。
【００４９】
（４）ＢＧＭ処理の動作
次に、図１３〜図１５を参照してＢＧＭ処理の動作を説明する。前述したメインルーチンのステップＳＡ４（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１３に図示するステップＳＧ１に進み、スタートフラグＳＴＦが「１」（曲再生の開始）であるかどうかを判断する。スタートフラグＳＴＦが「０」（曲再生の停止）ならば、判断結果は「ＮＯ」になり、本処理を終えるが、スタートフラグＳＴＦが「１」（曲再生の開始）であると、判断結果は「ＹＥＳ」になり、次のステップＳＧ２に進む。ステップＳＧ２では、タイマインタラプトが曲の再生テンポに対応した最小単位時間（ティック）をカウントしたか否か、すなわち最小単位時間が経過したかどうかを判断する。最小単位時間が経過していなければ、判断結果は「ＮＯ」となり、本処理を終える。
【００５０】
これに対し、最小単位時間が経過していると、上記ステップＳＧ２の判断結果は「ＹＥＳ」になり、ステップＳＧ３に進み、レジスタＴの値（タイムＴ）をデクリメントする。そして、ステップＳＧ４では、レジスタｔの値をインクリメントして歩進させる。このレジスタｔは、前述したイニシャライズ（ステップＳＡ１）において初期値「０」がセットされ、経過時間を計時する。以下、レジスタｔの値を経過時間ｔと称す。次いで、ステップＳＧ５では、デクリメントされたレジスタＴの値が「０」以下、つまりイベントタイミングに達したかどうかを判断する。以下、イベントタイミングに達した場合と、イベントタイミングに達していない場合とに分けて動作説明を進める。
【００５１】
＜イベントタイミングに達した場合＞
上記ステップＳＧ３にてデクリメントされたレジスタＴの値が「０」以下となり、イベントタイミングに達すると、上記ステップＳＧ５の判断結果は「ＹＥＳ」になり、ステップＳＧ６に進み、読み出しアドレスＡＤを歩進させる。続いて、ステップＳＧ７では、歩進された読み出しアドレスＡＤが曲終端の最終アドレスに到達していないかどうかを判断する。
【００５２】
歩進された読み出しアドレスＡＤが最終アドレスに達していなければ、判断結果は「ＹＥＳ」となり、ステップＳＧ８に進み、歩進された読み出しアドレスＡＤに応じて、曲番号Ｍの曲データを読み出す。そして、ステップＳＧ９では、上記ステップＳＧ８にて読み出された曲データがイベントＥＶＴ又はタイムＴの何れであるかを判別する。以下、読み出された曲データがイベントＥＶＴの場合と、タイムＴの場合とに分けて説明を進める。
【００５３】
ａ．読み出された曲データがイベントＥＶＴの場合
読み出された曲データがイベントＥＶＴであると、上記ステップＳＧ９を介して図１４に図示するステップＳＧ１０に進む。ステップＳＧ１０では、読み出したイベントＥＶＴがノートオンイベントであるか否かを判断する。ノートオンイベントでなければ、判断結果は「ＮＯ」になり、後述のステップＳＧ１３に進み、一方、ノートオンイベントであったならば、判断結果が「ＹＥＳ」になり、ステップＳＧ１１に進む。ステップＳＧ１１では、ノートオンイベントに含まれるベロシティ（音量）をレジスタＶＥＬにストアし、続くステップＳＧ１２では、ノートオンイベントに含まれるノートナンバ（音高）をレジスタＮＯＴＥにストアする。
【００５４】
そして、ステップＳＧ１３では、読み出したイベントＥＶＴを音源１７に供給する。これにより、音源１７では、イベントＥＶＴがノートオンイベントならば、当該イベント中のノートナンバで指定される音高の楽音を、当該イベント中のベロシティで指定される音量にて発音し、一方、イベントＥＶＴがノートオフイベントならば、当該イベント中のノートナンバで指定される音高の楽音を消音する。
【００５５】
次いで、ステップＳＧ１４では、読み出したイベントＥＶＴに含まれるノートナンバのオクターブ値を算出してレジスタＯＣＴＡＶＥにストアする。オクターブ値はノートナンバのｍｏｄ１２（１２の剰余）で算出される。続いて、ステップＳＧ１５では、レジスタＯＣＴＡＶＥにストアされたオクターブ値に対応した画像番号Ｇを、Ｔａｂｌｅ（）エリア（図４参照）中の変換テーブルＴａｂｌｅ（ＯＣＴＡＶＥ）から読み出す。なお、この画像番号Ｇは、画像データエリアＩＥ（図４参照）における画像データ（Ｇ）を指定する。
【００５６】
ステップＳＧ１６では、現イベントＥＶＴから取得した画像番号Ｇと、前イベントＥＶＴから取得した前画像番号ＦＧとが一致していないかどうかを判断する。なお、レジスタＦＧに格納される前画像番号ＦＧは、メインルーチン（図７参照）のイニシャライズ（ステップＳＡ１）において初期値「０」がセットされるようになっている。
【００５７】
画像番号Ｇと前画像番号ＦＧとが一致している場合、すなわち先に再生された音と現在再生中の音とが同じオクターブ域の音であるならば、上記ステップＳＧ６の判断結果は「ＮＯ」になり、図１５に図示するステップＳＧ１９に進む。
【００５８】
これに対し、画像番号Ｇと前画像番号ＦＧとが一致しない場合、すなわち先に再生された音と現在再生中の音とが異なるオクターブ域の音であると、上記ステップＳＧ１６の判断結果は「ＹＥＳ」になり、ステップＳＧ１７に進み、表示フラグＤＦに「１」をセットし、続くステップＳＧ１８では、画像番号Ｇを前画像番号ＦＧに更新した後、図１５に図示するステップＳＧ１９に進む。
【００５９】
ステップＳＧ１９では、上述のステップＳＧ４にて計時される経過時間ｔが所定値に達したか否か、つまり曲を一定時間再生したかどうかを判断する。経過時間ｔが所定値に達しておらず、曲を一定時間再生していない場合には、判断結果が「ＹＥＳ」になり、ステップＳＧ２０に進み、レジスタＶＥＬに格納されるベロシティをレジスタＳＶＥＬに加算する。次いで、ステップＳＧ２１では、レジスタＮＯＴＥに格納されるノートナンバをレジスタＳＮＯＴＥに加算した後、本処理を終える。
【００６０】
このように、経過時間ｔが所定値に達しておらず、曲を一定時間再生する迄の間は、ノートオンイベント中のベロシティを順次累算してレジスタＳＶＥＬにベロシティ累算値をストアする一方、ノートオンイベント中のノートナンバを順次累算してレジスタＳＮＯＴＥにノートナンバ累算値をストアする。
【００６１】
一方、経過時間ｔが所定値に達し、曲を一定時間再生した場合には、上記ステップＳＧ１９の判断結果は「ＮＯ」になり、ステップＳＧ２２に進み、レジスタＳＶＥＬにストアされたベロシティ累算値を経過時間ｔで除して単位時間当たりのベロシティ増分を表すベロシティ変化率ＳＶＥＬ／ｔを算出してレジスタＳＶＬにストアする。
【００６２】
続いて、ステップＳＧ２３では、レジスタＳＮＯＴＥにストアされたノートナンバ累算値を経過時間ｔで除して単位時間当たりのノートナンバ増分を表すノートナンバ変化率ＳＮＯＴＥ／ｔを算出してレジスタＳＮＴにストアする。なお、レジスタＳＶＬにストアされたベロシティ変化率ＳＶＥＬ／ｔと、レジスタＳＮＴにストアされたノートナンバ変化率ＳＮＯＴＥ／ｔとは、後述する変換処理において画像番号Ｇの画像を絵画調画像に変換する際の変換パラメータとして扱われる。
【００６３】
こうして、曲を一定時間再生する毎に、変換パラメータとなるベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔが生成されると、ステップＳＧ２４に進み、新たな変換パラメータ生成の為に経過時間ｔ（レジスタｔ）、レジスタＳＶＥＬおよびレジスタＳＮＯＴＥをゼロリセットし、続くステップＳＧ２５では、変換フラグＴＦを「１」にセットして本処理を終える。
【００６４】
ｂ．読み出された曲データがタイムＴの場合
読み出された曲データがタイムＴであると、図１３に図示するステップＳＧ９を介してステップＳＧ２６に進み、タイムＴをレジスタＴにストアした後、上述のステップＳＧ１９（図１５参照）に進む。そして、ステップＳＧ１９〜ＳＧ２５では、上述した通り、ステップＳＧ４（図１３参照）にて累算される経過時間ｔが所定値に達していないかどうかを判断し、経過時間ｔが所定値に達しておらず、曲を一定時間再生していなければ、ステップＳＧ２０〜ＳＧ２１においてレジスタＶＥＬに格納されるベロシティをレジスタＳＶＥＬに加算し、レジスタＮＯＴＥに格納されるノートナンバをレジスタＳＮＯＴＥに加算して本処理を終える。
【００６５】
これに対し、経過時間ｔが所定値に達し、曲を一定時間再生すると、ステップＳＧ２２〜ＳＧ２５において、レジスタＳＶＥＬのベロシティ累算値を経過時間ｔで除して得たベロシティ変化率ＳＶＥＬ／ｔをレジスタＳＶＬにストアし、レジスタＳＮＯＴＥのノートナンバ累算値を経過時間ｔで除して得たノートナンバ変化率ＳＮＯＴＥ／ｔをレジスタＳＮＴにストアした後、経過時間ｔ（レジスタｔ）、レジスタＳＶＥＬおよびレジスタＳＮＯＴＥをゼロリセットすると共に、変換フラグＴＦを「１」にセットして本処理を終える。
【００６６】
さて一方、歩進された読み出しアドレスＡＤが曲終端の最終アドレスに達した場合には、前述したステップＳＧ７（図１３参照）の判断結果が「ＮＯ」になり、ステップＳＧ２７に進む。ステップＳＧ２７では、読み出しアドレスＡＤに開始アドレス（先頭アドレス）をセットし、続くステップＳＧ２８では、読み出しアドレスＡＤ（開始アドレス）に従って曲番号Ｍの曲データから先頭のタイムＴを読み出す。そして、ステップＳＧ２９では、読み出したタイムＴをレジスタＴにストアする。次いで、ステップＳＧ３０では、経過時間ｔ（レジスタｔ）、レジスタＳＶＥＬおよびレジスタＳＮＯＴＥをゼロリセットして本処理を終える。
【００６７】
＜イベントタイミングに達していない場合＞
前述のステップＳＧ３においてデクリメントされたレジスタＴの値が「０」より大きく、イベントタイミングに達していない場合には、前述したステップＳＧ５の判断結果が「ＮＯ」になり、図１５に図示したステップＳＧ１９に進む。そして、ステップＳＧ１９〜ＳＧ２５では、上述した通り、ステップＳＧ４（図１３参照）にて累算される経過時間ｔが所定値に達していないかどうかを判断し、経過時間ｔが所定値に達しておらず、曲を一定時間再生していなければ、ステップＳＧ２０〜ＳＧ２１においてレジスタＶＥＬに格納されるベロシティをレジスタＳＶＥＬに加算し、レジスタＮＯＴＥに格納されるノートナンバをレジスタＳＮＯＴＥに加算して本処理を終える。
【００６８】
一方、経過時間ｔが所定値に達し、曲を一定時間再生すると、ステップＳＧ２２〜ＳＧ２５において、レジスタＳＶＥＬのベロシティ累算値を経過時間ｔで除して得たベロシティ変化率ＳＶＥＬ／ｔをレジスタＳＶＬにストアし、レジスタＳＮＯＴＥのノートナンバ累算値を経過時間ｔで除して得たノートナンバ変化率ＳＮＯＴＥ／ｔをレジスタＳＮＴにストアした後、経過時間ｔ（レジスタｔ）、レジスタＳＶＥＬおよびレジスタＳＮＯＴＥをゼロリセットすると共に、変換フラグＴＦを「１」にセットして本処理を終える。
【００６９】
以上のように、ＢＧＭ処理では、スタートフラグＳＴＦが「１」（曲再生の開始）ならば、最小単位時間（ティック）が経過する度にレジスタＴの値（タイムＴ）をデクリメントし、デクリメントされたレジスタＴの値が「０」以下のイベントタイミングに達する毎に、歩進された読み出しアドレスＡＤに応じて曲番号Ｍの曲データ（Ｍ）を順次読み出して曲を構成する各音を再生する。各音を再生する過程では、前回再生した音のオクターブ値（オクターブ域）に対応付けられた画像番号ＦＧと今回再生する音のオクターブ値（オクターブ域）に対応付けられた画像番号Ｇとが異なると、表示フラグＤＦを「１」にセットする。
【００７０】
また、各音を再生する過程において、曲を一定時間再生するまでの間は、ノートオンイベントに含まれるベロシティおよびノートナンバをそれぞれ累算してベロシティ累算値ＳＶＥＬおよびノートナンバ累算値ＳＮＯＴＥを取得し、経過時間ｔが所定値に達して曲を一定時間再生し終えると、取得したベロシティ累算値ＳＶＥＬを経過時間ｔで除してベロシティ変化率（単位時間当たりのベロシティ増分）ＳＶＥＬ／ｔを算出してレジスタＳＶＬにストアすると共に、取得したノートナンバ累算値ＳＮＯＴＥを経過時間ｔで除して得られるノートナンバ変化率（単位時間当たりのノートナンバ増分）ＳＮＯＴＥ／ｔを算出してレジスタＳＮＴにストアする。こうして、画像番号Ｇの画像を絵画調画像に変換する際の変換パラメータとして扱われるレジスタＳＶＬのベロシティ変化率ＳＶＥＬ／ｔと、レジスタＳＮＴのノートナンバ変化率ＳＮＯＴＥ／ｔとが得られると、変換フラグＴＦを「１」にセットする。
【００７１】
なお、ＢＧＭ処理では、上述したように、経過時間ｔが所定値に達する毎に、変換パラメータとして、ベロシティ変化率ＳＶＥＬ／ｔと、ノートナンバ変化率ＳＮＯＴＥ／ｔとを取得する態様としたが、これに限らず、例えば再生したノートオンイベントの数（音符の数に相当）を計数し、計数したノートオンイベント数が所定数に達する毎（再生された音符の数が所定数に達する毎）に、レジスタＳＶＥＬにストアされたベロシティ累算値およびレジスタＳＮＯＴＥにストアされたノートナンバ累算値をそれぞれ所定数のノートオンイベント数で除して一音当たりの「平均ベロシティ」および「平均ノートナンバ」を算出し、これらを変換パラメータとして用いる態様としてもよい。
【００７２】
（５）表示処理の動作
次に、図１６〜図１７を参照して表示処理の動作を説明する。前述したメインルーチンのステップＳＡ５（図７参照）を介して本処理が実行されると、ＣＰＵ１０は図１６に図示するステップＳＨ１に進み、モードフラグＭＦが「１」であるか否かを判断する。前述したモードスイッチ処理（図９参照）によりモードフラグＭＦが「１」、すなわち「楽器モード」に設定された場合には判断結果が「ＹＥＳ」になり、ステップＳＨ２に進み、一方、モードフラグＭＦが「０」、すなわち「デジタルフォトフレームモード」に設定された場合には判断結果が「ＮＯ」になり、図１７に図示するステップＳＨ７に進む。以下、楽器モードの動作と、デジタルフォトフレームモードの動作とに分けて説明を進める。
【００７３】
＜楽器モードの動作＞
楽器モードの場合には、ステップＳＨ２に進み、表示フラグＤＦが「１」であるか否かを判断する。表示フラグＤＦがゼロリセットされていれば、判断結果は「ＮＯ」になり、後述のステップＳＨ５に進むが、モードスイッチにオン操作に応じて楽器モードへ遷移した場合には、表示フラグＤＦが「１」にセットされる為、このステップＳＨ２の判断結果は「ＹＥＳ」になり、次のステップＳＨ３に進む。ステップＳＨ３では、曲番号Ｍの曲データ（Ｍ）を表示部１６に楽譜表示し、続くステップＳＨ４では、表示フラグＤＦがゼロリセットする。
【００７４】
次いで、ステップＳＨ５では、スタートフラグＳＴＦが「１」（曲再生の開始）であるかどうかを判断する。スタートフラグＳＴＦが「０」（曲再生の停止）ならば、判断結果は「ＮＯ」になり、本処理を終えるが、スタートフラグＳＴＦが「１」（曲再生の開始）であると、判断結果が「ＹＥＳ」になり、ステップＳＨ６に進む。ステップＳＨ６では、画面表示された楽譜において、読み出しアドレスＡＤに応じて曲データ（Ｍ）から読み出されるイベントＥＶＴに対応する音符を強調表示（例えば表示色変更など）して本処理を終える。
【００７５】
＜デジタルフォトフレームモードの動作＞
デジタルフォトフレームモードの場合には、図１７に図示するステップＳＨ７に進み、表示フラグＤＦが「１」であるか否かを判断する。表示フラグＤＦがゼロリセットされていれば、判断結果は「ＮＯ」になり、後述のステップＳＨ１１に進むが、モードスイッチにオン操作に応じてデジタルフォトフレームモードへ遷移した場合には、表示フラグＤＦが「１」にセットされる為、このステップＳＨ７の判断結果は「ＹＥＳ」になり、次のステップＳＨ８に進む。ステップＳＨ８では、画像番号Ｇの画像データ（Ｇ）を画像データエリアＩＥ（図４参照）から読み出して表示部１６に画面表示する。なお、画像番号Ｇは、上述したＢＧＭ処理により再生される音のオクターブ値に対応して、Ｔａｂｌｅ（）エリア（図４参照）中の変換テーブルＴａｂｌｅ（ＯＣＴＡＶＥ）から読み出される。
【００７６】
そして、ステップＳＨ９に進むと、経過時間ｔ（レジスタｔ）、レジスタＳＶＥＬおよびレジスタＳＮＯＴＥをゼロリセットし、続くステップＳＨ１０では、表示フラグＤＦをゼロリセットする。次いで、ステップＳＨ１１では、変換フラグＴＦが「１」であるか否かを判断する。変換フラグＴＦは、前述のＢＧＭ処理で述べた通り、曲再生の進行が一定時間経過（経過時間ｔが所定値に達した時点）する毎に「１」がセットされ、画像番号Ｇの画像データについて絵画調に変換するタイミングであることを表す。
【００７７】
したがって、変換フラグＴＦが「０」の場合、つまり画像番号Ｇの画像データについて絵画調に変換するタイミングでなければ、このステップＳＨ１１の判断結果は「ＮＯ」になり、本処理を終える。これに対し、画像番号Ｇの画像データについて絵画調に変換するタイミング下であると、変換フラグＴＦは「１」となり、上記ステップＳＨ１１の判断結果が「ＹＥＳ」になり、ステップＳＨ１２を介して変換処理を実行する。
【００７８】
変換処理では、後述するように、ＢＧＭ処理で取得された変換パラメータ（レジスタＳＶＬのベロシティ変化率ＳＶＥＬ／ｔおよびレジスタＳＮＴのノートナンバ変化率ＳＮＯＴＥ／ｔ）で定まる筆触パターンおよび当該筆触パターンの重なり具合に基づき画像番号Ｇの画像データを絵画調（油彩画風）に変換して画面表示する。そして、この変換処理が完了すると、ステップＳＨ１３に進み、変換フラグＴＦをゼロリセットすると共に、レジスタＳＶＬおよびレジスタＳＮＴの変換パラメータもゼロリセットして本処理を終える。
【００７９】
このように、表示処理では、楽器モード（モードフラグＭＦが「１」）に遷移した場合には、曲番号Ｍの曲データ（Ｍ）を表示部１６に楽譜表示し、その曲データ（Ｍ）の再生（ＢＧＭ処理）が進行していれば、読み出しアドレスＡＤに応じて曲データ（Ｍ）から読み出されるイベントＥＶＴに対応する音符を強調表示する。一方、デジタルフォトフレームモード（モードフラグＭＦが「１」）に遷移した場合には、ＢＧＭ処理により再生される音のオクターブ値に対応して指定される画像番号Ｇの画像を表示部１６に表示した後、曲再生の進行が一定時間経過（経過時間ｔが所定値に達した時点）した時に、ＢＧＭ処理で取得された変換パラメータ（ベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔ）に基づき画像番号Ｇの画像データを絵画調（油彩画）に変換して表示部１６に表示する。
【００８０】
（６）変換処理の動作
次に、図１８〜図２０を参照して変換処理の動作を説明する。上述した表示処理のステップＳＨ１２（図１７参照）を介して本処理が実行されると、ＣＰＵ１０は図１８に図示するステップＳＪ１に進み、データメモリ１３の筆触パターンエリアＨＥ（図４参照）に格納される各種筆触パターンＨＰ（１）〜（Ｎ）の中から、レジスタＳＶＬの値（ベロシティ変化率ＳＶＥＬ／ｔ）に対応付けられた筆触パターンとして、例えば筆触パターンＨＰ（１）を選択したとする。
【００８１】
続いて、ステップＳＪ２では、表示エリアＤＥに格納され、ＢＧＭ処理により再生される音のオクターブ値に対応して指定される画像番号Ｇの画像データを変換元画像エリアＩＥ（図３参照）にコピーする。変換元画像エリアＩＥにコピーされた画像番号Ｇの画像を変換元画像と称す。そして、ステップＳＪ３では、変換元画像エリアＩＥにコピーされた変換元画像において、変換を開始する開始画素Ｐを設定する。開始画素Ｐは、ビットマップ形式の画素Ｐ（１）〜Ｐ（ｎ×ｍ）の何れか一つを選択する。具体的には、例えば図２０（ａ）に図示する変換元画像エリアＩＥの画素Ｐ（１）を開始画素Ｐに設定する。
【００８２】
次に、ステップＳＪ４では、レジスタＳＮＴの値（ノートナンバ変化率ＳＮＯＴＥ／ｔ）に基づき離間値Ｎを設定する。離間値Ｎとは、図２０（ａ）に図示する通り、開始画素Ｐに設定した画素Ｐ（１）と次に変換を開始する画素Ｐ（２）との間の離間距離を画素数で表すものであり、筆触パターンＨＰの重なり具合を表す。レジスタＳＮＴの値（ノートナンバ変化率ＳＮＯＴＥ／ｔ）と離間値Ｎとは、予め所定の関係で対応付けられている。そして、ステップＳＪ５に進むと、変換元画像エリアにコピーされた変換元画像において、変換を開始する開始画素Ｐ（画素Ｐ（１））の色Ｃｐを取得する。
【００８３】
ステップＳＪ６では、上記ステップＳＪ１で選択された筆触パターンＨＰ（１）を構成する画素の番号を指定するポインタｎに初期値「１」をセットする。続いて、図１９に図示するステップＳＪ７では、ＲＡＭ１２の表示エリアＤＥ（図３参照）において、変換元画像エリアＩＥの開始画素Ｐと同じ位置の画素に、上記ステップＳＪ１にて選択された筆触パターンＨＰ（１）の１番目の画素を合わせる。なお、筆触パターンＨＰ（１）は、図６に図示するように、筆触図形１を形成する１０個の画素から構成される。
【００８４】
次いで、ステップＳＪ８では、１番目の画素が開始画素Ｐに位置合わせされた筆触パターンＨＰ（１）において、ポインタｎで指定されるｎ番目の画素に対応した表示エリアＤＥの画素を検索する。そして、ステップＳＪ９では、その検索した画素が表示エリアＤＥ内に収まっているか否かを判断する。表示エリアＤＥの外ならば、判断結果は「ＮＯ」になり、後述のステップＳＪ１１に進む。一方、検索した画素が表示エリアＤＥ内に収まっていれば、判断結果は「ＹＥＳ」となり、ステップＳＪ１０に進み、その検索した画素の色を、上記ステップＳＪ５で取得した色Ｃｐに設定する。この後、ステップＳＪ１１に進み、ポインタｎをインクリメントして歩進させる。
【００８５】
続いて、ステップＳＪ１２では、歩進されたポイントｎの値が筆触パターンＨＰ（１）の最終画素の番号以上になったか否か、つまり筆触パターンＨＰ（１）を構成する全ての画素について色設定し終えたかどうかを判断する。全ての画素について色設定し終えていなければ、判断結果は「ＮＯ」になり、ステップＳＪ８に処理を戻す。以後、筆触パターンＨＰ（１）を構成する全ての画素について色設定し終えるまで上記ステップＳＪ８〜ＳＪ１２を繰り返す。これにより、上述の一例の場合、図２０（ｂ）に図示する通り、画素Ｐ（１）に対応する位置の開始画素Ｐを１番目の画素とした筆触パターンＨＰ（１）が、ステップＳＪ５で取得した色Ｃｐで塗り潰されることになる。
【００８６】
こうして、最初の開始画素Ｐ（画素Ｐ（１））について筆触パターンＨＰ（１）による塗り潰しを終えると、上記ステップＳＪ１２の判断結果が「ＹＥＳ」になり、ステップＳＪ１３に進み、開始画素Ｐ（画素Ｐ（１））に離間値Ｎを加算して次の開始画素Ｐ（画素Ｐ（２））に更新する。そして、ステップＳＪ１４に進むと、更新された次の開始画素Ｐ（画素Ｐ（２））が表示エリアＤＥ外であるか否かを判断する。表示エリアＤＥ外であると、判断結果は「ＹＥＳ」となり、本処理を終えるが、表示エリアＤＥ内であれば、判断結果が「ＮＯ」になり、図１８に図示したステップＳＪ５以降の処理を繰り返す。
【００８７】
これにより、例えば図２０（ａ）に図示するように、離間値Ｎを隔てて並ぶ画素Ｐ（１）、Ｐ（２）、Ｐ（３）がそれぞれ開始画素Ｐに設定された場合には、これら開始画素Ｐを１番目の画素として配置された筆触パターンＨＰ（１）が、同図２０（ｂ）に図示する通り、それぞれの取得色Ｃｐで塗り潰されて重ね合わされる結果、同図（ｃ）のように筆触図形１のタッチで描かれる油彩画として画像変換されるようになる。
【００８８】
このように、変換処理では、再生中の音のオクターブ値に対応して指定された画像番号Ｇの画像データ中から任意選択した開始画素Ｐを起点として、再生中の曲データから抽出したノートナンバ変化率ＳＮＯＴＥ／ｔに従って指定される画素数（離間値Ｎ）置きの各画素をパターン始点となるように、再生中の曲データから抽出したベロシティ変化率ＳＶＥＬ／ｔに対応付けられた筆触パターンＨＰを割り当てて各筆触パターンＨＰの重なり具合を決める。そして、画像番号Ｇの画像データから各パターン始点の画素に対応する色Ｃｐを取得し、取得した色Ｃｐに従って対応する筆触パターンを塗り潰すことによって、画像番号Ｇの画像が油彩画のように画像変換される。
【００８９】
以上説明したように、本実施形態では、曲を構成する各音を再生している過程で、再生音のオクターブ域が変化した時に、画面表示する画像を新たな画像（画像番号Ｇの画像）に切り替え、曲再生が一定時間経過する毎に、その一定時間ｔの間に再生された各音の曲データから変換パラメータとなるベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔを抽出する。
【００９０】
そして、抽出した変換パラメータ（ベロシティ変化率ＳＶＥＬ／ｔおよびノートナンバ変化率ＳＮＯＴＥ／ｔ）に基づいて指定される筆触パターン（タッチ）およびその筆触パターンの重なり具合に従って、新たに切り替えられた画像（画像番号Ｇの画像）を油彩画風の絵画調画像に変換して表示部１６に表示するので、ＢＧＭとして再生される曲と表示される画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を具現することができる。
【００９１】
なお、上述した実施形態では、ＢＧＭとして再生（自動演奏）される曲データから変換パラメータを抽出する態様としたが、これに替えて、ユーザの演奏操作で生じる演奏データから変換パラメータを抽出し、抽出した変換パラメータに基づいて画像変換する態様とすることも可能である。このようにすれば、ユーザが演奏する曲と表示される画像との連動を高めて面白味の有る飽きが来ないデジタルフォトフレーム機能を実現することが出来る。
【符号の説明】
【００９２】
１０  ＣＰＵ
１１  ＲＯＭ
１２  ＲＡＭ
１３  データメモリ
１４  鍵盤
１５  操作部
１６  表示部
１７  音源
１８  サウンドシステム
１００  電子楽器
【図１】
2012042506.tif 000003
【図２】
2012042506.tif 000004
【図３】
2012042506.tif 000005
【図４】
2012042506.tif 000006
【図５】
2012042506.tif 000007
【図６】
2012042506.tif 000008
【図７】
2012042506.tif 000009
【図８】
2012042506.tif 000010
【図９】
2012042506.tif 000011
【図１０】
2012042506.tif 000012
【図１１】
2012042506.tif 000013
【図１２】
2012042506.tif 000014
【図１３】
2012042506.tif 000015
【図１４】
2012042506.tif 000016
【図１５】
2012042506.tif 000017
【図１６】
2012042506.tif 000018
【図１７】
2012042506.tif 000019
【図１８】
2012042506.tif 000020
【図１９】
2012042506.tif 000021
【図２０】
2012042506.tif 000022