(57)【要約】【課題】  音楽（楽曲）の種々の特性に応じた多彩な表現で画像を表示することができる画像表示付き音楽装置を提供する。【解決手段】  音楽情報から該音楽情報に含まれる複数の特性を抽出する特性抽出手段１０３と、特性抽出手段によって抽出された複数の特性の各々に応じて異なる変化をする画像を生成する画像生成手段１０５〜１１１と、画像生成手段で生成された画像を表示するモニタ１１２とを備えている。【選択図】        図１
2006330921.tif 000002
【特許請求の範囲】
【請求項１】
音楽を規定する音楽情報から該音楽情報に含まれる複数の特性を抽出する特性抽出手段と、
前記特性抽出手段によって抽出された複数の特性の各々に応じて異なる変化をする画像を生成する画像生成手段と、
前記画像生成手段で生成された画像を表示するモニタ
とを備えた画像表示付き音楽装置。
【請求項２】
特性抽出手段は、音楽情報をフーリエ変換することにより音楽情報に含まれる複数の周波数成分ならびに各周波数成分の振幅および位相のうちの少なくとも２つを算出するフーリエ変換手段から成り、
画像生成手段は、前記フーリエ変換手段によって算出された周波数成分ならびに各周波数成分の振幅および位相のうちの少なくとも２つに応じて異なる変化をする画像を生成する
ことを特徴とする請求項１記載の画像表示付き音楽装置。
【請求項３】
画像生成手段は、アニメーションのキャラクタを表す画像を生成する
ことを特徴とする請求項２記載の画像表示付き音楽装置。
【請求項４】
画像生成手段は、
フーリエ変換手段から得られた複数の周波数成分の各々に対してキャラクタの部位を対応させ、各周波数成分の振幅レベルに応じて前記キャラクタの部位の表現内容を決定するキャラクタ描画ルール規定手段と、
前記キャラクタ描画ルール規定手段により決定された表現内容に基づき描画部位を加工して描画部位情報として出力するキャラクタ内描画手段と、
前記キャラクタ内描画手段から送られてくる描画部位情報に基づきキャラクタを描画してモニタに出力する描画手段
とを備えたことを特徴とする請求項３記載の画像表示付き音楽装置。
【請求項５】
画像生成手段は、
フーリエ変換手段から得られた複数の周波数成分の各々の時間的変化の大きさに応じてモニタに表示されるキャラクタの数を制御するための増減パラメータを設定するルールを規定する増減ルール規定手段と、
前記増減ルール規定手段で規定されたルールによって制御された増減パラメータに応じて、モニタに表示されるキャラクタの数の増減を制御するキャラクタ数増減判断手段
とを備えたことを特徴とする請求項４記載の画像表示付き音楽装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像表示付き音楽装置に関し、特に、音楽情報を視覚情報として表現する技術に関する。
【背景技術】
【０００２】
従来、音に映像を関連付けて出力する装置として、周波数分割割当て変換法を採用した音響信号の色彩変換装置が知られている（例えば、特許文献１参照）。この色彩変換装置は、楽音、音声および機械騒音等の周波数スペクトラムを１オクターブ単位で人工的に色彩に対応させ、この色彩を３原色の電気信号に変えて合成した信号で、音響信号を色彩の変動に変換して、音響に対応した色彩表現を行ったり、危険予知を行う。
【０００３】
また、音に映像を関連付けて出力する他の装置として、楽曲データに含まれるリズム成分を正確に解析し、解析結果をキャラクタの表示形態に反映させる楽曲再生システムが知られている（例えば、特許文献２参照）。この楽曲再生システムでは、キャラクタに予め得意なリズム成分を割り当て、さらに固有の姿態表現能力を対応付ける。そして、音圧データ作成部で楽曲データから複数の周波数帯別の音圧データを作成し、周波数帯特定部でリズムを最も顕著に刻む周波数帯を特定する。リズム推定部は特定した周波数帯の音圧データにおける変化周期をもとにリズム成分を推定する。キャラクタ管理部は、推定されたリズム成分と得意なリズム成分との適合度合いに応じて姿態表現能力を累積的に変化させる。表示制御部は、楽曲データが再生される際にキャラクタの表示姿態を姿態表現能力に応じて変化させる。
【０００４】
【特許文献１】特開平３−１３４６９６号公報
【特許文献２】特開２０００−２５０５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に開示された音響信号の色彩変換装置では、音響信号の周波数スペクトルを色彩に対応付けているだけであるので音響の色彩表現に乏しい。そこで、音響を多彩に表現できる装置が望まれている。
【０００６】
また、特許文献２に開示された楽曲再生システムでは、楽曲のリズムに応じてキャラクタの姿態を変化させることはできるが、さらに、楽音の種々の特性に応じた多彩な姿態や色彩等を有するキャラクタを表現できる装置が望まれている。
【０００７】
この発明は、上述した要請に応えるためになされたものであり、音楽（楽曲）の種々の特性に応じた多彩な表現で画像を表示することができる画像表示付き音楽装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像表示付き音楽装置は、音楽情報から該音楽情報に含まれる複数の特性を抽出する特性抽出手段と、特性抽出手段によって抽出された複数の特性の各々に応じて異なる変化をする画像を生成する画像生成手段と、画像生成手段で生成された画像を表示するモニタとを備えている。
【発明の効果】
【０００９】
この発明によれば、音楽を規定する音楽情報から該音楽情報に含まれる複数の特性を抽出し、この抽出された複数の特性の各々に応じて異なる変化をする画像を生成してモニタに表示するように構成したので、音楽（楽曲）の種々の特性に応じた多彩な表現で画像を表示することができる。従って、ユーザは、音楽（楽曲）を聞く時に、曲毎に異なる表現で出力される画像を視覚的に楽しむことができる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。なお、以下では、音楽情報に基づいて作成される画像情報がアニメーションのキャラクタ（以下、単に「キャラクタ」という）である場合について説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る画像表示付き音楽装置の構成を示すブロック図である。この音楽装置は、音楽情報記憶手段１０１、同期タイマ１０２、フーリエ変換手段１０３、メモリスタック１０４、周波数差分カウンタ１０５、増減ルール規定手段１０６、キャラクタ数増減判断手段１０７、周波数振幅レベルテーブル１０８、キャラクタ描画ルール規定手段１０９、キャラクタ内描画手段１１０、描画手段１１１、モニタ１１２、アンプ１１３およびスピーカ１１４から構成されている。
【００１１】
なお、この発明の特性抽出手段は、フーリエ変換手段１０３によって実現されている。また、この発明の画像生成手段は、増減ルール規定手段１０６、キャラクタ数増減判断手段１０７、周波数振幅レベルテーブル１０８、キャラクタ描画ルール規定手段１０９、キャラクタ内描画手段１１０および描画手段１１１によって実現されている。
【００１２】
音楽情報記憶手段１０１は、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＨＤＤ（Hard Disk Drive）等といった音楽情報を記憶した記憶媒体から構成されている。この音楽情報記憶手段１０１に記憶されている音楽情報は、フーリエ変換手段１０３およびアンプ１１３に送られる。
【００１３】
同期タイマ１０２は、１００ミリ秒（以下、「ｍ秒」と記述する）毎にイベント信号を生成し、フーリエ変換手段１０３、メモリスタック１０４、周波数差分カウンタ１０５、増減ルール規定手段１０６、キャラクタ数増減判断手段１０７、描画手段１１１、キャラクタ内描画手段１１０およびキャラクタ描画ルール規定手段１０９に送る。これらの各構成要素は、同期タイマ１０２からのイベント信号に同期して動作する。
【００１４】
フーリエ変換手段１０３は、同期タイマ１０２から送られてくるイベント信号に応答して、音楽情報記憶手段１０１から送られてくる音楽情報をフーリエ変換する。このフーリエ変換により得られた周波数スペクトルのうちの１、２、３、・・・、１１ｋＨｚの周波数成分の振幅レベル（単位ｍＶｓ：ミリボルト秒）は、メモリスタック１０４に送られる。また、フーリエ変換により得られた周波数スペクトルのうちの９００Ｈｚの周波数成分の振幅レベルは、周波数差分カウンタ１０５に送られる。
【００１５】
メモリスタック１０４には、図１４に示すような周波数ピークテーブルが形成されている。この周波数ピークテーブルには、同期タイマ１０２から送られてくるイベント信号に同期して、フーリエ変換手段１０３から１００ｍ秒毎に送られてくる１ｋＨｚから１１ｋＨｚまで各周波数成分に対する振幅レベルが５個分順次記憶される。また、この周波数ピークテーブルには、各周波数成分に対する５個の振幅レベルの最大値をピーク振幅レベルとして格納するためのピークスペクトル欄およびピーク振幅レベルに描画内容を対応させるための描画内容欄が設けられている。ピークスペクトル欄および描画内容欄の内容は、後述するように、キャラクタ描画ルール規定手段１０９によって設定される。
【００１６】
周波数差分カウンタ１０５は、同期タイマ１０２から送られてくるイベント信号に同期して、その時点で記憶している定数Ｄ１を定数Ｄ２として待避し、フーリエ変換手段１０３から送られてくる９００Ｈｚの周波数成分の振幅レベルを定数Ｄ１として記憶する。そして、１００ｍ秒毎の９００Ｈｚの周波数成分の振幅レベルの変化幅、つまり「定数Ｄ１−定数Ｄ２」の絶対値を算出して定数Ｙとして保存する。この定数Ｙは、増減ルール規定手段１０６に送られる。
【００１７】
増減ルール規定手段１０６は、同期タイマ１０２から送られてくるイベント信号に同期して、周波数差分カウンタ１０５から送られてくる定数Ｙに応じて、つまりフーリエ変換により得られた特定の周波数成分の振幅レベルの時間的変化の度合いに応じて、増減パラメータを規定するルールを定める。具体的には、周波数差分カウンタ１０５から送られてくる定数Ｙが、振幅レベルのゼロから最大値までを１０レベルに分割した場合における「４」以上である場合は増減パラメータを「１」だけインクリメント、「６」以上である場合は「２」だけインクリメント、「２」未満である場合は「１」だけデクリメントする。この増減ルール規定手段１０６で計算された増減パラメータはキャラクタ数増減判断手段１０７に送られる。
【００１８】
キャラクタ数増減判断手段１０７は、同期タイマ１０２から送られてくるイベント信号に同期して、増減ルール規定手段１０６で規定されたルールの増減パラメータに対して、モニタ１１２に出力するキャラクタ数の増減を規定する。例えば、現キャラクタ数が「１」である場合は、これ以上は減少させない（ミニマム規定）。また、現キャラクタ数が「１０」である場合は、これ以上は増加させない（マキシマム規定）。また、増減パラメータを累積加算した結果が「１０」を超えた場合は、キャラクタ数を増加させ、増減パラメータを初期化する（増加規定）。増減パラメータを累積加算した結果が「−１０」より小さい場合は、キャラクタ数を減少させ、増減パラメータを初期化する（減算規定）。このキャラクタ数増減判断手段１０７における制御によって決定されたキャラクタ数Ｃは、描画手段１１１に送られる。
【００１９】
周波数振幅レベルテーブル１０８は、部位表現内容テーブルを記憶している。部位表現内容テーブルでは、１ｋＨｚから１１ｋＨｚまでの各周波数成分に対して、キャラクタの部位（顔の部位、体の部位など）が割り当てられ、各周波数成分のピーク振幅レベル（ピークスペクトル）に対応してキャラクタの部位の表現内容が定められている。図１５は、顔の部位表現内容テーブルの例を示す。この例では、１Ｈｚから１１ｋＨｚまでの各周波数成分に対して、低い周波数成分から順に、輪郭、髪の毛、右眉、左眉、右目、左眼、右耳、左耳、鼻、口、あごが割り当てられている。また、振幅レベルをゼロから最大値までの１０レベルに分割した場合の各レベルに対して、例えば、笑っている目、泣いている目、赤い目、瞑っている目等といった表現内容が割り当てられている。この周波数振幅レベルテーブル１０８は、キャラクタ描画ルール規定手段１０９によって参照される。
【００２０】
キャラクタ描画ルール規定手段１０９は、同期タイマ１０２から送られてくるイベント信号に同期して、メモリスタック１０４の周波数ピークテーブルから１ｋＨｚから１１ｋＨｚまでの各周波数成分の５個の振幅レベルを取り込む。そして、各周波数成分について、１００ｍ秒から５００ｍ秒までの振幅レベルの最大値を計算し、この計算結果をピーク振幅レベルとして、周波数ピークテーブルの（ピークスペクトル，ＰｋＨｚ）の位置に格納する。ここで、Ｐ＝１、２、・・・、１１であり、以下においても同じである。そして、ピーク振幅レベルに対応する描画内容を、周波数振幅レベルテーブル１０８の中の部位表現内容テーブルから取り出し、周波数ピークテーブルの（描画内容，ＰｋＨｚ）の位置に格納する。キャラクタ描画ルール規定手段１０９は、このようにしてメモリスタック１０４内に作成した周波数ピークテーブルを読み出してキャラクタ内描画手段１１０に送る。
【００２１】
キャラクタ内描画手段１１０は、同期タイマ１０２から送られてくるイベント信号に同期して、キャラクタ描画ルール規定手段１０９から送られてくる周波数ピークテーブルの（描画内容，ＰｋＨｚ）の位置に格納されている描画内容に基づいて描画部位を加工し、描画部位情報として描画手段１１１に送る。
【００２２】
描画手段１１１は、同期タイマ１０２から送られてくるイベント信号に同期して、キャラクタ内描画手段１１０から送られてくる描画部位情報およびキャラクタ数増減判断手段１０７から送られてくるキャラクタ数Ｃに基づきキャラクタを含む全体を描画し、映像信号としてモニタ１１２に送る。モニタ１１２は、描画手段１１１から送られてくる映像信号に従って映像を表示する。
【００２３】
アンプ１１３は、音楽情報記憶媒体１０１から送られてくる音楽情報に基づき楽音信号を生成して増幅する。このアンプ１１３で増幅された楽音信号はスピーカ１１４に送られる。スピーカ１１４は、アンプ１１３から送られてくる楽音信号を楽音に変換して出力する。これにより、音楽情報記憶手段１０１に記憶されている音楽情報に応じた音楽が放音される。
【００２４】
次に、上記のように構成される、この発明の実施の形態１に係る画像表示付き音楽装置の動作を、図２〜図１３に示すフローチャートを参照しながら説明する。
【００２５】
図２は、この発明の実施の形態１に係る音楽装置のメイン処理を示すフローチャートである。メイン処理では、まず、初期化処理が行われる（ステップＳＴ１１）。この初期化処理では、まず、後述するフーリエ変換処理、キャラクタ数増減判断処理、キャラクタ内描画処理および描画処理においてそれぞれ使用される４つのタイマが生成される（ステップＳＴ２１）。次いで、ステップＳＴ１１で生成された４つのタイマが起動される（ステップＳＴ２２）。
【００２６】
次いで、後述するフーリエ変換処理においてフーリエ変換の回数を計数するために使用される変数Ｉが初期値「０」に設定される（ステップＳＴ２３）。次いで、９００Ｈｚの周波数成分の振幅レベルを表す定数Ｄ１が初期値「０」に設定される（ステップＳＴ２４）。次いで、増減パラメータＺが初期値「０」に設定される（ステップＳＴ２５）。次いで、キャラクタ数Ｃが初期値「１」に設定される（ステップＳＴ２６）。次いで、描画を開始する描画部位が初期値に設定される（ステップＳＴ２７）。
【００２７】
以上の初期化処理が終了すると、次いで、フーリエ変換処理が実行される（ステップＳＴ１２）。このフーリエ変換処理では、図３のフローチャートに示すように、まず、イベントタイマの起動処理が実行される（ステップＳＴ３１）。次いで、フーリエ変換同期処理が実行される（ステップＳＴ３２）。これらの処理の詳細は後述する。その後、シーケンスはメイン処理ルーチンにリターンする。
【００２８】
メイン処理ルーチンでは、次いで、キャラクタ数増減判断処理が実行される（ステップＳＴ１３）。このキャラクタ数増減判断処理では、図４のフローチャートに示すように、まず、イベントタイマの起動処理が実行される（ステップＳＴ４１）。次いで、増減ルール規定手段１０６による処理が実行される（ステップＳＴ４２）。次いで、キャラクタ数増減判断手段１０７による処理が実行される（ステップＳＴ４３）。これらの処理の詳細は後述する。その後、シーケンスはメイン処理ルーチンにリターンする。
【００２９】
メイン処理ルーチンでは、次いで、キャラクタ内描画処理が実行される（ステップＳＴ１４）。このキャラクタ内描画処理では、図５のフローチャートに示すように、まず、イベントタイマの起動処理が実行される（ステップＳＴ５１）。次いで、キャラクタ描画ルール規定手段１０９による処理が実行される（ステップＳＴ５２）。次いで、キャラクタ内描画手段１１０による処理が実行される（ステップＳＴ５３）。これらの処理の詳細は後述する。その後、シーケンスはメイン処理ルーチンにリターンする。
【００３０】
メイン処理ルーチンでは、次いで、描画処理が実行される（ステップＳＴ１５）。この描画処理では、図６のフローチャートに示すように、まず、イベントタイマの起動処理が実行される（ステップＳＴ６１）。次いで、描画手段１１１による処理が実行される。（ステップＳＴ６２）。これらの処理の詳細は後述する。その後、シーケンスはメイン処理ルーチンにリターンする。メイン処理ルーチンでは、描画処理が完了すると、シーケンスはステップＳＴ１２に戻る。以下、上述したフーリエ変換処理、キャラクタ数増減判定処理、キャラクタ内描画処理および描画処理が繰り返し実行される。
【００３１】
次に、上述したフーリエ変換処理（図３）のステップＳＴ３１、キャラクタ数増減判断処理（図４）のステップＳＴ４１、キャラクタ内描画処理（図５）のステップＳＴ５１および描画処理（図６）のステップＳＴ６１において実行されるイベントタイマの起動処理の詳細を、図７に示すフローチャートを参照しながら説明する。なお、このイベントタイマの起動処理は、同期タイマ１０２において実行される。
【００３２】
イベントタイマの起動処理では、まず、タイマカウンタの内容ｔが値ｋに初期化される（ステップＳＴ７１）。次いで、機能毎に異なる所定のイベント起動定数Ｔを値ｋに加えた値がタイマカウンタの内容ｔに一致するかどうかが調べられる（ステップＳＴ７２）。このステップＳＴ７２において、一致しないことが判断されると、このステップＳＴ７２が繰り返し実行される。そして、この繰り返し実行の途中で、一致することが判断されると、イベント信号が発生される（ステップＳＴ７３）。その後、シーケンスは、コールされたルーチンにリターンする。
【００３３】
次に、上述したフーリエ変換処理（図３参照）のステップＳＴ３２で実行されるフーリエ変換同期処理の詳細を、図８に示すフローチャートを参照しながら説明する。フーリエ変換同期処理では、まず、変数Ｉがインクリメント（＋１）される（ステップＳＴ８１）。次いで、処理対象とする周波数成分を規定する変数Ｓが「１」に初期化される（ステップＳＴ８２）。次いで、フーリエ変換手段１０３によりフーリエ変換が実行され、このフーリエ変換により得られたＳｋＨｚの周波数成分の振幅レベルがメモリスタック１０４内に形成された周波数ピークテーブルの（Ｉ×１００ｍ秒、ＳｋＨｚ）の位置に格納される（ステップＳＴ８３）。
【００３４】
次いで、変数Ｓが「１１」より大きいかどうかが調べられる８ステップＳＴ８４）。このステップＳＴ８４で、変数Ｓが「１１」より大きくない、つまり変数Ｓが「１１」以下であることが判断されると、変数Ｓがインクリメント（＋１）される（ステップＳＴ８５）。その後、シーケンスはステップＳＴ８３に戻り、上述した処理が繰り返される。この繰り返し実行の途中で、ステップＳＴ８４において、変数Ｓが「１１」より大きくなったことが判断されると、すべての周波数成分に対する処理が完了したものと判断され、周波数差分カウンタ１０５の内部の定数Ｄ１が定数Ｄ２に移される（ステップＳＴ８５）。次いで、フーリエ変換により得られた９００Ｈｚの周波数成分の振幅レベルが定数Ｄ１に設定される（ステップＳＴ８７）。
【００３５】
次いで、変数Ｉが「５」であるかどうかが調べられる（ステップＳＴ８８）。このステップＳＴ８８で、変数Ｉが「５」でないことが判断されると、未だ５回のフーリエ変換が実行されていないものと判断され、シーケンスはフーリエ変換処理ルーチン（図３）にリターンする。一方、変数Ｉが「５」であることが判断されると、処理対象とする周波数成分を規定する変数Ｐが「１」に初期化される（ステップＳＴ８９）。次いで、周波数ピークテーブルの（１００ｍ秒，ＰｋＨｚ）、（２００ｍ秒，ＰｋＨｚ）、（３００ｍ秒，ＰｋＨｚ）、（４００ｍ秒，ＰｋＨｚ）および（５００ｍ秒，ＰｋＨｚ）の各位置に格納されている振幅レベルの中の最大値が、メモリスタック１０４内の周波数ピークテーブルの（ピークスペクトル，ＰｋＨｚ）の位置に格納される（ステップＳＴ９０）。
【００３６】
次いで、変数Ｐが「１１」であるかどうかが調べられる（ステップＳＴ９１）。このステップＳＴ９１で、変数Ｐが「１１」でないことが判断されると、変数Ｐがインクリメント（＋１）される（ステップＳＴ９２）。その後、シーケンスはステップＳＴ９０に戻り、上述した処理が繰り返される。一方、ステップＳＴ９１において、変数Ｐが「１１」であることが判断されると、変数Ｉが「０」に初期化される（ステップＳＴ９３）。その後、シーケンスはフーリエ変換処理ルーチン（図３）にリターンし、さらにメイン処理ルーチンにリターンする。
【００３７】
次に、上述したキャラクタ数増減判断処理（図４）のステップＳＴ４２で実行される増減ルール規定手段１０６による処理の詳細を、図９に示すフローチャートを参照しながら説明する。この増減ルール規定手段１０６による処理では、まず、周波数差分カウンタ１０５から出力される「Ｄ１−Ｄ２」の絶対値が定数Ｙとして設定される（ステップＳＴ１０１）。次いで、定数Ｙがレベル６以上であるかどうかが調べられる（ステップＳＴ１０２）。このステップＳＴ１０２で、レベル６以上であることが判断されると、増減パラメータＺに「２」が加算される（ステップＳＴ１０３）。その後、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンする。
【００３８】
上記ステップＳＴ１０２において、定数Ｙがレベル６未満であることが判断されると、次いで、定数Ｙがレベル４以上であるかどうかが調べられる（ステップＳＴ１０４）。このステップＳＴ１０４で、レベル４以上であることが判断されると、増減パラメータＺに「１」が加算される（ステップＳＴ１０５）。その後、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンする。
【００３９】
上記ステップＳＴ１０４において、定数Ｙがレベル４未満であることが判断されると、定数Ｙがレベル２以上であるかどうかが調べられる（ステップＳＴ１０６）。このステップＳＴ１０６で、レベル２以上であることが判断されると、増減パラメータＺから「１」が減算される（ステップＳＴ１０７）。その後、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンする。一方、ステップＳＴ１０６において、レベル２未満であることが判断された場合は、増減パラメータＺを変更することなく、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンする。
【００４０】
次に、上述したキャラクタ数増減判断処理（図４）のステップＳＴ４３で実行されるキャラクタ数増減判断手段１０７による処理の詳細を、図１０に示すフローチャートを参照しながら説明する。このキャラクタ数増減判断手段１０７による処理では、まず、増減パラメータＺが「１０」より大きいかどうかが調べられる（ステップＳＴ１１１）。このステップＳＴ１１１で、増減パラメータＺが「１０」より大きいことが判断されると、キャラクタ数Ｃは「１０」であるかどうかが調べられる（ステップＳＴ１１２）。
【００４１】
このステップＳＴ１１２で、キャラクタ数Ｃが「１０」であることが判断されると、それ以上にキャラクタ数を増加させることなく、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンし、さらにメイン処理ルーチンにリターンする。上記ステップＳＴ１１２において、キャラクタ数Ｃが「１０」でないことが判断されると、次いで、キャラクタ数Ｃに「１」が加算される（ステップＳＴ１１３）。次いで、増減パラメータＺが「０」に初期化される（ステップＳＴ１１４）。その後、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンし、さらにメイン処理ルーチンにリターンする。
【００４２】
上記ステップＳＴ１１１において、増減パラメータＺが「１０」未満であることが判断されると、次いで、増減パラメータＺは「−１０」未満であるかどうかが調べられる（ステップＳＴ１１５）。このステップＳＴ１１５で、増減パラメータＺが「−１０」未満であることが判断されると、キャラクタ数Ｃが「１」であるかどうかが調べられる（ステップＳＴ１１６）。このステップＳＴ１１６で、キャラクタ数Ｃが「１」でないことが判断されると、キャラクタ数Ｃから「１」が減算される（ステップＳＴ１１７）。その後、シーケンスはステップＳＴ１１４に進み、上述したように増減パラメータＺが「０」に初期化される。
【００４３】
上記ステップＳＴ１１６において、キャラクタ数Ｃが「１」であることが判断されると、それ以上にキャラクタ数を減少させることなく、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンし、さらにメイン処理ルーチンにリターンする。また、上記ステップＳＴ１１５において、増減パラメータＺが「−１０」以上であることが判断されると、シーケンスはキャラクタ数増減判断処理ルーチン（図４）にリターンし、さらにメイン処理ルーチンにリターンする。
【００４４】
次に、上述したキャラクタ内描画処理（図５）のステップＳＴ５２で実行されるキャラクタ描画ルール規定手段１０９による処理の詳細を、図１１に示すフローチャートを参照しながら説明する。このキャラクタ描画ルール規定手段１０９による処理では、まず、変数Ｐが「１」に初期化される（ステップＳＴ１２１）。次いで、メモリスタック１０４内の周波数ピークテーブルの（ピークスペクトル，ＰｋＨｚ）の位置のピーク振幅レベルが計算され、定数Ｒに代入される（ステップＳＴ１２２）。
【００４５】
次いで、周波数振幅レベルテーブル１０８内の部位表現内容テーブルの（Ｒ，ＰｋＨｚ）の内容が、メモリスタック１０４内の周波数ピークテーブルの（描画内容，ＰｋＨｚ）位置に設定される（ステップＳＴ１２３）。次いで、変数Ｐは「１１」であるかどうかが調べられる（ステップＳＴ１２４）。このステップＳＴ１２４において、変数Ｐが「１１」でないことが判断されると、変数Ｐに「１」が加算される（ステップＳＴ１２５）。その後、シーケンスはステップＳＴ１２２へ戻る。一方、ステップＳＴ１２４において、変数Ｐは「１１」であることが判断されると、シーケンスはキャラクタ内描画処理ルーチン（図５）にリターンする。
【００４６】
次に、上述したキャラクタ内描画処理（図５）のステップＳＴ５３で実行されるキャラクタ内描画手段１１０による処理の詳細を、図１２に示すフローチャートを参照しながら説明する。このキャラクタ内描画手段１１０による処理では、まず、変数Ｐが「１」に初期化される（ステップＳＴ１３１）。次いで、メモリスタック１０４内の周波数ピークテーブルの（描画内容，ＰｋＨｚ）の位置の内容を基に描画部位が加工される（ステップＳＴ１３２）。
【００４７】
次いで、変数Ｐが「１１」であるかどうかが調べられる（ステップＳＴ１３３）。このステップＳＴ１３３において、変数Ｐが「１１」でないことが判断されると、変数Ｐに「１」が加算される（ステップＳＴ１３４）。その後、シーケンスはステップＳＴ１３２に戻り、上述した処理が繰り返される。一方、ステップＳＴ１３３において、変数Ｐが「１１」であることが判断された場合は、加工された部位情報が描画手段１１１に渡され、加工された描画部位がキャラクタ数Ｃの分だけ描画される（ステップＳＴ１３５）。その後、シーケンスはキャラクタ内描画処理ルーチン（図５）にリターンし、さらにメイン処理ルーチンにリターンする。
【００４８】
次に、上述した描画処理（図６）のステップＳＴ６２で実行される描画手段１１１による処理の詳細を、図１３に示すフローチャートを参照しながら説明する。この描画手段１１１による処理では、加工された描画部位情報とキャラクタ数Ｃを基に、キャラクタを含む全体の描画が行われる（ステップＳＴ１４１）。その後、シーケンスは描画処理ルーチン（図５）にリターンし、さらにメイン処理ルーチンにリターンする。
【００４９】
以上説明した画像表示付き音楽装置では、音楽情報をフーリエ変換することにより得られた周波数成分と振幅レベルに応じて描画内容を決定するように構成したが、さらに、フーリエ変換によって得られる周波数成分の位相をも用いて描画内容を決定するように構成することができる。
【００５０】
例えば、図１６に示すような、位相と色信号（Ｒ，Ｇ，Ｂ）とを対応付けた色規定テーブルを用意しておき、キャラクタ内描画手段１１０は、同期タイマ１０２から送られてくるイベント信号に同期して、キャラクタ描画ルール規定手段１０９から送られてくる周波数ピークテーブルの（描画内容，ＰｋＨｚ）の位置に格納されている描画内容と、色規定テーブルから読み出したＰｋＨｚの周波数成分の位相に対応する色信号とに基づいて描画部位を加工し、描画部位情報として描画手段１１１に送るように構成できる。この構成によれば、さらに多彩なキャラクタの表現が可能になる。なお、位相に対応付ける描画要素としては、色に限らず、例えば描画する線の太さのような他の描画要素を用いることもできる。
【００５１】
以上説明したように、この発明の実施の形態１に係る画像表示付き音楽装置によれば、音楽を規定する音楽情報をフーリエ変換することにより、その音楽情報を構成する周波数成分、振幅および位相を抽出し、この抽出された周波数成分、振幅および位相の各々に応じて異なる変化をするキャラクタを生成してモニタ１１２に表示するように構成したので、音楽（楽曲）の種々の特性に応じた多彩な表現でキャラクタを含む画像を表示することができる。従って、ユーザは、音楽（楽曲）を聞く時に、曲毎に異なる表現で表示されるアニメーションのキャラクタを含む画像を視覚的に楽しむことができる。
【図面の簡単な説明】
【００５２】
【図１】この発明の実施の形態１に係る画像表示付き音楽装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る画像表示付き音楽装置のメイン処理を示すフローチャートである。
【図３】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるフーリエ変換処理を示すフローチャートである。
【図４】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるキャラクタ数増減判断処理を示すフローチャートである。
【図５】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるキャラクタ内描画処理を示すフローチャートである。
【図６】この発明の実施の形態１に係る画像表示付き音楽装置で実行される描画処理を示すフローチャートである。
【図７】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるイベントタイマの起動処理を示すフローチャートである。
【図８】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるフーリエ変換同期処理を示すフローチャートである。
【図９】この発明の実施の形態１に係る画像表示付き音楽装置で実行される増減ルール規定手段による処理を示すフローチャートである。
【図１０】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるキャラクタ数増減判断手段による処理を示すフローチャートである。
【図１１】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるキャラクタ描画ルール規定手段による処理を示すフローチャートである。
【図１２】この発明の実施の形態１に係る画像表示付き音楽装置で実行されるキャラクタ内描画手段による処理を示すフローチャートである。
【図１３】この発明の実施の形態１に係る画像表示付き音楽装置で実行される描画手段による処理を示すフローチャートである。
【図１４】この発明の実施の形態１に係る画像表示付き音楽装置で使用される周波数ピークテーブルの例を示す図である。
【図１５】この発明の実施の形態１に係る画像表示付き音楽装置で使用される顔の部位表現内容テーブルの例を示す図である。
【図１６】この発明の実施の形態１に係る画像表示付き音楽装置で使用される色規定テーブルの例を示す図である。
【符号の説明】
【００５３】
１０１  音楽情報、１０２  同期タイマ、１０３  フーリエ変換手段、１０４  メモリスタック、１０５  周波数差分カウンタ、１０６  増減ルール規定手段、１０７  キャラクタ数増減判断手段、１０８  周波数振幅レベルテーブル、１０９  キャラクタ描画ルール規定手段モニタ、１１０  キャラクタ内描画手段、１１１  描画手段、１１２  モニタ、１１３  アンプ、１１４  スピーカ。
【図１】
2006330921.tif 000003
【図２】
2006330921.tif 000004
【図３】
2006330921.tif 000005
【図４】
2006330921.tif 000006
【図５】
2006330921.tif 000007
【図６】
2006330921.tif 000008
【図７】
2006330921.tif 000009
【図８】
2006330921.tif 000010
【図９】
2006330921.tif 000011
【図１０】
2006330921.tif 000012
【図１１】
2006330921.tif 000013
【図１２】
2006330921.tif 000014
【図１３】
2006330921.tif 000015
【図１４】
2006330921.tif 000016
【図１５】
2006330921.tif 000017
【図１６】
2006330921.tif 000018