(57)【要約】【課題】音出力装置から発せられる音の雰囲気と表示装置に表示される画像の内容とを調和させる。【解決手段】表示装置３０は、記憶装置４０に記憶された複数の画像データのうちいずれかに基づいて画像を表示する。ＣＰＵ１０は、表示装置３０に表示された画像の種類に応じた加工パラメータをパートデータ処理装置５０に指示する。パートデータ処理装置５０は、記憶装置４０から読み出された曲データに対し、ＣＰＵ１０から指示された加工パラメータに応じた加工を施して出力する。【選択図】　　　図６
2004077764.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる画像を表す複数の画像データを記憶する画像データ記憶手段と、
音を表す音データを記憶する音データ記憶手段と、
前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる表示制御手段と、
前記音データ記憶手段に記憶された音データに対して前記表示装置に表示された画像の種類に応じた加工を施す音データ処理手段と
を具備することを特徴とするデータ処理装置。
【請求項２】
前記表示制御手段は、前記複数の画像データのうち利用者によって選択された画像データに基づいて表示装置に画像を表示させる
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記音データは複数のパートデータを含み、
前記音データ処理手段は、前記複数のパートデータのうち１以上のパートデータに対して前記表示装置に表示された画像の内容に応じた加工を施す
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記音データ処理手段による音データの加工は、前記複数のパートデータのうち１以上のパートデータが表す楽音の音色を、前記表示装置に表示された画像の種類に応じた他の音色に変更する処理を含む
ことを特徴とする請求項３に記載のデータ処理装置。
【請求項５】
前記音データ処理手段による音データの加工は、前記複数のパートデータのうち１以上のパートデータを、前記表示装置に表示された画像の種類に応じた他のパートデータに変更する処理を含む
ことを特徴とする請求項３に記載のデータ処理装置。
【請求項６】
前記音データ処理手段による音データの加工は、前記複数のパートデータのうち１以上のパートデータが表す音のうち、前記表示装置に表示された画像の種類に応じた周波数成分を選択的に通過させるフィルタ処理を含むことを特徴とする請求項３に記載のデータ処理装置。
【請求項７】
前記音データ処理手段による音データの加工は、前記複数のパートデータのうち前記表示装置に表示された画像の種類に応じた１以上のパートデータを選択する処理を含む
ことを特徴とする請求項３に記載のデータ処理装置。
【請求項８】
前記音データ処理手段による音データの加工は、当該音データが表す音に対し、前記表示装置に表示された画像の種類に応じた残響効果を付与する処理を含む
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項９】
前記音データ処理手段による音データの加工は、当該音データが表す音のうち、前記表示装置に表示された画像の種類に応じた周波数成分を選択的に通過させるフィルタ処理を含む
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項１０】
前記表示制御手段は、前記音データ処理手段による加工対象となる音データに対応したマークを、前記画像データが示す画像とともに前記表示装置に表示させる
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項１１】
前記表示制御手段は、前記複数の画像データのうちいずれかが示す画像の表示を含む目標体を前記表示装置に表示させるとともに、前記目標体の表示態様を利用者からの指示に応じて変更させる一方、
前記音データ処理手段は、前記目標体に含まれる画像の種類に応じた加工を音データに対して施すとともに、前記目標体の表示態様に関する変更指示に応じて当該加工の内容を変更する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項１２】
前記目標体の表示態様に関する変更は、当該目標体の表示位置の変更、当該目標体の向きの変更、当該目標体の形状の変更、または当該目標体の表示色の変更のうち少なくともひとつを含む
ことを特徴とする請求項１１に記載のデータ処理装置。
【請求項１３】
それぞれ異なる画像を表す複数の画像を記憶する画像データ記憶手段と、音を表す音データを記憶する音データ記憶手段とを具備するコンピュータに、
前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、
前記音データ記憶手段に記憶された音データに対して所定の加工を施す音データ処理手段に対し、前記表示装置に表示された画像の種類に応じた加工を指示する機能と
を実現させるためのプログラム。
【請求項１４】
それぞれ異なる画像を表す複数の画像を記憶する画像データ記憶手段と、音を表す音データを記憶する音データ記憶手段とを具備するコンピュータに、
前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、
前記音データ記憶手段に記憶された音データに対して前記表示装置に表示された画像の種類に応じた加工を施す機能と
を実現させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音データに基づいて音を出力するとともに画像データに基づいて画像を表示するデータ処理装置およびプログラムに関する。
【０００２】
【従来の技術】
楽曲に対応する曲データを記録媒体から読み出し、この曲データに応じた楽音をスピーカなどの音出力装置から発生させる装置が従来から提供されている。さらに、楽音の出力に伴なって所定の画像を表示装置に表示させるようにした装置も提案されるに至っている。このような装置によれば、利用者は種々の画像を観賞しながら楽音を聴くことができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、この種の装置においては、スピーカから再生される楽曲の雰囲気と表示装置に表示される画像の内容とが調和していない場合が生じ得る。例えば、夕暮れの海辺の風景を表す落ち着いた雰囲気の画像が表示されているにもかかわらず、軽快な楽曲が速いテンポで再生されるといった具合である。このような場合、利用者は、楽曲の雰囲気と画像の内容とに違和感や不自然さを感じることとなる。
【０００４】
本発明は以上説明した事情に鑑みてなされたものであり、音出力装置から発せられる音の雰囲気と表示装置に表示される画像の内容とを調和させることができるデータ処理装置およびプログラムを提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明に係るデータ処理装置は、それぞれ異なる画像を表す複数の画像データを記憶する画像データ記憶手段と、音を表す音データを記憶する音データ記憶手段と、前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる表示制御手段と、前記音データ記憶手段に記憶された音データに対して前記表示装置に表示された画像の種類に応じた加工を施す音データ処理手段とを具備することを特徴としている。
【０００６】
この構成によれば、表示画像に応じた加工が音データに対して施されるようになっているため、加工後の音データに基づいて発せられる音を表示画像の内容に応じて異ならせることができる。例えば、加工後の音データに対応した音が表示画像の内容に調和した雰囲気の音となるように、音データ記憶手段に記憶された音データに対して加工を施すことができる。
【０００７】
なお、音データは、複数のパートデータを含むものであってもよいし、各パートに区分されていないものであってもよい。また、音データ処理手段による加工としては、いずれかのパートの音色の変更、他のパートデータの付加もしくは変更、フィルタ処理、残響効果を付与する処理、またはいずれかのパートデータの選択（もしくは除去）処理などが挙げられる。もっとも、加工の内容はこれらに限られるものではない。すなわち、「加工」とは、音データが表す音を、記憶装置に格納された音データが表す音と異ならせるすべての処理を含む概念である。
【０００８】
また、上記データ処理装置においては、前記表示制御手段が、前記音データ処理手段による加工対象となる音データに対応したマークを、前記画像データが示す画像とともに前記表示装置に表示させることが望ましい。こうすれば、加工対象とされている音データを、利用者がひと目で直感的に把握することができる。
【０００９】
さらに、前記表示制御手段が、前記複数の画像データのうちいずれかが示す画像の表示を含む目標体を前記表示装置に表示させるとともに、前記目標体の表示態様を利用者からの指示に応じて変更させる一方、前記音データ処理手段が、前記目標体に含まれる画像の種類に応じた加工を音データに対して施すとともに、前記目標体の表示態様に関する変更指示に応じて当該加工の内容を変更する構成も望ましい。この構成によれば、より多様な音を表す音データが生成されるとともに、目標体の表示態様を視認することによってその音データの変更を利用者が直感的に把握することができるという利点がある。
【００１０】
また、本発明は、コンピュータを上記データ処理装置として機能させるためのプログラムとしても実施され得る。すなわち、このプログラムは、それぞれ異なる画像を表す複数の画像を記憶する画像データ記憶手段と、音を表す音データを記憶する音データ記憶手段とを具備するコンピュータに、前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、前記音データ記憶手段に記憶された音データに対して所定の加工を施す音データ処理手段に対し、前記表示装置に表示された画像の種類に応じた加工を指示する機能とを実現させるためのプログラムとして特定される。
【００１１】
また、本発明に係るプログラムは、それぞれ異なる画像を表す複数の画像を記憶する画像データ記憶手段と、音を表す音データを記憶する音データ記憶手段とを具備するコンピュータに、前記画像データ記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、前記音データ記憶手段に記憶された音データに対して前記表示装置に表示された画像の種類に応じた加工を施す機能とを実現させるためのプログラムとしても特定される。
【００１２】
これらのプログラムは、インターネットに代表されるネットワークを介して所定のサーバ装置から提供されるほか、これを記録したコンピュータ読取可能な記録媒体としても提供され得る。この種の記録媒体としては、可搬型の磁気ディスクや光ディスクなどが挙げられる。
【００１３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。かかる実施の形態は、本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲内で任意に変更可能である。
【００１４】
＜Ａ：実施形態の構成＞
まず、図１を参照して、本発明の実施形態に係るデータ処理装置の構成を説明する。このデータ処理装置は、楽曲の再生とともに所定の画像を表示するためのコンピュータシステムである。同図に示すように、データ処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０、入力装置２０、表示装置３０、記憶装置４０、パートデータ処理装置５０および音出力装置６０を有する。このうち入力装置２０、表示装置３０、記憶装置４０およびパートデータ処理装置５０は、バス７０を介してＣＰＵ１０に接続されている。
【００１５】
ＣＰＵ１０は、記憶装置４０や図示しないＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に記憶されたプログラムを実行することによってデータ処理装置１００の各部を制御する。入力装置２０は、マウスなどのポインティングデバイスと、文字や記号を入力するためのキーボードとを備え、利用者による操作に応じた信号をＣＰＵ１０に出力する。利用者は、入力装置２０に所定の操作を行なうことにより、再生される楽曲や表示装置３０に表示される画像を選択することができる。また、表示装置３０は、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）や液晶表示パネルなどを備え、ＣＰＵ１０による制御のもとに各種の画像を表示する。
【００１６】
記憶装置４０は、ＣＰＵ１０によって実行されるプログラムやその実行時に使用されるデータを記憶するための手段であり、例えばハードディスク装置である。記憶装置４０に記憶されたプログラムとしてはデータ処理プログラムがある。このプログラムは、楽曲再生や画像表示の手順を記述したプログラムである。
【００１７】
さらに、本実施形態においては、曲データ、画像データおよびパラメータテーブルが記憶装置４０に記憶されている。このうち曲データは、楽曲を構成する楽音の内容などを表すデータである。図２に示すように、ひとつの楽曲に対応する曲データは、アイコンデータと複数のパートデータとを含んでいる。アイコンデータは、その楽曲の内容や特徴を図案化した図形や文字などからなるアイコン（マーク）の形態を表すデータである。例えば、アニメの主題歌の曲データには、そのアニメの登場人物の画像を表すアイコンデータが含まれる。本実施形態においては、いずれかの楽曲が再生されるときに、その楽曲のアイコンデータによって示されるアイコンが表示装置３０に表示されるようになっている。
【００１８】
一方、ひとつの曲データを構成する複数のパートデータは、同時に再生されるべき複数パートの楽音を表すデータである。具体的には、ひとつの曲データには、メインメロディ（主旋律）パートやサブメロディ（副旋律）パート、伴奏パートなどの楽音を表すパートデータが含まれている。本実施形態におけるパートデータはＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）規格に準拠したデータである。なお、複数のパートデータのなかには同一の音色を表すものもあれば異なる音色を表すものもある。各パートデータには、そのパートデータが表す楽音の音色に割り当てられた音色番号が含まれている。
【００１９】
楽曲が再生されるとき、ＣＰＵ１０は、図１に示すパートデータ処理装置５０に対してその楽曲のパートデータを出力する。このパートデータ処理装置５０は、各パートデータに対して所定の加工を施すためのＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）である。一方、音出力装置６０は、パートデータ処理装置５０から出力された信号（以下、「楽音信号」という）に応じた楽音を出力するための装置であり、例えばスピーカやヘッドホン、イヤホンなどである。音出力装置６０から出力される楽音は、各パートデータに対応する複数の楽音が混合されたものとなる。
【００２０】
一方、記憶装置４０に記憶された画像データは各種の画像（静止画または動画）を表すデータである。本実施形態においては、例えば夕暮れの風景や南の島の風景、都市の風景など、それぞれ異なる画像を表す複数の画像データが記憶装置４０に記憶されている。そして、楽曲が再生されるとき、再生対象となる楽曲のアイコンとともに、複数の画像データが表す画像のうちいずれかが表示装置３０に表示されるようになっている（図７参照）。
【００２１】
記憶装置４０に記憶されたパラメータテーブルは、パートデータ処理装置５０によってパートデータに施される各種の加工に関わるパラメータ（以下、「加工パラメータ」という）を決定するためのテーブルである。本実施形態においては、画像データに基づいて表示される画像の内容に応じた加工が当該楽曲の各パートデータに対して施されるように、パラメータテーブルの内容が選定されている。すなわち、図３に示すように、パラメータテーブルは、各画像を識別するための識別子と、その画像が表示されているときにパートデータに施されるべき加工の内容を示す加工パラメータとが対応付けられたテーブルである。本実施形態においては、加工パラメータとして、メインメロディの音色（「ピアノ」や「マリンバ」、「エレキギター」など）や伴奏パートの種類（「ボサノバ」や「サンバ」、「ロック」など）、付与されるべき残響の程度（「大」、「小」または「なし」）、テンポ（「遅」、「中」または「速い」）といった複数の要素が含まれている。いずれかの楽曲が再生されるとき、ＣＰＵ１０は、パラメータテーブルを参照することにより、表示装置３０に表示された画像の内容に応じた加工パラメータを決定するとともに、決定した加工パラメータをパートデータ処理装置５０に対して指示する。本実施形態におけるパラメータテーブルにおいては、音出力装置６０から発せられる楽音の雰囲気が、表示装置３０に表示される画像の内容と調和するように各加工パラメータの内容が選定されている。例えば、図３の例では、夕暮れの風景を表す画像Ａ（落ち着いた雰囲気の画像）が表示されるときに、ピアノの音色のメインメロディパートとボサノバ特有のリズムを有する伴奏パートとが大きい残響効果を伴なって遅いテンポにて再生されるように、すなわち落ち着いた雰囲気の楽音が再生されるように加工パラメータが選定されている。
【００２２】
次に、図４を参照して、パートデータ処理装置５０の具体的構成を説明する。同図に示すように、このパートデータ処理装置５０は、パートデータ処理部５０１、ＭＩＤＩ音源５０２、効果付与部５０３、パートデータ混合部５０４およびＤ／Ａ変換器５０５がバス７０側から音出力装置６０側に向かってこの順に配列された構成となっている。このうちパートデータ処理部５０１、効果付与部５０３およびパートデータ混合部５０４にはＣＰＵ１０によって決定された加工パラメータが入力される。
【００２３】
楽曲が再生されるとき、その楽曲の曲データを構成する複数のパートデータがパートデータ処理部５０１に供給される。このパートデータ処理部５０１は、ＣＰＵ１０から指示された加工パラメータに応じて、再生対象となる楽曲のパート構成や各パートの音色の変更、およびテンポの変更を行なう。以下、これらの処理の具体的内容について説明する。
【００２４】
（１）パート構成の変更
パートデータ処理部５０１はＲＯＭ（図示略）を有する。このＲＯＭには、それぞれ異なる伴奏パートの楽音を表す複数のパートデータが格納されている。伴奏パートの種類（ボサノバやサンバ、ロックなど）を指示する加工パラメータをＣＰＵ１０から受信すると、パートデータ処理部５０１は、ＲＯＭに格納された伴奏パートデータのうち、この加工パラメータによって指示された伴奏パートのパートデータを読み出す。そして、ＣＰＵ１０から与えられた複数のパートデータのうち伴奏パートに対応するものを、ＲＯＭから読み出したパートデータに変更する。この結果、演奏対象となる楽曲の伴奏パートが、ＣＰＵ１０からの指示に応じたパートに変更される。
（２）各パートの音色の変更
メインメロディパートの音色を指示する加工パラメータをＣＰＵ１０から受信すると、パートデータ処理部５０１は、ＣＰＵ１０から与えられた複数のパートデータのうちメインメロディパートに対応するものに含まれる音色番号を、この加工パラメータによって指示された音色を表す音色番号に変更する。この結果、楽曲のメインメロディの音色が、ＣＰＵ１０からの指示に応じた音色に変更される。
（３）テンポの変更
パートデータ処理部５０１は、上記（１）および（２）の処理が施された各パートデータを蓄積するバッファメモリ（図示略）を有する。そして、パートデータ処理部５０１は、これらの処理後のパートデータをそれぞれバッファメモリに蓄積するとともに、ＣＰＵ１０によって指示されたテンポに対応するタイミングで読み出し、読み出したパートデータをＭＩＤＩ音源５０２に出力する。この結果、楽曲の再生テンポが、ＣＰＵ１０からの指示に応じたテンポに変更される。
以上がパートデータ処理部５０１による具体的な処理内容である。
【００２５】
次に、図４に示すＭＩＤＩ音源５０２は、パートデータ処理部５０１からパートデータを受信すると、各パートデータによって指定される楽音の波形を表すデジタルデータ（以下、「楽音データ」という）を出力する。
【００２６】
一方、効果付与部５０３は、ＭＩＤＩ音源５０２から出力された各パートの楽音データに対し、ＣＰＵ１０から指示された加工パラメータに応じた効果を付与する。ただし、本実施形態における効果付与部５０３は、各楽音データに対して残響効果を付与するものとする。すなわち、効果付与部５０３は、予め用意されたインパルス応答波形のサンプルデータを楽音データに対して畳み込む。このときの畳み込み演算のための係数は、ＣＰＵ１０から指示された加工パラメータに応じて調整される。したがって、効果付与部５０３から出力される楽音データが表す楽音には、加工パラメータの内容に応じた大きさの残響効果が付与されることとなる。
【００２７】
次に、パートデータ混合部５０４は、効果付与部５０３から出力された複数パート分の楽音データを、ＣＰＵ１０から指示された加工パラメータに応じた混合比でミキシングして出力する。Ｄ／Ａ変換器５０５は、パートデータ混合部５０４から出力された混合後の楽音データをアナログ信号たる楽音信号に変換して音出力装置６０に出力する。
【００２８】
＜Ｂ：実施形態の動作＞
次に、図５および図６を参照して、本実施形態の動作を説明する。
まず、利用者によって入力装置２０に所定の操作が行なわれて楽曲再生を開始すべき旨の指示が与えられると、ＣＰＵ１０は、記憶装置４０に記憶されたデータ処理プログラムを実行することによって図５に示す一連の処理を実行する。一方、図６は、画像データや曲データの流れに着目したデータ処理装置１００全体の動作を示す図である。図６に示す処理のうち図５に示すＣＰＵ１０による処理に相当するものについては共通の符号が付されている。
【００２９】
まず、利用者によって再生対象となる楽曲が選択されると、ＣＰＵ１０は、選択された楽曲を入力装置２０から出力された信号に応じて検知する（ステップＳａ１）。さらに、この楽曲の再生時に表示装置３０に表示されるべき画像が選択されると、ＣＰＵ１０は、選択された画像を入力装置２０から出力された信号に応じて検知する（ステップＳａ２）。
【００３０】
次に、ＣＰＵ１０は、ステップＳａ１にて選択された楽曲のアイコンデータと、ステップＳａ２にて選択された画像の画像データとを記憶装置４０から読み出して表示装置３０に出力する（ステップＳａ３）。一方、表示装置３０は、ＣＰＵ１０から供給されたアイコンデータが表すアイコンと画像データが表す画像とを合成し、合成後の画像を表示する（ステップＳｂ１）。具体的には、図７に示すように、画像データが表す画像Ｇ（ここでは夕暮れの風景を表す画像Ａ）とアイコンデータが表すアイコンＩとが表示される。
【００３１】
一方、ＣＰＵ１０は、記憶装置４０に記憶されたパラメータテーブルを参照することにより、ステップＳａ２において選択された画像に対応する加工パラメータを決定し（ステップＳａ４）、この加工パラメータをパートデータ処理装置５０に対して指示する（ステップＳａ５）。すなわち、ＣＰＵ１０は、ステップＳａ２にて選択された画像の識別子をパラメータテーブルから検索するとともに、検索した識別子に対応付けられた加工パラメータを記憶装置４０から読み出してパートデータ処理装置５０に出力する。
【００３２】
さらに、ＣＰＵ１０は、ステップＳａ１にて選択された楽曲の複数のパートデータを各々の一部分ずつ記憶装置４０から読み出し、これをパートデータ処理装置５０に対して順次に出力する（ステップＳａ６）。一方、パートデータ処理装置５０は、ＣＰＵ１０から供給されるパートデータまたはこのパートデータから生成された楽音データに対して、ステップＳａ５にて指示された加工パラメータに応じた加工を施し（ステップＳｂ２）、加工後に得られた楽音信号を音出力装置６０に出力する。この結果、表示装置３０に表示された画像の内容に適合した雰囲気の楽音が出力されることとなる（ステップＳｂ３）。
【００３３】
次に、データ処理装置１００の動作の具体例を説明する。なお、ここでは、ステップＳａ１において「馬」に関する楽曲ａが選択され、ステップＳａ２において「夕暮れの風景」を表す画像Ａが選択された場合を想定する。この場合、図５に示したステップＳａ３の処理の結果として、図７に示すように、「夕暮れの風景」を表す画像Ａと「馬」を図案化したアイコンＩとが表示装置３０に表示される（ステップＳｂ１）。
【００３４】
この後、ＣＰＵ１０は、図３に示したパラメータテーブルにおいて画像Ａに対応付けられた加工パラメータ、すなわち、メインメロディの音色として「ピアノ」を指示する加工パラメータと、伴奏パートの種類として「ボサノバ」を指定する加工パラメータと、残響の程度として「大」を指定する加工パラメータと、テンポとして「遅」を指定する加工パラメータとを、それぞれパートデータ処理装置５０に対して出力する（ステップＳａ４およびＳａ５）。この後、ＣＰＵ１０は、楽曲ａの各パートデータをパートデータ処理装置５０に対して順次に出力する（ステップＳａ６）
【００３５】
この加工パラメータを受信したパートデータ処理部５０１は、以下に示す処理を実行する（ステップＳｂ２）。まず、パートデータ処理部５０１は、ＣＰＵ１０から供給される複数のパートデータのうちメインメロディパートに含まれる音色番号を「ピアノ」に対応する音色番号に変更するとともに、伴奏パートに対応するパートデータを、ＲＯＭに格納された「ボサノバ」のパートデータに変更してバッファメモリに格納する。さらに、パートデータ処理部５０１は、テンポ「遅」に対応するタイミングで（つまり比較的長い時間間隔で）パートデータを読み出してＭＩＤＩ音源５０２に出力する。
【００３６】
一方、効果付与部５０３は、ＭＩＤＩ音源５０２から出力されるデジタルデータに対して、ＣＰＵ１０から指示された残響の程度（ここでは「大」）に応じた畳み込み演算を行ない、これにより得られたデータをパートデータ混合部５０４に出力する。ここで、各パートデータの混合比についてはＣＰＵ１０からの指示がなされていないものとする。したがって、パートデータ混合部５０４は、すべてのパートデータを等しい割合で混合して出力する。Ｄ／Ａ変換器５０５は、パートデータ混合部５０４から出力された楽音データに対応する楽音信号を音出力部２０に出力する。
【００３７】
以上の処理を経ることにより、メインメロディパートの音色が「ピアノ」に変更され、伴奏パートが「ボサノバ」特有のリズムに変更された楽曲ａの楽音が、大きい残響効果を伴なって遅いテンポにて音出力装置６０から発せられる（ステップＳｂ３）。なお、ここでは「夕暮れの風景」を表す画像Ａが選択された場合を想定したが、他の画像が選択された場合にも同様の処理が行なわれる。例えば、「南の島の風景」を表す画像Ｂが選択された場合には、メインメロディパートの音色が「マリンバ」に変更され、伴奏パートが「サンバ」特有のリズムに変更された楽曲の楽音が、残響効果を伴なうことなく適度なテンポにて音出力装置６０から発せられる。同様に、「都市の風景」を表す画像Ｃが選択された場合には、メインメロディパートの音色が「エレキギター」に変更され、伴奏パートが「ロック」特有のリズムに変更された楽曲の楽音が、小さい残響効果を伴なって速いテンポにて音出力装置６０から発せられる。
【００３８】
このように、本実施形態によれば、表示装置３０に表示された画像に応じた加工が曲データに対して施されるようになっているため、利用者は、この画像の内容に調和した雰囲気の楽音を聴取することができる。すなわち、画像と楽音との不調和に起因して利用者が違和感や不自然さを感じるのを回避することができる。
【００３９】
さらに、本実施形態においては、再生対象となる楽曲を表すアイコンが表示装置３０に表示されるようになっているため、利用者は、現に再生されている楽曲をひと目で直感的に確認することができる。
【００４０】
＜Ｃ：変形例＞
以上この発明の一実施形態について説明したが、上記実施形態はあくまでも例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【００４１】
＜Ｃ−１：変形例１＞
上記実施形態においては、ＤＳＰにより構成されるパートデータ処理装置５０が曲データを加工する構成としたが、ＣＰＵ１０が所定のプログラムを実行することによって曲データを加工するようにしてもよい。すなわち、本発明に係るデータ処理装置においては、曲データに加工を施すための専用のハードウェアは必ずしも必要ではない。
【００４２】
また、上記実施形態においては、表示画像の種類に応じて、メインメロディの音色、伴奏パートの種類、残響の程度およびテンポを変化させるものとしたが、加工の対象となる音楽的要素はこれに限られるものではない。すなわち、例えば以下に示す内容の加工が曲データに対して施されるようにしてもよい。
【００４３】
（１）　パートデータに基づいて生成された楽音データ（楽音信号波形を表すデジタルデータ）に対し、表示画像の種類に応じた周波数成分のみを選択的に通過させるフィルタ処理を施してもよい。すなわち、複数のパートデータから生成された楽音データに対し、各パートごとに異なる周波数成分を通過させるフィルタ処理を施してもよいし、すべてのパートにわたって混合された後の楽音データに対してフィルタ処理を施してもよい。さらに、パートごとの楽音データに対する個別のフィルタ処理と、各パートの混合後の楽音データに対するフィルタ処理とをともに行なうようにしてもよい。あるいは、ひとつの曲データを構成する複数のパートデータのうち一部のみについてフィルタ処理を施してもよい。
（２）　ひとつの曲データを構成する複数のパートデータのうち一部のみを出力対象として選択する一方、他のパートデータは破棄する構成としてもよい。例えば、ある曲データを構成する複数のパートデータのうちメインメロディ以外のパートデータを除外するとともに、メインメロディのパートデータと、表示画像に応じた他のパートデータ（例えば伴奏パートのパートデータ）とを選択的に出力して、楽音を発生させるようにしてもよい。
（３）　上記実施形態においては、パートデータのうちメインメロディに対応するものについてのみ音色を変更するものとしたが、すべてのパートについて音色を異ならせる加工を施してもよい。ここで、音色を変更する加工の内容としては、上記実施形態に例示したもののほか以下に示す態様も考えられる。すなわち、アフリカの草原の風景を表す画像が表示装置３０に表示される場合には、１以上のパートの音色をアフリカの民族楽器の音色に変更し、日本の風景を表した画像が表示装置３０に表示される場合には、１以上のパートの音色を雅楽器の音色に変更するといった具合である。
（４）　上記実施形態においては、楽曲を構成する一部のパート（伴奏パート）を他のパートに変更する構成とした。すなわち、楽曲を構成する一部のパートを除去したうえで他のパートを付加する構成とした。しかしながら、いずれかのパートの除去を伴なうことなく、表示画像に応じた他のパートを単に付加する構成としてもよい。
【００４４】
このように、本発明において音データ（上記実施形態における曲データに相当）に施される「加工」は、音データに基づいて発せられる音を、記憶装置に格納された音データに対応する音と異ならせるすべての処理を含む概念である。
【００４５】
＜Ｃ−２：変形例２＞
上記実施形態および変形例においては、曲データに対して施される加工の内容が表示画像の種類のみに応じて決定される構成を例示したが、これに加えて、利用者によって入力装置２０になされた操作を加工の内容に反映させてもよい。詳述すると以下の通りである。
【００４６】
図８は、本変形例における表示装置３０の表示内容を示す図である。同図に示すように、表示装置３０の表示面３０１にはオブジェクトＯｂとポインタＰとが表示される。このうちオブジェクトＯｂは利用者による操作対象となる目標体であり、利用者によって選択された画像Ｇの表示を含んでいる。具体的には、図８に示すオブジェクトＯｂは直方体の外形を有するとともに、利用者によって選択された画像Ｇ（ここでは図７に示した夕暮れの風景を表す画像）とアイコンＩとがその直方体のひとつの面に貼り付けられている。一方、ポインタＰは、表示面３０１のうちいずれかの位置を利用者が指示するためのものであり、利用者によって入力装置２０のマウスに与えられた操作に応じてその表示位置が移動させられるようになっている。例えば、利用者は、ポインタＰをオブジェクトＯｂと重なる位置に移動させた状態でマウスのボタンを押下するとともに、この押下を維持したままマウスを移動させることによって（すなわちマウスをドラッグすることによって）、オブジェクトＯｂの表示位置をマウスの移動に伴なって移動させることができる。
【００４７】
本変形例においては、利用者によって選択された画像（つまりオブジェクトＯｂに貼り付けられた画像Ｇ）の種類に応じた加工のほか、オブジェクトＯｂに対してなされた操作に応じた加工が曲データに対して施されるようになっている。具体的には、ＣＰＵ１０は、オブジェクトＯｂが移動させられた速度や移動方向を検出するとともに、図５のステップＳａ４にて画像Ｇの種類に応じて決定した加工パラメータを、その検出結果に応じて変更するようになっている。例えば、ＣＰＵ１０は、オブジェクトＯｂが速い速度で移動させられた場合には楽曲のテンポを速めるように加工パラメータを調整する一方、遅い速度で移動させられた場合には楽曲のテンポを遅くするように加工パラメータを調整する。また、ＣＰＵ１０は、オブジェクトＯｂが表示面３０１の縦方向に移動させられた場合には楽音に大きい残響効果が付与されるように加工パラメータを調整する一方、横方向に移動させられた場合には楽音に小さい残響効果が付与されるように加工パラメータを調整する。
【００４８】
また、利用者は、オブジェクトＯｂの枠Ｏｂ１（つまり直方体の各辺）にポインタＰを重ねてボタンを押下した状態でマウスを移動することによって、オブジェクトＯｂをその移動に伴なって拡大または縮小させることができる。この操作がなされると、ＣＰＵ１０は、オブジェクトＯｂの伸縮の程度に応じた残響効果が付与されるように加工パラメータを調整する。さらに、利用者は、直方体たるオブジェクトＯｂの各面Ｏｂ２をマウスにてクリックすることによって、その面の色彩を変更させることができる。この操作がなされると、ＣＰＵ１０は、各面Ｏｂ２の色彩の変化に応じた残響効果が付与されるように加工パラメータを調整する。
【００４９】
このように、本変形例によれば、表示画像の種類に応じた曲データの加工の内容が、オブジェクトＯｂに与えられた操作に応じて適宜に変更されるようになっている。したがって、本変形例によれば、上記実施形態による効果に加えて、より多様な楽音を発することができるとともにその楽音の変更を利用者が感覚的に把握しやすいという効果が得られる。なお、ここでは、オブジェクトＯｂに与えられた操作に応じて残響効果の程度またはテンポが変更される構成を例示したが、利用者による操作に応じて変更される要素はこれに限られるものではない。また、オブジェクトＯｂに対してなされる操作についても、ここで例示したものに限られないことはもちろんである。例えば、利用者による操作に応じてオブジェクトＯｂの向きが変更されるものとし、この向きに応じて加工パラメータを調整するようにしてもよい。
【００５０】
＜Ｃ−３：変形例３＞
上記実施形態および各変形例においては、図３に示したパラメータテーブルに基づいて、表示画像に応じた加工パラメータが一意に特定されるようにしたが、同一の画像に複数種類の加工パラメータが対応付けられた構成とし、これらの加工パラメータのいずれかを利用者が任意に選択できるようにしてもよい。具体的には、ライブハウスや教会、野外ライブ会場といった各種の施設を表す画像の各々について、各施設内の位置に応じた異なる加工パラメータを用意しておく。そして、利用者によっていずれかの施設を表す画像が選択されるとともにその施設内の位置が指示されると、選択された画像について用意された複数の加工パラメータのうち、指示された位置に対応する加工パラメータに応じて曲データの加工が施されるようにしてもよい。例えば、ある施設（例えばライブハウス）内の複数の位置におけるインパルス応答波形のサンプルデータを予め取得しておき、利用者によって当該施設内の位置が指示されると、その位置に応じたサンプルデータが曲データに対して畳み込まれるといった具合である。
【００５１】
＜Ｃ−４：変形例４＞
上記実施形態および各変形例においては、表示画像の種類に応じて加工パラメータが予め決められた構成を例示したが、加工パラメータが動的に算出される構成としてもよい。具体的には、利用者によって選択された画像を解析して輪郭や明るさ（階調の濃淡）を抽出するとともに、この抽出結果に応じて加工パラメータを算出する構成としてもよい。例えば、表示画像に含まれる輪郭を抽出するとともに、この輪郭に丸みが多い場合には大きい残響効果を付与し得る加工パラメータを選定する一方、輪郭に丸みが少ない（つまり角が多い）場合には小さい残響効果を付与し得る加工パラメータを選定する、といった具合である。あるいは、表示画像の全体にわたる明るさの平均値を検出するとともに、画像が明るい場合にはテンポを速くする加工パラメータを選定する一方、画像が暗い場合にはテンポを遅くする加工パラメータを選定するようにしてもよい。
【００５２】
＜Ｃ−５：変形例５＞
上記実施形態および各変形例においては、利用者によって選択された画像が表示されるものとしたが、利用者による選択を要しない構成としてもよい。例えば、表示装置３０に表示される画像の種類がランダムに決定されるようにしてもよい。あるいは、表示装置３０に表示される画像が楽曲再生の経過とともに順次に切り替わる構成としてもよい。この構成においては、表示画像が切り替わるたびに曲データに対して施される加工の内容（つまり加工パラメータの内容）も適宜に変更されることとなる。さらに、ひとつの楽曲に対して複数の画像が予め対応付けられており、利用者によっていずれかの楽曲が選択された後、その楽曲に対応付けられた複数の画像のいずれかをさらに利用者によって選択させ、ここで選択された画像を表示装置３０に表示させる構成としてもよい。
【００５３】
＜Ｃ−６：変形例６＞
上記実施形態および各変形例においてはＭＩＤＩ規格に準拠した曲データを用いたが、曲データの形式はこれに限られない。例えば、楽音の信号波形をサンプリングして得られたデータを曲データとして用いることもできる。さらに、上記実施形態および各変形例においては曲データが複数のパートデータから構成されるものとしたが、本発明において加工の対象となるデータ（音データ）はパートごとに区分されたデータである必要はない。例えば、並行して発せられた複数パートの楽音の信号波形をサンプリングして得られたデータ、すなわち各パートの楽音が一体となってデータ構造上区別されていないデータを、曲データとして用いることもできる。
【００５４】
また、上記実施形態においては画像データと曲データとが単一の記憶装置４０に格納された構成を例示したが、これらのデータが複数の記憶装置に分散して格納された構成としてもよい。また、画像データおよび曲データは、予め記憶装置４０に格納されたものである必要はなく、例えば、インターネットなどのネットワークを介して所定のサーバ装置から受信したデータであってもよいし、光ディスクに代表される各種の記録媒体から読み込まれたデータであってもよい。
【００５５】
さらに、上記実施形態においては、楽曲に対応する曲データを用いた場合を例示したが、本発明において加工の対象とされるデータは、必ずしも何らかの楽曲に対応するデータに限られるものではない。例えば、川の流れる音や動物の鳴き声といった自然音を表すデータを加工の対象としてもよい。すなわち、本発明に係る「音データ」は、必ずしも楽曲を表すデータに限られるものではなく、何らかの音を表すデータであればよい。
【００５６】
＜Ｃ−７：変形例７＞
本発明は、表示画像に応じて音データを加工する手順を記述したプログラム（すなわち上記実施形態に示したデータ処理プログラム）としても実施され得る。すなわち、このプログラムは、記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、音データ処理手段（上記実施形態におけるパートデータ処理装置５０）に対し、記憶手段に記憶された音データに施されるべき加工として、表示装置に表示された画像の種類に応じた加工を指示する機能とを、コンピュータに実現させるための指令が配列されたものとなる。また、パートデータ処理装置５０などの専用のハードウェアを用いることなく音データの加工を行なう場合、本発明に係るプログラムは、記憶手段に記憶された画像データのうちいずれかに基づいて表示装置に画像を表示させる機能と、記憶手段に記憶された音データに対して表示装置に表示された画像の種類に応じた加工を施し、加工後の音データに応じた音を音出力装置によって出力させる機能とを、コンピュータに実現させるための指令が配列されたものとなる。
【００５７】
これらのプログラムは、インターネットなどのネットワークを介して所定のサーバ装置からコンピュータに提供されるものであってもよいし、何らかの記録媒体に格納された状態で提供されてコンピュータにインストールされるものであってもよい。この種の記録媒体としては、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　ＯｎｌｙＭｅｍｏｒｙ）に代表される各種の光ディスクのほか、可搬型の磁気ディスクなどが考えられる。
【００５８】
【発明の効果】
以上説明したように、本発明によれば、音出力装置から発せられる音の雰囲気と表示装置に表示される画像の内容とを調和させることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るデータ処理装置の構成を示すブロック図である。
【図２】同データ処理装置における曲データの内容を示す図である。
【図３】同データ処理装置におけるパラメータテーブルの内容を示す図である。
【図４】同データ処理装置におけるパートデータ処理装置の構成を示す図である。
【図５】同データ処理装置におけるＣＰＵの動作を説明するためのフローチャートである。
【図６】同データ処理装置の全体動作を説明するための図である。
【図７】同データ処理装置における表示装置の表示例を示す図である。
【図８】本発明の変形例における表示装置の表示例を示す図である。
【符号の説明】
１００……データ処理装置、１０……ＣＰＵ（表示制御手段）、２０……入力装置、３０……表示装置、４０……記憶装置（画像データ記憶手段、曲データ記憶手段）、５０……パートデータ処理装置（音データ処理手段）、５０１……パートデータ処理部、５０２……ＭＩＤＩ音源、５０３……効果付与部、５０４……パートデータ混合部、５０５……Ｄ／Ａ変換器、６０……音出力装置、Ｇ……画像、Ｉ……アイコン（マーク）、Ｏｂ……オブジェクト（目標体）。
【図１】
2004077764.tif 000003
【図２】
2004077764.tif 000004
【図３】
2004077764.tif 000005
【図４】
2004077764.tif 000006
【図５】
2004077764.tif 000007
【図６】
2004077764.tif 000008
【図７】
2004077764.tif 000009
【図８】
2004077764.tif 000010