(57)【要約】音楽的可聴化システムおよび方法は、リアルタイム金融市場データのようなデータを可聴化して、データの音楽的表現を含む、音声信号出力を生成する。可聴化エンジンは、構成データおよび可聴化およびマッピング方式に基づいて、データを音のパラメータに変換する。音発生器は、音のパラメータから音声出力信号を発生させる。
2005539250.tif 000002
【特許請求の範囲】
【請求項１】
データストリームの音楽的可聴化のための方法において、
少なくとも１つのデータストリームから少なくとも１つのデータ入力を取得するステップと、
マッピングされるデータの音楽的表現に応じて、データのパラメータを音のパラメータにマッピングするステップと、
データ入力値を対応する音のパラメータに変換し、かつ前記対応する音のパラメータから音声信号出力を発生させることによって、前記データストリーム中の前記マッピングされたデータを可聴化するステップとを有していて、前記音声信号出力は、前記データストリーム中の前記マッピングされたデータの前記音楽的表現を含んでいることを特徴とする方法。
【請求項２】
前記データストリームはリアルタイムで可聴化されることを特徴とする請求項１に記載の方法。
【請求項３】
前記データストリームは、計算流体力学（ＣＦＤ）データ、医療データ、金融市場データ、有価証券データ、ネットワークデータ、および気象データから成るグループの中から選択されることを特徴とする請求項１に記載の方法。
【請求項４】
前記少なくとも１つのデータ入力を取得するステップは、可聴化されるべきデータのタイプを選択するステップを有していることを特徴とする請求項１に記載の方法。
【請求項５】
前記少なくとも１つのデータ入力を取得するステップは、前記データのタイプに基づいて可聴化方式を選択するステップを有していることを特徴とする請求項４に記載の方法。
【請求項６】
前記可聴化方式は、さまざまな動作モードを有する複数の可聴化方式の中から選択されることを特徴とする請求項５に記載の方法。
【請求項７】
前記動作モードは、イベントに基づく警報を用いて可聴化を行う警報モード、連続的な単一ポイント個別データのモニタリングを用いて可聴化を行う個別モード、および、いくつかの個別データストリーム間の関係を用いて可聴化を行う関係モードから成るグループの中から選択されることを特徴とする請求項６に記載の方法。
【請求項８】
前記音のパラメータは、ピッチ、音量、拍子記号、テンポ、持続期間、エンベロープ、音色、空間化および効果から成るグループの中から選択される音の特性に対応していることを特徴とする請求項１に記載の方法。
【請求項９】
前記データのパラメータを前記音のパラメータにマッピングするステップは、ユーザーによって選択される音および音楽の好みに基づくことを特徴とする請求項１に記載の方法。
【請求項１０】
前記可聴化ステップでは、デジタル音声合成を用いて前記音声信号出力を発生させることを特徴とする請求項１に記載の方法。
【請求項１１】
前記可聴化ステップでは、ＭＩＤＩシンセサイザを用いて前記音声信号出力を発生させることを特徴とする請求項１に記載の方法。
【請求項１２】
前記可聴化ステップでは、バックグラウンド音楽における前記対応する音のパラメータが前記データ入力値に従って操作される音楽的操作を用いて前記音声信号出力を発生させることを特徴とする請求項１に記載の方法。
【請求項１３】
前記可聴化ステップでは、スペクトルクロス合成を用いて前記音声信号出力を発生させるので、１つの音楽的トラックは、スペクトル操作を用いて他のものを操作することを特徴とする請求項１に記載の方法。
【請求項１４】
前記可聴化ステップでは、前記データ入力値の直接的な音楽的表現を用いて前記音声信号出力を発生させることを特徴とする請求項１に記載の方法。
【請求項１５】
前記データストリームが可聴化されるときに、音の特性を調節するステップをさらに備えていることを特徴とする請求項１に記載の方法。
【請求項１６】
少なくとも前記音声信号出力の一部を取り込むステップをさらに備えていることを特徴とする請求項１に記載の方法。
【請求項１７】
データストリームの音楽的可聴化のためのシステムにおいて、
少なくとも１つのデータストリームから少なくとも１つのデータ入力を取得する手段と、
マッピングされるデータの音楽的表現に従って、データのパラメータを音のパラメータにマッピングする手段と、
データ入力値を対応する音のパラメータに変換し、かつ前記対応する音のパラメータから音声信号出力を発生させることによって、前記データストリーム中の前記マッピングされたデータを可聴化する手段とを備えていて、前記音声信号出力は、前記データストリーム中の前記マッピングされたデータの音楽的表現を含んでいることを特徴とするシステム。
【請求項１８】
前記マッピングされたデータを可聴化する手段は、リアルタイムで前記マッピングされたデータを可聴化することを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記データストリームは、計算流体力学（ＣＦＤ）データ、金融市場データ、有価証券データ、ネットワークデータ、および気象データから成るグループの中から選択されることを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記マッピングする手段は、ユーザーによって選択される音および音楽の好みに基づいて、前記データのパラメータを前記音のパラメータにマッピングすることを特徴とする請求項１７に記載のシステム。
【請求項２１】
データストリームの音楽的可聴化のための方法において、
構成データおよび少なくとも１つの予め定義された可聴化およびマッピング方式を提供し、前記可聴化およびマッピング方式は、データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成するステップと、
データストリームからデータ入力値を得るステップと、
前記可聴化およびマッピング方式および前記構成データに基づいて、マッピングされたデータに対応する前記データ入力値を対応する音のパラメータに変換するステップと、  前記対応する音のパラメータから音声信号出力を発生させるステップとを有していて、前記音声信号出力は、前記データストリーム中の前記マッピングされたデータの音楽的表現を含んでいることを特徴とする方法。
【請求項２２】
前記構成データを提供するステップは、ユーザーが構成データ入力を得るステップを含んでいることを特徴とする請求項２１に記載の方法。
【請求項２３】
少なくとも１つの可聴化およびマッピング方式を提供するステップは、前記可聴化およびマッピング方式を複数の可聴化およびマッピング方式の中から前記構成データに基づいて選択するステップを含んでいることを特徴とする請求項２１に記載の方法。
【請求項２４】
前記可聴化およびマッピング方式は、個別的な音楽的可聴化に基づいて前記音楽的表現を形成することを特徴とする請求項２１に記載の方法。
【請求項２５】
前記可聴化およびマッピング方式は、連続的な音楽的可聴化に基づいて前記音楽的表現を形成することを特徴とする請求項２１に記載の方法。
【請求項２６】
前記可聴化およびマッピング方式は、包括的な音楽的可聴化に基づいて前記音楽的表現を形成することを特徴とする請求項２１に記載の方法。
【請求項２７】
前記可聴化およびマッピング方式は、別々のタイプのデータを別々の楽器にマッピングすることを特徴とする請求項２１に記載の方法。
【請求項２８】
前記可聴化およびマッピング方式は、データ値の変化をピッチの変化にマッピングすることを特徴とする請求項２１に記載の方法。
【請求項２９】
前記マッピングされたデータの前記音楽的表現は、半音階上の音符を含んでいることを特徴とする請求項２１に記載の方法。
【請求項３０】
前記データストリームは、計算流体力学（ＣＦＤ）データ、金融市場データ、有価証券データ、ネットワークデータ、および気象データから成るグループの中から選択されることを特徴とする請求項２１に記載の方法。
【請求項３１】
前記データ入力値を前記対応する音のパラメータに変換するステップは、前記データ入力値の、前記構成データ中の閾値との比較に基づいて、前記対応する音のパラメータを計算するステップを有していることを特徴とする請求項２１に記載の方法。
【請求項３２】
前記データ入力値は、リアルタイムでリアルタイムデータストリームから得られることを特徴とする請求項２１に記載の方法。
【請求項３３】
データの音楽的可聴化のためのシステムにおいて、
データストリームを受信し、かつ前記データストリームからデータ入力値を用意するデータサーバーと、
構成データと、
データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成する、少なくとも１つの可聴化およびマッピング方式と、
前記少なくとも１つの可聴化およびマッピング方式および前記構成データに基づいて、前記データストリーム中のマッピングされたデータの前記データ入力値を対応する音のパラメータに変換する可聴化エンジンと、
前記対応する音のパラメータから音声信号出力を発生させる音発生器とを備えていて、前記音声信号出力は、前記データストリーム中の前記マッピングされたデータの音楽的表現を含んでいることを特徴とするシステム。
【請求項３４】
データの音楽的可聴化用のコンピュータプログラム製品において、前記コンピュータプログラム製品は、記憶媒体に格納されるソフトウェアコードを含んでいて、前記ソフトウェアコードは、
構成データを得るための構成コードと、
データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成するための、少なくとも１つの可聴化およびマッピング方式を定義する可聴化およびマッピング方式コードと、
前記少なくとも１つの可聴化およびマッピング方式および前記構成データに基づいて、データストリーム中のマッピングされたデータのデータ入力値を対応する音のパラメータに変換し、かつ前記音のパラメータを音発生器に送り、前記マッピングされたデータの音楽的表現を含んでいる音声信号出力を発生させる可聴化エンジンコードとを有していることを特徴とするコンピュータプログラム製品。
【請求項３５】
前記音のパラメータは、ピッチ、音量、拍子記号、テンポ、持続期間、エンベロープ、音色、空間化、効果、スタイル、楽器、リズム、ハーモニー、トーン、アタック、減衰および明るさから成るグループの中から選択される音の特性に対応していることを特徴とする請求項３４に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２００２年７月２９日に出願された、同時係属中の米国仮特許出願第６０／３９９，２８４号の恩恵を要求し、この米国出願は、ここで引用することにより本願明細書に完全に組み込まれるものとする。
【０００２】
本発明は、データの可聴化に関し、詳細には、金融市場データのような複雑なデータのストリームの音楽的可聴化のためのシステムおよび方法に関する。
【背景技術】
【０００３】
何世紀もの間、印刷された視覚的な表示が、棒グラフ、パイチャートおよびグラフの形で情報を表示するために用いられてきた。情報時代において、視覚的な表示（例えば、コンピュータのモニタ）は、大量の情報を伝達するための主要な手段になった。視覚的な表示を有するコンピュータは、例えば金融売買市場データ、流体フローデータ、医療データ、航空交通管制データ、有価証券（security）データ、ネットワークデータおよびプロセス制御データのような、複雑な数値データを処理および／または監視するために、しばしば用いられる。このようなデータのコンピュータ処理では、人間の監督者がリアルタイムで視覚的に監視するのは難しいという結果になる。視覚的な表示は、リアルタイムデータを多用する状況において、濫用されがちであり、視覚的なデータのオーバーロードを引き起こす。例えば、金融売買の状況において、トレーダーは、しばしば、絶えず、さまざまな市場、有価証券、指数などのための、リアルタイム市場データの複数のさまざまなグラフィカルな表現を表示している、複数の画面を見なければならない。従って、大量のデータを監視する場合に、知覚の帯域幅を増やすことによって、視覚的なデータのオーバーロードを緩和する必要がある。
【０００４】
音もまた、情報を伝達する手段として用いられてきた。情報を伝達するために音を用いる例としては、ガイガーカウンタ、ソナー、聴覚温度計、医療および操縦席の聴覚表示、モールス信号がある。情報を伝達するために言語ではない音を用いることは、しばしば聴覚表示と呼ばれる。１つのタイプのコンピューティングアプリケーションにおける聴覚表示として、あるイベントを表す聴覚アイコンの使用がある（例えば、フォルダを開く、エラー、など）。もう１つのタイプの聴覚表示が聴覚化（audification）であり、これは、データが、いかなる種類のマッピングまたは翻訳もなしで、直接、音に変換される。例えば、データ信号は、発振器を用いて、直接、アナログ音信号に変換することができる。これらのタイプの聴覚表示の使用は、コンピュータシステムの音発生能力によって制限され、複雑なデータに適していない。
【０００５】
可聴化（sonification）は、比較的新しいタイプの聴覚表示である。可聴化は、研究中の領域における関係を解釈、理解、または伝達する目的での、研究中のいくつかの領域における数値で表された関係の、音の領域における関係へのマッピングとして定義された（Studies in the Sciences of Complexity, (Jacob Way, Reading, MA 01867), Santa Fe Institute, Addison-Wesley Publishing Company, 1994年の中の、G. Kramer編のInternational Conference on Auditory Display, no. XVIIIの中の、C. Scalettiによる"Sound synthesis algorithms for auditory data representations"）。コンピュータを用いてデータを音にマッピングすると、複雑な数値データを可聴化することができる。
【０００６】
可聴化の応用は、例えば、米国特許第６，４４９，５０１号、第６，２８３，７６３号、第６，０８３，１６３号、第５，８３６，３０２号、および第５，７３０，１４０号に開示されているように、医療分野において最も一般的であった。これらの米国特許は、ここでの引用により本願明細書に組み込まれるものとする。可聴化の応用は、他の分野においては限定されていた。株式市場データに応用される可聴化の一例が、Kramerに対する米国特許第５，３７１，８５４号に開示されていて、これは、ここでの引用により本願明細書に組み込まれるものとする。Kramer特許は、データ内での比較および位置付けのための基準として、聴覚ビーコンを用いる可聴化システムを開示している。株式市場データの可聴化の他の試みとしては、Keith NesbittおよびStephen Barrassによって、２００２年７月２〜５日に発表された、ＩＣＡＤ、東京、２００２年の会報における"Evaluation of a Multimodal Sonification and Visualization of Depth of Stock Market Data"と題された研究がある。この中で、売買システムにおける「買い」および「売り」を示すために、声の警報が用いられた。http://www-ccrma.stanford.edu/groups/soni/index.htmlにあるスタンフォード大学のウェブ上に発表された、CCRMA, StanfordのJonathon Bergerによる研究は、フィルタをかけられたノイズの複数のパルス、各売買日に対する１つのパルスを用いた、過去の（historical）金融データの可聴化を開示している。
【０００７】
音のパターンを認識する人間の能力は、聴覚表示の使用に対する特有の可能性を示している。音のパターンは、時間をこえて認識され、学習したパターンからの逸脱は、予想違反という結果になる。例えば、人は、車のエンジンの「正常な」音の基準を確立し、この基準が変えられるか、または遮られたとき、問題を検出することができる。また、人間の脳は、声、音楽および自然の音を同時かつ別々に処理することができる。音楽は、特に、聴覚認識およびパターン認識に関して、他のタイプの音に勝る利点を有している。音楽のパターンは、暗黙のうちに学習され、音楽家でなくても認識でき、かつ美的に心地よい。
【０００８】
従来の聴覚表示は、データを監視する際の知覚の帯域幅を増やす方法として、音、特に音楽の本当の可能性を活用していなかった。例えば、米国特許第５，３７１，８５４号は、音楽、特に一般的な音楽に基づく可聴化を開示していない。Kramer特許は、データの傾向を識別するために、音楽のパターンを認識する能力ではなく、単にビーコンの使用に頼っている。このように、従来の可聴化技術は、音楽に特有の聴覚認識特性を利用していない。
【０００９】
従って、音楽のパターンを用いることによって、データの知覚の帯域幅を増やすことができる、音楽的可聴化システムおよび方法の必要性がある。
【特許文献１】米国特許第６，４４９，５０１号明細書
【特許文献２】米国特許第６，２８３，７６３号明細書
【特許文献３】米国特許第６，０８３，１６３号明細書
【特許文献４】米国特許第５，８３６，３０２号明細書
【特許文献５】米国特許第５，７３０，１４０号明細書
【特許文献６】米国特許第５，３７１，８５４号明細書
【非特許文献１】Studies in the Sciences of Complexity, (Jacob Way, Reading, MA 01867), Santa Fe Institute, Addison-Wesley Publishing Company, 1994年の中の、G. Kramer編のInternational Conference on Auditory Display, no. XVIIIの中の、C. Scalettiによる"Sound synthesis algorithms for auditory data representations"
【非特許文献２】Keith NesbittおよびStephen Barrassによって、２００２年７月２〜５日に発表された、ＩＣＡＤ、東京、２００２年の会報における"Evaluation of a Multimodal Sonification and Visualization of Depth of Stock Market Data"
【非特許文献３】Jonathon Berger、[online]、インターネット＜ＵＲＬ：  http://www-ccrma.stanford.edu/groups/soni/index.html＞
【非特許文献４】Edward Childs博士によって、２００３年５月にDartmouth College Libraryの中で発表された"MUSICAL SONIFICATION DESIGN"
【発明の開示】
【課題を解決するための手段】
【００１０】
本発明の一態様によれば、上述した要求に対処するための音楽的可聴化システムおよび方法が提供される。音楽的可聴化システムおよび方法によれば、少なくとも１つのデータ入力が、少なくとも１つのデータストリームから取得され、マッピングされるデータの望ましい音楽的表現（rendering）に従って、データのパラメータが、音のパラメータにマッピングされる。データ入力値を対応する音のパラメータに変換し、かつ対応する音のパラメータから音声信号出力を発生させることによって、データストリーム中のマッピングされたデータが可聴化される。音声信号出力は、データストリーム中のマッピングされたデータの音楽的表現を含んでいる。
【００１１】
本発明の別の態様によれば、構成（configuration）データおよび少なくとも１つの予め定義された可聴化およびマッピング方式（scheme）に基づいた、データの可聴化のための方法が提供される。可聴化およびマッピング方式は、データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成する。データ入力値は、データストリームから得られ、マッピングされたデータに対応するデータ入力値は、可聴化およびマッピング方式および構成データを用いて、対応する音のパラメータに変換される。音声信号出力は、対応する音パラメータから発生させられ、データストリーム中のマッピングされたデータの音楽的表現を含んでいる。
【００１２】
本発明のさらに別の態様によれば、音楽的可聴化のためのシステムが提供される。このシステムは、構成データと、データストリームを受信して、このデータストリームからデータ入力値を用意するデータサーバーとを備えている。また、このシステムは、少なくとも１つの可聴化およびマッピング方式を備えていて、これは、データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成する。可聴化エンジンは、可聴化およびマッピング方式および構成データに基づいて、データストリーム中のマッピングされたデータのデータ入力値を対応する音のパラメータに変換する。音発生器（sound generator）は、対応する音のパラメータから音声信号出力を発生させ、この音声信号出力は、データストリーム中のマッピングされたデータの音楽的表現を含んでいる。
【００１３】
本発明のさらに別の態様によれば、データの音楽的可聴化用のコンピュータプログラム製品が提供される。このコンピュータプログラム製品は、構成データを得るための構成コードを有している。可聴化およびマッピング方式コードは、データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成するための、少なくとも１つの可聴化およびマッピング方式を定義する。可聴化エンジンコードは、少なくとも１つの可聴化およびマッピング方式および構成データに基づいて、データストリーム中のマッピングされたデータのデータ入力値を対応する音のパラメータに変換する。可聴化エンジンコードは、対応する音のパラメータを音発生器に送り、マッピングされたデータの音楽的表現を含んでいる音声出力信号を発生させる。
【００１４】
これらおよび他の本発明の特徴および利点は、図面と共に以下の詳細な説明を読むことによって、よりよく理解されるであろう。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態は、さまざまなタイプのデータ領域の中での複雑なデータストリームの音楽的可聴化を目的としており、以下で詳細に説明する。音楽的可聴化は、データ内での関係が対応する音楽的関係の中で明らかにされるようなデータ変換を行う。音楽的可聴化は、好ましくは、「心地よい」音楽的な音を発生させ、これは、基となるデータストリームの高度な人間的知覚を生み、これによりデータの知覚の帯域幅を増やす。ここで用いた、「音楽」または「音楽的」とは、統一性（unity）および一貫性（continuity）を有する楽曲（composition）を生成するために、連続して、組み合わせて、かつ一時的な関係の中で配列されたトーンまたは音（sound）の技術（science）または技巧（art）を指す。本発明において用いられる音楽は、好ましくは、一般的な音楽であり、かつ本発明の具体例としての実施形態は、心地よい音楽的な音を生成するために、西洋音楽の概念を用いているが、「音楽」および「音楽的」という用語は、音楽のいかなる特定のスタイルまたはタイプにも限定されるべきではない。
【００１６】
図１を参照すれば、音楽的可聴化システムおよび方法１０の一実施形態は、３つの主要な概念上の段階に基づいている。（１）データ入力取得段階１２；（２）データから音へのマッピング段階１４；（３）可聴化段階１６。データ取得段階１２は、状況に特有なデータソース、フォーマット、およびプロトコルの詳細に基づいている。データ取得段階１２の間、図２に示すように、あるデータ領域の専門家であるユーザーは、既知のデータソースまたはストリーム２０をグラフィカルな環境の中から選択する。データ取得の実行から出てくるのは、データストリーム２０に基づく、１つ以上の特定のデータ入力２２である。例えば、金融売買業界においては、データストリーム２０は、持分証券または他の金融データの主要な供給者からの業界標準市場データの供給を含んでいる。明記されていないデータソースもまた、データストリームにつて記述している、ユーザーが生成したデータ入力仕様を規定することによってサポートしてもよい。
【００１７】
可聴化するためのデータを選択することに加えて、ユーザーは、例えば、データストリームに適した望ましい可聴化戦略に基づいて、動作モードを選択することによって、データを効果（purpose）と結びつける。動作モードの例としては、以下のものに限定されるわけではないが、警報モード、個別（individual）モードおよび関係モードがある。警報モードは、例外、トリガー、および／または閾値のようなイベントに基づく警報を提供する。個別モードは、全てのポイントが識別可能な、連続的な単一ポイント個別データストリームのモニタリングを提供する。関係モードは、いくつかの個別のデータストリーム間の関係の連続的な可聴化を提供する。
【００１８】
マッピング段階１４において、ユーザーは、所望のデータの適切な音楽的表現を確立する。例えば、ユーザーは、データの関係、好みの音楽のスタイル、音のサンプル、およびその他のデータの特性または好みについて質問される。音の知覚は、高度に個別化されていて、ユーザーは、音のマッピングの最も心地よく、かつ使うのに便利な構成を得る際の案内および補助から利益を得る。さまざまな実施形態において、ユーザーは、彼または彼女の個人的な好みおよびリスニングスタイルを反映している、音の方式（scheme）および方法（approach）を選択することができる。
【００１９】
一実施形態において、データを音にマッピングする段階が完了すると、図３に示すような、音のパラメータが生成され、これは、好ましくは、リアルタイムデジタル音声合成またはＭＩＤＩに適合している。音のパラメータは、音の特性、例えばピッチ、音量、拍子記号、テンポ、持続期間、エンベロープ、音色、空間、および効果に対応している。さまざまな音の特性のための、データから音へのマッピングの例が、図４〜１２に示されている。フローチャートは、データのパラメータを音のパラメータにマッピングする過程を示し、グラフは、入力値と音のパラメータとの関係を示している。いくつかのデータ、例えばテンポにマッピングされるデータは、個別のデータ値によって決めることができない。また、いくつかのデータは、特定の音楽符号（すなわち、ピッチ、持続期間、エンベロープ、などの特定の値）にマッピングすることができる。
【００２０】
可聴化段階１６において、マッピングされたデータは可聴化され、データストリームに対応する音声信号出力が生成される。可聴化段階１６は、いろいろなルール、データ変換、およびアルゴリズムを用いて処理することができ、以下で詳細に述べるような、個人的なユーザーの好みおよびスタイルと一致した音を供給する。さまざまな音のストリームを、ユーザーの入力に基づいて「創る」ことができ、かつ個々または一緒に、開始かつ停止することができる。代替案として、音のストリームを、ユーザーによって設定される閾値データレベルに基づいて、自動的に、開始または停止することもできる。
【００２１】
図１３を参照すれば、可聴化段階１６の一実施形態は、リアルタイムコンピュータ合成サンプリング３０および／またはＭＩＤＩサウンドモジュール３２を用いて、音声出力信号を発生させる。ミキサー形式のインターフェース３４を用いて、ユーザーは、さまざまな音の特性、例えばレベル、空間化（spatialization）、レジスタ、トーンコントロール、などを、彼または彼女自身の好みに調節することができる。可聴化段階１６は、また、「取り込み」機能を有していてもよく、これは、後の履歴のリスニングまたは精査のために、音のストリームを保存するように、開始および停止することができるものである。「取り込まれた」音のストリームは、さまざまな速度で再生することができ、それは、音のストリームの音楽的な品質を保持している。
【００２２】
音楽的可聴化段階１６は、データの音楽的表現を生成するための、さまざまなタイプの音の処理を含んでいてもよい。音の処理の例としては、以下のものに限定されるわけではないが、ユニット発生器から成る回路を用いたデジタル音声合成（加える／減じる合成、ＦＭ、フィルタリング、など）；周囲または自然の音を供給することができる物理的モデリング合成；ＭＩＤＩ（オンボードのＭＩＤＩシンセサイザに送られる音符情報）；データの状態に従って、歪ませて、変形して、速度を上げて、大音量にした等のバックグラウンド音楽を用いた音楽的操作／歪曲；スペクトル操作を用いて、１つの音楽的トラックが、他のものを制御または操作することを可能にするスペクトルクロス（cross）合成；およびデジタル入力ストリームの直接的な表現がある。
【００２３】
他の実施形態として、同等の視覚的な表示（図示せず）を含んでいてもよい。このような視覚的な表示は、例えば、オペレータを訓練するような状況の中で用いることができ、可聴化プロセスが動作している一方で、データストリームを監視することができる。
【００２４】
図１４を参照すれば、音楽的可聴化システム４０の具体例としての実施形態が、より詳細に記載されている。一般に、データサーバー４２は、データソースからリアルタイムデータストリームを受信して、データストリームからのデータ入力値をリアルタイムで可聴化エンジン４４に渡す。可聴化システム４０は、構成データ４６および少なくとも１つの可聴化およびマッピング方式４８を有している。可聴化およびマッピング方式４８は、データのパラメータを音のパラメータにマッピングして、マッピングされたデータの音楽的表現を形成する。構成データ４６および可聴化およびマッピング方式４８に基づいて、可聴化エンジン４４は、マッピングされたデータに対応するデータ入力値を対応する音のパラメータに変換する。音発生器５０は、対応する音のパラメータから音声信号出力を発生させる。音声信号出力は、データストリーム中のマッピングされたデータの音楽的表現を含んでいる。
【００２５】
データサーバー４２は、独立の協力しているプロセスとして、ローカルまたはリモートで実現することができる。具体例としての実施形態において、リアルタイムデータストリームは、金融市場データを含んでいて、データサーバー４２は、１つ以上の公共および／または私設の市場データソースをサポートしている。市場データソースは、以下のものに限定されるわけではないが、Bloomberg、TIBCO Rendezvous (Reuters)、およびMicrosoft Biztalkサーバーを含む、業界標準データソースであってもよい。システムは、また、買い唱え値（bid）／売り唱え値（ask）の資金のデータまたは資金の将来のデータのために、直接的なデータの供給をサポートすることもできる。
【００２６】
一実施形態において、Bloombergデータサーバーは、Bloomberg開発者用ＡＰＩの中で提供されるサンプルコードを用いて、Visual Basicアプリケーションとして実現することができる。他の実施形態において、TIBCO Data Listenerは、Reutersによって供給されるサンプルコードを用いて、Ｊａｖａ（登録商標）（または他のサポートされた言語）で実現することができる。この他に、データサーバー４２は、以下のものに限定されるわけではないが、ソケット、データバス、およびＸＭＬを含む、他のデータソースに基づいて実現されることが予想される。
【００２７】
構成データ４６は、好ましくは、構成ファイルに格納され、それは、手動またはユーザー構成インターフェース５２で、創りかつ編集することができる。ユーザー構成インターフェース５２は、好ましくは、可聴化システムのインストール時に、構成データ４６を得る。構成データ４６は、一般に、可聴化されつつあるデータに関する情報、例えばユーザーが定義した閾値（例えば、データの変動または関係に関するもの）、予想されるデータの範囲、妥当と思われるデータの範囲、音楽的比喩、およびデータの変動率を含んでいる。構成データ４６は、また、リスニングの好みに関する情報、例えば音の好み（affinity）、大好きな楽器、および好みの音楽のスタイルも含んでいる。
【００２８】
具体例としての実施形態において、構成データ４６は、売買スタイルおよびプロセスの構成データ、例えば有意の変動の閾値、有意の買い唱え値／売り唱え値の閾値、および予想されるデータの範囲；データストリームの動きの構成データ、例えば妥当と思われるデータの範囲、音楽的比喩、およびデータの変動率；およびリスニングの好みのデータ、例えば音の好み、大好きな楽器、および音楽のスタイルを含んでいてもよい。ユーザー構成インターフェース５２は、これらのさまざまなタイプの構成データを得るために、構成ウィザード、例えば売買スタイルウィザード、データセットアップウィザード、および音個人化ウィザードを含んでいてもよい。売買スタイルウィザードは、インタビューを通して、ユーザーを導くことができ、それは、ユーザーの売買環境、手段およびスタイルの特徴付けを容易にする。さまざまな環境におけるデータストリーム（例えば、所有者（proprietary）トレーダー、資産管理人、固定収入、普通株、金融派生商品、商品、など）は、さまざまな特性を持っていて、それは、特有の可聴化戦略を必要とするかもしれない。データセットアップウィザードは、データソース（例えば、有価証券または市場指数）を選択して、データソースの中からデータ項目（例えば、分野）を指定するために用いることができる。データソースの情報および特徴付けに基づいて、可聴化システムを適切に設定することができる。音個人化ウィザードは、ユーザーにインタビューして、ユーザーが音および音楽の好みを設定することを可能にする。
【００２９】
可聴化およびマッピング方式４８は、好ましくは、複数の予め定義された可聴化およびマッピング方式から選択される。可聴化およびマッピング方式は、さまざまなタイプのデータおよびデータ間の関係に基づいて設計され、さまざまな状況およびデータストリームに対するユーザーの知覚を最適化する。可聴化およびマッピング方式は、比喩を用いることができるので、特定のタイプのデータまたはイベントは、特定のタイプの音または音楽の特性と関連付けられる。具体例としての実施形態において、別々の可聴化およびマッピング方式を、別々の売買スタイルおよび／または市場データソース（例えば、別々の有価証券または市場指数）に適した別々の可聴化戦略に基づいて定義することができる。
【００３０】
また、可聴化およびマッピング方式は、好ましくは、音楽を特徴付ける関係および構成（organization）に基づいて設計される。具体例としての実施形態において、可聴化およびマッピング方式は、西洋音楽の概念、例えばハーモニー、不協和音、繰り返されるメロディ、コード進行および等分平均律の音階を用いる。各可聴化およびマッピング方式は、音のタイプを定義し、これは、データのタイプおよびマッピング方式に基づいて、再生されるべき音のタイプ（例えば、楽器）を決定する。前記マッピング方式は、データの関係に基づいて、どのように音が再生されるか（例えば、メロディ）を決定する。可聴化およびマッピング方式は、例えばＳｏｆｔＳｙｎｔｈからのＪＳｙｎの名の下に利用可能なＪａｖａ（登録商標）を用いた音合成ソフトウェアのような既知のソフトウェアを用いて、いかなるプログラミング言語においても実現することができる。他のタイプの音合成ソフトウェアも用いることができる。
【００３１】
音のタイプは、以下のものに限定されるわけではないが、サンプリングされた音のタイプ（例えば、バスーン、バイオリン、ハープ、クラリネット、ガムラン、木琴などのようなアコースティックな楽器の録音）および合成された音のタイプ、例えばＦＭ（周波数変調）楽器合成および三角波発振器合成を含んでいる。具体例としての実施形態において、別々の音のタイプ（例えば、楽器）は、好ましくは、別々のデータストリームを区別するために用いられ、かつ比喩を用いることができるので、特定のタイプのデータは、特定のタイプの音と関連付けられる。例えば、バスーンの音のタイプが、ダウジョーンズ平均工業株価を可聴化するために用いられ、電子的な発振器の音のタイプが、Nasdaqを可聴化するために用いられ、ピアノの音のタイプが、S&P 500を可聴化するために用いられてもよい。１つの方法として、別々の楽器を、JSyn Java（登録商標） APIによって提供されるクラスを用いてプログラムすることができる。
【００３２】
マッピング方式は、好ましくは、個別的な音楽的可聴化、連続的な音楽的可聴化、包括的な音楽的可聴化、またはこれらの組み合わせに基づいている。個別的な音楽的可聴化によれば、イベントを表しているデータのパラメータ（例えば、買い唱え値／売り唱え値または価格変動）が、予め定義された数の音符（例えば、旋律の断片（fragment）または顫音）にマッピングされ、イベントを音楽的に伝達する。音楽的な関係、例えば音程およびトリルの長さは、データ間の関係を表すために用いられる。図１５を参照すれば、別々のデータストリームを表す別々の音のタイプ（例えば、楽器の音声）を有し、かつデータの変化または変動を表すピッチを有する、２つの音符の旋律の断片が示されている。
【００３３】
連続的な音楽的可聴化によれば、データのパラメータは、音符に連続的にマッピングされ、データの動きおよび関係を連続的に伝達する。図１６を参照すれば、連続的な可聴化が示されていて、別々のデータストリームを表す別々の音のタイプまたは音声を有している。この連続的な可聴化において、ピッチは、データストリーム間の関係、例えば、どのようにデータが動くかの計算モデルに基づいて、データ上で実行された専門的な分析に関する専門的分析変数間の相対的な間隔を表すために用いられる。別々のデータストリームは、それらが収束するまで、ハーモニーをなして奏されてもよく、かつ不協和音は収束を示す。音量は、この連続的な可聴化において、別々のデータストリームが、お互いに接近したことを示すために、または、データストリームが、ユーザーが定義した予想される範囲または重要なイベントに近づいたことを示すために、用いることができる。
【００３４】
包括的な音楽的可聴化によれば、複数の音声を有する音楽的楽曲が、データの包括的なイメージ（picture）を伝達するために用いられる。包括的な音楽的可聴化の１つの例によれば、個別的および連続的な可聴化技術を、データの包括的なイメージを伝達するために組み合わせることができる。
【００３５】
包括的な音楽的可聴化の他の例によれば、データのパラメータは、複数の音声を有する音楽的楽曲にマッピングされ、この音楽的楽曲が、予想されたデータ分析モデルからのデータのずれを伝達するように変更される。このデータ分析モデルは、特定のデータ値間の関係を予測する。データ分析モデルが実際のデータと一致する場合には、標準的な音楽的楽曲が用いられる。データ分析モデルにおけるこれらのデータ値と実際のデータとの間の関係は、標準的な音楽的楽曲における音のパラメータにマッピングされる。この関係は、これらの音のパラメータを変更して、標準的な音楽的楽曲における音楽的特性、例えばメロディ、ハーモニー、編成、およびリズムを操作することによって可聴化される。複数の音声を有する音楽的楽曲、例えばオーケストラまたはアンサンブルを聞くと、聞き手は、全体として、または包括的に、音楽的楽曲を知覚することができる。従って、データ値間の各々の程度およびタイプの違いを、必ずしも個別のデータ値に対応する音のパラメータによって生成された音の違いとしてではなく、包括的な音楽的イメージの違いについての効果によって識別することができる。訓練によって、ユーザーは、音楽的楽曲における、さまざまな包括的な音を認識して、モデル予想と実際の値との間のずれを聞き分けることができる。
【００３６】
金融市場データをマッピングするために半音階を用いる可聴化およびマッピング方式の具体的な例を、以下で説明する。これらの例は、具体例を示す目的のために説明するのであって、本発明を限定するものとはみなされない。
【００３７】
例１−３つの音符の旋律の断片
図１７を参照すれば、３つの音符の旋律の断片が、株、債券または市場平均の価格における、価格および変化を表している。最初の音符は、基準トーンであり、これは、寄り付き価格を表す同じピッチのままである。第２および第３の音符は、直前および現在の値である。第２および第３の音符と基準トーンとの間の違いすなわち音程は、ユーザーによって設定された有意の変動の閾値に基づいている。例えば、ダウジョーンズ平均株価が８０００で寄り付き、かつ有意の変動が２５ポイントに設定されたとすると、ユーザーは基準音符７０ａを聞き、この基準音符と同じピッチの第２の音符７０ｂが続き、半音高い第３の音符７０ｃが続く。ダウジョーンズ平均株価が８０５０に動くと、ユーザーは基準音符７２ａを聞き、基準音符より半音上の第２の音符７２ｂが続き、基準音符より全音上の第３の音符７２ｃが続く。
【００３８】
例２−２つの音符の値動きインジケータ
２つの音符の値動きインジケータは、有価証券の変動を表している。最初の音符は、常に同じであり、第２の音符は、上昇（uptick）または下落（down tick）を示している。有意の変動の上昇があるとき、第２の音符は、最初の音符より半音高くなる。有意の変動の下落があるとき、第２の音符は、最初の音符より半音低くなる。もし有価証券が複数の有意の変動で動くならば、２つの音符のインジケータは繰り返される（例えば、最大５回まで）。
【００３９】
例３−買い唱え値／売り唱え値 顫音
図１８および１９を参照すれば、一連の交互になっている音符（すなわち、顫音）が、買い唱え値または売り唱え値を表している。トリルの長さ（すなわち、交互になっている音符の数）は、買い唱え値または売り唱え値の相対的なサイズに比例している。トリル音符８０、８２間でのピッチの違いは、買い唱え値価格と売り唱え値価格との間のスプレッドに比例している。ピッチは、また、それが買い唱え値であるのか、または売り唱え値であるのかを示すためにも用いられる。もし高い音符８４ａが持続するのであれば、顫音は売り唱え値（図１８）を表している。もし低い音符８４ｂが持続するのであれば、顫音は買い唱え値（図１９）を表している。
【００４０】
例４−上音を有する３つの音符の旋律の断片
有価証券の変動が、正または負の方向への１２の有意の変動を超えたら、上音が、上述したような、３つの音符の旋律の断片における、第２および第３のトーンに加えられる。上音は、基準トーンの整数倍の周波数を有するトーンである。もし、有価証券が、１２を超える有意の上への変動に動くならば、（第２のトーンに加えられる）最初の上音は、基準トーンの２倍の周波数（すなわち、１オクターブ高い）であり、（第３のトーンに加えられる）第２の上音は、基準トーンの３倍の周波数（すなわち、１オクターブ＋１／５）である。もし、有価証券が、１２を超える有意の下への変動に動くならば、最初の上音は、基準トーンの半分の周波数（すなわち、１オクターブ下）である。
【００４１】
例５−移動平均インジケータを有する３つの音符の旋律の断片
移動平均インジケータは、上述したような、３つの音符の旋律の断片と共に用いることができる。ユーザーは、３０、５０または２００日移動平均の中から選択することができる。有価証券の価格が、選択された平均の１２以内の有意の変動で動くならば、第４の音符が、寄り付き価格と平均との差に基づくピッチで鳴る。平均に近づく全ての有意の変動の間、第４の音符の持続期間および音量は増加する。平均と交差すると、長いトーンが鳴る。
【００４２】
例６−移動平均インジケータ
移動平均インジケータは、移動市場平均を表すために、旋律の断片なしで用いることもできる。もし、有価証券の価格または指数が、選択された平均の１２以内の有意の変動で動くならば、音符は、寄り付き価格と平均との差に基づくピッチで鳴る。平均に近づく全ての有意の変動の間、音符の持続期間および音量は増加する。平均と交差すると、長いトーンが鳴る。もし、有価証券または指数が、それらの移動平均の近くにないならば、ユーザーは何も聞かない。有価証券または指数が、それらの移動平均に近づく動きをすると、可聴化は、連続的になることができる。
【００４３】
例７−移動平均の連続的な可聴化
図２０を参照すれば、連続的な可聴化が、直接、移動平均を表している。別々の移動平均が、別々の音のタイプまたは音声にマッピングされていて、例えば、５０日移動平均は、クラリネットによって表され、２００日移動平均は、ストリングオーケストラによって表されている。移動平均は、ピッチにマッピングされているので、これらの移動平均は、これらが収束するまで、ハーモニーをなして奏され、かつ不協和音は収束を示す。移動平均間の相対的な間隔は、また、音量にマッピングすることができるので、移動平均がお互いに接近すると、音量は増加する。
【００４４】
例８−包括的な音楽的可聴化
投資銀行によって開発される複雑な金融モデルは、２０から３０の重要な値の間の関係を予測する。音楽の既知の部分またはスタイルは、金融モデルからの重要なデータ値による計算によって、再生され、かつ制御される。もし金融モデルが予想通りに実現しているなら、音楽は、「正常」に聞こえる。もし金融モデルが予想された動きから逸脱しているなら、音楽は、音楽的操作または歪曲、例えば、調子外れの音符、加速または減速されたテンポ、他より目立った特定の楽器、長調から短調への移調、および不協和音に基づいて、「異常」に聞こえる。
【００４５】
以下のものに限定されるわけではないが、スタイル、持続期間、トーン、減衰、楽器、音量、ピッチ、メロディ、リズム、ハーモニー、アタックおよび効果を含む、他のタイプの音のパラメータおよび／または音楽的特性を用いた、多数の他の可聴化およびマッピング方式もまた予想される。
【００４６】
可聴化エンジン４４は、構成データ４６を読み出し、この構成データ４６に基づいて、可聴化されるべきデータストリームおよび用いられるべき可聴化およびマッピング方式４８を選択する。可聴化エンジン４４は、好ましくは、スタートアップ時に構成ファイルを読み出し、データストリームに関する適切な構成データをデータサーバー４２に送る。具体例としての実施形態において、可聴化されるべき有価証券のリストおよび各有価証券のための分野（例えば、価格、出来高、３０日平均、買い唱え値価格、売り唱え値価格、など）が、構成ファイルから読み出される。可聴化エンジン４４の好ましい実施形態は、構成データ４６に基づいて、可聴化されるべきデータストリームに対して最も適切な可聴化およびマッピング方式４８を自動的に選択する。
【００４７】
可聴化を開始するために、可聴化エンジンは、データサーバー４２に接続する。可聴化エンジン４４がデータサーバー４２からデータを受信すると、可聴化エンジン４４は、選択された可聴化およびマッピング方式４８および構成データ４６に基づいて、データ入力値を音のパラメータに変換する。１つの例において、データ入力値は、構成データ４６中のデータの閾値と比較され、データの閾値に一致するデータ値に基づいて、音のパラメータが計算される。計算された音のパラメータは、楽器またはサウンドシンセサイザをセットアップするために用いられ、可聴化およびマッピング方式によって定義された、適切な音のタイプおよび編曲を有する音符が創られる。
【００４８】
一実施形態において、可聴化エンジン４４は、オブジェクト指向プログラミング言語、例えばＪａｖａ（登録商標）を用いて実現することができる。この実施形態においては、可聴化スレッドがデータストリームを処理するために創られ、かつ低レベルの音の発生は、Ｊａｖａ（登録商標）を用いた音合成ソフトウェア、例えばJSyn APIによって処理される。可聴化のために用いることができるＡＰＩの他の例としては、以下のものに限定されるわけではないが、ＪＭＳＬ、ＳＭＳ、およびＳＴＫがある。
【００４９】
可聴化スレッドは、好ましくは、可聴化されるべき各データストリーム（例えば、各有価証券または市場指数）のために確立される。この方法を用いてデータを処理する１つのアルゴリズムによれば、可聴化クライアントのメインスレッドは、データがデータサーバー４８から到着するのを待つ。データが到着したら、データストリームのＩＤが検査される。もしデータストリームのＩＤが既存の可聴化スレッドのそれに合っていれば、データ値はそのスレッドに送られ、スレッドは、そのタイプに従って、選択された可聴化およびマッピング方式を用いて応答する。ひとたび可聴化スレッドがデータを受信すると、このスレッドは、データ入力値を閾値と比較する。もし閾値が一致すれば、音のパラメータ（例えば、音符のピッチ、持続期間、および音量）が計算され、楽器（例えば、JSynベースの楽器）をセットアップするために用いられる。楽器は起動され、音発生器５０を経由して適切な音を出す。
【００５０】
音発生器５０は、既知のハードウェア、例えばサウンドカードおよびデジタル−アナログ変換器、およびサポートしているソフトウェアを用いて実現することができる。また、音発生器５０は、音声出力信号を制御するためのミキサーを有していてもよい。音発生器５０は、スピーカー、両耳用ヘッドホン、または任意の他の音声送出メカニズムによって、物理的に、聞き手に対して音声を伝達する。ヘッドホンの一実施形態において、聞き手は、好ましくは、可聴化を聞く一方で、通常会話を聞くことができる。また、より高度な音声空間化（spatialization）および位置測定（localization）技術を用いることもでき、これは、以下のものに限定されるわけではないが、ＨＲＴＦ（頭部伝達関数）処理、振幅パンニング（amplitude panning）、ベクトルベースの振幅パンニング（ＶＢＡＰ）、および波形フィールド合成（wave field synthesis）を含んでいる。
【００５１】
本発明の音楽的可聴化システムの１つの利点は、データを、聞き手にとって楽しい、心地よい音楽的な音にマッピングすることである。これは、聞き手が音楽の訓練を受けていなくても、受動的な学習および聴覚のパターン認識を容易にする。可聴化およびマッピング方式は、好ましくは、音楽の作曲および技巧の法則を用いて、心地よい音楽的な音を発生するように設計される。データの音楽的可聴化に適用可能な音楽の作曲の法則の１つの例としては、関連する仮出願第６０／３９９，２８４号で述べたような、Iannis Xenakisによる１９５７年の楽曲Achorripsisにおける、データから音へのマッピングがあり、これは、ここでの引用により本願明細書に完全に組み込まれるものとする。音楽的可聴化設計の理論もまた、Edward Childs博士によって、（２００３年５月にDartmouth College Libraryの中で発表された）"MUSICAL SONIFICATION DESIGN"と題された彼の論文の中で詳細に述べられていて、これは、ここでの引用により本願明細書に完全に組み込まれるものとする。音楽的可聴化の具体例をここで述べたが、他の音楽的可聴化も本発明の範囲内である。
【００５２】
音楽的可聴化システムは、また、金融売買の分野で用いられるとき、多くの利点を提供する。他の作業を行う一方で音を処理するような、十分に活用されていない人間の認識力における聴覚能力に、てこ入れするために、聴覚表示と共に、視覚的な表示を補うことができる。音声、音楽および自然の音を同時かつ別々に処理する人間の認識能力のおかげで、トレーダーは、音楽的可聴化を聞く一方で、会話をすることができる。全方向性の聴覚表示は、また、トレーダーが、市場を監視しながら、机から離れることを可能にする。音楽的可聴化は、視覚的なデータのオーバーロードを緩和する一方で、流通市場のデータだけでなく発行市場のデータのパターンおよび変化をも知覚する、改良された能力をもたらす。
【００５３】
上述した具体例としての実施形態は、主に、リアルタイム金融市場データの音楽的可聴化に関するものであるが、音楽的可聴化システムおよび方法の他の応用もまた、本発明の範囲内である。リアルタイムデータストリームを可聴化する代わりに、履歴データを可聴化することもできる。例えば、長期間にわたって記録されてきた金融市場履歴データを可聴化して、非常に短期間で高速再生することができる。
【００５４】
音楽的可聴化システムおよび方法は、何らかのデータがオーバーロードした状況において、何らかのタイプのデータをマッピングするために用いることができる。音楽的可聴化が可能な他のタイプのデータとしては、以下のものに限定されるわけではないが、医療記録データ、ネットワークデータ、有価証券データ、製造プロセスデータ、気象データ、航空交通管制データ、および流体フローデータがある。１つの例として、音楽的可聴化は、計算流体力学（ＣＦＤ）の分野で用いることができ、収束の挙動を描写して、少ない作業で大量のデータを走査する。または、流れの場における全体的な事象を分類する。このことは、関連する仮出願第６０／３９９，２８４号に詳細に記載されており、これは、ここでの引用により本願明細書に完全に組み込まれるものとする。他の例として、音楽的可聴化は、気象データの分野で用いることができる。このことは、Edward Childs博士によって、（２００３年５月にDartmouth College Libraryの中で発表された）"MUSICAL SONIFICATION DESIGN"と題された彼の論文の中で詳細に述べられており、これは、ここでの引用により本願明細書に完全に組み込まれるものとする。
【００５５】
本発明の実施形態は、いかなる従来のコンピュータプログラミング言語においても実現することができる。例えば、好ましい実施形態は、手続き型プログラミング言語（例えば、“Ｃ”）またはオブジェクト指向プログラミング言語（例えば、“Ｃ＋＋”またはＪａｖａ（登録商標））において実現することができる。本発明の別の実施形態は、前もってプログラムされたハードウェア要素、他の関連した構成要素として、またはハードウェアとソフトウェアの構成要素の組み合わせとして実現することができる。
【００５６】
実施形態は、以下のものに限定されるわけではないが、ＰＣまたはモバイル機器を含む、コンピュータシステムと共に用いるための、コンピュータプログラム製品として実現することができる。このような実現においては、コンピュータ読み取り可能な媒体（例えば、ディスケット、ＣＤ‐ＲＯＭ、ＲＯＭ、または固定ディスク）のような有形の媒体上に固定されるか、または、モデムまたは他のインターフェース装置、例えば媒体を通してネットワークに接続された通信アダプタ経由でコンピュータシステムに伝送可能に固定される、一連のコンピュータインストラクションを含んでいてもよい。媒体は、有形の媒体（例えば、光またはアナログ通信ライン）であっても、無線技術を用いて実現される媒体（例えば、マイクロ波、赤外線または他の伝送技術）であってもよい。一連のコンピュータインストラクションは、システムに関してここで前述した機能の全部または一部を具体化する。当業者であれば、このようなコンピュータインストラクションは、さまざまなコンピュータアーキテクチャまたはオペレーティングシステムと共に用いるために、さまざまなプログラミング言語で書くことができることを認めるはずである。さらに、このようなインストラクションは、任意の記憶装置、例えば半導体、磁気、光学または他の記憶装置に格納することができ、かつ、任意の通信技術、例えば光、赤外線、マイクロ波、または他の伝送技術を用いて伝送することができる。このようなコンピュータプログラム製品が、印刷または電子文書が添付された着脱可能な媒体（例えば、収縮包装されたソフトウェア）として配布され、コンピュータシステム（例えば、システムＲＯＭまたは固定ディスク上）に予めロードされ、または、ネットワーク（例えば、インターネットすなわちワールドワイドウェブ）上のサーバーまたは電子掲示版から配信されることが可能であることは予想される。もちろん、本発明のいくつかの実施形態は、ソフトウェア（例えば、コンピュータプログラム製品）とハードウェアとの組み合わせとして実現されてもよい。本発明のさらに他の実施形態は、完全にハードウェアとして、または完全にソフトウェア（例えば、コンピュータプログラム製品）として実現される。
【００５７】
ここまで本発明の原理を説明してきたが、この説明は、単に例としてなされただけであり、本発明の範囲を限定するものではないことは、当業者によって理解されるべきである。ここで示され、かつ説明された、具体例としての実施形態に加えて、他の実施形態が、本発明の範囲内で予想される。当業者による変更および代替は、本発明の範囲内であるとみなされ、本発明の範囲は、請求項以外のものによって限定されるべきではない。
【図面の簡単な説明】
【００５８】
【図１】本発明の一実施形態による、データストリームの可聴化のためのシステムおよび方法の機能ブロック図である。
【図２】データ入力取得の一実施形態の機能ブロック図である。
【図３】データの、音のパラメータへのマッピングの一実施形態を示しているフローチャートである。
【図４Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図４Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図５Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図５Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図６Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図６Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図７Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図７Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図８Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図８Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図９Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図９Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図１０Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図１０Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図１１Ａ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図１１Ｂ】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているグラフである。
【図１２】どのようにさまざまなタイプの音のパラメータがマッピング可能となるかの例を示しているフローチャートである。
【図１３】マッピングされた音の可聴化の一実施形態の機能ブロック図である。
【図１４】本発明の他の実施形態による、データストリームの音楽的可聴化のためのシステムの機能ブロック図である。
【図１５】１つのタイプの可聴化およびマッピング方式において用いられる、個別的な可聴化のための音楽の記譜法を示している。
【図１６】他のタイプの可聴化およびマッピング方式において用いられる、連続的な可聴化のための音楽の記譜法を示している。
【図１７】可聴化およびマッピング方式の具体例に対する音楽の記譜法を示している。
【図１８】可聴化およびマッピング方式の具体例に対する音楽の記譜法を示している。
【図１９】可聴化およびマッピング方式の具体例に対する音楽の記譜法を示している。
【図２０】可聴化およびマッピング方式の具体例に対する音楽の記譜法を示している。
【符号の説明】
【００５９】
４０  音楽的可聴化システム
４２  データサーバー
４４  可聴化エンジン
４６  構成データ
４８  可聴化およびマッピング方式
５０  音発生器
５２  ユーザー構成インターフェース
【図１】
2005539250.tif 000003
【図２】
2005539250.tif 000004
【図３】
2005539250.tif 000005
【図４Ａ】
2005539250.tif 000006
【図４Ｂ】
2005539250.tif 000007
【図５Ａ】
2005539250.tif 000008
【図５Ｂ】
2005539250.tif 000009
【図６Ａ】
2005539250.tif 000010
【図６Ｂ】
2005539250.tif 000011
【図７Ａ】
2005539250.tif 000012
【図７Ｂ】
2005539250.tif 000013
【図８Ａ】
2005539250.tif 000014
【図８Ｂ】
2005539250.tif 000015
【図９Ａ】
2005539250.tif 000016
【図９Ｂ】
2005539250.tif 000017
【図１０Ａ】
2005539250.tif 000018
【図１０Ｂ】
2005539250.tif 000019
【図１１Ａ】
2005539250.tif 000020
【図１１Ｂ】
2005539250.tif 000021
【図１２】
2005539250.tif 000022
【図１３】
2005539250.tif 000023
【図１４】
2005539250.tif 000024
【図１５】
2005539250.tif 000025
【図１６】
2005539250.tif 000026
【図１７】
2005539250.tif 000027
【図１８】
2005539250.tif 000028
【図１９】
2005539250.tif 000029
【図２０】
2005539250.tif 000030
【国際調査報告】
2005539250.tif 000031