(57)【要約】【課題】  携帯電話において、配信された着信メロディから感情データを算出し、感情データに基づいて感情表現動作を行わせることが可能な音楽データ配信システムを提供する。【解決手段】  本発明の音楽データ配信システムは、配信サーバが携帯端末に実行させる感情表現プログラムを記憶するプログラム記憶手段と、音楽データを記憶する音楽データ記憶手段と、上記感情表現プログラムを携帯端末に配信するプログラム配信手段と、音楽データ記憶手段から読み出した音楽データを端末装置に対して配信する音楽データ配信手段とを備え、携帯端末が感情解析エンジン部と、サーバ装置から配信された感情表現プログラムを実行するアプリケーション実行環境部と、配信された音楽データを一時的に記憶する被配信音楽データ記憶手段とを備える。【選択図】    図１
2005064942.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置と携帯端末装置とを有し、前記サーバ装置から配信される音楽データに基づき前記携帯端末装置が感情表現動作を実行する感情表現システムであって、
前記サーバ装置は、
前記携帯端末装置のコンピュータに実行させる感情表現アプリケーションプログラムを記憶するプログラム記憶手段と、
音楽データを記憶する音楽データ記憶手段と、
前記プログラム記憶手段から読み出した前記感情表現アプリケーションプログラムを前記端末装置に対して配信するプログラム配信手段と、
前記音楽データ記憶手段から読み出した前記音楽データを前記端末装置に対して配信する音楽データ配信手段と
を備えており、
前記携帯端末装置は、
予め組み込まれた感情解析エンジン部と、
前記サーバ装置から配信された前記感情表現アプリケーションプログラムをコンピュータに実行させるアプリケーション実行環境部と、
前記サーバ装置から配信された前記音楽データを少なくとも一時的に記憶する被配信音楽データ記憶手段と、
を備えており、
前記感情表現アプリケーションプログラムは、
前記感情解析エンジン部が前記被配信音楽データ記憶手段から読み出した前記音楽デー  タに基づいて解析した結果得られる感情データを、前記感情解析エンジン部から受け取る第１の過程と、
受け取った前記感情データに基づく感情表現動作を制御する第２の過程と
を前記携帯端末装置のコンピュータに実行させるものである
ことを特徴とする音楽データ配信システム。
【請求項２】
前記感情解析エンジン部がこの音楽データに含まれる楽器名及びリズムの情報から感情データを解析することを特徴とする請求項１記載の音楽データ配信システム。
【請求項３】
前記感情表現動作は、前記携帯端末装置に設けられた画面に対する画像又は映像の表示であることを特徴とする請求項１及び２に記載の音楽データ配信システム。
【請求項４】
前記感情表現動作は、前記携帯端末装置に設けられたランプの点灯あるいは非点灯であることを特徴とする請求項１及び２に記載の音楽データ配信システム。
【請求項５】
前記感情表現動作は、前記携帯端末装置に設けられたバイブレーション機能部によるバイブレーション動作であることを特徴とする請求項１及び２に記載の音楽データ配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末に対して音楽データをコンテンツとして配信する音楽データ配信システムに関する。
【背景技術】
【０００２】
近年、携帯電話が普及し、この携帯電話で使用するコンテンツの一つとして、着信時に着信を知らせるための着信メロディが配信されるようになっている。
一方で、音楽データを聞くことにより人間に生じる感覚を、この音楽データに基づいて感性データとして算出し、この算出された感性データに応じた表現動作をコンピュータに実行させる感性データ算出装置が開発されている（例えば、特許文献１参照）。
また、ゲームなどのアプリケーションプログラムを配信して、このプログラムを携帯電話のハードウェア及びソフトウェア資源を用いて実行させることも行われている。
【特許文献１】特開２００２−３６６１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に示す感情データ算出装置にあっては、携帯電話の着信メロディ（音楽データ）に対応して、高速フーリエ変換等の負荷が大きな手法を用いて周波数解析等を行い、感情データを算出させ、感性データに応じた感情表現動作を実行させようとすると、感情解析の処理における計算量が膨大なため、高速に演算を行える計算能力の高いコンピュータを使用する必要がある。
このため、従来の携帯電話においては、高速なＣＰＵやソフトウェア資源を有していないため、感情解析を行うための計算処理能力が不十分であるという問題がある。
また、上記感情データ算出装置は、能力の高いコンピュータを使用し、予め感情データを、音楽データの再生時にリアルタイムに利用可能とするため、予め感情データを演算しておき、これをダウンロードして、所定の記憶部に記憶させておくことが考えられる。
しかしながら、上記感情データ算出装置は、携帯電話等の携帯端末に用いた場合、上記感情データを記憶する余分なメモリ容量を使用することとなるため、限られたハードウェア資源を有効に使用できないという欠点を有する。
【０００４】
本発明は、このような事情に鑑みてなされたもので、携帯電話において、着信メロディ、すなわち音楽データから感情データをリアルタイムに算出し、この感情データに基づいて感情表現動作を行わせることが可能な音楽データ配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の音楽データ配信システムは、サーバ装置と携帯端末装置とを有し、前記サーバ装置から配信される音楽データに基づき前記携帯端末装置が感情表現動作を実行する感情表現システムであって、前記サーバ装置は、前記携帯端末装置のコンピュータに実行させる感情表現アプリケーションプログラムを記憶するプログラム記憶手段と、音楽データを記憶する音楽データ記憶手段と、前記プログラム記憶手段から読み出した前記感情表現アプリケーションプログラムを前記端末装置に対して配信するプログラム配信手段と、前記音楽データ記憶手段から読み出した前記音楽データを前記端末装置に対して配信する音楽データ配信手段とを備えており、前記携帯端末装置は、予め組み込まれた感情解析エンジン部と、前記サーバ装置から配信された前記感情表現アプリケーションプログラムをコンピュータに実行させるアプリケーション実行環境部と、前記サーバ装置から配信された前記音楽データを少なくとも一時的に記憶する被配信音楽データ記憶手段と、を備えており、前記感情表現アプリケーションプログラムは、前記感情解析エンジン部が前記被配信音楽データ記憶手段から読み出した前記音楽データに基づいて解析した結果得られる感情データを、前記感情解析エンジン部から受け取る第１の過程と、受け取った前記感情データに基づく感情表現動作を制御する第２の過程とを前記携帯端末装置のコンピュータに実行させるものである。
【０００６】
本発明の音楽データ配信システムは、前記感情解析エンジン部がこの音楽データに含まれる楽器名及びリズムの情報から感情データを解析する。
【０００７】
本発明の音楽データ配信システムは、前記感情表現動作が、前記携帯端末装置に設けられた画面に対する画像又は映像の表示である。
【０００８】
本発明の音楽データ配信システムは、前記感情表現動作が、前記携帯端末装置に設けられたランプの点灯あるいは非点灯である。
【０００９】
本発明の音楽データ配信システムは、前記感情表現動作は、前記携帯端末装置に設けられたバイブレーション機能部によるバイブレーション動作である。
【発明の効果】
【００１０】
本願発明の音楽データ配信システムによれば、携帯端末（携帯電話）に、感情解析エンジン手段を組み込んでいるため、ルックアップテーブルや専用の演算式を用いて、感情解析専用の演算処理を利用することができるため、感情解析の処理において、高速な演算速度を得ることができ、リアルタイムでの音楽データに対する感情解析を実現することができる。
また、本願発明の音楽データ配信システムによれば、感情解析エンジン部がリアルタイムに音楽データを解析することができるため、予め解析した感情解析データを蓄えるための記憶部を設ける必要が無い。
【００１１】
さらに、本願発明の音楽データ配信システムによれば、感情解析エンジンのみを予め携帯電話に組み込む構成とし、解析結果の感情データを用いて動作する感情表現アプリケーションプログラムを音楽配信サーバから配信するようにしたため、開発者が様々な感情表現を行うアプリケーションを開発して、利用者がこれらのアプリケーションから好みのものを選択して配信を要求することが可能であり、ユーザ各々がいつでも、好みのアプリケーションをダウンロードして利用することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態による音楽データ配信システムを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。
音楽配信サーバ１は配信する音楽データが記憶されている音楽データ記憶部３と、ユーザからの要求に対応してこの音楽データ記憶部２から音楽データを読み出し、要求したユーザの携帯端末、例えば携帯電話へ配信する音楽データ配信部２と、感情表現アプリケーションプログラムが記憶されているプログラム記憶部５と、ユーザからの要求に対応してこのプログラム記憶部５から感情表現アプリケーションプログラムを読み出し、要求したユーザの携帯端末、例えば携帯電話へ配信するプログラム配信部４とから構成されている。
【００１３】
上記音楽配信サーバ１は、公衆回線，専用回線及びインターネット等から構成される情報通信網６と、無線基地局７とを介して、携帯電話２０へ接続されている。
携帯電話２０は、以下に示す構成を有している。インターフェース部９はアンテナ８を介して無線基地局７との間において、無線によりデータの送受信を行う。被配信データ記憶部１１は、配信された音楽データを記憶する。感情解析エンジン部１０は、音楽データ再生部１３の再生動作にリアルタイムに対応して、上記音楽データを聞くことで人間に起こる感情を解析し、解析結果の感情データをアプリケーション実行環境部１２へ出力する。
【００１４】
アプリケーション実行環境部１２は、配信された（音楽配信サーバ１よりダウンロードした）感情アプリケーションプログラムを記憶し、このプログラムが上記解析結果の感情データに基づいて所定の感情表現の処理を行う。音楽データ再生部１３は、音楽配信サーバ１からダウンロードした音楽データ、例えばＭＩＤＩ形式の音楽データを、デジタル信号（デジタルオーディオ信号に変換して）として出力する。Ｄ／Ａ変換器１４は、上記デジタル信号をアナログ信号に変換して、アナログオーディオ信号を出力する。スピーカ１５は、上記アナログオーディオ信号により音声を発生する。
【００１５】
すなわち、本発明においては、感情解析エンジン部１０が携帯電話（携帯端末）２０に組み込まれている。ここで、組み込み方法としては、感情解析エンジンの機能を、ＩＣチップ等へ集積したハードウェアにより実現するもの、ソフトウェアにより実現するもの、ファームウェアにより実現するもの、のいずれを用いることも可能である。
また、配信される音楽データは、一般的にＭＩＤＩ形式であるが、携帯電話のキャリア毎に細かい仕様（ＭＩＤＩ形式の仕様）の違いがある。このため、組み込まれる感情解析エンジン部１０は、音楽データ再生部１３と同様に、組み込まれる携帯電話２０の使用する上記キャリアの使用するＭＩＤＩ形式の仕様に対応して構成されている。
【００１６】
次に、図１を参照して、本発明による一実施形態の動作例を説明する。
ユーザは携帯電話２０により、音楽配信サーバ１に対してアクセスを行い、所望の音楽データ及び感情表現アプリケーションプログラムを要求する。これにより、音楽データ配信部２は指定された音楽データを音楽データ記憶部３において検索し、検索された音楽データを携帯電話に配信する。また、プログラム配信部４は、指定された感情表現アプリケーションプログラムをプログラム記憶部５において検索し、検索された感情表現アプリケーションプログラムを携帯電話２０に配信する。
【００１７】
そして、携帯電話２０において、インターフェース部９は、ダウンロードした音楽データを受信すると、この音楽データを被配信データ記憶部１１に書き込み記憶させる。このとき、携帯電話２０の着信の種類毎に複数の音楽データをダウンロードして被配信データ記憶部１１に書き込んで記憶させておくこともできる。同様に、インターフェース部９は、感情表現アプリケーションプログラムを受信すると、この感情表現アプリケーションプログラムをアプリケーション実行環境部１２へ書き込み記憶させる。
【００１８】
このとき、携帯電話２０の着信の種類毎に複数の感情表現アプリケーションプログラムをダウンロードしてアプリケーション実行環境部１２に書き込んで記憶させておくこともできる。複数の音楽データ及び感情表現アプリケーションプログラムを各々ダウンロードした場合、着信の種類毎に、いずれの音楽データや感情表現アプリケーションプログラムを使用するか設定しておく。
【００１９】
次に、感情解析エンジン部１０は、被配信データ記憶部１１に記憶されている音楽データの感情解析の演算を行い、解析結果として感情データを出力する。
ここで、上記感情データとは、オーディオ信号やビデオ信号や、その他、人間の感覚に関する信号を解析することにより、その感覚によって生じる感情あるいは感性に関するデータである。すなわち、人間の持つ感情が外部環境から受ける刺激と相関関係を有するものであり、そのような刺激のひとつが、例えば聴覚によって知覚される音楽である。つまり、多数の人間がある共通の音楽を鑑賞したとき、それらの鑑賞者のうちの多くの人間が、「うれしい」とか「悲しい」とか「気持ちいい」などといった共通の感情を抱く。したがって、感情データは、音楽データ（本実施形態においてはＭＩＤＩ形式のデータ）の有する、楽器の種類，音楽周波数成分，音の強弱などから、聴取した人間の感性を数値データとしてものである。
【００２０】
すなわち、感情解析エンジン部１０は、ＭＩＤＩ形式の音楽データの有する、音階データ，押される強さデータ（音の強さデータ），リズムデータ，楽器名データ，時間データ等のデータ構成（ＭＩＤＩデータ）からいずれか複数または全ての組み合わせにより、例えば、楽器名のデータとリズムデータとの組み合わせにより感情データを演算して出力する。感情解析エンジン部１０は、感情データとして、インデックス、感情種類、感情レベル、継続時間を有する感情データが時系列データとして出力される。ここで、感情解析エンジン部１０は、ＭＩＤＩデータから上記感情データの演算を、ルックアップテーブル、または所定の演算式により行う。
【００２１】
このように、感情解析エンジン部１０は、上記ＭＩＤＩデータのままで感情解析の演算を行うため、従来例のように、一度デジタルやアナログの音声データに変換して、この音声データから周波数成分の解析、すなわち高速フーリエ変換のような負荷の大きな演算を行わないため、リアルタイムに感情データの演算が行える。本発明の感情解析エンジン部１０は、周波数成分の解析において、ＭＩＤＩデータの音階データを用いている。
【００２２】
上記感性データにおいて、上記インデックスは、０から始まるシーケンシャルな値である。上記感情種類は、「無表情（default ）」、「快感（pleasure）」、「驚き（surprise）」、「怯え（fear）」、「嬉しい（happy ）」、「悲しい（sad ）」のいずれかである。感情種類が「快感」、「驚き」、「怯え」、「嬉しい」、「悲しい」のいずれかであるとき、例えば、上記感情レベルは１以上５以下のいずれかの整数の値を取る。また、感情種類が「無表情」のとき、感情レベルの値は「なし」である。上記継続時間は、秒単位の数値であり、１以上の値を取る。
【００２３】
感情解析エンジン部１０は、例えば、ＭＩＤＩデータの感情解析において、音階データを複数の段階（周波数レベル）で分類するようにして、各段階毎に音階値データを設定して、入力される音楽データにおける音階データに対応した音階値データを求め、また、音の強さデータも同様に複数の段階で分類するようにして、各段階毎に強度データを設定して、入力される音の強さデータに対応した強度データを求める。
【００２４】
次に、感情解析エンジン部１０は、これら音階値データ及び強度データに対応して感情種類と感情レベルとを演算する。そして、感情解析エンジン部１０は、リズム（ビート間の時間間隔の長さ）及び時間により、求められた感情種類と感情レベルとを補正して、継続時間を添付して感情データとして出力する。すなわち、感情解析エンジン部１０は、感情データ記憶部１６に、音楽データの種類に対応させて、解析結果の感情データを時系列に、アプリケーション実行環境部１２へ出力する。
【００２５】
ここで、感情解析エンジン部１０は、特に、楽器の種類により人間の感情の変化が異なるため、感情データを演算するルックアップテーブルまたは所定の演算式を、予め楽器名データの示す楽器の種類毎に作成しておき、入力される音楽データから、このルックアップテーブルまたは所定の演算式により、細かな感情データの解析及び演算を行うようにすることもできる。また、携帯電話のユーザの好みの楽器を予め設定しておくことで、演算式においてはこの楽器に対応する演算において、得られた感情レベルに所定の係数が乗じられるようにすることで、同一のアプリケーションプログラムを利用したとしても、ユーザ各々に対応した感情データを得ることが可能となる。
【００２６】
次に、アプリケーション実行環境部１２は、記憶されている感情表現アプリケーションプログラムに基づいて、対応する音楽データの音声出力に同期して、時系列に感情解析エンジン部１０から感情データ入力し、この感情データの数値に応じて、順次、携帯電話２０に付いている機能を動作させる。すなわち、アプリケーション実行環境部１２は、入力される感性データの各データを統合した演算に基づいて、アプリケーションの対象となる実行環境に対応して、感情表現動作を実行させるビジュアルデータを生成し、携帯電話２０内のコンピュータシステムを利用してこの感情表現動作を実現させる。ここで、アプリケーション実行環境部１２の感情表現動作を実行させる機能としては、ＬＥＤ（Light Emitting Diode）１２ａ，液晶等の表示画面１２ｂ，及びバイブレータ１２ｃの感情表現に対応した駆動などがある。
【００２７】
例えば、アプリケーション実行環境部１２は、表示画面１２ｂを駆動させるアプリケーションプログラムが記憶されている場合、スピーカから出力される音声に対応して、携帯電話２０の表示画面２０に対して、感情データに対応して、表示されるキャラクタの種類や表情，動作を変化させたり、あるいは映像の種類を変化させたりする。
また、アプリケーション実行環境部１２は、ＬＥＤ１２ａを駆動させるアプリケーションプログラムが記憶されている場合、スピーカから出力される音声に対応して、感性データに基づきＬＥＤ１２ａの点滅動作において、点灯／点滅の周波数，リズム，発光強度，点灯する色の指定，点灯するＬＥＤの指定，点灯の明るさ（点灯指定されるＬＥＤ毎に制御）等を変化させる。
【００２８】
さらに、アプリケーション実行環境部１２は、バイブレーション１２ｃ（バイブレーション機能部）を駆動させるアプリケーションプログラムが記憶されている場合、スピーカから出力される音声に対応して、感性データに基づきバイブレーション１２ｃの点滅動作において、振動の周波数，振動のリズム，振動強度等を変化させる。
また、アプリケーション実行環境部１２は、携帯電話２０に搭載されている複数の実行環境（例えば、上記ＬＥＤ１２ａ，表示画面１２ｂ，バイブレーション１２ｃ）を、感情データに対応させて、組み合わせて動作させるようにしてもよい。
【００２９】
上述した記載において、アプリケーションプログラムが、音楽配信サーバ１から配信されるとして説明してきたが、予め、アプリケーション実行環境部１２またはアプリケーションプログラムを記憶させるために設けられた記憶部に、すなわち携帯電話に出荷時に記憶するようにしてもよい。
【００３０】
なお、図１における感情解析エンジン部１０，アプリケーション実行環境部１２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより感情解析及び感情動作の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態による音楽データ配信システムの構成の一例を示す概念図である。
【符号の説明】
【００３３】
１  音楽配信サーバ
２  音楽データ配信部
３  音楽データ記憶部
４  プログラム配信部
５  プログラム記憶部
６  情報通信網
７  無線基地局
８  アンテナ
９  インターフェース部
１０  感情解析エンジン部
１１  被配信データ記憶部
１２  アプリケーション実行環境部
１２ａ  ＬＥＤ
１２ｂ  表示画面
１２ｃ  バイブレータ
１３  再生部
１４  Ｄ／Ａ変換部
１５  スピーカ
２０  携帯電話
【図１】
2005064942.tif 000003