(57)【要約】【課題】携帯端末での簡単な操作によって、映像やナレーションに相応しい音楽データを作成することができる音楽データ作成システムの提供。【解決手段】このシステムでは、携帯端末ＰＴの映像及び曲風指定部Ａで、再生される映像データと作成される音楽データの曲風を指定すると、サーバＳＶの映像データベースＶＤＢから指定された映像データが抽出される。時間取得部Ｂにより、指定された映像データからその再生時間を取得すると、音楽データ生成部として機能する作曲エンジンＥＧは、この再生時間取得をトリガーとして作曲を開始して、当該再生時間に対応し、指定された曲風に従う音楽データを生成する。そして、再生部４Ｒによって、生成された音楽データを映像データと共に再生する。映像に代えてナレーション（朗読音声）を用いることができ、映像やナレーションのデータは、携帯端末ＰＴのカメラやマイクから入力することもできる。【選択図】図１
2005055547.tif 000002
【特許請求の範囲】
【請求項１】
作成される音楽データの曲風を指定する指定手段と、
映像データ又はナレーションデータから当該データの再生時間を取得する時間取得手段と、
この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段と
を具備することを特徴とする音楽データ作成システム。
【請求項２】
複数の映像データ又はナレーションデータを記憶するデータ記憶手段と、
再生すべき映像データ又はナレーションデータ及び作成される音楽データの曲風を指定する指定手段と、
指定された映像データ又はナレーションデータをデータ記憶手段から抽出するデータ抽出手段と、
抽出された映像データ又はナレーションデータから当該データの再生時間を取得する時間取得手段と、
この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段と
を具備することを特徴とする音楽データ作成システム。
【請求項３】
作成される音楽データの曲風を指定する指定手段と、
外部から入力される映像又は音声に対応する映像データ又はナレーションデータを記録するデータ記録手段と、
この映像データ又はナレーションデータの記録が終了したことに応じて当該データの再生時間を取得する時間取得手段と、
この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段と
を具備することを特徴とする音楽データ作成システム。
【請求項４】
作成される音楽データの曲風を指定するステップと、
映像データ又はナレーションデータから当該データの再生時間を取得するステップと、
この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するステップと
から成る手順を情報処理装置に実行させるための音楽データ作成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、携帯用電話機などの携帯用情報処理端末において映像などに合わせて音楽を楽しむために、映像などに相応しい音楽データを作成することができる音楽データ作成システムに関する。
【０００２】
【従来の技術】
近年、携帯用電話機などの携帯通信端末の機能や性能は飛躍的に向上している。これに伴い、音楽的な面では、例えば、特許文献１には、音楽素材の入力を受けてサーバーが作成した音楽コンテンツを携帯通信端末に返信するようにしたものが提案されている。また、画像については、静止画再生だけでなく映像（動画像）までも再生できるようになっており、このような映像を再生する場合、そのＢＧＭ（背景音楽）が必然的に欲しくなる。これに対して、例えば、特許文献２には、映像に合った作曲をモバイルＰＣ上で実現することが開示されている。
【０００３】
【特許文献１】
特開２００２−５５６７９号公報
【特許文献２】
特開２００２−２８７７４６号公報（段落〔０１０９〕）
【０００４】
従って、携帯用電話機などの携帯通信端末において、映像に相応しい雰囲気で而も映像の再生に一致する音楽をより簡単に楽しむことができるような作曲システムが望まれるところである。また、映像だけでなく、ナレーション（朗読音声）に合う音楽を作成することができれば、携帯端末の利用範囲がより豊かなものになるものと期待される。
【０００５】
【発明が解決しようとする課題】
この発明は、携帯用電話機を含む携帯端末において映像などに合わせて音楽を楽しむことができる１つの方法を提供しようとするものであって、特に、携帯端末での簡単な操作によって、映像やナレーションに相応しい音楽データを作成することができる音楽データ作成システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明の主たる特徴に従うと、作成される音楽データの曲風を指定する指定手段（Ａ，Ａ２）と、映像データ又はナレーションデータから当該データの再生時間を取得する時間取得手段（Ｂ）と、この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段（ＥＧ）とを具備する音楽データ作成システム（請求項１）、並びに、作成される音楽データの曲風を指定するステップ（Ａ，Ａ２）と、映像データ又はナレーションデータから当該データの再生時間を取得するステップ（Ｂ）と、この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するステップ（ＥＧ）とから成る手順を情報処理装置に実行させるための音楽データ作成プログラム（請求項４）が提供される。なお、括弧書きは、理解の便のために、後で詳述する実施例において用いられる対応記号等であり、以下においても同様である。
【０００７】
また、この発明の更なる特徴によると、複数の映像データ又はナレーションデータを記憶するデータ記憶手段（２，ＶＤＢ）と、再生すべき映像データ又はナレーションデータ及び作成される音楽データの曲風を指定する指定手段（Ａ）と、指定された映像データ又はナレーションデータをデータ記憶手段（２，ＶＤＢ）から抽出するデータ抽出手段（ＶＤ）と、抽出された映像データ又はナレーションデータから当該データの再生時間を取得する時間取得手段（Ｂ）と、この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段（ＥＧ）とを具備する音楽データ作成システム（請求項２）、並びに、作成される音楽データの曲風を指定する指定手段）Ａ２）と、外部から入力される映像又は音声に対応する映像データ又はナレーションデータを記録するデータ記録手段（２Ｖ）と、この映像データ又はナレーションデータの記録が終了したことに応じて当該データの再生時間を取得する時間取得手段（Ｂ）と、この再生時間を取得したことに応じて、当該再生時間に対応し、指定された曲風に従う音楽データを生成するデータ生成手段（ＥＧ）とを具備する音楽データ作成システム（請求項３）が提供される。
【０００８】
〔発明の作用〕
この発明は、携帯端末（ＰＴ）において、映像データやナレーションデータと、このデータの内容に合った曲風を指定すると（Ａ）、まず、この指定に該当する映像データやナレーションデータを抽出して（ＶＤ，ＶＤＢ）、当該データの再生時間情報を取得する（Ｂ）。次いで、データ生成手段（ＥＧ）がこの再生時間情報の取得をトリガーとして作曲を開始する。これにより、当該再生時間情報に合わせて、指定された映像やナレーションに相応しい音楽データを生成し、生成された音楽データを映像やナレーションと共に再生することができる。
【０００９】
或いは、曲風を指定し（Ａ２）、カメラ（３Ｃ）やマイクを動作させると、まず、カメラで撮影した映像データやマイクから記録したナレーションデータから、再生時間情報を取得する（Ｂ）。次いで、データ生成手段（ＥＧ）がこの再生時間情報の取得をトリガーとして作曲を開始する。これにより、当該再生時間情報に合わせて、記録された映像やナレーションに相応しい音楽データを生成し、記録した映像やナレーションと共にこの音楽を再生することができる。
【００１０】
この発明は、このように、映像や音声（ナレーション）の時間取得をトリガーとして作曲を開始することにより、携帯端末におけるユーザの操作を少なくするものであり、従って、データ及び曲風を指定するだけの簡単なユーザ操作によって、映像やナレーションに相応しい雰囲気をもち、しかも、映像やナレーションと再生時間が一致する音楽を得ることができ、携帯端末で再生する映像やナレーションにこの音楽を付加して再生することができる。
【００１１】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施形態を詳述する。なお、以下の実施形態は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００１２】
〔システムの概要〕
図６は、この発明の一実施例による携帯通信端末とサーバを含む音楽データ作成システムのハードウエア構成の概要を表わす。この音楽データ作成システムは、音楽データの作成を指示する携帯端末ＰＴが、基地局ＢＳを介してインターネット或いは電話回線網等の通信ネットワークＣＮを通じ、各携帯端末ＰＴにサービスを提供するサーバＳＶと相互に通信可能に接続されて構成される。なお、サーバＳＶはパーソナルコンピュータやワークステーションなどの任意のタイプの情報処理装置で構成され、携帯端末ＰＴには携帯用電話機が特に好適に用いられるが、通信機能を有するＰＤＡなど、他の任意形態の携帯型情報処理端末を携帯端末ＰＴに用いることもできる。
【００１３】
各携帯端末ＰＴは、破線内の内部構成ブロック図に例示されるように、中央処理装置（ＣＰＵ）１、記憶手段２、入力手段３、出力手段４、通信手段５などがバス６に接続されて成る。記憶手段２は、制御プログラムや制御用データを記憶した読出専用メモリ（ＲＯＭ）部、処理用データ等を一時記憶するランダムアクセスメモリ（ＲＡＭ）部、種々のデータやプログラムを記憶する外部記憶部などから成り、これらの記憶部は半導体メモリで構成することができる。そして、ＣＰＵ１は、ＲＡＭ部をワークメモリとしてＲＯＭ部の制御プログラムに従い外部記憶部のデータ等を利用して当該携帯端末ＰＴの動作を制御する。
【００１４】
例えば、記憶手段２のＲＯＭ部又は外部記憶部には、作曲エンジン（楽曲データ生成ソフトウエア）ＥＧや作曲用データ（ＭＤ）、映像（動画像）データ（ＶＤ）などを記憶しておくことができ、ＣＰＵ１は、音楽データ作成に関する端末側制御プログラム（端末側音楽データ作成プログラム）に従って、映像データに相応しい音楽データ（「曲データ」とも呼ばれる）を生成し、映像データと共に再生することができる。また、記憶手段２のＲＡＭ部は、再生される映像データ及び音楽データを記憶する映像及び音楽メモリ２Ｖ，２Ｍとして機能することができる。
【００１５】
入力手段３は、各種キースイッチ等の操作子３Ｍの外に、ビデオカメラ３Ｃやマイクロフォン等の、外部からの画像乃至音響情報を入力するための入力装置などを含む。また、出力手段４は、ＬＣＤ等のディスプレイを含む表示出力部や、通話音声や演奏楽音を放音するための音響出力部などを備え、音響出力部には楽音生成のための音源やスピーカ等が含まれる。ここで、表示出力部並びに音響出力部のうち、映像データに基づく映像を生成するための映像生成部、並びに、ナレーションデータに基づく音声を生成するための音声生成部及び音楽データに基づく楽音を生成するための楽音生成部は、再生部４Ｒと総称される。
【００１６】
通信手段５は、基地局ＢＳとの無線通信を介して通信ネットワークＣＮを通じサーバＳＶ或いは他の携帯端末と通信するための端末送受信部５Ｔ，５Ｒを有し、サーバＳＶとの通信で種々の制御プログラムやデータを受信することができる。例えば、サーバＳＶから端末側音楽データ作成プログラムや作曲エンジン等をダウンロードして記憶手段２の外部記憶部に格納し、これらのプログラム乃至エンジンを利用して音楽データ作成に関係する各種処理を行うことができる。
【００１７】
サーバＳＶは、携帯端末ＰＴを表わす図示破線内の内部構成ブロックとほぼ同様の内部構成を有しており、音楽データ作成を含むサーバ側制御プログラムに従って動作する。例えば、サーバＳＶ側にも、サーバでの作曲のために作曲エンジンＥＧを搭載することができる。さらに、サーバＳＶの記憶手段には、各携帯端末ＰＴにプログラムやデータを提供するため、磁気記録媒体（フレキシブルディスク、テープデバイス、ハードディスク等）或いは光記憶媒体（ＣＤ、ＤＶＤ、ＭＯ等）などの適当な記録媒体で構成される大容量記憶装置が含まれ、映像データベースＶＤＢや作曲用データベースＭＤＢを構築することができる。また、携帯端末ＰＴとのデータ送受のためにサーバ送受信部ＳＴ，ＳＲを備える。
【００１８】
この発明の一実施例による音楽データ作成システムは、映像データやナレーションデータに相応しい音楽データを生成して、映像データやナレーションデータと共に音楽データを携帯端末ＰＴの出力手段４の再生部４Ｒから同時に再生しようとするものであり、サーバ及び携帯端末の何れにおいて映像データ乃至ナレーションデータ源及び音楽データ（曲データ）生成機能を利用するかに応じて、例えば、図１〜図５に示される第１〜第５実施形態のように、異なる実施形態で実施することができる。
【００１９】
ここで、図１を用いて、この音楽データ作成システムの概要を簡単に説明しておく。このシステムでは、携帯端末ＰＴの映像及び曲風指定部Ａで、再生される映像データと作成される音楽データの曲風を指定すると、サーバＳＶの映像データベースＶＤＢから指定された映像データが抽出される。時間取得部Ｂにより、指定された映像データからその再生時間を取得すると、音楽データ生成部として機能する作曲エンジンＥＧは、この再生時間取得をトリガーとして作曲を開始して、当該再生時間に対応し、指定された曲風に従う音楽データを生成する。そして、再生部４Ｒによって、生成された音楽データを映像データと共に再生する。映像に代えてナレーション（朗読音声）を用いることができ、映像やナレーションのデータは、携帯端末ＰＴのカメラやマイクから入力することもできる。
【００２０】
以下、映像データに相応しい音楽データを生成して、映像データ及び音楽データを携帯端末ＰＴの出力手段４の再生部４Ｒから同時に再生する第１〜第５実施形態について、図１〜図５を用いて詳細に説明する。なお、これらの実施形態でも、携帯端末ＰＴには携帯用電話機が用られる。また、各図では、音楽データ作成処理に関係する機能を明瞭に説明するために、通話などの他の機能に関わる構成については記載を省略している。
【００２１】
〔第１実施形態〕
この発明の第１実施形態は、図１の機能ブロック図で表わされるように、映像データがサーバにあり作曲エンジンを携帯端末が持つ場合に適用することができる音楽データの作成方式である。第１実施形態では、サーバＳＶの映像データベースＶＤＢに映像データが蓄積されており、楽曲データ生成のためのソフトウエアである“作曲エンジン”ＥＧが携帯端末ＰＴの記憶手段２に搭載されている場合、携帯端末ＰＴでは、サーバＳＶから映像データの提供を受けたことに応じて、自動的に、作曲エンジンＥＧにより音楽データ（曲データ）が作成される。
【００２２】
第１実施形態の動作乃至処理の流れをより詳しく説明する。まず、携帯端末ＰＴでは、端末ユーザが入力手段３の操作子３Ｍを操作して、端末の動作モードを楽曲生成モードにすると、サーバＳＶの映像データベースＶＤＢ中から再生したい映像データを選択するための映像選択画面及びこれから作成しようとする音楽データのジャンルやタイプ等の曲風を選択するための曲風選択画面が出力手段３のディスプレイ上に順次表示される。そこで、各選択画面を利用し操作子３Ｍを操作して、所望の映像データの種別及び音楽データの曲風に関する項目を選択的に入力すると、映像及び曲風指定部Ａは、これに応じて、当該映像種別及び曲風を表わす映像指定情報及び曲風指定情報を生成し、それぞれ、端末送信部５Ｔ及び作曲用データ取得部ＭＤに出力する。
【００２３】
端末送信部５Ｔは映像指定情報をサーバＳＶに向かって送信し、サーバＳＶは、サーバ受信部ＳＲで映像指定情報を受信すると、映像データベースＶＤＢから、受信した映像指定情報により指定される映像データを抽出し、抽出された映像データをサーバ送信部ＳＴから携帯端末ＰＴに向かって送信する。
【００２４】
一方、携帯端末ＰＴでは、記憶手段２の所定記憶エリアに複数組の作曲用データ（作曲パラメータともいう）が予め記憶されており、作曲用データ取得部ＭＤは、映像及び曲風指定部Ａからの曲風指定情報により指定される作曲用データを抽出して、作曲エンジンＥＧの動作のためにＲＡＭ部の所定エリアに保持している。ここで、端末受信部５ＲがサーバＳＶからの映像データを受信すると、映像時間取得部Ｂは、受信した映像データから、当該映像データの再生に必要なトータルの映像時間を算出・取得し、取得された映像時間に対応する時間情報を作曲エンジンＥＧに供給する。
【００２５】
作曲エンジンＥＧは、映像時間取得部Ｂからの時間情報の取得をトリガーとして、作曲用データ取得部ＭＤからの作曲用データ及び当該時間情報の内容に基づいて、当該作曲用データに従った曲風をもち当該時間情報が表わす時間で終了する音楽データを生成し、音楽メモリ（曲データメモリ）２Ｍに格納すると共に、作曲終了情報を端末送信部５Ｔを介してサーバＳＶに送る。サーバＳＶは、サーバ受信部ＳＲで作曲終了情報を受信すると、先の映像指定情報により指定される映像データを映像データベースＶＤＢから再度抽出して、この映像データをサーバ送信部ＳＴから携帯端末ＰＴに送信する。
【００２６】
そして、携帯端末ＰＴは、端末受信部５Ｒでの映像データの再受信に基づき音楽メモリ２Ｍからのデータ読出しを開始させて、音楽メモリ２Ｍの音楽データを再生部４Ｒの楽音生成部に入力すると共に、端末受信部５Ｒで再受信した映像データを再生部４Ｒの映像生成部に入力する。従って、所望の映像が出力手段４のディスプレイ上に表示されると共に、この映像に合う音楽が出力手段４のスピーカから出力される。
【００２７】
なお、上述の動作例では、映像時間情報の算出機能（Ｂ）を携帯端末ＰＴ側に持たせたが、サーバＳＶ側で映像時間情報を算出・取得するようにしてもよい。また、携帯端末ＰＴの映像時間取得部Ｂで時間抽出の対象として受信した映像データを映像メモリ２Ｖに記憶させておき、作曲エンジンＥＧによる曲生成と同時に映像の再生を行うように構成して、サーバＳＶにおいて映像データを再抽出しないようにすることができる。この場合、作曲終了情報は、サーバへの返信（図示）をせず、音楽メモリ２Ｍに読出し開始指令として与えるようにすればよい。
【００２８】
また、作曲用データの記憶及び抽出手段をサーバＳＶ側におき、携帯端末ＰＴの映像及び曲風指定部Ａからの曲風指定情報をサーバＳＶに送信し、サーバＳＶが、この曲風指定情報に基づいて必要な作曲用データを抽出し、携帯端末ＰＴの作曲用データ取得部ＭＤに返信するようにしてもよい。さらに、映像データの再生は、上述のように、ストリーム再生してもよいが、外部記憶部のファイルにダウンロードしてから再生してもよい。
【００２９】
〔第２実施形態〕
この発明の第２実施形態は、第１実施形態とは逆に、作曲エンジンがサーバにあり映像データを携帯端末が持つ場合に適用することができる音楽データの作成方式であって、図２の機能ブロック図で表わされる。すなわち、第２実施形態では、サーバＳＶに楽曲データ生成のための作曲エンジンＥＧがあり、携帯端末ＰＴにおける記憶手段２に複数の映像データが記憶されている場合、携帯端末ＰＴで再生される映像データが指定されたことに応じて、自動的に、サーバＳＶ側で作曲エンジンＥＧにより音楽データが作成され携帯端末ＰＴに提供される。
【００３０】
第２実施形態において、携帯端末ＰＴは、操作子３Ｍのユーザ操作により楽曲生成モードになると、記憶手段２に記憶されている映像データの中から再生したい映像データを選択するための映像選択画面及び作成しようとする音楽データの曲風を選択するための曲風選択画面が出力手段３のディスプレイ上に順次表示される。ユーザが各選択画面において所望の映像データの種別及び音楽データの曲風を選択的に入力すると、映像及び曲風指定部Ａは、対応する映像指定情報及び曲風指定情報を生成し、それぞれ、映像データ取得部ＶＤ及び端末送信部５Ｔに出力する。
【００３１】
携帯端末ＰＴの記憶手段２の所定記憶エリアには、上述のように、複数の映像データが予め記憶されており、映像データ取得部ＶＤは、映像及び曲風指定部Ａからの映像指定情報により指定される映像データを抽出し、その再生のためにＲＡＭ部の所定エリアに保持する。また、映像時間取得部Ｂは、映像データ取得部ＶＤで抽出した映像データから、当該映像データの再生に必要なトータル時間を算出して、この映像時間に対応する時間情報を端末送信部５Ｔに出力する。
【００３２】
端末送信部５Ｔは、映像及び曲風指定部Ａからの曲風指定情報及び映像時間取得部Ｂからの映像時間情報をサーバＳＶに送信し、サーバＳＶは、サーバ受信部ＳＲで曲風指定情報及び映像時間情報を受信すると、作曲用データベースＭＤＢから、受信した曲風指定情報により指定される作曲用データを抽出し、抽出された作曲用データ及び受信した映像時間情報を作曲エンジンＥＧに供給する。作曲エンジンＥＧは、この映像時間情報の受信をトリガーとして、供給される作曲用データ及び映像時間情報の内容に基づいて、当該作曲用データに従った曲風をもち当該映像時間情報が表わす時間で終了する音楽データを生成する。さらに、作曲エンジンＥＧにより生成される音楽データは、サーバ送信部ＳＴを介して携帯端末ＰＴに送信する。
【００３３】
そして、携帯端末ＰＴは、端末受信部５Ｒでの音楽データの受信に基づき映像データ取得部ＶＤにより保持されている映像データの読出しを開始させて、同映像データを再生部４Ｒの映像生成部に入力すると共に、端末受信部５Ｒで受信した音楽データを再生部４Ｒの楽音生成部に入力する。従って、所望の映像が出力手段４のディスプレイ上に表示されると共に、この映像に合う音楽が出力手段４のスピーカから出力される。
【００３４】
なお、図２に示す例では、サーバＳＶの作曲用データベースＭＤＢに、作曲エンジンＥＧの稼働に用いられる作曲用データが蓄積されているものとして説明したが、第１実施形態と同様に、複数組の作曲用データを携帯端末ＰＴの記憶手段２に記憶しておき、映像及び曲風指定部Ａからの曲風指定情報により指定された作曲用データをサーバＳＶの作曲エンジンに供給するようにしてもよい。また、音楽データの再生は、上述のように、ストリーム再生してもよいが、外部記憶部のファイルにダウンロードしてから再生してもよい。
【００３５】
〔第３実施形態〕
この発明の第３実施形態は、第１或いは第２実施形態のように作曲エンジン或いは映像データを携帯端末が持つのではなく、作曲エンジン及び映像データの何れもがサーバにある場合に適用することができる音楽データの作成方式であって、図３の機能ブロック図で表わされる。すなわち、第３実施形態では、サーバＳＶの映像データベースＶＤＢに多数の映像データが蓄積され、楽曲データ生成のための作曲エンジンＥＧもサーバＳＶに備えられている場合、携帯端末ＰＴで再生される映像データ及び作成しようとする音楽データの曲風が指定されたことに応じて、自動的に、サーバＳＶ側で、対応する映像データが選択されると共にこれに相応しい音楽データが作成され、携帯端末ＰＴに提供される。
【００３６】
第３実施形態においては、携帯端末ＰＴは、操作子３Ｍのユーザ操作で楽曲生成モードになると、サーバＳＶの映像データベースＶＤＢに蓄積されている映像データの中から再生したい映像データを選択するための映像選択画面及び作成しようとする音楽データの曲風を選択するための曲風選択画面が出力手段３のディスプレイ上に順次表示される。ユーザが各選択画面において所望の映像データの種別及び音楽データの曲風を選択的に入力すると、映像及び曲風指定部Ａは、対応する映像指定情報及び曲風指定情報を生成して端末送信部５Ｔに出力する。
【００３７】
端末送信部５Ｔは、映像及び曲風指定部Ａからの映像指定情報及び曲風指定情報をサーバＳＶに送信する。サーバＳＶは、サーバ受信部ＳＲでこれらの指定情報を受信すると、一方では、映像データベースＶＤＢから、受信した映像指定情報により指定される映像データを抽出する。そして、映像時間取得部Ｂによって、抽出された映像データから、当該映像データの再生に必要な映像時間を表わす時間情報を生成し、作曲エンジンＥＧに供給する。また、サーバＳＶは、他方では、作曲用データベースＭＤＢから、受信した曲風指定情報により指定される作曲用データを選択し、選択された作曲用データを作曲エンジンＥＧに供給する。
【００３８】
作曲エンジンＥＧは、映像時間取得部Ｂからの映像時間情報の供給をトリガーとして、供給される作曲用データ及び映像時間情報の内容に基づいて、当該作曲用データに従った曲風をもち当該映像時間情報が表わす時間で終了する音楽データを生成する。次いで、サーバＳＶは、作曲エンジンＥＧが音楽データの生成を終了したこと（作曲終了情報の発生）に基づいて、再度、映像データベースＶＤＢから当該映像データを抽出する。そして、作曲エンジンＥＧにより生成された音楽データを、映像データベースＶＤＢから再抽出された映像データと共に、サーバ送信部ＳＴを介して携帯端末ＰＴに送信する。
【００３９】
携帯端末ＰＴでは、端末受信部５Ｒで受信された音楽データ及び映像データが再生部４Ｒに渡され、再生部４Ｒは、これら音楽データ及び映像データを再生処理して、両データに基づく音楽及び映像を出力手段４のスピーカ及びディスプレイに出力する。
【００４０】
なお、図３に示す例では、サーバＳＶの作曲用データベースＭＤＢに、作曲エンジンＥＧの稼働に用いられる作曲用データが蓄積されているものとして説明したが、第１実施形態と同様に、複数組の作曲用データを携帯端末ＰＴの記憶手段２に記憶しておき、映像及び曲風指定部Ａからの曲風指定情報により指定された作曲用データをサーバＳＶの作曲エンジンに供給するようにしてもよい。また、映像データや音楽データの再生は、上述のように、ストリーム再生してもよいが、外部記憶部のファイルにダウンロードしてから再生してもよい。
【００４１】
〔第４実施形態〕
この発明の第４実施形態は、第３形態とは逆に、作曲エンジン及び映像データの何れもが携帯端末にある場合に適用することができる音楽データの作成方式であって、図４の機能ブロック図で表わされる。すなわち、第４実施形態では、携帯端末ＰＴの記憶手段２に複数の映像データが記憶され、楽曲データ生成のための作曲エンジンＥＧも携帯端末ＰＴに搭載されている場合、携帯端末ＰＴ内において、再生される映像データ及び作成しようとする音楽データの曲風が指定されたことに応じて、自動的に、対応する映像データが選択されると共にこれに相応しい音楽データが作成される。
【００４２】
第４実施形態においては、携帯端末ＰＴは、操作子３Ｍのユーザ操作により楽曲生成モードになると、記憶手段２に記憶されている映像データの中から再生したい映像データを選択するための映像選択画面及び作成しようとする音楽データの曲風を選択するための曲風選択画面が出力手段３のディスプレイ上に順次表示される。ユーザが各選択画面において所望の映像データの種別及び音楽データの曲風を選択的に入力すると、映像及び曲風指定部Ａは、対応する映像指定情報及び曲風指定情報を生成し、それぞれ、映像データ取得部ＶＤ及び作曲用データ取得部ＭＤに出力する。
【００４３】
映像データ取得部ＶＤは、映像及び曲風指定部Ａからの映像指定情報により指定される映像データを抽出して映像時間取得部Ｂに与え、映像時間取得部Ｂは、抽出された映像データから、当該映像データの再生に必要な映像時間を表わす時間情報を算出し、作曲エンジンＥＧに供給する。また、作曲用データ取得部ＭＤは、記憶手段２に予め記憶されている複数の作曲用データから、映像及び曲風指定部Ａからの曲風指定情報により指定される作曲用データを選択し、選択された作曲用データを作曲エンジンＥＧに供給する。
【００４４】
作曲エンジンＥＧは、映像時間取得部Ｂからの映像時間情報の供給をトリガーとして、供給される作曲用データ及び映像時間情報の内容に基づいて、当該作曲用データに従った曲風をもち当該映像時間情報が表わす時間で終了する音楽データを生成する。さらに、作曲エンジンＥＧは、音楽データの生成を終了すると、作曲終了情報を映像データ取得部ＶＤに出力して、映像データ取得部ＶＤにより、再度、記憶手段２から当該映像データを抽出させ、これを再生部４Ｒの映像生成部に供給させると共に、この映像データの供給に合わせて、作曲エンジンＥＧ自身により生成された音楽データを再生部４Ｒの楽音生成部に供給する。
【００４５】
そして、再生部４Ｒは、映像データ取得部ＶＤ及び作曲エンジンＥＧから供給される映像データ及び音楽データの再生処理を行い、両データに基づく映像及び音楽を出力手段４のディスプレイ及びスピーカに出力する。
【００４６】
〔第５実施形態〕
この発明の第５実施形態は、楽曲データ生成のための作曲エンジンが携帯端末にあり、再生される映像データが携帯端末自体に設けられたビデオカメラのような画像情報入力手段から入力される場合に適用することができる音楽データの作成方式であって、図５の機能ブロック図で表わされる。すなわち、第５実施形態では、携帯端末ＰＴに作曲エンジンＥＧがあり入力手段３にビデオカメラ３Ｃが設けられている場合、このビデオカメラ３Ｃで撮影した映像データに対応して作成される音楽データの曲風が指定されたことに応じて、自動的に、この映像データに相応しい音楽データが作成される。
【００４７】
第５実施形態においては、携帯端末ＰＴは、操作子３Ｍのユーザ操作により楽曲生成モードになると、音楽データの曲風を選択するための曲風選択画面が出力手段３のディスプレイ上に表示される。ユーザがこの選択画面を用いて、これからビデオカメラ３Ｃで撮影しようとする映像に対して作成しようとする音楽データにつき、所望の曲風を選択的に入力すると、曲風指定部Ａ２は、対応する曲風指定情報を生成して作曲用データ取得部ＭＤに出力する。
【００４８】
作曲用データ取得部ＭＤは、記憶手段２に予め記憶されている複数の作曲用データから、曲風指定部Ａからの曲風指定情報により指定される作曲用データを選択し、選択された作曲用データを作曲エンジンＥＧに供給すべくＲＡＭ部の所定エリアに保持する。
【００４９】
次に、ユーザ操作によりビデオカメラ３Ｃを動作状態として撮影を開始し、撮影により得られる映像データを映像メモリ２Ｖに記憶していく。ビデオカメラ３Ｃでの撮影が終了すると同時に、映像時間取得部Ｂは、撮影された映像データの再生に必要な映像時間（通常は、撮影速度＝再生速度とされるので、撮影時間に等しい）を表わす時間情報を算出し、作曲エンジンＥＧに供給する。
【００５０】
作曲エンジンＥＧは、映像時間取得部Ｂからの映像時間情報の供給をトリガーとして、作曲用データ取得部ＭＤにより保持されている作曲用データと当該映像時間情報の内容に基づいて、当該作曲用データに従った曲風をもち当該映像時間情報が表わす時間で終了する音楽データを生成すると共に、映像メモリ２Ｖに記憶されている映像データの読出しを開始させる。そして、これら音楽データ及び映像データを再生部４Ｒに供給する。
【００５１】
再生部４Ｒは、作曲エンジンＥＧにより生成される音楽データを楽音生成部で再生処理し、映像メモリ２Ｖから読み出される映像データを映像生成部で再生処理して、両データに基づく音楽及び映像を出力手段４のスピーカ及びディスプレイに出力する。
【００５２】
なお、図５に示す例では、映像時間情報について、ビデオカメラ３Ｃの映像データから直接取得するようにしたが、映像メモリ２Ｖに一旦記憶した映像データから取得するように構成してもよい。さらに、ビデオカメラ３Ｃで撮影した映像データを複数記憶し、再生時に、別途設けた映像指定部からの映像指定情報により再生すべき映像データを指定するようにしてもよい。この場合、記憶された各映像データに対応して作成された音楽データも記憶され、再生時には、映像指定情報により、再生すべき音楽データを指定するように構成すればよい。さらに、第２実施形態のように、作曲エンジンＥＧをサーバＳＶに装備し、サーバＳＶ側で作成された音楽データを携帯端末ＰＴで利用するようにしてもよい。
【００５３】
〔ナレーションの場合における実施形態〕
以上の実施形態は、作成される音楽データが合わせようとする対象が何れも映像データであるが、この対象をナレーションデータ（朗読音声を表わすデータ）としてもよい。つまり、各実施形態において映像データに係る構成をナレーションデータに係る構成に変更する（例えば、第５実施形態については、ビデオカメラに代えてマイクロフォンを用いる。）ことによって、ナレーションデータに相応しい音楽データを生成して、ナレーションデータ及び音楽データを携帯端末ＰＴの出力手段４の再生部４Ｒから同時に再生するシステムが得られる。
【００５４】
なお、このようにナレーションデータに合わせて音楽データを作成する場合の構成変更の具体例を挙げると、次のとおりである：映像及び曲風指定部Ａ→ナレーション及び曲風指定部、映像時間情報取得部Ｂ→ナレーション（朗読）時間情報取得部、映像データ取得部ＶＤ→ナレーションデータ取得部、映像メモリ２Ｖ→音声メモリ、ビデオカメラ３Ｃ→マイクロフォン、〔作成部４Ｒ内〕映像生成部→音声生成部、〔サーバＳＶ側〕映像データベースＶＤＢ→ナレーション（朗読音声）データベース、等々。
【００５５】
【発明の効果】
以上説明したように、この発明によれば、映像や音声（ナレーション）の時間取得をトリガーとして作曲を開始するようにしているので、携帯端末におけるユーザの操作を少なくし、データ及び曲風を指定するだけの簡単なユーザ操作によって、映像やナレーションに相応しい雰囲気をもち、しかも、映像やナレーションと再生時間が一致する音楽を得ることができ、携帯端末で再生する映像やナレーションにこの音楽を付加して再生することができる。
【図面の簡単な説明】
【図１】図１は、この発明の第１実施形態の概要を表わす機能ブロック図である。
【図２】図２は、この発明の第２実施形態の概要を表わす機能ブロック図である。
【図３】図３は、この発明の第３実施形態の概要を表わす機能ブロック図である。
【図４】図４は、この発明の第４実施形態の概要を表わす機能ブロック図である。
【図５】図５は、この発明の第５実施形態の概要を表わす機能ブロック図である。
【図６】図６は、この発明の一実施例による音楽データ作成システムのハードウエア構成を極く概略的に表わすブロック図である。
【符号の説明】
Ａ，Ａ２  映像及び曲風指定部並びに曲風指定部、
ＭＤ，ＶＤ  作曲用データ取得部及び映像データ取得部、
ＶＤＢ，ＭＤＢ  映像データベース及び作曲用データベース、
Ｂ  映像時間情報取得部（再生時間取得部）、
ＥＧ  作曲エンジン（音楽データ生成部）、
２Ｍ，２Ｖ  音楽メモリ及び映像メモリ（ＲＡＭ部）、
４Ｒ  映像生成部、音声生成部及び楽音生成部を備える再生部。
【図１】
2005055547.tif 000003
【図２】
2005055547.tif 000004
【図３】
2005055547.tif 000005
【図４】
2005055547.tif 000006
【図５】
2005055547.tif 000007
【図６】
2005055547.tif 000008