(57)【要約】【課題】音声を利用した、より表現力豊かな電子メールシステムを提供することを課題とする。【解決手段】マイクより入力した音声は、ノイズゲート処理により録音データ要素Ｖ１，Ｖ２，Ｖ３に分解される。ＢＧＭデータ（マーカ付き楽曲データ）には、小節ごとのタイミングマーカが設定されており、各録音要素データＶ１，Ｖ２，Ｖ３は、ＢＧＭデータの各小節の先頭位置に合成される。また、効果音データが、ユーザ指定操作に応じて任意のタイミングで合成される。このようにして生成された合成音声データは、たとえば、ＭＰ３などの圧縮形式で圧縮処理された後、音声電子メールとして送信される。【選択図】図２
2006127443.tif 000002
【特許請求の範囲】
【請求項１】
音声入力手段と、
前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、
前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、
前記合成音声データを電子メールとして送信する送信手段と、
を備えることを特徴とする電子メール送信端末。
【請求項２】
請求項１に記載の電子メール送信端末において、
前記楽曲データは、
効果音データ、
を含み、
前記合成処理手段は、
前記合成音声データの再生時間軸上の指定されたポイントに前記効果音データを合成する手段、
を含むことを特徴とする電子メール送信端末。
【請求項３】
請求項１または請求項２に記載の電子メール送信端末において、
前記楽曲データは、前記電子メール送信端末に着脱可能な記録媒体または前記電子メール送信端末が接続可能なネットワーク上のサーバの記憶装置に格納されていることを特徴とする電子メール送信端末。
【請求項４】
請求項３に記載の電子メール送信端末において、
前記記録媒体または前記記憶装置に格納されている前記楽曲データは暗号化されており、
前記合成処理手段は、
暗号化されている前記楽曲データを復号化する手段、
を含むことを特徴とする電子メール送信端末。
【請求項５】
請求項１ないし請求項４のいずれかに記載の電子メール送信端末において、
前記楽曲データは、
予め再生時間軸上に１つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、
を含み、
前記合成処理手段は、
前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、
前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、
を含むことを特徴とする電子メール送信端末。
【請求項６】
請求項５に記載の電子メール送信端末において、
前記マーカ付き楽曲データは、
各小節の先頭にタイミングマーカが設定された音楽データ、
を含むことを特徴とする電子メール送信端末。
【請求項７】
請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、
前記合成処理手段は、
ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、
を含み、
前記送信手段は、
前記映像データ付き合成音声データを電子メールとして送信する手段、
を含むことを特徴とする電子メール送信端末。
【請求項８】
請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、さらに、
前記合成音声データを音声圧縮変換する手段、
を備えることを特徴とする電子メール送信端末。
【請求項９】
請求項７に記載の電子メール送信端末において、さらに、
前記映像データ付き合成音声データを動画圧縮変換する手段、
を備えることを特徴とする電子メール送信端末。
【請求項１０】
請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、
前記電子メール送信端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されている標準音楽データ形式に変換されることを特徴とする電子メール送信端末。
【請求項１１】
請求項１ないし請求項１０のいずれかに記載の電子メール送信端末において、さらに、
合成処理のルールを記録したシナリオデータを生成する手段、
を備え、
前記送信手段は、
前記録音データと前記シナリオデータを電子メールとして送信する手段、
を含むことを特徴とする電子メール送信端末。
【請求項１２】
請求項１ないし請求項１１のいずれかに記載の電子メール送信端末において、さらに、
前記音声入力手段により入力した音声を処理する処理手段、
を備え、
前記処理手段は、
音声を変調する手段および／または音声に特殊効果を与える手段、
を含み、
前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成することを特徴とする電子メール送信端末。
【請求項１３】
請求項１２に記載の電子メール送信端末において、
前記処理手段は、
前記音声入力手段で入力された音声のテンポ変更処理および／またはピッチシフト処理を実行する手段、
を含むことを特徴とする電子メール送信端末。
【請求項１４】
請求項１２に記載の電子メール送信端末において、
前記処理手段は、
前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれか１つあるいは複数の処理を実行する手段、
を含むことを特徴とする電子メール送信端末。
【請求項１５】
請求項１２ないし請求項１４のいずれかに記載の電子メール送信端末において、
複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定されることを特徴とする電子メール送信端末。
【請求項１６】
請求項１ないし請求項１５のいずれかに記載の電子メール送信端末において、さらに、
前記楽曲データにより規定される音楽を変調する手段および／または前記楽曲データにより規定される音楽に特殊効果を与える手段、
を含むことを特徴とする電子メール送信端末。
【請求項１７】
電子メールを転送するシステムであって、
端末と、
合成サーバと、
を備え、
前記端末は、
音声入力手段と、
前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、
前記録音データを前記合成サーバに送信する手段と、
を備え、
前記合成サーバは、
受信した録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、
前記合成音声データを電子メールとして記憶装置に格納する手段と、
を備えることを特徴とする電子メールシステム。
【請求項１８】
電子メールを転送するシステムであって、
端末と、
合成サーバと、
を備え、
前記端末は、
音声入力手段と、
前記音声入力手段により入力した音声を前記合成サーバに送信する手段と、
を備え、
前記合成サーバは、
受信した音声を録音データとして録音する手段と、
前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、
前記合成音声データを電子メールとして記憶装置に格納する手段と、
を備えることを特徴とする電子メールシステム。
【請求項１９】
請求項１７または請求項１８に記載の電子メールシステムにおいて、
前記楽曲データは、
効果音データ、
を含み、
前記合成処理手段は、
前記合成音声データの再生時間軸上の指定されたポイントに効果音データを合成する手段、
を含むことを特徴とする電子メールシステム。
【請求項２０】
請求項１７ないし請求項１９のいずれかに記載の電子メールシステムにおいて、
前記楽曲データは、
予め再生時間軸上に１つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、
を含み、
前記合成処理手段は、
前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、
前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、
を含むことを特徴とする電子メールシステム。
【請求項２１】
請求項２０に記載の電子メールシステムにおいて、
前記マーカ付き楽曲データは、
各小節の先頭にタイミングマーカが設定された音楽データ、
を含むことを特徴とする電子メールシステム。
【請求項２２】
請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、さらに、
ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、
を備えることを特徴とする電子メールシステム。
【請求項２３】
請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、さらに、
前記合成音声データを音声圧縮変換する手段、
を備えることを特徴とする電子メールシステム。
【請求項２４】
請求項２２に記載の電子メールシステムにおいて、さらに、
前記映像データ付き合成音声データを動画圧縮変換する手段、
を備えることを特徴とする電子メールシステム。
【請求項２５】
請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、
前記端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されている標準音楽データ形式に変換されることを特徴とする電子メールシステム。
【請求項２６】
請求項１７ないし請求項２５のいずれかに記載の電子メールシステムにおいて、
前記合成サーバは、さらに、
前記端末から受信した音声を処理する処理手段、
を備え、
前記処理手段は、
音声を変調する手段および／または音声に特殊効果を与える手段、
を含み、
前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成することを特徴とする電子メールシステム。
【請求項２７】
請求項２６に記載の電子メールシステムにおいて、
前記処理手段は、
前記音声入力手段で入力された音声のテンポ変更処理および／またはピッチシフト処理を実行する手段、
を含むことを特徴とする電子メールシステム。
【請求項２８】
請求項２６に記載の電子メールシステムにおいて、
前記処理手段は、
前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれか１つあるいは複数の処理を実行する手段、
を含むことを特徴とする電子メールシステム。
【請求項２９】
請求項２６ないし請求項２８のいずれかに記載の電子メールシステムにおいて、
複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定されることを特徴とする電子メールシステム。
【請求項３０】
請求項１７ないし請求項２９のいずれかに記載の電子メールシステムにおいて、さらに、
前記楽曲データにより規定される音楽を変調する手段および／または前記楽曲データにより規定される音楽に特殊効果を与える手段、
を含むことを特徴とする電子メールシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子メールのコンテンツ作成および送信技術に関する。
【背景技術】
【０００２】
携帯電話端末を利用した電子メールは、時間と場所を選ぶことなく手軽にメッセージ交換を行うことができるというメリットがある。携帯電話端末を利用した電子メールでは、テキスト文字に加えて、表現力を高めることを目的とした絵文字などの利用が行われている。また昨今、携帯電話端末の高機能化に伴い、静止画像や動画像を含んだメッセージ交換を行うことも可能となっている。
【０００３】
このように、手軽なコミュニケーションの手段として日常的に利用されている携帯電話メールにおいて、ユーザは、他人とは違った表現を求め、絵文字や顔文字を駆使したオリジナリティ溢れるメールを交換し、あるいは、画像を用いたメールの交換などを行っている。しかし、音声メディアを利用したメールサービスは数少なく、多くは視覚的な効果を狙ったメールサービスが提供されているにとどまっている。
【０００４】
音声メディアを用いたメールサービスの例として、下記非特許文献１の「歌う♪メール」が挙げられる。これは、アプリケーションプログラムを利用し、入力した仮名文字等を歌声に変換するものである。そして、声質・メロディ・伴奏からなるアレンジの変更を自由に行うことを可能としている。
【０００５】
【非特許文献１】http://www.g-search.or.jp/release/2004/20040726.html
【発明の開示】
【発明が解決しようとする課題】
【０００６】
携帯電話端末を利用した電子メールでは、さらにメッセージに対する表現力の多様性が求められている。携帯電話がコミュニケーション手段の一つとして大きな役割を担う中で、電子メールの有する表現力を強化することの意義は大きい。
【０００７】
上記非特許文献１では、アプリケーションプログラムを利用し、入力した文字を人工音声に変換しているが、人工音声では人間特有のアクセントや感情を表現することが困難である。
【０００８】
そこで、この発明は、音声メディアを利用した表現豊かな電子メールシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１記載の発明は、音声入力手段と、前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして送信する送信手段と、を備えることを特徴とする。
【００１０】
請求項２記載の発明は、請求項１に記載の電子メール送信端末において、前記楽曲データは、効果音データ、を含み、前記合成処理手段は、前記合成音声データの再生時間軸上の指定されたポイントに前記効果音データを合成する手段、を含むことを特徴とする。
【００１１】
請求項３記載の発明は、請求項１または請求項２に記載の電子メール送信端末において、前記楽曲データは、前記電子メール送信端末に着脱可能な記録媒体または前記電子メール送信端末が接続可能なネットワーク上のサーバの記憶装置に格納されていることを特徴とする。
【００１２】
請求項４記載の発明は、請求項３に記載の電子メール送信端末において、前記記録媒体または前記記憶装置に格納されている前記楽曲データは暗号化されており、前記合成処理手段は、暗号化されている前記楽曲データを復号化する手段、を含むことを特徴とする。
【００１３】
請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の電子メール送信端末において、前記楽曲データは、予め再生時間軸上に１つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、を含み、前記合成処理手段は、前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、を含むことを特徴とする。
【００１４】
請求項６記載の発明は、請求項５に記載の電子メール送信端末において、前記マーカ付き楽曲データは、各小節の先頭にタイミングマーカが設定された音楽データ、を含むことを特徴とする。
【００１５】
請求項７記載の発明は、請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、前記合成処理手段は、ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を含み、前記送信手段は、前記映像データ付き合成音声データを電子メールとして送信する手段、を含むことを特徴とする。
【００１６】
請求項８記載の発明は、請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、さらに、前記合成音声データを音声圧縮変換する手段、を備えることを特徴とする。
【００１７】
請求項９記載の発明は、請求項７に記載の電子メール送信端末において、さらに、前記映像データ付き合成音声データを動画圧縮変換する手段、を備えることを特徴とする。
【００１８】
請求項１０記載の発明は、請求項１ないし請求項６のいずれかに記載の電子メール送信端末において、前記電子メール送信端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されている標準音楽データ形式に変換されることを特徴とする。
【００１９】
請求項１１記載の発明は、請求項１ないし請求項１０のいずれかに記載の電子メール送信端末において、さらに、合成処理のルールを記録したシナリオデータを生成する手段、を備え、前記送信手段は、前記録音データと前記シナリオデータを電子メールとして送信する手段、を含むことを特徴とする。
【００２０】
請求項１２記載の発明は、請求項１ないし請求項１１のいずれかに記載の電子メール送信端末において、さらに、前記音声入力手段により入力した音声を処理する処理手段、を備え、前記処理手段は、音声を変調する手段および／または音声に特殊効果を与える手段、を含み、前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成することを特徴とする。
【００２１】
請求項１３記載の発明は、請求項１２に記載の電子メール送信端末において、前記処理手段は、前記音声入力手段で入力された音声のテンポ変更処理および／またはピッチシフト処理を実行する手段、を含むことを特徴とする。
【００２２】
請求項１４記載の発明は、請求項１２に記載の電子メール送信端末において、前記処理手段は、前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれか１つあるいは複数の処理を実行する手段、を含むことを特徴とする。
【００２３】
請求項１５記載の発明は、請求項１２ないし請求項１４のいずれかに記載の電子メール送信端末において、複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定されることを特徴とする。
【００２４】
請求項１６記載の発明は、請求項１ないし請求項１５のいずれかに記載の電子メール送信端末において、さらに、前記楽曲データにより規定される音楽を変調する手段および／または前記楽曲データにより規定される音楽に特殊効果を与える手段、を含むことを特徴とする。
【００２５】
請求項１７記載の発明は、電子メールを転送するシステムであって、端末と、合成サーバと、を備え、前記端末は、音声入力手段と、前記音声入力手段により入力した音声を録音し、録音データとして記憶する手段と、前記録音データを前記合成サーバに送信する手段と、を備え、前記合成サーバは、受信した録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして記憶装置に格納する手段と、を備えることを特徴とする。
【００２６】
請求項１８記載の発明は、電子メールを転送するシステムであって、端末と、合成サーバと、を備え、前記端末は、音声入力手段と、前記音声入力手段により入力した音声を前記合成サーバに送信する手段と、を備え、前記合成サーバは、受信した音声を録音データとして録音する手段と、前記録音データと楽曲データとを合成し、合成音声データを生成する合成処理手段と、前記合成音声データを電子メールとして記憶装置に格納する手段と、を備えることを特徴とする。
【００２７】
請求項１９記載の発明は、請求項１７または請求項１８に記載の電子メールシステムにおいて、前記楽曲データは、効果音データ、を含み、前記合成処理手段は、前記合成音声データの再生時間軸上の指定されたポイントに効果音データを合成する手段、を含むことを特徴とする。
【００２８】
請求項２０記載の発明は、請求項１７ないし請求項１９のいずれかに記載の電子メールシステムにおいて、前記楽曲データは、予め再生時間軸上に１つあるいは複数のタイミングマーカが設定されたマーカ付き楽曲データ、を含み、前記合成処理手段は、前記録音データのうち所定音量以下の部分を無音部分とし、前記録音データを無音部分を区切りとした複数の録音データ要素に分解する手段と、前記複数の録音データ要素のそれぞれを前記マーカ付き楽曲データの前記タイミングマーカで設定された時間に同期させて合成させる手段と、を含むことを特徴とする。
【００２９】
請求項２１記載の発明は、請求項２０に記載の電子メールシステムにおいて、前記マーカ付き楽曲データは、各小節の先頭にタイミングマーカが設定された音楽データ、を含むことを特徴とする。
【００３０】
請求項２２記載の発明は、請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、さらに、ユーザによる指定操作に応答して前記合成音声データの時間軸上の任意のポイントに映像データを合成し、映像データ付き合成音声データを生成する手段、を備えることを特徴とする。
【００３１】
請求項２３記載の発明は、請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、さらに、前記合成音声データを音声圧縮変換する手段、を備えることを特徴とする。
【００３２】
請求項２４記載の発明は、請求項２２に記載の電子メールシステムにおいて、さらに、
前記映像データ付き合成音声データを動画圧縮変換する手段、を備えることを特徴とする。
【００３３】
請求項２５記載の発明は、請求項１７ないし請求項２１のいずれかに記載の電子メールシステムにおいて、前記端末は携帯電話端末であり、前記合成音声データは、携帯電話端末において規定されている標準音楽データ形式に変換されることを特徴とする。
【００３４】
請求項２６記載の発明は、請求項１７ないし請求項２５のいずれかに記載の電子メールシステムにおいて、前記合成サーバは、さらに、前記端末から受信した音声を処理する処理手段、を備え、前記処理手段は、音声を変調する手段および／または音声に特殊効果を与える手段、を含み、前記合成処理手段は、前記処理手段によって処理された後の録音データと楽曲データとを合成することを特徴とする。
【００３５】
請求項２７記載の発明は、請求項２６に記載の電子メールシステムにおいて、前記処理手段は、前記音声入力手段で入力された音声のテンポ変更処理および／またはピッチシフト処理を実行する手段、を含むことを特徴とする。
【００３６】
請求項２８記載の発明は、請求項２６に記載の電子メールシステムにおいて、前記処理手段は、前記音声入力手段で入力された音声に、イコライザ処理、ハーモナイズ処理およびエコー処理のうち、いずれか１つあるいは複数の処理を実行する手段、を含むことを特徴とする。
【００３７】
請求項２９記載の発明は、請求項２６ないし請求項２８のいずれかに記載の電子メールシステムにおいて、複数のテーマに対応した複数の設定情報が予め用意されており、各設定情報には、前記処理手段が実行する処理の内容が規定されており、一の設定情報が選択されることにより、前記処理手段による処理の内容が決定されることを特徴とする。
【００３８】
請求項３０記載の発明は、請求項１７ないし請求項２９のいずれかに記載の電子メールシステムにおいて、さらに、前記楽曲データにより規定される音楽を変調する手段および／または前記楽曲データにより規定される音楽に特殊効果を与える手段、を含むことを特徴とする。
【発明の効果】
【００３９】
本発明は、携帯電話などの端末において、録音音声や音楽ファイルを再生するだけでなく、音楽に自分の声を重畳させて合成する。これにより、オリジナリティあふれる合成音声メールを作成することが可能である。
【００４０】
また、記録媒体に格納されている楽曲データは暗号化されており、復号化するには所定のプログラムで読み出す必要があるため、コンテンツの無断流用を防止することが可能である。
【００４１】
また、録音データと楽曲データを合成する際、楽曲データにタイミングマーカ情報を付加することで、ＢＧＭのリズムに合わせて録音データを違和感無く合成することが可能である。また、録音中もしくは録音後にノイズゲート処理を行うことで、屋外での環境騒音が除かれ、音楽的にも聞き易いコンテンツを作成することが可能である。
【００４２】
また、合成音声データに映像データを挿入することで、よりオリジナリティあふれるマルチメディアメールの生成が可能である。
【００４３】
また、合成音声データをＡＡＣ／ＭＰ３のような音声圧縮ファイルもしくはＭＰＥＧ４のような動画圧縮ファイルに変換する事で、低容量でかつ、ハイクオリティなコンテンツを生成することが可能である。
【００４４】
また、合成音声データを携帯電話端末で標準化されている汎用音楽データ形式に変換することで、再生環境を問わず、携帯電話のキャリア間を越えた汎用性のあるメールシステムとして提供可能である。
【００４５】
また、音声データに様々な処理を施した後に、楽曲データと合成するので、より表現力豊かな音声メールを作成可能である。
【発明を実施するための最良の形態】
【００４６】
｛第１の実施の形態｝
＜携帯電話装置の構成＞
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、この発明の第１の実施の形態に係わる携帯電話端末１００の構成を示すブロック図である。携帯電話端末１００は、音声を入力するマイク装置１０１、マイクインタフェース（Ｍｉｃ  Ｉ／Ｆ）１０２、カードメディアであるＲＯＭカード１０３、カードメディアとアクセスするためのカードコントロールインタフェース（Ｃａｒｄ  Ｃｏｎｔ  Ｉ／Ｆ）１０４、各種データの一時記憶領域として、あるいは各種アプリケーションプログラムの格納領域として利用されるメモリ１０６、ＣＰＵ１１２とメモリ１０６との信号を制御するＭＭＵ（Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  Ｕｎｉｔ）１０５、携帯電話装置１００に対する各種ユーザ操作を入力する操作部１０７、音声信号のエンコードおよびデコード処理を行うオーディオ処理部１０８、映像信号のエンコードおよびデコード処理を行う映像処理部１０９、携帯電話端末１００が音声通話を行う場合および携帯電話端末１００がデータ通信を行う場合に、基地局との間でアンテナ１１１を介して通信処理を実行する通信部１１０、携帯電話端末１００の制御を行うＣＰＵ１１２を備えている。また、携帯電話端末１００は、モニタ１１３およびスピーカ１１４を備えている。
【００４７】
なお、ＲＯＭカード１０３は、たとえば、コンパクトフラッシュ（登録商標）カードやスマートメディア（登録商標）、ＳＤメモリカード（登録商標）などを利用可能である。また、メモリ１０６としては、ＳＤＲＡＭなどを利用可能である。また、オーディオ処理部１０８は、ＭＰ３やＡＡＣなどの規格に基づいて音声信号をエンコードおよびデコード処理する機能を備え、映像処理部１０９は、ＭＰＥＧ４などの規格に基づいて映像信号をエンコードおよびデコードする機能を備えている。
【００４８】
ＲＯＭカード１０３には、ＢＧＭデータＢＤおよび効果音データＥＤが格納されている。ＢＧＭデータＢＤは、本実施の形態において送信される音声電子メール（ボイスメール）あるいはマルチメディアメールにおいて、マイクから入力された音声に合成させるバックグラウンドミュージックのデータである。ＢＧＭデータＢＤとしては、音声の内容を聞き取り易くするという意味においては、ボーカル音声のないデータが好ましいが、特にそのようなデータに限定されることはなく、ボーカル付きミュージックを含めて様々な音楽データを利用可能である。効果音データＥＤは、マイクから入力された音声とＢＧＭデータＢＤとが合成された合成音声データに、さらに、比較的短い時間の効果音を付加するためのデータである。たとえば、手拍子や掛け声、シンバルなどの音データなどが含まれる。
【００４９】
ＢＧＭデータＢＤおよび効果音データＥＤは、例えばＭＰ３やＡＡＣ規格により圧縮されたファイルフォーマットでＲＯＭカード１０３に格納されている。あるいは携帯電話端末において標準となっている着信メロディフォーマットなどのファイル形式でＲＯＭカード１０３に格納されている。
【００５０】
また、ＲＯＭカード１０３に格納されているＢＧＭデータＢＤおよび効果音データＥＤは暗号化されており、メモリ１０６に格納されているオーサリングプログラムＡＰによって復号化される。オーサリングプログラムＡＰは、ＢＧＭデータＢＤおよび効果音データＥＤの復号化に必要な復号キー情報をもっており、これらデータを復号することにより、ＢＧＭや効果音を再生可能としている。
【００５１】
メモリ１０６に格納されているオーサリングプログラムＡＰは、音声合成処理を含め、本実施の形態における音声電子メールあるいはマルチメディアメールを作成するための様々な機能を実行可能としている。具体的には、オーサリングプログラムＡＰは、マイク装置１０１から入力された音声の録音機能、ＲＯＭカード１０３に格納されているＢＧＭデータＢＤおよび効果音データＥＤの読み出し処理および復号化処理機能、マイク入力音声の録音中あるいは録音後におけるノイズゲート処理機能、録音した音声データとＢＧＭデータＢＤとの合成処理機能、合成音声データと効果音データＥＤとの合成処理機能、合成音声データと映像データとの合成処理機能、合成音声データおよび映像データ付き合成音声データの保存機能、合成音声データおよび映像データ付き合成音声データの再生機能、合成音声データおよび映像データ付き合成音声データを電子メールとして他端末に送信する機能、などを実行可能としている。なお、オーサリングプログラムＡＰが実行する上記各機能は、オーサリングプログラムＡＰが、ＣＰＵ１１２、ＲＡＭ（図示省略）などのハードウェア資源を利用して実行することにより、実現される機能である。
【００５２】
＜ノイズゲート機能およびＢＧＭデータ合成機能＞
次に、ノイズゲート機能およびＢＧＭデータ合成機能について図２を参照しながら説明する。ノイズゲート機能およびＢＧＭデータ合成機能は、上述したように、オーサリングプログラムＡＰによる処理機能である。ノイズゲート機能には、音声録音中におけるノイズゲート機能と音声録音後に実行するノイズゲート機能がある。音声録音中におけるノイズゲート機能は、マイク装置１０１で入力した音声の音量が所定レベルを超えると録音を開始し、音量が所定レベルより小さくなると録音を停止することにより録音データを生成する機能である。音声録音後に実行するノイズゲート機能は、既に録音が行われ生成された録音データ中で音量が所定のレベルより小さい箇所のデータを破棄し、音量が所定のレベルを超える箇所のみ録音データとして保持する機能である。
【００５３】
たとえば、
「（無音部分）（こんにちは）（無音部分）（今日はいい天気です）（無音部分）（どこか遊びに行こうよ！）」
としゃべった場合は、
「こんにちは」、
「今日はいい天気です」、
「どこか遊びに行こうよ！」、
の３つのデータが記録されることになる。この３つのそれぞれのデータを録音データ要素と呼ぶことにする。図２の録音データとして示したＶ１，Ｖ２，Ｖ３が上記の３つの録音データ要素に該当する。
【００５４】
次に、ＢＧＭデータＢＤは、図に示すように複数の小節に区分されるが、本実施の形態におけるＢＧＭデータＢＤには、この各小節の先頭位置（これは時間軸上のポイントである。）を指定したタイミングマーカが記録されている。このように小節の先頭位置を指定したタイミングマーカが設定されたＢＧＭデータＢＤを特にマーカ付き楽曲データと呼ぶことにする。この実施の形態におけるマーカ付き楽曲データには、各小節の先頭位置にマーカが設定されているが、これは一例である。小節区切りとは異なるポイントにマーカが設定されていてもよい。
【００５５】
そして、オーサリングプログラムＡＰは、上記のように分解されたそれぞれの録音データ要素を、マーカ付き楽曲データの各タイミングマーカ位置にリンクさせる。つまり、各録音データ要素がマーカ付き楽曲データの各小節の先頭に合成されるようにするのである。このようにして録音データとＢＧＭデータＢＤとが合成されることにより合成音声データが生成される。このようにして生成された合成音声データを再生すると、ＢＧＭデータＢＤに基づいて再生されるバックグラウンドミュージックの各小節頭に、実際の録音タイミングとは関係なく、１小節目の頭から「こんにちは」と発声し、２小節目の頭から「今日はいい天気です」と発声し、３小節目の頭から「どこか遊びに行こうよ！」と発声する。このような手順でバックグラウンドミュージックと録音データとの同期が行われるのである。
【００５６】
ここで、図に示すように、録音データ要素Ｖ３のフレーズがＢＧＭデータＢＤの４小節目の領域まで掛かっている。その場合、ＢＧＭデータＢＤの３小節目をループ再生してバックグラウンドミュージックと録音データとが違和感無く合成する方法をとるようにしてもよい。
【００５７】
このように、本実施の形態においては、ノイズゲート処理とマーカ付き楽曲データを用いることで、録音データとＢＧＭデータＢＤの合成処理を自動化させることが可能である。したがって、操作ボタンの数に制限があり、また、モニタサイズが小さい携帯電話端末においても、煩雑な操作を必要とすることなく、音声合成処理を実行することが可能である。
【００５８】
ただし、ＢＧＭデータＢＤを再生しながら、そのリズムに合わせてユーザが発声し、合成録音を行う方法をとってもよい。その場合は録音しながらキー操作をすることで、任意の時間軸上で録音音声とＢＧＭとの合成を行うことが可能である。
【００５９】
＜効果音データ合成機能＞
効果音データ合成機能も、オーサリングプログラムＡＰによる処理機能である。図２に示すように、効果音データＥＤは、合成音声データの再生時間軸上の任意のポイントで合成させることが可能である。合成方法は、次の通りである。オーサリングプログラムＡＰは、ＢＧＭデータＢＤの再生を行いつつ（あるいは、合成音声データの再生を行いつつ）、ユーザによる効果音挿入指示を入力するのである。ユーザは、ＢＧＭを聞きながら、効果音を挿入したいポイントで、操作部１０７を操作して、効果音挿入指示を行うのである。このようにして、ＢＧＭデータＢＤ、録音データ、効果音データＥＤが合成された合成音声データを生成することが可能である。
【００６０】
＜映像データの合成機能＞
また、オーサリングプログラムＡＰは、生成された合成音声データに静止画像あるいは動画像などの映像データを合成し、映像データ付き合成音声データを生成することが可能である。合成方法は、次の通りである。第１の方法は、図３に示すように、各映像データをＢＧＭデータＢＤの各小節にリンクさせる方法である。図に示したように、複数の小節にわたって１つの映像データをリンクさせてもよい。また、第２の方法としては、オーサリングプログラムＡＰを実行し、合成音声データを再生しながら、映像データの切り替わりポイントをユーザに指定させる方法である。
【００６１】
以上説明した方法により、ＢＧＭデータＢＤ、録音データ、効果音データＥＤが合成された合成音声データが生成され、さらに、映像データが合成されることにより、映像データ付き合成音声データが生成される。
【００６２】
＜データ形式＞
オーサリングプログラムＡＰは、上記の処理によって生成された合成音声データを、オーディオ処理部１０８を利用してＭＰ３あるいはＡＡＣなどの規格に基づいて圧縮処理する。また、上記の処理によって生成された映像データ付き合成音声データを、オーディオ処理部１０８および映像処理部１０９を利用して、ＭＰＥＧ４などの規格に基づいて動画圧縮処理する。このようにして、本実施の形態における合成音声データは、ＭＰ３あるいはＡＡＣなどの規格に基づいて圧縮された音声電子メールとしてメモリ１０６に格納される。あるいは、映像データ付き合成音声データはＭＰＥＧ４などの規格に基づいて（音声はＭＰ３やＡＡＣなどの規格に基づいて）圧縮されたマルチメディアメールとしてメモリ１０６に格納される。
【００６３】
また、オーサリングプログラムＡＰは、合成音声データを携帯電話端末で標準的に利用されている汎用音楽データ形式（たとえばｍｍｆ）に変換することも可能である。この場合には、オーサリングプログラムＡＰは、オーディオ処理部１０８を利用せず、ＣＰＵ１１２上の処理で合成音声データを汎用音楽データ形式に変換する。このようにして生成されたデータは音声電子メールとしてメモリ１０６に格納される。
【００６４】
昨今の携帯電話端末で利用される汎用音楽データの多くは、図４に示すようにＢＧＭ音楽や効果音を再生するＦＭ音源チャンネルと、録音音声を再生するＰＣＭチャンネルとから構成される。そのためＢＧＭ音楽及び効果音についてはＦＭ音源チャンネルを利用し、録音した音声データはＰＣＭチャンネルを利用して１つの合成音声データを生成するようにすればよい。
【００６５】
以上の処理により、音声電子メールあるいはマルチメディアメールが生成されると、ＣＰＵ１１２は、電子メールの宛先アドレスなどを指定した上で、音声電子メールあるいはマルチメディアメールを宛先アドレスに向けて送信するのである。そして、音声電子メールを受信した端末では、ＢＧＭにあわせて合成された音声を視聴することが可能である。この音声は、人工音声などではなく、実際に送信者が録音したデータであるので、感情表現を正確に伝達することが可能である。また、このような録音音声がＢＧＭにあわせて再生させるので、通常の音声通話と異なり、伝達内容を様々な態様で演出することが可能である。さらには、任意のポイントで挿入された効果音により、さらに、音声メールの表現力を増強させることが可能である。また、マルチメディアメールにおいては、これら表現豊かな音声メールに加えて、映像が再生されるので、さらに表現力豊かなコミュニケーションを図ることが可能である。
【００６６】
＜シナリオデータ＞
図２および図３に示すように、合成音声データあるいは映像データ付き合成音声データは、複数のデータがレイヤ構成されたものである。つまり、合成音声データあるいは映像データ付き合成音声データは、ＢＧＭデータＢＤに合成される各データファイル名（データ識別情報）とＢＧＭデータＢＤに対する同期情報（時間情報など）で定義することが可能である。
【００６７】
そこで、本実施の形態の変形例として、これらデータ識別情報および同期情報をシナリオデータとし、録音データとシナリオデータのみを宛先アドレスに送信する。言い換えると、シナリオデータとは、ＢＧＭデータＢＤ、効果音データＥＤ、映像データを特定する情報と、これら各データと録音データとが合成されるタイミングを示す情報とを含むものである。つまり、この方法をとる場合、データ識別情報で指定された各データファイルを受信側の端末が保持しているか、あるいは、受信側の端末がネットワーク上のサーバ等からこれら各データファイルを受信する必要がある。しかし、送信端末は、各データファイルを送信する必要がなく、データ転送量を削減することが可能である。
【００６８】
受信側においてシナリオデータを利用して音声電子メールあるいはマルチメディアメールを再生する際には、所定のアプリケーションプログラムを実行して、シナリオデータに記述されているデータ識別情報に従って、ＢＧＭデータ、効果音データ、映像データなどを記録媒体から読み出し、記述された同期情報に従って再生するのである。
【００６９】
＜合成処理の流れ＞
以上説明した合成処理について図５ないし図９のフローチャートを参照しながら説明する。図５に示すように、まず、ノイズゲート処理（ステップＳ１０）が行われ、録音データが録音データ要素に分解される。
【００７０】
図６は、ノイズゲート処理（ステップＳ１０）の処理内容を示すフローチャートである。ステップＳ１１でノイズゲートの処理タイミングが選択される。録音後ノイズゲート処理を行う設定となっている場合には、マイク録音処理（ステップＳ１２）が実行され、次に、録音データに対してノイズゲート処理（ステップＳ１３）が実行される。録音中ノイズゲート処理を行う設定となっている場合には、ノイズゲート録音処理（ステップＳ１４）が実行される。以上の処理により、録音データ要素が生成される。なお、録音後ノイズゲート処理を行うか、録音中ゲート処理を行うかの設定は、ユーザが自由に変更できるようにすればよい。
【００７１】
図５に戻り、次に、ＢＧＭ処理（ステップＳ２０）が行われる。図７は、ＢＧＭ処理（ステップＳ２０）の処理内容を示すフローチャートである。まず、ステップＳ２１においてＢＧＭデータＢＤの読み込み先が選択される。ＢＧＭデータＢＤの読み込み先がカードメディアである場合には、カードメディア（ＲＯＭカード１０３）の読み込み処理が行われる（ステップＳ２２）。一方、ＢＧＭデータＢＤの読み込み先が公開サーバである場合には、公開サーバへの接続処理が行われる（ステップＳ２５）。次に、複数存在するＢＧＭデータＢＤの中から合成処理の対象となるＢＧＭデータＢＤの選択が行われる（ステップＳ２３，Ｓ２６）。そして、取得されたＢＧＭデータＢＤの復号化処理が行われる（ステップＳ２４，２７）。
【００７２】
図５に戻り、次に、合成処理が行われる（ステップＳ３０）。合成処理の内容は、上述した通りであり、マーカ付き楽曲データのタイミングマーカに同期するように、録音データ要素が合成される。なお、上述したように、この合成処理後のデータは、図２で示したようにレイヤ構成をとっており、ＢＧＭデータＢＤと録音データとが分離可能な状態で合成されている。たとえば、ＢＧＭデータＢＤと録音データとのリンク情報が生成される。あるいは、複数のトラック（チャンネル）を含む合成音声データが生成され、各トラックに各データが格納される。
【００７３】
なお、ＢＧＭデータＢＤの各タイミングマーカ位置において録音データ要素を合成するが、このとき、特定の録音データ要素については、複数のタイミングマーカ位置に合成させるようにしてもよい。たとえば、特定の録音データ要素を、連続する複数のタイミングマーカ位置に合成させることにより、特定のメッセージをリピート再生させることが可能であり、録音メッセージの中で特に重要なフレーズを強調させることが可能である。
【００７４】
次に、効果音挿入処理（ステップＳ４０）が行われる。効果音挿入方法は上述した通りであり、ユーザの指定操作に応答して、合成音声データの再生時間軸上の任意のポイントに効果音が合成される。なお、効果音挿入後の合成音声データも、図２で示したようにレイヤ構成をとっており、各データが分離可能な状態で合成されている。効果音データＥＤの取得方法については、図７で示したＢＧＭデータＢＤの取得方法と同様である。
【００７５】
次に、ステップＳ５０において、映像を付加するか否かの選択が行われる。映像を付加する場合には、マルチメディアメール作成処理（ステップＳ６０）が行われ、映像を付加しない場合には、音声電子メール（ボイルメール）の作成処理（ステップＳ７０）が行われる。映像を付加するか否かの選択は、ユーザにより指定される。
【００７６】
図８は、マルチメディアメールの作成処理の内容を示すフローチャートである。まず、ファイル形式の選択が行われる（ステップＳ６１）。ファイル形式としてＭＰＥＧ等による動画圧縮形式が設定されている場合には、指定された映像データを付加した上で、設定されたファイル形式に従って圧縮処理が実行される（ステップＳ６２）。ファイル形式としてシナリオデータが設定されている場合には、映像データ付き合成音声データを定義するシナリオデータを生成する（ステップＳ６３）。このシナリオデータには、映像データを指定する情報も含められる。
【００７７】
このようにして生成されたマルチメディアメールは、メモリ１０６に格納される（ステップＳ６４）。ここで、メモリ１０６に格納されるマルチメディアメールは、ステップＳ６２処理後のデータは圧縮された映像データ付き合成音声データであり、ステップＳ６３処理後のデータは、シナリオデータと録音データである。そして、メモリ１０６に格納されたマルチメディアメールは、宛先アドレスが指定され、他の端末に送信される（ステップＳ６５）。
【００７８】
図９は、音声電子メール（ボイスメール）の作成処理の内容を示すフローチャートである。まず、ファイル形式の選択が行われる（ステップＳ７１）。ファイル形式としてＭＰ３やＡＡＣ等による音声圧縮形式が設定されている場合には、設定されたファイル形式に従って圧縮処理が実行される（ステップＳ７２）。ファイル形式として携帯電話端末で標準化されている汎用音楽ファイル形式が設定されている場合には、設定されたファイル形式への変換処理が行われる（ステップＳ７３）。ファイル形式としてシナリオデータが設定されている場合には、合成音声データを定義するシナリオデータを生成する（ステップＳ７４）。
【００７９】
このようにして生成された音声電子メールは、メモリ１０６に格納される（ステップＳ７５）。ここで、メモリ１０６に格納される音声電子メールは、ステップＳ７２，Ｓ７３処理後のデータは圧縮あるいは変換された合成音声データであり、ステップＳ７４処理後のデータは、シナリオデータと録音データである。そして、メモリ１０６に格納された音声電子メールは、宛先アドレスが指定され、他の端末に送信される（ステップＳ７６）。
【００８０】
｛第２の実施の形態｝
次に、第２の実施の形態について説明する。上述した第１の実施の形態においては、音声電子メールあるいはマルチメディアメールを生成するための合成処理を携帯電話端末１００内で実行することとした。つまり、図１０に示すように、携帯電話端末１００において、音声入力、音声録音、合成、メール送信の全ての処理を実行し、合成処理後の電子メールを受信端末２００に送信することとした。
【００８１】
第２の実施の形態においては、合成処理をネットワークで接続された合成サーバ３００において実行する。具体的には、図１１に示すように、携帯電話端末１００においては、音声入力処理および音声録音処理のみを実行する。そして、携帯電話端末１００から合成サーバ３００に録音データを送信し、合成サーバ３００において合成処理を実行するのである。ここで、合成処理の条件を示した情報を、携帯電話端末１００から合成サーバ３００に送信するようにすればよい。合成処理の条件を示した情報とは、第１の実施の形態で説明したシナリオデータと同種の情報であればよい。合成サーバ３００は、第１の実施の形態と同様の合成処理を実行することにより、音声電子メールあるいはマルチメディアメールを生成すると、この電子メールを記憶装置に格納する。そして、この記憶装置に格納された電子メールへのアクセスパス情報としてＵＲＬを指定した情報をメール受信端末２００に送信するのである。メール受信端末２００は、このＵＲＬを指定することにより、音声電子メールあるいはマルチメディアメールを受信することが可能である。
【００８２】
なお、図１１で示した例では、アクセスパス情報（ＵＲＬ情報）を、合成サーバ３００からメール受信端末２００に送信するようにしたが、合成サーバ３００が、一旦、アクセスパス情報をメール送信端末である携帯電話端末１００に送信し、携帯電話端末１００からメール受信端末２００にアクセスパス情報を送信するようにしてもよい。
【００８３】
このように、第２の実施の形態によれば、メール送信端末である携帯電話端末１００においては、合成処理が実行されないので、端末への処理負荷を小さくすることが可能である。
【００８４】
｛第３の実施の形態｝
次に、第３の実施の形態について説明する。第３の実施の形態が第２の実施の形態と異なる点は、音声の録音も合成サーバ３００で実行する点である。この他の点は、第２の実施の形態と同様である。具体的には、まず、メール送信端末である携帯電話端末１００は、合成サーバ３００との間で電話回線を接続する。そして、ユーザは、マイク装置１０１に向かってメッセージを発声するのである。このメッセージが電話回線を通じて合成サーバ３００に転送され、合成サーバ３００において録音処理が行われるのである。その後の処理は、第２の実施の形態と同様である。
【００８５】
第３の実施の形態においても、メール送信端末である携帯電話端末１００においては、合成処理が実行されないので、端末への処理負荷を小さくすることが可能である。
【００８６】
｛第４の実施の形態｝
次に、本発明の第４の実施の形態について説明する。第４の実施の形態が第１の実施の形態と異なる点は、マイク装置１０１から入力した音声に様々な音声処理を加え、その音声処理後の音声とＢＧＭデータＢＤとを合成する点である。
【００８７】
処理の流れは、図５〜図９のフローチャートを用いて説明したものと略同様である。ただし、ステップＳ３０の合成処理が異なる。つまり、第１の実施の形態におけるステップ３０の合成処理は、録音した音声をそのままＢＧＭデータＢＤに合成させていたが、この実施の形態においては、録音した音声を加工したのち、ＢＧＭデータＢＤと合成する。図１３は、この実施の形態における合成処理(ステップＳ３０)のフローチャートである。この合成処理も、オーサリングプログラムＡＰによって実行される処理である。合成処理フローにおいて、まず、音声処理（ステップＳ３１）が実行される。音声処理は、録音された音声を変調する処理や、録音した音声に特殊効果を与える処理である。
【００８８】
音声を変調する処理としては、音声のテンポ（速度）を変更する処理、音声のピッチ（音程）をシフトする処理などが含まれる。たとえば、マイク装置１０１に対しては、ゆっくりとしたテンポで発声し録音するが、変調処理により音声をアップテンポに変更することにより、軽やかな調子の音声メッセージに変調することが可能である。また、録音音声のピッチをシフトし、全体的にメッセージの音程を低音側にシフトさせることで、重苦しい雰囲気や、機嫌の悪い様子を演出することが可能である。
【００８９】
また、音声に特殊効果を与える処理としては、イコライザ処理、ハーモナイズ処理、エコー処理などが含まれる。イコライザ処理は、高音域を強調させたり、低音域を強調させたり、あるいは特定の音域をカットしたりすることにより、音声メッセージの周波数特性を変化させる処理である。ハーモナイズ処理は、録音音声のピッチに対して和音となる他の音を付加し、音声メッセージを和音にする処理である。エコー処理は、録音音声を時間差で再生し、音を響かせる処理である。たとえば、ハーモナイズ処理により、壮大な雰囲気のメッセージを生成することが可能である。また、エコー処理により、幻想的な雰囲気を演出することが可能である。
【００９０】
図１４を参照しながら、音声処理（ステップＳ３１）の処理の流れを説明する。まず、録音音声のテンポの変更を行うか否かの判定を行う（ステップＳ３０１）。テンポの変更を行わない場合、ステップＳ３０５に移行する。
【００９１】
テンポの変更を行う場合（ステップＳ３０１でＹｅｓ）、シンクロ処理を行うか否かの判定を行う（ステップＳ３０２）。テンポの変更処理としては、２つの処理方法が用意されている。１つは、マニュアルによるテンポ変更処理であり、もう１つは、自動テンポ変更処理（シンクロ処理）である。マニュアルによるテンポ変更処理は、ユーザによって指定されたテンポ設定に従い、録音音声のテンポを変更する処理である。自動テンポ変更処理は、録音音声のテンポがＢＧＭデータＢＤにシンクロするように変更される処理である。
【００９２】
このテンポ変更処理を説明する前に、まず、録音音声の録音時（テンポ変更前）におけるテンポの取得方法について説明する。録音時のテンポの取得方法には、２つの方法がある。１つは、ガイド音声により決定される方法である。ユーザにより音声が入力される際、メトロノームのように一定のリズムを刻むガイド音声が再生される。ユーザは、このガイド音声を聞きながら音声を録音するのである。録音音声には、このガイド音声の情報も含まれており、ガイド音声によって録音音声のテンポが決定される。もう１つの方法は、録音音声のリズムを自動で取得する方法である。録音音声に対して音声解析処理が行われ、音声が音節単位に分割される。そして、この各音節の発声タイミングから録音音声のテンポを自動的に取得するのである。以上の２つの方法により、録音音声の録音時におけるテンポが決定される。
【００９３】
次に、テンポの変更処理について説明する。マニュアルによるテンポ変更処理方法は、ユーザにより指定されたテンポ設定に従い、録音時のテンポを修正する方法である。たとえば、録音時のテンポがガイド音声により決定されていれば、このガイド音声のテンポを設定されたテンポに修正するのである。これに従い、録音音声のテンポも変更される。あるいは、録音時のテンポが自動取得されている場合には、この自動取得されたテンポが、設定されたテンポ設定に従い変更されるのである。
【００９４】
自動テンポ変更処理方法は、録音音声の録音時のテンポがＢＧＭデータＢＤにシンクロするように自動的に変更される方法である。ＢＧＭデータＢＤのテンポは、あらかじめＢＧＭデータＢＤに記録されている場合には、それを利用することが可能である。あるいはＢＧＭデータＢＤを音声解析することによって取得することも可能である。たとえば、ドラムなどのリズムを刻む音声に基づいてテンポを解析することが可能である。そして、録音時のテンポがガイド音声により決定されていれば、このガイド音声のテンポをＢＧＭデータのテンポに合わせるように変更するのである。これに従い、録音音声のテンポもＢＧＭにシンクロするように変更される。あるいは、録音時のテンポが自動取得されている場合には、この自動取得されたテンポがＢＧＭデータＢＤのテンポにシンクロするように自動的に変更されるのである。
【００９５】
図１４のフローチャートに戻る。シンクロ処理を行う場合（ステップＳ３０２でＹｅｓ）、録音音声のテンポが、ＢＧＭデータＢＤにシンクロするように自動変更される（ステップＳ３０３）。シンクロ処理を行わない場合（ステップＳ３０２でＮｏ）、録音音声のテンポが設定値に従って変更される（ステップＳ３０４）。
【００９６】
次に、ピッチシフト処理を行うか否かの判定を行う（ステップＳ３０５）。ピッチシフト処理を行う設定とされている場合（ステップＳ３０５でＹｅｓ）、設定値に従ってピッチシフト処理が実行される（ステップＳ３０６）。ピッチシフト処理の設定値とは、音程のシフト量である。録音音声のシフト量は、ユーザにより設定可能である。
【００９７】
次に、イコライザ処理を行うか否かの判定を行う（ステップＳ３０７）。イコライザ処理を行う設定とされている場合（ステップＳ３０７でＹｅｓ）、設定値に従ってイコライザ処理が実行される（ステップＳ３０８）。イコライザ処理の設定値とは、強調する音域の情報、あるいは、カットする音域の情報などであり、ユーザにより設定可能である。
【００９８】
次に、ハーモナイズ処理を行うか否かの判定を行う（ステップＳ３０９）。ハーモナイズ処理を行う設定とされている場合（ステップＳ３０９でＹｅｓ）、設定値に従ってハーモナイズ処理が実行される（ステップＳ３１０）。ハーモナイズ処理の設定値は、ユーザにより設定可能とする。たとえば、ベース音に対して３度の音を付加する。あるいは、ベース音に対して３度と５度の音を付加するなどの設定を可能とすればよい。
【００９９】
次に、エコー処理を行うか否かの判定を行う（ステップＳ３１１）。エコー処理を行う設定とされている場合（ステップＳ３１１でＹｅｓ）、設定値に従ってエコー処理が実行される（ステップＳ３１２）。エコー処理の設定値とは、エコー音声の時間差、エコー音声の継続時間などを指定する情報であり、ユーザにより設定可能である。
【０１００】
このように、音声処理（ステップＳ３１）においては、様々な処理が実行されるが、どの音声処理を実行させるかは、ユーザにより設定可能とすればよい。たとえば、ユーザは、テンポ自動変更とハーモナイズ処理を実行するように設定したり、テンポのマニュアル変更処理とピッチシフト処理とエコー処理を実行するように設定したり、自由に音声処理の組み合わせを選択することが可能である。また、音声処理を与える音声の時間軸上のポイントをユーザにより指定できるようにすればよい。これにより、たとえば、音声の前半部分は、エコー処理により幻想的な雰囲気を演出し、後半部分は、アップテンポにしてスピード間溢れるメッセージとすることなどが可能である。
【０１０１】
このように、どのような音声処理を実行するかは、ユーザにより自由に設定可能としているが、このような細かな設定を行う負担からユーザを開放するために、複数のテーマに対応した複数種類の設定セットを用意しておくことが望ましい。この設定セットには、実行する音声処理の組み合わせや、実行される各音声処理の設定値などが規定されている。たとえば、ロック調、バラード調、ラップ調など曲調に合わせた設定セットを用意しておけば便利である。あるいは、悲しみ編、怒り編、喜び編などの感情にマッチした設定セットを用意しておけば便利である。ユーザは、ＢＧＭデータＢＤとしてロック調の音楽を選択し、設定セットとしてロック調を選択しておけば、簡単にロック調の音声メッセージを作成可能である。
【０１０２】
図１３に戻り、ステップＳ３１において音声処理が終了すると、音声処理が行われた音声とＢＧＭデータＢＤとの合成処理が行われる（ステップＳ３２）。合成処理が終了すると、図５で示したステップＳ４０,Ｓ５０,Ｓ６０（またはＳ７０）が実行され、マルチメディアメールあるいはボイスメールが送信されるのである。
【０１０３】
以上、説明したように、本実施の形態によれば、録音した音声を変調し、あるいは様々な特殊効果を与えた上でＢＧＭデータＢＤと合成する。これにより、音声メールや映像付き音声メールの表現力をさらに増強させることが可能である。特に、音声処理の設定とＢＧＭデータＢＤの組み合わせを工夫することで、ＢＧＭデータＢＤの雰囲気や曲調に合わせたメッセージを再生することが可能である。
【０１０４】
本発明によれば、ノイズゲート処理とテンポ変更処理によって、ＢＧＭは、録音音声と無関係に流れるサウンドではなく、録音音声と融合して、１つのサウンドを構成する。つまり、ノイズゲート処理によって、録音音声の文節あるいは文章が、ＢＧＭの小節にリンクされ、融合する。さらには、テンポ変更処理によって、ＢＧＭの各小節内において録音音声の音節がＢＧＭのリズムに融合し、統一感のあるサウンドを構成するのである。
【０１０５】
なお、上記の実施の形態では、音声を録音した後、ＢＧＭデータＢＤを取得し、その次に、録音音声の音声処理および合成処理を実行する処理の流れとしたが、音声の録音中に音声処理を実行するようにしてもよい。この場合、音声の録音と音声処理が並行して行われ、その次に、ＢＧＭデータＢＤが取得され、音声処理後の音声とＢＧＭデータＢＤが合成されるという処理フローである。ただし、シンクロ処理によるテンポ自動変更処理を行うためには、ＢＧＭデータＢＤの情報が必要であるため、自動変更処理については、ＢＧＭデータＢＤの取得後に実行するようにすればよい。
【０１０６】
また、上記の実施の形態においては、録音音声を変調あるいは録音音声に特殊効果を与える音声処理が実行される場合を説明したが、ＢＧＭ音楽を変調あるいはＢＧＭ音楽に特殊効果を与えるような音声処理が実行されるようにしてもよい。音声処理の方法としては、録音音声で設定されている処理と同じ処理を施すようにしてもよいし、ＢＧＭ音楽については、別に音声処理の内容が設定されてもよい。
【図面の簡単な説明】
【０１０７】
【図１】実施の形態にかかる携帯電話端末のブロック図である。
【図２】音声電子メールのレイヤ構造を示す図である。
【図３】マルチメディアメールのレイヤ構造を示す図である。
【図４】汎用音楽ファイル形式を示す図である。
【図５】合成処理のメイン処理を示すフローチャートである。
【図６】ノイズゲート処理のフローチャートである。
【図７】ＢＧＭデータ取得処理のフローチャートである。
【図８】マルチメディアメールの作成処理を示すフローチャートである。
【図９】ボイスメールの作成処理を示すフローチャートである。
【図１０】第１の実施の形態における処理の流れを示す図である。
【図１１】第２の実施の形態における処理の流れを示す図である。
【図１２】第３の実施の形態における処理の流れを示す図である。
【図１３】第４の実施の形態における合成処理のフローチャートである。
【図１４】音声処理のフローチャートである。
【符号の説明】
【０１０８】
１００    携帯電話端末
１０１    マイク装置
１０３    ＲＯＭカード
１０６    メモリ（ＳＤＲＡＭ）
ＡＰ      オーサリングプログラム
ＢＤ      ＢＧＭデータ
ＥＤ      効果音データ
【図１】
2006127443.tif 000003
【図２】
2006127443.tif 000004
【図３】
2006127443.tif 000005
【図４】
2006127443.tif 000006
【図５】
2006127443.tif 000007
【図６】
2006127443.tif 000008
【図７】
2006127443.tif 000009
【図８】
2006127443.tif 000010
【図９】
2006127443.tif 000011
【図１０】
2006127443.tif 000012
【図１１】
2006127443.tif 000013
【図１２】
2006127443.tif 000014
【図１３】
2006127443.tif 000015
【図１４】
2006127443.tif 000016