(57)【要約】  移動通信装置は通信を容易にするワイヤレストランシーバ、メモリ、およびプロセッサを有する。プロセッサはメモリ内に保存されたオーディオファイルを解析し、オーディオファイルから同期化情報を抽出または発生するように構成される。プロセッサはライト、カメラ、または触覚帰還発生器等の１つ以上の補足マルチメディア効果を同期化情報に基づいてオーディオファイルと同期化させる。あるいは、ユーザが通信装置上でオーディオファイルに関する同期化情報をインターフェイスを介して入力することができる。次に、プロセッサは入力同期化情報と同期して補足マルチメディア効果を制御することができる。
2007507953.tif 000002
【特許請求の範囲】
【請求項１】
ワイヤレストランシーバと、
オーディオファイルを保存するメモリと、
オーディオファイルを解析して同期化情報を抽出または発生し、かつ同期化情報に基づいて補足マルチメディア効果をオーディオファイルと同期化させるプロセッサと、
を含む移動通信装置。
【請求項２】
請求項１に記載の移動通信装置であって、前記情報はタイミング情報である移動通信装置。
【請求項３】
請求項１に記載の移動通信装置であって、前記情報は楽器タイプ情報である移動通信装置。
【請求項４】
請求項１に記載の移動通信装置であって、前記プロセッサは前記メモリ内に同期化情報を保存する移動通信装置。
【請求項５】
請求項１に記載の移動通信装置であって、前記プロセッサはオーディオファイルの再生中に制御信号を発生し、同期化信号に従って補足マルチメディア効果を制御する移動通信装置。
【請求項６】
請求項５に記載の移動通信装置であって、補足マルチメディア効果は触覚帰還を含み、前記制御信号は同期化情報と同期して触覚帰還発生器を制御する移動通信装置。
【請求項７】
請求項５に記載の移動通信装置であって、補足マルチメディア効果は１つ以上のライトを含み、前記制御信号は同期化情報と同期して１つ以上のライトを制御する移動通信装置。
【請求項８】
請求項５に記載の移動通信装置であって、補足マルチメディア効果はカメラを含み、前記制御信号は同期化情報と同期して撮影を行うようにカメラを活性化させる移動通信装置。
【請求項９】
請求項５に記載の移動通信装置であって、補足マルチメディア効果はビデオシーケンスを含み、前記制御信号は同期化情報と同期して前記ビデオシーケンスを再生するようにディスプレイを制御する移動通信装置。
【請求項１０】
請求項１に記載の移動通信装置であって、さらに、システムインターフェイスを含み、前記プロセッサはオーディオファイルの再生中に制御信号を発生して、システムインターフェイスを介して接続された外部装置を同期化情報に従って制御する移動通信装置。
【請求項１１】
オーディオファイルを保存するメモリと、
移動通信装置のユーザによりオーディオファイルに関する同期化情報を入力するインターフェイスと、
同期化情報に基づいて補足マルチメディア効果をオーディオファイルと同期化させるプロセッサと、
を含む移動通信装置。
【請求項１２】
請求項１１に記載の移動通信装置であって、前記インターフェイスは同期化情報をディスプレイするメニューを含む移動通信装置。
【請求項１３】
請求項１１に記載の移動通信装置であって、同期化情報は拍子記号である移動通信装置。
【請求項１４】
請求項１１に記載の移動通信装置であって、同期化情報は楽器タイプである移動通信装置。
【請求項１５】
請求項１１に記載の移動通信装置であって、前記プロセッサはユーザ選択同期化情報をオーディオファイルと関連付けて前記メモリ内に保存する移動通信装置。
【請求項１６】
請求項１１に記載の移動通信装置であって、前記プロセッサはオーディオファイルの再生中に制御信号を発生し、ユーザ選択同期化情報に従って補足マルチメディア効果を制御する移動通信装置。
【請求項１７】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果は触覚帰還を含み、前記制御信号はユーザ選択同期化情報と同期して触覚帰還発生器を制御する移動通信装置。
【請求項１８】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果は１つ以上のライトを含み、前記制御信号はユーザ選択同期化情報と同期して１つ以上のライトを制御する移動通信装置。
【請求項１９】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果はカメラを含み、前記制御信号はユーザ選択同期化情報と同期して撮影を行うようにカメラを制御する移動通信装置。
【請求項２０】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果はビデオシーケンスを含み、前記制御信号はユーザ選択同期化情報と同期して前記ビデオシーケンスを再生するようにディスプレイを制御する移動通信装置。
【請求項２１】
請求項１１に記載の移動通信装置であって、さらに、システムインターフェイスを含み、前記プロセッサはオーディオファイルの再生中に制御信号を発生して、システムインターフェイスを介して接続された外部装置を同期化情報に従って制御する移動通信装置。
【請求項２２】
マルチメディア効果を移動通信装置内のオーディオファイルと同期化させる方法であって、
移動通信装置のメモリ内に保存されたオーディオファイルを解析して同期化情報を抽出または発生するステップと、
同期化情報に基づいて移動通信装置内の補足マルチメディア効果をオーディオファイルと同期化させるステップと、
を含む方法。
【請求項２３】
請求項２２に記載の方法であって、同期化情報はタイミング情報を含む方法。
【請求項２４】
請求項２２に記載の方法であって、同期化情報は楽器タイプ情報を含む方法。
【請求項２５】
請求項２２に記載の方法であって、さらに、同期化情報をメモリ内に保存するステップを含む方法。
【請求項２６】
請求項２２に記載の方法であって、補足マルチメディア効果を同期化させるステップはオーディオファイルの再生中に制御信号を発生し、同期化情報に従って補足マルチメディア効果を制御するステップを含む方法。
【請求項２７】
請求項２６に記載の方法であって、さらに、同期化情報に同期して触覚帰還発生器を制御するステップを含む方法。
【請求項２８】
請求項２６に記載の方法であって、さらに、同期化情報に同期して１つ以上のライトを制御するステップを含む方法。
【請求項２９】
請求項２６に記載の方法であって、さらに、同期化情報に同期して１枚以上の写真を撮るようカメラを制御するステップを含む方法。
【請求項３０】
請求項２６に記載の方法であって、さらに、同期化情報に同期して一連の１つ以上のビデオフレームをディスプレイするステップを含む方法。
【請求項３１】
１つ以上のマルチメディア効果を移動通信装置内のオーディオファイルと同期化させる方法であって、
移動通信装置のメモリ内に保存されたオーディオファイルに関する同期化情報を選択するステップと、
同期化情報に基づいて移動通信装置内の補足マルチメディア効果をオーディオファイルと同期化させるステップと、
を含む方法。
【請求項３２】
請求項３１に記載の方法であって、オーディオファイルに関する情報を選択するステップは移動通信装置のユーザにメニューオプションをディスプレイするステップを含み、前記メニューオプションはオーディオファイルと関連付けられる同期化情報を含む方法。
【請求項３３】
請求項３２に記載の方法であって、前記メニューオプションは拍子記号のリストを含む方法。
【請求項３４】
請求項３２に記載の方法であって、前記メニューオプションは楽器タイプのリストを含む方法。
【請求項３５】
請求項３１に記載の方法であって、さらに、メモリ内に同期化情報を保存するステップを含む方法。
【請求項３６】
請求項３１に記載の方法であって、補足マルチメディア効果を同期化させるステップはオーディオファイルの再生中に制御信号を発生し、選択された同期化情報に従って補足マルチメディア効果を制御するステップを含む方法。
【請求項３７】
請求項３６に記載の方法であって、さらに、選択された同期化情報に同期して触覚帰還発生器を制御するステップを含む方法。
【請求項３８】
請求項３６に記載の方法であって、さらに、選択された同期化情報に同期して１つ以上のライトを制御するステップを含む方法。
【請求項３９】
請求項３６に記載の方法であって、さらに、選択された同期化情報に同期して１枚以上の写真を撮るようカメラを制御するステップを含む方法。
【請求項４０】
請求項３６に記載の方法であって、さらに、同期化情報に同期して一連の１つ以上のビデオフレームをディスプレイするステップを含む方法。
【請求項４１】
１つ以上の補足マルチメディア効果を移動通信装置内のオーディオファイルと同期化させる方法であって、
移動通信装置内のメモリ内に保存されたオーディオファイルからサンプルを選択するステップと、
前記サンプルを解析して同期化情報を決定するステップと、
同期化情報に基づいて移動通信装置内の１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップと、
を含む方法。
【請求項４２】
請求項４１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは前記サンプルを複数の小節に区分するステップを含み、前記各小節は同数の音符を含む方法。
【請求項４３】
請求項４２に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記各小節内の所望の拍内で生じる音符を決定するステップを含む方法。
【請求項４４】
請求項４３に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記各小節内の前記所望の拍内で生じる前記各音符に対して対応するノート-オン・イベントのベロシティ・パラメータを合計することにより重み値を計算するステップを含む方法。
【請求項４５】
請求項４１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、それぞれ第１の候補拍子記号および第２の候補拍子記号に基づいて第１の値および第２の値を計算するステップを含む方法。
【請求項４６】
請求項４５に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記第１および第２の値から最高値を選択して拍子記号を選択するステップを含む方法。
【請求項４７】
請求項４６に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記選択された拍子記号をオーディオファイルと関連付けるステップを含む方法。
【請求項４８】
請求項４１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、移動通信装置内のＭＩＤＩシンセサイザの出力をサンプリングするステップを含む方法。
【請求項４９】
請求項４８に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記サンプル内のピーク振幅を検出するステップを含む方法。
【請求項５０】
請求項４９に記載の方法であって、さらに、前記検出されたピーク振幅を閾値と比較するステップを含む方法。
【請求項５１】
請求項５０に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて制御信号を発生するステップを含む方法。
【請求項５２】
請求項５０に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて１つ以上の補足マルチメディア効果の度合いを変えるステップを含む方法。
【請求項５３】
請求項５０に記載の方法であって、１つ以上の補足マルチメディア効果を同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて１つ以上の補足マルチメディア効果の活性化持続時間を変えるステップを含む方法。
【請求項５４】
請求項４１に記載の方法であって、さらに、オーディオファイル内の選択された情報を同期化情報で上書きするステップを含む方法。
【請求項５５】
請求項４１に記載の方法であって、さらに、移動通信装置のメモリ内に同期化情報を保存するステップを含む方法。
【請求項５６】
請求項４１に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、オーディオファイルの再生中に同期化情報に基づいて１つ以上の補足マルチメディア効果への制御信号を発生するステップを含む方法。
【請求項５７】
オーディオストリームから同期化情報を抽出または発生し、オーディオストリームの再生中に１つ以上の補足マルチメディア効果をオーディオストリームと同期化させるようにプログラムされたマイクロプロセッサを含む回路。
【発明の詳細な説明】
【技術分野】
【０００１】
（背景）
本発明は一般的にワイヤレス通信装置に関し、特に、ワイヤレス通信装置に関連付けられた補足マルチメディア効果の制御に関する。
【背景技術】
【０００２】
ワイヤレス通信装置は、典型的に、着呼等のイベントを告げる呼出信号を発生する。最新のワイヤレス通信装置は複数の呼出信号を保存することができ、ユーザは自分の好みに応じて呼出信号を選択する。これらの呼出信号は単純な楽音を含むことができが、メロディーを形成する一連の楽音を含む場合が多い。典型的には、いくつかのメロディー呼出信号がメーカによりオーディオファイル等の装置メモリ内にプリロードされる。いくつかの通信装置ではユーザが呼出信号をウェブサイトからダウンロードすることもできる。ユーザがオリジナル呼出信号を作り出せるようにするソフトウェアパッケージも利用できる。ある移動通信装置はユーザが自分自身の呼出信号をそれ自体の移動通信装置により作り出せるようにする作曲機能および入力インターフェイスを含んでいる。カスタム呼出信号を変更または生成する能力は大概の消費者が望んでいる共通の機能である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
呼出信号の再生中に振動やフラッシュライト等のマルチメディア効果を同期化させることが知られている。しかしながら、現在までのところ同期化されたマルチメディア効果はメーカがインストールした呼出信号に対してメーカによりプログラムされてきている。現在、ユーザがこのようなマルチメディア効果をウェブサイトからダウンロードされたりユーザにより作り出される呼出信号に関連付けたり同期化させる方法はない。本発明はこれらの欠点に取り組むものである。
【課題を解決するための手段】
【０００４】
（概要）
本発明の一実施例において、たとえば、セルラー電話機やPersonal Digital Assistant(PDA)等のワイヤレス通信装置は通信網内の他のユーザと通信するワイヤレストランシーバ、メモリ、ユーザインターフェイス、およびプロセッサを含んでいる。プロセッサはメモリ内に保存されたオーディオファイル(audio file)を解析し、オーディオファイルから同期化情報を抽出または発生し、１つ以上の補足マルチメディア効果を同期化情報に基づいてオーディオファイルと関連付ける。あるいは、装置のユーザはオーディオファイルに関する情報をインターフェイスを介してマニュアル入力することができる。この情報を使用して、プロセッサは１つ以上のマルチメディア効果をオーディオファイルと同期して制御する。
【実施例】
【０００５】
（詳細な説明）
図１に本発明に従った典型的なワイヤレス通信装置のブロック図を示し、ワイヤレス通信装置は一般的に番号１００で示されている。装置１００はカメラアセンブリ１１０、カメラおよびグラフィックスインターフェイス１１８、および通信回路１２０を含んでいる。
【０００６】
カメラアセンブリ１１０はイメージセンサ１１４上に光を集めて集束させる１つ以上のレンズを含むレンズアセンブリ１１２を含んでいる。イメージセンサ１１４は電荷結合デバイス(ＣＣＤ)や相補形ＭＯＳ(ＣＭＯＳ)イメージセンサ等の任意の従来のイメージセンサとすることができ、レンズアセンブリ１１２により集められ集束された光により形成された画像を捕捉する。イメージプロセッサ１１６がイメージセンサ１１４により捕捉された生イメージデータを後でメモリ内に保存し、ディスプレイに出力し、かつ/または遠隔局へ送信するために処理する。カメラおよびグラフィックスインターフェイス１１８は従来技術で既知の任意の方法に従ってイメージプロセッサ１１６を通信回路１２０およびユーザインターフェイス１３４とインターフェイスさせる。
【０００７】
通信回路１２０はマイクロプロセッサ１２４をカメラおよびグラフィックスインターフェイス１１８とインターフェイスさせる入出力回路１２６、トランシーバ１３０、オーディオ処理回路１２８、およびユーザインターフェイス１３４を含んでいる。マイクロプロセッサ１２４は１台以上のマイクロプロセッサとして実現することができ、さらに、従来技術で既知の任意適切なプロセッサとすることができる。これはデジタル信号プロセッサ(ＤＳＰ)だけでなく、汎用および特殊目的マイクロプロセッサを含む。マイクロプロセッサ１２４はメモリ１２３内に保存されたプログラムに従って装置１００の動作を制御し、また、後述するように、カメラアセンブリ１１０、ライト１４２、および触覚帰還発生器１３６等の１つ以上の補足マルチメディア機能を制御するための制御信号を発生する。
【０００８】
メモリ１２３は装置１００内のメモリの全階層を表し、ランダムアクセスメモリ(ＲＡＭ)およびリードオンリーメモリ(ＲＯＭ)の両方を含むことができる。装置１００の動作に必要なコンピュータプログラム命令およびデータは、ＥＰＲＯＭ，ＥＥＰＲＯＭ，および/またはフラッシュメモリ等の、非揮発性メモリ内に保存され、それらは個別デバイス、スタックデバイスとして実現したり、マイクロプロセッサ１２４と集積したりすることができる。メモリ１２３は製作中にダウンロードされたりユーザによりダウンロードされた１つ以上のオーディオファイルも保存することができる。これらのオーディオファイルはユーザにより選択可能な１つ以上の呼出音に対応し、ミディ(Musical Instrument Digital Interface:MIDI(登録商標))シンセサイザ１４９によりユーザに対して再生するために合成することができる。マイクロプロセッサ１２４、入出力回路１２６、オーディオ処理回路１２８、および/またはメモリ１２３は特殊設計特定用途集積回路(ＡＳＩＣ)１２２に内蔵することができる。
【０００９】
ユーザインターフェイス１３４はシステムインターフェイス１４８、触覚帰還発生器(tactile feedback generator)１３６、キーパッド１３８、ディスプレイ１４０、ライト１４２、マイクロホン１４４、およびスピーカ１４６を含んでいる。キーパッド１３８はアルファニューメリックキーパッドを含み、更にオプションとして、ジョイスティックコントロール１５０等の他のナビゲーションコントロールを含んでいる（図２）。キーパッド１３８およびジョイスティックコントロール１５０によりオペレータは番号をダイヤルし、コマンドを入力し、さまざまなメニューからオプションを選択することができる。ディスプレイ１４０によりオペレータはダイヤルされた数字、イメージ、ビデオシーケンス、呼状態情報、メニューオプション、その他のサービス情報を見ることができる。
【００１０】
マイクロホン１４４はユーザの音声を電気的音声信号に変換し、スピーカ１４６は音声信号をユーザが聞くことのできる可聴信号に変換する。オーディオ処理回路１２８は基本アナログ出力信号をスピーカ１４６に与えマイクロホン１４４からアナログ音声信号を受け取る。トランシーバ１３０はアンテナ１３２に接続されて信号を送受信し、Global System for Mobile Communications (GSM), TIA/EIA-136, cdmaOne, cdma2000, UMTSおよびWideband CDMAを含む従来技術で既知の標準に従って動作する完全機能セルラー無線トランシーバである。
【００１１】
バイブレータを含むことができる、触覚帰還発生器１３６はユーザが感知できる触覚信号を発生する。キーボードやディスプレイやＬＥＤインジケータ用バックライトを含むことができるライト(lights)１４２はユーザに視覚信号を与える。後述するように、マイクロプロセッサ１２４は呼出信号の再生中に触覚帰還発生器１３６および/またはライト１４２を制御して同期化されたマルチメディア効果を作り出す。
【００１２】
システムインターフェイス１４８は装置１００と、充電器、外部計算装置、またはデジタルビデオカメラ等の外部ハードウェア装置との相互接続を容易にする。システムインターフェイス１４８を介して、ユーザは装置１００のバッテリを充電し、外部装置とデータを交換し、あるいは外部計算装置からの呼出音に対応するオーディオファイルをダウンロードすることができる。後述するように、本発明はカメラフラッシュ、カメラ、その他の外部装置等のシステムインターフェイス１４８に接続された外部装置をオーディオファイルに関連付けられた情報に従って制御することができる。
【００１３】
図２および３は本発明に従った典型的な移動通信装置１００の物理的外観を示す。本実施例は一体型カメラ付セルラー電話機を含んでいる。キーパッド１３８およびディスプレイ１４０は装置１００の前面に配置されている。裏面はカメラレンズ１１２を隠蔽するスライディングパネルを含んでいる。カメラモードで使用されると、ディスプレイ１４０はユーザが撮影する前にイメージを見たり、メモリ１２３内に既に保存されている1つ以上のイメージを見るためのファインダとして作動することができる。開示された実施例はセルラー電話機であるが、本発明はそれに限定されるものではない。装置１００は衛星電話機、personal communication service (PCS), personal data assistants (PDA), パームトップコンピュータ等を含むことができることを理解しなければならない。
【００１４】
移動通信装置１００は１つ以上の補足マルチメディア効果の操作をオーディオファイル、たとえば、ＭＩＤＩファイルの再生と同期化させる。これらのファイルは１つ以上のマルチメディア効果を再生中にオーディオファイルと同期化させるのに使用することができる。ファイル内で運ばれる情報は演奏される音符、いつ音符を変えるか、音量、さまざまな楽器および/または演奏もしくは合成される音、および音符をどれだけ長く続けるかに関する情報とすることができる。さらに、これらのファイルはタイミング情報を含んでいたりいなかったり、正しくないタイミング情報を含んでいることがある。たとえば、タイミング情報を含んでいないあるＭＩＤＩファイルは再生中に４/４拍子記号にデフォールトする。しかしながら、このデフォールト拍子記号は必ずしもオーディオファイルの実際のタイミングと一致しない。マルチメディア効果とオーディオファイルの現実的な同期化を許すために正確な拍子記号を決定する必要がある。マイクロプロセッサ１２４はこれらのオーディオファイルを解析してマルチメディア効果をオーディオファイルと同期化させるのに使用できる同期化情報を抽出または発生する。
【００１５】
比較的簡単な実施例において、マイクロプロセッサ１２４は触覚帰還発生器１３６およびライト１４２を制御して呼出信号(ring signals)および他のオーディオファイルの再生と同期して１３６および１４２を活性化および不活性化することができる。すなわち、マイクロプロセッサ１２４はライト１４２または触覚帰還発生器１３６を呼出信号またはオーディオファイルとリズムをとって脈動させることができる。より精巧な例では、触覚帰還発生器１３６は、情報がスネアドラムの演奏を要求する時は常にスネアドラム等の、特定の楽器の代りに(または該特定の楽器に加えて)脈動する(pulsp)よう制御することができる。他の実施例では、マイクロプロセッサ１２４は呼出信号またはオーディオファイルの拍子と同期して撮影を行うようカメラアセンブリ１１０を制御することもできる。さらに他の実施例では、マイクロプロセッサ１２４は呼出信号またはオーディオファイルと同期してビデオシーケンスまたはアニメーションを再生するようにディスプレイを制御することができる(たとえば、ダウンビートでディスプレイの底部で弾むボール)。たとえば、１秒毎にダウンビートを有するオーディオファイルと同期化された５０ｍｓ毎に連続的にディスプレイされる２０フレームからなるビデオシーケンスについて考える。本発明に従って、マイクロプロセッサ１２４はこの情報を抽出してシーケンスを１秒としてディスプレイするサイクルタイムを計算する(20フレーム×50ms=1000ms=1sec)。次に、マイクロプロセッサ１２４は１秒毎に(すなわち、２０フレーム毎に)制御信号を発生してフレームシーケンスの開始が毎秒ディスプレイの所望部分に現れることを保証し、かつ残りのフレームをディスプレイする中間制御信号を発生する。もちろん、ダウンビートが毎秒１回よりも速くまたは遅く生じる場合には、マイクロプロセッサ１２４はそれに応じてフレームレートを調節する。
【００１６】
前記したように、マイクロプロセッサ１２４はオーディオファイルを解析して正確な拍子(time signature:拍子記号)を決定することができる。図４Ａ-４Ｂに示す実施例では、マイクロプロセッサ１２４はＳＭＦファイル内のトラックの開始からサンプル１６０を選択してサンプル１６０を解析し、それを解析してタイミング情報を決定する。図４Ａ-４Ｂにおいて、サンプル１６０はＳＭＦ(標準ＭＩＤＩフォーマット)ファイル内のベースドラムトラックのサンプルを表す。しかしながら、当業者ならばサンプル１６０はピアノやギター等の、他の楽器のトラックを含む、ＳＭＦファイル内の任意のトラックを表すことができることが容易にお判りであろう。
【００１７】
マイクロプロセッサ１２４はＳＭＦファイルのヘッダーを読み取って四分音符当りの単位時間(すなわち、四分音符当りのティック(ticks per quarter note))を決定する。仮定した拍子(すなわち、拍子記号候補)と共に、ティック(ticks)によりサンプル１６０を複数の小節１６２ａ-１６２ｈへ区分することができる。各小節１６２ａ-１６２ｈは候補拍子記号により決定される同数の音符を有する。図４Ａにおいて、候補拍子記号は４/４拍子であり、ヘッダーから抽出された四分音符当りのティック数は１０００である。したがって、各小節１６２ａ-１６２ｈは４音符を含み、４０００ティックに及ぶ。区分されると、マイクロプロセッサ１２４はサンプル１６０を解析する。各小節１６２ａ-１６２ｈの第１拍子に四分音符１６４が生じるたびに、対応するノート-オン・イベント(note-on event)の速度パラメータが合計されて重み値を計算する。図４Ａの例では、ノート-オン・イベント(note-on event)のベロシティ・パラメータは７２である。したがって、マイクロプロセッサ１２４は重み値を72+72+72+72+72+72+72+72=576として計算する。
【００１８】
次に、マイクロプロセッサ１２４は異なる候補拍子記号を使用してこのプロセスを繰り返す。図４Ｂからお判りのように、候補拍子記号は３/４拍子であり、したがって、図４Ｂの各小節１６２ａ-１６２ｈは小節当り３音符を含み３０００ティックに及ぶ。マイクロプロセッサ１２４はサンプル１６０内の各小節１６２ａ-１６２ｈを再度解析し、新しい候補拍子記号に従って各小節１６２ａ-１６２ｈの第１拍内で四分音符１６４が生じるかどうかを確認する。図４Ｂでは、四分音符１６４は小節１６２ａおよび１６２ｅの第１拍でしか生じない。そのため、マイクロプロセッサ１２４はこれら２つの四分音符１６４に対する対応するノート-オン・イベントのベロシティ・パラメータだけを合計して72+72=144の第２の重み付け値を計算する。各小節１６４の最初に生じないこれらの四分音符１６４は無視される。
【００１９】
このプロセスは望むだけの追加候補拍子記号を使用して繰り返すことができる。計算された重み値が比較され、最高値が最尤拍子記号(most likely time signature)を決定する。図４Ａ-４Ｂでは、５７６の第１の値は１４４の第２の値よりも大きい。したがって、サンプル１６０、およびＳＭＦファイル内に表現される音楽、は十中八九は４/４拍子であると決定することができる。次に、ＳＭＦファイルはタイミング情報を含むようにオーバライトするか、あるいはタイミング情報を新しいファイルに入れて解析されたＳＭＦファイルと関連付けることができる。
【００２０】
異なる候補拍子記号の公正な比較を保証するために、マイクロプロセッサ１２４はサンプル１６０を固定数の小節に制限することにより正規化する。したがって、各候補拍子記号に対してマイクロプロセッサ１２４により解析される小節１６２ａ-１６２ｈの数は等しくなる。解析される小節の数を最大化することにより信頼度の高い拍子記号推定値が作り出される。一実施例では解析される小節の数が次式を使用して計算され、
【数１】
2007507953.tif 000003
ここに、Ｍはティック数単位でのＳＭＦファイル全体の持続時間、Ｎは全候補拍子記号に沿った小節当りの最大音符数、Ｔは四分音符当りのティック数である。
【００２１】
本発明は拍(beat)を規定するティックの小部分内でしか生じないものを含めて、第１の四分音符内のどこかで生じるノート-オン・イベントを検出することができる。たとえば、四分音符１６４の代りに、２つの１６分音符がすぐ連続して第１拍上で生じる図４Ａの小節１６２ａについて考える。この場合、マイクロプロセッサ１２４は四分音符の最初の１/４内のイベントタイムを有する対応するノート-オン・イベントを捜す。四分音符当り１０００ティックの前例を使用して、イベントタイムは０および２４９ティックの範囲内である。次に、マイクロプロセッサ１２４はこのノート-オン・イベントに対するベロシティ・パラメータだけを合計し、他の1６分音符に対応するノート-オン・イベントを無視する。
【００２２】
前例は複数の候補拍子記号にわたって各小節１６２ａ-１６２ｈの第１拍を調べることによりＳＭＦファイルの拍子記号を決定した。しかしながら、ファイルの第１拍は必ずしも小節の第１拍では生じない。たとえば、古い歌”It’s a Sin to Tell a Lie”は３/４拍子記号を有しメロディーラインは小節の第１ではなく第３拍子で開始する。もう１つの例はメロディーで始まる歌である(すなわち、導入部の無い歌)。このような状況に取り組むために、図４Ａ-４Ｂに示す実施例を拡張することができる。
【００２３】
例として、n/m(小節当りn拍で1/m音符が１拍となる)の拍子記号について考える。さらに、小節の拍を0,1...n-1として示す。したがって、３/４拍子記号を有する歌の小節は0,1,および2拍を含む。さらに、拍子記号フェーズ(time signature phase)はＳＭＦファイル内の第１拍の拍番号(beat number)として規定される。したがって、３/４拍子であり小節の第３拍で開始するメロディーラインを有する歌”It’s a Sin to Tell a Lie”は２の拍子記号フェーズを有し、３/４拍子であり小節の第２拍で開始するメロディーラインを有する歌は１の拍子記号フェーズを有する。
【００２４】
図４Ａおよび４Ｂに記述された拍子記号検出手順は０の拍子記号フェーズを仮定し、各候補拍子記号ｉに対して一度実行する。それにより各候補拍子記号に対して単一の合計重み値(single summed weight value)σiが得られる。しかしながら、この手順はそれが拍子記号を検出するのと同時に拍子記号フェーズを検出し、したがって、ファイルの拍子記号のより正確な推定値を計算するように拡張することができる。特に、各候補拍子記号ｉ,ni/mi,に対して一度手順を実行する替わりに、各候補拍子記号に対して手順をni回繰り返えす。たとえば、０の候補拍子記号フェーズを仮定して手順を開始し合計重み値σi(0)を計算する。次に、１の候補拍子記号フェーズを仮定して手順を繰返し、合計重み値σi(1)を計算する。繰返しはni-1の候補拍子記号フェーズで終了し合計重み値σi(ni-1)を計算する。次に、各候補拍子記号に対して手順が繰り返えされる。このようにして、第i番目候補拍子記号により、各候補拍子記号フェーズに対して一つの、ni個の合計重み値であるσi(0)からσi(ni-1)が得られる。
【００２５】
この方法を例示するために、歌”It’s a Sin to Tell a Lie”の例について考える。前記したように、この歌は３/４拍子記号および２の拍子記号フェーズを有する。ここでは、i=0(第１の候補拍子記号),n0=3,かつm0=4である。手順を実行すると、小節内のn0=3候補拍子記号フェーズに対応する３つの合計値σ0(0),σ0(1),およびσ0(2)が作り出される。最高合計重み値は保存され、他は廃棄される。次の４/４の候補拍子記号に対して、手順により小節内のn0=4候補拍子記号フェーズに対応する４つの合計値σ1(0),σ1(1), σ1(2),およびσ1(3)が作り出される。この手順は所望するだけの候補拍子記号に対して続けられる。全候補拍子記号の候補拍子記号フェーズに対する全ての合計重み値が計算されると、手順は最大合計重み値σj(I)を選択し、jを正しい拍子記号として報告し、Iを正しい拍子記号フェーズとして報告する。
【００２６】
図５はマイクロプロセッサ１２４または他の処理回路がマルチメディア効果をオーディオファイルと関連付けるためのタイミング情報を自動的に決定し抽出する別の方法を示す。この例では、マイクロプロセッサ１２４がＭＩＤＩシンセサイザ１４９の合成出力信号１７０を解析して振幅ピーク１７２を検出する。ピーク１７２は検出されると、閾値(Ｔ)と比較される。閾値(Ｔ)を超える場合、マイクロプロセッサ１２４は適切なマルチメディア効果を活性化/不活性化させる制御信号を発生する。さらに、マイクロプロセッサ１２４は、ピーク１７２が閾値(Ｔ)よりも上に留まる限り制御信号を発生し続けるか、またはマルチメディア効果を不活性化させない。したがって、触覚帰還発生器１３６は、たとえば、閾値(Ｔ)の設定および解析された信号１７０の検出されたピーク１７２に従って可変時間長だけ活性化するように制御することができる。あるいは、マイクロプロセッサ１２４は１つ以上のマルチメディア効果の活性化が持続される持続時間を計算することができ、かつ/または検出されたピーク１７２が閾値(Ｔ)を超える量に基づいてそれらの度合い(intensity:強度)を変えることができる。閾値(Ｔ)は固定または可変とすることができ、あるいはオーディオファイルの再生中に適応性とすることができる。たとえば、閾値(Ｔ)の値は装置１００の音量制御に応答することができる。さらに、検出されたピーク１７２との比較に２つ以上の閾値を使用することができる。
【００２７】
もう１つの実施例では、マイクロプロセッサ１２４はシンセサイザ出力をサンプリングし、ＭＩＤＩファイル内に運び込まれるノート-オン・イベントの検出に応答して制御信号を発生する。ＭＩＤＩシンセサイザ１４９を制御するソフトウェアはこの情報を認識または検出することもでき、適切な制御信号を発生するようマイクロプロセッサ１２４に信号で知らせる。たとえば、あるオーディオファイルはドラム、ギター、ティンパニー、およびシンバル等のさまざまな楽器タイプ、または拍手、および発砲を含む音に関する情報を運ぶことができる。ＭＩＤＩシンセサイザ１４９を制御するソフトウェアは１つ以上の楽器および/または音が生じる度にマイクロプロセッサ１２４に信号で知らせる。次に、マイクロプロセッサ１２４は１つ以上の制御信号を発生する。
【００２８】
装置１００内のメッセージングおよびシグナリング遅延を補償するために、ＭＩＤＩシンセサイザ１４９、マイクロプロセッサ１２４、および/または他の処理回路をユーザへのオーディオファイルの再生および/または制御信号の発生を遅延させる回路と関連付けることができる。このような例の一つは等化フィルタまたは圧縮回路である。遅延により音声が実際にユーザに与えられる前にマイクロプロセッサ１２４が１つ以上のマルチメディア効果を制御するための適切な時間が許される。これはユーザにとって１つ以上のマルチメディア効果とスピーカ１４６を介して与えられる音声間のより正確な同期化に見える。
【００２９】
図６は１つ以上のマルチメディアイベントがオーディオファイルの再生と同期化される１つの典型的な方法１８０を示す。図６は着呼に応答して演奏される呼出信号としてのオーディオファイルを示す。しかしながら、本発明はそれに限定されないことを理解しなければならない。たとえば、他の実施例はオーディオファイルを警報として演奏したり、またはゲームの遊戯中に演奏することができる。オーディオファイルはメーカにより既にメモリ１２３内に保存されていたり、ユーザにより作り出されていたり、外部ウェブサイトからダウンロードされていることがある。
【００３０】
オーディオファイルは１つ以上のマルチメディア効果をオーディオファイルと同期化させるのに使用される同期化情報を抽出するために解析される(ブロック１８２)。同期化情報は既にオーディオファイル内に含まれていることがある。しかしながら、同期化情報のいくらかまたは全てがファイルから消失していたり、不正確であることがある。したがって、装置１００はオーディオファイルを解析して同期化情報を自動的に発生することができる。一度抽出または発生されると、同期化情報はオーディオファイルおよび１つ以上のマルチメディア効果と関連付けられる(ブロック１８４)。情報は直接オーディオファイル内に書き込まれてメモリ１２３内に保存したり、独立したファイルとしてメモリ１２３内に保存したりすることができる(ブロック１８６)。
【００３１】
着呼を受信すると(ブロック１８８)、マイクロプロセッサ１２４はオーディオファイル、およびオーディオファイルに関連付けられた同期化情報をメモリ１２３から読み出す。マイクロプロセッサ１２４はオーディオ処理回路１２８を制御してオーディオファイルをスピーカ１４６を介して再生し(ブロック１９０)、制御信号を発生する(ブロック１９２)。制御信号は関連付けられた同期化情報に対応するさまざまな間隔および持続時間で発生することができる。次に、発生された制御信号はカメラアセンブリ１１０(ブロック１９４)、触覚帰還発生器１３６(ブロック１９６)、ライト１４(ブロック１９８)、および/またはディスプレイ１４０(ブロック２００)へ送られ、ユーザに再生される時にオーディオファイルと同期して１つ以上のマルチメディア効果を制御する。一実施例では、制御信号は外部カメラ(図示せず)等のシステムインターフェイス１４８を介して外部装置へ送られて、たとえば、カメラフラッシュを制御するか、オーディオファイルと調子を合わせて撮影を行う。さらにもう１つの実施例では、１つ以上のマルチメディア効果が外部ＰＤＡまたは他のコンピューティング装置で制御される。
【００３２】
あるいは、装置１００のユーザは同期化情報をマニュアル入力することができる。図７に示すように、ユーザは一連のメニュー２１０をナビゲートしてオーディオファイルに対する特定の拍子記号を選択することができる。当業者ならば、本発明は図示するメニューおよび/またはオプションに限定されず、それらは単なる例にすぎないことがお判りであろう。ユーザはメインメニュー２１２にアクセスして「作曲家」オプションを選択する。それによりメモリ１２３内に既に保存されている１つ以上のオーディオファイルを載せたオーディオファイルメニュー２１４へ導かれるか、あるいはユーザは新しい楽曲を作り出すことができる。例示する目的で、「ワルツ」は既にメモリ内に保存されておりユーザはこのオプションを選択するだけである。この選択は編集ファイルメニュー２１６を呼び出し、そこでユーザは選択されたオーディオファイルに対する拍子記号を規定する「タイミング」を選択することができる。次に、ユーザには可能な拍子記号のリストが拍子記号メニュー２１８上に提示される。この例では、可能な選択は３/４,４/４,および６/８であるが、他の拍子記号も使用することができる。選択されると、前記したように、タイミング情報は直接オーディオファイルに書き込んだり、別個に保存したりすることができる。
【００３３】
さらに、ユーザは１つ以上のマルチメディア効果と関連付けられるさまざまな楽器タイプや音をマニュアルで規定することができる。図８に示すように、ユーザは編集ファイルメニュー２１６にナビゲートし、「楽器タイプ」オプションを選択して楽器メニュー２１７を呼び出す。ユーザは楽器メニュー２１７に載っている１つ以上の楽器または音を選択して効果メニュー２１９を呼び出すことができる。効果メニュー２１９は装置１００内で利用可能なさまざまなマルチメディア効果を載せており、ユーザが選択されたマルチメディア効果を選択された楽器または音とマニュアルで関連付けられるようにする。たとえば、ユーザはメニュー２１７上の「バスドラム」をメニュー２１９上の「触覚帰還」機能と関連付けることができる。マイクロプロセッサ１２４はオーディオファイルの再生中にバスドラムに対するノート-オン・イベントと遭遇する時は常に、触覚帰還発生器１３６への制御信号を発生して活性化/不活性化させる。あるいは、メニュー２１７および２１９を逆にしてユーザが選択されたマルチメディア効果を１つ以上の利用可能な楽器と関連付けられるようにする。
【００３４】
もちろん、本発明の本質的特性から逸脱することなく、ここに明記されたものとは異なる方法で本発明を実施するすることができる。本実施例はあらゆる側面において説明用であって制約的意味合いはなく、添付特許請求の範囲の意味および同等範囲内に入る全ての変更はここに包含されるものとする。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施例に従った典型的なワイヤレス通信装置のブロック図である。
【図２】本発明の一実施例に従った典型的な移動電話機の正面斜視図である。
【図３】本発明の一実施例に従った典型的な移動電話機の裏面斜視図である。
【図４Ａ】本発明の一実施例に従ったオーディオファイルから情報を抽出する一方法を示す図である。
【図４Ｂ】本発明の一実施例に従ったオーディオファイルから情報を抽出する一方法を示す図である。
【図５】本発明の一実施例に従ったオーディオファイルから情報を抽出する別の方法を示す図である。
【図６】本発明の一実施例に従ったオーディオファイルから情報を抽出する一方法を示す図である。
【図７】本発明の一実施例に従った典型的な一メニューシステムを示す図である。
【図８】本発明の一実施例に従った別のメニューシステムを示す図である。
【図１】
2007507953.tif 000004
【図２】
2007507953.tif 000005
【図３】
2007507953.tif 000006
【図４Ａ】
2007507953.tif 000007
【図４Ｂ】
2007507953.tif 000008
【図５】
2007507953.tif 000009
【図６】
2007507953.tif 000010
【図７】
2007507953.tif 000011
【図８】
2007507953.tif 000012
【手続補正書】
【提出日】平成17年7月27日(2005.7.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ワイヤレストランシーバと、
オーディオファイルを保存するメモリと、
オーディオファイルを解析しそれに基づいて同期化情報を発生し、かつ同期化情報に基づいて補足マルチメディア効果をオーディオファイルと同期化させるプロセッサと、
を含む移動通信装置。
【請求項２】
請求項１に記載の移動通信装置であって、前記情報はタイミング情報である移動通信装置。
【請求項３】
請求項１に記載の移動通信装置であって、前記情報は楽器タイプ情報である移動通信装置。
【請求項４】
請求項１に記載の移動通信装置であって、前記プロセッサは前記メモリ内に同期化情報を保存する移動通信装置。
【請求項５】
請求項１に記載の移動通信装置であって、前記プロセッサはオーディオファイルの再生中に制御信号を発生し、同期化信号に従って補足マルチメディア効果を制御する移動通信装置。
【請求項６】
請求項５に記載の移動通信装置であって、補足マルチメディア効果は触覚帰還を含み、前記制御信号は同期化情報と同期して触覚帰還発生器を制御する移動通信装置。
【請求項７】
請求項５に記載の移動通信装置であって、補足マルチメディア効果は１つ以上のライトを含み、前記制御信号は同期化情報と同期して１つ以上のライトを制御する移動通信装置。
【請求項８】
請求項５に記載の移動通信装置であって、補足マルチメディア効果はカメラを含み、前記制御信号は同期化情報と同期して撮影を行うようにカメラを活性化させる移動通信装置。
【請求項９】
請求項５に記載の移動通信装置であって、補足マルチメディア効果はビデオシーケンスを含み、前記制御信号は同期化情報と同期して前記ビデオシーケンスを再生するようにディスプレイを制御する移動通信装置。
【請求項１０】
請求項１に記載の移動通信装置であって、さらに、システムインターフェイスを含み、前記プロセッサはオーディオファイルの再生中に制御信号を発生して、システムインターフェイスを介して接続された外部装置を同期化情報に従って制御する移動通信装置。
【請求項１１】
オーディオファイルを保存するように構成されたメモリと、
移動通信装置のユーザによりオーディオファイルに関する同期化情報を入力するインターフェイスと、
同期化情報に基づいて補足マルチメディア効果をオーディオファイルと同期化させるプロセッサと、
を含む移動通信装置。
【請求項１２】
請求項１１に記載の移動通信装置であって、前記インターフェイスは同期化情報をディスプレイするメニューを含む移動通信装置。
【請求項１３】
請求項１１に記載の移動通信装置であって、同期化情報は拍子記号である移動通信装置。
【請求項１４】
請求項１１に記載の移動通信装置であって、同期化情報は楽器タイプである移動通信装置。
【請求項１５】
請求項１１に記載の移動通信装置であって、前記プロセッサはユーザ選択同期化情報をオーディオファイルと関連付けて前記メモリ内に保存する移動通信装置。
【請求項１６】
請求項１１に記載の移動通信装置であって、前記プロセッサはオーディオファイルの再生中に制御信号を発生し、ユーザ選択同期化情報に従って補足マルチメディア効果を制御する移動通信装置。
【請求項１７】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果は触覚帰還を含み、前記制御信号はユーザ選択同期化情報と同期して触覚帰還発生器を制御する移動通信装置。
【請求項１８】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果は１つ以上のライトを含み、前記制御信号はユーザ選択同期化情報と同期して１つ以上のライトを制御する移動通信装置。
【請求項１９】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果はカメラを含み、前記制御信号はユーザ選択同期化情報と同期して撮影を行うようにカメラを制御する移動通信装置。
【請求項２０】
請求項１６に記載の移動通信装置であって、補足マルチメディア効果はビデオシーケンスを含み、前記制御信号はユーザ選択同期化情報と同期して前記ビデオシーケンスを再生するようにディスプレイを制御する移動通信装置。
【請求項２１】
請求項１１に記載の移動通信装置であって、さらに、システムインターフェイスを含み、前記プロセッサはオーディオファイルの再生中に制御信号を発生して、システムインターフェイスを介して接続された外部装置を同期化情報に従って制御する移動通信装置。
【請求項２２】
マルチメディア効果を移動通信装置内のオーディオファイルと同期化させる方法であって、
移動通信装置のメモリ内に保存されたオーディオファイルを解析して同期化情報を発生するステップと、
同期化情報に基づいて移動通信装置内の補足マルチメディア効果をオーディオファイルと同期化させるステップと、
を含む方法。
【請求項２３】
請求項２２に記載の方法であって、同期化情報はタイミング情報を含む方法。
【請求項２４】
請求項２２に記載の方法であって、同期化情報は楽器タイプ情報を含む方法。
【請求項２５】
請求項２２に記載の方法であって、さらに、同期化情報をメモリ内に保存するステップを含む方法。
【請求項２６】
請求項２２に記載の方法であって、補足マルチメディア効果を同期化させるステップはオーディオファイルの再生中に制御信号を発生し、同期化情報に従って補足マルチメディア効果を制御するステップを含む方法。
【請求項２７】
請求項２６に記載の方法であって、さらに、同期化情報に同期して触覚帰還発生器を制御するステップを含む方法。
【請求項２８】
請求項２６に記載の方法であって、さらに、同期化情報に同期して１つ以上のライトを制御するステップを含む方法。
【請求項２９】
請求項２６に記載の方法であって、さらに、同期化情報に同期して１枚以上の写真を撮るようカメラを制御するステップを含む方法。
【請求項３０】
請求項２６に記載の方法であって、さらに、同期化情報に同期して一連の１つ以上のビデオフレームをディスプレイするステップを含む方法。
【請求項３１】
請求項２２に記載の方法であって、さらに、メモリ内に保存されたオーディオファイルからサンプルを選択するステップを含み、オーディオファイルを解析して同期化情報を発生するステップはサンプルを解析して１つ以上の補足マルチメディア効果に対する同期化情報を決定するステップを含む方法。
【請求項３２】
請求項３１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは前記サンプルを複数の小節に区分するステップを含み、前記各小節は同数の音符を含む方法。
【請求項３３】
請求項３２に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記各小節内の所望の拍内で生じる音符を決定するステップを含む方法。
【請求項３４】
請求項３３に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記各小節内の前記所望の拍子内で生じる前記各音符に対して対応するノート-オン・イベントのベロシティ・パラメータを合計することにより重み値を計算するステップを含む方法。
【請求項３５】
請求項３１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、それぞれ第１の候補拍子記号および第２の候補拍子記号に基づいて第１の値および第２の値を計算するステップを含む方法。
【請求項３６】
請求項３５に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記第１および第２の値から最高値を選択して拍子記号を選択するステップを含む方法。
【請求項３７】
請求項３６に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記選択された拍子記号をオーディオファイルと関連付けるステップを含む方法。
【請求項３８】
請求項３１に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、移動通信装置内のＭＩＤＩシンセサイザの出力をサンプリングするステップを含む方法。
【請求項３９】
請求項３８に記載の方法であって、前記サンプルを解析して同期化情報を決定するステップは、さらに、前記サンプル内のピーク振幅を検出するステップを含む方法。
【請求項４０】
請求項３９に記載の方法であって、さらに、前記検出されたピーク振幅を閾値と比較するステップを含む方法。
【請求項４１】
請求項４０に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて制御信号を発生するステップを含む方法。
【請求項４２】
請求項４０に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて１つ以上の補足マルチメディア効果の度合いを変えるステップを含む方法。
【請求項４３】
請求項４０に記載の方法であって、１つ以上の補足マルチメディア効果を同期化させるステップは、前記検出されたピーク振幅と前記閾値との比較に基づいて１つ以上の補足マルチメディア効果の活性化持続時間を変えるステップを含む方法。
【請求項４４】
請求項３１に記載の方法であって、さらに、オーディオファイル内の選択された情報を同期化情報で上書きするステップを含む方法。
【請求項４５】
請求項３１に記載の方法であって、さらに、移動通信装置のメモリ内に同期化情報を保存するステップを含む方法。
【請求項４６】
請求項３１に記載の方法であって、１つ以上の補足マルチメディア効果をオーディオファイルと同期化させるステップは、オーディオファイルの再生中に同期化情報に基づいて１つ以上の補足マルチメディア効果への制御信号を発生するステップを含む方法。
【請求項４７】
１つ以上のマルチメディア効果を移動通信装置内のオーディオファイルと同期化させる方法であって、
移動通信装置のメモリ内に保存されたオーディオファイルに関する同期化情報を、ユーザインターフェイスを介して、選択するステップと、
同期化情報に基づいて移動通信装置内の補足マルチメディア効果をオーディオファイルと同期化させるステップと、
を含む方法。
【請求項４８】
請求項４７に記載の方法であって、オーディオファイルに関する情報を選択するステップは移動通信装置のユーザにメニューオプションをディスプレイするステップを含み、前記メニューオプションはオーディオファイルと関連付けられる同期化情報を含む方法。
【請求項４９】
請求項４８に記載の方法であって、前記メニューオプションは拍子記号のリストを含む方法。
【請求項５０】
請求項４８に記載の方法であって、前記メニューオプションは楽器タイプのリストを含む方法。
【請求項５１】
請求項４７に記載の方法であって、さらに、メモリ内に同期化情報を保存するステップを含む方法。
【請求項５２】
請求項４７に記載の方法であって、補足マルチメディア効果を同期化させるステップは、オーディオファイルの再生中に制御信号を発生して選択された同期化情報に従って補足マルチメディア効果を制御するステップを含む方法。
【請求項５３】
請求項５２に記載の方法であって、さらに、選択された同期化情報に同期して触覚帰還発生器を制御するステップを含む方法。
【請求項５４】
請求項５２に記載の方法であって、さらに、選択された同期化情報に同期して１つ以上のライトを制御するステップを含む方法。
【請求項５５】
請求項５２に記載の方法であって、さらに、選択された同期化情報に同期して１枚以上の写真を撮るようカメラを制御するステップを含む方法。
【請求項５６】
請求項５２に記載の方法であって、さらに、同期化情報に同期して一連の１つ以上のビデオフレームをディスプレイするステップを含む方法。
【国際調査報告】
2007507953.tif 000013
2007507953.tif 000014
2007507953.tif 000015