(57)【要約】マルチメディア・ユーザ・インタフェースを生成する方法であって、電子デバイス（１０）で音楽を再生する工程と、音楽に関連するパラメータを確認する工程と、電子デバイスのディスプレイ（１４）上に表示されるビジュアルコンテンツを、パラメータとの関連を持つビジュアル効果をビジュアルコンテンツに適用することにより、音楽のパラメータと調和するように適合させる工程と、を含む。【選択図】図４
2009544212.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア・ユーザ・インタフェースを生成する方法であって、
電子デバイス（１０）で音楽を再生する工程と、
前記音楽に関連するパラメータを確認する工程と、
前記電子デバイスのディスプレイ（１４）上に表示されるビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該ビジュアルコンテンツに適用することにより、前記音楽の前記パラメータと調和するように適合させる工程と、
を備えることを特徴とする方法。
【請求項２】
前記パラメータは、前記音楽を解析することによって確認されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記パラメータは、前記音楽と関連するオーディオデータとともに格納された、又は前記音楽と関連するオーディオデータとともに送信されたデータを読み取ることによって確認されることを特徴とする、請求項１に記載の方法。
【請求項４】
前記パラメータは、音楽再生の音量であることを特徴とする、請求項１に記載の方法。
【請求項５】
前記ビジュアル効果は、少なくとも１つの表示されたオブジェクトの、明るさと色とのうちの少なくとも１つを調整することであることを特徴とする、請求項４に記載の方法。
【請求項６】
前記パラメータは、前記音楽のリズムに関連することを特徴とする、請求項１に記載の方法。
【請求項７】
前記ビジュアル効果は、前記音楽の拍の発生と関連して前記ディスプレイ上のオブジェクトを動かすことと、前記音楽の拍の発生と関連して前記ディスプレイ上のオブジェクトを点滅させることと、画面遷移を前記音楽の拍との関連を持たせて段階的に行うことと、のうちの１つであることを特徴とする、請求項６に記載の方法。
【請求項８】
前記ビジュアル効果は、前記ディスプレイ上に表示された少なくとも１つのオブジェクトを、前記音楽の拍との関連を持つように適合させることであることを特徴とする、請求項６に記載の方法。
【請求項９】
前記電子デバイスは移動電話であることを特徴とする、請求項１に記載の方法。
【請求項１０】
電子デバイス（１０）であって、
ディスプレイ（１４）と、
前記電子デバイスによって再生される音楽に関連するパラメータを確認するステップと、前記ディスプレイ上に表示されるビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該ビジュアルコンテンツに適用することにより、前記音楽の前記パラメータと調和するように適合させるステップとを実行することによって、マルチメディア・ユーザ・インタフェースを生成する制御回路（２４）と、
を備えることを特徴とする、電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連する出願のデータ］
本願は、２００６年７月３１日に出願された米国仮出願番号第６０／８２０８１３号の利益を得ることを主張し、その開示が全体に渡って参照により本願に組み込まれる。
【０００２】
本願は概して、音声通信に携わるための電子装置と、オーディオビジュアル・コンテンツを再生するための電子装置との少なくとも一方であるような、電子装置に関する。特に本発明は、音楽の再生と関連するパラメータに基づいて表示されたコンテンツを変更するための、方法及びシステムに関する。
【背景技術】
【０００３】
移動電子デバイス、無線電子デバイス、又はその双方を兼ね備えた電子デバイスは、次第に人気になってきている。例えば、移動電話及び可搬メディアプレイヤは、今日では広く使われている。さらに、特定の型の電子デバイスに関連する機能は、次第に多様になってきた。いくつかの例を挙げると、多くの電子デバイスが、写真を撮ること、テキストメッセージを送受信すること、インターネットをブラウジングすること、電子メールを送受信すること、動画コンテンツを再生すること、オーディオコンテンツを再生すること、画像を表示すること、及びハンズ・フリー・ハンドセットと接続することが可能である。
【０００４】
多くの電子デバイスユーザは、その電子デバイスで他のアクティビティに携わっている間に、その電子デバイスでの音楽再生を楽しんでいる。他のアクティビティには、ゲームで遊ぶこと、データを分類すること、テキストメッセージを書くこと、インターネットのブラウジング、電子メールメッセージを読むこと等が含まれてもよい。慣習的には、バックグラウンドで音楽を再生することと、他のアクティビティの実行との間に関連はなかった。すなわち、ユーザはバックグラウンドで再生される音楽を聴くことができるが、他の方法で音楽に影響を受けることはなかった。
【発明の概要】
【課題を解決するための手段】
【０００５】
上述の、音楽再生と他の電子デバイスのアクティビティとの間の分離という点から見ると、ユーザに対して再生される時の音楽と、ユーザに対して表示されるビジュアルコンテンツとの間に関連を引くことによって、電子デバイスについての、特に可搬手持ちデバイスについての、ユーザエクスペリエンスを高める必要が当技術分野に存在する。
【０００６】
本発明の第１の態様によれば、マルチメディア・ユーザ・インタフェースを生成する方法であって、
電子デバイスで音楽を再生する工程と、
前記音楽に関連するパラメータを確認する工程と、
前記電子デバイスのディスプレイ上に表示されるビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該ビジュアルコンテンツに適用することにより、前記音楽の前記パラメータと調和するように適合させる工程と、
を備えることを特徴とする。
【０００７】
前記方法の一実施形態によれば、前記パラメータは、前記音楽を解析することによって確認されることを特徴とする。
【０００８】
前記方法の一実施形態によれば、前記パラメータは、前記音楽と関連するオーディオデータとともに格納された、又は全音楽と関連するオーディオデータとともに送信されたデータを読み取ることによって確認されることを特徴とする。
【０００９】
前記方法の一実施形態によれば、前記パラメータは、音楽再生の音量であることを特徴とする。
【００１０】
前記方法の一実施形態によれば、前記ビジュアル効果は、少なくとも１つの表示されたオブジェクトの、明るさと色とのうちの少なくとも１つを調整することであることを特徴とする。
【００１１】
前記方法の一実施形態によれば、前記パラメータは、前記音楽のリズムに関連することを特徴とする。
【００１２】
前記方法の一実施形態によれば、前記ビジュアル効果は前記ディスプレイ上で移動しているオブジェクトを適合させることを特徴とする。
【００１３】
前記方法の一実施形態によれば、前記移動しているオブジェクトは、前記音楽の拍の発生と関連して動かされることを特徴とする。
【００１４】
前記方法の一実施形態によれば、前記ビジュアル効果は前記ディスプレイ上で点滅しているオブジェクトを適合させることを特徴とする。
【００１５】
前記方法の一実施形態によれば、前記点滅しているオブジェクトは、前記音楽の拍の発生と関連して点滅させられることを特徴とする。
【００１６】
前記方法の一実施形態によれば、前記ビジュアル効果は前記ディスプレイ上に表示されているコンテンツの画面遷移を適合させることを特徴とする。
【００１７】
前記方法の一実施形態によれば、前記画面遷移は前記音楽の拍との関連を持たせて段階的に行われることを特徴とする。
【００１８】
前記方法の一実施形態によれば、前記ビジュアル効果は前記ディスプレイ上に表示された少なくとも１つのオブジェクトを、前記音楽の拍との関係を持つように適合させることであることを特徴とする。
【００１９】
前記方法の一実施形態によれば、前記電子デバイスは移動電話であること特徴とする。
【００２０】
前記発明のもう１つの態様によれば、機械読取可能な媒体に格納されたプログラムは、マルチメディア・ユーザ・インタフェースを生成するように構成されることを特徴とする。前記プログラムは、電子デバイスによって再生される音楽に関連するパラメータを確認する実行可能なステップと、前記電子デバイスのディスプレイ上に表示されたビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該ビジュアルコンテンツに適用することにより、前記音楽の前記パラメータと調和するように適合させる実行可能なステップとを含むことを特徴とする。
【００２１】
前記プログラムの一実施形態によれば、前記パラメータは、前記音楽を解析することと、前記音楽と関連するオーディオデータとともに格納された、又は前記音楽と関連するオーディオデータとともに送信されたデータを読み取ることと、のうちの１つによって確認されることを特徴とする。
【００２２】
前記プログラムの一実施形態によれば、前記パラメータは音楽再生の音量であり、前記ビジュアル効果は、少なくとも１つの表示されたオブジェクトの、明るさと色とのうちの少なくとも１つを調整していることを特徴とする。
【００２３】
前記プログラムの一実施形態によれば、前記パラメータは前記音楽のリズムに関連し、前記ビジュアル効果は、前記ディスプレイ上で移動しているオブジェクトを適合させることと、前記ディスプレイ上で点滅しているオブジェクトを適合させることと、前記ディスプレイ上で表示されているコンテンツの画面遷移を適合させることと、前記ディスプレイ上に表示されている少なくとも１つのオブジェクトを適合させることと、これらの組み合わせとから選択されることを特徴とする。
【００２４】
前記プログラムの一実施形態によれば、前記ビジュアル効果は前記音楽の拍の発生と関連を持つことを特徴とする。
【００２５】
前記プログラムの一実施形態によれば、前記電子デバイスは移動電話であること特徴とする。
【００２６】
本発明のもう１つの態様によれば、電子デバイスは
ディスプレイと、
前記電子デバイスによって再生される音楽に関連するパラメータを確認するステップと、前記ディスプレイ上に表示されるビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該ビジュアルコンテンツに適用することにより、前記音楽の前記パラメータと調和するように適合させるステップとを実行することによって、マルチメディア・ユーザ・インタフェースを生成する制御回路と、
を備えることを特徴とする。
【００２７】
前記電子デバイスの一実施形態によれば、前記パラメータは、前記音楽を解析することと、前記音楽と関連するオーディオデータとともに格納された、又は前記音楽と関連するオーディオデータとともに送信されたデータを読み取ることと、のうちの１つによって確認されることを特徴とする。
【００２８】
前記電子デバイスの一実施形態によれば、前記パラメータは音楽再生の音量であり、前記ビジュアル効果は、少なくとも１つの表示されたオブジェクトの、明るさと色とのうちの少なくとも１つを調整していることを特徴とする。
【００２９】
前記電子デバイスの一実施形態によれば、前記パラメータは、前記音楽のリズムに関連し、前記ビジュアル効果は、前記ディスプレイ上で移動しているオブジェクトを適合させることと、前記ディスプレイ上で点滅しているオブジェクトを適合させることと、前記ディスプレイ上で表示されているコンテンツの画面遷移を適合させることと、前記ディスプレイ上に表示されている少なくとも１つのオブジェクトを適合させることと、これらの組み合わせとから選択されることを特徴とする。
【００３０】
前記電子デバイスの一実施形態によれば、前記ビジュアル効果は前記音楽の拍の発生と関連を持つことを特徴とする。
【００３１】
前記電子デバイスの一実施形態によれば、前記電子デバイスは移動電話であること特徴とする。
【００３２】
本発明の、これらの及び更なる特徴が、続く説明及び添付の図面を参照すると明らかとなるだろう。説明及び図面では、本発明の本質が使用されうるいくつかの方法を示すように、本発明の特定の実施形態が詳細に開示されている。しかし、本発明が範囲において対応するように制限されるわけではないことが理解される。むしろ本発明は、本明細書に添付される請求の範囲の精神及び表現の範囲内である、全ての変更、変形及び均等物を含む。
【００３３】
一実施形態に関して記述され、図示され、又は記述されかつ図示された特徴は、同じ方法又は同様の方法で、１以上の他の実施形態において、他の実施形態の特徴と組み合わせて若しくは他の実施形態の特徴の代わりに、又は１以上の他の実施形態において並びに他の実施形態の特徴と組み合わせて若しくは他の実施形態の特徴の代わりに、用いられうる。
【００３４】
「備える（ｃｏｍｐｒｉｓｅｓ及びｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書で用いられる時、述べられた特徴、整数、工程又は要素の存在を特定するために用いられるが、１以上の他の特徴、整数、工程、要素又はこれらからなる群の存在又は追加を排除しないことが、強調されるべきである。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態に従う典型的な電子装置としての、移動電話の概略図である。
【図２】本発明の実施形態に従う、図１の移動電話の関連する部分の概略ブロック図である。
【図３】図１の移動電話が動作することができる、通信システムの概略図である。
【図４】電子装置のユーザに対して再生される音楽と、ユーザに対して表示されるビジュアルコンテンツとの間の対話を生成する、典型的な方法を描くフローチャートである。
【図５】音楽とビジュアルコンテンツとの間の典型的な関連の概略表現である。
【図６】電子装置のユーザに対して再生される音楽と、ユーザに対して表示されるビジュアルコンテンツとの間の対話を生成する、他の典型的な方法を描くフローチャートである。
【図７】電子装置のユーザに対して再生される音楽と、ユーザに対して表示されるビジュアルコンテンツとの間の対話を生成する、さらに他の典型的な方法を描くフローチャートである。
【発明を実施するための形態】
【００３６】
本発明が、これより図面を参照して記述される。図面においては、類似の参照番号は、全体を通して類似の要素を示すために用いられる。図面は必ずしも一定の比率ではないことが、理解されるだろう。
【００３７】
相互に交換できる用語である「電子装置」と「電子デバイス」とは、可搬無線通信装置を含む。本明細書では以後「移動無線端末」と呼ばれる「可搬無線通信装置」は、移動電話、ポケットベル、通信機、電子オーガナイザ、個人情報端末（ＰＤＡ）、スマートフォン、可搬通信装置等の、全ての装置を含む。
【００３８】
本願では、まず移動電話の関係において、本発明が記述される。しかし、本発明は移動電話に限られることは意図されておらず、本発明はどんな型の適切な電子装置にもなりうることが、理解されるだろう。本発明が適用されてもよい他の電子装置には、例えば、可搬メディアプレイヤ、ゲームプレイヤ、及びコンピュータが含まれる。
【００３９】
最初に図１及び２を参照すると、電子装置１０が示されている。電子装置１０は、ユーザに対して聴き取り可能に再生される音楽と、ユーザに対して表示されるビジュアルコンテンツとの間の関連を確立させるように構成された、ユーザインタフェース向上機能１２を含む。この関連は、ユーザに対して、ビジュアル効果として提示されてもよい。また、この関連は、電子装置１０とのユーザエクスペリエンスを向上させることが意図されている。様々なビジュアル効果が、以下でより詳細に記述される。また、ユーザインタフェース向上機能１２の動作も、以下でより詳細に記述される。ユーザインタフェース向上機能１２は、電子装置１０中に存在してもよく、電子装置１０によって実行されてもよい、実行可能なコードとして実装されてもよいことが、理解されるだろう。例えば、ユーザインタフェース向上機能１２は、コンピュータ読取可能な媒体上に、又は機械読取可能な媒体上に格納されたプログラムであってもよい。
【００４０】
図示された実施形態の電子装置は移動電話であり、移動電話１０として示される。移動電話１０は、ブリック又はブロック型要素のケースを持つものとして示されているが、例えばクラムシェルケースやスライド型ケースのような、他の形式のケースが利用されてもよいことが、理解されるだろう。
【００４１】
移動電話１０は、ディスプレイ１４とキーパッド１６とを含む。ディスプレイ１４は、情報、グラフィカルなオブジェクト（例えばマウスポインタ、アイコン、メニュー選択肢等）、英数字データ、及び画像を、ユーザに対して表示する。これらを表示することによって、ユーザが移動電話１０の様々な機能を利用することを可能にする。ディスプレイ１４はまた、移動電話１０によって受信されたか、移動電話１０のメモリ１８から取得されたか、又はその両方である、動画コンテンツ及び画像の少なくとも一方を、目に見えるように表示するために使われてもよい。
【００４２】
キーパッド１６は、様々なユーザ入力操作を提供する。例えば、キーパッド１６は典型的には、例えば電話番号、電話リスト、連絡先情報、メモ等の、英数字情報の入力を可能にするための英数字キー２０を含む。さらに、キーパッド１６は典型的には、呼を開始するための又は呼に応答するための「呼送信」キーや、呼を終了する又は呼について「受話器を置く」ための「呼終了」キーのような、特別機能キーを含む。特別機能キーは例えば、様々な電話機能、プロファイル、設定等を選択するために、ディスプレイ１４上に表示されたメニュー中をナビゲートするためのメニューナビゲーションキーを、従来通りに含んでいてもよい。移動電話と関連する他のキーには、音量キー、オーディオ消音キー、電源オン／オフキー、ウェブブラウザ起動キー、カメラキー等を含んでいてもよい。キー又はキー類似機能はまた、ディスプレイ１４と関連するタッチスクリーンとして実装されてもよい。
【００４３】
移動電話１０が、典型的には他の移動電話又は陸上有線電話である発呼／着呼デバイスと、呼を確立することと信号を交換することとの少なくとも一方を行うことを可能とする呼回路を、移動電話１０は含む。しかしながら、発呼／着呼デバイスは他の電話である必要はなく、インターネット・ウェブ・サーバ、コンテンツ提供サーバ等の、他のデバイスであってもよい。
【００４４】
図２は、移動電話１０の機能ブロック図を表す。簡略化のために、移動電話１０の概ね一般的な機能は、本明細書では特に詳細には記述されない。移動電話１０は、移動電話１０の機能及び動作の全体的な制御を実行するように構成された、主制御回路２４を含む。制御回路２４は、ＣＰＵ、マイクロコントローラ又はマイクロプロセッサのような、処理デバイス２６を含んでもよい。処理デバイス２６は、移動電話１０の動作を実行するために、メモリ（非図示）に格納されたコードを、制御回路２４内で、メモリ１８のような独立したメモリ内で、又はこの双方で、実行する。メモリ１８は例えば１以上の、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能な媒体、揮発メモリ、不揮発メモリ、又は他の適切なデバイスであればよい。
【００４５】
さらに、処理デバイス２６は、ユーザインタフェース向上機能１２を実行するために、コードを実行する。コンピュータプログラミング、特に移動電話又は他の電子デバイスのためのアプリケーションプログラミングの分野における普通の能力を有する者にとっては、移動電話１０が動作し、本明細書に記述される機能を実行するために、どのように移動電話１０をプログラムするのかは明らかであろう。従って、特定のプログラミングコードに関する詳細は、簡略化のために省略されている。また、本発明の好適な実施形態に従ってユーザインタフェース向上機能１２は処理デバイス２６によって実行されるが、このような機能はまた、専用のハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせによって、本発明の範囲から逸脱することなく実行されてもよい。
【００４６】
図１及び２の参照を続けると、移動電話１０は無線回路３０に連結されたアンテナ２８を含む。無線回路３０は従来通りに、アンテナ２８を介して信号を送受信するための無線周波数送受信器を含む。無線回路３０は、移動通信システムで動作するように構成されていてもよいし、データとオーディオビジュアル・コンテンツとの少なくとも一方を送受信するために使われてもよい。移動無線ネットワークと、放送ネットワークとの少なくとも片方と対話するための無線回路３０は、ＧＳＭ、ＣＤＭＡ、ＷＣＤＭＡ、ＧＰＲＳ、ＭＢＭＳ、ＷｉＦｉ、ＷｉＭａｘ、ＤＶＢ−Ｈ、ＩＳＤＢ−Ｔ等、及びこれらの標準の高等版を含むが、これらには限られない。
【００４７】
移動電話１０は、無線回路３０によって送信される／無線回路３０から受信した音声信号を処理するための、音声信号処理回路３２をさらに含む。従来通りに、ユーザが移動電話１０を介して聞き、話すことを可能にする、スピーカ３４及びマイクロフォン３６が、音声処理回路３２に連結される。無線回路３０及び音声処理回路３２は、全体の動作を実行するために、それぞれが処理回路２４に連結される。メモリ１８によって格納され処理回路２４によって取得されたオーディオファイルからの、又は移動ラジオサービスからの音楽を含むオーディオデータは、ユーザに対して再生するために、処理回路２４から音声信号処理回路３２へと渡されてもよい。音声処理回路３２は、適切なバッファ、復号器、増幅器等をいくらでも含んでいてよい。
【００４８】
移動電話１０はまた、制御回路２４に連結された、上記のディスプレイ１４とキーパッド１６とを含む。ディスプレイ１４は、動画データをディスプレイ１４を動かすために用いられる動画信号に変換する動画処理回路３８によって、制御回路２４に連結されていてもよい。動画データは、制御回路２４によって生成されても、メモリ１８に格納された動画ファイルから取得されても、無線回路３０によって受信された入ってくる動画データストリームに由来しても、どんな他の適切な方法によって得られてもよい。動画処理回路３８は、適切なバッファ、復号器、動画データ信号プロセッサ等をいくらでも含んでいてもよい。
【００４９】
移動電話１０は、１以上のＩ／Ｏインタフェース４２をさらに含む。Ｉ／Ｏインタフェース４２は、典型的な移動電話Ｉ／Ｏインタフェースの形であってもよく、１以上の電子コネクタを含んでいてもよい。典型的なようにＩ／Ｏインタフェース４２は、移動電話１０内の電力供給部（ＰＳＵ）４４のバッテリーを充電するために、移動電話１０をバッテリー充電器に連結するために用いられてもよい。さらに又は代わりに、Ｉ／Ｏインタフェース４２は移動電話１０を、音声処理回路３４によって出力された信号に従って音を聴き取り可能なように発するヘッドセット（時にイヤーセットと呼ばれる）のような、有線接続されたパーソナル・ハンズ・フリー・アダプタ（非図示）へと接続するために働いてもよい。さらにＩ／Ｏインタフェース４２は、移動電話１０をデータケーブルを介してパーソナルコンピュータ又は他のデバイスに接続するために働いてもよい。移動電話１０は、乗り物の電力アダプタ又は電気コンセントの電力アダプタに接続された時に、動作電力をＩ／Ｏインタフェース４２を介して受け取ってもよい。
【００５０】
移動電話１０は、計時機能を実行するためのタイマ４６を含んでいてもよい。このような機能は、呼の継続時間を計時すること、時刻と日時とのスタンプのコンテンツを生成すること等を含んでいてもよい。移動電話１０は、デジタル写真とデジタル映画との少なくとも一方を撮るためのカメラ４８を含んでいてもよい。デジタル写真とデジタル映画との少なくとも一方に対応する、画像ファイルと動画ファイルとの少なくとも一方は、メモリ１８に格納されてもよい。移動電話１０は、全地球測位システム（ＧＰＳ）受信器又はガリレオ衛星システム受信器のような、位置データ受信器５０を含んでいてもよい。移動電話１０は、付属機器、ハンズ・フリー・アダプタ（例えば移動電話１０からヘッドセットへと転送されたオーディオデータに対応する音を聴き取り可能に出力することができるヘッドセット）、他の移動無線端末、コンピュータ又は他のデバイスとの通信を確立するための、赤外線送受信器とＲＦアダプタ（例えばＢｌｏｏｔｏｏｔｈアダプタ）との少なくとも一方のような、ローカル無線インタフェース５２を含んでいてもよい。
【００５１】
移動電話１０は、テキストメッセージ（例えば、口語では「ＳＭＳ」と呼ばれる）、電子メールメッセージ、マルチメディアメッセージ（例えば、口語では「ＭＭＳ」と呼ばれる）、画像ファイル、動画ファイル、オーディオファイル、ベル音、ストリーミングオーディオ、ストリーミング動画、データフィード（ポッドキャストを含む）等のようなデータの、送信、受信及び処理を行うように構成されていてもよい。このようなデータを処理することには、データをメモリ１８に格納すること、データとのユーザ対話を可能にするためにアプリケーションを実行すること、データと関連する動画コンテンツと画像コンテンツとの少なくとも一方を表示すること、データと関連するオーディオ音を出力すること、等を含んでいてもよい。
【００５２】
追加的に図３を参照すると、移動電話１０は、通信システム５４の一部として動作するように構成されていてもよい。システム５４は、移動電話１０によってかけられた呼又は移動電話１０に着信する呼を管理し、移動電話１０にデータを送信し、他の補助機能をいくらでも実行するための、サーバ５８（又はサーバ群）を有する通信ネットワーク５６を含んでいてもよい。サーバ５８は移動電話１０と、転送媒体を介して通信する。理解されるであろうが、サーバ５８は、サーバ機能を実行するために使われる典型的なコンピュータシステムとして構成されていてもよく、サーバ５８の機能を体現する論理的命令を含むソフトウェアを実行するように構成された、プロセッサを含んでいてもよい。伝送媒体は、例えば通信塔（例えばセル塔（ｃｅｌｌ  ｔｏｗｅｒ））、他の移動電話、無線アクセスポイント、衛星等を含む、いかなる適切なデバイス又は集合体であってもよい。ネットワークの一部分は、無線伝送経路を含んでいてもよい。図３には１つの移動電話１０のみが描かれているが、ネットワーク５６は複数の移動電話１０及び他の型のエンド・ユーザ・デバイスの通信活動を支援してもよい。
【００５３】
上述の通り、ユーザインタフェース向上機能１２は、ユーザに対して聴き取り可能に再生される音楽と、ユーザに対して表示されるビジュアルコンテンツとの間の関連を確立するために実行されてもよい。この関連は、移動電話１０とのユーザエクスペリエンスを向上させるように、グラフィカルなビジュアル効果としてユーザに提示されてもよい。ビジュアル効果は、表示されたコンテンツのどのような操作に関連していてもよい。１つの典型的なビジュアル効果は、テキスト、アイコン、背景色若しくは背景グラフィック、シンボル、及びディスプレイ全体等を含む、表示された１以上のオブジェクトの、色、色合い、明るさ、コントラスト、シャープネス又は他の属性を変えることであってもよい。他の典型的なビジュアル効果は、オブジェクトがディスプレイ（１４）を横切って移動する時に、音楽のリズム、テンポ又はペースに一致して、例えば一時的に停止する、動きを遅くする、又は動きを速くすることによって、オブジェクトの動きを変えることであってもよい。他の典型的なビジュアル効果は、カーソルが点滅する方法を、点滅を音楽のリズムに適合させるように変えることであってもよい。他の典型的なビジュアル効果は、画面遷移が行われる方法を、遷移を音楽のリズムに適合させるように修正することであってもよい。さらに、他の典型的なビジュアル効果は、表示されたオブジェクトをパルスさせて、オブジェクトに光っている外見を与えることと、オブジェクトの後ろに輝き又は後光を提示することとを含む。本明細書で特定されるビジュアル効果は例示であって、本明細書に添付される請求項によって定義される発明は、たった数例の、再生されたオーディオと表示されたビジュアルコンテンツとの間の関連を引くために用いられ得る１以上の効果の記述によって、限定されるものではないことが理解されるであろう。また、２以上の効果は、他のビジュアル効果を作り出すために組み合わせられてもよい。
【００５４】
本発明の態様は、ビジュアルインタフェースを音楽の属性に適合させるために、ビジュアル効果をビジュアル・ユーザ・インタフェースに適用することに向けられている。音楽の属性は、例えば拍の頻度において測定されうる、音楽のリズム、テンポ、又はペースに関連していてもよい。他の属性は、例えば高音部の量と比較した低音部の量のような、音楽のピッチであってもよい。他の属性は、ユーザが音楽を再生する音量であってもよい。属性は、音楽の分析によって確認されるだろう。例えば、ユーザインタフェース向上機能１２のソフトウェア要素は、音楽の拍と周波数応答との少なくとも一方を検出するために、音楽が再生される時に音楽に対応するオーディオデータを解析してもよい。他の実施形態では、音楽ファイルとストリーミングオーディオとの少なくとも一方が、ユーザインタフェース向上機能１２がパラメータを決定するために読み取ることができるメタデータ（例えばヘッダ情報）を含んでいてもよい。
【００５５】
ビジュアル効果の適用は、ユーザが移動電話１０の他の機能と対話している間に、音楽又は他のオーディオコンテンツがバックグラウンドで再生される時に、適用されてもよい。さらに、ビジュアル効果の適用は、例えばゲームの実行中又はオーディオビジュアル・コンテンツ（例えば、音楽動画、移動テレビチャンネル、動画ファイル等）の再生中に、オーディオ出力が表示された動画コンテンツと同調している時に、適用されてもよい。
【００５６】
本明細書での議論のために、ビジュアル効果は３つの大まかな分類に分けられるだろう。１つのビジュアル効果は、これらの分類の１つに適合しないこともありうるが、それでもなお本明細書に添付された請求項で述べられる発明の正当な範囲内には入りうる。第１の分類は、音楽と関連するパラメータに基づいて、静止していないオブジェクト（例えば、移動している又は点滅している、カーソル、マウスポインタ、アイコン、グラフィック、テキスト等）を適合させることを含み、図４及び図５を参照して記述される。第２の分類は、音楽と関連するパラメータに基づいて画面遷移を適合させることを含み、図６を参照して記述される。第３の分類は、音楽と関連するパラメータに基づいて、表示されたコンテンツ全体又は表示されたコンテンツの一部を適合させることを含む。
【００５７】
図４を参照すると、ユーザインタフェース向上機能１２を実行する時に移動電話１０によって行われる、例としての論理的動作のフローチャートが図示されている。図４は、移動電話１０によって実行される方法の工程を描いているように考えられてよい。図４は機能的論理ブロックを実行する特定の順序を表しているが、ブロックの実行順序は、表されている順序と比べて変更されてもよい。また、続けて表されている２以上のブロックは、同時に又は部分的に同時に実行されてもよい。あるブロックは、省略されてもよい。さらに、いかなる数の命令、状態変数、信号又はメッセージが、有用性、会計、性能、測定及び故障修理等を向上させる目的で、論理フローに追加されてもよい。全てのそのような変形が、本発明の範囲内にあることが理解される。
【００５８】
論理フローは、ディスプレイ１４上のオブジェクト（例えば、カーソル、マウスポインタ、アイコン、グラフィック、テキスト等）が動いているか否か、又はディスプレイ１４上のオブジェクト（例えばカーソル）がユーザの注目を得るために点滅しているか、に関する判定が行われるブロック６０で開始するだろう。オブジェクトは、ユーザの入力に基づいて、又は移動電話１０によって実行されるプロセスの動作に基づいて、移動又は点滅しているかもしれない。もし、点滅又は移動しているオブジェクトがないならば、否定的な判定がブロック６０で行われ、論理フローは肯定的な判定が行われるまで待機するだろう。もし、あるオブジェクトが移動又は点滅しているならば、肯定的な判定がブロック６０で行われ、論理フローはブロック６２へと進むだろう。
【００５９】
ブロック６２では、音楽又は他のオーディオコンテンツがユーザに対して再生されているか否かに関する判定が行われる。もし音楽が再生されていないならば、否定的な判定がブロック６２で行われ、論理フローはブロック６４へと進行するだろう。ブロック６４では、オブジェクトは既定の設定を用いて移動又は点滅させられるだろう。例えば、マウスポインタの既定の移動には、ポインタを一定の速度でディスプレイ１４を横切って開始点から終了点へと動かすことが含まれてもよい。カーソルの既定の点滅には、それぞれの周期の間にカーソルが表示される時間の長さと、周期とが一定であるような、カーソルの周期的な表示が含まれてもよい。
【００６０】
もしブロック６２において音楽が再生されているならば、肯定的な判定が行われ、論理フローはブロック６６へと進むだろう。ブロック６６では、音楽と関連づけられ、オブジェクトの移動又は点滅に適用されるビジュアル効果に適用可能なパラメータが、確認されるだろう。パラメータは、（例えば音楽の、又は音楽再生と関連するユーザ設定の解析によって）パラメータを検出することによって、又は（例えば音楽と関連する、メタデータ又はヘッダデータを読み取ることによって）パラメータを決定することによって、確認されてもよい。パラメータの確認は、例えば一連の拍の発生を特定するように、継続的に行われてもよい。確認される特定のパラメータ（又は複数のパラメータ）は、適用されるビジュアル効果に依存してもよい。例としてのパラメータは、音楽の拍の発生又は頻度、リズミカルな低音成分、ピッチ、再生音量、歌詞の存在又は歌詞の不存在等を含むが、これらには限られない。
【００６１】
続けてブロック６８では、ビジュアル効果を生成するために、オブジェクトの移動又はオブジェクトの点滅にパラメータが適用される。例えば、もしオブジェクトがディスプレイ１４を横切って動かされていたならば、音楽にペースを合わせて、移動は停止され、加速され、若しくは減速されてもよく、又はこれらが組み合わせられてもよい。
【００６２】
追加的に図５を参照すると、移動しているオブジェクトに対する、パラメータの典型的な適用例が描かれている。図５では、パラメータは拍の発生である。拍の発生は、タイムライン７２に沿ったハッシュマーク７０によって表される。移動しているオブジェクトはポインタ７４であって、左から右へと移動しているように描かれる。それぞれの拍７０に対して、ポインタ７４は対応する拍７０の時刻におけるポインタ７４の位置で、一時的に停止させられ、又は減速されて表示される。よって、拍７０ａで、ポインタ７４は位置７６ａに置かれてもよく、位置７６ａで一時的に停止又は減速してもよい。次の拍７０ｂで、ポインタは位置７６ｂに置かれてもよく、位置７６ｂで一時的に停止又は減速してもよい。その他、続く拍と位置との組７０ｃ／７６ｃ、７０ｄ／７６ｄ等を通って、ポインタ７４が終了位置に到着するまで、同じである。位置７６の間では、ポインタ７４は一定の速度で移動しているように表示されてもよく、表示されなくてもよい。ポインタ７４の停止又は減速は、それぞれの拍に対して約１０分の１秒の間行われてもよく、又は拍の継続時間の間行われてもよい。
【００６３】
この例の変形においては、ポインタ７４（又はビジュアル効果が適用される他のオブジェクト）は、それぞれの拍７０に対して大きく又は小さく表示されてもよいし、それぞれの拍７０に対して異なった色で表示されてもよいし、それぞれの拍７０に対して明るく又は暗く表示されてもよいし、それぞれの拍７０において振動する等してもよい。
【００６４】
図５の例は点滅しているオブジェクトに適用しうることを、当業者は理解するだろう。例えば、点滅しているオブジェクト（例えばカーソル）は、それぞれの拍の発生時に表示されてもよく、又は拍７０の発生に伴って他のどんなビジュアル効果を受けてもよい。また、図５の例は、適用されなければ静止して表示されるオブジェクトに対して適用されてもよい。例えば、アイコン、グラフィック、ポインタ、選択され又は強調された項目、又は他のオブジェクトが、拍７０に一致して、点滅、消滅、色変更、大きさ変更、ジャンプ、振動、パルスさせられても、又はその他の方法で視覚上の外観の変更を受けてもよい。
【００６５】
理解されるであろうが、図５の図示は特定の音楽パラメータ（拍の発生）を特定のオブジェクト（移動しているポインタ７４）に適用する、ただの一例にすぎない。このパラメータを又は他のパラメータを、移動している、静止した、及び点滅しているうちの少なくとも１つであるオブジェクトに対して似たように適用することは、当業者には明らかであろう。
【００６６】
ブロック６４及び６８に続けて、論理フローは処理を繰り返すためにブロック６０に戻ってもよく、終了してもよい。
【００６７】
図６を参照すると、ユーザインタフェース向上機能１２を実行している時に、移動電話１０によって実行される典型的な論理的動作のフローチャートが図示されている。図６は、移動電話１０によって実行される方法の工程を描写していると考えられてよい。図６は機能的論理ブロックを実行する特定の順序を表しているが、ブロックの実行順序は、表されている順序と比べて変更されてもよい。また、続けて表されている２以上のブロックは、同時に又は部分的に同時に実行されてもよい。あるブロックは、省略されてもよい。さらに、いかなる数の命令、状態変数、信号又はメッセージが、有用性、会計、性能、測定及び故障修理等を向上させる目的で、論理フローに追加されてもよい。全てのそのような変形が、本発明の範囲内にあることが理解される。
【００６８】
図６に図示されている論理フローは、図４に図示されている論理フローと類似性を持つ。簡略化のために、図４に関する論理的動作に対して記述された処理であって、図６に図示される論理的動作に適用可能な処理は、簡潔にだけ記述される。
【００６９】
図６の論理フローは、画面遷移の要求が存在するか否かに関する判定が行われる、ブロック７８で開始するだろう。画面遷移とは、コンテンツのある配置を表示しているのを、コンテンツの別の配置を表示するように変化させることである。画面遷移は、アプリケーションを変更する時に起こってもよく、１つのアプリケーション内で起こってもよい。もし画面遷移が要求されないならば、否定的な判定がブロック７８で行われ、論理フローは肯定的な判定が行われるまで待機するだろう。もし画面遷移が要求されるならば、肯定的な判定がブロック７８で行われ、論理フローはブロック８０へと進むだろう。
【００７０】
ブロック８０では、音楽又は他のオーディオコンテンツがユーザに対して再生されているか否かに関する判定が行われる。もし音楽が再生されていないならば、否定的な判定がブロック８０で行われ、論理フローはブロック８２へと進むだろう。ブロック８２では、画面遷移が既定の設定（例えば、設定された時間の長さに亘った滑らかな遷移、又は瞬時の遷移）を用いて行われるだろう。
【００７１】
もしブロック８０において音楽が再生されているならば、肯定的な判定が行われ、論理フローはブロック８４へと進むだろう。ブロック８４では、音楽と関連づけられ、画面遷移に適用されるビジュアル効果に適用可能なパラメータが、確認されるだろう。パラメータは、例えば図４のブロック６６に関して記述されている方法のように、どんな適切な方法で確認されてもよい。
【００７２】
続けて、ブロック８６において、パラメータは画面遷移へと適用される。例えば、画面遷移の間に、表示されるコンテンツが一連のステップにおいて変更されてもよい。それぞれのステップについて、画面全体又は画面についての画面の一部（例えば、細かい格子状配置から選ばれた正方形、又はランダムなピクセル群）が変更されてもよい。例えば、音楽と調和したステップで、ある画面から他の画面へと、表示されたコンテンツが変形されてもよい。あるステップの開始と、あるステップの終了とのうちの少なくとも一方は、音楽の拍に合わせられてもよい。このように、比較的速い音楽が再生される時は、より遅い音楽が再生される時と比べて、全体の遷移はより速く完了されてもよい。また、より遅い音楽、又は小さい音量で再生される音楽に対しては、画面遷移は滑らかな、流れるような遷移として行われてもよい。いくつかの実施形態では、中間画面グラフィック又は中間画面色が、遷移中の１つのステップ又は複数のステップとして導入されてもよい。
【００７３】
ブロック８２及び８６に続けて、論理フローは処理を繰り返すためにブロック７８に戻ってもよく、終了してもよい。
【００７４】
図７を参照すると、ユーザインタフェース向上機能１２を実行している時に、移動電話１０によって実行される典型的な論理的動作のフローチャートが図示されている。図７は、移動電話１０によって実行される方法の工程を描写していると考えられてよい。図７は機能的論理ブロックを実行する特定の順序を表しているが、ブロックの実行順序は、表されている順序と比べて変更されてもよい。また、続けて表されている２以上のブロックは、同時に又は部分的に同時に実行されてもよい。あるブロックは、省略されてもよい。さらに、いかなる数の命令、状態変数、信号又はメッセージが、有用性、会計、性能、測定及び故障修理等を向上させる目的で、論理フローに追加されてもよい。全てのそのような変形が、本発明の範囲内にあることが理解される。
【００７５】
図７に図示されている論理フローは、図４及び図６に図示されている論理フローと類似性を持つ。簡略化のために、図４及び図６に関する論理的動作に対して記述された処理であって、図７に図示される論理的動作に適用可能な処理は、簡潔にだけ記述される。
【００７６】
図７の論理フローは、音楽又は他のオーディオコンテンツがユーザに対して再生されているか否かに関する判定が行われる、ブロック８８で開始するだろう。もし音楽が再生されていないならば、否定的な判定がブロック８８で行われ、論理フローはブロック９０へと進むだろう。ブロック９０では、既定の設定（例えば、通常の明るさ、通常の彩度、通常のシャープネス設定）を用いて、ディスプレイ１４上でのコンテンツの表示が行われる。
【００７７】
もしブロック８８において音楽が再生されているならば、肯定的な判定が行われ、論理フローはブロック９２へと進むだろう。ブロック９２では、音楽と関連づけられ、表示されたコンテンツに適用されるビジュアル効果へと適用可能なパラメータが確認されるだろう。パラメータは、例えば図４のブロック６６に関して記述されている方法のように、どんな適切な方法で確認されてもよい。
【００７８】
次にブロック９４で、パラメータは表示に適用される。例えば、パラメータは音楽再生の音量であって、再生音量に応えて表示の強さが調整されてもよい。もし音量が比較的高い設定に設定されているならば、表示の明るさと、ディスプレイ上に示される色の彩度と、シャープネスとのうちの少なくとも１つが上昇させられてもよい。このように、高い音量での音楽再生に関連する、高められたより強い音楽エクスペリエンスに対応するような方法で、表示は適合させられる。もし音量が比較的低いならば、表示されたコンテンツは既定の設定又は下げられた表示設定（例えば明るさ、コントラスト等）を用いて示されてもよい。また、色の選択（例えば、背景色、メニュー及び画面テーマ色等）が、音量又は他の音楽パラメータ（例えば音楽テンポ）に基づいていてもよい。表示されたコンテンツの調整は、ディスプレイ１４の全体に対して行われてもよいし、ディスプレイ１４の一部分に対して行われてもよい。表示に対する調整は、音楽再生の間連続してもよいし、音楽のリズムと関連していてもよい（例えば、音楽の拍に対応して、明るさ又はシャープネスが強められても、色が変化してもよい）。ディスプレイ１４の部分には、選択された項目（例えばアイコン又は連絡先リストの項目）、背景、メニュー選択肢等が含まれてもよい。
【００７９】
ブロック９０及び９４に続けて、論理フローは終了してもよいし、又は処理を繰り返すためにブロック８８へと戻ってもよい。
【００８０】
上述の説明では、表示の特性を調整するために用いられる様々な典型的なパラメータが提示された。様々な典型的なビジュアル効果もまた提示された。１つの実施形態に関して、記述された若しくは図示された若しくはその双方である、パラメータ及びビジュアル効果は、１以上の実施形態と同じ方法で若しくは同様の方法で用いられてもよいことが理解されるだろう。又は、詳述されたパラメータと詳述されたビジュアル効果との少なくとも一方と組み合わせて、若しくは詳述されたパラメータと詳述されたビジュアル効果との少なくとも一方の代わりに用いられてもよいことが理解されるだろう。あるいは、１以上の実施形態と同じ方法で若しくは同様の方法で、かつ詳述されたパラメータと詳述されたビジュアル効果との少なくとも一方と組み合わせて若しくは代わりに、用いられてもよいことが理解されるだろう。
【００８１】
ユーザインタフェース向上機能１２は、スピーカ３４又はスピーカ（非図示）を介してユーザに対して再生される音楽を補足する、ユーザに対するビジュアルフィードバックを生成してもよい。このように、本明細書で記述された向上機能は、ユーザが様々な他の仕事（例えば、テキストメッセージを読み又は準備すること、動画を見ること、データを分類すること、電子メールメッセージを読み又は準備すること、インターネットをブラウジングすること等）に従事することを可能としながら、ユーザの音楽エクスペリエンスを高める。ユーザの電子デバイスとの対話エクスペリエンスは、バックグラウンド音楽と関連するパラメータを、電子デバイスのナビゲーション及び電子デバイスの他のビジュアルベースの動作に適用することにより、より強固となっていてもよい。また、人の行動パターンがユーザが聴いている音楽の速度とともに変化しうるという、既知の現象がある。ビジュアルエフェクトは、ユーザに対して音楽と調和した追加的な感覚フィードバックを提供することにより、この既知の現象を強めることができるかもしれない。
【００８２】
本発明は特定の好適な実施形態に関して示されかつ記述されたが、本明細書を読み理解すると、当業者は均等物及び変形を見出すであろうことが理解される。本発明は全てのそのような均等物及び変形を含み、続く請求の範囲によってのみ限定される。
【図１】
2009544212.tif 000003
【図２】
2009544212.tif 000004
【図３】
2009544212.tif 000005
【図４】
2009544212.tif 000006
【図５】
2009544212.tif 000007
【図６】
2009544212.tif 000008
【図７】
2009544212.tif 000009
【手続補正書】
【提出日】平成19年10月16日(2007.10.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチメディア・ユーザ・インタフェースを生成する方法であって、
電子デバイス（１０）でバックグラウンド音楽を再生する工程と、
前記音楽に関連するパラメータを確認する工程と、
前記電子デバイスのディスプレイ（１４）上に表示されるグラフィカル・ユーザ・インタフェースであってユーザがこれを介して電子デバイスの機能の実行を命令するグラフィカル・ユーザ・インタフェースのビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該グラフィカル・ユーザ・インタフェースに適用することにより、前記音楽の前記パラメータと調和するように適合させる工程と、
を備えることを特徴とする方法。
【請求項２】
前記パラメータは、前記音楽を解析することによって確認されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記パラメータは、前記音楽と関連するオーディオデータとともに格納された、又は前記音楽と関連するオーディオデータとともに送信されたデータを読み取ることによって確認されることを特徴とする、請求項１に記載の方法。
【請求項４】
前記パラメータは、音楽再生の音量であることを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項５】
前記ビジュアル効果は、少なくとも１つの表示されたオブジェクトの、明るさと色とのうちの少なくとも１つを調整することであることを特徴とする、請求項４に記載の方法。
【請求項６】
前記パラメータは、前記音楽のリズムに関連することを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項７】
前記ビジュアル効果は、前記音楽の拍の発生と関連して前記ディスプレイ上のオブジェクトを移動させることと点滅させることとのうちの１つであることを特徴とする、請求項６に記載の方法。
【請求項８】
前記移動するオブジェクト又は点滅するオブジェクトはポインタであることを特徴とする、請求項７に記載の方法。
【請求項９】
前記点滅するオブジェクトはカーソルであることを特徴とする、請求項７に記載の方法。
【請求項１０】
前記ビジュアル効果は、前記ディスプレイ上に表示された少なくとも１つのオブジェクトを、前記音楽の拍との関連を持つように適合させることであることを特徴とする、請求項６に記載の方法。
【請求項１１】
前記ビジュアル効果は、画面遷移を、前記音楽の拍との関連を持たせて段階的に行うことであることを特徴とする、請求項６に記載の方法。
【請求項１２】
前記画面遷移は、前記電子デバイスの第１のアプリケーション内のコンテンツの第１の配置の表示から、前記第１のアプリケーションとは異なるアプリケーション内のコンテンツの第２の配置の表示への変更を含むことを特徴とする、請求項１１に記載の方法。
【請求項１３】
前記画面遷移は、コンテンツの第１の配置の表示からコンテンツの第２の配置の表示への変更を含み、双方のコンテンツの配置は前記電子デバイスの同一のアプリケーション内であることを特徴とする、請求項１１に記載の方法。
【請求項１４】
前記電子デバイスは移動電話であることを特徴とする、請求項１に記載の方法。
【請求項１５】
電子デバイス（１０）であって、
ディスプレイ（１４）と、
前記電子デバイスによって再生されるバックグラウンド音楽に関連するパラメータを確認するステップと、前記ディスプレイ上に表示されるグラフィカル・ユーザ・インタフェースであってユーザがこれを介して電子デバイスの機能の実行を命令するグラフィカル・ユーザ・インタフェースのビジュアルコンテンツを、前記パラメータとの関連を持つビジュアル効果を当該グラフィカル・ユーザ・インタフェースに適用することにより、前記音楽の前記パラメータと調和するように適合させるステップとを実行することによって、マルチメディア・ユーザ・インタフェースを生成する制御回路（２４）と、
を備えることを特徴とする、電子デバイス。
【国際調査報告】
2009544212.tif 000010
2009544212.tif 000011
2009544212.tif 000012