(57)【要約】【課題】  直接的なユーザ入力をほとんど必要とせずに、ユーザの好みに適合するマルチメディアショーをオーサリングする方法を提供する。【解決手段】  選択されたオーディオと画像のコレクションを自動的に関連付ける方法を、デジタル静止画像のコレクションとオーディオファイルのコレクションを提供する段階と、オーディオファイルのコレクションからオーディオファイルを自動的に選択するための第１基準及び／又はデジタル静止画像のコレクションからデジタル画像を自動的に選択するための第２基準を選択する段階と、第１及び第２基準に従って、マルチメディアショーにおいて選択されたデジタル画像と選択されたオーディオファイルのプレゼンテーションを生成するべく、選択されたデジタル画像及び／又は選択されたオーディオファイルを自動的に分析する段階を更に含んで構成する。【選択図】      図１
2004206711.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアショーにおいて提示するべく画像をオーディオと自動的に関連付ける方法であって、
デジタル静止画像のコレクションを提供する段階と、
オーディオファイルのコレクションを提供する段階と、
前記デジタル静止画像のコレクションから画像を自動的に選択するための基準を選択する段階と、
前記マルチメディアショーにおいて前記選択されたデジタル画像と共に提示するオーディオファイルを選択するべく、前記オーディオファイルを自動的に分析する段階と、を有する方法。
【請求項２】
マルチメディアショーにおいて提示するべく画像をオーディオと自動的に関連付ける方法であって、
デジタル静止画像のコレクションを提供する段階と、
オーディオファイルのコレクションを提供する段階と、
前記オーディオファイルのコレクションからオーディオファイルを自動的に選択するための基準を選択する段階と、
ショーにおいて前記選択されたオーディオファイルと共に提示するデジタル画像を選択するべく、前記デジタル画像を自動的に分析する段階と、を有する方法。
【請求項３】
選択されたオーディオと画像のコレクションを自動的に関連付ける方法であって、
デジタル静止画像のコレクションを提供する段階と、
オーディオファイルのコレクションを提供する段階と、
前記オーディオファイルのコレクションからオーディオファイルを自動的に選択するための第１基準を選択する段階と、
前記デジタル静止画像のコレクションからデジタル画像を自動的に選択するための第２基準を選択する段階と、
前記第１及び第２基準に従って、前記マルチメディアショーにおいて前記選択されたデジタル画像と選択されたオーディオファイルのプレゼンテーションを生成するべく、前記選択されたデジタル画像と前記選択されたオーディオファイルを自動的に分析する段階と、を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽と画像の再生機能を有する装置に関するものであり、更に詳しくは、オーディオ（及び／又は画像）ファイルの主要特性を検出し、それらの特性を使用してオーディオファイルに付加する画像ファイル（又は、画像ファイルに付加するオーディオファイル）の提供を自動化することに関するものである。
【背景技術】
【０００２】
コンピュータ技術とソフトウェア設計の進展により、オーディオと共に画像を表示する「スライドショー」を作成するための様々な方法やツールが提供されている。しかし、これらのシステムの大部分においては、ショーに包含する画像とオーディオの両方をユーザーが具体的に選択することが必要である（即ち、現在市販されている製品としては、Ｓｈｏｃｋｗａｖｅ．ｃｏｍのＰｈｏｔｏＪａｍ、ＮｏｉｚｅＰｌａｙのＰｈｏｔｏｓｈｏｗ製品、Ｔｏｔａｌｌｙ  Ｈｉｐ  Ｉｎｃ．のＬｉｖｅＳｉｄｅＳｈｏｗ２ソフトウェア、Ｍａｃｒｏｍｅｄｉａ  Ｄｉｒｅｃｔｏｒ（商標）、及びＡｄｏｂｅ  Ｐｒｅｍｉｅｒ（商標）などがある）。特許文献１には、音楽の選択によって駆動されると共にユーザーが指定した１組の画像が与えられた場合に、マルチメディアショーを作成する機能が開示されている。この特許文献１には、ビジュアルエフェクト（ｖｉｓｕａｌ  ｅｆｆｅｃｔ）（即ち、クリエイティブ基準（ｃｒｅａｔｉｖｅ  ｃｒｉｔｅｒｉｏｎ／ｃｒｉｔｅｒｉａ））を自動的に選択し適用する機能も開示されているが、画像をインテリジェントに選択しオーディオとマッチングさせる（或いは、この逆の）機能は、開示されていない。
【０００３】
従来技術によるいくつかのシステムにおいては、ユーザーに許されているのは画像のみの選択であり、オーディオは、システムにより、ショーに対してランダムに割り当てられる（即ち、現在市販されているＮｏｉｚｅＰｌａｙのＰｈｏｔｏｊａｍである）。
【０００４】
特許文献２には、既存のオーディオ又はビジュアルメディアに基づいて新しい音楽又は画像を生成するシステムが開示されている。しかしながら、この場合にも、既存のオーディオと画像をマッチングさせることはできない。
【０００５】
その他のシステムにおいては、オーディオを関連付けることなしに、画像のみに基づいたスライドショーの機能が提供されている。消費者の画像をテレビに表示することを目的とするシステムの多くは、オーディオを具体的に関連付けることなく、画像データのみを提供している。２００２年に、ＶｉｓｉｏｎｅｅｒのＰｈｏｔｏＰｏｒｔ  ＴＶ  １００が市場投入されており、ＫｏｄａｋのＰｉｃｔｕｒｅ  Ｃｈａｎｎｅｌは、画像の配布とセットトップボックスを介した共有に関連するサービスである。
【０００６】
残念ながら、現在のシステムには、マルチメディアショーを「インテリジェント」にオーサリングし、ユーザーが選択したオーディオに適した画像を提供（或いは、この逆に、ユーザーが選択した画像に適したオーディオを選択）できるものは存在しない。
【０００７】
現在の方式では、システムがオーサリングするそれぞれのマルチメディアショーごとに、ユーザーによる大量の入力が必要とされている。ユーザーが選択した画像の内容を分析し、その画像の内容、又は、そのメタデータに適したオーディオを自動的に選択可能なシステムは存在していない。又、ユーザーが選択したオーディオの内容を分析し、そのオーディオに適した画像をユーザーのコレクションから自動的に選択可能なシステムも存在していない。
【０００８】
更には、現在のシステムにおいては、ユーザーが好むショーのクリエイティブ基準や好む音楽のジャンルを記憶したり、ユーザーが好む画像基準を判定したりすることはできない。即ち、現在のシステムでは、オーサリングを１回実行することによって収集されるこれらのデータを使用し、後続のショーをインテリジェントにオーサリングすることができないのである。
【０００９】
【特許文献１】米国特許第６，０７８，００５号明細書
【特許文献２】米国特許第５，２８６，９０８号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従って、いま求められているのは、直接的なユーザー入力をほとんど必要とすることなく、画像のコレクション及び／又はオーディオのコレクションに関するデータを収集すると共に、ユーザーの好みに関するデータを収集し、それらのメディアの内容とユーザーの好みに適合するマルチメディアショーをインテリジェントにオーサリングすることができる改良された方法であり、これにより、多くの時間、作業、又は特殊なスキルを必要とすることなく、ユーザーが自分のビジュアル又はオーディオに関する創造性を示すことができるようにすることなのである。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、マルチメディアショーにおいて提示するべく画像をオーディオと自動的に関連付ける方法が提供され、この方法は、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）デジタル静止画像のコレクションから画像を自動的に選択するための基準を選択する段階と、（ｄ）選択されたデジタル画像と共にマルチメディアショーにおいて提示するオーディオファイルを選択するべく、オーディオファイルを自動的に分析する段階と、を有している。
【００１２】
本発明の別の態様によれば、コンピュータにおいて使用するソフトウェアプログラムが提供され、このプログラムは、コンピュータ上に読み込まれた場合に、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）デジタル静止画像のコレクションから画像を自動的に選択するための基準を選択させる段階と、（ｄ）選択されたデジタル画像と共にメルチメディアショーにおいて提示するオーディオファイルを選択するべくオーディオファイルを自動的に分析する段階と、をコンピュータに実行させる。
【００１３】
本発明の更に別の態様によれば、マルチメディアショーにおいて提示するべく画像をオーディオと自動的に関連付ける方法が提供され、この方法は、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）オーディオファイルのコレクションからオーディオファイルを自動的に選択するための基準を選択する段階と、（ｄ）選択されたオーディオファイルと共にショーにおいて提示するデジタル画像を選択するべくデジタル画像を自動的に分析する段階と、を有している。
【００１４】
本発明の更に別の態様によれば、コンピュータにおいて使用するコンピュータソフトウェアプログラムが提供され、このプログラムは、コンピュータに読み込まれた場合に、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）オーディオファイルのコレクションからオーディオファイルを自動的に選択するための基準を選択させる段階と、（ｄ）選択されたオーディオファイルと共にショーにおいて提示するデジタル画像を選択するべくデジタル画像を自動的に分析する段階と、をコンピュータに実行させる。
【００１５】
本発明の更に別の態様によれば、選択されたオーディオと画像のコレクションを自動的に関連付ける方法が提供され、この方法は、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）オーディオファイルのコレクションからオーディオファイルを自動的に選択するための第１基準を選択する段階と、（ｄ）デジタル静止画像のコレクションからデジタル画像を自動的に選択するための第２基準を選択する段階と、（ｅ）第１及び第２基準に従って、マルチメディアショーにおいて、選択されたデジタル静止画像と選択されたオーディオファイルのプレゼンテーションを生成するべく、選択されたデジタル画像と選択されたオーディオファイルを自動的に分析する段階と、を有している。
【００１６】
本発明の別の態様によれば、コンピュータにおいて使用するコンピュータソフトウェアプログラムが提供され、このプログラムは、コンピュータに読み込まれた場合に、（ａ）デジタル静止画像のコレクションを提供する段階と、（ｂ）オーディオファイルのコレクションを提供する段階と、（ｃ）オーディオファイルのコレクションからオーディオファイルを自動的に選択するための第１基準を選択する段階と、（ｄ）デジタル静止画像のコレクションからデジタル画像を自動的に選択するための第２基準を選択する段階と、（ｅ）第１及び第２基準に従って、マルチメディアショーにおいて、選択されたデジタル画像と選択されたオーディオファイルのプレゼンテーションを生成するべく、選択されたデジタル画像と選択されたオーディオファイルを自動的に分析する段階と、をコンピュータに実行させる。
【００１７】
本発明のこれら及びその他の態様、目的、特徴、及び利点は、添付の図面を参照し、以下の好適な実施例に関する詳細な説明と添付の請求項を検討することにより、より明瞭に理解され、認識されるであろう。
【発明を実施するための最良の形態】
【００１８】
本明細書に提示される本発明の好適な実施例に関する詳細な説明においては、次の添付図面が参照されている。
図１を参照すれば、マルチメディア装置１００は、メモリ及び制御ユニット１０４、オーディオ入力メカニズム１１８及び画像入力メカニズム１２０、並びに制御ユニット１０４への命令及びデータの入力に使用するキーボード１１６及びリモートコントロール１１７を備えている。オーディオファイル１１０、画像ファイル１１２、及びユーザー決定基準１１４の形態を取る入力１０２は、メモリ及び制御ユニット１０４に読み込まれ、メモリ１２６に保存される。メモリ及び制御ユニット１０４は、オーディオファイル１１０、画像ファイル１１２、及びユーザー決定基準１１４に対してソフトウェア１２２を適用し新しいマルチメディアファイル１０６を作成し、このファイルがメルチメディア装置１００からオーディオ出力１３０及びビデオ出力１３２に出力される。
【００１９】
オーディオファイル１１０は、元々、ＣＤ−ＲＯＭ、ＤＶＤ、ＭＰ３により、或いはネットワーク又はワールドワイドウェブを介してアクセス可能なデジタルファイルである。これらは、１つ又は複数のオーディオ入力メカニズム１１８を介してメモリ及び制御ユニット１０４に入力される。このオーディオ入力メカニズム１１８は、外部のオーディオシステムコンポーネントにリンクするポート、又はネットワークやインターネットにリンクするポートであるか、或いはメモリ及び制御ユニット１０４のハードウェアに内蔵されたものであってもよい（即ち、内蔵型のＣＤプレーヤ又はメモリカードスロット）。
【００２０】
画像ファイル１１２は、元々、メモリカード、ＵＳＢ又はファイヤワイヤ（Ｆｉｒｅｗｉｒｅ）、或いは遠隔地の保存場所（即ち、ネットワークに接続されたＰＣ、又はＯｆｏｔｏサイトなどのオンラインストレージ）に保存されている画像に対するネットワークアクセスによってアクセス可能な静止画又は動画のデジタルファイルである。これらは、１つ又は複数の画像入力メカニズムを介してメモリ及び制御ユニット１０４に入力される。この画像入力メカニズム１２０は、外部の画像保存場所又はコンポーネント（即ち、デジタルカメラ、ＰＣのハードドライブ、又はインターネットアクセス）にリンクされたポートであるか、或いはメモリ及び制御ユニット１０４のハードウェアに内蔵されたものであってよい（即ち、Picture CDを読み取る内蔵型のＣＤ−ＲＷドライブ、メモリカードスロット、又は無線送信データの受信機）。これらのオーディオ及び画像ファイルの入力メカニズムは、実際には単一のものであってもよい。
【００２１】
マルチメディアショーに包含するファイルの選択は、ユーザー決定基準１１４、又はソフトウェア１２２内に存在する既定の基準１２２に基づいて実行可能である。後述するように、ユーザーには、マルチメディアショーに、オーディオ、画像、及び／又はクリエイティブエフェクト（ｃｒｅａｔｉｖｅ  ｅｆｆｅｃｔ）を包含するための特定の基準を入力するかどうかに関する選択肢が与えられる。この「ユーザー決定基準」１１４の選択肢には３つのタイプが存在し、ユーザーは、キーボード１１６又はリモートコントロール１１７を使用して（図３に示されているように）画面上に提示されたオプションの中から選択することにより、このデータをメモリ及び制御ユニット１０４に入力する。尚、ユーザーがこれら３つのタイプの入力のすべて、或いはこれらの中のいずれかの使用基準を入力しないことを選択した場合には、ソフトウェア１２２は、自身の内部に存在する「既定の基準」１２４に従って適当であると考えられるオーディオ、画像、及び／又はクリエイティブエフェクトを自動的に選択する。この「既定の基準」は、互いに適当な組み合わせとしてプログラムされた画像特性、オーディオ特性、及びクリエイティブエフェクト間のマッピングを備えている。このプロセスについては、図４、図５、及び図６を参照して後述する。
【００２２】
従って、このマルチメディア装置は、１つ又は複数のオーディオ入力メカニズム１１８、１つ又は複数の画像入力メカニズム１２０、並びにメモリ及び制御ユニット１０４を備えている。そして、制御ユニット１０４には、ＲＡＭメモリ１２６とソフトウェア１２２が提供されている。メモリ１２６は、入力１０２のすべてを保存し、必要時には、ソフトウェア１２２にそれらを提供する。ソフトウェア１２２は、図１〜図７に示されている機能を提供すると共に、マルチメディアショーのオーサリングをガイドするためのユーザー決定基準が存在しない場合に、マルチメディアショーの自動的なオーサリングをガイドする１組の既定の基準１２４を含んでいる。
【００２３】
ソフトウェア１２２がマルチメディアショーのオーサリングを完了すると、メモリ及び制御ユニット１０４は、オーディオ出力１３０とビデオ出力１３２の両方を備える出力システム１０８に対して、この新しく編成されたファイル１０６をエクスポートする。この出力システム１０８は、例えば、テレビ、統合型ホームエンターテイメントシステム、或いはＰＣやオーディオ／ビジュアル機能を有する無線装置などのメモリ及び制御ユニット１０４にネットワーク接続された出力システムの形態を取ることができる。ユーザーは、そのショーを視聴した後に、それをメモリ１２６に保存するか、ネットワーク接続された保存場所に保存するか、ネットワーク接続を介してそのショーを共有するか、或いはメモリ及び制御ユニット１０４にネットワーク接続又は内蔵されている書込み装置のＣＤ又はＤＶＤに書き込むか、を選択することができる。
【００２４】
図２は、メモリ及び制御ユニット１０４とやり取りするソフトウェアアーキテクチャ２０４を示すブロックダイアグラムである。ソフトウェア２０４は、オーディオファイル２１０、画像ファイル２１２、及びユーザー決定基準２１４を受信する。そして、既定の基準２２４を使用し、図３〜図７に示されている段階を実行してマルチメディアショーから構成される新しいファイルを編成する。好適な実施例においては、このソフトウェア２０４は、マルチメディア装置１００内に配置されたメモリ及び制御ユニット１０４内に存在している。別の実施例においては、ソフトウェア２０４は、あらゆるタイプのメモリ及び制御ユニット内に配置可能であり、それらは、ホームエンターテイメントシステムのハードウェアコンポーネント、携帯型無線装置、或いはネットワーク接続されたＣＰＵ１２８又はメモリユニットの形態を取ることができる。
【００２５】
次に図３を参照すれば、ユーザーは、段階３００において、ソフトウェアを入力し、次いで、段階３０２において、１つ又は複数のオーディオファイルをメモリ１２６内に読み込むと共に、段階３０４において、１つ又は複数の画像ファイルをメモリ１２６内に読み込むことにより、マルチメディア装置１００の使用を開始する。このメモリ１２６内へのファイルの読み込みは、キャプチャ装置又は別の保存装置からの無線送信、キャプチャ装置又は別の保存装置からの直接的なケーブル接続（ＵＳＢ、Ｆｉｒｅ  Ｗｉｒｅ）、ネットワーク内のどこか別の場所に保存されている画像コレクションにアクセスするネットワーク（即ち、ハードドライブ、携帯機器、セットトップボックス、ステレオコンポーネント、又は音楽保存システムに対する接続）、遠隔地の保存場所においてアクセス可能な画像に対するインターネットアクセス（オンラインストレージ又はリモードネットワークストレージに対するアクセス）、マルチメディア装置１００に対する直接的なメモリカードによる入力、マルチメディア装置１００に対する直接的なＣＤによる入力、又はマルチメディア装置１００に対する直接的なＤＶＤによる入力を含む様々な方法によって実行可能である（但し、これらに限定されない）。これらのファイルは、メモリ１２６内に無期限に保持可能であり、この結果、ユーザーは、マルチメディアショーをオーサリングするたびに新しいファイルを読み込む必要はなく、メモリ１２６内に既に存在しているファイルに基づいてショーをオーサリングすることができる。
【００２６】
次いで、段階３０６において、ユーザーは、マルチメディアショーにおいて画像及びオーディオのいずれかを優先するかどうかを問い合わせるソフトウェアのプロンプトに対して応答する。
【００２７】
そして、ユーザーがオーディオよりも画像を優先することを選択した場合には、段階３０８において、ユーザーは、メモリ１２６内に保存されている画像ファイルの中から画像ファイルのコレクションを指定する。例えば、ユーザーは、メモリ１２６内に保存されているすべての画像がコレクションの一部を構成すると指定したり、一連の特定の個別の画像を選択したり、或いはメモリ１２６内の１つ又は複数の画像フォルダを指定したりすることができる。
【００２８】
次いで、段階３１０において、ユーザーは、ショーに包含する画像の選択にソフトウェアが使用するユーザー決定画像使用基準を入力する。ユーザーは、キーボード１１６又はリモートコントロール１１７を使用して画面上のオプションから選択しデータを入力することにより、これらのユーザー決定基準を指定する。このユーザー決定画像使用基準の例には、画像キャプチャの時期、画像キャプチャの場所、画像のタイトル又はキャプションにおけるキーワード、画像のオーサー、特定主題の包含（即ち、画像認識ソフトウェアによって判定される特定の個体を含む画像）、或いはイベントの識別などの画像メタデータに関する情報が含まれる（但し、これらに限定されない）。次いで、段階３１２において、ソフトウェアは、段階３１０においてユーザーが選択したユーザー決定画像使用基準を段階３０８において選択された画像ファイルコレクションに適用し、マルチメディアショーに包含する資格を有する画像のリスト又は画像のフォルダを作成する。
【００２９】
このユーザー決定基準をコレクションに適用する方法の例には、コレクションとして供給される画像の日付や時間又は主題に関する情報を含むメタデータを使用する段階が含まれる。この情報を使用し、ショーにおいて画像を特定の方法でグループ化することができる（即ち、それらを特定の順番で提示することができる）。このグループ化は、イベントごとに分類するべく画像の内容を自動的に比較する方法を開示するルイ（Ｌｏｕｉ）及びパビー（Ｐａｖｉｅ）に付与された米国特許６，３５１，５５６号明細書に記述されているものなどのイベントクラスタリングアルゴリズムを使用して実行可能である。又、画像の内容をコンピュータビジョン及び画像理解アルゴリズムを使用して分析し、対象の主要主題を検出することも可能である（即ち、それを様々な場面（例：誕生パーティ、卒業式、結婚式、ピクニック、海水浴など）に分類することができる）。
【００３０】
段階３１２における資格を有する画像のリスト又はフォルダの作成が完了したら、段階３１４において、ユーザーは、オーディオに関する好みを選択するかどうかを問い合わせるソフトウェアプロンプトに対して応答する。
【００３１】
この段階３１４において、この質問に対し、ユーザーが「ＹＥＳ」と回答した場合には（或いは、段階３０６において、画像駆動とオーディオ駆動に関する最初の質問に対して、「オーディオ」と答えた場合には）、段階３１６において、ユーザーは、メモリ１２６内に保存されているオーディオファイルの中からオーディオファイルのコレクションを指定する。例えば、ユーザーは、メモリ内のすべてのオーディオファイルがコレクションの一部を構成すると指定したり、一連の特定の個別のオーディオファイルを選択したり、メモリ１２６内の１つ又は複数のオーディオフォルダを指定することができる。次いで、段階３１８において、ユーザーは、オーディオ使用基準を選択するが、これには、アーティスト、ジャンル、リズムのタイプ、トラックの持続時間、楽器の包含、著作権の日付、オーディオトラックをメモリ内に読み込んだ日付、又は音楽の所有権（複数のユーザーが同じマルチメディア装置を使用している場合には、このシステムは、どのユーザーがメモリ１２６内のどのトラックを「所有」しているかを追跡することができる）などのオーディオメタデータに関する情報が含まれる（但し、これらに限定されない）。
【００３２】
次いで、段階３２０において、ソフトウェアは、段階３１８におけるユーザー決定オーディオ使用基準を段階３１６において選択されたオーディオファイルコレクションに対して適用し、マルチメディアショーに包含する資格を有するオーディオのリスト又はオーディオファイルのフォルダを作成する。デジタルオーディオデータ及び／又は関連するメタデータを分析し、段階３１８におけるユーザー判定基準を適用するためには、例えば、ビートの識別が必要となる。音楽のビートの識別は、「抽出したビートを表すビート信号を生成するべく音楽信号に応答して動作する弁別回路」について開示しているムラカミ（Ｍｕｒａｋａｍｉ）による「音楽ソースの再生速度を同期化する装置（Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｓｙｎｃｈｒｏｎｉｚｅｉｎｇ  Ｐｌａｙｂａｃｋ  Ｒａｔｅｓ  ｏｆ  Ｍｕｓｉｃ  Ｓｏｕｒｃｅｓ）」という名称の米国特許第４，５９４，９３０号明細書に開示されている方法を使用し実行することができる。
【００３３】
これが完了すると、段階３２２において、ユーザーは、画像に関する好みを選択するかどうかを問い合わせるソフトウェアプロンプトに応答する。そして、「ＹＥＳ」と回答した場合には、ユーザーは、画像の好みに関するプロセスの開始段階である段階３０８に移動し、このプロセスを実行することになる。
【００３４】
一方、既に実行済みであるか、或いはオーディオの使用に関する好みの選択だけを所望しているために、画像の使用に関するユーザー決定基準の入力オプションに対してユーザーが「ＮＯ」と回答した場合には、段階３２４において、ユーザーは、クリエイティブエフェクトに関する好みを入力するかどうかを問い合わせるソフトウェアプロンプトに応答する。そして、「ＹＥＳ」と回答した場合には、段階３２６において、ソフトウェアは、マルチメディアショーにおけるクリエイティブ処理のための基準を入力するようにユーザーに対して要求する。これは、ムード又はテーマに適合するクリエイティブエフェクトの組み合わせを提供する複数のクリエイティブテンプレートの中からユーザーが選択する形態を取ることができる（尚、クリエイティブテンプレートとは、背景、フォントスタイル、１つの画像から次の画像に遷移するスタイル、及び画像フィルタを含むクリエイティブ要素の既定の組のことである（但し、これらに限定されない）。「クリエイティブテンプレート」の例には、「海岸での休暇」、「クリスマス」、又は「結婚式」などのテーマや「ロマンチック」、「ノスタルジック」、又は「苛立ち」などのムードが含まれる）。或いは、クリエイティブテンプレートの中から選択する代わりに、ユーザーは、クリエイティブ処理の特定の要素に関するオプションの中から選択することにより（例えば、画像の遷移に関する１０個のオプション、背景に関する１０個のオプション、及び画面フォントに関する１０個のオプションの中から選択することにより）、クリエイティブエフェクトに関するユーザー決定基準を入力することも可能である。
【００３５】
一方、段階３２４において、クリエイティブエフェクトのユーザー決定基準（クリエイティブエフェクトに関する好み）を入力するかどうかに関するソフトウェアの問い合わせに対してユーザーが「ＮＯ」と回答した場合には、ソフトウェアは、図４、図５、又は図６に示されているように、マルチメディアショーを編成するためのコンテンツの準備に進む。
【００３６】
次に、図４を参照すれば、オーディオ使用基準に関するユーザー決定基準は入力されているが、画像使用基準に関するユーザー決定基準は入力されなかった場合の処理が示されている。この場合には、段階４００において、ソフトウェアは、図３の段階３２０において選択されたオーディオファイルリストの中のオーディオトラックの１つをランダムに選択する。そして、段階４０２において、ソフトウェアは、このオーディオトラックを分析する。この分析には、アーティスト、ジャンル、リズムのタイプ、トラックの持続時間、楽器の包含、著作権の日付、オーディオトラックをメモリ１２６内に読み込んだ日付、又はオーディオトラックの所有者などのオーディオメタデータに関する情報が含まれる（但し、これらに限定されない）。
【００３７】
次いで、段階４０４において、ソフトウェアは、段階４０２におけるオーディオトラックの分析結果を使用し、ソフトウェア１２２内にプログラムされている複数の既定の基準の中から１つの既定の基準を選択する。この選択された既定の基準により、前記オーディオトラックのメタデータ及び内容の特性に「適合」する画像を識別するべく、ソフトウェアはガイドされることになる（前述のように、「既定の基準」は、ソフトウェア１２４内に保存されており、互いに適当な組み合わせとしてプログラムされた画像特性のオーディオ特性に対するマッピングを備えている）。
【００３８】
例えば、段階４０２におけるオーディオ分析の出力から、そのオーディオトラックのジャンルがテクノであり、ファーストビートであって、持続時間が９０秒であり、ユーザーＡが所有しているトラックであることが判明した場合には、既定の画像基準には、ユーザーＡの画像所有権、「ビートに伴って」発生する画像の遷移（即ち、２秒ごと）（従って、これにより、図３の段階３１２の資格を有する画像リストから選択される画像の数が決まる（即ち、オーディオトラックの持続時間が９０秒の場合に２秒ごとに遷移するには、４５枚の画像が必要となる）、１つ又は複数の顔が登場するか、或いは「パーティ」というキーワードを含むタイトル又はキャプションが付加されているか、又はこのキーワードを含むフォルダに含まれている画像が含まれることになる。
【００３９】
別の例として、オーディオ分析の結果から、そのトラックに楽器としてスチールドラムが使用されていることが判明した場合には、既定の画像基準は、海岸の画像を含むあらゆるフォルダ内の画像を対象とするものになる。米国特許第６，３５１，５５６号明細書に記述されているイベントクラスタリング法及び／又は米国特許第６，１４７，７４２号明細書に記述されている内容解析法を使用し、海岸、パーティ、休暇などの画像の内容に関するデータを判定可能である。
【００４０】
段階４０４におけるオーディオトラックに適した既定の基準の判定が完了したら、段階４０６において、ソフトウェアは、図３の段階３１２の資格を有する画像リストの中から、この既定の基準に適合する画像を識別する。次いで、段階４０８において、ソフトウェアは、前記既定の基準を満足するすべての画像を含むフォルダ又はリストを作成する（ファイルは、時系列で一覧表示される）。
【００４１】
次いで、段階４１０において、ソフトウェアは、ユーザーが図３の段階３２６においてユーザー決定クリエイティブ基準（ｃｒｅａｔｉｖｅ  ｃｒｉｔｅｒｉｏｎ／ｃｒｉｔｅｒｉａ）を既に入力済みであるかどうかを判定する。そして、「ＹＥＳ」の場合には、ソフトウェアは、図７に示されているロジックフローチャートに直接進む。一方、入力していない場合には、段階４１２において、ソフトウェアは、オーディオ分析の出力を使用し、既定のクリエイティブ基準の中から選択する。例えば、オーディオが前述のテクノジャンルのトラックである場合には、ソフトウェア１２４内に保存されている既定のクリエイティブ基準には、特定の変形画像フィルタ、回転特殊エフェクト及び遷移、並びに現代的な背景が含まれることになる。オーディオが前述のスチームドラムバンドのトラックである場合には、既定のクリエイティブ基準には、フェードによる遷移、波と水を描いた背景、及び／又は通常の手書きのように見える画面フォントが含まれることになる。
【００４２】
ユーザー決定基準又は既定の基準に基づいて、オーディオ、画像、及びクリエイティブ処理の基準の収集を完了すると、ソフトウェアは、マルチメディアショーを編成するべく、ファイルの配列作業を開始する（即ち、図７に示されているロジックフローチャートの継続部分に進む）。
【００４３】
次に、図７を参照すれば、段階７００において、ソフトウェアは、クリエイティブ基準（図３の段階３２６におけるユーザーの好み、又は段階４１２／５１０／６０８において既定の基準に基づいて判定されたもの）を使用し、画像リスト（図３の段階３１２におけるユーザー好み、又は図４の段階４０８において既定の基準に基づいて判定されたもの）内の第１の画像を、選択したオーディオトラック（図４の段階４００におけるユーザーの好み、又は図５の段階５０６において既定の基準に基づいて判定されたもの）にリンクする。
【００４４】
次いで、段階７０２において、ソフトウェアは、このクリエイティブ基準を使用し、画像リスト内の第２の画像を前述のオーディオにリンクする。このプロセスは、図３の段階３１２の資格を有する画像コレクションがなくなるか、或いは段階４００、段階５０６、又は段階６０２において選択されたオーディオが終了するかという２つのイベントのいずれかが発生する時点まで反復される。次いで、段階７０４において、ソフトウェアは、これらのリンクされた画像とオーディオのコレクション全体からマルチメディアショーを編成し、段階７０６において、このショーファイルをメモリ１２６内に保存する。
【００４５】
次いで、メモリ及び制御ユニット１０４は、オーディオ／ビジュアル信号をビジュアルディスプレイ１３２及びオーディオ再生１３０システムに出力し、この結果、段階７０８において、ユーザーは、マルチメディアショーを実際に視聴することができる。この再生の際に、ユーザーは、リモートコントロール１１７を使用し、例えば、画像表示の持続時間の長さの変更や特定画像のショーからの削除を指定することにより、リアルタイムでショーを編集することができる。
【００４６】
出力システム上でショーを再生している間に、ソフトウェアは、段階３２０の資格を有するオーディオリスト内の別のオーディオトラックに対して設定される段階３１２の資格を有する画像リスト内の画像から構成される第２のショーのオーサリングを自動的に開始することができる。このプロセスは、段階３１２の資格を有する画像リスト、又は段階３２０の資格を有するオーディオリストのいずれかがなくなる時点まで継続する。
【００４７】
ショーの再生が完了すると、段階７１０において、ソフトウェアは、今後のショーに関するユーザーの入力を収集する。そして、段階７１２において、ソフトウェアは、そのユーザーコマンドを実行するが、これには、段階７１６におけるメモリ１２６からのショーの削除、段階７１８におけるハードドライブ（ユニット内のメモリ１２６又は外部のメモリソース）へのショーの保存、段階７２０におけるディスクへのショーの保存（メモリ及び制御ユニット１０４内に内蔵された、又はネットワークを介してアクセスする外部のドライブのＣＤ又はＤＶＤに書き込むことになろう）、又は段階７２２におけるネットワーク接続を介した他者とのショーの共有が含まれる。又、ユーザーは、段階７１４において、以前の段階に戻り、図３の段階３１８において新しいオーディオ使用基準を、図３の段階３１０において新しい画像使用基準を、或いは図３の段階３２６において新しいクリエイティブ基準を選択することにより、ショーを編集するべく選択することも可能である。即ち、クリエイティブテンプレートに基づいたマルチメディアオーサリングシステム用の方法とソフトウェアによれば、ユーザーは、最初のマルチメディアプレゼンテーションを簡単に編集或いはその他の方法で変更し、改良されたプレゼンテーションを生成することができる。
【００４８】
第１実施例の図４に示されているロジックフローの代わりに、図５のロジックフローを使用することも可能である。この図５は、ユーザーが画像使用に関するユーザー決定基準は入力しているが、オーディオ使用に関するユーザー決定基準は入力していない状況を示している。
【００４９】
段階５００において、ソフトウェア２０４は、段階３１２において判定した資格を有する画像リスト内の画像を分析し、そのデータ内の主要なパターンを判定する。この分析には、前述したようなイベントクラスタリング、画像の内容分析、並びにメタデータの識別及び分析が含まれる（但し、これらに限定されない）。例えば、段階３１２において取得された資格を有する画像のソフトウェア２０４による分析結果から、すべての画像がユーザーＢによってキャプチャされたものであり、画像の大部分が風景写真に関連するものであって、画像の大半のキャプチャ場所がフランス国内であることが判明したとしよう。
【００５０】
段階５０２において、ソフトウェア２０４は、この画像分析の出力を使用し、既定のオーディオ基準を選択する。この例の場合には、既定の基準は、オーディオトラックがユーザーＢのオーディオコレクション内のものであり、タイトルがフランス語であるか、又はタイトルに「パリ」というキーワードが含まれるものということになろう。或いは、クラシックジャンルのオーディオトラック用の既定の基準に風景画像の大部分をリンクしてもよい。
【００５１】
段階５０２において、既定の基準の識別が完了したら、段階５０４において、ソフトウェアは、この既定の基準に適合するメモリ１２６内に保存されているオーディオトラックを識別し、資格を有するオーディオトラックのリストを生成する。そして、段階５０６において、ソフトウェアは、段階５０４において生成した資格を有するトラックのリストから１つのオーディオトラックをランダムに抽出する。
【００５２】
次いで、段階５０８において、ソフトウェアは、段階３２６においてユーザー決定クリエイティブ基準をユーザーが入力済みであるかどうかを判定する。そして、入力していない場合には、段階５１０において、ソフトウェア２０４は、オーディオ分析の結果を使用して既定のクリエイティブ基準の中から選択する。例えば、そのオーディオが、前述のようにタイトルに「パリ」を含むトラックであり、スローリズムを有している場合には、既定のクリエイティブ基準には、単純な遷移（単に交番するビートのみに基づいた１つの画像から次の画像への遷移）とフランスの画像を含む背景が含まれることになる。
【００５３】
オーディオ、画像、及びクリエイティブ処理に関する基準の収集又は割り当てが完了したら、ソフトウェアは、マルチメディアショーを編成するべく、ファイルの配列作業を開始する（即ち、前述の図７のロジックフローチャートの段階７００における継続部分に進む）。
【００５４】
第１実施例の図４に示されているロジックフローの代わりに、図６のロジックフローを使用することも可能である。この場合には、ユーザーは、画像使用基準とオーディオ使用基準の両方を選択している。
【００５５】
段階６００において、ソフトウェアは、判定済みの資格を有する画像リストから画像を抽出した後に、段階６０２において、段階３２０において判定済みの資格を有するトラックのリストからオーディオトラックをランダムに抽出する。
【００５６】
次いで、段階６０４において、ソフトウェア２０４は、段階３２６においてユーザー決定クリエイティブ基準をユーザーが入力済みであるかどうかを判定する。そして、入力していない場合には、段階６０６において、ソフトウェア２０４は、図４を参照して説明したように、選択したオーディオトラックを分析し、このオーディオ分析の出力を使用して、図４を参照して前述したように、段階６０８において、既定のクリエイティブ基準の中から選択する。
【００５７】
ユーザー決定オーディオ及び画像リスト用のクリエイティブ基準の収集又は割り当てが完了すると、ソフトウェア２０４は、マルチメディアショーを編成するべく、ファイルの配列作業を開始する（即ち、図７に示されているロジックフローチャートの継続部分に進む）。
【図面の簡単な説明】
【００５８】
【図１】本発明に従って製造されるシステムの実施例を示す概略図である。
【図２】本発明に従って製造されるシステムにおいて使用するソフトウェアアーキテクチャを示すブロックダイアグラムである。
【図３】ユーザーがオーディオ及び画像ファイルを入力し、本発明に従って作成されるマルチメディアショーにおいて、画像、オーディオ、及びクリエイティブエフェクトを使用するための基準を選択するプロセスを示すロジックフローチャートである。
【図４】ユーザーが、本発明に従って作成されるマルチメディアショーをオーサリングするためのオーディオ基準を選択し画像基準を選択していない場合の図３のロジックフローチャートの継続部分である。
【図５】ユーザーが、本発明に従って作成されるマルチメディアショーをオーサリングするための画像基準を選択しオーディオ基準を選択していない場合の図３のロジックフローチャートの継続部分である。
【図６】ユーザーが、本発明に従って作成されるマルチメディアショーをオーサリングするためのオーディオ使用基準と画像使用基準の両方を選択している場合の図３のロジックフローチャートの継続部分である。
【図７】マルチメディアショーを作成するための選択されたオーディオと画像のコレクションの自動的な関連付けと、本発明に従って作成されるマルチメディアショーの使用に関するオプションと、を示す図４、図５、及び図６のロジックフローチャートの継続部分である。
【符号の説明】
【００５９】
１００…マルチメディア装置
１０２…入力
１０４…メモリ及び制御ユニット
１０６…新しく編成されたファイル
１０８…出力システム
１１０…オーディオファイル
１１２…画像ファイル
１１４…ユーザー決定基準
１１６…キーボード
１１７…リモートコントロール
１１８…オーディオ入力メカニズム
１２０…画像入力メカニズム
１２２…ソフトウェア
１２４…既定の基準
１２６…メモリ（ＲＡＭ）
１２８…ＣＰＵ（プロセッサ）
１３０…オーディオ出力
１３２…ビデオ出力
２０４…ソフトウェア
２１０…オーディオファイル
２１２…画像ファイル
２１４…ユーザー決定基準
２２４…既定の基準
【図１】
2004206711.tif 000003
【図２】
2004206711.tif 000004
【図３】
2004206711.tif 000005
【図４】
2004206711.tif 000006
【図５】
2004206711.tif 000007
【図６】
2004206711.tif 000008
【図７】
2004206711.tif 000009