(57)【特許請求の範囲】
【請求項１】
自動的に並べられ、かつ相互に関連するものごとにグループ化された複数のメディア・オブジェクトの縮小可視表現からなる第１のリストを表示するための手段、
手作業によって並べられた前記複数のメディア・オブジェクトの縮小可視表現からなる第２のリストを表示するための手段、
前記縮小可視表現間を移動するための手段、及び
前記複数のメディア・オブジェクトを表示するための手段、
を有するデジタルストーリー作成再生のためのシステムであって、
前記第１のリストはインポートされたストーリーからなり、前記第２のリストは作成されたストーリーからなり、
インポートされたストーリーは第１のトラックに表示され、作成されたストーリーは第２のトラック及び第３のトラックに表示され、前記第３のトラック上の作成されたストーリーは作成中のストーリーであることを特徴とするシステム。
【請求項２】
各メディア・オブジェクトに関連付けられた音声クリップのためのナレーションを録音する手段をさらに有することを特徴とする請求項１記載のシステム。
【請求項３】
前記複数のメディア・オブジェクトを表示するための手段は、インポートされたストーリー、作成されたストーリー、及び／又は、インポートされたストーリー又は作成されたストーリー中の選択されたオブジェクトに関連付けされた各音声クリップを表すものを表示することを特徴とする請求項１記載のシステム。
【請求項４】
作成されたストーリーを、ユーザが編集できるように前記第２のトラックから前記第３のトラックへ移動させる手段をさらに有することを特徴とする請求項１記載のシステム。
【請求項５】
複数のメディア・オブジェクトの縮小可視表現の第１のリストを表示するための手段は、一連の音声ファイルを表示するための手段を含むことを特徴とする請求項１記載のシステム。
【請求項６】
音声ファイルは、ＭＰ３ファイル、LiquidAudioファイル、RealJukeboxファイル及びＷＡＶファイルからなる群、あるいは、他の圧縮又は非圧縮音声ファイルフォーマットの中から選ばれることを特徴とする請求項５記載のシステム。
【請求項７】
複数のメディア・オブジェクトの縮小可視表現の第１のリストを表示するための手段は、複数のビデオ・クリップを表示する手段を含むことを特徴とする請求項１記載のシステム。
【請求項８】
ビデオ・クリップは、ＭＰＥＧファイル、QuickTimeファイル、ＡＶＩファイル及びRealVideoファイルからなる群から選ばれることを特徴とする請求項７記載のシステム。
【請求項９】
自動的に並べられ、かつ相互に関連するものごとにグループ化された複数のメディア・オブジェクトの縮小可視表現からなる第１のリストを表示し、
手作業によって並べられた前記複数のメディア・オブジェクトの縮小可視表現からなる第２のリストを表示し、
前記縮小可視表現間を移動し、
前記複数のメディア・オブジェクトを表示する、
デジタルストーリー作成再生のための方法であって、
前記第１のリストはインポートされたストーリーからなり、前記第２のリストは作成されたストーリーからなり、
インポートされたストーリーは第１のトラックに表示され、作成されたストーリーは第２のトラック及び第３のトラックに表示され、前記第３のトラック上の作成されたストーリーは作成中のストーリーであることを特徴とする方法。
【請求項１０】
さらに、各メディア・オブジェクトに関連付けられた音声クリップのためのナレーションを録音することを特徴とする請求項９記載の方法。
【請求項１１】
前記複数のメディア・オブジェクトの表示において、インポートされたストーリー、作成されたストーリー、及び／又は、インポートされたストーリー又は作成されたストーリー中の選択されたオブジェクトに関連付けされた各音声クリップを表すものを表示することを特徴とする請求項９記載の方法。
【請求項１２】
さらに、作成されたストーリーを、それをユーザが編集できるように前記第２のトラックから前記第３のトラックへ移動させることを特徴とする請求項９記載の方法。
【請求項１３】
複数のメディア・オブジェクトの縮小可視表現の第１のリストの表示は、一連の音声ファイルを表示することを含むことを特徴とする請求項９記載の方法。
【請求項１４】
音声ファイルは、ＭＰ３ファイル、LiquidAudioファイル、RealJukeboxファイル及びＷＡＶファイルからなる群、あるいは、他の圧縮又は非圧縮音声ファイルフォーマットの中から選ばれることを特徴とする請求項１３記載の方法。
【請求項１５】
複数のメディア・オブジェクトの縮小可視表現の第１のリストの表示において、複数のビデオ・クリップを表示することを特徴とする請求項９記載の方法。
【請求項１６】
ビデオ・クリップは、ＭＰＥＧファイル、QuickTimeファイル、ＡＶＩファイル及びRealVideoファイルからなる群より選ばれることを特徴とする請求項１５記載の方法。
【請求項１７】
複数のオブジェクトからなるストーリーを複数保持する記憶装置と、前記記憶装置と情報をやりとりするプロセッサを有し、
前記プロセッサは、
自動的に並べられたオブジェクトを有する複数のインポートされたストーリーのための第１のストーリー・トラックを表示し、
複数の作成されたストーリーのための第２のストーリー・トラックを表示し、
前記ストーリー中の選択されたオブジェクトのフルサイズ画像を表示し、
選択トラックのあるストーリー・トラックから別のストーリー・トラックへの移動、選択オブジェクトのあるオブジェクトから別のオブジェクトへの移動を含むユーザからのナビゲーション入力を処理し、
ストーリーの再生、録音又は再生の停止、及びストーリーの保存を含むユーザからの操作入力を処理する、
デジタルストーリー作成再生のためのシステムであって、
前記プロセッサは、作成中のストーリーのための第３のストーリー・トラックを表示することができ、前記ナビゲーション入力はオブジェクトの前記第３のストーリー・トラックへの追加、及び、前記第３のストーリー・トラックからのオブジェクトの削除をさらに含むことを特徴とするシステム。
【請求項１８】
ユーザからの操作入力は選択されたオブジェクトのためのナレーションの録音をさらに含むことを特徴とする請求項１７記載のシステム。
【請求項１９】
前記プロセッサは、選択されたオブジェクトに関連付けられた複数のナレーションを表示することができることを特徴とする請求項１７記載のシステム。
【請求項２０】
インポートされたストーリー中のオブジェクトは時刻順に自動的に並べられることを特徴とする請求項１７記載のシステム。
【請求項２１】
新たなオブジェクトを入力するためのオブジェクト入力装置をさらに有し、前記新たなオブジェクトはインポートされるストーリー、デジタル写真、ビデオ・クリップ、文書のページ、プレゼンテーション・スライド、音声クリップ及びウェブ・ページを含むことを特徴とする請求項１７記載のシステム。
【請求項２２】
宛先の電子メールアドレスへ電子メールの添付ファイルとしてストーリーを送信するための通信用ドッキング・クレードル及び出力装置をさらに有することを特徴とする請求項１７記載のシステム。
【請求項２３】
さらに、ストーリーをウェブ・サーバーへ送信し、そのストーリーにユニークなＵＲＬを割り当て、そのＵＲＬを電子メールで宛先へ送信することを特徴とする請求項２２記載のシステム。
【請求項２４】
音声クリップのためのナレーションを録音する録音装置をさらに有し、前記録音装置は、音声作動式録音装置及びマイクロフォン式録音装置からなる群のうちの１つであることを特徴とする請求項１７記載のシステム。
【請求項２５】
選択されたオブジェクトが１つ以上のストーリー中にあり、
選択されたオブジェクトは１つ以上の関連付けられた音声クリップを有し、
各音声クリップは１つのストーリーに関連付けされ、
各音声クリップは０個以上のナレーションを有する、
ことを特徴とする請求項１７記載のシステム。
【請求項２６】
選択されたオブジェクトに関連付けられた全ての音声クリップを表示し、ストーリーに関連付けられた音声クリップは現在の音声クリップとして表示され、現在の音声クリップは他の全ての音声クリップより先に表示されることを特徴とする請求項２５記載のシステム。
【請求項２７】
前記第３のストーリー・トラック上の作成中のストーリーは、その作成が完了した時に前記第２のストーリー・トラックの最後に配置され、かつ記憶装置に保存されることを特徴とする請求項１７記載のシステム。
【請求項２８】
さらに、前記第３のストーリー・トラック上のオブジェクトをグループ化して各オブジェクトのためのナレーションを録音し、ストーリーの保存においてオブジェクト及び関連付けされた音声クリップを保存することを特徴とする請求項２７記載のシステム。
【請求項２９】
ストーリー及び関連付けされたオブジェクトは、マークアップ言語フォーマットによりファイルとして記憶装置に保存されことを特徴とする請求項２７記載のシステム。
【請求項３０】
マークアップ言語フォーマットはＨＴＭＬ、ＳＭＩＬ又はＸＭＬであることを特徴とする請求項２９記載のシステム。
【請求項３１】
ストーリーの再生において、
ナビゲーション入力により前記第１、第２又は第３のストーリー・トラックからストーリーを選択し、
再生動作を作動させ、
選択されたストーリー中の複数オブジェクトの各オブジェクトに対応したフルサイズ画像を表示させる、
ことを特徴とする請求項１７記載のシステム。
【請求項３２】
画像の表示において、
ストーリー中のオブジェクトを、ストーリーの先頭から最後へ向かう順に選択し、
選択されたオブジェクトに対応した音声クリップを再生する、
ことを特徴とする請求項３１記載のシステム。
【請求項３３】
１つ以上の画像オブジェクトが表示された第１のトラック、又は、１つのストーリーとして記憶された１つ以上の画像オブジェクトからなる以前生成された１つ以上のストーリーを収容している第２のトラックに表示されている複数のオブジェクトから、複数のオブジェクトを選択し、選択したオブジェクトを１つのストーリーを作成するため第３のトラックに配置し、
それぞれの選択されたオブジェクトのためのナレーションを録音し、そのナレーションを選択されたオブジェクトに関連付けし、
作成されたストーリーを前記第２のトラックに保存し、
そのストーリーを再生する、
ことを特徴とするデジタルストーリー作成再生のための方法。
【請求項３４】
インポート・トラック、作成トラック、及び作業トラックを常時表示し、
選択されたオブジェクトのフルサイズ画像を表示し、
選択されたオブジェクトに関連付けられた１つ以上の音声クリップを表示する、
ことを特徴とする請求項３３記載の方法。
【請求項３５】
ストーリーに関連付けられた選択されたオブジェクトのための音声クリップは現在の音声クリップとして表示され、この現在の音声クリップは選択されたオブジェクトのための他の全ての音声クリップより先に表示されることを特徴とする請求項３３記載の方法。
【請求項３６】
音声クリップの再生において、現在の音声クリップ以外の代替の音声クリップを選択することを特徴とする請求項３５記載の方法。
【請求項３７】
選択されたオブジェクトは１つ以上の関連付けられた音声クリップを持ち、各音声クリップは１つの作成されたストーリーに関連付けられ、各音声クリップは０個以上のナレーションを有することを特徴とする請求項３３記載の方法。
【請求項３８】
前記インポート・トラック又は前記作成トラック上の各ストーリーは、隣接したストーリーと異なった色の背景を有することを特徴とする請求項３３記載の方法。
【請求項３９】
ストーリーの再生において、前記インポート・トラック又は前記作成トラップから１つのストーリーを選択し、選択されたストーリー中の各オブジェクトに対応するフルサイズ画像を表示することを特徴とする請求項３３記載の方法。
【請求項４０】
フルサイズ画像の表示において、ストーリー中のオブジェクトを、ストーリーの先頭から最後へ向かう順に選択し、
選択されたオブジェクトに関連付けられた音声クリップを再生する、
ことを特徴とする請求項３９記載の方法。
【請求項４１】
作成されたストーリーとそれに関連付けられたオブジェクトは、マークアップ言語フォーマットによりファイルとして保存されることを特徴とする請求項３３記載の方法。
【請求項４２】
マークアップ言語フォーマットはＨＴＭＬ、ＳＭＩＬ又はＸＭＬであることを特徴とする請求項４１記載の方法。
【請求項４３】
前記インポート・トラック、作成トラック及び作業トラック上のオブジェクトは、対応オブジェクトのサムネイル画像もしくは縮小表示の形で表示されることを特徴とする請求項３３記載の方法。
【請求項４４】
オブジェクトの選択において、選択が標準速度で行われる場合にはサムネイル画像を高解像度で表示し、選択が高速で行われる場合にはサムネイル画像を低解像度で表示することを特徴とする請求項３３記載の方法。
【請求項４５】
選択が高速で行われる時には、画像及び関連付けされた音声クリップを表示しないことを特徴とする請求項４４記載の方法。
【請求項４６】
外部装置から新たなオブジェクトを受け取り、この新たなオブジェクトにはインポートされたストーリー、デジタル写真、ビデオ・クリップ、文書のページ、プレゼンテーション・スライド、音声クリップ及びウェブ・ページが含まれることを特徴とする請求項３３記載の方法。
【請求項４７】
ストーリーを宛先の電子メールアドレスへ電子メールの添付ファイルの形で送信することを特徴とする請求項３３記載の方法。
【請求項４８】
インポートされた各ストーリーは自動作成された１つのグループであり、インポートされた各ストーリーは互いに視覚的に区別可能であり、作成された各ストーリーは互いに視覚的に区別可能であることを特徴とする請求項３３記載の方法。
【請求項４９】
同じトラック上にある各ストーリーは異なった色の背景を有し、各ストーリーはギャップにより互いに分離されることを特徴とする請求項４８記載の方法。
【請求項５０】
前記ギャップは、ストーリー作成時刻の時間差を表すことを特徴とする請求項４９記載の方法。
【請求項５１】
ユーザがトラック選択、オブジェクト選択、及び、選択されたオブジェクトのあるトラックから別のトラックへの移動を行うことができるように構成されたポインティング・デバイスをさらに有し、前記ポインティング・デバイスはマウス、外付けのジョイスティック、音声作動式制御装置、タッチスクリーン、トラックパッド、及びカーソル制御装置からなる群から選ばれたものであることを特徴とする請求項１７記載のシステム。
【請求項５２】
新たなオブジェクトを前記第１のストーリー・トラックに追加するために利用されるビデオカメラが付属していることを特徴とする請求項１７記載のシステム。
【請求項５３】
前記第１、第２及び第３のトラック上のオブジェクトは、対応オブジェクトのサムネイル画像もしくは縮小表示の形で表示されることを特徴とする請求項１７記載のシステム。
【請求項５４】
前記トラックが折り畳み形式で表示するように構成されている場合に、各ストーリーのための最初のサムネイル画像がそのストーリーを表すために用いられることを特徴とする請求項３７記載の方法。
【請求項５５】
あるオブジェクトから別のオブジェクトへの選択オブジェクトの移動において、その移動が標準速度で行われる場合にはサムネイル画像を高解像度で表示し、その移動が高速で行われる場合にはサムネイル画像を低解像度で表示することを特徴とする請求項１７記載のシステム。
【請求項５６】
選択オブジェクトの移動が高速で行われる場合には、サムネイル画像及び関連付けられた音声クリップを表示しないことを特徴とする請求項５５記載のシステム。
【請求項５７】
デジタル・ストーリーを記憶するための手段、該デジタル・ストーリーはインポートされたストーリーと作成されたストーリーとがあり、各ストーリーは複数のオブジェクトからなる、
記憶されているオブジェクトを用いてストーリーを作成するための手段、
前記インポートされたストーリーに関連付けられたストーリー・トラック及び前記作成されたストーリーに関連付けられたストーリー・トラックを表示するための手段、
前記ストーリー・トラック間及び１つのストーリー・トラック上のオブジェクト間を移動するための手段、
を有するデジタルストーリー作成再生のためのシステムであって、
前記ストーリー・トラックを表示するための手段は、インポートされたストーリーを第１のトラックに表示する手段、作成されたストーリーを第２のトラックに表示する手段、及び、作成中のストーリーを第３のトラックに表示する手段とからなることを特徴とするシステム。
【請求項５８】
前記ストーリーを作成するための手段は、オブジェクトを選択する手段、選択されたオブジェクトに関連付けされた音声クリップのためのナレーションを録音する手段、作成されたストーリーを前記記憶手段に保存する手段からなることを特徴とする請求項５７記載のシステム。
【請求項５９】
作成されたストーリーはＸＭＬファイルフォーマット、ＳＭＩＬファイルフォーマット又はＨＴＭＬファイルフォーマットによって保存されることを特徴とする請求項５８記載のシステム。
【請求項６０】
選択されたオブジェクトのフルサイズ画像を表示するための手段、選択されたオブジェクトに関連付けされた１つ以上の音声クリップを表示するための手段、及び、前記音声クリップを再生するための手段をさらに有することを特徴とする請求項５７記載のシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的には、画像の検索及び編成の分野に係り、特に、デジタル・オブジェクト（例えば画像）を用いたマルチメディアの作成に関する。
【０００２】
【従来の技術】
写真は様々な種類の日常的な話をする際に中心的な役割を演じる。写真の最も一般的で楽しい使い道の１つは、体験や旅行、友人、家族にまつわる話を共有するために利用することである。殆どだれでも、そのような形で、個人的体験のやりとりからはじまって家族や文化の歴史まで話をした経験があるものである。ワールドワイドウェブは、そのような話をデジタル化して共有することを容易化できるため、「デジタルのストーリー作成再生」への動きを加速した。デジタル化した話を、本明細書ではデジタルストーリーと呼ぶ。デジタル写真は、その内容（例えば色やテクスチャーなどの特徴）とメタデータ（例えばユーザが付けた文字による注釈）の両方によって検索し取り出すことができるという、プリント写真にはない利点がある。
【０００３】
今日、殆どのデジタルストーリーは、コンピュータの熟練者によって、画像の編集やウェブ・ページの作成（オーサリング）のための専用ソフトウェアで作成されている。また、このようなデジタルストーリーの作成は、ウインドウ又はテーブル及び何らかの種類のポインティング・デバイスもしくはカーソル制御デバイスに依存したグラフィカル・インターフェースを有するシステム上で行われている。この種のシステムは、一般に、持ち運びできず、使用方法も複雑である。このことが、この種システムの共同利用を困難にしている。また、この種のシステムは、かなりのトレーニングを必要とするため、一般消費者が利用するには適さない。
【０００４】
【発明が解決しようとする課題】
よって、本発明の目的は、以上のような不都合に鑑み、デジタルストーリーの作成再生のための改良された方法及びシステムを提供することにある。
【０００５】
【課題を解決するための手段】
本発明の一実施態様によれば、３つの領域を有するビジュアル・インターフェースが用意される。その第１の領域は３つの画像トラックを表示する。１つのトラックは装置に記憶されている画像を表示する。２番目のトラックは作成されたストーリーの画像を表示する。３番目のトラックは装置上で現在作成中のストーリーに関連付けられた１つ以上の画像を表示する。これら３つのトラック間の移動及び各トラック上の画像間の移動のために制御ボタンを利用できる。ビジュアル・インターフェースの第２の領域は、第１の領域内の３つのトラック中のいずれかのトラック上にある選択されたサムネイル画像に対応した画像の大サイズ画像を表示する。ビジュアル・インターフェースの第３の領域は、第２の領域に表示されている画像に関連付けられた１つ以上の音声クリップ及び他の情報を表現するものを表示する。以下、本発明の詳細について添付図面を参照して説明する。
【０００６】
【発明の実施の形態】
マルチメディア・ストーリー作成・再生システムについて述べる。以下の説明において、本発明の完全な理解のために様々な具体例を提示する。しかし、当業者には、そのような具体例によることなく本発明を実施し得ることは明白であろう。一方、本発明を分かりにくくしないため、周知の方法、手順、プロトコル、要素、アルゴリズム、回路はブロック図の形で表し、詳細には述べない。
【０００７】
以下の詳細な説明には、コンピュータ・メモリ内のデータビットに対する操作のアルゴリズム及び記号表現によって表された部分がある。このようなアルゴリズム記述及び表現は、データ処理技術分野において、当業者が研究内容を他の当業者に最も効率的に伝えるために用いる手段である。あるアルゴリズムがあり、それが概して期待した結果に至る筋の通ったステップの系列だと理解されるとする。そのステップは、物理量の物理的処理を要するステップである。必ずという訳ではないが、これらの物理量は記憶、転送、結合、比較、その他処理が可能な電気的または磁気的信号の形をとるのが普通である。これらの信号をビット、値、要素、記号、文字、用語、数等で表わすのが、主に慣用上の理由から便利な場合があることが分かっている。
【０００８】
しかしながら、このような用語や同様の用語はすべて適切な物理量に関連付けられるべきであり、また、それら物理量に付けた便宜上のラベルに過ぎないということに留意すべきである。以下の説明より明らかなように、特に断わらない限り、”処理”、”演算”、”計算”、”判定”、”表示”等の用語によって論じられることは、コンピュータシステムのレジスタ及びメモリの内部の物理的（電子的）な量として表現されたデータを処理して、コンピュータシステムのメモリやレジスタ、その他同様の情報記憶装置、情報伝送装置又は表示装置の内部の同様に物理量として表現された他のデータへ変換する、コンピュータシステムや同様の電子的演算装置の作用及びプロセスを意味する。
【０００９】
本発明は、ここに述べる処理を実行するための装置にも関係するものである。このような装置は、所要目的のために専用に作られてもよいし、内蔵のコンピュータ・プログラムによって選択駆動もしくは再構成された汎用コンピュータであってもよい。そのようなコンピュータ・プログラムは、コンピュータが読み取り可能な記憶媒体、限定するわけではないが例えば、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスクなどの任意の種類のディスク、リードオンリーメモリ（ＲＯＭ）やランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カードなど、すなわち電子的命令の記憶に適したコンピュータのシステムバスに接続された任意種類の媒体に格納することができる。
【００１０】
ここに提示するアルゴリズム及び表示は、本質的に、いかなる特定のコンピュータ、その他の装置とも関わりがない。様々な汎用マシンを、ここに述べる内容に従ったプログラムで使用し得るが、所要の手順のステップの実行のために、より特化した装置を作るほうが好都合であるかもしれない。これら多様なシステムに要求される構造は以下の説明から明らかになろう。さらに、どのような特定のプログラミング言語とも関連付けることなく本発明を説明する。ここに述べる本発明の内容を実現するために様々なプログラミング言語を使用し得ることを理解されよう。
【００１１】
《概要》
以下、デジタル写真及びデジタル・ストーリーを共有する機能を提供する本発明のマルチメディア・ストーリー作成再生システムについて説明する。一実施例では、本システムは、ユーザが写真及び／又はストーリーの閲覧、作成及び再生の間をシームレスに切り替えることを可能にする。一実施例では、マルチメディア・ストーリー作成再生システムは３つの要素、すなわち、記憶要素、表示要素及び対話要素を有する。記憶要素は、表示要素によって表示されるデジタル・メディア・オブジェクトを記憶する。このシステムは、ユーザがデジタル・メディア・オブジェクト間を移動し、ストーリーもしくはプレイリスト（playlist）を作成できるようにする対話要素（例えば制御ボタン）を備える。本明細書において、ストーリーもしくは「プレイリスト」とは、画像やビデオ・クリップなどのデジタル・メディア・オブジェクトの順序付けした集合である。一番上のトラック上のインポートされたストーリーは、単に１枚の写真であってもよく、それにナレーション・トラックが付属していてもいなくともよい。写真は、１巻きのフィルムの場合と同様に、複数枚をひとまとめにしてインポートすることができる。同じように、１つの文書の複数ページの画像を１まとめにすることもできる。すなわち、これらを１つのナレーション・トラックとすることはできないが、インポートされた写真の集合又は１枚の写真は本明細書でいうところの１つのストーリーとすることができる。
【００１２】
一実施例では、システム内に記憶されるデジタル・メディアとして、写真、画像、音声クリップ及びビデオ・クリップがある。これらのデジタル・メディアには、素材のままのオブジェクト、例えば個々の写真などのほか、作成されたオブジェクトつまり複数種類のメディアをまとまったストーリーに組み合わせるオブジェクトも含めることができる。作成されたオブジェクトの一例は、音声クリップもしくはナレーション・クリップと関連付けされた一連の写真である。一実施例では、オブジェクトの取り込み時刻が把握され、そのオブジェクトと一緒にシステムに記憶される。
【００１３】
ユーザの操作をまったく要せずに、新しいオブジェクトをシステムに自動的に入力することができる。新しいオブジェクトは１つ以上のソースを利用しシステムに入力される。例えば、デジタル写真を記録したフラッシュメモリカードから入力したり、ビデオカメラから入力したり、フロッピー・ドライブやＣＤ−ＲＯＭドライブによってデジタル写真やビデオ・クリップを読み込んだり、ネットワークでダウンロードする等々である。一実施例では、ユーザがフラッシュメモリカードをシステムのスロットに挿入すると、そのフラッシュメモリカードから自動的に写真が複写されてシステムに格納される。もう１つの実施例では、システムは写真及びストーリーが添付された電子メールメッセージを受信することができる。そして、この写真及び／又はストーリーを自動的にアクセスすることができる。当業者には、マルチメディア・オブジェクトを様々な方法でシステムに入力し得ることは明白であろう。
【００１４】
ナレーションは、例えば、録音した音声の注釈、デジタル・インクで書かれた注釈あるいはタイプ打ちされた注釈など、様々な形をとることができる。一実施例では、１つのナレーション・トラックを、１つのオブジェクトに適用することも、いくつかのオブジェクトに適用することもできる（例えば、一連の画像に対し１つのナレーション・トラックを適用する）。１つのオブジェクトに対し、複数のナレーション・トラックがあってもよい。すなわち、同じデジタル・オブジェクト（写真）に、いくつかのナレーションを関連付けすることができる。
【００１５】
システムの表示要素は、デジタル・メディア・オブジェクトをユーザに表示する複数のトラックを備える。１番目のトラックは、システム内に記憶されているデジタル・メディア・オブジェクトを表示する。２番目のトラックは、作成されたストーリーに統合されたデジタル・メディア・オブジェクトを表示する。３番目のトラックは、システムを利用して現在作成中のストーリーに関連付けられた１つ以上のデジタル・メディア・オブジェクトを表示する。
【００１６】
システムの表示要素は、ユーザが記憶されているオブジェクト間を移動することを可能にする。これに、素材のままのオブジェクト（例えば、ナレーションが関連付けされていないオブジェクト）を閲覧できること、ストーリーを閲覧できること、及び、以前作成されたストーリーを再生できること、を含めることができる。一実施例では、ストーリー再生には、画像のスライドショーを、関連付けられたナレーションがあればそれと一緒にユーザに表示することも含まれる。
【００１７】
システムの対話要素は、ユーザが新しいストーリーを作成することを可能にする。一実施例では、ユーザは、いくつかの方法の１つ以上を利用して新しいストーリーを作成することができる。例えば、ユーザは、内容のないストーリーからスタートして、そのストーリーにオブジェクトを追加し、個々のオブジェクト又はある範囲のオブジェクトにナレーションを追加することによりストーリーを作成することができる。オブジェクトの選択とナレーションの追加は、好きな順番で行うことができる。ユーザは、既存のストーリーに対する編集操作又は削除操作を行うことによって新しいストーリーを作ることができる。
【００１８】
一実施例では、システムはモードレス（modeless）のインターフェースを有し、これはユーザに、少数のボタンからなり、ポインティング・デバイスやタッチスクリーンを含まないインターフェースを提供する。もう１つの実施例では、システムは、一般的なデスクトップ・コンピュータやスタンドアローン機器を利用して実現される。ユーザがこのようなシステムを制御するには、例えば、マウス、キーボード、タッチスクリーン、タッチパッドなどの標準的な入力装置、あるいは、本明細書で述べる対話のために専用に設計されたボタン及び／又はスライダからなる物理的な制御環境を利用することができる。
【００１９】
図１は、システムの表示画面の一例を示す。メディア・オブジェクトは、例えばデジタルカメラ、デジタル・ビデオキャプチャ、マイクロフォン、スキャナなどの様々なソースからシステムにロードされるか、このシステム上で生成することができる。そして、これらのオブジェクトは、システム内の記憶媒体（例えばランダムアクセスメモリ、ハードディスク、フラッシュメモリなど）に格納される。
【００２０】
図１に示すように、このシステムは、画面をおおまかに３つの領域に分割したビジュアルなインターフェース１００を提供する。一実施例では、画面上部にある第１領域１０２と、画面右下部にある第２（中心的）領域１０３と、画面左下部にある第３領域１０４である。
【００２１】
第１領域１０２はメディア・オブジェクト（例えば写真など）を閲覧したり、それらオブジェクト間を移動するためのグラフィカル表示を提供する。一実施例では、３つの横方向のサムネイル画像のトラック１０５，１１０，１１５があり、各々のトラック間をスクロールにより移動できる。
【００２２】
一実施例では、上のトラック１０５は既存の写真の画像を、その作成時刻（あるいは他の同様の特徴）の順に表示する。その作成時刻をタイムスタンプで表示することができる。これらの画像を「フイルム・ロール」や他の無理のないグループにまとめることができる。スキャナで読み込んだ写真の場合、インポートされたストーリーを文字通りフィルム・ロールに対応させることができる。デジタル写真の場合、それら写真を１セッションでカメラからダウンロードされた１組の写真に対応させることができる。上のトラックは、システムに現に格納されている写真の全部又は多くを表示することもできる。すなわち、システムに格納されている写真をどれでも表示させることができる。上のトラックに表示された写真をストーリーとすることができる。例えば、上のトラック１０５に表示された写真の１枚以上を、インポートされた１つのストーリーとすることができる。
【００２３】
一実施例では、インポートされるストーリーを、データベース検索の結果として自動生成することができる。例えば、「装置に格納されている青を含む全ての画像」を求めるためのデータベース検索で「青」の識別子を持つ画像が返される。そして、得られたそれらの画像がシステムにインポートされる。なお、第１のトラック１０５にストーリーが全然含まれなくともよいことに注意されたい。すなわち、第１のトラック１０５は、それぞれ１つ以上の画像を有する０個以上のストーリーを入れることができる。
【００２４】
インポートされたストーリーの内部では、写真は時間の流れに沿って並べられる。デジタルカメラの写真は撮影順に並べることができ、プリント写真から読み取った画像は読み取り順に並べられる。一実施例では、別々のストーリーを区別するため、システムは背景色を交互に変え、各々の背景色を別々のストーリーに対応させる。
【００２５】
中間の、つまり第２のトラック１１０には作成されたストーリーが入り、その各ストーリーは人によって選ばれた１つ以上の写真のシーケンスを含む。各ストーリーはサムネイル画像のシーケンスの形で表される。一実施例では、インポートされたストーリーと作成されたストーリーは生成順に並べられ、別々のストーリーは背景色を異ならせることにより視覚的に区別される。別の実施例では、画面内でトラック上のストーリーをスペースによって区分することができる。そのスペースの大きさを、ストーリー生成時刻の間隔に応じて変えることができる。例えば、一実施例では、同日に撮影された複数の写真は、第２のトラック１１０上で、１日又は１週末だけ撮影時刻が離れた写真よりも接近させられる。そのスペースを時間の関数とすることができるが、必ずしも線形関数でなくともよい。例えば、「日」「週末」「週」「１週以上」に対応した刻みを設定してもよいであろう。
【００２６】
下の、すなわち第３のトラック１１５は、作成中のストーリーを表す。すなわち、下のトラック１１５には、ユーザにより選ばれ操作された作業中のサムネイル画像群が入る。このサムネイル画像群は、システムの現セッションの間だけ下のトラック１１５に表示させることができる。ユーザは、セッション終了後のストーリーをさらに作成したい場合には、その作成されたストーリーを選択して下のトラック１１５に取り込む。
【００２７】
一実施例では、サムネイル画像が下のトラック１１５に表示されるのは、１つ以上の制御ボタン（例えば、以下に詳述する追加（＋）ボタンか録音ボタン）を押すことにより、そのサムネイル画像を作業用のサムネイル画像群に追加したときである。作成中のストーリーは常にペンディング状態である。ストーリーが完成しユーザにより保存されると、そのストーリーは中間のトラック上の作成されたストーリーの集合に加わる。一実施例では、中間のトラック１１０と下のトラック１１５は視覚的に区分されなくともよく、このことはいずれのトラックについても同様である。
【００２８】
これら３つのトラック１０５，１１０，１１５の表示によって基本的にモードレスのインターフェースが提供され、ユーザは作成済みストーリーの閲覧、写真の閲覧／写真間の移動、新たなストーリーの閲覧／作成を同時に行うことができる。また、この表示は現在の画像を閲覧するのに便利な環境を提供する。例えば、ユーザが１つのサムネイル画像を選んで、あるストーリーの１つの画像を閲覧し、その画像を現在のストーリーに追加し、そして注釈を追加する時に、その画像が、その周辺の、元のストーリー及び現在のストーリーのサムネイル画像と一緒に表示されたままになり、注釈を付けるのに都合がよい。
【００２９】
一実施例では、各サムネイル画像は上のトラック１０５に１回だけ表示される。各サムネイル画像は、中間のトラック１１０上の任意数のストーリー中で表示させることができ、また、現在作成中の文書に明示的に追加されるか、その一部として注釈付けされたときに限り下のトラック１１５に表示される。
【００３０】
典型的な対話方法では、ユーザはサムネイル画像を見つけ、それを作業用のサムネイル画像群（下のトラック１１５）に追加する。ユーザは、選択したサムネイル画像に付随させるための、関連した音声ナレーションを録音することもできる。そのセッションの最後で、下のトラック１１５上にある全てのサムネイル画像は１つのストーリーにまとめられ、中間のトラック１１０にアペンドされる、つまり追加される。
【００３１】
表示画面の中心的領域１０３は、大きな画像１２０を表示する。この大きな画像１２０は、第１領域１０２内のトラック上で現在選択されているストーリー又は写真のサムネイル画像に対応している。こうすることで、ユーザは、（トラック１０５，１１０，１１５上の縮小されたサムネイル画像に比べ）快適な楽しめる大きさで写真を閲覧することができる。他の実施例では、それ以外のオブジェクトのために別の表示方法が必要となるかもしれない。
【００３２】
表示画面の第３領域１０４は、中心的領域１０３に現在表示中の写真に関して利用可能な音声ナレーションを表示する。別の実施例では、それ以外の情報、例えば作成日なども第３領域１０４に表示することができる。図１に見られるように、中心的領域１０３に表示されている写真１２０に関し２つのナレーション１３０，１３５を利用可能であり、それが波線の描画によって示されている。一実施例では、各ナレーションは、その時間の長さに対応したビジュアルな表示（例えば、それを示す波線が長いほどナレーションの時間は長い）、並びに、関連した録音情報、例えば、録音日時、録音したユーザの名前を有する。
【００３３】
図２は、システムのマルチメディア・ストーリーの作成及び／又は閲覧のための制御ボタンと画面表示の見本例を示す。一実施例では、ユーザがシステムを両手で持ったまま制御ボタンを操作できるようにするため、制御ボタンはシステム本体の両サイドに集中配置される。こうすることで、ユーザがシステムから手を離さなければならないようなキーボード、マウス、その他のデバイスは不要となる。
【００３４】
図２に示すように、この例では、制御ボタンとして、選択したトラック上の画像を左へスクロールするための左スクロールボタン２０５、選択したトラック上の画像を右へスクロールするための右スクロールボタン２１０、スクロールしたいトラックを選択するためのトラック選択ボタン２１５などのナビゲーション用ボタンがある。一実施例では、スクロール操作のためにジョグシャトルが用いられる。
【００３５】
一実施例では、着色された（例えば黄色の）縦線インジケータ２５５によって、選択されたトラックと同トラック上の選択されたサムネイル画像を示す。図示した縦線インジケータ２５５は、下のトラックの先頭のサムネイル画像内に表示されている。この選択されたサムネイル画像は、中心的領域２５０に表示された大きな画像と対応している。トラック選択ボタン２１５は、３つの異なるトラック間で縦線インジケータ２５５を移動させる。
【００３６】
スクロールボタン２０５又は２１０が押されると、現在のトラック上の、それまで選択されていたサムネイル画像の左側又は右側のサムネイル画像が新たに選択され、中心的領域２５０に表示される。別のサムネイル画像が縦線インジケータ２５５の下に来ると、それに対応した画像が中心的領域２５０に表示される。なお、画面上で、画像の選択のために、どのような種類のインジケータを用いてもよい。また、一実施例では縦線インジケータ２５５を所定位置に固定したままスクロールボタン２０５又は２１０で縦線インジケータ２５５があるトラック上の画像を左又は右へ移動させるが、システムが、それら画像を所定位置に保持したまま、縦線インジケータ２５５を移動させて画像を選択することも可能であることに注意されたい。一実施例では、ジョイスティック・インターフェースを介しシステムに接続した外付けのジョイスティックによって、画像間の移動を制御することができる。
【００３７】
一実施例では、ユーザは、可変速スクロールによって、トラック上のサムネイル画像間を素速く移動することができる。標準速度では、画面は図２のように表示される。一実施例では、標準速度とは左スクロールボタン２０５又は右スクロールボタンを１回だけ押すことを意味する。これによって、トラックをちょうどサムネイル画像１つ分だけ移動させる。システムにおいて別のインデックスにより素速くアクセス可能なサムネイル画像の低解像度画像を表示させ、かつ、中心的領域２５０に画像を表示させないか、音声領域２６０にナレーションを表示させないようにして、スクロール速度を上げることができる。一実施例では、そのような画像をメモリにキャッシュしてアクセス速度を上げることができる。スクロール速度を上げるためには、ユーザはスクロールボタン２０５又は２１０を長い時間押し続ける必要があるかもしれない。この時には、画像は縦線インジケータ２５５のそばを高速にスクロールするように見える。
【００３８】
一実施例では、展開／折り畳みボタン２６５は、３つのトラック中の１トラック上の各ストーリー毎に表示方法すなわち表示される写真の数を制御する。展開表示では、１つのストーリー内のすべてのサムネイル画像が表示される。一実施例では、この展開表示がデフォルトの表示方法である。折り畳み表示では、各ストーリーは所定数のサムネイル画像（例えば１つのサムネイル画像）によって表される。一実施例では、ストーリーの最初のサムネイル画像が、そのストーリーを表すために用いられる。折り畳み表示は、ナビゲーションの高速化を考慮している。図３の（ａ）と（ｂ）は、あるストーリーの展開表示と折り畳み表示の例を示す。図３（ａ）を見ると、２つのストーリー３０５，３１０が展開形式で示されており、背景が同色のサムネイル画像群は同じストーリーに属している。同じ２つのストーリーがサムネイル画像３１５，３２０に折り畳まれた形式で図３（ｂ）に示されており、各ストーリー３０５，３１０の先頭のサムネイル画像が対応した折り畳み形式のサムネイル画像として用いられている。
【００３９】
再び図２を見ると、システム２００の左下部のボタン群に、ストーリーの作成、閲覧、再生のための他の制御ボタンが用意されている。再生ボタン２２０は、ユーザが既存のストーリーを閲覧できる再生モードに入るために用いられる。再生モードでは、システムは現在選択中のサムネイル画像から再生を開始する。一実施例では、必ずというわけではないが、各サムネイル画像には、それが属しているストーリーの一部として１つの音声クリップが関連付けされている。また、各サムネイル画像は、２つ以上のストーリーの一部となり得るので、１つのストーリーに１つずつ、計２つ以上の音声クリップが関連付けされることがある。一方、音声クリップには録音したナレーションが入っていることも、入っていないこともある。ナレーションがあるときには、それがシステムの内蔵スピーカー（不図示）によって再生される。録音されたナレーションがなければ、ある時間長のポーズ、例えば１秒のポーズが置かれる。ナレーションが終わった後、又は（ナレーションがないときの）ポーズの後で、選択されているトラックは、そのストーリーの次のサムネイル画像へ自動的にスクロールする。一実施例では、デフォルトの表示・読み方向である左から右へ向かう順序に従って、次のサムネイル画像が決められる。システムが再生中に、ユーザが別のサムネイル画像へ移動すると、例えば、左から右へスクロールしたり、別のトラックへ切り替えたりすると、現在再生中の音声クリップの再生は停止する。ユーザがある短い時間（例えば１秒間）、何も操作をしなければ、システムは、その新たに選択されたサムネイル画像に関連付けされた音声クリップを再生し、その位置からストーリーを継続する。
【００４０】
前述のように、選択されたサムネイル画像には、２つ以上の音声クリップと、その対応ナレーションが関連付けされていることがある。１つのサムネイル画像が選択されるたびに、そのサムネイル画像に関連付けされた音声ナレーションが全て音声領域２６０に表示される。一実施例では、選択されたサムネイル画像に２つ以上の音声クリップが関連付けされていて、システムが１つの音声クリップを再生している時に、再生ボタン２２０を押すと、システムは次の音声クリップへ進む。
【００４１】
図１を見ると、選択されたサムネイル画像のために使用できる２つのナレーション、すなわちナレーション１３０とナレーション１３５がある。各々のナレーションには、録音日時と録音したユーザの名前が表示される。波線の長さは音声の継続時間に比例している。選択されたストーリーに関連付けされたナレーションが、ナレーション１３０のように、最初にリストされる。図２を参照すると、特に指定しなければ、再生ボタン２２０が押された時に、選択されたストーリーに関連付けられたナレーションが再生される。再生ボタン２２０を素速く繰り返し押すことにより、別の音声クリップを１つずつ選択して対応したストーリーの再生へ「ジャンプ」し、ストーリー間の自動ハイパーリンクが可能となる。
【００４２】
システムは、停止ボタン２２５が押されるか、ストーリーの最後まで進むまで再生モードのままである。停止ボタン２２５が押されるかストーリーの最後まで進むと、システムは停止モードになる。システムが停止モードの時は、音声クリップは再生されない。
【００４３】
一実施例では、システムが再生モードの時には、削除（−）ボタン２３５を押してもシステムの再生モードに何の影響も及ぼさない。一方、追加（＋）ボタン２３０を押すと、現在表示中の画像が作業用画像群に追加される。すなわち、システムは現在表示中の画像を作業用画像群にアペンドするが、再生モードは停止しない。また、システムが再生モードの時にユーザが保存ボタン２４５を押すと、システムは音声クリップの再生を止めて保存処理を実行する。また、システムが再生モードの時にユーザが録音ボタン２４０を押すと、音声クリップが停止させられる。
【００４４】
一実施例では、作成モード（再生モードではない）で、作業用画像群つまり下のトラック１１５にコピーを追加したいサムネイル画像の上に縦線インジケータ２５５が位置している時に追加（＋）ボタン２３０を押すことによって、ストーリーを作成することができる。逆に、削除（−）ボタン２３５は、選択されているサムネイル画像（すなわち、縦線インジケータ２５５の下にある画像）を下のトラック上の作業用画像群から削除する。
【００４５】
作成モード時において、録音ボタン２４０を押すと録音機能が起動する。録音機能がアクティブな時に、マイクロフォンで録音された音声が記憶され、また、その音声は作業用トラック上に現在表示されているサムネイル画像と関連付けされる。一実施例では、この関連付けは、基礎をなしているＸＭＬファイル内にリンクを張ることで行われる。そのサムネイル画像がまだ作業用画像群にない場合には、追加（＋）ボタンが先に押されたとしても、そのサムネイル画像がアペンドされた後に録音が始まる。選択されたサムネイル画像が作業用トラックにすでにある場合には、作成中のストーリーで、そのサムネイル画像に関連付けされている以前の録音に新しい録音が上書きされる。録音中に、例えば、左又は右へスクロールしたり、別のトラックへ切り替えたり、展開／折り畳みボタンを押したりして、ユーザが新たなサムネイル画像を選択した場合には、その新たなサムネイル画像に関連付けされた音声クリップに対し録音を続ける。また、その新たなサムネイル画像は、それがある短時間（例えば１秒）以上閲覧されると作業用トラックにアペンドされる。一方、ユーザが、依然として作業用トラック上で左へ、つまり戻り方向へスクロールすると、自動的に録音は停止する。こうすることで、録音の誤消去を防止する。別の実施例では、その新たなサムネイル画像は、作業用トラック上の最後に選択されたサムネイル画像（例えばトラック１１５の真ん中の画像）の前又は後に挿入される。この場合、その挿入された新たなサムネイル画像に関連付けされた音声クリップから録音を再開する。さらに、再生ボタン２２０を押すことによっても、録音モードが停止してシステムは再生モードとなる。こうすることで、ストーリーの録音作業を出来る限りストーリーの閲覧作業に似かよらせる。
【００４６】
別の実施例では、システムにタッチスクリーン又はポインティングデバイス（例えばカーソル制御装置）を装備させることができる。この場合には、録音モード中に、ユーザのポインティング操作が取り込まれることになろう。再生中に、指示された領域は適当な回数だけ強調表示される。強調表示を行う方法の１つは、他の画像を暗くすることである。もう１つの選択肢として、半透明オーバーレイ（例えば黄色の円）を利用することができる。
【００４７】
システムが停止モードの時に、ユーザは、サムネイル画像を、あるトラックから別のトラックへドラッグし、あるいは、ストーリー内の別の位置へドラッグすることができる。もう１つの選択肢として、左／右スクロールに代え、ドラッグ操作によって、あるトラック上の全部又は複数の画像を同時に移動させることができる。
【００４８】
特定のサムネイル画像を指示することにより、そのサムネイル画像が選択され、そのサムネイル画像のあるトラックが選択され、そして、対応した大きな画像が中心的領域２５０に表示される。別の実施例では、画面に触れることで、あるトラック上の１つの画像を選択することなく強調表示させることができる。
【００４９】
一実施例では、録音動作は「選択後ナレーション」方式と「選択・ナレーション同時」方式の両方をサポートする。「選択後ナレーション」方式では、追加（＋）ボタン２３０又は削除（−）ボタン２３５を用いて１つの作業用サムネイル画像群を選択して、各サムネイル画像に順に注釈を付けることによって、１つのストーリーを作成することができる。もう１つの選択肢として、「選択・ナレーション同時」方式では、写真間の移動及び写真の選択と並行して連続的にナレーションを録音することができる。録音がアクティブな時に、新たな各写真をユーザがある短い時間間隔より長い間閲覧すると、その各写真は録音された全ての入力とともに自動的に作業用画像群に追加される。こうすることで、「選択・ナレーション同時」方式をサポートする。録音のために、一実施例では、マイクロフォン２７０がシステムの外ケースに取り付けられるか組み込まれる。別の実施例では、システムに音声ナレーションをテキストに変換するための音声認識ソフトウェアが搭載される。
【００５０】
図２の右下にあるボタン群は、ストーリーの操作を制御する。保存ボタン２４５は、下のトラックに表示されている現在作業中のストーリーを、中間のトラックの最後に移動させることにより「保存」する。なお、この時に、現在のシステムの状態も保存されることに注意されたい。ＸＭＬファイル（あるいは、それと同等の言語によるファイル）を、音声クリップと一緒に、メモリ（例えばＲＡＭ）に格納し、また、保存する時にハードディスクに書き出すことができる。（それらを。それ以外の時点に書き出すこともできる）  別の実施例では、完成したストーリーを、同様のシステムあるいは通常のＰＣでメディア再生ソフトウェアや標準的なＷｅｂブラウザを利用して閲覧するために、他のユーザへ電子的に送信することもできる。もう１つの実施例では、「印刷」ボタンによって、ユーザは選択した画像を、有線又は無線技術によってローカル接続されたプリンタ又はリモート装置で印刷することができる。
【００５１】
一実施例では、システムに画像生成／取り込み装置（例えばビデオカメラ）が付属している。このビデオカメラは、システムのホルダーの内側へ向けることも外側へ向けることもできる。システムの撮影ボタンによって、ユーザは、そのデジタルカメラから静止画像とタイムスタンプを取り込み、その画像を上のトラックに追加することができる。もう１つの実施例では、各録音セッションの開始時やプリセットされた時間間隔で、あるいは、ビデオ入力が所定の閾値以上に変化するたびに、ナレーターの画像が自動的に取り込まれる。ビデオカメラを利用する場合、ビデオカメラで取り込まれた画像を、第１のトラック１０５に追加して、他の全てのオブジェクトと同様、作成されるストーリーに挿入するための画像として利用できる。
【００５２】
一実施例では、ストーリーと写真のメタデータは、ＸＭＬ(Extensible Markup Language)で記述されて記憶装置に格納される。図４は、システムが初期化中に読み込むＸＭＬメタデータ・ファイルの見本を示している。この初期化用メタデータ・ファイル４００は記憶装置上の所定の記憶位置に格納される。一実施例では、この初期化用メタデータ・ファイルは「families.xml」というファイル名を付けられ、その記憶位置はシステムの記憶装置上の同ファイルに対応したローカルＵＲＬ（Uniform Resource Locator）により指定される。システムによって実行可能な１つ１つのグループ（例えば家族）ごとに、初期化用メタデータに３つのトラックに対応したストーリーへのポインタが含まれている。例えば、図４のメタデータ・ファイルはストーリー・ファイル４０５「meta6.xml」を指示している。一実施例では、初期化用メタデータ・ファイルは、例えば個人的なストーリーの不正閲覧を防ぐためのユーザＩＤとパスワードのような管理機能も担う。一実施例では、初期化用メタデータ・ファイルにユーザの固有情報が含まる。もう１つの実施例では、システムはシングルユーザを前提とする。
【００５３】
図５（ａ）は、ストーリーのためのＸＭＬメタデータの見本を示す。ストーリーのためのＸＭＬメタデータ・ファイル５００は、他の２つのストーリー、すなわち「meta3.xml」５０５と「meta5.xml」５１０を指示している。なお、各メタデータ・ファイルは、単一のオブジェクトを指す「ストーリー」か「文書」を値として持つ「type」属性が割り当てられることに注意されたい。図５（ｂ）は、ストーリーのためのＸＭＬメタデータ・ファイルのもう１つの見本を示す。このメタデータ・ファイル５２０は、メタデータ・ファイル５００によって指示されたストーリー「meta3.xml」５０５を表している。メタデータ・ファイル５２０には、「metal.xml」５２５及び「meta2.xml」５３０として表された写真のリストがある。なお、それら写真の参照には対応したＸＭＬメタデータ・ファイルのＵＲＬが用いられる。各写真は、「clipl.au」５３５及び「clip2.au」５４０と表された音声クリップが関連付けられている。一実施例では、音声クリップ５３５又は５４０に関連付けられた音声タグのオフセット属性で、音声ファイル内の参照される音声ナレーションの先頭位置を指定し（例えば、１つの音声ファイルにユーザが用意した音声ナレーションが２つ以上含まれているような場合）、その単位はミリ秒である。
【００５４】
図６は、写真のためのＸＭＬメタデータ・ファイルの見本を示す。メタデータ・ファイル６００は、図５（ｂ）に示したメタデータ・ファイルにより指示された画像「metal.xml」を表している。メタデータ・ファイル６００には、２つの画像ファイル、すなわち、画面の領域１０３に用いることができるフルサイズ画像６０５とトラック１０５，１１０，１１５で用いることができるサムネイル画像６１０を指示するＵＲＬが入っている。また、メタデータ・ファイル６００に、縮小表示のための色データが入っている。画像の縮小表示は、サムネイル画像又はフルサイズ画像として描画させることができる。
【００５５】
一実施例では、ＸＭＬを使用することで、ＨＴＭＬ（Hypertext Markup Language）やＳＭＩＬ（Synchronized Multimedia Integration Language）などの他フォーマットへ容易に変換可能となる。その結果、ストーリーを他人と共有したり、異なった装置で閲覧することが可能となる。ＳＭＩＬフォーマットは、ストーリーの構成に合わせて音声を一連の画像に同期させることができる点で、特に適している。これらのフォーマットのどれかを使用すれば、関連付けされた写真と音声クリップを含む１つのストーリーを１つのファイルに保存することができる。そして、そのファイルをウェブ・サーバーへアップロードし、ユニークなＵＲＬを割り当てることができる。そして、このＵＲＬを、標準的な電子メール・プロトコル、例えばＳＴＭＰを使い電子メールにより、ウェブ上の特定の宛先又は宛先リストへ送信することができる。一実施例では、電子メールを送信するために、システムはネットワーク・インターフェース、例えば、Ethernet インターフェース、モデム・インターフェース、ワイヤレス・インターフェースを提供する。もう１つの選択肢として、標準的な添付ファイル・エンコーディング技術、例えばＭＩＭＥ（Multipurpose Intemet Mail Extensions）により、ファイルを電子メールの添付ファイルとして宛先へ送信することができる。
【００５６】
一実施例では、左／右スクロールボタンと追加（＋）／削除（−）ボタンを使って、宛先の電子メール・アドレスを指定することができる。これらのボタンは、上のトラック１０５に表示された文字及び句読点の中を移動するために用いられる。電子メール・アドレスを、下のトラック１１５上に作成することができる。中間のトラックは、前に保存した電子メール・アドレスの表示に利用することができる。ストーリーをユーザへ送信する人の電子メール・アドレスを、第２のトラックに自動的に追加させることをできる。さらに、システムは、ＰＤＡ（例えば Palm Pilot）から赤外線送信された「コンタクト」ファイルすなわち vCard ファイル（ Versit コンソーシアムで開発されたＰＤＩ（Personal Data Interchange）技術）を介し入力電子メール・アドレスを取り込むことができる。新しい電子メール・アドレスを作成するために、ユーザはスタイラスを用いて画面上のキーボードで入力することができる。スタイラスを使う場合に、ユーザの手書き文字を認識するために手書き文字認識ソフトウェア、例えば、 Palm Computing 製の Graffiti を利用することができる。もう１つの選択肢として、ユーザは、システムに用意されているキーボード・インターフェースに装着した外付けのキーボードを使用できる。システムは、ストーリーを電子メールの宛先へ送信することのほかに、装置／所有者へ送信された新しいストーリーを列記した電子メール・メッセージ又は所定のウェブページの形をとって、設定した時間間隔で、あるいは設定した時刻に、新しいストーリーの有無を自動的に調べることもできる。システムは、新しいストーリーやメッセージを自動的にダウンロードすることもできる。
【００５７】
一実施例では、システムには、電源とネットワーク・インターフェースを有するクレードルもしくはドッキング・ステーションが付属している。一実施例では、全ての通信情報（送信／受信メッセージ）は、システムがドッキング・ステーションにドッキングされた時に実行するための待ち行列に入れられる。そして、システムがドッキングされたときに、通信が自動的に実行される。一実施例では、システムがクレードルに置かれているか、設定時間だけ使用されないと、自動実行スクリーンセーバー機能が起動し、システム内の全ストーリーを画面に循環表示させる。
【００５８】
一実施例では、システムは、画像とその関連音声クリップを互いに同期をとって使用することによりビデオ・ファイルを生成することができる。もっとも、それら画像が、ユーザが再生ボタンを押した時にシステム上に表示されるだけであるが。そして、そのビデオ・ファイルを、例えばＭＰＥＧ、ＡＶＩ、 QuickTimeなどの標準的フォーマットで格納した後、電子メールの添付ファイルとして宛先へ送信することができる。もう１つの実施例では、ストーリーの作者は、ストーリーが宛先へ送信される時に、そのストーリーと関連付けするための自分の写真を送信させることができる。この写真へのリンクは、その電子メールに添付される。受信者がその電子メールを見たときに、その作者の写真がある画像枠に表示される。別の選択肢として、作者に関連した写真を、ストーリーの最初の写真として表示したり、特に折り畳み表示の場合には先頭の写真に合成してもよいであろう。
【００５９】
以上説明したように、入力として、様々なソースからメディア・オブジェクトを取り込むことができる。一実施例では、他のメディア・オブジェクト、例えば、ビデオ・クリップ、プレゼンテーション・スライド、文書のページ、ウェブ・ページ、音声クリップもシステムにロードすることができる。ビデオ・クリップが入力の場合、入力ビデオ・ストリームは、標準的なアナログ式ビデオ・キャプチャ・ボードや「ファイアワイア」（IEEE 1394）インターフェースを介して取り込んだり、デジタル化ビデオ・ファイル、例えばＭＰＥＧファイル又は QuickTime ファイルと直結して取り込むことができる。そして、そのビデオ・ストリームを、標準的なシーン変化検出アルゴリズムによってクリップに分割することができる。この場合、各クリップを１枚の写真として処理することができる。さらに、各クリップに、元のビデオソースの音声セグメントを関連付けしてしまうこともできる。この実施例の場合、再生ボタンを押すことにより、システムに、その音声セグメントとビデオ・クリップの両方を同期させて再生させることができる。そして、システムはストーリーの次のクリップへ進む。ビデオ・クリップの最初のフレームを、そのビデオ・クリップを代表するサムネイル画像として用いることができる。
【００６０】
プレゼンテーション・スライドが入力の場合、システムは各プレゼンテーション・スライド毎に１つの画像を生成する。プレゼンテーション・スライドは、プレゼンテーション・ソフトウェア（例えば Powerpoint ）や、他の文書又はグラフィクス編集ツールによって作成されたものであろう。この場合、ストーリーは、システム上で、プレゼンテーションと同様にスライドのシーケンスとして表示される。文書のページが入力の場合、上のトラックにあるストーリーは、元の文書のページと順に対応する。中間のトラックにある１つの文書は、音声ナレーション付きの再編成されたページの集まりである。文書は、Postscript やＰＤＦなどのページ・ベースのフォーマットと、ＨＴＭＬやプレーン・テキストのようなリニア・フォーマットのいずれの既存フォーマットからも容易にインポートすることができる。リニア・フォーマットの場合、ページ分割が必要となろう。
【００６１】
ウェブ・ページが入力の場合、上のトラック１１５にユーザの時系列の閲覧履歴を含めることができる。この閲覧履歴は、ウェブ・ブラウザをモニタリングするか、プロキシ・サーバーとしてユーザのＨＴＴＰ要求を全てインターセプトし処理することによって、捕捉することができる。各ストーリーは、ある長さの時間（例えば、１日、１回の閲覧時間など）に対応している。第２のトラックによって、ユーザは、ウェブ・ページのグループを、アクセスやその後の検索が容易になるように整理して順番に並べることができる。第２のトラック上のストーリーは、ブックマーク・フォルダ、１回の検索で見つかった一連のページ、その他、ユーザに都合のよい任意の構造とすることができる。
【００６２】
音声クリップが入力の場合、上のトラックに、「アルバム」すなわち、ユーザがＣＤ−ＲＯＭドライブによりシステムに読み込んだり、ウェブから直に一連の音声ファイルとしてダウンロードしたオーディオＣＤ、例えば、MP3.com からダウンロードしたMP3 ファイル、MicrosoftからダウンロードしたWindows Media Audioファイル、LiquidAudio.com からダウンロードしたLiquid Audioファイル、 Real NetworksからダウンロードしたRealJukeboxファイルなどを表示することができる。各々の「アルバム」は順序付けた「歌」の集まりである。第２のトラックは、ユーザの「再生リスト」（例えば、ユーザ固有の歌の再生順序）を表示する。この場合、各々の歌毎にデフォルトの視覚的表示があるか、ユーザが適当なアイコンを選ぶか、あるいは、ウェブサービスによってアーティスト名、歌のタイトル又はアルバムのタイトルに相応しいアイコンを提供する。
【００６３】
図７は、デジタルストーリー作成・再生システムの記憶要素、表示要素及び対話要素を含む典型的なコンピュータシステムの一例を示す。図７に示した様々な構成様要素は、あくまで例示にすぎない。図７に示したコンピュータの特定の構成要素は、本発明の特定の実施形態のためのシステムから省くことができる。別のシステムでは、本発明の範囲から逸脱することなく別の要素が追加されることもあろう。
【００６４】
図７に示すシステム・バス７００には、様々な構成要素が接続される。プロセッサ７０１は、コンピュータに必要とされる処理タスクを実行する。プロセッサ７０１は、ここに述べた記憶、表示及び対話の機能を遂行するために必要なステップを実行できるならば、どのような種類の処理装置でもよい。コンピュータに接続された他の装置との通信のための入出力（Ｉ／Ｏ）装置７０４がバス７００に接続されている。コンピュータで利用される各種のデータ及び情報の記憶場所を提供するため、リードオンリーメモリ（ＲＯＭ）７０３とランダムアクセスメモリ（ＲＡＭ）７０５がバス７００に接続されている。ＲＯＭ７０３とＲＡＭ７０５はバス７００に接続された状態で示されているが、別の実施例では、ＲＯＭ７０３とＲＡＭ７０５はプロセッサ７０１に直結されるか専用のメモリバス（不図示）に接続される。
【００６５】
ディプレイ装置７１０がバス７００に接続され、各種の情報及びデータをコンピュータのユーザに表示する。情報の長期大量保存のためのディスク・ドライブ７０２がバス７００に接続される。一実施例では、コンピュータシステムに情報と命令を入力するためのポインティング・デバイス７０８がバス７００に接続されている。別の実施例では、２つのディスプレイ装置が使用される。その１つは３つのトラックのための低解像度ディスプレイ装置であり、もう１つは主要表示領域のための高解像度ディスプレイ装置である。音声メディアやその他メディアの場合には、主要表示領域は必要でないかもしれない。
【００６６】
以上説明した実施例はあくまで説明を目的としたものであって、本発明の範囲を限定することを意図したものでないことは、当業者には明らかであろう。当業者には、本発明の精神及び本質的特徴から逸脱することなく、本発明を他の形態で実施し得ることは明らかであろう。個々の実施例に関し詳細に述べた内容は、特許請求の範囲を限定することを意図するものではない。
【００６７】
【発明の効果】
以上の詳細な説明から明らかなように、本発明によれば、ビジュアル・インターフェースにより、デジタル写真などを用いたデジタルストーリーを容易に作成したり再生したりすることが可能となる等の効果を得られる。
【図面の簡単な説明】
【図１】本発明によるデジタルストーリー作成再生システムの表示画面の一例を示す図である。
【図２】本発明によるデジタルストーリー作成再生システムの制御ボタンの例を示す図である。
【図３】ストーリーの展開表示と折り畳み表示の例を示す図である。
【図４】図４は、システム初期化時に読み込まれるＸＭＬメタデータ・ファイルの一例を示す図である。
【図５】ストーリーのＸＭＬメタデータ・ファイルの例を示す図である。
【図６】写真のＸＭＬメタデータ・ファイルの例を示す図である。
【図７】本発明を実施するためのコンピュータの一例を示すブロック図である。
【符号の説明】
１００    ビジュアル・インターフェース
１０５，１１０，１１５  トラック
１３０，１３５  ナレーション
２０５．２１０  スクロール・ボタン
２１５  トラック選択ボタン
２２０  再生ボタン
２２５  停止ボタン
２３０  追加（＋）ボタン
２３５  削除（−）ボタン
２４０  録音ボタン
２４５  保存ボタン
２５５  縦線インジケータ
２６０  音声領域
２６５  展開／折り畳みボタン
【図１】
0004201154.tif 000002
【図２】
0004201154.tif 000003
【図３】
0004201154.tif 000004
【図４】
0004201154.tif 000005
【図５】
0004201154.tif 000006
【図６】
0004201154.tif 000007
【図７】
0004201154.tif 000008