(57)【要約】      （修正有）【課題】映像コンテナ・フォーマット・ファイルを生成する方法を提供する。【解決手段】方法はシーンを表わす静止画像を受け取るステップと、前記シーンに関係する少なくとも１つのオブジェクトを受け取るステップと、前記静止画像を映像コンテナ・フォーマット・ファイルの少なくとも１つの映像ブロックとして符号化するステップと、前記少なくとも１つのオブジェクトを前記映像コンテナ・フォーマット・ファイルの非映像データとして符号化するステップと、前記映像コンテナ・フォーマット・ファイルを出力するステップとを含む。【選択図】図１
2012114909.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテナ・フォーマット・ファイルを生成する方法であって、
シーンを表わす静止画像を受け取るステップと、
前記シーンに関係する少なくとも１つのオブジェクトを受け取るステップと、
前記静止画像を映像コンテナ・フォーマット・ファイルの少なくとも１つの映像ブロックとして符号化するステップと、
前記少なくとも１つのオブジェクトを前記映像コンテナ・フォーマット・ファイルの非映像データとして符号化するステップと、
前記映像コンテナ・フォーマット・ファイルを出力するステップと
を含む方法。
【請求項２】
前記非映像データは複数の非映像ブロックを含む、請求項１に記載の方法。
【請求項３】
符号化は、前記少なくとも１つのオブジェクトを音声データブロック、メタデータブロック、テキスト・データ・ブロック、映像ブロック、およびグラフィック・データ・ブロックの少なくとも１つとして符号化することを含む、請求項１に記載の方法。
【請求項４】
符号化は、少なくとも１つの圧縮フレームを符号化することによって実行される、請求項１に記載の方法。
【請求項５】
前記少なくとも１つのオブジェクトは、前記シーンに関係する音声注釈を含む、請求項１に記載の方法。
【請求項６】
前記少なくとも１つのオブジェクトは、前記静止画像に関係するメタデータ情報を含む、請求項１に記載の方法。
【請求項７】
前記メタデータ情報は、交換可能画像ファイルフォーマット（ＥＸＩＦ）データの少なくとも一部分、マテリアル交換フォーマット（ＭＸＦ）データの少なくとも一部分、アルファ合成データ、および拡張マルチレイヤ（ＸＭＰ）データから成る群のメンバを含む、請求項６に記載の方法。
【請求項８】
前記少なくとも１つのオブジェクトは、前記シーンの発生地を示すＧＰＳ座標を含む、請求項１に記載の方法。
【請求項９】
前記少なくとも１つのオブジェクトは、前記静止画像を説明する少なくとも１つのキーワードを含む、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つのオブジェクトは、前記静止画像に描かれた少なくとも１つの領域に関連付けられる、少なくとも１つの追加画像を含む、請求項１に記載の方法。
【請求項１１】
前記少なくとも１つのオブジェクトは、前記静止画像に描かれた少なくとも１つの領域に関連付けられる、少なくとも１つの映像ファイルを含む、請求項１に記載の方法。
【請求項１２】
前記少なくとも１つのオブジェクトは、アプレットおよびウィジェットの少なくとも１つを実行するための命令を含み、前記命令は、前記静止画像に描かれた少なくとも１つの領域に関連付けられる、請求項１に記載の方法。
【請求項１３】
前記少なくとも１つのオブジェクトは、前記静止画像に関係する記述データのメモリアドレスを指し示すデータ拡張ポインタを含む、請求項１に記載の方法。
【請求項１４】
前記少なくとも１つのオブジェクトは、前記静止画像に描かれた少なくとも１つの領域に関連付けられるリンクであって、前記少なくとも１つの領域に関係する少なくとも１つのドキュメントにリンクする少なくとも１つのリンクを含む、請求項１に記載の方法。
【請求項１５】
前記ドキュメントは別の映像ファイルである、請求項１４に記載の方法。
【請求項１６】
前記出力は、前記映像コンテナ・フォーマット・ファイルを、ウェブブラウザを通してアクセスすることができかつ他の情報リソースにアクセスするために使用することのできる情報リソースとして格納することを含む、請求項１４に記載の方法。
【請求項１７】
前記少なくとも１つのオブジェクトを符号化することは、前記静止画像の複数の領域の各々の少なくとも１つのプロパティにタグ付けすることを含む、請求項１に記載の方法。
【請求項１８】
前記少なくとも１つのオブジェクトを符号化することは、前記静止画像に描かれた少なくとも１つの領域に前記少なくとも１つのオブジェクトに関連付けられたものとしてタグ付けすることを含む、請求項１に記載の方法。
【請求項１９】
前記少なくとも１つのブロックおよび前記複数の非映像ブロックは、前記映像コンテナ・フォーマット・ファイルのｍｄａｔ  ａｔｏｍに格納され、ｍｏｏｖ  ａｔｏｍでインデックス化される、請求項２に記載の方法。
【請求項２０】
前記映像コンテナ・フォーマット・ファイルは指定されたヘッダをメタデータアトムにホストし、前記少なくとも１つのオブジェクトの前記符号化は、インデックステーブルおよび前記指定されたヘッダのタグ付け情報を更新することを含む、請求項１９に記載の方法。
【請求項２１】
前記静止画像の前記符号化は、少なくとも空間的にまたは時間的に実行される、請求項１に記載の方法。
【請求項２２】
映像コンテナ・フォーマット・ファイルを復号する方法であって、
映像コンテナフォーマットで少なくとも１つの映像ブロックを格納するメディアファイルを受け取るステップと、
前記映像コンテナフォーマットの映像復号器を使用して前記少なくとも１つの映像ブロックから静止画像を復号するステップと、
前記映像コンテナフォーマットの別のメディア復号器を使用して、前記メディアファイルに含まれる非映像データから少なくとも１つのオブジェクトを復号するステップと、
前記復号された静止画像と前記少なくとも１つのオブジェクトとを同期化するステップと、
前記同期化の結果を出力するステップと
を含む方法。
【請求項２３】
前記別のメディア復号器は前記映像コンテナフォーマットの音声復号器であり、前記映像データは複数の音声ブロックを含む、請求項２２に記載の方法。
【請求項２４】
前記少なくとも１つのオブジェクトは少なくとも１つの可聴注釈を含み、前記同期化は前記可聴注釈を前記静止画像と同期化することを含む、請求項２３に記載の方法。
【請求項２５】
前記出力は、前記少なくとも１つの可聴注釈を使用して前記静止画像に音響効果を与えることを含む、請求項２４に記載の方法。
【請求項２６】
前記メディア復号器は前記映像コンテナフォーマットのテキスト復号器であり、前記少なくとも１つのオブジェクトは少なくとも１つのグラフィックオブジェクトおよび前記静止画像の少なくとも１つの選択された領域を含み、前記同期化は前記選択された領域に前記少なくとも１つのグラフィックオブジェクトを埋め込むことを含む、請求項２２に記載の方法。
【請求項２７】
前記埋込みは、前記少なくとも１つのグラフィックオブジェクトと、前記静止画像に描かれた少なくとも１つの領域との間のリンク付けを含む、請求項２６に記載の方法。
【請求項２８】
映像コンテナ・フォーマット・ファイルを生成するための装置であって、
静止画像を映像コンテナ・フォーマット・ファイルの少なくとも１つの映像ブロックとして符号化するように構成された映像符号器と、
少なくとも１つのオブジェクトを前記映像コンテナ・フォーマット・ファイルの非映像データとして符号化するように構成された非映像符号器と、
前記映像コンテナ・フォーマット・ファイルの前記非映像データと前記少なくとも１つの映像ブロックとを同期化するように構成されたプロセッサと
を含む装置。
【請求項２９】
映像コンテナ・フォーマット・ファイルを分類する方法であって、
少なくとも１つの映像ブロックを有する映像コンテナ・フォーマット・ファイルを受け取るステップと、
前記少なくとも１つの映像ブロックが複数の映像フレームを有する映像シーケンスまたは静止画像を符号化するか否かを決定するステップと、
前記決定に従って前記映像コンテナ・フォーマット・ファイルを分類するステップと
を含む方法。
【請求項３０】
前記分類に従って前記映像コンテナ・フォーマット・ファイルを格納するために、映像ファイルパーティションおよび静止画像パーティションの少なくとも１つを選択するステップをさらに含む、請求項２９に記載の方法。
【請求項３１】
マルチメディアファイルを複数のユーザで共有する方法であって、
シーンを表わす静止画像をウェブページにアップロードするステップと、
前記シーンに関係する少なくとも１つのオブジェクトを前記ウェブページにアップロードするステップと、
前記静止画像の少なくとも１つの領域と前記少なくとも１つのオブジェクトとを関連付ける映像コンテナフォーマットのメディアファイルを形成するステップと、
各前記ユーザが前記静止画像を表示しかつ前記少なくとも１つの領域の選択に応答して前記少なくとも１つのオブジェクトにアクセスすることができるように、前記メディアファイルを複数のユーザで共有するステップと
を含む方法。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、その一部の実施形態では、マルチメディアデータを符号化および復号する方法およびシステムに関し、さらに詳しくは、コンテナフォーマットでマルチメディアデータを符号化および復号する方法およびシステムに関するが、それらに限定されない。
【０００２】
スキャナ、デジタルカムコーダ（ビデオカメラ）、デジタルカメラ、およびカメラ搭載型モバイルハンドセットのような機器の現代の市場は、数メガ画素から数百メガ画素＋の範囲のますます増大する解像度のデジタル画像取込み能力を呈している。画像取込み装置の多くは、オープン・スタンダード・フォーマットを用いて映像を記録することができる。典型的には、映像は、専用ハードウェアまたは何らかのメディアプロセッサを用いて適切な標準（例えばＨ．２６４、ＷＭ９、ＤｉｖＸ、またはＶＰ６／８）に圧縮された後、記録される。
【０００３】
最近の傾向は、例えばＨ．２６４能力を含む携帯電話機用に新しい標準３Ｇ−３２４Ｍの仕様を設定した日本国のＮＴＴ−ＤｏＣｏＭｏ、ならびにそれぞれの標準をＨ．２６４に適応させたＤｉｖＸおよびＶＰのように、映像にＨ．２６４標準を採用する。
【０００４】
最近数年間に、映像圧縮の利点を利用して低容量で高解像度画像を提供するシステムおよび方法が開発されてきた。例えば国際特許出願公開第２００８／０８１４６０号は、空間的または時間的圧縮の少なくとも１つに適合する映像符号器を提供するステップと、画像を提供するステップと、画像を複数のパーティションに分割するステップと、符号器によってパーティションを擬似映像フレームに符号化するステップとを含む、画像より低い解像度の一連の映像フレームに画像を圧縮するための方法を記載している。
【０００５】
別の例は、画像を複数のタイルに分割するステップと、タイルまたはその一部を映像シーケンス内のフレームとして圧縮するステップとを含む、画像を一連の映像フレームとして圧縮するための方法を記載する国際特許出願公開第２００８／０８１４５８号に記載されている。
【発明の概要】
【０００６】
本発明の一部の実施形態では、映像コンテナ・フォーマット・ファイルを生成する方法を提供する。該方法は、シーンを表わす静止画像を受け取るステップと、シーンに関係する少なくとも１つのオブジェクトを受け取るステップと、静止画像を映像コンテナ・フォーマット・ファイルの少なくとも１つの映像ブロックとして符号化するステップと、少なくとも１つのオブジェクトを映像コンテナ・フォーマット・ファイルの非映像データとして符号化するステップと、映像コンテナ・フォーマット・ファイルを出力するステップとを含む。
【０００７】
任意選択的に、非映像データは複数の非映像ブロックを含む。
【０００８】
任意選択的に、符号化は、少なくとも１つのオブジェクトを音声データブロック、メタデータブロック、テキスト・データ・ブロック、映像ブロック、およびグラフィック・データ・ブロックの少なくとも１つとして符号化することを含む。
【０００９】
任意選択的に、符号化は、少なくとも１つの圧縮フレームを符号化することによって実行される。
【００１０】
任意選択的に、少なくとも１つのオブジェクトは、シーンに関係する音声注釈を含む。
【００１１】
任意選択的に、少なくとも１つのオブジェクトは、静止画像に関係するメタデータ情報を含む。
【００１２】
さらに任意選択的に、メタデータ情報は、交換可能画像ファイルフォーマット（ＥＸＩＦ）データの少なくとも一部分、マテリアル交換フォーマット（ＭＸＦ）データの少なくとも一部分、アルファ合成データ、および拡張マルチレイヤ（ＸＭＰ）データから成る群のメンバを含む。
【００１３】
任意選択的に、少なくとも１つのオブジェクトは、シーンの発生地を示すＧＰＳ座標を含む。
【００１４】
任意選択的に、少なくとも１つのオブジェクトは、静止画像を説明する少なくとも１つのキーワードを含む。
【００１５】
任意選択的に、少なくとも１つのオブジェクトは、静止画像に描かれた少なくとも１つの領域に関連付けられる、少なくとも１つの追加画像を含む。
【００１６】
任意選択的に、少なくとも１つのオブジェクトは、静止画像に描かれた少なくとも１つの領域に関連付けられる、少なくとも１つの映像ファイルを含む。
【００１７】
任意選択的に、少なくとも１つのオブジェクトは、アプレットおよびウィジェットの少なくとも１つを実行するための命令を含み、該命令は、静止画像に描かれた少なくとも１つの領域に関連付けられる。
【００１８】
任意選択的に、少なくとも１つのオブジェクトは、静止画像に関係する記述データのメモリアドレスを指し示すデータ拡張ポインタを含む。
【００１９】
任意選択的に、少なくとも１つのオブジェクトは、静止画像に描かれた少なくとも１つの領域に関連付けられるリンクであって、少なくとも１つの領域に関係する少なくとも１つのドキュメントにリンクする少なくとも１つのリンクを含む。
【００２０】
さらに任意選択的に、ドキュメントは別の映像ファイルである。
【００２１】
さらに任意選択的に、出力は、映像コンテナ・フォーマット・ファイルを、ウェブブラウザを通してアクセスすることができかつ他の情報リソースにアクセスするために使用することのできる情報リソースとして格納することを含む。
【００２２】
任意選択的に、少なくとも１つのオブジェクトを符号化することは、静止画像の複数の領域の各々の少なくとも１つのプロパティにタグ付けすることを含む。
【００２３】
任意選択的に、少なくとも１つのオブジェクトを符号化することは、静止画像に描かれた少なくとも１つの領域に少なくとも１つのオブジェクトに関連付けられたものとしてタグ付けすることを含む。
【００２４】
さらに任意選択的に、少なくとも１つのブロックおよび複数の非映像ブロックは、映像コンテナ・フォーマット・ファイルのｍｄａｔ  ａｔｏｍに格納され、ｍｏｏｖ  ａｔｏｍでインデックス化される。
【００２５】
さらに任意選択的に、映像コンテナ・フォーマット・ファイルは指定されたヘッダをメタデータアトムにホストし、少なくとも１つのオブジェクトの符号化は、インデックステーブルおよび指定されたヘッダのタグ付け情報を更新することを含む。
【００２６】
任意選択的に、静止画像の符号化は、少なくとも空間的にまたは時間的に実行される。
【００２７】
本発明の一部の実施形態では、映像コンテナ・フォーマット・ファイルを復号する方法を提供する。該方法は、映像コンテナフォーマットで少なくとも１つの映像ブロックを格納するメディアファイルを受け取るステップと、映像コンテナフォーマットの映像復号器を使用して少なくとも１つの映像ブロックから静止画像を復号するステップと、映像コンテナフォーマットの別のメディア復号器を使用して、メディアファイルに含まれる非映像データから少なくとも１つのオブジェクトを復号するステップと、復号された静止画像と少なくとも１つのオブジェクトとを同期化するステップと、同期化の結果を出力するステップとを含む。
【００２８】
任意選択的に、別のメディア復号器は映像コンテナフォーマットの音声復号器であり、映像データは複数の音声ブロックを含む。
【００２９】
さらに任意選択的に、少なくとも１つのオブジェクトは少なくとも１つの可聴注釈を含み、同期化は可聴注釈を静止画像と同期化することを含む。
【００３０】
さらに任意選択的に、出力は、少なくとも１つの可聴注釈を使用して静止画像に音響効果を与えることを含む。
【００３１】
任意選択的に、メディア復号器は映像コンテナフォーマットのテキスト復号器であり、少なくとも１つのオブジェクトは少なくとも１つのグラフィックオブジェクトおよび静止画像の少なくとも１つの選択された領域を含み、同期化は選択された領域に少なくとも１つのグラフィックオブジェクトを埋め込むことを含む。
【００３２】
さらに任意選択的に、埋込みは、少なくとも１つのグラフィックオブジェクトと、静止画像に描かれた少なくとも１つの領域との間のリンク付けを含む。
【００３３】
本発明の一部の実施形態では、映像コンテナ・フォーマット・ファイルを生成するための装置を提供する。該装置は、静止画像を映像コンテナ・フォーマット・ファイルの少なくとも１つの映像ブロックとして符号化するように構成された映像符号器と、少なくとも１つのオブジェクトを映像コンテナ・フォーマット・ファイルの非映像データとして符号化するように構成された非映像符号器と、映像コンテナ・フォーマット・ファイルの非映像データと少なくとも１つの映像ブロックとを同期化するように構成されたプロセッサとを含む。
【００３４】
本発明の一部の実施形態では、映像コンテナ・フォーマット・ファイルを分類する方法を提供する。該方法は、少なくとも１つの映像ブロックを有する映像コンテナ・フォーマット・ファイルを受け取るステップと、少なくとも１つの映像ブロックが複数の映像フレームを有する映像シーケンスまたは静止画像を符号化するか否かを決定するステップと、決定に従って映像コンテナ・フォーマット・ファイルを分類するステップとを含む。
【００３５】
任意選択的に、該方法はさらに、分類に従って映像コンテナ・フォーマット・ファイルを格納するために、映像ファイルパーティションおよび静止画像パーティションの少なくとも１つを選択するステップを含む。
【００３６】
本発明の一部の実施形態では、マルチメディアファイルを複数のユーザで共有する方法を提供する。該方法は、シーンを表わす静止画像をウェブページにアップロードするステップと、シーンに関係する少なくとも１つのオブジェクトをウェブページにアップロードするステップと、静止画像の少なくとも１つの領域と少なくとも１つのオブジェクトとを関連付ける映像コンテナフォーマットのメディアファイルを形成するステップと、各ユーザが静止画像を表示しかつ少なくとも１つの領域の選択に応答して少なくとも１つのオブジェクトにアクセスすることができるように、メディアファイルを複数のユーザで共有するステップとを含む。
【００３７】
別途定義されない限り、本明細書中で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書中に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。
【００３８】
本発明の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。
【００３９】
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書中に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウス）も、任意選択的にさらに提供される。
【図面の簡単な説明】
【００４０】
本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。
【００４１】
【図１】図１は、本発明の一部の実施形態に係る、静止画像および１つ以上のオブジェクトを格納する映像コンテナフォーマットのターゲット・メディア・ファイルを生成する方法のフローチャートである。
【００４２】
【図２】図２は、本発明の一部の実施形態に係る、受け取った静止画像をターゲット・メディア・ファイルの１つ以上の映像ブロックとして符号化するための例示的プロセスのフローチャートである。
【００４３】
【図３】図３は、本発明の一部の実施形態に係る、図１に示した方法に従って生成されたＭＰ４ファイルの略図である。
【００４４】
【図４】図４は、本発明の一部の実施形態に係る、図１に示した方法に従って生成されたＭＰ４ファイルの例示的ヘッダの略図である。
【００４５】
【図５】図５は、本発明の一部の実施形態に係る、映像コンテナフォーマットで符号化された静止画像をカプセル化するメディアファイルを生成する例示的方法のフローチャートである。
【００４６】
【図６Ａ】図６Ａは、本発明の一部の実施形態に係る、映像コンテナフォーマットで符号化された静止画像およびオブジェクトをカプセル化するメディアファイルを表示する例示的方法のフローチャートである。
【００４７】
【図６Ｂ】図６Ｂは、本発明の一部の実施形態に係る、それぞれの領域に関連付けられるタグ付けされた音声シーケンスの存在を各々示す複数の音声アイコン付きの例示的画像である。
【００４８】
【図７】図７は、本発明の一部の実施形態に係る、映像コンテナフォーマットのターゲット・メディア・ファイルを復号する方法のフローチャートである。
【００４９】
【図８】図８は、本発明の一部の実施形態に係る、映像コンテナ・フォーマット・ファイルを分類するための方法のフローチャートである。
【発明を実施するための形態】
【００５０】
本発明は、その一部の実施形態では、マルチメディアデータを符号化および復号する方法およびシステムに関し、さらに詳しくは、コンテナフォーマットでマルチメディアデータを符号化および復号する方法およびシステムに関するが、それらに限定されない。
【００５１】
本発明の一部の実施形態では、１つ以上の映像ブロックに静止画像および静止画像に関係する１つ以上のオブジェクトを映像コンテナフォーマットでカプセル化するメディアファイルを生成、例えば符号化する、方法およびシステムを提供する。本発明の一部の実施形態では、そのようなメディアファイルを復号および／または分類する方法およびシステムを提供する。カプセル化されたオブジェクトは、音声注釈、テキスト注釈、音声シーケンス、画像、および映像オブジェクトのようなメディアオブジェクトを含むことができる。カプセル化されたオブジェクトは、静止画像に関係するデータ、例えば技術データ、取込み時間および発生地、キーワード、リンク、ならびにシーンに関する記述データを含むことができる。
【００５２】
任意選択的に、オブジェクトは、例えばタグ付けによって、静止画像の１つ以上の領域に関連付けられる。各オブジェクトは特定の領域に関連付けることができる。そのようにして、映像コンテナフォーマットのメディアファイルは、静止画像を見るユーザが、静止画像に描かれた要素を選択し、かつそれに関連付けられる視覚的、聴覚的、および／またはテキスト情報を受け取ることを可能にする。
【００５３】
任意選択的に、映像コンテナフォーマットのそのようなメディアファイルは、リンクを含みかつそれぞれの静止画像の領域に関連付けられるカプセル化されたオブジェクトによって、映像コンテナフォーマットの１つ以上の他のメディアファイルに接続することができる。
【００５４】
本発明の一部の実施形態では、複数のユーザでマルチメディアデータを共有する方法およびシステムを提供する。ユーザは、シーンを表わす静止画像を特定のネットワークサービス、例えばＦａｃｅｂｏｏｋ（商標）のようなソーシャル・ネットワーク・ウェブサイト、Ｇｏｏｇｌｅ  ｄｏｃｓ（商標）のようなファイル共有サービス、および／またはＧｍａｉｌ（商標）のような電子メールサービスにアップロードすることができる。ユーザはさらに、シーンに関係する１つ以上のオブジェクト、例えば上に略述しかつ以下で説明するオブジェクトを、ネットワークサービスにアップロードする。次いでユーザは静止画像またはその１つ以上の領域と、アップロードされたオブジェクトとを、例えばタグ付けによって関連付ける。関連付けは、上に略述しかつ以下で説明する通り、映像コンテナフォーマットのメディアファイルの作成を可能にする。このメディアファイルは複数のユーザが共有することができ、ユーザは各自、アップロードされた静止画像を表示するディスプレイの領域を例えばクリックまたはタッチすることによって、選択に応じてオブジェクトにアクセスすることが可能になる。
【００５５】
本発明の一部の実施形態では、映像コンテナフォーマットのメディアファイルを分類する方法およびシステムを提供する。以下で説明する通り、映像コンテナフォーマットのメディアファイルは、分類モジュールによって、例えばファイル拡張子に基づく分類モジュールによって、映像ファイルと識別することができる。下述する方法は、受け取ったメディアファイルが１つ以上の映像フレームを有する映像シーケンスまたは静止画像のどちらを符号化しているか決定し、かつこの決定に基づいて、このメディア映像を分類することを可能にする。そのようにして、静止画像を符号化しているメディアファイルは、映像コンテナフォーマットで定義されているが、映像ファイルとしては分類または処理されない。
【００５６】
本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および／または図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【００５７】
ここで図１を参照すると、それは、本発明の一部の実施形態に従って、静止画像と、静止画像を観察するユーザの経験および／またはターゲット・メディア・ファイルにアクセスしかつ／またはそれを処理するモジュールの機能性を充実させる１つ以上のオブジェクトとを格納している、ターゲット・メディア・ファイルを映像コンテナフォーマットで生成する方法のフローチャート１００である。簡潔にするために、そのようなターゲット・メディア・ファイルを本書では、映像コンテナ・フォーマット・ファイルまたはデータ増強静止画像と呼ぶことがある。本書で使用する場合、映像コンテナフォーマットとは、その仕様が映像データまたはメタデータとすることのできるデータをいかに格納するかを記載する、メタファイルフォーマットである。例示的映像コンテナフォーマットとして、ＩＳＯベースメディア・ファイル・フォーマットに基づく３ＧＰ、アドバンスト・システムズ・フォーマット（ＡＳＦ）、オーディオ・ビデオ・インターリーブ（ＡＶＩ）、Ｍｉｃｒｏｓｏｆｔデジタル・ビデオ・レコーディング（ＤＶＲ‐ＭＳ）、フラッシュビデオ（ＦＬＶ）（Ｆ４Ｖ）、交換ファイルフォーマット（ＩＦＦ）、Ｍａｔｒｏｓｋａ（ＭＫＶ）、モーションＪＰＥＧ（Ｍ‐ＪＰＥＧ）、ＭＰＥＧ‐４パート１２およびＪＰＥＧ２０００パート１２に定義されたＩＳＯベース・メディア・ファイル・フォーマットに基づくＭＪ２‐モーションＪＰＥＧ２０００ファイルフォーマット、ＱｕｉｃｋＴｉｍｅファイルフォーマット、および動画エキスパートグループ（ＭＰＥＧ）プログラムストリーム、ＭＰＥＧ‐２トランスポートストリーム（ＭＰＥＧ‐ＴＳ）、ＭＰ４、ＲＭ、ＮＵＴ、ＭＸＦ、ＧＸＦ、ｒａｔＤＶＤ、ＳＶＩ、ＶＯＢ、およびＤｉｖＸメディアフォーマットがある。
【００５８】
該方法は任意選択的に、デスクトップコンピュータ、ラップトップ、スマートフォン、カメラ、撮像装置、ならびに／またはディスプレイおよび計算能力を有する装置のような、装置と呼ばれるクライアント端末によって実現される。
【００５９】
該方法は、映像コンテナフォーマットを使用して１つ以上のオブジェクトおよび関連静止画像を単一のメディアファイル、単一データ増強静止画像内にカプセル化することを可能にする。１つ以上のオブジェクトを静止画像とカプセル化し、それによってそれらを関連付けることによって、データ増強静止画像は観視者に対話型または可変型のユーザ経験を提供し、かつ／または観視者の多くの感覚を同時に刺激することができる。さらに、そのようなカプセル化は、ユーザが、追加ファイルまたはリソースを使用することなく、静止画像に関する追加情報を共有することを可能にする。加えて、このカプセル化は、ソーシャル・ネットワーク・アプリケーション、ウェブブラウザ、オペレーティングシステムのファイルマネージャ、画像取込み装置のファイルマネージャ、ファイル共有サイト、検索エンジン、および／またはウェブベースの電子メールシステムサービスのような、種々のアプリケーションの相互運用性を高める。これらのアプリケーションのいずれかによって管理されるターゲット・メディア・ファイルは、静止画像に画像処理手順を行うことなく、低い計算量で、これらのアプリケーションのうちの他のいずれかによって検索、識別、処理、タグ付け、および／またはリンクすることができる。そのようなターゲット・メディア・ファイルは、テキストベースのアプリケーション、映像ベースのアプリケーション、音声ベースのアプリケーション、および／または画像ベースのアプリケーションによって使用することができる。
【００６０】
最初に、１０１に示す通り、静止画像を受け取り、例えば取り込み、アクセスし、かつ／または選択する。静止画像は、２次元または３次元で静止画像を表わす任意の画像、例えばカラー画像、白黒画像、立体画像、およびグレースケール画像とすることができる。画像は様々な画像フォーマット、例えばジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、ポータブル・ネットワーク・グラフィックス（ＰＮＧ）、タグ付きイメージ・ファイル・フォーマット（ＴＩＦＦ）、デジタル・ネガティブ（ＤＮＧ）およびベクトルフォーマットにすることができる。静止画像は画像ファイルとして、かつ／または画像取込み元、例えば電荷結合阻止（ＣＣＤ）デバイスまたは相補型金属酸化膜半導体（ＣＭＯＳ）デバイスから直接、受け取ることができる。代替的に、画像は中間装置を介して得られる。任意選択的に中間装置は、任意選択的に特定用途向け集積回路（ＡＳＩＣ）またはシステム・オン・チップ（ＳｏＣ）の一部として、ＣＭＯＳ撮像装置のような撮像装置を含む。本発明の一部の実施形態では、装置は、例えば画像を異なるフォーマットに変換するため、または撮像装置とインタフェースするために、画像処理ユニット（ＩＰＵ）を含む。任意選択的に、ＩＰＵはＡＳＩＣまたはＳｏＣの一部である。任意選択的に、装置は他のユニット、例えばコントロールユニット、周辺インタフェース、または撮像装置もしくは映像装置とのインタフェーシングを含む。
【００６１】
本発明の一部の実施形態では、画像は、鮮鋭化、位置合わせ、イメージガンマ（明るさ比）の変更、または明るさもしくはコントラストの修正のような操作によって前処理される。任意選択的に、装置は画像フォーマットを、特定の映像符号器に適合する適切なフォーマットに、例えばベイヤ（Ｂａｙｅｒ）色空間からＹＵＶ色空間に、例えば４：２：２または４：２：０の輝度色画素セルに修正する。任意選択的に、装置はフル画像解像度を特定の映像符号器に適合する適切な解像度に、例えば８メガ画素から１９２０×１０８０もしくは１２８０×７２０画素に、または映像符号器によってサポートされる原画像のアスペクト比を表わす他の解像度に修正する。任意選択的に、前処理は、プロセッサが画像処理プログラムを使用して、または専用ユニットによって実行することができる。
【００６２】
１０２に示す通り、受け取った静止画像に描かれたシーンに任意選択的に関連する１つ以上のオブジェクトを受け取る。１つ以上のオブジェクトは、例えば画像取込み装置によって自動的に生成するか、静止画像のためにオペレータによって選択および／または生成され、かつ／またはコンピューティングユニットによって、例えば静止画像を解析する画像処理モジュールもしくはそれぞれの画像ファイルを解析するデータアナライザによって選択および／または生成される。
【００６３】
任意選択的に、１つ以上のオブジェクトは、検索エンジンが生成されたターゲット・メディア・ファイルを、例えばクエリに応答して、文字列検索で識別することを可能にするために、指示テキストデータを含む。指示テキストデータは、静止画像に描かれた人々またはオブジェクトを識別するために使用することができる。このデータは、ソーシャル・ネットワーク・タグ付けモジュール、カメラまたは携帯電話機のような装置の検索および／または分類モジュール、ならびに画像処理モジュールによって使用することができる。指示テキストデータは、ナビゲーション手段または位置ベースのアプリケーションが静止画像を使用して、地図における位置を示すかまたは視覚的に説明し、かつ／または発生地に従って画像を分類または検索することを可能にする位置データを含むことができる。
【００６４】
任意選択的に、１つ以上のオブジェクトは、装置に関する技術的情報、例えばカメラ設定を含む。これは、カメラモデルおよび型のような静的情報、ならびに方位（回転）、絞り、シャッタ速度、焦点距離、測定モード、およびＩＳＯ速度情報のような各画像毎に変化する情報を含む。任意選択的に、１つ以上のオブジェクトは、描かれたシーンの上の時間的情報、例えば画像撮影の日付と時刻を含む。
【００６５】
任意選択的に、１つ以上のオブジェクトは、例えばファイルマネージャ、写真操作ソフトウェア、および／または限定的リソースディスプレイで画像をプレビュー表示するためのサムネイルを含む。例えば１つ以上のオブジェクトは、交換可能画像ファイルフォーマット（ＥＸＩＦ）規格、マテリアル交換フォーマット（ＭＸＦ）規格、またはＥＸＩＦもしくはＭＸＦオブジェクトの任意の部分に従って定義することができる。
【００６６】
任意選択的に、１つ以上のオブジェクトは、１つ以上の音声シーケンス、例えば撮像されたシーンを説明する音声注釈、撮像されたシーンのオブジェクトまたは要素を記載する音声タグ、静止画像の表示と共に再生される音楽コンテンツ、静止画像の取込み中および／または取込み後に行われたレコーディング、音声シグネチャを含む。
【００６７】
任意選択的に、１つ以上のオブジェクトは、アルファチャネルのようなアルファ合成データ、または静止画像の画素の一部または全部の透明度を示す任意のデータを含む。
【００６８】
任意選択的に、１つ以上のオブジェクトは、ユニフォーム・リソース・ロケータ（ＵＲＬ）、またはワールド・ワイド・ウェブに適しておりウェブブラウザを介してアクセスして固定装置または移動装置のディスプレイに表示することのできるドキュメントまたは情報リソースを指定する任意のポインタのようなリンクを含む。そのような実施形態では、静止画像の領域に関連付けられたオブジェクトは、領域をクリックするか他の方法で選択したユーザを、任意選択的に自動的に、リンクされた文書にリダイレクトすることを可能にする。本書で使用する場合、領域とは静止画像のエリアおよび／または静止画像に描かれた要素である。
【００６９】
任意選択的に、１つ以上のオブジェクトは、静止画像が取り込まれた発生地の全地球測位システム（ＧＰＳ）座標のような位置情報を含む。そのようなデータはカメラのＥＸＩＦデータに含まれ、あるいは独立タグとして提供することができる。
【００７０】
任意選択的に、位置情報に関連付けられるデータは自動的に識別され、１つ以上のオブジェクトに付加される。例えば位置ベースの情報を取得するためのモジュールが、該方法を実現する装置、例えばカメラのような撮像装置にインストールされる。該モジュールは、ＧＰＳ座標のような位置情報と、モジュールの近傍の発生地とを関連付けるデータベースにアクセスする。そのようなデータベースの例として、Ｇｏｏｇｌｅマップ（商標）、Ｗｉｋｉｈｏｏｄ（商標）、または種々の交通輸送計画者のデータベースがある。次いでモジュールは、それぞれの装置の現在の位置に関連付けられるデータまたはリンク、例えばＵＲＬを抽出する。抽出されたデータおよび／またはリンクは、任意選択的に位置情報と共に、映像コンテナ・フォーマット・ファイルにカプセル化された１つ以上のオブジェクトに付加される。そのようにして、バー、レストラン、ホテル、および／または観光地のような特定の位置で撮影された静止画像は、上述の通りデータベースから自動的に抽出された説明データ、および／またはそのような説明データへのリンクと共に格納される。別の実施例では、例えばエッフェル塔のような場所で撮影されるか他の方法でその場所に挿入された静止画像は、Ｗｉｋｉｐｅｄｉａの登録項目へのリンク、エッフェル塔に関連する画像ギャラリへのリンク、関連する関心対象点等と共に格納される。任意選択的に、上述の通り抽出される位置ベースのデータは、例えばテキスト音声変換モジュールを使用することによって音声シーケンスとして符号化され、音声注釈またはタグとして付加される。
【００７１】
そのようなオブジェクトは、１つ以上のウェブページまたはウェブサイトに関連付けられリンクされた静止画像を生成する。そのようにして、静止画像を含む映像コンテナ・フォーマット・ファイルにアクセスしたユーザは、それに関する情報にアクセスするためのインフラストラクチャを受け取る。任意選択的に、そのような映像コンテナ・フォーマット・ファイルは自動的に、１つ以上の位置ベースのサービスに関連付けられ、位置ベースのサービスを使用するユーザが、位置ベースの情報の入力に応答してそれぞれの静止画像を見ることを可能にする。
【００７２】
任意選択的に、１つ以上のオブジェクトは、アプレット、例えばアウトラインアプレット、ビューアプレット、アクション・バー・アプレット、エディタアプレット、および他のアプレット、ならびに静止画像を提示する装置によって実行することのできるウィジェットまたは任意のプログラムを含む。そのような実施形態では、静止画像の領域に関連付けられるオブジェクトは、力をクリックまたは他の方法で選択したユーザが、静止画像の表示と平行して特定の符号を実行し任意選択的に表示される静止画像に影響を及ぼすことを可能にする。
【００７３】
任意選択的に、１つ以上のオブジェクトは、静止画像および／またはその１つ以上の領域に関連するテキストタグを含む。例えば画像内のオブジェクトに付いて記述するテキストタグ、およびテキストタグの各々をそれぞれの座標に関連付けるマップを含むオブジェクトを受け取る。
【００７４】
任意選択的に、１つ以上のオブジェクトは、映像クリップ、グラフィック要素、および／または追加静止画像のような１つ以上の視覚的オブジェクトを含む。そのような実施形態では、視覚的オブジェクトは、画像内のエリア、例えば特定のオブジェクトを表わす領域に関連付けることができる。そのような実施形態では、視覚的オブジェクトは、異なる角度から、異なる時点に、他の撮像装置等を用いて撮影された、関連付けられる領域をより詳細に、例えばより高い解像度で示すことができる。そのようにして、種々の描かれた領域についてより多くの視覚的情報を提供する能力を備えた静止画像を形成することができる。画像および映像シーケンスのような視覚的オブジェクトは、例えばＭＰ４ファイルのｍｄａｔアトムに符号化された追加映像ブロックとして格納することができる。
【００７５】
１０３に示す通り、受け取った静止画像は、映像コンテナフォーマットでターゲット・メディア・ファイルの１つ以上の映像ブロックとして符号化される。符号化は任意選択的に、一連のフレーム群（ＧＯＰ）と呼ばれることのある、１つ以上の映像ブロックとして静止画像を圧縮することによって実行される。ＧＯＰ内のフレームの数は、プロセスで試用される符号化ツール、例えばコーダ／デコーダ（ＣＯＤＥＣ）の能力に反応する。任意選択的に、ＧＯＰ内のフレームの数は、任意選択的に機器またはツールのセットアップによって、または動作中に自動的に変動することができる。映像シーケンスの静止画像の圧縮によって符号化するための例示的方法は、「ＣＯＭＰＲＥＳＳＩＮＧ  ＨＩＧＨ  ＲＥＳＯＬＵＴＩＯＮ  ＩＭＡＧＥＳ  ＩＮ  Ａ  ＬＯＷ  ＲＥＳＯＬＵＴＩＯＮ  ＶＩＤＥＯ」と称する２００７年８月６日出願の米国特許出願第１１／８８２８１１号明細書、「Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ｉｍａｇｅ  ｃｏｍｐｒｅｓｓｉｏｎ  ｉｎ  ａ  ｖｉｄｅｏ  ｈａｒｗａｒｅ」と称する２００８年３月１日出願の米国特許出願第１２／００３９３４号明細書、および「ＣＯＭＰＲＥＳＳＩＮＧ  ＨＩＧＨ  ＲＥＳＯＬＵＴＩＯＮ  ＩＭＡＧＥＳ  ＩＮ  Ａ  ＬＯＷ  ＲＥＳＯＬＵＴＩＯＮ  ＶＩＤＥＯ」と称するＰＣＴ出願代理人事件番号第４２９７５号に、少なくとも部分的に記載されており、それらの開示内容を参照によって本書に援用する。国際特許出願公開第２００８／０８１４６０号および第２００８／０８１４５８号は、少なくとも部分的にＨ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、デジタル・ビデオ・エクスプレス（ＤｉｖＸ）、ＶＰ、クイックタイム（ＱＴ）、Ｗｉｎｄｏｗｓ（登録商標）メディア（ＷＭ）プロトコル、またはＶＣスキームもしくは他の映像標準スキームのような標準映像圧縮スキームに従って、映像フレームを空間的にかつ／または時間的に圧縮（映像符号化）する方法、ハードウェア、および／またはソフトウェアを記載しており、それらを参照によって本書に援用する。
【００７６】
ここで図２を参照すると、それは、本発明の一部の実施形態に係る、受け取った静止画像をターゲット・メディア・ファイルの１つ以上の映像ブロックとして符号化するための例示的プロセスのフローチャートである。最初に、２０１に示す通り、静止画像は、例えば参照によって本書に援用する２００７年８月６日出願の米国特許出願第１１／８８２８１１号に記載されるように、タイルのシーケンス、任意選択的に予め設計されたタイルのシーケンスと呼ばれることのある例えば複数の映像ブロックにパーティション化された映像フォーマットに変換され、結果的に得られたシーケンスを映像ＧＯＰとして取り扱う。そのようなパーティションは、映像オブジェクトへの変換とみなすことができる。代替的に、静止画像は１つのフレームだけを含む映像シーケンスのＩ、すなわち１つのタイルに変換することができる。次いで、２０２に示す通り、１つ以上の映像ブロックは、ＭＰＥＧ圧縮のような公知の映像圧縮プロセスを用いることによって圧縮される。これは、２０３に示す通り、圧縮された映像ブロックの圧縮解除を可能にし、かつ２０４に示す通り、例えば指定されたヘッダに格納された指定された命令に従って静止画像にスティッチすることを可能にする。例えば、図３は、図１に示した方法に従って生成されたＭＰ４ファイルの略図を示す。ｍｏｏｖアトム３０１、ｍｄａｔアトム３０２、およびそのような指定されたヘッダをホストするフリーアトム３０３を有する。本書で使用する場合、フリーアトム３０３は、他の全ての非ｍｄａｔおよび非ｍｏｏｖ格納空間を含むことができる。そのような実施形態では、当業界で公知の通り、映像ブロックはｍｄａｔアトムの映像ｔｒａｋ３０４に格納され、それらをスティッチするための命令は、本書でデータ増強静止画像ヘッダと呼ばれるヘッダ３０５、フリーアトム、および／またはｍｏｏｖアトムに格納されル。例えば、図４も参照すると、図１に示した方法に従って生成されたＭＰ４ファイルの例示的ヘッダ４００が概略的に示されており、それは、各々が画像断片インデックステーブル４０１と、それぞれの映像ブロックのためのスティッチ命令とを有する、１つ以上の画像ブロックレコード４０１を含む。各画像断片インデックステーブルは、映像ブロックの異なる行に対し１つずつ複数のレコード４０２を含む。各レコードは、それぞれの行の番号、オフセット、および長さを定義する。例えば参照によって本書に援用する国際特許出願公開第２００８／０８１４５８号を参照されたい。
【００７７】
ここで再び図１を参照する。１０４に示す通り、１つ以上のオブジェクトがここで、静止画像を符号化するために使用される同一映像コンテナフォーマットで、ターゲット・メディア・ファイルに符号化される。
【００７８】
任意選択的に、１つ以上のオブジェクトの符号化は、１つ以上の日映像ブロックとして、例えば音声ブロック３０６として行うことができる。例えば１つ以上のオブジェクトが上で定義したように１つ以上の音声シーケンスを含む場合、それらは任意選択的に音声符号器によって１つ以上の音声ブロックに符号化される。例えば、映像コンテナフォーマットがＭＰ４である場合、音声ブロックは、ｍｄａｔアトムの音声ｔｒａｋに格納され、それらをスティッチするための命令は、当業界で公知の通り、フリーアトム、例えば画像メタデータ４０３、および／またはｍｏｏｖアトムのヘッダ３０５に格納される。そのような実施形態では、異なる音声シーケンスは、静止画像の異なるセグメントに関連付けることができ、例えばそれぞれのセグメント上にポインタを置くか、タッチスクリーン上にそれが存在するときにそれにタッチすること等によってユーザが選択すると、それを再生することができる。使用中に、任意の静止画像毎に、例えば４０３に示すように、画像メタデータに格納された情報に従って、静止画像またはその領域とのタグ関連付けに従って、音声ファイルのような１つ以上のオブジェクトを再生することができる。
【００７９】
任意選択的に、１つ以上のオブジェクトの符号化は、例えば４０３に示すように画像メタデータを更新することを含む。例えばＥＸＩＦ情報、ＭＸＦ情報、検索を容易化するための記述的キーワードまたはインデックス、タグ付け、位置ベースのデータ、および／または時間的データは、例えば４０３に示すように画像メタデータに格納することができる。任意選択的に、例えば４０３に示すように、画像メタデータは次のオブジェクト、すなわちＥＸＩＦデータを含むためのＥＸＩＦオブジェクト、アルファ合成データを含むためのＡｌｆａＣｈａｎｎｅｌオブジェクト、ＸＭＰデータを含めるための拡張マルチレイヤ（ＸＭＰ）オブジェクト、任意選択的に音声ｔｒａｋ３０６に格納された音声シーケンスを静止画像に関連付けるためのＡｕｄｉｏＴａｇオブジェクト、静止画像の領域または静止画像に映像ファイルでタグ付けするためのＶｉｄｅｏＴａｇオブジェクト、静止画像の領域または静止画像にテキストでタグ付けするためのＴｅｘｔＴａｇオブジェクト、静止画像の領域または静止画像に他の画像でタグ付けするためのＰｉｃｔｕｒｅＴａｇオブジェクト、および静止画像の拡張データが位置するオフセットを指し示すＤａｔａＥｘｔｅｎｓｉｏｎオブジェクトを含む。
【００８０】
任意選択的に、静止画像の特定の領域におけるオブジェクトの一部または全部のレベル、存在または不在を示すデータ構造を使用する。そのようなデータ構造は、静止画像における領域の全部または一部をマップするために使用することができる。データ構造は任意選択的に、例えば座標、トラック番号、および任意選択的に、透明度、領域関連テキスト文字列、領域関連画像ファイル、領域関連画像映像ファイル、領域関連音声ファイル等のような、アルファチャネル値によって静止画像の領域を定義する。
【００８１】
オブジェクトが１つ以上の音声シーケンスを含む場合に使用される映像コンテナフォーマットは、音声および映像の同期化を可能にすることに注目すべきである。そのような実施形態では、使用される映像および音声ＣＯＤＥＣのフォーマットは、コンテナのサポートに応じて変動することができる。例えばＭＰＥＧ−２  ＴＳコンテナを使用して、Ｈ．２６４またはＭＰＥＧ−２映像コンテンツをとりわけＡＡＣまたはＡＣ３と組み合わせることができる。
【００８２】
１つ以上のオブジェクトおよび静止画像の符号化および複合化は、上述の通り、メディアファイルを取り扱うため、例えば復号および／または符号化するために設計された既存のシステムおよび／またはソフトウェアおよび／またはハードウェアに組み込まれるソフトウェアおよび／またはハードウェアモジュールによって行うことができる。
【００８３】
本書で使用する場合、符号化は圧縮プロセスを含むことができ、復号は圧縮解除プロセスを含むことができる。少なくとも単一の映像オブジェクトおよび音声オブジェクトのようなオブジェクトを任意選択的に何ら調整することなく復号し提示することのできる既存のシステムの例として、Ｆａｃｅｂｏｏｋ（商標）映像ビューア、ＱｕｉｃｋＴｉｍｅ（商標）、Ｒｅａｌ（商標）プレーヤ、ＫＭプレーヤ（商標）、ＶＬＣ（商標）プレーヤ、ＧＯＭ（商標）プレーヤ、および他の映像プレーヤ、デジタルフォトビューアもしくはフレームワーク、および／または映像コンテナフォーマット符号器および／または復号器を備えた装置、例えばＭＰ４コンテナ、ＡＭＲ、ＡＭＲ‐ＷＢ、ＡＭＲ−ＷＢ＋、またはＡＡＣ音声ＣＯＤＥＣ、およびＨ．２６４映像ＣＯＤＥＣがある。これらのプレーヤは、１つ以上の映像ブロックを映像ストリームとして提示することができる。任意選択的に、スティッチブロックは、既存の復号器の出力を受け取るように配置され、１つ以上の映像ブロックを静止画像として構成し、該構成をレンダラに転送する。１０５に示すように、符号化された静止画像および１つ以上の符号化されたオブジェクトは、上述の通り、特定の映像コンテナフォーマットによって定義された共通メディアファイルに格納され、カプセル化される。１０６に示すように、共通メディアファイルはここで出力され、例えばディスプレイに転送され、メモリに格納され、ウェブサーバのようなストレージのためにアップロードされ、通信ネットワークを介して伝送などが行われる。
【００８４】
任意選択的に、オブジェクトの符号化は、それぞれの映像コンテナフォーマットの規格に従って行われる。そのような実施形態では、共通メディアファイルがＭＰ４のような共通映像コンテナフォーマットによって定義され、既存のソフトウェアモジュールおよび装置は、カプセル化されたオブジェクトの少なくとも一部およびカプセル化された静止画像を、いかなる調整または更新も行わずに、提示しかつ処理することができる。共通映像コンテナフォーマットによって定義された共通メディアファイルは、それぞれの解像度の制限に適合する。
【００８５】
本発明の一部の実施形態では、任意選択的に図１に従って生成された、静止画像および１つ以上のオブジェクトを格納する映像コンテナフォーマットのメディアファイルは、ワールド・ワイド・ウェブ（ＷＷＷ）および／またはプライベート・ローカル・エリア・ネットワークに適したドキュメントまたは情報リソースのコンテンツコンテナとしてしようされ、ウェブブラウザを介してアクセスし、固定装置または移動装置のディスプレイに表示することができる。このメディアファイルは、ＨＴＭＬまたはＸＨＴＭＬフォーマットページに埋め込むことができる。上述の通り、メディアファイルは、ウェブブラウザを介してアクセスすることのできる他のドキュメントまたは情報リソースへのナビゲーションを提供する、リンクのようなオブジェクトを含むことができる。そのようにして、そのようなメディアファイルは互いにリンクすることができ、ＷＷＷおよび／またはプライベート・ローカル・エリア・ネットワークを介してアクセス可能でありかつそれらに適したウェブサイトまたはドキュメント群を形成することが可能になる。例えば、そのようなメディアファイルの静止画像は、ウェブブラウザのプレゼンテーションスクリーンのページサイズに提示されるように設定することができる。静止画像の多くの異なる領域が、例えば上述したように、異なるオブジェクトに関連付けられる。ユーザが領域の１つをクリックするか、タッチイベントを実行するか、その他の方法で選択すると、例えば上述の通り、それぞれのオブジェクトから映像コンテンツ、画像コンテンツ、またはテキストコンテンツのようなビジュアルコンテンツがユーザに提示され、オブジェクトからアプレットまたはウィジェットのコードを実行し、かつ／またはそれぞれのオブジェクトのリンクに従って、別のメディアファイルまたはウェブページにリダイレクトされる。そのようにして、ユーザはメディアファイルを用いて様々なドキュメント間をサーフィンする。メディアファイルは、ローカルコンピュータまたはリモート・ウェブ・サーバからから検索することができる。ウェブサーバは、アクセスをプライベートネットワーク、例えば企業イントラネットのみに制約することができ、あるいはＷＷＷにページを公開することができる。任意選択的に、メディアファイルは、ハイパーテキスト・トランスファ・プロトコル（ＨＴＴＰ）メッセージまたは他のメッセージを用いて、ウェブサーバから要求され、かつサービスを提供される。任意選択的に、互いに関係するそのようなメディアファイルの集合は、ウェブサイトのウェブページとして共通プレフィックスを有するリンクによってアドレス指定される。これらのメディアファイルは、ウェブサーバ上にホストされ、インターネットまたはプライベート・ローカル・エリア・ネットワークのようなネットワークを介してアクセス可能である。そのようなメディアファイルの集合を使用する場合、データは映像コンテナフォーマットにしたがって容易に圧縮することができる。これは伝送されるデータの量を低減し、したがってメディアファイルをいかに提示するかウェブブラウザをホストするクライアント端末の所要計算能力を低減する。計算能力の低下は、エネルギ消費を低減する。ＭＰ４のようなメディアファイルに埋め込まれたオブジェクトの使用は、ユーザに、例えばｃｈｒｏｍｅ（商標）およびＳａｆａｒｉ（商標）のようなＨＴＭＬ５およびＨ．２６４をサポートするウェブブラウザに透明である。
【００８６】
ここで図５を参照すると、それは、本発明の一部の実施形態に係る、データ増強静止画像を生成する例示的方法５００のフローチャートである。最初に、５０１に示すように、静止画像が、例えばファイル・マネージャ・アプリケーションによって選択され、かつ／または例えばＣＭＯＳベースの装置およびＣＣＤベースの装置のような撮像装置を用いて取り込まれる。例えばユーザがカメラまたはセルラ装置を用いて画像を取り込む場合、画像を格納するためのオプションの１つは、静止画像とユーザによってかつ／または例えばカメラによって自動的に付加される１つ以上のオブジェクトとをカプセル化する、映像コンテナ・フォーマット・ファイルに格納することである。ユーザがそのようなオプションを選択した場合、取り込まれた静止画像は、そのようなデータ増強静止画像を生成するために受け取られる。受け取った静止画像は、映像オブジェクトとして符号化され、例えばＪＰＥＧおよびＲＡＷのような種々のフォーマットから複数の映像ブロックにパーティション化される。
【００８７】
次いで、５０２に示すように、オペレータは、静止画像またはその領域にタグを付けるか、それともそれに注釈を関連付けるかを選択する。５０３に示すように、タグ付けが選択された場合、ユーザはタグの種類、例えば静止画像内の領域を示す領域タグ、一般的タグ、および／または静止画像を提示する期間を示す時間的タグを決定する。領域タグが選択された場合、次に５０４に示すように座標が設定される。座標はポインティングデバイスを用いて、かつ／またはタッチスクリーン上でそれぞれのエリアをタッチすることによって、設定することができる。時間的タグが選択された場合、例えば指定されたグラフィカル・ユーザ・インタフェース（ＧＵＩ）を用いて、ディスプレイ期間が選択される。ここでタグが入力され、例えば取り込まれ、タイピングされ、かつ／または記録される。例えばタグは音声タグ５０５、テキストタグ５０６、画像タグ５０７、および映像タグ５０８とすることができる。タグ選択プロセスは、構造化ＧＵＩによって命令することができる。領域は、ユーザが静止画像のエリアにマークを付けることを可能にする選択ツールによって、選択することができる。
【００８８】
５０７に示すように、注釈が選択された場合、ユーザはそれぞれの注釈コンテンツを入力し、例えば選択し、タイピングし、かつ／または取り込む。例えば注釈コンテンツは、情報５０８、音声５０９、テキスト５１０、ならびに／または視覚的、例えば画像５１１および／もしくは映像５１２とすることができる。プロセスは、スタンドアロンプログラムとして、または既存のプレーヤのアドインとして、かつ／または撮像装置またはデータ管理および／もしくは処理装置のユーザインタフェースの一部としてユーザに提供されるＧＵＩによって容易化される。任意選択的に、図１に示し、かつ上述したように、オペレータ、すなわちタグおよび注釈のようなオブジェクト、ならびに静止画像の入力はカプセル化されて、ＭＰ４のような映像コンテナフォーマットで単一多層の任意選択的に対話型のメディアファイルを形成する。メディアファイルは、ソーシャルネットワークのプロファイルページのようなウェブページにアップロードし、電子メールとして送信し、あるいはローカルおよび／またはリモートデータベースに格納することができる。
【００８９】
図５に示すプロセスは、ユーザが、上述したデータ増強静止画像のようなマルチメディアファイルを複数のユーザと、例えばソーシャルネットワークの友人と、共有することを可能にするために使用することができる。そのような実施形態では、ユーザは、アップロードすべきシーンを描いた静止画像、およびシーンに関係する１つ以上のオブジェクトを選択し、例えばテキストをタイピングし、画像および／または映像を選択し、かつ／またはリンクを関連付ける。ここで、ユーザは、例えば静止画像の一つ以上の領域にタグ付けすることによって、１つ以上のオブジェクトと静止画像を関連付ける。この画像は次に、友人の各々がそれぞれの領域の選択に応答してオブジェクトにアクセスすることができるように、ソーシャル・ネットワーク・サービスでユーザの友人（および／または任意のユーザ）と共有される。例えば、ユーザが記述的テキストを要素または人間を表わす領域に関連付けると、ユーザの友人は、タッチイベントまたはそれぞれの領域をクリックすることによってテキストにアクセスすることができる。
【００９０】
ここで図６Ａを参照すると、それは、例えば図１に示しかつ上述したように、静止画像および映像コンテナフォーマットで符号化されたオブジェクトをカプセル化する多層の任意選択的に対話型のメディアファイルを表示する、本発明の一部の実施形態に係る例示的方法６００のフローチャートである。最初に、６０１に示す通り、データ増強静止画像が、例えばＧＵＩまたは指定されたＵＩを用いて選択される。例えば選択されたデータ増強静止画像は、ソーシャル・ネットワーク・ページのようなウェブページ、ポータル、ファイル管理ＧＵＩ、および／または共有ページに提示することができる。別の実施例では、データ増強静止画像は、電子メール、マルチメディア・メッセージング・サービス（ＭＭＳ）、またはインスタント・メッセージング・サービスで受け取る。選択は、例えばポインティングデバイスのポインタを用いて、またはタッチスクリーン上のタッチイベントによって行われる。選択された静止画像はオペレータに提示される。
【００９１】
次に、６０２に示すように、ユーザは、タグまたは注釈を提示すること、例えば表示または再生することを希望するか否かを選択する。そのような選択は、ＧＵＩのボタンを用いて、例えばタグアイコンまたは注釈アイコンを選択することによって行うことができる。例えば６０３に示すように、例えばユーザにポインティングデバイスのポインタを静止画像のタグ付けされた領域に配置させることによって、提示のためにタグが選択される。次いで、６０４に示すように、指定されたタグをクリックまたはタッチすると、ユーザは音声コンテンツ６０５を聞き、テキストコンテンツ６０６を観視および／または編集し、タグ付けされた画像６０７を観視し、かつ／またはタグ付けされた映像６０８を観視することができる。
【００９２】
タグは、要求によりかつ／または自動的に、例えば静止画像の表示と共にユーザに提示することができる。タグはアイコンとして、タグ付けされた領域付近のカウンタとして、かつ／またはタグ付けされた領域の強調として提示することができる。例えば図６Ｂは、各々が６５１のようにそれぞれの領域に関連付けられたタグ付き音声シーケンスの存在を示す、複数の音声アイコン付きの例示的画像である。この実施例では、撮影された人々の各人の話をエミュレートするレコーディングを含む異なる音声シーケンスが、異なる音声タグに関連付けられる。
【００９３】
任意選択的に、６０７に示すように、ユーザは、例えばそれぞれのアイコンの右クリック、クリック、および／またはタッチイベントによって、注釈またはリンクを選択することができる。例えば図６Ｂは、音声注釈のアイコン６５２、それぞれのソーシャル・ネットワーク・ウェブページへのリンク６５３、および画像の発生地に関する情報を含むウェブページへのリンク６５４を伴う画像を示す。
【００９４】
注釈が選択されると、ユーザはデータ注釈６０８にアクセスし、音声コンテンツ６０９を聞き、テキストコンテンツ６１０を観視および／または編集し、画像注釈６１１を観視し、かつ／または映像注釈６１２を観視することができる。静止画像の提示は、上述の通り、例えば参照によって本書に援用する２００７年８月６日出願の米国特許出願第１１／８８２８１１号明細書に記載する通り、データ増強静止画像を復号することによって可能になる。上述したオブジェクトの処理および／または提示は、例えば図３および４に示しかつ上述したヘッダに格納されたデータを使用して、上述の通りデータ増強静止画像を復号することによって可能になる。
【００９５】
任意選択的に、１つ以上のオブジェクトは、例えばそれぞれのデータ増強静止画像が画像ギャラリにサムネイルとして提示されるときに、静止画像のプレビューとして提示される。例えば、データ増強静止画像は音声注釈またはタグのような音声オブジェクトを含み、これらの音声オブジェクトは、ユーザがポインティングデバイスのポインタを画像ギャラリのそれぞれのサムネイル上に配置したときに再生される。そのようにして、ユーザは、静止画像を拡大するか否かを決定するために多くのサムネイルを観視しながら、音声情報を聞くことができる。
【００９６】
ここで図７を参照すると、それは、上述のデータ増強静止画像のような映像コンテナフォーマットのターゲット・メディア・ファイルを復号する、本発明の実施形態に係る方法７００のフローチャートである。最初に、７０１に示すように、データ増強静止画像のような映像コンテナフォーマットのメディアファイルを受け取る。次いで７０２に示すように、映像コンテナフォーマットの映像復号器を使用して、前記受け取ったメディアファイルに含まれる１つ以上の映像ブロックから静止画像を復号する。例えば、映像コンテナフォーマットがＭＰ４である場合、映像復号器は、例えば参照によって本書に援用する２００７年８月６日出願の米国特許出願第１１／８８２８１１号明細書に記載される通り、ｍｄａｔアトムから静止画像を複合するように設定される。次いで７０３に示すように、映像コンテナフォーマットに従って設定された別のメディア復号器を使用して、メディアファイルに含まれるデータ、例えば非映像データ、または別の映像シーケンスとしてのデータから、１つ以上のオブジェクトを復号する。例えば、受け取ったメディアファイルに格納された１つ以上の音声シーケンスを抽出して復元するために、音声復号器を使用することができる。上述したオブジェクトはいずれも、例えばＥＸＩＦオブジェクト、ＡｌｆａＣｈａｎｎｅｌオブジェクト、ＸＭＰオブジェクト、ＡｕｄｉｏＴａｇオブジェクト、ＶｉｄｅｏＴａｇオブジェクト、ＴｅｘｔＴａｇオブジェクト、ＰｉｃｔｕｒｅＴａｇオブジェクト、および／またはＤａｔａＥｘｔｅｎｓｉｏｎオブジェクトは、メディアファイルから抽出することができる。復号は、それぞれの復号器、例えばテキスト復号器、データ復号器、グラフィック復号器等によって実行することができる。復号プロセスは上述の符号化の観点から明瞭である。
【００９７】
次にオブジェクトおよび静止画像は、７０４に示すように同期化される。例えば同期化は、例えば４０３に示すように、例えば画像メタデータに格納されたデータ構造の命令に従って、静止画像の座標をそれぞれのタグに関連付けるかまたはリンクさせることを含む。同期化は、空間次元では、例えば画像内の領域を特定のオブジェクトに関連付け、時間次元では、例えば静止画像を提示する時間周期を特定のオブジェクトに関連付けることで行われる。同期化は、上述した復号の結果として自動的に、および／または別個の段階として実行することができる。
【００９８】
次に、７０５に示すように、同期復号された静止画像およびオブジェクトは例えば、ユーザが静止画像および追加データを同時に観視することを可能にするデータ増強静止画像として出力される。
【００９９】
上述の通り、データ増強静止画像は、映像コンテナ・フォーマットで格納される。そのようなフォーマットは、映像ファイルのような分類モジュールによって、例えばファイル拡張子に基づく分類モジュールによって識別される。ここで図８を参照すると、それは、本発明の一部の実施形態に従って映像コンテナ・フォーマット・ファイルを分類するための方法８００のフローチャートを示す。この方法８００は、ウェブをベースとするサービス、およびファイルマネージャがデータ増強静止画像と映像ファイルとを区別することを容易化する。この方法８００はまた、ファイルマネージャがデータ増強静止画像を自動的に分類することをも容易化する。そのような方法は、Ｆａｃｅｂｏｏｋ（商標）のような静止画像の共有を可能にするウェブをベースとするサービスが、アップロードされたデータ増強静止画像を映像としてではなく、静止画像として分類することを容易化することを可能にする。
【０１００】
最初に、８０１に示すように、１つ以上の映像ブロックを有する映像コンテナ・フォーマット・ファイルを受け取る。次いで、８０２に示すように、映像コンテナ・フォーマット・ファイルを解析して、１つ以上の映像ブロックが、１つ以上の映像フレームを有する映像シーケンスを符号化しているか、それとも静止画像を符号化しているかを決定する。任意選択的に、解析は、３０５としてマークされた上述の指定ヘッダのようなフォーマット識別子の有無を識別することによって行われる。任意選択的に、解析は、単一または１つ以上の映像ブロックを復号して、それらが静止画像から抽出されたデータを含むか否かを決定することによって行われる。復号は、２００７年８月６日出願の米国特許出願第１１／８８２８１１号明細書に記載される通り実行することができる。決定は、復号の出力画像を解析することによって実行することができる。
【０１０１】
次に、８０３に示すように、映像コンテナ・フォーマット・ファイルは決定に従って分類される。例えば、Ｆａｃｅｂｏｏｋ（商標）のようなソーシャル・ネットワーク・サービスでは、異なるファイル拡張子を使用することによって、映像を静止画像から区別する。例えば＊．ｍｐ４は映像に使用され、映像コンテナフォーマットに含まれる静止画像は、ファイル拡張子＊．ｈｐｘを有する画像に格納される。
【０１０２】
本出願から成熟する特許の存続期間の期間中には、多くの関連するシステム及び方法が開発されることが予想され、符号器、復号器、ＣＯＤＥＣ、ネットワーク、及び撮像装置の用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。
【０１０３】
本明細書中で使用される用語「約」は、±１０％を示す。
【０１０４】
用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」ことを意味する。この用語は、「からなる（ｃｏｎｓｉｓｔｉｎｇ  ｏｆ）」および「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ）」を包含する。
【０１０５】
表現「から本質的になる」は、さらなる成分および／または工程が、特許請求される組成物または方法の基本的かつ新規な特徴を実質的に変化させない場合にだけ、組成物または方法がさらなる成分および／または工程を含み得ることを意味する。
【０１０６】
本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「化合物（ａ  ｃｏｍｐｏｕｎｄ）」または用語「少なくとも１つの化合物」は、その混合物を含めて、複数の化合物を包含し得る。
【０１０７】
用語「例示的」は、本明細書では「例（ｅｘａｍｐｌｅ，ｉｎｓｔａｎｃｅ又はｉｌｌｕｓｔｒａｔｉｏｎ）として作用する」ことを意味するために使用される。「例示的」として記載されたいかなる実施形態も必ずしも他の実施形態に対して好ましいもしくは有利なものとして解釈されたりかつ／または他の実施形態からの特徴の組み入れを除外するものではない。
【０１０８】
用語「任意選択的」は、本明細書では、「一部の実施形態に与えられるが、他の実施形態には与えられない」ことを意味するために使用される。本発明のいかなる特定の実施形態も対立しない限り複数の「任意選択的」な特徴を含むことができる。
【０１０９】
本書で使用される用語「１つ以上の映像ブロック」は、単一の映像ブロックから任意の数の映像ブロックまでの範囲の任意の数の映像ブロックを意味する。
【０１１０】
本開示を通して、本発明の様々な態様が範囲形式で提示され得る。範囲形式での記載は単に便宜上および簡潔化のためであり、本発明の範囲に対する柔軟性のない限定として解釈すべきでないことを理解しなければならない。従って、範囲の記載は、具体的に開示された可能なすべての部分範囲、ならびに、その範囲に含まれる個々の数値を有すると見なさなければならない。例えば、１〜６などの範囲の記載は、具体的に開示された部分範囲（例えば、１〜３、１〜４、１〜５、２〜４、２〜６、３〜６など）、ならびに、その範囲に含まれる個々の数値（例えば、１、２、３、４、５および６）を有すると見なさなければならない。このことは、範囲の広さにかかわらず、適用される。
【０１１１】
数値範囲が本明細書中で示される場合には常に、示された範囲に含まれる任意の言及された数字（分数または整数）を含むことが意味される。第１の示された数字および第２の示された数字「の範囲である／の間の範囲」という表現、および、第１の示された数字「から」第２の示された数「まで及ぶ／までの範囲」という表現は、交換可能に使用され、第１の示された数字と、第２の示された数字と、その間のすべての分数および整数とを含むことが意味される。
【０１１２】
明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。
【０１１３】
本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。
【０１１４】
本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。
【図１】
2012114909.tif 000003
【図２】
2012114909.tif 000004
【図３】
2012114909.tif 000005
【図４】
2012114909.tif 000006
【図５】
2012114909.tif 000007
【図６Ａ】
2012114909.tif 000008
【図７】
2012114909.tif 000009
【図８】
2012114909.tif 000010
【図６Ｂ】
2012114909.tif 000011
【外国語明細書】
2012114909.tif 000012
2012114909.tif 000013
2012114909.tif 000014
2012114909.tif 000015
2012114909.tif 000016
2012114909.tif 000017
2012114909.tif 000018
2012114909.tif 000019
2012114909.tif 000020
2012114909.tif 000021
2012114909.tif 000022
2012114909.tif 000023
2012114909.tif 000024
2012114909.tif 000025
2012114909.tif 000026
2012114909.tif 000027
2012114909.tif 000028
2012114909.tif 000029
2012114909.tif 000030
2012114909.tif 000031
2012114909.tif 000032
2012114909.tif 000033
2012114909.tif 000034
2012114909.tif 000035
2012114909.tif 000036
2012114909.tif 000037
2012114909.tif 000038
2012114909.tif 000039
2012114909.tif 000040
2012114909.tif 000041
2012114909.tif 000042
2012114909.tif 000043
2012114909.tif 000044
2012114909.tif 000045
2012114909.tif 000046
2012114909.tif 000047
2012114909.tif 000048
2012114909.tif 000049
2012114909.tif 000050
2012114909.tif 000051