(57)【要約】アプリケーション・エンハンスメント・トラックを介して改良されたディジタルメディア再生を提供するシステム及び方法が表される。アプリケーション・エンハンスメント・トラックは、例えばビジュアル検索など、コンテンツに関する一つ以上の機能の実行を支援するために、関連し、符号化される主コンテンツから得られる。【選択図】図１
2011509602.tif 000002
【特許請求の範囲】
【請求項１】
再生用メディアファイルの符号化方法であって、
内部にコンテンツが符号化されているビデオトラックをオリジナルのメディアファイルから抽出する過程と、
前記符号化されたコンテンツを用いて少なくとも一部のコンテンツの廃棄を含むアプリケーション・エンハンスメント・トラックの符号化を行う過程と、
ビデオトラックの内部で符号化された前記オリジナルのメディアファイル及び添付のアプリケーション・エンハンスメント・トラックからコンテンツを含むメディアファイルを作成する過程と、
を含む方法。
【請求項２】
請求項１の方法において、コンテンツのサブサンプリングによって情報はコンテンツから廃棄される。
【請求項３】
請求項２の方法において、前記コンテンツのサブサンプリングは、前記アプリケーション・エンハンスメント・トラック発生要因による前記コンテンツの解像度スケールの低減をさらに含む。
【請求項４】
請求項２の方法において、前記コンテンツのサブサンプリングは、前記アプリケーション・エンハンスメント・トラック発生要因による前記コンテンツのフレームレートの低減をさらに含む。
【請求項５】
請求項４の方法において、前記メディアファイルの作成は、前記コンテンツを符号化する前記ビデオトラック全体に前記添付のアプリケーション・エンハンスメント・トラックの部分埋め込みをさらに含む。
【請求項６】
請求項４の方法において、前記メディアファイルの作成は、前記メディアファイル内のブロックとして前記添付のアプリケーション・エンハンスメント・トラックの組み込みをさらに含む。
【請求項７】
請求項１の方法において、前記アプリケーション・エンハンスメント・トラックは、映像のみを含む。
【請求項８】
請求項１記載の方法において、前記アプリケーション・エンハンスメント・トラックは、それぞれの間に一定時間間隔を置かれるキーフレームを含む。
【請求項９】
請求項１の方法において、前記オリジナルのメディアファイル及び前記添付のアプリケーション・エンハンスメント・トラックから前記コンテンツを含むメディアファイルを作成する過程は、
前記ビデオトラックと同じ解像度及びフレームレートに圧縮された圧縮ビデオトラックを作成するキーフレームの間の期間のサイズまたは周波数にかかわらず、圧縮を最大にするために前記コンテンツを再符号化する過程と、
前記圧縮ビデオトラック及び前記添付のアプリケーション・エンハンスメント・トラックを含むメディアファイルを作成する過程と、をさらに含み、
前記圧縮ビデオトラック及び前記添付のアプリケーション・エンハンスメント・トラックを含む前記メディアファイルは、オリジナルのメディアファイルより小さい。
【請求項１０】
請求項１の方法において、前記コンテンツは圧縮コンテンツである。
【請求項１１】
再生用メディアファイルの復号化方法であって、
圧縮コンテンツと前記圧縮コンテンツのサブセットである添付のアプリケーション・エンハンスメント・トラックとを含むメディアファイルを取得する過程と、
前記圧縮コンテンツを再生する過程と、
ビジュアル検索速度に比例したレートで、前記圧縮コンテンツの直近に再生された部分により決定される位置から、前記アプリケーション・エンハンスメント・トラックのフレームを復号化する過程と、
を含む方法。
【請求項１２】
請求項１１の方法において、前記アプリケーション・エンハンスメント・トラックは、キーフレームのみを含む。
【請求項１３】
請求項１１の方法において、隣り合ったフレームに一定の時間差内で納められる少なくとも一つのデルタフレームをさらに含む。
【請求項１４】
請求項１１の方法において、所定のビジュアル検索速度を超えたとき、キーフレームだけは復号化される。
【請求項１５】
請求項１１の方法において、所定のビジュアル検索速度を超えたとき、キーフレームの選択数は、関連したデルタフレームと共にスキップされる。
【請求項１６】
請求項１１の方法において、前記アプリケーション・エンハンスメント・トラックは、前記メディアファイルの一部であり、低減されたフレームレート並びに低減された解像度での前記圧縮コンテンツである。
【請求項１７】
メディアファイルの再生用のシステムであって、
オリジナルのメディアファイルから少なくとも一つのアプリケーション・エンハンスメント・トラックを発生させるようにメディアサーバが構成され、前記少なくとも一つのアプリケーション・エンハンスメント・トラックは前記オリジナルのメディアファイルと少なくとも一つのフレームを共有し、前記オリジナルのメディアファイルより実質的にファイルサイズが小さくされており、
前記メディアサーバを有するネットワーク通信におけるクライアントプロセッサであって、前記オリジナルのメディアファイルの要求を前記メディアサーバに送るように構成され、
前記メディアサーバは、前記少なくとも一つのアプリケーション・エンハンスメント・トラックと共に前記要求されたオリジナルのメディアファイルを送信するように構成されているシステム。
【請求項１８】
請求項１７のシステムにおいて、前記クライアントプロセッサは、前記アプリケーション・エンハンスメント・トラックを復号化し、ユーザの再生指示に従うよう要求された前記アプリケーション・エンハンスメント・トラックの一部を判定するように構成された再生エンジンを含む。
【請求項１９】
請求項１８のシステムにおいて、前記アプリケーション・エンハンスメント・トラックは、キーフレームのみを含む。
【請求項２０】
ユーザ指示を受信するよう構成されたユーザインターフェースと、
コンテンツ及び前記コンテンツのサブセットである添付のアプリケーション・エンハンスメント・トラックを含むメディアファイルを復号化するよう構成された再生エンジンと、を含み、
前記再生エンジンは、前記ユーザインターフェースを介して受信したユーザ指示に応じて前記コンテンツの再生を開始するよう構成され、
前記再生エンジンは、前記ユーザインターフェースを介して受信したユーザ指示の受信と前記コンテンツの前記再生エンジンによって直近に再生された部分とに応じて、前記アプリケーション・エンハンスメント・トラックの復号化し再生する部分を選択するよう構成されるメディアプレイヤー。
【請求項２１】
請求項２０のメディアプレイヤーにおいて、前記再生エンジンは、前記ユーザインターフェースを介して受信したユーザ指示の受信に応じてかつ前記再生エンジンによって直近に再生された前記アプリケーション・エンハンスメント・トラックの部分に基づいて決められた位置から前記コンテンツの再生を開始するように構成される。
【請求項２２】
請求項２１のメディアプレイヤーにおいて、前記アプリケーション・エンハンスメント・トラックは、前記メディアファイルの一部であり、前記コンテンツの対応するフレームのタイムスタンプ付きの一連のキーフレームである。
【請求項２３】
請求項２２のメディアプレイヤーにおいて、前記キーフレームは、前記コンテンツの対応するフレームの解像度に関連してより低い解像度である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広くデジタル映像配信再生システムに関し、特に再生制御が改良されたデジタル映像配信再生システムに関するものである。
【背景技術】
【０００２】
デジタル映像革命は、物理メディア配信モデルから、コンテンツの機器への配信にコンテンツ・デリバリネットワーク（ＣＤＮ）及びＣｏｎｓｕｍｅｒ  Ｇｒａｄｅ  Ｎｅｔｗｏｒｋ（ＣＧＮ。住宅内インターネットやホームネットワークなど）を用いる電子メディア配信モデルへと発展している。今日のオプティカル及び放送業界では、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ／Ｈ．２６４）規格の利用が普及しているが、フルＨＤ（１０８０ｐ）ビデオを含む解像度の統一された公開規格においては、ＣＤＮ／ＣＧＮ配信に適したビットレートでのこの規格の採用は未だ実現していない。
【０００３】
しかしながら、デジタル映像フォーマットは、通常、コンテンツの再生を効率的にサポートするよう設計されている。その他の一般的なユーザ機能は、通常、再生装置の複雑性（ひいてはコスト）が増すことによってサポートされるか、またはその他の機能の性能が低下し、ユーザ・エクスペリエンスの質を制限することとなる。
【０００４】
例えば、デジタル符号化されたマルチメディアファイルのビジュアル検索は、通常、関連性のあるビデオストリームのキーフレーム（またはイントラフレーム）のみを表示することによって行われる。キーフレームは、ユーザによって行われているビジュアル検索のスピードに対応する期間表示され、高速検索がリクエストされる場合にはスキップされる場合もある。別の方法では、ビデオストリームの全てまたは一部をより高いレートで復号化し、選択的にフレームを表示して視覚的に提示速度を高めてもよい。これらのビジュアル検索方法は、粗さや表示された画像間の時間的な差異の非整合性により、ユーザに対して貧弱な視覚的経験を与えることがある。事態をより複雑にしているのが、ビジュアル検索が順方向で行われているのか逆方向で行われているのかによって、機器の動作が異なることである。さらには、機器が通常速度でのビデオ再生に必要とされる標準レートの何倍もの速さでビデオストリームを読むことが必要な場合があり、機器のサブシステムに負荷をかけることになる。
【０００５】
同様に、１または複数のコンテンツタイトルの再生セッション中に行われる、または行われることが必要となるその他の通常の機能の性能が、ユーザに整合性をもった高品質体験を与えるために制限される場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、広く、パーソナルコンピュータ（ＰＣ）及び家庭用電化製品（ＣＥ）の双方のプラットフォームの互換性を最大にするために考案された特定のセットの動作点を提供し、良好な視覚的品質レベル維持しつつ、Ｈ．２６４レベル４のデータレートよりも最大４０％低いレートで符号化したデータレートの高品質の映像を提供するものである。
【０００７】
とりわけ、従来の光メディアのビジュアル検索を超えてユーザ・エクスペリエンスを高める方法及びシステムと共に、ビジュアル検索におけるＣＤＮ／ＣＧＮの圧縮設定の効果が提供される。本方法及びシステムは、順方向及び逆方向の両方におけるスムーズなビジュアル検索能力を提供し、２ｘ〜２００ｘ以上のスピードで動作し、光ディスクまたはＣＤＮ／ＣＧＮの電子的情報源のコンテンツにアクセスするＰＣ及びＣＥ機器の両方に実装可能である。組み合わせた場合には、これらの特徴はいずれも、多くの種類のネットワークにおける配信を対象とするコンテンツの高品質なユーザ・エクスペリエンスを提供する。
【０００８】
本明細書の各種の実施形態において、同時及び実質的に高品質な体験を提供する際の機器に対する要求を低減しつつ、順方向及び逆方向双方の検索において等しく良好に動作するビジュアル検索中の整合性のある視覚行動が提供される。
【０００９】
一実施形態において、再生用メディアファイルの符号化方法が提供される。当該方法は、内部にコンテンツが符号化されているビデオトラックをオリジナルのメディアファイルから抽出し、前記符号化されたコンテンツを用いて少なくとも一部のコンテンツの廃棄を含むアプリケーション・エンハンスメント・トラックの符号化を行い、ビデオトラックの内部に符号化された前記オリジナルのメディアファイル及び添付のアプリケーション・エンハンスメント・トラックからコンテンツを含むメディアファイルを作成する。
【００１０】
他の実施形態において、再生用メディアファイルの復号化方法は、圧縮コンテンツと前記圧縮コンテンツのサブセットである添付のアプリケーション・エンハンスメント・トラックとを含むメディアファイルを取得し、前記圧縮コンテンツを再生し、ビジュアル検索速度に比例したレートで、前記圧縮コンテンツの直近に再生された部分により決定される位置から、前記アプリケーション・エンハンスメント・トラックのフレームを復号化する。
【００１１】
さらに他の実施形態において、メディアファイルの再生システムは、メディアサーバとクライアントプロセッサとを備える。前記メディアサーバは、オリジナルのメディアファイルから少なくとも一つのアプリケーション・エンハンスメント・トラックを生成するよう構成され、前記少なくとも一つのアプリケーション・エンハンスメント・トラックは前記オリジナルのメディアファイルと共通の少なくとも一つのフレームを有し、前記オリジナルのメディアファイルよりも実質的にサイズが小さい。前記クライアントプロセッサは、前記メディアサーバとネットワークで通信しており、前記メディアサーバに前記オリジナルのメディアファイルのリクエストを送信するよう構成されている。また、前記メディアサーバは、前記リクエストされたオリジナルのメディアファイルを前記少なくとも一つのアプリケーション・エンハンスメント・トラックと共に送信するよう構成されている。
【００１２】
また、別の実施形態において、メディアプレイヤーは、ユーザ指示を受信するよう構成されたユーザインターフェースと、コンテンツ及び前記コンテンツのサブセットである添付のアプリケーション・エンハンスメント・トラックを含むメディアファイルを復号化するよう構成された再生エンジンとを備える。前記再生エンジンは、前記ユーザインターフェースを介して受信したユーザ指示に応じて前記コンテンツの再生を開始するよう構成される。前記再生エンジンは、また、前記ユーザインターフェースを介して受信したユーザ指示の受信と前記コンテンツの前記再生エンジンによって直近に再生された部分とに応じて、前記アプリケーション・エンハンスメント・トラックの復号化し再生する部分を選択するよう構成される。
【図面の簡単な説明】
【００１３】
本発明の上記及びその他の特徴、並びにこれらを取得し利用する方法は、添付の図面と合わせて以下の説明文を参照すればより明らかになり、より良好に理解できるであろう。図面は、本発明の代表的実施形態のみを示すため、その範囲を限定するものではない。
【図１】２４フレーム毎秒での映像の１秒間における典型的なフレーム配分のグラフィック表示図である。
【図２】２４フレーム毎秒での映像の１秒間における典型的なフレーム配分のグラフィック表示図である。
【図３】２４フレーム毎秒での映像の１秒間における典型的なフレーム配分のグラフィック表示図である。
【図４】２４フレーム毎秒での映像の１秒間における典型的なフレーム配分のグラフィック表示図である。
【図５】映像コンテンツの所定の部分における典型的なフレーム配分のグラフィック表示図である。
【図６】発明の実施例に従った映像コンテンツ及びアプリケーション・エンハンスメント・トラックの典型的なフレーム配分のグラフィック表示図である。
【図７】発明の実施例に従った映像コンテンツ及びアプリケーション・エンハンスメント・トラックの典型的なフレーム配分のグラフィック表示図である。
【図８】発明の実施例に従った映像コンテンツ及びアプリケーション・エンハンスメント・トラックの典型的なフレーム配分のグラフィック表示図である。
【図９】発明の実施例に従った映像コンテンツのアプリケーション・エンハンスメント・トラックへの空間的なスケーリング変換のグラフィック表示図である。
【図１０】発明の実施例に従った映像コンテンツのアプリケーション・エンハンスメント・トラックへの時間的なスケーリング変換のグラフィック表示図である。
【図１１】発明の実施例に従ったアプリケーション・エンハンスメント・トラックの映像の２秒間での典型的なフレーム配分のグラフィック表示図である。
【図１２】発明の実施例に従ったアプリケーション・エンハンスメント・トラックの映像の２秒間での典型的なフレーム配分のグラフィック表示図である。
【図１３】発明の実施例に従った２４フレーム毎秒での映像の１秒間における典型的なフレーム配分のグラフィック表示図である。
【図１４Ａ】映像の典型的なフレーム配分のグラフィック表示図である。
【図１４Ｂ】映像の典型的なフレーム配分のグラフィック表示図である。
【図１４Ｃ】発明の実施例に従ったアプリケーション・エンハンスメント・トラックの映像の典型的なフレーム配分のグラフィック表示図である。
【図１５】９６ＫＨｚサンプルレート及び２４ビットサンプルサイズでの２チャンネルオーディオの典型的なオーディオ配分のグラフィック表示図である。
【図１６】発明の実施例に従ったオーディオ・コンテンツのアプリケーション・エンハンスメント・トラックへの空間的なスケーリング変換のグラフィック表示図である。
【図１７】発明の実施例に従ったオーディオ・コンテンツのアプリケーション・エンハンスメント・トラックへの時間的なスケーリング変換のグラフィック表示図である。
【図１８】発明の実施例に従ってコンテンツと共にアプリケーション・エンハンスメント・トラックを符号化するプロセスを示すフローチャートである。
【図１９】発明の実施例に従ってアプリケーション・エンハンスメント・トラック及びコンテンツを符号化、通信及び復号化する典型的なシステムのネットワーク図である。
【図２０】発明の実施例に従ってコンテンツと共にアプリケーション・エンハンスメント・トラックを再生するプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１４】
一般的に、デジタル映像再生システムは、機器にかかる処理負荷の低減を可能としつつユーザに高品質な体験を提供可能となる、再生速度や方向にかかわらずスムーズな再生を保証するために提供される。
【００１５】
デジタル圧縮されたビデオは、通常、ＭＰＥＧ委員会によって規定されたようなアルゴリズム（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４Ｐａｒｔ２、及びＭＰＥＧ−４Ｐａｒｔ１０）を用いて符号化される。これらのアルゴリズムは、画像をソースマテリアルから「キーフレーム」及び「デルタフレーム」のシーケンスに符号化する。
【００１６】
キーフレームは、ソース映像からの特定の画像を表示するために必要とされる全てのデータを含む。デルタフレームは、一つ以上の前もって復号化された画像と、これが符号化する画像との間の差分データを含む。一般に、ソース画像と符号化されたフレームの１：１マッピングがある。しかしながら、１：１マッピングは、ソース映像シーケンスと比べて異なるフレームレートで映像が符号化された場合には、当てはまらない。従って、ビデオシーケンスのフレームＦを複合化するには、Ｆに含まれる差分値の基礎をなすフレーム全てをまず復号化する。再帰的に適用すると、本復号化方法は、究極的にはキーフレームが復号化処理を開始することが必要となるが、これは前もって復号化された画像のいずれにも基づかないためである。従って、通常のエンコーダが最初に生成するフレームはキーフレームである。
【００１７】
キーフレームは他のフレームとは独立して符号化されるため、より大きな格納スペース（もしくは転送中に広い帯域幅）を必要とし、一般的に言えば、デルタフレームよりもコストが高くなる原因となりうる。本発明を説明するために、デルタフレーム（Ｄ）１２に対するキーフレーム（Ｋ）の費用比率を用い、これは符号化されたビデオコンテンツの範囲の観察より選択された３：１の比率である。
【００１８】
図１は、（シーンの変更がないものとして）符号化されたビットストリーム２０を作成する最小帯域幅アプローチの簡略化した例示図であり、全てのソース画像がデルタフレーム２１に符号化される。２４フレーム毎秒での１秒間の映像におけるフレームコスト配分は、デルタフレームコスト（Ｄ）によって乗算されたデルタフレームの数に等しいコストにより減少している。しかしながら、少なくとも最初のフレームがキーフレームとして符号化されなければならず、また、例えばビジュアル検索及びランダムアクセス機能といったトリックプレイを容易にするためにはファイルの別の位置に挿入された別のキーフレームが必要であるため、このアプローチは実用的ではない。本図及び以下他の同様の図において示すように、復号化順序は左から右であり、関連付けられた各フレームの配置順もまた、左から右である。
【００１９】
図２は、ビデオトラックの一番最初の１秒を示す図であり、第１の符号化されたフレームは、キーフレーム３１であり、その後にデルタフレーム３２が続く。そのため、このトラックの最初の１秒のコストは、図１のデルタフレームのみのアプローチよりも８％増加している。（コスト＝１＊Ｋ＋２３＊Ｄ＝２６）。
【００２０】
図３及び図４は、キーフレームの頻度が増加するにつれてコストが増加する様子を示す。トレードオフは、キーフレームをより頻繁に用いることにより、ビットストリーム内のランダムに選択された点の近くの復号化を可能にするより高い適応性が得られることである。図３では、２つのキーフレーム４１が２２のデルタフレーム４２の間に配置されている。（コスト＝２＊Ｋ＋２２＊Ｄ＝２８）。図４では、キーフレーム５１の数が増加しており、これらのキーフレームがより少ない数のデルタフレーム５２の間に配置されている。（コスト＝４＊Ｋ＋２０＊Ｄ＝３２）。
【００２１】
符号化されたビデオビットストリームの高速なビジュアル検索を行うには、デコーダはユーザから要求されるスピードに合うよう復号レートを高くする必要がある。しかしながら、通常のシステムにおいてディスクＩ／ＯやメモリＩ／Ｏなどの部品、及びプロセッサ自体により課される性能ボトルネックにより、これは必ずしも実用的ではない。さらに、時系列順方向の再生に最適化された符号化方法の性質により、逆復号化は煩雑であることが多い。そのため、ほとんどのシステムでは、究極的にはユーザによって行われているビジュアル検索の方向と速度によって決定される順序とレートで、特定のデルタフレームの処理を放棄するまたはキーフレームのみを処理するというような手順を当てにする場合が多い。
【００２２】
少なくともこのような要因に基づいて、ＤＶＤなど、多くのビデオフォーマットでは、マルチメディアコンテンツの期間全体に一定の間隔でキーフレームが確実に挿入されるようにしている。実際、ＤＶＤフォーマットでは、コンテンツ全体に６００ｍｓごとにキーフレームを挿入する必要がある。この一定の間隔でのキーフレームの挿入により良好なビジュアル検索機能が実現されるが、その代償として、キーフレームの頻繁な使用によりファイルサイズが著しく大きくなる。このような手順は、基本的に図２、３、４に示したのと同様のキーフレーム／デルタフレーム配分を有するセグメントへのコンテンツの符号化を採用する。
【００２３】
以下に、ビデオコンテンツを符号化する複数の効果的な方法及びシステムを、本発明の実施形態に従って説明する。このような符号化方法及びシステムの１つは、キーフレームを少なくともシーン変更時を除く１０秒ごとに挿入し、Ｈ．２６４コンテンツにおいては４秒ごとに挿入し、シーン変更位置にも挿入する。これは作り出された典型的なコンテンツの効果的な符号化を保証する。例えば、ＤＶＤの符号化方法（約２キーフレーム毎秒）に比べると、本発明の実施形態に係る方法ではファイルサイズがずっと小さくなる。
【００２４】
コンテンツ６０における本発明の実施形態に従って符号化されたキーフレーム６１及びデルタフレーム６２の配分を、図５に示す。ただし、このように潜在的に低頻度かつ非決定的にキーフレームを配置することにより、上述の性能測定基準に基づいて、トリックプレイ性能が大幅に劣化する可能性がある。このように、別途より頻繁な一定間隔でキーフレームを追加することによって、ビジュアル検索などのアプリケーションが整合性のある高品質な動作を行えるようになる。しかしながら、またキーフレームの数を増やすことにより、ビデオ符号化のどの部分においてもコストが増えることになる。コストは、選択された時間枠にもよる。例えば、６キーフレーム毎秒のシステムは、（キーフレーム復号化のみに依存するシステムにおいて）よりスムーズなビジュアル検索能力を提供するが、秒毎の映像のコストを５０％増加させる。ほとんどの大規模アプリケーションにとって、これは桁外れに高いコストである。
【００２５】
なお、図５では、この場合のフレーム配分をより良好に示すために、前図と同様、表示される映像の選択は１秒よりも長い。そのため、先に示した他のフレームに比べるとキーフレーム６１及びデルタフレーム６２は小さく見える。また、図面は必ずしも縮尺どおりではなく、本発明の各種の実施形態の説明を容易にするための概念図に過ぎない。
【００２６】
ほとんどの機器においてユーザ・エクスペリエンスが損なわれる別の機能領域は、複数のコンテンツファイルのリストをユーザに提示する場合である。多くの機器は単にファイル名のテキストを表示するが、各コンテンツに固定の画像アイコンを表示することもある。このような場合におけるより高い品質の体験は、例えばコンテンツのビデオシーケンスの全部または一部を示すアニメーションアイコンを提示することである。
しかしながら、この種の能力は多数のコンテンツを同時に復号化することのできる再生エンジンを必要とし、一般的には現実的ではない。
【００２７】
［アプリケーション・エンハンスメント・トラック］
アプリケーション・エンハンスメント・トラック（ＡＥＴ）は、一つ以上のアプリケーションまたはアプリケーション特性の性能を向上させるように符号化されたメディアトラックである。通常、ＡＥＴはソースコンテンツの１つ以上のトラックを再符号化したものである。ほとんどの場合、ＡＥＴが含むデータはオリジナルのファイルよりも大幅に少なく、このデータは、エンハンスドアプリケーションまたは機能の１つが実行されているときにユーザ・エクスペリエンスを向上させるために容易にアクセス可能な形態となっている。
【００２８】
一般に、ＡＥＴ内のデータは、アプリケーションの使用がコンテンツを処理するために必要とされる以上の性能を実現する必要が無いよう設計されている。
【００２９】
従って、３０フレーム毎秒（ｆｐｓ）のフレームレートで最初に符号化されたタイトルの「６ｘ」ビジュアル検索を可能にするよう設計されているＡＥＴは、オリジナルの映像を５ｆｐｓのレートに再符号化することにより生成することができる。従って、ＡＥＴが「６ｘ」ビジュアル検索を行うために用いられた場合でも、機器はオリジナルの映像を符号化するために必要とされる「１ｘ」以下の負荷を体験する。また、この例をさらに改善すると、オリジナルの映像は、垂直及び水平方向それぞれの寸法の解像度をもともとのサイズの５０％まで空間的に縮尺することができる（フレームごとのピクセル数を４分の１に縮小することになる）。この場合、機器は「１ｘ」以上のオリジナルの映像の復号化性能を必要とすることなく「２４ｘ」ビジュアル検索を行うことができる。
【００３０】
ＡＥＴは、ＡＥＴがエンハンスメントを行うコンテンツと同じファイルに直接記録されてもよく、別のファイルに格納されてもよい。エンハンスするコンテンツと同じファイルに格納する場合、エンハンスメントトラックデータをコンテンツと交互配置してもよく、またはファイル内の任意の位置にある１つ以上の隣接するブロック内に配されてもよい。図６〜８は、エンハンスメントトラックデータをこれがエンハンスするコンテンツと関連付けることのできるいくつかの異なる方法を示す図である。ＡＥＴの格納には、任意の１つ、任意の組み合わせ、または全ての方法を用いることができる。図６において、コンテンツ７１は、１つのファイル内にあり、別のファイル内にあるＡＥＴ７２と関連付けられている。図７において、ＡＥＴ８２はコンテンツ８１の後ろまたは前に置かれる。コンテンツ９１はＡＥＴ９２の一部と共に埋め込まれるか、またはコンテンツ９１とＡＥＴ９２とが組み合わされて結合コンテンツＡＥＴファイル９３が生成される。
【００３１】
［ビデオＡＥＴ］
一例として、ビジュアル検索の性能及び／またはプレビューエンジンによる動的アイコンの表示を向上するよう設計されるビデオＡＥＴは、コンテンツを異なる空間的及び時間的な解像度に任意にスケーリングし、その後このスケーリングされたものをキーフレーム、いくつかの実施形態ではデルタフレーム、の規則的なパターンを有するデータストリームに再符号化することによって作成することができる。
【００３２】
図９は、エンハンスメントトラック１０２に適したサイズへのビデオソース１０１の空間的スケーリングを示す。スケーリング量は、ソース映像の空間的解像度を増加させても減少させてもよく、また、ソース映像のアスペクト比を変更してもよい。空間的スケーリングは、オリジナルの画像をＡＥＴで必要とされるサイズになるよう追加または切り取りしてもよい。図１０は、エンハンスメントトラック１１２のレートを減少させるビデオソース１１１の時間的スケーリングを示す。ただし、適用されるスケーリング量は、ソースの時間的な解像度を増加させても減少させてもよい。空間的スケーリングは、時間的なスケーリングの前に行われてもよいし、その逆でもよい。
【００３３】
図１１〜１２は、ビデオＡＥＴ１２０、１３０のキーフレーム及びデルタフレームの順序と配分の例を示し、ＡＥＴはキーフレーム１２１、１３１とデルタフレーム１２２、１３２の両方を含む。これらの例において、図１１は、本発明の実施形態に係る順方向のエンハンスドビジュアル検索用のフレーム順及び配分を示し、図１２は、本発明の別の実施形態に係る逆方向のエンハンスドビジュアル検索用のフレーム順及び配分を示す。フレーム１２３、１３３は、オリジナルのソースコンテンツの対応するフレームがスキップされたことを示す「ｓｋ」マークがついている。
【００３４】
これらの例では、ビジュアル検索中、ユーザがリクエストするビジュアル検索速度に比例するレートでＡＥＴ内の各フレームが復号化され表示される。ビジュアル検索速度が要求する復号化及び表示レートが機器の能力を超える場合、機器は、例えば、全フレームの処理から、必要とされるだけ多くのキーフレームまたは要求される検索速度をサポートするためにあらかじめ選択されたキーフレームの処理へ、モードを変更することができる。キーフレームはＡＥＴ全体に一定間隔で配置されていることから、キーフレームからキーフレームへとスキップする際の視覚性能は整合性のあるものとなる。
【００３５】
図１１及び１２に示したのと同様の手順で、各デルタフレームを１つのキーフレーム（例えば、一定の間隔で配置されたキーフレームの最も近いもの）から予測することができる。この符号化方法において、ＡＥＴは、ＡＥＴ内の任意のフレームを表示するために２つ以下の復号化サイクルを必要とする性質を持つよう作成することができる。この手順により、高速ビジュアル検索を行う場合のキーフレームからキーフレームへのスキップソリューションが精緻化され、全てのキーフレームと一部のデルタフレームが復号化され表示される中間状態速度が可能になる。このような符号化方法は、双方向ビジュアル検索もサポートする。
【００３６】
図１２に戻って、特に逆方向ビジュアル検索をサポートするよう設計されたビジュアル検索ＡＥＴは、オリジナルの圧縮化または符号化されたコンテンツにあるように符号化されたフレームを時系列に配置しつつ、時系列逆方向にソース映像を符号化することによって生成される。この方法により、正しい復号化の順序でもあるファイル内の配置の逆順にＡＥＴを読み込むことによって行われる逆方向トリックプレイが可能となる。この方法は、大量の逆方向ビジュアル検索ＡＥＴを有する大量のコンテンツメディアトラックのインターリービングを最大に可能とする。
【００３７】
図１３は、順及び逆方向検索の両方をサポートする１つの符号化されたビジュアル検索ＡＥＴ１４０を示す。この方法では、キーフレーム１４１のみを用い、デルタフレームは用いない。キーフレームは絶対データを含むため、これらを復号化するために必要とされる絶対的な順序というものはなく、従って逆方向または順方向のビジュアル検索を容易にする。本発明の実施形態に係るキーフレームのみを含むＡＥＴの別の例について、図１９を参照して以下で検討する。
【００３８】
図１４Ａ〜図１４Ｃに、順方向及び逆方向検索の両方をサポートする符号化されたビジュアル検索ＡＥＴ１５０をさらに示す。図１４Ａにおいて、イントラフレームタイプ（Ｉフレーム）１５１、双方向的予測フレーム（Ｂフレーム）１５２、及び単方向予測フレーム（Ｐフレーム）１５３を含む、２５フレーム毎秒で符号化されたサンプル映像１５０が用意される。図示するようにイントラフレーム間の距離は均一ではなく、これは図１４Ｂにおいてよりはっきりと示される。イントラフレーム間の時間的距離とこれらのイントラフレームのビットレートには、フレームによって大きくバラツキがある。これらはいずれも、ビジュアル検索ＡＥＴ１５０の追加により解消されている（図１４Ｃ）。イントラフレーム間のビットレートはより均一であり、時間的な距離も整合性を有している。これらの要因はいずれも、光学及びストリーミング再生のいずれの状況においてもスムーズな順及び逆方向操作中のよりよいユーザ・エクスペリエンスにつながることになる。
【００３９】
このようなビデオＡＥＴは、トラックのデータに符号化されたビデオフレームと対応するフレームまたはオリジナルのタイトルの期間とを関連付ける情報を含んでもよい。この情報は、コンテンツの時間軸に関連するタイムスタンプ、ファイル位置オフセット、または任意の他のメカニズムとして符号化されてよい。
【００４０】
図に示すＡＥＴは、また、ビジュアル検索に利用されている同じ性質によってコンテンツ・プレビュー体験を向上させることができる。一般的なコンテンツ・プレビュー・モードでは、コンテンツの解像度が低いバージョンを、ファイル名や時間等、コンテンツの識別に用いることのできるその他の情報と共に表示する。
【００４１】
図１３に示すようなビデオＡＥＴを用いることにより、コンテンツ・プレビュー・エンジンは、プレビューされることになる各タイトルのＡＥＴデータの一部または全部を読み込んで復号化し、１つの画面に複数のＡＥＴを表示することができる。ＡＥＴは、メインコンテンツの処理要求のごく一部を有するよう設計されているため、このような複数タイトルのアニメーションするプレビューを可能とするために機器の性能を高める必要はない。
【００４２】
［オーディオ及びその他のメディアＡＥＴ］
ビデオＡＥＴと同様の方法で、ビデオＡＥＴの作成に採用されたものと同じ原則に従ってその他のＡＥＴを作成することができる。ＡＥＴに適したメディアトラックに、オーディオ及び字幕トラックがある。オーディオトラックからオーディオＡＥＴ１７０、１７５を作成する例示的方法を、図１６及び１７に示す。図１５は、オーディオトラック１６０を示す図である。図の実施形態において、オーディオトラックがサンプルされ、その後、ビデオＡＥＴと同時に再生することができるように、サンプルをＡＥＴ内で結合する。
【００４３】
［ＡＥＴの生成］
ユーザが１つ以上のＡＥＴを１つのコンテンツに付加したい場合、ＡＥＴを作成・格納する（「生成する」）処理は、これを行うための時間と処理能力が必要となる。ユーザがコンテンツを利用したいときにこの時間と処理要求がユーザに課された場合には、ユーザは開始した操作がなんであれこれを継続する前に待たなければならないため、良好なユーザ・エクスペリエンスとはなりえない。
【００４４】
一実施形態において、ＡＥＴ生成処理のための待機の必要性は、ダウンロード、ディスクの焼き付け、またはファースト再生などの別の操作と平行してＡＥＴ生成を行うことによって排除または低減することができる。別の実施形態は、ユーザのコンピュータがユーザによって積極的に使用されていないときに行われる「バックグラウンドタスク」にＡＥＴを統合するものであり、これによりユーザのパーソナルなコンテンツ一覧をユーザがコンピュータで他のアプリケーションを行っている間に処理することができる。
【００４５】
図１８において、ＡＥＴ生成を行う一実施形態を示す。コンテンツは、より低い解像度にサブサンプルされ（１８１）、その後、このより低い解像度のコンテンツはより低いフレームレートにサブサンプルされる（１８３）。低解像度及び低フレームレートは、キーフレームのみのビットストリームとしてのビデオＡＥＴとして符号化される（１８５）。結果として生じるデータは、例えば、コンテンツに書き込み／埋め込みされる、またはコンテンツの末尾に添付されるなどして、コンテンツに含まれる（１８７）。
【００４６】
例えば、実験的試験において、空間的データ（ピクセル）の２５％及び時間的なデータ（フレーム）の２１％をソースから取って、約９５％のオリジナルのデータを廃棄してもよい。結果として生じるフレームは、全てキーフレームとして符号化され、これは極めて非効率とされている。しかしながら、符号化されているソースはオリジナルのデータボリュームの５％にすぎないため、ビデオＡＥＴファイルはオリジナルのコンテンツのサイズの数パーセントから１０％のどこかになることがわかっている（原則として、符号化したビデオＡＥＴファイルサイズの推定における７．５％のサムを用いることができる）。
【００４７】
実験的試験によって定められた以下の例は、少なくともファイルサイズに対するビジュアル検索エンハンスメントを示すものとして提示される。「通常に符号化された」（すなわち、１つ以上のキーフレーム毎秒）１９２０×８１６の解像度の動画（すなわち、２３．９７６ｆｐｓ）のファイルサイズは、約１０ＧＢである。この動画は４秒ごとに１つ以上のキーフレームのキーフレームレートで再録画され、ファイルサイズを８．２３ＧＢまで、すなわち１７．７％縮小する。コンテンツは、その後、４８０×２７２の解像度及び５ｆｐｓのフレームレート（それぞれ２５％及び２１％）にサブサンプルされ、ＡＥＴソースを生成する。そして、ＡＥＴソースはキーフレームとしてのみ符号化され、ファイルサイズが６１８ＭＢのＡＥＴとなる。「ビジュアル検索エンハンスメント」での「最適符号化」を結合したファイルサイズは、８．８５ＧＢである。これはオリジナルのファイルサイズから１．１５ＧＢの省略であり、向上したビジュアル検索性能を含んでいる。加えて、最新式のビデオプレイヤー及びメディアマネージャーは、ＡＥＴを用いてアニメーションするコンテンツ・プレビューを表示することができる。この場合、機器は、「１ｘ」を超えるオリジナルの映像システム性能を必要とすることなく、（順方向または逆方向時間軸のいずれにおいても）最大「４０ｘ」のビジュアル検索を行うことができる。必要に応じて、ビジュアル検索を行う機器（またはソフトウェア）の限度内でのシステム性能を維持するスキップキーフレームにより、より高スピードのビジュアル検索を実現することができる。
【００４８】
本発明の実施形態に係る再生システムを図１９に示す。プログレッシブ再生システム１９０は、ネットワーク１９４に接続されたメディアサーバ１９２を備える。メディアファイルは、メディアサーバ１９４に格納され、クライアントアプリケーションで構成される機器によりアクセスすることができる。メディアファイルは、アプリケーション・エンハンスメント・トラックと対になる、またはこれに埋め込まれた符号化されたコンテンツファイルである。図に示す実施形態において、メディアサーバのメディアファイルにアクセスする機器には、パーソナルコンピュータ１９６、テレビ２００などの再生装置に接続されたセットトップボックス１９８などの家庭用電化機器、及びパーソナル・デジタル・アシスタント２０２または携帯電話端末などの携帯機器などがある。機器とメディアサーバ１９２は、ゲートウェイ２０６を介してインターネット２０４に接続されたネットワーク１９４上で通信可能である。他の実施形態において、メディアサーバ１９２及び機器はインターネット上で通信する。
【００４９】
機器は、メディアサーバ１９２のメディアファイルの全部または一部の再生をリクエストすることのできるクライアントアプリケーションで構成されている。クライアントアプリケーションは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの組み合わせにより実施されてよい。多くの実施形態において、機器はダウンロードされたメディアファイルのメディアを再生する。いくつかの実施形態では、機器は、別の機器にメディアを再生させることができる１つ以上の出力を有する。一例において、メディアファイルが１つ以上のアプリケーション・エンハンスメント・トラックを含む場合、本発明の実施形態に係るクライアントアプリケーションで構成された機器は、ＡＥＴを用いてユーザにトリックプレイ機能を提供する。ユーザがトリックプレイ指示を行った場合、機器はＡＥＴを用いてトリックプレイ機能を実行する。多数の実施形態において、クライアントアプリケーションは、メディアファイル内の特定のバイト範囲をダウンロードすることができるトランスポート・プロトコルを用いてメディアファイルの全部または一部を要求する。このようなプロトコルの１つにインターネット協会が発行するＨＴＴＰ１．１プロトコル、またはｗｗｗ．ｂｉｔｔｏｒｒｅｎｔ．ｏｒｇで入手可能なＢｉｔＴｏｒｒｅｎｔがある。他の実施形態において、他のプロトコル及び／またはメカニズムを用いてメディアサーバからメディアファイルの特定の部分を取得することができる。
【００５０】
図２０において、アプリケーション・エンハンスメント・トラックを用いる一実施形態を示す。メディアファイルは、例えば、メディアサーバから受信または取り込まれる（２１１）。メディアファイルは、アプリケーション・エンハンスメント・トラックを抽出するために検査される（２１２）。メディアプレイヤーのユーザインターフェースは、ユーザがメディアファイルと相互に作用して、例えば、トリックプレイ要求を行えるようにする（２１３）。例えば、ユーザはメディアコンテンツの早送り要求を指示することができる。そのため、メディアプレイヤーは、ＡＥＴにアクセスして順方向にＡＥＴを横断する。一実施形態において、メディアプレイヤーは、再生されているコンテンツの時間及び位置を判断し、コンテンツに対してＡＥＴの対応する時間及び位置を特定する（２１４）。多くの実施形態において、対応する位置はＡＥＴ内のタイムスタンプを用いて特定される。多数の実施形態において、対応する位置はインデックスを用いて特定される。メディアプレイヤーは、この位置から、ユーザが停止をリクエストするまでＡＥＴ内のフレームを順次復号化または再生する（２１５）。ユーザによる２ｘ、４ｘ等の早送りリクエストにより、ＡＥＴが復号化または表示されるスピードはユーザによって変えることができる。巻き戻しリクエストは同様に操作されるが、順方向リクエストとは方向が逆である。ユーザの「再生」リクエストにおいて、メディアプレイヤーはコンテンツに対するＡＥＴの時間及び位置を判断し、この位置から、別のユーザリクエストを受信するまでコンテンツ内のフレームを順次復号化する。
【００５１】
多くの実施形態において、ＡＥＴ内のフレームに対応するタイムスタンプのついたフレームを特定することは、マルチメディアファイルに含まれるインデックス内の所望のタイムスタンプに先立つ一番近いタイムスタンプのついたキーフレームの特定と、当該キーフレームの復号化と、当該キーフレームと所望のタイムスタンプのついた別のフレームの間にある別のフレームの復号化とを含む。この時、表示は解像度がより高いコンテンツを用いて再生を開始することができる。多くの実施形態において、その他の手法が、トリックプレイモード中におけるＡＥＴの低解像度コンテンツ及びマルチメディアファイル内のコンテンツを完全に含むより高い解像度トラックの視聴からのシームレスな遷移に用いられる。
【００５２】
例えばオーディオ・ビデオ・インターリーブ（ＡＶＩ）ファイルなど、メディアファイル内にタイムスタンプがない場合、解像度がより高いコンテンツの再生開始点の特定は、メディアファイル内のＡＥＴの位置に基づく。一実施形態において、タイムスタンプは、ＡＥＴまたはコンテンツには存在しないが、フレームカウント及び関連するフレームレートから求めることができる。求めたタイムスタンプを用いて、解像度の高いコンテンツ内のＡＥＴフレームに対応するフレームまたは最も近いＡＥＴフレームを特定することができ、また、その逆も可能である。
【００５３】
一般に、アプリケーション・エンハンスメント・トラックは、関連付けられたメインコンテンツから求められる。これらは、通常、ビジュアル検索、またはコンテンツ・プレビューなど、コンテンツに関する１つ以上の機能の実行を支援するために符号化されており、メインコンテンツと同じファイル、または１つ以上の別ファイルに格納される。ＡＥＴは、メインコンテンツに関連付けられたコスト（格納、転送スピード等）をわずかに上昇させるのみで、多くの性能向上の要因を提供する。実際、ＡＥＴは、メインコンテンツにおいて、特定の機能を行うためにトラックが必要とされるだけというわずかなコストであり、従って、全体的なコンテンツの視聴コストまたはコンテンツとの相互作用コストを低減することができる。
【００５４】
ＡＥＴは１種類のメディアデータまたは符号化規格に限定されるものではなく、むしろ多くの広く用いられているビデオ規格（ＭＰＥＧ−２、ＭＰＥＧ−４Ｐａｒｔ２、及びＨ．２６４）及び広く利用可能なメディアフォーマット（ＤｉｖＸ、ＤＶＤ、Ｂｌｕ−ｒａｙディスク、ＨＤ−ＤＶＤ）にも同様に適用可能である。上記の方法及びシステムを実施するいくつかの実施形態では、メインコンテンツファイルのサイズに対してわずか５％のファイルサイズコストを追加するだけで、順方向及び逆方向いずれにおいてもスケーラブルなスピードでのビジュアル検索を実行することが可能である。さらに、これらの同じトラックをコンテンツ・プレビュー・アニメーションに用いることができる。
【００５５】
最後に、上記の発明の好適な実施形態は説明のために示したものであって、上記の説明が本発明を限定するものではないことは言うまでもない。従って、当業者には、発明の趣旨と範囲を逸脱することなく各種の変更、改良、及び代替案を思いつくことができる。
【図１】
2011509602.tif 000003
【図２】
2011509602.tif 000004
【図３】
2011509602.tif 000005
【図４】
2011509602.tif 000006
【図５】
2011509602.tif 000007
【図１０】
2011509602.tif 000008
【図１４】
2011509602.tif 000009
【図１５Ａ】
2011509602.tif 000010
【図１５Ｂ】
2011509602.tif 000011
【図１５Ｃ】
2011509602.tif 000012
【図１６】
2011509602.tif 000013
【図１７】
2011509602.tif 000014
【図１８】
2011509602.tif 000015
【図１９】
2011509602.tif 000016
【図２１】
2011509602.tif 000017
【図６】
2011509602.tif 000018
【図７】
2011509602.tif 000019
【図８】
2011509602.tif 000020
【図９】
2011509602.tif 000021
【図１１】
2011509602.tif 000022
【図２０】
2011509602.tif 000023
【国際調査報告】
2011509602.tif 000024