(57)【要約】  マルチメディアプレゼンテーション（１００）を、多数の異種ターゲット装置（１３０）での再生用に変換する。ターゲット装置の能力に基づいて変換動作を選択し（１１０）、それを用いて、マルチメディアプレゼンテーションのソースバージョンからマルチメディアプレゼンテーションの適合バージョン（１２０）を作成する。適合バージョンには、マルチメディアプレゼンテーションのメディアデータ（１０２）のソースバージョンに対応する適合メディアバージョンが含まれる。
2005513831.tif 000002
【特許請求の範囲】
【請求項１】
ターゲット装置の能力に基づいて複数の変換動作から１変換動作を選択し（１１０）、
選択された変換動作を用いて、マルチメディアプレゼンテーションのソースバージョン（１００）から前記ターゲット装置用のマルチメディアプレゼンテーションの適合バージョン（１２０）を作成し、
前記マルチメディアプレゼンテーションの適合バージョンは、前記マルチメディアプレゼンテーションのメディアデータ（１０２）のソースバージョンに対応する適合メディアデータを有することを特徴とする方法。
【請求項２】
前記適合バージョンの作成は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、
前記記述データのターゲットバージョンから前記適合メディアデータを生成する（２１６）ことを特徴とする請求項１に記載の方法。
【請求項３】
前記適合バージョンの作成は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンからメディアデータのソースバージョンを取り出し（２０８）、
前記メディアデータのソースバージョンを前記適合メディアデータに変換する（２１０）ことを特徴とする請求項１に記載の方法。
【請求項４】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンにおける複数のメディアオブジェクトのそれぞれについて、適合メディアオブジェクトを作成することを特徴とする請求項１に記載の方法。
【請求項５】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンがビデオデータと画像データのうち、少なくとも一方を含む場合、空間解像度と時間解像度のうち、少なくとも一方を適合させることを特徴とする請求項１に記載の方法。
【請求項６】
前記適合バージョンの作成は、
所望のビットレートに従い、前記メディアデータのソースバージョンのビットレートを適合させることを特徴とする請求項１に記載の方法。
【請求項７】
前記所望のビットレートは、ユーザの好み、伝送媒体の帯域幅、前記ターゲット装置の能力のうち、少なくとも１つに基づくことを特徴とする請求項６に記載の方法。
【請求項８】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンの要約形式を生成することを特徴とする請求項１に記載の方法。
【請求項９】
前記マルチメディアプレゼンテーションの適合バージョンは、さらに、前記マルチメディアプレゼンテーション用の複合データのソースバージョン（４２０）に対応する適合複合データ（４４０）を有することを特徴とする請求項１に記載の方法。
【請求項１０】
前記適合バージョンの作成は、
前記ターゲット装置の能力と前記適合メディアデータの特性に基づいて、前記適合複合データを生成することを特徴とする請求項９に記載の方法。
【請求項１１】
前記適合バージョンの作成は、
マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、
前記記述データのターゲットバージョンから前記適合複合データを生成する（２１６）ことを特徴とする請求項９に記載の方法。
【請求項１２】
前記適合バージョンの作成は、
マルチメディアプレゼンテーション用の記述データのソースバージョンから前記複合データのソースバージョンを取り出し（２０８）、
前記複合データのソースバージョンを前記適合複合データに変換する（２１０）ことを特徴とする請求項９に記載の方法。
【請求項１３】
前記適合複合データは、空間的及び時間的レイアウトと、適合メディアデータにおける複数のメディアオブジェクトについての同期情報とを有することを特徴とする請求項９に記載の方法。
【請求項１４】
前記マルチメディアプレゼンテーションのソースバージョンは、さらに、複合データのソースバージョンを有することを特徴とする請求項９に記載の方法。
【請求項１５】
前記変換動作の選択は、最適化基準に合致するように、選択される変換動作を並べることを特徴とする請求項１に記載の方法。
【請求項１６】
前記変換動作は、一連の規則に従って選択されることを特徴とする請求項１に記載の方法。
【請求項１７】
前記ターゲット装置の能力は、適合マルチメディアプレゼンテーションを該ターゲット装置に配信するための媒体の特性を含むことを特徴とする請求項１に記載の方法。
【請求項１８】
前記変換動作の選択は、さらにユーザの好みに基づくことを特徴する請求項１に記載の方法。
【請求項１９】
さらに、前記マルチメディアプレゼンテーションの適合バージョンを前記ターゲット装置に配信する（２２０）請求項１に記載の方法。
【請求項２０】
さらに、前記マルチメディアプレゼンテーションのソースバージョン用のメディアデータ、複合データ、記述データのソースバージョンのうち、少なくとも１つを受信する（２００、２０２、２０６）請求項１に記載の方法。
【請求項２１】
ターゲット装置の能力に基づいて複数の変換動作から１変換動作を選択し（１１０）、
前記選択された変換動作を用いて、マルチメディアプレゼンテーションのソースバージョン（１００）から前記ターゲット装置用のマルチメディアプレゼンテーションの適合バージョン（１２０）を作成し、
前記マルチメディアプレゼンテーションの適合バージョンは、マルチメディアプレゼンテーションのメディアデータ（１０２）のソースバージョンに対応する適合メディアデータを有する方法を機械に実行させるインストラクションを有する機械読み出し可能な媒体。
【請求項２２】
前記適合バージョンの作成は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、
前記記述データのターゲットバージョンから前記適合メディアデータを生成する（２１６）ことを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２３】
前記適合バージョンの作成は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンからメディアデータのソースバージョンを取り出し（２０８）、
前記メディアデータのソースバージョンを前記適合メディアデータに変換する（２１０）ことを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２４】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンにおける複数のメディアオブジェクトのそれぞれについて、適合メディアオブジェクトを作成することを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２５】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンがビデオデータと画像データのうち、少なくとも一方を含む場合、空間解像度と時間解像度のうち、少なくとも一方を適合させることを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２６】
前記適合バージョンの作成は、
所望のビットレートに従い、前記メディアデータのソースバージョンのビットレートを適合させることを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２７】
前記所望のビットレートは、ユーザの好み、伝送媒体の帯域幅、前記ターゲット装置の能力のうち、少なくとも１つに基づくことを特徴とする請求項２６に記載の機械読み出し可能な媒体。
【請求項２８】
前記適合バージョンの作成は、
前記メディアデータのソースバージョンの要約形式を生成することを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項２９】
マルチメディアプレゼンテーションの適合バージョンは、さらに、適合複合データ（４４０）を有することを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項３０】
前記適合バージョンの作成は、
前記ターゲット装置の能力と、前記マルチメディアプレゼンテーション用の複合データのソースバージョンに対応する適合メディアデータの特性に基づいて、前記適合複合データを生成することを特徴とする請求項２９に記載の機械読み出し可能な媒体。
【請求項３１】
前記適合バージョンの作成は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、
前記記述データのターゲットバージョンから前記適合複合データを生成する（２１６）ことを特徴とする請求項２９に記載の機械読み出し可能な媒体。
【請求項３２】
前記適合バージョンの作成は、
マルチメディアプレゼンテーション用の記述データのソースバージョンから前記複合データのソースバージョンを取り出し（２０８）、
前記複合データのソースバージョンを前記適合複合データに変換する（２１０）ことを特徴とする請求項２９に記載の機械読み出し可能な媒体。
【請求項３３】
前記適合複合データは、空間的及び時間的レイアウトと、適合メディアデータにおける複数のメディアオブジェクトについての同期情報とを有することを特徴とする請求項２９に記載の機械読み出し可能な媒体。
【請求項３４】
前記マルチメディアプレゼンテーションのソースバージョンは、さらに、複合データのソースバージョンを有することを特徴とする請求項２９に記載の機械読み出し可能な媒体。
【請求項３５】
前記変換動作の選択は、最適化基準に合致するように、選択される変換動作を並べることを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項３６】
前記変換動作は、一連の規則に従って選択されることを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項３７】
前記ターゲット装置の能力は、適合マルチメディアプレゼンテーションを該ターゲット装置に配信するための媒体の特性を含むことを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項３８】
前記変換動作の選択は、さらにユーザの好みに基づくことを特徴する請求項２１に記載の機械読み出し可能な媒体。
【請求項３９】
前記方法は、さらに、
前記マルチメディアプレゼンテーションの適合バージョンを前記ターゲット装置に配信する（２２０）ことを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項４０】
前記方法は、さらに、
前記マルチメディアプレゼンテーションのソースバージョン用のメディアデータ、複合データ、記述データのソースバージョンのうち、少なくとも１つを受信する（２００、２０２、２０６）ことを特徴とする請求項２１に記載の機械読み出し可能な媒体。
【請求項４１】
バス（７４０）を介してメモリ（７２４）に接続されるプロセッサ（７２２）と、
前記メモリからプロセッサにより実行される変換プロセスであって、ターゲット装置の能力に基づいて複数の変換動作から１変換動作を選択し（１１０）、該選択された変換動作を用いて、マルチメディアプレゼンテーションのソースバージョン（１００）から該ターゲット装置用のマルチメディアプレゼンテーションの適合バージョン（１２０）を作成する動作を、前記プロセッサに行わせ、該マルチメディアプレゼンテーションの適合バージョンは、前記マルチメディアプレゼンテーションのメディアデータ（１０２）のソースバージョンに対応する適合メディアデータを有する変換プロセスとを備えるシステム。
【請求項４２】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、該記述データのターゲットバージョンから前記適合メディアデータを生成する（２１６）動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４３】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記マルチメディアプレゼンテーション用の記述データのソースバージョンからメディアデータのソースバージョンを取り出し（２０８）、該メディアデータのソースバージョンを前記適合メディアデータに変換する（２１０）動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４４】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記メディアデータのソースバージョンにおける複数のメディアオブジェクトのそれぞれについて、適合メディアオブジェクトを作成する動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４５】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記メディアデータのソースバージョンがビデオデータと画像データのうち、少なくとも一方を含む場合、空間解像度と時間解像度のうち、少なくとも一方を適合させる動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４６】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、所望のビットレートに従い、前記メディアデータのソースバージョンのビットレートを適合させる動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４７】
前記所望のビットレートは、ユーザの好み、伝送媒体の帯域幅、前記ターゲット装置の能力のうち、少なくとも１つに基づくことを特徴とする請求項４６に記載のシステム。
【請求項４８】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記メディアデータのソースバージョンの要約形式を生成する動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項４９】
前記マルチメディアプレゼンテーションの適合バージョンは、さらに、前記マルチメディアプレゼンテーション用の複合データのソースバージョン（４２０）に対応する適合複合データ（４４０）を有することを特徴とする請求項４１に記載のシステム。
【請求項５０】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、前記ターゲット装置の能力と前記適合メディアデータの特性に基づいて、前記適合複合データを生成する動作を前記プロセッサに行わせることを特徴とする請求項４９に記載のシステム。
【請求項５１】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換し（２１２）、該記述データのターゲットバージョンから前記適合複合データを生成する（２１６）動作を前記プロセッサに行わせることを特徴とする請求項４９に記載のシステム。
【請求項５２】
前記変換プロセスは、さらに、前記適合バージョンの作成時に、マルチメディアプレゼンテーション用の記述データのソースバージョンから前記複合データのソースバージョンを取り出し（２０８）、該複合データのソースバージョンを前記適合複合データに変換する（２１０）動作を前記プロセッサに行わせることを特徴とする請求項４９に記載のシステム。
【請求項５３】
前記適合複合データは、空間的及び時間的レイアウトと、適合メディアデータにおける複数のメディアオブジェクトについての同期情報とを有することを特徴とする請求項４９に記載のシステム。
【請求項５４】
前記マルチメディアプレゼンテーションのソースバージョンは、さらに、複合データのソースバージョンを有することを特徴とする請求項４９に記載のシステム。
【請求項５５】
前記変換プロセスは、さらに、前記変換動作の選択時に、最適化基準に合致するように、選択される変換動作を並べる動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項５６】
前記変換動作は、一連の規則に従って選択されることを特徴とする請求項４１に記載のシステム。
【請求項５７】
前記ターゲット装置の能力は、適合マルチメディアプレゼンテーションを該ターゲット装置に配信するための媒体の特性を含むことを特徴とする請求項４１に記載のシステム。
【請求項５８】
前記変換プロセスは、さらに、ユーザの好みに基づいて変換動作の選択を前記プロセッサに行わせることを特徴する請求項４１に記載のシステム。
【請求項５９】
さらに、バスを介してプロセッサに接続されるインタフェース（７３６、７２０）を備え、
前記変換プロセスは、さらに、前記インタフェースを介して前記マルチメディアプレゼンテーションの適合バージョンを前記ターゲット装置に配信する（２２０）動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項６０】
さらに、バスを介してプロセッサに接続されるインタフェース（７３６）を備え、
前記変換プロセスは、さらに、前記インタフェースを介して、前記マルチメディアプレゼンテーションのソースバージョン用のメディアデータ、複合データ、記述データのソースバージョンのうち、少なくとも１つを受信する（２００、２０２、２０６）動作を前記プロセッサに行わせることを特徴とする請求項４１に記載のシステム。
【請求項６１】
ターゲット装置の能力に基づいて複数の変換動作から１変換動作を選択する手段（３１０）と、
前記選択された変換動作（３２０）を用いて、マルチメディアプレゼンテーションのソースバージョン（１００）から前記ターゲット装置用のマルチメディアプレゼンテーションの適合バージョンを作成する手段とを備え、
前記マルチメディアプレゼンテーションの適合バージョンは、マルチメディアプレゼンテーションのメディアデータ（３０２，３０４）のソースバージョンに対応する適合メディアデータ（３２２、３２０）を有することを特徴とする装置。
【請求項６２】
前記作成手段は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換する（２１２）手段と、
前記記述データのターゲットバージョンから適合メディアデータを生成する（２１６）手段とを備えることを特徴とする請求項６１に記載の装置。
【請求項６３】
前記作成手段は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンからメディアデータのソースバージョンを取り出す（２０８）手段と、
前記メディアデータのソースバージョンを前記適合メディアデータに変換する（２１０）手段とを備えることを特徴とする請求項６１に記載の装置。
【請求項６４】
前記マルチメディアプレゼンテーションの適合バージョンは、さらに、マルチメディアプレゼンテーション用の複合データのソースバージョン（４２０）に対応する適合複合データ（４４０）を有することを特徴とする請求項６１に記載の装置。
【請求項６５】
前記作成手段は、
前記ターゲット装置の能力と前記適合メディアデータの特性に基づいて、前記適合複合データを生成する手段を備えることを特徴とする特許請求の範囲第６４に記載の装置。
【請求項６６】
前記作成手段は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンを記述データのターゲットバージョンに変換する（２１２）手段と、
前記記述データのターゲットバージョンから前記適合複合データを生成する（２１６）手段とを備えることを特徴とする請求項６４に記載の装置。
【請求項６７】
前記作成手段は、
前記マルチメディアプレゼンテーション用の記述データのソースバージョンから複合データのソースバージョンを取り出す（２０８）手段と、
前記複合データのソースバージョンを前記適合複合データに変換する（２１０）手段とを備えることを特徴とする請求項６４に記載の装置。
【請求項６８】
前記マルチメディアプレゼンテーションのソースバージョンは、さらに、複合データのソースバージョンを有することを特徴とする請求項６４に記載の装置。
【請求項６９】
前記マルチメディアプレゼンテーションの適合バージョンを前記ターゲット装置に配信する（２２０）手段をさらに備えることを特徴とする請求項６１に記載の装置。
【請求項７０】
前記マルチメディアプレゼンテーションのソースバージョン用のメディアデータ、複合データ、記述データのソースバージョンのうち、少なくとも１つを受信する（２００、２０２、２０６）手段をさらに備える請求項６１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアデータの処理に関し、特に多数の異種ターゲット装置に配信するためのマルチメディアデータの変換に関する。
【０００２】
本願は２００１年１２月１２日に出願された米国仮特許出願番号６０／３４０，３８８に基づき優先権を主張するものであり、この出願を参照することにより本願に援用する。
【０００３】
本願の開示内容の一部には著作権保護の対象となるものが含まれている。著作権者は、特許商標庁の特許ファイル又は記録にあるような特許書類又は特許開示内容であれば、ファクシミリによる複製に対して何ら異議はないが、それ以外の場合はすべての著作権を留保する。以下の通達は、本明細書及び図面に記載されるソフトウェア及びデータに適用される：著作権２００１年、ソニーエレクトロニクス、すべての権利を留保する。
【背景技術】
【０００４】
パーソナルコンピュータ、デジタルカメラ、携帯情報端末（ＰＤＡ）、携帯電話、スキャナ等のデジタル装置が普及するにつれて、よく知られた規格によりフォーマットされたマルチメディアデータを、愛好家から初心者、専門家といったすべての人々が共用するようになりつつある。マルチメディアデータの取り込み、記憶、伝送を規定する多くの規格がデジタル装置の製造者により広く受け入れられており、マルチメディアデータの視聴や共用を多数のフォーマットやバージョンで可能にするために、こうした規格はデジタル装置に組み込まれるようになってきている。インターネットでは、ＨＴＭＬ（Hypertext Markup Language）及びＳＭＩＬ（Synchronized Media Integration Language）が、マルチメディアコンテンツを表すための一般的な規格である。ＨＴＭＬは、Ｗ３Ｃ（World Wide Web Consortium）が定めた規格に基づく汎用記述言語ＳＧＭＬ（Standard Generalized Markup Language）である。ＨＴＭＬは、プレゼンテーション構造とともに、画像、ビデオ、オーディオ、ＪＡＶＡ（登録商標）アプリケーション等のメディアオブジェクト、エレメント又はリソースのセットとして、ウェブページを記述する。プレゼンテーション構造には、ＨＴＬＭウェブページがインターネットブラウザにて表示される場合に考えられるメディアリソースのプレゼンテーションに関する情報が含まれる。これには、例えば、異なるマルチメディアエレメントのレイアウトに関する情報が含まれる。ＨＴＭＬではプレゼンテーション構造を表すのにネストタグを使用する。ＸＨＴＭＬと呼ばれるＨＴＭＬの新バージョンは、ＳＧＭＬではなくＸＭＬに基づくＨＴＭＬの機能的同等バージョンである。ＳＭＩＬは、画像、ビデオ、オーディオ等の異なるメディアリソースを単一のプレゼンテーションに統合するための、ＸＭＬに基づく言語である。ＳＭＩＬは、メディアリソースを参照して、そのタイミングやレイアウトを含むプレゼンテーションを制御することを可能にする特徴、及び、ハイパーメディアプレゼンテーションを作成するために他のプレゼンテーションにリンクするための特徴を有している。ＳＭＩＬは、プレゼンテーションで用いるメディアリソース又はオブジェクトに関する表現を定義しない複合言語である。しかし、ＳＭＩＬは、メディアオブジェクト又はリソースを単一のプレゼンテーションに統合又は合成することを可能にするタグのセットを定める。ＳＭＩＬの特徴にはＨＴＭＬにも存在するものがあるが、ＳＭＩＬはメディアリソースの空間的及び時間的レイアウトに注目し、ＨＴＭＬよりも優れたインタラクティブ性の制御が得られる。
【０００５】
マルチメディアコンテンツを表すための他の規格として、ＭＰＥＧ（Moving Picture Experts Group）バージョン４（以下、ＭＰＥＧ−４と称する）が定めたＩＳＯ／ＩＥＣ１４４９６規格「オーディオビジュアルオブジェクトの符号化」がある。ＭＰＥＧ−４は、それぞれ単一のエレメンタリストリームとして表される各メディアオブジェクトとして、オーディオ、ビジュアル、又はオーディオビジュアルコンテンツのユニットをどのように表現するかを特定する。ＭＰＥＧ−４では、各メディアオブジェクトを組み合わせてオーディオビジュアルシーンを作成する。オーディオビジュアルシーンは、異なるマルチメディアオブジェクトの複合プレゼンテーションを構造化された様式で表す。各シーンでは、メディアオブジェクトは自然なもの、つまり、外部から取り込んだものでも、合成のもの、つまり、コンピュータや他の装置で生成したものでもよい。例えば、テキストと背景音を有する画像とを含むシーンは、テキスト、画像、オーディオストリームのメディアオブジェクトと、各オブジェクトをどのように組み合わせるかを記述するシーンとを用いてＭＰＥＧ−４にて記述される。ＭＰＥＧ−４オーディオビジュアルシーンは、階層的ツリー構造として構成されたメディアオブジェクトからなり、この階層的ツリー構造はシーングラフと呼ばれる。静止画、ビデオ、オーディオ等の基本メディアオブジェクトは、シーングラフの葉部分として配置される。ＭＰＥＧ−４は、ビデオ、オーディオ等、これらの基本メディアオブジェクトの多くに関する表現を標準化するが、ＭＰＥＧ−４特定メディア表現での使用に限定されるものではない。各メディアオブジェクトには、そのオブジェクトをオーディオビジュアルシーンに含むことを可能にする情報が含まれている。
【０００６】
基本メディアオブジェクトは、ツリーの歯部分としてシーングラフの下部にある。より一般的には、ＭＰＥＧ−４シーン記述では、メディアオブジェクトを２次元（２Ｄ）及び３次元（３Ｄ）座標系に空間的に配置し、オブジェクトのプレゼンテーションを変更するように変換（例えば、回転等の空間的変換）を行い、基本メディアオブジェクトをグループ化して複合メディアオブジェクトを形成し、シーン内でオブジェクトのプレゼンテーションを同期化することができる。ＭＰＥＧ−４シーン記述では、ＶＲＭＬ（Virtual Reality Modeling Language）から概念を構築する。ウェブ３Ｄコンソーシアムは、Ｘ３Ｄ（Extensible 3D）と呼ばれる、ＸＭＬに基づくＶＲＭＬシーンの表現を定義している。ＭＰＥＧ−４シーンは最適化２値方式で伝送のために符号化されるが、ＭＰＥＧは、ＸＭＴ（Extensible MPEG-4 Textual format）と呼ばれる、ＸＭＬに基づくＭＰＥＧ−４シーン記述の表現も定義している。ＸＭＴは、ＸＭＬに基づくテキストシンタックスを用いてＭＰＥＧ−４シーン記述を表す。
【０００７】
ＸＭＴはＳＭＩＬ、ＶＲＭＬ、ＭＰＥＧ−４プレーヤと相互運用可能である。ＸＭＴフォーマットは、ＳＭＩＬプレーヤで直接解釈及び再生することができ、容易にＸ３Ｄフォーマットに変換してＸ３Ｄ又はＶＲＭＬプレーヤで再生することができる。また、ＸＭＴは、ＭＰＥＧ−４フォーマット（ＭＰ４と呼ぶ）等、ＭＰＥＧ−４表現にコンパイルすることもでき、それをＭＰＥＧ−４プレーヤで再生することができる。ＸＭＴには、ＸＭＴ−ＡフォーマットとＸＭＴ−Ωフォーマットという２つの異なるフォーマットがある。ＸＭＴ−Ａは、ＭＰＥＧ−４固有の特徴を表すことを可能にするため、Ｘ３Ｄへの拡張を持つＸ３Ｄサブセットを含む、ＭＰＥＧ−４コンテンツのＸＭＬに基づくバージョンである。ＸＭＴ−Ａでは、ＭＰＥＧ−４テキストフォーマットと２値フォーマットとの１対１のマッピングが得られる。ＸＭＴ−Ωは、ＳＭＩＬに基づくＭＰＥＧ−４シーンの高レベルバージョンである。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
デジタルマルチメディア情報の配信及び使用が普及し続けることにより、ユーザにとって特に関心があるコンテンツを識別することが困難となる。種々の機関がマルチメディア情報のコンテンツの記述を提供することにより、この問題に対処しようとしてきた。この記述情報を使用して、特定のコンテンツの検索、フィルタリング及び／又はブラウズを行うことができる。ＭＰＥＧ（Moving Picture Experts Group）は、マルチメディア情報のコンテンツ記述を標準化するために、一般的にＭＰＥＧ−７と呼ばれるマルチメディア・コンテンツ・ディスクリプション・インタフェース規格（Multimedia Content Description Interface standard）を公表している。符号化マルチメディアコンテンツを表す方法を定めるＭＰＥＧ−４を含む、それまでのＭＰＥＧ規格とは異なり、ＭＰＥＧ−７はマルチメディアコンテンツの記述方法を特定する。
【０００９】
コンテンツの記述に関して、ＭＰＥＧ−７を用いてＭＰＥＧ−４、ＳＭＩＬ，ＨＴＭＬ、ＶＲＭＬ、他のマルチメディアコンテンツデータを記述してもよい。ＭＰＥＧ−７では、記述ツールの標準セットを定義するとともに新たな記述ツールを定義するための言語を特定し、記述子と記述スキームからなるコアセットを与えるＤＤＬ（Data Definition Language）を用いる。記述子と記述スキームからなるセットのＤＤＬ定義は、種々の分類のコンテンツについて「スキーマ」として構成される。スキーマにおける各記述子のＤＤＬ定義は、対応する特徴のシンタックス及び意味を特定する。スキーマにおける各記述スキームのＤＤＬ定義は、その子成分、記述子及び記述スキームの関係の構造及び意味を特定する。ＭＰＥＧ−７ＤＤＬのフォーマットは、記述子、記述スキーム、意味、シンタックス、構造がＸＭＬエレメント及びＸＭＬ属性で表されるＸＭＬ及びＸＭＬスキーマ規格に基づいている。
【課題を解決するための手段】
【００１０】
マルチメディアプレゼンテーションを多数の異種ターゲット装置で再生するために変換する。変換動作はターゲット装置の能力に基づいて選択し、この変換動作を用いて、マルチメディアプレゼンテーションのソースバージョンからマルチメディアプレゼンテーションの適合バージョンを作成する。適合バージョンは、マルチメディアプレゼンテーションについてのメディアデータのソースバージョンに対応する適合メディアデータを含む。一特徴として、マルチメディアプレゼンテーションの適合バージョンは、マルチメディアプレゼンテーションについての複合データのソースバージョンに対応する適合複合データも含む。他の特徴として、適合メディアデータは、マルチメディアプレゼンテーションについての記述データのソースバージョンから作成される。
【００１１】
本発明の新たな特徴については、以下の詳細な説明及び図面の参照により明らかとなる。
【発明を実施するための最良の形態】
【００１２】
本明細書で説明する変換は、多数の異種装置に配信するためのマルチメディアプレゼンテーションの変換を可能にする。マルチメディアプレゼンテーションには、メディアデータ、複合データ、記述データが含まれていてもよい。一実施形態において、本明細書で説明する変換は、ソースバージョン用のメディアデータと任意ではあるが複合データとをマルチメディアプレゼンテーションに適合させることにより、マルチメディアプレゼンテーションを、あるターゲット装置又はあるクラスのターゲット装置で再生することができるようにする。さらに他の実施形態においては、ソースマルチメディアプレゼンテーションには、適合メディアデータと任意ではあるが複合データとが取り出される記述データのみが含まれる。
【００１３】
画像用としてよく知られたＧＩＦやＪＰＥＧフォーマット、オーディオ用のＭＰ３やＷＡＶフォーマット、ビデオ用のＭＰＥＧ−１やＭＰＥＧ−２、さらに他の同様のフォーマット等、画像、オーディオ、ビデオコンテンツを表すために定められたデータを、ここでは一般にメディアデータと呼び、画像、ビデオ又はオーディオデータの単一のインスタンスについてはメディアオブジェクトと呼ぶことにする。他の規格は、どのようにメディアオブジェクトを空間的及び時間的に組み合わせて単一の一貫したマルチメディアプレゼンテーションを形成するかを定める言語についてのフォーマットを特定する。これらの規格、例えば、ＭＰＥＧ−４（Moving Picture Experts Group-4）、Ｗ３Ｃ（World Wide Web Consortium）、ＳＭＩＬ（Synchronized Media Integration Language）、ＶＲＭＬ（Virtual Reality Modeling Language）、Ｘ３Ｄ（Extensible 3D）、ＨＴＭＬ（Hypertext Markup Language）、及び他の同様の規格を、ここでは複合規格と呼び、これらの規格を組み込むインストラクションを複合データと呼ぶ。複合データは、メディアオブジェクトの空間的及び時間的レイアウトと同期を特定する。複合データとそれにより参照されるすべての関連メディアデータとを合わせて、ここではマルチメディアプレゼンテーションデータと呼ぶ。また、１インスタンスのマルチメディアプレゼンテーションデータをマルチメディアプレゼンテーションと呼ぶ。複合データのフォーマットは、メディアデータフォーマットとは無関係なので、メディアデータのフォーマットから独立して選択することができる。ＭＰＥＧ−７（正式にはMultimedia Content Description Interface standard）等、他の規格は、マルチメディアコンテンツを記述するためのフォーマットを特定する。ＭＰＥＧ−７規格によりデータは、メタデータと呼ばれることが多い。メタデータは他のデータを記述するデータである。メタデータとして知られ、ＭＰＥＧ−７や他の規格により定められるデータを、ここでは記述データと呼ぶ。記述データを、マルチメディアプレゼンテーションにおいてメディアデータ及び複合データと組み合わせてもよい。種々の実施形態において、マルチメディアプレゼンテーションを構成するメディアデータ、複合データ、記述データや、マルチメディアプレゼンテーションデータ自体を、他の既知のフォーマットで表してもよい。
【００１４】
本明細書で説明する変換及び適合により、多数の異種ターゲット装置への配信及びプレゼンテーションを行うために、メディアデータ、複合データ、記述データのうちのいずれか１以上を含むソースマルチメディアプレゼンテーションの自動的又は半自動的な適合又は変換を行うことができる。適合は、ＸＭＬ等、メディアデータ、複合データ、記述データの構造化された表現に対して、変換プロセスを行うことにより達成される。この適合プロセスは、ＭＰＥＧ−４、ＸＭＴ、ＳＭＩＬ、ＨＴＭＬ、ＶＲＭＬ／Ｘ３Ｄ等の構造化された複合データ表現に対して行ってもよい。記述データをＭＰＥＧ−７規格に従って表してもよい。適合プロセスは、ターゲット装置でのプレゼンテーションのために、マルチメディアプレゼンテーション用の複合データ、メディアデータ、記述データをどのように変換するかを特定する一連の書き換え又は変換規則を介して達成してもよい。これらの規則は、ソースメディアデータ、ソース複合データ及び／又はソース記述データとともに、適合プロセスをどのように行うかを決定するための、ユーザの好み又は装置の能力に関する情報を用いてもよい。
【００１５】
図１は、本明細書で説明する変換方法の概念図を示す。一実施形態において、マルチメディアプレゼンテーション１００には、メディアデータ１０２と、複合データ１０４と、記述データ１０６とが含まれる。マルチメディアデータ１００は、各モデル、タイプ、クラスのターゲット装置についての変換規則を参照することにより、ターゲット装置の能力に基づいてメディアデータ、複合データ、記述データを含むマルチメディアプレゼンテーションを適合させる変換エンジン１１０により処理される。一実施形態において、特定の装置に適合させるための種々の規則を、変換エンジン内のプラグインモジュールとして組み込むことができる。ソースマルチメディアプレゼンテーションの適合バージョンは、種々のターゲット装置に配信することができる。例えば、第１のバージョン１２０Ａは第１の装置１３０Ａに配信することができ、第２のバージョン１２０Ｂは第２の装置１３０Ｂに配信することができ、第Ｎのバージョン１２０Ｎは第Ｎの装置１３０Ｎに配信することができる。
【００１６】
図２Ａは、本明細書で説明する変換方法の一実施形態により行われる動作のフローを示す。動作フローは、図１で説明した上述の変換エンジン１１０により行われる動作に対応している。なお、本発明の主旨から逸脱しない範囲で、図２Ａに示す方法や本明細書で説明する他の方法及びプロセスにおいて、プロセスの追加又は削除があってもよく、図示及び説明されるブロックの配置により特定の順序が示されるものではない。一実施形態において、ブロック２００に示すように、メディアデータ、複合データ、記述データを含むマルチメディアプレゼンテーションを受信する。他の実施形態においては、ブロック２０２に示すように、メディアデータと複合データとを含むマルチメディアプレゼンテーションを受信してもよい。この実施形態では、ブロック２０４に示すように、記述データをメディアデータ及び複合データから取り出すことができる。メディアデータからの記述データの取り出しは、米国特許出願番号１０／１１４，８９１、発明の名称「コンテンツデータと記述データ間のトランスコーディング（Transcoding Between Content Data and Description Data）」（「‘８９１出願」）に記載される方法により行うことができる。メディアデータ、複合データ、記述データを含むマルチメディアプレゼンテーションを、ブロック２１０に示すように、各ターゲット装置又は各包括的クラスのターゲット装置についての規則に従い、多種のバージョンに変換する。具体的には、各ターゲット装置に必要な適合方法を定める規則に従い、マルチメディアデータが配信される装置の特徴及び能力に基づいて、マルチメディアプレゼンテーションを多種のターゲットバージョンに変換する。このようにして、ターゲットバージョンをターゲット装置の能力に合わせる。また、変換は、変換システム及び／又はターゲット装置に関するユーザの好みに基づくものとし、それによって制御することもできる。ブロック２２０に示すように、適合マルチメディアプレゼンテーションの適切なバージョンをターゲット装置に配信する。この配信は、例えばターゲット装置の申し込みにより、自動的に行われてもよく、また、ターゲット装置からの特定配信要求に応じて行われてもよい。
【００１７】
図２Ｂは、本明細書で説明する変換方法の一実施形態により行われる動作のフローを示す。本実施形態では、ブロック２０６に示すように、変換プロセスでマルチメディアプレゼンテーションの記述データを受信する。一実施形態において、変換プロセスはソース記述データに対して直接行われる。本実施形態において、ブロック２０８に示すように、ソース記述データを用いて、ソースメディアデータとソース複合データを取り出す。この変換は、ソース記述データに対して行われる一連の規則により制御される。この変換は、‘８９１出願に記載された方法を含む種々の方法により行うことができる。本実施形態では、ソース記述データから取り出されたソースメディアデータを１以上のメディアソースから取得することができる。メディアソースはローカルでも遠隔でもよいが、例えばインターネット等、１以上のネットワークを介した通信を必要とする。ブロック２１０に示すように、得られたマルチメディアプレゼンテーションを、各ターゲット装置についての規則に従い多種のターゲットバージョンに変換して、ターゲットマルチメディアプレゼンテーションを作成する。また、変換は、変換システム及び／又はターゲット装置に関するユーザの好みに基づくものとし、それによって制御することもできる。ブロック２２０に示すように、適合マルチメディアプレゼンテーションの適切なバージョンをターゲット装置に配信する。
【００１８】
他の実施形態において、ブロック２１２に示すように、各ターゲット装置についての規則に従い、ソース記述データをターゲット記述データに変換してもよい。ターゲット記述データは、ターゲット装置に適合するメディアデータを記述する。ブロック２１６に示すように、ターゲット記述データからターゲット装置用のターゲット複合データ及びターゲットメディアデータを生成する。これは、‘８９１出願に記載された方法を含む種々の方法により行うことができる。本実施形態では、ターゲット記述データから生成されたターゲットメディアデータは、１以上のメディアソースから取得することができる。メディアソースはローカルでも遠隔でもよいが、例えばインターネット等、１以上のネットワークを介した通信を必要とする。ブロック２２０に示すように、適合マルチメディアプレゼンテーションの適切なバージョンをターゲット装置に配信する。
【００１９】
一実施形態において、ソース記述データ、ソース複合データ、ソースメディアデーダを含む受信したソースマルチメディア、及び、取り出したソース記述データ、取り出したメディアデーダ、取り出したソース複合データは、ＳＭＩＬ等のＸＭＬに基づく表現、あるいは、ＸＭＴ−Ωとして知られる拡張可能ＭＰＥＧ−４テキストフォーマットで表される。ＸＭＴ−ΩはＸＭＬにおけるＭＰＥＧ−４表現であり、ＳＭＩＬに類似する。また、上述の変換方法は、ＸＭＴ用のＭＰＥＧ−４参照ソフトウェアに開示されている方法等、既知の方法を用いてＸＭＴのようなＸＭＬに基づく表現に変換することにより、他の２値形式で記憶されたＭＰＥＧ−４データにも適用できる。複合データと記述データは、いずれもＸＭＬ文書として表される。従って、適合プロセスは、あるＸＭＬ文書から別のＸＭＬ文書への変換となる。このため、一実施形態においては、例えば、複合データにＳＭＩＬ／ＸＭＴデータを用いるとももに記述データにＭＰＥＧ−７を用いて、ソース記述データメディアデータ及び複合データを表すＸＭＬデータ構造に対して行われる一連の変換規則として、適合を行う。マルチメディアプレゼンテーションの変換規則は、ＸＳＬ（extensible stylesheet language）やＸＳＬＴ（extensible stylesheet language transformations）の拡張形式にて記載することができる。すなわち、１以上のＸＳＬＴファイルにより、送信先装置への配信及びプレゼンテーションのためにマルチメディアデータをどのように変換するかを制御することができる。
【００２０】
一実施形態において、変換プロセスには、マルチメディアプレゼンテーション用の記述データに一連の変換規則を適用することが含まれる。変換規則は、書き換え規則であると考えてもよい。各規則は条件と動作の組を特定する。各規則の条件部分は、その規則がいつ適用されるかを定義するものであり、記述データの構造化表現とターゲット装置の能力の表現の一部に対して定義される。規則の動作部分は、ソース記述データに基づくターゲット記述データの一部を構成する。変化する記述データに規則が合致しなくなるまで、あるいは、停止条件が合致するまで、条件が合致する規則を繰り返し適用することにより、変換プロセスを行う。停止条件は、ターゲット記述データが、ターゲット装置でプレゼンテーション可能なマルチメディアプレゼンテーションの記述の必要条件を満たすときに発生する。種々の実施形態において、規則適用プロセスは決定論的であっても非決定論的であってもかまわない。
【００２１】
幾つかの実施形態において、各規則にコストが関連するため、サーチアルゴリズムを用いて、当該分野の技術者によく知られたサーチ及び最適化技術によりソース記述の最低コスト変換が得られる最適な又はほぼ最適な一連の規則を見出してもよい。規則のコストは、プレゼンテーションが適合されるターゲット装置の必要条件にターゲットデータがどれだけ合致するかを表す。
【００２２】
記述データがＸＭＬで表される場合、あるいは、同等のＸＭＬに基づく表現にマッピングできる場合、ＸＳＬＴで書かれた規則を用いて変換を行うことができ、当該分野の技術者によく知られた技術を用いたＸＳＬＴエンジンにより変換を行うことができる。変換プロセスによりターゲット記述データが作成されると、‘８９１出願に記載された方法を用いて、記述データをターゲットメディアデータ及びターゲット複合データに変換すればよい。
【００２３】
ターゲットメディアデータは、ソースメディアデータをターゲット記述データに記載されたターゲットメディアデータにマッピングするメディア適合を行うことにより、ソースメディアデータから生成される。例えば、ターゲット記述における画像サイズが異なる画像サイズを特定する場合、対応するリサイズ動作を画像に対して行う。
【００２４】
他の実施形態において、変換プロセスでは、記述データにより制御される規則を用いてメディアデータと複合データの両方を変換する。このプロセスで用いられる記述データは、外部から供給されたものでもよく、自動的に生成されたものでもよい。本実施形態において、変換プロセスでは、２種類の変換を行ってマルチメディアプレゼンテーションを適合させる。すなわち、メディアデータを変換するメディア変換と、複合データの構造を変換する複合変換である。変換プロセスでは、一連のメディア及び／又は複合変換を行う。
【００２５】
メディア変換では、フォーマット変換を行う動作等、既知の信号処理アルゴリズムを用いて行われるローレベル動作、例えば、画像のＪＰＥＧからＧＩＦフォーマットへの変更、あるいは、メディアのローレベル特性を変更する動作、例えば、オーディオデータのサンプルレートの変更や画像のリサイズが含まれる。他のメディア変換では、ビデオをメディアの概要を表す一連の画像、例えば、キーフレームに変換する動作等、メディアをあるフォーマットから別のフォーマットに変換する。変換プロセスは、ソースデータオーサリング又は作成実行の詳細に依存しないが、ターゲットメディアフォーマットを知っている必要がある。一実施形態において、プラグインコンポーネントにより行われる変換を記述する標準インタフェースをエクスポートするプラグインコンポーネントとして、原子メディア変換を行う。
【００２６】
複合変換は、複合データの構造化データ表現に対して行われる。このような表現は、ＳＭＩＬ、ＸＭＴ等の複合データフォーマットを用いる場合、ＸＭＬに基づくものでもよい。また、複合変換は、他の表現を同等のＸＭＬに基づくフォーマットに変換することにより行うこともできる。記述データ変換について説明した同様の技術を用いて、複合変換を行うこともできる。
【００２７】
本明細書で説明する変換方法の一実施形態において、規則セットはメディア及び複合データの共有適合を決定し、制御する。本実施形態において、各規則は条件と動作の対を特定する。各規則の条件部分は、その規則が複合／メディアデータにいつ適用されるかを定義するものであり、そこで参照される複合データ及びメディアデータについて複合データ及び関連する記述データの構造化表現の一部に対して定義される。動作部分は、メディア及び複合データ適合を用いて、ターゲットマルチメディアプレゼンテーションに必要なターゲット複合データ構造及びメディアデータを生成する。変換プロセスでは、規則が合致しなくなるまで、あるいは、停止条件が発生するまで、条件が合致する規則を繰り返し適用する。停止条件は、ターゲット複合及びメディアデータが、ターゲット装置でプレゼンテーション可能なマルチメディアプレゼンテーションの必要条件を満たすときに発生する。規則適用プロセスは決定論的であっても非決定論的であってもかまわない。
【００２８】
幾つかの実施形態において、各規則にコストが関連するため、サーチアルゴリズムを用いて、当該分野の技術者によく知られたサーチ及び最適化技術によりソースデータの最低コスト変換が得られる最適な又はほぼ最適な一連の規則を見出してもよい。このようなコストは、プレゼンテーションが適合されるターゲット装置の必要条件に対して得られる出力ターゲットデータがどれだけ合致するかを反映する。
【００２９】
複合データがＸＭＬで表される場合、あるいは、同等のＸＭＬに基づく表現にマッピングできる場合、ＸＳＬＴで書かれた規則を用いて変換を行うことができ、当該分野の技術者によく知られた技術を用いたＸＳＬＴエンジンにより変換を行うことができる。
【００３０】
図３は、本明細書で説明する方法による適合プロセスの一実施例を示す。マルチメディアプレゼンテーション３００には、ＭＰＥＧ−４／ＳＭＩＬツリー構造フォーマットにおける複合データにより配置されたオーディオデータ３０２及びビデオデータ３０４としてのメディアデータが含まれる。一実施形態において、オーディオデータはＭＰ３又は他のよく知られたオーディオフォーマットとすることができ、ビデオデータはＭＰＥＧ−４ビデオ又は他のよく知られたビデオコンテンツデータフォーマットとすることができる。メディアデータに加えて、記述データがマルチメディアプレゼンテーションに含まれてもよい。変換エンジン３１０はマルチメディアデータを受信し、種々のターゲットプレーヤ装置３４０への配信、再生、その他のプレゼンテーションを行えるようにマルチメディアデータを適合させる。変換エンジン３１０により行われる適合では、再生装置でビデオデータの再生が不可能な場合、エレメント３２４で示すように、一連の静止画にビデオデータを変換する等のメディア変換を行う。また、この適合では、エレメント３２２で示すように、音声をテキストに変換してもよい。ターゲット装置で適合メディアデータを適切に表示できるように、エレメント３３０で示すように、複合変換を行う。すなわち、ＳＭＩＬ、ＨＴＭＬ等のよく知られたフォーマットの複合データを適合メディアデータとともにターゲット装置に供給し、特定の適合に合う方法で適合メディアデータのプレゼンテーションを行う。例えば、オーディオ及びビデオセグメントの組合せによるマルチメディアコンテンツを一連の静止フレーム及びテキストとなるように適合させた場合、静止フレームのプレゼンテーションはテキストと対応させて、得られるプレゼンテーションを視聴者が総合的に楽しめるようにしなければならない。プレーヤ装置３４０には、テレビ３４２、ＰＤＡ３４４、携帯電話３４６が含まれる。一実施形態において、ＮＴＳＣ（National Television Standards Committee）、ＰＡＬ（Phase Alternating Line）、デジタルテレビジョン（ＤＴＶ）及び他の同様の規格に準拠するマルチメディアデータの適合バージョンを受信するが、ＰＤＡや携帯電話に供給されるバージョンは、画像フレームの解像度を低下させ、フレームレートを低減し、色数等を低減するソースマルチメディアデータの低品質バージョンであってもよい。
【００３１】
また、マルチメディアデータの適合バージョンをターゲット装置に伝送又は他の方法で配信する媒体の帯域幅制限に合わせるため、マルチメディアデータのサイズを低減するように、低品質バージョンを適合させてもよい。例えば、携帯電話システムを介して伝送するデータは、携帯電話システムの帯域幅が狭いため、Ｂｌｕｅｔｏｏｔｈ又はＩＥＥＥ８０２．１１無線システムを介して伝送しなければならない。同様に、ＩＥＥＥ８０２．１１、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ規格に準拠するターゲット装置のクラス毎に、種々の適合バージョンを作成してもよい。このように、ターゲット装置の通信ストリームの能力及び特性や、解像度、色、ターゲット装置の他の特性及び能力に合致するように、適合マルチメディアプレゼンテーションの品位又は品質を調整又はカスタマイズしてもよい。
【００３２】
図４は、本明細書で説明する適合変換方法の具体例を示す。本例において、ソースマルチメディアプレゼンテーション４１０は、テレビ４００で見るようなサッカーの試合のオーディオ及びビデオの供給である。このマルチメディアプレゼンテーションには、メディアデータ、記述データ、複合データが含まれる。複合データ適合方法４２６により、ソース複合データ４２０を適合させて、適合複合データ４４０の作成又は取り出しを行うとともに、ビデオ適合方法４２４により、ビデオデータ４４０としてのメディアデータを適合させることができる。具体的には、ビデオデータをＰＤＡでのプレゼンテーション用に適合させる場合、１２００×１６００ＤＰＩ、４０フレーム／秒のソースビデオデータを、低品質ビデオデータ４２８で示すように２０×３０ＤＰＩ、１５フレーム／秒に適合又は品質低下させる。携帯電話等のより限定されたターゲット装置への適合を行う場合、種々の時点でのサッカーの試合の様子を表す一連の静止フレームにビデオデータを適合させればよい。同様に、マルチメディアソースプレゼンテーションに関連する音声トラック又はチャネルがある場合、音声をテキストに適合させればよい。この場合、複合データ適合は、携帯電話での総合的なプレゼンテーションのため、テキストと静止画との対応及び整合を考慮しなければならない。最終的に得られるのは、ターゲットＰＤＡ４６０にて示される適合又はターゲットマルチメディアプレゼンテーション４５０である。この段落で説明した適合を様式適合又は変換と呼ぶ。様式適合では、例えば、ビデオから静止グラフィック、第１の言語から第２の言語、音声からテキストといった具合に、ソース様式からターゲット様式にメディアデータを変更する。
【００３３】
図５Ａはソースマルチメディアプレゼンテーションデータの例を示し、図５Ｂはターゲットマルチメディアプレゼンテーションデータの例を示す。図５Ａ及び図５Ｂのマルチ目ディタプレゼンテーションデータの例は、ＳＭＩＬでの複合データを示す。これらの例では、説明の都合上、複合データを簡略化している。ソースマルチメディアプレゼンテーションは、英語を用いるパーソナルコンピュータ等の高性能装置用である。ターゲットマルチメディアプレゼンテーションは、ソースマルチメディアプレゼンテーションをＰＤＡ等の低性能装置に適合させるとともに、言語を英語から日本語に変更することにより得られる。具体的には、図５Ａは、高品質ビデオ及びオーディオを表示することができる高性能装置用のＳＭＩＬ複合データの抜粋を示す。この抜粋は、図４に示すのと同様のサッカーの試合のマルチメディア概要の一部である。図５Ｂは、ビデオの表示ができず低品質オーディオの再生のみが可能な低性能装置用に適合が行われた同じ抜粋である。
【００３４】
図５Ａに示すソース複合データは、＜ｐａｒ＞エレメント５２６で示すように、同時にプレゼンテーションされる２つのメディアオブジェクトを有する。＜ｐａｒ＞エレメント５２６は同時プレゼンテーションを指定するものである。＜ｖｉｄｅｏ＞タグ５２０で示す第１のメディアオブジェクトは、領域「ｒ１」に６４０×４８０画素の解像度、３０フレーム／秒で表示されるデータソースファイル「ｓｏｃｃｅｒ−ｇｏａｌ−３０ｆｐｓ．ｍｐｇ」からのＭＰＥＧ−２ビデオである。＜ａｕｄｉｏ＞タグ５２２で示す第２のメディアオブジェクトは、ソースファイル「ｎａｒｒａｔｉｏｎ−ｅｎ−４４ｋｈｚ．ｍｐ３」からの４４ｋＨｚの高品質英語ＭＰ３オーディオである。第３のメディアオブジェクト５２４は、英語のソース「ｃａｐｔｉｏｎ−ｅｎ．ｔｘｔ」からのテキストキャプションである。
【００３５】
ソースマルチメディアプレゼンテーションを適合させるには、ソース複合データとソースメディアデータの両方を変換して、図５Ｂに示すターゲットマルチメディアプレゼンテーションを生成する。低性能ターゲット装置はビデオ再生に対応しないので、行う第１の適合により、ビデオコンテンツを要約するように選択されたキーフレームのセットに、ソースビデオデータを変換する。マルチメディアプレゼンテーションのこの部分は、図５Ｂに示す「ｓｅｑ」及び「ｉｍｇ」タグ５３０、５３２を用いて複合データ中に表される。本例では、オーディオについても、オーディオ信号とオーディオコンテンツの両方が適合するように適合を行う。低品質装置は低品位オーディオ再生にしか対応しないので、ＷＡＶオーディオオブジェクト５３４で示すように、ソースオーディオのフォーマットをＭＰ３からＷＡＶに適合させ、４４ｋＨｚから８ｋＨｚにダウンサンプリングを行う。また、テキストオブジェクト５３６で示すように、オーディオオブジェクトとテキストオブジェクトの両方の言語を、ソース言語である英語からターゲット言語である日本語に適合させる。
【００３６】
図６Ａ、図６Ｂ、図６Ｃは変換規則の例を示す。図５Ａに示すソースマルチメディアプレゼンテーションデータから図５Ｂに示すターゲットマルチメディアプレゼンテーションデータへの変換を実現するのに使用できる変換規則の例である。図６Ａ、図６Ｂ、図６Ｃに示す規則は、ＸＳＬＴと同様の言語で表される。各規則をＸＳＬＴにおけるテンプレートと呼ぶが、変換（すなわち、書き換え）規則を表し、例えば、６１０Ａ及び６１０Ｂで示す＜ｘｓｌ：ｔｅｍｐｌａｔｅ＞．．．＜／ｘｓｌ：ｔｅｍｐｌａｔｅ＞シンタックスにより示される。「ｍａｔｃｈ」属性６１２で示す規則の条件部分は、その規則が適用されるプレゼンテーションデータの種類又はクラスを指定する。各規則の本体部分は、規則Ｒ１  ６１０のタグ６１０Ａ及び６１０Ｂ等、「ｘｓｌ：ｔｅｍｐｌａｔｅ」タグ内に含まれるが、規則の条件に合致するＳＭＩＬマルチメディアの部分の変換結果を形成するためのインストラクションを含む。
【００３７】
図６Ａ及び図６Ｂにおいて、規則Ｒ１〜Ｒ３は複合データを変換するものであり、複合データ変換規則と呼ばれる。図６Ｂにおいて、規則Ｒ４〜Ｒ７はメディアデータを変換するものであり、メディアデータ変換規則と呼ばれる。例示的規則Ｒ１  ６１０は、図６Ｃに示す規則Ｒ４  ６８０の「ＶｉｄｅｏＴｏＫｅｙＦｒａｍｅ」メディア変換規則を呼び出すことにより、ビデオオブジェクトの複合データをターゲット装置の能力に適合させる。「ＶｉｄｅｏＴｏＫｅｙＦｒａｍｅ」メディア変換規則の実行の詳細については図示しないが、この変換規則は、ビデオからキーフレーム群を選択することによりビデオを要約する一連の画像をビデオから作成する。規則Ｒ１は図５Ａにある＜ｖｉｄｅｏ＞エレメント５２０に合致し、図５Ｂの＜ｓｅｑ＞．．．＜／ｓｅｑ＞データ５３０に変換する。
【００３８】
例示的規則Ｒ２  ６２０は、オーディオオブジェクトのメディアソースに関連する記述データに応じた変換を適用することにより、ソースＳＭＩＬ複合データにおけるオーディオオブジェクトの複合データを適合させる。第１の条件６２２は、オーディオデータのサンプルレートが、ターゲット装置が対応できる最大サンプルレート８ｋＨｚを超えるか否かを判断する。オーディオデータのサンプルレートがこれを超える場合、図６Ｃの規則Ｒ５  ６８２等の「ＡｕｄｉｏＤｏｗｎＳａｍｐｌｅ」変換規則を呼び出して、オーディオメディアデータのダウンサンプリングを行うことによりオーディオデータを変換する。例示的規則Ｒ２は、
“ｄｅｓｃｒｉｐｔｉｏｎ（＠ｓｒｃ）／／ＡｕｄｉｏＣｏｄｉｎｇ／Ｓａｍｐｌｅ／＠ｒａｔｅ＞８０００”
という条件によりセグメント６２４に示されるようなサンプルレートを示す記述データを判断する。
【００３９】
セグメント６２４に示す条件で用いる記述（）機能は、ＵＲＬ（Uniform Resource Locator）で特定されるメディアオブジェクトに関連するＭＰＥＧ−７記述データを戻す。第２の条件６２６における同様のテストでは、オーディオデータがＷＡＶフォーマットであるか否かを判断し、ＷＡＶフォーマットでない場合は、図６Ｃの規則Ｒ６  ６８４等の「ＡｕｄｉｏＣｏｎｖｅｒｔＦｏｒｍａｔ」規則を呼び出して、フォーマットを変換する。それ以外の場合は、オーディオプレゼンテーションデータを変換せずに送る。例示的規則Ｒ２を図５Ａに示す＜ａｕｄｉｏ＞エレメント５２２に適用すれば、メディアデータ（「ｓｒｃ」フィールドの値の変化により示される）が４４ｋＨｚ、ＭＰ３フォーマットから８ｋＨｚ、ＷＡＶフォーマットに変更された＜ａｕｄｉｏ＞エレメント５３４に変換する。例示的規則Ｒ３は、ＳＭＩＬ複合データにおけるテキストメディアオブジェクトの複合データを変換する。例示的規則Ｒ３  ６３０には、テキストの言語が、それに合致する何らかのソースから得られたと考えられる「＄ｔａｒｇｅｔＬａｎｇｕａｇｅ」変数により特定されるような所望の言語であるか否かを判断する条件６３２が含まれる。ソース言語がターゲット言語と一致しない場合、図６Ｃの規則Ｒ７  ６８６等の「ＴｒａｎｓｌａｔｅＴｅｘｔ」変換規則を呼び出して、テキストを所望のターゲット言語に変換する。この規則を図５Ａに示す＜ｔｅｘｔ＞エレメント５２４に適用して、図５Ｂの＜ｔｅｘｔ＞エレメント５３６で示す言語に翻訳することができる。
【００４０】
図７は、本明細書で説明する変換及び適合方法の一実施形態を実行する環境を示す。本明細書で開示する方法は、ソフトウェア、ハードウェア、あるいはファームウェア等のソフトウェアとハードウェアの組合せにより実行することができる。例えば、マルチメディアソース７１０〜サーバコンピュータ７２０等、１以上のマルチメディアソースにより、メディアデータを生成、オーサリング、他の方法での利用が可能となる。種々の実施形態において、メディアソースは、放送電波を介して通信される、あるいは、インターネットや他の同様のネットワーク７５０等の広域ネットワークにより放送されるデジタルテレビ放送、ライブビデオの供給、株式相場表示器、オーディオ放送等のうちの１以上である。一実施形態において、本明細書で説明する方法は、サーバコンピュータ７２０等のコンピュータにて実行することができる。一実施形態において、サーバコンピュータ７２０は、プロセッサ７２２とメモリ７２４とを備えている。一実施形態において、本明細書で説明する方法の種々の実施形態を実行するソフトウェアを、プロセッサ７２２で実行してもよい。プロセッサ７２２は、例えば、インテル社（カリフォルニア州サンタクララ）製のＩｎｔｅｌ（登録商標）Ｐｅｎｔｉｕｍ（登録商標）４プロセッサ等、いずれのコンピュータプロセッサ又はマイクロプロセッサでもよく、メモリ７２４は、いずれのランダムアクセスメモリ（ＲＡＭ）でもよい。ネットワークインタフェース７３６は、ネットワーク７５０、例えば、ローカルエリアネットワーク（ＬＡＮ）を介した、又は、既知の無線規格等を介したインターネット等の広域ネットワーク（ＷＡＮ）を介した通信を可能にするアナログモデム、ケーブルモデム、デジタルモデム、ネットワークインタフェースカード、あるいは、他のネットワークインタフェースコントローラであればよい。
【００４１】
一実施形態において、ソフトウェアプログラム形式のコンピュータインストラクションを記憶装置７２６に記憶してもよい。記憶装置７２６はハードディスクドライブであってもよい。本明細書で説明する方法を実行するソフトウェアを、一実施形態において変換ソフトウェア７２８と呼ぶ。このコンピュータソフトウェアは、ネットワークインタフェース７３６を介し、ネットワーク７５０又は他のＷＡＮ又はＬＡＮを介して、サーバコンピュータ７２０にダウンロードすることができ、メモリ７２４及び／又は記憶装置７２６に記憶することができる。種々の実施形態において、記憶装置７２６は、ハードディスクドライブやフロッピー（登録商標）ディスクドライブ等の磁気記憶装置、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）や読み出し書き込み可能コンパクトディスク（ＣＤ−ＲＷ）装置等の光記憶装置、読み出し書き込み可能ＤＶＤ装置、ＲＡＭ、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ装置、スティックメモリ装置、電気的消去再書き込み可能読み出し専用メモリ（ＥＥＰＲＯＭ）、他のシリコン装置等、機械読み出し可能な媒体であればいずれのものでもよい。種々の実施形態において、記憶装置７２６等、１以上の機械読み出し可能媒体をローカルに接続するか、ネットワークを含む遠隔ソースからの電気的、光学的、無線、音波、その他の手段により利用可能としてもよい。
【００４２】
一実施形態において、プロセッサ７２２、メモリ７２４、記憶装置７２６、ＵＳＢコントローラ７３０、ネットワークインタフェース７３６はそれぞれバス７４０に接続される。バス７４０により、これらの各装置は相互に通信を行うことができる。種々の実施形態において、２以上のバスをサーバコンピュータ７２０に備えてもよい。また、種々の実施形態において、サーバコンピュータ７２０の構成部のうちの２以上を、サーバコンピュータ７２０に備えてもよい。サーバコンピュータ７２０が、マイクロソフト社（ワシントン州レドモンド）製のＭｉｃｒｏｓｏｆｔ（登録商標）Ｗｉｎｄｏｗｓ（登録商標）ＸＰＰｒｏｆｅｓｓｉｏｎａｌ等のオペレーティングシステムを備えることは、よく知られている。
【００４３】
一実施形態において、サーバコンピュータ７２０は、クラスタ、グループ、ローカルエリアネットワーク（ＬＡＮ）、サブネットワークとして構成された２以上のコンピュータ、あるいは多数のコンピュータからなる他の構成により実現することができる。また、多数のコンピュータにより構成する場合、サーバコンピュータグループは、ルータ、ハブ、ファイアウォール、他のネットワーキングデバイスを備えてもよい。この実施形態では、グループは、例えば、グラフィックサーバ、オーディオサーバ、トランザクションサーバ、アプリケーションサーバ等、多数の特殊化サーバにより構成されてもよい。一実施形態において、サーバコンピュータ７２０は、ネットワーク７５０又は直接接続を介して、トランザクション処理、及び／又は、他の情報や処理補助を１以上の第三者（図示せず）に依頼してもよい。
【００４４】
一実施形態において、パーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、演算タブレット、ポータブルコンピュータ等、送信先装置７６０として示されるターゲット演算装置のユーザは、ネットワーク７５０を介してサーバコンピュータ７２０と通信を行うことにより、マルチメディアソース７１０等の遠隔ソースから発信するマルチメディアデータを取得することができる。一実施形態において、送信先装置７６０は、サーバコンピュータ７２０と同様の構成を有していてもよい。また、ターゲット装置は、種々の実施形態において、ターゲット装置のユーザがビデオ、グラフィック及び／又はテキスト等の情報を見たり、種々の品質のオーディオを聞いたりするのを可能にするビデオ表示装置及び／又はオーディオ出力装置を備える。これらの視聴はターゲット装置のビデオ表示装置やオーディオ装置の能力によって異なる。また、ターゲット装置は、キーボード、キーパッド、タッチスクリーン、マウス、ペン等のユーザ入力装置を備えてもよい。
【００４５】
一実施形態において、サーバコンピュータ７２０は、マルチメディアプレゼンテーションデータを取得し、本明細書で説明する方法によりマルチメディアプレゼンテーションの複合、記述及び／又はメディアデータの変換及び適合を行った後、ローカルデバイス７７０に転送する。ローカルデバイスは、電子的、光学的、無線、音波、あるいは、例えば、ＵＳＢコントローラ７３０を介したユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４（より一般的にはＩ．Ｌｉｎｋ（登録商標）及びＦｉｒｅｗｉｒｅ（登録商標）として知られる）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、既知の通信規格による手段を介して、変換されたマルチメディアプレゼンテーションとメディアデータを受信することが可能な携帯電話、ＰＤＡ、ＭＰ３プレーヤ、携帯型ビデオプレーヤ、ポータブルコンピュータ等であってもよい。サーバ７２０とローカルデバイスとの通信は、移動装置用のＨＴＭＬ，ＩＥＥＥ８０２．１１、Ｗ３ＰＰ及び／又はＷＡＰプロトコルや、マルチメディアプレゼンテーションを要求するための他の既知の通信プロトコルに準拠する。
【００４６】
上述の説明において、具体的な実施形態を参照して本発明を説明した。添付の特許請求の範囲に記載される本発明の広い主旨から逸脱しない範囲で、種々の修正や変更を加えることができることは明らかである。従って、本明細書及び図面は、限定的な意味ではなく例示的に解釈されるべきである。
【図面の簡単な説明】
【００４７】
【図１】本明細書で説明する変換方法の概念図である。
【図２Ａ】本明細書で説明する変換方法の一実施形態により行われる動作のフローチャートである。
【図２Ｂ】本明細書で説明する変換方法の一実施形態により行われる動作のフローチャートである。
【図３】本明細書で説明する方法による適合プロセスの一実施例を示す図である。
【図４】本明細書で説明する適合変換方法の具体例を示す図である。
【図５Ａ】ソースマルチメディアプレゼンテーションデータの例を示す図である。
【図５Ｂ】ターゲットマルチメディアプレゼンテーションデータの例を示す図である。
【図６Ａ】変換規則の例を示す図である。
【図６Ｂ】変換規則の例を示す図である。
【図６Ｃ】変換規則の例を示す図である。
【図７】本明細書で説明する変換及び適合方法の一実施形態を実施する環境を示す図である。
【図１】
2005513831.tif 000003
【図２Ａ】
2005513831.tif 000004
【図２Ｂ】
2005513831.tif 000005
【図３】
2005513831.tif 000006
【図４】
2005513831.tif 000007
【図５Ａ】
2005513831.tif 000008
【図５Ｂ】
2005513831.tif 000009
【図６Ａ】
2005513831.tif 000010
【図６Ｂ】
2005513831.tif 000011
【図６Ｃ】
2005513831.tif 000012
【図７】
2005513831.tif 000013
【国際調査報告】
2005513831.tif 000014
2005513831.tif 000015