(57)【要約】【課題】様々な伝送容量の伝送路において画像信号を効率よく伝送する。【解決手段】マルチメディアコンテンツサーバ１０１は、所定のビットレートにおける符号化パラメータのリストを保持し、送信する際の伝送容量に応じて、符号化パラメータのリストに基づき、伝送時のビットストリームの符号化パラメータを決定する。求められた符号化パラメータに基づき、ビットストリームを変換し、伝送路に送信する。【選択図】図４
2010011511.tif 000002
【特許請求の範囲】
【請求項１】
入力フォーマットでエンコードされた第１のビットストリームを出力フォーマットでエンコードされた第２のビットストリームにトランスコードするデータ変換装置において、
上記第１のビットストリームをトランスコードする際に利用する符号化パラメータを含むコンテンツ情報を生成する生成手段と、
上記生成手段により生成されたコンテンツ情報、および、上記第２のビットストリームを受信するクライアントの処理能力を示すクライアント情報を取得する取得手段と、
上記取得手段により取得された上記コンテンツ情報および上記クライアント情報に基づいて、上記出力フォーマット及びトランスコーディングの方法を示すトランスコーディングタイプ情報を生成する制御手段と、
上記制御手段により生成された上記トランスコーディングタイプ情報を利用して、上記第１のビットストリームを上記第２のビットストリームにトランスコードする変換手段と
を有するデータ変換装置。
【請求項２】
上記変換手段は、
上記第１のビットストリームをデコードして画像データを生成し、上記第１のビットストリームをデコードする際にデコードされた符号化パラメータを伝送するデコーダと、
上記制御手段により生成された上記トランスコーディングタイプ情報と上記デコーダにより伝送された符号化パラメータとを利用して、上記デコーダによりデコードされた画像データをエンコードするエンコーダと
を有する請求項１に記載のデータ変換装置。
【請求項３】
上記生成手段により生成された上記コンテンツ情報と上記第１のビットストリームとを記憶する記憶手段を更に有し、
上記変換手段は、上記取得手段により取得された上記第１のビットストリームを上記第２のビットストリームにトランスコードする
請求項１に記載のデータ変換装置。
【請求項４】
上記コンテンツ情報は、トランスコードを行う際のヒントとなるヒント情報を含む
請求項１に記載のデータ変換装置。
【請求項５】
上記コンテンツ情報は、上記ヒント情報を識別する識別情報を含む
請求項４に記載のデータ変換装置。
【請求項６】
上記ヒント情報は、イントラ符号化する際の難易度を示すイントラ符号化難易度情報と動き補償を行う際の難易度を示す動き補償難易度情報とを含む
請求項４に記載のデータ変換装置。
【請求項７】
上記ヒント情報は、ビットレートにおける画質を示す画質情報を含む
請求項６に記載のデータ変換装置。
【請求項８】
上記動き補償難易度情報は、動き補償における動き量の垂直方向の最大変化量と示す垂直情報と、動き補償における動き量の水平方向の最大変化量と示す水平情報とを含む
請求項６に記載のデータ変換装置。
【請求項９】
上記イントラ符号化難易度情報は、上記符号化難易度の算出方法を示す符号化難易度タイプ情報を含む
請求項６に記載のデータ変換装置。
【請求項１０】
入力フォーマットでエンコードされた第１のビットストリームを出力フォーマットでエンコードされた第２のビットストリームにトランスコードするデータ変換装置のデータ変換方法において、
生成手段が、上記第１のビットストリームをトランスコードする際に利用する符号化パラメータを含むコンテンツ情報を生成し、
取得手段が、生成されたコンテンツ情報、および、上記第２のビットストリームを受信するクライアントの処理能力を示すクライアント情報を取得し、
制御手段が、取得された上記コンテンツ情報および上記クライアント情報に基づいて、上記出力フォーマット及びトランスコーディングの方法を示すトランスコーディングタイプ情報を生成し、
変換手段が、生成された上記トランスコーディングタイプ情報を利用して、上記第１のビットストリームを上記第２のビットストリームにトランスコードする
データ変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ変換装置および方法に関し、特に、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システムなど、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合や、動画像信号を編集し記録する場合などに用いて好適なデータ変換装置および方法に関する。
【背景技術】
【０００２】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【０００３】
動画像の高能率符号化方式の代表的なものとして、蓄積用動画像符号化方式としてのMPEG（Moving Picture Expert Group）方式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され、標準案として提案されたものであり、動き補償予測符号化とＤＣＴ（Discrete Cosine Transform）符号化を組み合わせたハイブリッド方式が採用されている。
【０００４】
MPEGでは様々なアプリケーションや機能に対応するために、いくつかのプロファイルおよびレベルが定義されている。最も基本となるのが、メインプロファイル メインレベル（MP＠ML）である。
【０００５】
図１を参照して、MPEG方式の MP＠ML（メインプロファイル＠メインレベル） のエンコーダの構成例について説明する。
【０００６】
入力画像信号はまずフレームメモリ群１に入力され、所定の順番で符号化される。
【０００７】
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路２に入力される。動きベクトル検出回路２は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，…Ｂ，Ｐとして処理される）。
【０００８】
動きベクトル検出回路２は予め定められた所定の参照フレームを参照し、動き補償を行い、その動きベクトルを検出する。動き補償（フレーム間予測）には前方予測、後方予測、両方向予測の３種類のモードがある。Ｐピクチャの予測モードは前方予測のみであり Ｂピクチャの予測モードは前方予測、後方予測、両方向予測の３種類である。動きベクトル検出回路２は予測誤差を最小にする予測モードを選択し、その際の予測モードを発生する。
【０００９】
この際、予測誤差は例えば、符号化するマクロブロックの分散と比較され、マクロブロックの分散の方が小さい場合、そのマクロブロックでは予測は行わず、フレーム内符号化が行われる。この場合、予測モードは画像内符号化（イントラ）となる。動きベクトルおよび上記予測モードは可変長符号化回路６および動き補償回路１２に入力される。
【００１０】
動き補償回路１２では所定の動きベクトルに基づいて予測画像を生成し、演算回路３に入力する。演算回路３は、符号化するマクロブロックの値と予測画像の値の差分信号を DCT 回路４に出力する。イントラマクロブロックの場合、演算回路３は、符号化するマクロブロックの信号をそのまま DCT 回路４に出力する。
【００１１】
DCT 回路４は、入力されたデータを DCT（離散コサイン変換）処理し、
DCT 係数に変換する。このＤＣＴ係数は、量子化回路５に入力され、送信バッファ７のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路６に入力される。
【００１２】
可変長符号化回路６は、量子化回路５より供給される量子化ステップ（スケール）に対応して、量子化回路５より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ７に出力する。
【００１３】
可変長符号化回路６にはまた、量子化回路５より量子化ステップ（スケール）、動きベクトル検出回路２より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、および動きベクトル、が入力されており、これらも可変長符号化される。
【００１４】
送信バッファ７は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５に出力する。
【００１５】
送信バッファ７は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ７は、量子化制御信号によって量子化回路５の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ７のオーバフローまたはアンダフローが防止される。
【００１６】
そして、送信バッファ７に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力される。
【００１７】
一方、量子化回路５より出力されたデータは、逆量子化回路８に入力され、量子化回路５より供給される量子化ステップに対応して逆量子化される。逆量子化回路８の出力は、ＩＤＣＴ（逆ＤＣＴ）回路９に入力され、逆ＤＣＴ処理された後、演算器１０を介してフレームメモリ群１１に記憶される。
【００１８】
次に、図２を用いて、MPEG の MP＠ML のデコーダの構成例を説明する。伝送路を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ３１に一時記憶された後、可変長復号回路３２に供給される。可変長復号回路３２は、受信バッファ３１より供給されたデータを可変長復号し、動きベクトル、予測モードを動き補償回路３７に、また、量子化ステップを逆量子化回路３３に、それぞれ出力するとともに、復号された画像データを逆量子化回路３３に出力する。
【００１９】
逆量子化回路３３は、可変長復号回路３２より供給された画像データを、同じく可変長復号回路３２より供給された量子化ステップに従って逆量子化し、逆ＤＣＴ回路３４に出力する。逆量子化回路３３より出力されたデータ（ＤＣＴ係数）は、逆ＤＣＴ回路３４で、逆ＤＣＴ処理され、演算器３５に供給される。
【００２０】
逆ＤＣＴ回路３４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器３５より出力され、演算器３５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ群３６に供給されて記憶される。また、このデータは、そのまま、再生画像として外部に出力される。
【００２１】
入力ビットストリームがＰまたはＢピクチャの場合、動き補償回路３７は可変長復号回路３２より供給される、動きベクトルおよび予測モードに従って、予測画像を生成し、演算器３５に出力する。演算器３５は 逆ＤＣＴ回路３４より入力される画像データと、動き補償回路３７より供給される予測画像データを加算し、出力画像とする。またＰピクチャの場合、演算器３５の出力は、フレームメモリ群３６に入力されて記憶され、次に復号する画像信号の参照画像とされる。
【００２２】
MPEG では MP＠ML の他に、様々なプロファイルおよびレベルが定義され、また各種ツールが用意されている。スケーラビリティも、MPEGのこうしたツールの１つである。
【００２３】
MPEGでは、異なる画像サイズやフレームレートに対応する、スケーラビリティを実現するスケーラブル符号化方式が導入されている。例えば空間スケーラビリティの場合、下位レイヤのビットストリームのみを復号する場合、画像サイズの小さい画像信号を復号し、下位レイヤおよび上位レイヤのビットストリームを復号する場合、画像サイズの大きい画像信号を復号する。
【００２４】
図３を用いて空間スケーラビリティのエンコーダを説明する。空間スケーラビリティの場合、下位レイヤは画像サイズの小さい画像信号、また上位レイヤは画像サイズの大きい画像信号に対応する。
【００２５】
下位レイヤの画像信号はまずフレームメモリ群１に入力され、MP＠ML と同様に符号化される。ただし、演算器１０の出力はフレームメモリ群１１に供給され、下位レイヤの予測参照画像として用いられるだけでなく、画像拡大回路４１により上位レイヤの画像サイズと同一の画像サイズに拡大された後、上位レイヤの予測参照画像にも用いられる。
【００２６】
上位レイヤの画像信号はまず、フレームメモリ群５１に入力される。動きベクトル検出回路５２は MP＠ML と同様に、動きベクトルおよび予測モードを決定する。
【００２７】
動き補償回路６２は動きベクトル検出回路５２によって決定された動きベクトルおよび予測モードに従って、予測画像を生成し、重み付加回路４４に出力する。重み付加回路４４では予測画像に対して重み（係数） W を乗算し、演算器４３に出力する。
【００２８】
演算器１０の出力は上記のとおり、フレームメモリ群１１および画像拡大回路４１に入力される。画像拡大回路４１では演算器１０によって生成された画像信号を拡大して上位レイヤの画像サイズと同一の大きさにして重み付加回路４２に出力する。重み付加回路４２では、画像拡大回路４１の出力に、重み (1-W) を乗算し、演算器４３に出力する。
【００２９】
演算器４３は重み付加回路４２および４４の出力を加算し、予測画像として演算器５３に出力する。演算器４３の出力はまた演算器６０に入力され、逆DCT回路５９の出力と加算された後、フレームメモリ群６１に入力され、この後符号化される画像信号の予測参照フレームとして用いられる。
【００３０】
演算器５３は符号化する画像信号と、演算器４３の出力との差分を計算し、出力する。ただし、フレーム内符号化マクロブロックの場合、演算器５３は符号化する画像信号をそのまま DCT回路５４に出力する。
【００３１】
DCT回路５４は演算器５３の出力を DCT（離散コサイン変換）処理し、DCT係数を生成し、量子化回路５５に出力する。量子化回路５５では MP＠ML の場合と同様に、送信バッファ５７のデータ蓄積量などから決定された量子化スケールにしたがって DCT 係数を量子化し、可変長符号化回路５６に出力する。可変長符号化回路５６は、量子化された DCT 係数を可変長符号化した後、送信バッファ５７を介して上位レイヤのビットストリームとして出力する。
【００３２】
量子化回路５５の出力はまた、量子化回路５５で用いた量子化スケールで逆量子化回路５８により逆量子化され、逆DCT回路５９で逆DCTされた後、演算器６０に入力される。演算器６０は、演算器４３と逆DCT回路５９の出力を加算し、フレームメモリ群６１に入力する。
【００３３】
可変長符号化回路５６ではまた、動きベクトル検出回路５２で検出された動きベクトルおよび予測モード、量子化回路５５で用いた量子化スケール、重み付加回路４２および４４で用いた重み W が入力され、それぞれ符号化され、伝送される。
【発明の概要】
【発明が解決しようとする課題】
【００３４】
これまでの動画像符号化装置および復号装置は、それぞれが１対１に対応することが前提となっていた。例えば、テレビ会議システムにおいては、送信側と受信側は常に１対１であり、また送信端末と受信端末の処理能力や仕様などは、予め定められていた。さらに、DVDなどの蓄積メディアでは、復号装置の仕様、処理能力などは、予め厳密に決められており、符号化装置は、その仕様を満たす復号装置のみを前提として動画像信号の符号化を行う。したがって、符号化装置では、予め決められた仕様の復号装置で最適な画質が得られるように画像信号を符号化すれば、常に最適な画質で画像を伝送することが可能であった。
【００３５】
しかしながら、例えばインターネットなどのように、伝送容量が一定でなく、時間や経路により伝送容量が変化するような伝送路へ動画像を送信する場合、また不特定多数の端末が接続されていて、受信端末の仕様が予め決められておらず、様々な処理能力をもつ受信端末に向けて動画像を送信する場合、最適な画質を知ること自体が困難であり、効率よく動画像を送信することが困難である。
【００３６】
さらに、端末の仕様が一意でないため、符号化装置と復号装置の符号化方式が異なる場合もあり、その場合には符号化ビットストリームを効率よく所定のフォーマットへ変換する必要があるが、最適な変換方法は未だ確立していない。
【００３７】
本発明はこのような状況に鑑みてなされたものであり、様々な伝送容量をもつ伝送路を介して画像信号を効率よく伝送することができるようにするとともに、様々な処理能力をもつ受信端末に対して最適な動画像を伝送することができるようにするものである。
【課題を解決するための手段】
【００３８】
本発明のデータ変換装置は、入力フォーマットでエンコードされた第１のビットストリームを出力フォーマットでエンコードされた第２のビットストリームにトランスコードするデータ変換装置において、上記第１のビットストリームをトランスコードする際に利用する符号化パラメータを含むコンテンツ情報を生成する生成手段と、上記生成手段により生成されたコンテンツ情報、および、上記第２のビットストリームを受信するクライアントの処理能力を示すクライアント情報を取得する取得手段と、上記取得手段により取得された上記コンテンツ情報および上記クライアント情報に基づいて、上記出力フォーマット及びトランスコーディングの方法を示すトランスコーディングタイプ情報を生成する制御手段と、上記制御手段により生成された上記トランスコーディングタイプ情報を利用して、上記第１のビットストリームを上記第２のビットストリームにトランスコードする変換手段とを有することを特徴とする。
【００３９】
上記変換手段は、上記第１のビットストリームをデコードして画像データを生成し、上記第１のビットストリームをデコードする際にデコードされた符号化パラメータを伝送するデコーダと、上記制御手段により生成された上記トランスコーディングタイプ情報と上記デコーダにより伝送された符号化パラメータとを利用して、上記デコーダによりデコードされた画像データをエンコードするエンコーダとを有することができる。
【００４０】
上記生成手段により生成された上記コンテンツ情報と上記第１のビットストリームとを記憶する記憶手段を更に有し、上記変換手段は、上記取得手段により取得された上記第１のビットストリームを上記第２のビットストリームにトランスコードすることができる。
【００４１】
上記コンテンツ情報は、トランスコードを行う際のヒントとなるヒント情報を含むようにすることができる。
【００４２】
上記コンテンツ情報は、上記ヒント情報を識別する識別情報を含むようにすることができる。
【００４３】
上記ヒント情報は、イントラ符号化する際の難易度を示すイントラ符号化難易度情報と動き補償を行う際の難易度を示す動き補償難易度情報とを含むようにすることができる。
【００４４】
上記ヒント情報は、ビットレートにおける画質を示す画質情報を含むようにすることができる。
【００４５】
上記動き補償難易度情報は、動き補償における動き量の垂直方向の最大変化量と示す垂直情報と、動き補償における動き量の水平方向の最大変化量と示す水平情報とを含むようにすることができる。
【００４６】
上記イントラ符号化難易度情報は、上記符号化難易度の算出方法を示す符号化難易度タイプ情報を含むようにすることができる。
【００４７】
本発明のデータ変換方法は、入力フォーマットでエンコードされた第１のビットストリームを出力フォーマットでエンコードされた第２のビットストリームにトランスコードするデータ変換装置のデータ変換方法であって、上記データ変換装置の生成手段が、上記第１のビットストリームをトランスコードする際に利用する符号化パラメータを含むコンテンツ情報を生成し、上記データ変換装置の取得手段が、生成されたコンテンツ情報、および、上記第２のビットストリームを受信するクライアントの処理能力を示すクライアント情報を取得し、上記データ変換装置の制御手段が、取得された上記コンテンツ情報および上記クライアント情報に基づいて、上記出力フォーマット及びトランスコーディングの方法を示すトランスコーディングタイプ情報を生成し、上記データ変換装置の変換手段が、生成された上記トランスコーディングタイプ情報を利用して、上記第１のビットストリームを上記第２のビットストリームにトランスコードするデータ変換方法。
【００４８】
本発明のデータ変換装置および方法においては、第１のビットストリームをトランスコードする際に利用する符号化パラメータを含むコンテンツ情報が生成され、生成されたコンテンツ情報、および、第２のビットストリームを受信するクライアントの処理能力を示すクライアント情報が取得され、取得されたコンテンツ情報およびクライアント情報に基づいて、出力フォーマット及びトランスコーディングの方法を示すトランスコーディングタイプ情報が生成され、生成されたトランスコーディングタイプ情報を利用して、第１のビットストリームが第２のビットストリームにトランスコードされる。
【発明の効果】
【００４９】
本発明のデータ変換装置および方法によれば、様々な伝送容量をもつ伝送路へのコンテンツの効率よい伝送、および様々な処理能力をもつ他の装置への最適なコンテンツの伝送が可能になる。また、コンテンツを所定の別形式に変換する場合には、コンテンツ情報信号を参照することで、最適な画質が得られるように形式変換を行うことが可能となる。さらに、再生を行う端末に最適な画質となるように形式変換を行うことも可能となる。
【図面の簡単な説明】
【００５０】
【図１】従来のMPEGのエンコーダの構成を示すブロック図である。
【図２】従来のMPEGのデコーダの構成を示すブロック図である。
【図３】従来のMPEGの他のエンコーダの構成を示すブロック図である。
【図４】本発明が適用されるシステムの構成を示すブロック図である。
【図５】図４のマルチメディアコンテンツサーバの構成を示すブロック図である。
【図６】図４のデータアクセスサーバの構成を示すブロック図である。
【図７】図６のトランスコーディング装置の構成を示すブロック図である。
【図８】トランスコーディングを説明する図である。
【図９】トランスコーディングを説明する図である。
【図１０】図４のマルチメディアコンテンツサーバの記録を説明する図である。
【図１１】図１０の符号化難易度解析回路の構成を示すブロック図である。
【図１２】コンテンツ情報信号の構成を説明する図である。
【図１３】トランスコーディングヒント記述子の構造を説明する図である。
【図１４】メディアインフォメーション記述子の構造を説明する図である。
【図１５】セグメント記述子の構造を説明する図である。
【図１６】MPEG−７の全体の構造を説明する図である。
【図１７】図１０の符号化難易度解析回路の他の構成例を示すブロック図である。
【図１８】図１７のコンテンツ情報信号発生回路の動作を説明するフローチャートである。
【図１９】MediaTranscodingHint記述子の構造を説明する図である。
【図２０】DifficultyTypeを説明する図である。
【図２１】MediaTranscodingHints記述子の構造を説明する図である。
【図２２】MediaInformation記述子の構造を説明する図である。
【図２３】ビデオデータとSegment記述子の関係を説明する図である。
【図２４】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００５１】
（第１の実施の形態）
図４に本発明の第１の実施の形態の構成を示す。
【００５２】
マルチメディアコンテンツサーバ１０１は、動画像などを含むマルチメディアコンテンツを、ハードディスクなどの蓄積メディア（例えば、後述する図５のコンテンツ記録装置１１２）に記録し保持する。マルチメディアコンテンツは、例えば、非圧縮で、または、MPEG-1，MPEG-2，またはMPEG-4（以下、これをMPEG-1/2/4のように略記する） などの圧縮ビットストリーム形式で記録される。
【００５３】
受信端末（クライアント）１０３はマルチメディアコンテンツを要求し、受信し、表示する端末である。ユーザは受信端末１０３を用いてコンテンツを取得する。受信端末１０３は、所定のコンテンツを要求するコンテンツ要求信号１、並びに自身の端末の処理能力、例えばメモリサイズ、画像表示装置の解像度、演算能力、バッファサイズ、復号可能なビットストリームのフォーマット、などを示すクライアント情報信号を送信する。
【００５４】
コンテンツ要求信号１は、例えば映画のタイトルなど、要求するコンテンツの意味的な内容を含む情報であり、MPEG-7 符号化方式により符号化されている。
【００５５】
データアクセスサーバ１０２は、ネットワークまたは所定の伝送路を介して受信端末１０３よりコンテンツ要求信号１およびクライアント情報信号を受信する。データアクセスサーバ１０２は、コンテンツ要求信号１に基づき要求されたコンテンツの情報を要求するコンテンツ情報要求信号を、ネットワークまたは所定の伝送路を介してマルチメディアコンテンツサーバ１０１に送信する。
【００５６】
マルチメディアコンテンツサーバ１０１には、マルチメディアコンテンツおよび記録されているマルチメディアコンテンツの情報が、内蔵する蓄積メディアに記録されている。マルチメディアコンテンツサーバ１０１は、コンテンツ情報要求信号を受信すると、それに基づき、所定のコンテンツ情報信号を、データアクセスサーバ１０２に送信する。
【００５７】
コンテンツ情報信号は、マルチメディアコンテンツサーバ１０１に記録されているマルチメディアコンテンツの情報を示す信号であり、例えば、ファイル名、コンテンツのタイトル、著者、出演者などの情報を含む。コンテンツ情報信号は、意味的情報および物理的情報の双方を含み、例えば MPEG-7 方式で符号化される。物理的情報とは、例えば、蓄積メディアに記録されている際のファイル名や、ビットストリーム中の所定の位置を示すポインタなどである。意味的情報とは、例えば、コンテンツのタイトルや出演者などである。
【００５８】
データアクセスサーバ１０２は、コンテンツ情報信号、コンテンツ要求信号１、およびクライアント情報信号より、所定のコンテンツを確定し、そのコンテンツを要求するコンテンツ要求信号２を、マルチメディアコンテンツサーバ１０１に送信する。
【００５９】
コンテンツ要求信号２は、例えばファイル名を含む。コンテンツ要求信号２は物理的な情報であり、例えばファイル名やビットストリーム中の所定の位置を示すポインタである。コンテンツ要求信号２は、例えば MPEG-7 により符号化されている。
【００６０】
マルチメディアコンテンツサーバ１０１は、コンテンツ要求信号２により要求されたマルチメディア（MM）コンテンツをデータアクセスサーバ１０２に送信する。
【００６１】
データアクセスサーバ１０２は、コンテンツ情報信号およびマルチメディアコンテンツを、マルチメディアコンテンツサーバ１０１より受信する。データアクセスサーバ１０２は、クライアント情報信号およびコンテンツ情報信号に基づき、マルチメディアコンテンツを最適な形式に変換（Transcode（トランスコード））する。データアクセスサーバ１０２は、変換したマルチメディアコンテンツを受信端末１０３に送信する。
【００６２】
図４においては、データアクセスサーバ１０２と受信端末１０３、およびデータアクセスサーバ１０２とマルチメディアコンテンツサーバ１０１は、それぞれ伝送路により隔てられ、独立して記載されているが、それぞれが同一の端末内に実装されていても構わない。例えば、マルチメディアコンテンツサーバ１０１、データアクセスサーバ１０２、受信端末１０３のすべてが同一端末内にあっても構わないし、またマルチメディアコンテンツサーバ１０１およびデータアクセスサーバ１０２が同一端末内にあり、受信端末１０３がネットワークを介して隔てられた別の端末になっていても良い。同様に、マルチメディアコンテンツサーバ１０１がネットワークを介して隔てられた別の端末で、データアクセスサーバ１０２と受信端末１０３が同一端末となっていてもよい。以下、簡単のため、それぞれが独立している場合について説明するが、同一端末内にある場合にも、以下の説明はそのまま適用できる。
【００６３】
図５に、図４におけるマルチメディアコンテンツサーバ１０１の構成例を示す。コンテンツ情報信号、および、その他のコンテンツの情報を記述するメタデータは、メタデータ記録装置１１１に記録される。また動画像を含むマルチメディアコンテンツはコンテンツ記録装置１１２に記録される。
【００６４】
コンテンツ情報信号およびその他コンテンツに関連するメタデータは、意味的および物理的な情報である。意味的情報とは、例えば、映画のタイトルや監督名といった情報である。物理的な情報とは、例えば、ファイル名、URL、ビットストリーム中の所定の位置を示すポインタなどである。こうしたコンテンツ情報信号およびメタデータは、例えば MPEG-7 により符号化され、記録される。
【００６５】
マルチメディアコンテンツそれ自身は、コンテンツ記録装置１１２に、様々なフォーマット、例えば MPEG-1/2/4 などで符号化され、記録される。
【００６６】
データアクセスサーバ１０２より入力されたコンテンツ情報要求信号は、メタデータマネージャ１１３に入力される。メタデータマネージャ１１３は、メタデータ記録装置１１１に記録されるメタデータとコンテンツ情報信号を管理する。メタデータマネージャ１１３は、コンテンツ情報要求信号をメタデータ記録装置１１１に供給する。
【００６７】
メタデータ記録装置１１１は、供給されたコンテンツ情報要求信号に基づき、所定のメタデータまたはコンテンツ情報信号を検索し、メタデータマネージャ１１３に供給する。メタデータマネージャ１１３は、コンテンツ情報信号を、図４におけるデータアクセスサーバ１０２に出力する。
【００６８】
データアクセスサーバ１０２より入力されたコンテンツ要求信号２は、マルチメディアコンテンツマネージャ１１４に入力される。マルチメディアコンテンツマネージャ１１４は、コンテンツ記録装置１１２に記録されているマルチメディアコンテンツの管理を行う。マルチメディアコンテンツマネージャ１１４は、コンテンツ要求信号２をコンテンツ記録装置１１２に供給する。
【００６９】
コンテンツ記録装置１１２は、供給されたコンテンツ要求信号２に基づき、所定のマルチメディア（MM）コンテンツを検索し、マルチメディアコンテンツマネージャ１１４に出力する。マルチメディアコンテンツマネージャ１１４は、マルチメディアコンテンツを図４におけるデータアクセスサーバ１０２に出力する。
【００７０】
図６に、図４におけるデータアクセスサーバ１０２の構成例を示す。データアクセスサーバ１０２は、トランスコーディングマネージャ１２１、トランスコーディング装置１２２、およびトランスコーディングライブラリ１２３から構成される。
【００７１】
図４における受信端末１０３より入力されるクライアント情報信号は、トランスコーディングマネージャ１２１に入力され、また図４におけるマルチメディアコンテンツサーバ１０１より入力されるコンテンツ情報信号は、トランスコーディングマネージャ１２１に入力される。
【００７２】
トランスコーディングマネージャ１２１は、クライアント情報信号、およびコンテンツ情報信号に基づき、マルチメディアコンテンツの出力フォーマットを決定する。トランスコーディングマネージャ１２１は、トランスコーディングタイプ情報をトランスコーディング装置１２２に出力する。トランスコーディングタイプ情報は、マルチメディアコンテンツの出力フォーマット、およびトランスコーディング装置１２２におけるトランスコーディングの方法を示す情報である。
【００７３】
トランスコーディングマネージャ１２１はまた、コンテンツ利用可能情報、およびコンテンツ情報信号を、図４における受信端末１０３に出力する。トランスコーディングマネージャ１２１は、要求されたコンテンツがマルチメディアコンテンツサーバ１０１に無い場合、コンテンツ利用可能情報を "0" にし、また要求されたコンテンツがマルチメディアコンテンツサーバ１０１にある場合、コンテンツ利用可能情報を "1" にセットする。
【００７４】
トランスコーディング装置１２２は、トランスコーディングタイプ情報に基づき、入力されたコンテンツの変換を行う。
【００７５】
トランスコーディング装置１２２は、CPU や DSP などの上で動作するソフトウエアモジュールとして実装することも可能である。この場合、トランスコーディング装置１２２はトランスコーディングタイプ情報に基づき、トランスコーディングライブラリ１２３に記録されている所定のトランスコーディングツールを用いてトランスコーディング（コンテンツの変換）を行う。トランスコーディング装置１２２はトランスコーディングタイプ情報に基づき、ツール要求信号をトランスコーディングライブラリ１２３に出力する。トランスコーディングライブラリ１２３は要求されたソフトウエアモジュール（トランスコーディングツール）をトランスコーディング装置１２２に出力する。トランスコーディング装置１２２はソフトウエアモジュールを実行する際に必要なメモリなどを確保し、そのソフトウエアモジュールを用いてトランスコーディングを行う。
【００７６】
図７を用いてトランスコーディング装置１２２の構成例について説明する。もっとも簡単にトランスコーディング装置１２２を実現する方法は、コンテンツ（ビットストリーム）をデコードした後、所定のフォーマットのエンコーダを用いて再エンコードすることである。
【００７７】
図７におけるトランスコーディング装置１２２では、マルチメディアコンテンツサーバ１０１より供給されたビットストリームは、まずデコーダ１３１に入力され、デコードされる。デコードされた画像信号は、受信端末１０３が受信できるフォーマットのエンコーダ１３２に供給され、符号化される。
【００７８】
デコーダ１３１によりビットストリームを復号する際に復号された符号化パラメータ、例えば、動きベクトル、量子化係数、符号化モードは、エンコーダ１３２に供給され、エンコーダ１３２において画像信号を符号化する際に用いられる。エンコーダ１３２は、デコーダ１３１より供給される符号化パラメータ、およびトランスコーディングマネージャ１２１から供給されるトランスコーディングタイプの情報に基づいて復号画像を符号化し、所定のフォーマットのビットストリームを生成し、出力する。
【００７９】
図８を参照して、トランスコーディング装置１２２がコンテンツ情報信号を用いてトランスコーディングする方法の一例を説明する。
【００８０】
所定のコンテンツを符号化する場合、その画質は、同一ビットレートであっても、画枠サイズ、フレームレートなどによって異なる。図８（B）にその一例を示す。この図は、同一画像を、異なる３つの画枠サイズ、フレームレートで符号化した際の、ビットレート（図８（B）の横軸）と画質（図８（B）の縦軸）の関係を示す図である。ビットレートが十分に高い場合には、画枠が大きく（ITU-R Recommendation601）、フレームレートが高い（30Hz）画像を符号化するとき、最も画質が良くなるが、ビットレートが低くなると、急激に画質が劣化する。
【００８１】
所定のビットレートＲB2以下では、Rec.601の画像サイズを縦横 1/2 （SIF）にし、フレームレートを低く（10Hzに）して符号化した方が画質が良くなる。さらに所定のビットレートＲB1以下では、SIFの画像サイズをさらに縦横 1/2 （QSIF）にして符号化した方が画質が良くなる。しかしながら、各ビットレートでどの画像サイズとフレームレートで符号化すれば画質が最適になるかは、画像の性質に依存する。図８（B）に示すような関係はコンテンツによって異なる。
【００８２】
本実施の形態におけるコンテンツ情報信号は、例えば、各ビットレートにおいて、そのコンテンツを符号化する際に最適な符号化パラメータのリストである。図８（A）にその一例を示す。この場合のコンテンツ情報信号では、ビットレートＲA1以下では、縦横 1/4 サイズの画枠でフレームレート 10 Hz で符号化を行い、ビットレートＲA1以上ＲA2以下では、縦横 1/2 サイズの画枠で符号化を行い、ビットレートＲA2以上では 、Rec 601 サイズ、フレームレート 30 Hz で符号化を行うものとされている。
【００８３】
この場合のコンテンツ情報信号の記述方法の詳細は後述する。
【００８４】
次に図９を参照して、コンテンツ情報信号を用いてトランスコーディング装置１２２が行うトランスコーディング方法の変形例を説明する。所定のマルチメディアコンテンツを送信する伝送路には、ビットレートが時間変動することを許す可変ビットレートの伝送路と、ビットレートが固定の固定ビットレートの伝送路とが存在する。また符号化方式にも、可変ビットレートで符号化することが可能な符号化方式と、固定ビットレートのみでしか符号化することができない符号化方式とが存在する。
【００８５】
例えば、無線伝送路を介したテレビ会議システムや放送などでは、固定ビットレートでビットストリームが符号化される。これに対して、ＤＶＤなどにおいては、可変ビットレートで符号化される。また、符号化方式においては、
MPEG-1 や H.263 は、固定ビットレートでのみ符号化可能であり、MPEG-2 や MPEG-4 では、可変ビットレートで符号化することが可能である。
【００８６】
コンテンツを固定ビットレートまたは可変ビットレートで符号化する場合、可変ビットレートで符号化した方が一般的に画質は良い。コンテンツの符号化効率はその画像の性質に依存する。したがって、コンテンツが異なれば、符号化効率は異なるし、また同一コンテンツでも、時刻により符号化効率は異なる。図９（A）に、符号化難易度の時間的変化の一例を示す。横軸は時刻を表し、縦軸は符号化難易度を表している。符号化難易度が低いシーンでは、低いビットレートで高画質が得られるのに対して、符号化難易度の高いシーンでは、高いビットレートでも十分な画質を得ることが難しい。
【００８７】
図９（B）に、この動画像を固定ビットレートで符号化した場合の、画質の時間的変化を示す。図９（A）と図９（B）を比較して明らかなように、固定ビットレートで符号化する場合、符号化難易度の低いシーンでは画質は良くなるが、符号化難易度の高いシーンにおいては画質がかなり悪くなる。従って、時刻によって画質が大きく変動する。
【００８８】
図９（C）に、図９（A）の動画像を可変ビットレートで符号化した場合の符号化ビットレートの時間的変化を示す。符号化難易度の高いシーンには、より高いビットが割り当てられ、符号化難易度の低いシーンには、比較的少ないビットが割り当てられる。その結果、図９（D）に示されるように画質が変化する。固定ビットレートで符号化する場合（図９(Ｂ)）と比較して、コンテンツ全体の発生ビット量は同一であっても、平均的な画質は可変ビットレートの方が良くなる。また可変ビットレート符号化では、画質の時間的変化がより少なくなる。
【００８９】
しかしながら、効率よく可変ビットレート符号化を行うためには、一度動画像全体の符号化難易度を解析し、図９（A）に示すような特性を予め求めておく必要がある。ある程度大きい容量のバッファをもち、そのバッファが許容する範囲で符号化難易度を計測する方法もあるが、これもあくまで、その容量の範囲内で最適化が行われるだけであって、そのコンテンツ全体で最適化が行われるわけではない。
【００９０】
そこで、このような問題を解決するため、本発明の他の実施の形態では、マルチメディアコンテンツサーバ１０１より出力されるコンテンツ情報信号に、図９（A）に示されるようなコンテンツの符号化難易度情報を記述し、トランスコーディング装置１２２は、固定ビットレートで符号化されたビットストリームを、この符号化難易度情報を用いて可変ビットレートで符号化して出力する。
【００９１】
すなわち、図７の実施の形態のトランスコーディング装置１２２においては、エンコーダ１３２はマルチメディアコンテンツサーバ１０１より供給されるコンテンツ情報信号に基づき、ビットストリームを符号化し、ビットストリームを出力していた。
【００９２】
これに対して図１０に示される実施の形態においては、図４におけるマルチメディアコンテンツサーバ１０１に所定のマルチメディアコンテンツを記録する場合、外部より、マルチメディアコンテンツサーバ１０１にビットストリームが供給されると、それは、まず符号化難易度解析回路１４１に入力される。本実施の形態ではビットストリームが入力されるが、圧縮されていない動画像を直接入力しても構わない。
【００９３】
符号化難易度解析回路１４１はコンテンツの符号化難易度を解析し、図９（A）に示すような符号化難易度の特性を得、コンテンツ情報信号として、メタデータ記録装置１１１に出力するとともに、入力されたコンテンツのビットストリームをコンテンツ記録装置１１２に出力する。
【００９４】
図１１に符号化難易度解析回路１４１の構成例を示す。図１１（A）の例では、入力されたビットストリームは、まず構文解析回路（パーサ）１５１に入力され、ビットストリームから符号化パラメータ（量子化係数、ビット量など）が抽出される。ヒントジェネレータ１５２は、この時、各フレームにおける量子化係数の平均値Ｑ、そのフレームでの発生ビット量Ｂを求め、さらに、ＱラＢを、そのフレームでの符号化難易度として求め、コンテンツ情報信号としてメタデータ記録装置１１１に供給し、記録させる。
【００９５】
図１１（B）は、符号化難易度解析回路１４１の変形例を示す。この例では、入力ビットストリームは一度デコーダ１６１で復号される。復号された画像はエンコーダ１６２に入力される。エンコーダ１６２では、固定量子化スケール、例えばＱ＝１で符号化が行われる。Ｑ＝１で符号化した際の各フレームの発生ビット量がそのフレームの符号化難易度となり、コンテンツ情報としてメタデータ記録装置１１１に供給され、記録される。
【００９６】
図１２を参照してコンテンツ情報信号を記述するフォーマットの一例を説明する。図１２の例では、コンテンツ情報信号は、Transcoding を行う際のヒントとなる情報を含む記述子である、図１２（Ａ）に示すTranscodingHintに記述される。図１２（Ａ）の例では、TranscodingHintは、ID、並びにTranscodingParameterSet およびTranscodingComplexityHint の記述子を含む。IDは、記述子を識別する識別番号である。
【００９７】
TranscodingParameterSetは、図１２（Ｂ）に示されるように、各ビットレートにおける符号化、トランスコーディングを行う際に最適な符号化パラメータを記述する記述子であり、ID，MinBitRate，MaxBitRate，FrameRate，FrameSizeにより構成されている。
【００９８】
MinBitRateはこの記述子の情報が有効である最低のビットレートを示すフラグである。
【００９９】
MaxBitRateはこの記述子の情報が有効である最大のビットレートを示すフラグである。
【０１００】
FrameRate は、MinBitrate 以上 MaxBitRate 以下で、その画像を符号化する際に最適な画質を得るフレームレートを示すフラグである。
【０１０１】
FrameSize は、MinBitrate 以上 MaxBitRate 以下で、その画像を符号化する際に最適な画質を得る画枠サイズを示すフラグである。
【０１０２】
TranscodingComplexityHint は、そのコンテンツの符号化、トランスコーディングの難易度を記述する記述子であり、図１２（Ｃ）に示されるように構成される。そのStartMediaLocator は、この記述子の情報が有効であるビットストリームの先頭の位置を示すポインタである。
【０１０３】
EndMediaLocator は、この記述子の情報が有効であるビットストリームの最後の位置を示すポインタである。Complexity は、bitstream 上でStartMediaLocator と
EndMediaLocator の間の部分での符号化難易度を示すフラグである。
【０１０４】
TranscodingComplexityHintは、図１２（Ｄ）に示すように構成することもできる。StartFrameNumber はこの記述子の情報が有効である先頭のフレーム番号を示すポインタである。
【０１０５】
EndFrameNumber はこの記述子の情報が有効である最後のフレーム番号を示すポインタである。
【０１０６】
Complexity は、bitstream 上でStartFrameNumberとEndFrameNumber の間の部分での符号化難易度を示すフラグである。
【０１０７】
図１２（Ａ）に示されるTranscodingHint 記述子のデータ構造を、UML(Universal Modeling Language)で表現すると、図１３に示すようになる。TranscodingHint は、１個以上のTranscodingParameterSetと、１個以上のTranscodingComplexityHintで構成されている。TranscodingParameterSetは０回以上繰り返される。TranscodingComplexityHintも同様に、０回以上繰り返される。
【０１０８】
MPEG-7 はコンテンツに関する情報を記述するメタデータの標準であり、複数の記述子から構成される。MPEG-7 の仕様の詳細は、ISO/IEC SC29/WG11N3112,N3113, N3114 に記述されている。TranscodingHintは記述子は、このMPEG-7のメタデータの一種として構成することができる。
【０１０９】
図１４は、MPEG-7 のMediaInformation記述子 （MediaIdentification記述子, MediaFormat記述子, MediaCoding記述子, MediaTranscodingHint記述子, およびMediaInstance記述子により構成される）に、上記 TranscodingHint を付加して記述する場合のデータ構造の例を示す。MediaInformation記述子 はコンテンツのメディア、例えば符号化方式などを記述する記述子である。TranscodingHint 記述子はこのMediaInformation記述子  に、０または１つ記述される。
【０１１０】
MediaInformation記述子 はコンテンツ全体あるいはコンテンツの一部分に付加される。したがって、この例では、TranscodingHint 記述子もコンテンツ全体あるいはコンテンツの一部に付加される。
【０１１１】
図１５に、MPEG-7 のSegment記述子 に、TranscodingHint記述子 を記述する場合のデータ構造の例を示す。Segment記述子 は、コンテンツを、例えば各シーンなどの複数部分に分割した場合における、それぞれの部分に関する情報を記述する記述子である。この例では、TranscodingHint 記述子は、このVisualSegment記述子 およびAudioSegment記述子 に、０または１つ記述される。
【０１１２】
Segment記述子はコンテンツの一部分に付加される。したがって、この例の場合、
TranscodingHint記述子もコンテンツの一部に付加される。
【０１１３】
図１４に示されるように、MPEG-7 のMediaInformation記述子 に、TranscodingHint 記述子を付加して記述すると、MPEG-7 全体のデータ構造は、図１６に示すようになる。
【０１１４】
（第２の実施の形態）
次に、第２の実施の形態を説明する。第２の実施の形態において、コンテンツ情報信号を構成する符号化難易度は、動き補償の難易度を示す情報と、イントラ符号の難易度を示す情報とから構成することを特徴とする。この２つの情報からも、第１の実施の形態において図９（Ａ）に示すようなコンテンツの所定のシーンの符号化難易度を知ることが可能である。この場合、図１０に示す符号化難易度解析回路１４１は、例えば、図１７に示すように構成される。
【０１１５】
入力ビットストリームは、必要であれば、デコーダ２０１によりデコードされた後、エンコーダ２０２乃至２０５に供給される。エンコーダ２０２は、デコーダ２０１より入力された画像データを、固定量子スケール、例えばＱ＝１で、イントラ符号化のみで符号化処理を行う。Ｑ＝１で符号化した際のフレームの発生ビット量が、その符号化のイントラ符号化難易度となり、コンテンツ情報信号発生回路２０８に供給される。
【０１１６】
エンコーダ２０３は、固定量子化スケールで、例えばＱ＝１，且つｍ＝１で符号化処理(Ｉ,Ｐピクチャのみの符号化処理）を行う。エンコーダ２０４は、固定量子化スケールで、例えばＱ＝１，ｍ＝２で（隣接する２つのＰピクチャの間に１フレームのＢピクチャを挿入して）符号化を行う。エンコーダ２０５は、固定量子化スケールで、例えば、Ｑ１，ｍ＝３で（隣接する２つのＰピクチャの間に２フレームのＢピクチャを挿入して）符号化を行う。
【０１１７】
平均値回路２０６は、エンコーダ２０３乃至２０５の出力の平均値を演算する。この平均値は、動き補償符号化難易度として差分回路２０７に供給される。
【０１１８】
差分回路２０７は、エンコーダ２０２の出力から、平均値回路２０６の出力を減算し、その差分値を、コンテンツ情報信号発生回路２０８に供給する。コンテンツ情報信号発生回路２０８には、不図示の外部装置からセグメント（Segment）の開始時刻と終了時刻が供給されている。コンテンツ情報信号発生回路２０８は、開始時刻と終了時刻で特定されるセグメントのコンテンツ情報信号を、エンコーダ２０２の出力と差分回路２０７の出力から生成し、メタデータ記録装置１１１に供給する。
【０１１９】
次にその動作について説明する。デコーダ２０１は、必要であれば、入力ビットストリームをデコードし、エンコーダ２０２乃至２０５に供給する。エンコーダ２０２は、Ｑ＝１でイントラ符号化のみを実行する。この際の各フレームの発生ビット量は、そのフレームのイントラ符号化難易度を表し、コンテンツ情報信号発生回路２０８と差分回路２０７に供給される。
【０１２０】
なお、このイントラ符号化難易度は、後述するTextureHint記述子（図１９(Ｃ)）に記述される。
【０１２１】
エンコーダ２０３は、Ｑ＝１，ｍ＝１でデコーダ２０１より供給された画像データをエンコードする。エンコーダ２０４は、Ｑ＝１，ｍ＝２でデコーダ２０１より出力された画像データをエンコードし、エンコーダ２０５は、Ｑ＝１，ｍ＝３で、デコーダ２０１からの画像データをエンコードする。エンコーダ２０３乃至２０５は、各フレームの発生ビット量を平均値回路２０６に出力する。
【０１２２】
平均値回路２０６は、エンコーダ２０３乃至２０５より供給された各フレームの発生ビット量の平均値を演算する。この平均値は、動き補償符号化難易度として差分回路２０７に供給される。
【０１２３】
差分回路２０７は、エンコーダ２０２より供給されるイントラ符号化の難易度を表すイントラ符号化難易度から平均値回路２０６より供給される動き補償符号化難易度を減算し、これを動き補償難易度としてコンテンツ情報信号発生回路２０８に供給する。
【０１２４】
なお、この動き補償難易度は、後述するMotionHint記述子（図１９(Ｂ)）に記述される。
【０１２５】
コンテンツ情報信号発生回路２０８は、エンコーダ２０２より供給されたイントラ符号化難易度と、差分回路２０７より供給された動き補償難易度に基づいて、コンテンツ情報信号を生成し、メタデータ記録装置１１１に供給し、記録させる。
【０１２６】
次に、図１８のフローチャートを参照して、このコンテンツ情報信号発生回路２０８が行うコンテンツ情報信号生成処理について説明する。
【０１２７】
最初にステップＳ１において、コンテンツ情報信号発生回路２０８は、開始時刻と終了時刻で指定されるセグメント内の全てのフレームのイントラ符号化難易度の合計を計算する。
【０１２８】
なお、セグメントは、ビデオ信号の時間軸方向の所定の区間を意味し、１つのビデオコンテンツは、１つまたは複数のセグメントから構成される。このセグメントの具体的例については、図２２を参照して後述する。
【０１２９】
次に、ステップＳ２において、コンテンツ情報信号発生回路２０８は、シーケンス全体に渡って、全てのフレームのイントラ符号化難易度の合計値を計算する。
【０１３０】
次にステップＳ３において、コンテンツ情報信号発生回路２０８は、次式に従って正規化処理を実行し、後述するTextureHintのDifficultyを演算する。
【０１３１】
Difficulty＝（そのセグメント内のイントラ符号化難易度の和÷セグメント内のフレーム数）÷（シーケンス全体のイントラ符号化難易度の和÷シーケンス全体のフレーム数）
このDifficultyは、各セグメント毎に求められる。
【０１３２】
次に、ステップＳ４において、コンテンツ情報信号発生回路２０８は、セグメント内の動き補償難易度の合計を計算する。さらにステップＳ５において、シーケンス全体の符号化難易度が計算される。そしてステップＳ６において、コンテンツ情報信号発生回路２０８は、次式に従って、セグメント毎に正規化処理を実行し、後述するMotionHintのMotion_uncompensabilityを演算する。
【０１３３】
Motion_uncompensability＝（セグメント内の動き補償難易度の和÷セグメント内のフレーム数）÷（シーケンス全体の動き補償難易度の和÷シーケンス全体のフレーム数）
このMotion_uncompensabilityも各セグメント毎に求められる。
【０１３４】
次に、ステップＳ７において、コンテンツ情報信号発生回路２０８は、ステップＳ３とステップＳ６の演算結果に基づいて、コンテンツ情報信号としてMediaTranscodingHint記述子を生成する。
【０１３５】
このMediaTranscodingHint記述子は、トランスコーディングを行う際に最適な符号化パラメータを記述する記述子であり、本発明においては、図１９に示すように記述する。
【０１３６】
図１９（Ａ）に示されるように、MediaTranscodingHint記述子は、ID，UtilityScaling()，MotionHint()，およびTextureHint()により構成される。
【０１３７】
UtilityScaling記述子は、コンテンツの各ビットレートにおける画質を記述する記述子である。
【０１３８】
MotionHint記述子は、そのコンテンツの動き補償の難易度を記述する記述子であり、図１９（Ｂ）に示されるように、ID，Motion_uncompensability，Motion_range_x_left，Motion_range_x_right，Motion_range_y_left，Motion_range_y_rightにより構成される。
【０１３９】
フレーム間相関が低い場合、動き補償によって、向上することができる符号化効率はそれほど大きくなく、より多くのビットをフレーム間相関が低い部分に割り当てる必要がある。Motion_uncompensabilityは、０から１の値を取るパラメータである。０は、各フレームが全く同一であることを示し、１はフレーム間相関が全くないことを示す。このMotion_uncompensabilityには、図１７の差分回路２０７が出力する動き補償難易度が記述される。
【０１４０】
Motion_range_x_left，Motion_range_x_rightは、動き補償における動き量の水平方向の最大変化量を表す。同様に、Motion_range_y_left，Motion_range_y_rightは、動き補償における動き量の垂直方向の最大変化量を示す。これらは、動きベクトル検出における水平方向と垂直方向の最大サーチレンジを表すことになる。動きベクトルの最大値を予め指定することにより、トランスコーディングにおける演算量を画質を保持したまま減少させることが可能となる。
【０１４１】
TextureHint記述子は、そのコンテンツの空間方向の圧縮の難易度を記述する記述子であり、図１７のエンコーダ２０２が出力するイントラ符号化難易度が記述される。このTextureHint記述子は、図１９（Ｃ）に示すように、ID，Difficulty，DifficultyTypeにより構成される。
【０１４２】
Difficultyは、そのコンテンツのイントラ符号化難易度を示すフラグであり、動き補償を用いずに符号化する場合の符号化難易度を示す。
【０１４３】
DifficultyTypeは、Difficultyの処理、すなわちどのようにしてその記述子中に記述されているDifficultyが計測されたのかを示すフラグである。DifficultyTypeは、図２０に示されるように、その値の"０"は、EncodingDifficultyを表している。
【０１４４】
図１９（Ａ）に示すMediaTranscodingHint記述子のデータ構造を、UMLで表現すると、図２１に示すようになる。
【０１４５】
MediaTranscodingt記述子は、それぞれ０または１個のUtilityScaling記述子，MotionHint記述子，TextureHint記述子で構成される。
【０１４６】
図２１に示すMediaTranscodingHint記述子は、図２２に示されるように、MediaIdentification記述子，MediaFormat記述子，MediaCoding記述子，MediaInstance記述子とともに、コンテンツのメディア、例えば符号化方式などを記述する記述子であるMediaInformation記述子を構成する。
【０１４７】
MediaInformation記述子は、コンテンツ全体、あるいはコンテンツの一部分に付加される。従って、MediaTranscodingHint記述子もコンテンツ全体、あるいはコンテンツの一部に付加されることになる。
【０１４８】
図２３には、MediaTranscodingHint記述子のビデオデータとの関連を模式的に表している。ビデオコンテンツ２１１は、少なくとも１つのシーケンスで構成され、その一部のシーン（セグメント）２１２は、開始時刻（Start Time）と終了時刻（End Time）によって規定される。このセグメント２１２に関する情報（開始時刻や終了時刻など）は、Segment記述子２１３に記述される。MediaInformation記述子は、コンテンツ１つに対して１つ定義にしても構わないし、Segment記述子に対して１つ定義してもよい。Segment記述子２１３の子記述子として、MediaInformation記述子２１４を定義する場合、MediaTrancodingHint記述子２１５は、MediaInformation記述子２１４の子記述子であるから、MediaTranscodingHint記述子２１５は、各セグメント（シーン）毎に規定されることになる。MediaTranscodingHint記述子２１５は、子記述子として、UtilityScaling記述子２１６、MediaHint記述子２１７およびTextureHint記述子２１８を有している。
【０１４９】
MediaInformation記述子２１４およびその子記述子は、全てSegment記述子２１３の子記述子となり、その記述内容は、親記述子であるSegment記述子２１３が規定する開始時刻および終了時刻の間でのみ有効な値となる。
【０１５０】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５１】
図２４は、上記処理を実行するパーソナルコンピュータの構成例を表している。CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５２】
CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。
【０１５３】
入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデム、ターミナルアダプタなどより構成される通信部２２９が接続されている。通信部２２９は、ネットワークを介しての通信処理を行う。
【０１５４】
入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク２４１、光ディスク２４２、光磁気ディスク２４３、或いは半導体メモリ２４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。
【０１５５】
プログラムが記録されている記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、磁気ディスク２４１（フロッピディスクを含む）、光ディスク２４２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク２４３（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリ２４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。
【０１５６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５８】
また、本明細書において、コンテンツとは主に画像信号を例に説明したが、画像信号に限ることなく、音声信号、プログラム、テキスト信号等を含むものである。
【符号の説明】
【０１５９】
１０１  マルチメディアコンテンツサーバ，  １０２  データアクセスサーバ，  １０３  受信端末，  １１１  メタデータ記録装置，  １１２  コンテンツ記録装置，  １１３  メタデータマネージャ，  １１４  マルチメディアコンテンツマネージャ,  １２１  トランスコーディングマネージャ,  １２２  トランスコーディング装置,  １２３  トランスコーディングライブラリ,  １３１  デコーダ,  １３２  エンコーダ,  １４１  符号化難易度解析回路,  １５１  パーサ,  １５２  ヒントジェネレータ,   １６１  デコーダ,  １６２  エンコーダ
【図１】
2010011511.tif 000003
【図２】
2010011511.tif 000004
【図３】
2010011511.tif 000005
【図４】
2010011511.tif 000006
【図５】
2010011511.tif 000007
【図６】
2010011511.tif 000008
【図７】
2010011511.tif 000009
【図８】
2010011511.tif 000010
【図９】
2010011511.tif 000011
【図１０】
2010011511.tif 000012
【図１１】
2010011511.tif 000013
【図１２】
2010011511.tif 000014
【図１３】
2010011511.tif 000015
【図１４】
2010011511.tif 000016
【図１５】
2010011511.tif 000017
【図１６】
2010011511.tif 000018
【図１７】
2010011511.tif 000019
【図１８】
2010011511.tif 000020
【図１９】
2010011511.tif 000021
【図２０】
2010011511.tif 000022
【図２１】
2010011511.tif 000023
【図２２】
2010011511.tif 000024
【図２３】
2010011511.tif 000025
【図２４】
2010011511.tif 000026