【手続補正書】
【提出日】平成19年1月26日(2007.1.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  信号処理装置及び方法
【特許請求の範囲】
【請求項１】
コンテンツを処理する信号処理方法において、
端末上の端末情報を記録するステップと、
上記コンテンツ及び該コンテンツを処理するためのコンテンツ情報を記録するステップと、
上記コンテンツ情報及び上記端末情報に基づき、トランスコードヒントを抽出するステップと、
上記トランスコードヒントに基づき、上記コンテンツを変換するステップとを有する信号処理方法。
【請求項２】
上記トランスコードヒントを抽出するステップは、
第１のＧＯＰ構造を有する圧縮画像データの第１のビットストリームを受け取るステップと、
上記第１のビットストリームから第１の動き情報を得るステップと、
第１のセグメントのテクスチャ／エッジ情報を得るステップと、
上記第１のビットストリームから特徴点及び関連する動きの情報を得るステップと、
上記第１のビットストリームから重要な情報の領域を得るステップとを有することを特徴とする請求項１記載の信号処理方法。
【請求項３】
上記トランスコードヒントを抽出するステップは、上記第１の動き情報をトランスコードヒントとして保存するステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項４】
上記トランスコードヒントを抽出するステップは、動き関連トランスコードヒントをパラメトリック動きモデルのパラメータとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項５】
上記トランスコードヒントを抽出するステップは、上記パラメトリック動きモデルにより連続する長方形ビデオフレーム内の包括的な動きを記述するステップを更に有することを特徴とする請求項４記載の信号処理方法。
【請求項６】
上記トランスコードヒントを抽出するステップは、上記パラメトリック動きモデルにより、任意形状の定義された領域内の動きを記述するステップを更に有することを特徴とする請求項４記載の信号処理方法。
【請求項７】
上記パラメトリック動きモデルは、ＭＰＥＧ−４において使用される任意形状の定義された領域内の動きを記述するために使用されることを特徴とする請求項６記載の信号処理方法。
【請求項８】
上記トランスコードヒントを抽出するステップは、動き関連トランスコードヒントを上記圧縮画像データの第１のビットストリームに含まれる動きベクトルのアレイとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項９】
上記トランスコードヒントを抽出するステップは、動き関連トランスコードヒントを上記圧縮画像データの第１のビットストリームに含まれる動きベクトルから導出される動きベクトルのアレイとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１０】
上記トランスコードヒントを抽出するステップは、動き関連トランスコードヒントを連続するフレーム内で探索された動きベクトルに関連付けられた特徴点のリストとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１１】
上記トランスコードヒントを抽出するステップは、動き関連トランスコードヒントを連続するフレーム内の任意形状の領域間で探索された動きベクトルに関連付けられた特徴点のリストとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１２】
上記トランスコードヒントを抽出するステップは、テクスチャ関連トランスコードヒントをＤＣＴ係数のリスト又はＤＣＴ係数から導出された平均、最大、最小、平方偏差、標準偏差のうちの少なくとも１つを含む測定値を表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１３】
上記トランスコードヒントを抽出するステップは、エッジ関連トランスコードヒントをＤＣＴ係数のリスト又はＤＣＴ係数から導出された平均、最大、最小、平方偏差、標準偏差のうちの少なくとも１つを含む測定値を表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１４】
上記トランスコードヒントを抽出するステップは、特徴点及び該特徴点に関連する動き関連ベクトルをリストとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１５】
上記トランスコードヒントを抽出するステップは、符号化複雑性関連トランスコードヒントをあるフレームから次のフレームに移行する際に失われた及び新たに現れた特徴点の数に基づき、連続するフレームで追跡された特徴点のライフタイムリストから導出された複雑性メトリックとして表すステップを更に有することを特徴とする請求項２記載の信号処理方法。
【請求項１６】
コンテンツを処理する信号処理装置において、
端末上の端末情報を記録する手段と、
上記コンテンツ及び該コンテンツを処理するためのコンテンツ情報を記録する手段と、
上記コンテンツ情報及び上記端末情報に基づき、トランスコードヒントを抽出する手段と、
上記トランスコードヒントに基づき、上記コンテンツを変換する手段とを備える信号処理装置。
【請求項１７】
上記トランスコードヒントを抽出する手段は、
第１のＧＯＰ構造を有する圧縮画像データの第１のビットストリームを受け取る手段と、
上記第１のビットストリームから第１の動き情報を得る手段と、
第１のセグメントのテクスチャ／エッジ情報を得る手段と、
上記第１のビットストリームから特徴点及び関連する動きの情報を得る手段と、
上記第１のビットストリームから重要な情報の領域を得る手段とを備えることを特徴とする請求項１６記載の信号処理装置。
【請求項１８】
上記トランスコードヒントを抽出する手段は、上記第１の動き情報をトランスコードヒントとして保存する手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項１９】
上記トランスコードヒントを抽出する手段は、動き関連トランスコードヒントをパラメトリック動きモデルのパラメータとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２０】
上記トランスコードヒントを抽出する手段は、上記パラメトリック動きモデルにより連続する長方形ビデオフレーム内の包括的な動きを記述する手段を更に備えることを特徴とする請求項１９記載の信号処理装置。
【請求項２１】
上記トランスコードヒントを抽出する手段は、上記パラメトリック動きモデルにより任意形状の定義された領域内の動きを記述する手段を更に備えることを特徴とする請求項１９記載の信号処理装置。
【請求項２２】
上記パラメトリック動きモデルは、ＭＰＥＧ−４において使用される任意形状の定義された領域内の動きを記述するために使用されることを特徴とする請求項２１記載の信号処理装置。
【請求項２３】
上記トランスコードヒントを抽出する手段は、動き関連トランスコードヒントを上記圧縮画像データの第１のビットストリームに含まれる動きベクトルのアレイとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２４】
上記トランスコードヒントを抽出する手段は、動き関連トランスコードヒントを上記圧縮画像データの第１のビットストリームに含まれる動きベクトルから導出される動きベクトルのアレイとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２５】
上記トランスコードヒントを抽出する手段は、動き関連トランスコードヒントを連続するフレーム内で探索された動きベクトルに関連付けられた特徴点のリストとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２６】
上記トランスコードヒントを抽出する手段は、動き関連トランスコードヒントを連続するフレーム内の任意形状の領域間で探索された動きベクトルに関連付けられた特徴点のリストとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２７】
上記トランスコードヒントを抽出する手段は、テクスチャ関連トランスコードヒントをＤＣＴ係数のリスト又はＤＣＴ係数から導出された平均、最大、最小、平方偏差、標準偏差のうちの少なくとも１つを含む測定値を表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２８】
上記トランスコードヒントを抽出する手段は、エッジ関連トランスコードヒントをＤＣＴ係数のリスト又はＤＣＴ係数から導出された平均、最大、最小、平方偏差、標準偏差のうちの少なくとも１つを含む測定値を表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項２９】
上記トランスコードヒントを抽出する手段は、特徴点及び該特徴点に関連する動き関連ベクトルをリストとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【請求項３０】
上記トランスコードヒントを抽出する手段は、符号化複雑性関連トランスコードヒントをあるフレームから次のフレームに移行する際に失われた及び新たに現れた特徴点の数に基づき、連続するフレームで追跡された特徴点のライフタイムリストから導出された複雑性メトリックとして表す手段を更に備えることを特徴とする請求項１７記載の信号処理装置。
【発明の詳細な説明】
【０００１】
【技術分野】
本発明は、マルチメディア記述及び異なる方式（例えば、ＭＰＥＧ）により圧縮されたコンテンツ表現間のトランスコードのためのトランスコードヒントメタデータのコンパクトな表現を抽出し、フレームレート、ビットレート、セッションサイズ、量子化パラメータ、ピクチャ符号化タイプ構造（例えば、グループオブピクチャ：ＧＯＰ）等の（例えば、ＭＰＥＧ圧縮）ビットストリームのパラメータを操作し、Ａ／Ｖコンテンツを分類し、マルチメディア情報を取り出す信号処理装置及び方法に関する。
【０００２】
【背景技術】
光、無線及び有線ネットワークを介して伝送されるオーディオ／ビデオ（又は、オーディオビジュアル：以下、Ａ／Ｖという。）コンテンツのデータ量が増加している。これらのネットワークは、それぞれ異なるネットワーク帯域幅の制限を有しているので、Ａ／Ｖコンテンツを異なるビットレートで表す必要が生じ、この結果、主観的な画質が変化する。また、Ａ／Ｖ端末機器の画面のサイズ、演算能力及びメモリ容量の制約により、Ａ／Ｖコンテンツを圧縮して表す必要が生ずることもある。
【０００３】
したがって、例えばムービングピクチャエキスパートグループ（Moving Pictures Experts Group：以下、ＭＰＥＧという。）により定義されている圧縮形式で保存されたＡ／Ｖコンテンツを、例えば異なるＡ／Ｖ端末機器の異なるビットレート、フレームレート、画面サイズ、復号処理の複雑性及びメモリ容量の制約に応じて、変換する必要がある。
【０００４】
異なる帯域幅及び異なるＡ／Ｖ端末機器毎に同一のＡ／Ｖコンテンツに対応する複数の圧縮表現を保存することを避けるためには、ＭＰＥＧフォーマットで保存された圧縮Ａ／Ｖコンテンツを異なるＭＰＥＧフォーマットに変換することが好ましい。
【０００５】
ビデオトランスコード処理に関する参考文献を以下に示す。
【０００６】
１９９９年、国際特許公開公報ＷＯ０９８３８８０１Ａ１号、オー・エイチ・ワーナ（0.H.Werner）、エヌ・ディー・ウェルス（N.D.Wells）、エム・ジェイ・ニー（M.J.Knee）：「改善された量子化によるデジタル圧縮符号化方法（Digital Compression Encoding with improved quantization）」。この文献には、適応量子化法が開示されている。
【０００７】
１９９９年、米国特許公報５８７０１４６号、チュー・キン−ファン（Zhu; Qin-Fan）：「デジタルビデオトランスコード方法及び装置（Device and method for digital video transcoding）」。
【０００８】
１９９９年、国際特許公開公報ＷＯ０９９２９１１３Ａ１号、ニルソン・ミヒャエルエリイング（Nilsson, Michael, Eriing）、ガンバリ・モハメッド（Ghanbari, Mohammed）：「トランスコード方法（Transcoding）」。
【０００９】
１９９８年、米国特許公報５８０５２２４号、キースマン（Keesman）、ジェリット・ジェイ（Gerrit J）、バン・オッタールー（Otterloo）、ペトラス・ジェイ（Petrus J）：「ビデオ信号のトランスコード方法及び装置（Method and Device for Transcoding Video Signal）」。
【００１０】
１９９９年、国際特許公開公報ＷＯ０９９４３１６２Ａ１号、ゴリン・スチュアート・ジャイ（Golin, Stuart, Jay）：「ビデオシーケンスをトランスコードするための動きベクトル外挿方法（Motion vector extrapolation for transcoding video sequences）」。
【００１１】
１９９８年、米国特許公報５８３８６６４号、ポロムスキ（Polomski）、マーク・ディー（Mark D.）：「デジタルトランスコードによるビデオ会議システム（Video teleconferencing system with digital transcoding）」。
【００１２】
１９９９年、国際特許公開公報ＷＯ０９９５７６７３Ａ２号、バリオル・ニコラス（Balliol, Nicolas）：「データストリームのトランスコード方法（Transcoding of a data stream）」。
【００１３】
１９９８年、米国特許公報５８０８５７０号、バクムトスキー・ミヒャエル（Bakhmutsky; Michael）：「ペアマッチングハフマントランスコード装置及び方法、並びにこれを用いた２ワードビットストリームセグメント化を行う高性能可変長デコーダ（Device and Method for pair-matching Huffman-Transcoding and high performance variable length decoder with two-word bitstream segmentation which utilizes the same）」。
【００１４】
１９９９年、国際特許公開公報ＷＯ０９９０５８７０Ａ２号、レマグエット・ヤン（Lemaguet,Yann）：「ビデオシーケンス間の切換方法及びこれに対応する装置（Method of Switching between Video Sequences and corresponding Device）」。
【００１５】
１９９９年、国際特許公開公報ＷＯ０９９２３５６０Ａ１号、ルドウィング・ラスタ（LUDWIG,Lester）、ブラウン・ウィリアム（BROWN,William）、ユル・イン・ジェイ（YUL,Inn,J.）、ブオング・アン・ティー（VUONG,Anh,T.）、バンデルリップ・リチャード（VANDERLIPPE,Richard）、バーネット・ジェラルド（BURNETT,Gerald）、ロウワース・クリス（LAUWERS,Chris）、ルイ・リチャード（LUI,Richard）、アプレバウム・ダニエル（APPLEBAUM,Daniel）：「スケーラブルネットワークマルチメディアシステム及びアプリケーション（Scalable networked multimedia system and application）」。
【００１６】
しかしながら、上述の特許文献のいずれにも、トランスコードヒントメタデータ（transcoding hints metadata）情報を用いてＡ／Ｖトランスコード処理を容易に行う方法は開示も示唆もされていない。
【００１７】
ソサエティオブモーションピクチャアンドテレビジョン（Society of Motion Picture and Television：以下、ＳＭＰＴＥという。）は、ＭＰＥＧ−２ビデオレコーディングデータセット（MPEG-2 Video Recording Data Set：３２７Ｍ−２０００）によりテレビジョン用の標準規格を提唱している。この標準規格は、ソースフォーマットの各マクロブロックのメタデータを、２５６ビットを用いて再符号化することを規定している。しかしながら、トランスコードヒントメタデータの抽出及び表現には、幾つかの問題点がある。例えば、この標準規格では、トランスコードヒントメタデータ（例えば、ＧＯＰの構造、量子化器の設定、動きベクトル等）は、単一のフレーム毎及びＡ／Ｖソースコンテンツのマクロブロック毎に抽出される。これにより、詳細でコンテンツに適応したトランスコードヒントメタデータが得られ、主観的なＡ／Ｖ相対性（subjective A/V duality）を維持しつつ、トランスコード処理を容易に行うことができる。しかしながら、トランスコードヒントメタデータのデータサイズは非常に大きい。提唱されている標準規格の一実現例においては、ＭＰＥＧビデオデータのマクロブロック毎に２５６ビットのトランスコードヒントメタデータが保存される。このような膨大な量のトランスコードヒントメタデータをローカル、例えば家庭用、Ａ／Ｖコンテンツサーバに放送により配信することは、現実的ではない。したがって、提唱されているトランスコードヒントメタデータの標準規格は、放送局等においてのみ適用されている。
【００１８】
トランスコードヒントメタデータを抽出及び表現する他の技術として、特定のビットレートを有する圧縮Ａ／Ｖソースコンテンツを他の圧縮フォーマット及びビットレートの圧縮Ａ／Ｖソースコンテンツにトランスコードするための一般的なトランスコードヒントメタデータを集める手法がある。しかしながら、この手法は、トランスコードされたコンテンツの特徴的プロパティを考慮していないという問題がある。例えば、ソースコンテンツにおいて、動きが制限され、細部が少ないＡ／Ｖセグメント（例えば、ニュース番組の司会のシーン）と、動きが速く細部が多い他のＡ／Ｖセグメント（例えば、スポーツイベントのシーン）とでは、Ａ／Ｖ特性が変化する。上述の手法では、これらのビデオセグメントのいずれをも適切に表現していない誤ったトランスコードヒントメタデータが選択され、したがって、Ａ／Ｖ品質が劣化し、間違ったビットレートの割当が行われてしまうことがある。
【００１９】
【発明が解決しようとする課題】
本発明は、上述の課題に鑑みてなされたものであり、コンパクトなＡ／Ｖコンテンツに適応したマルチメディア記述及びトランスコードヒントメタデータ表現を抽出する方法及び装置を提供することである。
【００２０】
さらに、本発明は、長い遅延を生じさせることも、トランスコード処理に要求される演算を非現実的な程に複雑化することもなく、実時間抽出を実現できる信号処理装置及び方法を提供することを目的とする。トランスコード処理に対する第２の要求は、主観的なＡ／Ｖ品質を可能な限り維持するという要求である。様々な圧縮ターゲットフォーマットに対して、これらの要求を満たすトランスコード処理を容易に行うために、トランスコードヒントメタデータを事前に生成し、圧縮Ａ／Ｖコンテンツと別に、あるいは共に保存してもよい。さらに、本発明は、非常にコンパクトな表現を提供することにより、必要なストレージ容量を低減し、マルチメディア記述及びトランスコードヒントメタデータの配信（例えば、ローカルオーディオ／ビデオコンテンツサーバへの放送）を容易にすることを目的とする。
【０００１】
【課題を解決するための手段】
本発明に係る信号処理方法は、コンテンツを処理する信号処理方法において、端末上の端末情報を記録するステップと、コンテンツ及び該コンテンツを処理するためのコンテンツ情報を記録するステップと、コンテンツ情報及び端末情報に基づき、トランスコードヒントを抽出するステップと、トランスコードヒントに基づき、コンテンツを変換するステップとを有する。
【０００２】
また、本発明に係る信号処理装置は、コンテンツを処理する信号処理装置において、端末上の端末情報を記録する手段と、コンテンツ及び該コンテンツを処理するためのコンテンツ情報を記録する手段と、コンテンツ情報及び端末情報に基づき、トランスコードヒントを抽出する手段と、トランスコードヒントに基づき、コンテンツを変換する手段とを備える。
【００２１】
本発明は、１）トランスコード処理においてオーディオ／ビデオ品質を劣化させず、２）演算の複雑性を低減し、最小限の遅延しか有さない実時間アプリケーションを実現できる情報処理装置を提供することを目的とする。本発明の実施の形態においては、トランスコードヒントメタデータをカバーする追加的データ（メタデータ）を圧縮Ａ／Ｖコンテンツに関連付ける。
【００２２】
本発明の目的及び効果は、以下の詳細な説明及び図面からも明らかである。本発明は、トランスコードヒントメタデータの自動的な抽出及びコンパクトな表現を実現する装置及び方法を提供する。
【００２３】
本発明は、トランスコードメタデータを用いて、ある圧縮フォーマットを有するＡ／Ｖコンテンツを他の圧縮フォーマットを有するＡ／Ｖコンテンツにトランスコードする技術分野に関する。トランスコードという用語は、特に以下に限定されるものではないが、圧縮フォーマットの変換（例えば、ＭＰＥＧ−２フォーマットからＭＰＥＧ−４フォーマットへの変換）、フレームレートの変換、ビットレートの変換、セッションサイズの変換、画面サイズの変換、ピクチャ符号化タイプの変換等を含む。
【００２４】
さらに、本発明は、上述のトランスコードヒント状態をビデオデータにおける異なるシーン動きのクラスとして用いる自動的なビデオ分類にも適用できる。
【００２５】
本発明は、以下の詳細な説明において開示され、請求の範囲において示される複数のステップ及び１つ以上のステップの関係、各ステップを実行する要素及び構成部分を備える本発明の特徴を実現する装置の全てを包含する。
【００２６】
【発明を実施するための最良の形態】
図１は、本発明に基づき、ホームネットワーク環境においてトランスコード処理を行うシステム１００の全体的な構成を示す図である。図１に示すように、Ａ／Ｖコンテンツサーバ１０２は、Ａ／Ｖコンテンツストレージ１０３と、Ａ／Ｖトランスコードユニット１０６と、トランスコードヒントメタデータ抽出ユニット１０４と、Ａ／Ｖトランスコードヒントメタデータ記憶バッファ１０５とを備える。Ａ／Ｖコンテンツストレージ１０３は、様々なソースから供給される、様々なビットレート及び様々な主観的品質を有する圧縮Ａ／Ｖ素材（compressed A/V material：以下、圧縮Ａ／Ｖ素材という。）を格納する。Ａ／Ｖコンテンツストレージ１０３は、例えば、ポータブルデジタルビデオ（ＤＶ）用のビデオカメラ１１１からのホームビデオデータ、ＭＰＥＧ−４インターネットカメラ１１２からのビットレートの低い（例えば、１０ｋｂｉｔ／ｓ）ＭＰＥＧ−４圧縮データ、及び放送サービス１０１からのメインレベルのＭＰＥＧ−２メインプロファイルデータ（ＭＰ＠ＭＬ）とを格納する。放送サービス１０１からのデータには、既にトランスコードヒントメタデータが関連付けられていることもある。Ａ／Ｖコンテンツサーバ１０２は、ビットレートがかなり高い高解像度の圧縮ＭＰＥＧビデオデータを格納することもできる。
【００２７】
図１に示すように、Ａ／Ｖコンテンツサーバ１０２は、ホームネットワーク１１３に接続されている。ホームネットワーク１１３は、有線ネットワークであっても、無線ネットワークであってもよい。異なる特性を有するＡ／Ｖ端末機器とは、以下に限定されるものではないが、例えば次のようなものがある。すなわち、無線ＭＰＥＧ−４Ａ／Ｖ個人用情報端末機器（personal digital assistant：以下、ＰＤＡという。）１０７、高精細度テレビジョン放送用の高精細度Ａ／Ｖ端末機器１０８、Ａ／Ｖゲーム機１０９及び国際電気通信連合の技術標準化グループ（Telecommunications Union Technical Standards Group：以下、ＩＴＵ−Ｔという。）の規格に基づくテレビ電話（videophone）１１０等である。Ａ／Ｖ端末機器１０７、１０８、１０９、１１０は、ビットレートの異なる伝送能力（ケーブル又は無線リンクに起因する）をもってホームネットワーク１１３に接続されている。
【００２８】
さらに、例えば、無線ＭＰＥＧ−４Ａ／ＶＰＤＡ１０７は、演算能力、メモリ容量、画面サイズ、ビデオフレームレート及びネットワークビットレートが制限されている。したがって、Ａ／Ｖトランスコードユニット１０６は、例えば、Ａ／Ｖコンテンツサーバ１０２に格納されているヨーロッパ規格の２５フレーム／秒（ｆｐｓ）、７２０ｘ４８０画素の５Ｍｂｉｔ／ｓのＭＰＥＧ−２放送ビデオデータを無線ＭＰＥＧ−４Ａ／ＶＰＤＡ１０７の画面に表示可能な３５２ｘ２４０画素の及び無線伝送のためのＭＰＥＧ−４の５００ｋｂｉｔ／ｓのＭＰＥＧ−４データにトランスコードする。Ａ／Ｖトランスコードユニット１０６は、Ａ／Ｖトランスコードヒントメタデータ記憶バッファ１０５からのトランスコードヒントメタデータを用いて、Ａ／Ｖコンテンツの圧縮ソースデータのビットレートを各特定のターゲットＡ／Ｖ端末機器１０７、１０８、１０９、１１０の能力に応じて、実時間でトランスコードすることができる。トランスコードヒントメタデータは、トランスコードヒントメタデータ抽出ユニット１０４から生成してもよく、放送サービス１０１により配信されたものであってもよい。
【００２９】
図１に示すように、ソースフォーマットの圧縮ビットストリーム（以下、第１のビットストリームという。）１１６は、Ａ／Ｖコンテンツストレージ１０３からＡ／Ｖトランスコードユニット１０６に供給される。ターゲットフォーマットのビットストリーム（以下、第２のビットストリームという。）１１５は、Ａ／Ｖトランスコードユニット１０６においてトランスコードされた後、ホームネットワーク１１３に供給される。例えば、ＤＶフォーマットに圧縮されたコンテンツは、ホームネットワーク１１３からリンク１１４を介してＡ／Ｖコンテンツストレージ１０３に供給される。
【００３０】
図２は、本発明に基づくトランスコードヒントメタデータの抽出、トランスコードヒントメタデータの保存、及びトランスコード処理を説明する図である。図２に示すように、Ａ／Ｖコンテンツバッファ２０１は、ソースフォーマットのＡ／Ｖコンテンツを格納する。ソースフォーマット記述バッファ２０２は、ソースフォーマットに関する記述、例えば、ビットレート、圧縮方法、ＧＯＰ構造、画面サイズ、インターレース走査であるかプログレッシブ走査であるか、といった情報を格納する。トランスコードターゲット記述バッファ２０３は、ターゲットフォーマットの記述、例えば、ビットレート、圧縮方法、ＧＯＰ構造、画面サイズ、インターレース走査であるかプログレッシブ走査であるか、といった情報を格納する。トランスコードヒントメタデータ抽出ユニット２０７は、Ａ／Ｖコンテンツバッファ２０１からソースフォーマットの圧縮Ａ／Ｖコンテンツを読み出すとともに、ソースフォーマット記述バッファ２０２からソースフォーマットに関する記述及びトランスコードターゲット記述バッファ２０３からターゲットフォーマットに関する記述を読み出す。トランスコードヒントメタデータ抽出ユニット２０７は、トランスコードヒントメタデータを算出し、これをトランスコードヒントメタデータバッファ２０６に格納する。Ａ／Ｖトランスコードユニット２０５は、Ａ／Ｖコンテンツバッファ２０１からソースフォーマットの第１のビットストリーム２０４を読み出し、トランスコードヒントメタデータバッファ２０６に格納されているトランスコードヒントメタデータを用いて、ソースフォーマットをターゲットフォーマットに変換する。Ａ／Ｖトランスコードユニット２０５は、新たなターゲットフォーマットを有する圧縮された第２のビットストリーム２０８をＡ／Ｖターゲットフォーマットバッファ２０９に供給し、保存する。
【００３１】
図３及び図４は、本発明に基づくトランスコードヒントメタデータの生成を説明する図である。ＭＰＥＧに基づくビデオ圧縮処理は、連続するフレーム間の変化を符号化する予測符号化法を使用する。あるフレームから次のフレームへの変化が大きいビデオコンテンツは、フレーム間の変化が小さいビデオコンテンツとは異なり、（ビットレートを制限しながら主観的品質を維持するために）異なる再符号化パラメータの設定を必要とする。したがって、事前に再符号化を決定することが重要である。トランスコードヒントメタデータは、主に予測不可能なビジュアルコンテンツの量及び特性に基づいて選択される。新たなビジュアルコンテンツは、先行するフレームからは予測することができず、ＤＣＴ係数を用いて、ビットレートに応じた符号化処理が行われる。ここで、本発明においては、先行するフレームから現在のフレームに連続していない新たな特徴点の数に基づき、フレーム毎の新たなコンテンツの量を判定する。
【００３２】
図３は、ビデオデータのフレーム番号（水平軸、時間軸）に対するフレーム毎の新たな特徴点の数を示すグラフである。セクション３０１は、連続するフレーム間で新たなコンテンツが現れる量が非常に少ないビデオセグメントの部分であり、したがって、これに応じて各トランスコードヒントメタデータ（例えば、大きなＧＯＰサイズ、低いフレームレート、低いビットレート等）を選択することができる。セクション３０２は、フレーム毎の新たな特徴点が比較的多い部分であり、これは、この状態に最適なトランスコードパラメータ（例えば、比較的小さいＧＯＰサイズ、高いビットレート等）を提供する状態記述トランスコードヒントメタデータ（state describing transcoding hints metadata）が選択されることを意味する。セクション３０３は、フレーム毎の特徴点が多く、したがってシーン毎の新たなコンテンツの量が多いトランスコードヒントメタデータ状態を表している。この場合、より小さなＭ値（Ｉ／Ｐフレーム距離）及び高いビットレートが選択される。
【００３３】
図４は、３つの離散的トランスコードヒントメタデータ状態（discrete transcoding hints metadata states）からなるトランスコードヒントメタデータ状態の基本的な組織を示す図である。各離散的トランスコード状態は、ＧＯＰ構造、量子化パラメータ、ビットレート、画面サイズ等のメタデータを有している。これらのトランスコードヒントメタデータのパラメータは、固定された値を有していてもよく、他のパラメータの関数としてもよい。例えば、ＧＯＰ長は、フレーム毎の新たな特徴点の数の離散関数としてもよく、量子化パラメータは、ＤＣＴ係数から導出されるエッジ及びテクスチャ（texture）の動きの関数としてもよい。この具体例における３つのトランスコードヒントメタデータ状態のそれぞれは、３つの異なる符号化条件を適用するように選択される。図４に示すように、状態「３」４０３は、動き量が多く、フレーム毎の新たなコンテンツの量が少ない場合に選択され、このようなコンテンツに対して最適なトランスコードヒントメタデータの状態を表している。状態「２」４０２は、全体の動き量は少ないが、コンテンツのエッジの動きが激しく、したがって、大量のビット数を必要とする場合に選択される。状態「１」４０１は、例えば、シーンの動きが少ないＡ／Ｖコンテンツのトランスコード処理に適用されるよう選択される。この他、例えば異なるシーンのクロスフェード効果、シーンの突然の変更、又は２つのシーン間の黒画像等、様々なビデオ編集効果に対して、特別なトランスコードヒントメタデータを用意してもよい。ビデオ編集効果の位置は、手動で検出してもよく、半自動的に検出してもよく、完全に自動的に検出してもよい。
【００３４】
図５は、本発明に基づき、圧縮ソースコンテンツ及び圧縮されていないソースコンテンツからトランスコードヒントメタデータを抽出する方法を説明する図である。図５に示すように、システム５００は、Ａ／Ｖソースコンテンツバッファ５０１と、ソースフォーマット記述バッファ５０２と、ターゲットフォーマット記述バッファ５０３とを備える。
【００３５】
メモリ５０４は、圧縮領域又は非圧縮領域から抽出された動きベクトル、ＤＣＴ係数及び特徴点を記憶する。圧縮領域においては、Ｐマクロブロック及びＢマクロブロックからの動きベクトルは、ビットストリームから直接抽出することができる。しかしながら、Ｉマクロブロック（Intra-macroblocks）には動きベクトルは存在しない。したがって、Ｐマクロブロック及びＢマクロブロックから得られた動きベクトルは、Ｉマクロブロック用に補間される（この手法については、１９９９年１０月、神戸で開催された画像処理に関するＩＥＥＥ国際会議ＩＣＩＰ９９会報、ロイ・ワン（Roy Wang）、トーマス・フアン（Thomas Huang）著「ＭＰＥＧ領域における高速カメラ動き解析（Fast Camera motion Analysis in MPEG domain）」に開示されている）。Ｉマクロブロックに対するＤＣＴ係数は、ビットストリームから直接抽出することができる。Ｐマクロブロック及びＢマクロブロックについては、制限された数のＤＣＴ係数（ＤＣ係数と２つのＡＣ係数）を抽出することができる。この手法は、１９９６年、通信に関する分野別ＩＥＥＥジャーナル第８巻（IEEE Journal on Selected Areas in Communications, vol. 8）シー・フー・チャン（Shih-Fu Chang）、デビッド・ジー・メッサーシュミド（David G. Messerschmid）著「ＭＣ−ＤＣＴ圧縮ビデオデータの処理及び合成（Manipulation and Composition of MC-DCT compressed video）」に開示されている。圧縮領域の特徴点抽出及び動き推定の手法の具体例は、例えば１９９９年１２月ピーター・クーン（Peter Kuhn）により出願された国際特許出願「圧縮領域の特徴点登録及び動き推定のための方法及び装置（Method and Apparatus for compressed domain feature point registration and motion estimation）」に開示されており、この出願は、引用することにより、本願に援用されるものとする。ここで、Ａ／Ｖソースコンテンツは圧縮されていないフォーマットしか利用できない場合もあり、また、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３等に採用されているＤＣＴ及び動き補償原理に基づかない圧縮形式しか利用できない場合もある。ＤＶフォーマットでは、ＤＣＴ係数のみしか利用できない。これらの場合、動きベクトルは、例えば、１９９９年にクルーワー・アカデミック出版社（Kluwer Academic Publishers）から発行されたピーター・クーン（Peter Kuhn）著「ＭＰＥＧ−４動き推定のためのアルゴリズム、複雑性解析及びＶＬＳＩアーキテクチャ（Algorithms, Complexity Analysis and VLSI Architectures for MPEG-4 Motion Estimation）」に開示されている手法により算出することができる。ＤＣＴ係数は、ブロックベースのＤＣＴ変換により得ることができる。この手法は、１９９０年、アカデミックプレス（Academic Press）から出版されたケー・アール・ラオ（K.R.Rao）、ピー・イップ（P.Yip）著「離散コサイン変換−アルゴリズム、利点及び応用（Discrete Cosine Transform - Algorithms, Advantages, Applications）」に開示されている。画素領域（非圧縮領域）における特徴ベクトルの算出は、例えば１９８１年、人工知能に関する国際共同会議（International Joint Conference on Artificial Intelligence）会報６７４〜６７９頁記載のブルース・ディー・ルーカス（Bruce D. Lucas）、カナデ・タケオ（Takeo Kanade）著「ステレオビジョンのアプリケーションによる繰返し登録法（An iterative registration technique with an application to stereo vision）」に開示されている。
【００３６】
動き解析部５０５は、メモリ５０４に記憶されている動きベクトルからパラメトリック動きモデルのパラメータを抽出する。パラメトリック動きモデルは、６個乃至８個のパラメータを有し、パラメトリック動き推定の手法は、例えば１９９５年、プレンティスホール（Prentice Hall）発行のエム・テカルプ（M.Tekalp）著「デジタルビデオ処理（Digital Video Processing）」に開示されている。動きデータを用いることにより、トランスコーダにおいて動き推定をする必要がなくなり、遅延を生じることなく速やかな処理を行うことができる。このように、ソースビットストリームからの動きに関する入力データを用いて、出力データ（ターゲットビットストリーム）を導き出すことができる。例えば、画面サイズの変更、インターレース走査からプログレッシブ走査への変換等は、動きデータに大きく依存する。動きデータのパラメータは、ＧＯＰ構造の符号化方法を決定するためにも使用できる。テクスチャ／エッジ解析部５０６は、ビットストリームから抽出されたＤＣＴ係数に基づいて動作する。この動作原理については、１９９０年、アカデミックプレス（Academic Press）から出版されたケー・アール・ラオ（K.R.Rao）、ピー・イップ（P.Yip）著「離散コサイン変換−アルゴリズム、利点及び応用（Discrete Cosine Transform - Algorithms, Advantages, Applications）」又は１９９３年８月、民生用電子機器に関するＩＥＥＥトランザクション第３９巻３号（IEEE Transactions on Consumer Electronics, Vol. 39, No. 3）ケー・ダブリュー・チュン（K.W.Chun）、ケー・ダブリュー・リム（K.W.Lim）、エイチ・ディー・チョ（H.D.Cho）、ジェイビー・ラ（J.B.Ra）著「ビデオ符号化のための知覚適応量子化アルゴリズム（An adaptive perceptual quantization algorithm for video encoding）」に開示されている。
【００３７】
圧縮領域用の特徴点追跡部５０７は、１９９９年１２月ピーター・クーン（Peter Kuhn）により出願された国際特許出願「圧縮領域の特徴点登録及び動き推定のための方法及び装置（Method and Apparatus for compressed domain feature point registration and motion estimation）」に開示されており、この出願は引用により本願に援用できるものとする。プロセッサ５０８は、フレーム毎の新たな特徴点の数を算出する。プロセッサ５０９は、時間的なビデオセグメント化を行い、プロセッサ５１０は、各セグメントに対するトランスコードヒント状態を算出する。本発明に基づくこれらの演算処理については、図６〜図８を用いて後に詳細に説明する。
【００３８】
メモリ５１１は、動きに関するトランスコードヒントメタデータを格納している。メモリ５１２は、テクスチャ／エッジに関するトランスコードヒントメタデータを格納している。メモリ５１３は、特徴点に関するトランスコードヒントメタデータを格納している。これらのメタデータについては、図１５を用いて後に詳細に説明する。メモリ５１４は、ビデオセグメントトランスコードヒント選択メタデータを格納する。このメタデータについては、図１６を用いて後に詳細に説明する。以下、トランスコードヒントメタデータの自動抽出、コンパクトな表現及び使用方法について説明する。
【００３９】
図６は、本発明に基づくビデオセグメント化及びトランスコードヒント状態の選択処理を説明する図である。ステップ６０１において、幾つかの変数が初期化される。変数「frame」は、ソースビットストリームの現在のフレーム番号であり、変数「nframes」は、新たなビデセグメント（又はＧＯＰ、グループオブピクチャ）内のフレーム番号である。他の変数は、このルーチンにおいてのみ使用される。ステップ６０２において、ＧＯＰ内のフレーム番号がインクリメントされる。ステップ６０３において、このフレームにおいて新たなセグメント／ＧＯＰが開始されるか否かが判定される。この判定については、図７を用いて後に詳細に説明する。新たなセグメント／ＧＯＰが開始される「ｙｅｓ」場合、処理はステップ６０４に進み、この他の場合処理はステップ６１５に進む。ステップ６０４においては、変数「last_gop_start」が「new_gop_start」の値により初期化される。ステップ６０８及びステップ６０９においては、変数「frame」が１より大きい場合、変数「last_gop_stop」は「frame-1」に設定される。この他の場合、ステップ６１０において、変数「last_gop_stop」は、１に設定される。次に、図８に詳細を示すステップ６１１において、動きパラメータ６０５と、テクスチャ／エッジパラメータ６０６と、特徴点データ６０７とに基づいて、トランスコードヒント状態を決定する。ステップ６１２において、トランスコードヒントメタデータは、トランスコードヒントメタデータバッファ２０６に出力される。本発明の一実施の形態においては、ステップ６１３において、トランスコードヒントメタデータは、「nframes」（ＧＯＰの内のフレーム数）と、全てのパラメータを有するトランスコードヒント状態と、新たなＧＯＰの開始フレーム番号（「new_gop_start」）とを含んでいる。続いて、変数「nframes」は０にリセットされ、現在のフレーム番号「frame」を変数「new_gop_start」に設定する。次に、ステップ６１５において、ソースビットストリームの全てのフレームが処理されたか否かが判定される。全てのフレームが処理されてはいない「ｎｏ」の場合、処理はステップ６１４に進み、フレーム番号がインクリメントされ、ステップ６０２からの処理が繰り返される。この他の場合、処理は終了する。
【００４０】
図７は、本発明に基づき、新たなビデオセグメント又はＧＯＰの開始フレーム及び終了フレームを判定する処理を説明する図である。ステップ７０１において、図６における変数「nframes」がＭ（Ｉ／Ｐフレーム距離）の整数倍であるか否かが判定される。ここで、「ｎｏ」が選択された場合、ステップ７０２において、現在のフレーム番号が最初のフレームであるか否かが判定される。ここで、「ｎｏ」が選択された場合、処理はステップ７０３に進み、変数「nframes」がＧＯＰの内の最小フレーム数「gop_min」より大きいか否かが判定される。ステップ７０３における判定の結果が「ｙｅｓ」の場合、ステップ７０５において新たなＧＯＰが開始される。ステップ７０３における判定が結果が「ｎｏ」である場合、処理はステップ７０４に進み、変数「nframes」がＧＯＰの内の最大フレーム数「gop_max」より大きいか否かが判定される。ステップ７０４における判定の結果が「ｙｅｓ」である場合、ステップ７０６においてＧＯＰが閉じられ、この他の場合、処理が終了する。
【００４１】
図８は、本発明の一実施の形態に基づき、新たな特徴点の数のみを考慮して特定のＧＯＰ又はＡ／Ｖセグメントに対するトランスコードヒント状態を選択する処理を説明する図である。この実施の形態に示す基本的な方法に基づいて、上述のパラメトリック動き推定からの動きベクトル及びＤＣＴ係数から得られたテクスチャ／エッジパラメータを用いて、同様の判定処理（decision structures）を実現することができる。なお、ここで説明しているクラス及びアルゴリズムは、Ａ／Ｖ素材の動き、エッジの動き、フレーム毎の新たなコンテンツ等の分類にも使用することができ、これにより、より高度なＡ／Ｖ分類レベルを実現することができる。このような場合、トランスコードヒント状態は、異なるコンテンツ素材の特定のクラスを表す。図８に示すステップ８０１において、変数「frame_no」、「sum」、「new_seg」が初期化される。変数「frame_no」には、パラメータ「last_gop_start」の内容が与えられ、変数「sum」及び「new_seg」は、０に初期化される。ステップ８０２において、変数「sum」の内容は、現在のフレームの新たな特徴点の数（「frame_no」）だけインクリメントされる。ステップ８０３において、変数「frame_no」が変数「last_gop_stop」より小さいか否かが判定される。この判定の結果が「ｙｅｓ」である場合、ステップ８０２が繰り返され、これ以外の場合、処理はステップ８０４に進む。ステップ８０４において、変数「sum」の値が所定のパラメータ「summax」の１／８より小さいか否かが判定される。パラメータ「summax」は、フレームからフレームに追跡することができる特徴点の最大数に「last_gop_start」と「last_gop_stop」間のフレーム数を乗算した値を表す定数である。一実施の形態では、この定数の値は２００である。ステップ８０４における判定の結果がｙｅｓである場合、ステップ８０６においてトランスコードヒント状態１が選択される。図８は、このトランスヒントコード状態１のパラメータも示している。この他の場合、ステップ８０５において、変数「sum」の値が所定のパラメータ「summax」の１／４より小さいか否かが判定される。この判定の結果が「ｙｅｓ」である場合、ステップ８０７において、図８の表１に示すようなトランスコードヒント状態２が選択される。この他の場合、すなわち、ステップ８０５における判定の結果が「ｎｏ」である場合、ステップ８０８において、トランスコードヒント状態３（表１に示す）が選択され、処理は終了する。なお、ステップ８０４及びステップ８０５における判定に使用する閾値は、トランスコードヒント状態の定義及び数に応じて決定される。
【００４２】
〈トランスコードヒントメタデータの説明〉
擬似Ｃコードスタイル（pseudo C-code style）を用いて、メタデータを説明する。ここでは、間もなく市場に導入されるＭＰＥＧ−７に定義されているように、記述（Description）をＤで、記述スキーム（Description Schemes）をＤＳで表す。
【００４３】
図９は、本発明の一実施の形態に基づく汎用Ａ／ＶＤＳ９０１内のトランスコードヒントメタデータの構造的な組織（structural organization）を説明する図である。図９に示すように、汎用Ａ／ＶＤＳ９０１からセグメントＤＳ９０４及び媒体情報ＤＳ９０２が導出される。さらに、セグメントＤＳ９０４からセグメント分解（Segment Decomposition）９０６が導出され、このセグメント分解９０６からビデオセグメントＤＳ９０７と動き領域ＤＳ９０８が導出される。さらに、ビデオセグメントＤＳ９０７からは、図１４を用いて後に詳細に説明するセグメント別トランスコードヒントＤＳ（Segment-based transcoding hints DS）９０９が導出される。ビデオセグメントＤＳ９０７は、図１６を用いて後に詳細に説明する１つ以上のトランスコードヒント状態ＤＳ９１１にアクセスする。動き領域ＤＳ９０８からは、図１４を用いて後に詳細に説明する動き領域用のセグメント別トランスコードヒントＤＳ９１０が導出され、このセグメント別トランスコードヒントＤＳ９１０は、図１６を用いて後に詳細に説明する１つ以上のトランスコードヒント状態ＤＳ９１２にアクセスする。媒体情報ＤＳ９０２からは、媒体プロファイルＤＳ９０３が導出される。媒体プロファイルＤＳ９０３からは、図１０を用いて後に詳細に説明する汎用トランスコードヒントＤＳ９０５が導出される。
【００４４】
図１０は、トランスコードヒントＤＳ１００１の構造的な組織を説明する図である。トランスコードヒントＤＳ１００１は、図１１を用いて後に説明するソースフォーマット定義ＤＳ１００２に１つのインスタンスと、図１２を用いて後に説明するターゲットフォーマット定義ＤＳ１００３の１つ以上のインスタンスとを有する。さらに、トランスコードヒントＤＳ１００１は、図１３を用いて後に説明する汎用トランスコードヒントＤＳ１００４の１つの任意インスタンスと、図１５を用いて後に説明するトランスコード複雑性ＤＳ（Transcoding Encoding Complexity DS）１００５の１つの任意インスタンスとを有する。
【００４５】
図１１は、本発明に基づき、Ａ／Ｖコンテンツ全体又は特定のＡ／Ｖセグメントに関連付けられたソースフォーマット定義トランスコードヒントメタデータ（例えば、図１０に示すソースフォーマット定義ＤＳ１００２）を示す図である。図１１に示すように、このメタデータには、以下のような関連する記述子及び記述スキームが含まれる。
・bitrateは、タイプ〈int〉であり、ソースＡ／Ｖデータストリームのビットレートをビット数／秒で記述する。
・size_of_picturesは、タイプ〈2*int〉であり、ソースＡ／Ｖフォーマットのピクチャのｘ方向及びｙ方向のサイズを記述する。
・number_of_frames_per_secondは、タイプ〈int〉であり、ソースコンテンツをフレーム数／秒を記述する。
・pel_aspect_ratioは、タイプ〈float〉であり、画素アスペクト比を記述する。
・pel_color_depthは、タイプ〈int〉であり、色の深さ（color depth）を記述する。
・usage_of_progressive_interlaced_formatは、サイズが〈１ビット〉であり、ソースフォーマットがインターレース走査フォーマットであるか、プログレッシブ走査フォーマットであるかを記述する。
・usage_of_frame_field_picturesは、サイズが〈１ビット〉であり、フーレムピクチャが使用されているか、フィールドピクチャが使用されているかを記述する。
・compression_methodは、タイプ〈int〉であり、ソースフォーマットにおいて使用されている圧縮方法を定義する。この圧縮方法は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ、Ｈ．２６３、Ｈ．２６１等が含まれるリストから選択してもよい。各圧縮方法に対し、以下のように、更なるパラメータを定義することもできる。
・GOP_structureは、Ｉ、Ｐ、Ｂ状態のランレングス符号化されたデータフィールドを表す。例えば、ＭＰＥＧ−２ビデオデータにおいて、Ｉフレームのみしか存在しない場合、圧縮領域における直接変換が可能である。
【００４６】
図１２は、本発明に基づき、Ａ／Ｖコンテンツ全体又は特定のＡ／Ｖセグメントに関連付けられたターゲットフォーマット定義トランスコードヒントメタデータを示す図である。図１２に示すように、このメタデータには、以下のような関連する記述子及び記述スキームが含まれる。
・bitrateは、タイプ〈int〉であり、ターゲットＡ／Ｖデータストリームのビットレートをビット数／秒で記述する。
・size_of_picturesは、タイプ〈2*int〉であり、ターゲットＡ／Ｖフォーマットのピクチャのｘ方向及びｙ方向のサイズを記述する。
・number_of_frames_per_secondは、タイプ〈int〉であり、ターゲットコンテンツをフレーム数／秒を記述する。
・pel_aspect_ratioは、タイプ〈float〉であり、画素アスペクト比を記述する。
・pel_color_depthは、タイプ〈int〉であり、色の深さを記述する。
・usage_of_progressive_interlaced_formatは、サイズが〈１ビット〉であり、ソースフォーマットがインターレース走査フォーマットであるか、プログレッシブ走査フォーマットであるかを記述する。
・usage_of_frame_field_picturesは、サイズが〈１ビット〉であり、フーレムピクチャが使用されているか、フィールドピクチャが使用されているかを記述する。
・compression_methodはタイプ〈int〉であり、ソースフォーマットにおいて使用されている圧縮方法を定義する。この圧縮方法は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ、Ｈ．２６３、Ｈ．２６１等が含まれるリストから選択してもよい。各圧縮方法に対し、以下のように更なるパラメータを定義することもできる。
・GOP_structureは、Ｉ、Ｐ、Ｂ状態のランレングス符号化されたデータフィールドを表す。この任意パラメータにより、固定されたＧＯＰ構造を強制的に使用することもできる。ＧＯＰ構造を固定することにより、例えば、特定の位置でＩフレームを強制的に使用して、編集を容易にすることができる。
【００４７】
図１３は、本発明に基づき、Ａ／Ｖコンテンツ全体又は特定のＡ／Ｖセグメントに関連付けられた汎用トランスコードヒントメタデータ（例えば、図１１に示す汎用トランスコードヒントＤＳ１００４）を示す図である。図１３に示すように、このトランスコードヒントメタデータには、以下のような関連する記述子及び記述スキームが含まれる。
・use_region_of_interest_DSは、〈１ビット〉長であり、検討中の記述スキーム（interest description scheme）の領域がトランスコードヒントメタデータとして利用できるか否かを示す。
・region_of_interest_DSが使用される場合、motion_trajectory_Dと共に、shape_D（例えば次のうちの１つであってもよい。boundary_box_D、MB_shape_D又は他のshape_D）を使用して検討中の領域を空間的及び時間的に記述してもよい。MB_shape_Dは、オブジェクト形状を記述するために、マクロブロック（１６ｘ１６）サイズのブロックを使用してもよい。Motion_trajectory_Dは、既に時間についての概念を含んでいるので、region_of_interest_DSの開始フレーム及び終了フレームを定義することができる。region_of_interest_DSは、各shape_Dのサイズ及び各motion_trajectory_Dを含んでいてもよい。トランスコードコードアプリケーションについては、region_of_interest_DSを用いて、例えば、背景よりも重要な領域内のブロックにより多くのビットを使用するようにしてもよい。ＭＰＥＧ−４用の他のトランスコードアプリケーションは、重要な領域を独立したＭＰＥＧ−４オブジェクトで記述し、この領域に対しては、例えば背景等の他のＭＰＥＧ−４オブジェクトより高いビットレート及び高いフレームレートを使用する。region_of_interest_DSの抽出は、自動的に行ってもよく、ユーザの操作により行ってもよい。
・use_editing_effects_transcoding_hints_DSは、〈１ビット〉長であり、編集効果別トランスコードヒントが情報として利用可能であるか否かを示す。
・camera_flashは、カメラフラッシュが生じるフレーム番号を記述する各エントリのリストである。したがって、この記述子の長さは、カメラフラッシュイベントの数に〈int〉を乗算したものとなる。多くのビデオ（再）エンコーダ／トランスコーダは、輝度差（luminance difference）に基づく動き推定を行うので、トランスコードアプリケーションにとって、camera_flash記述子は、非常に有用である。この動き推定については１９９９年にクルーワー・アカデミック出版社（Kluwer Academic Publishers）から発行されたピーター・クーン（Peter Kuhn）著「ＭＰＥＧ−４動き推定のためのアルゴリズム、複雑性解析及びＶＬＳＩアーキテクチャ（Algorithms, Complexity Analysis and VLSI Architectures for MPEG-4 Motion Estimation）」に開示されている輝度に基づく動き推定では、連続する２つのフレーム（一方がフラッシュを有し、他方がフラッシュを有さない）の２つのマクロブロック間の平均絶対誤差（mean absolute error）は、大きすぎて予測に使用することができず、したがってカメラフラッシュは、高いビットレートを使用するＩフレームとして符号化しなくてはならない。したがって、トランスコードヒント記述スキーム（ＤＳ）内でカメラフラッシュを指示することにより、例えば輝度補正動き推定方法（luminance corrected motion estimation method）又は他のビットコストがそれ程高くないアンカーフレーム（anchor frame(s)）からカメラフラッシュを有するフレームの予測を実行することができる。
・cross_fadingは、クロスフェージングの開始フレーム及び終了フレームを記述するエントリのリストである。したがって、記述子の長さは、クロスフェージングイベントの数の２倍〈int〉である。クロスフェージングイベントをトランスコードヒントメタデータにより指示することは、クロスフェーズ中のビットレート及び量子化処理の制御に有用である。クロスフェーズの期間において、予測の使用は通常制限され、これにより予測誤差符号化用のビットレートは大きくなる。また、クロスフェージングの期間は、通常、シーンが不鮮明になるため、量子化スケール、ビットレート又は制御パラメータをそれぞれ調整することにより、ビットレートの上昇を制限してもよい。
・black_pieturesは、黒ピクチャのシーケンスにおける開始フレームと終了フレームを記述するエントリのリストである。特に、家庭用ビデオにおいて、シーン間に黒ピクチャが生じる。経験的に、黒ピクチャの連続により、予測の使用が制限されるため、動き補償ＤＣＴエンコーダにおけるビットレートが増加する。したがって、このトランスコードヒント記述子を使用し、黒ピクチャの期間において、量子化スケール、ビットレート又は制御パラメータをそれぞれ調整することにより、ビットレートを制限することができる。
・fade_inは、cross_fadingに類似する記述子であり、フェードイン効果の開始フレーム及び終了フレームを定義する複数のエントリを記述する。クロスフェージングとは異なり、フェードインは、黒ピクチャから開始され、したがって、視覚に対するある種のマスク効果を利用して、量子化スケール、ビットレート又は制御パラメータをそれぞれ調整することにより、フェードイン期間におけるビットレートを制限することができる。
・fade_outは、シーンの後に黒ピクチャが来る点を除けばfade_inと同様の記述子である。
・abrupt_changeは、フェージングを行うことなく突然現れるシーン又はショットの位置を示すタイプ〈int〉の単一のフレーム番号のリストを記述する。これらのイベントは、例えば図３では、高く急峻なピークにより示される。これらのピークは、新たなカメラショット又はシーンの開始を示している。abrupt_change編集効果は、フェージング効果と対称的である。２つのビデオセグメント間で突然の変更が生じた場合、人間の知覚は、新たなＡ／Ｖセグメントに適応し、その詳細を認識するために、数ミリ秒を必要とする。この人間の目の認識速度の遅さは、ビデオトランスコード処理にとって好適である。例えば、このため、シーン又はショットの突然の変更の後の最初のフレームのビットレートや量子化スケールパラメータを減少させたり変更したりすることができる。
・use_motion_transcoding_hints_DSは、〈１ビット〉長であり、動き関連トランスコードヒントメタデータの使用を指示する。
・number_of_regionsは、タイプ〈int〉であり、後続する動き関連トランスコードヒントメタデータが有効である領域の数を示す。
・for_every_regionは、〈１ビット〉長のフィールドで表され、領域が長方形であるか任意の形状であるかを示す。領域が任意の形状である場合、領域記述子（例えば、形状記述子及び動き軌道記述子（motion trajectory descriptor）からなる）を使用する。領域が長方形の場合、長方形領域のサイズを示す記述子を使用する。この領域内の動きフィールドは、各フレーム又はフレームのシーケンスに対する複数のパラメータによって決定されるパラメトリック動きモデルにより記述される。トランスコード処理においては、このソースビデオデータの実際の動きに関する動きデータを用いて、複雑な演算が必要な（再）符号化部の動き推定の探索領域を制限することができ、さらにビデオデータ内の動き量に応じて、高速且つ効率的なインターレース走査／プログレッシブ走査（フレーム／フィールド）変換処理及びＧＯＰ（グループオブピクチャ）構造の決定を行うことができる。動きデータは、ビデオデータのサイズの変換処理にも好適に使用することができる。
【００４８】
図１４は、セグメント別トランスコードヒントメタデータ（例えば、図９に示すセグメント別トランスコードヒントＤＳ９０９、９１０）を示す図である。このメタデータを用いて、本発明に基づき、一定の特性を有するＡ／Ｖセグメントの（再）エンコーダ／トランスコーダの設定を決定することができる。図１４に示すように、このメタデータには、以下のような関連する記述子及び記述スキームが含まれる。
・start_frameは、タイプ〈int〉であり、Ａ／Ｖセグメントのトランスコードヒントメタデータの最初のフレーム番号を記述する。
・nframesは、タイプ〈int〉であり、Ａ／Ｖセグメントの長さを記述する。
・I_frame_locationは、Ａ／Ｖセグメント内のＩフレームの位置に関する複数の可能性を記述する。
・select_one_out_of_the_followingは、サイズが〈２ビット〉であり、以下の４つのＩフレーム位置記述法のうちの１つを選択する。
・first_frameは、サイズが〈１ビット〉であり、デフォルトのＩフレーム位置を示す。このメソッドは、最初のフレームのみがＩフレームであるＡ／Ｖセグメントを記述し、後続の予測のためのアンカ（anchor）として使用され、このＡ／Ｖセグメント内の他のフレームは全てＰフレーム又はＢフレームである。
・List_of_framesは、Ａ／Ｖセグメント内のＩフレームのフレーム番号のリストを示す。このメソッドによれば、Ａ／Ｖセグメント内のＩフレームを任意に記述することができる。このリスト内のｋ個のフレームについて、この記述子のサイズは〈k*int〉である。
・first_frame_and_every_k_framesは、タイプ〈int〉であり、セグメント内の第１のフレームはＩフレームであり、ｋはＡ／Ｖセグメント内のＩフレームの間隔（interval）を記述する。
・no_I_frameは、サイズが〈１ビット〉であり、Ａ／Ｖセグメント内にＩフレームが使用されていないことを示す。この記述子は、Ａ／Ｖセグメントの符号化処理が先行するセグメント内のアンカ（Ｉフレーム）に基づいている場合に有用である。
・quantizer_scaleは、タイプ〈int〉であり、Ａ／Ｖセグメントに対する初期の量子化スケールを記述する。
・target_bitrateは、タイプ〈int〉であり、Ａ／Ｖセグメントのビットレートをビット数／秒で記述する。
・target_min_bitrateは、タイプ〈int〉であり、Ａ／Ｖセグメントの最低の毎秒当たりのビットレートを記述する（この記述子は任意の記述子である）。
・target_max_bitrateは、タイプ〈int〉であり、Ａ／Ｖセグメントの最高の毎秒当たりのビットレートを記述する（この記述子は任意の記述子である。）
・use_transcoding_statesは、サイズが〈１ビット〉であり、Ａ／Ｖセグメントに対してトランスコードヒント状態を使用するか否かを記述する。
・transcoding_state_nrは、タイプ〈int〉であり、セグメントに対するトランスコードヒントメタデータ状態を定義する。トランスコードヒントメタデータ状態は、トランスコードヒント状態テーブルにおけるエントリを指示するポインタである。トランスコードヒント状態テーブルは、複数のエントリを有することができ、さらにトランスコードヒントパラメータにより新たなエントリを追加し又は削除してもよい。単一のトランスコードヒント状態のトランスコードヒントメタデータについては、図１６を用いて後に説明する。
・add_new_transcoding_stateは、サイズが〈１ビット〉であり、関連する情報を有する新たなトランスコード状態をトランスコードヒント状態テーブルに追加する必要があるか否かを記述する。add_new_transcoding_stateが「ｙｅｓ」を示す場合、新たなトランスコードヒント状態のパラメータのリストが与えられる。パラメータリストのサイズは、１つのトランスコードヒント状態のパラメータ数及びトランスコードヒント状態の数により決定される。
・remove_transcoding_stateは、サイズが〈１ビット〉のフラグであり、トランスコード状態を削除するか否かを示す。トランスコード状態を削除してもよい場合、削除されるトランスコード状態の状態番号（タイプ〈int〉）が与えられる。
・use_encoding_complexity_descriptionは、サイズが〈１ビット〉であり、図１５に示すようなより詳細な符号化複雑性記述スキームを使用する必要があるか否かを示す。
【００４９】
図１５は、符号化複雑性トランスコードヒントメタデータ（coding complexity transcoding hints metadata）を示し、このメタデータは、本発明に基づき、Ａ／Ｖコンテンツ全体又は特定のＡ／Ｖセグメントに関連付けることができる。符号化複雑性トランスコードヒントメタデータは、量子化器及びビットレートの設定のレート制御及び決定に使用することができる。
・use_feature_pomtsは、サイズが〈１ビット〉であり、特徴点に基づく複雑性推定データ（complexity estimation data）の使用を示す。
・select_feature_point_methodは、サイズが〈２ビット〉であり、特徴点に関する方法を選択する。
・number_of_new_feature_points_per_frameは、サイズが〈nframes*int〉であり、図３に示すようなフレーム毎の新たな特徴点の数を記述する。このメトリックは、フレーム毎の新たなコンテンツの量を示す。
・feature_point_metricsは、１つのセグメント内のフレーム毎の新たな特徴点に基づくメトリックのリストを記述する。このメトリックは、フレーム毎の新たな特徴点の平均、最大、最小、平方偏差、標準偏差を順番に表す〈int〉値のリストとして表される。
・use_equation_descriptionは、〈int〉ポインタであり、数式に基づいて、フレーム毎の符号化複雑性を記述する。
・use_motion_descriptionは、サイズが〈１ビット〉であり、動きに基づく複雑性記述を使用するか否かを示す。
・select_motion_methodは、サイズが〈４ビット〉であり、動き記述方法を選択する。
・param_k_motionは、サイズが〈nframes*k*int〉であり、包括的パラメトリック動きモデルの各単一のフレーム用のｋ個のパラメータを記述する。
・motion_metricsは、動きベクトルの大きさに基づいてセグメント全体のメトリックのリストを記述する。このメトリックは、マクロブロック動きベクトルの平均、最大、最小、平方偏差、標準偏差を順番に表す〈int〉値のリストとして表される。
・block_motion_fieldは、（m*m）ブロックサイズの動きフィールドの各ベクトルを記述し、サイズが〈nframes*int*size_x*size_y/(m*m)〉を有する。
・use_texture_edge_metricsは、テクスチャ又はエッジメトリックが使用された場合に設定されるサイズが〈１ビット〉のフラグである。
・select_texture_edge_metricsは、サイズが〈４ビット〉であり、以降にどのテクスチャメトリックを使用するかを決定する。
・DCT_block_energyは、１つのブロックの全てのＤＣＴ係数の総和を表し、フレーム内の各ブロックについて定義されている。この記述子のサイズは、〈size_y*サイズ_ｘ*nframes*int/64〉である。
・DCT_block_activityは、ＤＣ係数以外の１つのブロックの全てのＤＣＴ係数の和を定義する。この記述子は、フレーム内の各ブロックに対して定義され、サイズが〈size_y*size_x*nframes*int/64〉を有する。
・DCT_energy_metricは、各ブロックの個別のＤＣＴエネルギに基づいて、セグメント全体のメトリックのリストを記述する。このメトリックは、全ての個別のＤＣＴエネルギメトリックの平均、最大、最小、平方偏差、標準偏差を順番に表す〈int〉値のリストとして表される。この記述子のサイズは〈6*int〉である。この記述子の変形例として、ビデオセグメントの各単一のフレームに対するＤＣＴエネルギメトリックを記述してもよい。
・DCT_activity_metricは、各ブロックの個別のＤＣＴアクティビティ（DCT activities）に基づいて、セグメント全体のメトリックのリストを記述する。このメトリックは、全ての個別のＤＣＴアクティビティメトリックの平均、最大、最小、平方偏差、標準偏差を順番に表す〈int〉値のリストとして表される。この記述子のサイズは〈6*int〉である。この記述子の変形例として、ビデオセグメントの各単一のフレームに対するＤＣＴアクティビティメトリックを記述してもよい。
【００５０】
図１６は、本発明に基づき、Ａ／Ｖコンテンツ全体又は特定のＡ／Ｖセグメントに関連付けることができるトランスコードヒントメタデータを示す図である。このメタデータに関連する記述子及び記述スキームとしては、例えば以下のようなものがある。
・Mは、タイプ〈int〉であり、Ｉフレーム／Ｐフレーム距離を記述する。
・bitrate_fraction_for_Iは、タイプ〈float〉であり、Ａ／Ｖセグメントに対して定義されるＩフレームに使用できるビットレートの割合を記述する。
・bitrate_fraction_for_Pは、タイプ〈float〉であり、Ａ／Ｖセグメントに対して定義されるＰフレームに使用できるビットレートの割合を記述する。Ｂフレーム用のビットレートの割合は、１００％からこれらの割合を引いた残りである。
・quantizer_scale_ratio_I_Pは、タイプ〈float〉であり、ＩフレームとＰフレーム間の量子化スケールの関係（このセグメントに対して定義される）を示す。
・quantizer_scale_ratio_I_Bは、タイプ〈float〉であり、ＩフレームとＢフレーム間の量子化スケールの関係（このセグメントに対して定義される）を示す。なお、ビットレート記述子（bitrate_fraction_for_I<bitrate_fraction_for_P）、quantizer_scale_ratio記述子（quantizer_scale_ratio_I_P、quantizer_scale_ratio_I_B）、又は以下のレート制御パラメータのいずれかは、必ず設けなくてはならない。
・X_I、X_P、X_Bは、frame_vbv_complexitiesであり、それぞれタイプ〈int〉であり、フレーム単位の圧縮ターゲットフォーマット（図１２）の場合に定義される。これらの及び以下の仮想バッファ検証（Virtual Buffer Verifier：ＶＢＶ）複雑性の調整は任意であり、ソースコンテンツの特性及びターゲットフォーマットの定義に応じてレート制御スキームを変更するために使用できる。
・X_I_top、X_P_top、X_B_topは、トップフィールド用のfield_vbv_complexitiesであり、それぞれタイプ〈int〉であり、フィールド単位の圧縮ターゲットフォーマット（図１２）の場合に定義される。
・X_I_bot、X_P_bot、X_B_botは、ボトムフィールド用のfield_vbv_complexitiesであり、それぞれタイプ〈int〉であり、フィールド単位の圧縮ターゲットフォーマット（図１２）の場合に定義される。
【００５１】
以上、本発明を詳細に説明したが、上述の詳細事項は、本発明の主旨及び範囲から逸脱することなく、様々に構造を変更して本発明の方法を実施できることは明らかである。上述の説明に含まれ、添付の図面に示した全ての事項は、例示的なものにすぎず、本発明を限定するものと解釈してはならない。
【００５２】
さらに、請求の範囲は、ここに説明した発明の包括的及び特定の特徴の全てのカバーするものであり、請求の範囲における全ての表現は、この範囲に適合するものと解釈しなくてはならない。
【図面の簡単な説明】
【図１】
様々なＡ／Ｖ端末機器を備えるホームネットワーク環境において本発明に基づくトランスコード処理を行うシステムの構成を示す図である。
【図２】
本発明に基づくトランスコードヒントメタデータの抽出（グループオブピクチャ：ＧＯＰ）を説明する図である。
【図３】
本発明に基づくフレーム毎の新たな特徴点の数に基づくトランスコード状態の選択を説明する図である。
【図４】
本発明に基づく３つの状態を有するトランスコードヒント状態の具体例を示す図である。
【図５】
本発明に基づき、圧縮ソースコンテンツ及び非圧縮ソースコンテンツからトランスコードヒントメタデータを抽出する手法を説明する図である。
【図６】
本発明に基づくビデオセグメント化及びトランスコードヒント状態の選択の手順を説明する図である。
【図７】
本発明に基づき新たなビデオセグメント（又は新たなＧＯＰ）の境界を判定する処理を説明する図である。
【図８】
本発明に基づきトランスコードヒント状態を選択するアルゴリズムを示す図である。
【図９】
トランスコードヒントメタデータの構造的な組織を説明する図である。
【図１０】
汎用トランスコードヒントメタデータ記述スキームの構造的な組織を説明する図である。
【図１１】
本発明に基づくソースフォーマット定義のためのトランスコードヒントメタデータを示す図である。
【図１２】
本発明に基づくターゲットデータ定義のためのトランスコードヒントメタデータを示す図である。
【図１３】
本発明に基づく汎用トランスコードヒントメタデータ表現を示す図である。
【図１４】
本発明に基づくセグメント別トランスコードヒントメタデータ表現を示す図である。
【図１５】
本発明に基づく符号化複雑性トランスコードヒントメタデータを示す図である。
【図１６】 
本発明に基づくトランスコードヒント状態メタデータを示す図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2003527005.tif 000001
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2003527005.tif 000002
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2003527005.tif 000003
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2003527005.tif 000004
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2003527005.tif 000005
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2003527005.tif 000006