(57)【要約】移動中のオブジェクトのモデリング、圧縮効率、および、再構築されたビデオ品質を改善するために、ビデオエンコーダにおけるビデオ符合化および事前処理演算に加えて、例えばアファインモデルのような様々な移動モデルを用いて、デコーダにおいて生じるＦＲＵＣ処理を利用するエンコーダ支援されたフレームレートアップ変換（ＥＡ−ＦＲＵＣ）システム。更に、オブジェクトは、オブジェクトをデコーダデバイス上にレンダするためのエンコードに必要な情報量を低減する方式で識別される。
2009510939.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアデータを処理する方法であって、
第１のビデオフレームおよび第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割することと、
前記第１のビデオフレームおよび前記第２のビデオフレームに関連付けられているモデリング情報を、前記パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定することと、
前記モデリング情報に基づいて補間フレームを生成することと、
前記補間フレームに基づいて、エンコード情報を生成することとを備え、
前記エンコード情報は、前記補間フレームと一時的にともに位置するビデオフレームを生成するために使用される方法。
【請求項２】
前記パーティションのうちの１つにおける少なくとも１つのオブジェクトについてモデリング情報を決定することは、
ブロックベースの移動フィールド推定を決定することと、
前記ブロックベースの移動フィールド推定に基づいて、少なくとも１つのオブジェクトを識別することと、
前記少なくとも１つのオブジェクトのためのアファインモデルを決定することと
を備える請求項１に記載の方法。
【請求項３】
前記少なくとも１つのオブジェクトの境界を識別するために色特性を用いることを更に備える請求項１に記載の方法。
【請求項４】
前記少なくとも１つのオブジェクトの境界を識別するためにテクスチャ特性を用いることを更に備える請求項１に記載の方法。
【請求項５】
前記少なくとも１つのオブジェクトの境界を識別するためにピクセル領域属性を用いることを更に備える請求項１に記載の方法。
【請求項６】
前記パーティションのうちの１つに関連付けられた移動ベクトルエロージョン情報を決定することを更に備え、
前記エンコード情報は、前記移動ベクトルエロージョン情報を備える請求項１に記載の方法。
【請求項７】
前記モデリング情報はアファインモデルを備える請求項１に記載の方法。
【請求項８】
前記アファインモデルは、並進、回転、ずれ、およびスケーリング移動のうちの少なくとも１つを備える請求項７に記載の方法。
【請求項９】
前記モデリング情報は、グローバル移動モデルを備える請求項１に記載の方法。
【請求項１０】
マルチメディアデータを処理する装置であって、
第１のビデオフレームおよび第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割する手段と、
前記第１のビデオフレームおよび前記第２のビデオフレームに関連付けられているモデリング情報を、前記パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定する手段と、
前記モデリング情報に基づいて補間フレームを生成する手段と、
前記補間フレームに基づいて、エンコード情報を生成する手段とを備え、
前記エンコード情報は、前記補間フレームと一時的にともに位置するビデオフレームを生成するために使用される装置。
【請求項１１】
前記決定する手段は、
ブロックベースの移動フィールド推定を決定する手段と、
前記ブロックベースの移動フィールド推定に基づいて、少なくとも１つのオブジェクトを識別する手段と、
前記少なくとも１つのオブジェクトのためのアファインモデルを決定する手段と
を備える請求項１０に記載の装置。
【請求項１２】
前記少なくとも１つのオブジェクトの境界を識別するために色特性を用いることを更に備える請求項１０に記載の装置。
【請求項１３】
前記少なくとも１つのオブジェクトの境界を識別するためにテクスチャ特性を用いることを更に備える請求項１０に記載の装置。
【請求項１４】
前記少なくとも１つのオブジェクトの境界を識別するためにピクセル領域属性を用いることを更に備える請求項１０に記載の装置。
【請求項１５】
前記パーティションのうちの１つに関連付けられた移動ベクトルエロージョン情報を決定する手段を更に備え、
前記エンコード情報は、前記移動ベクトルエロージョン情報を備える請求項１０に記載の装置。
【請求項１６】
前記モデリング情報はアファインモデルを備える請求項１０に記載の装置。
【請求項１７】
前記アファインモデルは、並進、回転、ずれ、およびスケーリング移動のうちの少なくとも１つを備える請求項１６に記載の装置。
【請求項１８】
マルチメディアデータを処理する装置であって、
第１のビデオフレームおよび第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割するように構成された分割モジュールと、
前記第１のビデオフレームおよび前記第２のビデオフレームに関連付けられているモデリング情報を、前記パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定するように構成されたモデリングモジュールと、
前記モデリング情報に基づいて補間フレームを生成するように構成されたフレーム生成モジュールと、
前記補間フレームに基づいて、エンコード情報を生成するように構成されたエンコードモジュールと、
前記エンコード情報をデコーダへ送信するように構成された送信モジュールと
を備える装置。
【請求項１９】
マルチメディアデータを処理する命令を備えた機械読取可能媒体であって、前記命令は、実行されると、前記機械に対して、
第１のビデオフレームおよび第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割することと、
前記第１のビデオフレームおよび前記第２のビデオフレームに関連付けられているモデリング情報を、前記パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定することと、
前記モデリング情報に基づいて補間フレームを生成することと、
前記補間フレームに基づいて、エンコード情報を生成することとをさせ、
前記エンコード情報は、前記補間フレームと一時的にともに位置するビデオフレームを生成するために使用される機械読取可能媒体。
【請求項２０】
マルチメディアデータを処理するプロセッサであって、
第１のビデオフレームおよび第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割し、
前記第１のビデオフレームおよび前記第２のビデオフレームに関連付けられているモデリング情報を、前記パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定し、
前記モデリング情報に基づいて補間フレームを生成し、
前記補間フレームに基づいて、エンコード情報を生成するように構成され、
前記エンコード情報は、前記補間フレームと一時的にともに位置するビデオフレームを生成するために使用されるプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオデータをエンコードする方法および装置に関する。
【背景技術】
【０００２】
今日、様々なフレームレートをサポートするビデオフォーマットが存在する。以下のフォーマットは、現在、最も普及しているものである。毎秒当たりにサポートされているフレーム（ｆｐｓ）順にリストすると、２４（film native）、２５（ＰＡＬ）、３０（一般に、インタレースされたビデオ）、および６０（高解像度（ＨＤ）、例えば７２０ｐ）である。これらのフレームレートはほとんどのアプリケーションに適切であるが、モバイルハンドセットビデオ通信に必要な低帯域幅に達するために、フレームレートは、しばしば、１５、１０、７．５、あるいは３ｆｐｓもの低いレートに落とされる。これら低レートによって、ローエンドデバイスは、ビデオを表示するために、低い計算機能を持つデバイスで可能となるが、結果として得られるビデオ品質は、スムーズな動作ではなく、（スライドショー効果を有する）「ジャーキネス」（jerkiness）を被る。更に、途切れたフレームはしばしば、ビデオにおける移動の全体を正確に追跡しない。例えば、少ないフレームは、例えばスポーツイベントにおいてなされているような「高速動作」ビデオコンテンツ部の間、途切れるはずである。一方、多いフレームは、トークショーにおいてなされているような「低速動作」ビデオコンテンツセグメントの間、途切れるはずである。画像圧縮はコンテンツに依存する。そして、ビデオ圧縮効率を改善するために、符号化されるシーケンスにおける移動特性およびテクスチャ特性を分析し、組み込むことができることが望ましい。
【０００３】
フレームレートアップ変換（ＦＲＵＣ）は、再構築されたビデオのフレームレートを増加するために、ビデオデコーダにおいて、ビデオ補間を用いる処理である。ＦＲＵＣでは、補間フレームは、基準として受信されたフレームを使用して生成される。現在、ＦＲＵＣフレーム補間（以下「補間フレーム」と称する）を実施するシステムは、送信された移動ベクトルの処理と移動補償補間とに基づくアプローチを含む。ＦＲＵＣはまた、様々なビデオフォーマットの間での変換にも使用される。例えば、フィルムとビデオとの間の各カラーフレームレートの違いを調整するフィルム−ビデオテープ転換技術であるＴｅｌｅｃｉｎｅ  ａｎｄ  Ｉｎｖｅｒｓｅ  Ｔｅｌｅｃｉｎｅアプリケーションでは、プログレッシブビデオ（毎秒当たり２４フレーム）が、ＮＴＳＣインタレースビデオ（毎秒当たり２９．９７フレーム）へ変換される。
【０００４】
別のＦＲＵＣアプローチは、移動推定およびブロックベース処理の欠陥によって引き起こされるブロックアーティファクト（block artifact）を低減するために、重み付け適応移動補償補間（ＷＡＭＣＩ：weighted-adaptive motion compensated interpolation）を用いる。このアプローチは、多数の移動補償補間（ＭＣＩ：motion compensated interpolation）イメージの加重合計による補間に基づく。ブロック境界上のブロックアーティファクトはまた、オーバラップブロック移動補償（ＯＢＭＣ：overlapped block motion compensation）と類似した技術を適用することによって、提案された方法において低減される。具体的には、オーバーラップ領域の処理におけるぼかし（blurring）を低減するために、本方法は、移動分析を用いて、ブロック移動のタイプを決定し、それに従ってＯＢＭＣを適用する。実験結果は、提案されたアプローチが、ブロックアーティファクトが著しく低減され、改善された結果を達成することを示す。
【０００５】
また別のＦＲＵＣアプローチは、エンコーダから不正確に送信された任意の移動ベクトルの使用によって引き起こされるアーティファクトを低減するために、ベクトル信頼性分析を用いる。このアプローチでは、フレーム補間のために最も望まれるアプローチを決定するために、送信された移動ベクトルと比較される移動ベクトルを構築するために移動推定が用いられる。移動推定を用いる従来のアップ変換アルゴリズムでは、フレームが補間されるようにする移動ベクトルを構築するために、２つの隣接デコードフレームを用いて、推定処理が実行される。しかしながら、これらのアルゴリズムは、移動予測演算に必要な計算量に対する考慮なく、送信帯域幅の利用を改善することを試みる。それに比べて、送信された移動ベクトルを用いるアップ変換アルゴリズムでは、補間されたフレームの品質は、エンコーダによって導かれる移動ベクトルに大いに依存する。これら２つのアプローチの組み合わせを用いることによって、送信された移動ベクトルは先ず、補間フレームを構築するために利用可能であるかを判定するために分析される。それにしたがって、３つの方法、すなわち、ローカル移動補償補間、グローバル移動補償補間、および、フレーム反復補間の中から、補間に使用される方法が選択される。
【０００６】
ＦＲＵＣ技術は、一般に、ビデオデコーダ内の後処理機能として実施されるが、ビデオエンコーダは一般にこの動作に含まれない。しかしながら、エンコーダ支援されたＦＲＵＣ（ＥＡ−ＦＲＵＣ）と称されるアプローチでは、デコーダが、省略されたベクトルまたは残留データなしでフレームの大部分を自立的に再生成することができる一方で、エンコーダは、移動ベクトルまたは基準フレームに関連するある情報（例えば、残留データ）の送信が省略されてよいかを判定することができる。例えば、双方向的な予測ビデオ符合化方法は、ＭＰＥＧ−２におけるＢ−フレーム符号化に対する改良として導入された。この方法では、移動補償予測符合化において真の移動ベクトルを適用を可能にするために、誤り判定基準を用いることが提案される。歪み測定は、絶対差の合計（ＳＡＤ）に基づくが、歪み測定は、特に、シーケンス内の２つのフレーム間の移動量が定量化される場合において、真の歪み測定を与えるには不十分であると知られている。更に、しきい値における変化が、固定されたしきい値を用いて分類される。この場合、これら分類は、好適にはコンテンツ依存であるので、しきい値は、最適には変数であるべきである。
【０００７】
エンコーダエンハンスト情報を適用するものを含むＦＲＵＣビデオ圧縮技術は、ビデオフレーム内のオブジェクトの移動をモデル化するために、並進移動モデルを用いたブロックベース移動予測を使用する。ブロックベースの移動予測は、ビデオ信号に固有の一時的相関構造を利用する。ブロックベースの移動予測によって使用されるような並進移動モデルは、ビデオキャプチャデバイスのレンズに対して幾分平行な面における並進移動を経る一方で、正確な形状を保っているボディに対し、ビデオ信号における時間的な冗長性を低減または除去することができる。この並進移動モデルは、エンコードされたブロック毎に２つのパラメータを用いる。
【０００８】
移動補償予測と変換符号化とに基づくハイブリッドビデオ圧縮では、ビデオフレームは、並進移動モデルを用いることに従って、従来式エンコーダによって分割される。この分割は、並進移動を行いながら、正確な形状を保持するオブジェクトボディを位置決めするために生成される。例えば、自動車が通り過ぎる間に、カメラに話しかける人のビデオシーケンスは、シーケンス用の固定バックグラウンドを表わす静止画像、話している人の頭を表わすビデオオブジェクト、その人に関連付けられた音声を表わすオーディオオブジェクト、サポートの長方形領域を持つスプライトとして、走行中の車を表す別のビデオオブジェクトを含むオブジェクトへ分割されうる。静止画像上のスプライトの位置は、一時的に移動しうる。
【０００９】
あいにく、並進モデル移動予測は、ブロック毎に２つよりも多いパラメータを必要とする移動中のオブジェクトの移動を正確に予測することも記述することもできない。カメラの移動と、焦点距離変化とが組み合わされた状態で、オブジェクトを独立して移動させることは、移動予測のために効率的に近似される必要がある複雑な移動ベクトルフィールドに至る。従って、（予測エラーとしても知られる）残留信号は、相当な電力を持っているので、そのような移動を含むビデオフレームは、圧縮するのには効率的ではない。そのようなオブジェクトを含むビデオフレームが、ブロックベースの移動予測を用いて補間される場合、ブロック移動ダイナミクスを記述する並進移動モデルフレームワークの制限によって、補間されたフレームの客観的品質および主観的品質ともに低い。更に、並進モデル移動予測に従ってビデオシーケンスが分割される場合、任意の移動および変形を経験するオブジェクトの補間を取り扱うアルゴリズムの効率が制限される。
【００１０】
望ましいことは、補間を実行するための情報を送信するために潜在的に必要な帯域幅の量を減らしながら、移動中のオブジェクトを適切にモデル化する高品質補間フレームをデコーダデバイスにおいて提供し、また、低電力処理に依存するマルチメディアモバイルデバイスに好適になるように、これらフレームを生成するために潜在的に必要な計算量をも減らすアプローチである。
【特許文献１】米国特許公開第２００６／０１６５１７６号
【特許文献２】米国特許公開第２００６／０００２４６５号
【特許文献３】米国特許公開第２００６／００１８３８２号
【発明の開示】
【発明の概要】
【００１１】
（関連出願に対する相互参照）
本特許出願は、（ａ）２００５年９月２７日に出願され、"A METHOD OF ENCODER ASSISTED FRAME RATE UP CONVERSION WITH DIFFERENT MOTION MODELS"と題された仮出願６０／７２１，３７５号と、（ｂ）２００５年９月２７日に出願され、"A METHOD AND APPARATUS FOR ENCODER ASSISTED FRAME RATE UP-CONVERSION"と題された仮出願６０／７２１，３７６号との優先権を主張する。これらはともに、本明細書において、参照によって明確に組み込まれている。
【００１２】
本明細書で開示されるある局面は、移動中のオブジェクトのモデリング、圧縮効率、および、再構築されたビデオ品質を改善するために、ビデオエンコーダにおけるビデオ符合化および事前処理演算に加えて、様々な移動モデルを用いて、デコーダにおいて生じるＦＲＵＣ処理を利用するエンコーダ支援されたフレームレートアップ変換（ＥＡ−ＦＲＵＣ）システムを提供する。
【００１３】
１つの局面では、マルチメディアデータを処理する方法が開示される。この方法は、第１および第２のビデオフレームのうちの少なくとも１つを、複数のパーティションに分割することと、第１および第２のビデオフレームに関連付けられたモデリング情報を、パーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定することと、モデリング情報に基づいて、補間フレームを生成することと、補間フレームに基づいて、エンコード情報を生成することとを備える。ここで、エンコード情報は、一時的に補間フレームとともに位置するビデオフレームを生成するために使用される。
【００１４】
別の局面では、マルチメディアデータを処理する装置が開示される。この装置は、第１および第２のビデオフレームのうちの少なくとも１つを、複数のパーティションに分割する手段と、第１および第２のビデオフレームに関連付けられたモデリング情報を、複数のパーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定する手段と、モデリング情報に基づいて、補間フレームを生成する手段と、補間フレームに基づいて、エンコード情報を生成する手段と備える。ここで、エンコード情報は、一時的に補間フレームとともに位置するビデオフレームを生成するために使用される。
【００１５】
更なる局面では、マルチメディアデータを処理する装置が開示される。この装置は、第１および第２のビデオフレームのうちの少なくとも１つを、複数のパーティションに分割するように構成された分割モジュールと、第１および第２のビデオフレームに関連付けられたモデリング情報を、複数のパーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定するように構成されたモデリングモジュールと、モデリング情報に基づいて、補間フレームを生成するように構成されたフレーム生成モジュールと、補間フレームに基づいて、エンコード情報を生成するように構成されたエンコードモジュールと、エンコード情報をデコーダへ送信するように構成された送信モジュールとを備える。
【００１６】
さらに別の局面では、マルチメディアデータを処理する命令を含む機械読取可能媒体が開示される。この命令は、実行されると、機械に対して、第１および第２のビデオフレームのうちの少なくとも１つを、複数のパーティションに分割させ、第１および第２のビデオフレームに関連付けられたモデリング情報を、複数のパーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定させ、モデリング情報に基づいて、補間フレームを生成させ、補間フレームに基づいて、エンコード情報を生成させる。ここで、エンコード情報は、一時的に補間フレームとともに位置するビデオフレームを生成するために使用される。
【００１７】
さらに別の局面では、マルチメディアデータを処理するプロセッサが開示される。このプロセッサは、第１および第２のビデオフレームのうちの少なくとも１つを、複数のパーティションに分割し、第１および第２のビデオフレームに関連付けられたモデリング情報を、複数のパーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトについて決定し、モデリング情報に基づいて、補間フレームを生成し、補間フレームに基づいて、エンコード情報を生成するように構成される。ここで、エンコード情報は、一時的に補間フレームとともに位置するビデオフレームを生成するために使用される。
【００１８】
他の目的、機能、および利点は、以下の詳細記述から当業者に明白になるであろう。しかしながら、典型的な局面を示している詳細記述および具体例は、例示であって、限定することなく与えられる。以下の記述における多くの変更および変形が、本願の精神から逸脱することなくなされ、この記述は、そのような全ての変形を含むものと理解されるべきである。
【詳細な説明】
【００１９】
エンコーダ支援されたＦＲＵＣ（ＥＡ−ＦＲＵＣ）システムの１つの局面では、本明細書に記載するように、エンコーダは、デコーダ上で使用されるＦＲＵＣアルゴリズムの事前知識に加え、ソースフレームへのアクセスを有する。エンコーダは更に、ソースフレーム内で移動中のオブジェクトを正確にモデル化するために、並進移動モデルを含む様々な移動モデルを用いるように構成される。エンコーダは、生成された補間フレームを用いて、ＦＲＵＣを実行しているデコーダを支援し、かつ、補間中になされる決定を改善するために、追加情報を送信する。ＦＲＵＣがデコーダにおいて行なわれるだろうということを知っていることを活用して、ＥＡ−ＦＲＵＣシステムは、圧縮効率の改善（もって、送信帯域幅の利用の改善）と、再構築された移動オブジェクトの表示を含む再構築ビデオ品質の改善とを行うために、ビデオエンコーダにおいて、様々な移動モデル、ビデオ符合化、および事前処理演算を利用する。具体的には、エンコーダから、例えばアファイン（affine）移動モデルのような様々な移動モデルが、エンコーダ支援されたＦＲＵＣにおいて移動モデリング情報が使用されるように、通常、エンコーダによって送信され、デコーダに提供される情報を補足または交換する。
【００２０】
１つの局面では、エンコーダによって提供される情報は、ＦＲＵＣ処理によって生成された補間フレームおよび通常予測（normal predicted）（ＢまたはＰ）フレーム符合化に関する差分情報に加えて、デコーダによって補間されるイメージの空間的（例えば、リファインメント、モード決定、近隣特性）および時間的（例えば、移動ベクトル判定）特性のようなパラメータを含む。エンコーダによって提供される情報は更に、オリジナルビデオストリームからの移動オブジェクトを正確かつ効率的に表すように選択される様々な移動モデルを含む。
【００２１】
いくつかの移動予測技術は、並進移動に加えて、ビデオ圧縮にも使用することができる。更なる移動タイプは、回転移動、ズームインおよびズームアウト動作、変形を含む。ここで、シーンオブジェクトの構造および形態（morphology）における変化は、剛体仮説、アファイン移動、グローバル移動、およびオブジェクトベース移動に反する。アファイン移動モデルは、並進移動、回転移動、ずれ（shearing）、変形、および、ズームインやズームアウトシナリオで使用するためのオブジェクトスケーリングを含む多くの移動タイプをサポートする。アファイン移動モデルは、並進モデルよりも用途が広い。なぜなら、アファイン移動モデルは、その他の移動タイプも組み込んでいるからである。アファイン移動モデルは、回転、スケール、およびずれを考慮して、エンコードブロック当たり６つのパラメータを使用する。従って、これによって、シーンにおけるオブジェクトの実際の動的な移動に対するより高度な適応が可能となる。
【００２２】
オブジェクトベースの移動予測技術は、異なる移動タイプを経験する多くのオブジェクトを含むシーンに対するビデオフレームについて使用される。これらの状況では、単一の移動モデルでは、異なるダイナミクスを効率的にキャプチャできないだろうが、その代わり、多くのモデルを使用することができる。この場合、個々のモデルは、シーン内の各オブジェクトについて個別にカスタマイズされる。
【００２３】
本明細書で説明するエンコーダデバイスのある局面は、エンコーダデバイスによってエンコードされるデータをデコードするために使用されるデコーダデバイスの特性を評価し、フレームを補完する場合、デコーダデバイスにおける圧縮効率、パフオーマンス、およびオブジェクトレンダリングを改善するために、ビデオデータのエンコードを最適化する。例えば、デコーダデバイスは、ＦＲＵＣまたは誤り隠蔽を改善することができる。１つの局面では、ビデオフレームは、一般に、非同一サイズ領域および非同一形状領域に基づく挙動、時間的変化ダイナミクス、または一意に識別可能なオブジェクトからなる集合へ分割される。ある局面によれば、エンコーダデバイスは、グローバルな移動を見つけるために、（可変期間のセグメント内の）ビデオデータを分析する。グローバルな移動が見つけられるところでは、関連するモデルパラメータおよび信号が、例えばアファイン移動モデルのような様々な移動モデルを用いて推定される。その後、アファイン移動モデルが生成される。これは、各オブジェクトまたはパーティションに対する並進、回転、スケール、および形態の変化を記述する。関連するモデルを伴うパーティション情報は、その後、残留信号の電力を低減することができる予測信号を生成するために使用されうる。タイプおよびパラメータ情報を含む関連モデルを伴うパーティションマップが、デコーダデバイスへ送信される。残留信号は別々に圧縮され、より高品質の再構築を可能にするデコーダデバイスにも送られうる。ある局面では、その後、デコーダデバイスは、修正された並進移動モデルフレームワーク内で、エンコードされた移動モデルに関する情報を用いて、エンコード済データを分析することができる。
【００２４】
ある局面は、オブジェクトを識別する処理を記載する。この処理は、デコーダデバイス上にオブジェクトをレンダするためのエンコードに必要な情報量を大幅に低減する。これら局面のうちの幾つかでは、１つのバックグランドオブジェクトと、任意の数のフォアグランドオブジェクトとが、イメージセグメンテーション、グラフベース技術、または、シーン合成情報を用いて識別される。その後、バックグランドオブジェクトが分類される。上述した２ステップを備えたオブジェクトベースのシーン分析が一旦実行され、ビデオシーケンスのサブセグメント、または、ビデオシーケンスの全体に対して完了すると、各オブジェクトの進展およびその動的挙動が、適切な移動−変形モデルによって記述される。例えば、一律な並進移動をするオブジェクトの場合、（公称フレーム間持続に関して規格化された）移動ベクトルによって単純に全体経路を記述することができる。このオブジェクトの単一スナップショットのビジュアルデータと結合された情報は、このオブジェクトがシーンから出て行くまで、または、その移動特性または視覚的特性の幾つかが変化するまで、このオブジェクトをデコーダデバイス上に正しくレンダするために使用される。このオブジェクトの移動特性または視覚的特性のうちの１つにおける変化が、このオブジェクトの最小の非一律な時間的サンプリングパターンを識別するために使用されうる。同様の方法で、やや複雑な移動経路およびオクルージョン（occlusion）属性が、シーン内の以前に識別されたオブジェクトについて決定される。
【００２５】
次の記載では、局面の完全な理解を与えるために、具体的詳細が与えられる。しかしながら、これら局面は、これらの具体的な詳細なしでも実現されうることが当業者によって理解されるだろう。例えば、局面が必要以上に詳しく記載されることによって不明確にならないように、電子部品がブロック形式で示される。他のインスタンスでは、そのような部品、その他の構成および技術は、局面を更に説明するために詳細に示されうる。
【００２６】
これら局面は、フローチャート、フロー図、構造図、またはブロック図として示されるプロセスとして記載されうることについても注目されたい。フローチャートは、動作を連続的な処理として記載するかもしれないが、動作の多くは、平行して、または同時に行うことができ、処理が繰り返されることもある。更に、動作の順序は、再調整されうる。その動作が完了すると、処理が終了する。処理は、方法、機能、手順、サブルーチン、サブプログラム等に相当しうる。処理が機能に相当する場合、その終了は、呼出機能あるいは主機能への機能のリターンに相当する。
【００２７】
図１Ａは、ストリーミングビデオの配信のための１つの局面に従い、様々な移動モデルを用いる、エンコーダ支援されたフレームレートアップ変換（ＥＡ−ＦＲＵＣ）システムを実現する通信システムの例を例示する。システム１００は、エンコーダデバイス１０５およびデコーダデバイス１１０を含んでいる。
【００２８】
エンコーダデバイス１０５は、フレームジェネレータ１１５、モデラ（modeler）１２０、パーティショナ（partitioner）１６０、マルチメディアエンコーダ１２５、メモリコンポーネント１３０、プロセッサ１３５、および受信機／送信機１４０を含んでいる。一般に、プロセッサ１３５は、典型的なエンコーダデバイス１０５の全体動作を制御する。
【００２９】
パーティショナコンポーネント１６０は、移動モデルが、ビデオフレームのサブセット領域に関連付けられるように、ビデオフレームを異なるブロックに分割する。移動−変形情報の分析は、送信されたフレームのデータに基づいて補間されるフレームとは対照的に、最初のシーン／フレームをセグメント化するために首尾よく使用され、圧縮され送信される必要のあるフレームの時間的な最小のサンプリングを決定するために使用される。ある局面では、サンプリングインスタンスの（最小）数は、移動−変形ダイナミクスがいつ変化を受けるかに基づく。従って、適切なフレーム補間は、移動−変形ダイナミクスの適切なセグメント化に基づいて実行されうる。
【００３０】
モデラコンポーネント１２０は、移動モデルを決定し、この移動モデルを、シーンを構成しているビデオフレーム内で見つかったオブジェクトに関連付けるように構成される。
【００３１】
フレームジェネレータコンポーネント１１５は、エンコーダデバイス１０５によって送信されたデータをデコードするために使用されるデコーダについての情報と同様、オリジナルのビデオストリームからのデータを使用して、補間フレームを生成する。補間フレームを生成するためのシステムおよび方法は、その全体が本明細書に組み込まれている"Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression"と題された米国特許公開２００６／０１６５１７６号（特許文献１）で説明されている。
【００３２】
マルチメディアエンコーダ１２５は、ビデオ（または、オーディオまたはクローズドキャプションテキスト）データを、空間領域から、例えばＤＣＴ（離散コサイン変換）の場合においては周波数領域のような別の領域へと変換および／または量子化する変換／量子化コンポーネントを含むサブコンポーネントを含む。マルチメディアエンコーダは更に、エントロピエンコーダコンポーネントを含むこともできる。エントロピエンコーダコンポーネントは、コンテクスト適応性のある可変長コーディング（ＣＡＶＬＣ）を使用することができる。エンコードされたデータは、量子化データ、変換データ、圧縮データ、あるいはそれらの任意の組み合せを含むことができる。メモリコンポーネント１３０は、例えば、エンコードされる生ビデオデータ、送信されるエンコード済ビデオデータ、ヘッダ情報、ヘッダ宛先、または、様々なエンコーダコンポーネントで操作される中間データのような情報を格納するために使用される。
【００３３】
この例では、送信機／受信機コンポーネント１４０は、エンコードされるデータを外部ソース１４５から受信するための回路および／またはロジックを含んでいる。外部ソース１４５は、例えば、外部記憶装置、インターネット、ライブビデオ、および／またはオーディオフィードであり、これらデータの受信は、有線通信および／または無線通信によるものを含むことができる。送信機１４０は更に、エンコードされたデータをネットワーク１５０を介して送信（Ｔｘ）する、例えば送信機のようなロジックおよび／または回路をも含む。ネットワーク１５０は、例えば、電話、ケーブル、および光ファイバのような有線システム、または無線システムの一部でありうる。無線通信システムの場合、ネットワーク１５０は、例えば、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部を備える。あるいは、その代わりに、このシステムは、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭＡ）システム、例えばサービス業界のためのＴＥＴＲＡ(Terrestrial Trunked Radio)モバイル電話技術やＧＳＭ／ＧＰＲＳ（汎用パケット無線システム）／ＥＤＧＥ（エンハンストデータＧＳＭ環境）のような時分割多元接続（ＴＤＭＡ）システム、広帯域符号分割多元接続（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯあるいは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、または、これら技術を組み合わせた任意の無線通信システムでありうる。送信されたデータは、例えばビデオ、オーディオ、および／またはクローズドキャプションのような多くのビットストリームを含みうる。
【００３４】
図１に示すエンコーダデバイス１０５の１または複数の要素は、省略、再配列、および／または結合できることが注目されるべきである。例えば、プロセッサコンポーネント１３５は、エンコーダデバイス１０５の外部にあっても良い。
【００３５】
デコーダデバイス１１０は、マルチメディアデコーダ１６５、メモリコンポーネント１７０、受信機１７５、およびプロセッサ１８０を含んでおり、エンコーダデバイス１０５と同様のコンポーネントを含んでいる。デコーダデバイス１１０は、ネットワーク１５０を介して送信されたか、あるいは、外部記憶装置１８５から送信されたエンコード済マルチメディアデータを受信する。受信機１７５は、エンコード済データを外部記憶装置１８５から受信するロジックと同様に、ネットワーク１５０を介してエンコード済データを受信（Ｒｘ）するために使用される回路および／またはロジックを含む。外部記憶装置１８５は、例えば、外部ＲＡＭまたはＲＯＭ、あるいは遠隔サーバでありえる。
【００３６】
マルチメディアデコーダ１６５は、受信したエンコード済マルチメディアビットストリームをデコードする際に使用される回路および／またはロジックを含む。マルチメディアデコーダ１６５のサブコンポーネントは、逆量子化コンポーネント、逆変換コンポーネント、および様々な誤り復元コンポーネントを含みうる。誤り復元コンポーネントは、（例えば、Reed-Solomon符号化および／またはTurbo符号化のような）低レベルの誤り検知コンポーネントおよび修正コンポーネントを含みうる。また、低次レイヤ方法によって修正されないデータの交換および／または隠蔽のために使用される高次レイヤ誤り復元および／または誤り隠蔽を含みうる。
【００３７】
デコードされたマルチメディアデータは、ディスプレイコンポーネント１９０を用いて表示され、外部記憶装置１８５または内部メモリコンポーネント１７０内に格納されうる。ディスプレイコンポーネント１９０は、デコーダデバイス１１０の統合部分になりえる。ディスプレイコンポーネント１９０は、ディスプレイスクリーンおよび／またはスピーカを含むビデオおよび／またはオーディオディスプレイハードウェアおよびロジックのような部品を含む。ディスプレイコンポーネント１９０は、外部周辺デバイスでもありうる。この例では、受信機１７５はまた、デコードされたマルチメディアデータを外部記憶コンポーネント１８５またはディスプレイコンポーネント１９０へ通信するために使用されるロジックをも含む。
【００３８】
図１に示すデコーダデバイス１１０の１または複数の要素は、省略、再配列、および／または結合できることが注目されるべきである。例えば、プロセッサ１８０はデコーダデバイス１１０の外部にあっても良い。
【００３９】
図１Ｂは、ストリーミングビデオの配信のための１つの局面に従い、様々な移動モデルを用いるように構成されたＥＡ−ＦＲＵＣデバイス１５５の例を例示する。様々な移動モデルを使用するように構成されたＥＡ−ＦＲＵＣデバイス１００は、第１および第２のビデオフレームを分割するモジュール１６１、モデリング情報を決定するモジュール１２１、補間フレームを生成するモジュール１１６、および、エンコード情報を生成するモジュール１２６を含む。
【００４０】
１つの局面では、第１および第２のビデオフレームのうちの少なくとも１つを複数のパーティションに分割する手段が、第１および第２のビデオフレームを分割するモジュール１６１を備える。１つの局面では、複数のパーティションのうちの少なくとも１つにおける少なくとも１つのオブジェクトのモデリング情報を決定する手段が、モデリング情報を決定するモジュール１２１を含む。１つの局面では、モデリング情報に基づいて補間フレームを生成する手段が、補間フレームを生成するモジュール１１６を含む。１つの局面では、補間フレームに基づいてエンコード情報を生成する手段が、エンコード情報を生成するモジュール１２６を含む。
【００４１】
図２は、様々な移動モデルを用いるように構成された図１ＡのＥＡ−ＦＲＵＣシステムの動作を図示するフロー図である。先ず、ステップ２０１では、図３を参照して更に詳細に説明するように、オブジェクトベースのモデリング情報と、デコーダデバイスに関する情報とを用いて、ビデオデータが、アップサンプリングのためにエンコードされる。次に、ステップ２０２では、エンコードされた情報が、デコーダデバイス１１０へ送信される。ある局面では、エンコードされた情報が、エンコードデバイス１０５の送信機モジュール１４０から、デコーダデバイス１１０の受信機１７５へと送信される。ステップ２０３では、エンコードされた情報を受信すると、エンコードされた情報を、デコーダデバイス１１０がデコードし、エンコードされたオブジェクトベースのモデリング情報を用いて、オリジナルビデオデータの圧縮バージョンを再生してこの処理を完了する。ステップ２０３は、図６を参照して更に説明される。
【００４２】
図３は、オブジェクトベースのモデリング情報およびデコーダ情報を用い、アップサンプリングのためのビデオデータをエンコードすることを例示するフロー図である。まず、ステップ３０１では、図４に更に詳しく説明するように、ビデオフレーム内のオブジェクトについてモデリング情報が決定される。次に、ステップ３０２では、エンコードされたビデオを更にアップサンプルするために、エンコードされたビデオデータをデコードするために使用されることが意図されたデコードシステムに関する情報が使用される。最後に、ステップ３０３では、本明細書においてその全体が明確に組み込まれている"Method and Apparatus for Using Frame Rate Up Conversion Techniques in Scalable Video Coding"と題された米国特許公開第２００６／０００２４６５号（特許文献２）に記載されているように、エンコードされたビデオビットストリームが生成される。
【００４３】
図４は、本発明の１つの局面に従い、ビデオフレーム内のオブジェクトのためのモデリング情報を決定することを例示するフロー図である。図示された局面では、移動中のオブジェクトは、任意の移動および変形をしているオブジェクトを認識するために、本明細書で開示された有利な技術を用いて識別される。他の局面では、当該技術において知られているように、移動補償予測と変換符号化とに基づくハイブリッドビデオ圧縮スキームを、各ビデオフレームへユニークに適用することによってオブジェクトが識別されうる。更に、例示された局面では、使用されたアファインモデルが、ビデオフレームの一部をカバーする。これは、一般に、オブジェクトベースのアファインモデルまたはローカルＧＭＣと称される。この場合、エンコーダデバイス１０５は、移動中のオブジェクトを位置決めするために、オブジェクトセグメント化を実行する。その後、アファインモデル自身とオブジェクト記述子との両方を用いて、アファインモデル推定が更新される。例えば、２進法のビットマップが、ビデオフレーム内に記述されたオブジェクトの境界を示しうる。アファインモデルがビデオフレーム全体をカバーする局面では、グローバル移動補償（ＧＭＣ：Global Motion Compensation）が使用される。ＧＭＣの場合、アファインモデルモニタリングに使用される６つのパラメータが、フレームの移動を記述するために用いられ、ビットストリーム内に埋め込まれたその他任意の移動情報無く、デコーダデバイス１１０へ送信される。更なる局面では、アファイン移動モデル以外の移動モデルが使用されてもよい。
【００４４】
まず、ステップ４０１では、ビデオフレームがブロックに分割される。ある局面では、ブロックは、固定されたサイズおよび形状からなる。他の局面では、フレームは、顕著な移動−変形挙動、領域内の時間的変化ダイナミクス、一意に識別可能なオブジェクトを含む要因のうちの１または組み合わせに基づいて、非一様サイズおよび／または非一様形状のブロックへ分割されうる。
【００４５】
次に、ステップ４０２では、１つのバックグランドオブジェクトが識別され、ゼロまたはそれより多いフォアグランドオブジェクトが識別される。ある局面では、イメージセグメンテーションを用いて識別がなされうる。イメージセグメンテーションは、領域ベースの方法と関連した例えば、平均、分散、標準偏差、最小−最大、メジアン、およびその他の属性の統計量のみならず、しきい値と関連した例えば輝度や色値のようなピクセル領域属性を分析することを含む。他の局面では、例えばMarkov Random FieldsまたはFractalsのようなテクスチャモデルを用いて識別がなされうる。またその他の局面では、グラジエントイメージにおけるWatershed変換や、形状モデルを含むエッジ／輪郭検出を用いて識別がなされうる。更なる局面では、一般に、アクティブ輪郭モデルと称される、接続−保存（connectivity-preserving）リラクゼーションベースのセグメンテーション方法を用いて識別がなされうる。他の局面では、例えば移動フィールドのような時間的情報を用いて識別がなされうる。ある局面では、イメージセグメンテーションは、統一されたフレームワーク内で、上述したイメージセグメンテーションアプローチのうちの幾つかまたは全ての組み合わせを用いて引き起こりうる。
【００４６】
その他のある局面では、オブジェクトは、例えば、ローカルおよびグローバル、意味論的および統計的（強度／テクスチャ）なグルーピングキューを用いるように、グラフベースの技術を用いることによって識別されうる。更なる局面では、上述したオブジェクトの識別は、オーサリングツールから利用することが可能なシーン合成情報を用いてなされうる。ある局面では、バックグランドオブジェクトと任意のフォアグランドオブジェクトとが、統一されたフレームワーク内で、上述した識別アプローチのうちの幾つかまたは全ての組み合わせを用いて識別されうる。
【００４７】
そして、ステップ４０３では、バックグランドオブジェクトが分類される。ある局面では、バックグランドオブジェクトは、静止画像として分類されうる。この場合、バックグランドオブジェクトのうちの１つの伝送で、デコーダデバイス１１０における将来のフレーム補間および／またはデコード／再構築タスクのために十分である。他の局面では、バックグランドオブジェクトは、例えばパン、スクロール、回転、ズームインまたはズームアウト動作のようなグローバルな移動を経験する静止（またはほとんど固定）画像として分類されうる。この場合、エンコーダデバイス１０５は、グローバル移動モデルの記述とともにバックグランドイメージの一定のサンプル状態を送信することを適切に選択する。その送信は、デコーダデバイス１１０におけるフレーム補間および／またはデコード／再構築タスクのために十分である。更なる局面では、バックグランドオブジェクトの分類は、上記２つのクラスのうちの何れにも属さないかもしれない。この場合、デコーダデバイス１１０における正しいフレーム補間および／またはデコード／再構築をサポートするために、バックグランドイメージの状態のより密な時間的サンプリングが、エンコーダデバイス１０５によって送信されうる。
【００４８】
次に、ステップ４０４では、ビデオデータから識別されたオブジェクトのための移動ベクトル情報が処理される。この移動ベクトル情報は、本明細書で参照によってその全体が明確に組み込まれている"Method and Apparatus for Motion Vector Processing"と題された米国特許公開第２００６／００１８３８２号（特許文献３）で開示されたシステムおよび方法を用いて処理される。ステップ４０５では、推定されたアファインモデルが、移動中のオブジェクトに関連付けられる。アファインモデルは、少なくとも、ピースワイズ平面移動ベクトルフィールド近似の性能低下に基づいて推定されうる。識別された各動作オブジェクトに関連付けられた各アファインモデルは、図５を参照して更に詳細に説明されているような移動ベクトルエロージョン情報を用いるステップ４０６で識別される。その後、移動ベースのオブジェクトセグメンテーションを用いて、ステップ４０７において更に指定される。このような更なる指定は、ステップ４０８において、各アファインモデルを更新するために使用され、ステップ４０９において、オブジェクト記述子が、アファインモデルのために生成された時、処理が最終的に完了する。
【００４９】
図５は、アファインモデルを用いて、ビデオフレーム内のオブジェクトのための移動ベクトルエロージョン情報を決定することを例示するフロー図である。先ずステップ５０１では、エンコーダデバイス１０５が、移動中のオブジェクトと関連付けるためのアファインモデルを決定する。その後、エンコーダデバイス１０５は、ステップ５０２において、ビデオフレームのオブジェクトマップの第１のマクロブロックへ移動する。そして、ステップ５０３では、オブジェクトマップの各マクロブロックが対象とされ、判定状態５０４では、エンコーダデバイス１０５が、ステップ５０１で決定されたアファインモデルとマクロブロックとが一致するかを判定する。マクロブロックがアファインモデルと一致する場合、ステップ５０５において、アファインモデルベースオブジェクトマップが、一致しているマクロブロックを用いて更新される。そして、ステップ５０６では、エンコーダデバイス１０５が、ステップ５０３へ戻ることによって、次のマクロブロックに移る。しかしながら、マクロブロックがアファインモデルと一致しない場合、デコーダデバイスは、直ちにステップ５０６に進み、ステップ５０３へ戻ることによって、次のマクロブロックに移る。全てのマクロブロックの処理が終わると、処理が完了する。
【００５０】
異なる移動モデルを用いたＥＡ−ＦＲＵＣが、デコーダデバイス内で実施されるようにするために、デコーダデバイスにおいて、並進モデルを用いるブロックベースの移動補償が（デバイスのソフトウェア態様またはハードウェア態様によって）広く展開されているが、エンコーダデバイス１０５からの移動情報が、並進ブロックベースの移動ベクトルフレーム内で記述される。ある局面では、デコーダデバイス１１０の並進ブロックベースの移動フレームワーク内の異なる移動モデルを記述する処理は、より大きなブロックサイズのための移動ベクトルを生成するために、より小さなブロックサイズからなるブロック移動ベクトルについて反復的に実行されうる。
【００５１】
ビデオビットストリーム内でエンコードされた移動モデルについての情報を用いて、デコーダデバイス１１０は、オリジナルのビデオにおけるオブジェクトを表示するために使用される多くのピクセルのうちの一部を用いて選択された移動中のオブジェクトのための移動ベクトルを生成する。ある局面では、選択されたピクセルは、ブロック内に均一に分布される。他の局面では、ピクセルは、ブロックからランダムに選択することができる。
【００５２】
ある局面では、その後、ブロックのうちの複数の移動ベクトルが組み合わされ、ブロックを表す単一の移動ベクトルが生成される。そして、その移動ベクトルは、上述したように、例えばベクトル平滑化のような後処理がなされる。他の局面では、選択されたピクセルまたはオブジェクトの移動ベクトルは、興味のあるブロックを代表する移動ベクトルを生成するために、移動推定モジュールのためのシード移動ベクトルとして使用することができる。
【００５３】
図６は、本発明のある局面に従って、並進移動モデルフレームワーク内で移動モデルをデコードするように構成されたデコーダデバイスを使って、オブジェクトベースのモデリング情報とデコーダ情報とを用いてアップサンプルされたエンコード済ビデオデータビットストリームをデコードすることを示すフロー図である。
【００５４】
ステップ６０１では、デコーダデバイス１１０が、２つの基準フレームを含むビデオビットストリームのエンコード済情報を受信する。次に、判定状態６０２では、ビットストリームがエンコーダエンハンスト補間フレームを含んでいるかを、デコーダデバイス１１０が判定する。エンコーダエンハンスト補間フレームが含まれている場合、ステップ６０３において、デコーダデバイスは、補間フレームと一時的にともに位置するビデオフレームを生成するために、基準フレームに加えて、様々な移動モデルに関連するエンコーダエンハンスト情報を含む補間フレームを用いる。言い換えれば、デコーダデバイスは、補間フレームの場所をとるビデオフレームを生成するために、関連する基準フレームとともに、エンコーダエンハンスト補間フレームを用いる。しかしながら、ステップ６０２において、デコーダデバイス１１０が、エンコーダエンハンスト補間フレーム情報が、ビットストリーム内に組み込まれていないと判定すると、ステップ６０４において、デコーダデバイス１１０が、双方向フレーム（Ｂフレーム）を生成するために、基準フレームを用いるであろう。
【００５５】
当業者であれば、情報および信号が、様々な異なる技術のうちの何れかを用いて表されることを理解するだろう。例えば、上述した記載の全体で引用されているデータ、指示、命令、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光学場または光学微粒子、あるいはこれら何れかの組み合わせによって表現されうる。
【００５６】
当業者であれば、更に、ここで開示された実施形態に関連して記載された様々な説明的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子工学ハードウェア、コンピュータソフトウェア、あるいはこれらの組み合わせとして実現されることを理解するであろう。ハードウェアとソフトウェアとの相互互換性を明確に説明するために、様々に例示された部品、ブロック、モジュール、回路、およびステップが、それらの機能に関して一般的に記述された。それら機能がハードウェアとして又はソフトウェアとして実現されているかは、特定のアプリケーション及びシステム全体に課せられている設計制約に依存する。当業者であれば、各特定のアプリケーションに応じて変更した方法で上述した機能を実施しうる。しかしながら、この適用判断は、開示した方法の範囲から逸脱させるものとして解釈されるべきではない。
【００５７】
ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
【００５８】
ここで開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、これらの組み合わせによって具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。典型的な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在しうる。
【００５９】
開示された実施形態における上述の記載は、当該技術分野におけるいかなる人であっても、本発明の活用または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当業者に対しては明らかであって、ここで定義された一般的な原理は、本発明の主旨または範囲を逸脱せずに他の実施形態にも適用されうる。
【図面の簡単な説明】
【００６０】
【図１Ａ】図１Ａは、ストリーミングビデオの配信のための１つの局面に従い、様々な移動モデルを用いる、エンコーダ支援されたフレームレートアップ変換（ＥＡ−ＦＲＵＣ）システムを実現する通信システムの例を例示する。
【図１Ｂ】図１Ｂは、ストリーミングビデオの配信のための１つの局面に従い、様々な移動モデルを用いるように構成されたＥＡ−ＦＲＵＣデバイスの例を例示する。
【図２】図２は、様々な移動モデルを用いるように構成された図１ＡのＥＡ−ＦＲＵＣシステムの移動を図示するフロー図である。
【図３】図３は、オブジェクトベースのモデリング情報およびデコーダ情報を用い、アップサンプリングのためのビデオデータをエンコードすることを例示するフロー図である。
【図４】図４は、本発明の１つの局面に従い、ビデオフレーム内のオブジェクトのためのモデリング情報を決定することを例示するフロー図である。
【図５】図５は、アファイン（affine）モデルを用いて、ビデオフレーム内のオブジェクトのための移動ベクトルエロージョン情報を決定することを例示するフロー図である。
【図６】図６は、本発明のある局面に従って、並進移動モデルフレームワーク内で移動モデルをデコードするように構成されたデコーダデバイスを使って、オブジェクトベースのモデリング情報とデコーダ情報とを用いてアップサンプルされたエンコード済ビデオデータビットストリームをデコードすることを示すフロー図である。
【図１Ａ】
2009510939.tif 000003
【図１Ｂ】
2009510939.tif 000004
【図２】
2009510939.tif 000005
【図３】
2009510939.tif 000006
【図４】
2009510939.tif 000007
【図５】
2009510939.tif 000008
【図６】
2009510939.tif 000009
【国際調査報告】
2009510939.tif 000010
2009510939.tif 000011
2009510939.tif 000012