(57)【要約】ピクチャを含むビデオ信号の符号化は、ピクチャに基づく知覚表象の生成を含む。参照ピクチャを選択して、知覚表象および参照ピクチャに基づき動きベクトルを生成する。動きベクトルおよび参照ピクチャのポインタが符号化されたビデオ信号に提供される。復号化は、参照ピクチャの知覚表象に基づいて参照ピクチャのポインタおよび動きベクトルの受信を含むことができる。符号化されたビデオ信号のピクチャの復号化は、ポインタを使用した参照ピクチャの選択と、動きベクトルおよび選択された参照ピクチャに基づいた予測ピクチャの判定を含むことができる。復号化は、予測ピクチャおよび残差ピクチャから再構成されたピクチャの生成を含むことができる。
2015506144.tif 000002
【特許請求の範囲】
【請求項１】
符号化システムであって、
ピクチャを含むビデオシーケンスのオリジナルピクチャを含むビデオ信号を受信するように構成されているインターフェースと、
プロセッサであって、
受信したオリジナルピクチャに基づいてターゲット知覚表象を生成し、
複数の参照ピクチャから参照ピクチャを選択し、
前記ターゲット知覚表象および前記参照ピクチャに基づいて動きベクトル情報を判定し、
判定された動きベクトル情報を符号化し、
前記参照ピクチャに関連するポインタを符号化するように構成されている前記プロセッサとを備え、
前記動きベクトル情報は、前記参照ピクチャおよび前記ターゲット知覚表象の属性に基づいて判定される、符号化システム。
【請求項２】
前記プロセッサは、前記参照ピクチャから複数の参照知覚表象を生成し、前記複数の参照知覚表象を使用して前記動きベクトル情報を判定するように構成される、請求項１に記載のシステム。
【請求項３】
前記プロセッサは、
それぞれのオリジナルピクチャに基づいて空間詳細マップを生成し、
それぞれ生成された空間詳細マップに基づいて符号情報を判定し、
それぞれ生成された空間詳細マップに基づいて絶対値情報を判定し、
判定された符号情報および判定された絶対値情報を処理して、それぞれ生成されるターゲット知覚表象を形成することにより、
前記ターゲット知覚表象を生成するように構成される、請求項１に記載のシステム。
【請求項４】
生成された空間詳細マップは、前記オリジナルピクチャの画素に関連する値を含む、請求項３に記載のシステム。
【請求項５】
生成された空間詳細マップは、それぞれのオリジナルピクチャの特徴の人間の知覚可能性モデルを使用して判定される値を含む、請求項３に記載のシステム。
【請求項６】
前記プロセッサは、
それぞれ生成された空間詳細マップに基づいて絶対値のマップを判定し、
圧伸係数、それぞれ判定された絶対値マップおよびそれぞれ生成された空間詳細マップに基づいて、圧伸された絶対値の空間詳細マップを生成することにより、
前記絶対値情報を判定するように構成される、請求項３に記載のシステム。
【請求項７】
前記ビデオシーケンスの前記オリジナルピクチャは、前記ビデオシーケンスのピクチャの遷移シーケンス内にある、請求項１に記載のシステム。
【請求項８】
前記遷移シーケンスは、前記ビデオシーケンスの複数のピクチャ内のピクチャの変化するコントラスト属性および変化する明るさ属性のうちの少なくとも１つによって特徴付けられる、請求項７に記載のシステム。
【請求項９】
符号化方法であって、
ピクチャを含むビデオシーケンスのオリジナルピクチャを含むビデオ信号を受信すること、
受信したオリジナルピクチャに基づいてターゲット知覚表象を生成すること、
複数の参照ピクチャから参照ピクチャを選択すること、
プロセッサを利用して、前記ターゲット知覚表象および前記参照ピクチャに基づいて動きベクトル情報を判定することであって、前記動きベクトル情報は、前記参照ピクチャおよび前記ターゲット知覚表象の属性に基づいて判定される、前記動きベクトル情報を判定すること、
判定された動きベクトル情報を符号化すること、
参照ピクチャに関連したポインタを符号化することを備える、符号化方法。
【請求項１０】
請求項９に記載の方法を実行するためにコンピュータ読取可能命令を格納する非一時的なコンピュータ読取可能媒体（ＣＲＭ）。
【請求項１１】
復号化システムであって、
インターフェースであって、
ピクチャを含むビデオシーケンスからのオリジナルピクチャに基づいたターゲット知覚表象と、前記ターゲット知覚表象に関連する参照ピクチャとに基づいている動きベクトル情報を受信し、
前記参照ピクチャに関連するポインタを受信し、
受信した動きベクトル情報に関連する残差ピクチャを受信するように構成されている前記インターフェースと、
プロセッサであって、
受信したポインタを利用して複数の参照ピクチャから参照ピクチャを選択し、
受信した動きベクトル情報および選択した参照ピクチャに基づいて予測ピクチャを判定し、
予測ピクチャおよび前記残差ピクチャに基づいて再構成ピクチャを生成するように構成されている前記プロセッサとを備える、復号化システム。
【請求項１２】
前記参照ピクチャは、参照知覚表象である、請求項１１に記載のシステム。
【請求項１３】
前記ターゲット知覚表象は、
それぞれ生成された空間詳細マップであって、該空間詳細マップは、それぞれのオリジナルピクチャに基づいて生成される、前記それぞれ生成された空間詳細マップと、
判定された符号情報であって、該符号情報は、それぞれ生成された空間詳細マップに基づいて判定される、前記判定された符号情報、および判定された絶対値情報であって、該絶対値情報は、それぞれ生成された空間詳細マップに基づいて判定される、前記判定された絶対値情報のうちの少なくとも１つと
から形成される、請求項１１に記載のシステム。
【請求項１４】
生成された空間詳細マップは、前記オリジナルピクチャの画素に関連する値を含む、請求項１３に記載のシステム。
【請求項１５】
生成された空間詳細マップは、前記オリジナルピクチャの特徴の人間の知覚可能性モデルを使用して判定される値を含む、請求項１３のシステム。
【請求項１６】
判定された前記絶対値情報は、
それぞれ生成された空間詳細マップに基づく絶対値マップと、
圧伸係数、それぞれの絶対値マップ、およびそれぞれ生成された空間詳細マップに基づく生成された圧伸された絶対値の空間詳細マップと
に基づいている、請求項１３に記載のシステム。
【請求項１７】
前記ビデオシーケンスの前記オリジナルピクチャは、前記ビデオシーケンスのピクチャの遷移シーケンス内にある、請求項１１に記載のシステム。
【請求項１８】
前記遷移シーケンスは、前記遷移シーケンス内のピクチャの変化するコントラスト属性および変化する明るさ属性のうちの少なくとも１つによって特徴づけられる、請求項１７に記載のシステム。
【請求項１９】
復号化方法であって、
ピクチャを含むビデオシーケンスからのオリジナルピクチャに基づくターゲット知覚表象と、前記ターゲット知覚表象に関連する参照ピクチャとに基づいている動きベクトル情報を受信すること、
それぞれの参照ピクチャに関連するポインタを受信すること、
受信した動きベクトル情報に関連する残差ピクチャを受信すること、
それぞれ受信したポインタを利用して、複数の参照ピクチャから参照ピクチャを選択すること、
プロセッサを利用して、受信した動きベクトル情報およびそれぞれ選択した参照ピクチャに基づいて予測ピクチャを判定すること、
判定した予測ピクチャおよび受信した残差ピクチャに基づいて再構成ピクチャを生成することを備える、復号化方法。
【請求項２０】
請求項１９に記載の方法を実行するためにコンピュータ読取可能命令を格納する非一時的なコンピュータ読取可能媒体（ＣＲＭ）。
【発明の詳細な説明】
【背景技術】
【０００１】
動き処理は、動き推定および動き補償の両方において動きベクトルの使用を含む。動き推定とは、動きベクトルを判定するプロセスである。動きベクトルは、一般的にはビデオシーケンス内の隣接したフレームまたはピクチャから、ある二次元画像から別の画像へのオブジェクトの変換を記述する。動き補償とは、記述されるオブジェクトのビデオシーケンス内の後続のピクチャへの変換を合成するために、判定した動きベクトルをあるピクチャのオブジェクトに適用するプロセスである。動き推定および動き補償の組み合わせはビデオ圧縮の重要な部分であり、処理コストを非常に要することが多い。
【０００２】
動き処理における動きベクトルは、直接または間接のいずれかとして分類することのできる方法によって判定される。実際には、ビデオエンコーダでは、ピラミッド型およびブロック探索に依拠した直接法が使用されるのが通例である。直接法は、これらの方法で判定される動きベクトルの正確さおよび精度、あるいは正確さまたは精度を高めるために、処理能力および処理コストの増大を要することが多い。
【０００３】
動きベクトルを判定する間接法は、ピクチャ内で起こる推定される動きと生成される動きベクトルとの一致を特定するために、ピクチャ内のローカルまたはグローバルエリアに適用される統計関数を使用することが多い。実際の動きに対応しない誤一致を特定して除去しようとするときに、忠実度の測定基準が一般に利用される。しかし、忠実度の測定基準は誤差である便宜主義的な最良一致と、コード化するにはより多くのビットが必要なため非効率的な動きベクトルの外れ値を導くことが多い。これらの制約は、ビデオ圧縮の品質および効率を低下させる傾向がある。
【０００４】
さらに、忠実度の測定基準に依拠するとき、既存の評価方法はピクチャ内の高コントラスト領域に有利に働く傾向がある。このため低テクスチャの領域については不良な動き推定を出力することが多く、一般的にこれら低テクスチャにおいて著しく不正確な動きを導く。また、忠実度の測定基準は、ビデオシーケンス内のコントラスト、明るさ、ぼけ、付加ノイズ、アーチファクト、ならびにフェード、ディゾルブおよび圧縮中に起こりうる他の差異の変化中に発生する動きを区別しないことが多い。これら他の制約もビデオ圧縮の品質および効率を低下させる傾向がある。
【０００５】
これらの状況のいずれかにおける忠実度の測定基準の弱点は、動き処理能力の増加によって軽減できることが多く、処理コストの上昇になる。それでも、忠実度の測定基準の効果が劣る状況においては、既存の評価方法を使用した動き処理は、ビデオ圧縮において動きベクトルの正確さ／精度を高めることと、処理コストを低く抑えることとのトレードオフを要することが多い。
【図面の簡単な説明】
【０００６】
【図１】実施例による知覚表象を利用した知覚符号化システムを示すブロック図である。
【図２】実施例による知覚表象を利用した知覚復号化システムを示すブロック図である。
【図３】実施例による知覚表象およびオリジナルピクチャを描いた写真画像である。
【図４】実施例による知覚表象を生成するプロセスにおける計算を示すフロー図である。
【図５】実施例によるオリジナルピクチャおよび異なる圧伸係数に基づいた一連の知覚表象を描いた写真画像である。
【図６】実施例によるオリジナルピクチャに施されるコントラストの変化に対する知覚表象の適応力を描いた写真画像である。
【図７】実施例によるオリジナルピクチャに施される明るさの変化に対する知覚表象の適応力を描いた写真画像である。
【図８】実施例による知覚表象を利用した符号化システムにおける動き推定フロープロセスを示すブロック図である。
【図９】実施例によるコンテンツ配信システムを示すブロック図である。
【図１０】実施例による知覚表象を利用した符号化の方法を示すフロー図である。
【図１１】実施例による知覚表象を利用した復号化の方法を示すフロー図である。
【図１２】実施例による符号化システムおよび復号化システム、あるいは符号化システムまたは復号化システムのプラットフォームを提供するコンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【０００７】
実施例および開示の特徴は、図面を参照して、以下の説明から当業者には明らかである。
本発明の実施形態によると、動きベクトルの判定または利用において知覚表象（perceptual representation）を利用して符号化および復号化を提供するシステム、方法およびコンピュータ読取可能媒体（ＣＲＭ）がある。知覚表象の利用は正確さおよび精度、あるいは正確さまたは精度を改善した動きベクトルを生み出す。知覚表象は、あるピクチャ内の低テクスチャの領域および遷移シーケンス内のピクチャ、あるいはあるピクチャ内の低テクスチャ（low texture）の領域または遷移シーケンス内のピクチャの動きベクトルの正確さおよび精度、あるいは正確さまたは精度を高めるときに利用することができる。動きベクトルの正確さおよび精度は、コントラスト、明るさ、ぼけ、付加ノイズ、アーチファクト、ならびにフェード、ディゾルブおよび圧縮中に起こりうる他の差異の変化を含むビデオシーケンスでは特に高められる。動きベクトルの判定または利用において知覚表象を利用することは、圧縮効率を改善するとともに、動き処理要件および処理コスト、あるいは動き処理要件または処理コストを減少させる。
【０００８】
特定の実施形態によると、符号化システムは、ピクチャを含むビデオシーケンス内のオリジナルピクチャを含むビデオ信号を受信するように構成されているインターフェースを備える。システムは、受信したオリジナルピクチャに基づいてターゲット知覚表象を生成し、複数の参照ピクチャから参照ピクチャを選択し、ターゲット知覚表象および選択した参照ピクチャに基づいて動きベクトル情報を判定するように構成されているプロセッサを含む。判定された動きベクトル情報は、参照ピクチャおよびターゲット知覚表象の属性に基づいて判定される。システムは動きベクトル情報を符号化し、選択された参照ピクチャに関連するポインタ（pointer）を符号化する。
【０００９】
別の実施形態によると、符号化する方法は、ピクチャを含むビデオシーケンス内のオリジナルピクチャを含むビデオ信号を受信するステップと、受信したオリジナルピクチャに基づいてターゲット知覚表象を生成するステップと、複数の参照ピクチャから参照ピクチャを選択するステップと、プロセッサを利用して、ターゲット知覚表象および参照ピクチャに基づいて動きベクトル情報を判定するステップとを含み、判定された動きベクトル情報は参照ピクチャおよびターゲット知覚表象の属性に基づいて判定され、さらに判定された動きベクトル情報を符号化するステップと、参照ピクチャに関連するポインタを符号化するステップとを含む。
【００１０】
符号化の方法は、非一時的なコンピュータ読取可能媒体に格納されているコンピュータ読取可能命令によって具体化することができる。命令はプロセッサによって実行されて、方法を実施することができる。
【００１１】
さらに別の実施形態では、復号化システムは、動きベクトル情報を受信するように構成されているインターフェースを備える。動きベクトル情報は、ピクチャを含むビデオシーケンスからのオリジナル信号に基づいたターゲット知覚表象、およびターゲット知覚表象に関連する参照ピクチャに基づくことができる。インターフェースは参照ピクチャに関連するポインタを受信し、受信した動きベクトル情報に関連した残差ピクチャを受信するようにも構成されている。システムは受信したポインタを利用して複数の参照ピクチャから参照ピクチャを選択し、受信した動きベクトル情報および選択した参照ピクチャに基づいて予測ピクチャを判定し、予測ピクチャおよび残差ピクチャに基づいて再構成されたピクチャを生成するように構成されているプロセッサも含む。
【００１２】
さらに別の実施形態によると、復号化の方法は、ピクチャを含むビデオシーケンスからのオリジナルピクチャに基づいたターゲット知覚表象およびターゲット知覚表象に関連する参照ピクチャに基づいた動きベクトル情報を受信するステップと、それぞれの参照ピクチャに関連するポインタを受信するステップと、受信した動きベクトル情報に関連した残差ピクチャを受信するステップと、それぞれ受信したポインタを利用して複数の参照ピクチャから参照ピクチャを選択するステップと、プロセッサを利用して、受信した動きベクトル情報およびそれぞれ選択した参照ピクチャに基づいて予測ピクチャを判定するステップと、判定した予測ピクチャおよび受信した残差ピクチャに基づいて再構成されたピクチャを生成するステップとを含む。
【００１３】
復号化の方法は、非一時的なコンピュータ読取可能媒体に格納されているコンピュータ読取可能命令によって具体化することができる。命令はプロセッサで実行されて、方法を実施することができる。
【００１４】
簡潔化および例示のために、本発明は主に実施形態およびその実施例を参照して説明する。以下の説明において、多数の特定的な詳細は実施例の完全な理解を与えるために記載している。しかし、本発明はこれら特定的な詳細に制限されずに実施できることは容易に明らかである。他の例では、いくつかの方法および構造は、説明を不必要に分かりにくくしないように、詳細を説明していない。さらに、以下に異なる実施形態を説明する。実施例は異なる組み合わせで一緒に使用または実施してもよい。本明細書で使用するとき、「含む」という用語は「含む」という用語を含むことを意味するが、それに限定されない。「基づく」という用語は少なくとも一部に基づくことを意味する。
【００１５】
以下の実施例で実証するように、知覚表象に基づいて動きベクトル情報を符号化および復号化する知覚エンジン、符号化および復号化システム、方法、ならびにコンピュータ読取可能媒体（ＣＲＭ）に格納されたマシン読取可能命令がある。知覚表象は、ビデオシーケンス内のものなど、フレームおよびピクチャ、あるいはフレームまたはピクチャのマップを含む。知覚表象のマップは、画素など、ピクチャの単位に関連した計算値を含むことができる。知覚表象のマップ内の計算値は人間の知覚モデルに基づいて展開することができる。知覚表象、およびそれを符号化および復号化においてどのように生成して利用するかに関するさらなる詳細を以下に記載する。
【００１６】
図１を参照すると、トランスポートストリームなど、圧縮ビットストリームのコンテンツを配信するヘッドエンドの装置に見られるような知覚符号化システム１００が示されている。特定の実施例によると、知覚符号化システム１００は、ビデオシーケンス１０１などのビデオシーケンスを受信する。ビデオシーケンスはビデオビットストリームに含むことができる。ビデオシーケンス１０１はフレームまたはピクチャを含むことができ、これらはメモリ１０２など、知覚符号化システム１００に関連したメモリ内にオリジナルピクチャとして配置または格納することができる。メモリ１０２は、１つまたは複数のバッファ、または１つまたは複数のバッファよりも大容量の記憶装置を含むことができる。ビデオシーケンス１０１からのピクチャは知覚エンジン１０４によって知覚表象に変換して、メモリ１０２に格納することができる。知覚表象を生成できる詳細なステップおよびパラメータは、図４に関してなど、以下詳細に説明する。
【００１７】
ターゲットピクチャ１０３などのターゲットピクチャを、圧縮および符号化のためにメモリ１０２から呼び出すことができる。ターゲットピクチャ（target picture）１０３はビデオシーケンス１０１からのオリジナルピクチャとすることができる。また、動きベクトルを判定するための参照ピクチャ（reference picture）１０６は、メモリ１０２から呼び出すことができる。ターゲットピクチャ１０３および参照ピクチャ１０６は動き補償器１１６に送信されて、予測ピクチャ１１０および動きベクトル１１３を生成する。動きベクトル１１３は、以下に説明するように、ターゲットピクチャ１０３および参照ピクチャ１０６の知覚表象から生成することができる。知覚表象はターゲット知覚表象１０５および参照知覚表象１０８として示される。
【００１８】
ポインタ１１４は参照ピクチャ１０６に関連付けることができる。ポインタ１１４は参照ピクチャ１０６または参照ピクチャに関連した属性を特定することができる。ポインタ１１４はＩＤ、関連性、属性、メモリアドレスなどの位置等にすることができる。ポインタ１１４は、参照ピクチャ１０６に基づいたまたは関連する下流の復号化プロセスのために、符号化されて、知覚符号化システム１００から送信することができる。
【００１９】
特定の実施例によると、ターゲットピクチャ１０３はメモリ１０２から呼び出されて、動き補償器１１６に送信される。また、知覚エンジン１０４によってターゲットピクチャ１０３から生成することのできるターゲット知覚表象１０５が、メモリ１０２から呼び出されて、動き補償器１１６に送信される。参照ピクチャ１０６がセレクタ１１７によってメモリ１０２から選択されて、動き補償器１１６に送信される。知覚エンジン１０４によって参照ピクチャ１０６から生成することのできる参照知覚表象１０８がメモリ１０２から呼び出されて、動き補償器１１６に送信される。動き補償器１１６は動き推定器１０９と、予測ピクチャ生成器１１５とを備えることができる。動き推定器１０９はターゲット知覚表象１０５および参照知覚表象１０８を受信して、両方を利用して動きベクトル１１３を判定する。動きベクトル１１３は、ポインタ１１４とは別に、または一緒に、圧縮ビデオビットストリームに符号化されて、送信することができる。動きベクトル１１３は、ターゲット知覚表象１０５内のブロックに類似している参照知覚表象１０８内のブロックをスキャンして特定し、類似のブロックに対してポインタを生成することによって判定することができる。
【００２０】
予測ピクチャ生成器１１５は、動き推定器１０９によって判定された動きベクトル１１３と、参照ピクチャ１０６とを使用して、予測ピクチャ１１０を生成する。減算器１１１はターゲットピクチャ１０３とともに予測ピクチャ１１０を受信して処理し、残差ピクチャ１１２を生成することができる。残差ピクチャ１１２は、符号化して下流の復号化システムに送信するために圧縮される（reduced）。残差ピクチャ１１２は、動きベクトル１１３に関連する領域など、ターゲットピクチャ１０３の動き推定エリアを除外することができる。残差ピクチャ１１２は、ターゲットピクチャ１０３に基づいた、または関連した下流の復号化プロセスのために、知覚符号化システム１００から送信された符号化ピクチャである。
【００２１】
図２を参照すると、トランスポートストリームなど、圧縮ビットストリームのコンテンツを受信するためのセットトップボックス、トランスコーダ、ハンドセット、パーソナルコンピュータまたは他のクライアントデバイスなどの装置で見られるような知覚復号化システム２００が示されている。特定の実施例によると、知覚復号化システム２００は残差ピクチャ１１２、動きベクトル１１３およびポインタ１１４を受信する。これらのいずれも、メモリ２０１など、知覚復号化システム２００に関連するメモリに配置または格納することができる。知覚復号化システム２００はポインタ１１４を利用して、メモリ２０１から参照ピクチャ２０２などの参照ピクチャを選択することができる。参照ピクチャ２０２は参照ピクチャ１０６に対応し、または参照ピクチャ１０６に関連付けられている。参照ピクチャ２０２と参照ピクチャ１０６との関係は、ポインタ１１４から判定または特定することができる。
【００２２】
特定の実施例によると、動き補償器２０５など、知覚復号化システム２００の動き補償器は、参照ピクチャ２０２および動きベクトル１１３の両方を受信することができる。動き補償器２０５は、予測ピクチャ２０６などの予測ピクチャを生成することができる。予測ピクチャ２０６は、参照ピクチャ２０２および動きベクトル１１３に基づいて生成することができる。予測ピクチャ２０６は、加算器２０７などの加算器に送信することができる。加算器２０７は、再構成ピクチャ２０８などの再構成ピクチャを生成することができる。再構成ピクチャ２０８は、予測ピクチャ２０６および残差ピクチャ１１２の両方に基づいて生成することができる。
【００２３】
オリジナルピクチャ自体ではなく、オリジナルピクチャの知覚表象が動きベクトルを判定するための基準である。図３を参照すると、オリジナルピクチャ３００と対応する知覚表象３０１とが与えられている。知覚表象３０１は人間の視覚の適応的コントラストの恒常性を模倣する。知覚表象３０１の領域３０２および３０３は、オリジナルピクチャ３００に出現する低レベルのテクスチャに関連する低コントラスト領域３０２および３０３の強調画像化を表している。知覚表象３０１の領域３０２および３０３に出現する強調画像化（enhanced imaging）は、これらのエリアの動き推定においてブロックベースの動きの一致を改善することができる。
【００２４】
知覚表象３０１の領域３０４は、「マッハバンド（Mach bands）」現象に関連するオリジナルピクチャ３００の領域を表している。マッハバンドとは、物理学者エルンスト・マッハに因んで名づけられた知覚現象で、画像の中の明度が異なる２つの領域の境界付近に出現するときに、人の目によって認識される明るい帯または暗い帯に関連する。マッハバンド効果は、網膜で捕えた画像の輝度チャネルに対する人間の視覚系によって行われる空間的なハイブースト・フィルタリング（spatial high-boost filtering）が原因である。このフィルタリングは主に網膜自体において、ニューロン間の側抑制（lateral inhibition）によって行われる。マッハバンド現象、および同様なテクスチャ・マスキングは、高コントラストのエッジや特徴付近で起こる網膜のフィルタリングを通して行われる。知覚表象３０１の領域３０４は、マッハバンド現象および同様なテクスチャ・マスキングなどの勾配が知覚表象を通してどのように捕捉されるかを示している。これらの勾配は、オリジナルピクチャではブロックベースの動きベクトルの一致には利用できないであろう。
【００２５】
知覚表象３０１の領域３０５は、知覚表象３０１の領域３０５に保たれることが示されているオリジナルピクチャ３００の高コントラスト特徴（high contrast feature）を表している。
【００２６】
ここで、オリジナルピクチャから知覚表象を生成するプロセスを説明する。図４を参照すると、オリジナルピクチャから知覚表象を生成する実施例がフロー図４００に示されている。オリジナルピクチャは各画素に割り当てられたＹ値を有する。例えば、Ｙｉ，ｊはＭ×Ｎのサイズを有する画像の座標ｉ，ｊにおける画素の輝度値である。
【００２７】
フロー図４００で参照されるＹ画素値は、オリジナルピクチャに関連付けられている。これらのＹ値は空間詳細マップ（spatial detail map）においてｅＹ値に変換される。空間詳細マップとは、オリジナルピクチャから処理したピクチャを形成する重み付けマップである。空間詳細マップは、自然な画像（natural image）の統計および網膜の細胞の応答機能を考慮した人間の視覚系モデルを用いた知覚符号化システム１００によって作成することができる。重み付けマップは人間の視覚系モデルに基づいてオリジナルピクチャの画素マップとすることができる。重み付けマップは視知覚の難易度および圧縮の難易度、あるいは視知覚の難易度または圧縮の難易度を識別する各画素の値または重みを含むことができる。圧縮の難易度は、画像の画素またはエリアを符号化する必要のあるビット数を測定する連続スケールとすることができる。同様に、視知覚の難易度は、見る人の画素またはエリアの詳細の追跡能力に関連付けたときに、画像の画素またはエリアを符号化する必要のあるビット数を測定する連続スケールである。重み付けマップを生成するプロセスは、２０１０年４月１６日に出願された「ビデオ処理のノイズを低減するシステム（System for Reducing Noise in Video Processing）」と題する米国特許出願番号第１２／７６１，５８１号に詳しく説明されており、参照によりその全体が組み込まれる。
【００２８】
ある実施例によると、重み付けマップを作成するために使用することのできる人間の視覚系に関連するモデルは、統合知覚ガイド（integrated perceptual guide : ＩＰｅＧ）システムを含む。ＩＰｅＧシステムは、自然な画像のスケール不変性など、ある種の予想できる集合平均統計値をもつデータの処理に関連した「不確実さ信号（uncertainty signal）」を生成するＩＰｅＧ変換を実装する。ＩＰｅＧ変換は、人の網膜の一定の細胞クラスの挙動をモデル化する。ＩＰｅＧ変換は２次元空間畳み込みの後に総和ステップを行うことによって実現することができる。ＩＰｅＧ変換の改良形態は、低空間周波数補正を追加することによって実現でき、これはさらに、デシメーション（decimation）後に補間、または他のローパス空間フィルタリングによって近似化することができる。コンピュータファイルに提供される、またはスキャニングシステムから提供される画素値は、変換に提供されて、空間詳細マップを生成することができる。ＩＰｅＧシステムは、２０００年１月１１日に発行された「画像および信号処理装置およびその方法（Apparatus and Methods for Image and Signal Processing）」と題する米国特許第６，０１４，４６８号、２００２年３月１９日に発行された「画像および信号処理装置およびその方法（Apparatus and Methods for Image and Signal Processing）」と題する米国特許第６，３６０，０２１号、２００６年５月１６日に発行された、米国特許第６，３６０，０２１号の継続出願である「画像および信号処理装置およびその方法（Apparatus and Methods for Image and Signal Processing）」と題する米国特許第７，０４６，８５７号、および２０００年１月２８日に出願された「画像および信号処理装置およびその方法（Apparatus and Methods for Image and Signal Processing)」と題する国際出願ＰＣＴ／ＵＳ９８／１５７６７号に詳しく説明されており、これらは参照によりその全体が組み込まれる。ＩＰｅＧシステムは視覚詳細（visual detail）を知覚的重要性に体系化する信号と、見る人の一定のビデオ詳細（video detail）の追跡能力を示す測定基準とのセットを含む情報を提供する。
【００２９】
図４に図示する空間詳細マップはｅＹの値を含む。例えば、ｅＹｉ，ｊは、オリジナルピクチャのｉ，ｊにおけるＹ値のＩＰｅＧ変換のｉ，ｊにおける値である。各ｅＹｉ，ｊは、視知覚の難易度および圧縮の難易度、あるいは視知覚の難易度または圧縮の難易度を識別する各画素の値または重みを含むことができる。各ｅＹｉ，ｊは正でも負でもよい。
【００３０】
図４に図示するように、空間詳細マップの符号、例えば符号（ｅＹ）と、空間詳細マップの絶対値、例えば｜ｅＹ｜は、空間詳細マップから生成される。特定の実施例によると、符号情報は以下のように生成することができる。
【００３１】
【数１】
2015506144.tif 000003
別の実施例によると、空間詳細マップの絶対値は次のように計算される。｜ｅＹｉ，ｊ｜は、ｅＹｉ，ｊの絶対値である。
【００３２】
空間詳細マップの圧伸された絶対値（companded absolute value）、例えばｐＹは、空間詳細マップの絶対値｜ｅＹ｜から生成される。特定の実施例によると、圧伸された絶対値の情報は次のように計算することができる。
【００３３】
【数２】
2015506144.tif 000004
および
【００３４】
【数３】
2015506144.tif 000005
この式において、ＣＦ（companding factor : 圧伸係数）はユーザまたはシステムが規定する定数であり、λＹは｜ｅＹｉ，ｊ｜の全体平均絶対値である。「圧伸」とは、「圧縮」と「伸長」とから作られた混成語である。圧伸は、値の集合が別の値の集合に対して非線形にマッピングされた後に通例、デジタル化と言われることもある量子化が行われる信号処理演算を記述する。第２の値の集合が均一な量子化を受けるとき、その結果はオリジナルの値の集合の非均一な量子化に相当する。通例、圧伸操作の結果、オリジナルの値が小さいほど細かい（より正確な）量子化になり、オリジナルの値が大きいほど粗く（正確さが低く）なる。実験により、圧伸は、特にＩＰｅＧ変換と合わせて使用する場合には、ビデオ処理および解析で使用するための知覚マッピング関数を生成する上で有利なプロセスであることが分かった。ｐＹｉ，ｊはｅＹｉ，ｊ値の非線形マッピングであり、新たな値の集合ｐＹｉ，ｊは限られたダイナミックレンジを有する。上記示した以外の数式を使用して、ｅＹｉ，ｊとｐＹｉ，ｊとの同様の非線形マッピングを作成することもできる。ある場合には、値ｐＹｉ，ｊをさらに量子化すると有用であろう。計算で使用するビット数を維持または減少することがそのような例となろう。
【００３５】
知覚表象は、空間詳細マップの符号（sign）と空間詳細マップの圧伸された絶対値を組み合わせて、次のように生成することができる。ｐＹｉ，ｊ×ｓｉｇｎ（ｅＹｉ，ｊ）。ｐＹｉ，ｊ×ｓｉｇｎ（ｅＹｉ，ｊ）の結果は、ｅＹｉ，ｊの小さい絶対値がｅＹｉ，ｊの大きい絶対値よりもダイナミックレンジの優先的に大きな部分を占めるが、符号情報ｅＹｉ，ｊが残される圧縮ダイナミックレンジである。
【００３６】
図５を参照すると、様々な異なる圧伸係数によってオリジナルピクチャから生成された異なる知覚表象を実証するフロー図５００が示されている。図６を参照すると、オリジナルピクチャと、オリジナルピクチャのコントラストの１０パーセントのより低いコントラストの同じオリジナルピクチャとに基づいて生成された知覚表象を含むフロー図が示されている。両方の知覚表象は比較的同じで、知覚表象のコントラストの変化に対する適応力が実証されている。図７を参照すると、オリジナルピクチャと、オリジナルピクチャの明るさの２００パーセントのより高い明るさの同じオリジナルピクチャとに基づいて生成された知覚表象を示して含んでいるフロー図７００が示されている。両方の知覚表象は比較的同じで、知覚表象の明るさの変化に対する適応力が実証されている。
【００３７】
図８を参照すると、知覚表象を利用した符号化システムにおいて、動き推定器１０９などの動き推定器によって実行される動き推定フロープロセスを実証するフロー図８００が示されている。フロー図８００において、ビデオシーケンス８０１は、知覚エンジン８０２および動き推定器の第１パス動き推定ＡＳＩＣ８０４に送信されるピクチャを含む。知覚エンジン８０２はガイド動きベクトル８０３を生成する。ガイド動きベクトル８０３は第１パス動き推定ＡＳＩＣ８０４に送信されて、そこで事前解析プロセスで利用して動きベクトルの「シード（seed）」または「ヒント（hint）」を生成することができ、「シード」または「ヒント」が第２パス動き推定ＡＳＩＣ８０５で利用されて、動きベクトル１１３などの動きベクトルを生成することができる。
【００３８】
図９を参照すると、知覚表象は、動き推定ならびに、ＭＰＥＧ−２、ＭＰＥＧ−４  ＡＶＣなど様々なビデオ符号化フォーマットに従って動きベクトルを判定および利用するときに、あるいは動き推定または、ＭＰＥＧ−２、ＭＰＥＧ−４  ＡＶＣなど様々なビデオ符号化フォーマットに従って動きベクトルを判定または利用するときに、利用することができる。図９では、特定の実施例により、符号化装置９１０および復号化装置９４０を含むコンテンツ配信システム９００の特定の実施例が示されている。符号化装置９１０は、図１および図２に関して上述したものなど、ビデオシーケンスの圧縮またはトランスコーディングで利用することのできるあらゆる符号化システムの代表的なものである。復号化装置９４０は、図１および図２に関して上述したものなど、セットトップボックスまたは他の受信デバイスのあらゆるものの代表的なものである。符号化装置９１０は、特定の実施例に従って、知覚表象を利用した符号化に関連する動きベクトルおよび他の情報を含む圧縮ビットストリーム９０５を復号化装置９４０に送信することができる。
【００３９】
再び図９を参照すると、符号化装置９１０は、入力信号（incoming signal）９２０のインターフェース９３０と、コントローラ９１１と、カウンタ９１２と、フレームメモリ９１３と、符号化ユニット９１４と、送信機バッファ９１５と、出力圧縮ビットストリーム９０５のインターフェース９３５とを含む。復号化装置９４０は、受信機バッファ９５０と、復号化ユニット９５１と、フレームメモリ９５２と、コントローラ９５３とを含む。符号化装置９１０および復号化装置９４０は、圧縮ビットストリーム９０５の伝送路を介して互いに連結されている。符号化装置９１０のコントローラ９１１は受信機バッファ９５０の容量に基づいて送信されるデータ量を制御することができ、単位時間当たりのデータ量などの他のパラメータを含むことができる。コントローラ９１１は符号化ユニット９１４を、復号化装置９４０の受信信号の復号化操作の失敗が発生しないように制御することができる。コントローラ９１１は、例えば、プロセッサを有するマイクロコンピュータ、ランダムアクセスメモリおよび読み取り専用メモリを含むことができる。
【００４０】
例えばコンテンツプロバイダから供給される入力信号９２０は、ビデオシーケンス１０１などのビデオシーケンス内にフレームまたはピクチャを含むことができる。フレームメモリ９１３は、符号化ユニット９１４によって実装される知覚符号化システム１００などの知覚符号化システムによって処理されるピクチャを格納するために使用される第１エリアを有することができる。知覚表象および動きベクトルは、コントローラ９１１を利用して、ビデオシーケンス１０１のピクチャから取得することができる。フレームメモリ９１３の第２エリアは、格納されたデータを読み出し、そのデータを符号化ユニット９１４に供給するために使用することができる。コントローラ９１１はエリア切替え制御信号９２３をフレームメモリ９１３に供給することができる。エリア切替え制御信号９２３は第１エリアを使用するか、または第２エリアを使用するかを示すことができる。
【００４１】
コントローラ９１１は符号化制御信号９２４を符号化ユニット９１４に供給する。符号化制御信号９２４は符号化ユニット９１４に符号化操作を開始させる。ピクチャまたはフレームに関連する制御情報を含むコントローラ９１１から符号化制御信号９２４に応答して、符号化ユニット９１４はピクチャを高効率知覚表象符号化プロセスに読み出して、動きベクトル、ポインタおよび残差ピクチャを圧縮ビットストリームに符号化するための準備をする。
【００４２】
符号化ユニット９１４は、ビデオパケットおよびプログラム情報パケットを含むパケット化エレメンタリストリーム（packetized elementary stream : ＰＥＳ）で符号化された圧縮ビットストリーム９０５を準備することができる。符号化ユニット９１４はプログラムタイムスタンプ（program time stamp : ＰＴＳ）および制御情報を使用して、圧縮ピクチャをビデオパケットにマッピングすることができる。
【００４３】
符号化された情報は送信機バッファ９１５に格納することができる。カウンタ９１２は送信機バッファ９１５のデータ量を示すためにインクリメントされる情報量カウンタを備えることができる。バッファからデータが呼び出されて取り出されると、情報量カウンタ９１２はバッファ内のデータ量を反映するようにデクリメントすることができる。占有エリア情報信号９２６がカウンタ９１２に送信されて、符号化ユニット９１４からのデータが追加されたか、または送信バッファ９１５から取り出されたかを示すので、カウンタ９１２はインクリメントまたはデクリメントすることができる。コントローラ９１１は、送信機バッファ９１５でオーバーフローまたはアンダーフローが起こらないようにするために、コントローラが符号化ユニットに伝達した占有エリア情報９２６に基づいて、符号化ユニット９１４が作成するパケットの作成を制御する。
【００４４】
情報量カウンタ９１２は、コントローラ９１１が生成して出力するプリセット信号９２８に応答して、リセットされる。情報量カウンタ９１２がリセットされた後、カウンタは符号化ユニット９１４が出力したデータをカウントし、生成された情報量を取得する。それから、情報量カウンタ９１２はコントローラ９１１に、取得した情報量を示す情報量信号９２９を供給する。コントローラ９１１は、送信バッファ９１５でオーバーフローにならないように符号化ユニット９１４を制御する。
【００４５】
復号化装置９４０は、圧縮ビットストリーム９０５などの圧縮ビットストリームを受信するためのインターフェース９７０と、受信バッファ９５０と、コントローラ９５３と、フレームメモリ９５２と、復号化ユニット９５１と、出力用のインターフェース９７５とを含む。図２に示す知覚復号化システム２００を復号化ユニット９５１に実装することができる。復号化装置９４０の受信バッファ９５０は、圧縮ビットストリーム９０５を介して符号化装置９１０から受信した動きベクトル、残差ピクチャおよびポインタを含む符号化された情報を一時的に格納することができる。復号化装置９４０は受信したデータ量をカウントし、コントローラ９５３に適用されるフレームまたはピクチャ数信号９６３を供給する。コントローラ９５３は所定の間隔で、例えば、復号化ユニット９５１が復号化操作を完了するたびに、カウントされたフレームまたはピクチャ数を監視する。
【００４６】
フレーム数信号９６３が受信バッファ９５０が所定の容量または量であることを示すと、コントローラ９５３は復号化ユニット９５１に復号化開始信号９６４を供給することができる。フレーム数信号９６３が受信バッファ９５０が所定の容量未満であることを示す場合、コントローラ９５３はカウントされたフレームまたはピクチャ数が所定の量に等しくなる状況が発生するのを待つ。フレーム数信号９６３が受信バッファ９５０が所定の容量であることを示す場合、コントローラ９５３は復号化開始信号９６４を出力する。符号化されたフレーム、キャプション情報およびフレーム視差マップは、プログラム情報パケットのヘッダにある再生タイムスタンプ（presentation time stamp : ＰＴＳ）に基づいて、単調な順番（つまり、増加していく、または減少していく）で復号化することができる。
【００４７】
復号化開始信号９６４に応答して、復号化ユニット９５１は受信バッファ９５０から受信した１フレームまたはピクチャに達するデータ９６１を復号化することができる。復号化ユニット９５１は復号化されたビデオ信号９６２をフレームメモリ９５２に書き込む。フレームメモリ９５２は復号化されたビデオ信号が書き込まれる第１エリアと、復号化されたビデオデータを読み出して、ビデオデータをモニタなどに出力するために使用する第２エリアとを有することができる。
【００４８】
ある実施例によると、符号化装置９１０はヘッドエンドに組み込みまたはその他の方法で関連付けることができ、復号化装置９４０はハンドセットまたはセットトップボックスに組込みまたはその他の方法で関連付けることができる。これらはビデオシーケンス内のオリジナルピクチャに基づいた知覚表象の利用に関連した符号化および復号化、あるいは符号化または復号化の方法において、個別にまたは一緒に利用してもよい。符号化装置９１０および復号化装置９４０を実装することのできる様々な態様を、方法１０００および１１００のフロー図を描いた図１０および図１１に関して以下詳細に説明する。
【００４９】
他の実施形態の知覚符号化システム１００は、図９に図示するような初期符号化を行う同じユニットに含まなくてもよい。例えば、知覚符号化システム１００は、符号化されたビデオ信号を受信し、下流の復号器に送信するためにビデオ信号を知覚的に符号化する個別のデバイスに設けることができる。さらに、知覚符号化システム１００は、トランスコーダなどの下流の処理要素で使用することのできるメタデータを生成することができる。メタデータは知覚表象から推定される動きベクトルを記述する詳細を含むことができ、これをトランスコーダが使用してビットレートを制御することができる。
【００５０】
方法
方法１０００は、知覚表象を利用する符号化の方法である。方法１１００は、知覚表象を利用する復号化の方法である。方法１０００および１１００は一般化した図を示し、方法１０００および１１００の範囲を逸脱することなく他のステップを追加し、または既存のステップを除去、修正もしくは再配列できることは当業者には明らかである。方法１０００および１１００は、受信しながらビデオ信号内のピクチャを継続的に符号化および復号化するために繰り返し可能である。方法１０００および１１００の説明は、特に図９に示す符号化装置９１０および復号化装置９４０を参照して行う。しかし、方法１０００および１１００は、方法１０００および１１００の範囲を逸脱することなく、装置９１０および復号化装置９４０とは異なるシステムおよびデバイス、あるいはシステムまたはデバイスに実装できることは理解されるべきである。
【００５１】
図１０の方法１０００を参照すると、ステップ１００１で、符号化装置９１０はインターフェース９３０でビデオシーケンス（例、図１に図示するビデオシーケンス１０１）のオリジナルピクチャを含めたビデオ信号９２０を受信する。例えば、受信したビデオ信号９２０はビデオビットストリームの未圧縮のオリジナルピクチャとすることができる。
【００５２】
ステップ１００２で、符号化装置９１０は符号化ユニット９１４およびコントローラ９１１を利用して受信したオリジナルピクチャに基づく知覚表象を生成する。これはターゲット知覚表象および参照知覚表象として使用することのできる知覚表象を含む。
【００５３】
ステップ１００３で、コントローラ９１１はフレームメモリ９１３に格納または配置されているオリジナルピクチャからの複数の参照ピクチャから１つまたは複数の参照ピクチャを選択する。
【００５４】
ステップ１００４で、符号化ユニット９１４およびコントローラ９１１は、ターゲット知覚表象および参照ピクチャに基づいて、動きベクトル情報を判定する。判定される動きベクトル情報は、参照ピクチャの低コントラストフィーチャおよびターゲット知覚表象のマッハバンド現象、あるいは参照ピクチャの低コントラスト特徴またはターゲット知覚表象のマッハバンド現象など、参照ピクチャおよびターゲット知覚表象の属性に基づいて判定することができる。判定された動きベクトル情報は図１に図示する動きベクトル１１３を含むことができる。
【００５５】
ステップ１００５で、符号化ユニット９１４およびコントローラ９１１は、動きベクトル情報および参照ピクチャを使用してオリジナルピクチャを符号化する。図１に示す残差ピクチャ１１２は、符号化されたオリジナルピクチャの一例である。
【００５６】
また、ステップ１００５で、符号化ユニット９１４およびコントローラ９１１は符号化されたオリジナルピクチャ、動きベクトル情報および図１に示すポインタ１１４など、選択した参照ピクチャに関連するポインタを出力する。
【００５７】
図１１の方法１１００を参照すると、ステップ１１０１で、復号化装置９４０はインターフェース９７０を利用して受信機バッファ９５０で圧縮ビットストリーム９０５から動きベクトル情報を受信する。受信される動きベクトル情報は、ピクチャを含むビデオシーケンスからのオリジナルピクチャに基づいたターゲット知覚表象に基づくとともに、ターゲット知覚表象に関連する参照ピクチャにも基づく。
【００５８】
ステップ１１０２で、復号化装置９４０はインターフェース９７０を利用して受信機バッファ９５０で圧縮ビットストリーム９０５からポインタを受信する。ポインタ１１４などの受信したポインタは各参照ピクチャに関連付けられている。
【００５９】
ステップ１１０３で、復号化装置９４０はインターフェース９７０を利用して受信機バッファ９５０で圧縮ビットストリーム９０５から受信した動きベクトル情報に関連する符号化された残差ピクチャを受信する。
【００６０】
ステップ１１０４で、コントローラ９５３は、それぞれ受信したポインタを利用して、受信機バッファ９５０に格納または配置されている複数の参照ピクチャから参照ピクチャを選択する。
【００６１】
ステップ１１０５で、コントローラ９５３および復号化ユニット９５１は、受信した動きベクトル情報およびそれぞれ選択された参照ピクチャに基づいて予測ピクチャを判定する。
【００６２】
ステップ１１０６で、コントローラ９５３および復号化ユニット９５１は、判定した予測ピクチャおよび受信した残差ピクチャに基づいて再構成ピクチャを生成する。
上記説明した方法および操作のいくつかまたは全部は、ハードウェア記憶装置または他の種類の記憶装置などの非一時的とすることのできるコンピュータ読取可能記憶媒体に格納されているユーティリティ、コンピュータプログラムなどのマシン読取可能命令として提供することができる。例えば、これらはソースコード、オブジェクトコード、実行可能コードまたは他のフォーマットのプログラム命令からなるプログラムとして存在することができる。
【００６３】
コンピュータ読取可能記憶媒体の例には、従来のコンピュータシステムのＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および磁気もしくは光学ディスクまたはテープが含まれる。前述の具体的な例には、ＣＤ  ＲＯＭへのプログラムの配信を含む。そのため、上記説明した機能を実行することのできるあらゆる電子デバイスは上記列挙した機能を行うことができることが理解される。
【００６４】
図１２を参照すると、知覚符号化システム１００および符号化装置９１０、あるいは知覚符号化システム１００または符号化装置９１０など、知覚表象を利用する符号化または復号化システムのコンピューティングデバイスとして採用することのできるプラットフォーム１２００が示されている。プラットフォーム１２００は、セットトップボックス、ハンドセット、携帯電話もしくは他の携帯機器、トランスコーダならびに知覚復号化システム２００および復号化装置９４０、あるいは知覚復号化システム２００または復号化装置９４０など、知覚表象を利用して判定される知覚表象および動きベクトル、あるいは知覚表象または動きベクトルを利用することのできる他のデバイスおよび装置など、上流の復号化装置のためにも使用することができる。プラットフォーム１２００の図は一般化した図であり、プラットフォーム１２００は追加コンポーネントを含むことができ、また説明されるコンポーネントのいくつかはプラットフォーム１２００の範囲を逸脱することなく除去および修正、あるいは除去または修正できることが理解される。
【００６５】
プラットフォーム１２００は、モニタなどのディスプレイ１２０２を含み、単純な入力インターフェースおよびローカル・エリア・ネットワーク（ＬＡＮ）、ワイヤレス８０２．１１ｘＬＡＮ、３Ｇもしくは４ＧモバイルＷＡＮまたはＷｉＭａｘ  ＷＡＮとのネットワークインターフェース、あるいは単純な入力インターフェースまたはローカル・エリア・ネットワーク（ＬＡＮ）、ワイヤレス８０２．１１ｘＬＡＮ、３Ｇもしくは４ＧモバイルＷＡＮまたはＷｉＭａｘ  ＷＡＮとのネットワークインターフェースなど、知覚符号化システム１００および符号化装置９１０に関するインターフェース９３０および９３５などの符号化システムもしくは装置のインターフェースの機能、または知覚復号化システム２００および復号化装置９４０に関するインターフェース９７０および９７５などの復号化システムもしくは装置のインターフェースの機能を行うことのできるインターフェース１２０３をさらに含む。プラットフォーム１２００は、１つまたは複数のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、その組み合わせ、または当業者に周知の他のデバイスなど、プロセッサ１２０１をさらに含む。ディスプレイ１２０２およびインターフェース１２０３が行う機能以外で、知覚符号化システム１００、符号化装置９１０、知覚復号化システム２００および復号化装置９４０など、本明細書において説明した符号化または復号化のためのシステムが行うと本明細書で説明する特定の操作／機能は、プラットフォームのプロセッサ１２０１がプロセッサに関連するコンピュータ読取可能媒体（ＣＲＭ）１２０４に格納されているソフトウェア命令およびルーチンを実行することにより行う。しかし、当業者は、プロセッサ１２０１の操作／機能は代わりに、プラットフォームに実装されているハードウェア、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、ＰＬＤ、ＰＬＡ、ＦＰＧＡまたはＰＡＬなどのプログラマブル・ロジック・デバイスなどに実装できることを認識する。本開示に基づいて、当業者は元に戻す実験をしなくても、当該ソフトウェアおよびハードウェア、あるいは当該ソフトウェアまたはハードウェアを容易に製作し、実装することができるであろう。これらのコンポーネントのそれぞれはバス１２０８に作動的に連結することができる。例えば、バス１２０８はＥＩＳＡ、ＰＣＩ、ＵＳＢ、ＦｉｒｅＷｉｒｅ、ＮｕＢｕｓ、またはＰＤＳとすることができる。
【００６６】
ＣＲＭ１２０４は、実行のためにプロセッサ１２０１への命令の提供に参加するあらゆる適した媒体とすることができ、符号化システム１００または符号化装置９１０に関するメモリ１０２および９１３ならびにバッファ９１５、ならびに復号化システム２００または復号化装置９４０に関するメモリ２０１および９５２ならびにバッファ９５０など、本明細書で説明した様々なメモリおよびバッファを備えることができる。例えば、ＣＲＭ１２０４は、光学または磁気ディスクなどの不揮発性媒体、メモリなどの揮発性媒体、ならびに同軸ケーブル、銅線および光ファイバなどの伝送媒体とすることができる。伝送媒体は音波、光波または高周波の形態をとることもできる。ＣＲＭ１２０４は、ワードプロセッサ、ブラウザ、電子メール、インスタントメッセージング、メディアプレーヤ、および電話通信コードを含め、他の命令または命令セットを格納することもできる。
【００６７】
ＣＲＭ１２０４は、ＭＡＣ  ＯＳ、ＭＳ  ＷＩＮＤＯＷＳ、ＵＮＩＸまたはＬＩＮＵＸなどのオペレーティング・システム１２０５、アプリケーション１２０６、ネットワークアプリケーション、ワードプロセッサ、スプレッドシートアプリケーション、ブラウザ、電子メール、インスタントメッセージング、ゲームなどのメディアプレーヤまたはモバイルアプリケーション（例、「アプリ」）、およびデータ構造管理アプリケーション１２０７も格納することができる。オペレーティング・システム１２０５はマルチユーザ、マルチプロセッシング、マルチタスキング、マルチスレッディング、リアルタイムなどとすることができる。オペレーティング・システム１２０５は、キーボードもしくはキーパッドなどの入力デバイスからのものを含め、インターフェース１２０３からの入力の認識、ディスプレイ１２０２への出力の送信ならびにＣＲＭ１２０４へのファイルおよびディレクトリの把握、ディスクドライブ、プリンタ、画像キャプチャデバイスなどの周辺機器の制御、バス１２０８のトラフィックの管理などの基本タスクを行うこともできる。アプリケーション１２０６は、ＴＣＰ／ＩＰ、ＨＴＴＰ、Ｅｔｈｅｒｎｅｔ、ＵＳＢおよびＦｉｒｅＷｉｒｅを含む通信プロトコルを実施するためのコードまたは命令など、ネットワーク接続を確立して維持するための様々なコンポーネントを含むことができる。
【００６８】
データ構造管理アプリケーション１２０７などのデータ構造管理アプリケーションは、上記説明したように、コンピュータ読取可能システム（ＣＲＳ）のアーキテクチャを構築／更新するための様々なコード成分を不揮発性メモリに提供する。ある実施例では、データ構造管理アプリケーション１２０７が行うプロセスのいくつかまたは全部を、オペレーティング・システム１２０５に統合することができる。ある実施例では、プロセスは少なくとも部分的に、デジタル電子回路、コンピュータ・ハードウェア、ファームウェア、コード、命令セット、またはそのあらゆる組み合わせに実装することができる。
【００６９】
本開示の全体を通して具体的に説明したが、代表的な実施例は幅広い用途にわたり有用性があり、上記の説明は制限することを意図しておらず、そのように解釈してはならない。本明細書で使用した用語、説明および図は、単なる例示のために記載しており、制限を意味するものではない。当業者は、実施例の精神および範囲内で多くの変型が可能であることを認識する。実施例は実施例を参照して説明してきたが、当業者は以下の請求項で説明する実施例およびその等価物の範囲を逸脱することなく、説明した実施例に様々な修正を行うことができる。
【図３】
2015506144.tif 000006
【図１】
2015506144.tif 000007
【図２】
2015506144.tif 000008
【図４】
2015506144.tif 000009
【図５】
2015506144.tif 000010
【図６】
2015506144.tif 000011
【図７】
2015506144.tif 000012
【図８】
2015506144.tif 000013
【図９】
2015506144.tif 000014
【図１０】
2015506144.tif 000015
【図１１】
2015506144.tif 000016
【図１２】
2015506144.tif 000017
【国際調査報告】
2015506144.tif 000018
2015506144.tif 000019
2015506144.tif 000020