(57)【要約】  本発明は、メディア信号処理システムにおいて、連続したメディア・データ・パケット群の形式で利用可能なメディア信号を処理する方法に関する。１つ又は複数の機能であって、そのうちの少なくとも１つを、別々のレベルのスケーラビリティによって行い、よって、別々の出力品質及びリソース要求をもたらすことが可能である機能を行い、複数のシステム出力を供給するためのリソースを要求する工程と、特定のスケーラビリティ・レベルで上記方法を動作させることを可能にするために上記方法に所定のバジェットを割り当てる工程と、処理されたデータを考慮に入れた、進捗と呼ばれる表現を測定する工程と、動作中に用いる少なくとも１つのメディア処理特有リソースを測定する工程と、上記割り当てられるバジェット及び上記測定を備える調節パラメータに基づいて、メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備える。
2007529812.tif 000002
【特許請求の範囲】
【請求項１】
メディア信号処理システムにおいて、連続したメディア・データ・パケット群の形式において利用可能なメディア信号を処理する方法であって、
１つ又は複数の機能であって、該機能のうちの少なくとも１つを、別々のレベルのスケーラビリティによって行い、よって、別々の出力品質及びリソース要求をもたらすことが可能である機能を行い、
複数のシステム出力を供給するためのリソースを要求する工程と、
特定のスケーラビリティ・レベルで前記方法を動作させることを可能にするために前記方法に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れたいわゆる進捗を測定する工程と、
前記方法の動作中に用いる少なくとも１つのメディア処理特有リソースを測定する工程と、
前記割り当てられるバジェット及び前記測定を備える調節パラメータに基づいて、メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを更に備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記調節パラメータが、正則境界を備えたフレーム内に構成されることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記調節パラメータが正則グリッド内のセグメントに分割されたフレーム内に構成され、別個のバジェットが前記セグメントの少なくとも１つに割り当てられることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記調節パラメータが正則グリッド内のセグメントに分割されたフレーム内に構成され、別個のバジェットが、コンテンツに依存するセグメント特性に基づいて前記セグメントのそれぞれに割り当てられることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記調節パラメータが非正則部分に分割されたフレーム内に構成され、特定のバジェットが前記非正則部分のそれぞれに割り当てられることを特徴とする方法。
【請求項６】
連続したビデオ・データ・パケット群を処理し、１つ又は複数の機能的回路を備えるメディア信号処理システムであって、
前記機能的回路のうち、前記回路によって行われる機能の少なくとも１つを、別々のレベルのスケーラビリティによって行い、よって、別々の出力品質及びリソース要求をもたらすことが可能であり、前記システムは、スケーラブルな機能の少なくとも１つの可変パラメータに施され、割り当て期間中の期待利用度と実際の利用度との間の差異の計算によって算出されるいわゆる偏差の関数として前記システムのリソース・ニーズを動的に変更するようにした帰還制御ループを備える調節装置を備えることを特徴とするシステム。
【請求項７】
目標のベクトル候補数を検査し、連続した画素ラインを備え、連続したブロックに分割される連続したフレームを備える入力ビデオ・データ・ストリームのロード・バランス調節を備えるリソース・スケーラブルな動き推定器に用いるロード調節方法への、請求項１記載のメディア信号処理方法の適用であって、
前記ロード調節方法は、
複数のシステム出力を供給するためのリソースを特定数の推定動きベクトル候補の形式で要求する工程と、
規定された品質レベルで動作することを可能にするためにフレーム毎に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、
前記方法の動作中に用いるリソースを測定する工程と、
前記割り当てられるバジェット及び前記測定を備える調節パラメータに基づいて、前記メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備えることを特徴とする適用。
【請求項８】
目標のベクトル候補数を検査し、連続した画素ラインを備え、連続したブロックに分割される連続したフレームを備える入力ビデオ・データ・ストリームのロード・バランス調節を備えるリソース・スケーラブルな動き推定器に用いる、請求項７記載のロード調節方法であって、
特定数の推定動きベクトル候補を推定する工程と、
規定された品質レベルで動作することを可能にするためにフレーム毎に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、
目標ベクトル候補数を前記進捗によって重み付けする工程と、
前記動き推定器の出力での前記特定数のベクトル候補と前記重み付けされた目標ベクトル候補数との差を判定する工程と、
前記差及び前記測定に基づいて、前記動き推定器のロードの調節を行う工程とを備えることを特徴とする方法。
【請求項９】
請求項８記載の方法であって、前記進捗は、フレーム内の、処理されたブロック線の数と、合計ブロック線数との比によって判定されることを特徴とする方法。
【請求項１０】
請求項９記載の方法であって、前記調節パラメータは、検査する対象のベクトル候補の数に影響を及ぼすブロックホッピング閾値であることを特徴とする方法。
【請求項１１】
コンピュータ・システムであって、請求項８乃至１０の何れか一項に記載の方法を行うことを特徴とするコンピュータ・システム。
【請求項１２】
コンピュータ・プログラムであって、該コンピュータ・プログラムがコンピュータ上で実行すると、請求項８乃至１０の何れか一項に記載の方法を行うコンピュータ判読可能媒体上に記憶されたプログラム・コード手段を備えることを特徴とするコンピュータ・プログラム。
【請求項１３】
連続した画素ラインを備え、連続したブロックに分割されるフレームを備えたビデオ・データ・ストリームに関連した目標ベクトル候補数を検査するようにしたリソース・スケーラブルな動き推定器であって、
特定数のベクトル候補を供給するようにした動き推定手段と、
規定された品質レベルでの動作を可能にするためにフレーム毎に所定のバジェットを規定するようにした割り当て手段と、
フレーム内の、処理されたブロック線の数と、合計ブロック線数との比によって定められるいわゆる進捗を算出するようにした測定手段と、
前記目標ベクトル候補数を前記進捗によって重み付けるようにした重み付け手段と、
前記動き推定器での出力での実際のベクトル候補数と、
前記重み付けられた目標ベクトル候補数との間の差を判定するようにした算出手段と、
前記動き推定器のロードの調節パラメータを前記差に基づいて変更するようにした制御手段とを備えることを特徴とする動き推定器。
【請求項１４】
請求項１３記載の動き推定器であって、前記調節パラメータは、検査する対象のベクトル候補の数に影響を及ぼすブロックホッピング閾値であることを特徴とする動き推定器。
【請求項１５】
鮮鋭度エンハンスメント処理において用いるロード調節方法への、請求項１記載のメディア処理方法の適用であって、
前記ロード調節方法は、
複数のシステム出力を供給するためのリソースを特定数のブロック活動及び関連した判定の形式で要求する工程と、
規定された品質レベルで動作することを可能にするためにフレーム毎に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、
前記方法の動作中に用いるリソースを測定する工程と、
前記割り当てられるバジェット及び前記測定を備える調節パラメータに基づいて、前記メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備えることを特徴とする適用。
【請求項１６】
鮮鋭度エンハンスメント装置であって、請求項１５記載の方法を行うことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア信号処理システムにおける処理の方法に関し、メディア信号は、連続したメディア・データ・パケット群の形式で利用可能であり、上記処理方法は、１つ又は複数の機能を行い、こうした機能のうち、少なくとも１つは、別々のスケーラビリティ・レベルで行い、それによって、別々の出力品質及びリソース要求をもたらすことが可能である。
【０００２】
本発明は更に、上記方法を行うことを可能にする、相当する処理装置に関し、上記処理方法の適用に関する。
【背景技術】
【０００３】
メディア（特にビデオ）の処理を行うソフトウェア・アルゴリズムは一層、プログラム可能な構成部分上で実行されるようになってきている。こうしたアルゴリズムは通常、データに依存するリソース利用度を有する。最悪のケースのリソース割り当ては予測が難しく、更に、効率的で、費用効果の高い実施には望ましくないので、メディア処理アルゴリズムは一般に、安定性及びロバスト性を犠牲にすることなく好適な出力品質を依然として提供しながら、限定的なリソースに対処しなければならない。ソフトウェアの実施に良く適したスケーラブルなメディア・アルゴリズムは、出力品質とリソース利用度との間のトレードオフを可能にする。
【０００４】
しかし、データに依存する処理によって、リソース利用度の変動が生じ、リソース変動は、システムが受け入れることができるレベルよりも大きい場合がある。
【０００５】
リソース・スケーラブルなアルゴリズムを行う装置の第１の例は例えば、動き推定器（Ｒ．Ｂｒａｓｐｅｎｎｉｎｇ、Ｇ．ｄｅ  Ｈａａｎ及びＣ．Ｈｅｎｔｓｃｈｅｌによる「Ｃｏｍｐｌｅｘｉｔｙ  ｓｃａｌａｂｌｅ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＶＣＩＰ），Ｐｒｏｃｅｅｄｉｎｇｓ，Ｓａｎ  Ｊｏｓｅ  （ＵＳＡ），Ｊａｎｕａｒｙ  ２００２，ｐｐ４４２−４５３」に記載されたものなど）である。前述の動き推定器では、リソースの利用度は、時間的活動及び空間的コンテンツ特性に応じて大きく変動し得る。与えられたバジェット（又はリソース）内に収めるために、この動き推定器は、特定された目標近くにロードを維持することを可能にする調節器を有する。しかし、そうした調節によって、調節パラメータがフレーム単位で算出され、調節され、閾値パラメータ「リソース・品質の設定」はフレーム全体で固定であり、よって、このフレーム内でおおむねアクティブな領域について差異化が可能でない。又、リソース利用度は、フレーム全体について判定され、その後利用される。よって、フレーム内の適応は可能でなく、その結果、調節は、指定された目標よりもずっと多くのリソースを用いる大量（ｓｈｏｔ）変動の後、失敗することが多い。最後に、フレーム毎のリソース利用度における変動は、ロバストで安定した適用の場合、なお高すぎるように思われる。
【０００６】
リソース・スケーラブルなアルゴリズムを行うことを可能にする解決策の第２の例は、国際公開第０３／０５０７５８号パンフレット（ＰＨＮＬ０１０９００）に記載されている。前述の刊行物に記載された方法は、メディア信号の、変動する要件（例えば、品質レベルに対する予測できない要求、及びよって、更なる処理能力に対する予測できない要求）に適応することが可能である。上記方法は、第１の品質レベルで動作することを可能にするようバジェットを割り当てる工程と、いわゆる進捗、及び動作中に用いられるバジェットを（リソースの実際の利用の尺度によって）判定する工程と、メディア信号処理の第２の品質レベルを（上記進捗、割り当てられたバジェット、及び実際に用いられるバジェットに基づいて）設定する工程とを備える。
【０００７】
しかし、この調節方法は、アルゴリズムの品質レベルに主に影響を及ぼし、間接的にしかリソースの利用度（言及されていない）に影響を及ぼさない。品質レベルとリソース利用度との間の相関は、特にメディア・データに依存する処理の場合、低いか、又は適切でない。更に、動作中に用いられるバジェットは、処理アルゴリズム外のシステム特性によって定められるが、それは、バジェット情報が、処理アルゴリズム外のパラメータ（ＣＰＵサイクル、使用時間、ストール・サイクル、バス帯域幅、メモリ・アクセス等など）についての測定を有するからである。調節はよって、処理アルゴリズムとの大量の相互作用を伴って処理ハードウェアによって定められ、他のプラットフォーム上又は構成上での再使用は難しいが、それは、システム全体を、全体的な特定の適用に最適化しなければならないからである。このことは多くの場合可能でないがそれは、プログラム可能な構成部分上の一部のシステム特性（バス帯域幅、ストール・サイクル等など）の測定又は予測が難しいからである。
【０００８】
よって、他のプラットフォーム上又は製品ファミリ・メンバ上での容易な再使用を可能にするために外部制御を必要とせずにメディア（ビデオ）処理アルゴリズムのロード・バランス調節を提供し、他のシステム特有パラメータを無視して、割り当てられたメディア処理特有バジェット及び内部メディア処理特有測定をもとにロード調節を行うことが望ましいものと思われる。更に、上記ロード調節は好ましくは、フレームなどのビデオ・データ・パケット群に対して行わなければならない一方、調節パラメ―タはフレーム内で適応させる。調節特性が、既に処理されたデータの量とは無関係であること、及び、フレーム毎の特定のリソース・バジェットに近い上記調節が入力データ特性とは無関係であることを検証することも必要である（任意的には、調節は、フレーム全体の総バジェットへの調節を依然として備えながら、フレームよりも小さく、何れかの正則又は非正則の形状及び寸法の領域又はセグメントにおける個々の予め定められたバジェットにリソース利用度を調節しなければならないことになる）。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
よって、本発明の目的は、上記特性及び利点を備えるロード調節が提供される処理方法を提案することである。
【課題を解決するための手段】
【００１０】
このために、本発明は、本明細書の冒頭段落記載の方法などの方法に関する。この方法は更に、
複数のシステム出力を供給するためのリソースを要求する工程と、
特定のスケーラビリティ・レベルで方法を動作させることを可能にするために上記方法に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、
方法の動作中に用いる少なくとも１つのメディア処理特有リソースを測定する工程と、
上記割り当てられるバジェット及び上記測定を備える調節パラメータに基づいて、メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備えることによって更に特徴付けられる。
【００１１】
本願で提案する方法の利点は、
（ａ）特定された目標（割り当てられたバジェット）に対する調節が非常に好適であること、
（ｂ）限定的なリソースによる、プログラム可能な構成部分に対するメディア処理が安定的であり、ロバストであること、
（ｃ）調節はメディア処理アルゴリズムの一部であり、外部調節構成部分を必要とせず、その調節を備えたアルゴリズムはよって、他のプラットフォーム又は製品ファミリ・メンバに容易に移植可能であること、及び
（ｄ）フレーム内のおおむねアクティブな領域の差異化が、特定のリソースでの最適化された知覚ピクチャ品質に鑑みて可能であることである。
【００１２】
本発明の特定の実施例では、調節パラメータを好ましくは、正則の境界内を備えたフレーム内に構成するが、正則のグリッド内のセグメントに分割されたフレーム内に構成することもでき、別個のバジェットは次いで、上記セグメントの少なくとも１つ（通常は、少なくとも第１のもの）に割り当てられる。しかし、別個のバジェットを、上記セグメントのそれぞれにコンテンツ依存セグメント特性に基づいて割り当てることもできる。
【００１３】
本発明の別の実施例では、調節パラメータは、非正則部分に分割されたフレーム内に構成することもでき、特定のバジェットは上記非正則部分のそれぞれに割り当てられる。
【００１４】
本発明の別の目的は、本発明による処理方法を行うことを可能にするメディア信号処理システムを提案することである。
【００１５】
このために、本発明は、連続したビデオ・データ・パケット群を処理し、１つ又は複数の機能的回路を備えるメディア信号処理システムに関し、そうした機能的回路のうち、上記回路によって行われる機能の少なくとも１つを、別々のレベルのスケーラビリティによって行い、よって、別々の出力品質及びリソース要求をもたらすことが可能であり、上記システムは、上記スケーラブルな機能の少なくとも１つの可変パラメータに施され、割り当て期間中の期待利用度と実際の利用度との間の差異の計算によって算出されるいわゆる偏差の関数としてシステムのリソース・ニーズを動的に変更するようにした帰還制御ループを備える調節装置を備える。
【００１６】
本発明の更に別の目的は、動き推定処理などの適用に上記処理方法を用いることである。
【００１７】
このために、本発明は、目標数のベクトル候補を検査し、連続した画素ラインを備え、連続したブロックに分割される連続したフレームを備える入力ビデオ・データ・ストリームのロード・バランス調節を備えるリソース・スケーラブルな動き推定器に用いるロード調節方法への、メディア信号処理方法の適用に関し、上記ロード調節方法は、
複数のシステム出力を供給するためのリソースを特定数の推定動きベクトル候補の形式で要求する工程と、
規定された品質レベルで動作することを可能にするためにフレーム毎に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、方法の動作中に用いるリソースを測定する工程と、
上記割り当てられるバジェット及び上記測定を備える調節パラメータに基づいて、メディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備える。
【００１８】
本発明の更に別の目的は、鮮鋭度エンハンスメント処理などの適用において、本願で提案する処理方法を用いることである。
【００１９】
このため、本発明は、鮮鋭度エンハンスメント処理に用いるロード調節方法へのメディア処理方法の適用に関し、上記ロード調節方法は、
複数のシステム出力を供給するためのリソースを特定数のブロック活動及び関連した判定の形式で要求する工程と、
規定された品質レベルで動作することを可能にするためにフレーム毎に所定のバジェットを割り当てる工程と、
処理されたデータを考慮に入れた、いわゆる進捗を測定する工程と、
方法の動作中に用いるリソースを測定する工程と、
上記割り当てられるバジェット及び上記測定を備える調節パラメータに基づいてメディア信号処理の修正リソースを割り当てることによってロード調節を行う工程とを備える。
【発明を実施するための最良の形態】
【００２０】
本発明を次いで、例として、添付図面を参照しながら説明する。
【実施例】
【００２１】
本願で提案する手法によれば、図１は、前述の要件を満たすことを可能にする、進捗ベースのメディア処理調節器の概括的な構造を示す。図示した調節器は、メディア処理のための基本段１００を備える。この段は、いくつかのブロックを備え得る（この数は、以下に説明する本発明に重要でない）。図示した例（本発明の限定ではない）では、上記段は例えば、機能１（Ｆ１）を行う第１の回路１１０、及び機能２（Ｆ２）を行う第２の回路１２０を直列に備える。上記段１００において実施される基本アルゴリズムは例えば、動き推定であり得るが、この原理は、一般に、データに依存するリソース利用度を有する何れかのスケーラブル・アルゴリズムに適用可能である（別の例は、例えば、個々のピクチャの最も適切な領域における鮮鋭度エンハンスメントのためのアルゴリズムである）。
【００２２】
段１００では、第１の回路１１０が入力ビデオ信号（ＩＶＳ）を受信し、第２の回路１２０が出力ビデオ信号（ＯＶＳ）を供給する。調節ループ１３０が次いで、段１００に関連付けられる。段１００では、第３の回路３０（ＰＭ（進捗測定の略））によって、進捗と呼ばれ、入力信号の処理データの数と、割り当て期間（例えば、フレーム期間）において処理されなければならない総データ量との比によって実際に定められる表現を測定することが可能になる。上記回路３０は例えば、示標ｐを供給することができる。更に段１００では、第４の回路（ＲＭ（リソース測定の略））によって、少なくとも１つの、メディア特有の使用リソースを測定することが可能になる。上記回路４０は、処理アルゴリズムによって使用される、実際の、蓄積されるリソース数である数Ｒｒを供給する。回路３０の出力信号ｐは第５の回路５０（ＥＲＣ（「期待リソース利用度」の算出の略））によって受信され、回路４０の出力信号Ｒｒは第６の回路６０（ＲＤＣ（「リソース偏差算出」の略））によって受信される。回路３０及び４０は、測定期間の開始時にリセットするための入力ＲＥＳＥＴを有する。
【００２３】
測定された進捗ｐ（回路３０の出力で利用可能）は、回路５０の入力で利用可能な目標Ｒａ（又は、割り当て期間毎バジェット）を重み付けするのに用いられ、よって、回路５０の出力で得られる、重み付けされた目標Ｒｅは回路６０の第２の入力上で受信される。回路６０は、値Ｒｅ及びＲｒに基づいて、重み付けされた目標からの偏差Ｒｄを計算する。この偏差Ｒｄは、要求される調節を行うために回路１２０に向けて送られる、リソース・品質の設定である。回路６０のこの出力Ｒｄと回路１２０の入力との間に、低域通過フィルタ７０（ＬＰＦ）、及び非線形関数を有する回路８０（ＮＬＦ）を備えることができ、これらの２つの回路のそれぞれは任意である（図１には示している）。
【００２４】
これらの原理は、正則の境界を備えたフレームにまず施すことができるが、考えられる唯一の実施例でない。メディア処理は、おおよそ一定の知覚品質を達成するために、例えば、画像の別々の部分（静止画像部分、動いている領域、テクスチャ領域、平坦な領域、同様な方向及び速度を備えた動きベクトル・フィールド等）について別々のリソースを必要とする場合もある。これらの画像部分は更にセグメントに分割することができる。セグメント自体は、その中身に基づいて正則グリッド内又は非正則グリッド内に配置し得る。前述のセグメント化後、各セグメントには、主要な、コンテンツに依存するセグメント特性に応じて優先度又は相対バジェットを割り当てることができる。更に、別の優先度を、より高速の収束のために、画像の最初に対して割り当てることができる。
【００２５】
この一般的なロード調節手法は、数多くの適用において用いることができ、例えば、リソース・スケーラブルな動き推定器（例えば、「Ｃｏｍｐｌｅｘｉｔｙ  ｓｃａｌａｂｌｅ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ」と題する前述の刊行物に記載されたタイプのもの）において用いることができる。上記刊行物で説明されているように、動き推定によって一般に、２つの輝度画像ｆ（ｘ，ｔ−１）及びｆ（ｘ，ｔ）を前提として、
ｆ（ｘ，ｔ−１）＝ｆ（ｘ＋ｄ（ｘ，ｔ），ｔ）      （１）
であるようなベクトル・フィールドｄ（ｘ，ｔ）を求めるという問題が解決される。
実際に、安定解を得るために、関数ｄ（ｘ，ｔ）の推定が、各画素についてではなく、画素群（例えば、８ｘ８ブロック）について行われる。これによって、
【数１】
2007529812.tif 000003
という制約がもたらされる。
ここで、Ｂ（ｘ）は位置ｘでの画素ブロックである。すなわち、
【数２】
2007529812.tif 000004
であり、βｉはブロック次元である。便宜上、ブロック位置での座標全てを備える集合ＢＣ（「ブロック座標」の略）を定義する。すなわち、
ＢＣ＝｛ｘ｜ｘｉｍｏｄβｉ＝０ｉ；ｉ＝０，１｝      （４）
である。推定アルゴリズムはその場合、以下のように定義される。位置ｘ∈ＢＣでのブロックを考察する。集合ＰＣ（「先行して計算された」の略）は、現時点ｉで既に推定されているブロック位置を備える。候補集合ＣＳが構成される、すなわち、
ＣＳ＝｛Ｃｉ｜ｉ＝Ｏ，……，｜ＣＳ｜−１｝      （５）
である。候補ベクトルｃｉはブロック位置ｘｉに関連し、ブロック位置ｘｉは、走査順序（単位ベクトルｓ０及びｓ１、例えば、ｓ０＝（１，０）及びｓ１＝（０，１）によって表す）を介して現在の位置ｘに関係する。ブロック位置ｘｉは相対ブロック位置ベクトルδを用いて表すことが可能である、すなわち、
ｘｉ＝ｘ＋δ０β０ｓ０＋δ１β１ｓ１      （６）
である。ベクトルδが条件（δ１＜０）∨（δ１＝０∧δ０＜０）を満たす場合、ブロック位置は、現時点ｔで既に処理されている隣接ブロック（すなわち、ｘｉ∈ＰＣ）であり、その出力ベクトルを候補として採用することが可能である。候補ベクトルｃｉ∈ＣＳ全てについて、一致エラーεが
【数３】
2007529812.tif 000005
によって計算される。最低一致エラーＣｍｉｎを備えた候補ベクトルが次いで出力変位ベクトルとして割り当てられる。すなわち、
【数４】
2007529812.tif 000006
であり、
よって、
【数５】
2007529812.tif 000007
である。最後に、位置ｘが集合ＰＣに加えられる、すなわち、ＰＣ：ＰＣ∪｛ｘ｝である。
【００２６】
動き推定の特定例では、記載されたリソース・スケーラブルな動き推定器は、（動き推定器をスケーラブルにするために他の手法を考案することが可能であるが）例えば、画像内の特定のブロックについて別のベクトル候補を検査するか否かを判定するための、ブロックホッピング閾値と呼ばれる表現を用いる。ブロックホッピングは、処理に最も重要なブロックを選択するようにした手法を表す。上記手法によれば、特定のブロックの動きベクトルは、可変閾値よりも大きな一致エラーをもたらさない限り、単に隣接ブロックから複製される。この場合には、この可変閾値は、プログラム可能なレベル未満にリソース利用度を維持する帰還ループによって制御される。このブロックホッピング手法は、少なくとも１つのＳＡＤ（絶対値差の和）の算出を必要とする。ブロック毎のＳＡＤ算出の平均数は１を下回ることは決してあり得るものでなく、１つのＳＡＤ（ブロック毎）に近い平均を、許容可能な品質を伴って達することは非常に難しく、更なる手法、すなわち、候補選択の実行が劣悪なブロックに対して（例えば、コントラスト・テクスチャを何ら有しないか、非常に低いコントラスト・テクスチャを有するブロックに対して）リソースを費やすことを阻止することを可能にするブロック・スキップが必要である。
【００２７】
ブロックホッピング閾値を変えることはよって、検査される候補の数に影響を及ぼし、よって、動き推定器のロードに影響を及ぼす。このブロックホッピング閾値は、動き推定器が水平ブロック線（又はブロック線）を処理する都度、ロード・バランス調節器によって更新される。特定のブロックホッピング閾値を備えたブロック線を処理した後、動き推定器は、画像において処理されたブロック全てについて候補の実際の平均数を出力する。当該画像の最後に、候補の平均数は、特定された目標平均候補数に近いはずである、すなわち、エラーはゼロに近いはずである。実際に、特定された平均候補数と実際の平均候補数との間に見られる差である残差誤差値を前提とすれば、補正値を算出しなければならず、この補正は、次のブロック線のブロックホッピング閾値の適切な値に、通常、非線形変換関数によって（一定の係数による乗算によるものであってもよい）変換されなければならない。
【００２８】
しかし、個々のブロック線それぞれについてではなく、画像の最後での目標からの偏差のみが重要であることが分かり得る。更に、ブロック線間の大きなロード差は、避けるべきであるが、それは、それらの間の品質における目に見える差をもたらし得るからである。よって、本明細書記載の動き推定器では、画像内のブロック線の相対位置を考慮に入れることを提案している。この相対位置（進捗と呼ばれる）は、処理されたブロック線全てについての、重み付けされた目標候補数を得るために、画像全体の目標候補数を重み付けするのに用いる。
【００２９】
実際候補数の、重み付けされた目標からの偏差を次いで用いてブロックホッピング閾値を得る。目標を進捗によって重み付けることによって、調節器がブロック線位置と無関係になる。
【００３０】
図２では、図１に示す手法を動き推定の基本アルゴリズムに施す。図２に示す実施例によれば、動き推定器２００は、動き推定自体を行うようにする回路２１０及び２２０を備える。調節ループ２３０が次いで動き推定器２００と関連付けられ、回路５０乃至８０と同様な回路５１乃至８１を備える。段２００では、示標ｐを供給する第３の回路３１（ＰＭ）は、入力信号の処理データの数と、割り当て期間（例えば、フレーム期間）において処理しなければならない総データ量との比によって定められる進捗を測定することを可能にする。更に段２００では、使用リソースの測定を可能にする第４の回路４１（ＲＭ）は、処理アルゴリズムによって用いられるリソースの実際の、蓄積される数である数Ｒｒを供給する。回路３１の出力信号ｐは第５の回路５１によって受信され、回路４１の出力信号Ｒｒは第６の回路６１の第１の入力によって受信される。回路３１の出力で利用可能な、測定された進捗ｐを用いて、回路５１の入力で受信される目標Ｒａ（又は、割り当て期間毎のバジェット）を重み付けし、よって得られる、重み付けされた目標Ｒｅは回路６１の第２の入力上で受信され、回路６１は、上記値Ｒｅ及びＲｒに基づいて、重み付けされた目標からの偏差Ｒｄを計算する。この偏差は、要求される調節を行うために回路２２０に向けて送られる、リソース・品質の設定である。回路６１の出力Ｒｄと回路２２０の相当する入力との間に、低域通過フィルタ７１、及び非線形関数を有する回路８１を図１のように備えることができ、これらの２つの回路のそれぞれは任意である（図２には示している）。
【００３１】
図３では、図１の手法を次いで、鮮鋭度エンハンスメントのための基本アルゴリズムを行う別の場合に用いる。図示した実施例によれば、進捗ベースの調節はこの場合、基本段３００（これ自体が、ブロック活動（活動は、例えば、高コントラストを備えたテクスチャに相当する場合に高であり、中コントラストの場合に中であり、低コントラストの場合に低であり得る）の算出、及び処理に関する判定（相当する判定は、例えば、鮮鋭化、すなわち局所コントラストの増加か、あるいは何もしないか、あるいは平滑化、すなわち雑音の削減であり得る）のために備えた第１の回路３１０と、ブロック処理のために備えた第２の回路３２０とを備える）を備える。この例では、（鮮鋭度エンハンスメント・アルゴリズムの場合の）こうした特性は、コンテンツに依存したリソース利用度につながる。局所調節の場合、リソース利用度を低減又は増加させるようシフトすることが可能な２つの別々の閾値レベル（「何もしない」と「鮮鋭化」との間、及び「何もしない」と「平滑化」との間）を用いることが考えられる（「何もしない」は最小リソースに相当する）。調節ループ３３０が次いで動き推定器３００と関連付けられ、回路５０乃至８０と同様な回路５２乃至８２を備える。段３００では、示標ｐを供給する第３の回路３２（ＰＭ）によって、入力信号の処理データの数と、割り当て期間（例えば、フレーム期間）において処理しなければならない総データ量との比によって定められる進捗を測定することが可能になる。更に段３００では、使用リソースの測定を可能にする第４の回路４２（ＲＭ）は、処理アルゴリズムによって用いられるリソースの実際の、蓄積される数である数Ｒｒを供給する。回路３２の出力信号ｐは第５の回路５２によって受信され、回路４２の出力信号Ｒｒは第６の回路６２によって受信される。回路３２の出力で利用可能な、測定された進捗ｐを用いて、回路５２の入力で利用可能な目標Ｒａ（又は、割り当て期間毎のバジェット）を重み付けし、よって得られる、重み付けされた目標Ｒｅは回路６２の第２の入力上で受信され、回路６２は、上記値Ｒｅ及びＲｒに基づいて、重み付けされた目標からの偏差Ｒｄを計算する。この偏差は、要求される調節を行うために回路３２０に向けて送られる、リソース・品質の設定である。回路６２の出力Ｒｄと回路３２０の入力との間に、低域通過フィルタ７２、及び非線形関数を有する回路８２を図１及び図２のように備えることができ、これらの２つの回路のそれぞれは任意である（図３には示している）。
【００３２】
図２に示す適用に関して、更に具体的な実施例を図４に表す。これは、本発明による進捗ベースの調節器の特定例を示す。図４では、入力目標候補数ＴＡＮＣは乗算器４１１によって受信され、乗算器４１１には直列に、減算器４１２、低域通過フィルタ４１４、リミタ４１５（すなわち、非線形関数を備えた回路）、変換器４１６（Ｔ）及び動き推定器４１７（ＥＳＴ）が続く。フィルタ４１４及びリミタ４１５は任意である。動き推定器４１７の出力では、２つのデータ（処理されるブロック線の数ＮＢＬＰ及び実際の候補数ＲＮＢＣ）が利用可能である。利得Ｋを備えた増幅器４１３を減算器４１２と低域通過フィルタ４１４との間に備えることができる。ブロック線毎調節のこの特定の実施例では、進捗は、算出回路４１８において比ＰＲＯＧ＝ＮＢＬＰ／ＴＮＢＬ（ＴＮＢＬは、フレーム内の合計ブロック線数である）を判定することによって得られ、入力目標候補数ＴＡＮＣを重み付けする乗算器４１１の第２の入力上で受信される。乗算器４１１の出力で利用可能な、重み付けされた目標候補数ＷＴＡＮＣは乗算器４１２の第１の入力上で受信され、減算器４１２の負の入力は、実際の候補数ＲＮＢＣを受信する。ＷＴＡＮＣとＲＮＢＣとの間の差（偏差ＤＥＶと呼ばれる）は、増幅器４１３において利得係数Ｋによって乗算され、フィルタ４１４によって低域通過フィルタリングされ、リミタ４１５によって制限される（これらの最後の２つの回路（任意である）が備えられている場合）。リミタ４１５の出力（又は、フィルタ４１４及びリミタ４１５が存在していない場合、増幅器４１３の出力）で利用可能な補正値ＣＯＲは、線形、前述のように又は非線形である変換関数によって、ブロックホッピング閾値ＢＨＴの値に変換される。（本発明の限定では決してないが）行われた実験では、この閾値ＢＨＴは式
【数６】
2007529812.tif 000008
によって表されている。
この関数は好ましくはルックアップ・テーブルによって実施される。ブロックホッピング閾値ＢＨＴは次いで動き推定器４１７によって受信される。低域通過フィルタの場合、通常の１次ＩＩＲ低域通過フィルタ（図５に示すフィルタの例など）を用いることができる。このフィルタの遅延エレメントＤ、及びブロックホッピング閾値は、新たな画像それぞれの開始時にリセットされる。
【００３３】
図４の進捗ベースの調節器の別の概略図を図６において提示することができる。図６では、図４の実施形態において既に存在している回路を同様に参照している。入力された目標平均候補数ＴＡＮＣは減算器６３１によって受信され、減算器６３１には直列に、乗算器６３２、低域通過フィルタ４１４、増幅器４１３、リミタ４１５、変換器４１６及び動き推定器４１７が続く。動き推定器４１７の出力では、２つのデータ（処理されるブロック線数ＮＢＬＰ及び実際の平均候補数ＲＡＮＣ）が利用可能である。前述のように算出回路４１８において計算された進捗は、この場合、減算器６１３と低域通過フィルタ４１４との間に備えられる乗算器６３２の第２の入力上で受信される。動き推定器４１７の他方の出力（実際の平均候補数ＲＡＮＣ）は減算器６３１の負の入力によって受信される。入力される目標平均候補数ＴＡＮＣと実際の平均候補数ＲＡＮＣとの間の差（偏差ＤＥＶとも呼ばれる）は乗算器６３２の第１の入力上で受信され、算出回路４１８において先行して計算された進捗によって乗算され、上記乗算器は、重み付けされたエラーＷＥＲ（次いで前述のように回路４１４，４１３、４１５、４１６及び４１７において処理される）を供給する。
【００３４】
画像の最初での相対偏差はブロックホッピング閾値のわずかな変動しかもたらさないことになるが、それは、しかし、画像内の残りのブロック線全てに影響を及ぼすことになる。逆に、画像の最後の近くの相対偏差は、目標を満たすために、閾値のより大きな変動をもたらすことになる。全体的には、上記調節は、図４に示すような絶対偏差を備えた調節器に等しいか、又は匹敵する。
【００３５】
上記実施例の場合、利用可能なリソースが画像にわたって均等に配分されている、すなわち、画像の各部分に、他の全部分と同じ平均リソース数が与えられている。しかし、このことは最良の出力品質に常につながる訳でない。進捗ベースの調節器の第３の実施形態を次いで提案することが可能である。この実施形態では、別個のロード目標を、画像コンテンツに応じて別々の画像部分に用いる。この第３の実施形態によれば、各画像は、図７の左部分に示すように、ロード目標が判定されるセグメントに（この場合、等しい寸法の矩形セグメントに）分割される（図７の例では、８ｘ８画素の３２８０ブロックを有する画像が３ｘ６＝１８セグメントに分割されており、各セグメントは、図７の右部分に図示するように、１２個の調節器部分及び１５ｘ１２＝１８０ブロック、すなわち、調節器部分毎に８ｘ８画素の１５ブロックを備える）。ブロック毎の平均候補数として表されるこれらのロード目標は、以下の特性を有するように判定される。
【００３６】
（ａ）全画像セグメントの平均ロード目標は画像全体の特定ロード目標と同じである。
【００３７】
（ｂ）動き推定器はブロック毎に特定候補数を超える数を費やすことが可能でないので、最大ロード目標はブロック毎の上記特定候補数を超えない。
【００３８】
（ｃ）同様に、動き推定器はブロック毎に特定候補数未満の数を費やすことが可能でないので、最小ロード目標はブロック毎のおおよその上記特定候補数を下回らない。
【００３９】
種々の画像セグメントに別個のロード目標を用いる調節器の概略図を図８に示す。次のセグメントの処理された調節器部分全ての候補の入力目標数ＴＮＣＰＳは減算器８５１上で受信され、減算器８５１には直列に、増幅器８５３、変換器８５６（ＴＲＡＮＳ）及び動き推定器８５７（ＥＳＴ）が続き、動き推定器の出力では、次のセグメントの、処理された調節器部分全ての候補の実際の数ＲＮＢＣ（ＲＰ）が利用可能である。調節器に用いる目標は、特定のセグメント内で処理された調節器部分全ての候補の数ＴＮＣＰＳの処理である（この目標は、処理された調節器部分の数とともに線形的に増加する）。セグメント・ベースのロード目標を用いた前述の進捗ベースの調節器の流れ図を図９に表す。
【００４０】
ハードウェア・アイテム若しくはソフトウェア・アイテム、又は両方によって機能を実施する数多くの方法が存在することを最後に示さなければならない。この点で、添付図面は、非常に概略的なものであり、それぞれは、本発明の、考えられる１つの実施例のみを表している。
【００４１】
よって、図面は別々の機能を別々のブロックとして示すが、単一のハードウェア・アイテム又はソフトウェア・アイテムがいくつかの機能を行うことを何ら排除するものでない。ハードウェア・アイテム組立体若しくはソフトウェア・アイテム組立体、又は両方が機能を行うことを排除するものでもない。
【００４２】
詳細な説明は、添付図面を参照しながら、本発明を限定するのではなく例証することを本明細書の上記記載は表している。特許請求の範囲内に収まる代替策が数多く存在する。特許請求の範囲における参照符号は何れも、特許請求の範囲を限定するものと解すべきでない。「ｃｏｍｐｒｉｓｉｎｇ」の語は、請求項に列挙したもの以外の構成要素又は工程の存在を排除するものでない。構成要素又は工程に先行する語「ａ」又は「ａｎ」は、そうした構成要素又は工程が複数存在することを排除するものでない。  
【図面の簡単な説明】
【００４３】
【図１】本発明による進捗ベースのメディア処理調節器を示す図である。
【図２】本発明による調節器の適用を示す図である。
【図３】本発明による調節器の適用を示す図である。
【図４】本発明による更に具体的な進捗ベースの調節器を示す図である。
【図５】図４の調節器において備えられる通常の低域通過フィルタの例を示す図である。
【図６】本発明による進捗ベースの調節器の別の例を図４に対して示す図である。
【図７】画像の、セグメントへの分割、並びに、上記セグメントのうちの１つの、調節器部分への分割及びブロックへの分割を示す図である。
【図８】本発明による進捗ベースの調節器の更なる例を示す図である。
【図９】図６の上記調節器がどのようにして機能するかを表す流れ図の例である。
【図１】
2007529812.tif 000009
【図２】
2007529812.tif 000010
【図３】
2007529812.tif 000011
【図４】
2007529812.tif 000012
【図５】
2007529812.tif 000013
【図６】
2007529812.tif 000014
【図７】
2007529812.tif 000015
【図８】
2007529812.tif 000016
【図９】
2007529812.tif 000017
【国際調査報告】
2007529812.tif 000018
2007529812.tif 000019
2007529812.tif 000020