(57)【要約】本発明は、メディアシステムにおけるメディア信号の処理に関する。前記メディアシステムは、ＰＣ、デジタルテレビ、セットトップボックス又はディスプレイであることができる。前記方法は、システム制御ユニットにより前記メディア信号の前記処理の進行状況及びリソース使用量（１８）を監視するステップと、構造負荷制御又はインジケータユニットにより内容の実質的な負荷変化（１９）に対する第１の時点（１）を決定するステップと、前記システム制御ユニットにより前記第１の時点に基づいて第２の時点（２）を決定するステップと、前記システム制御ユニットにより前記第２の時点において少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベル（１３）を低下するステップと、前記システム制御ユニットにより第３の時点において又は前記第３の時点までに前記少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを適合するステップとを含み、実現された品質レベル（１７）は、適合時間の期間内に安定になるだろう。前記内容の実質的な負荷変化は、ショット又はシーチェンジにより引き起こされることができる。前記スケーラブル・アルゴリズムは、誤り伝播無しであることができる。前記第２の時点は、前記第１の時点の前に来るか、一致するか又は後に来ることができる。前記適合時間は、１秒の一部の範囲であることができる。これは、非最適なデータ依存システム動作の時間と、これの視覚的出力品質に対する効果を最小化することを可能にする。
2005528861.tif 000002
【特許請求の範囲】
【請求項１】
メディアシステムにおいてメディア信号を処理する方法であって、
システム制御ユニットにより前記メディア信号の処理の進行状況及びリソース使用量を監視するステップと、
構造負荷制御又はインジケータユニットにより内容の実質的な負荷変化に対する第１の時点を決定するステップと、
前記システム制御ユニットにより前記第１の時点に基づいて第２の時点を決定するステップと、
前記システム制御ユニットにより前記第２の時点において少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを低下するステップと、
前記システム制御ユニットにより第３の時点において又は前記第３の時点までに前記少なくとも１つのスケーラブル・アルゴリズムの前記割り当てられた品質レベルを適合するステップであって、実現された品質レベルが適合時間の期間内に安定になる当該適合するステップと、
を有する方法。
【請求項２】
前記第１の時点を決定するステップが、
前記構造負荷制御又はインジケータユニットにより前記メディア信号の少なくとも１つの未来の視覚的変化についての情報を得るステップと、
前記構造負荷制御又はインジケータユニットにより前記情報を前記システム制御ユニットに転送するステップと、
を有することを特徴とする、請求項１に記載の方法。
【請求項３】
前記スケーラブル・アルゴリズムが誤り伝播無しであることを特徴とする、請求項１又は２に記載の方法。
【請求項４】
前記第２の時点が前記第１の時点の前に来ることを特徴とする、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
前記第２の時点が前記第１の時点と一致することを特徴とする、請求項１乃至３の何れか一項に記載の方法。
【請求項６】
前記第２の時点が前記第１の時点の後に来ることを特徴とする、請求項１乃至３の何れか一項に記載の方法。
【請求項７】
前記適合時間の期間が１秒より短いことを特徴とする、請求項１乃至６の何れか一項に記載の方法。
【請求項８】
前記メディアシステムが、ＰＣ、デジタルテレビ、セットトップボックス又はディスプレイであることを特徴とする、請求項１乃至７の何れか一項に記載の方法。
【請求項９】
請求項１乃至８の何れか一項に記載の方法を実行するコンピュータシステム。
【請求項１０】
コンピュータ上で実行される場合に請求項１乃至８の何れか一項に記載の方法を実行するコンピュータ読取可能媒体に記憶されたプログラムコード手段を有するコンピュータプログラム。
【請求項１１】
メディア信号を処理するメディアシステムにおいて、
前記メディア信号の処理の進行状況及びリソース使用量を監視する手段と、
内容の実質的な負荷変化に対する第１の時点を決定する手段と、
前記第１の時点に基づいて第２の時点を決定する手段と、
前記第２の時点において少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを低下する手段と、
第３の時点において又は前記第３の時点までに前記少なくとも１つのスケーラブル・アルゴリズムの前記割り当てられた品質レベルを適合する手段であって、実現された品質レベルが適合時間の期間内に安定になる当該適合する手段と、
を有するメディアシステム。
【請求項１２】
前記第１の時点を決定する手段が、
前記メディア信号の少なくとも１つの未来の視覚的変化についての情報を得る手段と、
前記情報を前記システム制御ユニットに転送する手段と、
を有することを特徴とする、請求項１１に記載のメディアシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアシステムにおけるメディア信号の処理方法に関する。
【０００２】
本発明は、前記方法を実行するコンピュータシステムにも関する。
【０００３】
本発明は、更に前記方法を実行するコンピュータプログラムに関する。
【０００４】
本発明は、更にメディア信号を処理するメディアシステムに関する。
【背景技術】
【０００５】
ＥＰ０９５７１７７は、信号を生成するコーダを開示する。前記コーダは、入力信号を量子化する量子化器と、前記量子化器の出力をエンコードし、コード化されたデータを出力するエンコーダとを有する。これは、シーンチェンジ（scene change）の検出用のシーンチェンジ検出器を使用し、もしシーンチェンジが検出されれば、前記シーンに適合された量子化パラメータは、前記シーンチェンジ後に新しく表れるシーンに対して前記量子化器に供給される。前記コーダは、低符号化レートの品質の信号を生成するために使用された。
【０００６】
ソフトウェアメディア処理アルゴリズムのデータ依存負荷（data dependent load）が、シーンチェンジの後に割り当てられたリソース又は利用可能なリソースより高くなる場合に、ビデオ信号処理のシステムは予測不可能な状態になりうることが知られている。最悪の場合のシナリオにおいては、前記システムがクラッシュする。このシステムクラッシュの間に、及び前記システムが前記クラッシュから復旧する前に、信用できないシステム動作の期間又は少なくとも非最適なデータロードに不幸にも依存し、前記非最適なデータロードの影響を受けるシステム動作の期間があるだろう。結果として、前記期間の間に、前記ビデオ信号処理システムの非最適システム動作は、視覚的な出力品質を劣化し、これはエンドユーザにとって迷惑だろう。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従って、本発明の目的は、非最適データ依存システム動作の時間と、これの視覚的な出力品質に対する効果を最小化することである。
【課題を解決するための手段】
【０００８】
この目的は、冒頭の段落で述べられたタイプの方法により達成され、当該方法は、
システム制御ユニットによりメディア信号の処理の進行状況及びリソース使用量を監視するステップと、
構造負荷変化検出器（structural load change detector）により内容（content）の実質的な視覚的変化に対する第１の時点を決定するステップと、
前記システム制御ユニットにより前記第１の時点に基づいて第２の時点を決定するステップと、
前記システム制御ユニットにより前記第２の時点において少なくとも１つのスケーラブル・アルゴリズム（scalable algorithm）の割り当てられた品質レベルを低下するステップと、
前記システム制御ユニットにより前記少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを第３の時点に又は前記第３の時点までに適合するステップであって、実現された品質レベルが適合時間の期間内に安定になる当該適合するステップと、
を有する。
【０００９】
第１ステップにおいて、一般に、前記システム制御ユニットは、前記メディアシステムのメディア信号処理の現在の状況を認識することができるように前記リソース使用量及び前記進行状況を監視しなければならないかもしれない。
【００１０】
これは、一般に、前記シーンチェンジ検出器又は前記構造負荷検出器が、前記メディアシステムが最終的に後のオーバーロード又はシステムクラッシュを避ける又は防止するために前記進行状況及び前記リソース使用量についての情報を持つことにより、前記メディアシステムを保護することを助けることができる理由である。
【００１１】
第２ステップにおいて、第１の時点は、後のショット又はシーンチェンジの１つが実際に起こる前に該後のショット又はシーンチェンジに対して決定され、第３のステップにおいて、前記第１の時点に密接な関係がある第２の時点が決定され、第４ステップにおいて−前記第２の時点において−割り当てられた品質レベルは、リソースのオーバーロードを避ける又は防止するため、即ちソフトウェアメディア処理アルゴリズムの前記データロードが割り当てられたリソース又は利用可能なリソースより高くなることを防ぎ、従って以前に述べられたシステムクラッシュを避けるためにリソースを積極的に解放するために低下させられる。最後に、第５ステップにおいて−前記第３の時点において又はそれまで−前記割り当てられた品質レベルは、前記実現された品質レベルを安定にするために再び適合される。
【００１２】
本発明の目的−即ち非最適なデータ依存システム動作の時間及びこれの前記視覚的出力品質に対する効果を最小化すること−は、前記第２の時点から（前記第４ステップから）前記実現された品質レベルがもう一度安定になるまで（前記ステップ５において）の時間において、前記メディアシステムにおける前記メディア信号の処理は、前記割り当てられた品質の低下及び後の適合により制御され、従って信頼できない非最適データロードを防ぐので、達成される。
【００１３】
従って、本発明の利点は、上述のステップを用いてオーバーロードを防ぐことである。
【００１４】
先行技術から既知である“シーンチェンジ”の用語は、ショットチェンジ（shot change）を同様にカバーするように拡張されてもよい。前記ショットチェンジは、−前記シーンチェンジと比較すると−前記シーン内の変化、例えば人々の異なる視野及び／又は部屋の中の異なる視野に関する。
【００１５】
これらの変化の１つは、前記第１ステップにおいて決定され、即ちこれは“内容の実質的な視覚的変化”である。
【００１６】
本発明の好適実施例において、前記第１の時点を決定するステップは、
構造負荷制御又はインジケータユニット（structural load control or indicator unit）により前記メディア信号の少なくとも１つの未来の視覚的変化についての情報を得るステップと、
前記構造負荷制御又はインジケータユニットにより前記情報を前記システム制御ユニットに転送するステップと、
を有する。
【００１７】
これら２つのステップにおいて、前記構造負荷制御又はインジケータユニットは、前記メディア信号の少なくとも１つの未来の視覚的変化についての情報、即ちシーンチェンジ及び／又はショットチェンジについての情報を得ることができ、この場合、前記情報を前記システム制御ユニットに転送し、ここで前記シーン又はショットチェンジに対する時点は、この後に決定される。
【００１８】
本発明の好適実施例において、前記スケーラブル・アルゴリズムは、誤り伝播（error propagation）無しである。
【００１９】
本発明の他の好適実施例において、前記第２の時点は前記第１の時点の前に来るか、代替的に、前記第２の時点は前記第１の時点と一致するか、又は代替的に、前記第２の時点は前記第１の時点の後に来る。
【００２０】
本発明の好適実施例において、前記適合時間の期間は、１秒の一部、好ましくは１秒より小さい時間スケールである。
【００２１】
本発明の好適実施例において、メディアシステムは、ＰＣ、デジタルテレビ、セットトップボックス又はディスプレイである。
【００２２】
本発明の目的は、メディア信号を処理するメディアシステムにより更に解決され、当該メディアシステムは、
前記メディア信号の処理の進行状況及びリソース使用量を監視する手段と、
内容の実質的な負荷変化に対する第１の時点を決定する手段と、
前記第１の時点に基づいて第２の時点を決定する手段と、
前記第２の時点において少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを低下させる手段と、
第３の時点において又はそれまで前記少なくとも１つのスケーラブル・アルゴリズムの前記割り当てられた品質レベルを適合する手段であって、実現された品質レベルが適合時間の期間内に安定になる当該適合する手段と、
を有する。
【００２３】
本発明の好適実施例において、前記メディアシステムの前記第１の時点を決定する手段は、
前記メディア信号の少なくとも１つの未来の視覚的変化についての情報を得る手段と、
前記情報を前記システム制御ユニットに転送する手段と、
を有する。
【００２４】
前記メディアシステムは、前記方法に関して以前に記述されたのと同じ理由で同じ利点を提供する。
【００２５】
これによって本発明は、スケーラブル・ビデオアルゴリズムの能力を使用し、人間視覚システム（ＨＶＳ）がショット又はシーンチェンジに適合するのに短時間を必要とするという事実を利用する。一般に、前記スケーラブル・ビデオアルゴリズムは、前記シーン又は負荷の変化の通知時又は前に品質レベルを低減することができ、このようにリソースを解放し、前記メディア信号の処理を加速し、前述のオーバーロード又はクラッシュを避ける。この品質の低減（即ち前記低下）は、前記ＨＶＳの前記適合時間と同等な時間内に回復されることができ、従って前記メディアシステムのユーザにとって迷惑ではない。
【００２６】
予備知識として、本発明の詳細な解説の前に、以下の段落は、以下で使用されるだろう様々な用語に対する導入と見なされるべきである。
【００２７】
現在、民生用アプリケーションで使用されているビデオアルゴリズムは、高い品質を持つように設計される。高品質は、単一機能ハードウェア構成要素の場合に特に優れている。ソフトウェアビデオアルゴリズムは、所要のリソースと引き換えに異なる出力品質レベルを可能にするように複数の処理構成で設計されることができる。このようなソフトウェアビデオアルゴリズムは、スケーラブル・ビデオアルゴリズム（ＳＶＡ）と名付けられることができる。前記ビデオアルゴリズムのスケーラビリティは、多数のアプリケーションが同時にプログラム可能な構成要素において動作することを可能にし、これにより前記システムの費用効果を向上する。複数のＳＶＡは、実行時（run-time）にリソース及び品質動作（quality
behavior）において制御される。この実行時の制御に対する応答は、全体システム制御ユニット（overall
system control unit）により前記ＳＶＡに対する前記割り当てられた品質レベルを適切な処理構成（実現された品質レベル）に変換する前記ＳＶＡの制御部により実現されることができる。
【００２８】
品質レベルを割り当てる代わりに、品質レベルに先行するリソース使用量に対する割当量を割り当てることも可能である。本当に消費された割当量は、特に前記リソース使用量がデータに依存する場合に異なるかもしれない。
【００２９】
前記全体システム制御ユニットは、平均リソース所要量に基づいてリソースを処理アルゴリズム（ＳＶＡ）に割り当ててもよく、このようにより多くのアプリケーションが同時に実行することを可能にし、従ってこのようなシステムの費用効果を向上する。もしＳＶＡの負荷が初めに要求されたものより高いならば、前記全体システム制御ユニットは、この又は他の重要度の低いアルゴリズム、即ち他のＳＶＡの前記品質レベルを低減することにより対処する。
【００３０】
先行技術に対する簡潔な開始の序文と併せて本発明は、好適実施例と関連して及び図面を参照して下でより完全に説明されるだろう。
【００３１】
前記図面を通して、同じ参照符号は、同様な又は対応するフィーチャ、機能等を示す。
【発明を実施するための最良の形態】
【００３２】
シーンチェンジの用語は、更にショットチェンジの状況をもカバーするように拡張されることができる。前記ショットチェンジは−前記シーンチェンジと比較すると−シーン内の変化であり、例えば人々の異なる視野及び／又は部屋の中の異なる視野である。
【００３３】
図１は、シーン又はショットチェンジ後にアルゴリズムのリソース使用量（負荷）が増加する、変化しない、又は減少する従来技術を示す。参照符号１０はＹ軸においてリソース使用量を示し、参照符号１１は割り当てられた割当量を示し、ｔはＸ軸において時間を示し、参照符号１２は前記シーンチェンジ前後のリソース使用量を示す。
【００３４】
一般に、−論じられたように−前記シーン又はショットチェンジの間にアルゴリズムの前記リソース使用量又は負荷に対して３つの結果、即ち増加（ａ）、変化無し（ｂ）、減少（ｃ）が存在する。これは先行技術から既知であり、この文書においては、ＳＶＡの負荷がシーン又はショットチェンジ後に増加するシナリオは、最も重要な事例なので、初めに考慮される。シーン又はショットチェンジ後の負荷の無い又は減少された負荷の結果は、この文書の最後に説明されるだろう。もし前記負荷が増加し、利用可能なリソースが不十分であるならば、前記アルゴリズムは、後で実行し、非最適システム動作を生じ、これは、前記アルゴリズムの処理において最優先の期限に間に合わない状況さえ起こるかもしれない。
【００３５】
負荷が特定パラメータ（例えば運動及び細部）の統計的変化に依存するアルゴリズムが存在しうる。上述のタイプの画像内容の統計的変化は、特にシーン又はショットチェンジ後に示される。
【００３６】
図２も、前記シーン又はショットチェンジ前後のアルゴリズムの可能なリソース使用量、割り当てられた品質レベル、及び出力品質を示す。図１と比較すると、参照符号１２Ａは、穏やかな品質レベル適合の例を示し、ここで前記リソース使用量は、前記シーン又はショットチェンジ、参照符号１９の後にゆっくりと減少される。負荷が増加する場合、序文で論じられた前記全体システム制御ユニットは、（監視機関を介して）通知されることができ、この場合、新しい最適値を探すことにより対処することができる。前記全体システム制御ユニットは、前記ＳＶＡに対する割当量の増加を可能にすることができるか、又は前記ＳＶＡから前記品質レベルを一度に若しくはゆっくりと減少するように要求することができ、これによりリソース所要量は、利用可能なリソースにより提供されることができる。負荷の増加の予測及び前記全体システム制御ユニットの対処は、幾らかの時間を要するかもしれない。しかしながら、この時間が短いとしても、前記システムは、ある期間−前記図のセクションｃに示されるように−非最適状況下で実行し、以前に述べられた問題を生じるので、処理の減速は、出力品質に長期的な効果を持ちうる。
【００３７】
本発明の基本的なアイデアは、シーン又はショットチェンジ時に、前記人間視覚システム（ＨＶＳ）が新しいシーン又はショットに適応する前にしばらく時間がかかるという観測結果に関する。結果として、特にデータ依存ビデオアルゴリズムを用いると、シーン又はショットチェンジの間に出力の品質レベルを一時的に低減させ、人間知覚の感度のこの一時的な欠落を利用することが可能である。目標は、このようなシステムの実施によりリソース所要量の急な変化の後に前記割り当てられた割当量の中に留まることである。
【００３８】
これまで、シーン又はショットチェンジのみが述べられてきた。本発明によると、前記シーン又はショットチェンジの用語は、構造負荷変化のより一般的な場合をカバーするように更に拡張されることができる。前記構造負荷変化は−前記シーンチェンジと比較すると−平均負荷の変化であり、これは、より長い時間期間、例えばビデオ処理の場合の少数の画像より長く継続する。
【００３９】
図３は、構造負荷変化適応可能品質制御のシステムを示す。前記図において、前記システムのブロック図が示される。これは、２つのみのスケーラブル・ビデオアルゴリズム（ＳＶＡ）、構造負荷変化検出器又はインジケータ（例えばショット又はシーンチェンジ検出器又はインジケータ）、及び全体システム制御ユニットを含む。参照符号２０はビデオ入力を示し、参照符号２１は第１拡張可能ビデオアルゴリズムＳＶＡ１であり、参照符号２２は第２拡張可能ビデオアルゴリズムＳＶＡ２であり、参照符号２３は前記構造負荷変化検出器であり、参照符号２４は前記全体システム制御ユニットであり、参照符号２５はビデオ出力であり、これらの参照符号は図５にもあてはまる。２つのＳＶＡのみが説明のために示され、より多数が使用されてもよい。単純化のため、グループ遅延補償（group delay compensation）に対するブロックが仮定され、従って明示的には示されない。これらは図５に示されるだろう。前記ＳＶＡは、ビデオ信号処理用の機能を含み、ビデオ入力及びビデオ出力を持つ。別の入力は、実行時における前記機能のリソース及び品質動作並びにフィードバック、参照符号２１Ａ又は２２Ａ、を制御するために必要とされ、少なくとも１つの進行状況情報に対して、監視のために必要とされうる。換言すると、参照符号２１Ａ及び２２Ａは進行状況の監視に使用されることができる。前記構造負荷変化検出器は、前記全体システム制御ユニットに構造負荷変化について通知することができ、前記全体システム制御ユニットは、この場合、この情報を処理する。前記構造負荷変化の通知は、負荷がデータに依存する前記ＳＶＡにとって有用である。前記全体システム制御ユニットは、適切な時間に適切なＳＶＡに通知し、時間どおりに必要な最適化を実行する。
【００４０】
図４は、ショット又はシーンチェンジ（又は構造負荷変化）の前後のリソース使用量、割り当てられた品質レベル及び実現された品質レベル、並びに実際のリソース使用量を示す。前記図は、図３からの前記システムの可能なタイミング図を示す。参照符号１５は品質レベル適合無しの前記リソース使用量を示し、参照符号１６は前記ショット又はシーンチェンジ（又は構造負荷変化）を示し、参照符号１７は前記実現された品質レベルを示し、参照符号１８は−参照符号１５とは逆に−本発明の好適実施例における品質レベル適合を行う前記リソース使用量を示す。更に、参照符号２０Ａは、前述のＨＶＳ適合（時間）を示す。前記リソース使用量（図４ａ）は、ショット又はシーンチェンジの後に増加するかもしれず、前記リソース所要量は、この場合、前記割り当てられた割当量が許可する量より高くなるかもしれない。前記全体システム制御ユニットは、割当量内に留めるために（図４ｂ）前記ＳＶＡに対する新しく且つより低い品質レベルを計算し、割り当てるのに幾らかの時間を要するかもしれない。前記ショット又はシーンチェンジ通知（図４ｃ）のため、前記実現された品質レベルは、直ちに下がることができる（図４ｄ）。このような作用は、減少されたリソース使用量及び前記ＳＶＡの処理の加速を生じることができる。前記実現された品質レベルは、この場合、前記ＳＶＡが最初の出力品質レベル又は新しい割り当てられた出力品質レベルを達成するために上昇されるべきである。本発明の好適実施例における実現された品質レベル適合を用いる前記実際のリソース使用量は、図４ｅに描かれる。前記ＳＶＡの品質レベルの減少及び増加は、前述のＨＶＳの特性のため、短い時間内に実行されるべきである。前記ショット又はシーンチェンジの直後に、前記リソース使用量が下がることさえ起こる可能性があり、この後にゆっくりと適合する。わずかなリソースの増加は可能でありうるが、前記ショット又はシーンチェンジ適合を用いない前記リソースの増加よりずっと小さい。
【００４１】
図５は、グループ遅延補償を用いる直接的なショット又はシーンチェンジの適合可能な品質制御のブロック図を示す。図３に対する代替的なブロック図は、この図に示される。図３に加えて、参照符号２６及び２７にグループ遅延補償が示される。２つのグループ遅延補償のみが説明のために示され、適切であればより多数がより大きなシステムにおいて使用されることができる。前記ショット又はシーンチェンジの通知は、前記ショット又はシーンチェンジ検出器により送信される。この情報は、後に続くＳＶＡに渡されることができる。前記グループ遅延補償は、前記ＳＶＡが前記適切な時間にショット又はシーンチェンジ情報を受信することを保証することができる。前記適合可能な品質制御は、前記ショット又はシーンチェンジ検出器の一部であることができ又は各ＳＶＡの一部であることができる。画質劣化は、ショット又はシーンチェンジの少し前及び後の両方で使用されることができる。前記ＨＶＳは新しい画像の内容に直ちに集中するので、ショット又はシーンチェンジの少し前の画質劣化は可能であることができる。この特定の場合に対するタイミング図は、次の図で提供される。
【００４２】
図６は、ショット又はシーンチェンジ時に、前に又は後に適合可能な品質制御を開始する、ショット又はシーンチェンジの前後のアルゴリズムのリソース使用量、出力品質及び品質レベルを示す。リソース使用量及び出力品質を示していた図４と比較すると、この図は、前記適合可能な品質制御を示すが、あるいは前記ショット又はシーンチェンジの前後をも示す。特に、参照符号１２Ａは、本発明の好適実施例における前記ショット又はシーンチェンジの前に品質レベル適合を用いた前記リソース使用量を示す。参照符号１は、前記ショット又はシーンチェンジが起こる又は起こることが決定されている時点を示す。−前記図に示されたように参照符号２は参照符号１の時点の前に示されるが−３つの代替的な可能な時点において、即ち第１に前記ショット又はシーンチェンジの前に来る時点において、第２に前記ショット又はシーンチェンジと一致する時点において、第３に前記ショット又はシーンチェンジの後に来る時点において、割り当てられた品質レベル、参照符号１３を低下することが一般的に決定されることができる。−依然として前記図に示されたように−参照符号２が参照符号１の時点より前、即ち前記ショット又はシーンチェンジに対する時点の前に来るように決定される場合には、これに対して、参照符号１７は前記ショット又はシーンチェンジの前に前記実現された品質レベルの−参照符号２の時点に開始する−低下を示す。ショット又はシーンチェンジの後に、品質劣化は、一般に参照符号３の時点において終了する前記ＨＶＳ適合のため、可能であることができる。換言すると、前記システム制御ユニットを使用して、少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルは、−前記第２の時点の後であるが参照符号３の時点の前の−第３の時点において再び増加されてもよく、これにより実現された品質レベル、参照符号１７は、前記人間視覚システム（２０Ａ）の適合時間が、前記第２の時点以降に経過する前は安定であることができる。
【００４３】
ショット又はシーンチェンジの前の利用された時間スロットとショット又はシーンチェンジの後の利用された時間スロットとは異なりうる。前記ショット又はシーンチェンジの前に、前記ショット又はシーンチェンジの後に利用された時間スロットと比べて短い時間スロットを持つことは好都合である。前記ショット又はシーンチェンジの後には、再帰的なフィルタに対して典型的な、品質の指数的な増加が適切である。問題の無い品質の劣化に対する時間スロットは、ショット又はシーンチェンジの前で約５０〜１００ｍｓであり、ショット又はシーンチェンジの後で１００〜２００ｍｓであると予期される。ビデオ信号の信号処理において別な方法で利用されたタイミングに対して、前記時間スロットは、かなり長い。
【００４４】
以前述べられたように、ショット又はシーンチェンジ後にＳＶＡの負荷は、増加するか、変化しないか又は減少さえするかもしれない。前記負荷が増加するかどうかをまず確認せずにショット又はシーンチェンジの通知時にデータに依存するＳＶＡの品質を低減することは適切であるかもしれず、示された前記システムを用いるとデータに依存するＳＶＡの負荷は、（非適合動作と比べて）常に一時的に減少し、割り当てられた初めの又は新しい品質レベルまで増加するだろう。しかしながら、このような作用は、前記システムの性能に対して、何も対策が取られない場合より大幅に少ない影響を持つ。
【００４５】
ショット又はシーンチェンジの間の品質劣化に対して、前記ＳＶＡは、少なくとも２つのカテゴリに分割されることができる。
【００４６】
第１カテゴリには、時間と共に前記出力品質に影響を与えるアルゴリズムが入る。もし品質の低減がこれらＳＶＡに対して起こるならば、時間に対する前記品質の上昇は、誤り伝播により影響を受けうる。
【００４７】
第２カテゴリには、時間と共に前記出力品質に影響を与えないアルゴリズムが入る。これらを用いて、品質劣化は時間と共に伝播しないので、品質劣化は、シーンショット又はチャネルチェンジの間には重要でないかもしれない。
【００４８】
本発明の好適実施例において、上述の第２タイプのＳＶＡ（又はＳＶＡの機能）に対して品質劣化を実行することは好ましい。
【００４９】
一般に、前記全体システム制御ユニットは、以下のステップを用いて制御する。
【００５０】
第１に、入力ストリームから、前記入力からの構造負荷変化についての情報が、ビデオ処理チェーン（video processing chain）内で可能な限り早く得られることができる。
【００５１】
第２に、前記情報は一般に、前記全体システム制御ユニットに転送されることができる。
【００５２】
第３に、前記全体システム制御ユニットは、前記情報に基づいて、全体的な前記出力品質及び前記リソース使用量を容易に最適化することができる。
【００５３】
同様に、構造負荷変化の時点が実際の構造負荷変化の前に決定されるべきである場合に、同じステップが一般に適用されることができる。
【００５４】
プログラム可能なプラットフォームにおける費用効果に対して、前記全体システム制御ユニットは、リソース使用量の平均に基づいて又は平均以上にデータを処理するためにアルゴリズムに対して割当量を割り当てることができる。幾つかのアルゴリズムの負荷は、データに依存するかもしれない。前記アルゴリズムの負荷は、図１ａに示されるようにショット又はシーンチェンジの後に増加するかもしれない。
【００５５】
もし前記利用可能なリソースが十分でなければ、前記アルゴリズムは遅れ、図２ｃに示されるように非最適な不所望なシステム動作を生じる。前記システムはある期間、図２ｃに示されるように非最適条件下で実行するので、負荷の増加の予測と前記全体システム制御ユニットによる対処との間の時間は、前記出力品質に対して長時間の効果を持ちうる。
【００５６】
アルゴリズムの負荷は、構造負荷変化、例えばショット又はシーンチェンジの後に増加するかもしれない。前記構造負荷変化についての通知は、図３及び５に示されるようにパス待ち時間（path latency）のために前記ショット又はシーンチェンジが起こる前に、この情報を後に続くアルゴリズム渡すことができる前記構造負荷変化検出器又はインジケータにより実行されることができる。
【００５７】
ショット又はシーンチェンジ通知時に、前記ショット又はシーンチェンジ検出器、前記全体システム制御ユニット、又はＳＶＡ制御部分は、図４ｃ及び４ｄに示されるように適切な処理構成を選択することにより実現された品質レベルを下げることができる。このような作用は、図４に示されるように減少されたリソース使用量を生じることができ、前記ＳＶＡの処理を加速する。前記実現された品質は、この場合、新しい適切な出力品質レベルまで上昇されることができる。
【００５８】
ＳＶＡの品質レベルの低下及び上昇は、図４ｄに示されるように前記ＨＶＳ適合時間を考慮に入れて短時間で実行されることができる。
【００５９】
本発明の主な利点は、前記実現された出力品質の短い低下及び上昇が、ロバストネス及び安定性を提供するためにシステムリソースを解放しながら、全く又はほとんど前記人間視覚システムの前記適合時間による負の影響を持たないことが可能であることであり、前記ＨＶＳは直ちに新しい画像内容に集中するので、画質の劣化は、図６に示されるようにショット又はシーンチェンジの直前でさえも可能でありうる。このように、より多くの使用できるリソースが保証されることができ、これは、前記システムのロバストネス及び安定性を更に増すことを助けることができる。
【００６０】
時間的な品質劣化に影響を与えないＳＶＡ又はＳＶＡの機能に対する品質低下を実行することが好ましくてもよい。
【００６１】
図７は、オーバーロード保護を用いてメディアシステムにおいてメディア信号を処理する方法を示す。前記方法において、前記メディア信号、参照符号２０及び２５は、メディアシステムにおいて処理され、前記メディアシステムは、マルチメディア消費者端末、パーソナルコンピュータ、デジタルテレビ、セットトップボックス又はディスプレイであってもよい。
【００６２】
ステップ９０において、前記方法が開始される。前記メディアシステム上の、割り当てられた品質レベル、実現された品質レベル、前記メディア信号の様々な段階、時点等の経過を追う変数、フラグ、バッファ等は、デフォルト値に設定される。前記方法が２回目に開始される場合、破損した変数、フラグ、バッファタイプ等のみがデフォルト値にリセットされる。
【００６３】
ステップ１００において、システム制御ユニットは、前記メディア信号の処理の進行状況及びリソース使用量を監視することができる。−以前に論じられた−前記進行状況は、図３からの参照符号２１Ａ又は２２Ａであってもよい。前記システム制御ユニットは、現在の状態を認識することができるように前記リソース使用量を監視しなければならないかもしれない。構造負荷変化の後に、監視は、新しい品質レベルを計算し適合するための情報を提供することができる。監視は例えば以下のように行われることができる。前記ＳＶＡは、大量のデータの処理の終了、例えばフィールド又はフレームの処理の終了を報告する。前記システム制御ユニットは、割り当てられた割当量を持つことができ、前記大量のデータの処理に対する消費された割当量を知ることができる。この情報を用いて、前記システム制御ユニットは、性能を計算することができる。これら性能の計算は、非常に短い時間期間（例えばフィールド又はフレーム）に対して結果を与えることができ、データ依存性のために変動しうる。本発明に対して、これら短時間の変動には興味が無いが、もっと長期間の結果に興味があり、複数の短期間の計算を考慮に入れる。短期間の計算を時間で平均化することは、平均リソース使用量に対するより良い尺度を与える。これに基づき、新しい品質レベルが計算されることができる。前記計算（時間での平均化）から、構造上のオーバーロード（structural overload）の場合には、前記システム制御ユニットが、前記構造上のオーバーロードの初めには対処することができないことが見られることができる。これは、シーンチェンジ検出器（又は構造負荷検出器）が前記メディアシステムを保護する、即ちオーバーロード又はシステムクラッシュを避けるのを助けることができる理由である。
【００６４】
ステップ２００において、構造負荷制御ユニットは、内容の実質的な負荷変化に対する第１の時点を決定することができる。ステップ２００は、ステップ２０１及び２０２の一般化を構成する。（内容の）前記実質的な負荷変化は、シーンチェンジ又はショットチェンジのため実質的な異なる負荷の結果として理解されることができる。前記シーンチェンジは、（例えばムービー又はフィルムの）１つのシーンから他のシーンへの変化として理解されることができるのに対し、前記ショットチェンジは、１人の視野から他の人の視野、即ち他のショットへのシーン内の変化であることができる。前記第１の時点は、図６において参照符号１で示され、参照符号１９の前記シーン又はショットチェンジに対応する。換言すると、前記シーン又はショットチェンジの実際のイベントが起こる前に、前記時点（即ち前記第１の時点）は、前記第１の時点のリアルタイムのイベントの前にこのステップにおいて決定される。
【００６５】
ステップ２０１において、前記メディア信号の少なくとも１つの未来の視覚的変化についての情報は、前記メディアシステム内の前記構造負荷変化検出器又はインジケータにより得られることができる。
【００６６】
もちろん、前記メディア信号の複数の視覚的変化は、特に前記メディア信号の性質により、これがシーンチェンジ及び／又は様々な人の異なるショットを持つ生のモーションムービーである場合を決定することが可能でありうる。前記変化の少なくとも１つは、この場合、前記検出器又はインジケータにより前記システム制御ユニットに転送されるように作成された情報を導き出されることができる。前記メディア信号の多くの視覚的変化に対応して、これに相当して時点についての多くの情報が得られてもよい。更に、（対応する導き出すことができる時点を持つ）前記視覚的変化が前記メディア信号の様々な統計的な計算を用いて決定され、例えば平均値、散布量（spread）、広がり（spreading）、変動（variation）等が考慮されることができる。
【００６７】
ステップ２０２において−前述のステップにおいて論じられたように−導き出された前記情報は、この場合、前記システム制御ユニットに転送されることができる。
【００６８】
ステップ３００において、前記第１の時点に基づく第２の時点は、前記システム制御ユニットにより決定されることができる。図６で論じられたように、前記第２の時点は、前記第１の時点と異なるか、又は同様であってもよい。一般に、３つの可能性の１つが前記第２の時点に対して適用され、即ち前記第２の時点は、第１に前記ショット又はシーンチェンジの前、即ち前記第１の時点の前の時点として決定されてもよく、第２に前記ショット又はシーンチェンジに対する時点、即ち前記第１の時点及び第２の時点は同じである時点に決定されてもよく、第３に前記ショット又はシーンチェンジの後の時点、即ち前記第２の時点が前記第１の時点の後に決定されることができる時点に決定されてもよい。全ての場合において、前記第２の時点は、前記第１の時点に関連して決定されることができ、これにより、−後で述べられるように−前記品質レベル、特に前記実現された品質レベル（図６の参照符号１８）の低下及び後の適合は、前記ＨＶＳに関する期間内に完了されなければならないかもしれないので、更に前記ＨＶＳの期間が考慮されるかもしれない。
【００６９】
ステップ４００において、前記システム制御ユニットは、前記第２の時点における少なくとも１つのスケーラブル・アルゴリズムの割り当てられた品質レベルを低下することができる。図３及び５で論じられたように、前記メディアシステムは、複数のスケーラブル・アルゴリズム（ＳＶＡ）を有してもよく、（前記割り当てられた品質レベルに依存して）リソースを適切に分配するために及びバランスを取るために、前記システム制御ユニットは、前記メディアシステムにおける前記スケーラブル・アルゴリズムの１つ又は複数に対する前記割り当てられた品質レベルを低下することができ、前記低下は、以前に決定された前記第２の時点において達成されることができる。前記低下は、前記リソースの負荷が実際に増加するかどうかをまず確認せずに達成されることができる。これにより、特にこのステップ及び前記第２の時点において、本発明の利点は、前記割り当てられた品質レベルが低下されるのでリソース又は割当量のオーバーロードが防止され、これに応じてより少ないリソースが必要とされ、従って前記オーバーロードが防止されることである。
【００７０】
ステップ５００において、前記システム制御ユニットは、第３の時点において又は前記第３の時点までに少なくとも１つのスケーラブル・アルゴリズムの前記割り当てられた品質レベルを適合することができる。結果として、実現された品質レベルは、続いてこの直後に安定になり、実現された品質レベル（１７）は、適合時間の期間内に安定になることが予期される。前記実現された品質レベルは、好ましくは前記人間視覚システムの前記適合時間が前記第２の時点以降に経過する前に安定になることができる。換言すると、上記のことに反して、このステップにおいて前記割り当てられた品質レベルは、前記第３の時点において又は前記第３の時点までに再び適合されるが、この適合は、前記実現された品質レベルが、およそ前記ＨＶＳが前記第２の時点以降に経過した期間に適当に安定であるような時点で行われるべきである。例として、時間再帰フィルタが前記メディアシステムにおける前記スケーラブル・アルゴリズムの１つにおいて処理される場合に、前記実現された品質レベルは、前記割り当てられた品質レベルの前記適合の後に指数的に上昇することができる。
【００７１】
前記割り当てられた品質レベルの前記適合の後の品質レベル、即ち前記実現された品質レベルは、安定な場合、前記システム制御ユニットがリソースを品質とバランスを取るためにスケーラブル・ビデオアルゴリズムを実行するので、前記割り当てられた品質レベルの低下の前に前記品質レベルより高く又は低くてもよい。シーン又はショットチェンジが検出された後に、前記ＳＶＡの品質レベルは、直ちに下がることができるが、リソース減少の量は、固定されなくてもよい又は既知でなくてもよい。従って、前記割り当てられた割当量より低いリソース使用量の目標がありうる。通常、−前記適合により−後で割り当てられた前記品質レベルは、より高くてもよく、結果として前記ＳＶＡに対する前記品質レベルは、再び上昇されなければならないかもしれない。しかしながら、逆も可能であり、即ち依然として使用されたリソースが前記割当量より上である。後者の場合、前記割り当てられた品質レベルは、更に低下されなければならないかもしれない。
【００７２】
通常、該方法は、前記メディアシステムが電力を供給され、依然として処理すべきメディア信号を持っている限り最初からやり直すだろう。そうでなければ、該方法は、ステップ６００において終了することができる。しかしながら前記メディアシステムが再び電力を供給される場合等に、該方法は、ステップ１００から処理することができる。
【００７３】
前記メディアシステムは、リソースを品質とバランスを取り、更にリソースがオーバーロード又はクラッシュ無しで対応する品質レベルを得るように割り当てられる場合にシーン又はショットチェンジのような前述の構造負荷変化を考慮に入れるように設計されたビデオアルゴリズムを用いてスケーラブルなビデオ処理を実行することができるＰＣ，デジタルテレビセット、セットトップボックス又はディスプレイのようなマルチメディア消費者端末であってもよい。
【００７４】
コンピュータ読取可能媒体は、磁気テープ、光ディスク、デジタルビデオディスク（ＤＶＤ）、コンパクトディスク（記録可能ＣＤ又は書き込み可能ＣＤ）、ミニディスク、ハードディスク、フロッピー（登録商標）ディスク、スマートカード、ＰＣＭＣＩＡカード等であってもよい。
【図面の簡単な説明】
【００７５】
【図１】シーンチェンジ後にアルゴリズムのリソース使用量（負荷）が増加する、変化しない、又は減少する先行技術を示す。
【図２】シーンチェンジ前後のアルゴリズムの可能なリソース使用量、割り当てられた品質レベル及び出力品質を示す。
【図３】ショット又はシーンチェンジ適応可能品質制御のシステムを示す。
【図４】ショット又はシーンチェンジの前後のリソース使用量、割り当てられた品質レベル及び実現された品質レベル、並びに実際のリソース使用量を示す。
【図５】グループ遅延補償を用いる直接的なショット又はシーンチェンジ適応可能品質制御のブロック図を示す。
【図６】ショット又はシーンチェンジの前に、その時に又は後に適合可能な品質制御を開始する、ショット又はシーンチェンジ前後のアルゴリズムのリソース使用量、出力品質及び品質レベルを示す。
【図７】オーバーロード保護を用いてメディアシステムにおいてメディア信号を処理する方法を示す。
2005528861.tif 000003
2005528861.tif 000004
【図３】
2005528861.tif 000005
【図５】
2005528861.tif 000006
2005528861.tif 000007
2005528861.tif 000008
【図７】
2005528861.tif 000009
【国際調査報告】
2005528861.tif 000010
2005528861.tif 000011
2005528861.tif 000012