(57)【特許請求の範囲】
【請求項１】
ユーザによる理解のための、視聴覚信号での情報の複雑度を指定する少なくとも１つの複雑度設定値を制御ユニットから受信するように構成された視聴覚信号処理ユニットを有する視聴覚信号処理構成であって、
前記情報の複雑度は、前記視聴覚信号のビデオ成分における画像オブジェクトの数及び変化のうち少なくとも１つを表し、
前記視聴覚信号処理ユニットは、前記視聴覚信号から単一の複雑性の指標を計算し、前記複雑度設定値と前記単一の複雑性の指標との間の比較に依存して、前記情報の複雑度を減少又は増加させるように、前記視聴覚信号のビデオ成分を処理するように構成され、
前記視聴覚信号処理ユニットは、前記視聴覚信号の少なくともオーディオ成分を処理するように構成され、
前記複雑度設定値は、ユーザが前記複雑度設定値を上又は下に不連続なステップで変更できるユーザ制御手段を介して、ユーザ指定値として受け入れ可能である、視聴覚信号処理構成。
【請求項２】
前記視聴覚信号処理ユニットは、複雑度を変更するように、前記視聴覚信号のビデオ成分を処理するように構成される、請求項１に記載の視聴覚信号処理構成。
【請求項３】
前記オーディオ成分の処理は、｛単位時間当たりのワード数の変更、オーディオの特定の時間部分の音量の変更、及び音声データのスペクトル特性の変更｝の少なくとも１つを有する、請求項１又は２に記載の視聴覚信号処理構成。
【請求項４】
前記視聴覚信号処理ユニットは、前記ビデオ成分の異なる時間部分を、ディスプレイでの表示に使用可能な出力ビデオ信号の異なる空間領域に割り当てるように構成される。請求項１ないし３のうちいずれか１項に記載の視聴覚信号処理構成。
【請求項５】
視聴者の制御で前記ビデオ成分の特定の時間部分を選択し、これを前記出力ビデオ信号の空間的領域に割り当てるように構成される、請求項４に記載の視聴覚信号処理構成。
【請求項６】
前記視聴覚信号を分析し、｛ショットの間隔、シーンの間隔、番組の間隔、報道の間隔、ショットの種類、シーンの種類又は識別情報、番組の種類又は識別情報、報道の種類｝の少なくとも１つを決定するように構成された分析ユニットを更に有する、請求項１ないし５のうちいずれか１項に記載の視聴覚信号処理構成。
【請求項７】
前記分析ユニットは、画像の空間ヒストグラムを用いて特徴的なショットを検出するように構成され、１日より大きい時間間隔での入力された視聴覚信号の分析から特徴的なショットの識別情報をメモリに格納するように更に構成される、請求項６に記載の視聴覚信号処理構成。
【請求項８】
前記分析ユニットは、特徴的な話者の識別情報を用いて、前記視聴覚信号の関連部分を検出するように構成される、請求項６に記載の視聴覚信号処理構成。
【請求項９】
前記分析ユニットは、前記視聴覚信号の異なる時間部分を記述するメタデータに従って、前記視聴覚信号を処理するように構成される、請求項６に記載の視聴覚信号処理構成。
【請求項１０】
前記分析ユニットは、コマーシャル番組を認識するように構成され、
前記視聴覚信号処理ユニットは、ディスプレイでの表示に使用可能な出力ビデオ信号と結合するため、前記コマーシャル番組を本質的な要約の視聴覚信号に変換するように構成される、請求項６、７又は９に記載の視聴覚信号処理構成。
【請求項１１】
視聴覚信号用の記憶ユニットと、
請求項１ないし１０のうちいずれか１項に記載の視聴覚信号処理構成と、
を有する視聴覚処理装置。
【請求項１２】
視聴覚信号処理構成の動作方法であって、
視聴覚信号処理ユニットが、ユーザによる理解のための、視聴覚信号での情報の複雑度を指定する少なくとも１つの複雑度設定値を制御ユニットから受信し、
前記情報の複雑度は、前記視聴覚信号のビデオ成分における画像オブジェクトの数及び変化のうち少なくとも１つを表し、
前記視聴覚信号処理ユニットが、前記視聴覚信号から単一の複雑性の指標を計算し、前記複雑度設定値と前記単一の複雑性の指標との間の比較に依存して、前記情報の複雑度を減少又は増加させるように、前記視聴覚信号のビデオ成分を処理し、
前記視聴覚信号処理ユニットが、前記視聴覚信号のオーディオ成分及びビデオ成分のうち少なくとも１つを処理し、
前記複雑度設定値は、ユーザが前記複雑度設定値を上又は下に不連続なステップで変更できるユーザ制御手段を介して、ユーザ指定値として受け入れ可能であることを有する方法。
【請求項１３】
ユーザによる理解のための、視聴覚信号での情報の複雑度を指定する少なくとも１つの複雑度設定値を制御ユニットから受信するように構成された視聴覚信号処理ユニットを有する視聴覚信号処理構成であって、
前記情報の複雑度は、前記視聴覚信号のビデオ成分における画像オブジェクトの数及び変化のうち少なくとも１つを表し、
前記視聴覚信号処理ユニットは、前記視聴覚信号から単一の複雑性の指標を計算し、前記複雑度設定値と前記単一の複雑性の指標との間の比較に依存して、前記情報の複雑度を減少又は増加させるように、前記視聴覚信号のビデオ成分を処理するように構成され、
前記視聴覚信号処理ユニットは、前記視聴覚信号の少なくともビデオ成分を処理するように構成され、
前記複雑度設定値は、ユーザが前記複雑度設定値を上又は下に不連続なステップで変更できるユーザ制御手段を介して、ユーザ指定値として受け入れ可能である、視聴覚信号処理構成。
【請求項１４】
前記視聴覚信号処理ユニットは、前記視聴覚信号の一部の少なくとも１つの時間部分の時間的な繰り返しシーケンスを生成するように構成される、請求項１に記載の視聴覚信号処理構成。
【請求項１５】
コンピュータに請求項１２に記載の方法を実行させるコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、理解（要約又は整理）するのに容易になるような、例えばメッセージの取得が容易になるような、視聴覚信号処理構成と、視聴覚信号を処理する方法及びソフトウェアとに関する。
【背景技術】
【０００２】
視聴覚コンテンツ（例えば、放送されたテレビ等）を提示する視聴覚システムは、例えばきっちりとカットされた短いインタビュー又は説明クリップとの情報のパッキング（ニュースのローカル報告のうち最も関係のある文章のみが保持され、これを短いトピックの統合にし、全ての記述に対して視聴者の注意深い注目を要求している）、視聴者の注目の把握（例えば、サウンドレベルでの再生）、複数ウィンドウのビデオ（例えば、同じ番組の部分の異なる側面を示す３つのサブウィンドウ（例えば、２人のインタビュアーが同時にインタビューすべき次の人に駆け寄る等）、更なるテキストのバナー）等の技術のため、ますます情報の密度が高くなってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これは視聴者に対して非常に要求が厳しく、特に仕事で忙しい日の後に少なくとも何人かの人は、特定の番組に注意して追従するという問題、又は全く追従できないという問題を有していることがわかる。限られた場合には、このような番組は、有益である又は面白いというより、単にストレスの要因になる可能性がある。
【０００４】
視聴覚コンテンツの増加及び複数の新たな視聴覚技術の合併（例えば、テレビ上でのインターネット）により、これらの問題が悪化すると考えられる。
【０００５】
視聴覚情報の提示に関して視聴者のニーズに対応するシステムを提供することが、本発明の目的である。
【課題を解決するための手段】
【０００６】
この目的により与えられる対策は、視聴覚信号処理構成（104、106）により実現され、視聴覚信号での情報の複雑度を指定する少なくとも１つの複雑度設定値（S_Inf-c）を制御ユニット（106）から受信するように構成された視聴覚信号処理ユニット（104）を有し、視聴覚信号処理ユニット（104）は、複雑度設定値（S_Inf-c）により決定されたその情報の複雑度を減少又は増加させるように、入力された視聴覚信号S(A,V)を処理するように構成され、視聴覚信号処理ユニット（104）は、視聴覚信号S(A,V)の少なくともオーディオ成分（A）を処理するように構成される、或いは、少なくともビデオ成分（V）及び対応する方法を処理するように構成される。
【０００７】
例えば、疲れた人又は高齢者は、情報の複雑度（すなわち、密度であり、情報が視聴者に提示される方法）を、例えば絶対比較のための事前設定又はスライダーでの相対値として指定してもよく、視聴覚システムは、情報の複雑度が小さくなり、番組が追従しやすくなるように、ビデオ及び／又はオーディオの特性を適合してもよい。しかし、既にいくつかの簡単な視聴覚信号処理が多く実現できているが、理想的には、入力信号に応じて全体の解説が変更される必要がある（例えば、難しい用語の除去）。例えば、本発明の方法（又は構成）は、例えば、ニュース、トークショー又はクイズ（この場合、問題はその問題独自の映像クリップを有する）等のような分散した“報道（reportage）”項目を有する番組（すなわち、典型的に階層的な情報提示（主要情報での導入部に対する特定の詳細）に特に適する。そして、例えば、あまり関係のない詳細について多く送信される情報又は格納された情報をスキップし、又はその逆を行い、一種の環境設定の映像として報道のみを保持することにより、階層における異なるレベル（すなわち、異なる時間間隔（temporal  interval））を異なって扱うことが可能になる（例えば、処理ユニットは、旅行番組についてトークの間の退屈な部分をカットして、風景パノラマ（landscape  pan）のみをスライドショーに保持するように構成されてもよい）。この出願における間隔（interval）とは、開始時から終了時までの連続する期間、及び／又は、その間隔のオーディオ及び／又はビデオ及び／又は他のデータを意味する。映画の場合には、映画監督が既に所望の効果について最適化しているため、あまり適切ではない。しかし、ドキュメンタリーは、処理のよい候補になり得る。例えば、旅行番組では、オーディオが満足であるが、ビデオは非常に速くカットされ、高速に動くぼんやりしたパノラマ（pan）の大部分を構成する可能性がある。これは、視聴を困難にし、視聴者は、オーディオからも気をそらす可能性がある。例えば極端には、純粋なビデオ処理は、繰り返し抽出された静止画のスライドショーでもよく、極端ではない場合には、動きに基づくジッタの除去及び強調化（sharpening）でもよい。
【０００８】
ビデオ処理と共にであってもなくても、複雑度（従って、視聴者が番組を追従して理解する容易度）をもたらすオーディオの異なる側面が同時に最適化される（又は相対的な設定で特定の量だけ異なって変化する）場合に、有利である。例えば、どのような種類の音声の会話であるか（高音の女性の音声に対する穏やかな重低音の男性の音声）は、或る視聴者により、会話のテンポ（単位時間当たりのワード数）と同じように重要であると判断される。
【０００９】
一般的に、何らかのバッファが関与するため、有利には、本発明の構成（例えば、典型的には信号処理ICに埋め込まれる）は、例えば、オフラインでの視聴のため、ハードディスク記録又はPC（処理装置102の例）に組み込まれるが、デジタルテレビにも組み込まれてリアルタイムの視聴中に使用されてもよい。この場合、テンポを低速化させるときに、全ての入来する番組をバッファに入れてもよく、新たな項目で再同期してもよい（すなわち、或るコンテンツをスキップしてもよい）。
【００１０】
すなわち、視聴覚信号の送信元又は提示がどのようなものであっても、本発明によれば、視聴者は、比較的簡単な制御コマンドで、視聴覚信号を視聴者の現在の注目度に適合させることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】一例として視聴覚信号記憶可能装置（102）に組み込まれた視聴覚信号処理構成の概略図
【図２】視聴覚信号分析ユニットの詳細な実施例の概略図
【図３】入力された視聴覚信号を複雑でないようにして追従を容易にする複合された出力視聴覚信号の表示での例示的な画面の概略図
【発明を実施するための形態】
【００１２】
本発明による方法及び装置の前記及び他の態様は、以下に説明する実装及び実施例から明らかになり、以下に説明する実装及び実施例並びに添付図面を参照して説明する。添付図面は、単に一般的な概念を例示する単なる非限定的な特定の例としての役目を果たす。添付図面では、構成要素が任意選択であることを示すために点線が用いられる。点線でない構成要素は、必ずしも必須であるとは限らない。点線はまた、必須であると説明される要素が物体の内部に隠されていることを示すため、又は例えば電磁場のような実体のない物を示すためにも使用される。
【００１３】
図１は、視聴覚（A/V：audiovisual）信号処理ユニット104を示しており、A/V信号処理ユニット104は、複数の信号変換を、例えば、放送アンテナ124又はインターネットケーブル等を介した入力A/V信号S(A,V)に適用するように構成される。最も簡単な構成では、オーディオのみに変換を適用するが、場合によっては品質の増加（口合わせ等）のため、画像の繰り返しのような少なくともいくつかのビデオ処理を適用することが有利になり得る。このような異なるアルゴリズムの仕様、特にこれらの対応関係は、工場で設定されてもよく（部分的に変更可能ではない）、信号に依存してもよく、ユーザにより指定されてもよい（以下に説明するが、ユーザは、設定メニューを用いて、ビデオのジッタ又は速度のような関連のある問題のみで悩むべきであり、特定の動き補償の補間が使用されるか否かのような技術的な問題で悩むべきではない）。A/V処理ユニット104は、制御ユニット106から得られた視聴覚信号の複雑度を指定／特徴付けする複雑度設定値（すなわち、少なくとも１つの、場合によっては複数の、オーディオ及びビデオについての例えば異なる単一の値）の制御で、その信号変換を実行する。制御ユニット106は、視聴者の入力（例えば、通信ユニット120を介してリモコン122）に接続されてもよく、入力A/V信号を（例えば、システムの最初の使用時に視聴者によりメモリに格納される）所望の複雑度（例えば、１分当たりのワード及びオーディオの最大のダイナミックのような絶対値）に調整／維持するコントローラとして自動的に動作してもよい。
【００１４】
音量制御を（すなわち、リモコンのプラス及びマイナスボタン123で）変更するかのように、視聴者が信号を段階的に変更することができれば、視聴者にとって非常に快適である。
【００１５】
典型的には、ユーザは、番組が（現時点で）非常に忙しいと思うため、マイナスボタンを押下したいと思い、少なくともいくつかの情報を失い始める。
【００１６】
１分当たりのワード数を変更することは、複数の方法で行われてもよい。典型的には、会話はワードの間に一時停止を含むため、A/V処理ユニット（PU）は、これらの一時停止を延長するように構成されてもよい。このことは、遅い会話を生じる。或いは又は更に、PSOLAのような重複及び追加（overlap-and-add）技術を適用してもよい。（単一のスライダー330の設定で）異なるオーディオ変換を単一の複雑度に影響を与える変換に組み合わせることは、視聴者にとっての制御を簡単にするだけでなく、より良い結果をもたらし得ることがわかる。例えば、特定のワードの強調は（A/V信号を分析することにより（例えば、ニュースの読み手は、重要なことを話す場合にしばしば頭を動かす）、“the”のような特定のワードを認識して他のワードを認識すること、“and”、“secondly”のような重要な（例えば、会話論理の）ワードを強調すること、又は発声された音声を単に処理して摩擦音を変更しないことにより）、会話のテンポが低い場合に重要でなくなってもよい。
【００１７】
オーディオの一時部分の音量の変更は、長い用語のダイナミクスの簡単な低減に関係してもよい（例えば、力強い会話を除去して全ての会話を共通の音量レベルに近く設定すること、逆に、例えば文章を示す長い静寂の間に話しを興味深くするためにレベルを調整すること）。或いは、特定のワード等の強調に関係してもよい。
【００１８】
また、話者の音声は、A/V  PUにより変更されてもよい。これは、非常に複雑な声道モデリングにより行われてもよい。しかし、典型的には声道は、声帯の入力でのフィルタによりモデル化されるため、音色（coloring）は比較的簡単なスペクトル動作で行われてもよい（すなわち、特定の帯域の音量を増加させる）。このことは、音声の明瞭度又は好感度に寄与する。例えば、高音の男性の音声を穏やかな重低音の男性の音声に完全且つ十分に変換する必要はないが、このような重低音の音声についてのユーザの嗜好（図３の設定ウィンドウの350を参照）は、例えば、単に会話の低周波数を増大させることで実現されてもよい。他にも、背景雑音、音声分離技術が使用されてもよい。
【００１９】
従って、典型的には、穏やかで理解しやすいオーディオの提示を有するために、ユーザがマイナスボタンを押下すると、オーディオ処理は、少なくとも特定の視聴者の深夜の視聴に対する嗜好の変更の指示の設定が存在する場合には、特性位相空間（characteristics  phase  space）を通じて、会話を｛高速、興奮するような、高音｝から｛低速、単調、低音｝に複数の段階で動かす。
【００２０】
スライダー330が相対スライダーではない場合、最初に50%に設定されないが、信号分析ユニットは、オーディオ（及び／又はビデオ）信号の特性を測定し、それに従って入力の矢印の位置を設定する。これに対して、アルゴリズムモデルによれば、複数の典型的な番組が工場で分析され、（例えば、第２の話者がしばしば介入するか否か、背景雑音が存在するか否か、話者のタイプ等と結合された）少なくともXワードを併せた何らかの番組が“忙しすぎる”コード（すなわち、スライダーの位置100%に対応する）で表される。同様に、特定の複雑度以下の何らかの番組は、退屈すぎるため、これらの全ては絶対値の複雑度の値0%として特徴付けられてもよい。中間の測定の信号は、スライダーの異なる中間値に線形的又は非線形的にマッピングされる。この場合、実際には双方のシステムで何らかの一般的に好ましい設定に到達することになるが、視聴者は、複雑度に対して絶対的な設定を行ってもよい。典型的には、視聴者は、これらの値を視聴者特徴メモリ161に格納する。視聴者特徴メモリ161は、好ましくは日時に依存して、場合によっては番組の種類に依存して、全ての番組を変換する単一の値を格納する（構成が所望のA/V信号処理を自動的に実行できるように、ニュースはドキュメンタリー以外の設定を有する）。メニューに進んで“疲れた夜”、“朝の起床”等の設定を選択しなければならない代わりに、この構成は、スライダー330をユーザに適合したスライダーとして提示する、制御ユニット106のソフトウェアを有する。この場合、例えば50%の設定は“一般的な視聴”の複雑度である（現在の視聴者により好まれるものとして入力されたもの（例えば、キーボード入力、バイオメトリクス測定等のように、視聴者の識別手段が組み込まれてもよい））。視聴者による設定段階で指定された最適なシナリオの量と相対的な複雑度とに応じて、単一のマイナスボタンの押下により、“疲れた夜”に好ましい設定に移動し、プッシュの追加により、“朝の起床”の設定に移動し、２つのマイナスの押下により、“深夜”の設定に移動する等が行われる（すなわち、数値ではない順序が存在し、“深夜”が“疲れた夜”より５倍くつろいでいる場合であっても、単一の押下で十分である）。
【００２１】
典型的には、信号を複雑でなくするため、何らかの減速が関与してもよい。これは、一方では、予防措置（precaution）が行われない場合、いくつかのコンテンツのスキップをもたらしてもよく、長い時間視聴しなければならないことをもたらしてもよい（例えば、ハードディスク192又は固体メモリから視聴している場合）。しかし、他方では、A/V同期を保持するために、ビデオを延長することも望ましいことがある。その設定に応じて、構成（A/V  PU）は、以下の異なるビデオ変更機能の１つ又は２つを有してもよいことがわかる。一方では、（例えば、不安定な動きを除去すること、動き補償補間による高速のパン（pan）を同じ期間での少ないパンの遅いパンに変換すること、シーン変更をなだらかにすること、フラッシュの除去のようにビデオのダイナミクスを変更すること、又は時間ヒストグラムの変更を行うこと等により）合計の期間を保持しつつ、ビデオを処理して複雑でなくしてもよい。他方では、画像を追加（例えば、繰り返し）又はスキップすることにより、ビデオの期間を変更してもよい。例えば、最初の数枚を遅くしつつ（時間を引き延ばしつつ）、ショット（場面）の画像の最後の一対が除去されてもよい（最も極端な場合には単一の画像が保持される）。好ましくは、時間的ななだらかさを保持するため、動きに基づく補間が使用されてもよい（すなわち、全ての物体が予想の位置にあるように、中間の画像が合成される）。例えば、Philipsの“3DRS  natural  motion”システムを参照のこと（例えば、A.  Beric,  et  al.  ‘Towards  an  efficient  high  quality  picture-rate  up-converter’,  Proc.  ICIP03,  IEEE  International  Conference  on  Image  Processing,  Barcelona,  Spain,  September  14-17,  2003参照）。例えば、番組の種類（ニュースに対するドキュメンタリー）のような側面に応じて、少ない程度の連続同期が必要になる。特に短い期間である場合には、フルショット（全場面）が省略されてもよい。頻繁な場面転換（fast  cut）の指示のため、同じ場所／シーンの多くのショットが存在する。一般的に、A/V  PUは、オーディオ及びビデオの間の同期をしっかりと制御することから、複雑度を変更して、特にテンポを完全に独立して変更することまでのいずれかを行うように構成されてもよい（例えば、ドキュメンタリーでは、しばしばビデオは話を説明／サポートするものに過ぎず、人為的なものを導入せずに独立して変更されてもよい）。オーディオ及びビデオの断片（snippet）の間の時間相関の分析は、番組の種類及び必要な同期を検出するのに役立ち得る。
【００２２】
ペースを遅くした後であっても、構成が必ずしも何らかの情報を失うとは限らないという選択肢を提供するように構成される場合に、有利である。これに関して、A/V  PUは、特定の種類のビデオ処理を行い、図３に示すように、階層的に構成された出力視聴覚信号O(A,V)を生成するように構成されてもよい。この画面では、A/V信号の異なる時間部分がサブウィンドウ302、304...のリストに提示される。主要画面は、現在視聴されているA/V信号の部分であり、ウィンドウ302には、他の部分（典型的には、将来に入力される静止画）がある。従って、視聴者は、時間がなくなり、この部分302を失う代わりに、これを選択することにより、現在の部分をスキップし、それにより、この結果を主要ウィンドウ300に移動させてもよい。（遅延がどのくらいの長さであるか及びシーン選択の粗さ、及び／又はどのくらいの数を視聴者が見たいか等に応じて）複数のこれらの部分は、主要ウィンドウに重ねられる（関連する動作時間が実際に動いている漫画本のようなものを得るまで、１行目に左から右へ、そして、２行目へ等）。よりインテリジェントな配置システムでは、サブウィンドウは、矩形グリッドに従わず、あまり覆いすぎないように、基礎となる画像に従って配置される。配置に関して、（線の間の領域での画像データの変動の分析により）ビデオのサブウィンドウを覆わないように、女性のインタビューを受ける人等では、人、ロゴ、バナー等を覆わないように配置される。これらの部分320は、ランダムに（例えば、１分置きに１つ毎）選択されてもよい。実際に意味のある時間シーケンス（主要ビデオの上部に同時に動く報道（の最初の画像）等）になる場合には、有利である。
【００２３】
これに関して、信号分析ユニット170は、例えば、その場の報道からニュースの話者を区別し、これらの報道をサブウィンドウ302、304等に表示するように構成されてもよい。このような分析ユニットの例示的な実施例は、図２に示されている。
【００２４】
動き分析器MOTは、画像の動きを評価し（例えば、グローバル・パニング（global  panning）及びズーム）、異なる物体の動きも評価する。そして、物体を追跡し、例えば、色がどのように変化したか等を検査することができる。例えば、動き分析器は、人物分析器PEOPLに加えて役立ち得る。人物分析器は、それ自体既知であり、姿勢分析器、目又は視線分析器、頭分析器又は認識器等のような構成要素を有してもよい。そして、人（の一部）が存在するか否か、又はどのような人が何をしているかを検査してもよい。更に、インタビュアーは、典型的には、中間の比較的小さい動きの領域に存在する（特に中継回線（trunk））。従って、動き分析器は、人の領域RP（図１）のような領域の分析（外観の特徴）及び／又は分類に役立ち、あまり複雑でない人の分析を可能にする。例えば、重要なワードを強調するために話している人がうなずく傾向があるため、特に興味深いものは、話している人の頭を追跡することである（その音量はオーディオプロセッサにより増加してもよい）。
【００２５】
人の領域も、シーン分析器SCE_TYPRに入力される（この例では、全ての高度な分析がこのブロックで行われることを仮定するが、当業者は、当然にヒストグラム分析器HISTO又は支配的音声分析器DOMVOIが特定のコンテンツの間隔を決定できることを理解する）。この理由は、例えば、ニュース番組は通常は１人のプレゼンターであるが、一般的に興味深い事項のショー又は議論は、２〜３人のプレゼンターを有する可能性があるからである。いずれの場合でも、番組の複雑度は、しばしば話者の数に依存し、このことは、A/V信号の複雑度を決定する処理ルールに反映される。シーン分析器はハードウェアのブロックでもよいが、ここでは、典型的には視聴覚信号の合成に関するソフトウェア符号化ルールSYSTRUSを実行する汎用プロセッサを仮定する。これは、例えばインターネットから更新されてもよい。
【００２６】
空間画像／ビデオ特性分析器BLUR_EDGに加えて、動き分析器MOTは、グローバル又はローカルのぼやけた判定、エッジの判定及びその指標等のような分析に関与してもよく、例えば、ジッタのある取得画像を安定化させるために有用な情報を与える。典型的には、これらのユニットからの指標は、複数の構成要素を有する複雑度ベクトルVCに出力される。例えば、VCmは、画像の動きの量を示す全体の指標であり、これは、パンの大きさ、時間における動きの変化等のようなより詳細なパラメータにより更に指定されてもよい。同様に、VClは、どのくらいうるさいほど高速にシーンの照度又は含まれる物体が変化するかの指標である。
【００２７】
典型的には、これらのパラメータは、A/V  PUの処理アルゴリズムのパラメータに合致する。例えば、パンは２倍高速になり、動き補償の補間を介した画像の２倍のものを生じてもよい。また、所望の複雑度S_Inf-cと共に、どのくらいの処理が行われる必要があるかを決定する単一の複雑度の指標を導いてもよい。典型的には、それぞれの訂正の量は、ユーザが認識することなく、内部で生じる。例えば、ユーザは、設定で複数の量のパンの関連付けを指定していてもよい（毎秒Xピクセルが“低速”であり、2Xが“適度”／“一般的な視聴”である等）。これから、構成は、実際の信号の複雑度及び簡単な数学的補間による所望のものを前提として、必要な補償を計算してもよい。
【００２８】
また、他のモジュールも、（増加した特徴の細かさ又はロバスト性とは別に又はそれと共に）簡単にPEOPL、HISTO及びDOMVOIと記載したものがシーンの間隔SCE  INT（すなわち、どこでショット又はシーン（複数の同様のショット）が始まって終了するか）を決定するためにどのように使用され得るかに寄与してもよい。
【００２９】
シーンの境界を決定するために、黒フレーム又はワイプ（wipe）の検出から、シーン／ショットを符号化するために必要なビット数まで、複数の指標が使用されてもよい。しかし、非常に有用な分析は、空間ヒストグラムの時間変化又は類似性を見ることによるものである。この理由は、これは、支配的なショット（／シーン）（現在の一般化、支配的な画像REFIのヒップ番組（hip  program）、例えば、報道の間でのニュースの読み手の特定のカメラの典型的な視野）を抽出するのに役立つからである。
【００３０】
しばしば、このようなカメラは、小さいズーム又はパンしか行わないため、ニュースの読み手の周辺に常に同じ画像（すなわち、スタジオのその部分）が存在する（現在の仮想スタジオのニュースでは、ニュースの読み手が非常に変化する人工的な画像により囲まれることがあるため、いくらか複雑になり得るが、これらの場合でも、ロゴ、配色等のような通常に識別可能な要素が存在する）。これに関して、（例えば特性に基づいて）空間ヒストグラムを分析する前に、空間補間動作（パニング及びズーム）が有利になり得る。例えば、全体の画像は、複数の矩形ブロックに切断され、例えば平均値を用いて、そこに存在する色が集約されてもよい。そして、１つは特徴的なショット（ニューススタジオ）の表示を有し、それが現れる毎に認識され得る。有利には、この構成の実施例は、しばしば生じる場合に、特に特定の時間に、又は特定のメタデータ（EPG情報等）と関連して、このようなショットを保持する。時間と共に、このような番組のモデルデータ（例えば、６時のニュース又はPhil医者等）をデータメモリ190に格納してもよい。そこから、分析ユニットは、報道からのニュースの読み手のシーン又はカメラがゲストであるPhil医者にあるシーンを分割してもよい。Phil医者が話している全てのことをゆっくり聞いている視聴者は、ウィンドウ302のゲストの応答をクリックすることを選択し（典型的には、“次の断片”のボタンで、又はより高度なシステムではカメラ付リモコンでの指示で）、それに進んでもよい。構成は、“前の断片のウィンドウ”320でPhil医者の説明を始めから終わりまで表示するように構成されてもよい。これにより、視聴者がPhil医者の忠告又は質問が最終的に重要であると思った場合に、停止したところ（それより少し前）から、又はセグメントの開始のような他の時間から、それを聞き続けてもよい。
【００３１】
特徴的なショットの他の有用な特徴は、話者（例えば、支配的な話者の１人）の周辺のヒストグラムである。これを位置及びサイズに独立にしてもよい。例えば、ある人は、話者RP（すなわち、R1,R2,...）の周辺で、比較的同様の色の領域で見る（例えば、狭い彩度のヒストグラムの領域を分割することにより、照度が減少してもよい）。ある人は、このシーンを、例えば３つの左の隣接領域（R4,R4,R3）及び右の隣接領域（R2,R1,R1）の平均値のマトリクスでモデル化し、同じことを人の下（RDES1,RDES2,...）及び人の上で行ってもよい（変化しない机RDESがしばしば存在する）。これにより、以下が得られる。
RD,RD,R3,R4,R4,R1,R1
R4,R4,R3,0,R2,R1,R1
RDESl,RDES2,...
本格的な動きであっても、多くの要素は相関する。RD領域は減少してもよい点に留意すべきである。この理由は、この例では、映像クリップのウィンドウであり、変化する不連続なコンテンツから検出され得るからである。
【００３２】
このような表示を有することはまた、シーンから全てのショットを検出することに役立ち得る（例えば、ニュースの読み手が異なるカメラの角度からのショットである場合、スタジオの特徴的なヒストグラムの色は、依然として複数のショットである程度生じ、このため、これらの値及び発生の類似性の指標が、例えば挿入された街頭レポート又は自然のシーンのものより近くなるようにグループ化され得る）。
【００３３】
空間的な画像ヒストグラムの分析と支配的な話者の認識との組み合わせは、スタンドアローンユニットとして、他の用途（例えば、シーン認識のためのコンテンツ認識）にも有用である点に留意すべきである。
【００３４】
同様に、支配的な（又は特徴的な話者の）声（すなわち、特定の時間間隔でしばしば生じる声、この場合にも同様に、特に異なる日に特定の時間に生じる場合）の識別は、ニュースの話者が次のトピックを話している／紹介しているか否かを識別するのに役立ち得るだけでなく、例えば、ドキュメンタリーでは、現在の情報がより関連性があるか否か（すなわち、例えば複雑度が低減／調整された出力A/V信号に保持されるべきか否か）、或いは風景の画像を単に示しているか否かを識別するのに役立ち得る。
【００３５】
同様に、テキスト検出器TXT又は特定の領域の検出器BANNLOG（例えば、静的なロゴ、バナー等）は、ショット／シーンの分割（間隔SCE_INTの生成）又は識別（種類SCE_TYPの生成）に役立ち得る。シーンが何（SCE_TYP）であるかを識別するニュースの読み手のスタジオの画像より複雑な例は、例えばサッカーの試合である。サッカーの試合は、緑の矩形、ボール、走っている一対のプレイヤ、観衆の構造、大声の音声から識別されてもよい。
【００３６】
最後に、例えばインターネットコンテンツからのメタデータが存在する場合には、興味深い。これは、ショット／シーンの分割及び識別に使用され得るだけでなく、例えば異なる階層の報道を特徴付けるためにも使用され得る（例えば、サブウィンドウ302にテキスト303  OBAMAが表示され、Obamaの報道の話であることをユーザに示す）。特にメタデータを用いて、連続的なシーンも階層的に表示されてもよい。例えば、ウィンドウ302の後ろに３つの続き（Obamaの第１、第２及び第３の議論）が存在してもよい。視聴者の興味及び耐久力に応じて、これらのうち複数に入ってもよく、入らなくてもよい。
【００３７】
この構成の興味深い実施例は、視聴者が（例えば、後で再び視聴するために）興味深い時間セグメントを格納することを可能にすることである。例えば、ドキュメンタリーでは、ゴム製タイヤの市場がどのくらい大きいかを最初に説明してもよく、Hillaryがある約束を行ってもよい。次に、残りの番組（例えば、タイヤを作るのがどのくらい高価であるか）を視聴するときに、視聴者は、その断片に迅速に戻り、タイヤ事業の全体の経済的画像に関する他の事実を再取得してもよい。これに関して、視聴者は、ショット／シーンのどこかで選択ボタン125をクリックし、全体のシーンの始めから終わりまでが選択ユニット160の制御でメモリにコピーされ、第１のメモリウィンドウ310に表示される。ボタンが再びクリックされると、第２のウィンドウ312が表示される。これらのユーザにより選択された特別なシーケンスは、ディスプレイ150で表示された画像の左下角に垂直に構成され、自動的に生成されたもの302、304から区別される。
【００３８】
この構成がコマーシャルの断片を異なるように扱うように構成される場合に、有利である。コマーシャルの断片は、スキップするのに適した候補であるが、資金提供する会社の好みではない。これに関して、A/V  PUは、コマーシャルを要約し、例えば、独自のサブウィンドウに配置するように構成される。コマーシャルの製作者は、要約のメタデータ（例えば、表示する数枚の特徴的な画像）を追加してもよい。その場合、視聴者は、例えば数ワードが表示された上部のアニメーションから、コマーシャルの本質（例えば、購入の催促）を依然として得る。サブウィンドウをクリックすると、前述の階層的な番組／報道のように、より多くのコンテンツが現れてもよい。要約は、エントリーポイントで階層的な切断リストを作るのと同じくらい複雑になり得るため、異なる期間の進行中（on-the-fly）の映像が（例えば、４つの代わりに何かが誤って主要のキャラクタに進んだ場合又は直接の主要メッセージへのジャンプの２つの例で）作られてもよく、迷惑なオーディオの音量を単に下げる（例えば、テキストメッセージで置換する）ように簡単なものでもよい。
【００３９】
前述のように、本発明の原理に従う実施例の１つの利点は、ユーザが信号の複雑度における容易な制御を有する点にある（これはユーザが疲れている又はストレスがある場合に便利である）。従って、動作中に、ユーザは、複雑度を減少又は増加させるために、単一のスライダー330のみを使用すればよい。しかし、更に、第２のスライダー（340）を有することも有利になり得る。第２のスライダーは、提供番組／O(A,V)の階層的複雑度（例えば、許容可能なサブウィンドウの量）を制御する。このスライダーが低い場合、例えば、３つのみの自動サブウィンドウを許容することを生じてもよい。このうち、最初の50秒のビデオのみが保持され、残りの全ては破棄されてもよい（実際に192のバッファメモリに格納されなくてもよく、或いはサブウィンドウが選択されても、出力信号で表示されなくてもよい）。有利には、複雑度の変更の基礎となる潜在的に複雑なオーディオビデオ処理は、購入時又はいずれかの時点で、視聴者の好みに従って視聴者により少なくとも部分的に設定されてもよい。これに関して、メニュー350は、ユーザが特定の処理の何らかのパラメータを変更することを可能にする。例えば、あまり激しく変化しないように、オーディオのダイナミクスを制限してもよい。典型的には、これは、例えば、特定のダイナミクスの複雑度に到達するため、現在入力された番組のオーディオを変換することにより、ユーザの様々な設定に存在し、ユーザがこれらを少なくともいくつかのクラス（“適度”又は“少し疲れている”、“非常に不快である”又は“本当に疲れている”等）に割り当てることを求める。同じことが、例えば情報の階層で行われてもよい。例えば、何人かのユーザは、画像の上半分の全体がサブウィンドウで覆われることに問題がない。画像の上半分の全体は、クリックされたときにわずかに下に移動してサブウィンドウの全体の行を表示し、これもクリック可能である。しかし、他のユーザは、相談する場合に、最も関連のある一対の項目を表示させたいと思うことがある。従って、例えば、クリックしたいと思うイラクでの爆撃を見る場合に、最終的にニュースを一対の項目のみに低減し、残りの全てを無視する。
【００４０】
くつろぐ信号を生成する複数の方法が存在する。例えば、ドキュメンタリー（例えば、都市の旅行又は自然）では、単に全ての情報を番組にまとめるために、通常は（比較的）速いペースが存在する。しかし、ある人は、数秒で少し見るよりも、グランドキャニオン又はローマの素晴らしい広場を訪問することを楽しみたいと思う。これに関して、（例えば、単一の“繰り返し”ボタンの押下により）繰り返しのシーケンスが生成されてもよい。繰り返しは、視聴覚信号の時間セグメメント（例えば、ショット又はショットのシーン）を正確に同期して繰り返すものとして解釈されるべきではなく、残りの種類の信号（例えば、“繰り返し”ボタンが機能を無効にするために再び押下されるまで、少なくとも特定の期間）、写真／スナップショットのようであるがショットの特徴的な動きのため没入できる種類のものを生成するものとして解釈されるべきである。簡単な実施例では、これは、実際にボタンの押下時間に特定のショットを抽出し、それを続けることで、視聴覚信号処理ユニット104により行われる。しかし、視聴覚信号処理ユニットは、時間的及び空間的により複雑な信号分析を行うように構成されてもよく、例えば、人間の動きを分析し、２つのショットを通じて人間を追跡し、シーケンスを生成するためにこれを使用してもよい。例えば、同じシーンの２つの関連するショットのパノラマ部分（panoramic  stitch）を生成し、動いている俳優を抽出し、ニュースのシーンを通じて流動的に歩くように動き推定／補償技術で俳優を再ペーストしてもよい。典型的には、この分析は、取得した場面の最もくつろぐ抽出に対する有益な抽出を生成するために使用されてもよい。例えば、ローマの広場（広角）の場面を通じて線形的に移動する人が保持されるが、花売りの声の短い断片のような無秩序の迅速なショット（隣接する物体で終了するパンにおけるシーンの終了）は、例えば自然に溶け合わないため切断される（典型的には、繰り返しのときに迷惑なものとして表示される）。更に、時間的にうまく切断されたシーンはまた、空間的に処理されてもよい（例えば、モーフィング、外挿テクスチャ（extrapolate  textures）、双方向照明（ambilight）の周囲の信号の生成等）。典型的には、複数の下位の断片が存在する場合、同様の時間区間を割り当てられる必要はない。すなわち、同じ速度で表示される必要はない。例えば、広場で歩いている人はリアルタイムで表示されてもよいが、花売りの動作は遅くされ、（例えば、テンポに関して、又はくつろぎ／情報の複雑度に関して）残りのシーンにより良く溶け合うようにしてもよい。或いは、最後をより快適／くつろぐカット等のように繰り返してもよい。人工的なインテリジェンスを追加し、異なって取得された視聴覚信号の部分を使用することにより、例えば新しい軌道を歩く広場の人を用いて、元のシーンの非常に複雑な再表示を生成する（何人かの人を削除する、人がシーンに歩いて入るまで待機する等）ことができることを、当業者は認識する。
【００４１】
この文献に開示されたアルゴリズムの構成要素は（全体的に又は部分的に）、実際にはハードウェア（例えば、特定用途向けICの一部）として実現されてもよく、特定のデジタルシグナルプロセッサ又は汎用プロセッサで動作するソフトウェア等として実現されてもよい。
【００４２】
この提示から、構成要素が任意選択の改善であり、他の構成要素と共に実現されてもよく、方法の（任意選択の）ステップが装置の各手段にどのように対応するか、又はその逆はどうであるかが当業者に理解できる。この出願で“装置”という用語は、最も広い意味で使用されることを意図しており、すなわち、特定の目的の実現を可能にする一式の手段であり、従って、IC（の一部）、専用の装置（ディスプレイを備えた装置等）、又はネットワーク化されたシステム等の一部でもよい。“構成（arrangement）”もまた、最も広い意味で使用されることを意図しており、とりわけ、単一の装置、装置の一部、協働する装置（の一部）の集合を有してもよい。
【００４３】
コンピュータプログラムプロダクトの標記は、汎用又は特殊目的のプロセッサが、一連のステップのロードの後に（中間言語及び最終的なプロセッサの言語への変換のような中間の変換ステップを含んでもよい）、プロセッサにコマンドを入力可能にし、本発明の特徴的な機能のいずれかを実行可能にするコマンドの集合の如何なる物理的な実現を含むものとして理解されるべきである。特に、コンピュータプログラムプロダクトは、例えば、ディスク又はテープのような担体上のデータとして実現されてもよく、メモリに存在するデータでもよく、ネットワーク接続（有線又は無線）を介して伝達するデータでもよく、紙の上のプログラムコードでもよい。プログラムコードを離れて、プログラムに必要な特徴的なデータも、コンピュータプログラムプロダクトとして具現されてもよい。
【００４４】
この方法の動作に必要ないくつかのステップは、データ入力及び出力ステップのように、コンピュータプログラムプロダクトに記載される代わりに、プロセッサの機能に既に存在してもよい。
【００４５】
前述の実施例は、本発明を限定するものではなく、例示するものである点に留意すべきである。当業者は、提示された例の請求項の他の領域へのマッピングを容易に実現することができるが、簡潔に、全てのこれらの選択肢を徹底的に言及していない。特許請求の範囲に組合わされた本発明の要素の組み合わせと異なり、他の要素の組み合わせも可能である。要素の如何なる組み合わせも、単一の専用の要素で実現されてもよい。
【００４６】
請求項において、括弧の間の如何なる参照符号も、請求項を限定することを意図しない。“有する”という用語は、請求項に記載されていない他の要素又は態様の存在を除外しない。単数の要素は、このような要素の複数の存在を除外しない。
【図１】
0005775814.tif 000002
【図２】
0005775814.tif 000003
【図３】
0005775814.tif 000004