(57)【特許請求の範囲】
【請求項１】
オーディオビデオ文書の顕著性マップを決定する装置が行う方法であって、
前記文書のビデオ部分に関して顕著性マップを計算するステップと、
前記文書を表す少なくとも１つのオーディオ記述子を決定するステップと、
それぞれのオーディオチャネルのサウンドレベル及び全体のサウンドレベルがオーディオ記述子として使用されるとき、それぞれのオーディオチャネルのゲインを、前記サウンドレベル及び全てのチャネルのサウンドレベルの関数として計算するステップと、
ピクチャにおけるその空間的な位置及び前記オーディオチャネルのゲインの値の関数として、それぞれのチャネルについて及びピクチャのそれぞれの画素について、重み付け関数を計算するステップと、
複数の重み関数によりビデオ部分に関する前記顕著性マップを乗算して複数の顕著性マップを得ることで、前記オーディオ記述子の変動の関数としてビデオ顕著性マップを重み付けし、前記顕著性マップを平均することで前記オーディオビデオの顕著性マップを得るステップと、
を含むことを特徴とする方法。
【請求項２】
それぞれのチャネルの前記重み付け関数は線形関数であり、チャネルサイドに位置される画素は、前記チャネルから空間的に離れて位置される画素よりも大きな重みを有する、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記オーディオがステレオタイプであるとき、ピクチャの左に位置される画素は、左手のチャネルの重み付け関数について大きな重みを有し、ピクチャの右に位置される画素について小さな重みを有する、
ことを特徴とする請求項２記載の方法。
【請求項４】
前記顕著性マップは、サウンドレベルの時間的な変動に依存する係数により重み付けされる、
ことを特徴とする請求項３記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビデオ文書の顕著性を判定するオーディオ特性の認識に関する。
【背景技術】
【０００２】
オーディオビデオ文書の顕著性ゾーンの判定は、圧縮（顕著性ゾーンがたとえば多数のビットで符号化されるか、前記ゾーンの量子化ステップが変更される）、インデックス（これら顕著性ゾーンにおける情報を使用することで文書を索引付けすることが可能である）等のような異なるアプリケーションにとって有効である。
【０００３】
ビデオ文書の顕著性を判定する幾つかの方法が存在する。2004年12月14日にThomson
Licensing社の名前で提出された欧州特許EP1695288は、ビデオ文書の顕著性マップを確立する特に効果的な方法を記載している。
【特許文献１】WO2004/043054
【特許文献２】US 2004/088726 A1
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、幾つかのケースでは、ビデオは、オーディオビデオ文書の顕著性を十分に正確なやり方で取得するのを可能にしない。  
現在の方法の関連性を改善するため、本発明は、聴覚的な特性を視覚的な特性と関連付けすることを提案する。
【課題を解決するための手段】
【０００５】
この目的のため、本発明は、オーディオビデオ文書の顕著性マップを判定する方法を提案するものであり、文書のビデオ部分に関して顕著性マップを計算するステップ、文書を表す少なくとも１つのオーディオ記述子を決定するステップ、オーディオ記述子の変数の関数としてビデオ顕著性マップを重み付けするステップを含む。
【０００６】
好ましくは、オーディオ記述子は、文書の全体のサウンドレベル、音響の環境、それぞれのオーディオチャネルのサウンドレベル、サウンドレベルの時間的な変動、サウンドレベルの空間−時間的な変動、及びこれらのコンポーネントの任意の組み合わせのうちから選択される。
【０００７】
好ましくは、それぞれのオーディオチャネルのサウンドレベル及び全体のサウンドレベルは、オーディオ記述子として使用されるとき、それぞれのオーディオチャネルのゲインは、サウンドレベル、及び全てのチャネルのサウンドレベルの関数として計算される（Ｅ３）。
【０００８】
有利なことに、重み付け窓は、視覚的に顕著な画素と呼ばれる、予め決定されたレベルよりも大きな視覚的な顕著性を有するそれぞれの画素について決定され、視覚的に顕著な画素の位置の空間的な位置は、ピクチャにおいて決定され、それぞれのチャネルの重み付け関数は、それぞれのオーディオチャネルのゲイン、及びピクチャ内の画素の空間的な位置の関数としてそれぞれ視覚的に顕著な画素について決定される。
【０００９】
好適な実施の形態によれば、重み付け関数は、ピクチャにおけるその空間的な位置、及びオーディオチャネルのゲインの値の関数として、それぞれのチャネルについて、及びそれぞれのピクチャの画素について計算される。
【００１０】
好ましくは、それぞれのチャネルの重み付け関数は、チャネルサイドに位置される画素がチャネルから空間的に離れて位置される画素よりも大きな重みを有するように、線形な関数である。
【００１１】
オーディオがステレオタイプであるとき、有利なことに、ピクチャの左に位置される画素は、左手のチャネルの重み付け関数について大きな重みを有し、ピクチャの右に位置される画素について小さな重みを有する。
【００１２】
好適な実施の形態によれば、顕著性マップは、複数の顕著性マップを得るため、複数の重み付け関数によりビデオ部分に関して乗算される。オーディオビデオ顕著性マップは、前記顕著性マップを平均することで得られる。
【００１３】
好ましくは、顕著性マップは、サウンドレベルの時間的な変化に依存する係数により重み付けされる。
【００１４】
また、本発明は、オーディオビデオ文書の顕著性マップを判定する装置に関する。本発明によれば、本装置は、前記文書のビデオ部分に関する顕著性マップを計算する手段、文書を表す少なくとも１つのオーディオ記述子を決定する手段、オーディオ記述子の変数の関数としてビデオ顕著性マップを重み付けする手段を有する。
【００１５】
本発明は、添付図面を参照して、限定することなしに、実施の形態及び実現により良好に理解及び例示されるであろう。
【発明を実施するための最良の形態】
【００１６】
図示されるモジュールは、物理的に区別可能なユニットに対応する場合があるか、対応しない場合がある機能ユニットである。たとえば、これらのモジュール又はそれらのうちの幾つかは、１つのコンポーネントで互いにグループ化することができるか、又は同じソフトウェアの機能を構成することができる。対照的に、幾つかのモジュールは、個別の物理的なエンティティから構成される場合がある。
【００１７】
図１は、別のゴルフボールと話される一方のゴルフボールを示すビデオ系列に適用される本発明の好適なモードの実施の形態を示す。
【００１８】
ステップＥ１では、顕著性マップは、ビジュアルアテンションモデルからビデオドキュメントにより決定される。顕著性マップは、それぞれのピクチャＩｍ１及びＩｍ２についてそれぞれビューＣ１及びＣ２で決定されるように取得される。次いで、取得された２つの顕著性マップＣ１及びＣ２に関して、それぞれのボールと関連付けされる顕著性は非常に類似することが観察される。確かに、２つのボールは、非常に類似した特性を有するが、これらのボールに関連される音声は非常に異なる。確かに、右手のボールは聴く一方で、左手のボールは話す。オーディオビデオ文書を見ている人物の注意は、左手のボールに自然にフォーカスされる。したがって、取得された顕著性マップＣ１及びＣ２は、オーディオビデオ文書を十分に表していない。
【００１９】
したがって、ステップＥ２の間、オーディオビデオ文書のオーディオコンテンツを表すオーディオ記述子が決定される。これら記述子のなかで、オーディオトラックからの記述子が決定される。
【００２０】
それぞれのチャネルのサウンドレベル（ＣＳＬ）（right(r), left(l),
bottom(b), top(t), back right(rl), back left(bl) 等）、ＣＳＬチャネルのサウンドレベルの全体の合計である全体のサウンドレベル（ＯＳＬ）（静寂の期間、アクティビティの期間）、音響の環境（ＡＥ）、サウンドレベルの時間的な変化（ＳＬＴＶ）（静寂から強いアクティビティへの経過）、サウンドレベルの空間−時間の変化（ＳＬＳＴＶ）（左から右への経過）。
【００２１】
これらオーディオ記述子から、重み付け関数は、ステップＥ３の間に決定される。この重み付け関数は、それぞれの画素を、顕著性が強調されることが要求されるか又は低減されることが要求されるかに依存して高い重み又は低い重みを関連付ける。したがって、この関数は、ディメンジョンとしてピクチャの解像度を有するサポートを有する。デフォルトにより、オーディオデータが利用可能ではないとき、重み付け関数は一様であり、これは全体のピクチャについて値“１”からなる。
【００２２】
「それぞれのチャネルのサウンドレベルを考慮」
ステレオサウンドが利用可能である場合、それぞれのピクチャのサイドについて１つである２つのチャネルが存在する。ビデオのサウンドを編集するとき、したがって、右手側が強調されることが要求される場合、たとえばピクチャの右手側にある人物が話す一方で、左手側にいる人物が話さない場合、左手側よりも右手側により多くの音を与えることが可能である。
【００２３】
したがって、サウンドは、あるピクチャについて全体的に必要ではないが、より局所的とすることができる。たとえばステレオサウンドにより、左は右から区別される。Ｄｏｌｂｙ５．１サウンドにより、左、右、前、後等を区別することができる。
【００２４】
それぞれのチャネルは、そのオーディオマスキングキャパシティに依存するゲインを有する重み関数を定義する。他に関して低い振幅のサウンドを聴くことができず、したがって、このサウンドを搬送するチャネルは低いゲインを有する。重み付け関数は、異なるゲインを有するGaussσ（σはガウスエンベロープの空間的な広がり）で示される、１の振幅からなるガウス分布であることが好ましい。
【００２５】
重み付け関数の適用の中央は、予め決定されたグリッドによりそれぞれのチャネルについて設定される。図２に例が与えられる（この場合、たとえば６つのチャネルが存在し、ポイントはピクチャで一様に分散される）。
【００２６】
この図は９つのポイントを示し、重み付け関数はこれら９つのポイントをそれらの中央に有する。
【００２７】
重み付け関数の適用の中央は、図３に示されるように、それぞれの象限における顕著性の最大に位置されることが好ましい。次いで、予め決定される閾値を越える顕著性を有する顕著性のポイントが使用され、この場合、予め定義された数の顕著性ポイントのみを保存することが決定され、又は、顕著性ポイントの位置に続いて、低減されたピクチャのゾーンが顕著性ポイントの大部分を含み、ピクチャが幾つかの分散された顕著性のゾーンを含むとき、唯一の顕著性ポイントが保存される。
【００２８】
他の実施の形態では、固定されるか又は可変であるサイズをもち、あるポイントでセンタリングされる方形波窓により表されるラプラス型の関数を使用することができる。
【００２９】
それぞれのオーディオチャネルのゲインは、以下の式により与えられる。
【００３０】
【数１】
0005496499.tif 000002
GainWeightiは、チャネルｉのゲインを示し、ＣＳＬiは、チャネルｉのサウンドレベルを示す。Ｐは、好ましくは値２の指数である。εは、ゼロによる除算を防止する低い値の定数である。チャネルが同じサウンドレベルを有するか、又は非常に近いサウンドレベルを有する場合、それぞれのチャネルと関連付けされるゲインは同じである。しかし、他のチャネルのサウンドレベルと比較してチャネルのサウンドレベルが高い場合、そのゲインも高くなる。
【００３１】
それぞれのチャネルゲインは、Weightとして示される前もって定義される重み付け窓のゲインを乗算する。
【００３２】
この重み付け窓の振幅は、チャネルのゲインに依存する。
【００３３】
【数２】
0005496499.tif 000003
したがって、重み付け関数の適用の中央が顕著性の最大に位置されるとき、この最大の周りの重み付け窓は、図３に示されるように定義される。ステレオモードにあるとき、顕著性の最大の位置は、この重み付け関数を適用するために重要である。確かに、ピクチャの右に位置される顕著性の最大について、それに右手のチャネルのGainWeight値を適用することは重要であり、逆に、ピクチャの左に位置される最大について、それに左手のチャネルのGainWeight値を適用することは重要である。したがって、顕著性の最大の距離は、ピクチャのエッジに関して計算される。右手のチャネルの重み付け関数について、ピクチャの右手のエッジの近くに位置される最大の高いGainWeight係数が適用され、ピクチャの左手のエッジの近くに位置される画素の低い係数が適用される。
【００３４】
左手のチャネルの重み付け関数について、ピクチャの左手のエッジの近くに位置される最大の高いGainWeight係数が適用され、ピクチャの右手のエッジの近くに位置される画素の低い係数が適用される。
【００３５】
オーディオがステレオではなくDolby5.1であるとき、ピクチャのエッジに関して距離が計算されないが、ピクチャにおける位置が計算される。この位置に従って、このポイントのチャネルの影響が決定される。
【００３６】
距離を考慮するため、更なる重み付けファクタは、前の式
【数３】
0005496499.tif 000004
に加えることができる。
【００３７】
距離の概念に依存する式は、以下のようになる。
【００３８】
【数４】
0005496499.tif 000005
αは中央（ｘc，ｙc）に関して偏心に依存する。すなわち、現在のポイント（ｘ，ｙ）、alpha(x,y) = (x-xc)2 − (y-yc)2である。したがって、（ｘ,ｙ）＝（ｘc,ｙc）である場合、αはゼロに向かう傾向にあり、さもなければ、αは中央に関して距離と共に増加する。
【００３９】
図４ａから図７ｂは、右手チャネル及び左手チャネルを有する、ステレオサウンドの場合におけるGainWeight2の異なる実施の形態を示す。これら実施の形態は、上述されたビジュアルマップの最大の顕著性を変化するだけでなく、ピクチャの全てのポイントの顕著性を変化させる。
【００４０】
図４ａは、右手のチャネルについて第一の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの左に位置されるピクチャのポイントについて１に等しくなる。
【００４１】
図４ｂは、左手のチャネルについて第一の実施の形態を示す。GainWeight2gは、ピクチャの左に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの右に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは線形関数を表す。
【００４２】
この線形関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。
【００４３】
図４ａ及び図４ｂでは、左手のチャネルのゲインは、右手のチャネルのゲインよりも大きい。したがって、全ての重み付け関数により乗算するとき、右へのポイントについてよりも左へのポイントについて、より強調された顕著性が得られる。
【００４４】
図５ａ及び図５ｂは、右及び左での対数型の減少を示す。
【００４５】
図５ａは、右手のチャネルについて第二の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの左に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは増加する指数関数exp(x)を表す。
【００４６】
図５ｂは、左手のチャネルについて第二の実施の形態を示す。GainWeight2gは、ピクチャの左に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの右に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは減少する指数関数exp(x)を表す。
【００４７】
この増加又は減少する指数関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。
【００４８】
図６ａは、右手のチャネルについて第三の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央の右へのピクチャのゾーン、たとえばピクチャの右手の４分の１に位置されるゾーンについて一定のままであり、さもなければ値“１”を有する。
【００４９】
図６ｂは、左手のチャネルについて第二の実施の形態を示す。GainWeight2dは、ピクチャの左に位置されるポイントについて最大であり、中央の右へのピクチャのゾーン、たとえばピクチャの右手の４分の１に位置されるゾーンについて一定のままであり、さもなければ値“１”を有する。
【００５０】
この関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。
【００５１】
図７ａは、右手のチャネルについて第四の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、ピクチャの左にまで線形に減少する。
【００５２】
図７ｂは、左手のチャネルについて第四の実施の形態を示す。GainWeight2dは、ピクチャの左に位置されるポイントについて最大であり、ピクチャの右にまで線形に減少する。
【００５３】
これら２つの最後の曲線の傾斜は同一である。右手のチャネルのゲインは、左手のチャネルのゲインよりも大きく、ピクチャの右に位置されるポイントは、ピクチャの左に位置されるポイントよりも、それらの顕著性において大きな増加を有する。この関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。
【００５４】
図１のステップＥ４の間、視覚的な顕著性マップは、全てのＮの重み付け関数により乗算される。取得されるＮ個のマップは、中間のマップＳＭＭｏｄを取得するために平均化される。ＳＭのビジュアルな顕著性マップが与えられ、ＳＭＭｏｄのオーディオビジュアルな顕著性マップが与えられ、Ｎのサウンドチャネルが与えられ、Ｎｏｒｍのスケールファクタが与えられる。
【００５５】
次いで、オーディオビジュアルな顕著性マップが以下の式から得られる。GainWeight2i値は、重み付け窓の値の合計により正規化される。
【００５６】
【数５】
0005496499.tif 000006
［サウンドレベルの時間的な変化を考慮］
ステップＥ５の間、サウンドレベルの時間的な変化が考慮される。
【００５７】
サウンドレベルが突然に変化したとき、より詳細には、レベルがロウレベルからハイレベルになったとき、視覚的な注意の増加はハイである。さらに、静寂に経過するとき、視覚的な注意は、確かに少ない。
【００５８】
したがって、一時的な減衰係数いついてＴＡＣ（temporal
attenuation coefficient）として示される、顕著性の変調係数を一時的に適用することが提案される。図３は、全体のサウンドレベルの関数としてＴＡＣ係数の変化の例を示す。
【００５９】
一時的な減衰係数ＴＡＣは、数秒にわたり統合される全体のサウンドレベルＯＳＬ（overall
sound level）の値、及び時間的に平均されるその振幅の時間的な変動性に依存する。この係数は、顕著性マップに一様に適用される。デフォルトにより、この係数は１である。
【００６０】
他の観点では、静寂の期間の間、顕著性は、一方のゾーンから別のゾーンにわたり優先度を与えないように、０に向かう係数により重み付けされる。
【００６１】
【数６】
0005496499.tif 000007
上述された異なる実施の形態で記載された発明は、ピクチャの中央の顕著性を低減する傾向にあることを更に述べておく。しかし、この顕著性を減衰させるよりはむしろ、顕著性を低減しないことが重要なことがある。
【００６２】
デフォルトにより、異なるチャネルのゲインが類似する場合（音はチャネル間で一様に分散される）、何も行なわれないか、又は中央はデフォルトにより増強される。
【００６３】
上述されたアプリケーションは、２人の間での会話の環境で特に適用される。より一般的なケースについて、ピクチャの中央は、アトラクションの優先ゾーンに残る。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施の形態、及びオーディオビデオ文書に適用される本発明の効果を示す図である。
【図２】重み付け関数の適用の中央の例を示す図である。
【図３】適用の中央として、重み付け関数、それらの関連する重み付け窓とのビデオマップの顕著性ポイントを示す好適な実施の形態を表す図である。
【図４】図４ａ及び図４ｂは、ステレオの場合の重み付け関数の第一の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。
【図５】図５ａ及び図５ｂは、ステレオの場合の重み付け関数の第二の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。
【図６】図６ａ及び図６ｂは、ステレオの場合の重み付け関数の第三の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。
【図７】図７ａ及び図７ｂは、ステレオの場合の重み付け関数の第四の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。
【図８】全体のサウンドレベルと時間的な減衰係数の間の関係を示す図である。
【図１】
0005496499.tif 000008
【図２】
0005496499.tif 000009
【図３】
0005496499.tif 000010
【図４】
0005496499.tif 000011
【図５】
0005496499.tif 000012
【図６】
0005496499.tif 000013
【図７】
0005496499.tif 000014
【図８】
0005496499.tif 000015