(57)【要約】本発明は、種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法であって、・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合段階と、・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有する方法に関する。
2009500736.tif 000002
【特許請求の範囲】
【請求項１】
種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法であって、
・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、
・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合段階と、
・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有することを特徴とする方法。
【請求項２】
前記規格化段階において、
・前記複数の顕著性マップの諸部位が、視覚量の値の理論的な最大に対して規格化され、
・前記複数のマップが、所定の数のレベルを使って線形に量子化されることを特徴とする、請求項１記載の方法。
【請求項３】
前記マップ内競合段階において、
・視覚量の値が大きくなる諸部位を含む、顕著であると言われる諸部位を含む予備的リストが定義され、
・顕著であると言われる前記諸部位の前記予備的リストが前記値の降順にスキャンされ、顕著であると言われる前記部位を中心とする所定の半径の円形領域内に存在する顕著であると言われるその他の部位が禁止され、
・次に大きい値の部位の値との比が所定の閾値より大きい非禁止部位を含む、前記諸顕著部位のリストが確立される請求項１記載の方法。
【請求項４】
前記視覚量が色成分および無色成分に関する、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
複数の色成分に関する複数の顕著性マップがマージされ、次いで結果として得られる顕著性マップが無色成分に関する顕著性マップとマージされる、請求項４記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は種々の視覚量（visual  quantity）から生成された複数の顕著性マップ（saliency  map）から一つの顕著性マップを得る方法に関する。
【背景技術】
【０００２】
人間の視覚は選択的な注目をもつ。これは、我々の視覚系は主として、我々の環境のオブジェクトおよびイベントから発されるある数の信号に応答するということを意味している。
【０００３】
我々の注目を最も明らかに、かつ最も直観的に引きつける信号は、疑いなく、場面にオブジェクトが突然現れることである。
【０００４】
最終的に、さまざまな研究は、実際の諸固定点から、我々の視線を引きつける視覚特徴の類似性を推定しようとする。一般論として、そうした研究は、画像の平均輝度（brightness）によって規格化された分散、エントロピーおよび測定された固定点とその近傍の間の相関といったさまざまな量の測定に関係する。主たる結論は次のとおりである：
・固定領域のコントラスト測定値は、ランダムに取った領域のコントラスト測定値よりも高い。換言すれば、ある領域のコントラストは、その性質（ルミナンス、色、動き、テクスチャなど）に関わりなく、我々の注目を引きつける。たとえその領域が観察者によって実行されようとしているタスクに関係ないときでさえそうである。
・相関測定に基づいて、これらの研究はまた、固定領域がその近傍と異なることを示している。
【０００５】
画像中の顕著性点（saliency  point）の検出は、その後、エンコードおよびインデックス付け方法を改良することを可能にする。画像の顕著性点のリストを得る方法として顕著性マップを得ることは、2003年12月18日にトムソン・ライセンシングSAの名の下に出願され、EP1544792号の下に公表された欧州特許出願において記載されている。
【０００６】
顕著性マップの生成は、種々の視覚量に関する：ある顕著性マップは可能性としては色成分（chromatic  components）に関係し、あるマップは各色成分についてであり、あるいは無色成分（achromatic  components）に関していてもよい。しかしながら、ひとたび種々の顕著性マップが生成されたら、それらをマージすることは望ましくない結果を生じることがある。
【０００７】
従来式のマージ方法は、種々の顕著性マップを同じダイナミックレンジになるよう規格化することを含む。マップCの規格化N(C)は、マップCに対して決定された全体的な最大を使う。その場合、最終的な顕著性マップSは単に次の関係式によって得られる：
CS(s)＝N（N(CSA(s))＋N(CSCr1(s))＋N(CSCr2(s))）
ここで、CSA(s)は無色成分の顕著性マップを表し、CSCr1は第一の色成分の顕著性マップを表し、CSCr2は第二の色成分の顕著性マップを表す。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
この方法の一つの利点は、単純さである。だが、この方法はさまざまな欠点を呈する：
・この方法は、準一様な分布をもつ顕著性マップと一つまたは複数の顕著性ピークをもつ顕著性マップの間の区別をしない；
・顕著性マップにいくつかの顕著性ピークが存在するとき、この種のマージは明らかに最高の顕著性ピークを優遇する；
・この方法はインパルスノイズに非常に敏感である；
・マップ間の相互作用がない。
【課題を解決するための手段】
【０００９】
したがって、本発明は、前述の欠点のうちの少なくとも一つを直すことを提案する。この目的のため、本発明は、種々の視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法を提案する。本発明によれば、本方法は、
・前記複数の顕著性マップを各視覚量の理論的な最大に基づいて規格化する段階と、
・各顕著性マップにおける主たる顕著性領域を選択するマップ内競合（competition）段階と、
・前記諸マップ内競合と、前記諸マップ内競合とある部位が前記複数の顕著性マップ上に現れる確率との積の関数であるマップ間冗長性項との和に基づくマップ間競合段階とを有する。
【００１０】
顕著性マップをマージするそのような方法は、二つの競合法に関わる：
・マップの最も有意な領域を識別するマップ内競合；
・種々のマップの冗長性と相補性を活用したマップ間競合。マップ間冗長性の使用は、ある種の領域がいくつかの次元での顕著性を生成するときに、該ある種の領域の顕著性を補強する方法である。逆に、ある領域が一つの視覚的次元においてのみ顕著性を生成するときには、マップ間相補性を使うことが必要である。
【００１１】
ある好ましい実施形態によれば、規格化段階において、
・前記複数の顕著性マップの諸部位は、視覚量の値の理論的な最大に対して規格化され、
・前記複数のマップは、所定の数のレベルを使って線形に量子化される。
【００１２】
ある好ましい実施形態によれば、前記マップ内競合段階において、
・視覚量の値が大きくなる諸部位を含む、顕著であると言われる諸部位を含む予備的リストが定義され、
・顕著であると言われる前記諸部位の前記予備的リストが前記値の降順にスキャンされ、顕著であると言われる前記部位を中心とする所定の半径の円形領域内に存在する顕著であると言われるその他の部位が禁止され、
・次に大きい値の部位の値との比が所定の閾値より大きい非禁止部位を含む、前記諸顕著部位のリストが確立される。
【００１３】
ある好ましい実施形態によれば、視覚量は色成分および無色成分に関する。
【００１４】
ある好ましい実施形態によれば、色成分に関する複数の顕著性マップがマージされ、次いで結果として得られる顕著性マップが無色成分に関する顕著性マップとマージされる。
【００１５】
本発明は、単一の付属の図面を参照する、決して限定的な意味ではない例示的な実施形態および有利な実装によってよりよく理解され、例解される。
【発明を実施するための最良の形態】
【００１６】
以下に述べる実施形態は、成分Cr1およびCr2から導かれるCSCr1およびCSCr2で表される二つのマップについてのコヒーレントなマージを提案する。n個の顕著性マップへの一般化は容易に構想できる。
【００１７】
本マージ方法は、予備的なダイナミック規格化段階を有する。各マップの全体的な最大に基づく規格化を使う既知の規格化とは異なり、本マージ方法において使用される規格化は、各視覚的次元の理論的な最大に基づいている。これらの最大は、個別的な試験を使って実験的に決定される。たとえば、成分Cr1について、一様なルミナンスをもつが飽和した赤いパターンをもつ画像は、視覚軸Cr1の最大ダイナミックに近いダイナミックを生成する。この種の実験を繰り返すことは、成分A、Cr1、Cr2の理論的な最大を定義する一つの方法である。
【００１８】
二つのマップCSCr1およびCSCr2は次いで規格化され、L個のレベル上で量子化される。規格化（normalization）および量子化（quantization）後のそれらのマップはCSNQCr1およびCSNQCr2と表される。
【００１９】
規格化段階に続いて、本方法はマップ内（intra-map）競合段階を含む。このマップ内競合は、マップCSNQCr1およびCSNQCr2の各部位sの値を、最も近い極大に従って修正する。この種の競合は、次の関係式によって与えられる：
IntraMapCr1(s)＝CSNQCr1(s)／NearestMaxcr1(s)
IntraMapCr2(s)＝CSNQCr2(s)／NearestMaxcr2(s)
関数NearestMaxCr1（またNearestMaxcr2）は、部位sに最も近い成分Cr1（またCr2）の極大値を返す。この値は、サイズがK1（またK2）個の値のリストL1（またL2）から取られる。リストのサイズは、極大nと極大n＋1との間の比が、ある閾値より大きくなるように決定される。閾値は任意に1.3に設定される。これは、主たる顕著性領域のみを考慮することを可能にする。
【００２０】
極大n＋1は、図１に表されるように、極大nを中心とし、2視覚度（two  visual  degrees）の半径をもつ円形領域を禁止することによって決定される。円の大きさは、見る距離に比例する。
【００２１】
マップ内競合段階に続いて、マップ間競合が適用される。このマップ間競合は、異なる複数のマップの冗長性および相補性を活用する。項Intermapは次の関係式で与えられる：
Intermap(s)＝complementarity(s)＋redundancy(s)
項complementarity(s)〔相補性〕は、マップ内競合の結果どうしを足し合わせることによって得られる：
complementarity(s)＝intraMapCr1(s)＋intraMapCr2(s)
マップ間冗長性（redundancy）は、マージされるべき複数のマップの分布の同時解析（joint  analysis）に基づいて処理される
redundancy(s)＝intraMapCr1(s)×intraMapCr2(s)
×Log［N／H(CS  NQCr1,CS  NQCr2)］／3Log(L)
Nは、関係するマップの部位の数を表す。
【００２２】
マップCS  NQCr1およびCS  NQCr2の組み合わされたヒストグラムから推定される因子Log［N／H(CS  NQCr1,CS  NQCr2)］／3Log(L)は、関係する部位sの値をその現れる確率に従って修正する。部位sによって伝達される情報の量は、その現れる確率に反比例する。結果として、上記の因子は、部位sの値を、現れる確率が低いときに増加させる。逆に、部位sの値は、現れる確率が高いときには低下させられる。
【００２３】
マップCSCr1およびCSCr2のマージは、前記の項intermap(s)によって与えられる。
【実施例】
【００２４】
視覚量Cr1およびCr2が色成分を表すとき、無色成分に関する第三の顕著性マップを導入することもできる。すると、三つの顕著性マップのマージを実行するために、階層的なアプローチが実行すべく導入される。
【００２５】
それによると、顕著性マップは、まず無色成分に関する二つの顕著性マップをマージし、次いでこの結果として得られる色の顕著性マップと無色顕著性マップとの間のマージを実行することによって、得られる。
【００２６】
そのような階層的なアプローチは、時間的な顕著性マップを前記の空間的な顕著性マップとマージすることによっても適用されうる。その際、色顕著性マップおよび無色顕著性マップは、上述した階層的なアプローチに従ってマージされる。すると、この空間的顕著性マップの、時間的顕著性マップとの階層的マージが実行される。
【図面の簡単な説明】
【００２７】
【図１】未修正の成分A上で極大値の例示的な検索を表す図である。
【図１】
2009500736.tif 000003
【国際調査報告】
2009500736.tif 000004
2009500736.tif 000005