(57)【要約】  本発明は、オブジェクト・ベース視覚注意モデルの顕著性推定方法を提供する。この方法は、画像を複数の推定対象オブジェクトにセグメント化するステップと、各セグメント化オブジェクトについて特徴マップを抽出するステップと、抽出された特徴マップに基づいて、各セグメント化されたオブジェクトの顕著性を、当該オブジェクトの中心ピクセルの周囲に規定された１組の円内で計算するステップと、全ての円内の各セグメント化されたオブジェクトの顕著性を統合して、各セグメント化オブジェクトの総合的顕著性推定を得るステップとをさらに含む。本発明は、人間の視覚とはるかに連絡しやすく、計算の複雑さも低い。
2009535683.tif 000002
【特許請求の範囲】
【請求項１】
画像の顕著性を推定する方法であって、
前記画像を複数の推定対象オブジェクトにセグメント化するステップと、
各セグメント化オブジェクトについて特徴マップを抽出するステップと、
抽出された特徴マップに基づいて、各セグメント化されたオブジェクトの顕著性を、前記オブジェクトの中心ピクセルの周囲に規定された１組の円内で計算するステップと、
全ての円内の各セグメント化されたオブジェクトの顕著性を統合して、各セグメント化オブジェクトの総合的顕著性推定を得るステップと、
を含む、前記方法。
【請求項２】
各セグメント化されたオブジェクトの中心ピクセルの周囲に規定された前記１組の円が、同心円である、請求項１に記載の方法。
【請求項３】
前記特徴マップを抽出するステップが、画像の色変化の測定に基づく、請求項１に記載の方法。
【請求項４】
前記各セグメント化されたオブジェクトの顕著性を計算するステップにおいて、推定対象オブジェクトの色特徴を、前記推定対象オブジェクトの周囲に規定された各円内の任意のその他のオブジェクトの色特徴と比較するサブステップをさらに含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記比較ステップが、推定対象オブジェクトと前記推定対象オブジェクトの周囲に規定された各円内の任意のその他のオブジェクトとの間の色特徴の絶対差を計算することによって実施される、請求項４に記載の方法。
【請求項６】
前記各セグメント化されたオブジェクトの顕著性を計算するステップにおいて、検出関数を使用して、画像のビデオ・テクスチャを検出する、請求項１に記載の方法。
【請求項７】
オブジェクトの前記総合的推定顕著性が、全ての円内のオブジェクトの顕著性の一次結合である、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の顕著性（ｓａｌｉｅｎｃｅ）を推定する方法に関し、より詳細には、オブジェクト・ベース視覚注意モデルの顕著性推定方法に関する。
【背景技術】
【０００２】
神経生物学的概念では、注意するということは、緻密または入念な観察によってあるオブジェクトに精神力を集中することを意味する。注意領域とは、人間の注意を多く引きつける傾向があるピクチャ内の領域である。ピクチャの注意領域を自動的に検出するように設計されたシステムを、注意モデルと呼ぶ。検出された注意領域は、限られた資源をある注意領域に集中する、検索／探索の方向付けをする、解析を単純化するなど、多様な応用分野で広く利用される。
【０００３】
図１は、最もよく使用される注意モデルの大まかな構成を示す図である。最初に、推定対象の画像が注意モデルに入力される。次いで、特徴抽出ステップの後で、強度、色、向きなどの特徴を得る。第３のステップで、上記の特徴の顕著性を推定する。フュージョン・スキーム（ｆｕｓｉｏｎ  ｓｃｈｅｍｅ）ステップおよび後処理ステップの後で、最終的に注意領域が得られる。
【０００４】
マクロブロック（ＭＢ）を基本単位とする空間位置認識仮説に基づいて注意を駆動するほとんどの従来のマシン・ビジョン・システムで用いられる注意モデルと異なる、その他の視覚注意を方向付けするモデルは、オブジェクト主導であり、オブジェクト・ベース視覚注意モデルと呼ばれる。
【０００５】
ＭＢ（マクロブロック）空間ベース視覚注意に関する研究は数多くなされており、例えば、Ｌ．Ｉｔｔｉ他の「Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｅ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌｕｍｅ  ２０、Ｎｏ．１１、１９９８年１１月、や、Ｙ．Ｆ．Ｍａ他の「Ａ  Ｕｓｅｒ  Ａｔｔｅｎｔｉｏｎ  Ｍｏｄｅｌ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｍｍａｒｉｚａｔｉｏｎ」、ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ‘０２、ｐｐ．５３３〜５４２、２００２年１２月、などがある。しかし、オブジェクト・ベース視覚注意は、本質的に難解であるために、それほど広く研究されているわけではない。Ｙ．Ｓｕｎ他は、「Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」、Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、ｐｐ．７７〜１２３、２００３年５月、において、オブジェクト・ベース視覚注意の構造を提案している。別のオブジェクト・ベース視覚注意モデルが、Ｆ．Ｏｒａｂｏｎａ他の「Ｏｂｊｅｃｔ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ：ａ  Ｍｏｄｅｌ  ｆｏｒ  ａ  Ｂｅｈａｖｉｎｇ  Ｒｏｂｏｔ」、３ｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｔｔｅｎｔｉｏｎ  ａｎｄ  Ｐｅｒｆｏｒｍａｎｃｅ  ｉｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｖｉｓｉｏｎ、２００５年６月、に提案されている。どちらのオブジェクト・ベース視覚注意方式も、依然として、図１に大まかに記載した注意モデルの構成を基本としたものである。「顕著性推定」以外の全てのプロセスは、ＩｔｔｉのＭＢ空間ベース視覚注意モデルから直接生まれたものである。
【０００６】
ＭＢ空間ベース視覚注意モデルでもオブジェクト・ベース視覚注意モデルでも、低レベルの空間的／時間的特徴を最初に抽出し、その後、ピクチャ全体にわたって、各単位毎の各顕著性（異なる、周囲と比べて顕著な、すなわちより魅力的な）特徴マップを推定し、その後、全ての特徴マップを単純にボトムアップ式に送ることによって、マスタ「顕著性マップ」を生成する。
【０００７】
オブジェクト・ベース視覚注意モデルと比較して、ＭＢ空間ベース視覚注意モデルは、はるかに容易且つ速く作成することができる。しかし、ＭＢ空間ベース視覚注意モデルには、本質的な欠点がいくつかある。
１）注意領域が自然オブジェクト境界を破壊する。
２）各マクロブロックが、多数の自然オブジェクトをカバーすることがある。
【０００８】
従って、マクロブロックの抽出された特徴は、これら全ての自然オブジェクトの混合したプロパティであり、そのため、注意領域の検出精度を低下させることになる。
【０００９】
オブジェクト・ベース視覚注意モデルの重要な問題は、２つの特徴にある。１つは、特徴を抽出する前のオブジェクトのグループ化であり、もう１つは、画像内の全てのオブジェクトにおける各オブジェクトの個々の効率的な顕著性推定である。現在使用されている顕著性推定方式の中心にある概念は、Ｙ．Ｓｕｎ他が提案しているように、ガウス距離測定（Ｇａｕｓｓ  ｄｉｓｔａｎｃｅ  ｍｅａｓｕｒｅ）に基づく。
【００１０】
顕著性推定の対象となるオブジェクトをｘ、全ての背景オブジェクトをｙｉ（ｉ＝１、２、・・・、ｎ）、入力画像の幅および高さの最大値をｗ、ｘとｙｉの間の物理的距離を｜｜ｘ−ｙｉ｜｜と表すと、ガウス距離は、以下の数式（１）のように定義される。
【数１】
2009535683.tif 000003
ここで、スケールσをｗ／ρに設定する。ρは正の整数であり、一般に１／ρは、２％、４％、５％、または２０％、２５％、５０％など、ｗの百分率に設定することができる。
【００１１】
特徴Ｆ内のオブジェクトｘおよびｙｉの絶対差をＳＦ（ｘ、ｙｉ）と表すと、特徴Ｆ内のオブジェクトｘの総合的顕著度である顕著性推定ＳＦ（ｘ）は、以下の数式２で表すことができる。
【数２】
2009535683.tif 000004
【００１２】
顕著性推定をこのように定義することにより、以下のように結論づけることができる。
１．オブジェクトとその周囲との間の差が大きくなるほど、そのオブジェクトは顕著になる。
２．オブジェクトと特徴の異なる周囲とが接近するほど、そのオブジェクトは顕著になる。すなわち、人間の視覚は、距離に応じて違いを見分ける能力が低下する。その減衰係数は、この視覚生理学のテーマと整合するｄｇａｕｓｓで測定される。
【００１３】
これにより、ＳＦ（ｘ）は、確実に特徴Ｆにおける有用な顕著性推定となる。ただし、残念ながら、いくつかの重要な人間の知覚の性質が、ＳＦ（ｘ）では考慮されていない。
【００１４】
図２ａは、推定対象であるスケートのオリジナル画像であり、図３ａは、従来のオブジェクト・ベース視覚注意モデルを用いて行った、図２ａの顕著性推定の結果である。
【００１５】
図２ｂは、推定対象である沿岸警備隊のオリジナル画像であり、図３ｂは、従来のオブジェクト・ベース視覚注意モデルを用いて行った、図２ｂの顕著性推定の結果である。
【００１６】
図３ａおよび図３ｂの何れにおいても、白い色は非常に顕著なオブジェクトであることを意味し、黒い色は顕著ではないオブジェクトであることを意味し、白と黒の間のグレー・レベルが、顕著度を表している。
【００１７】
図３ａから、観衆は、その色がその近傍の色と大きく異なるために顕著であるとみなされているが、実際には、観衆の部分は詳細を全く含んでいないことが分かる。この画像を見る者は、通常、観衆には注目せず、観衆を「ビデオ・テクスチャ（ｖｉｄｅｏ  ｔｅｘｔｕｒｅ）」とみなす。
【００１８】
さらに図３ａには、女性スケーターの頭部の左側に小さなグレーのブロックがある。このブロックは、男性の黒い衣装と女性の肌で囲まれた白いスケート・リンクの一部であり、これはこの局所領域において顕著である。しかし、結局のところ、このブロックは、広いスケート・リンクの一部であって、見る者の注意を引きつけることはない。これは、「局所効果」と呼ばれる。この局所効果によって、オブジェクトとその近傍の間の差は蓄積されて大きくなり、その結果、「顕著性」と認識される。
【発明の開示】
【発明が解決しようとする課題】
【００１９】
以上のことから、従来のオブジェクト・ベース視覚注意モデルは、効率が不十分であり、下記のように、考慮されていない人間の視覚特性が数多く存在する。
【００２０】
１．オブジェクトのサイズ  オブジェクトのサイズが顕著度に与える影響の推定は、複雑な問題である。例えば、（ａ）全ての近傍のオブジェクトｙｉが同じサイズｓであり、オブジェクトｘのサイズがｓから０まで減少する場合には、その結果として、ｘの顕著度（ＳＦ（ｘ））は、徐々に減少する。（ｂ）全ての近傍のオブジェクトｙｉが同じサイズｓであり、オブジェクトｘのサイズがｓ１からｓ２（ｓ１＞＞ｓ、且つｓ１＞ｓ２＞ｓ）まで減少する場合には、ＳＦ（ｘ）は、徐々に増大する。従って、オブジェクトのサイズと顕著度の関係が単調でないことが分かる。また、この問題は、各オブジェクトが任意のサイズを有する可能性がある場合には、さらにずっと複雑になる。
【００２１】
２．局所効果  あるオブジェクトがそのごく近い近傍（局所領域）の中で顕著でなく、それより少し離れた近傍がそのオブジェクトと大きく異なる場合には、２つの結果が生じる可能性がある。すなわち、（ａ）画像全体の中で、そのオブジェクトが全く顕著でない場合と、（ｂ）その画像内で、その局所領域が全体として顕著になり、そのオブジェクトはその局所領域の一部として含まれる。何れの場合にも、オブジェクトの顕著度は、上記で定義したものとは一致しない。
【００２２】
３．ビデオ・テクスチャ  ある画像のオブジェクト・特徴が無作為に不均一である場合には、人間は、通常、画像全体の細部を無視し、その画像のいかなるオブジェクトも顕著ではないが、上記で定義したＳＦ（ｘ）は、画像内の何れかのオブジェクトに対して大きな数になる。
【００２３】
これら全ての制限のために、従来のオブジェクト・ベース視覚注意モデルは、実用的とは言えない状態にある。従って、オブジェクト・ベース視覚注意モデルを改良することが望まれている。
【課題を解決するための手段】
【００２４】
本発明は、計算の複雑さを低下させることができ、応用可能性を高めることができるマルチレベル同心円型方式を利用した、オブジェクト・ベース視覚注意モデルの顕著性推定方式を提供する。
【００２５】
一態様では、本発明は、画像の顕著性を推定する方法を提供する。この方法は、画像を複数の推定対象オブジェクトにセグメント化するステップと、各セグメント化オブジェクトについて特徴マップを抽出するステップと、抽出された特徴マップに基づいて、各セグメント化されたオブジェクトの顕著性を、当該オブジェクトの中心ピクセルの周囲に規定された１組の円内で計算するステップと、全ての円内の各セグメント化されたオブジェクトの顕著性を統合して、各セグメント化オブジェクトの総合的顕著性推定を得るステップとを含む。好ましい一実施例によれば、特徴マップを抽出するステップは、画像の色変化の測定に基づく。別の好ましい実施例によれば、各セグメント化されたオブジェクトの顕著性を計算するステップは、推定対象オブジェクトの色特徴を、当該推定対象オブジェクトの周囲に規定された各円内の任意のその他のオブジェクトの色特徴と比較するサブステップを含む。
【００２６】
本発明のマルチレベル同心円型顕著性推定方式に基づくオブジェクト・ベース視覚注意モデルは、計算の複雑さが低く、人間の視覚とより連絡しやすい、オブジェクト・ベース視覚注意モデルを構築するための効率的なフレームワークを提供得きるという効果を有する。
【００２７】
本発明のその他の特徴および利点は、添付の図面を援用しながら以下で説明する本発明の非限定的な実施例の説明から、明らかになるであろう。
【発明を実施するための最良の形態】
【００２８】
本発明の技術的特徴について、実施例を参照してさらに説明する。これらの実施例は、単なる好ましい例であって、本発明を限定するものではない。以下の詳細な説明を添付の図面とあわせて読めば、本発明をよく理解できるであろう。
【００２９】
前記の内容から、顕著性推定プロセスは、次のように説明することができることが分かる。
入力：幅ｗおよび高さｈを有する画像Ｉ＝｛ｐｉ｜ｉ＝１・・・ｗ＊ｈ｝。
出力：顕著性マップｓａｌ［１・・・ｗ＊ｈ］。ｓａｌ［ｉ］は、画像内のピクセルｐｉの顕著度。
【００３０】
本発明の方法は、主に以下に述べる３つのステップを含む。
【００３１】
ステップ１  前処理（画像のセグメント化）
画像Ｉは、最初にこのステップで、１組のオブジェクトＩ＝｛ｏ１、ｏ２、・・・、ｏｎ｝に分解される。画像ベースのセグメント化およびグループ化は、人間の視覚的認識において大きな役割を果たし、この領域の研究は数多くなされている。本発明では、発明者等は、画像の色変化の測定に基づく、Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ他による「Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ  Ｕｓｉｎｇ  Ｌｏｃａｌ  Ｖａｒｉａｔｉｏｎ」、ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、１９９８年６月、に提案されているオブジェクト・セグメント化方式を採用する。以下、この方式について簡単に説明する。
【００３２】
処理の前に、無向グラフＨ＝（Ｖ、Ｅ）を、画像Ｉに基づいて定義する。ここで、Ｉの各ピクセルｐｉは、対応する頂点ｖｉ∈ｖを有し、エッジ（ｖｉ、ｖｊ）∈Ｅは、頂点ｖｉとｖｊとを結びつけるエッジである。どのピクセルがＥ中のエッジによって結びつけられるかの精密な定義は、以下の数式（１−１）によって決まる。
【数３】
2009535683.tif 000005
【００３３】
所与の距離ｄ．に対して、エッジの重み関数ｗｅｉｇｈｔ（．）は、個々の頂点ｖｉとｖｊの間の類似性（または差異）の非負測度をいくつか与える。ｗｅｉｇｈｔ（．）は、以下の数式（１−２）のように定義する。
【数４】
2009535683.tif 000006
ここで、ｃｏｌｏｒ（ｖｉ）は、画像内のピクセルｐｉの色である。
【００３４】
Ｓ＝｛Ｃｉ｝は、Ｖのセグメント化を表し、各Ｃｉは、セグメント化されたオブジェクトに対応する。Ｃの内部変化は、以下の数式（１−３）のように定義する。
【数５】
2009535683.tif 000007
ここで、ＭＳＴ（Ｃ、Ｅ）は、Ｅの集合に対するＣの最小スパニング・ツリーである。
【００３５】
２つのオブジェクトＣ１およびＣ２の外部変化は、以下の数式（１−４）のように定義する。
【数６】
2009535683.tif 000008
【００３６】
セグメント化のプロセスは、セグメント化されたオブジェクトのうちの任意の２つについて以下の数式（１−５）を満たすようにするものである。
【数７】
2009535683.tif 000009
ここで、ｋは定数であり、発明者等の実施態様では、ｋを１００に設定する。オブジェクトＣ内部の拡張内部変化を、Ｉｎｔ（Ｃ）＋ｋ／｜Ｃ｜で表す。
【００３７】
セグメント化を実施するためには、まず、非減少エッジ重みによってＥをπ＝（ｅ１、ｅ２、・・・ｅｍ）に分類し、最初に画像をｗ＊ｈ個の個々のピクセル・オブジェクトにセグメント化し、次いで、各ｅｑ＝（ｖｉ、ｖｊ）（ｑ＝１、２、・・・、ｍ）に対して、次のプロセスを繰り返す。すなわち、ｖｉおよびｖｊが異なるオブジェクトに属し、且つｗｅｉｇｈｔ（ｖｉ、ｖｊ）が、ｖｉおよびｖｊが属する２つのオブジェクトの拡張内部変化（Ｉｎｔ（Ｃ）＋ｋ／｜Ｃ｜）以下である場合には、これら２つのオブジェクトがマージされて、新たな１つのオブジェクトを形成する。
【００３８】
これは、コンピューティング資源をそれほど多く費やさない効率的なオブジェクト・セグメント化方式を与えることが分かる。実施に際しては、ここでは、８連結近傍を用いてＥを構成する。すなわち、ｄ＝１である。図６ａおよび図６ｂはそれぞれ、図２ａおよび図２ｂのセグメント化の結果を示している。
【００３９】
ステップ２  前処理（特徴抽出）
ｙｉ、ｒｉ、ｇｉおよびｂｉがそれぞれピクセルｐｉの輝度チャネル、赤チャネル、緑チャネル、青チャネルを表すものとして、次に、ステップ１でセグメント化した各オブジェクトの特徴を抽出する。
【００４０】
拡張内部変化Ｉｎｔ（Ｃ）＋ｋ／｜Ｃ｜の定義を考えると、ｋ／｜Ｃ｜は、内部変化に対する加算項である。これは、内部変化を過小評価することが、要素の発達を防止するのに望ましくないからである。その結果、小さいオブジェクトの方が、その内部の内部変化にかかわらず発達しやすい。例えば、図６ａのスケートの例では、黒い衣装の最大部分は、主に黒いピクセルで構成されるが、依然としていくつかの白いピクセルが例外的に存在している。
【００４１】
上述の状況における特徴抽出の問題を解決するために、オブジェクトｏ＝｛ｖ１、ｖ２、・・・、ｖｔ｝の特徴マップＦ＝ｆ（ｖｉ）において、演算子Ｍａｊｏｒ（ｆ、ｏ）を定義する。Ｍａｊｏｒ（ｆ、ｏ）の戻り値は、以下を満たすように定義されたオブジェクトｏの代表特徴である（ｄ１、ｄ２およびηは定数であり、発明者等の実施態様ではそれぞれ２、６４および９５％に設定される）。
（１）数式ｍａｘ−ｍｉｎ＋１≦ｄ１を満たす範囲［ｍｉｎ、ｍａｘ］があり、その値が特徴マップＦ＝｛ｆ（ｖ１）、ｆ（ｖ２）、・・・、ｆ（ｖｔ）｝全体にわたって範囲［ｍｉｎ、ｍａｘ］内に収まる特徴の比率がη以上である場合には、Ｍａｊｏｒ（ｆ、ｏ）を、範囲［ｍｉｎ、ｍａｘ］内に収まる値を有するそれらの特徴の平均値として定義する。
（２）そうでない場合で、オブジェクトの大きさが定数ｄ２超である場合には、ステップ１と同じプロセスでそのオブジェクトを２つのサブオブジェクトに分割し、次いで、上記ステップを各サブオブジェクトに対して繰り返し実行する。そうでない場合で、オブジェクトが小さすぎる場合には、Ｍａｊｏｒ（ｆ、ｏ）を全ての特徴の平均値として定義する。
【００４２】
演算子Ｍａｊｏｒ（ｆ、ｏ）を用いて、Ｙｉ、Ｒｉ、Ｇｉ、ＢｉおよびＹｉを、以下のようにオブジェクトｏｉの輝度チャネル、赤チャネル、緑チャネル、青チャネルおよび黄チャネルとして定義する。
【数８】
2009535683.tif 000010
【００４３】
強度特徴は、以下の数式（２−１）として抽出される。
【数９】
2009535683.tif 000011
【００４４】
「二重反対色（ｃｏｌｏｕｒ  ｄｏｕｂｌｅ−ｏｐｐｏｎｅｎｔ）」ベースの色特徴は、以下の数式（２−２）および（２−３）として抽出される。
【数１０】
2009535683.tif 000012
【００４５】
向きは、オブジェクト・ベース視覚注意モデルにおいて複雑な特徴となる。全てのオブジェクトが色変化によってセグメント化されるので、オブジェクト自体は、オブジェクトの境界線を除けば、いかなる向き情報も含まないことになる。セグメント化されたオブジェクトにはこの特殊な性質があるので、発明者等は、本実施態様では向きを考慮しない。
【００４６】
向きと比較すると、オプティカル・フロー技術が現在ますます進歩していることを考えれば、動きの方が、付加的特徴として、より可能性がある。
【００４７】
しかし、簡潔にするために、発明者等は、本発明では、３つの特徴マップＩｉ、ＲＧｉおよびＢＹｉのみを考慮している。
【００４８】
ステップ３  顕著性推定
上記の２つのステップの後で、画像ＩをオブジェクトＩ＝｛ｏ１、ｏ２、・・・ｏｎ｝にセグメント化し、３つの特徴マップＩｉ、ＲＧｉおよびＢＹｉ（ｉ＝１・・・ｎ）を抽出する。残る問題は、ＳａｌＦ（ｏｉ）で表される各特徴マップＦ（Ｆ∈｛Ｉ、ＲＧ、ＢＹ｝）の顕著性マップをどのように推定するかである。
【００４９】
画像の任意のオブジェクトｏｉについて、サイズ（オブジェクト内のピクセル数）をｓｉで表し、オブジェクトの中心ピクセルをｃｉ＝（Ｘｉ、Ｙｉ）で表す。ＸｉおよびＹｉは、以下の数式（３−１）で表される。
【数１１】
2009535683.tif 000013
【００５０】
顕著性推定プロセス中には、オブジェクトｏｉの各ピクセルは、区別されずに中心ピクセルｃｉに等しいとみなされるので、そのオブジェクトは図４に示すように、中心ピクセルをｓｉ個複製したものとみなされる。
【００５１】
この仮定に基づくと、マルチレベル同心円方式のオブジェクトｏｉの顕著性推定が得られる。この方式の第１のステップでは、オブジェクトの中心ピクセルｃｉを中心とした１組の同心円が定義され、Ｃ１・・・Ｃｔ（Ｃｊは水平半径ｒｘ、垂直半径ｒｙの楕円であり、ｊレベル円と呼ばれる）が、中心ピクセルｃｉに近い近傍領域から遠い近傍領域に向かって分布する。各ｊレベル円について、ＳａｌＣＦ（ｏｉ、Ｃｊ）で表されるＣｊ内のオブジェクトｏｉの顕著性を推定し、次いで、オブジェクトｏｉの総合的推定顕著性を、数式（３−２）のように定義する。ただし、ｋｔは線形積分の定数である。
【数１２】
2009535683.tif 000014
【００５２】
この場合、領域Ｃｊ、および領域Ｃｊ全体から抽出した特徴Ｆを有する領域Ｃｊ内のオブジェクトｏｉについて、人間の視覚特性を考慮して領域Ｃｊ内のオブジェクトｏｉの顕著性を推定するにはどうすればよいか。ここで、発明者等は、まず演算ＳａｌＣＦを以下のように定義する。
【００５３】
（１）中心ピクセルを領域Ｃｊ内に有するオブジェクトの集合をＳとする。
（２）集合Ｓ内の各オブジェクトｏｕについて、Ｆ’ｕ＝ａｂｓ（Ｆｕ−Ｆｉ）を定義する。
【００５４】
次いで、以下の数式を使用して、集合Ｓ内のＦ’ｕの重み付け平均を計算する。
【数１３】
2009535683.tif 000015
【００５５】
（３）Ｆ’ｕがａｖｇＦ’を超えない集合Ｓ内のピクセルの比率をρと定義する。
【数１４】
2009535683.tif 000016
ここで、ｂｏｏｌ（ｅｘｐ）は、ｅｘｐが真のデターミナントである場合には１を戻し、そうでない場合には０を戻す。
【００５６】
（４）図５に示す検出関数ｔｅｘｔｕｒｅ（．）の定義を用いて、以下のようにＳａｌＣＦを設定する。
【数１５】
2009535683.tif 000017
ここで、ｔｅｘｔｕｒｅ（．）は、「オーディエンス・エリア（ａｕｄｉｅｎｃｅ  ａｒｅａ）」、すなわち注意すべき領域として認識されないことが期待される観衆などの無作為な特徴を有する領域を検出するためのρの経験的関数である。検出関数ｔｅｘｔｕｒｅ（ρ）は、ρの値が小さくなるほど、ｔｅｘｔｕｒｅ（ρ）の値が大きくなる、従ってこの領域が「オーディエンス・エリア」すなわち画像のビデオ・テクスチャとして認識される可能性が高くなるという条件を満たす。この検出関数ｔｅｘｔｕｒｅ（．）を使用することにより、領域内の注意する必要のないオブジェクトが注意すべきオブジェクトとして認識される可能性は低下する。
【００５７】
上記のことから、この顕著性推定方式を以下のように結論づけることができる。
（ａ）画像の各オブジェクトｏｉについて、同心円Ｃｊ（ｊ＝１・・・ｔ）の集合を定義する。
（ｂ）上記のＳａｌＣＦの定義に従ってＳａｌＣＦ（ｏｉ、Ｃｊ）を計算する。
（ｃ）数式（３−２）に従って全てのＣｊについて顕著性推定を積分して、総合的推定顕著性を得る。
【００５８】
図７ａおよび図７ｂはそれぞれ、本発明による顕著性推定方式を用いた図２ａおよび図２ｂの顕著性推定実験結果を示している。本発明の顕著性推定方法を用いることによって、図２ａの観衆および図２ｂの背景は、顕著ではないとみなされ、図３ａの女性スケーターの頭部の左側の小さなブロックも図７ａでは除去されている。本発明は、局所効果およびビデオ・テクスチャを処理することができ、応用可能性が高められている。
【００５９】
以上、本発明の好ましい実施例および態様について説明したが、本発明を逸脱することなく、多くの改変を設計または構造の細部に加えることができることを、当業者なら理解するであろう。本発明は、個々に開示したものも、可能な配列および組合せで開示したものも含めて、全ての特徴を包含する。
【００６０】
本発明のマルチレベル同心円型顕著性推定方式に基づくオブジェクト・ベース視覚注意モデルは、画像の理解の精度を向上させ、計算効率を大幅に向上させ、以下のいくつかの利点を有する。
１．本発明は、オブジェクト・ベース視覚注意モデルを構築するための効率的なフレームワークを提供する。その計算の複雑さは低い。
２．提供されるフレームワークは、人間の視覚とはるかに連絡しやすい。従来の方式で考慮されていなかった人間の視覚の特性（オブジェクトのサイズ、局所効果、およびビデオ・テクスチャなど）がよく考慮されている。
３．このフレームワークは拡張可能である。
【図面の簡単な説明】
【００６１】
【図１】最もよく使用される注意モデルの大まかな構造を示す図である。
【図２ａ】顕著性推定対象であるスケートのオリジナル画像を示す図である。
【図２ｂ】顕著性推定対象の沿岸警備隊のオリジナル画像を示す図である。
【図３ａ】従来のオブジェクト・ベース視覚注意モデルを用いて行った、図２ａの顕著性推定の結果を示す図である。
【図３ｂ】従来のオブジェクト・ベース視覚注意モデルを用いて行った、図２ｂの顕著性推定の結果を示す図である。
【図４】本発明の好ましい実施例による顕著性推定のマルチレベル同心円型方式を示す図である。
【図５】本発明のｔｅｘｔｕｒｅ（．）の例示的な定義を示す図である。
【図６ａ】本発明の好ましい実施例による図２ａのセグメント化の結果の一例を示す図である。
【図６ｂ】本発明の好ましい実施例による図２ｂのセグメント化の結果の別の例を示す図である。
【図７ａ】本発明の好ましい実施例による顕著性推定方式を用いて行った、図２ａの顕著性推定の結果を示す図である。
【図７ｂ】本発明の好ましい実施例による顕著性推定方式を用いて行った、図２ｂの顕著性推定の結果を示す図である。
【図４】
2009535683.tif 000018
【図５】
2009535683.tif 000019
【図１】
2009535683.tif 000020
【図２ａ】
2009535683.tif 000021
【図２ｂ】
2009535683.tif 000022
【図３ａ】
2009535683.tif 000023
【図３ｂ】
2009535683.tif 000024
【図６ａ】
2009535683.tif 000025
【図６ｂ】
2009535683.tif 000026
【図７ａ】
2009535683.tif 000027
【図７ｂ】
2009535683.tif 000028
【国際調査報告】
2009535683.tif 000029
2009535683.tif 000030
2009535683.tif 000031