(57)【要約】  本発明は、画像の顕著性マップを作成する装置および方法に関する。この方法は、  −  輝度成分（Ａ）にしたがって画像を投影し、またこの画像がカラー画像の場合には、輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影するステップ（Ｅ１）と、  −  人間の眼の視感度閾値にしたがって上記成分（Ａ，Ｃｒ１，Ｃｒ２）の知覚的サブバンド分解を行うステップ（Ｅ３，Ｔ２，Ｔ'２，Ｔ''２）と、  −  上記の輝度成分（Ａ）に関連したサブバンドの顕著要素を抽出するステップ（Ｅ７）と、  −  上記の輝度成分（Ａ）に関連したサブバンド毎にこの顕著要素の輪郭強調を行うステップ（Ｅ８，Ｔ７）と、  −  上記の輝度成分（Ａ）に関連したサブバンド毎にこの輪郭強調から顕著性マップを計算するステップ（Ｔ７）と、  −  サブバンド毎に得たこれらの顕著性マップの関数として上記記顕著性マップを作成するステップ（Ｔ８）とを有する。
2007515009.tif 000002
【特許請求の範囲】
【請求項１】
画像の顕著性マップを作成する方法において、
該方法は、
−  輝度成分（Ａ）にしたがって画像を投影し、また前記画像がカラー画像の場合には、輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影するステップ（Ｅ１）と、
−  人間の眼の視感度閾値にしたがって前記成分（Ａ，Ｃｒ１，Ｃｒ２）の知覚的サブバンド分解を行うステップ（Ｅ３，Ｔ２，Ｔ'２，Ｔ''２）と、
−  前記の輝度成分（Ａ）に関連したサブバンドの顕著要素を抽出するステップ（Ｅ７）と、
−  前記の輝度成分（Ａ）に関連したサブバンド毎に当該顕著要素の輪郭強調を行うステップ（Ｅ８，Ｔ７）と、
−  前記の輝度成分（Ａ）に関連したサブバンド毎に当該輪郭強調から顕著性マップを計算するステップ（Ｔ７）と、
−  サブバンド毎に得た当該顕著性マップの関数として前記顕著性マップを作成するステップ（Ｔ８）とを有することを特徴とする、
画像の顕著性マップを作成する方法。
【請求項２】
前記の知覚的サブバンド分解にさらに、
−  前記の輝度成分（Ａ）に対して無彩色コントラスト感度関数（ＣＳＦ）を適用するステップと、前記画像がカラー画像の場合に
−  有彩色成分（Ｃｒ１，Ｃｒ２）に対して色感度関数を適用するステップとを有する、
請求項１に記載の方法。
【請求項３】
前記の輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）のサブバンド毎にコントラスト感度関数を適用するステップにさらに視覚マスキングを行うステップ（Ｅ６，Ｔ４，Ｔ'４，Ｔ''４）を含む、
請求項２に記載の方法。
【請求項４】
前記画像がカラー画像の場合、輝度（Ａ）サブバンドを有彩色強化するステップ（Ｔ５）を含む、
請求項３に記載の方法。
【請求項５】
半径方向空間周波数および方位の両方で周波数領域を切り分けることによって前記の知覚のサブバンド分解を得る、
請求項１から４までのいずれか１項に記載の方法。
【請求項６】
前記の輝度成分（Ａ）の知覚的分解により、４つの冠部に分配された１７個のサイコビジュアルサブバンドを得る、
請求項５に記載の方法。
【請求項７】
前記の色成分（Ｃｒ１，Ｃｒ２）の知覚的分解により、色成分（Ｃｒ１，Ｃｒ２）毎に２つの冠部に分配された５つのサイコビジュアルサブバンドを得る、
請求項５または６に記載の方法。
【請求項８】
前記の第２の冠部のサブバンドに対し、また色成分（Ｃｒ１，Ｃｒ２）の第１の冠部のサブバンドに基づいて前記の輝度成分（Ａ）の有彩色強化を行う、
請求項４から７までのいずれか１項に記載の方法。
【請求項９】
画像の顕著性マップを作成する装置において、
−  輝度成分（Ａ）にしたがって画像を投影し、また前記画像がカラー画像の場合は輝度成分（Ａ）および色成分（Ｃｒ１，Ｃｒ２）にしたがって画像を投影する手段と、
−  前記の輝度および色信号を周波数領域に変換する手段と、
−  人間の眼の視感度閾値にしたがって、当該周波数領域の前記成分の知覚的サブバンド分解を行う手段と、
−  前記の輝度成分に関連したサブバンドの顕著要素を抽出する手段と、
−  前記の輝度成分に関連したサブバンド毎に当該顕著性要素の輪郭強調を行う手段と、
−  前記の輝度成分に関連したサブバンド毎に当該輪郭強調から顕著性マップを計算する手段と、
−  サブバンド毎に得た当該顕著性マップの関数として前記顕著性マップを作成する手段とを有することを特徴とする、
画像の顕著性マップを作成する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の顕著性マップ（saliency map）を生成する装置および方法に関する。
【０００２】
人間情報処理系（human information processing system）は、本質的に制限された系であり、殊に視覚系ついては限られた系である。人間の認識の供給源は限られているが、この系は、その視環境に含まれている大量の情報に立ち向かわなければならないのである。それにも拘わらずまた逆説的であるが、人間はこの問題の解決に成功していると考えられる。それは人間はその視環境を理解できることからである。
【０００３】
視覚系にとって極めて簡単であり、そのために注意資源（attentional resource）を知覚しなくてよいほどの視覚的特徴（visual feature）があると広く考えられている。これらの視覚的特徴は、前注意特徴（pre-attentive feature）と称されている。
【０００４】
視覚研究のこのような考え方によれば、人間注意行動（human attentive behavior）は、前注意処理（pre-attentive processing）と注意処理（attentive processing）との間で共有される。上述のように前注意処理、いわゆるボトムアップ処理は、無意識の注意（involuntary attention）と結びついている。人間の注意は、特に努力することなく、その視野の顕著な部分に向けられる。注意処理、いわゆるトップダウン処理を考察する場合、証明されているのは、人間の注意と、意図している特定のタスクとが結びついていることである。注意のこの第２の形態はより一層意図的かつ強力な注意であり、この形態の注意より、特定の方向を注視しようとする努力が要求されるのである。
【０００５】
画像の顕著点（salient point）を検出することによって可能になるのは、符号化または画像のインデクシング、透かし、ビデオ品質推定など後続のステップを改善することである。
【０００６】
公知のアプローチは多かれ少なかれ、非サイコビジュアル特徴（non-psycho visual feature）に基づいている。このような手法とは異なり、ここで提案される方法がよりどころとしているのは、モデルが、人間視覚系ＨＶＳ（human visual system）に完全に基づいているということであり、これには例えば初期の視覚的特徴の計算などがある。
【０００７】
第１の様相において本発明により提案されるのは、画像の顕著性マップを生成する方法であり、ここでこれは以下のステップを含む。すなわち、
−  輝度成分にしたがって上記の画像を投影し、またこの画像がカラー画像の場合には輝度成分および色成分にしたがって投影するステップと、
−  人間の眼の視感度閾値（visibility threshold）にしたがって上記成分の知覚的サブバンド分解を行うステップと、
−  輝度成分に関連したサブバンドの顕著要素（salient element）を抽出するステップと、
−  輝度成分に関連したサブバンド毎にこれらの顕著要素の輪郭強調を行うステップと、
−  輝度成分に関連したサブバンド毎にこの輪郭強調から顕著性マップを計算するステップと、
−  サブバンド毎に得た顕著性マップの関数として顕著性マップを生成するステップとを含むのである。
【０００８】
第２の様相において本発明により提案されるのは、画像の顕著性マップを生成する装置であり、この装置はつぎのような手段、すなわち、
−  輝度成分にしたがって上記の画像を投影し、また画像がカラー画像の場合は輝度成分および色成分にしたがって画像を投影する手段と、
−  上記の輝度および色信号を周波数領域に変換する手段と、
−  人間の眼の視感度閾値にしたがって、周波数領域の上記成分の知覚的サブバンド分解を行う手段と、
−  輝度成分に関連するサブバンドの顕著要素を抽出する手段と、
−  輝度成分に関連するサブバンド毎に顕著性要素の輪郭強調を行う手段と、
−  輝度成分に関連するサブバンド毎にこの輪郭強調から顕著性マップを計算する手段と、
−  サブバンド毎に得られた顕著性マップの関数として顕著性マップを生成する手段とを含むことを特徴する、画像の顕著性マップを生成する装置が提案されるのである。
【０００９】
本発明のその他の特徴および利点は、制限を意図しない本発明の実施形態の説明に記載されている。以下では本発明を添付の図面に基づいて説明する。ここで
−  図１は、白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートを示しており、
−  図２は、カラー画像に適用される本発明の有利な実施形態の一般的なフローチャートを示しており、
−  図３は、無彩色成分（achromatic component）に対するサイコビジュアル空間周波数分割（psycho visual spatial frequency partitioning）を示しており、
−  図４は、有彩色成分（chromatic component）に対するサイコビジュアル空間周波数分割を示しており、
−  図５は、Dallyコントラスト感度関数を示しており、
−  図６ａおよび６ｂは視覚マスキングおよびマスキングの非線形モデルをそれぞれ示しており、
−  図７は、有利な実施形態による正規化ステップのフローチャートを示しており、
−  図８は、抑制／興奮ステップを示しており、
−  図９は、θ＝０に対する促進相互作用（facilitative interaction）をモデル化するフィルタのグラフを示しており、
−  図１０は、演算子Ｄ(ｚ)の図を示しており、
−  図１１は、有彩色強化（chromatic reinforcement）ステップを示しており、
−  図１２は、ＣＲＦ側面の隣接エリアによって発生した非ＣＲＦ抑制を示しており、
−  図１３は、所定の方位および半径方向の周波数に対する、正規化された重み付け関数のグラフの例を示している。
【００１０】
図１は、白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートを示している。
【００１１】
このアルゴリズムは、３つの主要部に分かれている。
【００１２】
視感度と称される最初の主要部は、ＨＶＳ（human visual system）の感度が限られているという事実に基づいている。例えば、ＨＶＳは、実際の環境において良好な精度ですべての信号を知覚することなはできず、また小さな刺激を感知することができない。この最初のステップの目標は、知覚的分解、コントラスト感度関数ＣＳＦ（contrast sensitivity function）およびマスキング関数を使用して、これらの本来的な制限を考慮することである。
【００１３】
第２の部分は、知覚コンセプト専用である。ここでの知覚とは、観察者にとって有益でありかつ無関係な情報によって混乱させられていない記述を、外部世界の複数の画像から生成する処理のことである。関係のある情報を選択するため、生物学的な明証にしたがって殊に中心周辺メカニズム（center surround mechanism）が使用される。
【００１４】
最後のステップは、知覚的群化（perceptual grouping）の領域のいくつかの様相に関連する。知覚的群化とは、画像コンテンツに対する如何なる知識もなしに低レベルでプリミティブな画像特徴から、画像の重要な関係を抽出し、これらを群化して意味のある、より一層高レベルの構造を得ることのできる人間の視覚能力のことである。ここ提案される方法は、輪郭統合（contour integration）およびエッジリンキング（edge linking）だけを対象とする。
【００１５】
ステップＥ３，Ｅ４は、周波数領域の信号に対して実行される。
【００１６】
ステップＥ１，Ｅ６およびＥ９は空間領域で行われる。
【００１７】
ステップＥ７およびＥ８は、周波数または空間領域で行われる。これらが周波数領域で行われる場合、ステップＥ７の前にフーリエ変換を実行し、またステップＥ９の前に逆フーリエ変換を実行しなければならない。
【００１８】
ステップＥ１では、考察している画像から輝度成分を抽出する。
【００１９】
ステップＥ２では、フーリエ変換のような既知の変換を使用することによって輝度成分が周波数領域に変換され、これによってステップＥ３において画像に知覚的サブバンド分解が行えるようにする。
【００２０】
ステップＥ３では、知覚的分解を輝度成分に適用する。この分解は、皮質変換（cortex transform）からヒントを得たものであり、また刊行物"The computation of visual bandwidths and their impact in image decomposition and coding", International Conference and Signal Processing Applications and Technology, Santa-Clara, California, pp. 776-770, 1993に提案された分解に基づくものである。この分解は、人間の目の視感度閾値にしたがって行われる。
【００２１】
精神物理学のさまざまな実験に基づき、上記の分解は、半径方向空間周波数（spatial radial frequency）および方位の両方で周波数領域を切り分けることによって得られる。成分Ａの知覚的分解により、図３に示したように４つの冠部（crown）に分配された１７個のサイコビジュアルサブバンドが得られる。
【００２２】
図３の斜線部は、第３の冠部に所属するサブバンドのスペクトルサポート（spectral support）を示しており、また１５〜４５度の３０度の角度選択性（angular selectivity）を有する。
【００２３】
空間周波数の４つの領域（冠部）にはＩ〜IVがラベル付けされている。すなわち、
Ｉ：１度当たり０〜１．５サイクルの空間周波数、
II：１度当たり１．５〜５．７サイクルの空間周波数、
III：１度当たり５．７〜１４．２サイクルの空間周波数、
IV：１度当たり５．７〜２８．２サイクルの空間周波数
である。
【００２４】
上記の角度選択性は、考察する周波数領域に依存する。低い周波数に対して角度選択性は存在しない。
【００２５】
上記の分解の主要な特性および皮質変換との主な違いは、非ダイアディックな半径方向選択性（non-dyadic radial selectivity）と、半径方向周波数（radial frequency）に伴って増大する方位選択性（orientation selectivity）とである。
【００２６】
結果的に得られる各サブバンドは、空間周波数の1範囲および所定の方位に調整された視細胞の集団（population）に相応する神経画像（neural image）と見なすことができる。実際にこれらの細胞は、一次視覚皮質（視覚野１に対する有線領またはＶ１とも称される）に所属する。これは全部で約２０億のニューロンからなり、外側膝状核からその入力を受け取る。約８０％の細胞が視覚刺激の空間周波数および方位に対して選択的である。
【００２７】
画像空間スペクトルに対して、ＨＶＳのよく知られた特性が適用される。これはＣＳＦ（contrast sensitivity function）として知られている。適用されるＣＳＦは、主に空間周波数、方位および視距離（viewing distance）に依存する多変量関数である。
【００２８】
生物学的な明証によって示されているのは、所定のコントラストを上回る刺激に視細胞が応答することである。視細胞が応答するコントラスト値は、視感度閾値（この閾値を上回ると、この刺激が見えるようになる）。この閾値は、刺激の空間周波数、刺激の方位、および視距離などの数多くのパラメタに伴って変化する。このような多様性によって辿り着いたのが、人間の眼の感度（この感度は、コントラスト閾値の逆数に等しい）を多変量関数として表すというＣＳＦの考え方である。その結果、このＣＳＦにより、与えられた刺激に対する人間の目の感度を推定することができる。
【００２９】
ステップＥ４では、Dallyによって設計された２Ｄ非等方性ＣＳＦが適用される。このようなＣＳＦは、１９９２年のproceedings of SPIE Human vision, visual processing and digital display III, volume 1666の刊行物"the visible different predictor: an algorithm for the assessment of image fidelity"の第２〜１５頁に記載されている。
【００３０】
上記のＣＳＦによって可能になるのは、眼の重要な特性のモデリングを行うことである。それはＳＶＨ細胞は空間周波数に対して極めて感度がよいからである。
【００３１】
このDally ＣＳＦは図５に記載されている。
【００３２】
Dally関数を適用した後、ステップＥ５で逆フーリエ変化を信号に適用して、つぎのステップ６が適用できるようにする。
【００３３】
自然画に対して、別の刺激が存在するによって感度が変わる（視感度閾値を増大または減少させる）ことがある。人間の眼の感度をこのように変わることは、視覚マスキングと称され、ステップＥ６で行われる。
【００３４】
マスキング効果の説明は図６ａおよび６ｂに示されている。ここでは２つのキュー（cue）、すなわちターゲットキューおよびマスカキュー（masker cue）が考察される。ここでＣＴおよびＣＭはそれぞれ、マスカが存在する場合のターゲットのコントラスト閾値およびマスカのコントラストである。さらにＣＴ０は（マスキング効果なしに）ＣＳＦによって測定したコントラスト閾値である。
【００３５】
ＣＭが変化する場合、３つの領域を定めることができる。すなわち、
・  ＣＭの値が小さい場合、検出閾値は一定のままである。ターゲットの視感度は、マスカによって変更されない。
【００３６】
・  ＣＭがＣＴ０の方に進む場合、マスカにより、視感度閾値が低減されることによってターゲットの検出が容易になる。この現象を促進またはペデスタル効果（facilitative or pedestal effect）と称する。
【００３７】
・  ＣＭが増大する場合、ターゲットはマスカによってマスクされる。そのコントラスト閾値は大きくなる。
【００３８】
視覚マスキング法は、正弦波パターンである単純な信号を検出することに基づいている。
【００３９】
精神物理学の実験に基づく視覚マスキングモデリングを得るためには別のいくつかの手法があり、例えば、最善の方法は、量子化ノイズの検出といわれている。
【００４０】
有利な手法が、自然画の本来的な複雑さについて大きく単純化することであることは明らかである。それにもかかわらず、このような原理を中心として数多くのアプリケーション（透かし、ビデオ品質推定）などが作成されており、複雑さに比較して興味深い結果が得られている。
【００４１】
サブバンド分解との関連では、マスキングは集中的に研究されて、イントラチャネルマスキング（intra-channel masking）、インターチャネルマスキング（inter-channel masking）およびインターコンポーネントマスキング（inter-component masking）の３種類のマスキングが定められている。
【００４２】
イントラチャネルマスキングは、同じ特徴（周波数および方位）を有する信号間で発生し、結果的に同じチャネルに所属する。これは最も重要なマスキング効果である。
【００４３】
インターチャネルマスキングは、同じ成分の別のチャネルに所属する信号間で発生する。
【００４４】
インターコンポーネントマスキングは、別の成分（例えば、成分Ａおよび１つ色成分）のチャネル間で発生する。これらの最後の２つの視覚マスキングを合わせて、以下では単にインターマスキングと称する。
【００４５】
無彩色成分に対し、ここでは１９９４年のIEEE international conference on image processingの第１６〜２０頁に"A visual model for Optimizing the Design of Image Processing Algorithms"という名称の刊行物に記載され、Dallyによって設計されたマスキング関数を使用する。しかしながらこのモデルは、上記のペデスタル効果を考慮していないという事実がある。このモデルの強みは、大量の実験結果によって最適化されている事実である。
【００４６】
視感度閾値の変化は、
【００４７】
【数１】
2007515009.tif 000003
によって与えられ、ここでＲｉ，ｊは、知覚的チャネル分解から得られるサイコビジュアルチャネルである（例えば、図２．１の斜線領域によりチャネルＲＩＩＩ，２）。値k１，k２，ｓ，ｂはつぎのようになる。すなわち、
k1 ＝ 0.0153
k2 ＝ 392.5
である。
【００４８】
つぎの表によって示されているのは、考察するサブバンドにしたがったｓおよびｂの値である。
【００４９】
【表１】
2007515009.tif 000004
【００５０】
上記のマスキングステップの出力側において信号Ｒ'ｉ，ｊ(ｘ,ｊ)
Ｒ'ｉ，ｊ(ｘ,ｙ) ＝Ｒｉ，ｊ(ｘ,ｙ)／Ｔｉ，ｊ(ｘ,ｙ)
が得られる。
【００５１】
つぎにステップＥ７において、正規化のステップにより、サブバンドから重要で主要な情報を抽出することができる。ステップＥ７は図７に詳しく示されている。
【００５２】
ステップＳ１では、最初のサブバンドＲ'ｉ，ｊ(ｘ,ｙ)を選択する。ステップＳ２〜Ｓ４およびＳ８は、１７個のサブバンドの各サブバンドＲ'ｉ，ｊ(ｘ,ｊ)に対して実行される。
【００５３】
ステップＳ５〜Ｓ７は、第２の冠部（II）に対して行われる。
【００５４】
Ｉは半径方向空間周波数バンドを表し、Ｉは｛Ｉ，II，III，IV｝に属する。
【００５５】
Ｊは方位を表し、ｊは｛１，２，３，４，５，６｝に属する。
【００５６】
(ｘ，ｙ)は空間座標を表す。
【００５７】
別の実施形態では、すべてのサブバンドに対して別のステップを実行することが可能である。
【００５８】
ステップＳ２およびＳ３は、古典的受容野（ＣＲＦ classical receptive field）の特性をモデリングすることを目標としている。
【００５９】
ＣＲＦのコンセプトによって可能になるのは、網膜画像と、シーンの大域的な知覚との間のリンクを形成することである。ＣＲＦは、視野の特定領域として定められ、この特的領域内では（有利な方位および周波数を有する）適切な刺激により、関連した応答が引き起こされ、ここでこれは視細胞から生じたものである。結果として、定義により、外側の領域（周辺部と称される）における刺激は細胞を直接活性化することはできない。
【００６０】
ステップＳ２およびＳ３における抑制および興奮は、ガボールフィルタ（Gabor filter）によって得られ、ここでこのフィルタは、方位および周波数を感知することができる。
【００６１】
ガボールフィルタはつぎのように表すことができる。すなわち、
【００６２】
【数２】
2007515009.tif 000005
である。ここでｆは１度当たりのサイクル数（cy／°）で表したコサイン変調の空間周波数である。
【００６３】
（ｘθ，ｙθ）は、元々の座標を（ｘ０，ｙ０）だけ平行移動し、θだけ回転することによって得られ、
【００６４】
【数３】
2007515009.tif 000006
である。ただしＡは振幅、σｘおよびσｙはそれぞれ、ｘおよびｙ軸に沿ったガウス包絡の幅を表す。
【００６５】
【数４】
2007515009.tif 000007
楕円の形状を得るために、異なる偏差σｘ＜σｙとする。
【００６６】
最終的に出力
【００６７】
【数５】
2007515009.tif 000008
が得られる。
【００６８】
ステップＳ３では、抑制が式
【００６９】
【数６】
2007515009.tif 000009
によって計算される。
【００７０】
最終的に
【００７１】
【数７】
2007515009.tif 000010
になる。
【００７２】
ステップＳ４において興奮と抑制との間の差分が形成される。正の成分は保持され、負の成分は「０」に設定される。これは演算
【００７３】
【数８】
2007515009.tif 000011
である。
【００７４】
ステップＳ５では方位毎に、第２の領域の各サブバンドに対して２つの合成積が計算される。すなわち
Ｌ０ｉ，ｊ  (ｘ,ｙ)＝Ｒ''ｉ，ｊ(ｘ,ｙ)＊Ｂ０ｉ，ｊ(ｘ,ｙ)
Ｌ１ｉ，ｊ  (ｘ,ｙ)＝Ｒ''ｉ，ｊ(ｘ,ｙ)＊Ｂ１ｉ，ｊ(ｘ,ｙ)
である。Ｂ０ｉ，ｊ(ｘ,ｙ)およびＢ１ｉ，ｊ(ｘ,ｙ)は２つのハーフバタフライフィルタである。これらのフィルタのグラフによって可能になるのは、図９に示したθ＝０に対する促進相互作用のモデリングである。これらのフィルタは、バイポール／バタフライフィルタを使用することによって定められる。
【００７５】
これは方向についての項Ｄθ(ｘ,ｙ)と、ガウスフィルタＧσｘ，σｙ(ｘ,ｙ)によってぼやかされた円Ｃｒによって生成される近似項とを含む。
【００７６】
【数９】
2007515009.tif 000012
であり、φ＝arctan(ｙ'／ｘ')、また（ｘ',ｙ'）Ｔはθｉ，ｊだけ回転したベクトル（ｘ,ｙ）Ｔである。パラメタαはバイポールフィルタの開き角（opening angle）を定める。これは、考察するサブバンドの角度選択性γに依存する。ここではα＝０．４×γとする。バイポールフィルタのサイズは、視細胞のＣＲＦのサイズの約２倍である。
【００７７】
ステップＳ６では促進係数（facilitative coefficient）
【００７８】
【数１０】
2007515009.tif 000013
を計算する。
【００７９】
演算子Ｄ(ｚ)の説明は図９に示されている。
【００８０】
促進係数の適用を容易にするため、演算子Ｄ(ｚ)によって保証するのは、図９に示したようにこの促進係数が区分的に一定であることである。
【００８１】
ステップＳ７では、促進係数が、ステップＳ４で得られた正規化の結果に適用される。
【００８２】
Ｒ'''ｉ，ｊ(ｘ,ｙ)＝Ｒ''ｉ，ｊ(ｘ,ｙ)×(１＋ｆｉｓｏｉ，ｊ(ｘ,ｙ))
図１のステップＥ８に戻ると、図７のステップＳ７の後、領域IIに対して得た４つの顕著性マップが結合されて、つぎの式による全体的な顕著性マップが得られる。
【００８３】
fixation(ｘ,ｙ)＝α×Ｒ'''ＩＩ，０(ｘ,ｙ)＋β×Ｒ'''ＩＩ，１(ｘ,ｙ)
＋χ×Ｒ'''ＩＩ，２(ｘ,ｙ)＋δ×Ｒ'''ＩＩ，３(ｘ,ｙ)
ここでα，β，χ，δは、アプリケーション（透かし、符号化…）に依存する重み付け係数を表す。
【００８４】
別の実施形態では、顕著性マップは、領域IIのサブバンドだけなく１７個のすべてのサブバンドを使用して計算することによって得ることができる。
【００８５】
図２は、カラー画像に適用される本発明による方法の有利な実施形態の一般的なフローチャートを示している。
【００８６】
ステップＴ１，Ｔ４，Ｔ'４，Ｔ''４，Ｔ５およびＴ８は、空間領域において行われる。
【００８７】
ステップＴ２，Ｔ'２，Ｔ''２，Ｔ３，Ｔ'３，Ｔ''３は、周波数領域において行われる。
【００８８】
ステップＴ１と、ステップＴ２，Ｔ'２，Ｔ''２との間で３つの成分にフーリエ変換が適用される。
【００８９】
Ｔ３とＴ４，Ｔ'３とＴ'４，Ｔ''３とＴ''４との間でそれぞれ逆フーリエ変換が適用される。
【００９０】
ステップＴ６およびＴ７は周波数または空間領域において行うことができる。これらが周波数領域において行われる場合、フーリエ変換が、ステップＴ５とＴ６との間で信号に対して行われ、また逆フーリエ変換がステップＴ７とＴ８との間で行われる。
【００９１】
ステップＴ１ではＲＧＢ輝度が、基本方向（cardinal direction）Ａ，Ｃｒ１およびＣｒ２によって構成されるKrauskopfの反対色空間（opponent color space）に変換される。
【００９２】
反対色空間へのこの変換は、色情報をデコリレート（decorrelate）する１手法である。実際に脳は情報を符号化するために相異なる３つの経路を使用すると考えられており、最初の経路は輝度信号（Ａ）を、第２の経路は赤および緑の成分（Ｃｒ１）を、また第３の経路は青および黄色の成分（Ｃｒ２）を伝達すると考えられている。
【００９３】
これらの基本方向は、３タイプの錐体（Ｌ，Ｍ，Ｓ）から得られる信号に密接に対応している。
【００９４】
これらの３つの成分ＲＧＢの各々は、まずｘγ（ただしγ≒２．４）の形のべき法則の非線形性（power-law non linearity）（gamma lawと称される）を受ける。このステップは、ディスプレイシステムの伝達関数を考慮するために必要である。つぎにＨＶＳ色空間への変換に対するベースを形成するＣＩＥ（フランス語の"commission internationale de l'eclairage"の頭字語）ＸＹＺ３刺激値が以下の式によって計算される。
【００９５】
【数１１】
2007515009.tif 000014
【００９６】
（Ｌ，Ｍ，Ｓ）錐体の応答はつぎのように計算される。
【００９７】
【数１２】
2007515009.tif 000015
【００９８】
このＬＭＳ空間から反対色空間が得られるはずである。ここではさまざまな反対色空間があり、これらは相異なる錐体応答の組み合わせ方が異なる。複数の実験から、Krauskopfによって設計された色空間は、有効性が確認されており、またつぎの変換によって得られる。
【００９９】
【数１３】
2007515009.tif 000016
【０１００】
つぎにステップＴ２では知覚的分解が輝度成分に適用される。Ｔ２の前、さらにさかのぼってＴ１の前に、輝度成分は、フーリエ変換などの既知の変換が使用されて周波数領域に変換されている。これにより、ステップＴ２において知覚的サブバンド分解を画像に適用することができる。
【０１０１】
ステップＴ２の知覚的サブバンド分解は、図１のステップＥ３と同じであり、ここでは前のようには説明しない。
【０１０２】
ステップＴ'２およびＴ''２の有彩色成分Ｃｒ２およびＣｒ１の分解に関していえば、図４に示したようにこの分解によって、２つの冠部に分配されたこれらのコンポーネント毎に５つのサイコビジュアルサブバンドが得られる。ステップＴ'２，Ｔ''２の前、さらにさかのぼってステップＴ１の前に色成分は、フーリエ変換などの既知の変換が使用されて周波数領域に変換されている。これにより、ステップＴ'２，Ｔ''２において知覚的サブバンド分解を画像に適用することができる。
【０１０３】
空間周波数の２つの領域にはＩ〜IIのラベルが付与される。すなわち、
Ｉ：１度当たりに０〜１．５サイクルの空間周波数
II：１度当たりに１．５〜５．７サイクルの空間周波数
である。
【０１０４】
ステップＴ３，Ｔ'３，Ｔ''３においてコントラスト感度関数（ＣＳＦ）が適用される。
【０１０５】
ステップＴ３では図１のステップＥ４と同じコントラスト感度が輝度成分に実行される。そのためここでは説明しない。
【０１０６】
ステップＴ'３，Ｔ''３において、同じＣＳＦが２つの色成分Ｃｒ１およびＣｒ２に適用される。これらの２つの有彩色成分には、Le Calletによって設計された２次元の非等方性ＣＳＦが適用される。これはLe Calletの刊行物"criteres objectifs avec references de qualite visuelle des images couleurs", University of Nantes, 2001に記載されている。
【０１０７】
このＣＳＦは、Ｃｒ１およびＣｒ２成分に対してそれぞれ１度当たり約５．５サイクルおよび１度当たり４．１サイクルのカットオフ周波数を有する２つのローパスフィルタを使用する。
【０１０８】
異なる視覚モダリティ（無彩色および有彩色成分）から得られる早期の視覚特徴間で直接比較できるようにするため、視感度に関連するサブバンドを重み付けする。上記の視感度閾値は、刺激がまさに見えるようになる特定の点における刺激のコントラストとして定められる。
【０１０９】
つぎに逆フーリエ変換を（図２に示されていない）異なる成分に適用して、空間領域においてマスキングが適用できるようにする。
【０１１０】
つぎにステップＴ'４およびＴ''４中に有彩色成分Ｃｒ１およびＣｒ２に対するサブバンドに、またステップＴ４において無彩色成分に対するサブバンドにイントラマスキングが適用される。この最後のステップについては図１のステップＥ６の説明ですでに述べた。したがってここでは繰り返して説明しない。
【０１１１】
イントラチャネルマスキングは、ＣＳＦ関数の出力を重み付けするものとして組み込まれている。マスキングは知覚において極めて重要な現象である。それはこれが刺激間の相互作用を表すからである。実際に刺激の視感度閾値は、別の刺激が存在することによって影響され得るのである。
【０１１２】
マスキングは、同じ知覚的チャネルまたは同じサブバンドに位置している刺激間で最大である。ここでは、図１のステップＥ１で説明したDallyによって設計されたイントラマスキング関数を無彩色成分に適用し、また色成分には、P. Le CalletおよびD. Barbaによる刊行物"Frequency and spatial pooling of visual differences for still image quality assesment", in Proc. SPIE Human Vision and Electronic Imaging Conference, San Jose, CA, Vol. 3959, January 2000に記載されているイントラマスキング関数を適用する。
【０１１３】
これらのマスキング関数は、LeggeおよびFoleyの刊行物"Contrast Masking in Human Vision", Journal of the Optical Society of America, Vol.70, Nｏ12, pp.1458-1471, December 1980に記載された非線形トランスデューサから構成される。
【０１１４】
視覚マスキングは、同じ知覚チャネル内に位置する刺激間で最大である（イントラチャネルマスキング）。それにも拘わらず、数多くの研究において示されたように、マスキングまたはペデスタル効果を与え、インターコンポーネントマスキングと称されるいくつかの相互作用が存在する。ここでは精神物理学の実験から、有彩色成分を含む重要な成分間相互作用が選択されている。その結果、無彩色成分の感度は、Ｃｒ１成分によって増大または減少することがある。Ｃｒ２が無彩色成分に与える影響は、重要でないと考えられる。最終的にＣｒ１により、Ｃｒ２成分の感度を変えること（またその逆）も可能である。
【０１１５】
つぎにステップＴ５において有彩色強化が行われる。
【０１１６】
色は、最も強く注意を引きつけるものの１つであり、本発明では、つぎの性質を前面に押し出すことによってこの引きつける強さの利点を活用したい。すなわち、鮮やかな色を示し、かつ全く別の色を有するエリアによって完全に包囲されている領域が存在することは、この領域の境界への特に注意が行くことを意味する。
【０１１７】
無彩色および有彩色成分から得られる測定値を集計するという困難な問題を回避するため、色促進化（color facilitation）では、有彩色成分の低い周波数について計算した促進係数を使用することによって無彩色構造の顕著性が増強される。
【０１１８】
有利な実施形態では、無彩色チャネルからなる集合の１部分集合だけ増強される。この部分集合は、π／４に等しい角度選択性と、［１．５，５．７］に所属する半径方向空間周波数（cyc／degで表される）とを含む。これらのチャンネルはＲｉ，ｊと記され、ここでｉは半径方向空間周波数を表し、またｊは方位に関係する。ここの例では、ｊは｛０，π／４，π／２，３π／４｝に等しい。促進係数を計算するため、Ｃｒ１およびＣｒ２の低周波数のピクセル毎に、隣接エリアのコンテンツおよび増強された無彩色チャネルの目下の方位に関連したコントラスト値を決定する。これは図１１に示されているとおりである。図１１においてコントラスト値は、集合Ａの平均値と集合Ｂの平均値との間の差の絶対値を計算することによって得られる。集合ＡおよびＢは、Ｃｒ１およびＣｒ２の低周波に所属し、また考察する無彩色チャネルの有利な方位を向いている。
【０１１９】
有彩色強化は、無彩色（輝度）チャネルＲｉ，ｊ(ｘ,ｙ)についてのつぎの式によって得られる。
【０１２０】
Ｒ（１）ｉ，ｊ＝Ｒｉ，ｊ(ｘ,ｙ)×(１＋｜Ａ−Ｂ｜Ｃｒ１＋｜Ａ−Ｂ｜Ｃｒ２)｜ｉ＝ＩＩ
ここで
Ｒ（１）ｉ，ｊは強化された無彩色サブバンドを表し、
Ｒｉ，ｊ(ｘ,ｙ)は無彩色サブバンドを表す。
【０１２１】
｜Ａ−Ｂ｜ｋは、サブバンドＲｉ，ｊ(ｘ,ｙ)の有利な方位における有彩色成分ｋについて、目下の点の周りで計算したコントラスト値を表す。これは図７に示したとおりである。この実施形態では集合ＡおよびＢは、π／４に等しい方位を有する有彩色成分ｋの第１冠部（低周波のサブバンド）のサブバンドに所属する。
【０１２２】
別の実施形態ではすべてのサブバンドを考慮することができる。
【０１２３】
ステップＴ６において中心／周辺抑圧相互作用（center／surround suppresive interaction）が行われる。
【０１２４】
この処理では最初に抑制／興奮のステップが行われる。
【０１２５】
２次元のガウシアンの差分（ＤｏＧ  difference-of-Gaussian）が使用されて、細胞の非ＣＲＦ抑制特性がモデリングされる。
【０１２６】
【数１４】
2007515009.tif 000017
はつぎ式によって与えられる。すなわち
【０１２７】
【数１５】
2007515009.tif 000018
である。
【０１２８】
パラメタ（σｘｅｘ，σｙｅｘ）および（σｘｉｎｈ，σｙｉｎｈ）は、中心ガウシアン（ＣＲＦ中心）および抑制ガウシアン（inhibitory Gaussian）（周囲）のｘおよびｙ軸に沿ったガウス包絡の空間的な広がりにそれぞれ相応する。これらのパラメタは、第２冠部の半径方向周波数にしたがって実験的に決定されている（半径方向周波数ｆ∈［１．５，５．７］はサイクル／度で表される）。最後につぎの式
【０１２９】
【数１６】
2007515009.tif 000019
で与えられる正規化された重み付け関数
【０１３０】
【数１７】
2007515009.tif 000020
によって非古典的周囲抑制（non-classical surround inhibition）をモデリングすることができる。
【０１３１】
（ｘ'，ｙ'）は、元々の座標系を（ｘ０，ｙ０）だけ平行移動し、ラジアンで表されるθｉ，ｊだけ回転することによって得られる。
【０１３２】
【数１８】
2007515009.tif 000021
【０１３３】
‖・‖１はＬ１ノルム、すなわち絶対値を表す。
【０１３４】
図１２は非ＣＲＦ抑制の構造を示している。
【０１３５】
図１３は、正規化された重み付け関数
【０１３６】
【数１９】
2007515009.tif 000022
のグラフの例を示している。
【０１３７】
特定のサブバンドＲｉ，ｊ（１）(ｘ，ｙ)に対する皮質細胞の応答Ｒｉ，ｊ（２）(ｘ，ｙ)は、サブバンドＲｉ，ｊ（１）(ｘ，ｙ)と、重み付け関数
【０１３８】
【数２０】
2007515009.tif 000023
との畳込みによって計算される。すなわち、
【０１３９】
【数２１】
2007515009.tif 000024
であり、Ｈ(ｚ)は上記のように定められる。
【０１４０】
ステップＴ７では促進相互作用が行われる。
【０１４１】
この促進相互作用はふつう、輪郭強化（contour enhancement）または輪郭統合と称される。
【０１４２】
促進相互作用は、ＣＲＦの外部において有利な方位軸に沿って発生する。このタイプの相互作用は、中心および周囲の刺激がアイソオリエンテッド（iso-oriented）かつコアラインド（co-aligned）になっている場合に最大になる。言い換えると、いくつかの生理学的な観察によって示されているように、細胞の活動は、ＣＲＦ内の刺激と、周辺部内の刺激とがリンクされて輪郭を形成する場合に増強されるのである。
【０１４３】
前に行われた視覚前処理における輪郭統合は、２つのハーフバタフライフィルタＢｉ，ｊ０およびＢｉ，ｊ１を使用してシミュレートされる。これらのフィルタのグラフは図９に示されており、これらバイポール／バタフライフィルタによって定められる。これは、方向についての項Ｄθ(ｘ,ｙ)と、ガウスフィルタＧσｘ，σｙ(ｘ,ｙ)によってぼかされた円Ｃｒによって生成される近似項とからなる。
【０１４４】
【数２２】
2007515009.tif 000025
であり、φ＝arctan(ｙ'／ｘ')、また（ｘ',ｙ'）Ｔはθｉ，ｊだけ回転したベクトル（ｘ,ｙ）Ｔである。パラメタαはバイポールフィルタの開き角２αを定める。これは、考察するサブバンドの角度選択性γに依存する。ここではα＝０．４×γとする。バイポールフィルタのサイズは、視細胞のＣＲＦのサイズの約２倍である。
【０１４５】
上記の２つのハーフバタフライフィルタＢｉ，ｊ０およびＢｉ，ｊ１は、有利なウィンドウを使用することによって上記のバタフライフィルタから後で導き出される。
【０１４６】
方位、サブバンドおよび位置毎につぎの促進係数
【０１４７】
【数２３】
2007515009.tif 000026
を計算する。
【０１４８】
演算子Ｄ(ｚ)の説明は図９に示されている。
【０１４９】
上記の促進相互作用から得られるサブバンドＲ  （３） ｉ，ｊは最終的に、促進係数ｆｉｓｏｉ，ｊ (ｘ,ｙ)の局所的な最大値と、同じ空間周波数範囲に所属するすべてのサブバンドについて計算した促進係数の大域的な最大値との比に依存するファクタによってサブバンドＲ  （２） ｉ，ｊを重み付けすることによって得られる。すなわち
【０１５０】
【数２４】
2007515009.tif 000027
である。
【０１５１】
標準のバタフライ形から、上記の促進ファクタにより、分離された直線の顕著性を改善することできる。ηｉｓｏにより、この促進相互作用の強さを制御することができる。
【０１５２】
ステップＥ８ではステップＥ７で結果的に得られたすべての足し合わせることによって顕著性マップが得られる。
【０１５３】
【数２５】
2007515009.tif 000028
【０１５４】
本発明の別の実施形態では、第２の冠部のサブバンドだけでなく、すべてのサブバンドを使用することが可能である。
【０１５５】
水平および垂直方向の方位に調整された皮質細胞は、別の方位に調整された細胞と同様に多数であるが、重み付けは行わない。ＨＶＳのこの特徴は、２Ｄ非等方性ＣＳＦのアプリケーションによる暗黙的な模倣である。
【図面の簡単な説明】
【０１５６】
【図１】白黒画像に適用される本発明の有利な実施形態の一般的なフローチャートである。
【図２】カラー画像に適用される本発明の有利な実施形態の一般的なフローチャートである。
【図３】無彩色成分に対するサイコビジュアル空間周波数分割を示す図である。
【図４】有彩色成分に対するサイコビジュアル空間周波数分割を示す図である。
【図５】Dallyコントラスト感度関数を示す図である。
【図６】視覚マスキングおよびマスキングの非線形モデルを示す図である。
【図７】有利な実施形態による正規化ステップのフローチャートである。
【図８】抑制／興奮ステップを示す図である。
【図９】θ＝０に対する促進相互作用（facilitative interaction）をモデル化するフィルタのグラフである。
【図１０】演算子Ｄ(ｚ)を示す図である。
【図１１】有彩色強化ステップを示す図である。
【図１２】ＣＲＦ側面の隣接エリアによって発生したＣＲＦ抑制を示す図である。
【図１３】所定の方位および半径方向の周波数に対する、正規化された重み付け関数のグラフの例である。
【図１】
2007515009.tif 000029
【図２】
2007515009.tif 000030
【図３】
2007515009.tif 000031
【図４】
2007515009.tif 000032
【図５】
2007515009.tif 000033
【図６ａ】
2007515009.tif 000034
【図６ｂ】
2007515009.tif 000035
【図７】
2007515009.tif 000036
【図８】
2007515009.tif 000037
【図９】
2007515009.tif 000038
【図１０】
2007515009.tif 000039
【図１１】
2007515009.tif 000040
【図１２】
2007515009.tif 000041
【図１３】
2007515009.tif 000042
【国際調査報告】
2007515009.tif 000043
2007515009.tif 000044
2007515009.tif 000045