(57)【要約】【課題】トップダウン型注意とボトムアップ型注意の相関関係を示す情報を生成することができる顕著性分析装置を提供する。【解決手段】本発明にかかる顕著性分析装置は，入力画像の顕著性マップを生成する装置で，入力画像の顕著性マップを生成する機能に加え，入力画像から生成した顕著性マップを参照し，トップダウン型注意にかかる関心領域（例えば，選択範囲）と顕著性との関係を示す顕著性評価情報（例えば，顕著性マップ上に関心領域を表示する画像）を生成する機能を有する。【選択図】図１
2014167673.tif 000002
【特許請求の範囲】
【請求項１】
指定された入力画像の顕著性マップを生成する顕著性マップ生成手段と，トップダウン型注意にかかる関心領域を指定する操作がなされると，前記入力画像の顕著性マップを参照して，前記関心領域と顕著性との関係を示す顕著性評価情報を生成する顕著性評価手段を備えたことを特徴とする顕著性分析装置。
【請求項２】
前記関心領域を指定する操作として，前記入力画像内のオブジェクトを含むように選択された選択範囲が指定されると，前記顕著性評価手段は，選択された選択範囲を前記関心領域とし，顕著性マップ上における前記関心領域内の顕著性の傾向を示す情報を前記顕著性評価情報として生成することを特徴とする，請求項１に記載した顕著性分析装置。
【請求項３】
前記顕著性評価手段は，前記関心領域を顕著性マップ上に表示する画像を前記顕著性評価情報として生成することを特徴とする，請求項２に記載した顕著性分析装置。
【請求項４】
前記顕著性評価手段は，顕著性マップ上における前記関心領域内の顕著性値を全て抽出し，抽出した顕著性値の統計量を前記顕著性評価情報として算出することを特徴とする，請求項２または３に記載した顕著性分析装置。
【請求項５】
前記顕著性評価手段は，顕著性マップ上における前記関心領域内の顕著性値毎に，顕著性値を算出したときに用いた基礎特徴の値が最も大きい基礎特徴を抽出し，抽出した基礎特徴の個数を基礎特徴毎にカウントした値を前記顕著性評価情報として算出することを特徴とする，請求項４に記載した顕著性分析装置。
【請求項６】
前記顕著性評価手段は，顕著性値をマスクするマスク領域が指定されると，前記関心領域を顕著性マップ上に表示する画像を生成する際，顕著性マップ上における前記マスク領域内の顕著性値を顕著性値が取り得る範囲の最小値にすることで顕著性マップをマスク処理した後，マスク処理後の顕著性マップの最小値および最大値を用いて正規化した画像を用いることを特徴する，請求項３乃至５のいずれか一項に記載した顕著性分析装置。
【請求項７】
前記関心領域を指定する操作として，視線追跡情報が指定されると，指定された視線追跡情報から視線位置にかかる前記関心領域を生成する関心領域生成手段を備え，前記顕著性評価手段は，前記関心領域生成手段が生成した前記関心領域と顕著性との関係を示す前記顕著性評価情報を生成することを特徴とする，請求項１に記載した顕著性分析装置。
【請求項８】
前記関心領域生成手段は，前記関心領域として視線の停留点を視線追跡情報から算出し，前記顕著性評価手段は，停留点を顕著性マップにプロットした画像を前記顕著性評価情報として生成することを特徴とする，請求項７に記載した顕著性分析装置。
【請求項９】
前記顕著性評価手段は，停留点に対応する顕著性値を顕著性マップから抽出し，停留点と顕著性値を対応付けた情報を前記顕著性評価情報として生成することを特徴とする，請求項７または８に記載した顕著性分析装置。
【請求項１０】
前記関心領域生成手段は，前記関心領域として視線ヒートマップを視線追跡情報から生成し，前記顕著性評価手段は，視線ヒートマップと顕著性マップを所定の手順に従い合成した合成画像を前記顕著性評価情報として生成することを特徴とする，請求項７に記載した顕著性分析装置。
【請求項１１】
前記顕著性評価手段は，前記合成画像として，出現頻度が閾値以上の画素を透明色にした視線ヒートマップの二値化画像と顕著性マップを合成した画像を生成することを特徴とする，請求項１０に記載した顕著性分析装置。
【請求項１２】
前記顕著性評価手段は，前記合成画像として，視線ヒートマップと顕著性値が閾値以上の画素を透明色にした顕著性マップの二値化画像を合成した画像を生成することを特徴とする，請求項１０または１１に記載した顕著性分析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像を見たときに視覚的に目立つ度合いである顕著性を分析する技術に関する。
【背景技術】
【０００２】
視覚情報は，消費者の商品選択に多大な影響を及ぼすことが知られており，商品選択時における消費者の視線を検出できれば、パッケージデザインや商品の陳列等の評価に役立てることができる。
【０００３】
被験者の視線を検出する手法として、被験者の視線先を追跡する視線追跡法（アイ・トラッキング）が広く知られている。視線追跡法に必要なヘッドマウント型の装置やソフトウェアも既に市販化されており，視線追跡法に必要な装置等は比較的簡便に準備することができる。しかし，視線追跡法には複数の被験者が必要であり、視線追跡法は気軽に行える手法ではない。
【０００４】
そこで，パッケージデザインや商品の陳列等の評価に、消費者の視線先ではなく，評価対象を撮影した画像の顕著性マップ（Saliency Map）を利用することが検討されている。
【０００５】
顕著性マップとは，評価対象を撮影した画像内の顕著性値を示したマップで，顕著性マップを生成する内容が記述されている発明としては，特許文献１，特許文献２および非特許文献３が開示されている。
【０００６】
図１３は，顕著性マップの一例を示した図である。図１３（ａ）は，顕著性マップを生成する際に元になった入力画像で，図１３（ｂ）は，図１３（ａ）の入力画像から得られた顕著性マップである。図１３（ｂ）に図示したように，顕著性マップは，顕著性値を濃淡で示した画像で，図１３（ｂ）では，白色の箇所が顕著性値が高いことを意味している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００７−５１５００９号公報
【特許文献２】特開２０１３−１２１２４号公報
【非特許文献】
【０００８】
【非特許文献１】"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis," Laurent Itti, Christof Koch, and Ernst NieburIEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, November, 1998
【発明の概要】
【発明が解決しようとする課題】
【０００９】
一方で，注意には，意識的に注意を向けるトップダウン型注意と，外部刺激により注意を向けるボトムアップ型注意の２種類が知られ，商品の選択は，トップダウン型注意とボトムアップ型注意の相互作用によって決まると考えられている。
【００１０】
上述した顕著性マップは，評価対象を撮影した画像において視覚的に目立つ度合いを示したマップであることからして，ボトムアップ型注意にかかる情報になるが，トップダウン型注意との相関関係までも把握できる情報ではない。
【００１１】
そこで，本発明は，ボトムアップ型注意にかかる情報である顕著性マップに加え，トップダウン型注意とボトムアップ型注意の相関関係を示す情報を生成することができる顕著性分析装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決する第１の発明は，指定された入力画像の顕著性マップを生成する顕著性マップ生成手段と，トップダウン型注意にかかる関心領域を指定する操作がなされると，前記入力画像の顕著性マップを参照して，前記関心領域と顕著性との関係を示す顕著性評価情報を生成する顕著性評価手段を備えたことを特徴とする顕著性分析装置である。
【００１３】
更に，第２の発明は，第１の発明に記載した顕著性分析装置において，トップダウン型注意を向けて欲しいオブジェクト（商品やロゴなど）が撮影されている入力画像内の領域を前記関心領域とした発明で，前記関心領域を指定する操作として，前記入力画像内のオブジェクトを含むように選択された選択範囲が指定されると，前記顕著性評価手段は，選択された選択範囲を前記関心領域とし，顕著性マップ上における前記関心領域内の顕著性の傾向を示す情報を前記顕著性評価情報として生成することを特徴とする。
【００１４】
更に，第３の発明は，第２の発明に記載した顕著性分析装置において，顕著性マップ上における前記関心領域内の顕著性値が視覚的にわかるように，前記顕著性評価手段は，前記関心領域を顕著性マップ上に表示する画像を前記顕著性評価情報として生成することを特徴とする。
【００１５】
更に，第４の発明は，第２の発明または第３の発明に記載した顕著性分析装置において，顕著性マップ上における前記関心領域内の顕著性値の傾向を数値的に把握できるように，前記顕著性評価手段は，顕著性マップ上における前記関心領域内の顕著性値を全て抽出し，抽出した顕著性値の統計量を前記顕著性評価情報として算出することを特徴とする。
【００１６】
更に，第５の発明は，第４の発明に記載した顕著性分析装置において，顕著性マップ上における前記関心領域内の顕著性値の傾向に加え，顕著性マップ上における前記関心領域内の顕著性値にかかる基礎特徴の傾向を把握できるように，前記顕著性評価手段は，顕著性マップ上における前記関心領域内の顕著性値毎に，顕著性値を算出したときに用いた基礎特徴の値が最も大きい基礎特徴を抽出し，抽出した基礎特徴の個数を基礎特徴毎にカウントした値を前記顕著性評価情報として算出することを特徴とする。
【００１７】
更に，第６の発明は，第３の発明乃至５の発明のいずれか一つに記載した顕著性分析装置において，前記関心領域を表示する顕著性マップを見易くするために，前記顕著性評価手段は，顕著性値をマスクするマスク領域が指定されると，前記関心領域を顕著性マップ上に表示する画像を生成する際，顕著性マップ上における前記マスク領域内の顕著性値を顕著性値が取り得る範囲の最小値にすることで顕著性マップをマスク処理した後，マスク処理後の顕著性マップの最小値および最大値を用いて正規化した画像を用いることを特徴する。
【００１８】
更に，第７の発明は，第１の発明に記載した顕著性分析装置において，トップダウン型注意にかかる関心領域を視線位置にかかる関心領域とした発明で，前記関心領域を指定する操作として，視線追跡情報が指定されると，指定された視線追跡情報から前記関心領域を生成する関心領域生成手段を備え，前記顕著性評価手段は，前記関心領域生成手段が生成した前記関心領域と顕著性との関係を示す前記顕著性評価情報を生成することを特徴とする。
【００１９】
更に，第８の発明は，第７の発明に記載した顕著性分析装置において，視線追跡情報から生成する前記関心領域を停留点とした発明で，前記関心領域生成手段は，前記関心領域として視線の停留点を視線追跡情報から算出し，前記顕著性評価手段は，停留点と顕著性値の相関関係が視覚的にわかるように，停留点を顕著性マップにプロットした画像を前記顕著性評価情報として生成することを特徴とする。
【００２０】
更に，第９の発明は，第７の発明または第８の発明に記載した顕著性分析装置において，停留点と顕著性値の相関関係が数値的にわかるように，前記顕著性評価手段は，前記関心領域で示される停留点に対応する顕著性値を顕著性マップから抽出し，停留点と顕著性値を対応付けた情報を前記顕著性評価情報として生成することを特徴とする。
【００２１】
更に，第１０の発明は，第７の発明に記載した顕著性分析装置において，視線追跡情報から生成する前記関心領域を視線ヒートマップとした発明で，前記関心領域生成手段は，前記関心領域として視線ヒートマップを視線追跡情報から生成し，前記顕著性評価手段は，視線ヒートマップと顕著性マップの相関関係がわかるように，視線ヒートマップと顕著性マップを所定の手順に従い合成した合成画像を前記顕著性評価情報として生成することを特徴とする。
【００２２】
更に，第１１の発明は，第１０の発明に記載した顕著性分析装置において，頻繁に視線が向けられた箇所と顕著性値との相関関係を把握できるように，前記顕著性評価手段は，前記合成画像として，出現頻度が閾値以上の画素を透明色にした視線ヒートマップの二値化画像と顕著性マップを合成した画像を生成することを特徴とする。
【００２３】
更に，第１２の発明は，第１０の発明または第１１の発明に記載した顕著性分析装置において，視線が向けられた箇所と顕著性値が高い箇所との相関を把握できるように，前記顕著性評価手段は，前記合成画像として，視線ヒートマップと顕著性値が閾値以上の画素を透明色にした顕著性マップの二値化画像を合成した画像を生成することを特徴とする。
【発明の効果】
【００２４】
このように，上述した本発明によれば，ボトムアップ型注意にかかる情報である顕著性マップに加え，トップダウン型注意とボトムアップ型注意の相関関係を示す情報を生成することができる顕著性分析装置を提供できる。
【図面の簡単な説明】
【００２５】
【図１】第１実施形態にかかる顕著性分析装置の機能ブロック図。
【図２】第１実施形態にかかる顕著性分析装置の基本的な動作を説明する図。
【図３】顕著性マップを生成する処理を説明する図。
【図４】選択範囲が設定された入力画像と顕著性分析装置の画面を説明する図。
【図５】注意を向けさせたくない場所の顕著性値を除外する処理を説明する図。
【図６】注意を向けさせたくない場所の顕著性値を除外した画像を説明する図。
【図７】第２実施形態にかかる顕著性分析装置の機能ブロック図。
【図８】第２実施形態にかかる顕著性分析装置の基本的な動作を説明する図。
【図９】停留点を関心領域として利用する場合における顕著性分析装置の画面を説明する図。
【図１０】視線ヒートマップの二値化画像と顕著性マップを合成する内容を説明する図。
【図１１】視線ヒートマップと顕著性マップの二値化画像を合成する内容を説明する図。
【図１２】視線ヒートマップを関心領域とする場合における顕著性分析装置の画面を説明する図。
【図１３】顕著性マップの一例を示した図。
【発明を実施するための形態】
【００２６】
ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。
【００２７】
本実施形態にかかる顕著性分析装置は，入力画像の顕著性マップを生成する装置で，入力画像の顕著性マップを生成する機能に加え，入力画像から生成した顕著性マップを参照し，トップダウン型注意にかかる関心領域と顕著性との相関関係を示す顕著性評価情報を生成する機能を有する。
【００２８】
入力画像から生成した顕著性マップは，ボトムアップ型注意に関わる顕著性を示す情報になるため，トップダウン型注意にかかる関心領域と顕著性との相関関係を示す顕著性評価情報を生成すれば，トップダウン型注意とボトムアップ型注意の相関関係を顕著性評価情報から把握できるようになる。
【００２９】
トップダウン型注意とボトムアップ型注意の相関関係を示す顕著性評価情報の具体的な内容は，トップダウン型注意にかかる関心領域に依存するため，ここから，トップダウン型注意にかかる関心領域の具体例を挙げて，本実施形態にかかる顕著性分析装置について詳細に説明する。
【００３０】
［第１実施形態］
第１実施形態は，トップダウン型注意を向けて欲しいオブジェクト（商品やロゴなど）が撮影されている入力画像内の領域をトップダウン型注意にかかる関心領域とした実施形態である。
【００３１】
図１は，第１実施形態にかかる顕著性分析装置１の機能ブロック図である。第１実施形態にかかる顕著性分析装置１は汎用的なコンピュータを利用して実現される装置で，図１に図示したように，コンピュータプログラムにより実現される機能として，入力画像の顕著性マップを生成する顕著性マップ生成手段１０と，関心領域を指定する操作として，入力画像内のオブジェクトを含むように選択された選択範囲が指定されると，選択された選択範囲を関心領域とし，顕著性マップ上における関心領域内の顕著性値を示す情報を顕著性評価情報として生成する顕著性評価手段１１を備える。
【００３２】
図２は，第１実施形態にかかる顕著性分析装置１の基本的な動作を説明する図である。同図に図示したように，まず，入力画像を格納した画像ファイルが選択されることで，顕著性マップの元になる入力画像を指定する操作がなされると（Ｓ１），顕著性分析装置１の顕著性マップ生成手段１０が作動し，顕著性マップ生成手段１０は，所定の手順で入力画像の顕著性マップを生成する（Ｓ２）。
【００３３】
図３は，顕著性マップを生成する処理を説明する図である。なお，顕著性マップを生成する処理については，上述している特許文献や非特許文献に加え，様々な文献に説明がある。
【００３４】
入力画像の顕著性マップを生成する際，顕著性分析装置１の顕著性マップ生成手段１０は，入力画像から数種類の基礎特徴を抽出することで，基礎特徴毎に基礎特徴画像を生成する（Ｓ１０）。なお，入力画像から抽出する基礎特徴としては，色，輝度およびエッジ方向を用いるのが一般的である。
【００３５】
次に、顕著性分析装置１の顕著性マップ生成手段１０は，基礎特徴毎に，基礎特徴画像の多重解像度表現を構成する（Ｓ１１）。多重解像度表現として幾つかの手法が知られているが，顕著性マップを生成する際はガウシアンピラミッドを利用するのが一般的である。
【００３６】
次に、顕著性分析装置１の顕著性マップ生成手段１０は，基礎特徴毎に，基礎特徴画像の多重解像度表現を用いて、それぞれ解像度が異なる基礎特徴画像の差分を６通り算出し，基礎特徴毎のＦｅａｔｕｒｅ＿Ｍａｐを生成し，生成したＦｅａｔｕｒｅ＿Ｍａｐを正規化する（Ｓ１２）。
【００３７】
Ｆｅａｔｕｒｅ＿Ｍａｐの正規化は，［０〜Ｍ]の範囲 になるようにＦｅａｔｕｒｅ＿Ｍａｐを正規化し，最大値Ｍを取らない局所領域の最大値の平均値ｍを求めた後，全ての値に（Ｍ−ｍ）の２乗を掛けることで行われる。
【００３８】
次に、顕著性分析装置１の顕著性マップ生成手段１０は，基礎特徴毎に，正規化したＦｅａｔｕｒｅ＿Ｍａｐを加算することで，顕著性マップの前段階となるマップであるＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐを生成した後，Ｆｅａｔｕｒｅ＿Ｍａｐと同様な手順でＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐを正規化する（Ｓ１３）。
【００３９】
次に、顕著性分析装置１の顕著性マップ生成手段１０は，正規化したＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐ全てを加算平均することで，入力画像の顕著性マップを生成して（Ｓ１４），図３の手順は終了する。
【００４０】
図２の説明に戻る。入力画像が入力された後，トップダウン型注意にかかる関心領域を指定する操作として，入力画像内のオブジェクトを含むように選択された選択範囲が指定されると（Ｓ３），顕著性分析装置１の顕著性評価手段１１が作動し，顕著性評価手段１１は，選択された選択範囲を関心領域とし，顕著性マップ生成手段１０が生成した顕著性マップを参照して，顕著性マップ上における関心領域内の顕著性値を示す情報を顕著性評価情報として生成し，顕著性評価情報を所定のデバイス（例えば，ディスプレイ）に出力して（Ｓ４），図２の手順は終了する。
【００４１】
図４は，選択範囲が設定された入力画像と顕著性分析装置１の画面を説明する図である。図４（ａ）は，入力画像２ａを説明する図で，図４（ａ）に図示したように，第１実施形態では，入力画像２ａの一部に関心領域となる選択範囲２ａ１が設定される。関心領域となる選択範囲２ａ１は，入力画像に含まれるオブジェクトの中から，目立たせたいオブジェクト（商品やロゴなど）を含むように選択されることが望ましく，図４では，関心領域となる選択範囲２ａ１を一つとしているが，関心領域となる選択範囲２ａ１は複数設定されていてもよい。
【００４２】
関心領域となる選択範囲２ａ１を指定する操作は，関心領域となる選択範囲２ａ１を示す入力画像上の座標を顕著性分析装置１に入力するようにしてもよく，また，ディスプレイに表示した画像上の任意の範囲を選択（矩形選択や任意形状選択）させるツールを顕著性分析装置１に備えさせ，このツールを利用して関心領域となる選択範囲２ａ１を指定させるようにすることもできる。
【００４３】
図４（ｂ）は，第１実施形態にかかる顕著性分析装置１がディスプレイに出力する画面２ｂを説明する図で，画面２ｂには，関心領域に対応する領域２ｂ２が縁取りされて表示された顕著性マップ２ｂ１と，関心領域に対応する領域２ｂ２内の顕著性値の統計量２ｂ３としている。統計量２ｂ３は，関心領域に対応する領域２ｂ２内の顕著性値を全て抽出し，所定の統計アルゴリズムに従い算出した値で，統計量としては，代表値（平均値（ＡＶＧ），最大値，最小値など），散布度（標準偏差（ＳＤＶ）など）や合計値が考えられる。
【００４４】
また，基礎特徴が関心領域内の顕著性値に寄与していたかわかるように，顕著性マップ上における関心領域内の顕著性値毎に，顕著性値を算出したときに用いた基礎特徴（ここでは，色，輝度およびエッジ方向）の値が最も大きい基礎特徴を，顕著性マップの前段となるＣｏｎｓｐｉｃｕｉｔｙ＿Ｍａｐから抽出し，抽出した基礎特徴の個数を基礎特徴毎にカウントした値を顕著性評価情報に加えることもできる。
【００４５】
また，顕著性マップを生成すると，注意を向けさせたくない場所（背景や棚など）の顕著値が（若干）高く出るケースがあるため，注意を向けさせたくない場所の顕著性値を除外すると，選択範囲を示す関心領域を顕著性マップ上に反映させた画像を生成したときに，この顕著性マップを見易くできる。
【００４６】
図５は，注意を向けさせたくない場所の顕著性値を除外する処理を説明する図で，図６は，注意を向けさせたくない場所の顕著性値を除外した画像を説明する図である。
【００４７】
注意を向けさせたくない場所の顕著性値を除外する際，まず，注意を向けさせたくない場所に対応する入力画像上の領域が，顕著性値をマスクするマスク領域として顕著性分析装置１に指定される（Ｓ２０）。
【００４８】
図６（ａ）は，入力画像とマスク領域を説明する図である。図６（ａ）では，商品棚に陳列された商品を撮影した画像を入力画像３ａとし，背景と商品棚の箇所が黒色のマスク領域３ｂとして設定されている。
【００４９】
次に，顕著性評価装置の顕著性評価手段１１は，マスク領域に対応する顕著性マップ内の領域の顕著性値を顕著性値の最小値（例えば，「０」）にすることで顕著性マップをマスク処理した後（Ｓ２１），マスク処理後の顕著性マップの最小値および最大値が顕著性値が取り得る範囲の最小値および最大値（例えば，０と２５５）になるように，マスク処理後の顕著性マップを正規化して（Ｓ２２），この手順を終了する。
【００５０】
図６（ｂ）は，マスク処理後の顕著性マップを説明する図である。図６（ｂ）で図示したマスク処理後の顕著性マップ３ｃでは，マスク領域３ｂ（背景と商品棚の箇所）の顕著性値が「０」になっており，商品にかかる箇所のみに顕著性が表示されている。図６（ｂ）を見ればわかるように，マスク領域３ｂ（背景と商品棚の箇所）の顕著性値を「０」にすることで，どの商品が目立ち，また，商品のどの箇所が目立つのかが視覚的に分かり易くなる。
【００５１】
［第２実施形態］
第２実施形態は，トップダウン型注意にかかる関心領域を視線位置にかかる関心領域とした形態である。視線位置を検出する手法としては視線追跡法が既に知られているため，第２実施形態では，視線追跡法の結果である視線追跡情報から，視線位置にかかる関心領域を生成する。
【００５２】
図７は，第２実施形態にかかる顕著性分析装置４の機能ブロック図である。第２実施形態にかかる顕著性分析装置４は汎用的なコンピュータを利用して実現される装置で，図７に図示したように，コンピュータプログラムにより実現される機能として，入力画像の顕著性マップを生成する顕著性マップ生成手段４０と，関心領域を指定する操作として，視線追跡情報が指定されると，指定された視線追跡情報から視線位置にかかる関心領域を生成する関心領域生成手段４２と，関心領域生成手段４２が生成した視線位置にかかる関心領域と顕著性との関係を示す顕著性評価情報を生成する顕著性評価手段４１を備える。
【００５３】
視線が一定時間以上停留していた停留点は，視線追跡法の被験者が意識的に見ていた箇所と考えられるため，視線位置にかかる関心領域の一つとして，視線が一定時間以上停留していた停留点を利用できる。また，視線が向けられていた箇所の頻度（または，時間）をサーモグラフィのように可視化した視線ヒートマップは，視線追跡法の被験者が無意識的に見ていた箇所にかかる情報も含まれるが，視線が向けられていた頻度が大きい箇所は，視線追跡法の被験者が意識的に見ていた箇所と考えられるため，視線位置にかかる関心領域の一つとして視線ヒートマップを利用できる。
【００５４】
図８は，第２実施形態かかる顕著性分析装置４の基本的な動作を説明する図である。同図に図示したように，まず，入力画像を格納した画像ファイルが選択されることで，顕著性マップの元になる入力画像を指定する操作がなされと（Ｓ３０），顕著性分析装置４の顕著性マップ生成手段４０が作動し，顕著性マップ生成手段４０は，所定の手順で入力画像の顕著性マップを生成する（Ｓ３１）。なお，顕著性マップを生成する処理の説明は，第１実施形態と同様なため，ここでは説明を省く。
【００５５】
次に，関心領域を生成するときに用いる視線追跡情報が記憶されたファイルである視線追跡情報ファイルを指定する操作がなされると（Ｓ３２），顕著性分析装置４の関心領域生成手段４２が作動し，顕著性分析装置４の関心領域生成手段４２は，所定のアルゴリズムに従い，視線追跡情報から視線位置にかかる関心領域を生成する（Ｓ３３）。なお，視線追跡情報とは，所定時間間隔毎に検出した視線の座標が記憶された情報で，このような視線追跡情報は，市販されているアイトラッキング装置を利用して取得することができる。
【００５６】
顕著性分析装置４の関心領域生成手段４２が視線位置にかかる関心領域を生成すると，顕著性分析装置４の顕著性評価手段４１が作動し，顕著性評価手段４１は，視線追跡情報から生成した視線位置にかかる関心領域と顕著性値との関係を示す顕著性評価情報を生成し，顕著性評価情報を所定のデバイス（例えば，ディスプレイやハードディスク）に出力して（Ｓ３４），図８の手順は終了する。
【００５７】
ここから，停留点を視線位置にかかる関心領域として利用するときの内容について説明する。まず，視線追跡情報から停留点を求める内容について説明する。視線追跡情報から停留点を求める手法としは幾つかの手法が既に公知になっているが，ここでは，特開２００５−９５５７２号公報の第２実施形態の内容で，視線追跡情報から停留点を求めるものとする。特開２００５−９５５７２号公報の第２実施形態では，視線の移動速度が所定値以下の状態が、所定の時間以上連続した場合に視線が停留していると判定し，停留点の座標（例えば，停留していた視線にかかる座標の平均値）を算出している。
【００５８】
次に，視線位置にかかる関心領域として停留点を利用する場合の顕著性評価情報について説明する。図９は，視点位置にかかる関心領域として停留点を利用する場合における顕著性分析装置４の画面を説明する図である。図９の画面５には，視点位置にかかる関心領域の生成に利用する視線追跡情報ファイルを選択するフォーム５０と，停留点を算出するときのパラメータ（移動速度と連続回数）を設定するフォーム５１と，停留点と顕著性評価情報を算出するときにクリックするボタンオブジェクト５２と，停留点と顕著性評価情報をハードディスクに保存するときにクリックするボタンオブジェクト５３と，停留点の座標と停留点に対応する顕著性値を表示するフォーム５４に加え，入力画像上に停留点をプロットした画像５５と，顕著性マップ上に停留点をプロットした画像５６が含まれる。
【００５９】
上述したように，停留点を視線位置にかかる関心領域として利用する場合，顕著性マップ上に停留点をプロットした画像５６や停留点に対応する顕著性値（例えば，フォーム５４）を顕著性評価情報として利用できる。顕著性マップ上に停留点をプロットした画像５６を顕著性評価情報とすることで，停留点と顕著性との相関関係を視角的に把握できる。また，停留点に対応する顕著性値を顕著性マップから抽出して顕著性評価情報とすれば，停留点と顕著性との相関関係を数値的に把握できる。
【００６０】
次に，視線位置にかかる関心領域として視線ヒートマップを利用する場合について説明する。まず，視線追跡情報から視線ヒートマップを生成する内容について説明する。視線ヒートマップの元になる情報は，視線追跡情報に含まれる視線の座標毎に視線の座標の出現回数を集計することで得られ，視線ヒートマップは，入力画像の同サイズの画像において，視線の座標に対応する画素の色を出現頻度に応じた色にした画像になる。
【００６１】
次に，視点位置にかかる関心領域として視線ヒートマップを利用する場合の顕著性評価情報について説明する。視線が向けられていた箇所の頻度をサーモグラフィのように可視化した画像が視線ヒートマップとなるため，視点位置にかかる関心領域として視線ヒートマップを利用する場合，視線ヒートマップの二値化画像と顕著性マップの合成画像，または，視線ヒートマップと顕著性マップの二値化画像の合成画像を顕著性評価情報として利用できる。
【００６２】
図１０は，視線ヒートマップの二値化画像と顕著性マップの合成画像を生成する内容を説明する図である。視線ヒートマップの二値化画像６ｂと顕著性マップ６ｃの合成画像６ｄを生成する際，まず，視線ヒートマップ６ａの元になる情報を利用し，視線の座標の出現頻度が閾値以上の画素を透明色に，視線の座標の出現頻度が閾値以下の画素を黒色にすることで，視線ヒートマップの二値化画像６ｂを生成する。そして，視線ヒートマップの二値化画像６ｂと顕著性マップ６ｃを重ね合わせる処理を行うことで合成画像６ｄを生成する。なお，図１０では，図が分かり易くなるように，黒色を白色にしている。
【００６３】
図１１は，視線ヒートマップと顕著性マップの二値化画像の合成画像を生成する内容説明する図である。視線ヒートマップ６ｅと顕著性マップの二値化画像６ｇの合成画像６ｈを生成する際，まず，顕著性マップ６ｇにおいて，顕著性値が閾値以上の画素を透明色に，顕著性値が閾値以下の画素が黒色にすることで，顕著性マップの二値化画像６ｇを生成する。そして，顕著性マップの二値化画像６ｇと視線ヒートマップ６ｅを重ね合わせる処理を行うことで合成画像６ｈを生成する。なお，図１０と同様に，図１１では，図が分かり易くなるように，黒色を白色にしている。
【００６４】
図１２は，視点位置にかかる関心領域として視線ヒートマップを利用する場合における顕著性分析装置４の画面を説明する図である。図１２の画面７には，関心領域の生成に利用する視線追跡情報ファイルを選択するフォーム７０と，視線ヒートマップと顕著性評価情報を算出するときにクリックするボタンオブジェクト７１と，視線ヒートマップや顕著性評価情報をハードディスクに保存するときにクリックするボタンオブジェクト７２に加え，顕著性評価情報として，視線ヒートマップの二値化画像と顕著性マップの合成画像７３と，視線ヒートマップと顕著性マップの二値化画像の合成画像７４が含まれる。
【００６５】
視線ヒートマップの二値化画像と顕著性マップの合成画像７３から，頻繁に視線が向けられた箇所と顕著性値との相関関係を把握できる。例えば，顕著値が低い領域がマスクされた場合は、意識的に見られた傾向があり、トップダウン的要素が強いと推測できる。一方、顕著性値が高い領域がマスクされた場合、注意が向けられた上に、何回も視線を引き付ける効果があると推測できる。
【００６６】
また，視線ヒートマップと顕著性マップの二値化画像の合成画像７４から，視線が向けられた箇所と顕著性値が高い箇所との相関を把握できる。例えば，視線が向けられた頻度が少ない箇所がマスクされた場合、一度注意は向けられたが、必要のない情報と認知されたと推測できる。一方で、視線が多く向けられた箇所がマスクされた場合、注意が向けられた上に、視線追跡法の被験者の意識的な注意が得られたと推測できる。
【符号の説明】
【００６７】
１    顕著性分析装置
１０  顕著性マップ生成手段
１１  顕著性評価手段
４    顕著性分析装置
４０  顕著性マップ生成手段
４１  顕著性評価手段
４２  関心領域生成手段
【図１】
2014167673.tif 000003
【図２】
2014167673.tif 000004
【図３】
2014167673.tif 000005
【図５】
2014167673.tif 000006
【図７】
2014167673.tif 000007
【図８】
2014167673.tif 000008
【図４】
2014167673.tif 000009
【図６】
2014167673.tif 000010
【図９】
2014167673.tif 000011
【図１０】
2014167673.tif 000012
【図１１】
2014167673.tif 000013
【図１２】
2014167673.tif 000014
【図１３】
2014167673.tif 000015