(57)【要約】【課題】複数のデザインの違いを明確に提示することを目的とする。【解決手段】一実施形態に係る視線予測システムは、一または複数のプロセッサを備える。少なくとも一つのプロセッサは、（ａ）共通のまたは類似のデザインを有する基準画像および比較画像を受け付け、（ｂ）視覚的注意を惹き付ける傾向がある領域を予測する視線予測を基準画像および比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出し、（ｃ）基準画像の視線分布と比較画像の視線分布との間の変化量を算出し、（ｄ）変化量を視線分布の変化として出力する。【選択図】図３
2015125543.tif 000002
【特許請求の範囲】
【請求項１】
一または複数のプロセッサを備え、
少なくとも一つの前記プロセッサが、
共通のまたは類似のデザインを有する基準画像および比較画像を受け付け、
視覚的注意を惹き付ける傾向がある領域を予測する視線予測を前記基準画像および前記比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出し、
前記基準画像の視線分布と前記比較画像の視線分布との間の変化量を算出し、
前記変化量を視線分布の変化として出力する、
視線予測システム。
【請求項２】
前記少なくとも一つのプロセッサが、
前記基準画像および前記比較画像のそれぞれを複数の単位領域に分割し、
前記基準画像に前記視線予測を適用することで得られる前記複数の単位領域の視認性スコアを該基準画像の視線分布として取得し、
前記比較画像に前記視線予測を適用することで得られる前記複数の単位領域の視認性スコアを該比較画像の視線分布として取得し、
前記基準画像の単位領域における視認性スコアと、対応する前記比較画像の単位領域における視認性スコアとの間の変化量を算出する処理をすべての単位領域について実行し、
各単位領域の変化量を前記視線分布の変化として出力する、
請求項１に記載の視線予測システム。
【請求項３】
前記少なくとも一つのプロセッサが前記視線分布の変化を色分けして出力する、
請求項１または２に記載の視線予測システム。
【請求項４】
前記少なくとも一つのプロセッサが、色分けされた前記視線分布の変化と前記比較画像とを重畳することで差分画像を生成し、該差分画像を出力する、
請求項３に記載の視線予測システム。
【請求項５】
前記少なくとも一つのプロセッサが、０から、前記基準画像および前記比較画像の単位領域の視認性スコアの中の最大値の間で、各単位領域の変化量を正規化する、
請求項２〜４のいずれか一項に記載の視線予測システム。
【請求項６】
少なくとも一つのプロセッサが、共通のまたは類似のデザインを有する基準画像および比較画像を受け付ける受付ステップと、
前記少なくとも一つのプロセッサが、視覚的注意を惹き付ける傾向がある領域を予測する視線予測を前記基準画像および前記比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出する第１算出ステップと、
前記少なくとも一つのプロセッサが、前記基準画像の視線分布と前記比較画像の視線分布との間の変化量を算出する第２算出ステップと、
前記少なくとも一つのプロセッサが、前記変化量を視線分布の変化として出力する出力ステップと
を含む視線予測方法。
【請求項７】
共通のまたは類似のデザインを有する基準画像および比較画像を受け付ける受付ステップと、
視覚的注意を惹き付ける傾向がある領域を予測する視線予測を前記基準画像および前記比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出する第１算出ステップと、
前記基準画像の視線分布と前記比較画像の視線分布との間の変化量を算出する第２算出ステップと、
前記変化量を視線分布の変化として出力する出力ステップと
をコンピュータに実行させる視線予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、視線予測システム、視線予測方法、および視線予測プログラムに関する。
【背景技術】
【０００２】
従来から、デザインの視覚的効果を評価する技術が知られている。例えば、下記特許文献１には、入力されたシーンを受信し、視覚的注意モデルを入力されたシーンに適用し、入力されたシーン内の、視覚的注意を引き付ける傾向がある領域を予測するように機能する視覚的注意モジュールと、視覚的注意モジュールと相互作用して、識別された領域の少なくとも一つが堅牢（顕著）である、又はシーンが堅牢である、という程度を決定するように機能する堅牢性（顕著性）評価モジュールとを含むコンピュータシステムが記載されている。また、下記特許文献２〜４にもデザインを評価する仕組みが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１２−５０４８２７号公報
【特許文献２】特許第４６１３３９８号明細書
【特許文献３】特許第４９７８０４３号明細書
【特許文献４】特許第４２０８６１４号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
あるデザイン案と他のデザイン案との比較を繰り返して最終的にデザインを確定することはよく行われる。その作業において上記特許文献１〜４の技術を採用したとすれば、ユーザは個々のデザインの視線予測結果を見比べながらデザインを決めることになるが、似たようなデザイン同士を比較したり、多くの共通部分を有するデザイン同士を比較したりしようとすると、目視だけではデザインの比較が困難な場合があり得る。そこで、複数のデザインの違いを明確に提示することが望まれている。
【課題を解決するための手段】
【０００５】
本発明の一側面に係る視線予測システムは、一または複数のプロセッサを備え、少なくとも一つのプロセッサが、共通のまたは類似のデザインを有する基準画像および比較画像を受け付け、視覚的注意を惹き付ける傾向がある領域を予測する視線予測を基準画像および比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出し、基準画像の視線分布と比較画像の視線分布との間の変化量を算出し、変化量を視線分布の変化として出力する。
【０００６】
このような側面においては、共通のまたは類似のデザインを有する二つの画像の視線分布の変化量が算出されその結果が出力されるので、複数のデザインの違いを明確に提示することができる。
【発明の効果】
【０００７】
本発明の一側面によれば、複数のデザインの違いを明確に提示することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る視線予測システムの全体構成を示す図である。
【図２】実施形態に係る解析サーバのハードウェア構成を示す図である。
【図３】実施形態に係る視線予測システムの機能構成を示すブロック図である。
【図４】基準画像および比較画像の例を示す図である。
【図５】単位領域および視認性スコアの概念を示す図である。
【図６】視認性スコアを可視化した例を示す図である。
【図７】視認性スコアの変化量の概念を示す図である。
【図８】視認性スコアの変化量とカラーコンターとの対応の例を示す図である。
【図９】差分画像の一例を示す図である。
【図１０】差分画像の別の例を示す図である。
【図１１】差分画像の更に別の例を示す図である。
【図１２】実施形態に係る視線予測システムの動作を示すフローチャートである。
【図１３】基準画像および二つの比較画像の例を示す図である。
【図１４】図１３に示す比較画像に対応する差分画像の例を示す図である。
【図１５】実施形態に係る視線予測プログラムの構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１０】
図１〜１１を参照しながら、実施形態に係る視線予測システム１の機能および構成を説明する。視線予測システム１は、画像（シーン）内において視覚的注意を惹き付ける傾向がある領域を予測するコンピュータシステムである。特に、視線予測システム１は、共通のまたは類似のデザインを有する二つの画像について得られた予測結果の変化量を求めてその変化量をユーザに提示する。ユーザはその変化の度合いを見て、画像を加工することで視覚的効果がどのように変わるかを判断したり、どの画像が所望の視覚的効果を発揮するかを判断したりすることができる。
【００１１】
本明細書における画像で示されるデザインまたは被写体は何でもよい。例えば、画像で示されるデザインはラベル、名刺、葉書、ポスター、包装紙、広告、店舗内ＰＯＰ、または看板であってもよい。あるいは、画像で示される被写体は、広告や看板などが存在する市街地または店舗でもよいし、商品または商品パッケージそのものであってもよい。あるいは、画像はウェブページのキャプチャ画像でもよい。これらの画像は写真であってもよいしコンピュータ・グラフィックスであってもよい。
【００１２】
本明細書における「共通のまたは類似のデザイン」は、二つの画像の間でデザインの属性の少なくとも一部が同一であることを意味する。例えば、「共通のまたは類似のデザイン」は以下の態様を含む。
・完全に同一のデザイン（形状、模様、寸法、縦横比、色、透過度などの属性が全く同じデザイン）。
・形状、模様、寸法、縦横比、色、透過度などの属性うち少なくとも一部が互いに異なるが他のものは同じであるデザイン。
【００１３】
例えば、名刺の背景部分のみを示す画像と、その背景に名刺のデータ（人名、会社名、電話番号、メールアドレスなど）が埋め込まれた画像とは、共通のまたは類似のデザインを有するといえる。また、外形、模様、および文字が同じで背景色または文字色が互いに異なる複数の看板の画像も、共通のまたは類似のデザインを有するといえる。もちろん、共通のまたは類似のデザインを有する画像の例はこれらに限定されない。
【００１４】
図１に示すように、視線予測システム１はユーザ端末Ｔおよび解析サーバ１０を備える。ユーザ端末Ｔおよび解析サーバ１０はネットワークＮを介して相互に通信することができる。ネットワークＮの具体的な構成は限定されず、例えばインターネット、専用線、およびＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）の少なくとも一つから構成されてもよい。視線予測システム１におけるユーザ端末Ｔの台数は限定されない。
【００１５】
本実施形態における視線予測システム１はいわゆるクライアント−サーバシステムであるが、その具体的な構築方法は何ら限定されない。例えば、視線予測システム１はユーザ端末Ｔに専用のクライアントソフトウェアがインストールされることを前提に機能してもよいし、そのようなソフトウェアを必要としないクラウド型あるいはブラウザベース（ｂｒｏｗｓｅｒ−ｂａｓｅｄ）であってもよい。視線予測システム１を利用するために専用のクライアントソフトウェアが必要であれば、ユーザはそのソフトウェアをユーザ端末Ｔにインストールする。そのソフトウェアはネットワークを介してユーザに提供されてもよいし、ＤＶＤ−ＲＯＭなどの記憶媒体を介して提供されてもよい。専用のクライアントソフトウェアを必要としない場合には、ユーザ端末Ｔが必要な汎用ソフトウェア（例えばウェブブラウザ）を備えていればユーザは視線予測システム１を利用することができる。
【００１６】
ユーザ端末Ｔの種類は限定されず、例えば据置型又は携帯型のパーソナルコンピュータ（ＰＣ）でもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。
【００１７】
解析サーバ１０は、共通のまたは類似のデザインを有する二つの画像のそれぞれについて視線予測を実行し、その予測結果から画像間の変化の度合いを求めるコンピュータである。視線予測とは、人の視線の動きをシミュレーションする処理であり、視覚的注意モデルともいわれる。この処理により、画像（シーン）内のどこが人の視覚的注意を惹き付けるかを推定できる。
【００１８】
解析サーバ１０は図２に示すようなハードウェア構成を有する。すなわち、解析サーバ１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイなどの出力装置１０６とを備える。
【００１９】
後述する解析サーバ１０の各機能的構成要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。
【００２０】
なお、解析サーバ１０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されていてもよい。
【００２１】
図３に示すように、解析サーバ１０は機能的構成要素として受付部１１、解析部１２、変化量算出部１３、画像生成部１４、および送信部１５を備える。これらの機能は少なくとも一つのプロセッサ（ＣＰＵ１０１）などが動作することで実現される。
【００２２】
受付部１１は、ユーザにより指定された二つの画像を受け付ける機能要素である。本明細書ではその二つの画像を基準画像および比較画像として区別する。本実施形態では、視線予測システム１は比較画像の視線予測の結果が基準画像のそれと比べてどのように変化するかをユーザに示すものとする。
【００２３】
受付部１１は、共通のまたは類似のデザインを有する基準画像および比較画像を受け付け、これら二つの画像を解析部１２に出力する。受付部１１はユーザ端末Ｔからそれらの画像を直接受信してもよいし、ユーザ端末Ｔからの指示に基づいて所定の記憶部（例えば、メモリやデータベースなど）からそれらの画像を読み出してもよい。基準画像および比較画像の例を図４に示す。この例では、基準画像２０１は花の絵であり、比較画像２０２はその基準画像２０１に文字列「ＡＢＣＤＥＦＧ」が追加された画像である。すなわち、基準画像２０１と比較画像２０２とでは花の部分が同じであり、したがってこれらの二つの画像は共通のデザインを有する。
【００２４】
解析部１２は、視覚的注意を惹き付ける傾向がある領域を予測する処理（視線予測）を基準画像および比較画像の双方に適用することで各画像の視線分布を算出する機能要素である。視線予測は例えば上記特許文献１に示されているが、以下にその処理について説明する。
【００２５】
従来から多くの視覚的注意モデルが存在する。一般に視覚的注意モデルは画像をシーンとして受け付け、そのシーン内のどこに注意が割り当てられるかに関する予測を生成する。シミュレーションによって注意を予測しようと試みる多くの数学モデルが開発されている。そのうちの一つの手法は、Ｉｔｔｉ，Ｌ．＆  Ｋｏｃｈ，Ｃ．（２０００）の「Ａ  ｓａｌｉｅｎｃｙ−ｂａｓｅｄ  ｓｅａｒｃｈ  ｍｅｃｈａｎｉｓｍ  ｆｏｒ  ｏｖｅｒｔ  ａｎｄ  ｃｏｖｅｒｔ  ｓｈｉｆｔｓ  ｏｆ  ｖｉｓｕａｌ  ａｔｔｅｎｔｉｏｎ」（Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，ｖｏｌ．４０，１４８９〜１５０６頁）によって提案されている。この手法は、ボトムアップの特徴（例えば、色、動き、輝度、コントラスト、エッジなど）を評価することで視覚的注意を予測する。具体的には、コンピュータが入力画像に対して色、強度、配向、または他のシーンのつながり（例えば、動き、中継、ターミネータ、ステレオ視差、あるいは陰影から得られる形状）を解析する。続いて、コンピュータは複数の特徴マップを生成し、これらの特徴マップを組み合わせることで顕著性マップを生成する。Ｋｏｃｈモデルの場合では、顕著性マップは、視覚的注意が次に割り当てられると予測される最も輝度の高いオブジェクトを有するオリジナル画像のレンダリングとしてユーザに提供される。その予測されたオブジェクトは、勝者総取り方式のアルゴリズムにおいて視覚的に顕著であると識別される。これらの一連の処理は、複数のオブジェクトがモデルによって識別されるまで繰り返される。
【００２６】
Ｉｔｔｉ  ＆  Ｋｏｃｈのモデルは、ボトムアップの視覚的注意モデルの代表的なものであり、このモデルはシーンの特定のものの解析に基づいてその予測を行う。ボトムアップの視覚的注意モデルの他の例は、Ｇａｏ，Ｍａｈａｄｅｖａｎ，ａｎｄ  Ｖｅｓｃｏｎｃｅｌｏｓ（２００８）に記載されている。
【００２７】
ボトムアップモデルとは別に、視覚的注意のトップダウンモデルと呼ばれる別のモデルがある。ボトムアップモデルとは対照的に、このモデルはシーンと、明白なタスク（例えば、障害を避けること及びオブジェクトを収集すること）または特定の検索タスク中に注意が割り当てられる場所に影響を与える、対象世界に関する事前知識（例えば、椅子は天井にではなく床の上にある）のいずれかとにより始まる。タスク及びシーンに基づくこの知識はボトムアップ特徴と併せて使用され、観察されたシーン内のオブジェクトに注意を向けさせる。一部の代表的なトップダウンモデルがＲｏｔｈｋｏｐｆ，Ｃ．Ａ．，Ｂａｌｌａｒｄ，Ｄ．Ｈ．＆  Ｈａｙｈｏｅ，Ｍ．Ｍ．の「Ｔａｓｋ  ａｎｄ  ｃｏｎｔｅｘｔ  Ｄｅｔｅｒｍｉｎｅ  Ｗｈｅｒｅ  Ｙｏｕ  Ｌｏｏｋ」（２００７、Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｉｏｎ  ７（１４）：１６，１〜２０）、およびＴｏｒｒａｌｂａ，Ａ．の「Ｃｏｎｔｅｘｔｕａｌ  Ｍｏｄｕｌａｔｉｏｎ  ｏｆ  Ｔａｒｇｅｔ  Ｓａｌｉｅｎｃｙ」（Ａｄｖ．ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  １４（ＮＩＰＳ）（２００１）（ＭＩＴ  Ｐｒｅｓｓ，２００１）に記載されている。例えば、視覚的注意のＴｏｒｒａｌｂａのモデルは、特定のタイプのオブジェクトを含む特徴に関する事前知識と、シーン内のこれらのオブジェクトの絶対位置及び相対位置に関する情報とを有する。この事前知識は、シーン内の特定の標的の検索においてトップダウンの影響を及ぼす。
【００２８】
また、ボトムアップ及びトップダウンの双方の特徴を有するハイブリッドな視覚的注意モデルも存在する。
【００２９】
解析部１２はこのような視線予測（視覚的注意モデル）の仕組みを用いて基準画像および比較画像を処理することで各画像の視線分布を得る。一つの画像における視線分布とは、その画像のどの部分にどのくらい視線が集まるかを示す視認性スコアの分布である。この視線分布は、画像を複数の単位領域に分割し、各単位領域の視認性スコアを求めることで得られる。したがって、視線分布は視認性スコアの集合である。
【００３０】
まず、解析部１２は基準画像および比較画像のそれぞれをｍ×ｎ個の単位領域に分割する。なお、ｍ＝ｎでもよい。単位領域の大きさは限定されず、例えば単位領域は一画素のみから成ってもよいし、ｎ×ｎ個（ｎ＞１）の画素から成ってもよい。基準画像と比較画像との間で画素数、サイズ、あるいは解像度が異なる場合には、解析部１２は、これら二つの画像の間で単位領域の大きさを異ならせることで双方の画像をそれぞれｍ×ｎ個の単位領域に分割すればよい。続いて、解析部１２は各画像について視線予測を実行することで、画像内の個々の単位領域（ｉ，ｊ）の視認性スコアＶ（ｉ，ｊ）を得る（ただし、１≦ｉ≦ｍ，１≦ｊ≦ｎ）。そして、解析部１２は基準画像および比較画像の双方の視線分布を変化量算出部１３に出力する。
【００３１】
図４に示す基準画像２０１および比較画像２０２が入力された場合には、解析部１２は図５に示すように二つの画像のそれぞれをｍ×ｎ個に分割する。そして、解析部１２は基準画像２０１の各単位領域について視認性スコアＶｂを算出し、比較画像２０２の各単位領域について視認性スコアＶｍを算出する。その計算により得られる基準画像２０１および比較画像２０２の視線分布をカラーコンター（ｃｏｌｏｒ  ｃｏｎｔｏｕｒ）で可視化した一例を模式的に図６に示す。図６において、基準画像２０１のカラーコンター２０１ａおよび比較画像２０２のカラーコンター２０２ａはいずれも、網掛けが薄いほど視認性スコアが高いことを示している。なお、解析サーバ１０の主目的は基準画像および比較画像の視覚的効果の違いをユーザに提示する点にあるので、解析サーバ１０が基準画像および比較画像の双方の視線分布を出力することは必須ではない。
【００３２】
変化量算出部１３は、基準画像と比較画像との間の視線分布の変化量を算出する機能要素である。変化量算出部１３は基準画像の単位領域（ｉ，ｊ）と比較画像の対応する単位領域（ｉ，ｊ）との間の視認性スコアの変化量δＶ（ｉ，ｊ）を求める処理を、すべての単位領域について実行する。本明細書における「変化量」は、基準画像と比較画像との間で視線分布がどの程度異なるかを示す指数を意味し、その値は、単純な減算から得られる差に限定されない。以下に、変化量δＶの計算方法についての三つの例を示す。
【００３３】
［第１の手法］
変化量算出部１３は下記式によりその変化量δＶを求めてもよい。すなわち、変化量算出部１３は比較画像の視認性スコアから基準画像の視認性スコアを引いた値を変化量として求めてもよい。
δＶ（ｉ，ｊ）＝Ｖｍ（ｉ，ｊ）−Ｖｂ（ｉ，ｊ）
ただし、変化量算出部１３は、δＶ（ｉ，ｊ）が０未満であればその値を０に修正する。この修正は、基準画像と比べて比較画像がどのくらい変化したかのみを示すために行われる。
【００３４】
［第２の手法］
変化量算出部１３は下記式によりその変化量δＶを求めてもよい。
δＶ（ｉ，ｊ）＝［Ｖｍ（ｉ，ｊ）×｛Ｖｍａｘ−Ｖｂ（ｉ，ｊ）｝］／Ｐｍａｘ×Ｖｍａｘ
ここで、値Ｖｍａｘは、予め定められている視認性スコアの最大値である。例えば、視認性スコアの範囲が０〜１００であれば、Ｖｍａｘは１００である。当然ながら、基準画像および比較画像の少なくとも一方において実際の視認性スコアの最大値がＶｍａｘを下回ることがあり得る。値Ｐｍａｘは、すべての単位領域について得られた値［Ｖｍ（ｉ，ｊ）×｛Ｖｍａｘ−Ｖｂ（ｉ，ｊ）｝］の最大値である。
【００３５】
この第２の手法は、比較画像の視認性スコアと基準画像の視認性スコアとの積を用いて変化量δＶを求める手法である。また、この手法は、０からＶｍａｘの間で各単位領域の変化量を正規化する手法でもある。
【００３６】
［第３の手法］
変化量算出部１３は下記式によりその変化量δＶを求めてもよい。
δＶ（ｉ，ｊ）＝［｛Ｖｍ（ｉ，ｊ）−Ｖｂ（ｉ，ｊ）｝−Ｐｍｉｎ］／（Ｐｍａｘ−Ｐｍｉｎ）×Ｖｍａｘ
ここで、値Ｐｍａｘ，Ｐｍｉｎはそれぞれ、すべての単位領域について得られた値［Ｖｍ（ｉ，ｊ）×｛Ｖｍａｘ−Ｖｂ（ｉ，ｊ）｝］の最大値および最小値である。
【００３７】
この第３の手法は、第１の手法と同様に、比較画像の視認性スコアから基準画像の視認性スコアを引いた値を用いて変化量δＶを求める手法である。また、この手法は第２の手法と同様に、０からＶｍａｘの間で各単位領域の変化量を正規化する手法でもある。
【００３８】
このように変化量δＶの計算方法は様々であるが、いずれにしても、変化量算出部１３はすべての単位領域（ｉ，ｊ）について変化量δＶ（ｉ，ｊ）を算出し、その変化量δＶの集合を画像生成部１４に出力する。その変化量δＶの集合を模式的に図７に示す。変化量δＶの集合は視線分布の変化を示すデータである。
【００３９】
画像生成部１４は、視認性スコアの変化量δＶの分布を視覚的に分かり易く示すための画像（差分画像）を生成する機能要素である。差分画像の表現方法は何ら限定されないが、本実施形態ではその差分画像はヒートマップで表されるものとする。ヒートマップとは、数値の大きさを色の濃淡または色の変化で表現する手法であり、その色の濃淡または色の変化を原画像に重畳することで得られる。例えば、最小値を示す黒から最大値を示す白までの範囲を２５６段階のグレースケールで表現したヒートマップや、最小値を示す黒から最大値を示す赤までの範囲を、黒→青→水色→緑→黄→赤の順で滑らかに変化するカラーコンターで表現したヒートマップを用いることができる。
【００４０】
まず、画像生成部１４は、予め定められている視認性スコアの最小値Ｖｍｉｎおよび最大値Ｖｍａｘを取得し、このＶｍｉｎからＶｍａｘまでの範囲をヒートマップの尺度（ｓｃａｌｅ）に対応付ける。例えば、Ｖｍｉｎ＝０，Ｖｍａｘ＝１００であれば、画像生成部１４は０〜１００の範囲をヒートマップの尺度に対応付ける。変化量δＶはＶｍｉｎからＶｍａｘまでの間の値を取るから、この尺度により変化量δＶを表すことができる。変化量δＶをグレースケールで表すのであれば、画像生成部１４はＶｍｉｎおよびＶｍａｘをそれぞれ黒、白に対応付ける。この場合には、変化量δＶが小さい単位領域は暗いまたは濃い灰色で示され、変化量δＶが大きい単位領域は明るいまたは薄い灰色で示される。変化量δＶをカラーコンターで表すのであれば、画像生成部１４はＶｍｉｎおよびＶｍａｘをそれぞれ黒（ＲＧＢ値は（０，０，０））、赤（ＲＧＢ値は（１２７，０，０））に対応付ける。この場合には、変化量δＶが小さい単位領域は青や水色などで示され、変化量δＶが大きい単位領域は黄や赤などで示され、変化量δＶが中間値に近い単位領域は緑色で示される。
【００４１】
変化量δＶとカラーコンターとの対応の一例を図８に示す。この例では、予め定められた視認性スコアの最小値Ｖｍｉｎおよび最大値Ｖｍａｘがそれぞれ０，１００であり、したがって、変化量δＶは０から１００の間の値を取る。変化量δＶを示す色（ＲＧＢ値）は、黒（０，０，０）→…→青（０，０，２５５）→…→水色（０，２５５，２５５）→…→緑（０，２５５，０）→…→黄（２５５，２５５，０）→…→赤（２５５，０，０）→…→暗い赤（１２７，０，０）の順に変化する。なお、図８におけるδＶの参考値（１８，３６，５５，７３，９１）は大よその値である。
【００４２】
続いて、画像生成部１４は入力された各単位領域の変化量δＶをヒートマップの尺度に当てはめて各単位領域の色を設定することでグレースケール画像またはカラーコンター画像を生成する。
【００４３】
続いて、画像生成部１４はグレースケール画像またはカラーコンター画像と比較画像とを合成することで差分画像（ヒートマップ）を生成する。この差分画像は、基準画像と比べて比較画像のどの部分が視覚的注意をより惹き付けるようになったか、あるいは、逆に比較画像のどの部分が視覚的注意を惹き付けなくなったかを示す画像である。画像生成部１４はその差分画像を送信部１５に出力する。
【００４４】
上記第１〜第３の手法に対応するカラーコンター画像および差分画像（ヒートマップ）の例を図９〜１１に示す。図９は、第１の手法で得られた変化量δＶのカラーコンター画像２１１および差分画像２１２を示す図である。図１０は、第２の手法で得られた変化量δＶのカラーコンター画像２２１および差分画像２２２を示す図である。図１１は、第３の手法で得られた変化量δＶのカラーコンター画像２３１および差分画像２３２を示す図である。
【００４５】
第１の手法は視認性スコアの差分をそのまま変化量δＶとして求めるのでその変化量は全体的に低い値となる。したがって図９の画像２１１，２１２から分かるように、変化量δＶをグレースケールで示すと画像が全体的に暗くなる傾向があり、変化量δＶをカラーコンターで示すと画像が全体的に黒、青、または水色で示される傾向がある。一方、上述した第２または第３の手法では変化量δＶがヒートマップの尺度の範囲に合わせて正規化されるので、画像２２１，２２２，２３１，２３２に示すように、明るい灰色または白も含むグレースケール画像、あるいは緑、黄、赤などの色も含むカラーコンター画像が生成され得る。
【００４６】
送信部１５は差分画像をユーザ端末Ｔに送信する機能要素である。この送信は視線分布の変化量を出力することに相当する。ユーザ端末Ｔはその差分画像を受信および表示し、これによりユーザは基準画像と比べて比較画像の視線分布がどのように変化したかを知ることができる。
【００４７】
次に、図１２を用いて、視線予測システム１（解析サーバ１０）の動作を説明するとともに本実施形態に係る視線分析方法について説明する。
【００４８】
受付部１１が基準画像および比較画像をユーザ端末Ｔから受信すると（ステップＳ１１、受付ステップ）、解析部１２がそれら二つの画像のそれぞれに対して視線予測を適用することで各画像の視線分布を算出する（ステップＳ１２、第１算出ステップ）。続いて、変化量算出部１３が基準画像の視線分布と比較画像の視線分布との間の変化量を算出する（ステップＳ１３、第２算出ステップ）。上記の通りその変化量の計算方法は様々であり、変化量算出部１３は任意の手法を用いて各単位領域における変化量δＶを求める。続いて、画像生成部１４がその変化量に基づいて差分画像を生成し（ステップＳ１４）、送信部１５がその差分画像をユーザ端末Ｔに送信する（ステップＳ１５、出力ステップ）。この一連の処理によりユーザ端末Ｔ上にその差分画像が表示され、ユーザは基準画像と比べて比較画像の視覚的効果がどのように変わるかを判断することができる。
【００４９】
ユーザは基準画像および比較画像の少なくとも一方を変えながら何度でも差分画像を見ることができる。解析サーバ１０はユーザ端末Ｔから基準画像および比較画像を受信する度に上記ステップＳ１１〜Ｓ１５の処理を繰り返し実行する。ユーザは差分画像を見比べながら、その画像が所望の視覚的効果を発揮するかを判断することができる。例えば図１３に示すように、ユーザは、全体において色が一様である文字列「ＡＢＣＤＥＦＧ」が基準画像２０１に追加された比較画像２０２と、その文字列の一部（「ＤＥ」）のみが強調された比較画像２０３とを比較することもできる。図１４は、比較画像２０２と基準画像２０１とから得られた差分画像３０１と、比較画像２０３と基準画像２０１とから得られた差分画像３０２とを示している。差分画像３０１を見ると文字列のほぼ全体において変化量δＶが一様に高い。一方、差分画像３０２を見ると文字列のうち「ＤＥ」の部分の変化量δＶが突出して高い。したがって、比較画像２０２の方が比較画像２０３よりも、文字列の全体が視覚的注意を惹き付け、文字列全体に注目して欲しい場合には比較画像２０２の方が有利であることが分かる。
【００５０】
比較画像２０２と比較画像２０３とについての文字列領域の視覚的効果を判断する際にその領域内の変化量δＶの総和（積算スコア）だけで判定するとなると、その積算スコアは比較画像２０３の方が比較画像２０２よりも大きくなるかもしれない。もしそのような計算結果が得られた場合には、ユーザは比較画像２０３の方が比較画像２０２よりも文字列全体が視覚的注意を惹き付けると判断する可能性がある。本実施形態では単位領域毎の変化量δＶが出力されるので、ユーザは画像全体あるいは関心領域（Ａｒｅａ  ｏｆ  Ｉｎｔｅｒｅｓｔ（ＡＯＩ））の全体における変化量δＶの傾向を見ながら画像を比較することができる。ここで、関心領域とは、画像全体のうち、相手の視覚的注意を惹き付けることができるか否かをユーザが特に知りたいと思う部分である。
【００５１】
次に、図１５を用いて、コンピュータを視線予測システム１（解析サーバ１０）として機能させるための視線予測プログラムＰ１を説明する。
【００５２】
視線予測プログラムＰ１は、メインモジュールＰ１０、受付モジュールＰ１１、解析モジュールＰ１２、変化量算出モジュールＰ１３、画像生成モジュールＰ１４、および送信モジュールＰ１５を備える。
【００５３】
メインモジュールＰ１０は、視線予測機能を統括的に制御する部分である。受付モジュールＰ１１、解析モジュールＰ１２、変化量算出モジュールＰ１３、画像生成モジュールＰ１４、および送信モジュールＰ１５を実行することにより実現される機能はそれぞれ、上記の受付部１１、解析部１２、変化量算出部１３、画像生成部１４、および送信部１５の機能と同様である。
【００５４】
視線予測プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、視線予測プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【００５５】
以上説明したように、本発明の一側面に係る視線予測システムは、一または複数のプロセッサを備え、少なくとも一つのプロセッサが、共通のまたは類似のデザインを有する基準画像および比較画像を受け付け、視覚的注意を惹き付ける傾向がある領域を予測する視線予測を基準画像および比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出し、基準画像の視線分布と比較画像の視線分布との間の変化量を算出し、変化量を視線分布の変化として出力する。
【００５６】
また、本発明の一側面に係る視線予測方法は、少なくとも一つのプロセッサが、共通のまたは類似のデザインを有する基準画像および比較画像を受け付ける受付ステップと、少なくとも一つのプロセッサが、視覚的注意を惹き付ける傾向がある領域を予測する視線予測を基準画像および比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出する第１算出ステップと、少なくとも一つのプロセッサが、基準画像の視線分布と比較画像の視線分布との間の変化量を算出する第２算出ステップと、少なくとも一つのプロセッサが、変化量を視線分布の変化として出力する出力ステップとを含む。
【００５７】
また、本発明の一側面に係る視線予測プログラムは、共通のまたは類似のデザインを有する基準画像および比較画像を受け付ける受付ステップと、視覚的注意を惹き付ける傾向がある領域を予測する視線予測を基準画像および比較画像の双方に適用することで、該基準画像の視線分布と該比較画像の視線分布とを算出する第１算出ステップと、基準画像の視線分布と比較画像の視線分布との間の変化量を算出する第２算出ステップと、変化量を視線分布の変化として出力する出力ステップとをコンピュータに実行させる。
【００５８】
このような側面においては、共通のまたは類似のデザインを有する二つの画像の視線分布の変化量が算出されその結果が出力されるので、複数のデザインの違いを明確に提示することができる。
【００５９】
本発明の別の側面では、少なくとも一つのプロセッサが、基準画像および比較画像のそれぞれを複数の単位領域に分割し、基準画像に視線予測を適用することで得られる複数の単位領域の視認性スコアを該基準画像の視線分布として取得し、比較画像に視線予測を適用することで得られる複数の単位領域の視認性スコアを該比較画像の視線分布として取得し、基準画像の単位領域における視認性スコアと、対応する比較画像の単位領域における視認性スコアとの間の変化量を算出する処理をすべての単位領域について実行し、各単位領域の変化量を視線分布の変化として出力してもよい。基準画像および比較画像を複数の単位領域に分割して単位領域毎に変化量を求めることで、詳細な視線分布の変化を提示することができる。
【００６０】
本発明の別の側面では、少なくとも一つのプロセッサが視線分布の変化を色分けして出力してもよい。この場合には、視線分布の変化をわかり易く示すことができる。
【００６１】
本発明の別の側面では、少なくとも一つのプロセッサが、色分けされた視線分布の変化と比較画像とを重畳することで差分画像を生成し、該差分画像を出力してもよい。この場合には、画像のどの部分の視覚的効果がどのくらい変化したかをわかり易く提示することができる。
【００６２】
本発明の別の側面では、少なくとも一つのプロセッサが、０から、基準画像および比較画像の単位領域の視認性スコアの中の最大値の間で、各単位領域の変化量を正規化してもよい。単位領域の変化量を正規化することで、視線分布の変化の大きさをわかり易く示すことができる。
【００６３】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００６４】
上記実施形態では視線予測システム１が視線分布の変化をヒートマップで示したが、表現方法はこれに限定されない。例えば視線予測システムは変化量を数個の段階（例えば３段階）に分けて示すリージョンマップを出力してもよい。このリージョンマップは、視線が集まる領域を枠で示すと共に各領域についての視線の集中度合いを数値で示す手法である。あるいは視線予測システム１は視線分布の変化をカラーコンター画像またはグレースケール画像のみで表してもよい。
【００６５】
視線分布の変化の出力先も限定されない。例えば視線予測システムは視線分布の変化のデータを任意の記憶部（例えばデータベース）に格納してもよく、この場合には差分画像を生成することなく変化量の生データのみを格納してもよい。
【００６６】
本発明は単体のコンピュータにも適用可能である。すなわち、視線予測システム全体の機能をユーザ端末に実装してもよい。
【符号の説明】
【００６７】
１…視線予測システム、１０…解析サーバ、１１…受付部、１２…解析部、１３…変化量算出部、１４…画像生成部、１５…送信部、Ｐ１…視線予測プログラム、Ｐ１０…メインモジュール、Ｐ１１…受付モジュール、Ｐ１２…解析モジュール、Ｐ１３…変化量算出モジュール、Ｐ１４…画像生成モジュール、Ｐ１５…送信モジュール、Ｔ…ユーザ端末。
【図１】
2015125543.tif 000003
【図２】
2015125543.tif 000004
【図３】
2015125543.tif 000005
【図４】
2015125543.tif 000006
【図５】
2015125543.tif 000007
【図６】
2015125543.tif 000008
【図７】
2015125543.tif 000009
【図８】
2015125543.tif 000010
【図９】
2015125543.tif 000011
【図１０】
2015125543.tif 000012
【図１１】
2015125543.tif 000013
【図１２】
2015125543.tif 000014
【図１３】
2015125543.tif 000015
【図１４】
2015125543.tif 000016
【図１５】
2015125543.tif 000017