(57)【要約】【課題】シーン内において視覚的注意を惹き付ける傾向がある領域を予測するために用いる画像を簡単に得ることを目的とする。【解決手段】一実施形態に係る画像生成システムは、一または複数のプロセッサを備える。少なくとも一つのプロセッサは、（ａ）入力画像を受け付け、（ｂ）置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、入力画像内で特定された置換対象パターンを置換パターンに置換することで、評価対象画像を生成し、（ｃ）評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する。【選択図】図６
2015056041.tif 000002
【特許請求の範囲】
【請求項１】
一または複数のプロセッサを備え、
少なくとも一つの前記プロセッサが、
入力画像を受け付け、
置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、前記入力画像内で特定された前記置換対象パターンを前記置換パターンに置換することで、評価対象画像を生成し、
前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する、
画像生成システム。
【請求項２】
前記少なくとも一つのプロセッサが、
前記入力画像中の前記置換対象パターンの歪みを示す射影変換マトリクスを算出し、
前記射影変換マトリクスを前記置換パターンに適用することで該置換パターンを変形させ、
前記特定された置換対象パターンを、変形された前記置換パターンに置換する、
請求項１に記載の画像生成システム。
【請求項３】
前記少なくとも一つのプロセッサが、
前記入力画像中の前記置換対象パターンの特徴点の座標と、前記置換パターンの特徴点の座標とから第１の射影変換マトリクスを算出し、
前記第１の射影変換マトリクスを前記置換パターンに適用することで該置換パターンを変形させる、
請求項２に記載の画像生成システム。
【請求項４】
前記少なくとも一つのプロセッサが、
前記入力画像中の前記置換対象パターンにおいて指定された４頂点の座標と、前記置換パターンにおいて指定された４頂点の座標とから第２の射影変換マトリクスを算出し、
前記置換パターンに対して、前記第２の射影変換マトリクスを適用し、その後さらに前記第１の射影変換マトリクスを適用することで、該置換パターンを変形させる、
請求項３に記載の画像生成システム。
【請求項５】
前記少なくとも一つのプロセッサが、前記記憶部に記憶されている前記置換対象パターンと前記入力画像内の領域とを比較することで、該入力画像内に存在する前記置換対象パターンを特定する、
請求項１〜４のいずれか一項に記載の画像生成システム。
【請求項６】
少なくとも一つのプロセッサが入力画像を受け付ける受付ステップと、
前記プロセッサが、置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、前記入力画像内で特定された前記置換対象パターンを前記置換パターンに置換することで、評価対象画像を生成する生成ステップと、
前記プロセッサが、前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する出力ステップと
を含む画像生成方法。
【請求項７】
入力画像を受け付ける受付ステップと、
置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、前記入力画像内で特定された前記置換対象パターンを前記置換パターンに置換することで、評価対象画像を生成する生成ステップと、
前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する出力ステップと
をコンピュータに実行させる画像生成プログラム。
【請求項８】
請求項１〜５のいずれか一項に記載の画像生成システムと、
前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析システムと
を備える視線予測システム。
【請求項９】
請求項６に記載の画像生成方法により出力された前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析ステップを含む視線予測方法。
【請求項１０】
請求項７に記載の画像生成プログラムと、
前記評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析ステップをコンピュータに実行させるための解析プログラムと
を含む視線予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、画像生成システム、画像生成方法、画像生成プログラム、視線予測システム、視線予測方法、および視線予測プログラムに関する。
【背景技術】
【０００２】
従来から、シーン内において視覚的注意を惹き付ける傾向がある領域を予測する技術が知られている。例えば下記特許文献１には、入力されたシーンを受信し、視覚的注意モデルを入力されたシーンに適用し、入力されたシーン内の、視覚的注意を引き付ける傾向がある領域を予測するように機能する視覚的注意モジュールと、視覚的注意モジュールと相互作用して、識別された領域の少なくとも一つが堅牢（顕著）である、又はシーンが堅牢である、という程度を決定するように機能する堅牢性（顕著性）評価モジュールとを含むコンピュータシステムが記載されている。また、下記特許文献２，３には、そのコンピュータシステムと類似の機能を備えるシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１２−５０４８２７号公報
【特許文献２】特表２０１２−５０４８２８号公報
【特許文献３】特表２０１２−５０４８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１〜３に記載のコンピュータシステムを用いて視覚的注意に関する評価、すなわち視線予測を行う際には、評価対象となるシーンの画像を用意する必要がある。一つのシーンについて評価するとしても、そのシーン内における特定の領域についてパターンを入れ替えたりしながら視線予測処理を行うことが多い。例えば、最も効果的にユーザの注意を惹き付ける看板を予測するとしても、デザイン（形状、模様、色など）を微妙に変えながら多くのパターンについて評価することが多い。
【０００５】
したがって、一般に視線予測を行おうとする場合には、一つのシーンについての評価を行う場合でも当該シーンについて多数の画像を用意する必要がある。しかし、それらの画像をユーザが一つ一つ準備するのは容易ではない。そこで、シーン内において視覚的注意を惹き付ける傾向がある領域を予測するために用いる画像を簡単に得られる仕組みが望まれている。
【課題を解決するための手段】
【０００６】
本発明の一側面に係る画像生成システムは、一または複数のプロセッサを備え、少なくとも一つのプロセッサが、入力画像を受け付け、置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、入力画像内で特定された置換対象パターンを置換パターンに置換することで、評価対象画像を生成し、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する。
【０００７】
このような側面においては、置換対象パターンに対応する置換パターンが予め記憶されており、そのデータを用いて、入力画像に含まれる置換対象パターンが置換パターンに置き換えられる。そして、この置換により生成された評価対象画像が、視覚的注意を惹き付ける傾向がある領域の予測のために出力される。この一連の処理により入力画像の一部が自動的に変換されるので、ユーザは、あるシーンについて一つの入力画像さえ用意すれば、その入力画像から、一部の領域が異なる評価対象画像を得ることが可能になる。すなわち、シーン内において視覚的注意を惹き付ける傾向がある領域を予測するために用いる画像を簡単に得ることができる。
【発明の効果】
【０００８】
本発明の一側面によれば、シーン内において視覚的注意を惹き付ける傾向がある領域を予測するために用いる画像を簡単に得ることができる。
【図面の簡単な説明】
【０００９】
【図１】視線予測システムの全体像を示す図である。
【図２】解析システムの動作を示すフローチャートである。
【図３】解析システムの評価結果の表示例を示す図である。
【図４】パターン情報の例を示す図である。
【図５】実施形態に係る画像生成システムのハードウェア構成を示す図である。
【図６】実施形態に係る画像生成システムの機能構成を示すブロック図である。
【図７】入力画像の例を示す図である。
【図８】評価対象画像の例を示す図である。
【図９】実施形態に係る画像生成システムの動作を示すフローチャートである。
【図１０】実施形態に係る画像生成プログラムの構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００１１】
図１〜８を用いて、実施形態に係る画像生成システムの機能および構成を説明する。本実施形態において、画像生成システムは視線予測システム１の一部である。視線予測システム１は、シーン内において視覚的注意を惹き付ける傾向がある領域を予測するコンピュータシステムである。図１に示すように、ユーザはユーザ端末ＴからネットワークＮ経由で視線予測システム１にアクセスして、所望のシーンについての評価結果を得ることができる。
【００１２】
ユーザ端末Ｔの種類は限定されず、例えば据置型又は携帯型のパーソナルコンピュータでもよいし、高機能携帯電話機（スマートフォン）や携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。また、ネットワークＮの具体的な構成も限定されず、例えばインターネット、専用線、およびＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）の少なくとも一つから構成されてもよい。図１では３台のユーザ端末Ｔを示しているが、視線予測システム１におけるユーザ端末Ｔの台数は限定されない。
【００１３】
図１に示すように、視線予測システム１は画像生成システム１０および解析システム２０を含む。画像生成システム１０は評価対象のシーンを撮影した画像（本明細書では「評価対象画像」という）を効率的に生成し、解析システム２０はその評価対象画像の中で人の視線がどこに集まりやすいかを予測する。本実施形態の特徴は画像生成システム１０にあるが、この画像生成システム１０の理解を容易にするために、まず解析システム２０の動作を説明する。
【００１４】
図２に示すように、解析システム２０は評価対象画像を受け付け（ステップＳ１１）、その画像に対して視線予測を実行し（ステップＳ１２）、最後にその評価結果を出力する（ステップＳ１３）。ステップＳ１１〜Ｓ１３で示される一連の処理は、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析ステップに相当する。
【００１５】
ステップＳ１１において解析システム２０に入力される評価対象画像は静止画であっても動画であってもよい。本実施形態では、説明を簡単にするために、評価対象画像が静止画であることを前提とする。評価対象画像の被写体、すなわち、シーンは限定されない。例えば、評価対象画像は、広告や看板などが存在する市街地または店舗内を示す画像であってもよいし、広告、看板、商品陳列棚、店舗内ＰＯＰ、または、印刷ラベルもしくはカード類そのものを示す画像であってもよいし、商品または商品パッケージそのものを示す画像であってもよいし、ウェブページのキャプチャ画像であってもよい。これらの「画像」は、写真であってもよいし、コンピュータ・グラフィックスであってもよい。本実施形態では、広告や看板などが存在する市街地の画像を評価対象画像とした例を用いて説明する。
【００１６】
ステップＳ１２において、解析システム２０は評価対象画像に対する人の視線の動きをシミュレーションする。この処理においては様々な従来技術を用いることができるので本明細書では具体的な手法の説明を省略するが、例えば、上記特許文献１〜３に記載の手法を用いて視線予測を実行してもよい。
【００１７】
ステップＳ１３において解析システム２０は評価結果を表示するが、結果の表現方法も限定されない。評価結果の表示例を図３に示す。例えば、解析システム２０は評価対象画像５０に対して、視線の集まりやすさの分布を色分けによって示すヒートマップ５１を出力してもよい。あるいは、解析システム２０はその分布を数個の段階（例えば３段階）に分けて示すリージョンマップ５２を出力してもよい。このリージョンマップ５２は、視線が集まる領域を枠で示すと共に各領域についての視線の集中度合いを数値で示す手法であるが、図３ではその数値を省略している。あるいは、解析システム２０は視線の動きを線で示す視線トラッキングチャート５３を出力してもよい。なお、評価結果の表示については上記特許文献１〜３にも記載されている。このように表現方法は様々であるが、いずれにせよ、ユーザはその評価結果から、視線を集めやすい（顕著性が高い）デザインが何かを知ることができる。
【００１８】
また、評価結果の出力先も限定されず、例えば解析システム２０は図３に示すような評価結果をユーザ端末Ｔに送信して当該端末Ｔ上に表示させてもよいし、この送信に代えてまたは加えて、任意の記憶部にその結果を格納してもよい。
【００１９】
ユーザはこの解析システム２０を用いて、例えば人目を惹き付ける看板または広告を予測することができるが、そのためには、一つの看板または広告について複数種類のデザイン案を予め用意し、個々の案について解析システム２０に予測させる必要がある。例えば、ある商店街においてどのような看板が目立つかを知りたい場合には、ユーザは、その看板の部分だけが異なる複数枚の商店街の画像を解析システム２０に入力する必要がある。このような作業をユーザ自身が行うのは容易ではないが、視線予測システム１は画像生成システム１０を備えているので、ユーザは複数パターンの評価対象画像を容易に得ることができる。
【００２０】
画像生成システム１０は評価対象画像を自動的にまたは半自動的に生成するためにパターンデータベース３０を参照する。視線予測システム１において画像生成システム１０とパターンデータベース３０とは別々であってもよく、この場合には画像生成システム１０はネットワークを介してパターンデータベース３０にアクセスする。あるいは、１台のコンピュータが画像生成システム１０およびパターンデータベース３０の双方を実装してもよい。
【００２１】
パターンデータベース３０は、モデル毎に用意された複数のパターンを記憶する装置（記憶部）である。本明細書における「モデル」とは置換の対象となるオブジェクトである。オブジェクトの例としては、市街地に設置される看板または広告、ウェブページにおけるバナー広告やロゴなどが挙げられるが、モデルとして設定されるオブジェクトはこれらに限定されない。
【００２２】
パターンデータベース３０に記憶されるパターン情報の例を図４に示す。パターン情報のレコードはモデルごとに用意され、各モデルに対して、拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ））で用いられるような一つのマーカ（ｍａｒｋｅｒ）と、複数のパターンとが関連付けられる。パターンは画像のことであり、その作成方法は特に限定されない。例えば、パターンはコンピュータ・グラフィックスにより作成されてもよいし、実風景の画像から作成されてもよいし、あるいは、手描きのイラストをスキャンニングすることで作成されてもよい。
【００２３】
図４の例では、モデルＡについての三つのパターンとモデルＢについての二つのパターンとを示している。モデルＡについては、中央に星印を配する点で３パターンは共通するが、前景及び背景の色の組合せがパターン間で異なる。モデルＢについては、文字の配置と背景のデザインとがパターン間で異なる。個々のモデルにおいていくつのパターンを用意するかは限定されず、また、パターンの個数をモデル間で統一させる必要はない。
【００２４】
図４に示すように、各パターンは、オリジナルのパターン画像（左側）と、黒い外縁で示されるマスク画像（右側）との組合せにより形成される。パターン画像およびマスク画像の大きさは同じである。マスク画像は、パターン画像を入力画像に重畳する際に当該パターン画像の余分な部分を透明にするために用いられる。例えば、モデルＢのパターンは、入力画像に重畳された際には四角形ではなく八角形のマークとして表現される。一方、マーカはパターンのように画像は二つに分かれておらず、外枠付きの一つの画像として用意される。
【００２５】
なお、パターンデータベースおよびパターン情報の具体的な構成は図４の態様に限定されず、任意の正規化又は冗長化を行ってよい。例えば、後述するようにマーカを用いることなくパターンを置換するのであれば、パターン情報においてマーカを省略することができる。図４ではマーカおよびパターンを２次元画像で示しているが、マーカおよびパターンは３次元画像であってもよい。
【００２６】
次に、画像生成システム１０について詳細に説明する。画像生成システム１０のハードウェア構成は図５に示す通りである。画像生成システム１０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイなどの出力装置１０６とを備えている。
【００２７】
後述する画像生成システム１０の各機能的構成要素は、ＣＰＵ１０１又は主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２又は補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２又は補助記憶部１０３内に格納される。
【００２８】
なお、画像生成システム１０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されていてもよい。
【００２９】
図６に示すように、画像生成システム１０は機能的構成要素として受付部１１、生成部１２、および出力部１３を備えている。これらの機能は主に少なくとも一つのプロセッサ（ＣＰＵ１０１）が動作することで実現される。
【００３０】
受付部１１は、ユーザにより指定された入力画像を受け付ける機能要素である。受付部１１は取得した入力画像を生成部１２に出力する。受付部１１はユーザ端末Ｔから送られてきた入力画像を受信してもよいし、ユーザ端末Ｔからの指示に基づいて、所定の記憶部（例えば、メモリやデータベースなど）から画像を読み出してもよい。入力画像の例を図７に示す。入力画像６１，６２はともに市街地の写真であるが、入力画像６１では看板６１ａ，６１ｂには実際のデザインが描かれているのに対して、入力画像６２では看板６２ａ，６２ｂの部分にマーカが掲げられている。現実世界において看板部分にマーカを貼ることは通常は困難なので入力画像６１を用いる方が現実的ではあるが、本発明はマーカを含む入力画像６２を排除しない。
【００３１】
生成部１２は、入力画像の一部を置換することで評価対象画像を生成する機能要素である。一つの入力画像において複数の領域で置換が発生する可能性があるが、以下では、説明を簡単にするために、一つの領域での置換について説明する。
【００３２】
まず、生成部１２は置換対象パターンを特定する。マーカレス（ｍａｒｋｅｒｌｅｓｓ）の入力画像が入力された場合には、生成部１２はユーザ操作に応じて置換対象パターンを特定してもよい。この場合には、ユーザはパターンを置き換えたい領域をタッチ操作やマウス操作などにより指定し、ユーザ端末Ｔがその領域を示すデータを画像生成システム１０に送信し、生成部１２がそのデータで示される領域を保持する。あるいは、生成部１２はこのようなユーザ操作に依存することなく自動的に置換対象パターンを特定してもよい。この場合には、生成部１２は入力画像内の任意の領域とパターンデータベース３０内の各パターンとを比較（パターンマッチング）することで置換対象パターンを特定する。なお、パターンマッチングそのものは周知であり、具体的には、特徴量マッチング（特徴点ベースマッチング）、テンプレートマッチング（相関ベースマッチング）等の手法があるが、任意の手法を用いてよい。
【００３３】
マーカを含む入力画像が入力された場合には、生成部１２はパターンデータベース３０内のマーカを用いたパターンマッチングにより、ユーザ操作に依存することなく入力画像内のマーカを置換対象パターンとして特定する。この場合でもパターンマッチングの具体的な手法は任意に決めてよい。
【００３４】
続いて、生成部１２は、置換対象パターンと入れ替えるための置換パターンを取得する。ここで、置換パターンとは、モデルが置換対象パターンと共通し、かつ当該置換対象パターンとは異なるパターンのことである。生成部１２は、置換対象パターンに対応する１以上の置換パターンをパターンデータベース３０から選択するためのユーザインタフェースをユーザ端末Ｔに提供し、そのインタフェースを介して選択された１以上の置換パターンを取得してもよい。あるいは、生成部１２はパターンデータベース３０を参照して、置換対象パターンに対応する置換パターンをユーザ操作に依存することなく読み出してもよい。
【００３５】
続いて、生成部１２は取得した置換パターンの大きさおよび姿勢を置換対象パターンと合わせるために当該置換パターンを射影変換により変形させ、変形された置換パターンを入力画像に重畳する。
【００３６】
変換前の座標を（ｘ，ｙ）とし、変換後の座標を（ｘ´，ｙ´）とすると、射影変換は下記式で表される。
ｘ´＝（ａ１ｘ＋ｂ１ｙ＋ｃ１）／（ａ０ｘ＋ｂ０ｙ＋ｃ０）
ｙ´＝（ａ２ｘ＋ｂ２ｙ＋ｃ２）／（ａ０ｘ＋ｂ０ｙ＋ｃ０）
【００３７】
これらの式において独立した未知数は８個なので、４点以上の座標が得られれば未知数を求めることができる。そこで、生成部１２は置換対象パターンおよび置換パターンのそれぞれから４頂点の座標を特定する。生成部１２はユーザにより指定された点を頂点として取得してもよいし、各パターンを解析することで頂点を取得してもよい。あるいは、各パターンの４頂点の座標をパターン情報に予め含めておき、生成部１２がパターンデータベース３０からその頂点座標を読み出してもよい。生成部１２は置換対象パターンにおける頂点（ｘｎ，ｙｎ）および置換パターンにおける頂点（ｘ´ｎ，ｙ´ｎ）（共に、ｎ＝１，２，３，４）を上記の射影変換の式に代入することで、下記式で示される射影変換マトリクスＰ１（第２の射影変換マトリクス）を求める。なお、ｓは、同次座標表現における任意の実数である（ｓ≠０）。
【数１】
2015056041.tif 000003
【００３８】
続いて、生成部１２は置換対象パターンと置換パターンとのそれぞれにおいて多数の特徴点の座標を求め、個々の特徴点について特徴量を算出する。特徴点の検出および特徴量の求め方は任意であり、例えばＯＲＢ、ＳＩＦＴ、ＳＵＲＦなどの周知のアルゴリズムを用いることができる。入力画像内の置換対象パターンが不鮮明である可能性があるので、生成部１２は特徴量を算出する前に置換対象パターンに対して先鋭化処理および／または平滑化処理を実行してもよい。先鋭化処理は、画像内のぼやけた輪郭を強調するフィルタ処理であり、アンシャープ・マスキング（ｕｎｓｈａｒｐ  ｍａｓｋｉｎｇ）とも呼ばれる。この先鋭化処理は周知の技術である。平滑化処理は、画像内の輝度値を滑らかにする処理、あるいは画像中のノイズを除去する処理であり、この技術も周知である。この平滑化処理はガウシアンフィルタ等の平滑化フィルタを用いて行われる。
【００３９】
続いて、生成部１２は双方のパターンの特徴量を比較し、例えばロバスト推定手法の一つであるＲＡＮＳＡＣ等を用いて、下記式で示される射影変換マトリクスＰ２（第１の射影変換マトリクス）を算出する。ｓは、同次座標表現における任意の実数である（ｓ≠０）。
【数２】
2015056041.tif 000004
【００４０】
続いて、生成部１２は、置換対象パターンの歪みを示すマトリクスＰ１，Ｐ２を含む下記式を用いて置換パターンの座標を（ｘ，ｙ）から（ｘ´，ｙ´）に変換する。座標（ｘ，ｙ）はオリジナルの置換パターン（パターン情報で定義されている置換パターン）の座標であり、座標（ｘ´，ｙ´）は変形後の置換パターンの座標である。生成部１２は変形させた置換パターンを入力画像に重畳する。
【数３】
2015056041.tif 000005
【００４１】
この式に示すように、生成部１２はマトリクスＰ１を用いなくてもよい。マトリクスＰ１は、変形の精度をさらに向上させるために用いられ、例えば、置換対象パターンの姿勢が置換パターンと一定以上異なる場合においてその効果が顕著である。このようにマトリクスＰ１は補助的な役割を担うので、生成部１２は射影変換においてマトリクスＰ２のみを算出および利用してもよい。
【００４２】
生成部１２は、重畳された置換パターンの違和感を低減するために、その置換パターンの色およびぼけ具合を周囲の領域に合わせる。色およびぼけ具合の補正についても周知技術を用いることができる。なお、生成部１２は置換パターンの色を補正した後にその置換パターンを入力画像に重畳してもよい。
【００４３】
色補正は、色空間に対応する変換マトリクスＭまたはＭ´を用いて下記式で示される。ＭはＲＧＢ表色系を用いる場合の変換マトリクスであり、Ｍ´はＬ＊Ｃ＊ｈ表色系を用いる場合の変換マトリクスである。また、Ｒ，Ｇ，Ｂはそれぞれ、置換パターンのオリジナルの３原色（赤、緑、青）であり、Ｒ´，Ｇ´，Ｂ´はそれぞれ、置換パターンの調整後の３原色である。Ｌ＊，Ｃ＊，ｈはそれぞれ、置換パターンのオリジナルの明度、彩度、および色相であり、Ｌ＊´，Ｃ＊´，ｈ´はそれぞれ、置換パターンの調整後の明度、彩度、および色相である。なお、色補正では任意の色空間を用いてよい。
【数４】
2015056041.tif 000006
【００４４】
生成部１２はユーザがスライダなどのユーザインタフェースを介して入力したＲＧＢ値またはＬ＊Ｃ＊ｈ値に基づいて変換マトリクスを求めてもよい。あるいは、生成部１２はユーザ操作に依存することなく周知技術を用いて変換マトリクスを求めてもよい。
【００４５】
ぼけ具合の補正は、例えばガウシアンフィルタ等の平滑化フィルタを用いた平滑化処理により実現できる。平滑化処理に用いるマトリクスＨは平滑化フィルタのサイズ（例えば３×３や５×５など）に応じて決まる。フィルタサイズに関して、生成部１２は、ユーザがスライダなどのユーザインタフェースを介して入力した値を受け付けてもよいし、ユーザ操作に依存することなく周知技術を用いて決定してもよい。
【００４６】
生成部１２は、入力画像に重畳された置換パターンに変換マトリクスＭまたはＭ´を適用することで該パターンの色を補正する。さらに、生成部１２はその置換パターンにマトリクスＨを適用することで該パターンをぼかす。
【００４７】
以上の処理により、入力画像の一つの領域において置換対象パターンが置換パターンに置き換わる。一つの入力画像において複数の置換対象パターンが存在するか、またはユーザにより複数の置換対象パターンが指定されるのであれば、生成部１２は上記の置換を各置換対象パターンについて実行する。この際には、各種マトリクスＰ１，Ｐ２，Ｍ（またはＭ´），Ｈは置換対象パターンごとに生成される。生成部１２はすべての置換対象パターンについて処理することで一つ目の評価対象画像を生成する。
【００４８】
生成部１２が一つの入力画像から複数の評価対象画像を生成することもあり得る。例えば図４に示すモデルＡが入力画像の一つの領域に含まれているならば、生成部１２がそのモデルＡについてパターン１〜３を個々に適用することで三つの評価対象画像を生成し得る。この場合において、その領域における置換パターンの変形、色補正、およびぼけ具合の補正は三つのパターン間で共通である。したがって、生成部１２は一つ目の評価対象画像を生成する際に算出した各種マトリクスＰ１，Ｐ２，Ｍ（またはＭ´），Ｈを保持し、二つ目以降の評価対象画像を生成する際にこれらのマトリクスを再利用する。もし図４に示すモデルＡ，Ｂの双方が入力画像に含まれているならば、生成部１２がモデルＡについてパターン１〜３を個々に適用し、モデルＢについてパターン１，２を個々に適用するので、合計６（＝３×２）個の評価対象画像を生成し得る。生成部１２は生成した一または複数の評価対象画像を出力部１３に出力する。
【００４９】
出力部１３は、解析システム２０での処理のために（すなわち、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理のために）、評価対象画像を出力する機能要素である。図８は出力の例であり、図４に示すモデルＡの各パターンを適用した三つの評価対象画像を示している。看板６１ａ，６１ｂにパターン１が貼られている入力画像６１が受け付けられたのであれば、パターン２に置き換えられた評価対象画像７２とパターン３に置き換えられた評価対象画像７３とが出力される。看板６２ａ，６２ｂにマーカが貼られている入力画像６２が受け付けられたのであれば、パターン１に置き換えられた評価対象画像７１と、上記の評価対象画像７２，７３とが出力される。図８では表現されていないが、看板７１ａ，７１ｂ，７２ａ，７２ｂ，７３ａ，７３ｂには必要に応じて色補正および平滑化処理が施される。
【００５０】
出力部１３は評価対象画像をユーザに確認させるために当該画像をユーザ端末Ｔに送信してもよい。この場合には、ユーザは送られてきた評価対象画像を確認した後に、ユーザ端末Ｔを操作して視線予測の処理を解析システム２０に指示する。あるいは、出力部１３は評価対象画像を解析システム２０に出力してもよく、この場合には、ユーザは解析システム２０から単独でまたは評価対象画像と共に送られてくる評価結果を確認する。
【００５１】
次に、図９を用いて、画像生成システム１０の動作を説明するとともに本実施形態に係る画像生成方法について説明する。
【００５２】
受付部１１が入力画像を受け付けると（ステップＳ２１、受付ステップ）、生成部１２が評価対象画像を生成する。具体的には、生成部１２は置換対象パターンを特定するとともに（ステップＳ２２）、置換パターンを取得する（ステップＳ２３）。これら２種類のパターンはユーザにより指定されてもよいし、ユーザ操作に依存することなく自動的に決定されてもよい。
【００５３】
続いて、生成部１２は４頂点に基づく射影変換と特徴点に基づく射影変換により置換パターンを変形させる（ステップＳ２４）。このステップＳ２４において、生成部１２は特徴点に基づく射影変換のみを実行してもよい。続いて、生成部１２は変換した置換パターンを入力画像に重畳した上で（ステップＳ２５）、その置換パターンに対する色補正および平滑化処理を実行する（ステップＳ２６）。これにより、一つの置換パターンのはめ込みが完了する。
【００５４】
生成部１２は、処理すべき置換対象パターンが他に存在すれば、ステップＳ２２〜Ｓ２６の処理を繰り返し（ステップＳ２７参照）、これにより一つの評価対象画像が完成する（ステップＳ２８）。生成部１２は、生成すべき評価対象画像が他に存在すれば、生成ステップに相当するステップＳ２２〜Ｓ２８の処理を繰り返す（ステップＳ２９参照）。最後に、出力部１３が生成された１以上の評価対象画像を出力する（ステップＳ３０、出力ステップ）。生成された評価対象画像は、ユーザ操作によりまたは自動的に解析システム２０に入力され、解析システム２０はその評価対象画像に対して視線予測処理を実行する。したがって、本実施形態に係る視線予測方法は、図２および図９に示す処理を含む。
【００５５】
次に、図１０を用いて、画像生成システム１０を実現するための画像生成プログラムＰ１を説明する。
【００５６】
画像生成プログラムＰ１は、メインモジュールＰ１０、受付モジュールＰ１１、生成モジュールＰ１２、および出力モジュールＰ１３を備えている。
【００５７】
メインモジュールＰ１０は、画像生成機能を統括的に制御する部分である。受付モジュールＰ１１、生成モジュールＰ１２、および出力モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の受付部１１、生成部１２、および出力部１３の機能と同様である。
【００５８】
画像生成プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供されてもよい。また、画像生成プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。また、画像生成プログラムＰ１は、解析システム２０を実現するための解析プログラムとともに、視線予測プログラムとして提供されてもよい。
【００５９】
以上説明したように、本発明の一側面に係る画像生成システムは、一または複数のプロセッサを備え、少なくとも一つのプロセッサが、入力画像を受け付け、置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、入力画像内で特定された置換対象パターンを置換パターンに置換することで、評価対象画像を生成し、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する。
【００６０】
また、本発明の一側面に係る画像生成方法は、少なくとも一つのプロセッサが入力画像を受け付ける受付ステップと、プロセッサが、置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、入力画像内で特定された置換対象パターンを置換パターンに置換することで、評価対象画像を生成する生成ステップと、プロセッサが、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する出力ステップとを含む。
【００６１】
また、本発明の一側面に係る画像生成プログラムは、入力画像を受け付ける受付ステップと、置換対象パターンと置換パターンとを関連付けて記憶する記憶部を参照して、入力画像内で特定された置換対象パターンを置換パターンに置換することで、評価対象画像を生成する生成ステップと、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する処理を視線予測システムにおいて実行するために、該評価対象画像を出力する出力ステップとをコンピュータに実行させる。
【００６２】
このような側面においては、置換対象パターンに対応する置換パターンが予め記憶されており、そのデータを用いて、入力画像に含まれる置換対象パターンが置換パターンに置き換えられる。そして、この置換により生成された評価対象画像が、視覚的注意を惹き付ける傾向がある領域の予測のために出力される。この一連の処理により入力画像の一部が自動的に変換されるので、ユーザは、あるシーンについて一つの入力画像さえ用意すれば、その入力画像から、一部の領域が異なる評価対象画像を得ることが可能になる。すなわち、シーン内において視覚的注意を惹き付ける傾向がある領域を予測するために用いる画像を簡単に得ることができる。
【００６３】
本発明の別の側面では、少なくとも一つのプロセッサが、入力画像中の置換対象パターンの歪みを示す射影変換マトリクスを算出し、射影変換マトリクスを置換パターンに適用することで該置換パターンを変形させ、特定された置換対象パターンを、変形された置換パターンに置換してもよい。このように、入力画像中の置換対象パターンに合わせて置換パターンを変形させてからその置換パターンを入力画像に適用することで、違和感の少ない評価対象画像を生成することができる。
【００６４】
本発明の別の側面では、少なくとも一つのプロセッサが、入力画像中の置換対象パターンの特徴点の座標と、置換パターンの特徴点の座標とから第１の射影変換マトリクスを算出し、第１の射影変換マトリクスを置換パターンに適用することで該置換パターンを変形させてもよい。特徴点の座標から射影変換マトリクスを求めることで、置換パターンを精度良く変形させることができる。
【００６５】
本発明の別の側面では、少なくとも一つのプロセッサが、入力画像中の置換対象パターンにおいて指定された４頂点の座標と、置換パターンにおいて指定された４頂点の座標とから第２の射影変換マトリクスを算出し、置換パターンに対して、第２の射影変換マトリクスを適用し、その後さらに第１の射影変換マトリクスを適用することで、該置換パターンを変形させてもよい。まず、頂点座標から求めた射影変換マトリクスを用いて置換パターンを大雑把に変形させてから、特徴点の座標から得た射影変換マトリクスを用いてその置換パターンをさらに変形させることで、置換パターンをより精度良く変形させることができる。
【００６６】
本発明の別の側面では、少なくとも一つのプロセッサが、記憶部に記憶されている置換対象パターンと入力画像内の領域とを比較することで、該入力画像内に存在する置換対象パターンを特定してもよい。この場合には、ユーザが置換対象パターンを自ら特定する手間が省けるので、そのユーザの作業負荷をさらに軽減することができる。
【００６７】
本発明の一側面に係る視線予測システムは、上記の画像生成システムと、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析システムとを備える。
【００６８】
本発明の一側面に係る視線予測方法は、上記の画像生成方法により出力された評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析ステップを含む。
【００６９】
本発明の一側面に係る視線予測プログラムは、上記の画像生成プログラムと、評価対象画像において視覚的注意を惹き付ける傾向がある領域を予測する解析ステップをコンピュータに実行させるための解析プログラムとを含む。
【００７０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００７１】
本発明が動画にも適用可能であることは上述した通りである。この場合には、画像生成システム１０は最初のフレームについては上記実施形態（静止画に対する処理）と同様に評価対象フレームを生成し、その後のフレームについては、オプティカルフロー（動体追跡）を用いて前フレームの置換パターンを動かすことで評価対象フレームを生成してもよい。あるいは、画像生成システム１０は各フレームについて上記実施形態（静止画に対する処理）と同様に評価対象フレームを生成してもよい。
【００７２】
上記実施形態では生成部１２が色補正および平滑化処理を実行したが、これらの処理の一方または双方を省略してもよい。また、射影変換による置換パターンの変形も省略可能である。
【００７３】
本発明は単体のコンピュータにも適用可能である。例えば、視線予測システム全体の機能をユーザ端末に実装してもよい。あるいは、画像生成システムおよび解析システムの機能をユーザ端末に実装し、パターンデータベースをネットワーク上に配置してもよい。この場合には、ユーザ端末はそのパターンデータベースに都度アクセスしながら評価対象画像の作成および視線予測を実行する。あるいは、ユーザ端末が画像生成システム１０およびパターンデータベース３０の機能も備え、そのユーザ端末がネットワークＮを介して解析システム２０にアクセスしてもよい。
【符号の説明】
【００７４】
１…視線予測システム、１０…画像生成システム、１１…受付部、１２…生成部、１３…出力部、２０…解析システム、３０…パターンデータベース（記憶部）、１０１…ＣＰＵ（プロセッサ）、Ｐ１…画像生成プログラム、Ｐ１０…メインモジュール、Ｐ１１…受付モジュール、Ｐ１２…生成モジュール、Ｐ１３…出力モジュール、Ｔ…ユーザ端末。
【図１】
2015056041.tif 000007
【図２】
2015056041.tif 000008
【図３】
2015056041.tif 000009
【図４】
2015056041.tif 000010
【図５】
2015056041.tif 000011
【図６】
2015056041.tif 000012
【図７】
2015056041.tif 000013
【図８】
2015056041.tif 000014
【図９】
2015056041.tif 000015
【図１０】
2015056041.tif 000016