(57)【要約】【課題】物体領域、背景領域に関する事前情報が全く与えられない場合においても領域分割を可能にするための技術を提供する。【解決手段】顕著領域映像生成装置１０００は、入力映像から注目度映像を抽出する注目度映像抽出部１と、入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出部２と、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出部３と、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部４と、前記各入力画像に対し、前記各部を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成部５とを備える。【選択図】図２
2010258914.tif 000002
【特許請求の範囲】
【請求項１】
入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出過程と、
入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出過程と、
前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出過程と、
前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出過程と、
前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程および前記顕著領域画像抽出過程を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成過程と
を有し、
前記顕著領域事前確率画像抽出過程は、
一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出過程によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
前記特徴量尤度算出過程は、
前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
ことを特徴とする顕著領域映像生成方法。
【請求項２】
前記注目度映像抽出過程は、
前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と
を有し、
前記視線位置確率密度画像抽出過程は、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、
前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と
を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する
ことを特徴とする請求項１に記載の顕著領域映像生成方法。
【請求項３】
前記顕著領域事前確率画像抽出過程は、
前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成過程と、
前記顕著領域画像を用いて前記顕著領域事前確率画像生成過程によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新過程と
から構成されることを特徴とする請求項１または請求項２の何れか１項に記載の顕著領域映像生成方法。
【請求項４】
前記特徴量尤度算出過程は、
顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出過程と、
顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出過程と、
前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力過程と
から構成されることを特徴とする請求項１から請求項３の何れか１項に記載の顕著領域映像生成方法。
【請求項５】
前記顕著領域特徴量尤度算出過程は、
前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成過程と、
前記顕著領域特徴量尤度生成過程によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新過程と
から構成され、
前記非顕著領域特徴量尤度算出過程は、
前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成過程と、
前記非顕著領域特徴量尤度生成過程によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新過程と
から構成され、
前記顕著領域特徴量尤度更新過程は、
前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、
前記非顕著領域特徴量尤度更新過程は、
前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新する
ことを特徴とする請求項４に記載の顕著領域映像生成方法。
【請求項６】
前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成過程と、
前記平準化画像群に対し、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定過程と
を更に有し、
前記特徴量尤度算出過程および顕著領域画像抽出過程は、
前記入力画像に代えて前記平滑化画像を用い、
前記顕著領域映像生成過程は、
前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程、前記平滑化画像群生成過程および前記顕著領域画像確定過程を実行して得られる前記顕著領域画像から前記顕著領域映像を生成する
ことを特徴とする請求項１から請求項５の何れか１項に記載の顕著領域映像生成方法。
【請求項７】
入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出部と、
入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出部と、
前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出部と、
前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、
前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部および前記顕著領域画像抽出部を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成部と
を備え、
前記顕著領域事前確率画像抽出部は、
一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出部によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
前記特徴量尤度算出部は、
前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
ことを特徴とする顕著領域映像生成装置。
【請求項８】
前記注目度映像抽出部は、
前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、
前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と
を備え、
前記視線位置確率密度画像抽出部は、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、
前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と
を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する
ことを特徴とする請求項７に記載の顕著領域映像生成装置。
【請求項９】
前記顕著領域事前確率画像抽出部は、
前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成部と、
前記顕著領域画像を用いて前記顕著領域事前確率画像生成部によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新部と
から構成されることを特徴とする請求項７または請求項８の何れか１項に記載の顕著領域映像生成装置。
【請求項１０】
前記特徴量尤度算出部は、
顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出部と、
顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出部と、
前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力部と
から構成されることを特徴とする請求項７から請求項９の何れか１項に記載の顕著領域映像生成装置。
【請求項１１】
前記顕著領域特徴量尤度算出部は、
前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成部と、
前記顕著領域特徴量尤度生成部によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新部と
から構成され、
前記非顕著領域特徴量尤度算出部は、
前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成部と、
前記非顕著領域特徴量尤度生成部によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新部と
から構成され、
前記顕著領域特徴量尤度更新部は、
前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、
前記非顕著領域特徴量尤度更新部は、
前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新する
ことを特徴とする請求項１０に記載の顕著領域映像生成装置。
【請求項１２】
前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成部と、
前記平準化画像群に対し、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部の処理を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定部と
を更に備え、
前記特徴量尤度算出部および顕著領域画像抽出部は、
前記入力画像に代えて前記平滑化画像を用い、
前記顕著領域映像生成部は、
前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部、前記平滑化画像群生成部および前記顕著領域画像確定部の各処理を実行して得られる前記顕著領域画像から前記顕著領域映像を生成する
ことを特徴とする請求項７から請求項１１の何れか１項に記載の顕著領域映像生成装置。
【請求項１３】
入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、
入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、
前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、
前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、
前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップと
をコンピュータに実行させるプログラムであって、
前記顕著領域事前確率画像抽出ステップは、
一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
前記特徴量尤度算出ステップは、
前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
ことを特徴とするプログラム。
【請求項１４】
入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、
入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、
前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、
前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、
前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録憶媒体であって、
前記顕著領域事前確率画像抽出ステップは、
一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
前記特徴量尤度算出ステップは、
前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体に関する。特に、本発明は、人間の視覚特性を利用した信号処理によって顕著領域（物体領域）、背景領域（非顕著領域）に関する事前情報を算出し、算出した事前情報を利用して、入力映像から顕著領域と非顕著領域とを高精度に分割する、顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
画像や映像から、人物・動物・物体など興味の対象である領域（以下、「物体領域」という）を、背景などの物体領域以外の領域（以下、「背景領域」という）と区別して抽出する領域分割技術は、クロマキーなどを利用しない自由な画像映像合成、背景領域の変動に頑健な物体認識・画像映像検索、領域の重要性に応じてビットレートを調整可能な画像映像符号化など、応用範囲の広い重要な技術である。領域分割技術として、画像領域分割をある種の統計モデルに対する事後確率最大化問題として定式化し、事後確率最大化問題を統計モデルと等価なグラフの最小カットを求めることによって解決する方法が知られている（例えば、非特許文献１参照）。また、非特許文献１に記載の方法を映像信号に拡張し、映像信号の時間的な連続性を利用してグラフの最小カットを効率的に求めることで高速に映像の領域分割を実現する方法も知られている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y.Boykov and G.F.Lea,“Graph cuts and efficient N-D image segmentation,” International Journal of Computer Vision,Vol.70,No.2,pp.109-131,2006.
【非特許文献２】P.Kohli and P. Torr,“Dynamic graph cuts for efficient inference in Markov random fields,”IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.29,No.12,pp.2079-2088,2007.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
領域分割技術の応用では、物体領域や背景領域に関する事前情報（手がかり）が与えられない状況においても正しく物体領域と背景領域とを分割できる手法、換言すれば、人手を介せず領域分割を含めて全ての手順を自動で実行できる手法が望まれている。領域分割技術の応用範囲が拡大するからである。しかしながら、非特許文献１、２に記載の方法は、物体領域・背景領域に関する事前情報が部分的に手動で与えられることを想定しているため、物体領域・背景領域に関する事前情報が全く与えられない場合には利用することができないという問題がある。即ち、領域分割技術の応用範囲を著しく制限しているという問題がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、物体領域、背景領域に関する事前情報が全く与えられない場合においても領域分割を可能にするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様である顕著領域映像生成方法は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出過程と、入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出過程と、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出過程と、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程および前記顕著領域画像抽出過程を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成過程とを有し、前記顕著領域事前確率画像抽出過程は、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出過程によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出過程は、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。
【０００７】
上記顕著領域映像生成方法において、前記注目度映像抽出過程は、前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程とを有し、前記視線位置確率密度画像抽出過程は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程とを有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出するようにしてもよい。
【０００８】
上記顕著領域映像生成方法において、前記顕著領域事前確率画像抽出過程は、前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成過程と、前記顕著領域画像を用いて前記顕著領域事前確率画像生成過程によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新過程とから構成されるようにしてもよい。
【０００９】
上記顕著領域映像生成方法において、前記特徴量尤度算出過程は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出過程と、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出過程と、前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力過程とから構成されるようにしてもよい。
【００１０】
上記顕著領域映像生成方法において、前記顕著領域特徴量尤度算出過程は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成過程と、前記顕著領域特徴量尤度生成過程によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新過程とから構成され、非顕著領域特徴量尤度算出過程は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成過程と、前記非顕著領域特徴量尤度生成過程によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新過程とから構成され、前記顕著領域特徴量尤度更新過程は、前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、前記非顕著領域特徴量尤度更新過程は、前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新するようにしてもよい。
【００１１】
上記顕著領域映像生成方法は、前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成過程と、前記平準化画像群に対し、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定過程とを更に有し、前記特徴量尤度算出過程および顕著領域画像抽出過程は、前記入力画像に代えて前記平滑化画像を用い、前記顕著領域映像生成過程は、前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程、前記平滑化画像群生成過程および顕著領域画像確定過程を実行して得られる前記顕著領域画像から前記顕著領域映像を生成するようにしてもよい。
【００１２】
上記問題を解決するために、本発明の他の態様である顕著領域映像生成装置は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出部と、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出部と、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出部と、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部および前記顕著領域画像抽出部を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成部とを備え、前記顕著領域事前確率画像抽出部は、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出部によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出部は、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。
【００１３】
上記顕著領域映像生成装置において、前記注目度映像抽出部は、前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部とを備え、前記視線位置確率密度画像抽出部は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部とを有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出するようにしてもよい。
【００１４】
上記顕著領域映像生成装置において、前記顕著領域事前確率画像抽出部は、前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成部と、  前記顕著領域画像を用いて前記顕著領域事前確率画像生成部によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新部とから構成されるようにしてもよい。
【００１５】
上記顕著領域映像生成装置において、前記特徴量尤度算出部は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出部と、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出部と、前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力部とから構成されるようにしてもよい。
【００１６】
上記顕著領域映像生成装置において、前記顕著領域特徴量尤度算出部は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成部と、前記顕著領域特徴量尤度生成部によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新部とから構成され、前記非顕著領域特徴量尤度算出部は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成部と、前記非顕著領域特徴量尤度生成部によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新部とから構成され、前記顕著領域特徴量尤度更新部は、前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、前記非顕著領域特徴量尤度更新部は、前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新するようにしてもよい。
【００１７】
上記顕著領域映像生成装置は、前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成部と、前記平準化画像群に対し、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部の処理を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定部とを更に備え、前記特徴量尤度算出部および顕著領域画像抽出部は、前記入力画像に代えて前記平滑化画像を用い、前記顕著領域映像生成部は、前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部、前記平滑化画像群生成部および前記顕著領域画像確定部の各処理を実行して得られる前記顕著領域画像から前記顕著領域映像を生成するようにしてもよい。
【００１８】
上記問題を解決するために、本発明の他の態様であるプログラムは、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップとをコンピュータに実行させるプログラムであって、前記顕著領域事前確率画像抽出ステップは、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出ステップは、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。
【００１９】
上記問題を解決するために、本発明の他の態様である記録媒体は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録憶媒体であって、前記顕著領域事前確率画像抽出ステップは、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出ステップは、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域・背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る顕著領域映像生成装置１０００による顕著領域事前確率画像の算出過程の模式図である。
【図２】顕著領域映像生成装置１０００の機能ブロック図の一例である。
【図３】注目度映像抽出部１の機能ブロック図である。
【図４】顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４の機能ブロック図である。
【図５】特徴量尤度の算出過程の模式図である。
【図６】顕著領域抽出グラフの例である。
【図７】顕著領域映像生成装置１１００の機能ブロック図の一例である。
【図８】顕著領域抽出の例である。
【図９】顕著領域抽出の比較である
【発明を実施するための形態】
【００２２】
（第１の実施形態）
以下、本発明の第１の実施形態に係る顕著領域映像生成装置１０００について図面を参照して説明する。なお、本実施形態（後述する第２の実施形態も同様）においては、領域分割を映像顕著性に基づいて実現するため、以下、「顕著領域抽出」と「領域分割」とを同義で用いる。同様に、「顕著領域」と「物体領域」とを同義で用い、「非顕著領域」と「背景領域」とを同義で用いる。また、以下の説明において、式中の文字上部に￣が付いた文字は、文中において文字の前に￣を記載して示す。例えば、式中の文字（下記式１）は文中において￣ｘと記載して示す。
【００２３】
【数１】
2010258914.tif 000003
【００２４】
また、式中の文字上部に〜が付いた文字は、文中において文字の前に〜を記載して示す。例えば、式中の文字（下記式２）は文中において〜ηと記載して示し、式中の文字（下記式３）は文中において〜Σと記載して示す。
【００２５】
【数２】
2010258914.tif 000004
【００２６】
【数３】
2010258914.tif 000005
【００２７】
なお、式中の文字（下記式４）と文中のｇは同じである。
【００２８】
【数４】
2010258914.tif 000006
【００２９】
顕著領域映像生成装置１０００は、図１に示すように、外部から入力映像を取得し、当該入力映像を構成する各入力フレーム（各入力画像）からそれぞれの顕著領域を抽出した各顕著領域フレーム（各顕著領域画像）から構成される顕著領域映像を生成し、外部に出力する。
【００３０】
顕著領域映像生成装置１０００は、図２に示すように、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４および顕著領域映像生成部５を備える。注目度映像抽出部１は、図３に示すように、基礎注目度画像抽出部１１、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５を備える。視線位置確率密度画像抽出部１４は、視線移動状態変数更新部１４１、代表視線位置更新部１４２、代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、代表視線位置集合再構成部１４５を備える。顕著領域事前確率画像抽出部２は、図４（ａ）に示すように、顕著領域事前確率画像生成部２１および顕著領域事前確率画像更新部２２を備える。特徴量尤度算出部３は、顕著領域特徴量尤度算出部３１、図４（ｂ）に示すように、非顕著領域特徴量尤度算出部３２および特徴量尤度出力部３３を備える。顕著領域特徴量尤度算出部３１は、顕著領域特徴量尤度生成部３１１および顕著領域特徴量尤度更新部３１２を備える。非顕著領域特徴量尤度算出部３２は、非顕著領域特徴量尤度生成部３２１および非顕著領域特徴量尤度更新部３２２を備える。顕著領域画像抽出部４は、図４（ｃ）に示すように、顕著領域抽出グラフ生成部４１および顕著領域抽出グラフ分割部４２を備える。
【００３１】
注目度映像抽出部１は、入力映像を取得する。注目度映像抽出部１は、入力映像の各フレームの中で人間が注意を向けやすい度合いである注目度を示す映像である注目度映像を抽出する。注目度映像抽出部１は、抽出した注目度映像を顕著領域事前確率画像抽出部２に出力（供給）する。
【００３２】
具体的には、注目度映像抽出部１は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置１００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
【００３３】
基礎注目度画像抽出部１１は、入力された入力映像から視線位置推定を行う入力画像（フレーム）を取り出す。また、基礎注目度画像抽出部１１は、取り出した入力画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像を確率的基礎注目度画像抽出部１２及び確率的基礎注目度母数逐次推定部１３に出力する。
【００３４】
基礎注目度画像抽出部１１における基礎注目度画像の抽出処理は、特許文献１に記載されている基礎注目度画像抽出部１１の処理と同様であるため、処理内容の詳細な説明は省略する。ただし、本実施形態では、時刻ｉの入力画像から算出する基礎注目度画像を下記式（５）（以下、「基礎注目度画像￣Ｓ（ｉ）」と表す）とする。
【００３５】
【数５】
2010258914.tif 000007
【００３６】
確率的基礎注目度画像抽出部１２は、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を抽出する。なお、確率的基礎注目度画像抽出部１２による確率的基礎注目度画像Ｓ（ｔ）の抽出は、基礎注目度画像抽出部１１から入力された基礎注目度画像￣Ｓ（ｉ）、該確率的基礎注目度画像抽出部１２が算出したこれまでの確率的基礎注目度画像Ｓ（ｔ）、及び確率的基礎注目度母数Θｓ（ｔ）に基づいて行われる。
また、確率的基礎注目度画像抽出部１２によって抽出される確率的基礎注目度画像Ｓ（ｔ）は、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値である下記式（６）（以下、「期待値＾ｓ（ｔ，ｙ｜ｔ）」と表す）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像である。
【００３７】
【数６】
2010258914.tif 000008
【００３８】
また、確率的基礎注目度画像抽出部１２は、抽出した確率的基礎注目度画像Ｓ（ｔ）を視線位置確率密度画像抽出部１４及び確率的基礎注目度母数逐次推定部１３に出力する。
なお、確率的基礎注目度画像抽出部１２には、確率的基礎注目度母数逐次推定部１３によって更新された確率的基礎注目度母数Θｓ（ｔ＋１）が入力される。
【００３９】
確率的基礎注目度画像抽出部１２における確率的基礎注目度画像Ｓ（ｔ）の抽出は、非特許文献１、２に記載されている手法によって算出することができる。また、確率的基礎注目度画像抽出部１２における確率的基礎注目度画像Ｓ（ｔ）の抽出方法は、特に限定されるものではないが、一例として、カルマンフィルタを用いた推定方法について述べる。
【００４０】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像である下記式（７）（以下、「基礎注目度画像￣Ｓ（ｔ）」と表す）の位置ｙにおける画素値である下記式（８）（以下、「画素値￣ｓ（ｔ，ｙ）」と表す）、及び１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）について、下記式（９）、（１０）のような関係式を満たしているものとする。
【００４１】
【数７】
2010258914.tif 000009
【００４２】
【数８】
2010258914.tif 000010
【００４３】
【数９】
2010258914.tif 000011
【００４４】
【数１０】
2010258914.tif 000012
【００４５】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下記式（１１）のように与えられているものとする。
【００４６】
【数１１】
2010258914.tif 000013
【００４７】
また、上記式（９）、（１０）において、ｐ（ａ｜ｂ）は、ｂが与えられたときのａの確率密度を示す。また、下記式（１２）は期待値が下記式（１３）で標準偏差がσである正規分布に従うｓの確率密度を示し、下記式（１４）のように表される。
【００４８】
【数１２】
2010258914.tif 000014
【００４９】
【数１３】
2010258914.tif 000015
【００５０】
【数１４】
2010258914.tif 000016
【００５１】
以降の説明においては、画素値￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度と呼ぶこととする。また、同様に、確率的基礎注目度ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度と呼ぶこととする。また、特に必要な場合を除いて、位置ｙを省略するものとする。例えば、ｓ（ｔ，ｙ）をｓ（ｔ）と表す。
【００５２】
続いて、１時点前の確率的基礎注目度ｓ（ｔ−１）が、これまでの確率的基礎注目度画像抽出部１２の処理により、下記式（１５）のような確率密度を用いた表現にて抽出されているものとする。
【００５３】
【数１５】
2010258914.tif 000017
【００５４】
上記式（１５）において、下記式（１６）は、時刻ｔ１から時刻ｔ２までの基礎注目度の系列、下記式（１７）は時刻１から時刻ｔ２までの基礎注目度である下記式（１８）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の期待値、σｓ（ｔ１｜ｔ２）は、この時の標準偏差を示す。
【００５５】
【数１６】
2010258914.tif 000018
【００５６】
【数１７】
2010258914.tif 000019
【００５７】
【数１８】
2010258914.tif 000020
【００５８】
このとき、確率的基礎注目度画像抽出部１２は、現在の確率的基礎注目度ｓ（ｔ）の下記式（１９）に示す確率密度における期待値である下記式（２０）（以下、「期待値＾ｓ（ｔ｜ｔ）」と表す）及び標準偏差σｓ（ｔ｜ｔ）を、下記式（２１）、（２２）のようにして更新する。
【００５９】
【数１９】
2010258914.tif 000021
【００６０】
【数２０】
2010258914.tif 000022
【００６１】
【数２１】
2010258914.tif 000023
【００６２】
【数２２】
2010258914.tif 000024
【００６３】
なお、上述の確率的基礎注目度画像抽出部１２における期待値＾ｓ（ｔ｜ｔ）及び標準偏差σｓ（ｔ｜ｔ）の更新は、画像中の各位置で独立して実行することができる。
【００６４】
また、上記式（１０）に替えて、下記式（２３）のような関係式を用いることによって、入力画像の各位置における動き成分を考慮した実施形態とすることも可能である。
【００６５】
【数２３】
2010258914.tif 000025
【００６６】
上記式（２３）において、Δｙ（ｔ）は時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、特許文献１に記載されている運動特徴画像抽出部１１５と同様の方法を用いる。
【００６７】
上記に述べたカルマンフィルタを用いた推定方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向で独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、動的マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度ｓ（ｔ，ｙ）を解析的に導出する場合について述べる。
【００６８】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおける画素値￣ｓ（ｔ，ｙ）、１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置である下記式（２４）における現在の確率的基礎注目度画像Ｓ（ｔ）の画素値である下記式（２５）について、下記式（２６）〜（３０）のような関係式を満たしているものとする。
【００６９】
【数２４】
2010258914.tif 000026
【００７０】
【数２５】
2010258914.tif 000027
【００７１】
【数２６】
2010258914.tif 000028
【００７２】
【数２７】
2010258914.tif 000029
【００７３】
【数２８】
2010258914.tif 000030
【００７４】
【数２９】
2010258914.tif 000031
【００７５】
【数３０】
2010258914.tif 000032
【００７６】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下記式（３１）のように再定義されているものとする。
【００７７】
【数３１】
2010258914.tif 000033
【００７８】
近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４点、もしくはさらに斜め位置４点を加えた８点、などが考えられる。
【００７９】
続いて、上述したカルマンフィルタを用いた推定方法と同様に、１時点前の確率的基礎注目度ｓ（ｔ−１，ｙ）が、これまでの確率的基礎注目度画像抽出部１２の処理により、下記式（３２）のような確率密度を用いた表現にて抽出されているものとする。
【００８０】
【数３２】
2010258914.tif 000034
【００８１】
上記式（３２）において、下記式（３３）は、時刻ｔ２までの基礎注目度画像である下記式（３４）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の期待値、σｓ（ｔ１，ｙ｜ｔ２）は、この時の標準偏差を示す。
【００８２】
【数３３】
2010258914.tif 000035
【００８３】
【数３４】
2010258914.tif 000036
【００８４】
このとき、確率的基礎注目度画像抽出部１２は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の下記式（３５）に示す確率密度における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。
【００８５】
【数３５】
2010258914.tif 000037
【００８６】
また、確率的基礎注目度画像抽出部１２による更新は、繰り返し計算を用いた下記式（３６）〜（４１）の方法によって行われる。
【００８７】
【数３６】
2010258914.tif 000038
【００８８】
【数３７】
2010258914.tif 000039
【００８９】
【数３８】
2010258914.tif 000040
【００９０】
【数３９】
2010258914.tif 000041
【００９１】
【数４０】
2010258914.tif 000042
【００９２】
【数４１】
2010258914.tif 000043
【００９３】
上記式（３６）〜（４１）において、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数を示す。また、上記式（３６）〜（４１）を用いた計算において、上記式（３９）に示すような無限ステップの繰り返しは不可能であるため、実際には、第ｌ＋１ステップの出力である下記式（４２）と第ｌステップの出力である下記式（４３）との差が十分小さくなった時点で繰り返し計算を打ち切ることとする。
【００９４】
【数４２】
2010258914.tif 000044
【００９５】
【数４３】
2010258914.tif 000045
【００９６】
また、ステップに関するインデックスｌを固定したとき、上記式（３８）に示す更新は、画像の各位置において独立に算出することができる。また、それ以外の更新式については、時刻ｔを固定することによって、同様に画像の各位置において独立に算出することができる。
このことによって、上述の確率的基礎注目度画像抽出部１２における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）の更新は、上述したカルマンフィルタを用いた推定方法と同様に、画像中の各位置で独立して実行することができ、これらの更新処理を容易に並列化できる。
【００９７】
確率的基礎注目度母数逐次推定部１３は、基礎注目度画像抽出部１１から入力された基礎注目度画像￣Ｓ（ｉ）、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、及び事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）に基づいて、確率的基礎注目度母数Θｓ（ｔ）を逐次的に更新する。
また、確率的基礎注目度母数逐次推定部１３は、更新した確率的基礎注目度母数Θｓ（ｔ＋１）を確率的基礎注目度画像抽出部１２に出力する。
【００９８】
なお、確率的基礎注目度母数逐次推定部１３は、確率的基礎注目度母数Θｓ（ｔ）を更新していない場合は、事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数Θｓ（ｔ＋１）として確率的基礎注目度画像抽出部１２に出力する。即ち、確率的基礎注目度画像抽出部１２から確率的基礎注目度画像Ｓ（ｔ）が入力されていない初期段階では、確率的基礎注目度母数Θｓ（ｔ）の更新ができないため、入力された確率的基礎注目度母数Θｓ（ｔ）をそのまま確率的基礎注目度画像抽出部１２に出力する。
【００９９】
確率的基礎注目度母数逐次推定部１３における確率的基礎注目度母数Θｓ（ｔ＋１）の推定方法は特に限定されるものではないが、本実施形態においては、適応カルマンフィルタを用いた推定方法について述べる。
【０１００】
確率的基礎注目度母数逐次推定部１３において、次の時刻ｔ＋１で用いられる確率的基礎注目度母数Θｓ（ｔ＋１）を、下記式（４４）に示す。
【０１０１】
【数４４】
2010258914.tif 000046
【０１０２】
確率的基礎注目度母数逐次推定部１３は、既に基礎注目度画像抽出部１１によって算出されている基礎注目度画像￣Ｓ（ｉ）、及び確率的基礎注目度画像抽出部１２によって算出されている確率的基礎注目度画像Ｓ（ｔ）を構成する確率的基礎注目度の期待値及び標準偏差を用いて、下記式（４５）〜（５２）のように計算する。
【０１０３】
【数４５】
2010258914.tif 000047
【０１０４】
【数４６】
2010258914.tif 000048
【０１０５】
【数４７】
2010258914.tif 000049
【０１０６】
【数４８】
2010258914.tif 000050
【０１０７】
【数４９】
2010258914.tif 000051
【０１０８】
【数５０】
2010258914.tif 000052
【０１０９】
【数５１】
2010258914.tif 000053
【０１１０】
【数５２】
2010258914.tif 000054
【０１１１】
上記式（４５）〜（５２）において、下記式（５３）（以下、「￣σｓ１」と表す）及び下記式（５４）（以下、「￣σｓ２」と表す）は基本確率的基礎注目度母数であり、予め定めておく、もしくは事前に学習によって算出しておくものである。
【０１１２】
【数５３】
2010258914.tif 000055
【０１１３】
【数５４】
2010258914.tif 000056
【０１１４】
また、λｓ１及びλｓ２は予め定められた母数の混合比であり、これらの数値を適切に定めることで、逐次更新で獲得した母数である下記式（５５），下記式（５６）と、予め定めておいた母数￣σｓ１，￣σｓ２とのバランスを制御することができる。
【０１１５】
【数５５】
2010258914.tif 000057
【０１１６】
【数５６】
2010258914.tif 000058
【０１１７】
なお、λｓ１＝λｓ２＝０とすることにより、確率的基礎注目度母数逐次推定部１３による確率的基礎注目度母数Θｓ（ｔ＋１）の推定処理を行わないことと等価になる。また、Ｎｓは過去の情報を保持するバッファの時間長である。
【０１１８】
視線位置確率密度画像抽出部１４は、視線移動状態変数更新部１４１、代表視線位置更新部１４２、代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、代表視線位置集合再構成部１４５から構成される。
視線位置確率密度画像抽出部１４は、視線位置確率密度映像を構成するフレームである視線位置確率密度画像Ｘ（ｔ）を抽出する。なお、視線位置確率密度画像抽出部１４による視線位置確率密度画像Ｘ（ｔ）の抽出は、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、該視線位置確率密度画像抽出部１４が抽出したこれまでの視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて行われる。
また、視線位置確率密度画像抽出部１４は、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
【０１１９】
視線移動状態変数更新部１４１は、代表視線位置集合再構成部１４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている視線移動の大きさを制御する確率変数である視線移動状態変数ｕ（ｔ）を更新する。
また、視線移動状態変数更新部１４１は、更新した視線移動状態変数ｕ（ｔ）の集合である視線移動状態変数集合Ｕ（ｔ）を代表視線位置更新部１４２及び代表視線位置集合再構成部１４５に出力する。
【０１２０】
視線移動状態変数更新部１４１における視線移動状態確率変数集合Ｕ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０１２１】
まず、代表視線位置集合再構成部１４５の出力の一部として、１時点前（時刻ｔ−１）の視線移動状態変数集合Ｕ（ｔ−１）が、下記式（５７）のように与えられているものとする。
【０１２２】
【数５７】
2010258914.tif 000059
【０１２３】
上記式（５７）において、Ｎｕは視線移動状態変数集合の要素数、即ち、視線移動状態変数のサンプル数を示す。また、各視線移動状態変数はｍｕ通りの値（１，２，・・・，ｍｕ）のいずれかを取るものとする。
【０１２４】
このとき、各視線移動状態変数のサンプルｕｎ（ｔ−１）から、視線位置確率密度母数Θｘ（ｔ）の１つである視線移動遷移確率行列Φ＝｛φ（ｉ，ｊ）｝（ｉ，ｊ）に基づいて、現在の視線移動状態変数のサンプルｕｎ（ｔ）をランダムに生成する。視線移動遷移確率行列はｍｕ行ｍｕ列の行列によって表現され、ｉ行ｊ列の要素φ（ｉ，ｊ）によって、状態ｊから状態ｉへ遷移する確率を表現している。よって、Φは下記式（５８）に示すような性質を満たす。
【０１２５】
【数５８】
2010258914.tif 000060
【０１２６】
即ち、上述のようにして生成した視線移動状態変数のサンプルｕｎ（ｔ）の集合である下記式（５９）が、現在の視線移動状態変数集合Ｕ（ｔ）となる。
なお、現在の視線移動状態変数集合Ｕ（ｔ）に含まれる視線移動状態変数のサンプルｕｎ（ｔ）の経験確率分布が、視線移動状態変数の生起確率の近似となっている。
【０１２７】
【数５９】
2010258914.tif 000061
【０１２８】
別の実施形態として、視線移動状態変数更新部１４１では何の処理もしないことも可能である。しかし、これは、前述の視線移動状態変数更新部１４１における視線移動状態確率変数集合Ｕ（ｔ）の更新処理において、ｍｕ＝１、即ち、視線移動状態が１通りしかないことと等価である。
【０１２９】
代表視線位置更新部１４２は、代表視線位置集合再構成部１４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、視線移動状態変数更新部１４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、視線移動状態変数ｕ（ｔ）によって制御される視線移動を考慮し、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている代表的な視線位置を表現する代表視線位置の集合である代表視線位置集合Ｖ（ｔ）を更新する。
また、代表視線位置更新部１４２は、更新した代表視線位置集合Ｖ（ｔ）を代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、及び代表視線位置集合再構成部１４５に出力する。
【０１３０】
代表視線位置更新部１４２における代表視線位置集合Ｖ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０１３１】
まず、視線移動状態変数ｕ（ｔ）によって視線位置ｘ（ｔ）が制御されるモデルとして、以下の２通りのモデルについて述べる。
【０１３２】
（モデル１）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率を、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下記式（６０）のように与える。
【０１３３】
【数６０】
2010258914.tif 000062
【０１３４】
上記式（６０）において、γｘｉ及びσｘｉ（ｉ＝０，１，・・・，ｍｕ−１）はそれぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数、下記式（６１）（以下、「確率密度Ｑ（ｘ；￣ｘ，γ，σ）」と表す）は中心が下記式（６２）、最頻距離がγ、最頻距離からの標準偏差に相当する母数をσとする下記式（６３）に示す確率密度関数を表す。
【０１３５】
【数６１】
2010258914.tif 000063
【０１３６】
【数６２】
2010258914.tif 000064
【０１３７】
【数６３】
2010258914.tif 000065
【０１３８】
上記式（６３）において、‖ｘ‖はベクトルｘのノルム、ＺＬは確率密度Ｑ（ｘ；￣ｘ，γ，σ）の全定義域における積分値を１にするための下記式（６４）で表される正規化定数を示す。
【０１３９】
【数６４】
2010258914.tif 000066
【０１４０】
（モデル２）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率として、ベータ分布を用いる。なお、１次元変量ｘに対するベータ分布は、定義域を下記式（６５）とする下記式（６６）によって定義される。
【０１４１】
【数６５】
2010258914.tif 000067
【０１４２】
【数６６】
2010258914.tif 000068
【０１４３】
上記式（６６）において、ａ，ｂはそれぞれベータ分布を特徴付ける母数を示す。また、Ｂ（ａ，ｂ）はベータ関数と呼ばれ、ベータ分布の全定義域における積分値を１にするための下記式（６７）に示す正規化定数を表す。
【０１４４】
【数６７】
2010258914.tif 000069
【０１４５】
なお、本実施形態においては、正規化定数の変量として位置ｘと、予め定められた原点ｘとの距離を用い、定義域を下記式（６８）とするベータ分布である下記式（６９）を用いる。
【０１４６】
【数６８】
2010258914.tif 000070
【０１４７】
【数６９】
2010258914.tif 000071
【０１４８】
即ち、上述のベータ分布である下記式（７０）は、下記式（７１）によって与えられる。
【０１４９】
【数７０】
2010258914.tif 000072
【０１５０】
【数７１】
2010258914.tif 000073
【０１５１】
上記式（７１）のように正規化されたベータ分布を用いることにより、１時点前（時刻ｔ−１）の視線位置が視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）の視線位置ｘ（ｔ）の生起確率は、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下記式（７２）のように与えられる。
【０１５２】
【数７２】
2010258914.tif 000074
【０１５３】
上記式（７２）において、ａｘｉ及びｂｘｉ（ｉ＝０，１，ｍｕ−１）は、それぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数を表す。
【０１５４】
代表視線位置更新部１４２は、上述したモデルのいずれかを用いる方法によって、次に述べるように、代表視線位置集合Ｖ（ｔ）を更新する。
【０１５５】
まず、代表視線位置集合再構成部１４５の出力の一部として、１時点前（時刻ｔ−１）の代表視線位置集合Ｖ（ｔ−１）が、下記式（７３）のように与えられているものとする。
【０１５６】
【数７３】
2010258914.tif 000075
【０１５７】
上記式（７３）において、Ｎｘは代表視線位置集合Ｖ（ｔ）の要素数、即ち、代表視線位置のサンプル数を示す。なお、一般的な実施形態においては、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘを、視線移動状態変数集合Ｕ（ｔ）の要素数Ｎｕと同一にしておく。
【０１５８】
また、代表視線位置更新部１４２は、１時点前（時刻ｔ−１）における代表視線位置の各サンプルｘｎ（ｔ−１）から、上述したいずれかのモデルによって下記式（７４）のように示す確率密度関数を用いて、現時点（時刻ｔ）における代表視線位置のサンプルｘｎ（ｔ）をランダムに生成する。
【０１５９】
【数７４】
2010258914.tif 000076
【０１６０】
なお、上記式（７４）のように示す確率密度関数を用いてランダムにサンプルを生成する方法は、サンプル生成に用いる確率密度関数が複雑である。このため、直接的な方法によってランダムなサンプルを生成することは困難である。しかし、上述のようなランダムのサンプル生成は、例えば、マルコフ連鎖モンテカルロ法に基づいたサンプル生成の方法を用いることができる。
【０１６１】
次に、一般にＭｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓアルゴリズムと呼ばれるマルコフ連鎖モンテカルロ法に基づいたサンプル生成の詳細な方法について述べる。
【０１６２】
まず、代表視線位置更新部１４２は、代表視線位置の仮のサンプルの初期値である下記式（７５）として、１時点前（時刻ｔ−１）における代表視線位置のサンプルを下記式（７６）のように与える。
【０１６３】
【数７５】
2010258914.tif 000077
【０１６４】
【数７６】
2010258914.tif 000078
【０１６５】
次に、原点対称な確率密度関数を用いて、２次元ベクトルである下記式（７７）を生成し、この２次元ベクトルである下記式（７８）を、第ｋ−１ステップの代表視線位置の仮のサンプルである下記式（７９）に加えることによって、第ｋステップの代表視線位置の仮のサンプルである下記式（８０）を下記式（８１）のように生成する。
【０１６６】
【数７７】
2010258914.tif 000079
【０１６７】
【数７８】
2010258914.tif 000080
【０１６８】
【数７９】
2010258914.tif 000081
【０１６９】
【数８０】
2010258914.tif 000082
【０１７０】
【数８１】
2010258914.tif 000083
【０１７１】
この原点対称な確率密度関数は、原点に対する対称性を満足しているのみで良く、例えば、原点を中心とする２次元正規分布、原点を中心とする各要素±δｘの範囲内の一様分布、などが考えられる。
【０１７２】
そして、第ｋステップの仮の代表視線位置のサンプルである上記式（８０）の生起確率と第ｋ−１ステップの代表視線位置の仮のサンプルである上記式（７９）の生起確率との比である下記式（８２）を下記式（８３）に基づいて計算する。
【０１７３】
【数８２】
2010258914.tif 000084
【０１７４】
【数８３】
2010258914.tif 000085
【０１７５】
最後に、下記式（８４）の一様乱数である下記式（８５）を発生させ、下記式（８６）の場合のみ、第ｋステップの代表視線位置の仮のサンプルである上述の数式（８０）を棄却して第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７９）に置き換える。
【０１７６】
【数８４】
2010258914.tif 000086
【０１７７】
【数８５】
2010258914.tif 000087
【０１７８】
【数８６】
2010258914.tif 000088
【０１７９】
その後、上述の仮のサンプルの生成ステップをあらかじめ定められた回数（Ｋｘ回）繰り返し、第Ｋｘステップの仮のサンプルである下記式（８７）を下記式（８８）に示すような時刻ｔの代表視線位置のサンプルとする。
【０１８０】
【数８７】
2010258914.tif 000089
【０１８１】
【数８８】
2010258914.tif 000090
【０１８２】
上記に述べたとおり、マルコフ連鎖モンテカルロ法に基づいて、サンプルを生成する。この生成したサンプルの集合である下記式（８９）が、即ち、現時点の代表視線位置集合Ｖ（ｔ）となる。また、現時点の代表視線位置集合Ｖ（ｔ）に含まれる代表視線位置サンプルの経験確率分布が、視線位置の生起確率の近似となっている。
【０１８３】
【数８９】
2010258914.tif 000091
【０１８４】
代表視線位置重み係数算出部１４３は、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、各代表視線位置に関連付けられた重みである代表視線位置重み係数を算出する。
また、代表視線位置重み係数算出部１４３は、算出した代表視線位置重み係数の集合である代表視線位置重み係数集合である下記式（９０）を視線位置確率密度画像出力部１４４及び代表視線位置集合再構成部１４５に出力する。
【０１８５】
【数９０】
2010258914.tif 000092
【０１８６】
代表視線位置重み係数算出部１４３における代表視線位置重み係数集合Ｗ（ｔ）の抽出方法は特に限定されるものではないが、本実施形態においては、信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法について述べる。
【０１８７】
代表視線位置のサンプルｘｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）に関連付けられる代表視線位置重み係数ｗｎ（ｔ）は、下記式（９１）及び下記式（９２）によって算出される。なお、下記式（９１）及び下記式（９２）は、位置ｘｎ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘｎ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上となる確率を算出するものである。
【０１８８】
【数９１】
2010258914.tif 000093
【０１８９】
【数９２】
2010258914.tif 000094
【０１９０】
なお、上記式（９１）および上記式（９２）においてのみｓ＝ｓ（ｔ，ｘｎ（ｔ））の表記を用いている。また、上記式（９１）および上記式（９２）において、下記式（９３）は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の確率分布関数を示し、位置ｙにおける現在の確率密度ｐ（ｓ（ｔ，ｘ））に対応して、下記式（９４）のように定義される。
【０１９１】
【数９３】
2010258914.tif 000095
【０１９２】
【数９４】
2010258914.tif 000096
【０１９３】
ある位置集合Ｄｘ（ｘ）の与え方は種々の方法が考えられるが、例えば、位置ｘ以外の任意位置の集合、位置ｘ以外で基礎注目度である下記式（９５）が局所的に最大となる位置ｙの集合、位置ｘ以外で確率的基礎注目度ｓ（ｔ，ｙ）の期待値である下記式（９６）が局所的に最大となる位置ｙの集合、などが考えられる。
【０１９４】
【数９５】
2010258914.tif 000097
【０１９５】
【数９６】
2010258914.tif 000098
【０１９６】
上記に述べた信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法では、サンプリングにより代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数集合Ｗ（ｔ）を抽出していたが、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出することもできる。以下、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法について述べる。
【０１９７】
サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部１４２による代表視線位置集合Ｖ（ｔ）の更新と、代表視線位置重み係数算出部１４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出とが同時に行われる。
【０１９８】
まず、上述した信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法と同様に下記式（９７）によって、位置ｘ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上になる確率を、入力画像中の各位置において算出する。
【０１９９】
【数９７】
2010258914.tif 000099
【０２００】
続いて、この上記式（９７）によって算出した確率分布を、下記式（９８）〜（１０２）に示すようなＥＭアルゴリズムを用いて混合ガウス分布でモデル化する。即ち、混合ガウス分布の各パラメータであるガウス分布の混合比πｎ（ｔ）（ｎ＝１，２，・・・，Ｍｙ）、各ガウス分布の平均ベクトルである下記式（１０３）、及び共分散行列Ｓｎ（ｔ）を、下記式（９８）〜（１０２）によるモデル化のステップをｋ＝１，２，・・・について各パラメータが収束するまで繰り返すことによって混合ガウス分布のモデルを導出する。なお、混合ガウス分布のモデル導出の際、位置ｘがどのガウス分布に所属するものであるかを表現する確率変数ｚを導入する。
【０２０１】
【数９８】
2010258914.tif 000100
【０２０２】
【数９９】
2010258914.tif 000101
【０２０３】
【数１００】
2010258914.tif 000102
【０２０４】
【数１０１】
2010258914.tif 000103
【０２０５】
【数１０２】
2010258914.tif 000104
【０２０６】
【数１０３】
2010258914.tif 000105
【０２０７】
上記式（９８）〜（１０２）において、αｎ（ｎ＝１，２，・・・，Ｍｙ）は、下記式（１０４）を満たすようにあらかじめ定められた定数を示す。
【０２０８】
【数１０４】
2010258914.tif 000106
【０２０９】
なお、ガウス分布の混合比πｎ（ｔ）が予め定められた定数よりも小さいガウス分布については、ガウス分布の混合比πｎ（ｔ）に対する寄与が小さいものとして除去し、最終的に残ったＮｘ個のガウス分布によって混合ガウス分布を構成する。そして、この混合ガウス分布の各平均位置である上記式（１０３）（ｎ＝１，２，・・・，Ｎｘ）を、現時点（時刻ｔ）の代表視線位置ｖｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）として決定する。
このことから、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘは、予め与えられるものではなく、入力画像によって異なることがわかる。
【０２１０】
一方、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）については、１時点前（時刻ｔ−１）の代表視線位置集合である下記式（１０５）、１時点前（時刻ｔ−１）の代表視線位置重み係数集合である下記式（１０６）及び上記の混合ガウス分布の混合比πｎ（ｔ）に基づいて、下記式（１０７）のようにして算出する。
【０２１１】
【数１０５】
2010258914.tif 000107
【０２１２】
【数１０６】
2010258914.tif 000108
【０２１３】
【数１０７】
2010258914.tif 000109
【０２１４】
これは、即ち、１時点前の代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）から構成される混合ガウス分布を、上記式（９８）〜（１０２）によってモデル化した混合ガウス分布に、視線移動に関する確率密度ｐ（ｓ（ｔ，ｘ））を考慮して遷移させたものである。
【０２１５】
上記に述べたとおり、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部１４２及び代表視線位置重み係数算出部１４３は、代表視線位置集合である下記式（１０８）及び代表視線位置重み係数集合である上記式（９０）を抽出し、視線位置確率密度画像出力部１４４に出力する。
【０２１６】
【数１０８】
2010258914.tif 000110
【０２１７】
視線位置確率密度画像出力部１４４は、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、及び代表視線位置重み係数算出部１４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置確率密度画像Ｈ（ｔ）を抽出する。
また、視線位置確率密度画像出力部１４４は、抽出した代表視線位置確率密度画像Ｈ（ｔ）を代表視線位置集合再構成部１４５に出力する。
【０２１８】
視線位置確率密度画像出力部１４４による代表視線位置確率密度画像Ｈ（ｔ）の算出方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０２１９】
視線位置確率密度画像出力部１４４は、現時点（時刻ｔ）の代表視線位置確率密度画像Ｈ（ｔ）の位置ｘ（ｔ）における画素値を、代表視線位置集合Ｖ（ｔ）及び代表視線位置重み集合Ｗ（ｔ）に基づいて、下記式（１０９）のように算出する。
【０２２０】
【数１０９】
2010258914.tif 000111
【０２２１】
上記式（１０９）において、ｆ（・）は予め定められた関数であり、例えば、下記式（１１０）に示すデルタ関数や、下記式（１１１）に示す２次元正規分布などが考えられる。
【０２２２】
【数１１０】
2010258914.tif 000112
【０２２３】
【数１１１】
2010258914.tif 000113
【０２２４】
代表視線位置集合再構成部１４５は、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、視線移動状態変数更新部１４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数算出部１４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）を、代表視線位置重み係数集合Ｗ（ｔ）の示す重み配分に従って再構成する。
また、代表視線位置集合再構成部１４５は、代表視線位置重み係数集合Ｗ（ｔ）を再構成する。
また、代表視線位置集合再構成部１４５は、再構成された代表視線位置集合Ｖ＊（ｔ）、視線移動状態変数集合Ｕ＊（ｔ）、及び代表視線位置重み係数集合Ｗ＊（ｔ）に基づいた、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
また、代表視線位置集合再構成部１４５は、視線位置確率密度画像Ｘ（ｔ）を視線移動状態変数更新部１４１及び代表視線位置更新部１４２に出力する。
【０２２５】
代表視線位置集合再構成部１４５における代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０２２６】
まず、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）の累積和ｃｎ（ｔ）を下記式（１１２）によって算出する。なお、累積和ｃｎ（ｔ）を算出する際に必要に応じて、代表視線位置重み係数ｗｎ（ｔ）の大きい順に代表視線位置ｖｎ（ｔ）、視線移動状態変数ｕ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）の並べ替えを行う。
【０２２７】
【数１１２】
2010258914.tif 000114
【０２２８】
以降の処理のため、ｃ０（ｔ）＝０と定める。
【０２２９】
次に、ある数κ１を下記式（１１３）の範囲でランダムに定め、以降、ｎ＝２，３，・・・，Ｎｘについて、κｎを下記式（１１４）のように定める。
【０２３０】
【数１１３】
2010258914.tif 000115
【０２３１】
【数１１４】
2010258914.tif 000116
【０２３２】
そして、ｎ＝１，２，・・・，Ｎｘのそれぞれについて、下記式（１１５）の条件を満たす整数ｎ＊を求める。
【０２３３】
【数１１５】
2010258914.tif 000117
【０２３４】
そして、新しい代表視線位置である下記式（１１６）を下記式（１１７）のように定める。
【０２３５】
【数１１６】
2010258914.tif 000118
【０２３６】
【数１１７】
2010258914.tif 000119
【０２３７】
また、新しい視線移動状態変数である下記式（１１８）を下記式（１１９）のように定める。
【０２３８】
【数１１８】
2010258914.tif 000120
【０２３９】
【数１１９】
2010258914.tif 000121
【０２４０】
なお、新しい代表視線位置重み係数である下記式（１２０）は、全て１／Ｎｘとする。
【０２４１】
【数１２０】
2010258914.tif 000122
【０２４２】
なお、上述した代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成は、必ずしも全ての時刻において実施する必要はなく、例えば、ある一定時間間隔を置いて実施することや、全く実施しないこともできる。
また、例えば、下記式（１２１）に示す代表視線位置重み係数の偏りに関する条件を満たさないときのみ実施することもできる。
【０２４３】
【数１２１】
2010258914.tif 000123
【０２４４】
上記式（１２１）において、Ｎｅｆｆは下記式（１２２）を満たすように予め定められた定数である。
【０２４５】
【数１２２】
2010258914.tif 000124
【０２４６】
また、代表視線位置集合再構成部１４５は、上記に述べた代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成方法によって再構成した新しい代表視線位置集合である下記式（１２３）、新しい視線移動状態変数集合である下記式（１２４）、及び新しい代表視線位置重み係数集合である下記式（１２５）に基づいて、視線位置確率密度画像出力部１４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を再構成した視線位置確率密度画像Ｘ（ｔ）を、視線位置確率密度画像抽出部１４の出力として視線位置確率密度映像出力部５に出力する。
【０２４７】
【数１２３】
2010258914.tif 000125
【０２４８】
【数１２４】
2010258914.tif 000126
【０２４９】
【数１２５】
2010258914.tif 000127
【０２５０】
なお、代表視線位置集合再構成部１４５による代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成を全く実施しない場合は、視線位置確率密度画像出力部１４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を視線位置確率密度画像抽出部１４の出力である視線位置確率密度画像Ｘ（ｔ）として視線位置確率密度映像出力部５に出力する。
【０２５１】
視線位置確率密度映像出力部５は、入力映像に含まれる時系列の各入力画像から、基礎注目度画像抽出部１１、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、及び視線位置確率密度画像抽出部１４の処理によって抽出される視線位置確率密度画像Ｘ（ｔ）の時系列である視線位置確率密度映像を抽出して、出力する。
【０２５２】
上記に述べたとおり、第１の実施形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新することができる。
【０２５３】
また、第１の実施形態によれば、確率的基礎注目度画像抽出部１２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部１２による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
【０２５４】
なお、注目度映像抽出部１は、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５による上述の手法に代えて、下記非特許文献３、４に記載の手法でも、注目度映像を抽出することもできる。但し、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５による手法は、上述の如く並列処理に適しているため、非特許文献３、４に記載の手法に比べ、高速に計算（高速に注目度映像を抽出）することができる。
【０２５５】
（非特許文献３）Derek Pang,Akisato Kimura,Tatsuto Takeuchi,Junji Yamato and Kunio Kashino,”A stochastic model of selective visual attention with a dynamic Bayesian network,”Proc.International Conference on Multimedia and Expo (ICME2008),pp.1073−1076, Hannover,Germany,June 2008.
（非特許文献４）Akisato Kimura,Derek Pang,Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,”Dynamic Markov random fields for stochastic modeling of visual attention,”Proc.International Conference on Pattern Recognition (ICPR2008), Mo.BT8.35,Tampa, Florida,USA,December 2008.
【０２５６】
顕著領域事前確率画像抽出部２は、入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する。具体的には、顕著領域事前確率画像抽出部２は、注目度映像の一のフレームである注目度画像および顕著領域画像抽出部４によって抽出された顕著領域画像から、入力映像中の対応するフレームである入力画像の各位置が顕著領域である確率を表示する顕著領域事前確率画像を抽出する。換言すれば、顕著領域事前確率画像抽出部２は、一の入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、注目度映像抽出部１によって抽出された注目度映像内の当該入力画像に対応する画像である注目度画像および顕著領域画像抽出部４によって抽出された当該入力画像に対応する顕著領域画像に基づいて抽出する。顕著領域事前確率画像抽出部２は、抽出した顕著領域事前確率画像を特徴量尤度算出部３および顕著領域画像抽出部４に出力する。顕著領域事前確率画像抽出部２が顕著領域事前確率画像を抽出する方法は特に限定しないが、本実施形態においては、顕著領域事前確率画像生成部２１と顕著領域事前確率画像更新部２２とによって抽出する方法について説明する。
【０２５７】
顕著領域事前確率画像生成部２１は、注目度画像を入力し、注目度画像のみから顕著領域事前確率画像を生成する。顕著領域事前確率画像生成部２１が注目度画像から顕著領域事前確率画像を生成する方法は特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。
【０２５８】
顕著領域事前確率画像生成部２１は、まず、時刻ｔの注目度画像（即ち、基礎注目度画像￣Ｓ（ｔ）若しくは視線位置確率密度画像Ｘ（ｔ））が、それぞれ中心位置〜ｘｊ（ｔ）・共分散行列〜Σｓ，ｊ（ｔ）（ｊ＝１，２，・・・，Ｍｓ）を持ち、混合比が〜ηｓ，ｊ（ｔ）であるＭｓ個のガウス分布の混合によって構成されていると仮定し、そのモデルパラメータ（即ち、Ｍｓ個の中心位置、共分散行列、混合比）を注目度画像（ｂ）から推定する。推定方法の具体例は、以下の２つである。
【０２５９】
（推定方法１）
ＥＭアルゴリズムを用いて導出する。このとき、ＥＭアルゴリズムに与える各サンプルは注目度画像（ｂ）のある特定の位置ｘに対応し、位置ｘにおける画素値と等しい値の重みを持つことに注意する。ＥＭアルゴリズムによるガウス混合分布パラメータの推定は、下記式（１２６）〜下記式（１２９）をｋ＝１，２，・・・で繰り返すことによって行われ、各パラメータが収束した時点で手順を打ち切り、パラメータを固定する。
【０２６０】
【数１２６】
2010258914.tif 000128
【０２６１】
【数１２７】
2010258914.tif 000129
【０２６２】
【数１２８】
2010258914.tif 000130
【０２６３】
【数１２９】
2010258914.tif 000131
【０２６４】
ここで、ｇ（ｘ；〜ｘ，Σ）は多次元正規分布であり、次元数がＤとするときには下記式（１３０）で定義される。
【０２６５】
【数１３０】
2010258914.tif 000132
【０２６６】
また、視線位置確率密度画像Ｘ（ｔ）の位置ｘにおける画素値を、位置ｘをＥＭアルゴリズムのサンプルとみなしたときの重みとして利用していることから、ここではｗｘ（ｔ）と表現している。
【０２６７】
（推定方法２）
注目度画像の画素値の極大値をＭｓ個検出し、極大値となる位置を中心位置〜ｘｊ（ｔ）（ｊ＝１，２，・・・，Ｍｓ）として定め、その位置の注目度画像の画素値を混合比〜ηｓ，ｊ（ｔ）とする。共分散行列〜Σｓ，ｊ（ｔ）については、第１の推定方法と同様にして求めるか、予め定めておいた値を利用する。
【０２６８】
以上のようにして、顕著領域事前確率画像生成部２１は、注目度画像からガウス混合分布のモデルパラメータを推定し、顕著領域事前確率画像を生成する。具体的には、顕著領域事前確率画像生成部２１は、モデルパラメータの１つである混合比を、その最大値が１と等しくなるように正規化し、その後に各位置におけるガウス混合分布の確率を計算して、当該位置の顕著領域事前確率画像￣Ξ１（ｔ）の画素値ξ１（ｘ，ｔ）とする（下記式（１３１））。
【０２６９】
【数１３１】
2010258914.tif 000133
【０２７０】
上記の実施形態では、全ての位置においてガウス混合分布を用いた方法によって顕著領域事前確率画像を生成しているが、顕著領域が画像の中心位置に存在しやすいことを考慮した後述する第２の実施形態も可能である。即ち、この場合には、顕著領域事前確率画像を第１の実施形態と同様に生成した後、画像の左右両端もしくは上下左右の端の一定領域のピクセル値を強制的に０とする。当該方法は、画像の端に顕著領域が存在する可能性を排除することを意味している。若しくは、顕著領域事前確率画像を第１の実施形態と同様に生成した後、画像の中心位置からの距離に比例する重みを顕著領域事前確率画像に掛け合わせ、その出力を新たに顕著領域事前確率とする実施形態も考えられる。上記の通り、顕著領域事前確率画像生成部２１は、顕著領域事前確率画像￣Ξ１（ｔ）を生成し出力する。
【０２７１】
顕著領域事前確率画像更新部２２は、顕著領域画像を用いて顕著領域事前確率画像生成部２１によって生成された顕著領域事前確率画像を更新する。即ち、顕著領域事前確率画像更新部２２は、顕著領域事前確率画像生成部２１によって生成された顕著領域事前確率画像、および、顕著領域画像抽出部４によって抽出された顕著領域画像を入力し、顕著領域画像を用いて顕著領域事前確率画像を更新する。顕著領域事前確率画像更新部２２が顕著領域事前確率画像を更新する方法は特に限定しないが、本実施形態においては、カルマンフィルタの原理を利用する方法について説明する。
【０２７２】
現時点（時刻ｔ）の顕著領域事前確率画像Ξ１（ｔ）（確率変数）の位置ｘにおける画素値ξ１（ｘ，ｔ）（確率変数）が、現時点の更新前顕著領域事前確率画像￣Ξ１（ｔ）の位置ｘにおける画素値￣ξ１（ｘ，ｔ）、および、１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）の位置ｘにおける画素値ａ（ｘ，ｔ−１）について、下記式（１３２）（１３３）を満たしているものとする。
【０２７３】
【数１３２】
2010258914.tif 000134
【０２７４】
ここで、θ＝（σ１，σ２）はあらかじめ与えられるパラメータである。またｆ（・）  は、顕著領域画像の画素値を実数値に変換する関数であり、例えば、下記式（１３４）（１３５のように設定する。
【０２７５】
【数１３３】
2010258914.tif 000135
【０２７６】
このとき、顕著領域事前確率画像更新部２２は、現時点の顕著領域事前確率画像Ξ１（ｔ）の位置ｘにおける画素値ξ１（ｘ，ｔ）を、カルマンフィルタの原理を利用することにより、下記式（１３６）（１３７）によって更新する。
【０２７７】
【数１３４】
2010258914.tif 000136
【０２７８】
上記の実施形態では、各時刻の顕著領域事前確率を保持しているが、この分散を次の時刻での更新の際に利用しなくてもよい。即ち、上記式（１３６）（１３７）に、下記式（１３８）を追加してもよい。
【０２７９】
【数１３５】
2010258914.tif 000137
【０２８０】
上記の通り、顕著領域事前確率画像更新部２２は、顕著領域事前確率画像￣Ξ１（ｔ）  をΞ１（ｔ）に更新し、更新後の顕著領域事前確率画像Ξ１（ｔ）を出力する。
【０２８１】
上記の通り、顕著領域事前確率画像抽出部２は、図５に示すように、顕著領域事前確率画像Ξ１（ｔ）を抽出（生成、更新）し、出力する。
【０２８２】
特徴量尤度算出部３は、入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する。具体的には、特徴量尤度算出部３は、特徴量尤度を、入力画像、注目度画像、顕著領域事前確率画像抽出部２によって抽出された顕著領域事前確率画像、顕著領域画像抽出部４によって抽出された顕著領域画像および前回迄に算出した特徴量尤度の少なくとも１つに基づいて算出する。例えば、特徴量尤度算出部３は、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した特徴量尤度から、特徴量尤度を算出する。特徴量尤度算出部３は、算出した特徴量尤度を顕著領域画像抽出部４に出力する。特徴量尤度算出部３が徴量尤度を算出する方法は特に限定しないが、本実施形態においては、顕著領域特徴量尤度算出部３１と非顕著領域特徴量尤度算出部３２と特徴量尤度出力部３３とによって算出する方法について説明する。
【０２８３】
顕著領域特徴量尤度算出部３１は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する。顕著領域特徴量尤度算出部３１が顕著領域特徴量尤度を算出する方法は特に限定しないが、本実施形態においては、顕著領域特徴量尤度生成部３１１と顕著領域特徴量尤度更新部３１２とによって算出する方法について説明する。
【０２８４】
顕著領域特徴量尤度生成部３１１は、入力画像、顕著領域事前確率画像および顕著領域画像に基づいて顕著領域特徴量尤度を新たに生成（算出）し、出力する。顕著領域特徴量尤度生成部３１１が顕著領域特徴量尤度を生成する方法は、特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。
【０２８５】
顕著領域特徴量尤度生成部３１１は、まず、時刻ｔにおいて、顕著領域に特有の特徴量の確率分布である顕著領域特徴量確率が、それぞれ平均〜ｃｊ（ｔ）・共分散行列〜Σｆ，ｊ（ｔ）（ｊ＝  １，２，・・・，Ｍｆ）を持ち、混合比が〜ηｆ，ｊ（ｔ）であるＭｆ個のガウス分布の混合によって構成されていると仮定し、これらのモデルパラメータを、顕著領域事前確率画像の画素値で重み付けした入力画像の画素値から推定する。モデルパラメータの推定には、例えばＥＭアルゴリズムを用いる。具体的には、下記式（１３９）〜下記式（１４２）をｋ＝１，２，・・・  で繰り返すことによって行われ、各パラメータが収束した時点で手順を打ち切り、パラメータを固定する。
【０２８６】
【数１３６】
2010258914.tif 000138
【０２８７】
ここで、入力画像の位置ｘにおける画素値は、ＲＧＢの３次元ベクトルとしてｃ（ｘ，  ｔ）で表現される。上記のようにして、顕著領域特徴量尤度生成部３１１は、推定したガウス混合分布のモデルパラメータから、顕著領域特徴量尤度を算出する。具体的には、推定したモデルパラメータで特徴付けられるガウス混合分布を尤度とする下記式（１４３）によって算出する。
【０２８８】
【数１３７】
2010258914.tif 000139
【０２８９】
上記の通り、顕著領域特徴量尤度生成部３１１は、顕著領域特徴量尤度￣ψ１（ｃ，  ｔ）を生成（算出）し、出力する。
【０２９０】
顕著領域特徴量尤度更新部３１２は、顕著領域特徴量尤度生成部３１１によって生成された顕著領域特徴量尤度を更新する。具体的には、顕著領域特徴量尤度更新部３１２は、入力画像、顕著領域画像および前回迄に更新した更新後の顕著領域特徴量尤度のうち少なくとも１つに基づいて、顕著領域特徴量尤度生成部３１１によって生成された顕著領域特徴量尤度を更新する。顕著領域特徴量尤度更新部３１２が顕著領域特徴量尤度（ｅ１）を更新する方法は特に限定しないが、本実施形態においては、以下の２通りの方法を説明する。
【０２９１】
（更新方法１）
２種類の顕著領域特徴量尤度を混合することによって更新する。具体的には、求めるべき現時点（時刻ｔ）の顕著領域特徴量尤度ψ１（ｃ，ｔ）を、顕著領域特徴量尤度生成部３１１から出力された更新前の顕著領域特徴量尤度ψ１（ｃ，ｔ）、および、１時点前（時刻ｔ−１）の顕著領域特徴量尤度￣ψ１（ｃ，ｔ−１）を、あらかじめ定められた混合比λｃにて混合する下記式（１４４）によって計算する。
【０２９２】
【数１３８】
2010258914.tif 000140
【０２９３】
（更新方法２）
１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に基づいて、１時点前の顕著領域特徴量尤度ψ１（ｃ，ｔ−１）を更新した上で第１の実施形態と同様の方法を実施する。具体的には、１時点前の顕著領域画像Ａ（ｔ−１）において顕著領域であるとされた領域（下記式（１４５）によって示される顕著領域Ａｏｂｊ（ｔ））を取り出し、顕著領域Ａｏｂｊ（ｔ）にある入力画像中の画素値から、顕著領域特徴量尤度生成部３１１に示した方法と同様の方法で顕著領域特徴量尤度ψ１（ｃ，ｔ−１）を再学習する。但し、本実施形態では、重みとして、顕著領域事前確率画像に代えて顕著領域画像を用いるものとする。１時点前の顕著領域特徴量尤度ψ１（ｃ，ｔ−１）を再学習した後、第１の実施形態と同様の方法により、現在の顕著領域特徴量尤度ψ１（ｃ，ｔ）を生成する。
【０２９４】
【数１３９】
2010258914.tif 000141
【０２９５】
上記の通り、顕著領域特徴量尤度更新部３１２は、顕著領域特徴量尤度￣ψ１（ｃ，ｔ）をψ１（ｃ，ｔ）に更新し、出力する。上記の通り、顕著領域特徴量尤度算出部３１は、顕著領域特徴量尤度ψ１（ｃ，ｔ）  を算出し、出力する。
【０２９６】
非顕著領域特徴量尤度算出部３２は、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する。非顕著領域特徴量尤度算出部３２が非顕著領域特徴量尤度を算出する方法は特に限定しないが、本実施形態においては、非顕著領域特徴量尤度生成部３２１と非顕著領域特徴量尤度更新部３２２とによって算出する方法について説明する。
【０２９７】
非顕著領域特徴量尤度生成部３２１は、入力画像、顕著領域事前確率画像および顕著領域画像に基づいて非顕著領域特徴量尤度を新たに生成（算出）し、出力する。非顕著領域特徴量尤度生成部３２１が非顕著領域特徴量尤度を生成する方法は特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。当該方法は、前述の顕著領域特徴量尤度生成部３１１の方法とほぼ同様であるが、顕著領域事前確率画像に代えて、顕著領域事前確率画像Ξ１（ｔ）の各画素値ξ１（ｘ，ｔ）をある規則に従って変換して生成した画像である非顕著領域事前確率画像Ξ２（ｔ）を用いるものとする。当該変換規則として、例えば以下の２つの方法が考えられる。
【０２９８】
（方法１）
非顕著領域事前確率画像（ｆ）の位置ｘにおける画素値ξ２（ｘ，ｔ）を、１−ξ１（ｘ，ｔ）に変換する。
（方法２）
ξ１（ｘ，ｔ）＝０である位置ｘのみ、その位置の非顕著領域事前確率画像（ｆ）の画素値を１とする。それ以外の位置は、画素値を０とする。
【０２９９】
上記の通り、非顕著領域特徴量尤度生成部３２１は、非顕著領域特徴量尤度￣ψ２（ｃ，ｔ）を生成（算出）し、出力する。
【０３００】
非顕著領域特徴量尤度更新部３２２は、非顕著領域特徴量尤度生成部３２１によって生成された非顕著領域特徴量尤度を更新する。具体的には、非顕著領域特徴量尤度更新部３２２は、入力画像、非顕著領域画像および前回迄に更新した更新後の非顕著領域特徴量尤度のうち少なくとも１つに基づいて、非顕著領域特徴量尤度生成部３２１によって生成された非顕著領域特徴量尤度を更新する。なお、非顕著領域画像は、顕著領域事前確率画像抽出部２によって抽出される顕著領域外の領域に係る画像である。非顕著領域特徴量尤度更新部３２２が非顕著領域特徴量尤度を更新する方法は、顕著領域特徴量尤度更新部３１２の方法と同様である。但し、顕著領域事前確率画像に代えて非顕著領域事前確率画像を、顕著領域特徴量尤度に代えて非顕著領域特徴量尤度を、顕著領域に代えて非顕著領域（下記式（１４６）によって示される顕著領域Ａｂｋｇ（ｔ））を用いる。
【０３０１】
【数１４０】
2010258914.tif 000142
【０３０２】
上記の通り、非顕著領域特徴量尤度更新部３２２は、非顕著領域特徴量尤度ψ２（ｃ，ｔ）を更新し、更新後の非顕著領域特徴量尤度を出力する。上記の通り、非顕著領域特徴量尤度算出部３２は、非顕著領域特徴量尤度ψ２（ｃ，ｔ）を抽出し、出力する。
【０３０３】
特徴量尤度出力部３３は、顕著領域特徴量尤度および非顕著領域特徴量尤度を加算して特徴量尤度として出力する。
【０３０４】
顕著領域画像抽出部４は、入力画像、顕著領域事前確率画像および特徴量尤度から、入力画像の顕著領域を示す顕著領域画像を抽出する。顕著領域画像抽出部４は、抽出した顕著領域画像を顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域映像生成部５に出力する。顕著領域画像抽出部４が顕著領域画像を抽出する方法は特に限定しないが、本実施形態においては、非特許文献１に記載の方法を基礎としたグラフカットを用いる方法について説明する。当該方法は、顕著領域抽出グラフ生成部４１と、顕著領域抽出グラフ分割部４２とによって顕著領域画像を抽出する。
【０３０５】
顕著領域抽出グラフ生成部４１は、入力画像、顕著領域事前確率画像および特徴量尤度を入力し、顕著領域画像を抽出するためのグラフである顕著領域抽出グラフを生成し、出力する。
【０３０６】
具体的には、顕著領域抽出グラフ生成部４１は、まず、時刻ｔの顕著領域抽出グラフＧ（ｔ）の頂点として、入力画像の各位置ｘ∈Ｉに対応する頂点と、顕著領域・非顕著領域のラベルにそれぞれ対応する頂点の２種類の頂点を用意する。即ち、頂点は総計画素数＋２個となる。以降、簡単のため、各位置ｘに対応する頂点をｖｘ、顕著領域のラベルに対応する頂点をＳＯＵＲＣＥＳ、非顕著領域のラベルに対応する頂点をＳＩＮＫＴとして、それぞれ表現する。また、顕著領域抽出グラフの辺として、近傍位置に対応する頂点の間相互に配置される有向辺であるｎ−ｌｉｎｋと、ＳＯＵＲＣＥから各頂点・各頂点からＳＩＮＫにそれぞれ配置される有向辺であるｔ−ｌｉｎｋの２種類の辺を用意する。近傍としては、例えば上下左右の４近傍、若しくはさらに斜め方向を加えた８近傍を考える。このようにして、顕著領域抽出グラフは有向グラフとして、例えば図６に示すような形で構成される。
【０３０７】
次に、顕著領域抽出グラフ生成部４１は、顕著領域抽出グラフの各辺にコストを与える。ｔ−ｌｉｎｋのコストは、顕著領域事前確率画像および特徴量尤度から算出される。具体的には、ＳＯＵＲＣＥＳから頂点ｖｘへのｔ−ｌｉｎｋのコストＣ（Ｓ，ｖｘ；ｔ）は対応する非顕著領域事前確率と非顕著領域特徴量尤度の和で、頂点ｖｘからＳＩＮＫＴへのｔ−ｌｉｎｋのコストＣ（Ｔ，ｖｘ；ｔ）は、対応する顕著領域事前確率と顕著領域特徴量尤度を用いて、下記式（１４７）（１４８）のように与えられる。
【０３０８】
【数１４１】
2010258914.tif 000143
【０３０９】
一方、ｎ−ｌｉｎｋのコストは、近接画素間の輝度値の類似性に基づいて算出される。具体的には、ある２点ｖｘとｖｙとの間のｎ−ｌｉｎｋのコストＣ（ｖｘ，ｖｙ）は、下記式（１４９）で与えられる。
【０３１０】
【数１４２】
2010258914.tif 000144
【０３１１】
顕著領域抽出グラフ分割部４２は、顕著領域抽出グラフを入力し、顕著領域抽出グラフを分割することで顕著領域画像を生成し、出力する。
【０３１２】
具体的には、顕著領域抽出グラフ分割部４２は、まず、顕著領域抽出グラフに含まれる頂点を、ＳＯＵＲＣＥを含む部分集合とＳＩＮＫを含む部分集合に分割することを考える。このとき、ＳＯＵＲＣＥ側の頂点の部分集合からＳＩＮＫ側の頂点の部分集合へまたがる辺のコストが最も小さくなるように分割する。逆向き、即ち、ＳＩＮＫ側の頂点の部分集合からＳＯＵＲＣＥ側の頂点の部分集合へまたがる辺のコストは考慮しないことに注意する。このような問題は、グラフの最小カット問題と呼ばれ、グラフの最大フロー問題と等価であることが知られている。この最大フロー問題を解く方法として、非特許文献１の他、下記非特許文献５に記載の「Ford-Fulkerson algorithm」、下記非特許文献６に記載の「Goldberg-Tarjan algorithm」などが一般に広く知られている。
【０３１３】
（非特許文献５）L.R.Ford,D.R.Fulkerson:“Maximal flow through a network,”Canadial Journal of Mathematics,Vol.8,pp.399-404,1956.
（非特許文献６）A.V.Goldberg,R.E.Tarjan:“A new approach to the maximum-flow problem,”Journal of the ACM,Vol.35,pp.921-940,1988.
【０３１４】
上記の方法で顕著領域抽出グラフを分割した結果、ＳＯＵＲＣＥを含む部分グラフに属した頂点に対応する画素位置を顕著領域Ａｏｂｊ（ｔ）に、ＳＩＮＫを含む部分グラフに属した頂点に対応する画素位置を非顕著領域Ａｂｋｇ（ｔ）に所属させる。顕著領域画像は、下記式（１５０）に示すように、顕著領域に属する位置の画素値を１、非顕著領域に属する位置の画素値を０とする画像である。
【０３１５】
【数１４３】
2010258914.tif 000145
【０３１６】
上記の通り、顕著領域抽出グラフ分割部４２は、顕著領域画像Ａ（ｘ，ｔ）  を抽出し、出力する。つまり、顕著領域画像抽出部４は、顕著領域画像Ａ（ｘ，ｔ）を抽出し、この顕著領域画像を出力する。
【０３１７】
顕著領域映像生成部５は、各入力画像に対し、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を実行して得られる各顕著領域画像から顕著領域映像を生成する。換言すれば、顕著領域映像生成部５は、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を順に各入力画像に対して繰り返し実行することにより抽出された顕著領域画像の集合を入力し、集合内の顕著領域画像から構成される顕著領域映像を生成する（集合内の顕著領域画像を時系列に並べて顕著領域映像を生成する）。顕著領域映像生成部５は、生成した顕著領域映像を外部に出力する。
【０３１８】
（第２の実施形態）
以下、本発明の第２の実施形態に係る顕著領域映像生成装置１１００について図面を参照して説明する。顕著領域映像生成装置１１００は、外部から入力映像を取得し、当該入力映像を構成する各入力フレーム（各入力画像）からそれぞれの顕著領域を抽出した各顕著領域フレーム（各顕著領域画像）から構成される顕著領域映像を生成し、外部に出力する。
【０３１９】
顕著領域映像生成装置１１００は、図７に示すように、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４、顕著領域映像生成部５、平滑化画像群生成部６、顕著領域画像確定部７を備える。注目度映像抽出部１、顕著領域画像抽出部４および顕著領域映像生成部５は、第１の実施形態と同様であるため説明を省略する。
【０３２０】
平滑化画像群生成部６は、入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する。つまり、平滑化画像群生成部６は、入力画像を入力し、当該入力画像を異なる解像度によってそれぞれ平滑化した平滑化画像群を生成する。平滑化画像群生成部６は、生成した平滑化画像群を特徴量尤度算出部３、顕著領域画像抽出部４および顕著領域画像確定部７に出力する。平滑化画像群生成部６が平滑化画像群を生成する方法は特に限定しないが、本実施形態では、入力画像に対し平滑化と縮小とを繰り返す方法について説明する。
【０３２１】
平滑化画像群生成部６は、時刻ｔの平滑化画像の初期値Ｈ０（ｔ）とし、ある整数ｋについて平滑化画像Ｈｋ−１（ｔ）が与えられているとき、入力画像を所定の標準偏差パラメータσｇを有するガウス平滑化フィルタを用いて平滑化する。平滑化画像群生成部６は、ガウス平滑化フィルタを用いて平滑化した画像を、下記式（１５１）を満たす所定の倍率ａｇを用いて縮小し、平滑化画像Ｈｋ（ｔ）を生成する。
【０３２２】
【数１４４】
2010258914.tif 000146
【０３２３】
整数ｋが平滑化画像における平滑化の度合いと対応していることから、以下、整数ｋを平滑化係数と呼ぶ。上記の過程をｋ＝１，２，・・・，ｎｇ−２で繰り返すことにより、平滑化画像群を形成する（下記式（１５２））。
【０３２４】
【数１４５】
2010258914.tif 000147
【０３２５】
このとき、特にσｇ＝０，ａｇ＝１とすると、各平滑化画像が全て入力画像と同一となる。以上のように、平滑化画像群生成部６は、平滑化画像群を抽出し、出力する。
【０３２６】
顕著領域事前確率画像抽出部２は、注目度映像の一のフレームである注目度画像および顕著領域画から、入力映像中の対応するフレームである入力画像の各位置が顕著領域である確率を表示する顕著領域事前確率画像を抽出する。顕著領域事前確率画像抽出部２が顕著領域事前確率画像を抽出する方法は特に限定しないが、本実施形態においては、顕著領域事前確率画像生成部２１と、顕著領域事前確率画像更新部２２とによって抽出する方法について説明する。
【０３２７】
顕著領域事前確率画像生成部２１は、第１の実施形態と同様であるため説明を省略する。顕著領域事前確率画像更新部２２も、第１の実施形態とほぼ同様である。但し、以下の点が第１の実施形態と異なる。
【０３２８】
１.ある時刻ｔにおいて本処理を初めて実行する際、即ち、以降の特徴量尤度算出部３および顕著領域画像抽出部４において、平滑化係数最大の平滑化画像（下記式（１５３））が用いられる場合には、第１の実施形態と同様の方法で顕著領域事前確率画像（ｄ）を更新する。
【０３２９】
【数１４６】
2010258914.tif 000148
【０３３０】
２．ある時刻ｔにおいて本処理を再度実行する際、即ち、以降の特徴量尤度算出部３および顕著領域画像抽出部４において平滑化画像Ｈｋ（ｔ）（ｋ＝ｎｇ−２，ｎｇ−３，・・・・，０）が用いる場合には、以下の変更を行った上で第１の実施形態と同様の処理を行う。
（１）第１の実施形態に記載の更新式のパラメータの一つであるσ１、および、１時点前（時刻ｔ−１）顕著領域事前確率の分散（下記式（１５４））を強制的に０に置き換える。
【０３３１】
【数１４７】
2010258914.tif 000149
【０３３２】
（２）１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に代えて、平滑化係数が１つ大きい平滑化画像Ｈｋ＋１（ｔ）を用いて生成された顕著領域画像Ａ（ｔ；ｋ＋１）を用いる。
（３）顕著領域事前確率の分散（下記式（１５５））を更新せずに、平均ξ１（ｘ，ｔ）のみを第１の実施形態と同様の方法で更新する。
【０３３３】
【数１４８】
2010258914.tif 000150
【０３３４】
３．入力として平滑化係数ｋの平滑化画像Ｈｋ（ｔ）を用いたことを明確にするため、出力である顕著領域事前確率画像をΞ１（ｔ；ｋ）と表記する。
【０３３５】
特徴量尤度算出部３も、第１の実施形態とほぼ同様である。但し、以下の点が第１の実施形態と異なる。
１．入力画像に代えて平滑化画像Ｈｋ（ｔ）（ｋ＝ｎｇ−１，ｎｇ−２，・・・，０）  のうち１つを用いてもよい。このとき、時刻ｔにおいて本処理をｊ（ｊ＝１，２，・・・，ｎｇ）回目に実行するときには、平滑化係数ｋ＝ｎｇ−ｊの平滑化画像（下記式１５６）が用いられる。このことは、平滑化係数が大きい平滑化画像から順に用いられることを意味する。
【０３３６】
【数１４９】
2010258914.tif 000151
【０３３７】
２．ある時刻ｔにおいて本処理を初めて実行する際、即ち、平滑化係数ｎｇ−１の平滑化画像Ｈｎｇ−１（ｔ）が入力として用いられる場合には、第１項目以外は第１の実施形態と同様である。
３．ある時刻ｔにおいて本処理を再度実行する際、即ち、平滑化係数ｋ（ｋ＝ｎｇ−２，ｎｇ−１，・・・，０）の平滑化画像Ｈｋ（ｔ）が入力として用いられる場合には、以下を用いる。
（１）１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に代えて、現時点（時刻ｔ）で平滑化係数が１つ大きい平滑化画像Ｈｋ＋１（ｔ）を用いて生成された顕著領域画像Ａ（ｔ；ｋ＋１）を用いる。
（２）１時点前の顕著領域特徴量尤度ψ１（ｃ，ｔ−１）に代えて、現時点で平滑化係数が１つ大きい平滑化画像Ｈｋ＋１（ｔ）を用いて生成された顕著領域特徴量尤度ψ１（ｃ，ｔ；ｋ＋１）を用いる。
（３）１時点前の非顕著領域特徴量尤度ψ２（ｃ，ｔ−１）に代えて、現時点で平滑化係数が１つ大きい平滑化画像Ｈｋ＋１（ｔ）を用いて生成された非顕著領域特徴量尤度ψ２（ｃ，ｔ；ｋ＋１）を用いる。
４．入力として平滑化係数ｋの平滑化画像Ｈｋ（ｔ）を用いたことを明確にするため、出力である顕著領域特徴量尤度をψ１（ｔ；ｋ）、非顕著領域特徴量尤度をψ２（ｔ；ｋ）と表記する。
【０３３８】
顕著領域画像確定部７は、平準化画像群に対し、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４の処理を実行し、入力画像の顕著領域画像を確定する。即ち、顕著領域画像確定部７は、平滑化係数ｋの平滑化画像Ｈｋ（ｔ）に対し、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を順に実行し、抽出された顕著領域画像Ａ（ｔ；ｋ）を入力し、１つ前のステップで抽出された顕著領域画像Ａ（ｔ；ｋ＋１）からの変化がない場合には、現時点（時刻ｔ）の入力画像に対しての最終的な顕著領域画像を確定し、この顕著領域画像Ａ（ｔ）＝  Ａ（ｔ；ｋ）を出力し、変化がある場合には、ｋを１つ小さくして、再度顕著領域事前確率画像抽出部２に戻る。
【０３３９】
図８は、顕著領域映像生成装置１０００による顕著領域映像の生成結果（顕著領域の抽出結果）である。なお、入力映像は、６４０×４８０ピクセル、３０〜９０秒、各パラメータの数値は、σ１＝０．０．３１、σ２＝０．０３７、Ｍｆ＝５、λｃ＝０．２５、λｉ＝１００、σ＝０、１である。図８において、第１行および第３行は入力映像、第２行は第１行に対応する顕著領域の抽出結果、第４行は第３行に対応する顕著領域の抽出結果である。図８に示すように、顕著領域映像生成装置１０００によれば、適切に顕著領域が抽出され、その境界もほぼ完全である。
【０３４０】
図９は、顕著領域映像生成装置１０００による方法と、顕著領域映像生成装置１０００から顕著領域事前確率画像更新部２２、顕著領域特徴量尤度更新部３１２および非顕著領域特徴量尤度更新部３２２を取り除いた方法、即ち、顕著領域事前確率画像および特徴量尤度を逐次的に更新しない方法との比較である。図９に示すように、顕著領域事前確率画像および特徴量尤度を逐次的に更新しない方法では分割結果がフレームによって大きく異なるが、顕著領域映像生成装置１０００による方法では安定して画像分割ができる。
【０３４１】
以上の説明したように、本発明では、主に以下の２点により、上記の映像顕著領域抽出方法を実現している。
【０３４２】
（１）注目度映像抽出部１による、人間の視覚機構を模擬したモデルに基づく映像顕著性の算出、並びに、顕著領域事前確率画像生成部２１および顕著領域特徴量尤度算出部３１による、映像顕著性に基づく顕著領域、非顕著領域に関する事前情報の生成
（２）顕著領域事前確率画像更新部２２および非顕著領域特徴量尤度算出部３２による、顕著領域、非顕著領域に関する事前情報の逐次更新
物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域、背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。
【０３４３】
これにより、物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域・背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。
【０３４４】
なお、顕著領域映像生成装置１０００、１１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、顕著領域映像生成装置１０００、１１００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０３４５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０３４６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０３４７】
１  注目度映像抽出部  ２  顕著領域事前確率画像抽出部  ３  特徴量尤度算出部  ４顕著領域画像抽出部  ５  顕著領域映像生成部  ６  平滑化画像群生成部  ７  顕著領域画像確定部  １１  基礎注目度画像抽出部  １２  確率的基礎注目度画像抽出部  １３  確率的基礎注目度母数逐次推定部  １４  視線位置確率密度画像抽出部  １５  視線位置確率密度映像出力部  ２１  顕著領域事前確率画像生成部  ２２  顕著領域事前確率画像更新部  ３１  顕著領域特徴量尤度算出部  ３２  非顕著領域特徴量尤度算出部  ３３  特徴量尤度出力部  ４１  顕著領域抽出グラフ生成部  ４２  顕著領域抽出グラフ分割部  １４１  視線移動状態変数更新部  １４２  代表視線位置更新部  １４３  代表視線位置重み係数算出部  １４４  視線位置確率密度画像出力部  １４５代表視線位置集合再構成部  ３１１  顕著領域特徴量尤度生成部  ３１２  顕著領域特徴量尤度更新部  ３２１  非顕著領域特徴量尤度生成部  ３２２  非顕著領域特徴量尤度更新部  １０００、１１００  顕著領域映像生成装置
【図２】
2010258914.tif 000152
【図３】
2010258914.tif 000153
【図４】
2010258914.tif 000154
【図６】
2010258914.tif 000155
【図７】
2010258914.tif 000156
【図１】
2010258914.tif 000157
【図５】
2010258914.tif 000158
【図８】
2010258914.tif 000159
【図９】
2010258914.tif 000160