(57)【要約】【課題】正確、かつ、高速に視線位置の推定をすることができる視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体を提供する。【解決手段】入力映像のフレームである入力画像の中で顕著な特性を持つ空間領域を表示した基礎注目度画像を算出する過程と、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した確率的基礎注目度画像を、基礎注目度画像と、前回の確率的基礎注目度画像と、逐次更新される確率的基礎注目度母数とに基づいて算出する過程と、現在の入力画像における視線位置確率密度映像のフレームである視線位置確率密度画像を、確率的基礎注目度画像と、前回の視線位置確率密度画像と、逐次更新される視線位置確率密度母数とに基づいて算出する過程と、上述の各過程によって算出される時系列の視線位置確率密度画像を視線位置確率密度映像として出力する過程と、を有する。【選択図】図１
2010257344.tif 000002
【特許請求の範囲】
【請求項１】
ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定方法において、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
を有し、
前記視線位置確率密度画像抽出過程は、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、
前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、
を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
ことを特徴とする視線位置推定方法。
【請求項２】
前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程、
を更に有し、
前記確率的基礎注目度画像抽出過程は、
前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、
前記視線位置確率密度映像出力過程は、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、
ことを特徴とする請求項１に記載の視線位置推定方法。
【請求項３】
前記視線位置確率密度画像抽出過程は、更に、
前記代表視線位置更新過程によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新過程から出力された視線移動状態変数集合を、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成過程、
を有することを特徴とする請求項１または請求項２に記載の視線位置推定方法。
【請求項４】
ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、
前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定過程によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、
を更に有し、
前記確率的基礎注目度画像抽出過程は、
前記確率的基礎注目度母数推定過程が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、
前記視線位置確率密度画像抽出過程は、
前記視線位置確率密度母数推定過程が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、
ことを特徴とする請求項１から請求項３のいずれか１の項に記載の視線位置推定方法。
【請求項５】
前記確率的基礎注目度母数推定過程は、
前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出過程と、
前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、
前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定過程と、
前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、前記確率的基礎注目度推定過程によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新過程と、
前記確率的基礎注目度推定過程と、前記推定確率的基礎注目度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、
を有することを特徴とする請求項４に記載の視線位置推定方法。
【請求項６】
前記視線位置確率密度母数推定過程は、
前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、
前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定過程と、
前記学習映像、前記視線位置系列、及び視線移動状態変数推定過程によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、
前記視線移動状態変数推定過程と、前記推定視線位置確率密度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、
を有することを特徴とする請求項４または請求項５に記載の視線位置推定方法。
【請求項７】
ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置において、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、
前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、
を備え、
前記視線位置確率密度画像抽出部は、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、
前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と、
を備え、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
ことを特徴とする視線位置推定装置。
【請求項８】
前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部、
を更に備え、
前記確率的基礎注目度画像抽出部は、
前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、
前記視線位置確率密度映像出力部は、
前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、
ことを特徴とする請求項７に記載の視線位置推定装置。
【請求項９】
前記視線位置確率密度画像抽出部は、更に、
前記代表視線位置更新部によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新部から出力された視線移動状態変数集合を、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成部、
を備えることを特徴とする請求項７または請求項８に記載の視線位置推定装置。
【請求項１０】
ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定部と、
前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定部によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定部と、
を更に備え、
前記確率的基礎注目度画像抽出部は、
前記確率的基礎注目度母数推定部が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、
前記視線位置確率密度画像抽出部は、
前記視線位置確率密度母数推定部が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、
ことを特徴とする請求項７から請求項９のいずれか１の項に記載の視線位置推定装置。
【請求項１１】
前記確率的基礎注目度母数推定部は、
前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出部と、
前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定部と、
前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定部と、
前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、前記確率的基礎注目度推定部によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新部と、
前記確率的基礎注目度推定部と、前記推定確率的基礎注目度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定部と、
を備えることを特徴とする請求項１０に記載の視線位置推定装置。
【請求項１２】
前記視線位置確率密度母数推定部は、
前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定部と、
前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定部と、
前記学習映像、前記視線位置系列、及び視線移動状態変数推定部によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新部と、
前記視線移動状態変数推定部と、前記推定視線位置確率密度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定部と、
を備えることを特徴とする請求項１０または請求項１１に記載の視線位置推定装置。
【請求項１３】
ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
を実行させ、
前記視線位置確率密度画像抽出ステップは、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、
前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、
を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
ことを特徴とするプログラム。
【請求項１４】
ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
を実行させ、
前記視線位置確率密度画像抽出ステップは、
視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、
視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、
それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、
前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、
を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、
ためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に基づいて視線位置を推定する視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
人間は、視覚的注意と呼ばれるメカニズムにより、網膜に写る映像の中から重要と思われる情報を瞬時に判断して、効率的に情報を獲得している。これら人間の視覚特性を計算機上で模擬することで、人間と同様に重要度に応じて情報を能動的に取捨選択する人工的な視覚システムの構築が期待される。
【０００３】
人間の視覚特性に基づいた視覚的注意の情報を計算機上に模擬する方法として、非特許文献１及び２に記載の方法などの技術が考案されている。非特許文献１及び２で開示されている方法は、人間の視覚的注意を確率的挙動としてモデル化し、入力された映像の各時刻・各位置について、人間が視線を向ける確率を映像のみから推定する技術である。
【０００４】
また、視覚特性に基づく視覚的注意の計算モデルに関して、非特許文献３に記載の方法などいくつかの方法が提案されている。非特許文献３に記載されている方法では、画像・映像の各時刻・各位置について、人間にとって重要と感じられる度合を注目度として数値化し、前記注目度の大きい順に視覚的注意が向けられる（すなわち、視線が向けられる）位置が決定されることを仮定している。
【０００５】
また、特許文献１には、視覚的注意の情報を注目度の時間的変動を考慮して算出する具体的な方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３６１５号公報
【非特許文献】
【０００７】
【非特許文献１】Derek Pang, Akisato Kimura, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,”A stochastic model of selective visual attention with a dynamic Bayesian network,” Proc. International Conference on Multimedia and Expo (ICME2008), pp.1073-1076, Hannover, Germany, June 2008.
【非特許文献２】Akisato Kimura, Derek Pang, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,”Dynamic Markov random fields for stochastic modeling of visual attention,” Proc. International Conference on Pattern Recognition (ICPR2008), Mo.BT8.35, Tampa, Florida, USA, December 2008.
【非特許文献３】L. Itti et al. “A model of saliency-based visual attention for rapid scene analysis,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 20, Number 11, pp.1254-1259,November 1998.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１及び２で開示されている方法は、予めモデルのパラメータを学習しておく必要がある。また、モデルのパラメータを学習する際に用いられる映像は、一般に入力される映像とは異なっており、入力された映像の統計的性質も異なることが想定される。この映像の統計的性質の違いに対応するために、数多くの映像を入力して学習することもできるが、入力する映像の量に応じて学習に要する計算（処理）時間も増加してしまうという問題がある。
【０００９】
また、非特許文献１及び２で開示されている方法は、視線位置推定そのものに要する処理時間も長いという問題がある。例えば、視線位置推定の全体の処理において、映像１フレーム当たり０．８秒から１．０秒の処理時間を要する。
【００１０】
また、同一の映像を視聴したとしても、人によって視線が向く位置や順序が異なることが自然であり、例え同一人物であったとしても、視線が向く位置や順序が常に一定となるとは考えにくい。しかしながら、非特許文献３に記載の方法では、ある映像を視聴したときに視線が向けられる位置が前記注目度の大きい順に決定され、その位置や順序が常に一定となるため、正確な視線位置推定が難しいという問題点がある。
【００１１】
本発明は、上記の課題認識に基づいてなされたものであり、入力された映像に対して確率密度のサンプル表現及びその表現を用いることによって、正確、かつ、高速に視線位置の推定をすることができる視線位置推定方法、視線位置推定装置、プログラム、及び記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記の課題を解決するため、本発明の視線位置推定方法は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定方法において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を有し、前記視線位置確率密度画像抽出過程は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
【００１３】
また、本発明の視線位置推定方法は、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程、を更に有し、前記確率的基礎注目度画像抽出過程は、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、前記視線位置確率密度映像出力過程は、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、ことを特徴とする。
【００１４】
また、本発明の前記視線位置確率密度画像抽出過程は、更に、前記代表視線位置更新過程によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新過程から出力された視線移動状態変数集合を、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成過程、を有することを特徴とする。
【００１５】
また、本発明の視線位置推定方法は、ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定過程によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、を更に有し、前記確率的基礎注目度画像抽出過程は、前記確率的基礎注目度母数推定過程が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、前記視線位置確率密度画像抽出過程は、前記視線位置確率密度母数推定過程が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、ことを特徴とする。
【００１６】
また、本発明の前記確率的基礎注目度母数推定過程は、前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出過程と、前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定過程と、前記学習用基礎注目度映像抽出過程によって算出された基礎注目度映像と、前記確率的基礎注目度推定過程によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新過程と、前記確率的基礎注目度推定過程と、前記推定確率的基礎注目度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、を有することを特徴とする。
【００１７】
また、本発明の前記視線位置確率密度母数推定過程は、前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定過程と、前記学習映像、前記視線位置系列、及び視線移動状態変数推定過程によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、前記視線移動状態変数推定過程と、前記推定視線位置確率密度母数更新過程とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、を有することを特徴とする。
【００１８】
また、本発明の視線位置推定装置は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、を備え、前記視線位置確率密度画像抽出部は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と、を備え、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
【００１９】
また、本発明の視線位置推定装置は、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部、を更に備え、前記確率的基礎注目度画像抽出部は、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出し、前記視線位置確率密度映像出力部は、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する、ことを特徴とする。
【００２０】
また、本発明の前記視線位置確率密度画像抽出部は、更に、前記代表視線位置更新部によって更新された代表視線位置集合、もしくは前記代表視線位置集合に加えて前記視線移動状態変数更新部から出力された視線移動状態変数集合を、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合が示す重み配分に基づいて、前記視線位置確率密度画像を再構成する代表視線位置集合再構成部、を備えることを特徴とする。
【００２１】
また、本発明の視線位置推定装置は、ある与えられた映像である学習映像、もしくは前記学習映像と、前記学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列とに基づいて、予め定められた基準において最適となる確率的基礎注目度母数を推定した推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定部と、前記学習映像及び前記視線位置系列、もしくは前記学習映像と前記視線位置系列と、前記確率的基礎注目度母数推定部によって算出された推定確率的基礎注目度母数を事前に与えられた前記確率的基礎注目度母数として用いることによって、予め定められた基準において最適となる視線位置確率密度母数を、前記学習映像から抽出された確率的基礎注目度画像に基づいて推定した推定視線位置確率密度母数を算出する視線位置確率密度母数推定部と、を更に備え、前記確率的基礎注目度画像抽出部は、前記確率的基礎注目度母数推定部が推定した推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えた、もしくは前記確率的基礎注目度母数に前記推定確率的基礎注目度母数を加えた確率的基礎注目度母数に基づいて、前記確率的基礎注目度画像を算出し、前記視線位置確率密度画像抽出部は、前記視線位置確率密度母数推定部が推定した推定視線位置確率密度母数を前記視線位置確率密度母数に替えた、もしくは前記視線位置確率密度母数に前記推定視線位置確率密度母数を加えた視線位置確率密度母数に基づいて、前記視線位置確率密度画像を算出する、ことを特徴とする。
【００２２】
また、本発明の前記確率的基礎注目度母数推定部は、前記学習映像のフレームである学習画像に基づいて、該学習画像の中で顕著な特性を持つ空間領域の算出を順に繰り返して行うことにより、時系列の基礎注目度画像を基礎注目度映像として算出する学習用基礎注目度映像抽出部と、前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定部と、前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、現在の前記推定確率的基礎注目度母数とに基づいて、予め定められた基準において最適となるように推定された時系列の確率的基礎注目度画像を推定確率的基礎注目度映像として算出する確率的基礎注目度推定部と、前記学習用基礎注目度映像抽出部によって算出された基礎注目度映像と、前記確率的基礎注目度推定部によって算出された推定確率的基礎注目度映像とに基づいて、予め定められた基準において最適となるように前記推定確率的基礎注目度母数の初期値または現在の前記推定確率的基礎注目度母数を更新する推定確率的基礎注目度母数更新部と、前記確率的基礎注目度推定部と、前記推定確率的基礎注目度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定部と、を備えることを特徴とする。
【００２３】
また、本発明の前記視線位置確率密度母数推定部は、前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定部と、前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数に基づいて、予め定められた基準において最適となるように推定された時系列の視線移動状態変数を推定視線移動状態変数系列、もしくは推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を算出する視線移動状態変数推定部と、前記学習映像、前記視線位置系列、及び視線移動状態変数推定部によって算出された前記推定視線移動状態変数系列もしくは前記推定視線移動状態変数確率密度系列に基づいて、予め定められた基準において最適となるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新部と、前記視線移動状態変数推定部と、前記推定視線位置確率密度母数更新部とを、予め定められた基準を満たすまで繰り返し行うことにより前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定部と、を備えることを特徴とする。
【００２４】
また、本発明のプログラムは、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させ、前記視線位置確率密度画像抽出ステップは、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ことを特徴とする。
【００２５】
また、本発明の記録媒体は、ある与えられた映像である入力映像に基づいて、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させ、前記視線位置確率密度画像抽出ステップは、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新ステップによって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新ステップと、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新ステップと、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前記代表視線位置更新ステップによって更新された代表視線位置集合と、前記視線移動状態変数更新ステップから出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出ステップと、前記代表視線位置更新ステップによって更新された代表視線位置集合と、代表視線位置重み係数算出ステップによって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力ステップと、を実行させ、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する、ためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２６】
本発明によれば、入力された映像に対して確率密度のサンプル表現及びその表現を用いることができる。また、複数コアを有する計算機や画像処理ハードウェアなど、並列処理を実行可能な計算機への適用が可能となる。このことによって、視線位置の推定処理を正確、かつ、高速に行うことができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態による視線位置推定装置の概略構成を示したブロック図である。
【図２】本発明の第２の実施形態による視線位置推定装置の概略構成を示したブロック図である。
【図３】従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。
【図４】従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。
【図５】従来の視線位置推定による視線位置推定の評価値と本発明の視線位置推定による視線位置推定の評価値との比較をしたグラフである。
【図６】本発明の実施形態による視線位置の推定結果の一例を示した図である。
【図７】本発明の実施形態による視線位置の推定結果の一例を示した図である。
【発明を実施するための形態】
【００２８】
＜第１実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態による視線位置推定装置１００の概略構成を示したブロック図である。図１において、視線位置推定装置１００は、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、視線位置確率密度映像出力部５から構成される。
視線位置推定装置１００は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置１００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
【００２９】
基礎注目度画像抽出部１は、入力された入力映像から視線位置推定を行う入力画像（フレーム）を取り出す。また、基礎注目度画像抽出部１は、取り出した入力画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像を確率的基礎注目度画像抽出部２及び確率的基礎注目度母数逐次推定部３に出力する。
【００３０】
基礎注目度画像抽出部１における基礎注目度画像の抽出処理は、特許文献１に記載されている基礎注目度画像抽出部１の処理と同様であるため、処理内容の詳細な説明は省略する。ただし、本実施形態では、時刻ｉの入力画像から算出する基礎注目度画像を数式（１）（以下、「基礎注目度画像￣Ｓ（ｉ）」と表す）とする。
【００３１】
【数１】
2010257344.tif 000003
【００３２】
確率的基礎注目度画像抽出部２は、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を抽出する。なお、確率的基礎注目度画像抽出部２による確率的基礎注目度画像Ｓ（ｔ）の抽出は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、該確率的基礎注目度画像抽出部２が算出したこれまでの確率的基礎注目度画像Ｓ（ｔ）、及び確率的基礎注目度母数Θｓ（ｔ）に基づいて行われる。
また、確率的基礎注目度画像抽出部２によって抽出される確率的基礎注目度画像Ｓ（ｔ）は、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値である数式（２）（以下、「期待値＾ｓ（ｔ，ｙ｜ｔ）」と表す）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像である。
【００３３】
【数２】
2010257344.tif 000004
【００３４】
また、確率的基礎注目度画像抽出部２は、抽出した確率的基礎注目度画像Ｓ（ｔ）を視線位置確率密度画像抽出部４及び確率的基礎注目度母数逐次推定部３に出力する。
なお、確率的基礎注目度画像抽出部２には、確率的基礎注目度母数逐次推定部３によって更新された確率的基礎注目度母数Θｓ（ｔ＋１）が入力される。
【００３５】
確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出は、非特許文献１、２に記載されている手法によって算出することができる。また、確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出方法は、特に限定されるものではないが、一例として、カルマンフィルタを用いた推定方法について述べる。
【００３６】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像である数式（３）（以下、「基礎注目度画像￣Ｓ（ｔ）」と表す）の位置ｙにおける画素値である数式（４）（以下、「画素値￣ｓ（ｔ，ｙ）」と表す）、及び１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）について、下式（５）、（６）のような関係式を満たしているものとする。
【００３７】
【数３】
2010257344.tif 000005
【００３８】
【数４】
2010257344.tif 000006
【００３９】
【数５】
2010257344.tif 000007
【００４０】
【数６】
2010257344.tif 000008
【００４１】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（７）のように与えられているものとする。
【００４２】
【数７】
2010257344.tif 000009
【００４３】
また、上式（５）、（６）において、ｐ（ａ｜ｂ）は、ｂが与えられたときのａの確率密度を示す。また、数式（８）は期待値が数式（９）で標準偏差がσである正規分布に従うｓの確率密度を示し、下式（１０）のように表される。
【００４４】
【数８】
2010257344.tif 000010
【００４５】
【数９】
2010257344.tif 000011
【００４６】
【数１０】
2010257344.tif 000012
【００４７】
以降の説明においては、画素値￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度と呼ぶこととする。また、同様に、確率的基礎注目度ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度と呼ぶこととする。また、特に必要な場合を除いて、位置ｙを省略するものとする。例えば、ｓ（ｔ，ｙ）をｓ（ｔ）と表す。
【００４８】
続いて、１時点前の確率的基礎注目度ｓ（ｔ−１）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（１１）のような確率密度を用いた表現にて抽出されているものとする。
【００４９】
【数１１】
2010257344.tif 000013
【００５０】
上式（１１）において、数式（１２）は、時刻ｔ１から時刻ｔ２までの基礎注目度の系列、数式（１３）は時刻１から時刻ｔ２までの基礎注目度である数式（１４）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の期待値、σｓ（ｔ１｜ｔ２）は、この時の標準偏差を示す。
【００５１】
【数１２】
2010257344.tif 000014
【００５２】
【数１３】
2010257344.tif 000015
【００５３】
【数１４】
2010257344.tif 000016
【００５４】
このとき、確率的基礎注目度画像抽出部２は、現在の確率的基礎注目度ｓ（ｔ）の下式（１５）に示す確率密度における期待値である数式（１６）（以下、「期待値＾ｓ（ｔ｜ｔ）」と表す）及び標準偏差σｓ（ｔ｜ｔ）を、下式（１７）、（１８）のようにして更新する。
【００５５】
【数１５】
2010257344.tif 000017
【００５６】
【数１６】
2010257344.tif 000018
【００５７】
【数１７】
2010257344.tif 000019
【００５８】
【数１８】
2010257344.tif 000020
【００５９】
なお、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ｜ｔ）及び標準偏差σｓ（ｔ｜ｔ）の更新は、画像中の各位置で独立して実行することができる。
【００６０】
また、上式（６）に替えて、下式（１９）のような関係式を用いることによって、入力画像の各位置における動き成分を考慮した実施形態とすることも可能である。
【００６１】
【数１９】
2010257344.tif 000021
【００６２】
上式（１９）において、Δｙ（ｔ）は時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、特許文献１に記載されている運動特徴画像抽出部１１５と同様の方法を用いる。
【００６３】
上記に述べたカルマンフィルタを用いた推定方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向で独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、動的マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度ｓ（ｔ，ｙ）を解析的に導出する場合について述べる。
【００６４】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおける画素値￣ｓ（ｔ，ｙ）、１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置である数式（２０）における現在の確率的基礎注目度画像Ｓ（ｔ）の画素値である数式（２１）について、下式（２２）〜（２６）のような関係式を満たしているものとする。
【００６５】
【数２０】
2010257344.tif 000022
【００６６】
【数２１】
2010257344.tif 000023
【００６７】
【数２２】
2010257344.tif 000024
【００６８】
【数２３】
2010257344.tif 000025
【００６９】
【数２４】
2010257344.tif 000026
【００７０】
【数２５】
2010257344.tif 000027
【００７１】
【数２６】
2010257344.tif 000028
【００７２】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（２７）のように再定義されているものとする。
【００７３】
【数２７】
2010257344.tif 000029
【００７４】
近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４点、もしくはさらに斜め位置４点を加えた８点、などが考えられる。
【００７５】
続いて、上述したカルマンフィルタを用いた推定方法と同様に、１時点前の確率的基礎注目度ｓ（ｔ−１，ｙ）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（２８）のような確率密度を用いた表現にて抽出されているものとする。
【００７６】
【数２８】
2010257344.tif 000030
【００７７】
上式（２８）において、数式（２９）は、時刻ｔ２までの基礎注目度画像である数式（３０）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の期待値、σｓ（ｔ１，ｙ｜ｔ２）は、この時の標準偏差を示す。
【００７８】
【数２９】
2010257344.tif 000031
【００７９】
【数３０】
2010257344.tif 000032
【００８０】
このとき、確率的基礎注目度画像抽出部２は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の下式（３１）に示す確率密度における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。
【００８１】
【数３１】
2010257344.tif 000033
【００８２】
また、確率的基礎注目度画像抽出部２による更新は、繰り返し計算を用いた下式（３２）〜（３７）の方法によって行われる。
【００８３】
【数３２】
2010257344.tif 000034
【００８４】
【数３３】
2010257344.tif 000035
【００８５】
【数３４】
2010257344.tif 000036
【００８６】
【数３５】
2010257344.tif 000037
【００８７】
【数３６】
2010257344.tif 000038
【００８８】
【数３７】
2010257344.tif 000039
【００８９】
上式（３２）〜（３７）において、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数を示す。また、上式（３２）〜（３７）を用いた計算において、上式（３５）に示すような無限ステップの繰り返しは不可能であるため、実際には、第ｌ＋１ステップの出力である数式（３８）と第ｌステップの出力である数式（３９）との差が十分小さくなった時点で繰り返し計算を打ち切ることとする。
【００９０】
【数３８】
2010257344.tif 000040
【００９１】
【数３９】
2010257344.tif 000041
【００９２】
また、ステップに関するインデックスｌを固定したとき、上式（３４）に示す更新は、画像の各位置において独立に算出することができる。また、それ以外の更新式については、時刻ｔを固定することによって、同様に画像の各位置において独立に算出することができる。
このことによって、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）の更新は、上述したカルマンフィルタを用いた推定方法と同様に、画像中の各位置で独立して実行することができ、これらの更新処理を容易に並列化できる。
【００９３】
確率的基礎注目度母数逐次推定部３は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、及び事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）に基づいて、確率的基礎注目度母数Θｓ（ｔ）を逐次的に更新する。
また、確率的基礎注目度母数逐次推定部３は、更新した確率的基礎注目度母数Θｓ（ｔ＋１）を確率的基礎注目度画像抽出部２に出力する。
【００９４】
なお、確率的基礎注目度母数逐次推定部３は、確率的基礎注目度母数Θｓ（ｔ）を更新していない場合は、事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数Θｓ（ｔ＋１）として確率的基礎注目度画像抽出部２に出力する。すなわち、確率的基礎注目度画像抽出部２から確率的基礎注目度画像Ｓ（ｔ）が入力されていない初期段階では、確率的基礎注目度母数Θｓ（ｔ）の更新ができないため、入力された確率的基礎注目度母数Θｓ（ｔ）をそのまま確率的基礎注目度画像抽出部２に出力する。
【００９５】
確率的基礎注目度母数逐次推定部３における確率的基礎注目度母数Θｓ（ｔ＋１）の推定方法は特に限定されるものではないが、本実施形態においては、適応カルマンフィルタを用いた推定方法について述べる。
【００９６】
確率的基礎注目度母数逐次推定部３において、次の時刻ｔ＋１で用いられる確率的基礎注目度母数Θｓ（ｔ＋１）を、下式（４０）に示す。
【００９７】
【数４０】
2010257344.tif 000042
【００９８】
確率的基礎注目度母数逐次推定部３は、既に基礎注目度画像抽出部１によって算出されている基礎注目度画像￣Ｓ（ｉ）、及び確率的基礎注目度画像抽出部２によって算出されている確率的基礎注目度画像Ｓ（ｔ）を構成する確率的基礎注目度の期待値及び標準偏差を用いて、下式（４１）〜（４８）のように計算する。
【００９９】
【数４１】
2010257344.tif 000043
【０１００】
【数４２】
2010257344.tif 000044
【０１０１】
【数４３】
2010257344.tif 000045
【０１０２】
【数４４】
2010257344.tif 000046
【０１０３】
【数４５】
2010257344.tif 000047
【０１０４】
【数４６】
2010257344.tif 000048
【０１０５】
【数４７】
2010257344.tif 000049
【０１０６】
【数４８】
2010257344.tif 000050
【０１０７】
上式（４１）〜（４８）において、数式（４９）（以下、「￣σｓ１」と表す）及び数式（５０）（以下、「￣σｓ２」と表す）は基本確率的基礎注目度母数であり、予め定めておく、もしくは事前に学習によって算出しておくものである。
【０１０８】
【数４９】
2010257344.tif 000051
【０１０９】
【数５０】
2010257344.tif 000052
【０１１０】
また、λｓ１及びλｓ２は予め定められた母数の混合比であり、これらの数値を適切に定めることで、逐次更新で獲得した母数である数式（５１），数式（５２）と、予め定めておいた母数￣σｓ１，￣σｓ２とのバランスを制御することができる。
【０１１１】
【数５１】
2010257344.tif 000053
【０１１２】
【数５２】
2010257344.tif 000054
【０１１３】
なお、λｓ１＝λｓ２＝０とすることにより、確率的基礎注目度母数逐次推定部３による確率的基礎注目度母数Θｓ（ｔ＋１）の推定処理を行わないことと等価になる。また、Ｎｓは過去の情報を保持するバッファの時間長である。
【０１１４】
視線位置確率密度画像抽出部４は、視線移動状態変数更新部４１、代表視線位置更新部４２、代表視線位置重み係数算出部４３、視線位置確率密度画像出力部４４、代表視線位置集合再構成部４５から構成される。
視線位置確率密度画像抽出部４は、視線位置確率密度映像を構成するフレームである視線位置確率密度画像Ｘ（ｔ）を抽出する。なお、視線位置確率密度画像抽出部４による視線位置確率密度画像Ｘ（ｔ）の抽出は、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、該視線位置確率密度画像抽出部４が抽出したこれまでの視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて行われる。
また、視線位置確率密度画像抽出部４は、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
【０１１５】
視線移動状態変数更新部４１は、代表視線位置集合再構成部４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている視線移動の大きさを制御する確率変数である視線移動状態変数ｕ（ｔ）を更新する。
また、視線移動状態変数更新部４１は、更新した視線移動状態変数ｕ（ｔ）の集合である視線移動状態変数集合Ｕ（ｔ）を代表視線位置更新部４２及び代表視線位置集合再構成部４５に出力する。
【０１１６】
視線移動状態変数更新部４１における視線移動状態確率変数集合Ｕ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０１１７】
まず、代表視線位置集合再構成部４５の出力の一部として、１時点前（時刻ｔ−１）の視線移動状態変数集合Ｕ（ｔ−１）が、下式（５３）のように与えられているものとする。
【０１１８】
【数５３】
2010257344.tif 000055
【０１１９】
上式（５３）において、Ｎｕは視線移動状態変数集合の要素数、すなわち視線移動状態変数のサンプル数を示す。また、各視線移動状態変数はｍｕ通りの値（１，２，・・・，ｍｕ）のいずれかを取るものとする。
【０１２０】
このとき、各視線移動状態変数のサンプルｕｎ（ｔ−１）から、視線位置確率密度母数Θｘ（ｔ）の１つである視線移動遷移確率行列Φ＝｛φ（ｉ，ｊ）｝（ｉ，ｊ）に基づいて、現在の視線移動状態変数のサンプルｕｎ（ｔ）をランダムに生成する。視線移動遷移確率行列はｍｕ行ｍｕ列の行列によって表現され、ｉ行ｊ列の要素φ（ｉ，ｊ）によって、状態ｊから状態ｉへ遷移する確率を表現している。よって、Φは下式（５４）に示すような性質を満たす。
【０１２１】
【数５４】
2010257344.tif 000056
【０１２２】
すなわち、上述のようにして生成した視線移動状態変数のサンプルｕｎ（ｔ）の集合である数式（５５）が、現在の視線移動状態変数集合Ｕ（ｔ）となる。
なお、現在の視線移動状態変数集合Ｕ（ｔ）に含まれる視線移動状態変数のサンプルｕｎ（ｔ）の経験確率分布が、視線移動状態変数の生起確率の近似となっている。
【０１２３】
【数５５】
2010257344.tif 000057
【０１２４】
別の実施形態として、視線移動状態変数更新部４１では何の処理もしないことも可能である。しかし、これは、前述の視線移動状態変数更新部４１における視線移動状態確率変数集合Ｕ（ｔ）の更新処理において、ｍｕ＝１、すなわち、視線移動状態が１通りしかないことと等価である。
【０１２５】
代表視線位置更新部４２は、代表視線位置集合再構成部４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、視線移動状態変数更新部４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、視線移動状態変数ｕ（ｔ）によって制御される視線移動を考慮し、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている代表的な視線位置を表現する代表視線位置の集合である代表視線位置集合Ｖ（ｔ）を更新する。
また、代表視線位置更新部４２は、更新した代表視線位置集合Ｖ（ｔ）を代表視線位置重み係数算出部４３、視線位置確率密度画像出力部４４、及び代表視線位置集合再構成部４５に出力する。
【０１２６】
代表視線位置更新部４２における代表視線位置集合Ｖ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０１２７】
まず、視線移動状態変数ｕ（ｔ）によって視線位置ｘ（ｔ）が制御されるモデルとして、以下の２通りのモデルについて述べる。
【０１２８】
（モデル１）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率を、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下式（５６）のように与える。
【０１２９】
【数５６】
2010257344.tif 000058
【０１３０】
上式（５６）において、γｘｉ及びσｘｉ（ｉ＝０，１，・・・，ｍｕ−１）はそれぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数、数式（５７）（以下、「確率密度Ｑ（ｘ；￣ｘ，γ，σ）」と表す）は中心が数式（５８）、最頻距離がγ、最頻距離からの標準偏差に相当する母数をσとする下式（５９）に示す確率密度関数を表す。
【０１３１】
【数５７】
2010257344.tif 000059
【０１３２】
【数５８】
2010257344.tif 000060
【０１３３】
【数５９】
2010257344.tif 000061
【０１３４】
上式（５９）において、‖ｘ‖はベクトルｘのノルム、ＺＬは確率密度Ｑ（ｘ；￣ｘ，γ，σ）の全定義域における積分値を１にするための下式（６０）で表される正規化定数を示す。
【０１３５】
【数６０】
2010257344.tif 000062
【０１３６】
（モデル２）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率として、ベータ分布を用いる。なお、１次元変量ｘに対するベータ分布は、定義域を数式（６１）とする下式（６２）によって定義される。
【０１３７】
【数６１】
2010257344.tif 000063
【０１３８】
【数６２】
2010257344.tif 000064
【０１３９】
上式（６２）において、ａ，ｂはそれぞれベータ分布を特徴付ける母数を示す。また、Ｂ（ａ，ｂ）はベータ関数と呼ばれ、ベータ分布の全定義域における積分値を１にするための下式（６３）に示す正規化定数を表す。
【０１４０】
【数６３】
2010257344.tif 000065
【０１４１】
なお、本実施形態においては、正規化定数の変量として位置ｘと、予め定められた原点ｘとの距離を用い、定義域を数式（６４）とするベータ分布である数式（６５）を用いる。
【０１４２】
【数６４】
2010257344.tif 000066
【０１４３】
【数６５】
2010257344.tif 000067
【０１４４】
すなわち、上述のベータ分布である数式（６６）は、下式（６７）によって与えられる。
【０１４５】
【数６６】
2010257344.tif 000068
【０１４６】
【数６７】
2010257344.tif 000069
【０１４７】
上式（６７）のように正規化されたベータ分布を用いることにより、１時点前（時刻ｔ−１）の視線位置が視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）の視線位置ｘ（ｔ）の生起確率は、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下式（６８）のように与えられる。
【０１４８】
【数６８】
2010257344.tif 000070
【０１４９】
上式（６８）において、ａｘｉ及びｂｘｉ（ｉ＝０，１，ｍｕ−１）は、それぞれ視線位置確率密度母数Θｘ（ｔ）を構成する定数を表す。
【０１５０】
代表視線位置更新部４２は、上述したモデルのいずれかを用いる方法によって、次に述べるように、代表視線位置集合Ｖ（ｔ）を更新する。
【０１５１】
まず、代表視線位置集合再構成部４５の出力の一部として、１時点前（時刻ｔ−１）の代表視線位置集合Ｖ（ｔ−１）が、下式（６９）のように与えられているものとする。
【０１５２】
【数６９】
2010257344.tif 000071
【０１５３】
上式（６９）において、Ｎｘは代表視線位置集合Ｖ（ｔ）の要素数、すなわち代表視線位置のサンプル数を示す。なお、一般的な実施形態においては、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘを、視線移動状態変数集合Ｕ（ｔ）の要素数Ｎｕと同一にしておく。
【０１５４】
また、代表視線位置更新部４２は、１時点前（時刻ｔ−１）における代表視線位置の各サンプルｘｎ（ｔ−１）から、上述したいずれかのモデルによって下式（７０）のように示す確率密度関数を用いて、現時点（時刻ｔ）における代表視線位置のサンプルｘｎ（ｔ）をランダムに生成する。
【０１５５】
【数７０】
2010257344.tif 000072
【０１５６】
なお、上式（７０）のように示す確率密度関数を用いてランダムにサンプルを生成する方法は、サンプル生成に用いる確率密度関数が複雑である。このため、直接的な方法によってランダムなサンプルを生成することは困難である。しかし、上述のようなランダムのサンプル生成は、例えば、マルコフ連鎖モンテカルロ法に基づいたサンプル生成の方法を用いることができる。
【０１５７】
次に、一般にＭｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓアルゴリズムと呼ばれるマルコフ連鎖モンテカルロ法に基づいたサンプル生成の詳細な方法について述べる。
【０１５８】
まず、代表視線位置更新部４２は、代表視線位置の仮のサンプルの初期値である数式（７１）として、１時点前（時刻ｔ−１）における代表視線位置のサンプルを下式（７２）のように与える。
【０１５９】
【数７１】
2010257344.tif 000073
【０１６０】
【数７２】
2010257344.tif 000074
【０１６１】
次に、原点対称な確率密度関数を用いて、２次元ベクトルである数式（７３）を生成し、この２次元ベクトルである数式（７４）を、第ｋ−１ステップの代表視線位置の仮のサンプルである数式（７５）に加えることによって、第ｋステップの代表視線位置の仮のサンプルである数式（７６）を下式（７７）のように生成する。
【０１６２】
【数７３】
2010257344.tif 000075
【０１６３】
【数７４】
2010257344.tif 000076
【０１６４】
【数７５】
2010257344.tif 000077
【０１６５】
【数７６】
2010257344.tif 000078
【０１６６】
【数７７】
2010257344.tif 000079
【０１６７】
この原点対称な確率密度関数は、原点に対する対称性を満足しているのみで良く、例えば、原点を中心とする２次元正規分布、原点を中心とする各要素±δｘの範囲内の一様分布、などが考えられる。
【０１６８】
そして、第ｋステップの仮の代表視線位置のサンプルである上述の数式（７６）の生起確率と第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７５）の生起確率との比である数式（７８）を下式（７９）に基づいて計算する。
【０１６９】
【数７８】
2010257344.tif 000080
【０１７０】
【数７９】
2010257344.tif 000081
【０１７１】
最後に、数式（８０）の一様乱数である数式（８１）を発生させ、数式（８２）の場合のみ、第ｋステップの代表視線位置の仮のサンプルである上述の数式（７６）を棄却して第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７５）に置き換える。
【０１７２】
【数８０】
2010257344.tif 000082
【０１７３】
【数８１】
2010257344.tif 000083
【０１７４】
【数８２】
2010257344.tif 000084
【０１７５】
その後、上述の仮のサンプルの生成ステップをあらかじめ定められた回数（Ｋｘ回）繰り返し、第Ｋｘステップの仮のサンプルである数式（８３）を下式（８４）に示すような時刻ｔの代表視線位置のサンプルとする。
【０１７６】
【数８３】
2010257344.tif 000085
【０１７７】
【数８４】
2010257344.tif 000086
【０１７８】
上記に述べたとおり、マルコフ連鎖モンテカルロ法に基づいて、サンプルを生成する。この生成したサンプルの集合である数式（８５）が、すなわち、現時点の代表視線位置集合Ｖ（ｔ）となる。また、現時点の代表視線位置集合Ｖ（ｔ）に含まれる代表視線位置サンプルの経験確率分布が、視線位置の生起確率の近似となっている。
【０１７９】
【数８５】
2010257344.tif 000087
【０１８０】
代表視線位置重み係数算出部４３は、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて、各代表視線位置に関連付けられた重みである代表視線位置重み係数を算出する。
また、代表視線位置重み係数算出部４３は、算出した代表視線位置重み係数の集合である代表視線位置重み係数集合である数式（８６）を視線位置確率密度画像出力部４４及び代表視線位置集合再構成部４５に出力する。
【０１８１】
【数８６】
2010257344.tif 000088
【０１８２】
代表視線位置重み係数算出部４３における代表視線位置重み係数集合Ｗ（ｔ）の抽出方法は特に限定されるものではないが、本実施形態においては、信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法について述べる。
【０１８３】
代表視線位置のサンプルｘｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）に関連付けられる代表視線位置重み係数ｗｎ（ｔ）は、下式（８７）及び下式（８８）によって算出される。なお、下式（８７）及び下式（８８）は、位置ｘｎ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘｎ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上となる確率を算出するものである。
【０１８４】
【数８７】
2010257344.tif 000089
【０１８５】
【数８８】
2010257344.tif 000090
【０１８６】
なお、上式（８７）及び上式（８８）においてのみｓ＝ｓ（ｔ，ｘｎ（ｔ））の表記を用いている。また、上式（８７）及び上式（８８）において、数式（８９）は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の確率分布関数を示し、位置ｙにおける現在の確率密度ｐ（ｓ（ｔ，ｘ））に対応して、下式（９０）のように定義される。
【０１８７】
【数８９】
2010257344.tif 000091
【０１８８】
【数９０】
2010257344.tif 000092
【０１８９】
ある位置集合Ｄｘ（ｘ）の与え方は種々の方法が考えられるが、例えば、位置ｘ以外の任意位置の集合、位置ｘ以外で基礎注目度である数式（９１）が局所的に最大となる位置ｙの集合、位置ｘ以外で確率的基礎注目度ｓ（ｔ，ｙ）の期待値である数式（９２）が局所的に最大となる位置ｙの集合、などが考えられる。
【０１９０】
【数９１】
2010257344.tif 000093
【０１９１】
【数９２】
2010257344.tif 000094
【０１９２】
上記に述べた信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法では、サンプリングにより代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数集合Ｗ（ｔ）を抽出していたが、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出することもできる。以下、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法について述べる。
【０１９３】
サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部４２による代表視線位置集合Ｖ（ｔ）の更新と、代表視線位置重み係数算出部４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出とが同時に行われる。
【０１９４】
まず、上述した信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法と同様に下式（９３）によって、位置ｘ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄｘ（ｘ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上になる確率を、入力画像中の各位置において算出する。
【０１９５】
【数９３】
2010257344.tif 000095
【０１９６】
続いて、この上式（９３）によって算出した確率分布を、下式（９４）〜（９８）に示すようなＥＭアルゴリズムを用いて混合ガウス分布でモデル化する。すなわち、混合ガウス分布の各パラメータであるガウス分布の混合比πｎ（ｔ）（ｎ＝１，２，・・・，Ｍｙ）、各ガウス分布の平均ベクトルである数式（９９）、及び共分散行列Ｓｎ（ｔ）を、下式（９４）〜（９８）によるモデル化のステップをｋ＝１，２，・・・について各パラメータが収束するまで繰り返すことによって混合ガウス分布のモデルを導出する。なお、混合ガウス分布のモデル導出の際、位置ｘがどのガウス分布に所属するものであるかを表現する確率変数ｚを導入する。
【０１９７】
【数９４】
2010257344.tif 000096
【０１９８】
【数９５】
2010257344.tif 000097
【０１９９】
【数９６】
2010257344.tif 000098
【０２００】
【数９７】
2010257344.tif 000099
【０２０１】
【数９８】
2010257344.tif 000100
【０２０２】
【数９９】
2010257344.tif 000101
【０２０３】
下式（９４）〜（９８）において、αｎ（ｎ＝１，２，・・・，Ｍｙ）は、数式（１００）を満たすようにあらかじめ定められた定数を示す。
【０２０４】
【数１００】
2010257344.tif 000102
【０２０５】
なお、ガウス分布の混合比πｎ（ｔ）が予め定められた定数よりも小さいガウス分布については、ガウス分布の混合比πｎ（ｔ）に対する寄与が小さいものとして除去し、最終的に残ったＮｘ個のガウス分布によって混合ガウス分布を構成する。そして、この混合ガウス分布の各平均位置である数式（９９）（ｎ＝１，２，・・・，Ｎｘ）を、現時点（時刻ｔ）の代表視線位置ｖｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）として決定する。
このことから、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置集合Ｖ（ｔ）の要素数Ｎｘは、予め与えられるものではなく、入力画像によって異なることがわかる。
【０２０６】
一方、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）については、１時点前（時刻ｔ−１）の代表視線位置集合である数式（１０１）、１時点前（時刻ｔ−１）の代表視線位置重み係数集合である数式（１０２）及び上記の混合ガウス分布の混合比πｎ（ｔ）に基づいて、下式（１０３）のようにして算出する。
【０２０７】
【数１０１】
2010257344.tif 000103
【０２０８】
【数１０２】
2010257344.tif 000104
【０２０９】
【数１０３】
2010257344.tif 000105
【０２１０】
これはすなわち、１時点前の代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）から構成される混合ガウス分布を、上式（９４）〜（９８）によってモデル化した混合ガウス分布に、視線移動に関する確率密度ｐ（ｓ（ｔ，ｘ））を考慮して遷移させたものである。
【０２１１】
上記に述べたとおり、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部４２及び代表視線位置重み係数算出部４３は、代表視線位置集合である数式（１０４）及び代表視線位置重み係数集合である数式（８６）を抽出し、視線位置確率密度画像出力部４４に出力する。
【０２１２】
【数１０４】
2010257344.tif 000106
【０２１３】
視線位置確率密度画像出力部４４は、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、及び代表視線位置重み係数算出部４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置確率密度画像Ｈ（ｔ）を抽出する。
また、視線位置確率密度画像出力部４４は、抽出した代表視線位置確率密度画像Ｈ（ｔ）を代表視線位置集合再構成部４５に出力する。
【０２１４】
視線位置確率密度画像出力部４４による代表視線位置確率密度画像Ｈ（ｔ）の算出方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０２１５】
視線位置確率密度画像出力部４４は、現時点（時刻ｔ）の代表視線位置確率密度画像Ｈ（ｔ）の位置ｘ（ｔ）における画素値を、代表視線位置集合Ｖ（ｔ）及び代表視線位置重み集合Ｗ（ｔ）に基づいて、下式（１０５）のように算出する。
【０２１６】
【数１０５】
2010257344.tif 000107
【０２１７】
上式（１０５）において、ｆ（・）は予め定められた関数であり、例えば、下式（１０６）に示すデルタ関数や、下式（１０７）に示す２次元正規分布などが考えられる。
【０２１８】
【数１０６】
2010257344.tif 000108
【０２１９】
【数１０７】
2010257344.tif 000109
【０２２０】
代表視線位置集合再構成部４５は、代表視線位置更新部４２から入力された代表視線位置集合Ｖ（ｔ）、視線移動状態変数更新部４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数算出部４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）を、代表視線位置重み係数集合Ｗ（ｔ）の示す重み配分に従って再構成する。
また、代表視線位置集合再構成部４５は、代表視線位置重み係数集合Ｗ（ｔ）を再構成する。
また、代表視線位置集合再構成部４５は、再構成された代表視線位置集合Ｖ＊（ｔ）、視線移動状態変数集合Ｕ＊（ｔ）、及び代表視線位置重み係数集合Ｗ＊（ｔ）に基づいた、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
また、代表視線位置集合再構成部４５は、視線位置確率密度画像Ｘ（ｔ）を視線移動状態変数更新部４１及び代表視線位置更新部４２に出力する。
【０２２１】
代表視線位置集合再構成部４５における代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成方法は特に限定されるものではないが、本実施形態による方法について述べる。
【０２２２】
まず、代表視線位置重み係数ｗｎ（ｔ）（ｎ＝１，２，・・・，Ｎｘ）の累積和ｃｎ（ｔ）を下式（１０８）によって算出する。なお、累積和ｃｎ（ｔ）を算出する際に必要に応じて、代表視線位置重み係数ｗｎ（ｔ）の大きい順に代表視線位置ｖｎ（ｔ）、視線移動状態変数ｕ（ｔ）及び代表視線位置重み係数ｗｎ（ｔ）の並べ替えを行う。
【０２２３】
【数１０８】
2010257344.tif 000110
【０２２４】
以降の処理のため、ｃ０（ｔ）＝０と定める。
【０２２５】
次に、ある数κ１を数式（１０９）の範囲でランダムに定め、以降、ｎ＝２，３，・・・，Ｎｘについて、κｎを下式（１１０）のように定める。
【０２２６】
【数１０９】
2010257344.tif 000111
【０２２７】
【数１１０】
2010257344.tif 000112
【０２２８】
そして、ｎ＝１，２，・・・，Ｎｘのそれぞれについて、下式（１１１）の条件を満たす整数ｎ＊を求める。
【０２２９】
【数１１１】
2010257344.tif 000113
【０２３０】
そして、新しい代表視線位置である数式（１１２）を下式（１１３）のように定める。
【０２３１】
【数１１２】
2010257344.tif 000114
【０２３２】
【数１１３】
2010257344.tif 000115
【０２３３】
また、新しい視線移動状態変数である数式（１１４）を下式（１１５）のように定める。
【０２３４】
【数１１４】
2010257344.tif 000116
【０２３５】
【数１１５】
2010257344.tif 000117
【０２３６】
なお、新しい代表視線位置重み係数である数式（１１６）は、全て１／Ｎｘとする。
【０２３７】
【数１１６】
2010257344.tif 000118
【０２３８】
なお、上述した代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成は、必ずしも全ての時刻において実施する必要はなく、例えば、ある一定時間間隔を置いて実施することや、全く実施しないこともできる。
また、例えば、下式（１１７）に示す代表視線位置重み係数の偏りに関する条件を満たさないときのみ実施することもできる。
【０２３９】
【数１１７】
2010257344.tif 000119
【０２４０】
上式（１１７）において、Ｎｅｆｆは数式（１１８）を満たすように予め定められた定数である。
【０２４１】
【数１１８】
2010257344.tif 000120
【０２４２】
また、代表視線位置集合再構成部４５は、上記に述べた代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成方法によって再構成した新しい代表視線位置集合である数式（１１９）、新しい視線移動状態変数集合である数式（１２０）、及び新しい代表視線位置重み係数集合である数式（１２１）に基づいて、視線位置確率密度画像出力部４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を再構成した視線位置確率密度画像Ｘ（ｔ）を、視線位置確率密度画像抽出部４の出力として視線位置確率密度映像出力部５に出力する。
【０２４３】
【数１１９】
2010257344.tif 000121
【０２４４】
【数１２０】
2010257344.tif 000122
【０２４５】
【数１２１】
2010257344.tif 000123
【０２４６】
なお、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成を全く実施しない場合は、視線位置確率密度画像出力部４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を視線位置確率密度画像抽出部４の出力である視線位置確率密度画像Ｘ（ｔ）として視線位置確率密度映像出力部５に出力する。
【０２４７】
視線位置確率密度映像出力部５は、入力映像に含まれる時系列の各入力画像から、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、及び視線位置確率密度画像抽出部４の処理によって抽出される視線位置確率密度画像Ｘ（ｔ）の時系列である視線位置確率密度映像を抽出して、出力する。
【０２４８】
上記に述べたとおり、本第１の実施形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新することができる。
【０２４９】
また、本第１の実施形態によれば、確率的基礎注目度画像抽出部２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部２による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
【０２５０】
＜第２実施形態＞
以下、本発明の第２の実施形態の注目領域抽出方法について、図面を参照して説明する。図２は、本発明の実施形態による視線位置推定装置２００の概略構成を示したブロック図である。図２において、視線位置推定装置２００は、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、視線位置確率密度映像出力部５、確率的基礎注目度母数推定部６、視線位置確率密度母数推定部７から構成される。
視線位置推定装置２００は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）、及び視線位置推定に必要となる母数を推定するために用いる映像である学習映像が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置２００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
【０２５１】
なお、本第２の実施形態の視線位置推定装置２００の構成において、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、及び視線位置確率密度映像出力部５は、第１の実施形態と同様のため、説明を省略する。
ただし、確率的基礎注目度母数逐次推定部３は、後述する確率的基礎注目度母数推定部６によって出力される推定確率的基礎注目度母数θｓ，ｋ＋１を、確率的基礎注目度母数Θｓ（ｔ）として、もしくは確率的基礎注目度母数Θｓ（ｔ）に加えて、確率的基礎注目度母数Θｓ（ｔ＋１）の推定を行う。また、視線位置確率密度画像抽出部４は、後述する視線位置確率密度母数推定部７によって出力される推定視線位置確率密度母数θｘ，ｋ＋１を、視線位置確率密度母数Θｘ（ｔ）として、もしくは視線位置確率密度母数Θｘ（ｔ）に加えて、視線位置確率密度画像Ｘ（ｔ）の抽出を行う。
【０２５２】
確率的基礎注目度母数推定部６は、学習用基礎注目度映像抽出部６１、初期推定確率的基礎注目度母数設定部６２、確率的基礎注目度推定部６３、推定確率的基礎注目度母数更新部６４、推定確率的基礎注目度母数確定部６５から構成される。
確率的基礎注目度母数推定部６は、ある与えられた映像である学習映像、もしくはそれに加えて学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列に基づいて、予め定められた基準において最適となる確率的基礎注目度母数の推定値である推定確率的基礎注目度母数θｓ，ｋ＋１を算出する。
また、確率的基礎注目度母数推定部６は、算出した推定確率的基礎注目度母数θｓ，ｋ＋１を確率的基礎注目度母数逐次推定部３に出力する。
【０２５３】
確率的基礎注目度母数推定部６における推定確率的基礎注目度母数θｓ，ｋ＋１の算出方法は特に限定されるものではないが、本実施形態の構成による算出方法について述べる。
【０２５４】
学習用基礎注目度映像抽出部６１は、入力された学習映像から視線位置推定に必要となる母数を推定するための学習画像（フレーム）を取り出す。また、学習用基礎注目度映像抽出部６１は、取り出した学習画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像の時系列である基礎注目度映像を抽出し、初期推定確率的基礎注目度母数設定部６２、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に出力する。
なお、学習用基礎注目度映像抽出部６１による、基礎注目度画像の抽出方法は、基礎注目度画像抽出部１に入力される入力映像を学習映像とし、各学習画像に対する基礎注目度画像の抽出処理を順次繰り返して実行した場合と同様であるため、説明を省略する。
【０２５５】
初期推定確率的基礎注目度母数設定部６２は、推定確率的基礎注目度母数θｓ，ｋ＋１の初期値を設定し、設定した推定確率的基礎注目度母数θｓ，ｋ＋１の初期値を確率的基礎注目度推定部６３に出力する。
初期推定確率的基礎注目度母数設定部６２による初期値の決定方法は特に限定されるものではないが、本実施形態においては、推定確率的基礎注目度母数θｓ，ｋ＋１の初期値として、初期値θｓ，０＝（σｓ１，０，σｓ２，０）が与えられているとして以降の説明を行う。
【０２５６】
確率的基礎注目度推定部６３は、学習用基礎注目度映像抽出部６１から入力された基礎注目度映像及び推定確率的基礎注目度母数更新部６４から入力された前回の推定確率的基礎注目度母数θｓ，ｋに基づいて、予め定められた基準において最適となるように推定確率的基礎注目度映像を推定する。
また、確率的基礎注目度推定部６３は、推定した推定確率的基礎注目度映像を推定確率的基礎注目度母数更新部６４及び推定確率的基礎注目度母数確定部６５に出力する。
なお、確率的基礎注目度推定部６３が出力する推定確率的基礎注目度映像は、確率的基礎注目度画像の時系列の映像である。
【０２５７】
確率的基礎注目度推定部６３における推定確率的基礎注目度映像の抽出方法は特に限定されるものではないが、本実施形態においては、カルマンスムーサーを用いた抽出方法について述べる。
【０２５８】
まず、学習映像ＩＬを学習画像の時系列として、また、この学習映像から抽出した基礎注目度映像である数式（１２２）を基礎注目度画像の時系列として、それぞれ下式（１２３）及び下式（１２４）のように表記する。
【０２５９】
【数１２２】
2010257344.tif 000124
【０２６０】
【数１２３】
2010257344.tif 000125
【０２６１】
【数１２４】
2010257344.tif 000126
【０２６２】
上式（１２３）及び上式（１２４）において、Ｔは学習映像の長さ、すなわち学習映像のフレーム数を示す。
以降の説明においては、基礎注目度画像が学習映像から抽出されたことが明らかである場合には、学習映像ＩＬの表記を省略し、第１の実施形態と類似した下式（１２５）のように表記する。
【０２６３】
【数１２５】
2010257344.tif 000127
【０２６４】
その後、基礎注目度映像である数式（１２６）（以下、「基礎注目度映像￣Ｓ」と表す）及び１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ）を用いて、下式（１２７）で示される推定確率的基礎注目度映像のフレームである数式（１２８）（以下、「フレームＳ（ｔ｜￣Ｓ；θｓ，ｋ）  （ｔ＝１，２，・・・、Ｔ）」と表す）で示される推定確率的基礎注目度画像を時刻の逆順に抽出する。
【０２６５】
【数１２６】
2010257344.tif 000128
【０２６６】
【数１２７】
2010257344.tif 000129
【０２６７】
【数１２８】
2010257344.tif 000130
【０２６８】
続いて、１時点後（時刻ｔ＋１）の推定確率的基礎注目度画像である数式（１２９）（以下、「推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）」と表す）の位置ｙにおけるピクセル値である数式（１３０）（以下、「ピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）」と表す）が、確率密度を用いて下式（１３１）のように表されることを仮定する。
【０２６９】
【数１２９】
2010257344.tif 000131
【０２７０】
【数１３０】
2010257344.tif 000132
【０２７１】
【数１３１】
2010257344.tif 000133
【０２７２】
上式（１３１）において、ｐ（・；θｓ，ｋ）は、母数がθｓ，ｋである確率密度関数を示す。以降の説明においては、ピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）を位置ｙにおける推定確率的基礎注目度と呼ぶこととする。また、第１の実施形態と同様に、特に必要な場合を除いて位置ｙを省略した場合、上式（１３１）は下式（１３２）のように表される。
【０２７３】
【数１３２】
2010257344.tif 000134
【０２７４】
上式（１３２）において、数式（１３３）は、時刻Ｔまで、すなわち、全ての時刻の基礎注目度が与えられているときの、１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１における推定確率的基礎注目度である数式（１３４）の期待値、σｓ，ｋ（ｔ１｜Ｔ）は、この時の標準偏差を示す。
【０２７５】
【数１３３】
2010257344.tif 000135
【０２７６】
【数１３４】
2010257344.tif 000136
【０２７７】
このとき、確率的基礎注目度推定部６３は、現時点（時刻ｔ）の推定確率的基礎注目度である数式（１３５）の下式（１３６）に示す確率密度における期待値である数式（１３７）及び標準偏差σｓ，ｋ（ｔ｜Ｔ）を更新することが目的となる。
【０２７８】
【数１３５】
2010257344.tif 000137
【０２７９】
【数１３６】
2010257344.tif 000138
【０２８０】
【数１３７】
2010257344.tif 000139
【０２８１】
また、確率的基礎注目度推定部６３による更新は下式（１３８）及び下式（１３９）のようにして行われる。
【０２８２】
【数１３８】
2010257344.tif 000140
【０２８３】
【数１３９】
2010257344.tif 000141
【０２８４】
上式（１３８）及び上式（１３９）において、数式（１４０）及びσｓ，ｋ（ｔ｜ｔ）は、確率的基礎注目度画像抽出部２と同様の処理によって算出される。
【０２８５】
【数１４０】
2010257344.tif 000142
【０２８６】
上記の述べたカルマンスムーサーを用いた抽出方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向に独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、確率的基礎注目度画像抽出部２による抽出方法と同様に、マルコフ確率場に基づく確率的基礎注目度の記述を行い、平均場近似により確率的基礎注目度を解析的に導出する場合について述べる。
【０２８７】
確率的基礎注目度推定部６３は、確率的基礎注目度画像抽出部２と同様に基礎注目度映像￣Ｓ及び１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ，σｓ３，ｋ）を用いて、推定確率的基礎注目度画像のフレームＳ（ｔ｜￣Ｓ；θｓ，ｋ）  （ｔ＝１，２，・・・、Ｔ）を時刻の逆順に抽出する。
【０２８８】
まず、１時点後（時刻ｔ＋１）の推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）の位置ｙにおけるピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）が、確率密度を用いて下式（１４１）のように表されていると仮定する。
【０２８９】
【数１４１】
2010257344.tif 000143
【０２９０】
上式（１４１）において、数式（１４２）は、時刻Ｔまで、すなわち、全ての時刻の基礎注目度が与えられているときの、１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１・位置ｙの推定確率的基礎注目度である数式（１４３）の期待値、σｓ，ｋ（ｔ１，ｙ｜Ｔ）は、この時の標準偏差を表す。
【０２９１】
【数１４２】
2010257344.tif 000144
【０２９２】
【数１４３】
2010257344.tif 000145
【０２９３】
このとき、確率的基礎注目度推定部６３は、現時点（時刻ｔ）の推定確率的基礎注目度である数式（１４４）（以下、「推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）」と表す）の下式（１４５）に示す確率密度における期待値である数式（１４６）（以下、「期待値＾ｓｋ（ｔ，ｙ｜Ｔ）」と表す）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を更新することが目的となる。
【０２９４】
【数１４４】
2010257344.tif 000146
【０２９５】
【数１４５】
2010257344.tif 000147
【０２９６】
【数１４６】
2010257344.tif 000148
【０２９７】
また、確率的基礎注目度推定部６３による更新は、繰り返し計算を用いた下式（１４７）〜（１５０）によって行われる。
【０２９８】
【数１４７】
2010257344.tif 000149
【０２９９】
【数１４８】
2010257344.tif 000150
【０３００】
【数１４９】
2010257344.tif 000151
【０３０１】
【数１５０】
2010257344.tif 000152
【０３０２】
上式（１４７）〜（１５０）において、数式（１５１）及びσｓ，ｋ（ｔ，ｙ｜ｔ）は、確率的基礎注目度画像抽出部２と同様の処理によって算出される。
【０３０３】
【数１５１】
2010257344.tif 000153
【０３０４】
上記に述べたとおり、確率的基礎注目度推定部６３は、各位置ｙにおける推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）の期待値＾ｓｋ（ｔ，ｙ｜Ｔ）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を保持する画像として、推定確率的基礎注目度画像である数式（１５２）を時刻の逆順に抽出し、この推定確率的基礎注目度画像の時系列とした推定確率的基礎注目度映像である数式（１５３）（以下、「推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋ」と表す）を出力する。
【０３０５】
【数１５２】
2010257344.tif 000154
【０３０６】
【数１５３】
2010257344.tif 000155
【０３０７】
また、確率的基礎注目度推定部６３は、学習映像が複数与えられている場合には、それぞれの学習映像に対して個別に推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋを抽出し、それぞれ抽出した推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋを推定確率的基礎注目度母数更新部６４に出力する。
【０３０８】
推定確率的基礎注目度母数更新部６４は、学習用基礎注目度映像抽出部６１から入力された基礎注目度映像、及び確率的基礎注目度推定部６３から入力された推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋに基づいて、予め定められた基準において最適となるように現在の推定確率的基礎注目度母数θｓ，ｋ＋１を更新する。
また、推定確率的基礎注目度母数更新部６４は、更新した推定確率的基礎注目度母数θｓ，ｋ＋１を推定確率的基礎注目度母数確定部６５及び確率的基礎注目度推定部６３に出力する。
【０３０９】
推定確率的基礎注目度母数更新部６４における推定確率的基礎注目度母数θｓ，ｋ＋１の更新方法は特に限定されるものではないが、本実施形態においては、ＥＭアルゴリズムを用いて導出される更新方法について述べる。
【０３１０】
現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）は、基礎注目度映像￣Ｓ及び現在のステップにおいて上式（１２７）で示される推定確率的基礎注目度映像を用いて、下式（１５４）及び下式（１５５）のように算出される。
【０３１１】
【数１５４】
2010257344.tif 000156
【０３１２】
【数１５５】
2010257344.tif 000157
【０３１３】
確率的基礎注目度推定部６３による推定確率的基礎注目度映像Ｓ￣Ｓ；θｓ，ｋの抽出方法おいて、確率的基礎注目度の空間的な連続性を導入している場合、現在の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１，σｓ３，ｋ＋１）は下式（１５６）〜（１５８）のように算出される。
【０３１４】
【数１５６】
2010257344.tif 000158
【０３１５】
【数１５７】
2010257344.tif 000159
【０３１６】
【数１５８】
2010257344.tif 000160
【０３１７】
上式（１５６）〜（１５８）において、｜ＩＬ｜は学習画像ＩＬの総ピクセル数を示す。
【０３１８】
上記に述べたとおり、推定確率的基礎注目度母数更新部６４は、現在の推定確率的基礎注目度母数θｓ，ｋ＋１を算出し、出力する。
また、推定確率的基礎注目度母数更新部６４は、学習映像が複数与えられたことによって、確率的基礎注目度推定部６３から複数の推定確率的基礎注目度映像が入力された場合には、それぞれの推定確率的基礎注目度映像に対して個別に推定確率的基礎注目度母数θｓ，ｋ＋１を更新し、最後にそれぞれ更新した推定確率的基礎注目度母数θｓ，ｋ＋１を平均して、推定確率的基礎注目度母数確定部６５に出力する。
【０３１９】
推定確率的基礎注目度母数確定部６５は、確率的基礎注目度推定部６３による推定確率的基礎注目度映像の抽出処理、及び推定確率的基礎注目度母数更新部６４による推定確率的基礎注目度母数の更新処理によって得られた結果が、予め定められた基準を満たしたときに推定確率的基礎注目度母数θｓ，ｋ＋１を確定する。
また、推定確率的基礎注目度母数確定部６５は、確定した推定確率的基礎注目度母数θｓ，ｋ＋１を確率的基礎注目度母数推定部６の出力である推定確率的基礎注目度母数θｓ，ｋ＋１として確率的基礎注目度母数逐次推定部３及び視線位置確率密度母数推定部７に出力する。
また、推定確率的基礎注目度母数確定部６５は、確率的基礎注目度推定部６３による推定確率的基礎注目度映像の抽出処理、及び推定確率的基礎注目度母数更新部６４による推定確率的基礎注目度母数の更新処理によって得られた結果が、予め定められた基準を満たすまで繰り返し行わせる制御の機能を持つ。
【０３２０】
推定確率的基礎注目度母数確定部６５による推定確率的基礎注目度母数の確定方法は特に限定されるものではないが、本実施形態においては、推定確率的基礎注目度母数の差分に基づいた確定方法について述べる。
【０３２１】
推定確率的基礎注目度母数確定部６５は、現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）が、１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ）と比較して、ほぼ変化しなくなったと判断されたときに、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に対する処理の繰り返し要求を終了する。
そして、推定確率的基礎注目度母数確定部６５は、推定確率的基礎注目度母数を現在の状態θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）で確定する。
なお、推定確率的基礎注目度母数が変化している間は、ｋ←ｋ＋１として、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に処理の繰り返しを要求する。
【０３２２】
推定確率的基礎注目度母数確定部６５による推定確率的基礎注目度母数の比較の基準は、特に限定されるものではなく、例えば、下式（１５９）〜（１６２）に示される比較基準のいずれかを採用するができる。また、推定確率的基礎注目度母数更新部６４から入力された推定確率的基礎注目度母数θｓ，ｋ＋１が、採用した比較基準を満たした場合には、確率的基礎注目度推定部６３、及び推定確率的基礎注目度母数更新部６４に処理の繰り返し要求を終了する。
【０３２３】
【数１５９】
2010257344.tif 000161
【０３２４】
【数１６０】
2010257344.tif 000162
【０３２５】
【数１６１】
2010257344.tif 000163
【０３２６】
【数１６２】
2010257344.tif 000164
【０３２７】
上式（１５９）〜（１６２）において、δｓは予め定められた閾値である。
【０３２８】
視線位置確率密度母数推定部７は、学習用確率的基礎注目度映像抽出部７０、初期推定視線位置確率密度母数設定部７１、視線移動状態変数推定部７２、推定視線位置確率密度母数更新部７３、推定視線位置確率密度母数確定部７４から構成される。
視線位置確率密度母数推定部７は、ある与えられた映像である学習映像、及び学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列、もしくはそれに加えて確率的基礎注目度母数推定部６から入力された推定確率的基礎注目度母数θｓ，ｋ＋１に基づいて、予め定められた基準において最適となる視線位置確率密度母数の推定値である推定視線位置確率密度母数θｘ，ｋ＋１を算出する。
また、視線位置確率密度母数推定部７は、算出した推定視線位置確率密度母数θｘ，ｋ＋１を視線位置確率密度画像抽出部４に出力する。
【０３２９】
視線位置確率密度母数推定部７における推定視線位置確率密度母数θｘ，ｋ＋１の算出方法は特に限定されるものではないが、本実施形態の構成による算出方法について述べる。
【０３３０】
学習用確率的基礎注目度映像抽出部７０は、入力された学習映像から視線位置推定に必要となる母数を推定するための学習画像（フレーム）を取り出す。また、学習用確率的基礎注目度映像抽出部７０は、取り出した学習画像の中で顕著な特性を持つ空間領域を示した画像である確率的基礎注目度画像を抽出する。そして、抽出した確率的基礎注目度画像の時系列である確率的基礎注目度映像を抽出し、初期推定視線位置確率密度母数設定部７１、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に出力する。
なお、学習用確率的基礎注目度映像抽出部７０による、確率的基礎注目度映像の抽出方法は、基礎注目度画像抽出部１に入力される入力映像を学習映像とし、各学習画像に対する基礎注目度画像の抽出処理と、確率的基礎注目度画像抽出部２による確率的基礎注目度画像の抽出処理とを、順次繰り返して実行した場合と同様であるため、説明を省略する。
【０３３１】
なお、学習用確率的基礎注目度映像抽出部７０は、以下に説明する処理において確率的基礎注目度映像を必要とする場合にのみ実行すればよく、必要でない場合には実行しないこともできる。
【０３３２】
初期推定視線位置確率密度母数設定部７１は、推定視線位置確率密度母数θｘ，ｋ＋１の初期値を設定し、設定した推定視線位置確率密度母数θｘ，ｋ＋１の初期値を視線移動状態変数推定部７２に出力する。
初期推定視線位置確率密度母数設定部７１による初期値の決定方法は特に限定されるものではないが、本実施形態においては、推定視線位置確率密度母数θｘ，ｋ＋１の初期値として数式（１６３）が与えられているとして以降の説明を行う。
【０３３３】
【数１６３】
2010257344.tif 000165
【０３３４】
視線移動状態変数推定部７２は、視線位置系列、学習用確率的基礎注目度映像抽出部７０から入力された確率的基礎注目度映像、及び推定視線位置確率密度母数更新部７３から入力された前回の推定視線位置確率密度母数θｘ，ｋ＋１に基づいて、予め定められた基準において最適となるように視線移動状態変数、もしくはその確率密度を推定する。
また、視線移動状態変数推定部７２は、視線移動状態変数を時系列の映像とした推定視線移動状態変数系列、もしくは確率密度を時系列の映像とした推定視線移動状態変数確率密度系列を推定視線位置確率密度母数更新部７３及び推定視線位置確率密度母数確定部７４に出力する。
【０３３５】
視線移動状態変数推定部７２における推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定方法は特に限定されるものではないが、本実施形態においては、推定視線移動状態変数確率密度系列を前向き後向きアルゴリズムに基づいて推定する実施形態と、推定視線移動状態変数系列をビタビアルゴリズムに基づいて推定する実施形態について述べる。
【０３３６】
視線移動状態変数推定部７２における前向き後向きアルゴリズムに基づいた推定視線移動状態変数確率密度系列の推定は以下の通りである。
まず、ある被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）が学習映像を視聴したときの視線位置系列である数式（１６４）及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｘ，ｋに基づいて、前向き確率αｔ，ｋ＋１（ｎ）及び後向き確率βｔ，ｋ＋１（ｎ）を、それぞれ下式（１６５）及び下式（１６６）のように算出する。
【０３３７】
【数１６４】
2010257344.tif 000166
【０３３８】
【数１６５】
2010257344.tif 000167
【０３３９】
【数１６６】
2010257344.tif 000168
【０３４０】
ここで、Ｎｓは被験者の総数である。上式（１６５）及び上式（１６６）に示した前向き確率及び後向き確率は、下式（１６７）及び下式（１６８）の漸化式によって順次、時刻順もしくは時刻の逆順に算出することが可能である。
【０３４１】
【数１６７】
2010257344.tif 000169
【０３４２】
【数１６８】
2010257344.tif 000170
【０３４３】
このとき、前向き確率及び後向き確率を用いて、現在のステップ（第ｋ＋１ステップ）における推定視線移動状態変数確率密度系列は下式（１６９）〜（１７１）のように表される。
【０３４４】
【数１６９】
2010257344.tif 000171
【０３４５】
【数１７０】
2010257344.tif 000172
【０３４６】
【数１７１】
2010257344.tif 000173
【０３４７】
また、上式（１６９）〜（１７１）に示した推定視線移動状態変数確率密度系列の各要素（下式（１７２）及び下式（１７３））である推定視線移動状態確率密度を、下式（１７４）及び下式（１７５）のように算出する。
【０３４８】
【数１７２】
2010257344.tif 000174
【０３４９】
【数１７３】
2010257344.tif 000175
【０３５０】
【数１７４】
2010257344.tif 000176
【０３５１】
【数１７５】
2010257344.tif 000177
【０３５２】
一方、視線移動状態変数推定部７２におけるビタビアルゴリズムに基づいた推定視線移動状態変数系列の推定は以下の通りである。
まず、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列である数式（１７６）（以下、「視線位置系列￣Ｘｎ」と表す）及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｓ，ｋとから算出される関数である推定視線移動状態関数である数式（１７７）を、下式（１７８）のように定義する。
【０３５３】
【数１７６】
2010257344.tif 000178
【０３５４】
【数１７７】
2010257344.tif 000179
【０３５５】
【数１７８】
2010257344.tif 000180
【０３５６】
このとき、視線移動状態変数推定部７２は、現時点（時刻ｔ）を時刻Ｔとした（ｔ＝Ｔとした）推定視線移動状態関数である数式（１７９）を最大化する視線移動状態変数ｕ（Ｔ）及び対応する推定視線移動状態関数に含まれる最大化を達成する視線移動状態変数の系列ｕ（１：Ｔ−１）を求めることが目的となる。
【０３５７】
【数１７９】
2010257344.tif 000181
【０３５８】
そこで、下式（１８０）及び下式（１８１）の漸化式を用いることによって、推定視線移動状態関数を最大化する視線移動状態変数を順次求める。
【０３５９】
【数１８０】
2010257344.tif 000182
【０３６０】
【数１８１】
2010257344.tif 000183
【０３６１】
上式（１８０）及び上式（１８１）において、数式（１８２）は、上述の前向き後向きアルゴリズムに基づいた推定視線移動状態変数確率密度系列の推定で説明した後向き確率βｔ，ｋ＋１（ｎ）を用いて、下式（１８３）のように算出することができる。
【０３６２】
【数１８２】
2010257344.tif 000184
【０３６３】
【数１８３】
2010257344.tif 000185
【０３６４】
上述の漸化式（上式（１８０）及び上式（１８１））を用いることで、推定視線移動状態関数である数式（１８４）を最大化する視線移動状態変数の系列を求め、これを現在のステップ（第ｋ＋１ステップ）の推定視線移動状態変数系列Ｕｎ，ｋ＋１＝ｕｋ＋１（１：Ｔ）とする（下式（１８５）及び下式（１８６））。
【０３６５】
【数１８４】
2010257344.tif 000186
【０３６６】
【数１８５】
2010257344.tif 000187
【０３６７】
【数１８６】
2010257344.tif 000188
【０３６８】
上記に述べたとおり、視線移動状態変数推定部７２は、現在のステップの推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）（ｎ＝１，２，・・・，Ｎｓ）、もしくは現在のステップの推定視線移動状態変数系列Ｕｎ，ｋ＋１を算出し、これらを推定視線位置確率密度母数更新部７３及び推定視線位置確率密度母数確定部７４に出力する。
【０３６９】
推定視線位置確率密度母数更新部７３は、視線位置系列、学習用確率的基礎注目度映像抽出部７０から入力された確率的基礎注目度映像、及び視線移動状態変数推定部７２から入力された推定視線移動状態変数系列Ｕｎ，ｋ＋１もしくは推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）（ｎ＝１，２，・・・，Ｎｓ）に基づいて、予め定められた基準において最適となるように現在の推定視線位置確率密度母数θｘ，ｋ＋１を更新する。
また、推定視線位置確率密度母数更新部７３は、更新した推定視線位置確率密度母数θｘ，ｋ＋１を推定視線位置確率密度母数確定部７４及び視線移動状態変数推定部７２に出力する。
【０３７０】
推定視線位置確率密度母数更新部７３における推定視線位置確率密度母数θｘ，ｋ＋１の更新方法は特に限定されるものではないが、本実施形態においては、推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から抽出する実施形態と、推定視線移動状態変数系列Ｕｎ，ｋ＋１から抽出する実施形態について述べる。
なお、以下に説明する推定視線位置確率密度母数θｘ，ｋ＋１の更新方法は、いずれも、ＥＭアルゴリズムを用いて導出される更新方法である。
【０３７１】
推定視線位置確率密度母数更新部７３において、推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法は、以下の通りである。
【０３７２】
現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１８７）は、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列￣Ｘｎ及び対応する推定視線移動状態変数確率密度系列であり下式（１８８）及び下式（１８９）で示される推定視線移動状態変数確率密度系列を用いて、下式（１９０）〜（１９２）のように算出される。
【０３７３】
【数１８７】
2010257344.tif 000189
【０３７４】
【数１８８】
2010257344.tif 000190
【０３７５】
【数１８９】
2010257344.tif 000191
【０３７６】
【数１９０】
2010257344.tif 000192
【０３７７】
【数１９１】
2010257344.tif 000193
【０３７８】
【数１９２】
2010257344.tif 000194
【０３７９】
一方、推定視線位置確率密度母数更新部７３において、推定視線移動状態変数系列Ｕｎ，ｋ＋１から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法は、以下の通りである。
【０３８０】
現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１９３）は、各被験者ｎ（ｎ＝１，２，・・・，Ｎｓ）の視線位置系列￣Ｘｎ及び推定視線移動状態変数系列Ｕｋ＋１を用いて、上述した推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）から推定視線位置確率密度母数θｘ，ｋ＋１を抽出する更新方法とほぼ同様に、下式（１９４）〜（１９６）のように算出される。
【０３８１】
【数１９３】
2010257344.tif 000195
【０３８２】
【数１９４】
2010257344.tif 000196
【０３８３】
【数１９５】
2010257344.tif 000197
【０３８４】
【数１９６】
2010257344.tif 000198
【０３８５】
上記の通り、推定視線位置確率密度母数更新部７３は、現在のステップの推定視線位置確率密度母数θｘ，ｋ＋１を算出し、出力する。
【０３８６】
推定視線位置確率密度母数確定部７４は、視線移動状態変数推定部７２による推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定処理、及び推定視線位置確率密度母数更新部７３による推定視線位置確率密度母数の更新処理によって得られた結果が、予め定められた基準を満たしたときに推定視線位置確率密度母数θｘ，ｋ＋１を確定する。
また、推定視線位置確率密度母数確定部７４は、確定した推定視線位置確率密度母数θｘ，ｋ＋１を視線位置確率密度母数推定部７の出力である推定視線位置確率密度母数θｘ，ｋ＋１として視線位置確率密度画像抽出部４に出力する。
また、推定視線位置確率密度母数確定部７４は、視線移動状態変数推定部７２による推定視線移動状態変数系列、もしくは推定視線移動状態変数確率密度系列の推定処理、及び推定視線位置確率密度母数更新部７３による推定視線位置確率密度母数の更新処理によって得られた結果が、予め定められた基準を満たすまで繰り返し行わせる制御機能を持つ。
【０３８７】
推定視線位置確率密度母数確定部７４による推定視線位置確率密度母数の確定方法は特に限定されるものではないが、本実施形態においては、推定視線位置確率密度母数の差分に基づいた確定方法について述べる。
【０３８８】
推定視線位置確率密度母数確定部７４は、現在（第ｋ＋１ステップ）の推定視線位置確率密度母数である数式（１９７）が、１ステップ前（第ｋステップ）の推定視線位置確率密度母数数式（１９８）と比較して、ほぼ変化しなくなったと判断されたときに、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に対する処理の繰り返し要求を終了する。
そして、推定視線位置確率密度母数確定部７４は、推定視線位置確率密度母数を現在の状態θｘ，ｋ＋１で確定する。
【０３８９】
【数１９７】
2010257344.tif 000199
【０３９０】
【数１９８】
2010257344.tif 000200
【０３９１】
なお、推定視線位置確率密度母数が変化している間は、ｋ←ｋ＋１として、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に処理の繰り返しを要求する。
【０３９２】
推定視線位置確率密度母数確定部７４による推定視線位置確率密度母数の比較の基準は、特に限定されるものではなく、例えば、下式（１９９）〜（２０２）に示される比較基準のいずれかを採用するができる。また、推定視線位置確率密度母数更新部７３から入力された推定視線位置確率密度母数θｘ，ｋ＋１が、採用した比較基準を満たした場合には、視線移動状態変数推定部７２、及び推定視線位置確率密度母数更新部７３に処理の繰り返し要求を終了する。
【０３９３】
【数１９９】
2010257344.tif 000201
【０３９４】
【数２００】
2010257344.tif 000202
【０３９５】
【数２０１】
2010257344.tif 000203
【０３９６】
【数２０２】
2010257344.tif 000204
【０３９７】
上式（１９９）〜（２０２）において、δｘは予め定められた閾値であり、ζ１，ζ２は予め定められた定数である。
【０３９８】
上記に述べたとおり、本第２の実施形態によれば、視線位置推定に必要となる母数を推定するための学習映像、もしくはそれに加えて学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列に基づいて、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）を推定することができる。
【０３９９】
また、本第２の実施形態によれば、確率的基礎注目度推定部６３における推定確率的基礎注目度映像の推定を、学習映像、もしくは視線位置系列中の各位置で独立して実行することができる。その結果、確率的基礎注目度推定部６３による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
【０４００】
上記に述べたとおり、本発明を実施するための形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新し、視線位置推定に必要となる母数を推定するための学習映像、もしくは視線位置系列に基づいて確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）を推定することができる。また、更新、もしくは推定された確率的基礎注目度母数Θｓ（ｔ＋１）を用いることによって、視線位置確率密度映像の出力を、入力映像の統計的性質に合わせることができる。
【０４０１】
また、本発明を実施するための形態によれば、確率的基礎注目度画像抽出部２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができ、確率的基礎注目度推定部６３における期待値及び標準偏差の更新を、学習映像、もしくは視線位置系列中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部２による期待値及び標準偏差の更新処理や確率的基礎注目度推定部６３における推定確率的基礎注目度映像の推定処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
【０４０２】
なお、本発明の第１の実施形態においては、確率的基礎注目度母数逐次推定部３を備える構成として説明、すなわち、確率的基礎注目度画像抽出部２が確率的基礎注目度画像Ｓ（ｔ）の抽出するための確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数逐次推定部３によって更新する構成として説明したが、確率的基礎注目度母数逐次推定部３を備えない構成とすることもできる。その場合、確率的基礎注目度母数逐次推定部３に入力されている確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度画像抽出部２に入力し、確率的基礎注目度画像抽出部２は、入力された確率的基礎注目度母数Θｓ（ｔ）に基づいて確率的基礎注目度画像Ｓ（ｔ）を抽出することによって実現することができる。
【０４０３】
また、本発明の第２の実施形態においても、確率的基礎注目度母数逐次推定部３を備える構成として説明したが、確率的基礎注目度母数逐次推定部３を備えない構成とすることもできる。その場合、確率的基礎注目度母数逐次推定部３に入力されている確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度画像抽出部２に入力し、確率的基礎注目度画像抽出部２は、確率的基礎注目度母数推定部６から出力される推定確率的基礎注目度母数θｓ，ｋ＋１を、確率的基礎注目度母数Θｓ（ｔ）として、もしくは確率的基礎注目度母数Θｓ（ｔ）に加えて、確率的基礎注目度画像Ｓ（ｔ）を抽出することによって実現することができる。
【０４０４】
次に、本発明を実施するための形態における動作例について説明する。図３〜図５は、視線位置推定の方法において、従来の方法と本発明の方法とを比較したグラフである。図３及び図４は、従来の視線位置推定による計算時間と本発明の視線位置推定による平均計算時間との比較をしたグラフである。また、図５は、従来の視線位置推定による視線位置推定の評価値と本発明の視線位置推定による視線位置推定の評価値との比較をしたグラフである。
【０４０５】
図３〜図５の比較において、入力映像として、入力画像（フレーム）の大きさ水平方向：６４０×垂直方向：４８０ピクセル，入力映像の長さ３０〜９０秒の１３種類の映像を用意した。また、学習映像は入力映像と同一の映像を用いた。上記に述べた各実施形態に示した記号について、実際の数値として以下の値を用いた。
ｎφ＝４，
ｎＦ＝３，
σ＝１．２５，
ｎｌ＝８，
Ｌｃ＝｛２，３，４｝，
Ｌｓ＝｛ｃ＋３，ｃ＋４｝（ｃ∈Ｌｃ），
ｎＡ＝３２×２４＝７６８，
ε＝２５，
μ＝１．０，
ｔＩ＝１０，
α＝１／ｔＩ＝０．１，
β＝０．００２５，
ｔＴ＝８，
θ＝０．２５ｍａｘ（ｘ，ｙ）ＳＰ（ｉ）（ｘ，ｙ），
δ＝０．１，
ｍｕ＝２
【０４０６】
本発明の効果を確認するため、従来の方法及び本発明の方法によって得られる注目度映像がどの程度人間の視覚特性を模擬できているかを比較した。
人間の視覚特性を表現する数量として、人間が実際に入力映像を見ている際の視線の位置を採用した。６名の被験者に入力映像を提示し、既存の視線測定装置を用いて各被験者の入力映像中の注視位置を逐次測定した。各被験者について、１種類の入力映像を２回提示した。これにより、各被験者・各入力映像について、注視位置の時系列が２本獲得した。この注視位置の時系列を、時刻の整合性を保ちながら入力映像の各フレーム（すなわち入力画像）に対応付けることで、各被験者・各入力画像について２通りの注視位置を獲得した。
【０４０７】
人間の視覚特性を模擬できているかどうかの評価尺度として、被験者の注視位置における注目度を採用した。第ｊ番目の入力映像Ｉｊ（ｊ＝１，２，・・・，１３）の時刻ｔの入力画像ｉｊ（ｔ）（ｔ＝１，２，・・・，Ｔｊ）について、本発明の方法により抽出された視線位置確率密度画像Ｘ（ｔ；Ｉｊ）と、従来の方法により抽出された基礎注目度画像である数式（２０３）（以下、「基礎注目度画像￣Ｓ（ｔ；Ｉｊ）」と表す）とを比較する。
【０４０８】
【数２０３】
2010257344.tif 000205
【０４０９】
入力映像Ｉｊに対応する被験者ｎ（ｎ＝１，２，・・・，６）の視線位置系列を数式（２０４）とするとき、視線位置確率密度画像Ｘ（ｔ；Ｉｊ）の評価値ＮＳＳ（ｔ；Ｉｊ）を下式（２０５）で定めた。
【０４１０】
【数２０４】
2010257344.tif 000206
【０４１１】
【数２０５】
2010257344.tif 000207
【０４１２】
上式（２０５）において、数式（２０６）及びσ（Ｘ（ｔ；Ｉｊ））は、入力映像Ｉｌから抽出した視線位置確率密度画像Ｘ（ｔ；Ｉｊ）のピクセル値ｐ（ｘ（ｔ）；Ｉｊ）における平均及び分散を表し、それぞれ下式（２０７）及び下式（２０８）で表す。
【０４１３】
【数２０６】
2010257344.tif 000208
【０４１４】
【数２０７】
2010257344.tif 000209
【０４１５】
【数２０８】
2010257344.tif 000210
【０４１６】
また、本実験においては被験者の数であるＮｓ＝６である。なお、基礎注目度画像￣Ｓ（ｔ；Ｉｊ）についても下式（２０９）〜（２１１）に示すような同様の評価値を用いた。
【０４１７】
【数２０９】
2010257344.tif 000211
【０４１８】
【数２１０】
2010257344.tif 000212
【０４１９】
【数２１１】
2010257344.tif 000213
【０４２０】
各手法の評価値ＮＳＳは、下式（２１２）に示すように、視線位置確率密度画像（もしくは基礎注目度画像）についての評価値を平均し、さらに入力映像について平均することで得ることができる。
【０４２１】
【数２１２】
2010257344.tif 000214
【０４２２】
まず、計算時間に関する従来の方法と本発明の方法との比較について説明する。なお、従来の方法として、非特許文献１に記載の方法を用いた。
図３は、従来の方法及び本発明の方法における１フレーム当たりの平均計算時間を縦軸として比較したグラフであり、図４は、各個別処理に１フレーム当たりの平均計算時間を縦軸として比較したグラフである。
また、図３及び図４は、非特許文献１に記載の方法、本発明の方法のうち代表視線位置重み係数算出部４３の処理のみを並列処理した場合、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合、本発明の方法による並列処理を全て実行した場合をそれぞれ横軸に並べている。
【０４２３】
図３及び図４からわかるように、視線位置推定の計算時間を入力映像に関して平均したとき、本発明の方法による視線位置推定がより高速に処理を実行できる。
なお、図４の各方法において、各個別処理（基礎注目度画像抽出部１による基礎注目度画像￣Ｓ（ｉ）の抽出処理、代表視線位置重み係数算出部４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出処理、視線移動状態変数更新部４１による視線移動状態確率変数集合Ｕ（ｔ）の更新処理及び代表視線位置更新部４２による代表視線位置集合Ｖ（ｔ）の更新処理）の計算時間を合計した時間が、図３に示した各方法の計算時間である。
【０４２４】
続いて、評価値に関する従来の方法と本発明の方法との比較について説明する。なお、従来の方法として、非特許文献１及び非特許文献３に記載の方法を用いた。
図５は、従来の方法及び本発明の方法における評価値ＮＳＳを縦軸として比較したグラフである。
また、図５は、非特許文献１に記載の方法、本発明の方法のうち代表視線位置重み係数算出部４３の処理のみを並列処理した場合、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合、本発明の方法による並列処理を全て実行した場合、非特許文献３に記載の方法をそれぞれ横軸に並べている。なお、本発明の方法のうち視線移動状態変数更新部４１及び代表視線位置更新部４２を並列処理した場合では、視線位置確率密度画像抽出部４の処理における代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成処理を実施しない場合と実施する場合とを横軸に並べている。
【０４２５】
図５からわかるように、本発明の方法による視線位置推定の評価値ＮＳＳは、非特許文献１に記載の従来の方法と比べて評価値が下がっている。しかし、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成処理を実施しない場合と実施する場合との比較からわかるように、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成が評価値を低下させていることがわかる。このことは、代表視線位置集合再構成部４５による代表視線位置集合Ｖ（ｔ）の再構成を実施しない場合には、少数の代表視線位置のサンプルが非常に大きな重み係数を持つことによって、視線位置の推定結果の正確性が損なわれる状況がしばしば見られることを示している。すなわち、非特許文献１に記載の方法で導かれた視線位置の推定結果が必ずしも正しくないことを示している。本発明の方法においては、視線位置の推定結果の正確性を担保したまま、非特許文献３に記載の方法と比べてより良い評価値を示しており、この結果は、本発明の方法の１つの効果を示すものである。
【０４２６】
続いて、図６及び図７に本実施形態の視線位置推定装置１００、もしくは視線位置推定装置２００によって処理した視線位置の推定結果の一例を示す。図６及び図７では、視線位置推定の対象となる入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、算出した人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を示している。
【０４２７】
図６及び図７に示された視線位置確率密度映像の各画像内に存在する複数の□印は、人間が視線を向ける領域を示しており、人間が視線を向ける確率が最も高い領域から順に予め定められた優先順位までを表示している。
また、最も人間が視線を向ける確率が高い領域のみで視線位置確率密度映像の各画像を比較すると、人間が視線を向ける領域の変化を確認することができる。例えば、図６では、視線位置推定の対象となる入力映像の中で、人間が視線を向けている領域が異なる領域に移動した場合を示している。また、図７では、視線位置推定の対象となる入力映像の中で変化の大きい領域に人間の視線が向けられている場合を示している。
【０４２８】
なお、図１に示した視線位置推定装置１００や図２に示した視線位置推定装置２００の各処理ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、視線位置推定装置１００や視線位置推定装置２００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０４２９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０４３０】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０４３１】
１・・・基礎注目度画像抽出部
２・・・確率的基礎注目度画像抽出部
３・・・確率的基礎注目度母数逐次推定部
４・・・視線位置確率密度画像抽出部
４１・・・視線移動状態変数更新部
４２・・・代表視線位置更新部
４３・・・代表視線位置重み係数算出部
４４・・・視線位置確率密度画像出力部
４５・・・代表視線位置集合再構成部
５・・・視線位置確率密度映像出力部
６・・・確率的基礎注目度母数推定部
６１・・・学習用基礎注目度映像抽出部
６２・・・初期推定確率的基礎注目度母数設定部
６３・・・確率的基礎注目度推定部
６４・・・推定確率的基礎注目度母数更新部
６５・・・推定確率的基礎注目度母数確定部
７・・・視線位置確率密度母数推定部
７０・・・学習用確率的基礎注目度映像抽出部
７１・・・初期推定視線位置確率密度母数設定部
７２・・・視線移動状態変数推定部
７３・・・推定視線位置確率密度母数更新部
７４・・・推定視線位置確率密度母数確定部
１００，２００・・・視線位置推定装置
【図１】
2010257344.tif 000215
【図２】
2010257344.tif 000216
【図３】
2010257344.tif 000217
【図４】
2010257344.tif 000218
【図５】
2010257344.tif 000219
【図６】
2010257344.tif 000220
【図７】
2010257344.tif 000221