(57)【要約】【課題】高速に視線位置の推定をすることができる適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体を提供する。【解決手段】入力映像のフレームである入力画像の中で顕著な特性を持つ空間領域を表示した基礎注目度画像を算出する過程と、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した確率的基礎注目度画像を基礎注目度画像と前回の確率的基礎注目度画像と逐次更新される確率的基礎注目度母数とから算出する過程と、基礎注目度画像と前回の確率的基礎注目度画像と確率的基礎注目度母数とに基づいて次回に用いる確率的基礎注目度母数を更新する過程と、視線位置確率密度画像を確率的基礎注目度画像と前回の視線位置確率密度画像と視線位置確率密度母数とに基づいて算出する過程と、上述の各過程によって算出される時系列の視線位置確率密度画像を視線位置確率密度映像として出力する過程と、を有する。【選択図】図１
2010257341.tif 000002
【特許請求の範囲】
【請求項１】
ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定方法において、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、
前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
を有することを特徴とする適応型視線位置推定方法。
【請求項２】
前記確率的基礎注目度画像抽出過程は、
前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出する、
ことを特徴とする請求項１に記載の適応型視線位置推定方法。
【請求項３】
ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置において、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、
前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部と、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、
前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、
を備えることを特徴とする適応型視線位置推定装置。
【請求項４】
前記確率的基礎注目度画像抽出部は、
前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出する、
ことを特徴とする請求項３に記載の適応型視線位置推定装置。
【請求項５】
ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定ステップと、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記確率的基礎注目度母数逐次推定ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
を実行させることを特徴とするプログラム。
【請求項６】
ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、
現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、
前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定ステップと、
現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、
前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記確率的基礎注目度母数逐次推定ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に基づいて視線位置を推定する適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
人間は、視覚的注意と呼ばれるメカニズムにより、網膜に写る映像の中から重要と思われる情報を瞬時に判断して、効率的に情報を獲得している。これら人間の視覚特性を計算機上で模擬することで、人間と同様に重要度に応じて情報を能動的に取捨選択する人工的な視覚システムの構築が期待される。
【０００３】
人間の視覚特性に基づいた視覚的注意の情報を計算機上に模擬する方法として、非特許文献１及び２に記載の方法などの技術が考案されている。非特許文献１及び２で開示されている方法は、人間の視覚的注意を確率的挙動としてモデル化し、入力された映像の各時刻・各位置について、人間が視線を向ける確率を映像のみから推定する技術である。
【０００４】
また、特許文献１には、視覚的注意の情報を注目度の時間的変動を考慮して算出する具体的な方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３６１５号公報
【非特許文献】
【０００６】
【非特許文献１】Derek Pang, Akisato Kimura, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,"A stochastic model of selective visual attention with a dynamic Bayesian network," Proc. International Conference on Multimedia and Expo (ICME2008), pp.1073-1076, Hannover, Germany, June 2008.
【非特許文献２】Akisato Kimura, Derek Pang, Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,”Dynamic Markov random fields for stochastic modeling of visual attention,” Proc. International Conference on Pattern Recognition (ICPR2008), Mo.BT8.35, Tampa, Florida, USA, December 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１及び２で開示されている方法は、予めモデルのパラメータを学習しておく必要がある。また、モデルのパラメータを学習する際に用いられる映像は、一般に入力される映像とは異なっており、入力された映像の統計的性質も異なることが想定される。この映像の統計的性質の違いに対応するために、数多くの映像を入力して学習することもできるが、入力する映像の量に応じて学習に要する計算（処理）時間も増加してしまうという問題がある。
【０００８】
また、非特許文献１及び２で開示されている方法は、視線位置推定そのものに要する処理時間も長いという問題がある。例えば、視線位置推定の全体の処理において、映像１フレーム当たり０．８秒から１．０秒の処理時間を要する。
【０００９】
本発明は、上記の課題認識に基づいてなされたものであり、入力された映像の統計的性質に合わせたモデルパラメータを逐次設定することによって、高速に視線位置の推定をすることができる適応型視線位置推定方法、適応型視線位置推定装置、プログラム、及び記録媒体を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明の適応型視線位置推定方法は、ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定方法において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定過程と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記確率的基礎注目度母数逐次推定過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を有することを特徴とする。
【００１１】
また、本発明の前記確率的基礎注目度画像抽出過程は、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定過程によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出する、ことを特徴とする。
【００１２】
また、本発明の適応型視線位置推定装置は、ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置において、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定部と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記確率的基礎注目度母数逐次推定部と、前記視線位置確率密度画像抽出部とによる処理を、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、を備えることを特徴とする。
【００１３】
また、本発明の前記確率的基礎注目度画像抽出部は、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数逐次推定部によって更新された確率的基礎注目度母数に基づいて確率的基礎注目度画像を算出する、ことを特徴とする。
【００１４】
また、本発明のプログラムは、ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記確率的基礎注目度母数逐次推定ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させることを特徴とする。
【００１５】
また、本発明の記録媒体は、ある与えられた映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示す映像である視線位置確率密度映像を算出する適応型視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出ステップと、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出ステップと、前記基礎注目度画像抽出ステップによって算出された基礎注目度画像と、前回の前記入力画像から前記確率的基礎注目度画像抽出ステップによって算出された前記確率的基礎注目度画像と、前記確率的基礎注目度母数とに基づいて、前記確率的基礎注目度母数を逐次推定し、推定した結果に基づいて次回の視線位置推定に用いる確率的基礎注目度母数を更新する確率的基礎注目度母数逐次推定ステップと、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出ステップによって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出ステップによって算出された前記視線位置確率密度画像と、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出ステップと、前記基礎注目度画像抽出ステップと、前記確率的基礎注目度画像抽出ステップと、前記確率的基礎注目度母数逐次推定ステップと、前記視線位置確率密度画像抽出ステップとを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力ステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１６】
本発明によれば、入力された映像の統計的性質に合わせたモデルパラメータを逐次設定することができ、複数コアを有する計算機や画像処理ハードウェアなど、並列処理を実行可能な計算機への適用が可能となり、視線位置の推定処理を高速に行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による視線位置推定装置の概略構成を示したブロック図である。
【図２】本発明の実施形態による視線位置の推定結果の一例を示した図である。
【図３】本発明の実施形態による視線位置の推定結果の一例を示した図である。
【発明を実施するための形態】
【００１８】
＜第１実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態による視線位置推定装置１００の概略構成を示したブロック図である。図１において、視線位置推定装置１００は、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、視線位置確率密度画像抽出部４、視線位置確率密度映像出力部５から構成される。
視線位置推定装置１００は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θｓ（ｔ）、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数Θｘ（ｔ）が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置１００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。
【００１９】
基礎注目度画像抽出部１は、入力された入力映像から視線位置推定を行う入力画像（フレーム）を取り出す。また、基礎注目度画像抽出部１は、取り出した入力画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像を確率的基礎注目度画像抽出部２及び確率的基礎注目度母数逐次推定部３に出力する。
【００２０】
基礎注目度画像抽出部１における基礎注目度画像の抽出処理は、特許文献１に記載されている基礎注目度画像抽出部１の処理と同様であるため、処理内容の詳細な説明は省略する。ただし、本実施形態では、時刻ｉの入力画像から算出する基礎注目度画像を数式（１）（以下、「基礎注目度画像￣Ｓ（ｉ）」と表す）とする。
【００２１】
【数１】
2010257341.tif 000003
【００２２】
確率的基礎注目度画像抽出部２は、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を抽出する。なお、確率的基礎注目度画像抽出部２による確率的基礎注目度画像Ｓ（ｔ）の抽出は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、該確率的基礎注目度画像抽出部２が算出したこれまでの確率的基礎注目度画像Ｓ（ｔ）、及び確率的基礎注目度母数Θｓ（ｔ）に基づいて行われる。
また、確率的基礎注目度画像抽出部２によって抽出される確率的基礎注目度画像Ｓ（ｔ）は、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値である数式（２）（以下、「期待値＾ｓ（ｔ，ｙ｜ｔ）」と表す）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像である。
【００２３】
【数２】
2010257341.tif 000004
【００２４】
また、確率的基礎注目度画像抽出部２は、抽出した確率的基礎注目度画像Ｓ（ｔ）を視線位置確率密度画像抽出部４及び確率的基礎注目度母数逐次推定部３に出力する。
なお、確率的基礎注目度画像抽出部２には、確率的基礎注目度母数逐次推定部３によって更新された確率的基礎注目度母数Θｓ（ｔ＋１）が入力される。
【００２５】
確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出方法は特に限定されるものではないが、一例として、カルマンフィルタを用いた推定方法について述べる。
【００２６】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像である数式（３）（以下、「基礎注目度画像￣Ｓ（ｔ）」と表す）の位置ｙにおける画素値である数式（４）（以下、「画素値￣ｓ（ｔ，ｙ）」と表す）、及び１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）について、下式（５）、（６）のような関係式を満たしているものとする。
【００２７】
【数３】
2010257341.tif 000005
【００２８】
【数４】
2010257341.tif 000006
【００２９】
【数５】
2010257341.tif 000007
【００３０】
【数６】
2010257341.tif 000008
【００３１】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（７）のように与えられているものとする。
【００３２】
【数７】
2010257341.tif 000009
【００３３】
また、上式（５）、（６）において、ｐ（ａ｜ｂ）は、ｂが与えられたときのａの確率密度を示す。また、数式（８）は期待値が数式（９）で標準偏差がσである正規分布に従うｓの確率密度を示し、下式（１０）のように表される。
【００３４】
【数８】
2010257341.tif 000010
【００３５】
【数９】
2010257341.tif 000011
【００３６】
【数１０】
2010257341.tif 000012
【００３７】
以降の説明においては、画素値￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度と呼ぶこととする。また、同様に、確率的基礎注目度ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度と呼ぶこととする。また、特に必要な場合を除いて、位置ｙを省略するものとする。例えば、ｓ（ｔ，ｙ）をｓ（ｔ）と表す。
【００３８】
続いて、１時点前の確率的基礎注目度ｓ（ｔ−１）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（１１）のような確率密度を用いた表現にて抽出されているものとする。
【００３９】
【数１１】
2010257341.tif 000013
【００４０】
上式（１１）において、数式（１２）は時刻ｔ１から時刻ｔ２までの基礎注目度の系列、数式（１３）は時刻１から時刻ｔ２までの基礎注目度である数式（１４）（以下、「基礎注目度￣ｓ（１：ｔ２）」と表す）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の期待値、σs（ｔ１｜ｔ２）は時刻１から時刻ｔ２までの基礎注目度￣ｓ（１：ｔ２）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の標準偏差を示す。
【００４１】
【数１２】
2010257341.tif 000014
【００４２】
【数１３】
2010257341.tif 000015
【００４３】
【数１４】
2010257341.tif 000016
【００４４】
このとき、確率的基礎注目度画像抽出部２は、現在の確率的基礎注目度ｓ（ｔ）の下式（１５）に示す確率密度における期待値である数式（１６）（以下、「期待値＾ｓ（ｔ｜ｔ）」と表す）及び標準偏差σｓ（ｔ｜ｔ）を、下式（１７）、（１８）のようにして更新する。
【００４５】
【数１５】
2010257341.tif 000017
【００４６】
【数１６】
2010257341.tif 000018
【００４７】
【数１７】
2010257341.tif 000019
【００４８】
【数１８】
2010257341.tif 000020
【００４９】
なお、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ｜ｔ）及び標準偏差σｓ（ｔ｜ｔ）の更新は、画像中の各位置で独立して実行することができる。
【００５０】
また、入力画像の各位置における動き成分を考慮した実施形態とすることも可能である。すなわち、この場合には、上式（６）に替えて、下式（１９）のような関係式を用いる。
【００５１】
【数１９】
2010257341.tif 000021
【００５２】
上式（１９）において、Δｙ（ｔ）は時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、特許文献１に記載されている運動特徴画像抽出部１１５と同様の方法を用いる。
【００５３】
確率的基礎注目度母数逐次推定部３は、基礎注目度画像抽出部１から入力された基礎注目度画像￣Ｓ（ｉ）、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、及び事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）に基づいて、確率的基礎注目度母数Θｓ（ｔ）を逐次的に更新する。
また、確率的基礎注目度母数逐次推定部３は、更新した確率的基礎注目度母数Θｓ（ｔ＋１）を確率的基礎注目度画像抽出部２に出力する。
【００５４】
なお、確率的基礎注目度母数逐次推定部３は、確率的基礎注目度母数Θｓ（ｔ）を更新していない場合は、事前に与えられた母数である確率的基礎注目度母数Θｓ（ｔ）を確率的基礎注目度母数Θｓ（ｔ＋１）として確率的基礎注目度画像抽出部２に出力する。すなわち、確率的基礎注目度画像抽出部２から確率的基礎注目度画像Ｓ（ｔ）が入力されていない初期段階では、確率的基礎注目度母数Θｓ（ｔ）の更新ができないため、入力された確率的基礎注目度母数Θｓ（ｔ）をそのまま確率的基礎注目度画像抽出部２に出力する。
【００５５】
確率的基礎注目度母数逐次推定部３における確率的基礎注目度母数Θｓ（ｔ＋１）の推定方法は特に限定されるものではないが、本実施形態においては、適応カルマンフィルタを用いた推定方法について述べる。
【００５６】
確率的基礎注目度母数逐次推定部３において、次の時刻ｔ＋１で用いられる確率的基礎注目度母数Θｓ（ｔ＋１）を、下式（２０）に示す。
【００５７】
【数２０】
2010257341.tif 000022
【００５８】
確率的基礎注目度母数逐次推定部３は、既に基礎注目度画像抽出部１によって算出されている基礎注目度画像￣Ｓ（ｉ）、及び確率的基礎注目度画像抽出部２によって算出されている確率的基礎注目度画像Ｓ（ｔ）を構成する確率的基礎注目度の期待値及び標準偏差を用いて、下式（２１）〜（２８）のように計算する。
【００５９】
【数２１】
2010257341.tif 000023
【００６０】
【数２２】
2010257341.tif 000024
【００６１】
【数２３】
2010257341.tif 000025
【００６２】
【数２４】
2010257341.tif 000026
【００６３】
【数２５】
2010257341.tif 000027
【００６４】
【数２６】
2010257341.tif 000028
【００６５】
【数２７】
2010257341.tif 000029
【００６６】
【数２８】
2010257341.tif 000030
【００６７】
上式（２１）〜（２８）において、数式（２９）（以下、「￣σｓ１」と表す）及び数式（３０）（以下、「￣σｓ２」と表す）は基本確率的基礎注目度母数であり、予め定めておく、もしくは事前に学習によって算出しておくものである。
【００６８】
【数２９】
2010257341.tif 000031
【００６９】
【数３０】
2010257341.tif 000032
【００７０】
また、λｓ１及びλｓ２は予め定められた母数の混合比であり、これらの数値を適切に定めることで、逐次更新で獲得した母数である数式（３１），数式（３２）と、予め定めておいた母数￣σｓ１，￣σｓ２とのバランスを制御することができる。
【００７１】
【数３１】
2010257341.tif 000033
【００７２】
【数３２】
2010257341.tif 000034
【００７３】
なお、λｓ１＝λｓ２＝０とすることにより、確率的基礎注目度母数逐次推定部３による確率的基礎注目度母数Θｓ（ｔ＋１）の推定処理を行わないことと等価になる。また、Ｎｓは過去の情報を保持するバッファの時間長である。
【００７４】
視線位置確率密度画像抽出部４は、視線位置確率密度映像を構成するフレームである視線位置確率密度画像Ｘ（ｔ）を抽出する。なお、視線位置確率密度画像抽出部４による視線位置確率密度画像Ｘ（ｔ）の抽出は、確率的基礎注目度画像抽出部２から入力された確率的基礎注目度画像Ｓ（ｔ）、該視線位置確率密度画像抽出部４が抽出したこれまでの視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θｘ（ｔ）に基づいて行われる。
また、視線位置確率密度画像抽出部４は、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
【００７５】
視線位置確率密度画像抽出部４における視線位置確率密度画像Ｘ（ｔ）の抽出処理は、非特許文献１、２に記載されている処理によって行うことができる。
【００７６】
視線位置確率密度映像出力部５は、入力映像に含まれる時系列の各入力画像から、基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、確率的基礎注目度母数逐次推定部３、及び視線位置確率密度画像抽出部４の処理によって抽出される視線位置確率密度画像Ｘ（ｔ）の時系列である視線位置確率密度映像を抽出して、出力する。
＜第２実施形態＞
【００７７】
上記に述べた第１の実施形態では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向で独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、動的マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度を解析的に導出する場合の実施形態について説明する。
【００７８】
なお、本第２の実施形態における構成は、確率的基礎注目度画像抽出部２における確率的基礎注目度画像Ｓ（ｔ）の抽出処理のみが異なり、その他の構成や処理内容は第１の実施形態と同じであるため、説明を省略する。
【００７９】
まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおける画素値￣ｓ（ｔ，ｙ）、１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置である数式（３３）における現在の確率的基礎注目度画像Ｓ（ｔ）の画素値である数式（３４）について、下式（３５）〜（３９）のような関係式を満たしているものとする。
【００８０】
【数３３】
2010257341.tif 000035
【００８１】
【数３４】
2010257341.tif 000036
【００８２】
【数３５】
2010257341.tif 000037
【００８３】
【数３６】
2010257341.tif 000038
【００８４】
【数３７】
2010257341.tif 000039
【００８５】
【数３８】
2010257341.tif 000040
【００８６】
【数３９】
2010257341.tif 000041
【００８７】
ここで、確率的基礎注目度母数Θｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下式（４０）のように再定義されているものとする。
【００８８】
【数４０】
2010257341.tif 000042
【００８９】
近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４点、もしくはさらに斜め位置４点を加えた８点、などが考えられる。
【００９０】
続いて、第１の実施形態と同様に、１時点前の確率的基礎注目度ｓ（ｔ−１，ｙ）が、これまでの確率的基礎注目度画像抽出部２の処理により、下式（４１）のような確率密度を用いた表現にて抽出されているものとする。
【００９１】
【数４１】
2010257341.tif 000043
【００９２】
上式（４１）において、数式（４２）は時刻ｔ２までの基礎注目度画像である数式（４３）（以下、「基礎注目度画像￣Ｓ（１：ｔ２）」と表す）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の期待値、σｓ（ｔ１，ｙ｜ｔ２）は時刻ｔ２までの基礎注目度画像￣Ｓ（１：ｔ２）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の標準偏差を示す。
【００９３】
【数４２】
2010257341.tif 000044
【００９４】
【数４３】
2010257341.tif 000045
【００９５】
このとき、確率的基礎注目度画像抽出部２は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の下式（４４）に示す確率密度における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。確率的基礎注目度画像抽出部２による更新は、繰り返し計算を用いた下式（４５）〜（５０）の方法によって行われる。
【００９６】
【数４４】
2010257341.tif 000046
【００９７】
【数４５】
2010257341.tif 000047
【００９８】
【数４６】
2010257341.tif 000048
【００９９】
【数４７】
2010257341.tif 000049
【０１００】
【数４８】
2010257341.tif 000050
【０１０１】
【数４９】
2010257341.tif 000051
【０１０２】
【数５０】
2010257341.tif 000052
【０１０３】
上式（４５）〜（５０）において、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数を示す。また、上式（４５）〜（５０）を用いた計算において、上式（４８）に示すような無限ステップの繰り返しは不可能であるため、実際には、第ｌ＋１ステップの出力である数式（５１）と第ｌステップの出力である数式（５２）との差が十分小さくなった時点で繰り返し計算を打ち切ることとする。
【０１０４】
【数５１】
2010257341.tif 000053
【０１０５】
【数５２】
2010257341.tif 000054
【０１０６】
また、ステップに関するインデックスｌを固定したとき、上式（４７）に示す更新は、画像の各位置において独立に算出することができる。また、それ以外の更新式については、時刻ｔを固定することによって、同様に画像の各位置において独立に算出することができる。
このことによって、上述の確率的基礎注目度画像抽出部２における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）の更新は、第１の実施形態と同様に、画像中の各位置で独立して実行することができ、これらの更新処理を容易に並列化できる。
【０１０７】
上記に述べたとおり、本発明を実施するための形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θｓ（ｔ）、及び視線位置確率密度母数Θｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θｓ（ｔ）を逐次更新することができる。また、更新された確率的基礎注目度母数Θｓ（ｔ＋１）を用いることによって、視線位置確率密度映像の出力を、入力映像の統計的性質に合わせることができる。
【０１０８】
図２及び図３に本実施形態の視線位置推定装置１００によって処理した視線位置の推定結果の一例を示す。図２及び図３では、視線位置推定の対象となる入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、算出した人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を示している。
【０１０９】
図２及び図３に示された視線位置確率密度映像の各画像内に存在する複数の□印は、人間が視線を向ける領域を示しており、人間が視線を向ける確率が最も高い領域から順に予め定められた優先順位までを表示している。
また、最も人間が視線を向ける確率が高い領域のみで視線位置確率密度映像の各画像を比較すると、人間が視線を向ける領域の変化を確認することができる。例えば、図２では、視線位置推定の対象となる入力映像の中で、人間が視線を向けている領域が異なる領域に移動した場合を示している。また、図３では、視線位置推定の対象となる入力映像の中で変化の大きい領域に人間の視線が向けられている場合を示している。
【０１１０】
また、本発明を実施するための形態によれば、確率的基礎注目度画像抽出部２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部２による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。
【０１１１】
なお、図１に示した視線位置推定装置１００の各処理ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、視線位置推定装置１００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１１２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１１３】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１１４】
１・・・基礎注目度画像抽出部
２・・・確率的基礎注目度画像抽出部
３・・・確率的基礎注目度母数逐次推定部
４・・・視線位置確率密度画像抽出部
５・・・視線位置確率密度映像出力部
１００・・・視線位置推定装置
【図１】
2010257341.tif 000055
【図２】
2010257341.tif 000056
【図３】
2010257341.tif 000057