(57)【特許請求の範囲】
【請求項１】
ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定方法において、
前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像より以前の前記入力画像から算出された前記確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、
現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
を有することを特徴とする視線位置推定方法。
【請求項２】
前記視線位置確率密度画像抽出過程は、
前記確率的基礎注目度画像、及び前記視線位置確率密度母数から、以前の視線位置を考慮せずに現時刻の視線位置に関する確率密度を表示する画像である基本視線位置確率密度画像を算出する基本視線位置確率密度画像抽出過程と、
以前に算出された前記視線位置確率密度画像、及び前記視線位置確率密度母数から、視線移動のみを考慮した現時刻の視線位置に関する確率密度を表示する画像である視線移動確率密度画像を算出する視線移動確率密度画像抽出過程と、
前記基本視線位置確率密度画像、及び前記視線移動確率密度画像から、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、
を備えることを特徴とする請求項１に記載の視線位置推定方法。
【請求項３】
前記視線位置確率密度画像抽出過程は、更に、
視線移動の大きさを制御する確率変数である視線移動状態変数を、以前に算出された前記視線移動状態変数、及び前記視線位置確率密度母数を用いて算出して、更新する視線移動状態変数更新過程、
を備え、
前記視線移動確率密度画像抽出過程は、
前記視線移動状態変数に応じて前記視線移動確率密度画像を算出する、
ことを特徴とする請求項２に記載の視線位置推定方法。
【請求項４】
ある与えられた映像である学習映像から、もしくは該学習映像に加えて該学習映像を実際に人間が視聴したときに測定される視線位置の時系列である視線位置系列とから、第１の目的関数が最大となる前記確率的基礎注目度母数の推定値である推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、
前記学習映像及び前記視線位置系列から、もしくは前記学習映像、前記視線位置系列、及び前記確率的基礎注目度母数推定部が算出した前記推定確率的基礎注目度係数を前記確率的基礎注目度係数に替えて用いることで前記学習映像から抽出された前記確率的基礎注目度画像から、第２の目的関数が最大となる前記視線位置確率密度母数の推定値である推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、
を有し、
前記確率的基礎注目度画像抽出過程は、
前記推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えて用い、
前記視線位置確率密度画像抽出過程は、
前記推定視線位置確率密度母数を前記視線位置確率密度母数に替えて用いる、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の視線位置推定方法。
【請求項５】
前記確率的基礎注目度母数推定過程は、
前記学習画像を前記入力画像に替えて用いた前記基礎注目度画像抽出過程を、前記学習映像の前記学習画像に対して順に繰返し実行することで、前記基礎注目度画像の時系列である基礎注目度映像を算出する学習基礎注目度映像抽出過程と、
前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、
前記基礎注目度映像及び現在の推定確率的基礎注目度母数から、前記第１の目的関数が最大化されるように推定された推定確率的基礎注目度画像の時系列である推定確率的基礎注目度映像を算出する確率的基礎注目度推定過程と、
前記基礎注目度映像及び前記推定確率的基礎注目度映像から、前記第１の目的関数が最大化されるように前記推定確率的基礎注目度母数を算出して更新する推定確率的基礎注目度母数更新過程と、
前記推定確率的基礎注目度母数が前記第１の目的関数の最大化を達成するまで、前記確率的基礎注目度推定過程から前記推定確率的基礎注目度母数更新過程を繰返し行うことで、前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、
を備えることを特徴とする請求項４に記載の視線位置推定方法。
【請求項６】
前記視線位置確率密度母数推定過程は、
前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、
前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数とから、前記第２の目的関数が最大化されるように推定された推定視線移動状態変数の時系列である推定視線移動状態変数系列、もしくは前記推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を抽出する視線移動状態変数推定過程と、
前記学習映像と、前記視線位置系列と、前記推定視線移動状態変数系列又は前記推定視線移動状態変数確率密度系列とから、前記第２の目的関数が最大化されるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、
前記推定視線位置確率密度母数が前記第２の目的関数の最大化を達成するまで、前記視線移動状態変数推定過程から前記推定視線位置確率密度母数更新過程を繰返し行うことで、前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、
を備えることを特徴とする請求項４又は請求項５に記載の視線位置推定方法。
【請求項７】
ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置であって、
前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出部と、
現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出部と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、
を有することを特徴とする視線位置推定装置。
【請求項８】
ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、
現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
を実行させることを特徴とするコンピュータプログラム。
【請求項９】
ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、
前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、
現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、
前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、
を実行させるコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主に映像信号における視線位置を推定する視線位置推定方法、視線位置推定装置、コンピュータプログラム、及び記録媒体に関する。
【背景技術】
【０００２】
人間は、視覚的注意と呼ばれるメカニズムにより、網膜に映る映像の中から重要と思われる情報を瞬時に判断して、効率的に情報を獲得している。これらの人間の視覚特性を計算機上で模擬することで、人間が重要とする情報を能動的に取捨選択する人工的な視覚システムの構築が期待される。
視覚特性に基づく視覚的注意の計算モデルに関して、視覚的注意の生理学的モデルが提案され（非特許文献１参照）、また、この生理学的モデルを計算機上で実装する方法が提案されている（非特許文献２参照）。この方法では、画像・映像の各時刻・各位置について、人間にとって重要と感じられる度合い、例えば、輝度、色、方向などを注目度として数値化し、注目度の大きい順に視覚的注意が向けられる、すなわち、視線が向けられる、位置が決定されることを仮定して、モデル化している。
図１７（ａ）及び（ｂ）は、非特許文献２の方法による視線位置推定の結果を示す図である。当該方法では、図１７（ａ）で示す入力画像の基本的な特徴、例えば、輝度、色、方向などから、それぞれの基礎特徴画像が生成され、生成された複数の基礎特徴画像を組合わせて処理を行い図１７（ｂ）で示す注目度画像を生成する。生成された注目度画像は、各位置における注目度の大きさを示す画像である。なお、図１７（ｂ）は、線で囲まれた領域９５が注目度が大きいことを示している。
【非特許文献１】C.Koch and S.Ullman， "Shifts in selective visual attention : towards the underlying neural circuitry"， Human Neurobiolgy （1985) 4， pp.219−227， 1985.
【非特許文献２】L.Itti et al. "A model of saliency−based visual attention for rapid scene analysis"， in IEEE Transaction on Pattern Analysis and Machine Intelligence， Volume 20， Number 11， pp.1254−1259， November 1998.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記の非特許文献１及び非特許文献２に記載の方法では、ある映像を視聴したときに視線が向けられる位置が画像の特徴による注目度の大きさによって決定され、その位置や順序が常に一定となる、という問題がある。例えば、図１８に示すように、従来の方法では楕円に囲まれた領域９６が常に注目度が高い領域となる。同一の映像を視聴したとしても人によって視線が向く位置や順序が異なることが自然であり、たとえ同一人物であったとしても、視線が向く位置や順序が常に一定となるとは考えにくい。
【０００４】
また、従来の方法である特徴統合理論では、ある目的刺激を発見する際に、周辺にある妨害刺激と少しでも異なる特徴があれば、その特徴を算出して抽出するので、目的刺激を即座に発見できることを示唆している。しかしながら、例えば、図１９に示すように、多数の線（妨害刺激）の中から、４５度に傾いた線（目的刺激）を発見する課題における目的刺激の発見の難しさの度合いを特徴統合理論では説明することができない。
このように、人間の視線位置推定の方法として、特徴統合理論によるモデルと、実際の人間の視線移動との間に乖離があるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、与えられる映像により視線の移動傾向が異なる人間の視線方向を推定する視線位置推定方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定方法において、前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像より以前の前記入力画像から算出された前記確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を有することを特徴とする視線位置推定方法である。
これにより、基礎注目度画像抽出過程、確率的基礎注目度画像抽出過程、及び視線位置確率密度画像抽出過程を用いた動的ベイジアンネットワークによる視覚的注意のモデル化を行い、従来の特徴統合理論に替わる新しい理論体系（信号検出理論）を視覚的注意モデルへ反映した確率モデルの導入による注目度の算出を行うことができる。また、視線位置確率密度画像抽出過程において、視覚入力としての入力映像とは独立に、人間の内部状態によって視線移動における傾向が変化する確率モデルをトップダウン情報として取込み反映することができる。
【０００７】
また、本発明は、上記記載の発明において、前記視線位置確率密度画像抽出過程は、前記確率的基礎注目度画像、及び前記視線位置確率密度母数から、以前の視線位置を考慮せずに現時刻の視線位置に関する確率密度を表示する画像である基本視線位置確率密度画像を算出する基本視線位置確率密度画像抽出過程と、以前に算出された前記視線位置確率密度画像、及び前記視線位置確率密度母数から、視線移動のみを考慮した現時刻の視線位置に関する確率密度を表示する画像である視線移動確率密度画像を算出する視線移動確率密度画像抽出過程と、前記基本視線位置確率密度画像、及び前記視線移動確率密度画像から、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と、を備えることを特徴とする。
【０００８】
また、本発明は、上記記載の発明において、前記視線位置確率密度画像抽出過程は、更に、視線移動の大きさを制御する確率変数である視線移動状態変数を、以前に算出された前記視線移動状態変数、及び前記視線位置確率密度母数を用いて算出して、更新する視線移動状態変数更新過程、を備え、前記視線移動確率密度画像抽出過程は、前記視線移動状態変数に応じて前記視線移動確率密度画像を算出する、ことを特徴とする。
【０００９】
また、本発明は、上記記載の発明において、ある与えられた映像である学習映像から、もしくは該学習映像に加えて該学習映像を実際に人間が視聴したときに測定される視線位置の時系列である視線位置系列とから、第１の目的関数が最大となる前記確率的基礎注目度母数の推定値である推定確率的基礎注目度母数を算出する確率的基礎注目度母数推定過程と、前記学習映像及び前記視線位置系列から、もしくは前記学習映像、前記視線位置系列、及び前記確率的基礎注目度母数推定部が算出した前記推定確率的基礎注目度係数を前記確率的基礎注目度係数に替えて用いることで前記学習映像から抽出された前記確率的基礎注目度画像から、第２の目的関数が最大となる前記視線位置確率密度母数の推定値である推定視線位置確率密度母数を算出する視線位置確率密度母数推定過程と、を有し、前記確率的基礎注目度画像抽出過程は、前記推定確率的基礎注目度母数を前記確率的基礎注目度母数に替えて用い、前記視線位置確率密度画像抽出過程は、前記推定視線位置確率密度母数を前記視線位置確率密度母数に替えて用いる、ことを特徴とする。
【００１０】
また、本発明は、上記記載の発明において、前記確率的基礎注目度母数推定過程は、前記学習画像を前記入力画像に替えて用いた前記基礎注目度画像抽出過程を、前記学習映像の前記学習画像に対して順に繰返し実行することで、前記基礎注目度画像の時系列である基礎注目度映像を算出する学習基礎注目度映像抽出過程と、前記推定確率的基礎注目度母数の初期値を設定する初期推定確率的基礎注目度母数設定過程と、前記基礎注目度映像及び現在の推定確率的基礎注目度母数から、前記第１の目的関数が最大化されるように推定された推定確率的基礎注目度画像の時系列である推定確率的基礎注目度映像を算出する確率的基礎注目度推定過程と、前記基礎注目度映像及び前記推定確率的基礎注目度映像から、前記第１の目的関数が最大化されるように前記推定確率的基礎注目度母数を算出して更新する推定確率的基礎注目度母数更新過程と、前記推定確率的基礎注目度母数が前記第１の目的関数の最大化を達成するまで、前記確率的基礎注目度推定過程から前記推定確率的基礎注目度母数更新過程を繰返し行うことで、前記推定確率的基礎注目度母数を確定する推定確率的基礎注目度母数確定過程と、を備えることを特徴とする。
【００１１】
また、本発明は、上記記載の発明において、前記視線位置確率密度母数推定過程は、前記推定視線位置確率密度母数の初期値を設定する初期推定視線位置確率密度母数設定過程と、前記学習映像、前記視線位置系列、及び現在の前記推定視線位置確率密度母数とから、前記第２の目的関数が最大化されるように推定された推定視線移動状態変数の時系列である推定視線移動状態変数系列、もしくは前記推定視線移動状態変数系列の確率密度である推定視線移動状態変数確率密度系列を抽出する視線移動状態変数推定過程と、前記学習映像と、前記視線位置系列と、前記推定視線移動状態変数系列又は前記推定視線移動状態変数確率密度系列とから、前記第２の目的関数が最大化されるように前記推定視線位置確率密度母数を更新する推定視線位置確率密度母数更新過程と、前記推定視線位置確率密度母数が前記第２の目的関数の最大化を達成するまで、前記視線移動状態変数推定過程から前記推定視線位置確率密度母数更新過程を繰返し行うことで、前記推定視線位置確率密度母数を確定する推定視線位置確率密度母数確定過程と、を備えることを特徴とする。
【００１２】
また、本発明は、ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置であって、前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出部と、現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と、を有することを特徴とする視線位置推定装置である。
【００１３】
また、本発明は、ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を実行させることを特徴とするコンピュータプログラムである。
【００１４】
また、本発明は、ある与えられる映像である入力映像から、該入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を算出する視線位置推定装置として用いられるコンピュータに、前記入力映像のフレームである入力画像から、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現時刻の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像、現時刻の前記入力画像以前の前記入力画像から算出された確率的基礎注目度画像、及び事前に与えられた母数である確率的基礎注目度母数から算出する確率的基礎注目度画像抽出過程と、現時刻の前記入力画像に対応する人間が視線を向ける確率を表示した画像である視線位置確率密度画像を、前記確率的基礎注目度画像、過去に算出された前記視線位置確率密度画像、及び事前に与えられた母数である視線位置確率密度母数から算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを繰返し行うことにより、算出される前記視線位置確率密度画像の時系列を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と、を実行させるコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１５】
この発明によれば、入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を抽出する基礎注目度画像抽出過程と、入力画像の各位置における顕著性を確率的な表現を用いて表示した確率的基礎注目度画像を抽出する確率的基礎注目度画像抽出過程と、入力画像とは独立に人間の視線移動の傾向を確率的に算出する視線位置確率密度画像抽出過程を有する構成とした。
これにより、入力映像に対する注目度の確率的変動を考慮した新たな注目度の算出をすることができると共に、人間の視線移動の変化傾向を観測不能な人間の内部状態に基づく変化として、視線移動状態変数を隠れ変数とするモデルで算出することができる。この結果、人間の視線方向をより正確に推定することが可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態において、視線位置推定装置は、信号検出理論を用いる４層からなる動的ベイジアンネットワークによりモデル化された視覚的注意の確率モデルを用いて視線位置の推定を行う。視線位置推定装置は、入力画像（フレーム）の時系列としての入力映像が与えられる。また、視線位置推定装置は、それぞれの入力画像に対して、入力画像の各位置における人間が視線を向ける確率を示した視線位置確率密度画像を算出する。更に、視線位置推定装置は、算出した視線位置確率密度画像の時系列を視線位置確率密度映像として出力する。
【００１７】
信号検出理論において、注目度は、入力される画像に対する視覚刺激は常に一定ではなく、ガウス分布に従って得られる確率的な数量であるとする。例えば、図１（ａ）に示す４５度に傾いた線（目的刺激）が容易に発見できる問題においては、図１（ｂ）に示すように、目的刺激９１の注目度（Ｔａｒｇｅｔ）と、４５度に傾いていない線（妨害刺激）９２の注目度（Ｄｉｓｔｒａｃｔｏｒ）とは、分布のピークが十分に離れている。このため、妨害刺激の注目度に比べ、目的刺激の注目度が低くなる確率は、きわめて低い。すなわち、目的刺激を見分けることができる確率は高く、目的刺激の検出が容易であることを示している。
【００１８】
また、図２（ａ）に示すように、妨害刺激９４に囲まれた目的刺激９３の発見が困難な問題は、信号検出理論において、図２（ｂ）に示すように目的刺激の注目度と、妨害刺激の注目度とは、分布のピークが近接して表される。このため、図１の例に比べ、妨害刺激の注目度が目的刺激の注目度より高くなる確率は高い。すなわち、妨害刺激を目的刺激として誤認識する確率は高く、目的刺激の検出が困難であることを示している。
以下、本発明における上述の信号検出理論を適用した視線位置推定装置の実施形態を図面を参照して説明する。
【００１９】
（第１の実施形態）
図３は、本発明の第１の実施形態による視線位置推定装置１００の機能構成を示す概略図である。
同図に示す視線位置推定装置１００は、基礎注目度画像抽出部１と、確率的基礎注目度画像抽出部２と、視線位置確率密度画像抽出部３と、視線位置確率密度映像出力部４と、を備えている。視線位置推定装置１００は、視線位置推定の対象となる入力画像ｉ（ｔ）、視線位置推定に必要となる第１の母数である確率的基礎注目度母数θｓ、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数θｘが入力され、入力映像に含まれる各フレームの画像内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像｛Ｘ（ｔ）｝を出力する。映像は、複数のフレームの画像からなる。
【００２０】
基礎注目度画像抽出部１は、入力映像のあるフレームである入力画像が入力され、入力されたフレームの中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出して抽出し、抽出した基礎注目度画像￣Ｓ（ｔ）を出力する。なお、「￣Ｓ」は、式及び図における、文字Ｓの上に￣が付いた文字を示す。また、以下同様に、文字の上に￣、〜、及び＾が付いた文字を記すとき、￣、〜、及び＾を文字の前に記載して示す。
基礎注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、図４に示すように、基礎注目度画像抽出部１が、基礎特徴画像抽出部１１と、多重解像度画像抽出部１２と、解像度差分画像抽出部１３と、顕著度画像抽出部１４と、顕著度画像統合部１５とを備える場合の特徴抽出方法について述べる。
【００２１】
基礎特徴画像抽出部１１は、入力画像を入力し、複数の特徴抽出方法により入力画像からそれぞれ基礎特徴画像を算出して抽出し、それら基礎特徴画像の集合を出力する。
基礎特徴画像の抽出方法は特に限定されるものではないが、本実施形態においては、基礎特徴画像抽出部１１が、輝度特徴画像抽出部１１１と、色特徴画像抽出部１１２と、方向特徴画像抽出部１１３と、点滅特徴画像抽出部１１４と、運動特徴画像抽出部１１５とによって構成される場合の特徴抽出方法について述べる。
【００２２】
輝度特徴画像抽出部１１１は、入力画像を入力し、入力画像の輝度成分を表現する輝度特徴画像を出力する。輝度特徴画像は、入力画像のＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）成分の平均として、以下の（式１）のように求める。
【００２３】
【数１】
0004890495.tif 000002
【００２４】
ここで、ｒ（ｔ），ｇ（ｔ），ｂ（ｔ）は、それぞれ時刻ｔの入力画像（＝入力映像の時刻ｔのフレーム）におけるＲ（赤色），Ｇ（緑色），Ｂ（青）の各成分であり、画素値はそれぞれ０から１の実数値で表されている。また、Ｉ（ｔ）は、時刻ｔの入力画像から算出される輝度特徴画像である。
【００２５】
色特徴画像抽出部１１２は、入力画像を入力し、入力画像の色成分を表現する色特徴画像を出力する。色特徴画像抽出部１１２では、赤色・緑色・青色・黄色にそれぞれ対応する４種類の色特徴画像を算出して抽出する。これらの色特徴画像はそれぞれ、以下の（式２）から（式４）のように求める。ただし、ｍａｘは、括弧｛｝内の値のうちの最大値を示す。
【００２６】
【数２】
0004890495.tif 000003
【００２７】
ここで、Ｒ（ｔ），Ｇ（ｔ），Ｂ（ｔ），Ｙ（ｔ）は、それぞれ赤色・緑色・青色・黄色に対応する、時刻ｔの入力画像から算出される色特徴画像である。また、Ｒ（ｔ）（ｘ，ｙ）は、座標（ｘ，ｙ）における色特徴画像Ｒ（ｔ）の画素値である。以降の説明において、必要な場合を除いて、下添字の（ｘ，ｙ）は省略するものとする。
【００２８】
方向特徴画像抽出部１１３は、入力画像を入力し、入力画像の方向成分を表現する方向特徴画像を出力する。方向特徴画像は、輝度特徴画像抽出部１１１によって求めた輝度特徴画像Ｉ（ｔ）にガボールフィルタを作用させることによって、以下の（式６）のように求められる。なお、ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。
【００２９】
【数３】
0004890495.tif 000004
【００３０】
ここで、ｇφは回転角φを持つガボールフィルタ、＊は畳み込み（関数を平行移動しながらもう一方の関数を重ね足し合わせる）を表現する演算子である。また、Ｏφ（ｔ）は時刻ｔの入力画像から算出される、回転角φに対応する方向特徴画像である。方向特徴画像は、ｎφ通りの回転角について抽出される。このとき回転角φは、π＝１８０°を均等にｎφ分割するように、以下の（式７）のように選択される。
【００３１】
【数４】
0004890495.tif 000005
【００３２】
点滅特徴画像抽出部１１４は、入力画像を入力し、入力画像の点滅成分を表現する点滅特徴画像を出力する。点滅特徴画像は、輝度特徴画像抽出部１１１により、現時刻及びそれ以前のいくつかの入力画像から算出される輝度特徴画像Ｉ（ｔ）を用い、以下の（式８）のように算出される。
【００３３】
【数５】
0004890495.tif 000006
【００３４】
ここで、ｎＦは点滅特徴画像を抽出する際に参照する輝度特徴画像の数（ただし現時刻の入力画像から抽出された輝度特徴画像は除く）、Ｆ（ｔ）は時刻ｔ及びそれ以前の入力画像から算出される点滅特徴画像である。例えば、ｎＦ＝１としたとき、Ｆ（ｔ）＝｜Ｉ（ｔ）−Ｉ（ｔ−１）｜となる。
【００３５】
運動特徴画像抽出部１１５は、入力画像を入力し、入力画像の運動成分を表現する運動特徴画像を出力する。運動特徴画像の抽出方法は特に限定されるものではないが、本実施形態においては、輝度特徴画像の各点におけるオプティカルフローを求めることによって算出して抽出する。オプティカルフローの導出方法は特に限定されるものではないが、本実施形態においては、例えば、一般にLucas−Kanade法と呼ばれる画像勾配に基づく方法を用いて、以下の（式９）から（式１０）のように算出する。
【００３６】
【数６】
0004890495.tif 000007
【００３７】
ここで、Ａ（ｘ，ｙ）は座標（ｘ，ｙ）の近傍領域、Ｍｘ（ｔ），Ｍｙ（ｔ）はそれぞれ運動の水平成分・垂直成分に対応する運動特徴画像である。
【００３８】
上記の通り、基礎特徴画像抽出部１１は、輝度特徴画像、色特徴画像、方向特徴画像、点滅特徴画像、及び運動特徴画像を、それぞれ基礎特徴画像とし、それら基礎特徴画像の集合を出力する。
【００３９】
多重解像度画像抽出部１２は、基礎特徴画像の集合を入力し、各基礎特徴画像について、その多重解像度表現である多重解像度画像を算出して抽出し、多重解像度画像の集合を出力する。
本実施形態においては、いずれの基礎特徴画像についても同様の処理を行うため、輝度特徴画像を例に処理の説明を行うものとする。輝度特徴画像についての多重解像度表現である輝度多重解像度画像は、輝度特徴画像にガウシアンフィルタを繰返し作用させることによって以下の（式１１）のように抽出される。ガウシアンフィルタとは、画像のノイズ除去するための平滑化フィルタのひとつであり、注目画素からの距離に基づく重み付けにガウス関数を用いる。
【００４０】
【数７】
0004890495.tif 000008
【００４１】
ここで、Ｇσは分散σを持つガウシアンフィルタ、Ｉ（ｔ；ｌ）は輝度特徴画像Ｉ（ｔ）から抽出した第ｌレベルの輝度多重解像度画像、ｎｌは多重解像度画像のレベル数である。第０レベルの輝度多重解像度画像は輝度特徴画像そのもの、すなわちＩ（ｔ；０）＝Ｉ（ｔ）とする。
【００４２】
他の基礎特徴画像についても同様にして多重解像度画像を抽出することができる。このとき、輝度多重解像度画像がｎｌ枚抽出されるのに対して、色特徴画像Ｒ（ｔ），Ｇ（ｔ），Ｂ（ｔ），Ｙ（ｔ）を用いた場合の色多重解像度画像Ｒ（ｔ；ｌ），Ｇ（ｔ；ｌ），Ｂ（ｔ；ｌ），Ｙ（ｔ；ｌ）は合計４ｎｌ枚、方向特徴画像Ｏφ（ｔ）を用いた場合の方向多重解像度画像Ｏφ（ｔ；ｌ）は合計ｎφｎｌ枚、点滅特徴画像Ｆ（ｔ）を用いた場合の点滅多重解像度画像Ｆ（ｔ；ｌ）はｎｌ枚、運動特徴画像Ｍｘ（ｔ），Ｍｙ（ｔ）を用いた場合の運動多重解像度画像Ｍｘ（ｔ；ｌ），Ｍｙ（ｔ；ｌ）は合計２ｎｌ枚、それぞれ抽出される。
【００４３】
上記の通り、多重解像度画像抽出部１２は、輝度多重解像度画像、色多重解像度画像、方向多重解像度画像、点滅多重解像度画像、及び運動多重解像度画像をそれぞれ多重解像度画像とし、それら多重解像度画像の集合を出力する。
【００４４】
解像度差分画像抽出部１３は、多重解像度画像抽出部１２が出力した多重解像度画像の集合を入力し、多重解像度画像の各種類（輝度・色など）について、解像度レベルの異なる画像の間の差分画像である解像度差分画像を抽出し、解像度差分画像の集合を出力する。
本実施形態においては、以下の（式１２）から（式１７）のようにして解像度差分画像を算出して抽出する。
【００４５】
【数８】
0004890495.tif 000009
【００４６】
ここで、ＲＳＩ（ｔ；ｃ，ｓ）は第ｃレベルと第ｓレベルの輝度多重解像度画像から得られる輝度解像度差分画像であり、以降、（ｃ，ｓ）レベル輝度解像度差分画像と呼ぶことにする。同様に、ＲＳＲＧ（ｔ；ｃ，ｓ）及びＲＳＢＹ（ｔ；ｃ，ｓ）はそれぞれ（ｃ，ｓ）レベルＲＧ色解像度差分画像及び（ｃ，ｓ）レベルＢＹ色解像度差分画像、ＲＳＯ（ｔ；φ；ｃ，ｓ）は回転角φの（ｃ，ｓ）レベル方向解像度差分画像、ＲＳＦ（ｔ；ｃ，ｓ）は（ｃ，ｓ）レベル点滅解像度差分画像、
【００４７】
【数９】
0004890495.tif 000010
【００４８】
（以下、「ＲＳＭｋ（ｔ；ｃ，ｓ）」と記載）はｋ方向の（ｃ，ｓ）レベル運動解像度差分画像である。また、Ｌｃ，Ｌｓは輝度解像度差分画像を抽出する際に考慮する解像度レベルの集合であり、それぞれ中心解像度レベル集合、周辺解像度レベル集合と呼ぶ。
このとき、輝度解像度差分画像が｜Ｌｃ・Ｌｓ｜枚抽出されるのに対して、色解像度差分画像は４｜Ｌｃ・Ｌｓ｜枚、方向解像度差分画像はｎφ｜Ｌｃ・Ｌｓ｜枚、点滅解像度差分画像は｜Ｌｃ・Ｌｓ｜枚、運動解像度差分画像は２｜Ｌｃ・Ｌｓ｜枚、それぞれ抽出される。
【００４９】
上記の通り、解像度差分画像抽出部１３は、輝度解像度差分画像、色解像度差分画像、方向解像度差分画像、点滅解像度差分画像、及び運動解像度差分画像をそれぞれ解像度差分画像とし、それら解像度差分画像の集合を出力する。
【００５０】
顕著度画像抽出部１４は、解像度差分画像抽出部１３により出力された解像度差分画像の集合を入力し、解像度差分画像の各種類（輝度・色など）について解像度差分画像を統合した画像である顕著度画像を算出して抽出し、それら顕著度画像の集合を出力する。
顕著度画像の抽出方法は特に限定されるものではないが、本実施形態においては、顕著度画像抽出部１４が解像度差分画像正規化部１４１と、正規化解像度差分画像積算部１４２とによって構成される場合の顕著度画像抽出方法について述べる。
【００５１】
解像度差分画像正規化部１４１は、解像度差分画像抽出部１３により出力された解像度差分画像の集合を入力し、各解像度差分画像について正規化処理を施した画像である正規化解像度差分画像を抽出し、正規化解像度差分画像の集合を出力する。
本実施形態においては、いずれの解像度差分画像についても同様の処理を行うため、あるｃ∈Ｌｃ，ｓ∈Ｌｓを選んだときの（ｃ，ｓ）レベル輝度解像度差分画像ＲＳＩ（ｔ；ｃ，ｓ）を例に処理の説明を行うものとする。解像度差分画像に対する正規化処理は、以下の（式１８）から（式２０）ようにして行われ、正規化解像度差分画像Ｎ（ＲＳＩ（ｔ；ｃ，ｓ））を得る。
【００５２】
【数１０】
0004890495.tif 000011
【００５３】
ここで、ｍ＊（ＲＳＩ（ｔ；ｃ，ｓ））は、（ｃ，ｓ）レベル輝度解像度差分画像の中の最大画素値である。
【００５４】
【数１１】
0004890495.tif 000012
【００５５】
（以下、￣ｍ（ＲＳＩ（ｔ；ｃ，ｓ））と記載）は、（ｃ，ｓ）レベル輝度解像度差分画像の局所領域における最大値の平均、Ａは、￣ｍ（ＲＳＩ（ｔ；ｃ，ｓ））を算出する際の局所領域、ｎＡはそのような局所領域の総数である。各局所領域は、例えば、画像を格子状に分割したときの１つの格子（領域）とする。
【００５６】
他のレベルの輝度解像度差分画像、及び他の種類の輝度解像度差分画像についても同様にして正規化処理を行うことができ、それぞれの正規化解像度差分画像、すなわち、正規化輝度解像度差分画像、正規化ＲＧ色解像度差分画像、正規化ＢＹ色解像度差分画像、正規化方向解像度差分画像、正規化方向解像度差分画像、正規化点滅解像度差分画像、正規化運動解像度差分画像を得る。
【００５７】
正規化解像度差分画像積算部１４２は、解像度差分画像正規化部１４１により得られた正規化解像度差分画像の集合を入力し、それら正規化解像度差分画像を各種類（輝度・色など）について積算することにより顕著度画像を抽出し、顕著度画像の集合を出力する。
本実施形態において、正規化解像度差分画像は、以下の（式２１）から（式２５）のようにして積算される。
【００５８】
【数１２】
0004890495.tif 000013
【００５９】
ここで、ＣＭＩ（ｔ）、ＣＭＣ（ｔ）、ＣＭＯ（ｔ）、ＣＭＦ（ｔ）、ＣＭＭ（ｔ）はそれぞれ輝度顕著度画像、色顕著度画像、方向顕著度画像、点滅顕著度画像、運動顕著度画像であり、正規化解像度差分画像Ｎ（ＲＳＩ（ｔ；ｃ，ｓ））、正規化ＲＧ色解像度差分画像Ｎ（ＲＳＲＧ（ｔ；ｃ，ｓ））及び正規化ＢＹ色解像度差分画像Ｎ（ＲＳＢＹ（ｔ；ｃ，ｓ））、正規化方向解像度差分画像Ｎ（ＲＳＯ（ｔ；φ；ｃ，ｓ））、正規化方向解像度差分画像Ｎ（ＲＳＦ（ｔ；ｃ，ｓ））、正規化点滅解像度差分画像Ｎ（ＲＳＦ（ｔ；ｃ，ｓ））、正規化運動解像度差分画像Ｎ（ＲＳＭｋ（ｔ；ｃ，ｓ））を用いて同様に求められる。
【００６０】
上記の通り、顕著度画像抽出部１４は、輝度顕著度画像、色顕著度画像、方向顕著度画像、点滅顕著度画像、及び運動顕著度画像を、それぞれ顕著度画像とし、それら顕著度画像の集合を出力する。
【００６１】
顕著度画像統合部１５は、顕著度画像抽出部１４により出力された顕著度画像の集合を入力し、顕著度画像を統合した画像である基礎注目度画像を算出して抽出し、その基礎注目度画像を出力する。
基礎注目度画像の抽出方法は特に限定されるものではないが、本実施形態においては、顕著度画像統合部１５が、顕著度画像正規化部１５１と、正規化顕著度画像積算部１５２とによって構成される場合の基礎注目度画像抽出方法について述べる。
【００６２】
顕著度画像正規化部１５１は、顕著度画像抽出部１４により出力された顕著度画像の集合を入力し、各顕著度画像（輝度顕著度画像、色顕著度画像、方向顕著度画像、点滅顕著度画像、運動顕著度画像）それぞれについて正規化処理を施した画像である正規化顕著度画像を抽出し、正規化顕著度画像の集合を出力する。
顕著度画像に対する正規化処理は、解像度差分画像正規化部１４１による正規化処理と同様である。
【００６３】
正規化顕著度画像積算部１５２は、顕著度画像正規化部１５１により出力された正規化顕著度画像の集合を入力し、それら正規化顕著度画像を積算することにより基礎注目度画像を抽出し、その基礎注目度画像を出力する。
本実施形態において、正規化顕著度画像Ｎ（ＣＭｊ（ｔ））（ｊ＝Ｉ，Ｃ，Ｏ，Ｆ，Ｍ）は、以下の（式２６）のようにして積算される。ただし、〜ｊは、式中でｊと区別するために用いているが、ｊと同様、〜ｊ＝Ｉ，Ｃ，Ｏ，Ｆ，Ｍである。
【００６４】
【数１３】
0004890495.tif 000014
【００６５】
ここで、￣Ｓ（ｔ）は時刻ｔの入力画像から算出して抽出される基礎注目度画像、ｗｊ（ｔ）はｗｊ（ｔ）＝１／５∀（ｔ，ｊ）とする。（∀は任意を示す。）
【００６６】
上記の通り、基礎注目度画像抽出部１は、入力画像ｉ（ｔ）が入力され、入力された入力画像ｉ（ｔ）から基礎注目度画像￣Ｓ（ｔ）を抽出して、出力する。
次に、図５は、基礎注目度画像抽出部１の行う処理によるデータの流れを示す図である。時系列に入力される入力映像｛ｉ（ｔ）｝のそれぞれのフレームである入力画像…，ｉ（ｔ−１），ｉ（ｔ），ｉ（ｔ＋１），…から、基礎注目度画像…，￣Ｓ（ｔ−１），￣Ｓ（ｔ），￣Ｓ（ｔ＋１），…を抽出する。
【００６７】
確率的基礎注目度画像抽出部２は、基礎注目度画像抽出部１の出力する基礎注目度画像￣Ｓ（ｔ）、確率的基礎注目度画像抽出部２が１時刻前に出力した確率的基礎注目度画像Ｓ（ｔ−１）、及び確率的基礎注目度母数θｓが入力され、現時刻の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を算出して抽出し、抽出した確率的基礎注目度画像Ｓ（ｔ）を出力する。
確率的基礎注目度画像抽出部２における確率的基礎注目度画像の抽出方法は、特に限定されるものではないが、第１の実施形態においては、カルマンフィルタを用いた抽出方法について説明する。
【００６８】
まず、現時刻（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ベクトルｙで示される位置（以下、位置ｙとする）におけるピクセル値ｓ（ｔ、ｙ）（確率変数）が、現時刻の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおけるピクセル値￣ｓ（ｔ、ｙ）、及び１時刻前（すなわち、時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおけるピクセル値ｓ（ｔ−１，ｙ）について、以下の（式２７）及び（式２８）の関係を満たしているものとする。
【００６９】
【数１４】
0004890495.tif 000015
【００７０】
ここで、確率的基礎注目度母数は、θｓ＝（σｓ１，σｓ２）として与えられているものとする。また、ｐ（ａ｜ｂ）はｂが与えられたときのａの条件付き確率密度、以下の（式２９）の左辺ｇ（ｓ；￣ｓ，σ２）は、期待値が￣ｓで標準偏差がσである正規分布に従うｓの確率密度を表す。なお、＝の上に「ｄｅｆ．」が記された記号は、左辺の式を右辺の式で定義することを意味する。
【００７１】
【数１５】
0004890495.tif 000016
【００７２】
以下、簡単のため、￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度という。同様に、ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度という。また、特に必要な場合を除いて、位置ｙを省略した表記を用いるものとする。すなわち、ｓ（ｔ，ｙ）に替えてｓ（ｔ）、などのように記載する。
【００７３】
次に１時刻前の確率的基礎注目度ｓ（ｔ−１）が、１時刻以上前の確率的基礎注目度画像抽出部２の処理により、以下の（式３０）のような確率密度を用いた表現にて抽出されているものとする。
【００７４】
【数１６】
0004890495.tif 000017
【００７５】
ここで、＾ｓ（ｔ１｜ｔ２）は、時刻ｔ２までの基礎注目度￣ｓ（１、ｔ２）が与えられているときの時刻ｔ１の確率的基礎注目度ｓ（ｔ１）の期待値、σｓ（ｔ１｜ｔ２）は同標準偏差を示す。
【００７６】
このとき、現時刻の確率的基礎注目度ｓ（ｔ）の確率密度、以下の（式３１）、における期待値＾ｓ（ｔ｜ｔ）、及び標準偏差σｓ（ｔ｜ｔ）を更新することが目的となる。
【００７７】
【数１７】
0004890495.tif 000018
【００７８】
期待値＾ｓ（ｔ｜ｔ）、及び標準偏差σｓ（ｔ｜ｔ）の更新は以下の（式３２）から（式３５）のようにして行われる。
このように、Ｓ（ｔ）の位置ｙにおけるピクセル値ｓ（ｔ）の期待値及び分散を求めることで、確率的基礎注目度画像抽出部２は、基礎注目度画像￣Ｓ（ｔ）から確率的注目度画像Ｓ（ｔ）を算出する。
【００７９】
【数１８】
0004890495.tif 000019
【００８０】
なお、上記確率的基礎注目度画像抽出部２の説明では、確率的基礎注目度母数θｓが時刻ｔ及び位置ｙによらず一定とする表現を用いたが、時刻ｔ及び位置ｙに応じて確率的基礎注目度母数θｓを設定してもよい。また、入力画像の各位置における動き成分を考慮してもよい。
確率的基礎注目度母数θｓに入力画像の各位置における動き成分を考慮した構成、確率的基礎注目度画像抽出部２ａについて説明する。この場合、（式２８）に替えて、以下の関係式（式３６）を用いる。
【００８１】
【数１９】
0004890495.tif 000020
【００８２】
ここで、Δｙ（ｔ）は、時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、運動特徴画像抽出部１１５に示す方法によって抽出する。
【００８３】
また、各位置の確率的基礎注目度ｓ（ｔ、ｙ）が空間方向に独立に抽出されているが、確率的基礎注目度の空間的な連続性を導入してもよい。確率的基礎注目度画像抽出部２ａにおいては、マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度を解析的に導出した構成とする。
【００８４】
まず、現時刻（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおけるピクセル値ｓ（ｔ，ｙ）（確率変数）が、現時刻の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおけるピクセル値￣ｓ（ｔ，ｙ）、１時刻前（時刻ｔ−１）、すなわち１つ前のフレームの確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおけるピクセル値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置〜ｙにおける現時刻の確率的基礎注目度画像Ｓ（ｔ）のピクセル値ｓ（ｔ，〜ｙ）について、以下の（式３７）から（式３９）の関係式を満たしているものとする。なお、Ｄ（ｙ）は、位置ｙで示される位置の近傍の位置を含む集合を示し、〜ｙは、Ｄ（ｙ）に含まれるそれぞれの位置を示すベクトルの集合を示す。
【００８５】
【数２０】
0004890495.tif 000021
【００８６】
ここで、確率的基礎注目度母数は、θｓ＝（σｓ１，σｓ２，σｓ３）として再定義されているものとする。近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４ピクセル、もしくは更に斜め位置４ピクセルを加えた８ピクセル、などが考えられる。
【００８７】
次に確率的基礎注目度画像抽出部２と同様、１時刻前の確率的基礎注目度ｓ（ｔ−１，ｙ）が１時刻以上前の確率的基礎注目度画像抽出部２ａにより、以下の（式４０）のような確率密度を用いた表現にて抽出されているものとする。
【００８８】
【数２１】
0004890495.tif 000022
【００８９】
ここで、＾ｓ（ｔ１，ｙ｜ｔ２）は、時刻ｔ２までの基礎注目度画像￣Ｓ（１：ｔ２）が与えられているときの時刻ｔ１・位置ｙの確率的基礎注目度ｓ（ｔ１，ｙ）の期待値、σｓ（ｔ１，ｙ｜ｔ２）は同標準偏差を表す。
【００９０】
このとき、位置ｙにおける現時刻の確率的基礎注目度ｓ（ｔ，ｙ）の確率密度（以下の（式４１））における期待値＾ｓ（ｔ，ｙ｜ｔ）、及び標準偏差σｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。
【００９１】
【数２２】
0004890495.tif 000023
【００９２】
期待値＾ｓ（ｔ，ｙ｜ｔ）、及び標準偏差σｓ（ｔ，ｙ｜ｔ）の更新は、（式４２）から（式４６）を用いた繰返し算出よって行われる。
【００９３】
【数２３】
0004890495.tif 000024
【００９４】
ここで、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数である。（式４２）から（式４６）の算出において、（式４５）に示すような無限ステップの繰返しは有限時間で行うことは不可能であるため、実際には第ｌ＋１ステップの出力＾ｓ（ｌ＋１）（ｔ，ｙ｜ｔ−１）と第ｌステップの出力＾ｓ（ｌ）（ｔ，ｙ｜ｔ−１）との差が十分小さくなった時点で繰返し計算を打ち切ることとする。
【００９５】
上記の通り、確率的基礎注目度画像抽出部２ａは、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値＾ｓ（ｔ、ｙ｜ｔ）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像として、確率的基礎注目度画像Ｓ（ｔ）を算出して抽出し、抽出した確率的基礎注目度画像Ｓ（ｔ）を出力する。
【００９６】
図６（ａ）は、確率的基礎注目度画像抽出部２及び確率的基礎注目度画像抽出部２ａが行う処理によるデータの流れを示す図である。基礎注目度映像｛￣Ｓ（ｔ）｝のそれぞれのフレームである基礎注目度画像、…，￣Ｓ（ｔ−１），￣Ｓ（ｔ），￣Ｓ（ｔ＋１），…、から、確率的基礎注目度画像、…，Ｓ（ｔ−１），Ｓ（ｔ），Ｓ（ｔ＋１），…、を算出して抽出する。
また、図６（ｂ）は、注目度の算出が、確率的変動を考慮して行われるため、基礎注目度画像から確率的基礎注目度画像を算出する際にガウス分布で表現される内部雑音を含むことを示している。また、同様に時刻ｔ−１の確率的基礎注目度画像を用いて、時刻ｔの確率的基礎注目度画像を算出する際にもガウス分布で表現される内部雑音を含むことを示している。内部雑音の大小により、図１及び図２で示した目的刺激の検出の難しさの度合いを表現する。
【００９７】
視線位置確率密度画像抽出部３は、確率的基礎注目度画像Ｓ（ｔ）、視線位置確率密度画像抽出部３のこれまでの出力、及び視線位置確率密度母数θｘが入力され、現時刻の確率的基礎注目度画像Ｓ（ｔ）に対応する視線位置確率密度画像のフレームである視線位置確率密度画像Ｘ（ｔ）を算出して抽出し、抽出した視線位置確率密度画像を出力する。
視線位置確率密度画像の抽出方法は、特に限定されるものではないが、第１の実施形態においては、図７に示すように、基本視線位置確率密度画像抽出部３１と、視線移動状態変数更新部３４と、視線移動確率密度画像抽出部３２と、視線位置確率密度画像出力部３３とを備える。以下、視線位置確率密度画像抽出部３が行う視線位置確率密度画像Ｘ（ｔ）の抽出方法について説明する。
【００９８】
基本視線位置確率密度画像抽出部３１は、確率的基礎注目度画像抽出部２から確率的基礎注目度画像Ｓ（ｔ）が入力され、及び視線位置確率密度母数θｘが与えられる。また、基本視線位置確率密度画像抽出部３１は、以前の視線位置を考慮せずに現時刻の視線位置に関する確率密度を表示する画像である基本視線位置確率密度画像Ｘ１（ｔ）を抽出し、抽出した基本視線位置確率密度画像Ｘ１（ｔ）を視線位置確率密度画像出力部３３に出力する。
【００９９】
基本視線位置確率密度画像Ｘ１（ｔ）の抽出方法は特に限定されるものではないが、第１の実施形態においては、以下の抽出方法について説明する。
現時刻の基本視線位置確率密度画像Ｘ１（ｔ）の時刻ｔにおける位置ベクトルｘ（ｔ）で示される位置（以下、位置ｘ（ｔ）とする）におけるピクセル値は、位置ｘ（ｔ）の確率密度として、次の（式４７）により算出される。
【０１００】
【数２４】
0004890495.tif 000025
【０１０１】
ここで、簡単のため、（式４７）においてのみｓ＝ｓ（ｔ，ｘ（ｔ））の表記を用いている。また、（式４７）中のＰ（ｓ（ｔ，〜ｘ））≦ｓ）は、位置〜ｘにおける現時刻の確率的基礎注目度ｓ（ｔ，〜ｘ）の確率分布であり、同確率密度ｐ（ｓ（ｔ，〜ｘ））に対応して、次の（式４８）のように定義される。
【０１０２】
【数２５】
0004890495.tif 000026
【０１０３】
また、ＬＭ（ｘ）は、位置ｘに依存して予め定められた位置の集合である。ＬＭ（ｘ）の与え方は各種考えられるが、例えば、位置ｘ以外の任意の位置の集合、ｘ以外で基礎注目度￣ｓ（ｔ，〜ｘ）が局所的に最大となる位置〜ｘの集合、ｘ以外で確率的基礎注目度の期待値＾ｓ（ｔ｜ｔ，〜ｘ）が局所的に最大となる位置〜ｘの集合、などが考えられる。（式４７）は、すなわち、位置ｘ（ｔ）における確率的基礎注目度の実現値が、それ以外の位置〜ｘにおける確率的基礎注目度の実現値以上になる確率を表現している。
上記の通り、基本視線位置確率密度画像抽出部３１は、基本視線位置確率密度画像Ｘ１（ｔ）を抽出して、出力する。
【０１０４】
視線移動状態変数更新部３４は、視線移動状態変数更新部３４のこれまでの出力、及び事前に与えられた視線位置確率密度母数θｘが入力され、視線移動の大きさを制御する確率変数である視線移動状態変数ｕ（ｔ）を算出し、算出した視線移動状態変数を出力する。視線移動状態変数の更新方法は特に限定されるものではないが、第１の実施形態においては、以下の更新方法について説明する。
【０１０５】
まず、１時刻前（時刻ｔ−１）の視線移動状態変数ｕ（ｔ−１）（確率変数）を、次の（式４９）及び（式５０）のようなｍｕ次元２値列ベクトルによって表記する。
【０１０６】
【数２６】
0004890495.tif 000027
【０１０７】
ここで、上付き文字のＴは転置を表す。これはすなわち、視線移動の大きさを制御する視線移動状態がｍｕ通り存在し、（式４９）及び（式５０）で示される列ベクトルのいずれかの要素を１にすることで、その要素に対応する視線移動状態を表現している。同様にして、次の（式５１）から（式５３）で示されるｍｕ次元の正値列ベクトルによって、１時刻前の視線移動状態変数の生起確率ｐ（ｕ（ｔ−１））を表現する。
【０１０８】
【数２７】
0004890495.tif 000028
【０１０９】
１時刻前の視線移動状態変数ｕ（ｔ−１）が与えられているときの、現時刻（時刻ｔ）の移動視線状態変数ｕ（ｔ）（確率変数）の生起確率ｐ（ｕ（ｔ）｜ｕ（ｔ−１））は、次の（式５４）のように算出される。
【０１１０】
【数２８】
0004890495.tif 000029
【０１１１】
ここで、Φ＝｛φ（ｉ，ｊ）｝（ｉ，ｊ）は、視線移動確率密度母数の１つである視線移動遷移確率行列である。視線移動遷移確率行列はｍｕ行ｍｕ列の行列によって表現され、ｉ行ｊ列の要素φ（ｉ，ｊ）によって、視線移動状態ｊから視線移動状態ｉヘ遷移する確率を表現している。よって、Φは次の（式５５）の性質を満たす。
【０１１２】
【数２９】
0004890495.tif 000030
【０１１３】
同様に、１時刻前の視線移動状態変数の生起確率ｐ（ｕ（ｔ−１））から、現時刻（時刻ｔ）の視線移動状態変数の生起確率ｐ（ｕ（ｔ））が、次の（式５６）のように算出される。
【０１１４】
【数３０】
0004890495.tif 000031
【０１１５】
上記の方法により、現時刻の視線移動状態変数の生起確率ｐ（ｕ（ｔ））が算出される。
【０１１６】
なお、少数のサンプルを用いることで生起確率を近似的に抽出する方法を用いてもよい。この場合、１時刻前（時刻ｔ−１）の視線移動状態変数のサンプル集合である視線移動状態変数集合〜Ｕ（ｔ−１）が、次の（式５７）のように与えられているものとする。
【０１１７】
【数３１】
0004890495.tif 000032
【０１１８】
ここで、Ｎは視線移動状態変数集合の要素数、すなわち視線移動状態変数のサンプル数である。
このとき、各サンプル〜ｕｎ（ｔ−１）から、（式５４）に示す確率分布に基づいて現時刻のサンプル〜ｕｎ（ｔ）をランダム生成する。生成したサンプルの集合｛〜ｕｎ（ｔ）｝Ｎｎ＝１がすなわち、現時刻の視線移動状態変数集合〜Ｕ（ｔ）となる。現時刻の視線移動状態変数集合に含まれるサンプルの経験確率分布が、視線移動状態変数の生起確率の近似となっている。
【０１１９】
なお、前述の処理において、例えば、ｍｕ＝１、すなわち、視線移動状態が１通りしかない状態を表す場合、視線移動状態変数更新部３４は、視線移動状態変数の生起確率の算出を行わなくてよい。
【０１２０】
以上、視線移動状態変数更新部３４は、確率変数である視線移動状態変数ｕ（ｔ）を特徴付ける生起確率ｐ（ｕ（ｔ））、もしくはその近似を導出できる視線移動状態変数集合〜Ｕ（ｔ）を抽出して、出力する。
【０１２１】
視線移動確率密度画像抽出部３２は、視線位置確率密度画像Ｘ１（ｔ）、視線移動状態変数ｕ（ｔ）、及び視線位置確率密度母数θｘが入力される。また、視線移動確率密度画像抽出部３２は、入力された視線位置確率密度画像Ｘ１（ｔ）、視線移動状態変数ｕ（ｔ）、及び視線位置確率密度母数θｘから、視線移動のみを考慮した現時刻の視線位置に関する確率密度を表示する画像である視線移動確率密度画像Ｘ２（ｔ）を算出して、視線位置確率密度画像出力部３３に出力する。
【０１２２】
視線移動確率密度画像の算出方法は特に限定されるのもではないが、第１の実施形態においては、確率密度関数を用いる視線移動確率密度画像抽出部３２、ベータ分布を用いる視線移動確率密度画像抽出部３２ａ、少数のサンプルから算出する視線移動確率密度画像抽出部３２ｂについて説明する。
視線移動確率密度画像抽出部３２は、１時刻前の視点位置がベクトルｘ（ｔ−１）として与えられているときの、現時刻（時刻ｔ）の視線位置ｘ（ｔ）の生起確率を、現時刻の視線移動状態変数ｕ（ｔ）に依存する形で、次の（式５８）のように算出する。
【０１２３】
【数３２】
0004890495.tif 000033
【０１２４】
ここで、γｘｉ及びσｘｉ（ｉ＝０，１，…，ｍｕ−１）はそれぞれの視線位置確率密度母数の１つであり、Ｌ（ｘ；￣ｘ，γ，σ）は中心が￣ｘ、ピークがσ、ピークからの標準偏差に相当する母数をγとする次の（式５９）の確率密度関数を表す。
【０１２５】
【数３３】
0004890495.tif 000034
【０１２６】
また、‖ｘ‖はベクトルｘのノルム、ＺＬは確率密度Ｌ（ｘ；￣ｘ，γ，σ）の全定義域における積分値を基礎注目度画像抽出部１にするための正規化定数として、次の（式６０）で定義される。
【０１２７】
【数３４】
0004890495.tif 000035
【０１２８】
このとき、１時刻前（時刻ｔ−１）の視線位置確率密度画像Ｘ（ｔ−１）の各位置ｘ（ｔ−１）におけるピクセル値が、位置ｘ（ｔ−１）における確率密度ｐ（ｘ（ｔ−１））として与えられているとき、現時刻の視線移動確率密度画像Ｘ２（ｔ）の各位置ｘ（ｔ）におけるピクセル値は、位置ｘ（ｔ）における確率密度〜ｐ（ｘ（ｔ））として、次の（式６１）で算出される。
【０１２９】
【数３５】
0004890495.tif 000036
【０１３０】
視線移動確率密度画像抽出部３２において、視線移動を表現する確率密度関数としてＬ（ｘ，￣ｘ，γ，σ）を用いたが、これに替えてベータ分布を用いてもよい。以下、確率密度関数としてＬ（ｘ，￣ｘ，γ，σ）に替えて、ベータ分布を用いた視線移動確率密度画像抽出部３２ａについて説明する。
【０１３１】
通常、基礎注目度画像抽出部１次元変量に対するベータ分布は、定義域を０≦ｘ≦１とする次の（式６２）によって定義される。
【０１３２】
【数３６】
0004890495.tif 000037
【０１３３】
ここで、ａ，ｂは、それぞれベータ分布を特徴付ける母数である。また、次の（式６３）で定義されるＢ（ａ，ｂ）はベータ関数と呼ばれ、ベータ分布の全定義域における積分値を１にするための正規化定数である。
【０１３４】
【数３７】
0004890495.tif 000038
【０１３５】
視線移動確率密度画像抽出部３２ａでは、変量として位置ｘとある与えられた原点￣ｘとの距離を用い、定義域をα≦‖ｘ―￣ｘ‖≦βとするベータ分布Ｂ（ｘ；￣ｘ，ａ，ｂ，α，β）は、次の（式６４）によって与えられる。
【０１３６】
【数３８】
0004890495.tif 000039
【０１３７】
上記の正規化されたベータ分布を用いると、１時刻前の視線位置がｘ（ｔ−１）として与えられているときの現時（時刻ｔ）の視線位置ｘ（ｔ）の生起確率は、現時刻の視線移動状態変数ｕ（ｔ）に依存する形で、次の（式６５）のように算出される。
【０１３８】
【数３９】
0004890495.tif 000040
【０１３９】
ここで、ａｘｉ，ｂｘｉ（ｉ＝０，１，…，ｍｕ―１）は、それぞれ視線位置確率密度母数の１つである。以下、現時刻の視線移動確率密度画像Ｘ２（ｔ）の各位置ｘ（ｔ）におけるピクセル値の算出は、視線移動確率密度画像抽出部３２と同様である。
上記の方法により、視線移動確率密度画像抽出部３２ａは、各位置ｘ（ｔ）におけるピクセル値を算出することで、視線移動確率密度画像Ｘ２（ｔ）を抽出して、視線位置確率密度画像出力部３３に出力する。
【０１４０】
一方で、ある少数のサンプルを用いることで視線移動確率密度画像を抽出する構成も可能である。以下、少数のサンプルを用いることで視線移動確率密度画像を抽出する視線移動確率密度画像抽出部３２ｂの構成について説明する。
【０１４１】
まず、１時刻前の視点位置のサンプル集合である視線位置集合〜Ｘ（ｔ−１）が、次の（式６６）のように与えられるものとする。
【０１４２】
【数４０】
0004890495.tif 000041
【０１４３】
ここでは、視線位置集合の要素数が視線移動状態変数集合の要素数Ｎと同一であるとする。
このとき、各サンプル〜ｘｎ（ｔ−１）（１≦ｎ≦Ｎ）から、（式６１）に示す密度関数とほぼ同様の次の（式６７）の確率密度関数に基づいて、現時刻のサンプル〜ｘｎ（ｔ）をランダムに生成する。
【０１４４】
【数４１】
0004890495.tif 000042
【０１４５】
生成したサンプルの集合｛〜ｘｎ（ｔ）｝Ｎｎ＝１がすなわち、現時刻の視線位置集合〜Ｘ（ｔ）となる。現時刻の視線位置集合に含まれるサンプルの経験確率分布が、視線移動確率密度画像の近似になっていると考えられる。そこで、視線移動確率密度画像抽出部３２ｂは、視線位置集合を視線移動確率密度画像として出力する。
【０１４６】
上記の通り、視線移動確率密度画像抽出部３２、及び視線移動確率密度画像抽出部３２ａは、現時刻の視線移動確率密度画像Ｘ２（ｔ）を算出して抽出し、抽出した視線移動確率密度画像Ｘ２（ｔ）を出力する。また、視線移動確率密度画像抽出部３２ｂは、現時刻の視線位置集合〜Ｘ（ｔ）を算出して抽出し、抽出した視線位置集合〜Ｘ（ｔ）を出力する。
【０１４７】
視線位置確率密度画像出力部３３は、基本視線位置確率密度画像抽出部３１から基本視線位置確率密度画像Ｘ１（ｔ）、及び視線移動確率密度画像抽出部３２から視線移動確率密度画像Ｘ２（ｔ）が入力される。また、視線位置確率密度画像出力部３３は、入力された基本視線位置確率密度画像Ｘ１（ｔ）、及び視線移動確率密度画像Ｘ２（ｔ）から視線位置確率密度画像を抽出して、出力する。
視線位置確率密度画像の算出方法は特に限定されるものではないが、視線位置確率密度画像出力部３３において、以下の算出方法について説明する。
【０１４８】
現時刻（時刻ｔ）の視線位置確率密度画像Ｘ（ｔ）の位置ｘ（ｔ）におけるピクセル値は、位置ｘ（ｔ）における確率密度ｐ（ｘ（ｔ））として、次の（式６８）のように算出される。
【０１４９】
【数４２】
0004890495.tif 000043
【０１５０】
ここで、ｐ（ｘ（ｔ）｜ｐ（Ｓ（ｔ）））は、基本視線位置確率密度画像Ｘ１（ｔ）から得られ、〜ｐ（ｘ（ｔ））は、視線移動確率密度画像Ｘ２（ｔ）から得られる。
上記の通り、視線移動確率密度画像抽出部３２又は視線移動確率密度画像抽出部３２ａを用いる構成のとき、視線位置確率密度画像出力部３３は、視線移動確率密度画像抽出部３２又は視線移動確率密度画像抽出部３２ａから入力される視線移動確率密度画像Ｘ２（ｔ）、及び基本視線位置確率密度画像抽出部３１から入力される基本視線位置確率密度画像Ｘ１（ｔ）から、視線位置確率密度画像ｐ（ｘ（ｔ））を抽出して、出力する。
また、視線移動確率密度画像抽出部３２ｂを用いる構成のとき、視線位置確率密度画像出力部３３は、視線移動確率密度画像抽出部３２ｂから入力される視線位置集合〜Ｘ（ｔ）、及び基本視線位置確率密度画像抽出部３１から入力される基本視線位置確率密度画像Ｘ１（ｔ）から、視線位置確率密度画像〜ｐ（ｘ（ｔ））の近似を導出できる視線位置集合〜Ｘ（ｔ）を抽出して、出力する。
【０１５１】
上記の通り、視線位置確率密度画像抽出部３は、確率的基礎注目度画像Ｓ（ｔ）、及び視線位置確率密度母数θｘが入力されて、視線位置確率密度画像ｐ（ｘ（ｔ））、もしくは、視線位置確率密度画像ｐ（ｘ（ｔ））の近似を導出できる視線位置集合〜Ｘ（ｔ）を抽出して、出力する。また、視線位置確率密度画像抽出部３は、隠れマルコフモデルを変形して視線移動状態変数更新部３４に導入している。これにより、視線移動状態変数更新部３４は、観測不能な人間の内部状態に基づく視線移動の傾向の変化を、視線移動状態変数を隠れ変数として、視線位置確率密度画像の推定を行う。また、視線位置確率密度画像抽出部３は、確率的基礎注目度画像からの視線位置確率密度画像の算出により、信号検出理論に基づく視線位置の決定を行う。
なお、視線移動確率密度画像Ｘ２（ｔ）を算出する構成として、視線移動確率密度画像抽出部３２、視線移動確率密度画像抽出部３２ａ、及び視線移動確率密度画像抽出部３２ｂを示したが、視線位置確率密度画像抽出部３は、いずれか１つを備えるものとする。
【０１５２】
次に、図８は、視線位置確率密度画像抽出部３が行う処理によるデータの流れを示す図である。視線位置確率密度画像抽出部３は、確率的基礎注目度画像抽出部２から入力される確率的基礎注目度画像、及び、視線移動状態変数更新部３４に変形して導入した隠れマルコフモデルを用いる視線移動状態変数に基づいて視線位置確率密度映像Ｘ（ｔ）を算出する。
【０１５３】
視線位置確率密度映像出力部４は、入力映像に含まれる各フレームである入力画像が、基礎注目度画像抽出部１から視線位置確率密度画像抽出部３により処理されて抽出される視線位置確率密度画像の時系列である視線位置確率密度映像を抽出して、出力する。
【０１５４】
以上の構成により、視線位置推定装置１００は、入力される入力映像｛ｉ（ｔ）｝から、視線位置の推定結果としての視線位置確率密度映像｛Ｘ（ｔ）｝を算出する。
続いて、図９は、視線位置推定装置１００が行う処理によるデータの流れを示す図である。また、図示されるように、視線位置推定装置１００において、基礎注目度画像￣Ｓ（ｔ）、確率的基礎注目度画像Ｓ（ｔ）、視線位置確率密度画像Ｘ（ｔ）、視線移動状態変数ｕ（ｔ）による４層の動的ベイジアンネットワークによる視覚的注意のモデル化が行われている。また、基礎注目度画像抽出部１は、入力される入力画像に含まれる各フレームである入力画像ｉ（ｔ−１）、ｉ（ｔ）、ｉ（ｔ＋１）（ｔ＝１，２，…，Ｔ）から基礎注目度画像￣Ｓ（ｔ−１）、￣Ｓ（ｔ）、￣Ｓ（ｔ＋１）（ｔ＝１，２，…，Ｔ）を算出する。確率的基礎注目度画像抽出部２は、基礎注目度画像抽出部１が算出した基礎注目度画像￣Ｓ（ｔ−１）、￣Ｓ（ｔ）、￣Ｓ（ｔ＋１）（ｔ＝１，２，…，Ｔ）から確率的基礎注目度画像Ｓ（ｔ−１）、Ｓ（ｔ）、Ｓ（ｔ＋１）（ｔ＝１，２，…，Ｔ）を算出する。視線位置確率密度画像抽出部３は、隠れマルコフモデルを変形して適用した視線移動状態変数ｕ（ｔ−１）、ｕ（ｔ）、ｕ（ｔ＋１）（ｔ＝１，２，…，Ｔ）を有しており、確率的基礎注目度画像抽出部２が算出した確率的基礎注目度画像Ｓ（ｔ−１）、Ｓ（ｔ）、Ｓ（ｔ＋１）（ｔ＝１，２，…，Ｔ）から視線位置確率密度画像Ｘ（ｔ−１）、Ｘ（ｔ）、Ｘ（ｔ＋１）（ｔ＝１，２，…，Ｔ）を算出する。視線位置確率密度映像出力部４は、視線位置確率密度画像抽出部３が算出する視線位置確率密度画像Ｘ（ｔ−１）、Ｘ（ｔ）、Ｘ（ｔ＋１）（ｔ＝１，２，…，Ｔ）の時系列である視線位置確率密度映像｛Ｘ（ｔ）｝を抽出して、出力する。
【０１５５】
（第２の実施形態）
続いて、図１０は、第２の実施形態による視線位置推定装置２００の機能構成を示す概略図である。視線位置推定装置２００は、確率的基礎注目度母数推定部５と、視線位置確率密度母数推定部６と、基礎注目度画像抽出部１と、確率的基礎注目度画像抽出部２と、視線位置確率密度画像抽出部３と、視線位置確率密度映像出力部４とを有している。また、視線位置推定装置２００は、視線位置推定の対象となる入力映像、及び視線位置推定に必要となる母数を推定するために用いる映像である学習映像が入力される。また、視線位置推定装置２００は、入力された入力映像のフレーム内の各位置において人間が視線を向ける確率を示した映像である視線位置確率密度映像を出力する。
【０１５６】
基礎注目度画像抽出部１、確率的基礎注目度画像抽出部２、視線位置確率密度画像抽出部３、視線位置確率密度映像出力部４は、第１の実施形態と同じ構成を有しており、同じ符号を付して、異なる構成である確率的基礎注目度母数推定部５、及び視線位置確率密度母数推定部６について説明する。
なお、第１の実施形態において確率的基礎注目度画像抽出部２に入力される確率的基礎注目度母数に替えて、確率的基礎注目度母数推定部５から出力される推定確率的基礎注目度母数が、確率的基礎注目度画像抽出部２に入力される。また、第１の実施形態において視線位置確率密度画像抽出部３に入力される視線位置確率密度母数に変えて、視線位置確率密度母数推定部６から出力される推定視線位置確率密度母数が、視線位置確率密度画像抽出部３に入力される。
【０１５７】
確率的基礎注目度母数推定部５は、ある与えられた映像である学習映像、もしくは、それに加えて学習映像を実際に人間が視聴したときに測定した視線位置の時系列である視線位置系列￣Ｘｎが入力される。また、確率的基礎注目度母数推定部５は、入力された学習映像、及び視線位置系列￣Ｘｎから、ある基準において最適となる確率的基礎注目度母数の推定値である推定確率的基礎注目度母数を算出して、確率的基礎注目度画像抽出部２に出力する。
【０１５８】
推定確率的基礎注目度母数の算出方法は特に限定されるものではないが、第２の実施形態においては、図１１に示すように、確率的基礎注目度母数推定部５は、学習基礎注目度映像抽出部５１、初期推定確率的基礎注目度母数設定部５２、確率的基礎注目度推定部５３、推定確率的基礎注目度母数更新部５４、及び推定確率的基礎注目度母数確定部５５を備えている。以下、推定確率的基礎注目度母数の算出法について説明する。
【０１５９】
学習基礎注目度映像抽出部５１は、時系列で与えられる学習映像ＩＬ＝｛ｉ（ｔ）｝（以下、学習映像ＩＬ）が入力され、入力された学習映像ＩＬのフレームである学習画像から、基礎注目度画像抽出部１と同様の方法を用いて、基礎注目度画像を算出する。また、学習基礎注目度映像抽出部５１は、入力された学習映像ＩＬのフレームとして含まれる各学習画像に対して、順に繰返して、基礎注目度画像抽出部１と同様の方法により基礎注目度画像を算出する。また、学習基礎注目度映像抽出部５１は、算出した基礎注目度画像の時系列である基礎注目度映像を抽出して、確率的基礎注目度推定部５３、及び推定確率的基礎注目度母数更新部５４に出力する。
【０１６０】
初期推定確率的基礎注目度母数設定部５２は、推定確率的基礎注目度母数の初期値を設定し、設定した推定確率的基礎注目度母数の初期値を確率的基礎注目度推定部５３に出力する。
初期値の決定方法は特に限定されるものではないが、第２の実施形態においては、適当な初期値θｓ，０＝（σｓ１，０，σｓ２，０）を任意に与えるものとする。
【０１６１】
確率的基礎注目度推定部５３は、学習基礎注目度映像抽出部５１から基礎注目度映像が入力され、推定確率的基礎注目度母数更新部５４から毎ステップ出力される推定確率的基礎注目度母数が入力される。確率的基礎注目度推定部５３は、入力される基礎注目度映像、及び推定確率的基礎注目度母数から、ある基準において最適となるように推定された確率的基礎注目度画像の時系列である推定確率的基礎注目度映像を算出して抽出し、抽出した推定確率的基礎注目度映像を推定確率的基礎注目度母数更新部５４に出力する。
推定確率的基礎注目度映像の抽出方法は特に限定されるものではないが、カルマンスムーサ（カルマンスムージング）を適用して、推定確率的基礎注目度映像を抽出する確率的基礎注目度推定部５３について説明する。
【０１６２】
まず、学習映像ＩＬを学習画像の時系列として、また、この学習映像から抽出した基礎注目度映像￣Ｓ（・；ＩＬ）を基礎注目度画像の時系列として、それぞれ次の（式６９）から（式７２）のように定義する。
【０１６３】
【数４３】
0004890495.tif 000044
【０１６４】
ここで、Ｔは、学習映像の長さ、すなわち学習映像のフレーム数である。以下、簡単のため、基礎注目度画像が学習映像ＩＬから抽出されたことが明らかである場合には、学習映像ＩＬの表記を省略し、第１の実施形態と類似した次の（式７３）、（式７４）の表記を用いる。
【０１６５】
【数４４】
0004890495.tif 000045
【０１６６】
確率的基礎注目度推定部５３は、次の（式７５−１）に示す関数Ｆｓ（ｑ（Ｓ），θｓ）
を最大化するために、母数θｓを１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋに固定して、確率密度ｑ（Ｓ）について目的関数Ｆｓ（ｑ（Ｓ），θｓ，ｋ）を最大化する。
なお、この最大化を達成する確率密度Ｑｋ＋１（Ｓ）は、次の（式７５−２）及び（式７５−３）で与えられる。
【０１６７】
【数４５】
0004890495.tif 000046
【０１６８】
以下では、カルマンスムーサを用いて上記の確率密度Ｑｋ＋１（Ｓ）＝ｐ（Ｓ｜￣Ｓ；θｓ，ｋ）を時刻の逆順に抽出することにより、推定確率的基礎注目度画像Ｓｋ＋１＝Ｓ（１：Ｔ｜￣Ｓ；θｓ，ｋ）を推定する。
１時刻後（時刻ｔ＋１）の推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）の位置ｙにおけるピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）が、確率密度を用いて、例えば、次の（式７６）のように表現されているとする。
【０１６９】
【数４６】
0004890495.tif 000047
【０１７０】
ここで、ｐ（・；θｓ，ｋ）は、母数がθｓ，ｋである確率密度関数である、以下、簡単のため、ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）を位置ｙにおける推定確率的基礎注目度と呼ぶ。第１の実施形態と同様に、特に必要な場合を除いて位置ｙを省略した表示を用いると、（式７６）は次の（式７７）のような表記となる。
【０１７１】
【数４７】
0004890495.tif 000048
【０１７２】
ここで、＾ｓｋ（ｔ１｜Ｔ）は、時刻Ｔまで（すなわち、全て）の基礎注目度が与えられているときの、基礎注目度画像抽出部１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１の推定確率的基礎注目度ｓ（ｔ１｜￣Ｓ；θｓ，ｋ）の期待値を表し、σｓ，ｋ（ｔ１｜Ｔ）は、同標準偏差を示す。
このとき、現時点（時刻ｔ）の推定確率的基礎注目度ｓ（ｔ｜￣Ｓ；θｓ，ｋ）の確率密度は、次の（式７８）で表される。
【０１７３】
【数４８】
0004890495.tif 000049
【０１７４】
確率密度ｐ（ｓ（ｔ）｜￣Ｓ；θｓ，ｋ）における期待値＾ｓｋ（ｔ｜Ｔ）、及び標準偏差σｓ，ｋ（ｔ｜Ｔ）を更新することが、確率的基礎注目度推定部５３の目的となる。この更新は次の（式７９）及び（式８０）のようにして行われる。
【０１７５】
【数４９】
0004890495.tif 000050
【０１７６】
ここで、＾ｓｋ（ｔ｜ｔ）及びσｓ，ｋ（ｔ｜ｔ）は、確率的基礎注目度画像抽出部２が行う処理と同様にして算出される。
【０１７７】
なお、上記確率的基礎注目度推定部５３の説明において、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向に独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入した構成を用いてもよい。この場合、前述の確率的基礎注目度画像抽出部２と同様に、マルコフ確率場に基づく確率的基礎注目度の記述を行い、平均場近似により確率的基礎注目度を解析的に導出する。
以下、空間的な連続性を導入した確率的基礎注目度推定部５３ａについて説明する。
【０１７８】
確率的基礎注目度推定部５３と同様に、基礎注目度映像￣Ｓ及び１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ，σｓ３，ｋ）を用いて、推定確率的基礎注目度画像Ｓ（ｔ｜￣Ｓ；θｓ，ｋ）（ｔ＝１，２，…，Ｔ）を時刻の逆順に推定する。
まず、１時刻後（時刻ｔ＋１）の推定確率的基礎注目度画像Ｓ（ｔ＋１｜￣Ｓ；θｓ，ｋ）の位置ｙにおけるピクセル値ｓ（ｔ＋１，ｙ｜￣Ｓ；θｓ，ｋ）が、確率密度を用いて、例えば、次の（式８１）のように表現されているとする。
【０１７９】
【数５０】
0004890495.tif 000051
【０１８０】
ここで、＾ｓｋ（ｔ１，ｙ｜Ｔ）は、時刻Ｔまで、すなわち、全ての基礎注目度が与えられているときの１ステップ前の推定確率的基礎注目度母数θｓ，ｋを用いて算出した時刻ｔ１・位置ｙの推定確率的基礎注目度ｓ（ｔ１，ｙ｜￣Ｓ；θｓ，ｋ）の期待値を表し、σｓ，ｋ（ｔ１，ｙ｜Ｔ）は同標準偏差を表す。
このとき、現時点（時刻ｔ）の推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）の確率密度は次の（式８２）で表される。
【０１８１】
【数５１】
0004890495.tif 000052
【０１８２】
確率密度ｐ（ｓ（ｔ，ｙ）｜￣Ｓ；θｓ，ｋ）における期待値＾ｓｋ（ｔ，ｙ｜Ｔ）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を更新することが確率的基礎注目度推定部５３ａの目的となる。この更新は、繰返し計算を用いた次の（式８３）から（式８６）を用いた方法により行われる。
【０１８３】
【数５２】
0004890495.tif 000053
【０１８４】
ここで、＾ｓｋ（ｔ，ｙ｜ｔ）及びσｓ，ｋ（ｔ，ｙ｜ｔ）は、上述の確率的基礎注目度画像抽出部２で説明した処理により算出される。
【０１８５】
上記の通り、確率的基礎注目度推定部５３及び確率的基礎注目度推定部５３ａは、各位置ｙにおける推定確率的基礎注目度ｓ（ｔ，ｙ｜￣Ｓ；θｓ，ｋ）の期待値＾ｓｋ（ｔ，ｙ｜Ｔ）及び標準偏差σｓ，ｋ（ｔ，ｙ｜Ｔ）を保持する画像として、推定確率的基礎注目度画像Ｓ（ｔ｜￣Ｓ；θｓ，ｋ）を時刻の逆順に抽出し、この推定確率的基礎注目度画像の時系列である推定確率的基礎注目度映像
【０１８６】
【数５３】
0004890495.tif 000054
【０１８７】
を出力する。学習映像が複数与えられている場合には、各学習映像について個別に推定確率的基礎注目度映像Ｓｋ＋１を算出して抽出し、抽出した推定確率的基礎注目度映像Ｓｋ＋１を推定確率的基礎注目度母数更新部５４に出力する。
【０１８８】
推定確率的基礎注目度母数更新部５４は、学習基礎注目度映像抽出部５１から基礎注目度映像｛￣Ｓ（ｔ）｝が入力され、確率的基礎注目度推定部５３から推定確率的基礎注目度映像Ｓｋ＋１が入力される。また、推定確率的基礎注目度母数更新部５４は、入力された基礎注目度映像｛￣Ｓ（ｔ）｝及び推定確率的基礎注目度映像Ｓｋ＋１からある基準において最適となるように推定確率的基礎注目度母数θｓ，ｋ＋１を算出する。また、推定確率的基礎注目度母数更新部５４は、算出した推定確率的基礎注目度母数θｓ，ｋ＋１を新たな推定確率的基礎注目度母数として更新して、更新した推定確率的基礎注目度母数を推定確率的基礎注目度母数確定部５５に出力する。
推定確率的基礎注目度母数の更新方法は特に限定されるものではないが、推定確率的基礎注目度母数更新部５４に適用するＥＭアルゴリズムを用いて導出される更新方法を説明する。
【０１８９】
推定確率的基礎注目度母数更新部５４は、目的関数Ｆｓ（ｑ（Ｓ），θｓ）を最大化するために、確率密度ｑ（Ｓ）を確率的基礎注目度推定部５３で導出した確率密度Ｑｋ＋１（Ｓ）に固定して、母数θｓについて目的関数Ｆｓ（Ｑｋ＋１（Ｓ），θｓ）を最大化する。この最大化を達成する母数である、現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）は、基礎注目度映像￣Ｓ及び現在のステップにおける推定確率的基礎注目度映像Ｓｋ＋１＝Ｓ（１：Ｔ；￣Ｓ；θｓ，ｋ）を用いて、次の（式８７）及び（式８８）のように算出される。
【０１９０】
【数５４】
0004890495.tif 000055
【０１９１】
確率的基礎注目度推定部５３において、確率的基礎注目度の空間的な連続性を導入した場合、現在の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１，σｓ３，ｋ＋１）は、次の（式８９）から（式９１）のように算出される。
【０１９２】
【数５５】
0004890495.tif 000056
【０１９３】
ここで、｜ＩＬ｜は学習画像ＩＬの総ピクセル数を表す。
上記の通り、推定確率的基礎注目度母数更新部５４は、現在の推定確率的基礎注目度母数θｓ，ｋ＋１を算出して、推定確率的基礎注目度母数を更新する。また、推定確率的基礎注目度母数更新部５４は、更新した推定確率的基礎注目度母数を推定確率的基礎注目度母数確定部５５及び確率的基礎注目度推定部５３に出力する。
なお、学習映像が複数与えられたことにより、推定確率的基礎注目度映像が複数入力される場合、それぞれの学習映像から得られる推定確率的基礎注目度映像に対して推定確率的基礎注目度母数を個別に更新して、最後に更新したそれぞれの推定確率的基礎注目度母数から平均を算出して、出力することになる。
【０１９４】
推定確率的基礎注目度母数確定部５５は、推定確率的基礎注目度母数更新部５４が出力する推定確率的基礎注目度母数がある基準を満たすまで、確率的基礎注目度推定部５３及び推定確率的基礎注目度母数更新部５４の処理を繰返させて、推定確率的基礎注目度母数を確定して、出力する。
推定確率的基礎注目度母数の確定方法は、特に限定されるものではないが、第２の実施形態においては、推定確率的基礎注目度母数の差分に基づく確定方法について説明する。
【０１９５】
現在（第ｋ＋１ステップ）の推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）が、１ステップ前（第ｋステップ）の推定確率的基礎注目度母数θｓ，ｋ＝（σｓ１，ｋ，σｓ２，ｋ）と比較して、比較の結果が予め定めた閾値δｓより小さいとき、繰返しを終了して、推定確率的基礎注目度母数を現在の状態θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）で確定する。算出した差分が予め定めた閾値δｓより大きいとき、ｋを１増やして、確率的基礎注目度推定部５３及び推定確率的基礎注目度母数更新部５４の処理を繰返し行う。
比較の基準としてはいくつか考えられるが、例えば、以下の（式９２）から（式９５）のいずれかを適用すればよく、適用した比較基準を満たしたステップで、確率的基礎注目度推定部５３及び推定確率的基礎注目度母数更新部５４の処理を繰返し行うことを終了する。
【０１９６】
【数５６】
0004890495.tif 000057
【０１９７】
上記の通り、推定確率的基礎注目度母数確定部５５は、推定確率的基礎注目度母数θｓ，ｋ＋１を確定して、出力する。
【０１９８】
以上説明したように、確率的基礎注目度母数推定部５は、学習映像ＩＬから推定確率的基礎注目度母数を算出して、確率的基礎注目度画像抽出部２に出力する。なお、推定確率的基礎注目度映像Ｓｋ＋１を抽出する構成として、確率的基礎注目度推定部５３及び確率的基礎注目度推定部５３ａを説明したが、確率的基礎注目度母数推定部５は、確率的基礎注目度推定部５３、あるいは確率的基礎注目度推定部５３ａのいずれかを備える。
【０１９９】
次に、図１２は、確率的基礎注目度母数推定部５が行う推定確率的基礎注目度母数θｓ，ｋ＋１の推定に用いるデータの関係を示す図である。学習基礎注目度映像抽出部５１は、入力される学習映像ＩＬから基礎注目度映像｛￣Ｓ（ｔ）｝を算出して抽出する。確率的基礎注目度推定部５３は、最初のステップでは初期推定確率的基礎注目度母数設定部５２が出力する推定確率的基礎注目度母数θｓ，０を用いて、以後のステップでは推定確率的基礎注目度母数更新部５４が出力する推定確率的基礎注目度母数θｓ，ｋに基づいて、カルマンスムーサを適用して推定確率的基礎注目度映像Ｓｋ＋１を算出して抽出する。推定確率的基礎注目度母数更新部５４は、基礎注目度画像￣Ｓ（ｔ）の時系列である基礎注目度画像｛￣Ｓ（ｔ）｝と、推定確率的基礎注目度画像Ｓ（ｔ｜￣Ｓ；θｓ，ｋ）の逆順の時系列である推定確率的基礎注目度映像Ｓｋ＋１との間の関係性を表す推定確率的基礎注目度母数θｓ，ｋ＋１＝（σｓ１，ｋ＋１，σｓ２，ｋ＋１）を、ＥＭアルゴリズムを適用して算出して推定する。推定確率的基礎注目度母数確定部５５は、確率的基礎注目度推定部５３と推定確率的基礎注目度母数更新部５４との処理ステップを繰返して算出される推定確率的基礎注目度母数の変化量、すなわち、差分が予め定めた基準より小さくなるまで、処理ステップを繰返させる。
このようにして、確率的基礎注目度母数推定部５は、学習映像ＩＬに基づいて推定確率的基礎注目度母数θｓ，ｋ＋１を推定し、推定した推定確率的基礎注目度母数θｓ，ｋ＋１を出力することで、確率的基礎注目度の算出の精度を上げる。これにより、視線位置推定装置２００が、視線位置推定装置１００より、正確に視線位置の推定を行うことが可能となる。
【０２００】
視線位置確率密度母数推定部６は、学習映像ＩＬ及び視線位置系列、もしくはそれらに加えて確率的基礎注目度母数推定部５で算出された推定確率的基礎注目度母数θｓ，ｋ＋１が入力される。また、視線位置確率密度母数推定部６は、入力された学習映像ＩＬ、視線位置系列、及び推定確率的基礎注目度母数からある基準において最適となる視線位置確率密度母数の推定値である推定視線位置確率密度母数θｘ，ｋ＋１を算出して確定する。また、確率的基礎注目度母数推定部５は、確定した推定視線位置確率密度母数θｘ，ｋ＋１を視線位置確率密度画像抽出部３に出力する。
【０２０１】
推定視線位置確率密度母数の算出方法は、特に限定されるものではないが、第２の実施形態において、図１３に示すように、視線位置確率密度母数推定部６は、学習用確率的基礎注目度映像抽出部６０と、初期推定視線位置確率密度母数設定部６１と、視線移動状態変数推定部６２と、推定視線位置確率密度母数更新部６３と、推定視線位置確率密度母数確定部６４と、を備える。以下、推定視線位置確率密度母数θｘ，ｋ＋１の算出方法について説明する。
【０２０２】
学習用確率的基礎注目度映像抽出部６０は、学習映像が入力され、学習映像のフレームである学習画像それぞれに対して、基礎注目度画像抽出部１及び確率的基礎注目度画像抽出部２と同様の演算処理を行い、出力される確率的基礎注目度画像の時系列である確率的基礎注目度映像を算出して抽出し、抽出した確率的基礎注目度映像｛Ｓ（ｔ）｝を視線移動状態変数推定部６２及び推定視線位置確率密度母数更新部６３に出力をする。
学習用確率的基礎注目度映像抽出部６０が行う処理は、第１の実施形態における基礎注目度画像抽出部１及び確率的基礎注目度画像抽出部２と同じ処理である。なお、学習用確率的基礎注目度映像抽出部６０は、後述する処理において、確率的基礎注目度映像が必要な場合にのみ処理を行えばよく、確率的基礎注目度映像が不要の場合、処理を行わなくてもよい。また、学習用確率的基礎注目度映像抽出部６０は、確率的基礎注目度画像抽出部２と同じ処理を行うとき、確率的基礎注目度母数推定部５が算出した推定確率的基礎注目度母数θｓ，ｋ＋１を、確率的基礎注目度母数θｓに替えて用いてもよい。
【０２０３】
初期推定視線位置確率密度母数設定部６１は、推定視線位置確率密度母数の初期値を設定し、その推定視線位置確率密度母数の初期値を出力する。
初期値の決定方法は特に限定されるものではないが、第２の実施形態においては、適当な初期値θｘ，０を次の（式９６）のように任意に与えるものとする。
【０２０４】
【数５７】
0004890495.tif 000058
【０２０５】
視線移動状態変数推定部６２は、学習用確率的基礎注目度映像抽出部６０が出力する確率的基礎注目度映像｛￣Ｓ（ｔ）｝、視線位置系列￣Ｘｎ、及び推定視線位置確率密度母数更新部６３から毎ステップ出力される推定視線位置確率密度母数θｘ，ｋが入力される。また、視線移動状態変数推定部６２は、入力される確率的基礎注目度画像｛￣Ｓ（ｔ）｝、視線位置系列￣Ｘｎ、及び推定視線位置確率密度母数θｘ，ｋから、ある基準において最適となるように推定された推定視線移動状態変数の時系列である推定視線移動状態変数系列Ｕｎ，ｋを算出し出力する。
【０２０６】
なお、視線移動状態変数推定部６２は、推定視線移動状態変数系列Ｕｎ，ｋを出力することに替えて、推定視線移動状態変数系列の確率密度である推定視線移動状態確率密度系列ｐＵ，ｋを算出して、出力しても良い。
【０２０７】
上記出力の決定方法は特に限定されるものではないが、第２の実施形態においては、視線移動状態変数確率密度系列を前向き後向きアルゴリズムに基づいて算出する視線移動状態変数推定部６２と、推定視線移動状態変数系列をビタビアルゴリズムに基づいて算出する視線移動状態変数推定部６２ａについて説明する。
【０２０８】
視線移動状態変数推定部６２は、次の（式９７−１）に示す目的関数Ｆｘ，ｎ（ｑ（Ｕ），θｘ）を最大化するために、母数θｘを１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｘ，ｋに固定して、確率密度ｑ（Ｕ）について目的関数Ｆｘ，ｎ（ｑ（Ｕ），θｘ）を最大化する。なお、この最大化を達成する確率密度Ｑｎ，ｋ＋１（Ｕ）は、次の（式９７−２）及び（式９７−３）で与えられる。以下、前向き後向きアルゴリズムを用いてこの確率密度Ｑｎ，ｋ＋１（Ｕ）を求める。
まず、視線移動状態変数推定部６２は、ある被験者ｎ（ｎ＝１，２，…，Ｎｓ）が学習映像を視聴したときの視線位置系列￣Ｘｎ＝￣ｘｎ（１：Ｔ）及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｘ，ｋとから、前向き確率αｔ，ｋ＋１（ｎ）及び後向き確率βｔ，ｋ＋１（ｎ）を次の（式９８−１）及び（式９８−２）のように定義する。
【０２０９】
【数５８】
0004890495.tif 000059
【０２１０】
ここで、Ｎｓは被験者の総数である。これら前向き確率及び後向き確率は、次の（式９９）及び（式１００）の漸化式によって順次、時刻順、もしくは時刻の逆順に算出することが可能である。
【０２１１】
【数５９】
0004890495.tif 000060
【０２１２】
このとき、前向き確率及び後向き確率を用いて、現在のステップ（第ｋ＋１ステップ）の推定視線移動状態確率密度系列は次の（式１０１）から（式１０３）で定義される。
【０２１３】
【数６０】
0004890495.tif 000061
【０２１４】
また、推定視線移動状態確率密度系列の各要素である（式１０４）及び（式１０５）で示される推定視線移動状態確率密度は、（式１０６）から（式１０９）のように算出される。
【０２１５】
【数６１】
0004890495.tif 000062
【０２１６】
次に、推定視線移動状態変数系列をビタビアルゴリズムに基づいて算出する視線移動状態変数推定部６２ａについて説明する。
視線移動状態変数推定部６２ａにおいても、前述の視線移動状態変数推定部６２と同様、目的関数Ｆｘ，ｎ（ｑ（Ｕ），θｘ）を最大化することを考える。このとき、母数θｘを１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｘ，ｋに固定し、更に確率密度ｑ（Ｕ）をＱｎ，ｋ＋１（Ｕ）＝ｐ（Ｕ｜Ｘ＝￣Ｘｎ；θｘ，ｋ）に固定して、視線移動状態系列Ｕについて目的関数Ｆｘ，ｎ（ｑ（Ｕ），θｘ）を最大化、すなわち、確率密度Ｑｎ，ｋ＋１（Ｕ）を最大化する。この最大化を達成する視線移動状態系列Ｕｋ＋１を、ビタビアルゴリズムを用いて算出する。
まず、各被験者ｎ（ｎ＝１，２，…，Ｎｓ）の視線位置系列￣Ｘｎ及び１ステップ前（第ｋステップ）の推定視線位置確率密度母数θｓ，ｋから算出される関数である推定視線移動状態関数＾Ｆｘ（ｔ，ｕ（ｔ），ｎ；θｘ，ｋ）（ｔ＝１，２，…，Ｔ）を次の（式１１０）のように定義する。
【０２１７】
【数６２】
0004890495.tif 000063
【０２１８】
このとき、ｔ＝Ｔとして推定視線移動状態関数＾Ｆｘ（ｔ，ｕ（ｔ），ｎ；θｘ，ｋ）を最大化する視線移動状態変数ｕ（Ｔ）及び対応する推定視線移動状態関数に含まれる最大化を達成する視線移動状態変数の系列ｕ（１：Ｔ−１）を求めることが、視線移動状態変数推定部６２ａの目的となる。そこで、視線移動状態変数推定部６２ａは、次の（式１１１）及び（式１１２）の漸化式を用いることで、推定視線移動状態関数を最大化する視線移動状態変数を順次算出する。
【０２１９】
【数６３】
0004890495.tif 000064
【０２２０】
ここで、ｐ（ｕ（ｔ）｜ψｘ（ｔ，ｕ（ｔ），ｎ），Ｘ＝￣Ｘｎ；θｓ，ｋ）は、前述の視線移動状態変数推定部６２における（式９８−２）に示した後向き確率βｔ，ｋ＋１（ｎ）を用いて、次の（式１１３）及び（式１１４）のように計算できる
【０２２１】
【数６４】
0004890495.tif 000065
【０２２２】
（式１１１）及び（式１１２）を用いることで、推定視線移動状態関数＾Ｆｘ（Ｔ，ｕ（Ｔ），ｎ；θｘ，ｋ）を最大化する推定視線移動状態変数の系列を求め、これを現在のステップ（第ｋ＋１ステップ）の推定視線移動状態変数系列Ｕｎ，ｋ＋１＝ｕｋ＋１（１：Ｔ）を次の（式１１５）及び（式１１６）を用いて算出する。
【０２２３】
【数６５】
0004890495.tif 000066
【０２２４】
上記の通り、視線移動状態変数推定部６２は、現在のステップの推定視線移動状態変数確率密度系列ｐＵ，ｋ＋１（ｎ）（ｎ＝１，２，…，Ｎｓ）を算出して、出力する。また、視線移動状態変数推定部６２ａは、現在のステップの推定視線移動状態変数系列Ｕｎ，ｋ＋１を算出して、出力する。
【０２２５】
推定視線位置確率密度母数更新部６３は、学習用確率的基礎注目度映像抽出部６０が出力する確率的基礎注目度映像｛Ｓ（ｔ）｝、視線位置系列￣Ｘｎ、及び視線移動状態変数推定部６２が出力する推定視線移動状態変数系列Ｕｎ，ｋ＋１、もしくは推定視線移動状態確率密度系列ｐＵ，ｋが入力される。また、推定視線位置確率密度母数更新部６３は、入力された確率的基礎注目度映像｛Ｓ（ｔ）｝と、視線位置系列￣Ｘｎと、推定視線移動状態変数系列Ｕｎ，ｋ＋１又は推定視線移動状態確率密度系列ｐＵ，ｋとから、ある基準において最適となるように推定視線位置確率密度母数θｘ、ｋ＋１を更新して、推定視線位置確率密度母数確定部６４に出力する。
【０２２６】
推定視線位置確率密度母数の更新方法は、特に限定されるものでないが、推定視線移動状態確率密度系列から算出する推定視線位置確率密度母数更新部６３と、推定視線移動状態変数系列から算出する推定視線位置確率密度母数更新部６３ａについて説明する。なお、推定視線位置確率密度母数更新部６３及び推定視線位置確率密度母数更新部６３ａのいずれの方法もＥＭアルゴリズムを用いて導出される算出方法である。
【０２２７】
まず、推定視線位置確率密度母数更新部６３の算出方法について説明する。
推定視線位置確率密度母数更新部６３では、目的関数Ｆｘ（ｑ（Ｕ），θｘ）を最大化するために、確率密度ｑ（Ｕ）を前述の視線移動状態変数推定部６２で導出した確率密度Ｑｋ＋１（Ｕ）で固定して、母数θｘについて目的関数Ｆｘ（Ｑｋ＋１（Ｕ），θｘ）を最大化する。この最大化を達成する母数である現在（第ｋ＋１ステップ）の推定視線位置確率密度母数（式１１７）は、各被験者ｎ（ｎ＝１，２，…，Ｎｓ）の視線位置系列￣Ｘｎ、及び対応する推定視線移動状態確率密度系列（式１１８）と（式１１９）を用いて、（式１２０）から（式１２２）のように計算される。
【０２２８】
【数６６】
0004890495.tif 000067
【０２２９】
【数６７】
0004890495.tif 000068
【０２３０】
以上のように、推定視線位置確率密度母数更新部６３は、毎ステップ推定視線位置確率密度母数を更新して、出力する。
【０２３１】
次に、推定視線移動状態変数系列から算出する推定視線位置確率密度母数更新部６３ａについて説明する。推定視線位置確率密度母数更新部６３ａは、目的関数Ｆｘ（ｑ（Ｕ），θｘ）を最大化するために、確率密度ｑ（Ｕ）を前述の視線移動状態変数推定部６２で導出した確率密度Ｑｋ＋１（Ｕ）で固定し、更に視線移動状態変数系列Ｕを前述の視線移動状態変数推定部６２で導出したＵｋ＋１で固定して、母数θｘについて目的関数Ｆｘ（ｑ（Ｕ），θｘ）を最大化する。この最大化を達成する母数である現在（第ｋ＋１ステップ）の推定視線位置確率密度母数（式１２３）は、各被験者ｎ（ｎ＝１，２，…，Ｎｓ）の視線位置系列￣Ｘｎ及び推定視線移動状態変数系列Ｕｋ＋１を用いて、推定視線位置確率密度母数更新部６３と同様にして、（式１２４）から（式１２６）のように算出される。
【０２３２】
【数６８】
0004890495.tif 000069
【０２３３】
【数６９】
0004890495.tif 000070
【０２３４】
以上のように、推定視線位置確率密度母数更新部６３ａは、ステップごとに推定視線位置確率密度母数を更新して、出力する。
【０２３５】
推定視線位置確率密度母数確定部６４は、推定視線位置確率密度母数更新部６３が出力する推定視線位置確率密度母数θｘ，ｋ＋１がある基準を満たすまで、視線移動状態変数推定部６２及び推定視線位置確率密度母数更新部６３の処理を繰返させて、推定視線位置確率密度母数θｘ，ｋ＋１を確定して、出力する。
推定視線位置確率密度母数θｘ，ｋ＋１の確定方法は、特に限定されるものではないが、第２の実施形態においては、推定視線位置確率密度母数θｘ，ｋ＋１の差分に基づく方法について説明する。
【０２３６】
現在（第ｋ＋１ステップ）の推定視線位置確率密度母数（式１２７）が１ステップ前（第ｋステップ）の推定視線位置確率密度母数（式１２８）と比較して、比較の結果が予め定めた閾値δｘより小さくなるステップで繰返しを終了して、推定視線位置確率密度母数θｘ，ｋ＋１で確定する。
【０２３７】
【数７０】
0004890495.tif 000071
【０２３８】
比較の基準はいくつか考えられるが、例えば、以下の（式１２９）から（式１３２）のうちいずれかを比較の基準として採用し、その比較基準を満たしたところで推定視線位置確率密度母数確定部６４は、繰返しを終了する。
【０２３９】
【数７１】
0004890495.tif 000072
【０２４０】
ここで、ζ１，ζ２は予め定めた定数である。
上記の通り、推定視線位置確率密度母数確定部６４は、推定視線位置確率密度母数θｘ，ｋ＋１を確定して、確定した推定視線位置確率密度母数θｘ，ｋ＋１を出力する。
【０２４１】
以上、説明したように、視線位置確率密度母数推定部６は、入力される学習映像ＩＬと、入力される視線位置系列￣Ｘｎと、確率的基礎注目度母数推定部５が出力する確定確率的基礎注目度母数θｓ，ｋ＋１から推定視線位置確率密度母数θｘ，ｋ＋１が算出されて、視線位置確率密度画像抽出部３に出力される。
【０２４２】
なお、視線移動状態変数推定部６２に替えて用いる構成例として視線移動状態変数推定部６２ａを示したが、視線移動状態変数推定部６２ａの構成を用いる場合、推定視線位置確率密度母数更新部６３に替わり推定視線位置確率密度母数更新部６３ａを用いることになる。
【０２４３】
次に、図１４は、視線位置確率密度母数推定部６が行う推定視線位置確率密度母数θｘ，ｋ＋１の推定に用いるデータの関係を示す図である。視線位置確率密度母数推定部６は、上記に説明した学習用確率的基礎注目度映像抽出部６０、初期推定視線位置確率密度母数設定部６１、及び視線移動状態変数推定部６２の処理を行うことで、推定視線移動状態変数系列Ｕｎ，ｋ＋１を算出する。推定視線位置確率密度母数更新部６３は、学習映像ＩＬと共に与えられる視線位置系列￣Ｘｎと、算出された推定視線移動状態変数系列Ｕｎ，ｋ＋１との間の関係性を表す推定視線位置確率密度母数θｘ，ｋ＋１を算出して推定する。推定視線位置確率密度母数確定部６４は、視線移動状態変数推定部６２と推定視線位置確率密度母数更新部６３との処理ステップを繰返して算出される推定視線位置確率密度母数の変化量、すなわち、差分が予め定めた基準より小さくなるまで、処理ステップを繰返させる。
このようにして、視線位置確率密度母数推定部６は、学習画像ＩＬ及び視線位置系￣Ｘｎに基づいて推定視線位置確率密度母数θｘ，ｋ＋１を推定し、推定した推定視線位置確率密度母数θｘ，ｋ＋１視線位置確率密度画像抽出部３に出力することで、視線位置確率密度画像における視線移動状態変数の精度を上げる。これにより、視線位置推定装置２００が、視線位置推定装置１００より正確に人間の視線位置の推定を行うことが可能となる。
【０２４４】
続いて、図１５は、視線位置推定装置２００が行う推定確率的基礎注目度母数θｓ，ｋ＋１、及び推定視線位置確率密度母数θｘ，ｋ＋１の推定に用いるデータの関係を示す図である。既に図示した図１２及び図１４の繰返しになるが、確率的基礎注目度母数推定部５は、学習映像ＩＬ及び視線位置系列￣Ｘｎを用いることで、基礎注目度画像￣Ｓ（ｔ）と確率的基礎注目度画像Ｓ（ｔ）との関係性を表す推定確率的基礎注目度母数θｓ，ｋ＋１を算出して推定する。また、視線位置確率密度母数推定部６は、学習映像ＩＬ及び視線位置系列￣Ｘｎを用いることで、視線移動状態変数ｕ（ｔ）と、出力画像となる視線位置確率密度画像Ｘ（ｔ）との関係性を表す推定視線位置確率密度母数θｘ，ｋ＋１を算出して推定する。視線位置推定装置２００は、確率的基礎注目度母数推定部５、及び視線位置確率密度母数推定部６を備えることで、人間の視線位置の推定の精度を向上させることが可能になる。
【０２４５】
（第２の実施形態の動作例）
第２の実施形態の動作例を以下に示す。
入力映像として、大きさ６４０ｘ４８０ピクセル・長さ３０から９０秒の映像１３種類を用意した。また、学習映像は、入力映像と同一の映像を用いた。第２の実施形態の説明に示した変数について、実際の数値は以下の値を用いた。ｎφ＝４，ｎＦ＝３，σ＝１．２５，ｎｌ＝８，Ｌｃ＝｛２，３，４｝，Ｌｓ＝｛ｃ＋３，ｃ＋４｝（ｃ∈Ｌｃ），ｎＡ＝３２×２４＝７６８，ε＝２５，μ＝１．０，ｔＩ＝１０，α＝１／ｔＩ＝０．１，β＝０．００２５，ｔＴ＝８，θ＝０．２５ｍａｘ（ｘ，ｙ）ＳＰ（ｉ）（ｘ，ｙ），δ＝０．１，ｍｕ＝２。
【０２４６】
効果を確認するため、第２の実施形態の方法、及び既知の方法によって得られる注目度映像がどの程度人間の視覚特性を模擬できているかを比較した。人間の視覚特性を表現する数量として、人間が実際に入力映像を見ている際の視線の位置を採用した。６名の被験者について、１種類の入力映像を２回提示した。これにより、各被験者・各入力映像について、注視位置の時系列が２本獲得された。この注視位置の時系列を、時刻の整合を保ちながら入力映像の各フレーム、すなわち、入力画像に対応付けることで、各被験者・各入力画像について２通りの注視位置が獲得された。
【０２４７】
人間の視覚特性を模擬できているかどうかの評価の尺度として、被験者の注視位置における注目度を採用した。第ｊ番目の入力映像Ｉｊ（ｊ＝１，２，…，１３）の時刻ｔの入力画像ｉｊ（ｔ）（ｔ＝１，２，…，Ｔｊ）について、第２の実施形態の方法により算出して抽出された視線位置確率密度画像Ｘ（ｔ；Ｉｊ）と、既知の方法により抽出された基礎注目度画像￣Ｓ（ｔ；Ｉｊ）とを比較する。入力映像Ｉｊに対応する被験者ｎ（ｎ＝１，２，…，６）の視線位置系列を￣Ｘｎ（Ｉｊ）＝￣ｘｎ（１：Ｔ；Ｉｊ）とするとき、視線位置確率密度画像Ｘ（ｔ；Ｉｊ）の評価値ＮＳＳ（ｔ；Ｉｊ）を以下の（式１３３）で定めた。
【０２４８】
【数７２】
0004890495.tif 000073
【０２４９】
ここで、以下の（式１３４）の＾Ｘ（ｔ；Ｉｊ）及び（式１３５）のσ（Ｘ（ｔ；Ｉｊ））は、視線位置推定装置２００が入力画像Ｉｌから抽出した視線位置確率密度画像Ｘ（ｔ；Ｉｊ）のピクセル値ｐ（ｘ（ｔ）；Ｉｊ）の平均及び分散を示す。
【０２５０】
【数７３】
0004890495.tif 000074
【０２５１】
また、本動作例においてはＮｓ＝６である。既知の方法によって得られる基礎注目度画像￣Ｓ（ｔ；Ｉｊ）についても同様の評価値ＮＳＳ（ｔ；Ｉｊ）を（式１３６）とし、基礎注目度画像￣Ｓ（ｔ；Ｉｊ）のピクセル値ｓ（ｔ，ｘ（ｔ）；Ｉｊ）の平均を（式１３７）とし、分散を（式１３８）とした。
【０２５２】
【数７４】
0004890495.tif 000075
【０２５３】
各手法の評価値ＮＳＳは、次の（式１３９）のように視線位置確率密度画像、もしくは基礎注目度画像についての評価値を平均し、更に入力映像について平均することで得る。
【０２５４】
【数７５】
0004890495.tif 000076
【０２５５】
上述の（式１３９）を用いた評価値により、第２の実施形態の方法と既知の方法とを比較した。既知の方法として、非特許文献２に記載の方法を用いた。
図１６は、評価値を比較したグラフである。横軸「ＢｅｓｔＣａｓｅ」が第２の実施形態の方法、横軸「Itti−Koch Model」が非特許文献２に記載の方法である。図示するように、入力映像について平均したときに、第２の実施形態の方法は、既知の方法よりよい評価値が得られることが分かる。
【０２５６】
上述の視線位置推定装置１００、及び視線位置推定装置２００は内部に、コンピュータシステムを有している。そして、上述した入力画像から視線位置確率密度映像を抽出する処理過程、学習映像から推定確率的基礎注目度母数を算出して確定する処理過程、及び学習画像から推定視線位置確率密度母数を算出して確定する処理過程は、プログラムの形式でコンピュータ読取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【０２５７】
なお、本発明に記載の第１の目的関数は、（式７５−１）で示した、目的関数Ｆｓ（ｑ（Ｓ），θｓ，ｋ）に対応し、本発明に記載の第２の目的関数は、（式９７−１）で示した、目的関数Ｆｘ，ｎ（ｑ（Ｕ），θｘ）に対応する。
【図面の簡単な説明】
【０２５８】
【図１】本実施形態で用いる信号検出理論における処理の例を示す図である。
【図２】本実施形態で用いる信号検出理論における処理の例を示す図である。
【図３】第１の実施形態による視線位置推定装置の内部構成を示す概略ブロック図である。
【図４】第１の実施形態の基礎注目度画像抽出部の内部構成を示す概略ブロック図である。
【図５】第１の実施形態の基礎注目度画像抽出部の処理におけるデータの関係を示す概略図である。
【図６】第１の実施形態の確率的基礎注目度画像抽出部の処理におけるデータの関係を示す概略図である。
【図７】第１の実施形態の視線位置確率密度画像抽出部の内部構成を示す概略ブロック図である。
【図８】第１の実施形態の視線位置確率密度画像抽出部の処理におけるデータの関係を示す概略図である。
【図９】第１の実施形態の視線位置推定装置の処理におけるデータの関係を示す図である。
【図１０】第２の実施形態の視線位置推定装置の内部構成を示す概略ブロック図である。
【図１１】第２の実施形態の確率的基礎注目度母数推定部の内部構成を示す概略ブロック図である。
【図１２】第２の実施形態の確率的基礎注目度母数推定部の処理におけるデータの関係を示すブロック図である。
【図１３】第２の実施形態の視線位置確率密度母数推定部の内部構成を示す概略ブロック図である。
【図１４】第２の実施形態の視線位置確率密度母数推定部の処理におけるデータの関係を示すブロック図である。
【図１５】第２の実施形態の視線位置推定装置のパラメータ推定処理におけるデータの関係を示す概略図である。
【図１６】第２の実施形態の動作例と、従来例の動作例との比較結果を示す図である。
【図１７】従来例による視線位置の推定結果を示す図である。なお、本図面は、カラー画像であり、別途物件提出を行う。
【図１８】従来例による視線位置の推定結果を示す図である。なお、本図面は、カラー画像であり、別途物件提出を行う。
【図１９】従来例による視線位置の問題を示す図である。
【符号の説明】
【０２５９】
１…基礎注目度画像抽出部、１１…基礎特徴画像抽出部、１１１…輝度特徴画像抽出部
１１２…色特徴画像抽出部、１１３…方向特徴画像抽出部、１１４…点滅特徴画像抽出部
１１５…運動特徴画像抽出部、１２…多重解像度画像抽出部、１３…解像度差分画像抽出部
１４…顕著度画像抽出部、１４１…解像度差分画像正規化部
１４２…正規化解像度差分画像積算部、１５…顕著度画像統合部
２…確率的基礎注目度画像抽出部、２ａ…確率的基礎注目度画像抽出部
３…視線位置確率密度画像抽出部
３１…基本視線位置確率密度画像抽出部、３４…視線移動状態変数更新部
３２…視線移動確率密度画像抽出部、３２ａ…視線移動確率密度画像抽出部
３２ｂ…視線移動確率密度画像抽出部、３３…視線位置確率密度画像出力部
４…視線位置確率密度映像出力部、５…確率的基礎注目度母数推定部
５１…学習基礎注目度映像抽出部、５２…初期推定確率的基礎注目度母数設定部
５３…確率的基礎注目度推定部、５３ａ…確率的基礎注目度推定部
５４…推定確率的基礎注目度母数更新部、５５…推定確率的基礎注目度母数確定部、
６…視線位置確率密度母数推定部、６０…学習用確率的基礎注目度映像抽出部
６１…初期推定視線位置確率密度母数設定部、６２…視線移動状態変数推定部
６３…推定視線位置確率密度母数更新部、６４…推定視線位置確率密度母数確定部
６２ａ…視線移動状態変数推定部、６３ａ…推定視線位置確率密度母数更新部
１００…視線位置推定装置、２００…視線位置推定装置
【図１】
0004890495.tif 000077
【図２】
0004890495.tif 000078
【図３】
0004890495.tif 000079
【図４】
0004890495.tif 000080
【図５】
0004890495.tif 000081
【図６】
0004890495.tif 000082
【図７】
0004890495.tif 000083
【図８】
0004890495.tif 000084
【図９】
0004890495.tif 000085
【図１０】
0004890495.tif 000086
【図１１】
0004890495.tif 000087
【図１２】
0004890495.tif 000088
【図１３】
0004890495.tif 000089
【図１４】
0004890495.tif 000090
【図１５】
0004890495.tif 000091
【図１６】
0004890495.tif 000092
【図１７】
0004890495.tif 000093
【図１８】
0004890495.tif 000094
【図１９】
0004890495.tif 000095