(57)【要約】【課題】複数の測定対象の位置および姿勢に基づいて、複数の測定対象が注視する領域を統合化して１つにまとめることが可能な注視領域推定装置を提供する。【解決手段】注視領域推定装置１は、注視領域を推定する対象領域に予め仮想的に設定した複数の計測点ごとに、測定対象の位置と当該測定対象の姿勢から特定される向きとから、測定対象が計測点を注視する度合いを示す注視度を算出する注視度算出手段１３と、計測点ごとに複数の測定対象分の注視度の総和を重要度として算出する注視度総和算出手段１４と、重要度について前記対象領域における分布の統計量を算出する統計量算出手段１５と、分布の統計量から、予め定めた基準で重要度の大きい領域を注視領域として設定する領域設定手段１６と、を備える。【選択図】図１
2020181360.tif 000002
【特許請求の範囲】
【請求項１】
前後方向に向きの区別がある複数の測定対象の位置および姿勢から、前記複数の測定対象が注視する領域を統合化した注視領域を推定する注視領域推定装置であって、
前記注視領域を推定する対象領域に予め仮想的に設定した複数の計測点ごとに、前記測定対象の位置と当該測定対象の姿勢から特定される向きとから、前記測定対象が前記計測点を注視する度合いを示す注視度を算出する注視度算出手段と、
前記計測点ごとに、前記注視度算出手段で算出された前記複数の測定対象分の注視度の総和を重要度として算出する注視度総和算出手段と、
前記注視度総和算出手段で算出された前記計測点ごとの重要度について前記対象領域における分布の統計量を算出する統計量算出手段と、
前記統計量算出手段で算出された分布の統計量から、予め定めた基準で前記重要度の大きい領域を前記注視領域として設定する領域設定手段と、
を備えることを特徴とする注視領域推定装置。
【請求項２】
前記注視度算出手段は、前記測定対象の位置から前記計測点へ至るベクトルと、前記測定対象の向きを示すベクトルとのなす角が小さいほど、前記注視度の値を大きくすることを特徴とする請求項１に記載の注視領域推定装置。
【請求項３】
前記注視度算出手段は、前記測定対象の位置から前記計測点へ至るベクトルと、前記測定対象の向きを示すベクトルとのなす角の余弦値に基づいて前記注視度を算出することを特徴とする請求項２に記載の注視領域推定装置。
【請求項４】
前記統計量算出手段は、前記計測点ごとの重要度の期待値である重心座標と、前記重要度の分布の分散・共分散行列を算出し、
前記領域設定手段は、前記重心座標を中心とし、前記分散・共分散行列で規定される予め定めたマハラノビス距離の範囲内の領域を前記注視領域として設定することを特徴とする請求項１から請求項３のいずれか一項に記載の注視領域推定装置。
【請求項５】
前記注視領域を推定する対象領域は、２次元平面または３次元空間であることを特徴とする請求項１から請求項４のいずれか一項に記載の注視領域推定装置。
【請求項６】
コンピュータを、請求項１から請求項５のいずれか一項に記載の注視領域推定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人物等の測定対象の位置および姿勢に基づいて注視すべき重要な領域を注視領域として推定する注視領域推定装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、例えば、人物の注視領域を推定する手法として、自動車の運転者の視線から注視領域を推定する技術が開示されている（特許文献１参照）。この技術は、運転者が前方を見る場合には視線の滞留時間に基づく推定を行い、側方や後方を見る場合にはその頻度に基づく推定をそれぞれ用いるように切り替えることで推定精度の向上を図っている。
また、従来、読書を行う人物の画像から読者の書籍の注視領域を推定する技術が開示されている（特許文献２参照）。この技術は、読書を行う人物の画像から、書籍の傾きを検出し、読者が見開きページの左右いずれのページを注視しているのかを推定するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１８５７６３号公報
【特許文献２】特開２０１９−３２５７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術は、注視領域を推定するため、一人の運転者あるいは一冊の書籍の姿勢情報に基づいて、注視領域を推定するものである。
しかし、注視を行う対象が複数存在した場合、例えば、複数の人物が存在し、それらの人物の注視領域を推定する場合、従来の技術では、個々の人物の注視領域を個別に推定することしかできなかった。
そのため、より多くの人物が注視する領域にカメラを向けたい等、複数の人物の注視領域をまとめる手法が望まれていた。
【０００５】
本発明は、このような問題や要望に鑑みてなされたものであり、複数の人物の位置および姿勢に基づいて、複数の人物が注視する領域を統合化して１つにまとめることが可能な注視領域推定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明に係る注視領域推定装置は、前後方向に向きの区別がある複数の測定対象の位置および姿勢から、前記複数の測定対象がより多く注視する注視領域を推定する注視領域推定装置であって、注視度算出手段と、注視度総和算出手段と、統計量算出手段と、領域設定手段と、を備える構成とした。
【０００７】
かかる構成において、注視領域推定装置は、注視度算出手段によって、注視領域を推定する対象領域に予め仮想的に設定した複数の計測点ごとに、測定対象の位置と当該測定対象の姿勢から特定される向きとから、測定対象が計測点を注視する度合いを示す注視度を算出する。この注視度は、測定対象が計測点の方向を向いているほど大きな値となるような値とする。例えば、注視度算出手段は、測定対象の位置から計測点へ至るベクトルと、測定対象の向きを示すベクトルとのなす角の余弦値を注視度として算出する。
【０００８】
そして、注視領域推定装置は、注視度総和算出手段によって、計測点ごとに、注視度算出手段で算出された複数の測定対象分の注視度の総和を重要度として算出する。この重要度は、その値が大きければ、より多くの測定対象が当該計測点の方向を向いていることになる。
そして、注視領域推定装置は、統計量算出手段によって、注視度総和算出手段で算出された計測点ごとの重要度について、注視領域を推定する対象領域における分布の統計量を算出する。この統計量によって、注視領域推定装置は、注視領域の位置や範囲を把握することが可能になる。
【０００９】
そして、注視領域推定装置は、領域設定手段によって、統計量算出手段で算出された分布の統計量から、予め定めた基準で重要度の大きい領域を注視領域として設定する。
なお、注視領域推定装置は、コンピュータを、前記した各手段として機能させるためのプログラムで動作させることができる。
【発明の効果】
【００１０】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、複数の人物等の測定対象の位置および姿勢に基づいて、複数の測定対象が注視する領域を統合化して、より多くの測定対象が注視する領域を１つにまとめることができる。
これによって、本発明は、複数の測定対象が、例えば、興味や関心を持つ領域を重要な領域として推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る注視領域推定装置の構成を示すブロック図である。
【図２】人物の位置および姿勢を説明するためのｘｙ平面図である。
【図３】計測点を説明するためのｘｙ平面図である。
【図４】人物の位置および姿勢と計測点との関係を説明するための説明図である。
【図５】計測点における注視度の分布から注視領域を設定する手法を説明するための説明図である。
【図６】本発明の実施形態に係る注視領域推定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照して説明する。
＜注視領域推定装置の構成＞
まず、図１を参照して、本発明の実施形態に係る注視領域推定装置１の構成について説明する。
【００１３】
注視領域推定装置１は、複数の測定対象の位置および姿勢から、複数の測定対象が注視する領域を統合化し、より多くの測定対象が注視する注視領域を推定するものである。
ここで、測定対象とは、人物、動物、移動体（ロボット、乗り物等）等、前後方向に向きの区別がある物体であって、位置および姿勢を測定する対象である。なお、乗り物等の視線を有さない測定対象において注視する領域とは、測定対象の進行方向である前方の領域を指す。以下、本実施形態では、測定対象を人物として説明する。
【００１４】
注視領域推定装置１は、人物の位置については、人物位置計測装置２が計測する位置を測定対象となる人数分だけ入力する。また、注視領域推定装置１は、人物の姿勢については人物姿勢計測装置３から、人物位置計測装置２が計測した人物に対応する姿勢を入力する。
【００１５】
人物位置計測装置２は、人物の位置を計測するものである。人物位置計測装置２は、従来の一般的な手法を用いて人物の位置を計測することができる。例えば、人物位置計測装置２は、測定対象の人物に装着した全球測位衛星システム（ＧＮＳＳ：Global Navigation Satellite System、例えば、ＧＰＳ）の受信器から位置情報を収集するものであってもよい。また、人物位置計測装置２は、カメラで撮影した画像から顔画像認識等の技術によって人物を抽出し、カメラの位置情報および姿勢情報に基づいて人物の位置を推定する方式であってもよい。なお、撮影画像から位置を計測する方式は、ステレオ画像から人物の位置を測定するもの、あるいは、単眼画像と人物の足元が所定の面に接している等の拘束条件とから、人物の位置を測定するものであってもよい。また、人物位置計測装置２は、ＲＦＩＤ（Radio Frequency IDentifier）等の無線タグを人物に装着して人物の位置を計測するものであってもよい。
例えば、人物位置計測装置２は、特開２００４−１１０４４８号公報等に記載の技術を用いることができる。
この人物位置計測装置２は、予め定めた周期で、順次、人物の位置を計測し、注視領域推定装置１に出力する。
【００１６】
人物姿勢計測装置３は、人物の姿勢で特定される向きを計測するものである。人物姿勢計測装置３は、従来の一般的な手法を用いて人物の姿勢を計測することができる。例えば、人物姿勢計測装置３は、人物に装着した慣性センサ（ジャイロスコープ等）、地磁気センサ等によって人物の姿勢を測定するものであってもよい。また、人物姿勢計測装置３は、カメラで撮影した画像から顔の向き、体の向き、視線の向き等の姿勢を推定するものであっても構わない。
例えば、人物姿勢計測装置３は、特開２０１８−２２４１６号公報等に記載の技術を用いることができる。
なお、この人物姿勢計測装置３は、人物位置計測装置２と同期して、順次、人物の姿勢を計測し、注視領域推定装置１に出力する。
【００１７】
ここで、図２を参照して、注視領域推定装置１に入力される人物の位置情報および姿勢情報について説明する。
図２に示すように、ここでは、複数の人物が存在する空間を２次元平面とし、平面上（ｘｙ平面）に人物Ｏが複数存在するものとする。なお、図２では、注視領域を推定する対象領域をサッカー競技場のフィールドＦとし、人物Ｏをサッカーの選手としている。
ここでは、人物Ｏの総数をＮ（Ｎは２以上の整数）とし、ｉ番目（ｉは１以上Ｎ以下の整数）の人物をＯｉと表記する。なお、人物Ｏを識別する識別子ｉは、人物位置計測装置２によって付与されているものとする。
【００１８】
人物の位置は、平面上（ｘｙ平面）の位置である。この位置は、平面上の座標値（ｘｙ座標値）で、ｉ番目の人物Ｏｉの位置を（ｘｉ，ｙｉ）とする。
人物の姿勢は、人物の姿勢から特定される向きである。この姿勢は、平面（ｘｙ平面）に垂直な軸まわりの単位方向ベクトルで、ｉ番目の人物Ｏｉの姿勢をｖｉ（＝（ｓｉ，ｔｉ）：ただし、√（ｓｉ２＋ｔｉ２）＝１）とする。
【００１９】
以下、注視領域推定装置１の構成について詳細に説明する。
図１に示すように、注視領域推定装置１は、計測点走査手段１０と、人物走査手段１１と、位置姿勢選択手段１２と、注視度算出手段１３と、注視度総和算出手段１４と、統計量算出手段１５と、領域設定手段１６と、を備える。
【００２０】
計測点走査手段１０は、複数の人物Ｏが存在する平面に予め定めた間隔で仮想的に格子状に配置した計測点を順に走査するものである。
ここで、計測点は、人物Ｏが注視する度合いである注視度を計測する基準となる位置である。例えば、図２で説明したｘｙ平面において、図３に示すように、サッカー競技場のフィールドＦ内に、例えば１メートル間隔の正方格子状の点を計測点ｍとして予め仮想的に設定しておく。
計測点走査手段１０は、計測点を、例えば、ラスタ走査により順次走査し、計測点の座標を、注視度算出手段１３および統計量算出手段１５に出力する。
【００２１】
人物走査手段１１は、      人物位置計測装置２で計測された複数の人物を順に走査するものである。
人物走査手段１１は、人物位置計測装置２で計測された人物Ｏの識別子ｉを１から総数Ｎまで順次増加させ、識別子ｉを位置姿勢選択手段１２および注視度総和算出手段１４に出力する。
【００２２】
位置姿勢選択手段１２は、人物位置計測装置２で計測された人物の位置、および、人物姿勢計測装置３で計測された人物の姿勢から、人物走査手段１１で順次走査される識別子ｉに対応する人物Ｏｉの位置および姿勢を選択するものである。
位置姿勢選択手段１２は、人物位置計測装置２で計測された複数の人物の位置から、識別子ｉに対応する人物Ｏｉの位置（ｘｉ，ｙｉ）を注視度算出手段１３に出力する。
また、位置姿勢選択手段１２は、人物姿勢計測装置３で計測された複数の人物の姿勢から、識別子ｉに対応する人物Ｏｉの姿勢ｖｉ（＝（ｓｉ，ｔｉ））を注視度算出手段１３に出力する。
【００２３】
注視度算出手段１３は、計測点走査手段１０で走査される計測点ごとに、人物Ｏごとの注視度を算出するものである。
注視度は、例えば、人物の姿勢、および、人物の位置から計測点へ至るベクトルの相対的な方向に基づいて定義することができる。
具体的には、注視度算出手段１３は、計測点ｍの座標を（ξ，η）、人物Ｏｉの位置を（ｘｉ，ｙｉ）、人物Ｏｉの姿勢をｖｉ（＝（ｓｉ，ｔｉ））としたとき、人物Ｏｉの注視度ｇ（ｉ；ξ，η）を、以下の式（１）により算出する。
【００２４】
【数１】
2020181360.tif 000003
【００２５】
この式（１）で算出される注視度ｇは、図４に示すように、人物Ｏｉの位置（ｘｉ，ｙｉ）から計測点ｍの位置（ξ，η）へ至るベクトルｖｍと、人物Ｏｉの姿勢（向き）であるベクトル（単位方向ベクトル）ｖｉとのなす角φの余弦値である。
これによって、例えば、姿勢ｖｉが視線方向（顔の向き）であれば、計測点ｍが視線方向にあるとき（φ＝０）に、注視度ｇが最大となり、計測点ｍが視線方向から外れるほど、注視度ｇが小さくなる。
【００２６】
このように、注視度算出手段１３は、人物Ｏｉが計測点ｍを注視する度合いを数値化することができる。
このとき、注視度算出手段１３は、注視度の算出を、２つのベクトルｖｍ，ｖｉの内積で求めることができる。この内積は、積和演算によって行うことができるため、容易にハードウエアやソフトウェアでの実装することができる。
【００２７】
なお、注視度ｇは、前記式（１）に限定されず、以下の式（２）に示すように、式（１）の右辺の結果に対して所定の関数Ｇを適用したものを注視度ｇ（ｉ；ξ，η）と定義してもよい。関数Ｇは、例えば、以下の式（３）に示す半波整流関数とすることができる。
【００２８】
【数２】
2020181360.tif 000004
【００２９】
【数３】
2020181360.tif 000005
【００３０】
この式（２）および式（３）により、例えば、姿勢ｖｉが視線方向（顔の向き）で、計測点ｍが視線方向より９０度以上外れた場合、注視度を０とすることができる。
これによって、注視度算出手段１３は、真横よりも後方をほとんど見ることができない人物の視覚系の特性に基づいた注視度を求めることができる。
なお、関数Ｇも式（３）に限定されず、例えば、Ｇ（ｚ）＝ｍａｘ（０，２ｚ−１）とすることで、視野角を６０度とすることができる。
注視度算出手段１３は、算出した注視度を注視度総和算出手段１４に出力する。
【００３１】
注視度総和算出手段１４は、注視度算出手段１３で算出された各計測点における人物ごとの注視度をすべての人物について総和し、計測点ごとの重要度を算出するものである。
計測点ごとの重要度は、すべての人物がどれだけ計測点を注視しているかを示す指標となる。
具体的には、注視度総和算出手段１４は、以下の式（４）に示すように、人物走査手段１１から入力される識別子ｉごとに、注視度算出手段１３で算出された人物の総数Ｎ分の注視度ｇ（ｉ；ξ，η）を総和することで、計測点ごとの重要度ｈ（ξ，η）を算出する。
【００３２】
【数４】
2020181360.tif 000006
【００３３】
注視度総和算出手段１４は、算出した重要度を統計量算出手段１５に出力する。
統計量算出手段１５は、注視度総和算出手段１４で算出された計測点ごとの重要度の空間的な分布（ここでは、ξη平面内における分布）の統計をとり、当該分布を特徴付ける統計量を算出するものである。
統計量は、重要度の分布を特徴付ける数値であればなんでもよいが、例えば、重要度の重心座標（期待値）、重要度の分布の分散・共分散行列を用いることができる。
具体的には、統計量算出手段１５は、以下の式（５）により、すべての計測点を対象として、重要度ｈ（ξ，η）の重心座標（期待値）（ｐ，ｑ）を算出する。
【００３４】
【数５】
2020181360.tif 000007
【００３５】
また、統計量算出手段１５は、以下の式（６）により、すべての計測点を対象として、重要度の分布の分散・共分散行列Ｃを算出する。
【００３６】
【数６】
2020181360.tif 000008
【００３７】
統計量算出手段１５は、算出した分布の統計量（ここでは、重心座標、分散・共分散行列）を領域設定手段１６に出力する。
【００３８】
領域設定手段１６は、      統計量算出手段１５で算出された分布の統計量に基づいて、複数の人物が存在する空間（ここでは、２次元平面）において、予め定めた基準で、より多くの人物が注視している重要度の大きい領域を注視領域として設定するものである。
領域設定手段１６は、予め定めた基準として、例えば、分散・共分散行列により規定されるマハラノビス（Mahalanobis）距離を用いることができる。
【００３９】
具体的には、領域設定手段１６は、統計量算出手段１５で算出された重心座標（ｐ，ｑ）を中心とし、統計量算出手段１５で算出された分散・共分散行列Ｃにより規定されるマハラノビス距離ｒの内（ｒは含んでも含まなくてもよい）の領域を注視領域として設定する。以下では、ｒを含むものとして説明する。なお、ｒは、０以上の実数（ｒを含まなければ０より大きな実数）とし、例えば、１とする。このｒは、調整可能な値として外部から予め設定されるものである。
すなわち、領域設定手段１６は、以下の式（７）を満たす（ｘ，ｙ）座標を注視領域Ｒとする。
【００４０】
【数７】
2020181360.tif 000009
【００４１】
この式（７）で設定される注視領域Ｒは、図５に示すように、楕円およびその内側の領域となる。図５は、２次元平面で重要度の大きい領域の色を濃くして模式的に示した分布を示す。
あるいは、領域設定手段１６は、前記式（６）に示した分散・共分散行列Ｃの非対角成分を無視して、以下の式（８）を満たす（ｘ，ｙ）座標を注視領域Ｒとしてもよい。
【００４２】
【数８】
2020181360.tif 000010
【００４３】
この式（８）で、計算上無視する分散・共分散行列Ｃの非対角成分とは、ｃｘｙである。この式（８）によって、楕円の傾きがない注視領域Ｒを設定することができる。
なお、領域設定手段１６は、式（７）や式（８）で設定される楕円を、矩形、円形で近似してもよい。例えば、領域設定手段１６は、楕円に外接する矩形や円形の形状を注視領域Ｒとして設定してもよい。
領域設定手段１６は、設定した注視領域を複数の人物が注視した領域として出力する。
【００４４】
以上説明したように注視領域推定装置１を構成することで、注視領域推定装置１は、人物が複数存在する場合でも、それぞれの人物が注視する領域を統合化することができる。
なお、注視領域推定装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（注視領域推定プログラム）により動作させることができる。
【００４５】
＜注視領域推定装置の動作＞
次に、図６（構成については適宜図１参照）を参照して、本発明の実施形態に係る注視領域推定装置１の動作について説明する。
なお、注視領域推定装置１は、人物位置計測装置２から人物の位置、人物姿勢計測装置３から人物の姿勢が入力されるものとする。
【００４６】
ステップＳ１において、計測点走査手段１０は、複数の人物が存在する平面に予め定めた間隔で仮想的に格子状に配置した計測点の初期位置を設定する。
ステップＳ２において、人物走査手段１１は、人物位置計測装置２が計測した人物に付されている識別子ｉの初期値（ｉ＝１）を設定する。
【００４７】
ステップＳ３において、位置姿勢選択手段１２は、人物位置計測装置２が計測した人物の位置から、ステップＳ２で設定された、または、後記するステップＳ６で更新された識別子に対応する人物の位置を選択する。さらに、位置姿勢選択手段１２は、人物姿勢計測装置３が計測した人物の姿勢から、対応する人物の姿勢を選択する。
ステップＳ４において、注視度算出手段１３は、ステップＳ３で選択された人物の位置および姿勢から、ステップＳ１で設定された、または、後記するステップＳ９で更新された計測点における注視度を算出する（式（１），式（２）参照）。
【００４８】
ステップＳ５において、人物走査手段１１は、人物の識別子ｉが総数Ｎであるか否かを判定することで、すべての人物について、１つの注視点において注視度を算出したか否かを判定する。
ここで、まだ、すべての人物について注視度を算出していない場合（ステップＳ５でＮｏ）、ステップＳ６において、人物走査手段１１は、識別子ｉを更新（ｉ←ｉ＋１）し、ステップＳ３に動作を戻す。
【００４９】
一方、すべての人物について注視度を算出した場合（ステップＳ５でＹｅｓ）、ステップＳ７において、注視度総和算出手段１４は、１つの注視点で算出されたすべての人物の注視度を総和し、１つの注視点における重要度を算出する（式（４）参照）。
【００５０】
ステップＳ８において、計測点走査手段１０は、すべての計測点について重要度の算出が終了したか否かを判定する。
ここで、まだ、すべての計測点について重要度を算出していない場合（ステップＳ８でＮｏ）、ステップＳ９において、計測点走査手段１０は、例えば、ラスタ走査により、計測点の座標を更新し、ステップＳ２に動作を戻す。
【００５１】
一方、すべての計測点について重要度を算出した場合（ステップＳ８でＹｅｓ）、ステップＳ１０において、統計量算出手段１５は、すべての計測点における重要度の分布の統計量を算出する（式（５），式（６）参照）。
ステップＳ１１において、領域設定手段１６は、ステップＳ１０で算出された統計量に基づいて注視領域を設定する（式（７），式（８）参照）。例えば、領域設定手段１６は、重要度の重心座標（期待値）から、予め定めた分散の範囲で注視領域を設定する。
以上の動作によって、注視領域推定装置１は、複数の人物が存在する場合でも、人物の視域が多く重なる領域を統計的に統合し、注視領域として設定することができる。
【００５２】
以上、本発明の実施形態について、注視領域推定装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
ここでは、注視領域推定装置１は、複数の人物が存在する空間を２次元平面とし、ｘｙ平面で注視領域を設定することとした。
しかし、注視領域推定装置１は、複数の人物が存在する空間を３次元空間として、立体的に注視領域を設定することとしてもよい。
【００５３】
その場合、人物位置計測装置２は、人物の眼により近い位置、例えば、頭部位置を人物の位置として計測するものとし、人物姿勢計測装置３は、例えば、顔の向き、視線の向きを計測するものとする。ここで、位置情報は、空間上の座標値（ｘｙｚ座標値）とし、姿勢情報は、３軸まわりの単位方向ベクトルとする。
そして、計測点走査手段１０は、３次元空間に予め定めた間隔で仮想的に格子状に配置した計測点を順に走査することとする。
【００５４】
このとき、注視度算出手段１３は、人物Ｏｉの位置を（ｘｉ，ｙｉ，ｚｉ）、人物Ｏｉの姿勢をｖｉ（＝（ｓｉ，ｔｉ，ｕｉ））、測定対象の注視点の位置を（ξ，η，ζ）としたとき、前記式（１），式（２）の代わりに、以下の式（９），式（１０）により、注視度ｇ（ｉ；ξ，η，ζ）を算出する。
【００５５】
【数９】
2020181360.tif 000011
【００５６】
【数１０】
2020181360.tif 000012
【００５７】
ただし、人物Ｏｉの姿勢は、単位方向ベクトルであって、√（ｓｉ２＋ｔｉ２＋ｕｉ２）＝１とする。
また、注視度総和算出手段１４は、前記式（４）の代わりに、以下の式（１１）により、重要度ｈ（ξ，η，ζ）を算出する。
【００５８】
【数１１】
2020181360.tif 000013
【００５９】
また、統計量算出手段１５は、前記式（５）の代わりに、以下の式（１２）により、重要度ｈ（ξ，η，ζ）の重心座標（期待値）（ｐ，ｑ，ｓ）を算出する。
【００６０】
【数１２】
2020181360.tif 000014
【００６１】
また、統計量算出手段１５は、前記式（６）の代わりに、以下の式（１３）により、分散・共分散行列Ｃ２を算出する。
【００６２】
【数１３】
2020181360.tif 000015
【００６３】
また、領域設定手段１６は、前記式（７）の代わりに、以下の式（１４）により、（ｘ，ｙ，ｚ）座標を注視領域Ｒとする。なお、Ｃ２は、前記式（１３）で算出される分散・共分散行列である。
【００６４】
【数１４】
2020181360.tif 000016
【００６５】
あるいは、領域設定手段１６は、前記式（８）の代わりに、以下の式（１５）により、（ｘ，ｙ，ｚ）座標を注視領域Ｒとする。
【００６６】
【数１５】
2020181360.tif 000017
【００６７】
この式（１５）で、計算上無視する分散・共分散行列Ｃ２の非対角成分は、ｃｘｙ，ｃｘｚ，ｃｙｚである。
これによって、注視領域推定装置１は、人物が複数存在する場合でも、それぞれの人物が注視する３次元領域を統合化し、３次元の注視領域を推定することができる。
以上説明したように、注視領域推定装置１は、複数の人物が注視する領域を統計的に平面領域または立体領域として推定することができる。
【００６８】
なお、注視領域推定装置１が注視領域を推定する領域を、カメラ（不図示）が撮影する撮影空間とすることで、例えば、前記したサッカー競技場のフィールドＦ（図２）の２次元平面または３次元空間を撮影範囲とすることで、カメラ制御装置（不図示）が、注視領域を画角範囲で撮影するようにカメラを制御して、臨場感の高い映像を撮影することができる。あるいは、注視領域に対応する２次元平面または３次元空間を撮影した映像から、注視領域をカメラの撮影領域に投影した領域を切り出すことで、撮影映像から注視度の高い映像を切り出すことができる。
【符号の説明】
【００６９】
１      注視領域推定装置
１０    計測点走査手段
１１    人物走査手段
１２    位置姿勢選択手段
１３    注視度算出手段
１４    注視度総和算出手段
１５    統計量算出手段
１６    領域設定手段
２      人物位置計測装置
３      人物姿勢計測装置
【図１】
2020181360.tif 000018
【図２】
2020181360.tif 000019
【図３】
2020181360.tif 000020
【図４】
2020181360.tif 000021
【図５】
2020181360.tif 000022
【図６】
2020181360.tif 000023