(57)【特許請求の範囲】
【請求項１】
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得部と、
前記データ取得部により取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定部と、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出部と、
前記検出部により前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定部により判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定部と、
を含む注視対象物推定装置。
【請求項２】
前記推定部は、前記対象物領域が検出された前記画像が撮影された時刻からどの時刻まで遡及して前記過去画像上で前記対象物領域を追跡するかを示す遡及範囲を、前記搭乗者が前記対象物を認識可能な距離と、前記移動体の移動速度とに基づいて決定する請求項１記載の注視対象物推定装置。
【請求項３】
前記対象物の詳細情報及び関連情報の少なくとも一方を含む対象物情報を記憶した対象物情報記憶部から、前記推定部により前記搭乗者が注視していたと判定された前記対象物に対応する前記対象物情報を取得する対象物情報取得部を含む請求項１または請求項２記載の注視対象物推定装置。
【請求項４】
前記推定部により前記対象物を注視していたと推定された前記搭乗者に関する情報と、前記対象物情報取得部により取得された前記対象物情報とに基づいて、前記搭乗者の興味及び関心を分析する分析部を含む請求項３記載の注視対象物推定装置。
【請求項５】
前記分析部による分析結果に基づく情報を、前記搭乗者または前記対象物の関連事業者にフィードバックするフィードバック部を含む請求項４記載の注視対象物推定装置。
【請求項６】
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定ステップと、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出ステップと、
前記検出ステップにより前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定ステップにより判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定ステップと、
を含む注視対象物推定方法。
【請求項７】
コンピュータに、
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定ステップと、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出ステップと、
前記検出ステップにより前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定ステップにより判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定ステップと、
を含む処理を実行させるための注視対象物推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は注視対象物推定装置、注視対象物推定方法、及び注視対象物推定プログラムに関する。
【背景技術】
【０００２】
従来、車両などの移動体に搭乗した搭乗者が注視した看板などの対象物を推定する装置が一般に知られている。このような装置は、搭乗者が注視した看板から搭乗者毎の興味及び関心を分析して効果的な広告提示を行ったり、看板を提示している広告業者側に注目度に応じた広告の値付け等の情報を提供したりといった、デジタルサイネージへ応用することが考えられる。
【０００３】
上記のような注視対象物の推定装置の簡単な例としては、視線センサにより移動体の搭乗者の視線方向を推定し、また移動体の位置をＧＰＳセンサ等により取得する。また、看板等の対象物の設置位置を予めデータベースに登録しておく。そして、これらの位置情報から３次元空間上で搭乗者がどの対象物を注視していたかを推定する装置が考えられる。しかし、このように３次元的に注視位置の推定を行う場合には、誤差要因として、対象物の設置位置、移動体の位置、及び視線方向がそれぞれ３次元的に影響するため、注視している対象物の推定が困難となる。
【０００４】
そこで、２次元的な画像を用いて対象物を推定する装置が提供されている。このような装置では、移動体の搭乗者の視線方向を推定する視線センサと、移動体の周辺を撮影するカメラとを備えている。そして、カメラで撮影することにより得られた画像上での搭乗者の視線方向に対応した位置と、その画像に画像処理を施して認識した看板等の対象物の画像上での位置とから、搭乗者が注視した対象物を推定している。
【０００５】
例えば、所定時間毎に順次生成した搭乗者の視野画像の時間的変化から搭乗者の視線挙動の注視状態を判定し、視線挙動が注視状態であれば、搭乗者が注視した注視対象物体に含まれている視野画像上の文字情報を認識する注視対象物特定装置が提案されている。
【０００６】
また、メモリに、前方画像データ、視線方向データ、撮像位置座標を記録し、視線方向データに基づいて判定された注目領域に対応する画像データを前方画像データから抽出し、液晶ディスプレイに注目領域の画像を表示する運転支援システムが提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１７２３７８号公報
【特許文献２】特開２００６−１７２２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、例えば車両の搭乗者は一般に脇見運転をしないように車両前方を見ており、看板等の対象物に注視する場合も、前方に設置されている対象物を注視する場合が多い。また、搭乗者の視線方向を検出するための視線センサは、その特性上、搭乗者が画像中心付近に対応する位置を見ているときの視線方向に対する検出精度が高い。一方で、搭乗者が注視する前方の看板等の対象物はカメラからの距離が遠くなるため、画像上でのサイズが小さくなる。現行の車載カメラ等の移動体に搭載されるカメラは解像度が低いため、画像上でのサイズが小さい対象物を画像処理により認識することは困難である、という問題がある。一方、画像上でのサイズが大きい対象物は、搭乗者にとって横方向や斜め前方などの近い距離に設置された対象物である。従って、車両の搭乗者は脇見運転をしないように車両前方を見ているため、このような近い距離の対象物を搭乗者が注視している可能性は低い、という問題がある。
【０００９】
開示の技術は、移動体に搭乗した搭乗者が注視した対象物の画像上でのサイズが小さい場合でも、搭乗者が注視した対象物を推定することが目的である。
【課題を解決するための手段】
【００１０】
開示の技術は、移動体の周辺を各時刻にて撮影することにより得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得部を備えている。また、開示の技術は、前記データ取得部により取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定部を備えている。また、開示の技術は、前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出部を備えている。また、開示の技術は、前記搭乗者が前記対象物を注視していたか否かを推定する推定部を備えている。推定部は、前記検出部により前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定部により判定された前記過去画像内での前記搭乗者の注視位置とを比較する。
【発明の効果】
【００１１】
開示の技術は、移動体に搭乗した搭乗者が注視した対象物の画像上でのサイズが小さい場合でも、搭乗者が注視した対象物を推定することができる、という効果を有する。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る注視対象物推定装置の機能ブロック図である。
【図２】（ａ）対象物領域の検出、（ｂ）対象物領域の追跡、及び（ｃ）追跡位置と注視位置との比較を説明するためのイメージ図である。
【図３】注視対象物推定装置として機能するコンピュータの概略ブロック図である。
【図４】本実施形態における注視対象物推定処理のフローチャートである。
【図５】本実施形態における対象物検出処理のフローチャートである。
【図６】本実施形態における遡及範囲決定処理のフローチャートである。
【図７】本実施形態における対象物領域追跡処理のフローチャートである。
【図８】本実施形態における追跡位置・注視位置比較処理のフローチャートである。
【図９】本実施形態に係る注視対象物推定装置の他の例を示す機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１４】
〔第１実施形態〕
【００１５】
図１には、本実施形態に係る注視対象物推定装置１０が示されている。注視対象物推定装置１０は、移動体の搭乗者が注視した対象物を推定する装置である。本実施形態では、車両に搭載され、車両のドライバが注視した車両の走行環境周辺に設置された看板を推定する注視対象物推定装置に開示の技術を適用した場合について説明する。
【００１６】
注視対象物推定装置１０は、データ取得部１２、画像データ記憶部１４、注視位置判定部１６、注視位置データ記憶部１８、対象物検出部２０、対象物情報記憶部２２、推定部２４、対象物情報取得部２６、分析部２８、及びフィードバック部３０を備えている。なお、注視位置判定部１６は開示の技術における判定部の一例であり、対象物検出部２０は開示の技術における検出部の一例である。
【００１７】
データ取得部１２は、ＧＰＳセンサ６０で検出された車両の現在位置を示す位置データ、カメラ６２で車両の周辺を撮影することにより得られた画像を示す画像データ、視線センサ６４で検出された車両のドライバの視線方向を示す視線データを取得する。カメラ６２は、車両の前方、少なくともドライバが前方を向いている場合の視界と同様の範囲を撮影する。視線センサ６４は、例えば、ドライバの顔を含む領域を撮影するカメラで構成することができ、撮影されることにより得られた画像から公知の技術を用いてドライバの視線方向を検出することができる。データ取得部１２は、各データを各時刻において同期して取得する。
【００１８】
画像データ記憶部１４には、データ取得部１２により各時刻において取得された画像データ３２が時刻と対応付けて記憶される。また、画像データ記憶部１４には、画像データ３２と同時刻に取得された位置データ３４が画像データ３２に対応付けられて記憶される。
【００１９】
注視位置判定部１６は、データ取得部１２により取得された画像データ３２及び視線データ３４に基づいて、各時刻における画像データ３２が示す画像内でのドライバの注視位置を判定する。注視位置の判定方法は、公知の技術を用いることができる。例えば、ドライバの視線方向を示す画像上の視線位置の時間変化を用いて、ある時刻を基準にした所定時間内の視線位置の時間変化が小さい場合には、その視線位置周辺領域を注視位置として判定することができる。注視位置判定部１６は、注視位置と判定した領域の所定位置（例えば、中心）の座標を注視位置データ３６として、時刻と対応付けて注視位置データ記憶部１８に記憶する。
【００２０】
なお、上記の画像データ記憶部１４及び注視位置データ記憶部１８には、各時刻において取得された各データを可能な限り記憶するようにしてもよいが、少なくとも後述の推定部２４における遡及範囲として参照する過去の時刻の各データが記憶されるようにする。
【００２１】
対象物検出部２０は、対象物情報記憶部２２に記憶された対象物情報３８を参照して、データ取得部１２により取得された画像データ３２が示す画像から、検出対象の看板を検出する。対象物情報記憶部２２には、車両のドライバが車両の走行中に看板を注視していたときに、その注視していた看板を特定するために用いる情報である対象物情報が記憶されている。例えば、対象物情報には、該当の看板の実世界での設置位置、大きさ、及び画像上から看板を検出するためのテンプレートが含まれる。また、後述の対象物情報取得部２６及び分析部２８で利用するための看板の内容を示す詳細情報及び関連情報も含まれる。
【００２２】
対象物検出部２０は、データ取得部１２が取得した位置データ３４と対象物情報記憶部２２に記憶された対象物情報３８に含まれる看板の設置位置を比較し、車両周辺に存在する看板のテンプレートを抽出する。なお、車両周辺の看板としては、ドライバの視野に入る可能性のある看板のみを抽出するようにしてもよい。また、対象物検出部２０は、データ取得部１２により取得された画像と、抽出したテンプレートとのマッチング処理により、画像上から看板を示す対象物領域を検出する。なお、対象物領域の検出方法はテンプレートマッチングに限定されず、他の手法を用いてもよい。例えば、画像上の文字を認識して、登録された単語と一致する場合に、その文字周辺を対象物領域として検出するようにしてもよい。本実施形態では、看板が車両近傍に到達したタイミングで撮影された画像から前記看板を検出するため、例えば、図２（ａ）に示すように、看板が画像上で大きなサイズとなり、容易かつ高精度に検出することができる。
【００２３】
推定部２４は、さらに、遡及範囲決定部２４ａ、対象物領域追跡部２４ｂ、及び追跡位置・注視位置比較部２４ｃを備えている。推定部２４は、対象物検出部２０が検出した対象物を搭乗者が過去に注視していたかどうかを判定するため、画像データ記憶部１４に記憶された画像データ３２及び注視位置データ記憶部１８に記憶された注視位置データ３６を適宜参照する。以下、各部について詳述する。
【００２４】
遡及範囲決定部２４ａは、対象物検出部２０が対象物領域を検出した場合に、画像データ３２及び対応する注視位置データ３６に対して、対象物領域が検出された画像が撮影された時刻から過去へ遡及する方向に参照する範囲を決定する。以下、この範囲を「遡及範囲」という。この遡及範囲は、後述の対象物領域追跡部２４ｂによる処理が不能になる（撮影された画像上で看板が消える）までとしてもよいが、例えば次のよう決定してもよい。案内標識の文字の寸法は、例えば、基準２０ｃｍとして定められているが、視力０．７（運転免許取得のために必要な視力）であれば、この大きさのランドルト環を約１００ｍ先から認識できる。このことから、移動体が現在位置から１００ｍ遡った位置までに対応する時刻の範囲を遡及範囲とすることができる。具体的には、車両が時速４０ｋｍ程度で走行していると仮定すると、１００ｍ分移動する時間、すなわち約１０秒前まで遡るものとし、看板が検出された画像が撮影された時刻から１０秒前までを遡及範囲として決定することができる。
【００２５】
対象物領域追跡部２４ｂは、遡及範囲決定部２４ａで決定した遡及範囲内の各時刻で撮影された画像を示す画像データ３２を画像データ記憶部１４から取得する。以下では、対象物検出部２０により看板が検出された画像を「検出画像」、遡及範囲内の各時刻の画像として取得された画像を「過去画像」という。対象物領域追跡部２４ｂは、検出画像における対象物領域の位置（座標）に基づいて、検出画像の撮影時刻から遡及範囲を過去へ遡及する方向に向かって、各時刻における過去画像上から対象物領域を検出することにより、対象物領域の位置を追跡する。この様子を図２（ｂ）に示す。過去の時刻においては画像上での対象物領域のサイズが小さく画像認識が困難な場合でも、看板が手前に来た時点で検出された対象物領域を過去に遡及して追跡することで、小さいサイズの対象物領域の検出も可能となる。
【００２６】
各過去画像上から対象物領域を検出する方法は、対象物検出部２０と同様に、テンプレートマッチングを用いることができる。この際、看板の検出の際に用いたテンプレートを適宜変形し、過去画像に対してテンプレートマッチングを行う。テンプレートの変形方法としては、例えば、検出された看板の設置位置、検出画像及び過去画像の各々が撮影された時刻における車両の位置の各々から、検出画像及び過去画像の各々が撮影された時刻における対象物領域の大きさの比率を推定する。そして、推定された比率分だけテンプレートを縮小する。
【００２７】
追跡位置・注視位置比較部２４ｃは、遡及範囲決定部２４ａで決定した遡及範囲内の各時刻における注視位置データ３６を注視位置データ記憶部１８から取得する。また、追跡位置・注視位置比較部２４ｃは、対象物領域追跡部２４ｂにより遡及範囲内の各時刻で撮影された各過去画像上から追跡された対象物領域の位置と、対応する時刻での注視位置とを比較する。この様子を図２（ｃ）に示す。追跡位置・注視位置比較部２４ｃは、比較結果に基づいて、遡及範囲内のいずれかの時刻において、ドライバが検出された看板を注視していたか否かを判定する。例えば、対象物領域の位置と注視位置との距離が所定距離以下であれば、ドライバが検出された対象物領域を示す看板を注視していたと判定することができる。
【００２８】
なお、対象物検出部２０で複数の対象物領域が検出された場合には、推定部２４の処理を並列に、または検出された対象物領域毎に順番に行えばよい。
【００２９】
対象物情報取得部２６は、追跡位置・注視位置比較部２４ｃにより、ドライバが注視していたと判定された看板について、対象物情報記憶部２２から対象物情報を取得する。例えば、対象物検出部２０での検出時に用いたテンプレートに対応して対象物情報記憶部２２に記憶された看板の詳細情報及び関連情報を取得する。
【００３０】
分析部２８は、対象物情報取得部２６で取得した対象物情報と、追跡位置・注視位置比較部２４ｃによる比較結果とに基づいて、ドライバの興味及び関心を分析する。例えば、看板の詳細情報及び関連情報に基づいて、あるドライバが注視した看板で広告されている製品をそのドライバの興味の対象として分析することができる。
【００３１】
フィードバック部３０は、分析部２８による分析結果に基づく情報を、ドライバにフィードバックする。例えば、ドライバの興味の対象として分析された製品に関する情報をディスプレイ５２（図３参照）に表示するなどしてフィードバックすることができる。
【００３２】
注視対象物推定装置１０は、例えば図３に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、キーボード５０、ディスプレイ５２、及び通信ＩＦ（インターフェース）５４を備え、これらはバス５６を介して互いに接続されている。ＧＰＳセンサ６０、カメラ６２、及び視線センサ６４は通信ＩＦ５４を介してコンピュータ４０と接続されている。
【００３３】
また、記憶部４６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、コンピュータ４０を注視対象物推定装置１０として機能させるための注視対象物推定プログラム７０、並びに画像データ３２、位置データ３４、注視位置データ３６、及び対象物情報３８が各々記憶されている。ＣＰＵ４２は、注視対象物推定プログラム７０を記憶部４６から読み出してメモリ４４に展開し、注視対象物推定プログラム７０が有するプロセスを順次実行する。
【００３４】
注視対象物推定プログラム７０は、データ取得プロセス７２、注視位置判定プロセス７４、対象物検出プロセス７６、推定プロセス７８、対象物情報取得プロセス８０、分析プロセス８２、及びフィードバックプロセス８４を有する。ＣＰＵ４２は、データ取得プロセス７２を実行することで、図１に示すデータ取得部１２として動作する。またＣＰＵ４２は、注視位置判定プロセス７４を実行することで、図１に示す注視位置判定部１６として動作する。またＣＰＵ４２は、対象物検出プロセス７６を実行することで、図１に示す対象物検出部２０として動作する。またＣＰＵ４２は、推定プロセス７８を実行することで、図１に示す推定部２４として動作する。またＣＰＵ４２は、対象物情報取得プロセス８０を実行することで、図１に示す対象物情報取得部２６として動作する。またＣＰＵ４２は、分析プロセス８２を実行することで、図１に示す分析部２８として動作する。またＣＰＵ４２は、フィードバックプロセス８４を実行することで、図１に示すフィードバック部３０として動作する。
【００３５】
注視対象物推定装置１０がコンピュータ４０で実現される場合、画像データ３２及び位置データ３４を記憶する記憶部４６は画像データ記憶部１４として用いられ、メモリ４４の一部領域は画像データ３２及び位置データ３４の記憶領域として用いられる。また、注視位置データ３６を記憶する記憶部４６は注視位置データ記憶部１８として用いられ、メモリ４４の一部領域は注視位置データ３６の記憶領域として用いられる。また、対象物情報３８を記憶する記憶部４６は対象物情報記憶部２２として用いられ、メモリ４４の一部領域は対象物情報３８の記憶領域として用いられる。これにより、注視対象物推定プログラム７０を実行したコンピュータ４０が、注視対象物推定装置１０として機能することになる。
【００３６】
なお、注視対象物推定装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００３７】
次に、図４のフローチャートを参照し、本実施形態に係る注視対象物推定装置１０による注視対象物推定処理を説明する。なお、この注視対象物推定処理は、注視対象物推定装置１０により、一定時間周期で繰り返し実行される。
【００３８】
まず、ステップ１００で、データ取得部１２は、ＧＰＳセンサ６０で検出された時刻ｔ２における車両の位置を示す位置データ（以下、「位置Ｐｔ２」と表記する）を取得する。また、データ取得部１２は、カメラ６２により時刻ｔ２において車両の周辺を撮影することにより得られた画像を示す画像データ（以下、「画像Ｉｔ２」と表記する）を取得する。また、データ取得部１２は、視線センサ６４で検出された時刻ｔ２における車両のドライバの視線方向を示す視線データ（以下、「視線Ｅｔ２」と表記する）を取得する。また、データ取得部１２は、画像Ｉｔ２と位置Ｐｔ２と時刻ｔ２とを対応付けて画像データ記憶部１４に記憶する。
【００３９】
次に、ステップ１０２で、注視位置判定部１６は、データ取得部１２により取得された画像Ｉｔ２及び視線Ｅｔ２に基づいて、公知の技術を用いて画像Ｉｔ２上での注視位置を判定する。そして、判定した注視位置の座標（以下、「注視位置Ｇｔ２」と表記する）を時刻ｔ２と対応付けて注視位置データ記憶部１８に記憶する。
【００４０】
次に、ステップ１０４で、対象物検出部２０は、画像から対象物領域を検出する対象物検出処理を実行する。ここで、図５を参照して、対象物検出処理について説明する。
【００４１】
ステップ２００で、対象物検出部２０は、画像データ記憶部１４から画像Ｉｔ２及び位置Ｐｔ２を取得する。次に、ステップ２０２で、対象物検出部２０は、取得した位置Ｐｔ２と対象物情報記憶部２２に記憶された看板の設置位置とを比較し、位置Ｐｔ２周辺に存在する看板のテンプレートを抽出する。例えば、位置Ｐｔ２との距離が近い位置に設置されている看板を抽出すればよい。ここで距離が近いとは、例えば、位置Ｐｔ２から１００ｍ以内とすることができる。１００ｍとは、前述の通り、案内標識の文字が確認できる程度である。条件に該当する看板が複数存在する場合には、対応する複数のテンプレートを抽出し、各テンプレートに番号Ｂｋ（ｋ＝１，・・・，Ｎ、Ｎは抽出されたテンプレートの数）を付与し、メモリ４４の所定領域に記憶する。
【００４２】
次に、ステップ２０４で、対象物検出部２０は、検出された対象物領域に付与する番号に対応した変数ｉに１をセットする。次に、ステップ２０６へ移行し、対象物検出部２０は、テンプレートＢｋについてｋ＝１から順に、ステップ２０８〜２１６で示されるループ処理を実行する。ループ処理では、ステップ２０８で、対象物検出部２０は、メモリ４４の所定領域に記憶されたテンプレートＢｋを取得する。次に、ステップ２１０で、対象物検出部２０は、画像Ｉｔ２とテンプレートＢｋとのマッチング処理を行い、画像Ｉｔ２上の各領域とテンプレートＢｋとの類似度を算出する。
【００４３】
次に、ステップ２１２で、対象物検出部２０は、上記ステップ２１０で算出された類似度の最大値である最大類似度を取得し、次のステップ２１４で、最大類似度が所定の閾値より大きいか否かを判定する。最大類似度が閾値より大きい場合には、ステップ２１６へ移行し、テンプレートＢｋに対応した看板ａｉを示す対象物領域Ａｉが検出されたことを記録する。ここでは、Ａｉ＝Ｂｋとして記録すると共に、変数ｉを１インクリメントする。これにより、抽出されたテンプレートＢｋの全てについて対象物領域の検出処理が完了したときに、画像Ｉｔ２内から検出された看板を示す対象物領域のリストがＡｉとして得られる。最大類似度が閾値以下の場合には、画像Ｉｔ２内にテンプレートＢｋにマッチングする対象物領域は存在しないと判定して、ステップ２１６をスキップする。なお、所定の閾値は予め実験的に設定しておけばよい。
【００４４】
ｋ＝Ｎとなった場合、すなわち抽出されたテンプレートＢｋの全てについて対象物領域の検出処理が終了した場合には、ステップ２１８で、ループ処理の終了判定がされて、注視対象物推定処理（図４）へリターンする。
【００４５】
注視対象物処理にリターンすると、ステップ１０６へ移行し、遡及範囲決定部２４ａは、上記ステップ１０４の対象物検出処理において、時刻ｔ２での対象物領域が検出されたか否かを判定する。対象物領域が検出されていない場合には、注視対象物推定処理を終了する。対象物領域が検出された場合には、ステップ１０８へ移行し、推定部２４、対象物情報取得部２６、分析部２８、及びフィードバック部３０は、対象物領域Ａｉについてｉ＝１から順に、ステップ１１０〜１２２で示されるループ処理を実行する。
【００４６】
ループ処理では、ステップ１１０で、遡及範囲決定部２４ａは、遡及範囲を決定する遡及範囲決定処理を実行する。ここで、図６を参照して、遡及範囲決定処理について説明する。
【００４７】
まず、ステップ３００で、遡及範囲決定部２４ａは、車両の移動距離の閾値Ｄを設定する。閾値Ｄの値は、前述の通り、例えば１００ｍとすることができる。次に、ステップ３０２で、遡及範囲決定部２４ａは、画像データ記憶部１４から位置Ｐｔ２を取得する。次に、ステップ２０６へ移行し、遡及範囲決定部２４ａは、時刻ｔ＝ｔ２から一定時間ずつ過去に遡って時刻ｔ＝ｔｍｉｎに到る各時刻ｔについて、ステップ３０６〜３１０で示されるループ処理を実行する。ループ処理では、ステップ３０６で、遡及範囲決定部２４ａは、画像データ記憶部１４から時刻ｔにおける車両の位置Ｐｔを取得し、次のステップ３０８で、時刻ｔ２と時刻ｔ間での車両の移動距離Ｄｔ（Ｄｔ＝｜Ｐｔ−Ｐｔ２｜）を算出する。次に、ステップ３１０で、遡及範囲決定部２４ａは、移動距離Ｄｔがステップ３００で設定した閾値Ｄ未満か否かを判定する。Ｄｔ＜Ｄの場合には、次の過去の時刻ｔについてループ処理を繰り返す。Ｄｔ≧Ｄの場合には、ループ処理を抜けてステップ３１４へ移行する。また、ステップ３１０で否定判定されることなくｔがｔｍｉｎとなった場合にも、ステップ３１２でループ処理の終了判定がなされてステップ３１４へ移行する。なお、ｔｍｉｎは、例えば、前述のように対象物領域追跡部２４ｂが処理不能になる（撮影された画像上で看板が消える）までの時間等を予め定めておく。
【００４８】
ステップ３１４では、遡及範囲決定部２４ａは、現在の処理時刻ｔの値を遡及終了時刻ｔ１とし、時刻ｔ２を遡及開始時刻として遡及範囲ｔ２〜ｔ１を決定し、注視対象物推定処理（図４）へリターンする。
【００４９】
注視対象物処理にリターンすると、ステップ１１２へ移行し、対象物領域追跡部２４ｂは、遡及範囲の過去画像において対象物領域を追跡する対象物領域追跡処理を実行する。ここで、図７を参照して、対象物領域追跡処理について説明する。
【００５０】
ステップ４００で、対象物領域追跡部２４ｂは、上記ステップ１１０の遡及範囲決定処理で決定された遡及範囲ｔ２〜ｔ１を処理範囲として設定する。次に、ステップ４０２で、対象物領域追跡部２４ｂは、画像データ記憶部１４から位置Ｐｔ２を取得し、次のステップ４０４で、上記ステップ１０４で検出された対象物領域Ａｉを取得する。そして、次のステップ４０６で、対象物領域追跡部２４ｂは、対象物情報記憶部２２から、対象物領域Ａｉに対応するテンプレートＴを取得する。次に、ステップ４０８で、対象物領域追跡部２４ｂは、対象物情報記憶部２２から、対象物領域Ａｉが示す看板ａｉの設置位置Ｒｉを取得する。
【００５１】
次に、ステップ４１０へ移行し、対象物領域追跡部２４ｂは、ｔ＝ｔ２から過去に遡る方向の遡及範囲内の各時刻ｔについて、ステップ４１２〜４２０で示されるループ処理を実行する。ループ処理では、ステップ４１２で、対象物領域追跡部２４ｂは、画像データ記憶部１４から時刻ｔにおける画像Ｉｔ及び位置Ｐｔを取得する。次に、ステップ４１４で、対象物領域追跡部２４ｂは、テンプレートの縮小率ｃを算出する。車両は前進しており、時刻ｔ２から遡及する時刻ｔにおいて対象物ａｉは時刻ｔ２より自車両から見て遠方に存在するため、画像Ｉｔ上の対象物領域Ａｉのサイズは、検出画像Ｉｔ２上でのサイズよりも小さい。そこで、検出時における対象物領域ＡｉのテンプレートＴを縮小して、過去画像用のテンプレートを生成する際の縮小率ｃを、例えば下記（１）式で算出する。
【００５２】
ｃ＝｜Ｐｔ２−Ｒｉ｜／｜Ｐｔ−Ｒｉ｜      ・・・（１）
【００５３】
（１）式により、車両から看板の設置位置までの距離に応じた縮小率ｃが求まる。
【００５４】
次に、ステップ４１６で、対象物領域追跡部２４ｂは、上記ステップ４０６で取得したテンプレートＴを上記ステップ４１４で算出した縮小率ｃを用いて縮小したテンプレートＴ’を生成する。次に、ステップ４１８で、対象物領域追跡部２４ｂは、画像ＩｔとテンプレートＴ’とのマッチング処理を行い、画像Ｉｔ上の各領域とテンプレートＴ’との類似度を算出する。次に、ステップ４２０で、対象物領域追跡部２４ｂは、上記ステップ４１８で算出した類似度が最大となる画像Ｉｔ上の位置、すなわちテンプレートＴ’とマッチした位置を、時刻ｔにおける対象物領域Ａｉとして検出する。そして、その位置（座標）を追跡位置Ｑｔとして、メモリ４４の所定領域に記憶する。ここでマッチした位置をＱｔとして記憶することで、ｔ２〜ｔ１までの遡及処理完了時には、対象物領域Ａｉの追跡結果がＱｔ２〜Ｑｔ１として得られる。すなわち或る時刻ｔ（ｔ２〜ｔ１）に対して追跡位置Ｑｔが得られたことを示す。
【００５５】
ｔ＝ｔ１となった場合、すなわち遡及範囲の各時刻について対象物領域の追跡処理が終了した場合には、ステップ４２２で、ループ処理の終了判定がなされて、注視対象物推定処理（図４）へリターンする。
【００５６】
注視対象物処理にリターンすると、ステップ１１４へ移行し、追跡位置・注視位置比較部２４ｃは、対象物領域の追跡位置と注視位置とを比較する追跡位置・注視位置比較処理を実行する。ここで、図８を参照して、追跡位置・注視位置比較処理について説明する。
【００５７】
ステップ５００で、追跡位置・注視位置比較部２４ｃは、上記ステップ１１０の遡及範囲決定処理で決定された遡及範囲ｔ２〜ｔ１を処理範囲として設定する。次に、ステップ５０２へ移行し、追跡位置・注視位置比較部２４ｃは、ｔ＝ｔ２から過去に遡る方向の遡及範囲内の各時刻ｔについて、ステップ５０４〜５１２で示されるループ処理を実行する。
【００５８】
ループ処理では、ステップ５０４で、追跡位置・注視位置比較部２４ｃは、メモリ４４の所定領域に記憶された時刻ｔにおける追跡位置Ｑｔを取得し、次のステップ５０６で、注視位置データ記憶部１８から、時刻ｔにおける注視位置Ｇｔを取得する。次に、ステップ５０８で、追跡位置・注視位置比較部２４ｃは、画素間距離の閾値ｄを設定する。閾値ｄは、例えば、対象物追跡処理のステップ４１６で生成されたテンプレートＴ’のサイズ以内等、予め設定しておく。
【００５９】
次に、ステップ５１０で、追跡位置・注視位置比較部２４ｃは、追跡位置Ｑｔと注視位置Ｇｔ間での画素間距離ｄｔ（ｄｔ＝｜Ｑｔ−Ｇｔ｜）を算出する。次に、ステップ５１２で、追跡位置・注視位置比較部２４ｃは、画素間距離ｄｔがステップ５０８で設定した閾値ｄより大きいか否かを判定する。ｄｔ＞ｄの場合には、次の過去の時刻ｔについてループ処理を繰り返す。ｄｔ≦ｄの場合には、ループ処理を抜けてステップ５１６へ移行する。
【００６０】
ステップ５１６では、追跡位置・注視位置比較部２４ｃは、時刻ｔにおいてドライバが看板ａｉを注視していたと判定して、注視対象物推定処理（図４）へリターンする。また、ステップ５１２で否定判定されることなくｔがｔ１となった場合にも、ステップ５１４でループ処理の終了判定がなされて注視対象物推定処理（図４）へリターンする。なお、ステップ５１６をループ処理内で行うようにし、遡及範囲内の全時刻について、対象物ａｉを注視していたか否かを判定するようにしてもよい。
【００６１】
注視対象物処理にリターンすると、ステップ１１６へ移行し、対象物情報取得部２６は、上記ステップ１１４の追跡位置・注視位置比較処理において、ドライバが看板ａｉを注視していたと判定されたか否かを判定する。注視していたと判定された場合には、ステップ１１８で、対象物情報取得部２６は、ドライバが注視していたと判定された看板ａｉについて、対象物情報記憶部２２から対象物情報を取得する。
【００６２】
次に、ステップ１２０で、分析部２８は、上記ステップ１１８で取得した対象物情報と、上記ステップ１１４での比較結果とに基づいて、ドライバの興味及び関心を分析する。次に、ステップ１２２で、フィードバック部３０は、上記ステップ１２０での分析結果に基づく情報を、ドライバにフィードバックする。
【００６３】
ｉ＝ｎ（画像Ｉｔ２から検出された対象物領域の数）となった場合、すなわち検出された対象物領域Ａｉの全てについて注視対象物の判定処理が終了した場合には、ステップ１２４でループ処理の終了判定がなされて、注視対象物推定処理を終了する。
【００６４】
以上説明したように、本実施形態の注視対象物推定装置１０によれば、車両周辺を撮影して得られた画像上から看板を示す対象物領域が検出された場合に、過去の時刻に撮影された画像上で対象物領域を追跡する。そして、追跡された対象物領域の位置と、その過去の時刻における注視位置とを比較して、ドライバが看板を注視していたか否かを判定する。そのため、ドライバが注視した看板の画像上でのサイズが小さい場合でも、ドライバが注視した看板を推定することができる。
【００６５】
なお、上記実施形態では、注視対象物推定装置１０を車両に搭載する場合について説明したが、注視対象物推定装置１０を管理センタ等に設置されるサーバ装置として構成してもよい。この場合、車両に搭載されたＧＰＳセンサ６０、カメラ６２、及び視線センサ６４で取得された各データを、データ取得部１２によりネットワーク等を介して取得するようにするとよい。
【００６６】
また、開示の技術をサーバ装置として構成する場合には、図１に示したように、各構成を全て端末内に閉じた構成とする場合に限定されない。例えば、一部の記憶部や処理部を車載機側に、他の記憶部や処理部をサーバ側に設け、車載機とサーバ装置間で通信を行いながら上記の注視対象物推定処理を実行するようにしてもよい。この場合の概略構成の一例を図９に示す。図９の例では、データ取得部１２、画像データ記憶部１４、注視位置判定部１６、注視位置データ記憶部１８、対象物検出部２０、及び推定部２４を車載機１０ａ側に設けている。また、対象物情報記憶部２２、対象物情報取得部２６、分析部２８、及びフィードバック部３０をサーバ装置１０ｂ側に設けている。なお、図９は一例であり、類推される装置構成はいずれも開示の技術に含まれる。
【００６７】
また、一部または全部の構成をサーバ装置側に設ける場合には、複数の異なるドライバに関する情報が収集可能なため、分析部２８により、看板の注目度等のデータも分析可能となる。例えば、看板毎にその看板を注視したドライバの数をカウントし、注視したドライバの数が多いほど、すなわち様々なドライバに良く注視されているほど、注目度が高い看板であると分析することができる。そして、フィードバック部３０により、広告業者に対して、広告業者が設置している看板毎の注目度等のデータを、ネットワークを介して送信するなどしてフィードバックすることができる。
【００６８】
また、上記実施形態では、検出対象物を看板とする場合について説明したが、これに限定されず、道路標識等を検出対象物としてもよい。この場合、標識の視認し易さなどを分析したり、ドライバに対して標識の見落とし等の情報をフィードバックしたりすることができる。また、搭乗者はドライバに限定されず助手席等に搭乗した搭乗者であってもよく、さらに、移動体も車両に限定されず、電車等であってもよい。
【００６９】
また、上記実施形態では、車両の位置を用いて車両周辺に設置された看板に対応したテンプレートを抽出して対象物領域を検出する場合について説明したが、これに限定されない。車両の位置情報を用いることなく、登録された全てまたは一部のテンプレートを用いて対象物領域を検出するようにしてもよい。
【００７０】
また、上記実施形態では、遡及範囲を一律に決定する場合について説明したが、ここの看板における最大文字サイズ等に応じて遡及範囲を変化させてもよい。
【００７１】
また、上記では注視対象物推定プログラム７０が記憶部４６に予め記憶（インストール）されている態様を説明したが、注視対象物推定プログラム７０は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【００７２】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００７３】
以上の実施形態に関し、更に以下の付記を開示する。
【００７４】
（付記１）
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得部と、
前記データ取得部により取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定部と、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出部と、
前記検出部により前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定部により判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定部と、
を含む注視対象物推定装置。
【００７５】
（付記２）
前記推定部は、前記対象物領域が検出された前記画像が撮影された時刻からどの時刻まで遡及して前記過去画像上で前記対象物領域を追跡するかを示す遡及範囲を、前記搭乗者が前記対象物を認識可能な距離と、前記移動体の移動速度とに基づいて決定する付記１記載の注視対象物推定装置。
【００７６】
（付記３）
前記対象物の詳細情報及び関連情報の少なくとも一方を含む対象物情報を記憶した対象物情報記憶部から、前記推定部により前記搭乗者が注視していたと判定された前記対象物に対応する前記対象物情報を取得する対象物情報取得部を含む付記１または付記２記載の注視対象物推定装置。
【００７７】
（付記４）
前記推定部により前記対象物を注視していたと推定された前記搭乗者に関する情報と、前記対象物情報取得部により取得された前記対象物情報とに基づいて、前記搭乗者の興味及び関心を分析する分析部を含む付記３記載の注視対象物推定装置。
【００７８】
（付記５）
前記分析部による分析結果に基づく情報を、前記搭乗者または前記対象物の関連事業者にフィードバックするフィードバック部を含む付記４記載の注視対象物推定装置。
【００７９】
（付記６）
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定ステップと、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出ステップと、
前記検出ステップにより前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定ステップにより判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定ステップと、
を含む注視対象物推定方法。
【００８０】
（付記７）
前記推定ステップは、前記対象物領域が検出された前記画像が撮影された時刻からどの時刻まで遡及して前記過去画像上で前記対象物領域を追跡するかを示す遡及範囲を、前記搭乗者が前記対象物を認識可能な距離と、前記移動体の移動速度とに基づいて決定する付記６記載の注視対象物推定方法。
【００８１】
（付記８）
前記対象物の詳細情報及び関連情報の少なくとも一方を含む対象物情報を記憶した対象物情報記憶部から、前記推定ステップにより前記搭乗者が注視していたと判定された前記対象物に対応する前記対象物情報を取得する対象物情報取得ステップを含む付記６または付記７記載の注視対象物推定方法。
【００８２】
（付記９）
前記推定ステップにより前記対象物を注視していたと推定された前記搭乗者に関する情報と、前記対象物情報取得ステップにより取得された前記対象物情報とに基づいて、前記搭乗者の興味及び関心を分析する分析ステップを含む付記８記載の注視対象物推定方法。
【００８３】
（付記１０）
前記分析ステップによる分析結果に基づく情報を、前記搭乗者または前記対象物の関連事業者にフィードバックするフィードバックステップを含む付記９記載の注視対象物推定方法。
【００８４】
（付記１１）
コンピュータに、
移動体の周辺を各時刻にて撮影することで得られた画像の画像データの各々、及び前記各時刻における前記移動体の搭乗者の視線方向を示す視線データの各々を取得するデータ取得ステップと、
前記データ取得ステップにより取得された前記画像データ及び前記視線データに基づいて、前記各時刻における前記画像データが示す画像内での前記搭乗者の注視位置を判定する判定ステップと、
前記画像データが示す画像から、予め定めた対象物に対応する対象物領域を検出する検出ステップと、
前記検出ステップにより前記対象物領域が検出された前記画像より過去の時刻に撮影された過去画像から追跡された前記対象物領域の前記過去画像内での位置と、前記判定ステップにより判定された前記過去画像内での前記搭乗者の注視位置とに基づいて、前記過去の時刻に前記搭乗者が前記対象物を注視していたか否かを推定する推定ステップと、
を含む処理を実行させるための注視対象物推定プログラム。
【００８５】
（付記１２）
前記推定ステップは、前記対象物領域が検出された前記画像が撮影された時刻からどの時刻まで遡及して前記過去画像上で前記対象物領域を追跡するかを示す遡及範囲を、前記搭乗者が前記対象物を認識可能な距離と、前記移動体の移動速度とに基づいて決定する付記１１記載の注視対象物推定プログラム。
【００８６】
（付記１３）
前記対象物の詳細情報及び関連情報の少なくとも一方を含む対象物情報を記憶した対象物情報記憶部から、前記推定ステップにより前記搭乗者が注視していたと判定された前記対象物に対応する前記対象物情報を取得する対象物情報取得ステップを含む付記１１または付記１２記載の注視対象物推定プログラム。
【００８７】
（付記１４）
前記推定ステップにより前記対象物を注視していたと推定された前記搭乗者に関する情報と、前記対象物情報取得ステップにより取得された前記対象物情報とに基づいて、前記搭乗者の興味及び関心を分析する分析ステップを含む付記１３記載の注視対象物推定プログラム。
【００８８】
（付記１５）
前記分析ステップによる分析結果に基づく情報を、前記搭乗者または前記対象物の関連事業者にフィードバックするフィードバックステップを含む付記１４記載の注視対象物推定プログラム。
【符号の説明】
【００８９】
１０   注視対象物推定装置
１２   データ取得部
１４   画像データ記憶部
１６   注視位置判定部
１８   注視位置データ記憶部
２０   対象物検出部
２２   対象物情報記憶部
２４   推定部
２４ａ 遡及範囲決定部
２４ｂ 対象物領域追跡部
２４ｃ 追跡位置・注視位置比較部
２６   対象物情報取得部
２８   分析部
３０   フィードバック部
３２   画像データ
３４   位置データ
３６   注視位置データ
３８   対象物情報
４０   コンピュータ
４２   ＣＰＵ
４４   メモリ
４６   記憶部
【図１】
0005811918.tif 000002
【図２】
0005811918.tif 000003
【図３】
0005811918.tif 000004
【図４】
0005811918.tif 000005
【図５】
0005811918.tif 000006
【図６】
0005811918.tif 000007
【図７】
0005811918.tif 000008
【図８】
0005811918.tif 000009
【図９】
0005811918.tif 000010