(57)【要約】【課題】シーン画像上の対象の注視点を基準画像中の注視点にマッピングする装置を提供する。【解決手段】シーン画像と基準画像は異なる位置からカメラで撮られており、装置は、基準画像に対し特徴検出アルゴリズムを実行し、基準画像中の複数の特性とその位置を特定するモジュールと、シーン画像に対し特徴検出アルゴリズムを実行し、シーン画像中の複数の特性とその位置を再特定するモジュールと、基準画像とシーン画像で検出された複数の特性の位置に基づき、シーン画像と基準画像との間で点位置を変換する点転写マッピングを決定するモジュールと、点転写マッピングを用いてシーン画像で決定された注視点を基準画像中の対応する点にマッピングするモジュールとからなる。【選択図】図１
2014509535.tif 000002
【特許請求の範囲】
【請求項１】
シーン画像上の対象の注視点を基準画像中の注視点にマッピングするための装置であって、前記シーン画像と前記基準画像は異なる位置からカメラで撮られており、前記装置は、
前記基準画像に対し特徴検出アルゴリズムを実行し、前記基準画像中の複数の特性とその位置を特定するモジュールと、
前記シーン画像に対し前記特徴検出アルゴリズムを実行し、前記シーン画像中の前記複数の特性とその位置を再特定するモジュールと、
前記基準画像と前記シーン画像で検出された前記複数の特性の位置に基づき、前記シーン画像と前記基準画像との間で点位置を変換する点転写マッピングを決定するモジュールと、
前記点転写マッピングを用いて前記シーン画像で決定された注視点を前記基準画像中の対応する点にマッピングするモジュールとからなることを特徴とする装置。
【請求項２】
前記点転写マッピングは、基準画像とシーン画像の特徴から推定され、前記シーン画像から前記基準画像へワールドシーン中の仮想転写面を介して点位置を転写するホモグラフィであることを特徴とする請求項１に記載の装置。
【請求項３】
前記基準画像中の１つ以上の関心領域を決定し、その中で前記特徴検出アルゴリズムを実行して中の前記特性を検出および位置決定するモジュールからさらになる請求項１または２に記載の装置。
【請求項４】
前記シーン画像中の前記複数の特性を検出し、前記シーン画像中の前記特性を検出し、再特定する前記特徴検出アルゴリズムは、
スケール時間不変特徴変換アルゴリズムと、
高速化頑健特徴アルゴリズムの一方からなることを特徴とする前記請求項のいずれか１項に記載の装置。
【請求項５】
異なる人および/または異なる時間から基準画像中の対応する注視点へ注視方向をマッピングし、時間の経過と共にマッピングした注視点を、異なるユーザについても記録するためのモジュールからさらになる前記請求項のいずれか１項に記載の装置。
【請求項６】
前記基準画像に、前記シーン画像から前記基準画像にマッピングした前記注視点を表示し、前記注視点をその位置の期間中の展開と共に可視化するモジュールからさらになる前記請求項のいずれか１項に記載の装置。
【請求項７】
前記基準画像と異なる可視化画像に前記シーン画像から前記基準画像にマッピングした前記注視点を可視化するモジュールからさらになり、前記モジュールは、
前記基準画像から前記可視化画像へ点を転写する点転写マッピングを決定するモジュールと、
前記点転写マッピングを用いて、前記基準画像から前記可視化画像中のその対応する点へ前記注視点をマッピングするモジュールと、
前記可視化画像に、前記対応する点上の前記注視点を表示するモジュールとからなることを特徴とする前記請求項のいずれか１項に記載の装置。
【請求項８】
前記基準画像において特徴検出アルゴリズムにより検出され、前記可視化画像において前記特徴検出アルゴリズムによって検出され、再特定された特性に基づき前記点転写マッピングを決定するモジュールからさらになる請求項７に記載の装置。
【請求項９】
前記可視化画像は、
異なる位置から撮ったシーン画像から選択した画像と、
異なる位置から撮ったシーン画像の２つ以上をスティッチすることにより生成した画像と、
シーンの幾何学的に修正した画像と、
歪みを除去したシーンの画像と、
異なるカメラによって撮った外部画像と、
注視点の実際の測定と異なる時間に撮った画像と、
前記基準画像より解像度の高い画像と、
漫画またはスケッチと、
定型化した図と、
手製の図のうちの１つであることを特徴とする請求項７または８に記載の装置。
【請求項１０】
ビデオシーケンスのフレーム中の前記注視点を可視化するモジュールからさらになり、前記モジュールは、
前記基準画像の点から前記ビデオシーケンスのビデオフレーム中の対応する点への点転写マッピングを決定するモジュールと、
前記点転写マッピングを用いて、前記基準画像から対応する点への注視点をビデオシーケンスのフレームの対応する点へマッピングするモジュールとからなることを特徴とする前記請求項のいずれか１項に記載の装置。
【請求項１１】
第１のカメラで撮ったシーン画像中で検出されたユーザの注視点を、前記第１のカメラと異なる位置から第２のカメラで撮ったビデオの対応するフレーム中の対応する位置へマッピングするモジュールからさらになる請求項１０に記載の装置。
【請求項１２】
対象の注視をトラッキングするアイトラッキングモジュールおよび/または
シーン画像を撮る頭部搭載型カメラおよび/または
注視点を前記頭部搭載型カメラで撮ったシーン中の対応する点にマッピングする較正モジュールとからさらになる前記請求項のいずれか１項に記載の装置。
【請求項１３】
シーン画像上の対象の注視点を基準画像中の注視点にマッピングするための方法であって、前記シーン画像と前記基準画像は異なる位置からカメラで撮られており、前記方法は、
前記基準画像に対し特徴検出アルゴリズムを実行し、前記基準画像中の複数の特性とその位置を特定することと、
前記シーン画像に対し前記特徴検出アルゴリズムを実行し、前記シーン画像中の前記複数の特性とその位置を再特定することと、
前記基準画像と前記シーン画像で検出された前記複数の特性の位置に基づき、前記シーン画像と前記基準画像との間で点位置を変換する点転写マッピングを決定することと、
前記点転写マッピングを用いて前記シーン画像で決定された注視点を前記基準画像中の対応する点にマッピングすることとからなることを特徴とする方法。
【請求項１４】
請求項２から請求項１２のいずれか１項に定義する特徴により実行するステップからさらになる請求項１３記載の方法。
【請求項１５】
コンピュータ上で実行された時、請求項１３または請求項１４のいずれかによる方法を前記コンピュータに実行させることができるコンピュータプログラムコードからなるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視点マッピング方法および装置に関し、特にシーン中の注視点へ対象の注視方向をマッピングする方法および装置に関する。
【背景技術】
【０００２】
解決すべき問題は、（おそらくは動いている）人間が注視している点または物体、より具体的には物体の表面の一部を見つけることである。この問題に対する既存の解決法を下記に述べるが、これは別個の部分に分割可能である。
【０００３】
まず、人の注視方向（または瞳/ＣＲの組み合わせ、角膜中心および瞳/縁等、その表示）を見つける。
【０００４】
この注視方向を頭部搭載型シーンカメラまたはあらゆる固定位置のシーンカメラによって捕捉したシーンの画像にマッピングする。頭部搭載型シーンカメラは目に対して固定されるため、一旦対応する較正を実行すればこのようなマッピングが可能である。
【０００５】
次のステップは、対象の移動により変更可能な、頭部搭載型カメラによって捕捉されたシーン画像中の注視点を、移動せず、「現実世界」の物体に対応する（安定した）基準画像中の点にマッピングすることである。
【０００６】
注視方向の決定には、アイトラッカーを用いることができる。アイトラッカーは、注視方向を算出するため、瞳、縁、強膜上の血管または光源の反射（角膜反射）等の目の特徴を観察する。
注視方向を頭部搭載型シーンカメラの画像にマッピングできるのであれば、どんな種類のアイトラッカーでも利用できる。
【０００７】
対象の頭が動かない場合、一旦較正を行えば、注視方向の決定により基準画像上の注視点が直接的に与えられる。頭が動かないという特殊な場合の較正により、頭部搭載型カメラが動かず、基準画像に対して固定位置にあると、シーン画像と基準画像とが同一であるため、シーン画像の点から基準画像の点へ注視方向をマッピングできる。
【０００８】
しかし、頭と目が動く場合、頭が動いた後、頭部搭載型カメラで撮影したあるシーン画像に対する注視方向の検出に基づき、動かない基準画像で注視点を決定することは、その時のシーン画像が、基準画像の対応する注視点に対する注視方向の較正に用いた基準画像と同一ではなくなっているため、より複雑なものになる。
【０００９】
注視点を決定する１つの可能なアプローチとして、アイトラッカーに関して定義された仮想シーン平面に注視方向を交差させるものがある。ＷＯ２０１０/０８３８５３  Ａ１は、そのために、例えば本棚など一定の位置に固定される複数のアクティブＩＲマーカーの使用を開示する。これらマーカーの位置は、２つのラインセンサの最大強度を検出することにより２つの直交角を検出する２つの直交ＩＲライン検出器を用い、頭部搭載型カメラによって得られた「基準」画像となる「試験シーン」に対してまず検出される。ＩＲ源の検出角度は基準画像中のその位置に対応する。そしてマーカーの角度を、異なる位置から頭部搭載型カメラで撮った後に検出されたシーンについて検出し、これによって後のシーン画像中のＩＲ源の位置を検出する。そして、頭部搭載型カメラが別の位置にある時、後に撮った画像中に検出されたＩＲ源の位置（シーン画像）を試験画像（または基準画像）中のＩＲ光源の位置に変換するマッピングである「透視投影」が決定される。この変換により、シーン画像について後に決定される注視点も、試験画像中の対応する（実際の）注視点に変換することができる。
【００１０】
実際の「シーン画像」から、時間不変である安定した基準画像へ注視点をマッピングすることは、アイトラッカー（ＥＴ）の代わりにシーン安定マーカーに対して注視点をマッピングする面を定義することによって可能になる。このようにして、基準画像面が長期に安定し、他の参加者の注視もそこへマッピングすることにより、以前は固定位置のアイトラッカーでしかできなかったような、時間の経過と共に多くの参加者の注視点情報を集めることができるようになる。このため、ＷＯ２０１０/０８３８５３  Ａ１に開示する従来技術は、人工的マーカーとして、その位置が直交ＩＲライン検出器によって検出することができるＩＲ源を用い、最大放射角度を検出する。
【００１１】
注視点のシーン画像から基準画像への変換を決定するためのマーカーとしてＩＲ源を用いる方法は複雑で不便である。これには、人工的ＩＲ光源を取り付けなければならず、２つの直交ラインセンサからなる追加ＩＲ検出器を設けなければならない。従って、頭部搭載型シーンカメラがこのような外部マーカーなしに動くとしても、注視点マッピングを決定できるアプローチを提供することが望ましい。
【発明の概要】
【００１２】
ある実施形態によれば、基準画像中の注視点に対してシーン画像上の対象の注視点をマッピングするための装置が提供され、該シーン画像および該基準画像は異なる位置からカメラで撮ったもので、該装置は、
該基準画像に対し特徴検出アルゴリズムを実行し、複数の特性と該基準画像におけるその位置を特定するためのモジュールと、
該シーン画像に対し該特徴検出アルゴリズムを実行し、該複数の特性と該シーン画像におけるその位置を再特定するためのモジュールと、
該シーン画像と該基準画像との間で、該基準画像と該シーン画像において検出された該複数の特性の位置に基づき点位置を変換する点転写マッピングを決定するためのモジュールと、
該点転写マッピングを用いて、該シーン画像中で決定された注視点を該基準画像中の対応する点にマッピングするためのモジュールとからなる。
【００１３】
これにより、いかなる人工的ＩＲ源およびＩＲ検出器も必要としない注視点マッピングの実現を可能とする。これは、可視周波数範囲で動作する通常のＣＣＤカメラで撮った自然なシーンの、通常で修正のない画像上で動作可能である。
【００１４】
ある実施形態によれば、該点転写マッピングは、基準画像とシーン画像との特徴から推定され、該シーン画像から該基準画像へワールドシーンの仮想転写面を介して点位置を転写する平面ホモグラフィである。
【００１５】
これは、点転写マッピングの特に好適な実施である。
【００１６】
ある実施形態によれば、この装置は、
該基準画像で１つ以上の関心区域を決定し、その中で該特徴検出アルゴリズムを実行し、その中の該特性を検出および特定するためのモジュールからさらになる。
これにより、特徴検出アルゴリズムに適した領域を選択できる。これにより、ユーザが特に特徴的な特性を持つ領域を選択できるようにすることにより、特徴検出アルゴリズムの効率が強化される。
【００１７】
ある実施形態によれば、該シーン画像中の該複数の特性を検出し、該シーン画像中の該特性を検出し、再特定するための該特徴検出アルゴリズムは次のうちのいずれかからなる。
スケール不変特徴転写アルゴリズムと、
高速化頑健特徴アルゴリズム。
【００１８】
これらは、特徴検出および再特定アルゴリズムの特に好適な実施である。
【００１９】
ある実施形態によれば、装置は、
異なる人および/または異なる時間から基準画像中の対応する注視点へ注視方向をマッピングし、時間の経過と共にマッピングした注視点を、場合により異なるユーザについても記録するためのモジュールからさらになる。
【００２０】
これにより、時間の経過と共に、場合により異なるユーザについてさえ、注視データを集積および累積可能になる。
【００２１】
ある実施形態によれば、この装置は、
該シーン画像から該基準画像へマッピングされた該注視点を該基準画像中に表示して、場合により時間の経過と共にその位置が展開するにつれ、該注視点を可視化するモジュールからさらになる。
【００２２】
これにより、場合により時間をかけてでも基準画像へマッピングした注視点の可視化が可能になる。
【００２３】
ある実施形態によれば、この装置は、
該シーン画像から該基準画像へマッピングした該注視点を、該基準画像と異なる可視化画像で可視化するモジュールからさらになり、該モジュールは、
該基準画像から該可視化画像へ点を転写するための点転写マッピングを決定するモジュールと、
該点転写マッピングを用いて、該注視点を該基準画像から該可視化画像中のその対応する点へマッピングするモジュールと、
該注視点を該可視化画像中の該対応する点上に表示するモジュールとからなる。
【００２４】
これにより、注視点を該基準画像とは異なる画像にマッピングし、ここで可視化できるようになる。
【００２５】
ある実施形態によれば、この装置は、
特徴検出アルゴリズムによって該基準画像中で検出され、該特徴検出アルゴリズムによって該可視化画像中で検出され再特定された特性に基づき該点転写マッピングを決定するモジュールからさらになる。
【００２６】
これは、可視化のための点転写マッピングの好適な実施である。
【００２７】
ある実施形態によれば、該可視化画像は次のうちのいずれかである。
異なる位置から撮ったシーン画像から選択した画像、異なる位置から撮ったシーン画像のうち２枚以上をスティッチすることで生成された画像、
シーンの幾何学的に修正された画像、
歪みが取り除かれたシーンの画像、
注視点の実際の測定と異なる時に撮った画像、
該基準画像より解像度の高い画像、
漫画またはスケッチ、
定型化した図、
手製の図。
【００２８】
これらは、基準画像と異なる可視化画像の好適な実施である。
【００２９】
ある実施形態によれば、この装置は、
該注視点をビデオシーケンスのフレーム内で可視化するモジュールからさらになり、該モジュールは、
該基準画像の点から該ビデオシーケンスのビデオフレーム内の対応する点への点転写マッピングを決定するモジュールと、
該点転写マッピングを用いて、該基準画像から対応する点への注視点をビデオシーケンスのフレームの対応する点内へマッピングするモジュールと
からなる。
【００３０】
これにより、ビデオシーケンス内の注視点の可視化が可能になる。
【００３１】
ある実施形態によれば、この装置は、
第1のカメラによって撮ったシーン画像で検出されたユーザの注視点を、該第1のカメラと異なる位置から第２のカメラによって撮ったビデオの対応するフレーム中の対応する位置へマッピングするモジュールからさらになる。
【００３２】
これにより、シーン画像と異なる位置から撮ったビデオシーケンスでの可視化が可能になる。
【００３３】
ある実施形態によれば、この装置は、
対象の注視を追跡するためのアイトラッキングモジュール、および/または
シーン画像を撮るための頭部搭載型カメラ、および/または
注視点を該頭部搭載型カメラで撮ったシーン中の対応する点にマッピングするための較正モジュールからさらになる。
【００３４】
これにより、アイトラッカーと、較正モジュールと、シーンカメラとからなる完全システムの実現が可能になる。
【００３５】
ある実施形態によれば、シーン画像上の対象の注視点を基準画像中の注視点にマッピングする方法が提供され、該シーン画像と該基準画像とは異なる位置からカメラで撮ったもので、該方法は、
該基準画像に対し特徴検出アルゴリズムを実行し、該基準画像中で複数の特性とその位置を特定し、該シーン画像に対し該特徴検出アルゴリズムを実行して該シーン画像中で該複数の特性とその位置を再特定し、該シーン画像と該基準画像との間で、該基準画像と該シーン画像とで検出された該複数の特性の位置に基づき、点位置を変換する点転写マッピングを決定し、該点転写マッピングを用いて、該シーン画像で決定した注視点を該基準画像中の対応する点にマッピングすることからなる。
【００３６】
このように、本発明の実施形態による方法を実施することができる。
【００３７】
この方法は、その他実施形態のいずれかの追加的特徴によって実行するステップをさらに含むことができる。
【００３８】
ある実施形態によれば、コンピュータ上で実行されると、本発明の実施形態のいずれかによる方法を該コンピュータに実行させることができるコンピュータプログラムコードからなるコンピュータプログラムが提供される。
【図面の簡単な説明】
【００３９】
【図１】図１は、本発明の実施形態による注視点のマッピングを概略で示す。
【図２】図２は、本発明の実施形態による最終基準画像への初期基準画像のマッピングを概略で示す。
【発明を実施するための形態】
【００４０】
ある実施形態によると、シーン画像から異なる位置で撮られた基準画像へ注視点をマッピングすることが可能な方法および装置が提供される。
このため、基準画像において1組の特性（基準特徴）を利用する。
【００４１】
ある実施形態によると、これら特性は、基準画像において特定可能な特徴を検索することができる特徴検出アルゴリズムによって特定される。ある実施形態によると、特徴検出アルゴリズムは、異なる位置から撮られ、後に撮った画像においても検出特徴を再特定することができるように選択する。特徴検出アルゴリズムを用いて、シーン画像が異なる位置で撮られたものであっても、基準点、線または領域等の特性を後に撮ったシーン画像で再び再特定することができる。
【００４２】
特徴検出アルゴリズムによって検出可能な好適な特徴は、例えば、基準画像中のブロブ、エッジまたは角等の特徴的な点または領域である。特性として用いることの可能なこれら点または領域は、カメラによって撮った画像中の特徴検出が可能な画像処理アルゴリズムによって特定でき、このような特徴検出アルゴリズムを用いて、後に異なる位置からカメラによって撮った画像中で再特定できる。
【００４３】
画像を処理して１つ以上の特性を検出できる特徴検出アルゴリズムを用いることで、ＩＲ源のような人工的マーカーやＩＲライン検出器のような追加検出器を使う必要がなくなることに注意するべきである。その代り、そのシーンでいかなる人工的構成部品や光源を取り付けることなく、追加検出器の必要なしに、カメラで撮った自然なシーンの画像自体を用いて、マッピングを決定するための基準点を特定することができる。これは、従来技術でＩＲ源によって提供された人工的マーカーの必要なしに、（無修正または「自然な」）シーン画像中で特性の位置を検出する特徴検出アルゴリズムを適用することによって達成される。
【００４４】
ある実施形態によると、ユーザは、特性を検出するために特徴検出アルゴリズムを実行する必要のある１つ以上の領域を（例えばマウスその他入力手段により）手動で選択することができる。このような点または領域は、基準画像中でユーザが、例えばその上をマウスでクリックすることでマークしたり、それらを囲む矩形または円等の区域を限定することで、特徴検出アルゴリズムを実行する１つ以上の「関心区域」を定義したりすることにより手動で選択できる。
【００４５】
こうして特徴検出アルゴリズムの実行によってこのような関心区域で対応する位置と共に検出された特性は、異なる位置から頭部搭載型シーンカメラで撮った後の画像、いわゆる「シーン画像」中で、以下に詳しく述べるようにシーン画像で特性を再特定することにより、再び検出される。基準画像中で検出された特性と、シーン画像中で再特定された特性は共に、シーン画像と基準画像との間で点位置を変換する点転写マッピングの決定に用いることができる。このようなマッピングに考えられるある実施形態は、基準画像とシーン画像での特徴位置から推定可能で、ワールドシーンの仮想転写面を介してシーン画像から基準画像へ点位置を転写するホモグラフィである。
【００４６】
実際の測定シーケンス前に撮った基準画像は、実世界シーンのカメラ画像面への投影からなる。その時異なる位置にあるカメラの異なる位置から後で撮ったシーン画像は、実世界シーンのカメラの画像面への異なる投影からなる。しかしながら、基準画像にまず複数の特性（少なくとも３つ以上）が特定され、後にシーン画像で再特定される場合、シーン画像から基準画像の対応する点への点の間のマッピングを決定することができる。そして、このマッピングとなる変換を用いて、シーン画像から基準画像の対応する点への注視点マッピングが可能である。
【００４７】
しかしながら、まず、特徴的基準特徴を取得するセットアップ手順と、ある実施形態に係る対応する較正機構を説明する。最初に、実際の測定シーケンス（異なる位置からの「シーン画像」を撮り、注視方向を決定するシーケンス）前に基準画像を撮る。これをアイトラッカーの較正中に用いて、アイトラッカーにより検出される注視方向と、シーンカメラによって撮る基準画像の対応する点との対応を較正する。この方法で、基準画像の対応する点と、ひいては基準画像中に見える「実世界シーン」の対応する点への注視方向の較正を実行することができる。これは、頭部搭載型シーンカメラが動かない場合、注視点への注視方向をマッピングする従来の較正に対応する。
【００４８】
後の実際の測定において、頭部搭載型シーンカメラと頭および目が動くと、シーンカメラの画像（「シーン画像」）が変化する。そのため、基準画像で検出された特性の位置もこれに従って変化する。
このようなシナリオでは、ある実施形態によると、注視点検出は次のように実行される。
【００４９】
まず、特徴的基準特徴が、異なる位置から頭部搭載型シーンカメラで撮ったシーン画像中で再び検出、または「再特定」される。
このため、特性を検出し、セットアップ手順中に決定した基準画像の既知の基準特徴と一致させることの可能な画像処理アルゴリズムを用いる。
【００５０】
基準画像中の特性の検出と、異なる位置から撮ったシーン画像中でそれらを再特定するために実際に用いる特徴検出アルゴリズムは、アプリケーション領域に最も適した特徴タイプにより選択することができる。
【００５１】
例えば、基準画像中で検出され、シーン画像中で再検出および再特定する特性が角部である場合、Moravec角検出アルゴリズム、Harris & Stephens角検出アルゴリズム、Plessey角検出アルゴリズム等の角検出アルゴリズムを用いることができる。
【００５２】
一旦基準画像と異なる位置から撮ったシーン画像で特性を検出または再特定したら、これらを用いてシーン画像の点から基準画像の点への平面投影変換を推定することができる。
【００５３】
これを、図１を参照してより詳細に説明する。
【００５４】
図１は、本棚からなる情景を示す。当初基準画像として、第1の位置（「基準位置」）でシーンカメラＳＣによってシーン画像を撮り、これによりシーンカメラＳＣの画像面に投影する。図示のように、このシーンは本棚からなり、画像を撮った時のシーンカメラＳＣの画像面に投影されている。
【００５５】
セットアップ手順中、基準画像、または本棚を取り囲む矩形のような関心領域内等その一部の中で特性を検出することにより、1組の特徴的基準特徴を定義する。この領域を、領域を定義し、その中で特徴検出アルゴリズムを実行して特性を検出するための較正手順中にユーザによって「関心領域」として選択しておいてよい。関心領域は、例えばマウスを用いて選択し、これによってシーンカメラＳＣで撮った基準画像中に本棚を取り囲む矩形を選択してよい。
【００５６】
1組の特徴的基準特徴を定義するもう一つの可能性は、例えば、４つの点、本棚の４つの前部角を選択することである。このように４つの角点を（例えばマウスによって）選択することで、本実施形態によると、マウスクリックで選択された選択点周囲の小さい（所定）区域の選択に対応でき、この区域内において、特徴検出アルゴリズムを実行し、特徴検出アルゴリズムにより特徴と（マウスクリックで選択した点を取り囲む所定区域内での）その位置を決定する。このようにして特徴的基準特徴の定義を、（本棚の角等、関心点をマウスクリックで選択するための）手動選択と、（マウスクリックで選択した点周囲の所定の区域内での）特徴検出アルゴリズムの実行による自動検出とを組み合わせて実行する。
【００５７】
別の実施形態によると、基準画像全体は、その中で特性が特徴検出アルゴリズムによって検出される「関心領域」を形成してよい。すると、図１で本棚を取り囲む矩形で示したもののような関心領域」が必要ない。しかしながら、好適な実施形態では、少なくとも１つの関心形状、区域または領域をその内容によって特徴検出アルゴリズムを制約することによって選択することで、特徴的基準特徴組を定義する。
【００５８】
この基準画像（または注視較正に適したその他画像）により、注視方向の較正を従来の方法で実行することができ、これは、アイトラッカーＥＴにより決定される注視方向と、基準画像中の対応する注視点との間のマッピングを実行することを意味する。これは例えば、対象に基準画像（または注視較正に適したその他画像）中の定義点を見させ、アイトラッカーによって測定される対応する注視方向を決定することによって行うことができる。このデータに基づき、アイトラッカーによって決定された注視方向と、基準画像（ひいては実シーンの画像）中の対応する注視点との間の対応を決定することができる。この較正を、従来の較正手順のように、頭部搭載型シーンカメラが固定位置にあり、動かない間に実行する。
【００５９】
この較正により、頭部搭載型カメラが動かない限り、注視方向を検出することによって、ある期間の注視点を従来の方法で検出することができた。
【００６０】
しかしながら、頭部搭載型カメラが動くと、図１でわかるように、例えば、今は異なる位置にあるシーンカメラＳＣ２の画像面でシーン画像により示すように、頭部搭載型シーンカメラで撮ったシーン画像は変化する。
【００６１】
ある実施形態によると、後に撮ったシーン画像中で（本棚を取り囲む矩形によって限定された区域に実行した特徴検出アルゴリズム等によって）以前に定義した特徴的基準特徴が検出される。そのため、頭部搭載型シーンカメラの異なる位置から撮ったその後のシーン画像中の基準画像の以前に定義された特性（または対象）を少なくとも部分的に再特定可能な画像処理アルゴリズムを用いる。
【００６２】
このために用いることのできる、ある好適なアルゴリズムは、いわゆるスケール不変特徴変換（ＳＩＦＴ）である。このアルゴリズムで、まず対象の特徴を１つ以上の基準画像（前述の「基準画像」等）から抽出してデータベースに記憶する。この特徴は、画像の位置と、特徴がディスクリプタ-ベクトルの距離で比較可能になるような方法でその位置を取り囲む画像区域の情報を捕捉する特徴-ディスクリプタ-ベクトルによって定義される。そして、新しい画像の各特徴をこのデータベースに対して個々に比較し、その特徴ベクトルのユークリッド距離に基づいて一致する特徴候補を見つけることで、新しい画像の中で対象を認識する。一致のフルセットから、対象とその位置に一致する特徴のサブセット、新しい画像中のスケールと向きを特定し、正しい一致を抜き出す。そして、対象とそのポーズに一致する４つ以上の特徴の各クラスターをさらに詳細なモデル検証にかけた後、外れ値を捨てる。最後に、一致の精度と考えられる偽一致の数を考慮し、特定の特徴セットが対象の存在を示す確率を計算する。これら試験に全て合格した対象または特徴の一致を、高信頼度で正しいと特定することができる。
【００６３】
ＳＩＦＴアルゴリズムのより詳細な説明は、例えばＵＳ特許第６，７１１，２９３号にある。
【００６４】
ＳＩＦＴアルゴリズムを用いることで、図１に示す画像ＳＣ２の特徴的基準特徴を再特定または認識することができる。
【００６５】
したがって、頭部搭載型カメラが動いていても、基準画像ＳＣ中のどの点がＳＣ２で撮ったシーン画像のどの点に対応するかを特定するマッピングを決定することができる。このため、例えば一致した特徴の一部またはすべてからホモグラフィを推定するＲＡＮＳＡＣのような頑健な推定器を用いて、暗示的に表された仮想転写面から離れすぎている外れ値を捨てることによるマッピングのように、基準画像の特性とシーン画像で再特定された特性との間のホモグラフィを決定する。この平面はほとんどの場合図１に示すような特性に対応するシーン対象点の平均平面である。
【００６６】
このマッピングを用いて、基準画像中の注視点への注視方向をマッピングすることができる。注視方向の決定に基づき、（当初較正に基づく）シーン画像でまず実際の注視点を決定してから、（ホモグラフィに基づく）基準画像中の対応する点を決定することができる。これは図１にも示され、以下により詳細に説明する。
【００６７】
ある注視方向の検出は、カメラＳＣ２で撮った画像の画像面を交差する線で示すように、後で撮ったシーン画像ＳＣ２のある点に対応する。この対応は較正中に取得されており、それによって、較正手順に関連して前述したようにシーン画像中の点への注視方向のマッピングが得られている。注視方向によって特定されたシーン画像平面中のこの点は、図１からわかるように図１のある仮想転写面の点に対応することになり、異なる位置で再びカメラＳＣ２で撮った図１の仮想転写面のこの点はまた、較正中に当初位置でカメラＳＣによって撮った基準画像中のある点に対応する。このマッピングは、シーン画像ＳＣ２の複数の点を基準画像ＳＣにマッピングするため決定し、特性の認識または再特定と、望ましくは頑健な推定に基づき決定されたホモグラフィによって得られる。
【００６８】
上記説明からわかるように、ある実施形態によると、基準画像で特定され、シーン画像で再特定された特徴と共に「仮想転写面」を定義する１組の特性（点、角、縁等）を用いる。カメラ画像はこの仮想転写面のカメラの画像平面への投影であり、これらが異なるカメラ位置から撮ったものである場合、異なるカメラ画像における特性の位置が異なることになる。この仮想転写面は、シーン画像がカメラの移動のために変化しても、頭部搭載型カメラによって異なる位置から後に撮ったシーン画像中の特性を再特定することにより、後に撮ったシーン画像で「再特定」できるという意味で、「シーン安定面」と見なしてよい。頭部搭載型シーンカメラの画像の画像処理を用いて、まず特徴的基準特徴を定義してから、実世界の情景で取り付けなければならない人工的ＩＲ光源を用いる代わりに、特徴検出により後のシーン画像中の特性を再び見つけ、あるいは再特定する。その代り、人工的マーカーや追加的ＩＲ検出器なしに、通常カメラで撮った実世界の情景の「自然な」無修正画像を利用可能で、あらゆる外部マーカーを用いることなく、注視点決定を実行できる。その代り、頭部搭載型カメラが動いても、人工的追加なしに、無変化のシーン画像のみに基づいて注視点検出を実行できる。
【００６９】
上述の例の１組の特徴的基準特徴の定義は、図１に示すように「特徴的領域」またはその中に含まれ、特徴検出アルゴリズムによって特定される特徴を定義する「関心領域として本棚を取り囲む矩形を選択することにより実行された。
【００７０】
しかしながら、後のシーン画像中での再特定に適した特性を含む基準画像のその他関心領域を選択してもよい。例えば、本棚の４つの前部角を、マウスで選択し、その周囲の関心区域を限定し、この場合は例えば角検出アルゴリズム等の特徴検出アルゴリズムの実行に用いることで、特徴点として選択してもよい。そしてこのような角は、例えば、Moravec角検出アルゴリズム、Harris & Stephens角検出アルゴリズム、Plessey角検出アルゴリズム等、当業者に周知の好適な角検出アルゴリズムにより、後のシーン画像中で再び再特定してよい。
さらに、上記の例で述べたSIFTアルゴリズムも用いてよい。
【００７１】
SIFTアルゴリズムの代わりに、あるいはこれと組み合わせて（基準画像全体に基づき、または基準画像で定義された１つ以上の関心領域に基づき）用いてよい特徴特定および特徴認識のための別のアルゴリズムは、いわゆる「高速化頑健特徴」（SURF）アルゴリズムである。SURFは、特徴-ディスクリプタとして特徴位置周辺の近似２D Haar Wavelet応答の総計に基づき、積分画像を効率的に利用する。
これは、Hessian Blob検出器の決定要因への整数近似を用いて特徴位置を見つけるが、積分画像によって非常に速く計算することができる。このアルゴリズムの説明は、例えば、Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool SURF: “Speeded Up Robust Features”, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346-359, 2008にある。
【００７２】
特徴検出アルゴリズムとして、基準画像中の点、ブロブ、領域、物体等の特性を検出可能で、さらに、シーン画像を異なる位置から撮ったとしても、後に撮ったシーン画像でも基準画像で検出しているこれら特性を認識または再特定できるあらゆる画像処理アルゴリズムを用いてよい。画像処理アルゴリズムは、従来のカメラで撮った「自然な」画像に基づくこのような特徴検出が可能でなければならない。これにより、人工的IR光源の必要性や、追加検出器の必要を避ける。その代わり、シーン画像にある程度のコントラストがあり、完全に均一ではなく形状や輪郭を含む限り、通常のカメラで撮ったあらゆる「自然な」シーン画像において固有の特性を検出可能な特徴検出アルゴリズムを選択する。このような特徴検出アルゴリズムを用いることにより、本発明の実施形態の注視点マッピングアプローチは、人工的なシーンエンリッチやIR光源によるシーン画像なしに、原則としてあらゆるシーン画像に基づいて実行可能である。角検出アルゴリズムのようなやや単純なものや、SIFTアルゴリズム、SURFアルゴリズムのようなやや高度なもの等、このような機能を達成可能な画像処理アルゴリズムは複数ある。これらアルゴリズムはすべて、マーカーとして人工的IR源を含まない画像固有の特性を検出および利用可能であるため、追加IR源や追加IR検出器の必要なしに自然画像に対して動作可能であるという点で共通している。
【００７３】
ある実施形態によると、このような特性の決定は、特徴検出アルゴリズムによって自動的に行われるが、例えば、前述のような特徴検出アルゴリズムをその上で実行する関心領域を（例えばマウスやあらゆる入力または選択装置によって）選択することによって手動で対応してよい。
【００７４】
しかしながらある実施形態によると、特徴的な点、ブロブ、領域等の特性は、基準画像に基づき完全に自動的にも行うことができる。例えば、上述のSIFTアルゴリズムは、特徴点（または特徴）、後の画像で後に再特定するいわゆる「キーポイント」を特定可能である。図１に示す矩形を選択した後、SIFTアルゴリズムは従って、この矩形内の「キーポイント」を自動的に特定できる。上述のように矩形を選択する代わりに基準画像全体がSIFTアルゴリズムにより特徴特定の基礎を形成し仮想転写面を定義すれば、完全自動手順を取得できる。
【００７５】
実施形態の上記説明をまとめると、シーンの基準画像までの目の注視方向のマッピングは次のように実行できる。
【００７６】
まず、アイトラッカーＥＴからシーンカメラ基準画像ＳＣまでの注視を標準手順を用いてマッピングする。
【００７７】
次に、基準画像中の１組の特性を、特徴検出アルゴリズムを用いて定義する。
【００７８】
次に、異なる位置から撮った他のシーンカメラ画像ＳＣ２中の特徴的基準特徴の位置を見つける。
【００７９】
そして、シーン平面の仮想転写面への変換（ホモグラフィ）を取得/算出する。この変換を用いて、注視方向（および較正手順から取得するようなシーン画像中の対応するポイント）を、基準画像中の対応する注視点へマッピングすることができる。
【００８０】
なお、他のシーン画像は、他の位置や他の時間からだけでなく、他の参加者（すなわち、頭部搭載型カメラとアイトラッカーを装着している他の人）からのものでも良い。頭部搭載型カメラは、次の測定シーケンスにおいて、別の対象が装着する場合でも、新しい較正の実行（すなわち、新しい基準画像またはその特徴の生成）の必要はない。
【００８１】
このように、ユーザの頭が動いたり、別々のユーザであったりしても、注視方向をある期間中（および異なる参加者を通じても）、基準画像上の対応する注視点にマッピングし、その間の注視点を記録できるようにする。
【００８２】
一旦基準画像に対する注視のマッピングを取得したら、例えばユーザの注視が向けられる位置をハイライトしたり、注視位置に十字その他マークのような記号を表示したりすることで基準画像中にその注視を表示できる。一定期間中に測定を実施した場合、注視点の対応する展開を、基準画像中に示すマークや記号を動かすことで表示できる。これが、基準画像中の対象の注視の可視化である。
【００８３】
しかしながら、当初基準画像はこのような可視化にとって最良の画像でない可能性がある。例えば、当初基準画像が、図１に示すように本棚の正面図でなく斜視図を含んでいる場合である。しかしながら、対象の注視の可視化には、本棚を斜視図で示すより正面図で示す画像で注視点を示す画像を用いる方がより望ましい。
【００８４】
このため、ある実施形態によると、注視点を決定し追跡するためのシーンの「所望の図」を提供する「最終基準画像」または「可視化画像」を生成してよい。
【００８５】
このような「最終基準画像」を生成するため、例えば、所望の図中でシーンを示す好適なシーン画像を選択してよい。このシーン画像について、当初基準画像とシーン画像との間をマッピングするホモグラフィが実際の測定段階中に既に決定されている。
【００８６】
この変換を用いて、当初基準画像から、選択したシーン画像に対応する「最終基準画像」または「可視化画像」へ全ての注視点をマッピングする。
【００８７】
もっとも望ましい方法でシーンを示すシーン画像がない場合、例えば高解像度で望ましい観点から、異なるカメラにより、シーンの「外部」または「追加」画像を最終基準画像として取ることもできる。この最終基準画像では、特徴的基準特徴を検出または再特定する特徴検出アルゴリズムを実行する。認識された特徴に基づき、当初基準画像から最終基準画像（可視化画像）への対応する変換を再び決定し、そうして決定された変換を用いて、当初基準画像中で検出された注視点を可視化画像に変換またはマッピングする。
【００８８】
ある実施例によると、最終基準画像は、最終基準画像に変換される時の注視点を最も望ましい方法で表すよう、シーン画像を最良に示すように生成される。これは、例えば、注視点を決定する物体を、斜視図でなく正面図で示す場合や、シーン画像より最終基準画像が大きかったり解像度が高かったりする場合である。
【００８９】
当初基準画像よりシーンの正面の図を提供するため、当初基準画像に対して最終基準画像を幾何学的に修正した例を図２に略図的に示す。図２は、図１の当初基準画像と、当初基準画像より正面の図を提供する最終基準画像を示す。当初基準画像を最終基準画像に投影し、マッピング取得が決定されているホモグラフィまたは変換に対応する投影図も略図として示す。幾何学的修正の別の例は、画像のアスペクト比の変更である。
【００９０】
別の実施形態によると、最終基準画像は、例えば、たる形歪みのようなカメラ歪みを除去することにより、当初基準画像から歪みを除いて取得してよい。
【００９１】
ある実施形態によると、最終基準画像または可視化画像の生成は、画像のスティッチからなってよい。また、例えば、ある区域または部分のマーキングや様式化した図のスケッチ等による、１つ以上のシーン画像またはその様式化の修正からなってよい。可視化画像は、ある実施形態では手製の図でもよい。
【００９２】
可視化画像として用いる画像の種類により、基準画像から可視化画像への点転写マッピングを決定するため様々な方法を用いてよい。例えば、可視化画像を基準画像と同じカメラで撮った場合、前述の特徴検出アルゴリズムをこのために使ってよい。
【００９３】
しかしながら、可視化画像が様式化画像やましてやスケッチまたは手製の図である場合、点転写マッピングは、例えば三角あるいは点毎のマッピングによって手動で定義してよい。
【００９４】
ある実施形態によると、マッピングした注視点の可視化は１枚の可視化画像ではなく、可視化画像のシーケンスとして作用するビデオシーケンスのフレームで行う。
【００９５】
そのため、基準画像とビデオシーケンスの各フレームとの間の点転写マッピングを決定し、このマッピングを用いて１人以上のユーザのある期間中の注視点をビデオシーケンスのフレームにマッピングすることができる。このように、期間中に頭部搭載型ビデオカメラで撮って記録した注視点を、異なる位置または観点から異なるカメラで撮った別のビデオに基準画像を介してマッピングすることができる。期間中の展開と共に１人以上のユーザの注視を、異なる、より望ましいであろう観点から撮ったシーンの同じビデオにこのようにマッピングすることができる。
【００９６】
一旦最終基準画像が生成されると、特徴検出アルゴリズムをそれに対して実行し、その中の特徴的基準特徴を検出することができる。そして特徴間のホモグラフィを算出することにより、最終基準画像への注視点のマッピングを取得できる。当初基準画像から最終基準画像中の対応する位置まで点を変換可能なマッピングを決定する他の手段、例えば手によるホモグラフィの定義（４点一致を指定する等）や点毎の変換の定義等も用いることができる。
【００９７】
他の実施形態に関して上記に述べたように、特性を検出する自動画像処理については、特徴検出を行う画像部分を、区域（関心領域）やその区域の内容によって特徴づけ、これによってアルゴリズムが特性を探す領域や、関心区域のその内容中で特定可能な物体を定義することができる。ホモグラフィは、別のシーン画像の特徴的基準特徴と、点転写を容易化する暗示的仮想シーン平面を定義する基準画像中の特徴的基準特徴から算出する。ホモグラフィは（実世界シーンの仮想転写面の点と平面からの距離に対して視差のある平面から全ての点に対応する）シーン画像の全ての点を基準画像上およびあらゆる基準画像への延長の点に変換することで、頭部搭載型アイトラッカーを着けた動く人の点のマッピングを固定アイトラッカーの場合まで減らす。従って、頭部搭載型カメラが動いても注視点トラッキングを実行することができる。
【００９８】
ある実施形態によると、基準画像中のある物体（または１つ以上の物体）をその形状や輪郭を通じて（例えば、その境界線を通じて）定義することにより、ある注視点についてこの注視点が物体のこのような境界内にあるか否かを比較することができる。境界内にある場合、対応する物体を注視していると決定可能で、そうでない場合は決定しない。
【００９９】
ある物体を注視しているか否かの特定は、シーン画像中で決定した注視に基づくのではなく、基準画像にマッピングした注視に基づいて行われる。全シーン画像を１つの基準画像で置換え、（異なる参加者および時間からを含む）注視をその上にマッピングすることにより、集積した注視データを可視化し、統計を取ることができる。これにより（少なくとも仮想転写面の注視データについて）頭部搭載型アイトラッカーのデータを分析することは、ヘッド固定のアイトラッキングデータの分析と同じことになる。
【０１００】
当業者は、前述の実施形態は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせによって実施してよいと理解される。本発明の実施形態と関連して説明したモジュールおよび機能は、本発明の実施形態と関連して説明した方法に従って作用するよう好適にプログラムされたマイクロプロセッサまたはコンピュータによって全体あるいは部分的に実施してよい。これには、当業者は容易に理解するように、アイトラッキングおよび画像処理の分野で用いられる好適なインターフェイスおよび/または測定装置とコンピュータまたはマイクロプロセッサとの接続を含んでよい。
【図１】
2014509535.tif 000003
【図２】
2014509535.tif 000004
【国際調査報告】
2014509535.tif 000005
2014509535.tif 000006
2014509535.tif 000007