(57)【要約】【課題】ユーザがポインタを注視点に向けて指し示した際に、ユーザとポインタと注視物体とが映り込む画像から注視点を推定する注視点推定装置等を提供する。【解決手段】ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定する装置であって、画像から、ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する座標点検出手段と、ユーザが右眼から見た注視点を指し示した位置にポインタを移動させた際に、右眼からポインタを経由して注視点へ向かう右眼注視ベクトルを検出すると共に、ユーザが左眼から見た注視点を指し示した位置にポインタを移動させた際に、左眼からポインタを経由して注視点へ向かう左眼注視ベクトルを検出する注視ベクトル検出手段と、右眼注視ベクトル及び左眼注視ベクトルの交点を、注視点として推定する注視点推定手段とを有する。【選択図】図１
2019200502.tif 000002
【特許請求の範囲】
【請求項１】
ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定する注視点推定装置であって、
前記画像から、前記ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する座標点検出手段と、
前記ユーザが右眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記右眼から前記ポインタを経由して前記注視点へ向かう右眼注視ベクトルを検出すると共に、前記ユーザが左眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記左眼から前記ポインタを経由して前記注視点へ向かう左眼注視ベクトルを検出する注視ベクトル検出手段と、
前記右眼注視ベクトル及び前記左眼注視ベクトルの交点を、前記注視点として推定する注視点推定手段と
を有することを特徴とする注視点推定装置。
【請求項２】
前記ポインタは、所定人体部位又は指示具であり、
前記座標点検出手段は、前記画像から、所定人体部位又は指示具を前記ポインタとして検出する
ことを特徴とする請求項１に記載の注視点推定装置。
【請求項３】
所定人体部位は、指先である
ことを特徴とする請求項２に記載の注視点推定装置。
【請求項４】
前記ユーザについて、右眼部分、左眼部分及びポインタ部位に、マーカを装着し、
前記座標点検出手段は、前記画像に対するクロマキー処理によって前記マーカを検出する
ことを特徴とする請求項２又は３に記載の注視点推定装置。
【請求項５】
前記ポインタが所定人体部位である場合、所定人体部位を所定関節とし、
前記座標点検出手段は、前記画像からスケルトン分析によって人体の所定関節を検出する
ことを特徴とする請求項２又は３に記載の注視点推定装置。
【請求項６】
前記座標点検出手段は、前記画像から物体認識処理によって所定人体部位又は指示具を検出する
ことを特徴とする請求項２又は３に記載の注視点推定装置。
【請求項７】
前記画像は、カメラによって撮影された３次元画像であり、
前記カメラは、ＲＧＢ値及びデプス（奥行き距離）値を撮影可能な１台のデプスカメラか、又は、ＲＧＢ値を撮影可能であって異なる位置に配置された複数の画像カメラである
ことを特徴とする請求項１から６のいずれか１項に記載の注視点推定装置。
【請求項８】
前記ポインタは、１つの基準点を有し、
前記注視ベクトル検出手段は、前記ユーザの単眼視によって見える、右眼視の基準点から右眼注視ベクトルを検出し、左眼視の基準点から左眼注視ベクトルを検出する
ことを特徴とする請求項１から７のいずれか１項に記載の注視点推定装置。
【請求項９】
前記右眼注視ベクトルと前記左眼注視ベクトルとを別々に検出するために、前記画像から、前記ユーザの所定ジェスチャーを認識するジェスチャー認識手段を更に有し、
前記注視ベクトル検出手段は、前記ジェスチャー認識手段によって認識されたジェスチャーに応じて、前記右眼注視ベクトル又は前記左眼注視ベクトルの一方を検出する
ことを特徴とする請求項８に記載の注視点推定装置。
【請求項１０】
前記ジェスチャー認識手段は、指先操作の所定ジェスチャーによって、右眼注視ベクトル検出、左眼注視ベクトル検出、又は、注視ベクトル切替検出を判定する
ことを特徴とする請求項９に記載の注視点推定装置。
【請求項１１】
前記ジェスチャー認識手段は、前記ユーザの右眼及び左眼の開閉を所定ジェスチャーとして検出するものであり、右眼が閉じて左眼が開いている場合に左眼注視ベクトル検出と判定し、左眼が閉じて右眼が開いている場合に右眼注視ベクトル検出と判定する
ことを特徴とする請求項９に記載の注視点推定装置。
【請求項１２】
前記ポインタは、２つの基準点を有し、
前記注視ベクトル検出手段は、前記ユーザが右眼から見た注視点を指し示した位置に第１の基準点を移動させた際に、前記右眼から第１の基準点を経由して前記注視点へ向かう右眼注視ベクトルを検出すると同時に、前記ユーザが左眼から見た注視点を指し示した位置に第２の基準点を移動させた際に、前記左眼から第２の基準点を経由して前記注視点へ向かう左眼注視ベクトルを検出する
ことを特徴とする請求項１から７のいずれか１項に記載の注視点推定装置。
【請求項１３】
前記注視ベクトル検出手段は、前記ユーザの両眼複視によって見える、右眼視の第１の基準点と、右眼視の第２の基準点と、左眼視の第１の基準点と、左眼視の第２の基準点とについて、中央２つの基準点（右眼視の第１基準点と左眼視の第２の基準点）を重ねて、前記ユーザから見た注視点を指し示した位置に移動させた際に、前記右眼注視ベクトル及び前記左眼注視ベクトルの両方を同時に検出する
ことを特徴とする請求項１２に記載の注視点推定装置。
【請求項１４】
前記注視ベクトル検出手段は、前記ユーザの右眼の座標点及び左眼の座標点から所定範囲に前記ポインタが含まれた際にのみ機能する
ことを特徴とする請求項１から１３のいずれか１項に記載の注視点推定装置。
【請求項１５】
前記注視点推定手段は、右眼を頂点として右眼注視ベクトルを軸とした中心角θの第１の円錐と、左眼を頂点として左眼注視ベクトルを軸とした中心角θの第２の円錐とが交差する体積領域を推定し、当該体積領域の重心を前記注視点として推定する
ことを特徴とする請求項１から１４のいずれか１項に記載の注視点推定装置。
【請求項１６】
前記画像から、当該画像に映り込む物体の局所特徴領域から物体識別情報を検出する物体認識手段と、
前記注視点推定手段によって推定された前記注視点と、前記物体認識手段によって検出された局所特徴領域とを比較し、前記注視点が含まれる局所特徴領域に紐付く物体識別情報を、前記ユーザが注視した物体として推定する注視物体推定手段と
を更に有することを特徴とする請求項１から１５のいずれか１項に記載の注視点推定装置。
【請求項１７】
前記注視点推定手段は、右眼を頂点として右眼注視ベクトルを軸とした中心角θの第１の円錐と、左眼を頂点として左眼注視ベクトルを軸とした中心角θの第２の円錐とが交差する体積領域を推定し、
前記注視物体推定手段は、前記体積領域に１つの物体の局所特徴領域が含まれる場合にのみ、当該局所特徴領域に紐付く物体識別情報を、前記ユーザが注視した物体として推定する
ことを特徴とする請求項１６に記載の注視点推定装置。
【請求項１８】
ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定するようにコンピュータを機能させるプログラムであって、
前記画像から、前記ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する座標点検出手段と、
前記ユーザが右眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記右眼から前記ポインタを経由して前記注視点へ向かう右眼注視ベクトルを検出すると共に、前記ユーザが左眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記左眼から前記ポインタを経由して前記注視点へ向かう左眼注視ベクトルを検出する注視ベクトル検出手段と、
前記右眼注視ベクトル及び前記左眼注視ベクトルの交点を、前記注視点として推定する注視点推定手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項１９】
ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定する装置によって実行される注視点推定方法であって、
前記装置は、
前記画像から、前記ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する第１のステップと、
前記ユーザが右眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記右眼から前記ポインタを経由して前記注視点へ向かう右眼注視ベクトルを検出すると共に、前記ユーザが左眼から見た注視点を指し示した位置に前記ポインタを移動させた際に、前記左眼から前記ポインタを経由して前記注視点へ向かう左眼注視ベクトルを検出する第２のステップと、
前記右眼注視ベクトル及び前記左眼注視ベクトルの交点を、前記注視点として推定する第３のステップと
を実行することを特徴とする注視点推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザがポインタを注視点に向けて指し示した場合に、その注視点を推定する技術に関する。
【背景技術】
【０００２】
従来、ユーザが自ら、ポインティング専用のデバイスを持つことなく、手のジェスチャーによって対象機器を操作する技術がある（例えば特許文献１参照）。これによって、ユーザにとって手の届かない距離にある物体を、自然な動作（ジェスチャー）で指定することができ、例えば物体の遠隔操作を可能とする。
この技術によれば、例えば赤外線の往来時間によって深度を測定するＴＯＦ(Time of Flight)方式のデプスカメラを用いて、ユーザが映り込む距離画像を取得する。その距離画像に基づいて、ユーザを含む前景と、前景以外の背景とを分離して、３次元モデルを学習する。３次元モデルに対する背景差分方式によって、前景のユーザと背景の操作対象機器とを検出する。また、既知の人体モデルに対するグラフ・マッチングによって前景のユーザの手先部位を特定する。そして、その手先の形状（例えば指先の延長線方向など）とその時系列の状態変化とから、操作対象機器に対する制御コマンドを推定する。
特許文献１によれば、手先部位の形状や姿勢によって推定された注視点に向かう半直線と交わる物体が操作対象となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２０５９８３号公報
【非特許文献】
【０００４】
【特許文献１】Cao, Zhe and Simon, Tomas and Wei, Shih-En and Sheikh, Yaser, “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, CVPR, vol.1, no.2, pp.7291-7299, 2017.、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://arxiv.org/abs/1611.08050＞
【特許文献２】Yonemoto, Satoshi and Matsumoto, Asuka and Arita, Daisaku and Taniguchi, Rin-ichiro, “A Real-time Motion Capture System with Multiple Camera Fusion”, Image Analysis and Processing, 1999, pp.600-605.、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://kyushu-u.pure.elsevier.com/en/publications/a-real-time-motion-capture-system-with-multiple-camera-fusion＞
【特許文献３】Marin, Giulio and Dominio, Fabio and Zanuttigh, Pietro, “Hand gesture recognition with leap motion and kinect devices”, IEEE International Conference on Image Processing (ICIP), pp.1565-1569, 2014.、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://scholar.google.it/citations?user=t9UpeEAAAAAJ&hl=en＞
【特許文献４】A. Laurentini, “The Visual Hull Concept for Silhouette Based Image Understanding”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol.16, no.2, pp.150-162, 1994.、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://ieeexplore.ieee.org/document/273735/＞
【特許文献５】D.G.Lowe, Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf＞
【特許文献６】H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://www.researchgate.net/publication/275057952_SURF_Speeded_up_robust_features＞
【特許文献７】Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.、[online]、［平成３０年５月７日検索］、インターネット＜URL:http://www.willowgarage.com/sites/default/files/orb_final.pdf＞
【特許文献８】Liu, Wei and Anguelov, Dragomir and Erhan, Dumitru and Szegedy, Christian and Reed, Scott and Fu, Cheng-Yang and Berg, Alexander C, “SSD: Single Shot MultiBox Detector”, European conference on computer vision, pp.21-37, 2016.、[online]、［平成３０年５月７日検索］、インターネット＜URL:https://uncch.pure.elsevier.com/en/publications/ssd-single-shot-multibox-detector＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術によれば、指定対象物はディスプレイに表示されたようなものではないため、ユーザが指し示す位置が、そのユーザ自身にフィードバックされない。そのために、ユーザが明確に指定できないという不都合が生じる。
【０００６】
そこで、本発明は、ユーザがポインタを注視点に向けて指し示した際に、ユーザとポインタと注視物体とが映り込む画像から注視点を推定する注視点推定装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定する注視点推定装置であって、
画像から、ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する座標点検出手段と、
ユーザが右眼から見た注視点を指し示した位置にポインタを移動させた際に、右眼からポインタを経由して注視点へ向かう右眼注視ベクトルを検出すると共に、ユーザが左眼から見た注視点を指し示した位置にポインタを移動させた際に、左眼からポインタを経由して注視点へ向かう左眼注視ベクトルを検出する注視ベクトル検出手段と、
右眼注視ベクトル及び左眼注視ベクトルの交点を、注視点として推定する注視点推定手段と
を有することを特徴とする。
【０００８】
本発明の注視点推定装置における他の実施形態によれば、
ポインタは、所定人体部位又は指示具であり、
座標点検出手段は、画像から、所定人体部位又は指示具をポインタとして検出することも好ましい。
【０００９】
本発明の注視点推定装置における他の実施形態によれば、
所定人体部位は、指先であってもよい。
【００１０】
本発明の注視点推定装置における他の実施形態によれば、
ユーザについて、右眼部分、左眼部分及びポインタ部位に、マーカを装着し、
座標点検出手段は、画像に対するクロマキー処理によってマーカを検出することも好ましい。
【００１１】
本発明の注視点推定装置における他の実施形態によれば、
ポインタが所定人体部位である場合、所定人体部位を所定関節とし、
座標点検出手段は、画像からスケルトン分析によって人体の所定関節を検出する
ことも好ましい。
【００１２】
本発明の注視点推定装置における他の実施形態によれば、
座標点検出手段は、画像から物体認識処理によって所定人体部位又は指示具を検出することも好ましい。
【００１３】
本発明の注視点推定装置における他の実施形態によれば、
画像は、カメラによって撮影された３次元画像であり、
カメラは、ＲＧＢ値及びデプス（奥行き距離）値を撮影可能な１台のデプスカメラか、又は、ＲＧＢ値を撮影可能であって異なる位置に配置された複数の画像カメラである
ことも好ましい。
【００１４】
本発明の注視点推定装置における他の実施形態によれば、
ポインタは、１つの基準点を有し、
注視ベクトル検出手段は、ユーザの単眼視によって見える、右眼視の基準点から右眼注視ベクトルを検出し、左眼視の基準点から左眼注視ベクトルを検出する
ことも好ましい。
【００１５】
本発明の注視点推定装置における他の実施形態によれば、
右眼注視ベクトルと左眼注視ベクトルとを別々に検出するために、画像から、ユーザの所定ジェスチャーを認識するジェスチャー認識手段を更に有し、
注視ベクトル検出手段は、ジェスチャー認識手段によって認識されたジェスチャーに応じて、右眼注視ベクトル又は左眼注視ベクトルの一方を検出する
ことも好ましい。
【００１６】
本発明の注視点推定装置における他の実施形態によれば、
ジェスチャー認識手段は、指先操作の所定ジェスチャーによって、右眼注視ベクトル検出、左眼注視ベクトル検出、又は、注視ベクトル切替検出を判定することも好ましい。
【００１７】
本発明の注視点推定装置における他の実施形態によれば、
ジェスチャー認識手段は、ユーザの右眼及び左眼の開閉を所定ジェスチャーとして検出するものであり、右眼が閉じて左眼が開いている場合に左眼注視ベクトル検出と判定し、左眼が閉じて右眼が開いている場合に右眼注視ベクトル検出と判定することも好ましい。
【００１８】
本発明の注視点推定装置における他の実施形態によれば、
ポインタは、２つの基準点を有し、
注視ベクトル検出手段は、ユーザが右眼から見た注視点を指し示した位置に第１の基準点を移動させた際に、右眼から第１の基準点を経由して注視点へ向かう右眼注視ベクトルを検出すると同時に、ユーザが左眼から見た注視点を指し示した位置に第２の基準点を移動させた際に、左眼から第２の基準点を経由して注視点へ向かう左眼注視ベクトルを検出することも好ましい。
【００１９】
本発明の注視点推定装置における他の実施形態によれば、
注視ベクトル検出手段は、ユーザの両眼複視によって見える、右眼視の第１の基準点と、右眼視の第２の基準点と、左眼視の第１の基準点と、左眼視の第２の基準点とについて、中央２つの基準点（右眼視の第１基準点と左眼視の第２の基準点）を重ねて、ユーザから見た注視点を指し示した位置に移動させた際に、右眼注視ベクトル及び左眼注視ベクトルの両方を同時に検出することも好ましい。
【００２０】
本発明の注視点推定装置における他の実施形態によれば、
注視ベクトル検出手段は、ユーザの右眼の座標点及び左眼の座標点から所定範囲にポインタが含まれた際にのみ機能することも好ましい。
【００２１】
本発明の注視点推定装置における他の実施形態によれば、
注視点推定手段は、右眼を頂点として右眼注視ベクトルを軸とした中心角θの第１の円錐と、左眼を頂点として左眼注視ベクトルを軸とした中心角θの第２の円錐とが交差する体積領域を推定し、当該体積領域の重心を注視点として推定する
ことも好ましい。
【００２２】
本発明の注視点推定装置における他の実施形態によれば、
画像から、当該画像に映り込む物体の局所特徴領域から物体識別情報を検出する物体認識手段と、
注視点推定手段によって推定された注視点と、物体認識手段によって検出された局所特徴領域とを比較し、注視点が含まれる局所特徴領域に紐付く物体識別情報を、ユーザが注視した物体として推定する注視物体推定手段と
を更に有することも好ましい。
【００２３】
本発明の注視点推定装置における他の実施形態によれば、
注視点推定手段は、右眼を頂点として右眼注視ベクトルを軸とした中心角θの第１の円錐と、左眼を頂点として左眼注視ベクトルを軸とした中心角θの第２の円錐とが交差する体積領域を推定し、
注視物体推定手段は、体積領域に１つの物体の局所特徴領域が含まれる場合にのみ、当該局所特徴領域に紐付く物体識別情報を、ユーザが注視した物体として推定することも好ましい。
【００２４】
本発明によれば、ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定するようにコンピュータを機能させるプログラムであって、
画像から、ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する座標点検出手段と、
ユーザが右眼から見た注視点を指し示した位置にポインタを移動させた際に、右眼からポインタを経由して注視点へ向かう右眼注視ベクトルを検出すると共に、ユーザが左眼から見た注視点を指し示した位置にポインタを移動させた際に、左眼からポインタを経由して注視点へ向かう左眼注視ベクトルを検出する注視ベクトル検出手段と、
右眼注視ベクトル及び左眼注視ベクトルの交点を、注視点として推定する注視点推定手段と
してコンピュータを機能させることを特徴とする。
【００２５】
本発明によれば、ユーザがポインタを注視点に向けて指し示した際に、ユーザ、ポインタ及び注視点が映り込む画像から注視点を推定する装置によって実行される注視点推定方法であって、
装置は、
画像から、ユーザの右眼、左眼及びポインタそれぞれついて、世界座標系の座標点を検出する第１のステップと、
ユーザが右眼から見た注視点を指し示した位置にポインタを移動させた際に、右眼からポインタを経由して注視点へ向かう右眼注視ベクトルを検出すると共に、ユーザが左眼から見た注視点を指し示した位置にポインタを移動させた際に、左眼からポインタを経由して注視点へ向かう左眼注視ベクトルを検出する第２のステップと、
右眼注視ベクトル及び左眼注視ベクトルの交点を、注視点として推定する第３のステップと
を実行することを特徴とする。
【発明の効果】
【００２６】
本発明の注視点推定装置、プログラム及び方法によれば、ユーザがポインタを注視点に向けて指し示した際に、ユーザとポインタと注視物体とが映り込む画像から注視点を推定することができる。
【図面の簡単な説明】
【００２７】
【図１】ユーザが指先を注視点に向けて指し示した第１の外観図である。
【図２】ユーザが指先を注視点に向けて指し示した第２の外観図である。
【図３】ユーザが注視点に両眼の焦点を合わせた際に、１つの基準点によって生じる複視を表す説明図である。
【図４】ユーザが注視点に片眼の焦点を合わせた際に生じる単視を表す説明図である。
【図５】本発明における注視点推定装置の機能構成図である。
【図６】光学マーカを用いた座標点検出を表す説明図である。
【図７】スケルトン分析又は物体認識処理に基づく座標点検出を表す説明図である。
【図８】ユーザが注視点に両眼の焦点を合わせた際に、２つの基準点によって生じる複視を表す第１の説明図である。
【図９】ユーザが注視点に両眼の焦点を合わせた際に、２つの基準点によって生じる複視を表す第２の説明図である。
【図１０】ユーザの両眼から所定範囲にポインタが位置する場合に注視ベクトルを検出する説明図である。
【図１１】右眼注視ベクトル及び左眼注視ベクトルの交点を表す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２９】
図１は、ユーザが指先を注視点に向けて指し示した第１の外観図である。
【００３０】
図１によれば、カメラ１０は、ユーザとポインタと注視物体とが映り込む３次元画像を撮影する。その３次元画像は、本発明の注視点推定装置１へ入力される。
カメラ１０は、ＲＧＢ値及びデプス（奥行き距離）値を撮影可能な１台のデプスカメラであってもよい。例えばKinect（登録商標）のように、赤外線の往来時間を用いたＴＯＦ方式によって、撮影環境の対象物に対する奥行き距離を測定することができる。この場合、３次元画像は、例えばデプス値に基づく３次元空間の点群となる。
【００３１】
また、カメラ１０は、ＲＧＢ(Red Green Blue)値を撮影可能であって、異なる位置に配置された複数の画像カメラであってもよい。異なる視点から撮影された２次元画像から、３次元画像が作成される。
この場合、事前に設定した固定の世界座標系とカメラ１０によって撮影された座標系への座標変換行列を、画像処理における周知のキャリブレーションによって算出しておく必要がある。即ち、２次元画像の座標系と世界座標系との幾何的な位置関係を取得しておく必要がある。
【００３２】
ユーザが、指先を注視点に向けて指し示した場合、その注視ベクトルの先に注視物体が存在する。
図１によれば、ユーザの視界からは、注視物体（物体Ｃ）の一部が、他の物体Ａ及びＢによって隠れており、例えば単眼だけを使って指し示した場合には、注視方向は特定できるが、注視物体までの奥行距離が不明であるために、その注視物体の特定が難しい。
【００３３】
図２は、ユーザが指先を注視点に向けて指し示した第２の外観図である。
【００３４】
図２によれば、ユーザの視界からは、例えばガラス（半透明物体）越しに注視物体が見えている。この時、カメラ１０によって撮影された画像を解析したとしても、ユーザが、例えば単眼だけを使って、指先を注視点に向けて指し示している場合には、その注視物体が、ガラスなのか、ガラス越しに見える注視物体（物体Ｃ）なのか、を特定することは難しい。
【００３５】
図３は、ユーザが注視点に両眼の焦点を合わせた際に、１つの基準点によって生じる複視を表す説明図である。
図３によれば、ユーザは、両眼を開いて注視物体の注視点を見ている。このとき、ユーザの眼には、ポインタ（例えば指先）が、複視によって左右二重に幻像として見える状態となる。
【００３６】
図４は、ユーザが注視点に片眼ずつ順に焦点を合わせた際に生じる単視を表す説明図である。
図４によれば、ユーザが、右眼から見て、ポインタを注視物体に向けて指し示す。次に、ユーザが、左眼から見て、ポインタを注視物体に向けて指し示す。このとき、右眼から見たポインタの位置と、左眼から見たポインタの位置とは、一致しない。
【００３７】
図５は、本発明における注視点推定装置の機能構成図である。
【００３８】
図５によれば、注視点推定装置１は、座標点検出部１１と、注視ベクトル検出部１２と、注視点推定部１３と、ジェスチャー認識部１４と、物体認識部１５と、注視物体推定部１６とを有する。これら機能構成部は、注視点推定装置１に搭載されたコンピュータを機能させるプログラムによって実現される。また、これら機能構成部の処理の流れは、装置の注視点推定方法としても理解できる。
【００３９】
［座標点検出部１１］
座標点検出部１１は、カメラ１０によって撮影された３次元画像から、ユーザの右眼、左眼及びポインタそれぞれについて、世界座標系の座標点を検出する。
ここで、「ポインタ」とは、例えば指先のような所定人体部位であってもよいし、例えば指示棒の先のような指示具であってもよい。
即ち、座標点検出部１１は、３次元画像から検出した所定人体部位又は指示具の位置を、「ポインタ」の座標点として検出する。
【００４０】
各座標点を検出するために、例えば以下のような方法がある。
＜光学マーカを用いた座標点検出＞
＜スケルトン分析による座標点検出＞
＜物体認識処理による座標点検出＞
【００４１】
＜光学マーカを用いた座標点検出＞
図６は、光学マーカを用いた座標点検出を表す説明図である。
【００４２】
図６によれば、ユーザにおける右眼部分及び左眼部分と、ポインタ部位とに、マーカが装着されている。マーカは、例えば画像に対するクロマキー処理によって検出可能な光学マーカであってもよい。これによって、座標点検出部１１は、ユーザについて、右眼部分、左眼部分及びポインタ部位における座標点を検出することができる。クロマキー処理によれば、画像内の光学マーカを追跡する光学式モーションキャプチャ技術（例えば非特許文献２参照）を用いてポインタを検出することができる。
【００４３】
ユーザの眼部分の光学マーカは、例えば眼鏡に装着されたものであってもよい。
ポインタが指先であれば、その指先に光学マーカが装着されたものであってもよい。また、ポインタが指示具（例えば指示棒）であれば、その指示具の先端部分に光学マーカが装着されたものであってもよい。
【００４４】
＜スケルトン分析に基づく座標点検出＞
図７は、スケルトン分析又は物体認識処理に基づく座標点検出を表す説明図である。
図７（ａ）によれば、ポインタが所定人体部位である場合、座標点検出部１１は、所定人体部位（例えば指先）を所定関節として、画像からスケルトン分析によって人体の所定関節を検出する。そして、それらの座標点を特定する。
【００４５】
具体的にはOpenPose（登録商標）のようなスケルトンモデルを用いて、人物の関節の特徴点を抽出する。OpenPoseとは、画像から複数の人物間の体／手／顔のキーポイントをリアルタイムに検出可能なソフトウェアであって、GitHubによって公開されている。
OpenPoseは、ユーザの両眼及び人体の骨格・関節に基づく特徴的な部位を基準点とし、教師データとして大量の人物画像とそれに紐づく骨格姿勢情報によって学習されたものである。画像を入力することによって、その画像の中から人物を特定すると共に、その骨格姿勢情報を特定することができる（例えば非特許文献１参照）。
【００４６】
＜物体認識処理に基づく座標点検出＞
図７（ｂ）によれば、座標点検出部１１は、３次元画像（２次元画像でも可能）から物体認識処理によって所定人体部位や指示具を検出する。そして、それら座標点を特定する。
物体認識に用いる特徴ベクトルの抽出アルゴリズムとしては、回転やスケールの変化にロバストな、例えばＳＩＦＴ(Scale-Invariant Feature Transform)（例えば非特許文献５参照）やＳＵＲＦ(Speeded Up Robust Features)（例えば非特許文献６参照）が用いられる。例えば、ＳＩＦＴの場合、１枚の画像からは１２８次元の特徴ベクトルの集合が抽出される。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所特徴領域を解析し、そのスケール変化及び回転に不変となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦの場合、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合が抽出される。ＳＩＦＴは、処理コストが高く且つリアルタイムマッチングが困難であるのに対し、ＳＵＲＦは、積分画像を利用することによって処理を高速化している。
【００４７】
物体認識の処理部は、周知の深層学習に基づく機械学習エンジンであって、検出対象となる所定人体部位や指示具の画像に基づく特徴情報と、同定情報（対象物名称、識別番号など）とを紐付けて予め学習したものである（例えば非特許文献８参照）。
カメラ１０によって撮影された画像から、例えばＳＩＦＴ又はＳＵＲＦのような局所特徴領域量を抽出する。局所特徴領域量は、回転、拡大縮小、射影変換のいずれか又はその任意の組み合わせに対して不変な性質を有し、画像の局所特徴領域における相対的な輝度勾配に基づいて算出される。尚、同様の性質を有する周知のＯＲＢ(Oriented FAST and Rotated BRIEF)特徴量を用いてもよい（例えば非特許文献７参照）。
【００４８】
［注視ベクトル検出部１２］
注視ベクトル検出部１２は、以下のように右眼注視ベクトル及び左眼注視ベクトルを検出する。
ユーザが右眼から見た注視点を指し示した位置にポインタ（例えば指先）を移動させた際に、右眼からポインタを経由して注視点へ向かう「右眼注視ベクトル」を検出する。
ユーザが左眼から見た注視点を指し示した位置にポインタを移動させた際に、左眼からポインタを経由して注視点へ向かう「左眼注視ベクトル」を検出する。
【００４９】
ポインタの基準点は、１つの場合と２つの場合とがある。
＜ポインタの１つの基準点＞
前述した図４のように、ポインタが、１つの基準点を有する場合、注視ベクトル検出部１２は、ユーザの単眼視によって見える、右眼視の基準点からの右眼注視ベクトルと、左眼視の基準点からの左眼注視ベクトルとを、別々に検出する。
【００５０】
＜ポインタの２つの基準点＞
図８は、ユーザが注視点に両眼の焦点を合わせた際に、２つの基準点によって生じる複視を表す第１の説明図である。
例えば、右手の指先をポインタの第１の基準点とし、左手の指先をポインタの第２基準点としてもよい。また、右手の第１の指をポインタの第１の基準点とし、同じ右手の第２の指をポインタの第２の基準点としてもよい。
【００５１】
図８によれば、ユーザは、両眼を開けて指定対象物に眼の焦点を合わせており、この場合、複視によって異なる２つの基準点は、各々左右二重の計４つの幻像として見える状態となる。基準点毎に、左側が右眼の像となり、右側が左眼の像となる。
【００５２】
注視ベクトル検出部１２は、ユーザが右眼から見た注視点を指し示した位置に第１の基準点を移動させた際に、右眼から第１の基準点を経由して注視点へ向かう「右眼注視ベクトル」を検出する。それと同時に、ユーザが左眼から見た注視点を指し示した位置に第２の基準点を移動させた際に、左眼から第２の基準点を経由して注視点へ向かう「左眼注視ベクトル」を検出する。
【００５３】
図９は、ユーザが注視点に両眼の焦点を合わせた際に、２つの基準点によって生じる複視を表す第２の説明図である。
【００５４】
図９によれば、ユーザは、４つ並ぶ幻像の基準点（指先）について、中間に位置する２つの基準点が重なった状態で、その重なる基準点を注視点に向けて指し示している。
具体的には、ユーザの両眼複視によって見える、右眼視の第１の基準点と、右眼視の第２の基準点と、左眼視の第１の基準点と、左眼視の第２の基準点とについて、中央２つの基準点（右眼視の第１の基準点と左眼視の第２の基準点）を重ねて、ユーザから見た注視点を指し示した位置に移動させた際に、「右眼注視ベクトル」及び「左眼注視ベクトル」の両方を同時に検出する。
【００５５】
図１０は、ユーザの両眼から所定範囲にポインタが位置する場合に注視ベクトルを検出する説明図である。
【００５６】
図１０によれば、注視ベクトル検出部１２は、ユーザの右眼の座標点及び左眼の座標点から所定範囲にポインタが含まれた際にのみ機能する。例えば、右眼の座標点及び左眼の座標点を通る、所定半径及び所定角度の扇形状を想定し、その範囲にポインタ（指先）が検出された場合にのみ、注視ベクトルを検出する。これによって、ポインタが、ユーザの顔の前面に無いにも拘わらず、注視ベクトルを検出しようとする処理負荷を軽減することができる。
【００５７】
［注視点推定部１３］
注視点推定部１３は、右眼注視ベクトル及び左眼注視ベクトルの交点を、注視点として推定する（図３、図８参照）。
【００５８】
図１１は、右眼注視ベクトル及び左眼注視ベクトルの交点を表す説明図である。
【００５９】
図１１によれば、注視点推定部１３は、右眼を頂点として右眼注視ベクトルを軸とした中心角θの第１の円錐と、左眼を頂点として左眼注視ベクトルを軸とした中心角θの第２の円錐とが交差する体積領域を推定する。これには、視体積交差法を用いることが好ましい（例えば非特許文献４参照）。そして、注視点推定部１３は、その体積領域の重心を注視点として推定する。
【００６０】
［ジェスチャー認識部１４］
ジェスチャー認識部１４は、右眼注視ベクトルと左眼注視ベクトルとを別々に検出するために、画像から、ユーザの所定ジェスチャーを認識する（例えば非特許文献３参照）。
これに対し、注視ベクトル検出部１２は、ジェスチャー認識部１４によって認識されたジェスチャーに応じて、右眼注視ベクトル又は左眼注視ベクトルの一方を検出する。
【００６１】
ジェスチャー認識部１４は、具体的には、例えば以下のように２つの方法で判定する。
（１）ジェスチャー認識部１４は、指先操作の所定ジェスチャーによって、右眼注視ベクトル検出、左眼注視ベクトル検出、又は、注視ベクトル切替検出を判定する。
（２）ジェスチャー認識部１４は、ユーザの右眼及び左眼の開閉を所定ジェスチャーとして検出するものであり、右眼が閉じて左眼が開いている場合に左眼注視ベクトル検出と判定し、左眼が閉じて右眼が開いている場合に右眼注視ベクトル検出と判定する。
【００６２】
［物体認識部１５］
物体認識部１５は、カメラ１０によって撮影された画像から、当該画像に映り込む物体の局所特徴領域から物体識別情報を検出する。画像から、１つ以上の物体の局所特徴領域と、それぞれの物体識別情報とが検出される。
物体認識部１５は、前述した座標点検出部１１の物体認識処理と全く同じ方式のものである。座標点検出部１１は、所定人体部位や指示具を検出するものであるのに対し、物体認識部１５は、物体の局所特徴領域とその物体識別情報とを検出するものである。
【００６３】
［注視物体推定部１６］
注視物体推定部１６は、注視点推定部１３によって推定された注視点と、物体認識部１５によって検出された局所特徴領域とを比較し、注視点が含まれる局所特徴領域に紐付く物体識別情報を、ユーザが注視した物体として推定する。
これによって、ユーザが注視した物体を特定することができる。
【００６４】
以上、詳細に説明したように、本発明の注視点推定装置、プログラム及び方法によれば、ユーザがポインタを注視点に向けて指し示した際に、ユーザとポインタと注視物体とが映り込む画像から注視点を推定することができる。
【００６５】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６６】
１  注視点推定装置
１０  カメラ
１１  座標点検出部
１２  注視ベクトル検出部
１３  注視点推定部
１４  ジェスチャー認識部
１５  物体認識部
１６  注視物体推定部
【図１】
2019200502.tif 000003
【図２】
2019200502.tif 000004
【図３】
2019200502.tif 000005
【図４】
2019200502.tif 000006
【図５】
2019200502.tif 000007
【図６】
2019200502.tif 000008
【図７】
2019200502.tif 000009
【図８】
2019200502.tif 000010
【図９】
2019200502.tif 000011
【図１０】
2019200502.tif 000012
【図１１】
2019200502.tif 000013